中間まとめ
3.1 ディジタル画像の生成
• 離散化するプロセス
アナログ(連続)画像を
標本化(sampling)
⇒ 量子化(quantization)
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス
標本化(sampling):
等間隔の格子で画像を分割
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス 標本化
(sampling):
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス
標本化(sampling):
等間隔の格子で画像を分割
⇒分割された小区画:標本区画
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス 標本化
(sampling):
正方形一つ一つが標本区画
画素、ピクセルとも
…ペル?
(初めて聞いた。
動画像で使われるとか)
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス
アナログ(連続)画像を
標本化(sampling)
⇒ 量子化(quantization)
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス 量子化(quantizatiion):
標本区画を数値化
代表濃淡値に置き換える
平均濃淡値
中心の濃淡値
最大濃淡値
最小濃淡値 …etc
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス 量子化(quantizatiion):
22
176 200 128
0
133 190 210
0
23
190 220
0
20
180 200
0
21
193 144
標本区画を数値化
画素数 M
ライン数 N
M画素×Nラインの画像
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス 量子化(quantizatiion):
22
176 200 128
0
133 190 210
0
23
190 220
0
20
180 200
0
21
193 144
標本区画を数値化
代表濃淡値に置き換える
濃淡をどれだけ
細かく分割するか
⇒階調値(8bitだの16bit)
3.1 ディジタル画像の生成
3.1 ディジタル画像の生成
• 離散化するプロセス 量子化(quantizatiion):
22
176 200 128
0
133 190 210
0
23
190 220
0
20
180 200
0
21
193 144
画素数、ライン数、
階調値
画像解像度
3.1 ディジタル画像の生成
3.2.1 空間密度と空間周波数
• 空間解像度
⇒ 空間密度 と 光学系解像度
に関係
3.2.1 空間密度と空間周波数
3.2.1 空間密度と空間周波数
• 空間密度
画像の粗密。
ディジタル画像においては
単位面積辺りの画素数。
3.2.1 空間密度と空間周波数
3.2.1 空間密度と空間周波数
• 空間周波数
画像情報:明から暗、暗から明へ
輝度(濃淡値)の変動
⇒ 無ければ単一の色の板に過ぎない
空間周波数:反復度合いのこと
3.2.1 空間密度と空間周波数
3.2.1 空間密度と空間周波数
• 空間周波数
標本化の格子の繰り返しの空間周波数で
決定
⇒ 標本化周波数
3.2.1 空間密度と空間周波数
3.2.1 空間密度と空間周波数
• 標本化周波数
空間的細部をどれほどまで表現したいか
⇒ 標本化定理
3.2.1 空間密度と空間周波数
3.2.1 空間密度と空間周波数
• 標本化定理
画像に含まれる最高空間周波数の倍の周
波数にて画像を標本化
…できれば全ての情報を画像として表現で
きるが、大抵はそこまで必要無い。
3.2.1 空間密度と空間周波数
3.2.1 空間密度と空間周波数
• 標本化定理
必要な標本化周波数を満たす性能の
カメラシステムを選択
オーバーサンプリング
無駄に大きな容量
計算コストが大きい
とは言え、
3.2.1 空間密度と空間周波数
3.2.1 空間密度と空間周波数
• 標本化定理
ダウンサンプリングしすぎて、
情報が潰れては意味は無いが。
エリアシング、チェッカーボード効果の問題
3.2.1 空間密度と空間周波数
3.2.2 空間エリアシング
• 空間エリアシング:
画像細部の空間周波数の2倍以下で
標本化したときに発生しうる現象
3.2.2 空間エリアシング
3.2.2 空間エリアシング
• 空間エリアシング:
画像細部の空間周波数の2倍以下で
標本化したときに発生しうる現象
情報を失うだけではなく、
新たな望まない情報が発生することも。
⇒偽信号(alias)
3.2.2 空間エリアシング
3.2.2 空間エリアシング
• 空間エリアシングが連続的に発生
⇒ モアレパターン(縞状の斑紋)
現画像には存在しない構造物
3.2.2 空間エリアシング
3.3 輝度分解能
• 輝度分解能の低下
⇒ 擬似輪郭が発生
人間の一般的な視覚:8[bit]で十分
…が、医療用など特殊用途では12[bit]が
用いられることも。
3.3 輝度分解能
3.4 カラー画像
• 基本はグレースケール画像と同じ
・標本化
・量子化
・空間解像度
・輝度分解能
これらを用いて表現
3.4 カラー画像
3.4 カラー画像
• 基本はグレースケール画像と同じ
量子化時
単一輝度 ⇒ 3つの色成分で表現
3.4 カラー画像
3.4 カラー画像
• 3原色は大きく分けて2種類
・ 加法混色性
・ 減法混色性
3.4 カラー画像
3.4 カラー画像
• 加法混色性
・ 光源側を見た場合。
ディスプレー、星の光、イルミネーション等
3.4 カラー画像
3.4 カラー画像
• 減法混色性
・ 反射光側を見た場合。
草木の色、絵画、宝石、印刷物など
3.4 カラー画像
3.5 ディジタル画像系列(動画像)
• 1枚の画像を獲得・表示する時間
・フレーム周期
・1秒間辺りのフレーム数(フレーム周期)
FPS(Frame per Second)
3.5 動画像
3.5 ディジタル画像系列(動画像)
• 動画像にもエイリアシング
高速走行中に隣の車のタイヤ(ホイール)
が静止して見える
扇風機の羽が止まって見えたり、逆方向に
ゆっくり回っているように見えたり
3.5 動画像
3.6 ディジタル画像の品質
• 適切な処理アルゴリズムの選択
画像の品質の評価 が重要
品質が良い、悪いはどうやって判断?
3.6 画像の品質
3.6 ディジタル画像の品質
• 画像の品質の評価
・濃淡情報 : ヒストグラム
・空間的情報 : 空間周波数変換
それぞれ画像情報を別の形で表現
3.6 画像の品質
3.6.1 濃淡ヒストグラム
• 濃淡情報の評価に頻繁に使用
画素の階調値分布をグラフ化
輝度の集中度が観察可能
3.6.1 ヒストグラム
3.6.1 濃淡ヒストグラム
• 濃淡情報の評価に頻繁に使用
ダイナミックレンジを読み取れる
白とび、黒つぶれが分かる!
3.6.1 ヒストグラム
ダイナミックレンジ
• ヒストグラムを確認すると…
3.6.1 ヒストグラム
ダイナミックレンジ
ぼやけた富士山
ダイナミックレンジ補正後
• ダイナミックレンジを調整した結果
3.6.1 ヒストグラム
3.6.2 空間周波数変換
• フーリエ変換した結果
3.6.2 空間周波数変換
3.6.2 空間周波数変換
• フーリエ変換した結果
3.6.2 空間周波数変換
4章 画像強調と復元
• 本日の講義内容
4.1 単一画像入力・点処理
4.1.1 ヒストグラム変換
(1) 線形変換
(2) 2値コントラスト強調(2値化)
(3) 輝度スライシング
(4) ヒストグラム平坦化
4.1.2 濃淡変換
ディジタル画像処理の4機能
1.
2.
3.
4.
5.
強調
復元
解析
圧縮
合成
4 画像強調と復元
強調と復元
機能
・画像劣化の既知
・視覚的な品質の改良
操作
・空間特性の改良
・雑音の低減
・ぼけの除去
・幾何形状の補正
4 画像強調と復元
強調と復元
入力画像 Ii(i = 1, 2, 3)
出力画像 O
本章では、断りがなければ、線形に8[bit]
で量子化された階調画像を扱う
4 画像強調と復元
強調と復元
処理の操作範囲によって
点処理 (point operation)
局所処理 (local operation)
大局処理 (global operation)
の3つのグループに分類。
まずは点処理から。
4 画像強調と復元
4章 画像強調と復元
• 本日の講義内容
4.1 単一画像入力・点処理
4.1.1 ヒストグラム変換
(1) 線形変換
(2) 2値コントラスト強調(2値化)
(3) 輝度スライシング
(4) ヒストグラム平坦化
4.1.2 濃淡変換
4.1 単一画像入力・点処理
4章 画像強調と復元
4.1 単一画像入力・点処理
入力画像の各画素に操作
算術的、論理的演算を通して新しい階調
値に書き換え
出力画像の同座標画素に書き込み
4.1 単一画像入力・点処理
4章 画像強調と復元
4.1 単一画像入力・点処理
点処理の方程式
O(x, y) = M[I (x, y)]
M:写像関数,
I(x, y):位置(x, y)における階調値
4.1 単一画像入力・点処理
4章 画像強調と復元
4.1.1 ヒストグラム変換
(1)線形変換(コントラスト変換)
(2)2値コントラスト強調(2値化)
(3)輝度スライシング
(4)ヒストグラム平坦化 などなど
4.1.1 ヒストグラム変換
4章 画像強調と復元
4.1.1(1) 線形変換の処理式
Li = (L2 – L1) / (l2 – l1) * (li – l1) + L1 (4.2)
ただし、
原画像の階調値範囲:[l1, l2]
変換後の階調値範囲:[L1, L2]
4.1.1 ヒストグラム変換
4章 画像強調と復元
4.1.1(2) 2値コントラスト強調(2値化)
ある値をしきい値αと任意に決定
中におけるある画素の輝度I(x, y)
I(x, y) >α :1
I(x, y) ≦α :0
と置き換えるだけ。 簡単ですね!
4.1.1 ヒストグラム変換
4章 画像強調と復元
4.1.1(2) 2値コントラスト強調(2値化)
しきい値の決定方法
人間が決める:
勘に頼る、ヒストグラムを見る、
結果からフィードバックする…etc
機械(アルゴリズム)的に決める:
判別分析法(大津の方法)
4.1.1 ヒストグラム変換
4章 画像強調と復元
4.1.1(3) 輝度スライシング
ヒストグラムから
ある特定の階調値範囲を切り取る
特定の輝度範囲内:1
範囲外:0
2値化処理にしきい値を2つ設定
4.1.1 ヒストグラム変換
4章 画像強調と復元
4.1.1(4) ヒストグラム平坦化
理想的には上記の変換であるが…
4.1.1 ヒストグラム変換
4章 画像強調と復元
4.1.1(4) ヒストグラム平坦化
実際には上記のように、濃度分布の粗密
として変換
4.1.1 ヒストグラム変換
4章 画像強調と復元
4.1.2 濃淡変換
安価なビデオカメラなどでは
光学的な補正が十分でない場合が多い
(レンズ、画像素子、センサ等の
数や質に限界)
⇒
入射光強度 ≠ 検出器出力
4.1.2 濃淡変換
4章 画像強調と復元
4.1.2 濃淡変換
図:4.9 光センサの応答特性を見る。
入射光強度 ≠ 検出器出力
真ん中くらい
192
128付近に落ち着いて欲しいのだが…
4.1.2 濃淡変換
4章 画像強調と復元
4.1.2 濃淡変換
図:4.9 光センサの応答特性を見る。
では、ソフトウェア的に補正をかけよう
192で入ってきた信号値を128として扱える
ように変換してやろう…
4.1.2 濃淡変換
4章 画像強調と復元
4.2 2画像点処理
O(x, y) = I1 (x, y) & I2 (x, y)
I1, I2 :2つの入力画像,
Ii(x, y):位置(x, y)における階調値
&:算術記号
4.2 複数画像入力・点処理
4章 画像強調と復元
4.2(1) 加算平均
O(x, y) = {I1 (x, y) + I2 (x, y)} / 2 (4.7)
ランダム雑音の低減、
画像の合成などに使用
4.2 複数画像入力・点処理
4章 画像強調と復元
4.2(2) 差分
O(x, y) = I1 (x, y) - I2 (x, y) (4.8)
前後画像の変化の確認、
背景の除去などに使用
4.2 複数画像入力・点処理
4章 画像強調と復元
4.2(3) 除算
O(x, y) = I1 (x, y) / I2 (x, y) (4.9)
注目対象の変化率
異なるバンドで撮影した同画像を比較
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3 単一画像入力・局所処理
その概要
4.3.1空間フィルタリング
(1)ローパス空間フィルタ
(2)ハイパス空間フィルタとハイブースト空
間フィルタ
4.3.2 エッジ検出と強調
4.3.3 非線形空間フィルタ
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3 単一画像入力・局所処理
その概要
4.3.1空間フィルタリング
(1)ローパス空間フィルタ
(2)ハイパス空間フィルタとハイブースト空
間フィルタ
4.3.2 エッジ検出と強調
4.3.3 非線形空間フィルタ
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3 単一画像入力・局所処理の概要
4.1:単一画像入力 点処理
4.2:複数画像入力 点処理
と、点処理を対象
⇒輝度属性の処理
:対象画素周りの状況を考慮しない
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理の概要
任意の領域内(空間)の情報を考慮
⇒空間フィルタリングが可能
ex.注目画素周辺画素の
輝度変化を明瞭化
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理の概要
では、どうやって?
⇒空間コンボリューション演算
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理の概要
コンボリューション:
入力画素と隣接する画素の
重み平均の計算
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理の概要
コンボリューションの局所範囲:
カーネル、コンボリューションマトリクス
オペレータ、マスクとも
3×3、5×5 の正方形であることが多い
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理の概要
オペレータの効果範囲が大きい
⇒ 精度、柔軟性が高い
…が、計算コストが増加
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
カーネル
a
b
c
d
e
f
g
h
i
O(x, y) = aI (x - 1, y - 1) + bI (x , y - 1) +
cI (x + 1, y - 1) + dI (x - 1, y) +
eI (x, y) + fI (x + 1, y) +
gI (x - 1, y + 1) + hI (x + 1 , y - 1) +
iI (x + 1, y + 1)
(4.10)
O(x, y) :1点の出力値を計算するのに各重み計算が必要
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理
その概要
4.3.1空間フィルタリング
(1)ローパス空間フィルタ
(2)ハイパス空間フィルタとハイブースト空
間フィルタ
4.3.2 エッジ検出と強調
4.3.3 非線形空間フィルタ
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3.1 空間フィルタリング
比較的よく使用される古典的なフィルタリング
低域通過(ローパス)フィルタ
高域通過(ハイパス)フィルタ
高域強調(ハイブースト)フィルタ
エッジ強調フィルタ
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理
その概要
4.3.1空間フィルタリング
(1)ローパス空間フィルタ
(2)ハイパス空間フィルタとハイブースト空
間フィルタ
4.3.2 エッジ検出と強調
4.3.3 非線形空間フィルタ
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3.1 (1) ローパスフィルタ
カーネル
1
1
1
1
1
1
1
1
1
特徴
高周波成分の除去、抑制
⇒画像をぼかす
× 1/ 9
カーネルの全ての重みの和=1
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理
その概要
4.3.1空間フィルタリング
(1)ローパス空間フィルタ
(2)ハイパス空間フィルタとハイブースト空
間フィルタ
4.3.2 エッジ検出と強調
4.3.3 非線形空間フィルタ
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3.1 (2) ハイパスフィルタ
カーネル
-1
-1
-1
-1
8
-1
-1
-1
-1
特徴
低周波成分の除去、抑制
⇒エッジの検出
× 1/ 9
カーネルの全ての重みの和=0
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.1 (2) ハイブーストフィルタ
カーネル
0
0
0
0
W
0
0
0
0
- 1/ 9 ×
1
1
1
1
1
1
1
1
1
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.1 (2) ハイブーストフィルタ
カーネル
1/ 9 ×
W= 1のとき:
-1
-1
-1
-1
9W
–1
-1
-1
-1
-1
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.1 (2) ハイブーストフィルタ
カーネル
1/ 9 ×
W= 1のとき:ハイパスフィルタ
-1
-1
-1
-1
-1
-1
-1
9W
–1
-1
-1
8
-1
-1
-1
-1
-1
-1
-1
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理
その概要
4.3.1空間フィルタリング
(1)ローパス空間フィルタ
(2)ハイパス空間フィルタとハイブースト空
間フィルタ
4.3.2 エッジ検出と強調
4.3.3 非線形空間フィルタ
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3.2 エッジ検出と強調
エッジ(端部):隣接画素との輝度勾配が大きい
⇒ 勾配を計算…微分を使おう
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.2 エッジ検出と強調
シフト差分(離散的な一次微分)
Prewitt空間微分フィルタ
Sobel 空間微分フィルタ
ラプラシアンフィルタ(二次微分)
など
水平方向、垂直方向のエッジ方向ごとに
カーネルを設定するフィルタも
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.2 ①シフトと差分(空間的にズレが生じる)
カーネル(水平方向)
カーネル(垂直方向)
0
-1
0
0
0
0
0
1
0
-1
1
0
0
0
0
0
0
0
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.2 ② Prewittフィルタ
カーネル(水平方向)
カーネル(垂直方向)
-1
-1
-1
-1
0
1
0
0
0
-1
0
1
1
1
1
-1
0
1
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.2 ③ Sobelフィルタ(インパルス雑音成分に強い)
カーネル(水平方向)
カーネル(垂直方向)
-1
-2
-1
-1
0
1
0
0
0
-2
0
2
1
2
1
-1
0
1
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.2 ④ ラプラシアンフィルタ(人間の目と脳の処理に近い)
カーネル(8近傍型)
カーネル(4近傍型)
-1
-1
-1
0
-1
0
-1
8
-1
-1
4
-1
-1
-1
-1
0
-1
0
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3 単一画像入力・局所処理
その概要
4.3.1空間フィルタリング
(1)ローパス空間フィルタ
(2)ハイパス空間フィルタとハイブースト空
間フィルタ
4.3.2 エッジ検出と強調
4.3.3 非線形空間フィルタ
4.2 複数画像入力・点処理
4章 画像強調と復元
4.3.3 非線形空間フィルタ(メディアンフィルタ)
スポット的なインパルス雑音除去に有効
中央値フィルタ
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.3 非線形空間フィルタ(メディアンフィルタ)
マスクコンボリューション演算を用いない
メディアンフィルタ:
スポット的なインパルス雑音除去に有効
中央値フィルタ
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.3 非線形空間フィルタ(メディアンフィルタ)
20
10
20
インパルス雑音:周辺と極端な
濃度変化が数ピクセル程度で発生
15 100 15
(x,y)
10
20
10
(20, 10, 20, 15, 100, 15, 10, 20, 10)
入力された濃度配列
Input Matrix
I(x,y) = 100
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.3 非線形空間フィルタ(メディアンフィルタ)
20
10
20
15 100 15
(x,y)
10
20
インパルス雑音:周辺と極端な
濃度変化が数ピクセル程度で発生
(20, 10, 20, 15, 100, 15, 10, 20, 10)
10
Input Matrix
I(x,y) = 100
(10, 10, 10, 15, 15, 20, 20, 20, 100)
昇順にソーティング
4.3 単一画像入力・局所処理の概要
4章 画像強調と復元
4.3.3 非線形空間フィルタ(メディアンフィルタ)
20
10
20
15
15
15
(x,y)
10
20
インパルス雑音:周辺と極端な
濃度変化が数ピクセル程度で発生
(20, 10, 20, 15, 100, 15, 10, 20, 10)
10
Output Matrix
O(x,y) = 15
(10, 10, 10, 15, 15, 20, 20, 20, 100)
中央値を出力値とする
4.3 単一画像入力・局所処理の概要
ダウンロード

Document