カラーラインセンサを用いた高精細 3 次元復元
学籍番号:90136702 谷内田研究室 柴田 龍治
1 はじめに
近年,カーナビや VR などの分野において様々なオブジェ
クトを対象とした3次元モデルが用いられている.これらの
分野においては,更なる臨場感を得るために,写実性に優れ
た高精細実写画像に基づいた3次元モデル構築に対する需要
が高まっている.本研究は広範囲かつ高精細の3次元モデリ
ングを目的とし,ルートパノラマ画像と呼ばれる広範囲な画
像の取得・保存に適した画像を高精細カラーラインセンサを
用いて生成し,その画像上に現れる色ずれから3次元復元を
行う手法を提案する.特にカラーラインセンサを対象に対し
て平行に等速直線移動させた場合と,対象の周りに等速回転
移動させた場合について実画像実験を行い,本手法の精度検
証を行った.
図1
マルコフネットワークモデル
2 色ずれを利用した3次元復元原理
復元したい対称点を P とし,センサから対称点 P までの
距離を D とする.カラーラインセンサには RGB 間に視線方
向のずれ θ があるため,対象点 P を撮像する時刻が RGB 素
子でそれぞれ異なる.この撮像時刻のずれを ∆t で表す.本
研究ではセンサの軌跡を一般的に表現するために,∆t 間のセ
ンサ移動を回転行列 R と並進ベクトル t を用いて表す.こ
こでセンサの回転は Y 軸周りの回転のみとし φ で表す.ま
た 並進ベクトルを X − Z 平面上のベクトルとする.このと
き対象点 P までの距離 D は次式で求めることができる.
tx
D = tz +
tan(θ + φ)
)
( )
(
t
cos φ − sin φ
,t = x
R=
tz
sin φ cos φ
ずれ検出を行い,(1) 式を用いて3次元復元を行った結果を
図 3 に示す.結果の図は DepthMap と呼ばれる画像で表示
している. DepthMap とは距離を濃度で表した画像のこと
で,距離が近いほど黒く表示し,距離が遠いほど白く表示し
ている.手前のオブジェクトを Front,奥のオブジェクトを
Behind とし, DepthMap をオブジェクトごとの領域に切り
出し,真値との差分を2乗平均(RMS)した値を誤差とした.
各 DepthMap に対する誤差の評価を表 1 に示す.
(1)
(2)
撮像時刻のずれ ∆t はルートパノラマ画像で色ずれとなって
現れる.色ずれを d, センサのスキャンレートを r とすると,
∆t = d/r の関係が成り立つ. これより,ルートパノラマ画像
の色ずれから (1) 式を用いて3次元復元を行うことができる.
図2
撮像画像
3 Belief-Propagation による色ずれ検出
本研究では,ルートパノラマ画像の色ずれ検出に BeliefPropagation によるウィンドウマッチング法 [1] を用いる.
図3
これはマッチング問題をマルコフネットワークの事後確率最
大化問題に置き換えて考える方法である.画像の輝度値を I 、
対象の奥行きを D とすると、事後確率は尤度と事前確率の積
で表される((3) 式)。尤度はマッチング類似度 RRGB に相関
して最大となる関数((4) 式)で、事前確率とは各ノード間の
推定値(D)の相関をとる関数((5) 式)である。図 1 にマル
コフネットワークの概略図を示す。
さらに本研究では,画像からガウシアンピラミッドと呼ば
れる多段階に解像度を設定した複数画像を生成し,階層的に
Belief-Propagation によるウィンドウマッチングを行うこと
で,大域的な色ずれ情報から局所的な色ずれ情報までを効果
的に推定する.
P (D|I) = P (I|D)P (D)
∏
|2 − RRGB |
}
(1 − ep ) × exp{
P (I|D) =
σp
s
∏ ∏
|(D)s − (D)t |
P (D) =
(1 − ed ) × exp{
}
σd
s
Belief-Propagation 実行後画像
表1
復元結果
Front
Behind
真値 [mm]
2300
3000
RMS 誤差 [mm]
244.18
188.04
RMS 誤差 [%]
10.62
6.27
分解能 [mm]
40.8
40.8
(3)
(4)
5 おわりに
(5)
本研究では,高精細実写画像からの3次元復元を目的とし,
カラーラインセンサを用いた高精細3次元復元手法を提案
した.
s∈N (s)
参考文献
4 実験結果
直動ステージを用いてセンサを等速直線移動させて撮像し
たときのルートパノラマ画像を図 2 に示す.図 2 に対し色
[1] J. Sun, N. Zheng, and H.Shum “Stereo Matching Using Belief Propagation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 7,
pp. 787–800, 2003.
ダウンロード

カラーラインセンサを用いた高精細 3 次元復元