物体の3次元モデリングと
複合現実感のための仮想映像生
成について
中部大学 情報工学科
岩堀祐之 (Yuji Iwahori)
[email protected]
1
目次

照度差ステレオ



照度差ステレオの発展
照度差ステレオのカラー化
基本原理


仮想画像生成

NNベースレンダリング



反射特性
NNの構築と学習
実験
NNベース照度差ステレオ
(モノクロ)



二色性反射モデル(モノク
ロ)

RBF-NNによる学習
対象物体の表面法線ベク
トルと反射係数の推定
NNベースカラー照度差ステ
レオ

実験
2
NNベース照度差ステレオ
~NNを利用した形状復元~
3
モデルの獲得(モデル化)

モデル


文献[1](佐藤ら 1994)、文献[2](佐藤ら
1997)



物体の形状、反射特性
パラメトリック反射特性関数
形状計測(レンジファインダー)
文献[3](西山ら 1999)、文献[4](小俣ら
2000)

大量の画像
4
照度差ステレオの発展

照度差ステレオ(文献[5] Woodham 1980)


視点固定、異なる光源条件下で撮影された複数
枚濃淡画像から物体の局所的な表面法線ベクト
ルを推定
経験的照度差ステレオ(文献[6] Woodham
1994)


反射特性を仮定しない、光源方向も指定しない
Look Up Table(LUT)により濃淡値の組と表面法
線ベクトルの関係を推定
5
照度差ステレオの発展

ニューラルネットワーク(NN)ベース照度差ス
テレオ
(文献[7][8] 岩堀ら 1997, 1999)





LUTをNNにより汎化
物体と同じ反射特性の球画像でNNを学習
反射特性を仮定せず、光源方向も指定せず
物体の局所的な表面法線ベクトルと反射係数を
推定
ただし、反射係数はモノクロのもの
6
照度差ステレオのカラー化

文献[9](富田ら 1992)


文献[10](Barsky et.al. 2001)


特殊な色の光源を使う
完全拡散(ランバート)反射を仮定
NNベース照度差ステレオを拡張
(文献[15] 岩堀ら 2004)
カラーの拡散反射係数を推定
7
基本原理:二色性反射モデル

拡散反射





照明光が物体表面から内部に入る
物質固有の反射率の変調を受ける
全ての方向に均等に反射光が射出
反射光の色が物体色
鏡面反射



物体表面において媒体間の屈折率の関係で反射
表面法線に対して正反射方向に
反射光の色は光源色
8
二色性反射モデル(モノクロ)
拡散成分と鏡面成分の線形和
E  dEw  mEw (1) E : 観測される濃淡値
拡散
鏡面
3つのベクトルからなる関数
Ew : 光源の強度
ρ : 反射係数 ( 反射率 )
→ → →
d, m : 混合比 ( n, l, v の
関数 )
E  Rd (n, l )  Rm (n, l ,v)
(2)
n : 表面法線ベクトル
 R(n, l ,v, )
→
→
l : 光源方向ベクトル
→
v : 視線方向ベクトル
9
NNベース照度差ステレオ (モノク
ロ) (岩堀ら 1999)



→
方向未知の4つの光源のもとでの濃淡画像からnとρ
を推定
→
→
→
式(2)より、l と v が固定なら画像の濃淡の原因は n
4つの光源のもとでは
E  R(n, )

(4)

 E1   R1 (n,  ) 
 E   R (n ,  )
 2   2 

 E3   R3 (n,  ) 
    
 E4   R4 (n,  )
10
RBF-NNによる学習


RBF-NN − 非線形ノンパラメトリック近似が可能
表面法線と輝度値の組の関係を学習


物体と同じ反射特性を持つ球画像を
使用
球は様々な表面法線ベクトルを持つ



半径と画像座標から導出可能
反射係数ρは1.0, 0.8, 0.6, 0.4から1つ
選択し、画像濃淡値をρ倍して学習用
濃淡値の組を作成
ρ
球の様々な点から学習データを構築
11
対象物体の表面法線ベクトルと反
射係数の推定




学習時と同じ4方向の光源で物体を撮影
同一画素の濃淡値4つをNNに入力
その画素の局所的な表面法線ベクトルと反射係数が
出力される
物体が映っている全ての全ての画素に対してこの処
理を行う
ρ
12
NNベースカラー照度差ステレオ

式(1)をカラー化
E  dEw  mEw
(5)
→
E = {ER,EG,EB} : 画像RGB値
→
Ew = {EwR, EwG, EwB} : 光源の強度
→
ρ = {ρR, ρG, ρB}: カラーの反射係数 ( 反射率 )

→

→
→
l と v が固定なら画像の濃淡の原因は n
E  R(n, )  R d (n) R m (n)CL
(6)
→
CL : 光源色のRGB値
13
問題点

学習データの増大




モノクロ(8bit)画像→256階調
フルカラー(24bit)画像→1670万色
様々な表面法線ベクトルとの組合せまで考えると
データの量や学習時間は非現実的
NNを2段階で構成


カラーの拡散反射係数
表面法線ベクトル
14
カラーの反射係数推定用NN

球画像での学習


様々な反射係数をもつ球を用意で
きない
→
球は白色(ρ = {1,1,1})
そこで、

学習データにはランダムな反射係
→
数ρ’ = { rand1, rand2, rand3 } を与える
(着色)
E R d (n) R m (n)CL
ρR
ρG
ρB
(7)
15
反射成分分離と着色

球画像の反射成分分離





球と光源位置固定、別視点から撮影
鏡面反射の位置が移動
拡散反射は視点位置によらず一定
球なので画素の対応をとることが可能
暗い方の画素値が拡散反射成分
元画像
拡散成分
鏡面成分
着色
16
カラーの反射係数推定用NNの学習
と反射係数の推定

表面法線と輝度値の組の関係を
学習



物体と同じ反射特性を持つ球でラン
ダムに着色した画像を使用
球の様々な点から学習データを構築
物体のカラー反射係数を推定



学習時と同じ4方向の光源で物体を
撮影
同一画素の濃淡値4つをNNに入力
その画素の局所的な表面法線ベクト
ルと反射係数が出力
ρR
ρG
ρB
17
表面法線ベクトルを求めるNN

球画像での学習


物体が実際に持つ反射係数の場
合についてのみ輝度値の組と表面
法線ベクトルの関係を学習すれば
良い
そこで、



学習データには物体が持つ反射係
数からランダムに与える(着色)
学習データの組を大幅に削減
学習時間もモノクロの手法と大差な
い規模に
18
表面法線ベクトル推定用NNによる
汎化

物体の表面法線ベクトルを推定




学習時と同じ4方向の光源で物体を
撮影
同一画素の濃淡値4つをNNに入力
その画素の局所的な表面法線ベクト
ルと反射係数が出力される
物体が映っている全ての全ての画素
に対してこの処理を行う
19
実画像での実験


学習用の球は同種の白色塗料を表面に塗布して反
射特性を同一に
学習データ組数 : 1000, 学習回数 : 400回 (約30分),
スプレッド定数 : 0.4
20
実画像での実験
入力画像の1枚

カラー反射係数
Slope
Aspect
誤差が現れるところ


股や皺の部分など(局所的凹状態)に二次反射以上の影響
鼻や頬による影(キャストシャドウ)
21
NNベースレンダリング
~NNを利用した仮想画像生成~
22
仮想画像生成

従来のモデルベースレンダリング


物体の幾何形状
物体表面の反射を数学的に定式化


文献[11] (池内ら 1999年)



Torrance-Sparrowモデル, Phongモデル
レンジファインダーで形状計測
カラー画像からモデルパラメータを推定
パラメトリック反射特性関数では表現が困難
な場合もある
23
NNベースレンダリング


表面法線ベクトルとカラー反射係数から物体
の任意視点・任意光源方向での仮想画像生
成
物体の見えの生成にもNNを利用


照度差ステレオで得られたカラー反射係数と表面
法線ベクトルを使用
パラメトリック反射特性関数を使用しない
24
入射、反射の関係

式(2)より、ある面素の明るさは
→



光源方向 l
→
表面法線ベクトル v
→
視線ベクトル nのなす角で決定
i : 入射角
e : 反射角
g : 位相角
25
反射特性R

→
→
→
i, e, g はn, l, vの関数
i  cos1 (n  l )
e  cos1 (n  v)
g  cos1 (v  l )



→
→
→
→
反射特性Rはn, l, vおよびρの関数
↓
→
反射特性Rはi, e, gおよびρの関数
E  R(i,e,g, )  R d (i) R m (i,e,g)
26
NNの構築

反射特性R
E  R(i,e,g, )  R d (i) R m (i,e,g)
拡散

鏡面
拡散成分
R d  n  l  cosi


RmのみをNNで推定

27
NNの学習

i, e, gと鏡面反射成分の関係を学習

物体と同じ反射特性を持つ白色球画
像を使用



反射成分を分離
拡散反射成分は学習しない
→ 物体色は鏡面反射成分に無関係
i, e, g が取り得る角度
0  g  180
0  e  90
0  i  90
28
仮想画像のRGB値推定






生成する画像の各画素の
→ → →
l, n, v=(0, 0, 1) から i, e, g を計算
NNによってRmを推定
R d  n  l  cosi
→
Rm, Rd, ρより
E  R d (i) R m (i,e,g)

物体が映る全ての画素に対して処理を行う
29
異なる視点の仮想画像生成




視点を変更すると物体が回転した
画像を生成する必要がある
↓
表面法線ベクトルを積分して物体
の高さ分布を作成
これを各座標軸中心に回転
回転前後の画素の対応を取る

表面法線ベクトルとカラー反射係数を
補間
30
任意光源のもとでの仮想画像
→


l = (-0.55, 0.35, 0.75)
誤差の平均0.0721、分散0.0656
実画像
仮想画像
誤差
31
光源方向の変わる映像
32
任意視点での仮想画像
→


l = (-0.40, 0.05, 0.92)
視線方向を様々に変化
33
視点の変わる映像
34
まとめ




NNベース照度差ステレオをカラー画像用に
拡張
対象物体のカラーの拡散反射係数と表面法
線ベクトルを推定
パラメトリックな反射特性関数を使用しない
NNを2段階に分けることで従来法と同程度の
学習で高精度に推定可能
35
まとめ




NNによる任意光源任意視点のもとでの仮想
画像生成
NNによる非線形ノンパラメトリック近似で高精
度の鏡面反射
照度差ステレオから仮想画像生成までNNに
よる汎化が有効に働く
複合現実感への簡易で高性能な3次元画像
入力装置の基本技術に
36
参考文献
[1] Y.Sato and K. Ikeuchi, “Temporal-color space analysis of reflection”,
Journal of Optical Society of America, A, vol.11, no.11, pp.2990-3002,
Nov. 1994
[2] Y.Sato, M.D. Wheeler and K. Ikeuchi, “Object Shape and Reflectance
Modeling from Observation”, Proc. Of ACM SIGGRAPH 97, pp.379-387,
Aug. 1997
[3] 西山 芳生, 斉藤 英雄, 小沢 慎治, “多視点カラー画像からの3次元形状復
元及び物体色の推定”, 信学論, vol.J82-D-II, no.6, pp.990-1000, Jun.
1999
[4] 小俣 和子, 斉藤 英雄, 小沢 慎治, “光源の相対的回転による物体形状と
表面反射特性の推定”, 信学論, vol.J83-D-II, no.3, pp.927-937, Mar.
2000
[5] R.J. Woodham, “Photometric method for determinating surface
orientation from multiple images”, Opt. Engineering, pp.139-144, 1980
[6] R.J. Woodham, “Gradient and curvature from the photometric-stereo
method, including local confidence estimation”, J, OptSoc.Am, pp.30503068, 1994
37
参考文献
[7] Y.Iwahori, R.J. Woodham, M.Ozaki, H.Tanaka and N. Ishii, “Neural
network based photometric stereo with a nearby rotational moving
light source”, IEICE Trans. Inf. & Syst., vol.E80-D, no.9, pp.948-957,
1997
[8] Y. iwahori, R.J. Woodham, Md.S. Bhuiyan and N. Ishii, “Neural network
based photometric stereo for object with non-Uniform reflectance
facator”, Proceeding of 6th ICONIP’99, vol.III, pp.1213-1218, 1999
[9] 富田 安, 金子 俊一, 本多 庸悟, “カラー照度差ステレオによる3次元形状
の復元”, 情処学コンピュータビジョン研報, 080-016, pp.115-120, Nov.
1992
[10] S. Barsky and M. Petrou, “Colour photometric stereo: simulataneous
reconstruction of local gradient and coulour of rough textured surfaces”,
The Eighth IEEE Int. Conf. On Computer Vision, vol.II, pp.600-605,
2001
[11]池内 克史, 佐藤 洋一, 西野 恒, 佐藤いまり, “複合現実感における光学的
整合性の実現”, 日本バーチャルリアリティ学会論文誌「複合現実感」特集
号, vol.4, no.4, pp.623-630, Dec.1999
38
参考文献
[12] 富永 昌治, 大橋 慎一郎, “物体のカラー反射モデル”, 情処学論, vol.33,
no.1, pp.37-45, 1992
[13] S. Chen, C.F.N. Cowan and P.M. Grant, “Orthogonal least squares
learning algorithm for radial basis function networks”, IEEE Trans. on
Neural Network, vol..2, no.2, pp.302-309, 1991.
[14] 福井 真二, 岩堀 祐之, ロバート J. ウッダム, 岩田 彰, ”ニューラルネット
ワークとイルミネーションプランニングを用いた濃淡画像からの曲面分類”,
信学論, vol.J83-D-II, no.2, Feb. 2000
[15] Y. Iwahori, H. Kawanaka, R. J. Woodham, K. Funahashi, “Neural
Network Based Modeling and Color Rendering for Mixed Reality”,
Proceedings of the 17th ICPR2004 , Vol.3, Aug. 2004.
[16] Y. Iwahori, Y. Watanabe, R. J. Woodham and A. Iwata, “SelfCalibration and Neural Network Implementation of Photometric Stereo",
Proceedings of the 16th ICPR2002 , Aug. 2002.
39
定量的評価実験
40
シミュレーション実験

シミュレーション環境




CPU AthlonXp2500+
主メモリ 512MB
Matlabを使用
入力画像

Torrance-Sparrowモデルを用いて作成
41
シミュレーション実験
拡散反射係数の推定




学習データ組数 : 2000
学習回数 : 400回 (約15分)
スプレッド定数 : 0.4
error = 0.0373
E

error 
RGB
 TRGB
入力画像の1枚 推定した
カラー反射係数
N
→

ERGB : 推定した反射係数のRGB
→
TRGB : 理論値のベクトル
N : 対象物体の画像数
42
シミュレーション実験
表面法線ベクトルの推定

性能比較


提案手法
手法2(従来のモノクロ手法)


二色性反射モデルを採用しないとどうなるか?
手法3(手法2をもとにモノクロ二色性反射に基づく方
法)

拡散反射係数と表面法線ベクトルとを同一のNNで推定する
とどうなるか?
43
シミュレーション実験
表面法線ベクトルの推定

手法2の反射モデル
E  Rd  Rm 


鋭い鏡面反射領域で大きな誤差
提案手法では鏡面反射領域も精度高く推定

提案手法
学習データ数
提案手法
手法2
手法2
1012
1012
学習回数
400
400
学習時間
322
304
平均角度誤差
0.3887
9.6284
最大角度誤差
2.3097
124.0486
44
シミュレーション実験
表面法線ベクトルの推定



手法3では全体的な精度が提案手法に劣る
提案手法はカラー画像を用いるが学習時間の差はない
NNを2段階に分けるので学習効率が上昇
提案手法
学習データ数
提案手法
手法3
手法3
1012
1012
学習回数
400
400
学習時間
322
342
平均角度誤差
0.3887
1.5661
最大角度誤差
2.3097
9.8334
45
シミュレーション実験

精度評価


形状既知の球のレンダリングで精度比較
鏡面反射成分が実画像にどれだけ近いか

提案手法




Torrance-Sparrow


学習データの組数1000
学習回数200回(約10分)
スプレッド定数0.4
G=1, F=1.06, σ=0.02729
Phong

n=289
Torrance-SparrowやPhongのパラメータは最小自乗法に
より推定
46
シミュレーション実験
実画像
提案手法
提案手法
TorranceSparrow
誤差の平均
0.0545
0.0927
0.1024
分散
0.0751
0.1021
0.0577
TorranceSparrow
Phong
Phong
47
高さ分布の妥当性




対象物体の様々な姿勢で
NNベースカラー照度差ステ
レオを実施
それらの結果を積分
各高さ分布を相互に回転さ
せてその一致度を確認
高さが連続する部分では誤
差が3%以下
48
ダウンロード

ppt - 中部大学