MIRU2010
散乱媒体中の
ライトトランスポートの解析
向川康博 (大阪大学,MIT)
Ramesh Raskar (MIT)
八木康史(大阪大学)
MIT Media Labに滞在 2009/6-2010/3
2
散乱媒体中のライトトランスポート


微粒子との衝突の繰り返し
複雑な光線空間を形成
dark
bright
3
単一散乱と多重散乱

単一散乱(シングルスキャッタリング):
 媒体内部で一度だけ微粒子に衝突
 光学的な濃度が低い媒体(霧や不
純物を含む水など)で観測
 指向性が高く光路が一意に定まる

多重散乱(マルチスキャッタリング):
 媒体内部で何度も反射を繰り返す
 光学的な濃度が高い媒体(皮膚や
大理石など)で観測
 ディフュージョン近似
4
光学的な濃さによる散乱の違い
Vitamin water
単一散乱
オレンジジュース
低次の散乱
牛乳
多重散乱
5
関連研究:散乱媒体の濃度について両極端な仮定

 パーティシペィティングメディア
薄
光
学
的
な
濃
度
濃
単一散乱(霧,濁った水など)
 散乱除去やパラメータの推定

[Narasimhan et al. 2005]
低次の散乱(2回反射,3回反射...)
 未着手

多重散乱(大理石,肌など)
 ダイポール近似モデル
 レンダリングやパラメータ推定
Dipole model [Jensen et al. 2001]
6
本研究の目的

散乱媒体中のライトトランスポートを解析
 散乱光を反射回数ごとに分解
 ライトトランスポートの可視化
=
+
1-bounce

+
2-bounce
+...
3-bounce
位置づけ: 散乱光のインバースライトトランスポート

Seitz et al., A Theory of Inverse Light Transport, ICCV2005.
7
パーティシペィティングメディア [J.Stam 1995]

散乱による減衰のモデル
散乱係数
消滅係数
フェーズ関数
 散乱の異方性を表現
 異方性係数:g
1 g 2
(1  g  2 g cosq )
2
3
2
p3
q
 t ( d1 2d 2 3)
フェーズ関数
1
p(q ) 
4
p2
経路に沿った減衰
l p3  l p1 s p(q )e

p1
p(q)
d23
g>0
g=0
g<0
前方散乱
等方散乱
後方散乱
8
光線空間の分解

光線空間(L)
 シーン中の各点を通過する光線の強度分布を記述
 T:
ライトトランスポート行列により再帰的に表現
L0:光源から発せられる光線空間
...
L1= TL0
L2= TL1
Lk+1= TLk
1次反射
(単一散乱)
2次反射
再帰的に表現される
高次の散乱成分

L   Lk
k 1
各反射回数ごとの
光線空間の総和
9
光線空間の次元数

次元数の比較
本研究 L(x,y,q)
(q)
(s,t)
(q,f)
(u,v)
真空中:4次元

(x,y)
(x,y,z)
媒体中:5次元
厚みのない媒体:3次元
本研究での問題設定
カメラ
容器に注いだ
半透明の液体
プロジェクタ
10
計測環境
水で薄めた牛乳
計測のための容器
55cm
カメラ
(Point Grey Chameleon)
プロジェクタ
(3M MPro110)
27cm
12cm
撮影画像の例
11
単一散乱と多重散乱の分離


周波数特性の違いを利用 [Nayar 2006]
照明の空間的な高周波成分
 単一散乱:保存される
 多重散乱:反射を繰り返すため失われる

単一散乱と
多重散乱が混在
高周波1次元ストライプパターンの照明
 単一散乱:ポジ・ネガ投影で値が変化
 多重散乱:同一の強度
多重散乱
単一散乱
高周波1次元
ストライプパターン
12
分離結果
高周波照明
通常の照明
=
+
=
+
単一散乱
dark
多重散乱
(低次の散乱を含む)
bright
13
単一散乱の解析


純粋な単一散乱は指数関数的に減衰
指数関数の当てはめにより,消滅係数 t を推定
1200
600
800
400
指数関数の当てはめ
400
0
200
観測値
10
20
30
40
分離しない場合
(多重散乱を含む)
[mm]
0
指数関数の当てはめ
分離した単一散乱光の強度
10
20
30
分離した場合
(単一散乱のみ)
40
[mm]
14
多重散乱の解析

フォワードレンダリングに基づく散乱パラメータの推定
 散乱係数(s)と異方性係数(g)を適当な値に仮定
 高次の散乱成分を再帰的にレンダリング
検証
...

L1
L2
分離した
単一散乱
L3
L4
高次の散乱成分
L5
 Lk
k 2
分離した
多重散乱
レンダリング
した多重散乱
問題点: レンダリングには膨大な計算時間が必要
15
2段階の効率的なレンダリング

第1段階: 各反射回数ごとの光線空間 (Lk)を生成
 散乱係数を固定
(仮にs=1とする)
 異方性係数のみを変化 (-1<=g<=1)

第2段階: 線形結合による高速レンダリング
 s
: 線形結合の係数
 s はレンダリング後でも変更可能
l p3  l p1 s p(q )e
=
L
+s2
+s
L1
L2
 t ( d1 2d 2 3)
+s3
L3
+s4
L4
+...
L5
16
反射回数ごとに分解
1600
1400
観測値
各反射成分の総和
1200
1-bounce (単一散乱)
2-bounce
反射回数が増すにつれ,
3-bounce
ピーク位置が内部に移動
4-bounce
5-bounce
1000
800
600
400
200
0
10
20
30
40
50
[mm]
17
ライトトランスポートの可視化
4-bounce
5-bounce
3-bounce
2-bounce
1-bounce
6-bounce
光線空間
観測値
dark
bright
18
ライトトランスポートの可視化
観測値
光線空間
1-bounce
2-bounce
3-bounce
4-bounce
5-bounce
6-bounce
19
斜めから入射する場合
観測値
光線空間
1-bounce
2-bounce
3-bounce
4-bounce
5-bounce
6-bounce
20
まとめ

本研究の成果
 高周波照明による単一散乱と多重散乱の分離
 光線空間を反射回数ごとに分解・解析
 ライトトランスポートの可視化

制限
 3次元光線空間(厚みのない2次元媒体)
 均一な媒体

今後の課題
 定量的評価
3次元物体 不均一な媒体
近赤外光の利用
21
ポスターの紹介
明日 7/28(水)午後の
インタラクティブセッション2にて発表
- 学生さんの質問や裏話なども
22
提案手法の概要

(x, y, q)
厚みのない媒体に制限
 3次元光線空間
3-D light field
 均一な材質

周波数特性の違いに基づく散乱光の分離
 1次元高周波照明

多重散乱の解析
 線形結合による効率的なレンダリング
+s
+s2
+s3
+s4
+...
23
今後の展開

明日 7/28(水) 16:50-18:05 OS9: 光学的解析
「亀甲多面鏡を用いた半球状共焦点撮影」
 50組の仮想カメラ・プロジェクタ群による半球状開口
散乱光解析のための強力な光学システム
 OS9-3
人体計測との関係
多重散乱
単一散乱
(ディフュージョン近似)
薄
透過光:X線CT
光学的な濃さ
低次の散乱
(未解決)
濃
拡散光:DOT
(拡散光トモグラフィ)
24
25
高周波照明

[Nayar et al., SIGGRAPH2006]
物体表面への高周波照明
 直接成分:拡散反射,鏡面反射
 大域成分:相互反射,散乱など
高周波照明
直接成分
大域成分
26
ECCV2010


Jaewon Kim (MIT & KIST), Douglas Lanman
(MIT), Yasuhiro Mukaigawa (MIT), Ramesh
Raskar (MIT)
Descattering Transmission via Angular
Filtering
表面下散乱の解析

MIRU2008, 一般照明下での表面下散乱の解析
 表面下散乱へのダイポールモデルの当てはめ
 入力:1枚の撮影画像,幾何形状,照明
 出力:散乱特性(ダイポールモデルのパラメータ)
既知
未知
レンダリング
幾何形状
照明
反射特性
(BSSRDF)
インバース
レンダリング
画像
ダウンロード

Slide