Adaptive IP Imagingの理論的検討
上田 健介†
小池 崇文 †‡
高橋 桂太 †
苗村 健†
†東京大学大学院情報理工学系研究科
‡日立製作所 システム開発研究所
Outline

背景
 自由視点画像合成
 Adaptive IP Imaging
 Adaptive IP Imagingの理論
 レンダリング結果
Future work
 結論

LIFLET:
Light Field Live with Thousands of Lenslets

撮像系にレンズアレイ(Lens Array)を用いた
実時間自由視点画像合成システム
撮像系
IP画像
自由視点画像
平面に配列したカメラアレイシステムと光学的に等価
 カメラアレイと比較すると、記録光線数は少ない一方で、
光線を密に記録可能・装置がコンパクト・スケール小の被写体に適す。

自由視点画像合成
撮影シーンを指定の視点から見た画像を合成する
 IP画像から推定した奥行き情報を用いて補間を行いレン
ダリング精度をあげている
 ただ、LensArrayを用いた系では合成品質の限界がみえ易
い(光線記録数がカメラアレイ系に比べて低いため)

レンズアレイ撮影系からの
自由視点画像合成の課題

シーン中の物体が奥行き推定不可能領域に入ると補間処
理ができず画質が低下。
 シーンに合わせてその都度光学系を調整する必要

物体が奥行き推定可能領域内であっても、
解像度が一定以上に保てる奥行き範囲は比較的狭い。
(カメラアレイ系に比べてシビアである)
合成画質 ∝ 1-
Zv
Zv:視点の基準奥行き面からの距離
Zo
Zo:物体の基準奥行き面からの距離
奥行き推定可能 Zo>Zlimit
Zlimit :定数
系の配置とIP画像の例
近景:奥行き推定不可能
遠景:サンプリング密度低
Variable-Focus Lens (VFL)



電圧により焦点を変更できるレンズ
機械駆動部をもたないため高速
大量生産が開始されたばかりの
ホットなデバイス
VFLはサンプリング光線の経路を
瞬時に変更できる強力なデバイス
VFLをアレイ化したもの(VFLA: VFL Array)を
従来の固定焦点のレンズアレイの代わりに用い
れば、現状の自由視点画像合成システムの課題
を解決できる
IP(conventional)
Nayer06
Adaptive IP(proposed)
Nayer06
Adaptive IP を用いた
自由視点画像合成の利点

IPを用いた自由視点画像合成の課題
 シーンに合わせてその都度光学系を調整する必要
 物体の許容奥行き範囲が狭い

Adaptive IPによる解決
3D ディスプレイ出力と
違い自由視点画像合
成出力は、出力光学
系と入力光学系の対
応が変則的であっても
かまわない点に注目
 Adaptive IPではVFLAによって光学系を素早く調整できる。
 シーンに応じて光線のサンプリング方法を適切に調整すれば、
○ 奥行き推定不可能領域に物体が入らないよう自動調整が可能
 設定の手間が省かれる
○ 物体の許容奥行き範囲を向上できる
 空間的な最適化。アレイ中の個々のレンズが特定目標に個別に適応。
 時間的な最適化。物体の移動に応じて即座に適応。
Adaptive IP Imaging の理論的検討
•空間中のどのような光線がカメラで記録できるのかを調べる
•奥行推定可能な撮影領域の導出
•サンプリングの最適化の方法の検討
仮想カメラアレイ
y
VFLA中の各要素レンズ
を通る光線群は1点に収束。
この収束点にそれぞれ
仮想的なカメラがあると考える
レンズ個数に等しい台数のカメラで
構成されるカメラアレイと見なせる
要素レンズのレンズパワーdkが
z
各々瞬時に制御できるので
各々1自由度で配置を再構成できる
仮想的なカメラアレイを実現できる
(系の自由度はレンズ個数に相当)
VFLA
(可変焦点レンズアレイ)
サンプリングされる光線の記述
y
空間中のどのような光線が
記録できるのか?
Hk
Hk
r
y(

)z  Hk  r
W Z (d k )
R
(−R < r < R)
z
-W
Z(dk)
Z(dk) = W/(dkW −1)
光線空間への変換
y
光線を2変数p,qで表現
(光線空間を定義)
y0=q
y1
q
y0-y1= p
z
実空間の1光線は
光線空間の1点に対応
q=y0
1
p
p=y0-y1
光線空間への変換
y
実空間の1点から
放射される光線の集合は、
光線空間の線分に対応
q
Y
q=Zp+Y
z
Z
min(dy/dz)
max(dy/dz)
p
サンプリングされる光線の記述
q
y
Hk
-W
y(
R
Hk+R
Z(dk)
Hk-R
z
サンプリング直線
Hk
r

)z  Hk  r
W Z (d k )
(−R < r < R)
仮想カメラが記録する光線(直線)群が
光線空間の直線上の点群に変換された
p
q  Z(d k )p  H k (1 
Z(d k )
)
W
(Hk−R < q < Hk+R)
焦点変化とサンプリング光線変化
y
q
-W
z
p
レンズ焦点の変更は
光線空間上でサンプリング直線が
定点まわりに回転することに相当
仮想カメラアレイの記録光線空間
y
q
Hk+1
Hk+1
Hk
S
S
z
Hk
p
仮想カメラアレイが記録できる光線群の
光線空間での領域は理解しやすい形になる
→以降、図形上で理論的な解析をおこなう
q=-Wp
仮想カメラ配置への要請
仮想カメラの列Ckに妥当と思える制約を要請する
1. (効率性) Ck が位置する点を通る光線は
他のどのカメラCn|n ≠k も映さない.
2. (連続性) Ck−1 とCk+1 の両方に映る物点は必ずCk に映る.
光線空間の図形上で考えると、
図形の凸条件に相当することを示す。
要請1
Ck が位置する点を通る光線は
他のどのカメラCn|n ≠k も映さない.
q
上記要請が成り立たない状況とは、
光線空間のサンプリング線分の延長
(= Ck が位置する点を通る光線)が
他のサンプリング線分と交わること
(=他のカメラで記録される)
これはすなわち、
サンプリング線分の端点を
結んでできる四角形が凸か否か
と解釈できる
要請不成立の例
q=-Wp
要請2
Ck−1 とCk+1 の両方に映る物点は必ずCk に映る
あるサンプリング線分Lkが
両隣のサンプリング線分Lk-1・Lk+1と
交わるすべての直線と、交わること
すなわち、サンプリング線分の
端点からなる6角形(左図)が
凸であることと解釈できる
奥行き推定可能条件
例えば奥行き推定可能に最も簡易な
ステレオマッチングを用いる場合、
最低でも2以上の仮想カメラに
被写体が記録されなければならない。
すなわち、
被写体物点からでる光線群
(=光線空間における直線相当)
のうち最低でも異なる2光線が記録
(=2以上のサンプリング線分と交差)
されることに相当する。
上記条件から、光線空間上で許され
る直線を求めれば、実空間で奥行き
推定可能な領域を求められる。
シーンに応じた光学系の最適化
可変焦点レンズを
どのような戦略で動かすか

奥行推定可能性の向上
(ある物点からでる光線を多く記録する
ほど精度があがる)
2. サンプリング密度の向上
(合成画像の精細さの向上)
1.

各レンズ焦点を制御することで、
被写体空間において部分的に上記の性質改善ができる。

様々な戦略が考えられるが、
今回は、シーン中の物体が最低限奥行き推定可能になる条件化で
サンプリング密度を可能な限り向上させる方法の戦略を実験した
実験
Conventional
仮想カメラ配置の一例
Proposed
Rendering比較(上:最適化前
下:最適化後)
自由視点合成例
Future work
Adaptive IPシステムを構築
 AIPの他の応用を検討

 オクルージョン回避
 超解像
結論
シーンに適応してIP画像を撮影する
Adaptive IP imagingを自由視点画像合成に
用いるにあたり、最適戦略を決定する上で
基礎となる理論的検討を行った。
 具体的には、光線空間上でAIPの持つサ
ンプリング能力を解析し、奥行き推定可能
性がどのように決定されるかを示した。

ご清聴ありがとうございました。
レンズごとに可動仮想カメラができる
個々のVFLを独立
に制御すれば、
対応する仮想カメラ
を移動でき、
柔軟なカメラ配置が
可能になる。
可動仮想カメラ
本物のカメラ
レンズによるカメラの像
||
仮想カメラ
(仮想カメラがシーンを
撮影すると考える)
仮想カメラは
レンズの
焦点調節で
移動可能
Computational Photography
Nayar06
Programmable Imaging
 e.g. Controllable optics
 LCD
for lensless imaging
(Zomet06)

DMD
(Digital Micro mirror Devices)
 for HDR imaging
(Nayar06)
 Variable Focus Lens (VFL)
VFLの既存活用例
高速なオートフォーカス
 全焦点画像合成
 3次元計測

 Depth from Focus (Shape from Focus)
VFLはサンプリング光線の経路を
瞬時に変更できる強力なデバイス
VFLを自由視点画像合成システムに導入すれば
現状のシステムの課題を解決できる
Electrowetting
citation from http://www.varioptic.com
SPEC example
citation from http://www.varioptic.com
-5[m-1] < 1/f < 13[m-1] (@ 33[v] < V < 46[v])
Application of VFL
to Integral Photography

What happen
if we substitute
static lens array
for VFLA?
VFLA (Variable-Focus Lens Array)
開口3mm
to array
幅7.8mm
ダウンロード

Adaptive IP Imaging の理論的検討