ボールと選手に着目したディジタルカメラワークの実現法
-- ディジタルシューティングによるサッカー解説映像生成システムに向けて -M.Kumano (Ryukoku University), Y.Ariki (Kobe University), K.Tsukada, (Mainichi Broadcasting System, Inc)
研究目的
<問題>
– 映像メディアの増加による放送コンテンツの不足
– プロの放送技術者の不足
必ずしもプロを必要としないコンテンツと撮影技術
民間のスポーツの中でサッカーに注目
サッカーの撮影システム例
素人にとってサッカーは野球より試合進行がわかりにくく、
面白さがわかりにくいと言われる
視聴者層が増えない
試合進行をわかりやすく伝える表現技術が必要
個人・同好者の思考・熟知度に合わせ解説するシステム
目標とするサッカー解説映像生成システム
様々な状況に合わせた
ディジタルコンテンツ生成技術
もととなる素材から異なる映像を生成する技術
ディジタルシューティング
部分システムとしての
ディジタルカメラワークの実現法
ディジタルシューティング
ディジタルシューティング(クリッピングフレームをあるサイズにマッピング)
ロボットカメラシステム
[加藤(NHK)]
ディジタルカメラワーク [大西(大阪府立大)、MIRU‘00]
クリッピング位置を連続移動
パン
クリッピングサイズを連続変化
ズーム
ディジタルスイッチング
HD3つ分の実映像を用いるバーチャルスタジアム(2次元)
クリッピング映像
同サイズにマッピング
Megavision
全体を見せることのメリット・デメリット
玄人にとっては、試合進行がみやすい。
自由視点バーチャルスタジアム(3次元)
[斎藤(慶応大)]
[大田(筑波大)]
素人にとってはどこを見ていいかわからない
TVのメリット・デメリット
TVの映像は、試合のどこを見るべきかガイド
していることになる
玄人の意見:スーパープレーに依存しすぎで、
見たい部分が必ずしも見れない。
撮影していない部分は復元できない
クリッピング位置とサイズを大きく変化
HDTV映像フォーマット
次世代
3840x2160
1080i
1920x1080
1080p
1920x1080
720p
1280x720
480p
720x480
480i
720x480
16:9
16:9
16:9
16:9
16:9
16:9, 4:3
カット
SD x 24
SD x 6
SD x 3
SD
ディジタルシューティングのメリット・デメリット
1つの素材映像から幾通りもの映像を生成できる
(取り直しが可能とも言える)
TV映像の2次利用より、生成できる映像の自由度が高い
個人・同行者・嗜好・認知度に合わせた映像の生成が
期待できる
どのようにフレームを制御するべきかがわかっていない
ディジタルカメラワークの実現法2: ボールの追跡
ディジタルカメラワークの実現法1: 選手の密集領域の追跡
1
k
T
Start
背景差分
T
2
k
4
k
T
f
T
先読みによる
時間背景差分
Wk (n)  sn
重み
3
k
sn は軌跡 Tkn
の
画素数
Wk (n)
W (n) 
, Wk ,total  Wk (n)
Wk ,total
sN
ボールは小刻みに激しく動く
しかし、カメラワークは滑らかに動かさなければならない
・小刻みな動きにはあまり反応しない
・大きな動きには早くから追従する
'
k
k
mov
外枠と内枠を導入
最も大きな動きを持つオブジェクト
Wk (n)
nk  arg max 
k
k
2
k
k
2
n
tN ,t  n {Gx (n)  Gx (t )}  {Gy (n)  Gy (t )}
軌跡が長く密集する
領域を撮影の中心へ
G 1
k
G 3
k
G 2
Gk 4
選手軌跡の重心
f
t3
t2
t1
M
1
( k m)
G x (nk ) 
Gx (nk )

M  1 m 0
^
k
小刻みな動きへの対応
1 M ( k m)
G y (nk ) 
Gy (nk )

M  1 m 0
^
'k
mov
大きな動きへの対応
f
y
選手軌跡の重心
の重心線形回帰軌跡
をパンの軌跡とする
t3 t 4
(Gx( k M ) , Gy( k M ) )
(Gx( k 1) , Gy( k 1) )
(Gx(k ) , Gy( k ) )
Gx( k  M / 2)
Gx(k )
Gx( k  M )
t1
先読み範囲
カメラワークの決定範囲
x
t
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0
好みのサッカー映像を選択
A1:PANの軌跡の自然さ
M1:TVの映像
A2:PANの早さの自然さ
M2:HDの映像
A3:画質の良さ A4:試合進行のわかりやすさ
M3:実験1の映像
M1
M4:実験2の映像
A1
M2
A2
A3
M4
5: 十分許容できる
4: まあ許容できる
3: 普通
2: 少し厳しい
1: 許容できない
A4
M3
A1
A2
A3
A4
t2
t5
'
4
'
The start of panning at 4
t
実験条件
問題
代替案
t
t3 t 4
t1
t2
The start of panning at 5
AHP による評価
評価項目
t5
0
0.5
1
1.5
2
1
2
3
4
5
• 実験映像
– 全国高校サッカー選手権大会京都大会
京都朝鮮高級学校 対 桂高等学校
• 被験者
10名の被験者に上記のサッカー試合に対するTV映像と
同じ時間区間について、HDで半コートを撮影したもの、
HD映像上からディジタルカメラワークでクリッピングした
映像、それぞれ10秒程度のショットをランダムに見せた
• 評価方法
– 主観評価
• TV、HD、実験1、実験2の4種類の映像で比較評価(AHP法)
• 提案手法の映像がサッカー映像として許容できるかどうかに
対するアンケート
ダウンロード

ディジタルシューティングによるサッカー解説映像生成システムに向けて