JSPS - RFTF
AMCP Project
マルチメディア・コンテンツの
内容記述と検索
田中克己
京都大学大学院情報学研究科
社会情報学専攻
[email protected]
1
JSPS - RFTF
AMCP Project
マルチメディア・コンテンツの
内容記述と検索
情報の組織化・構造化
によるメタデータ生成
情報のパーソナライゼーション
情報流通
情報組織化
情報の配送と提示
連続メディアデータと
半構造データ
コンテンツの権利処理と
アクセス管理
協調アノテーション
インタラクションによる検索
コンテンツの内容記述と
検索のモデル
情報検索
情報の検索と探査
2
JSPS - RFTF
AMCP Project
映像コンテンツのメタデータと内容記述
メタデータの種類
映像信号やカメラから抽出できるメタデータ
音声・画像認識から抽出できるメタデータ
– NHKクローズドキャプション(15秒delay,音声認識)
手動で制作されているメタデータ
– EPG(電子番組表),番組インデックス(ARIB),データ放送
(BML,BXML)
– 権利情報
関連するWebコンテンツ
3
JSPS - RFTF
AMCP Project
メタデータ(内容記述)の表現モデル
標準化
MPEG7
– 内容記述のための記述子,記述スキーマ,記述定義言語等
MPEG21
– 著作権情報,コンテンツID
記述モデル 構造化法(セグメンテーション法)
– Informedia(金出)
層状化法
– OVID(田中):内容記述情報の継承
– Algebraic Video(Weiss):入れ子型層状化
4
JSPS - RFTF
AMCP Project
内容記述(索引付与)の困難さ

音声・画像認識から抽出でき
るメタデータ

ビデオ区間の特定の困難さ
• 索引の断片性,該当区間が不明,
推定の必要性
• 情報の重複や誤り

画像と音声の相補的な関係
• 検索用語とのギャップ

手動で制作されるメタデータ


コストと帯域(データ放送)
関連するWebコンテンツ

映像コンテンツとの関連性の
発見
ScoopCast
・ライブ映像の動的編集配信システム
・音声内容記述
・映像索引・映像のマルチキャスト配信
・キーワードによる映像フィルタリング
・有限オートマトンによる区間推定
5
JSPS - RFTF
AMCP Project
内容記述(索引付与)の困難さ
打者
今岡
今岡
矢野
矢野
ハンセン
投手
野村
野村
野村
野村
野村
野村
動作
投げた
投げました
投げた, 打ちました
投げました
投げた, 打ちました
投げました
投げました
投げました
投げた
結果
ショートゴロ
センターフライ, アウト
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
「ピッチャー野村が投げた」
55%
実況
解説
45%
8%
ラジオ
テレビ
ラジオとTV
情報の欠落や重複
ピッ
チャー
92%
映像と音声の相補性
野村
投げた
索引(キーワード)の断片性と該当区間の不明
6
JSPS - RFTF
AMCP Project
Query By Camera
カメラ情報からのメタデータ生成と検索
注目被写体範囲のアニメーション
問合せ形成画面
問合せ映像
検索結果
検索結果画面
7
JSPS - RFTF
AMCP Project
映像コンテンツの検索モデル
連続メディアデータのための代数的検索


断片的で素なインデックスを有するビデオ
データに対する検索操作の理論的基盤
代数的な検索操作と質問処理最適化
8
JSPS - RFTF
AMCP Project
断片的で疎な索引からの映像検索
ビデオストリーム
park
woman
dog
park
dog woman
「女性」と「犬」
による検索
woman
dog
dog woman
park
dog
画像フレームまたはショット
単位で付加されたキーワード群
キーワード検索によって
意味のある映像を得る
dog
断絶のある映像
意味のある一連の映像
woman
dog
park
dog woman
park
dog
9
JSPS - RFTF
AMCP Project
グルー結合演算

区間グルー


y
区間x,yを含む最少区間
区間集合への拡張
Pairwise Glue
 Powerset Glue

x
x y
X Y
X *Y
x y
X={ x1
,
x2 }
Y={
y1
,
x2 y1
x2 y2
X Y
3つのpairwise gluesに還元可能
X *Y = (X X) (Y Y)
X
*
Y
x1
y2 }
x1 y1 x1 y2
x2 y1
x2 y1 y2
10
JSPS - RFTF
AMCP Project
選択演算 (Filters)
選択演算σF(I)
– σF(I) :区間集合I から,条件(フィルタ)F を満たす区間集合を選択
フィルタ
– σkey=‘woman’(I) :キーワード‘woman’が付いた区間を検索
– σwidth≦1000(I):区間長が1000以下のものを検索
dog
woman
区間長
区間長フィルタFW :区間長がw以下のものを検索
区間長フィルタ FW は選択・グルー質問で push down 可
σFw(X
*Y)=
σFw(σFw(X
X)
σFw(Y
Y))
選択・グルー質問の最適化の可能性
11
JSPS - RFTF
AMCP Project
最適化可能フィルタ
グルー質問結果への選択演算の適用
– σF(X
*Y)=σ
F(
(X
X) (Y
Y))
最適化可能であるための必要十分条件
– σF(X
*Y)=σ
F(σF(X
X)
σF(Y
Y))
F(i)= trueとなる任意の区間 i に対して,i のすべての部分
区間i’がF(i’)= true を満たす.
区間 i
30
60
フィルタ F
OK
部分区間 i’
40
50
OK
関係データベースにおける
質問の最適化処理とのアナロジー
12
JSPS - RFTF
AMCP Project
有用な最適化可能フィルタ
ノイズ長フィルタ
含まれるノイズの最大長が N 未満の区間を返す
Video stream
woman
noise > N
noise < N
woman
区間論理フィルタ
dog
dog
NG
noise < N
dog
OK
Allen の区間論理にもとづくフィルタ
Video stream
時間的な関係
Woman appears
before dog
dog
NG
woman
woman
dog
OK
13
JSPS - RFTF
AMCP Project
最適化可能フィルタの
push downの効果
14
JSPS - RFTF
AMCP Project
コンテンツの権利処理とアクセス管理

目的
マルチメディアコンテンツの安全な流通とコンテンツ個別
化のための機構の実現
研究概要
カプセル化コンテンツとLoS制御
– 版権管理機能と適切な課金処理機能の実現
作者の意図と利用者アクセス履歴に基づくコンテンツ個別化
– ActiveWeb
コンテンツ複合化のための意図記述
– 異なるメディアのコンテンツの融合のための作者の意図記述
15
JSPS - RFTF
AMCP Project
Javaを用いたカプセル化コンテンツ
不正ユーザに対する保護機能
– Javaのクラス内部に画像データをカプセル化
– ユーザ認証機能・表示変更機能により,ユーザ毎のサービスの変
更が可能
認証されたカプセル化
コンテンツ
認証されていない
カプセル化コンテンツ
認証サーバへの
認証要求
16
JSPS - RFTF
AMCP Project
サービスレンジに基づくLoS制御
同価値のサービスとなるサービスの領域に課金
 動的にサービスの配分を変更し、必要なサービスに価値を集中

制御前
サービスレベルを低下
サービスレベルを向上
制御後
17
JSPS - RFTF
AMCP Project
作者の意図と利用者アクセス履歴に
基づくコンテンツ個別化


利用者の閲覧・視聴履歴と位置・時間によってコンテンツの内
容を動的に変化させる.
簡単なルール表現で作成者が設定可能とする.技術的には,
アクティブDB技術を発展的に適用
18
JSPS - RFTF
AMCP Project
ActiveWeb

著者の意図と利用者のアクセス履歴・状況による
内容のパーソナライゼーション
ActiveWeb サーバ
著者による
意図表現入力
XMLルール
生成
能動
ルール
DB
ルールの検索
ユーザアクセス
個別化・複合化
されたコンテンツ
動的な
コンテンツ生成
能動ルール
の収集・
評価
アクセス
履歴DB
19
JSPS - RFTF
AMCP Project
コンテンツの個別化/適応化
Author Intention
(Metadata)
コンテンツ作者の意図
・Krakatoa Chronicle
-Web新聞,relevance feedback
・Banner広告埋め込み
-Baudishら,relevance feedback
-Langheirichら,非侵入的.
keyword/banner click関連度
・e-commerce (Ceriら)
-購買履歴,active rule活用
・Webサイトの仮想化 (Atzeniら)
Personalization
個人への対応
Adaptation
環境への対応
User Intention (Profile)
ユーザの意図・嗜好・振る舞い
・Content Transcoding (IBM)
-PDA/Mobile対応
-外部注釈ファイル
(XML/RDF)
・Synchronized Content
-Rousseauら
-同期化コンテンツの動的生
成
JSPS - RFTF
AMCP Project
コンテンツの個別化/適応化
Author Intention (Metadata)
コンテンツ作者の意図
User Intention (Profile)
ユーザの意図・嗜好・振る舞い
Personalization
・我々のアプローチ
個人への対応
-MetadataとしてのECAルール
-ページアクセス履歴とアクセス
場所・時間を条件
-ページ・リンクのアクセス権管
理
-コンテンツ作者の意図表現
-XMLタグ拡張による実現
Adaptation
環境への対応
・我々のアプローチ
・我々のアプローチ
デジタルTVやモバイル機器での受動的視聴
-受動的視聴コンテンツ作者の
explicitな同期化指定と
演出表現(S-XML)
-同期化推定と演出付加による
自動変換
-利用者によるスタイル選択
JSPS - RFTF
AMCP Project
コンテンツの複合化に関する意図記述
著作権に加えて,コンテンツの複合化・同期化・個別化・配信環境に関する
コンテンツ作者の意図記述
– 能動型ルールによる意図記述
– XML表現によってコンテンツと一体化
– コンテンツの動的生成時に能動型ルールを処理
ルール例
複合化に関する意図記述例
– 「この画像の提示中に必ずこのテキストを読み上げる」
– 「このキーワードを有する映像を配信する際は最初にこのCMを流す」
– 「この画像を提示する場合は同種類の画像を提示しない」
配信環境に関するルール例
– 「この映像を短縮して配信する場合,指定の箇所は必ず配信する」
利用者のアクセス履歴に関するルール例
– 「ここ2週間頻繁にアクセスしているユーザには配信コンテンツを追加する」
22
JSPS - RFTF
AMCP Project
コンテンツ複合化に関わる作者の意図記述
小泉純一郎
です。・・・・・
小泉純一郎は
日本の総理大
臣で自民党・・
午前中からこう
して大勢のみな
さまが・・・・・
元のコンテンツに別のコンテンツを挿入
23
JSPS - RFTF
AMCP Project
新しい放送型情報環境
関連情報
の検索
放送+インターネット+データベース
放送コンテンツの再構造化
放送
Web
映像・音声・
メタデータ
放送・Webコンテンツの融合によるコンテンツ作成
– 関連情報のWebからの発見,映像インデックス自動生成
– 生成コンテンツの受動的視聴環境
– 蓄積型テレビ機能を用いたパーソナルな番組コンテンツ生成
新しい情報放送環境に向けて
– 新鮮度・ローカル度などの新しい尺度による検索
– サーバ型放送のための理論的基盤
24
ダウンロード

マルチメディア・コンテンツの内容記述と検索