動作の言語記述の映像化
大阪大学 産業科学研究所
北橋研究室
M2 中川智史
(基礎工学研究科 情報数理系専攻)
目標
シナリオとなる文章と付加的な情報を入力
することで,シナリオに沿った人物の身体
運動と周囲の環境の変化を示すアニメー
ションを出力すること
発表の概要
1. 身体運動表示システム

実際の運動パターンや言語から生成した運
動パターンを視覚的に確認する
2. 実際の運動パターンの解析

運動パターンのモデル表現を試みる
3. 言語からの動作の生成

動作とそのモデル表現を対応づける辞書を
利用して運動パターンを生成する
1. 身体運動表示システム
身体の各関節の曲がり具合の時系列デー
タを与えることにより,身体運動パターンの
アニメーションを表示する
いろいろな作業の妥当性を視覚的に確認
するために開発した
ロボット班でのニーズに対応することも重
視している
システムの特徴
視点の変更などの操作が簡単
身体モデルを入れ替えることができ,より
精細なモデルでの表示が可能
OpenGLを使用しているため,動作が高速
システムの内部仕様
身体モデルは,シーングラフによる木構造
で構成
シーングラフを用いることにより,例えば肩
関節を動かせば腕全体が動くようになって
いる
人体のシーングラフ
胴体
首
左肩関節
右肩関節
左股関節
右股関節
頭
上腕
上腕
ふともも
ふともも
肘関節
肘関節
膝関節
膝関節
腕
腕
すね
すね
手首関節
手首関節
足首
足首
手の指
手の指
足の指
足の指
システムの実装
言語は,C++言語
3D APIは,OpenGL
シーングラフの記述は,Piasライブラリ
将来的には,入力データの互換性を維持
しつつ,Javaと Java3Dで記述して,フレキ
シビリティを向上
2. 実際の運動パターンの解析
身体動作の言語表現と映像表現
+ 付加的な情報
言語表現
動作の生成
辞書
映像表現
動作の解析
実際の運動パターンの解析
実際の運動パターンであるモーションキャ
プチャデータを使用
周期性を持つ時系列データの解析に基づ
く,動作のモデル化を試みる

まず,歩行に関するものからはじめる
観測データの解析とモデル表現
実際の観測データ
モデル表現
歩く
歩く動作の
モデル
走る
走る動作の
モデル
動作の辞書の作成
さまざまな動作をモデル表現することで,動作の
辞書を作る
辞書のエントリは,動詞とそれに対応するモデル
表現で構成
辞書を用いた動作の生成


動詞からそれが表す動作のモデル表現を決定
動作モデルのパラメータを決定することで,身体動作
を生成できる
3. 言語からの動作の生成
文章の解析

言語領域における最近の成果を想定した文解
析をもとにする
動作の生成
動詞に注目

辞書から動詞が表す動作のモデルを選択
動作モデルのパラメータを決定

文または文章の解析結果による
言語表現から映像表現の生成
カメラ位置を
考慮
歩く動作の
モデル
+
歩く速さ,
周囲の環境,
etc.
動作の生成
身体動作の
映像表現
文章の解析と辞書の関連性
実際の運動パターンの解析によるモデル
化のレベルの応じた辞書の記述単位が決
まる
辞書の記述単位の粒度によって,文章の
解析に求められるレベルが変わる
→ 言語班との密接な連携が必要
進捗状況
身体運動表示システムを作成
モーションキャプチャデータの解析の準備
が整った
解析が出来次第,辞書作りを始める
ダウンロード

言語からの連続動作の生成