AAMのモデル選択による方位に
頑健な不特定人物の顔表情認識
岡田朋子 滝口哲也 有木康雄
神戸大学
研究背景
現在、様々な分野で顔表情認識の研究が進め
られている
主な場面
 機械とのインタラクション
 映像中からの表情検出
表情認識によって具体的に実現できること
 ロボットとより人間らしい対話
 コンテンツの解析
www.***.com
従来研究からのアプローチ
○従来の顔表情認識は正面を向いたものが多い
認識の対象者は必ずしも正面を向いているとは限らない
AAM(Active Appearance Model)[1]を用いた顔特徴
点追跡をすることで横向きや斜めの顔を正面に戻す
○AAMは不特定人物への追跡が難しい
相互部分空間法によって類似した顔をクラスタリング
することで不特定人物への顔追跡を向上させる[2]
○より顔表情認識率を向上させるために
新規性
顔の方位ごとにモデルを作成し、顔追跡をより向上
させることで認識率を向上させる
参考文献[1]:F.Cootes, G. Edwards and C.J.Taylor,
“Active appearance models”, Proc. ECCV, Vol. 2, pp. 484–498, 1998
参考文献[2]:小林 亮博 ,佐竹 純二 ,平山 高嗣 ,川嶋 宏彰 ,松山 隆司
"AAMの動的選択に基づく不特定人物の顔追跡", 情報処理学会研究報告 (CVIM-161), pp.35-40, 2008
www.***.com
表情認識の流れ
AAMモデルの選択
AdaBoostによる
顔検出
相互部分空間法による
人物ごとに適切なAAM
モデル(α)を選択
(α)を用いて顔方位を得た後
方位ごとに適切な
AAMモデル(β)を選択
顔方位を正面にして表情認識
SVMによって
顔表情認識
喜び
AAMモデル(β)による
顔特徴点追跡
顔方位を正面に戻す
www.***.com
相互部分空間法
複数の画像から部分空間を作成し,部分空間同士
を比較することによって類似度(正準角  )を得る
正準角 
M 次元部分空間 L1
cos  
2
u
v
max
uL1 , vL 2 , u  0 , v  0
(u i , v i )
ui
2
vi
2
2
N 次元部分空間 L2
(i  1, N )
NM
www.***.com
類似度によるクラスタの選択
 この類似度をもとに,事前に学習データから人物のクラスタリ
ングを行い,類似した人物でAAMのモデルを作成
 未知の人物は作成したクラスタとの距離を比較し,類似するク
ラスタを選択し、適切なAAMモデルを選択
A
B
距離が小さい
Bを選択
未知の人物
www.***.com
表情認識の流れ
AAMモデルの選択
AdaBoostによる
顔検出
相互部分空間法による
人物ごとに適切なAAM
モデル(α)を選択
(α)を用いて顔方位を得た後
方位ごとに適切な
AAMモデル(β)を選択
顔方位を正面にして表情認識
SVMによって
顔表情認識
喜び
AAMモデル(β)による
顔特徴点追跡
顔方位を正面に戻す
www.***.com
AAM (ActiveAppearanceModel)
AAM(ActiveAppearanceModel)とは
 Shape(特徴点)とTexture(表面画像)をパラメタとしてもつ
⇒顔特徴点追跡や表情はそのままで顔の方位だけを変化
させることができる
g  ( g1, g2 , gm )T
S  ( x1, xn , y1 , yn )
T
PCA
PCA(主成分分析)
g  g  Φgbg
s  s  Φsbs
PCA
b  Φcc
C:Combinedパラメータ
www.***.com
顔方位の推定
パラメタCの特徴
 Cの低次元に顔方位を表わす軸が現れる
 Cの低次元の値と顔方位の角度は比例する
C1  Cx1  Cx 2 x
C1 : C の低次元ベクトル
1.最小自乗法によって係数の Cx1 、 Cx 2 を求めておく
2.取得した C1 ' から、顔方位角度  x ' を推定する
 x '  (C1 'Cx1 ) / Cx 2
このようにしてもとめた顔方位角度から
方位ごとに適切なモデルを選択する
www.***.com
顔方位を正面に戻す
C1  Cx1  Cx 2 x
C1 : C の低次元ベクトル
1.残差ベクトル Cres を求める
Cres  C1 '(Cx1  Cx 2 x ' )
2.顔方位を正面に戻すため、式に
パラメータベクトル C front を求める
x  0
を代入し、
C front  Cx1  Cres
3. C front を用いて顔方位を正面に戻す
参考文献
「View-based active
appearance models」
by T. F. Cootes, C. J. Taylor
2002
www.***.com
顔表情認識の実験
顔表情(無表情,喜び,悲しみ,怒り)を認識
 ATR顔表情データベース
 表情のクラスは4(無表情,喜び,悲しみ,怒り)
 顔方位は7方位(0°,±15°,±30°,±45°)
各方位につき4表情
 相互部分空間法の類似度によるクラスタ数は2
 対象者9人から1人を抜くLeave-One-Out法
 MulticlassSVMによる多クラス分類
入力画像の特徴点とAAMモデル
の平均顔画像の特徴点との差分
をSVMの特徴量とする
入力顔画像
AAMモデルの
平均顔画像
顔特徴点:64点
特徴量:128次元
www.***.com
実験結果
モデルの違いによる実験結果(F値)
モデルの種類
選択されたモデル
選択されなかっ
たモデル
対象者以外全員
を含めたモデル
従来手法
0.74
0.65
0.70
提案手法
0.81
0.73
0.74
方位の違いによる実験結果(F値)
方位
左45° 左30° 左15°
正面
右15° 右30° 右45°
従来手法
0.58
0.70
0.75
0.80
0.79
0.80
0.46
提案手法
0.67
0.75
0.76
0.82
0.80
0.81
0.67
表情の違いによる実験結果(F値)
表情のクラス
無表情
喜び
悲しみ
怒り
従来手法
0.67
0.73
0.67
0.73
提案手法
0.71
0.90
0.77
0.76
www.***.com
考察
クラスタを選択し、方位ごとのモデルを選択するこ
とによって、認識率の向上がみられた
顔方位が大きい時の認識率の低下を抑えること
ができた
 顔方位に頑健性を得ることができた
「無表情,悲しみ」を「喜び,怒り」と誤認識
 SVMに入れる特徴量が平均モデルと特徴点の差なの
で、個人の変化による値なのか表情の変化による値な
のかが判別しにくい
www.***.com
今後の課題
認識精度の向上
 SVMにいれる特徴量
特徴点全部を同じように扱っていたので表情による変化
が表れやすい点を重みづけする
特徴点からの差分ではなく他の特徴量
 適切なAAMモデルの選択
より適切なモデル選択についての手法
実用的なシステムに向けて
 自由に対象者が動く映像中から顔表情の認識を
する
www.***.com
www.***.com
データセット
データセット
 正面⇒
無表情
1枚
喜び、怒り
6枚
悲しみ
3枚
 顔方位⇒ 無表情、悲しみ 1枚
喜び、怒り
2枚
 各9人(女4人、男5人)
www.***.com
学習画像枚数とテスト画像枚数
学習画像枚数
 方位付きの画像を正面に戻したものも使用
 一人につき
無表情
8枚×8人=56枚
喜び、怒り 12枚×8人=96枚
悲しみ
9枚×8人=72枚
テスト画像枚数
 一人につき
正面⇒
無表情
1枚
喜び、怒り
6枚
悲しみ
3枚
方位付き⇒ 無表情、悲しみ 各1枚
喜び、怒り
各2枚
www.***.com
処理時間
クラスタの選択
(2クラスの場合)
顔特徴点追跡
顔方位推定
画像サイズ(縦×横)
約50×50
320×240
320×240
平均実行速度(s)
40.29
0.327
0.127
www.***.com
顔の方位ごとのモデルの選択
モデルの種類(3つ)
 左:-30°と -45°の顔画像から作成
 中央:-15°、0°、15°の顔画像から作成
 右:30°と45°の顔画像から作成
モデルの選択
 -45°<  <-30°の時、左のモデルを使用
 -30°<  <30°の時、中央のモデルを使用
 30°<  <45°の時、右のモデルを使用
www.***.com
ダウンロード

AAMのモデル選択による方位に 頑健な不特定人物の顔表情認識