Annual Report
the Research Institute for Science and Technology
Tokyo Denki University
東京電機大学
総合研究所年報
顔情報に基づいた精神疾患診断支援システムの開発
Development of the diagnostic support system
based on facial picture measurement for mental disease
加藤綾子 1,福井裕輝 2,福井康裕 1
1
東京電機大学理工学部電子情報工学科,2 京都大学大学院医学研究科精神医学教室
Ayako KATOH1, Hiroki FUKUI2, Yasuhiro FUKUI1
1
Dept. of Electronic and Computer Engineering, School of Science and Engineering, Tokyo Denki University
2
Department of Neuropsychiatry, Graduate School of Medicine, Kyoto University
ABSTRACT:
:Non-equipped type of pupillometer was developed and improved in this research.
The relation to the behaviors of various mental activities and pupil were analyzed with this device.
The experiment of the mental load, the emotional stimuli, and the load of no smoking was conducted
in this research.
The pupil behaviors reflected the mental stresses, the emotional activities and the
autonomic activities in each study.
It was suggested that the autonomic activities and the mental
activities are able to observe by the pupil behavior.
clinical site.
This system will be improved to bring into a
And more experiments will be performed to clarify the relation between pupil and each
disease.
1. はじめに
を計測するためには、被験者に精神的負担を掛けない
ストレスとはその人にとって不自然な行為を余儀な
ことが大前提であり,非接触型の瞳孔計が望まれる.
くされるときに生じるが,職場,家庭などの対人関係
筆者らは,これまでに精神科領域などのへの応用を
を始めとして,至るところでストレスを感じている可
目指し,被験者への負担が少ない非装着型瞳孔計測シ
能性がある.社会生活を送るうえで,ストレスを避け
ステムの開発行ってきた[2].本システムを用いて従来
て生活することはとても難しいと思われる.このよう
計測できなかった瞳孔の微細な変化を計測でき,自律
な社会の流れの中で,特に「うつ病」が注目を集め,
神経活動の変化を計測可能であることが明らかとなっ
職場における精神ケアに積極的に取り組むところが出
た.本研究では,本装置をさらに改良すると共に,い
てきている.とはいえ,精神科疾患はまだまだ一般的
くつかの基礎的な実験を通じて,精神活動と瞳孔の挙
にはあまり理解の進んでいない医療分野である.
動の関係について考察する.
精神科疾患は,その発生原因においても症状におい
ても複雑で,診断は担当する医師の技量にゆだねられ
ている.精神科疾患の診断に際しては,個々との面談,
2. 瞳孔計測システム
2.1 システム構成
観察が重要であることは確かだが,客観的な指標にか
システム構成を Fig.1 に示す.本システムでは,非
ける点が指摘されている.従来,精神科疾患の対象は
接触かつ高時間・高空間分解能で瞳孔を撮影するため
「こころ」という曖昧模糊としたものと考えられ,工
に高速度カメラを用いている.高速度カメラはカメラ
学分野との接点はあまり無いものとされてきたことが
制御および画像収録用の PC で制御され,画像の撮影
一要因であるように思われる.
タイミングおよび撮影時間を任意に設定可能である.
瞳孔は自律神経の影響を受けている器官の一つであ
また,高速度カメラはリモートコントロール可能な雲
[1]
る .すなわち,外界からの刺激だけでなく感情など
台を介してアームに設置されており,カメラの撮影方
内的な要因によっても変化すると考えられる.瞳孔反
向を観測者の手元で操作できる.高速度カメラには,
応は心拍や皮膚電気反応などの他の自律神経活動指標
焦点距離 200mm のマクロレンズが取り付けられてお
と比較して応答が速いため,瞳孔の挙動を詳細に計測
り,フォーカスやアイリス調整も観測者の手元で操作
することにより,自律神経活動をより詳細に把握する
できるように電動化されている.用途によっては,焦
ことが期待される.現在市販されている瞳孔計の主流
点距離 10mm-160mm のズームレンズを装着すること
はゴーグル型であり頭部に装着する形式である.しか
も可能である.被験者の顔面から約 70cm 程度の場所
しながら,精神・心理状態や自律神経系の微妙な変化
には,波長が約 850nm の LED を用いた近赤外照明が
加藤綾子,福井裕樹,福井康裕
.
Motorized
stand
images
Control
signals
High-speed
camera
Sensor
start
Display
Make a histogram of the image
IR
light
Find a minimum point
Sensor
Assume intensity value of the
minimum point to be a
threshold value
Subject
Make binary image
Bed
Fill in halls in the binary image
Amplifier
Stand
controller
PC for
image capture
PC for data
acquisition
Stimulus
generator
Count pixels
end
IR light
controller
Fig.2 Flowchart of image processing to measure pupil
diameter
Fig.1 System configuration
被験者の瞳孔を照らすように設置されており,瞳孔を
鮮明に撮影可能としている.用途に応じて,被験者の
目の前には液晶モニタが設置できるようになっており,
タスク用 PC を用いて,被験者に対して任意の視覚刺
激を与えることが可能である.同じタスク用 PC を用
いて聴覚刺激を与えることも可能である.さらに,心
拍数や皮膚電気反応などの生体信号を計測するための
センサおよび計測アンプがあり,計測用 PC で記録さ
れる.これらの瞳孔計測システムは,いずれかの PC
からのトリガにより同期して動き,瞳孔の挙動とタス
ク(視覚刺激など)による生体反応を同期して記録す
ることが可能である. その他のシステムの詳細を
Table 1 に示す.
3500
3000
Frame rate
Image size
125 fps
(30fps – 500fps flexible)
512×512 pixels
(1280×1024 pixels maximum)
Display size
30×22 cm
Sampling rate for
analog data
1000 Hz
pixels
3000
Table 1 Specification of pupillometer system
2500
2000
2000
1500
1000
1000
500
0
0
1
0
13
25
37
49
61
50
73
85
97
109 121 133 145 157 169 181 193 205 217 229 241 253
100
150
Intensity value
200
255
Fig.3 An example of pupil image and it’s histogram of
intensity
瞳孔に相当し,後ろの山の部分が虹彩を含む背景に相
2.2
画像処理
当する.本研究では,ピクセル数の変化を大まかな特
本装置を用いて撮影される画像から瞳孔径や瞳孔面
徴として捉え,最初の最小値における輝度値を二値化
積を算出する過程を Fig.2 に示す.入力された画像の
の閾値として自動的に決定する.次に,近赤外照明の
輝度値のヒストグラムを求める.Fig.3 に本システムを
映り込みにより瞳孔中に明るい部分が生じるため,二
用いて撮影される画像の最も一般的な瞳孔画像の例と
値化された画像において穴埋め処理を行い,最終的に
そのヒストグラムを示す.Fig.3 のグラフにおいて横軸
瞳孔の部分を抽出する.以上の処理により得られたピ
は輝度値,縦軸はピクセル数を表す.Fig.3 に示したよ
クセル数が瞳孔面積に相当し,抽出された部分の最大
うな形状のヒストグラムにおいては最初の山の部分が
横幅が瞳孔の水平方向の径に相当する.
東京電機大学
総合研究所年報
2.3
Annual Report
the Research Institute for Science and Technology
Tokyo Denki University
解析方法
3
得られた瞳孔径の変化データを基にして,その変化
2
の特徴を解析する.瞳孔計測のパラメータとして従来
1
計測されてきた特徴は,平均瞳孔径,対光反射の縮瞳
0
率や対抗反射の変化速度などである.本システムは時
-1
間分解能も空間分解能も高いシステムであるため,本
-2
sin2πf1
(sin2πf1+ sin2πf2)
(sin2πf1+ sin2πf2+ sin2πf3)
-3 0
500 1000 1500 2000
(a) Original signal
研究では,これまであまり解析されてこなかった瞳孔
径変化のゆらぎに着目した.ゆらぎは信号に含まれる
2500
大きさを示すものである。ウェーブレット変換は、解
析対象となる と基底関数ψ(t)の相関を調べ、式(1)の
ように定義される。(1)式における a(スケール)と b
(シフト)を適切に選ぶことで,解析対象の時間‐周
Frequency
ウェーブレット変換とは基底関数 (マザーウェー
ブレット )を用いて信号を切り出した時の信号各部の
0.41
0.48
0.56
0.69
0.87
1.21
1.95
5.08
0
波数解析が行える。複数の sin 波が合成された信号を
入力した場合の連続ウェーブレット解析結果を Fig.4
244
212
180
148
116
84
52
20
500
500 1000
1000 1500
1500 2000
2000 2500
2500
(b) Coefficient plots
Scale
信号の変化であるため,連続ウェーブレット変換を適
用することにより,ゆらぎを解析できる可能性がある.
Fig.4 Continues wavelet analysis
に示す.この例では,周波数の異なる sin 波を合成し
たものを,解析した結果である.f1=0.6Hz,f2=1.2Hz,
と同時にスイッチを押してもらい,そのスイッチの前
f3=1.8Hz である.図中の(a)は原波形を示し,(b)では解
後約 2 秒間ずつの瞳孔変化を計測した.また,質問に
析結果を示している.(a)の縦軸は信号の強度を示し,
対する事実の確認は,全ての計測が終ってから個別に
(b)の縦軸は周波数を示している.(a),(b)ともに横軸は
行った.
時間を表す.(b)の図中,色の濃い部分ほど含まれる周
3.3
波数成分が多いことを表している.本研究では,マザ
結果
画像処理により求められた瞳孔径変化から,平均瞳
ー関数には morlet を用いた.
孔径を引き,その時系列データを連続ウェーブレット
 b − t  ・・・(1)
W (a, b ) = ∫ x (t ) ⋅ψ 
 dt
 a 
変換した.22Hz 以上の部分に連続的に見られる成分は,
計測システムのノイズと考えられるため除去し,特徴
が現れている周波数成分を抜き出して解析を行った.
3. 精神負荷実験
3.1 実験の概要
ヒトに精神的負荷を与えた場合,瞳孔の挙動はどの
信号処理過程の例を Fig.5 に示す.また Fig.6 に結果の
例を示す.負荷の小さな質問時には,被験者が嘘の答
えを回答した場合でも本当の答えを回答した場合でも,
ようになるのであろうか[3].精神活動計測の端緒とし
回答直後に瞳孔の縮瞳がみられた.負荷が小さな質問
て,
「嘘をつく」という精神負荷を与えた場合の瞳孔変
の時には答えることによって緊張が解けたためである
化について検討した.嘘をつくことに対する生体の反
と考えられる.また,負荷の小さな質問で嘘をついた
応として知られているものには皮膚電位反応があり,
場合には,答えた前後で,4Hz から 6Hz の周波数成
また最近の研究では嘘を言うときに目の周辺の温度が
分が増加した.これと同様のことが,負荷の大きな質
上昇するという報告もある.しかしながら,十分な信
問が言われている時で見られた.嘘をつくことに対す
頼性は確立されているとはいえない.本研究では瞳孔
る精神的動揺と負荷の大きな質問をされたことに対す
径の変化から精神活動の計測に有効なパラメータが見
る精神的動揺が 4Hz から 6Hz のゆらぎ成分として現れ
出せるか検討することを目的とした.
た可能性がある.
3.2
方法
被験者には負荷の少ない質問(性別や年齢を問うも
の)や負荷の大きな質問(モラルに関する内容やプラ
イベートな内容)をランダムに質問し,「はい」「いい
4. 情動負荷実験
4.1 実験の概要
情動刺激は生体に意識的・無意識的なさまざまな反
え」で答えるように指示した.各問いは,観測者が口
応を引き起こす.このような情動認知は,今日の神経
頭で質問した.各質問に対して嘘をつくかどうかの判
科学の主要なテーマであるが,各種精神疾患で障害さ
断は被験者に任せ,
「はい」または「いいえ」で回答し
れている可能性があり,臨床的観点からも注目を集め
てもらった.被験者には質問を言い終わったところで
ている.情動刺激が被験者に意識化されない場合でも,
瞬時に判断して回答するように指示した.また,回答
無意識的な反応が自律神経反応として捉えられる場合
加藤綾子,福井裕樹,福井康裕
-3000
0
-3000
0
0.5
1.3
10
22
34
46
50
100
150
200
0 100 200
238
198
158
118
78
38
16
9.9
7.44
5.66
4.6
3.85
3.34
3
2.75
2.5
2.25
2
250
300
350
400
300 400
450
100
150
200
0 100 200
250
300
350
400
2000
200
190
180
1000
170
160
150
140
0
130
120
110
-1000
100
90
80
-2000
70
60
50
40
-3000
0
450
300 400
500
200
250
300
350
400
450
500
Scale
Scale
50
100
150
200
0 100 200
24.8
23.7
22.6
21.5
20.4
19.3
18.2
17.1
16
14.9
13.8
12.7
11.6
10.5
9.4
8.3
7.2
6.1
5
4.1
5.3
7.1
8.6
10.8
12.5
50
100
150
200
0 100 200
500
Wavelet analysis
150
200
1.56
500
198
78
9.9
4.6
3
2.25
100
cwt_di2__morl_nakamura_87-7
500
noise
50
50
0.5
Scale
-2000
Frequency[Hz]
0
-1000
cwt__morl_nakamura_87-7
2000
1000
0
-1000
-2000
Frequency[Hz]
1000
Lower frequency
Scale
2000
Scale
Frequency[Hz]
Diameter[pixels]
Change of pupil diameter
250
250
300
350
400
300 400
300
350
400
300 400
450
500
65
500
450
500
24.9
19.2
14.3
11.8
9.4
8.1
Scale
.
500
Higher frequency
Fig.5 Procedure of analysis
Answer
Answer
cwt_di2__morl_utugi01本当
4000
4000
Answer
cwt_di2__morl_utugi02うそ
4000
3000
3000
3000
2000
2000
2000
2000
1000
1000
1000
00
0
0
-1000
-1000
-1000
-2000
-2000
0
100
100
150
200
200
250
300
300
350
400
400
450
500 0
0
24.8
23.7
22.6
21.5
20.4
19.3
18.2
17.1
16
14.9
13.8
12.7
11.6
10.5
9.4
8.3
7.2
6.1
5
-3000
50
100
100
150
200
200
250
300
300
350
400
400
450
500
50
100
100
150
200
200
250
300
300
350
400
400
450
500
500 0
(a) small question - truth
-4000
0
500 0
Scale
4.124.8
23.7
22.6
5.321.5
20.4
19.3
7.118.2
17.1
16
8.614.9
13.8
12.7
10.811.6
10.5
9.4
12.58.7.6.321
5
-4000
0
500
Scale
Frequency
0
-3000
50
24.8
23.7
22.6
21.5
20.4
19.3
18.2
17.1
16
14.9
13.8
12.7
11.6
10.5
9.4
8.3
7.2
6.1
5
50
100
150
100
150
100
200
250
200
250
200
300
350
300
350
300
400
450
400
450
400
500
Scale
-2000
-2000
-3000
-4000
-4000
cwt_di2__morl_utugi04不明(1-13cut)
4000
50
100
100
150
200
200
250
300
300
350
400
400
450
500
500 0
(b) Small question - lie
50
100
200
300
400
500
(c) big question - truth
Fig.6 results
がある.瞳孔の挙動は自律神経反応の影響を受けるた
Subliminal Supraliminal
め,情動刺激下の瞳孔の挙動を計測することにより[4],
情動刺激反応を明らかに出来る可能性がある.
4.2
3000ms
3000ms
Sound
500ms
500ms
Rest
500ms
500ms
10~20ms
1000ms
100ms
100ms
90s
90s
Gaze point
方法
情 動 刺 激 と し て 用 い る 刺 激 画 像 は International
Attractive Picture System から Neutral 画像 20 枚,
Negative 画像 20 枚を選択した.Neutral 画像と Negative
画像を 5 枚ずつ,計 10 枚の画像をランダムに提示し,
刺激提示前後 10 秒間の瞳孔径,皮膚電気反応,心拍数
を計測した.1 枚の画像を提示するプロトコルを Fig.7
Stimuli
に示す.また,対光反射を避けるため,各画像を提示
した場合の照度を合わせた(160Lux)
.Subliminal 刺激
Masking
と Supraliminal 刺激の確認のため,計測後に何が見え
たのか,画像を見てどう感じたのかを質問した.目か
ら提示装置までの距離は 50cm とした.
4.3
結果
Gaze point
した結果を示す.横軸はフレーム数,縦軸は瞳孔径を
Five kinds of images were presented before the
experiment. Because there is an individual variation at
intervals of subliminal stimulation, a subliminal interval
was measured for each subject. Then subliminal interval
was decided for each subject.
pixel 単位で示している.グラフ中のラインは刺激提示
Fig.7 Experimental protocol
Fig.8 に Negative 画像と Neutral 画像を Supraliminal
提示と Subliminal 提示した場合の瞳孔変化を 5 回平均
Annual Report
the Research Institute for Science and Technology
Tokyo Denki University
Pupil diameter[pixels]
東京電機大学
総合研究所年報
験では,禁煙開始前から禁煙期間中の瞳孔の挙動を解
Stimuli
250
析する.
N=5
200
5.2
150
100
50
0
0
100
200
Subliminal
コントロールとして喫煙経験の無い成人男性も対象と
Supraliminal
した.瞳孔の計測は禁煙前に 1 回と禁煙開始から 2 時
300
400
500
frame
度についてのアンケート(SDS)にもかいとうしても
Stimuli
250
らった.瞳孔計測時に行ったタスクは,N-back task と
N=5
200
間ごとに 6 回行い,2 日目以降は 1 日 1 回の計測を行
った.1 回の計測では,安静時とタスク遂行時の瞳孔
の挙動を計測するとともに,主観的な不安・うつの尺
(a) A neutral image was displayed
Pupil diameter[pixel]
方法
様々な喫煙習慣を持つ者を対象として実験を行った.
呼ばれるワーキングメモリを使用するタスクであり,
150
瞳孔の計測とともに,そのスコアも算出した.
100
5.3
Subliminal
50
安 静時およびタ スク遂行時の 瞳孔径変化の 例を
Fig.9 に示す.タスク遂行時(Fig.9(a))には,タスク
Supraliminal
0
0
100
200
300
400
結果
500
frame
(b) A Negative image was displayed
Fig.8 Average response of pupil diameter caused by
emotional stimulus
のタイミングを示す.刺激提示後一瞬散大し,その後
の問題を表示するタイミングに同期した一定のリズム
が観察されたが,安静時(Fig.9(b))には特定の周波数
の変動は観察されなかった.これは,連続ウェーブレ
ット変換の結果を見ても明らかである.これは,タス
クによる精神的負荷により,瞳孔の緊張と弛緩が繰り
返された結果であると考えられる.次に,タスクに同
期した瞳孔変化が,禁煙によるストレスでどのような
すぐに縮瞳した. Subliminal 刺激後も, Supraliminal
影響を受けたかを示す一例を Fig.10 に示す.禁煙開始
刺激後とほぼ同じタイミングで瞳孔が散大した.また,
に見られた 1.5Hz と 0.65Hz 付近の瞳孔揺らぎは,禁煙
散大量は Supraliminal 刺激後の散大量より増大した.
開始徐々に崩れる場合が出現した.しかし,このリズ
今回の実験では,Negative 画像と Neutral 画像の明確な
ムの崩れは禁煙開始後数日経つと徐々に消え,再び規
差は表れなかった.
則的な揺らぎが観察された.この被験者の主観的うつ
尺度は,禁煙開始後から 10 時間後までうつの度合いが
5.禁煙実験
5.1 実験の概要
強くなり(正常値の範囲内で)
,その後 7 日目まで減少
し,禁煙中止まで減少した値を保っていた.揺らぎの
喫煙は生体にさまざまな弊害を及ぼすことが以前か
崩れの発生時期とうつ尺度の強い時期が同期しており
ら指摘されている[5][6].しかし 1999 年に厚生労働省が
関連が認められた.タスクの成績や反応時間には顕著
発表したデータによれば,日本の成人男性の喫煙率は
な変化は見られなかった.タスクと比較して,瞳孔反
52.8%,女性は 13.4%である.これは各国と比較する
応の方がより敏感であると考えられるが,今回の実験
と特に男性の場合においては非常に高い喫煙率である.
では全ての被験者において同様の結果とはならず,さ
また,1 人当たりの喫煙本数を調査(1990 年)した結
らに詳細な解析が必要であると考えられる.
果によれば,最も多く喫煙しているのは,ギリシャで
約 2,800 本.次いで,日本の年間約 2,500 本以上となっ
6.おわりに
ている.2003 年から健康増進法が施行され喫煙に対す
本研究では,精神科疾患の診断支援を目指し瞳孔計
る規制が厳しくなっていることもあり,禁煙を希望す
側を行うシステムを開発した.瞳孔の挙動が精神活動
る喫煙者は増加している.しかしニコチン依存の影響
を反映するものとして有効であるか検討するため,さ
もあり,殆どの喫煙者にとって禁煙は簡単に実現する
まざまな精神活動時の瞳孔を計測した.その結果,瞳
ものではない.このため病院や Web を利用した禁煙支
孔はストレスや自律神経活動の変化を反映し,その挙
援プログラムも多く存在する.ところが禁煙時の生体
動にも変化が起こることが認められた.しかし,瞳孔
反応に関しては明らかでない面も多く,効果的な禁煙
の挙動の何処に着目するのが最も有効であるかという
支援のためには,禁煙時に生じる生体の変化について
ところまで明らかにはなっていない.臨床現場で用い
基本的なデータを明らかにする必要がある.
ることができるようなシステムに改良し,精神科疾患
以前から,喫煙者の瞳孔の挙動には,非喫煙者には
見られない挙動が含まれているとの報告がある.本実
と瞳孔の関係について解析することが今後の課題であ
る.
加藤綾子,福井裕樹,福井康裕
.
10
0
-10
-20
0
1.6
3.2
4.8
Time [sec]
6.4
0.50
0.59
0.78
1.13
2.03
10.10
Amplitude[pixcels]
20
Frequency[Hz]
Frequency[Hz]
Amplitude[pixcels]
Questions were displayed
0
1.6
3.2
4.8
6.4
Time [sec]
(a) When task is enforced
20
10
0
-10
-20
0
1.6
0.50
0.59
0.78
1.13
2.03
10.10
0
1.6
3.2
4.8
Time [sec]
6.4
3.2
4.8
Time [sec]
(b)At the rest
6.4
Frequency[Hz]
0.50
0.59
0.78
1.13
2.03
10.1
0.50
0.59
0.78
1.13
2.03
10.1
0
1.6
3.2
4.8
Time [sec]
6.4
6 hours
0
0
1.6
1.6
3.2
4.8
Time [sec]
6.4
2 days
Frequency[Hz]
Start smoking cessation
0.50
0.59
0.78
1.13
2.03
10.1
0
Frequency[Hz]
Frequency[Hz]
0.50
0.59
0.78
1.13
2.03
10.1
0.50
0.59
0.78
1.13
2.03
10.1
0
Frequency[Hz]
Frequency[Hz]
Fig.9 Pupil behavior during task and rest
2 hours
1.6
3.2
4.8
Time [sec]
6.4
10 hours
1.6
3.2
4.8
Time [sec]
0.50
0.59
0.78
1.13
2.03
10.1
0
1.6
3.2
4.8
3.2
4.8
6.4
Time [sec]
Time [sec]
Fig.10 Change of pupil behavior during smoking cessation
6.4
10days
6.4
康裕:情動認知実験に適した瞳孔径測定システムの開
参考文献
[1]
M.A. Philips, E.Szabadi, C.M. Bradshaw, Comparison
発,生体医工学,Vol.41,Suppl.1,496,2003
[5]
Monique Erint, Stephen J. Heishman, Loretta
of the effects of clonidine and yohimbine on spontaneous
Spurgeon, and Edythe D. London, Smoking Hsitory and
papillary flustuations in healthy human volunteers,
Nicotine Effects on Congnitive Performance,
Psycopharamacology, Vol. 150, 85-89, 2000
Neuropsychopharmacology, Vol.25, No.3, 2001
[2]
福井裕輝,村井俊哉,加藤綾子,小渕寛太,福井
[6]
Mustafa al’ Absi, Todd Amunrud, Lorentz E. Wittmers,
康裕:非装着型瞳孔計の開発とその応用―断眠時の瞳
Psychophysiological effects of nicotine abstinence and
孔パラメータへの影響―,生体医工学,Vol.41, No.1,
behavioral challenges in habitual smokers, Pharmacology,
2003
Biochemistry and Behavior, Vol.72, 707-719, 2002
[3]
DAPHNE P. DIONISIO, ERIC GRANHOLM,
WILLIAM A.HILLIX, WILLIAMF.PERRINE,
Differentiation of deception using papillary responses as an
index of cognitive processing, Psychophysiology,
30,205-211,2001
[4]
加藤綾子,中村裕一,福井裕輝,村井俊哉,福井
なお、本研究は東京電機大学総合研究所研究 Q
02S-06 として行ったものである。
ダウンロード

Document