統計力学と情報処理
---自由エネルギーの生み出す新しい情報処理技術--2003年8月12日後半
東北大学 大学院情報科学研究科
田中 和之
[email protected]
http://www.statp.is.tohoku.ac.jp/~kazu/
第48回物性若手研究者夏の学校
1
この時間の主な内
容
ギブス分布と自由エネルギー
自由エネルギーとカルバックライブラー情報量
イジング模型と平均場近似
カルバックライブラー情報量と平均場近似
第48回物性若手研究者夏の学校
2
自由エネルギーが何故情報処理に有効?
多くの情報処理は大規模確率モデル
計算困難の問題
近似で良いから,現実的計算時間で
近い結果が得られれば満足.
統計力学の歴史は常にシステムサイズ
無限大との戦いの歴史である.
豊富な経験
第48回物性若手研究者夏の学校
3
ギブス分布と自由エネルギー
PrA1  a1, A2  a2 ,, AN  aN   Pa1, a2 ,, aN 
PrA  a  Pa 
ギブス分布
分配関数
1
P a   exp  E (a ) 
Z
自由エネルギー
A  ( A1 , A2 ,, AN )
Z   exp E a
a


F   ln Z   ln  exp E a
 a

第48回物性若手研究者夏の学校
4
統計力学における基本原理
1
ギブス分布 P a   exp  E (a ) 
Z
は自由エネルギー最小の変分原理を満たし,
その最小値が – ln Z となる.


minF [Q]  Qa   1  F [ P]   ln Z
Q
a


F[Q]   EaQa   Qaln Qa
a
a
第48回物性若手研究者夏の学校
5
自由エネルギー最小の変分原理の具体的計算


minF [Q]  Qa   1  F [ P]   ln Z
Q
a






LQ   F Q      Qa   1   E a   ln Qa Qa      Qa   1
 a
 a
 a

LQ
 E a   ln Qa   1    0
Qa 
Qˆ a   exp Ea    1
exp E (a) 
ˆ
Qa  
 exp E (a)
規格化条件
第48回物性若手研究者夏の学校
a
 P(a)
6
カルバック・ライブラー情報量と自由エネルギー
 Qa  
  0
DQ P   Q(a) ln
a
 Pa  

 Qa   0,

Qa   Pa   DQ P  0

a Q(a)  1
1
P a   exp  E (a ) 
Z
D[Q | P]   Q(a )E a    Q(a ) ln Qa   ln Z
f

f
F [Q ]
 F [Q]  ln Z
自由エネルギーが最小になるとき,カルバック・ライブラー情報量も最小となる.
第48回物性若手研究者夏の学校
7
イジング模型と平均場近似
s  sx, y x, y 
sx, y  1
1
P s   exp  E ( s ) 
Z
Es     Bx, y sx, y  C sx, y sx1, y  sx, y sx, y 1 
( x , y )
y
問題:
M x, y   sx, y Ps 
を計算せよ.
s
2|Ω| 通りの和を計算する
のは困難.
第48回物性若手研究者夏の学校

x
8
イジング模型と平均場近似
Es   
 B
( x , y )
x, y
sx, y  C sx, y sx1, y  sx, y sx, y 1 
sx, y  M x, y sx', y'  M x', y'   0
のとき確率が非常に大きくなると仮定
sx, y sx', y'  M x, y sx', y'  M x', y' sx, y  M x, y M x', y'
 Bx , y  Cm x 1, y  Cm x 1, y 
sx, y
E s     

 Cm x , y 1  Cm x , y 1 
( x , y ) 
第48回物性若手研究者夏の学校
9
イジング模型と平均場近似
1
Ps   exp E (s)    Px , y s x , y 
Z
( x , y )
Es  
 B
( x , y )
x, y
 CM x1, y  CM x1, y  CM x, y 1  CM x, y 1 sx, y
確率変数 Sx,y は互いに独立
M x, y   sx, y Ps   tanhBx, y  C M x1, y  M x1, y  M x1, y  M x1, y 
s

M  M x, y ( x, y)  


 
  
に対する固定点方程式 M   M
第48回物性若手研究者夏の学校
10
固定点方程式と反復法
固定点方程式
反復法
繰り返し出力を入力に入れることにより,
固定点方程式の解が数値的に得られる.
 
 
 


M1   M 0


M 2   M1


M3   M2

 
*  *
M  M
yx
y
M1
0
y  (x)
M * M1
第48回物性若手研究者夏の学校
M0
x
11
平均場近似の情報論的理解


Q(s )    Qx , y s x , y  と
 ( x , y )

1
Ps   exp  E s 
Z
の距離をカルバック・ライブラー情報量
 Qs  

DQ P   Q( s) ln
s
 Ps  
で計って最小になるように周辺確率分布
を決定する
Qx , y ( s x , y ) 
 Q s 
 
Qx, y sx, y
s \ sx ,y
第48回物性若手研究者夏の学校
12
平均場近似におけるカルバックライブラー情報量
 Qs  

DQ P   Q( s) ln
 Ps  
s


Q(s )    Qx , y s x , y 
 ( x , y )


Qx , y ( s x , y ) 
 Q s 
s \ sx ,y

DQ P  FMF Qx, y   lnZ 



 
  
  Qx , y   Bx , y  C    Qx 1, y      Qx , y 1    
  1
 

  1



1






 
FMF [{Qx , y }]    

( x , y ) 

  Qx , y   ln Qx , y  
  1

第48回物性若手研究者夏の学校
13
カルバック・ライブラー情報量の最小化と
平均場方程式




ˆ
Qx, y    arg minDQ P Qx, y    1, ( x,y)  
Qx , y 






条件付き変分
 

  


exp  Bx, y  C    Qˆ x1, y    Qˆ x1, y    Qˆ x, y 1    Qˆ x, y 1     

  1



 
Qˆ x, y   
 

  

 exp   Bx, y  C   Qˆ x1, y    Qˆ x1, y    Qˆ x, y1   Qˆ x, y1    
 1
  1

 




{Qx,y } に対する固定点方程式
第48回物性若手研究者夏の学校
14
イジング模型における周辺確率分布
の直交関数展開
s  sx, y x, y 
sx, y  1
Qx , y ( s x , y ) 
 Q s 
s \ sx ,y
mx , y   s x , y Q s  
s
1 1
Qx , y s x , y    mx , y s x , y
2 2
s
s x , y  1
 Qx , y s x , y   a  bsx , y
x, y
Qx , y s x , y 
( s x , y  1)
2
1
1
 Q s    a  bs  2a  a  2  Q s   2
s x , y  1
s
s x , y  1
x, y
x, y
x, y
x, y
s x , y  1
Qx , y s x , y  
s x , y  1
x, y
x, y
1
 s a  bs  2b  b  2  s
s x , y  1
x, y
第48回物性若手研究者夏の学校
x, y
s x , y  1
x, y
Qx , y s x , y  
1
mx , y
2
15
通常の平均場方程式へ
1 1 ˆ
ˆ
Qx , y s x , y    M x , y s x , y
2 2


Mˆ x, y  tanh Bx, y  C Mˆ x1, y  Mˆ x1, y  Mˆ x1, y  Mˆ x1, y
固定点方程式
ˆ


s
P
s

M
 x, y
x, y 
s
ˆ s 
s
Q
 x, y x, y x, y
s x , y  1
第48回物性若手研究者夏の学校
16

イジング模型の確率変数 Sx,y の期待値



Mˆ x, y  tanh Bx, y  C Mˆ x1, y  Mˆ x1, y  Mˆ x1, y  Mˆ x1, y
Bx, y  h / T
1

C  J /T

exp
hsx , y  J s x , y s x 1, y  s x , y s x , y 1 

T ( x , y )


P s  
1

hsx, y  J sx, y sx1, y  sx, y sx, y 1 
s exp T ( x
, y )


なら
Mˆ x , y は (x,y) によらなくなる.
 h 4J 
lim  s x , y Ps   m  tanh 
m
||
T T 
s
mに対する固定点方程式
第48回物性若手研究者夏の学校
17
イジング模型の確率変数の期待値
J


exp
 T  s x , y s x 1, y  s x , y s x , y 1 
( x , y )




P s 
J


exp

 T  s x , y s x 1, y  s x , y s x , y 1 
s
 ( x , y )

(a)
(b)
(c)
(d)
lim  sx, y Ps 
||
s
平均場近似(ワイス近似)
ベーテ近似
クラスター変分法(菊池近似)
厳密解(L. Onsager)
h0
T/J
第48回物性若手研究者夏の学校
18
ここまでのまとめ
統計力学と情報処理の不思議な共通点
ギブス分布と自由エネルギー.
自由エネルギーとカルバックライブラー情報量.
平均場近似の情報論的理解.
明日の予定
ベイズ統計を用いた確率的画像処理
ベーテ近似を用いた確率的画像処理アルゴリズム
第48回物性若手研究者夏の学校
19
ダウンロード

2003 年 8 月 12 日午前中 後半スライド