システムモデルと確率過程
東京工業大学 機械制御システム専攻
山北 昌毅
よく用いられるシステムのモデル
(計算機で信号をサンプルする際)
AR(Auto Regressive)モデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n ),
(  i  0, i  0,
, n  1)
MA(Moving Average)モデル
y ( k )   n 1e( k  1) 
  0 e( k  n ),
( i  0, i  0,
, n  1; u (i )  e(i ), i  k  1,
, k  n)
ARX(exogenous)モデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n )   n 1u ( k  1) 
  0 u ( k  n )  e( k )
ARMAモデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n )   n 1e( k  1) 
  0e(k  n )
ARMAXモデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n )   n 1u ( k  1) 
  0u ( k  n )   n 1e( k  1) 
  0e(k  n )
工学系で対象にされるシステムは連続系のシステム。本当にこれで表現できるの?
第1回講義の内容
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
状態空間表現とLTIシステム
LTIシステムと伝達関数・可観測正準系
LTIシステムの解とシステムの離散化
可観測正準系と入出力モデル
Z変換・パルス伝達関数・シフトオペレータ・微分オペレータ
式誤差モデル・出力誤差モデル
伝達関数とマルコフパラメータ
確率過程
エルゴード性
確率変数の収束
推定量の性質
状態空間表現とLTIシステム
u(t )
y(t )
d
システム
 x  f ( x, u, t ) 状態方程式
 dt
(ベクトル値関数の一階の常微分方程式)

 y  h ( x, u , t )
観測方程式
x(t )  R n , u (t )  R m , y (t )  R p
 x1 (t ) 
 x (t ) 
LTI(Linear Time Invariant) システム
2




x (t ) :
 x  Ax  Bu   






xn (t ) 





 y  Cx  Du 

 n
 A1 j x j 
 j 1
 n
 A2 j x j 
 j 1

 n

 Anj x j 
 j 1

B1 j u j 
j 1

m

B2 j u j 
j 1



m

Bnj u j 
j 1

m
m
 n

  C1 j x j   D1 j u j 
j 1
 j 1

m
 n

  C2 j x j   D2 j u j 
j 1
 j 1



 n

m


A
x

B
u
  pj j  pj j 
j

1
j

1


LTIシステムのブロック線図表現
D
u
x
B


A
x
C

y
状態空間表現(1)

1.厳密な数学モデル
(ml 2  I )    mgl sin( )  
2.近似数学モデル
(ml 2  I )    mgl  
状態空間表現(2)
 x1   
x    :  
 x2   
1.厳密な数学モデル
x2
 x1    

x  

2
x
(


x

mgl
sin(
x
)


)
/
(
ml

I
)
2
1
 2    

y    x1
状態空間表現(3)
2.近似数学モデル
x2
 x1    

x  

2
x
(


x

mglx


)
/
(
ml

I
)

2
1
 2   

y    x1

0
1
0

  x1  



x  




2
2
2
 mgl / (ml  I )  / (ml  I )   x2  1 / (ml  I ) 


 y  1 0  x1   [0]
 x 

 2

ラプラス変換の性質
( 6 ) 合成則
( 1 ) 線形性
L  f * g  L  f  L  g
L c1 f1  c2 f 2   c1 L  f 1  c2 L  f 2 
t
ただし 、 f * gを  f (t   ) g ( )dと する 。
( 2 ) 相似則
0
L  f (at ) 
1 s
F   , F ( s ) : L  f 
a a
( 畳み込み積分)
( 7 ) 反転公式
( 3 ) 推移則
L  f (t   )  e  s L  f 


L  f (t   )  e s L  f    f (t )e  st dt
0
( 4 ) 積分法則
L
 f ( )d   1s L  f 
t
0
( 5 ) 微分法則
 df 
L    L  f (1)   sL  f   f (0)
 dt 
n 1
L  f ( n )   s n L  f    f ( k ) (0) s n 1 k
k 0
1 c 
F ( s )e st ds

c

2
( 8 ) 初期値の定理
f (t ) 

f (0 )  lim sF ( s )
s 
( 9 ) 最終値の定理
f ()  lim sF ( s )
s 0
ただし 、 sF ( s )は閉複素右半面で解析的
( 1 0 ) パーセバルの定理

2
1 
f
(
t
)
dt

F ( j ) d 
0
2 
ただし 、 F ( s )はs  jで定義さ れる も のと する
2
良く使うラプラス変換と逆変換
f
L f 
 (t )
1
U (t )(step func.)
eat
t n eat
1
s
1
sa
n!
( s  a) n 1
f
L f 
sin t

s2   2
s
cos t
s2   2
 cos   ( s  a) sin 
at
e sin(t   )
( s  a)2   2
n!
n
t
s n 1
ラプラス変換の利用法
時間領域での表現
時間領域での表現
畳み込み積分
ラプラス変換
逆ラプラス変換
周波数領域での表現
周波数領域での表現
掛け算
状態空間表現と伝達関数行列
 x  Ax  Bu

 y  Cx  Du

( A, B, C , D)が定数行列であ る と き 、
時不変線形( LTI : Li near Ti me I nvar i ant ) シス テム と いう
x(0)  0の下で両辺を Lapl ace変換する と
sX ( s )  AX ( s )  BU ( s )  X ( s )  ( sI  A) 1 B
Y ( s )  CX ( s )  DU ( s )  C ( sI  A) 1 BU ( s )  DU ( s )
: H ( s )U ( s),
H ( s ) : C ( sI  A) 1 B  D
可観測正準系(1)
L T I シス テム の座標変換
x  Tx ( xは新し い状態変数ベク ト ル) を 用いて
xを 用いてシス テム を 表現する こ と を シス テム の
座標変換と いう
Tx  ATx  Bu  x  T 1 ATx  T 1 Bu
 x  Ax  Bu



 y  Cx  Du  y  CTx  Du
 y  CTx  Du
 x  Ax  Bu

, ( A : T 1 AT , B : T 1B, C : CT )
 y  Cx  Du
可観測正準系(2)
[ Fact ] 完全可観測な1入力1 出力シス テム は以下のよ う に
座標変換する こ と ができ る

0 0

1 0


 x  0 1







 y   0 0
0
0
0
0
0
1
0
a0 
 b0 
 b 
a1 
 1 
x 
u



 an 1 
bn  2 
 bn 1 
an 
1 x  du
連続系の時間領域の入出力表現
y  xn
y  xn  xn 1  an 1 xn  bn 1u  xn 1  an 1 y  bn 1u
y  xn  2  an  2 y  an 1 y  bn  2u  bn 1u
y ( n 1)  x1  a1 y 
 an  2 y ( n 3)  an 1 y ( n  2)  b1u  bn  2u 
 bn 1u ( n  2)
 an  2 y ( n  2)  an 1 y ( n 1)  b0u  b1u 
 bn 1u ( n 1)
y ( n )  a0 y  a1 y 
y ( n )  an 1 y ( n 1)  an  2 y ( n  2) 
 a1 y  a0 y  bn 1u ( n 1)  bn  2u ( n  2) 
 b1u  b0u
(注意:微分方程式表現で入力の微分項があっても実現には微分器は不要)
両辺を y (0)  y (0) 
( s n  an 1s n 1 
 y ( n 1) (0)  0の下でLapl ace変換する と
 a1s  a0 )Y ( s )  (bn 1s n 1 
bn 1s n 1   b1s  b0
Y ( s)
: H ( s )  n
U (s)
s  an 1s n 1   a1s  a0
 b1s  b0 )U ( s )
状態方程式の一般解
物理システムは連続系のシステムとして表現されることが普通
 x(t )  Ax(t )  Bu (t ), x(0)  x0

 y(t )  Cx(t )  Du (t )
t
x(t )  e x0   e
At
0
A ( t  )
Bu ( )d (一般解)
2
3
(
At
)
(
At
)
At
e : I  At 

 ...
2
3!
d At
A3t 2
( At )2
2
( e )  0  A A t 
... A ( I  At 
...)  Ae At
dt
2!
2
(遷移行列)
一般解の証明
公式
t 
d t
h(t , )d  h(t , t )  
h(t , )d

0
0
dt
t

t
d
d At
x(t ) 
e x0   e A(t  ) Bu ( )d
0
dt
dt

t
 Ae x0  A e A( t  ) Bu ( )d  Bu (t )
At

0
t

 A e x0   e A(t  ) Bu ( ) d  Bu (t )
At
0
 Ax(t )  Bu (t )
入出力関係の畳み込み積分表現
t
x(t )  e At x0   e A(t  ) Bu ( )d
0
y (t )  Cx(t )  Du (t )
x0  0と 仮定する と
t
t
0
0
y (t )   Ce A(t  ) Bu ( )d  Du (t )   H (t   )u ( )d
H (t ) : Ce At B  D (t )
A2t 2 A3t 3
 C ( I  At 

  ) B  D (t )
2!
3!
t2
t3
2
3
 CB  CABt  CA B  CA B   D (t )
2!
3!
t2
t3
: H1  H 2t  H 3  H 4   H 0 (t )
2!
3!
H iを 連続系のマルコ フ パラ メ ータ と いう
マルコフパラメータと伝達関数の関係
H ( s ) : C ( sI  A) 1 B  D
 C ( I  A / s ) 1 / sB  D
 C ( I / s  A / s 2  A2 / s 3 
1
)B  D
2
3
1
1
2 1
 CB    CAB    CA B   
s
s
s
1
2
3
1
 D 
s
0
1
1
1
1
: H1    H 2    H 3     H 0  
s
s
s
s
H iは i個の積分器を 通っ た後の重みを 表す
n
 1  t
L  n 1  
 s  n!
1
2
t
L1  H ( s )  CB  CABt  CA2 B 
2!
 D (t )
0
システムの離散化(1)
u(t )
u (k )
0
12 3
k
0
ZOH
D/A
y(t )
T2T 3T
0
t
プラント
y (k )
T2T 3T
t
0
12 3
A/D
計算機
計算機でy(k)を観測してu(k)を決定することになる
k
システムの離散化(2)
kT
x(kT )  e A( kT ) x0   e A( kT  ) Bu ( )d
0
( k 1)T

x((k  1)T )  e A(( k 1)T ) x0 
e A(( k 1)T  ) Bu ( )d
0
kT
( k 1)T
0
kT
 e AT e A( kT ) x0  e AT  e A( kT  ) Bu ( ) d 
( k 1)T

 e AT x( kT ) 
e A(( k 1)T  ) d Bu (kT )
kT
 x( kT )  u ( kT )
T
 : e AT ,  :  e A d B
0

e A(( k 1)T  ) Bu ( ) d
システムの離散化(3)
 x  Ax  Bu

 y  Cx  Du
+
T
x (( k  1)T )   x ( kT )  u ( kT )
y ( kT )  Cx ( kT )  Du (kT )
T
 : e AT ,  :  e A d B
0
離散時間系の時間領域の入出力モデル

 o 
0
 0 

1 0

  


1



 1 
 Ao   1 ...
  x(k  1)  A0 x(k )  b0u (k )
.  , b0 = 





.



n2 

 n  2   y (k )  c0 x(k )


  n 1 

1  n 1 

 co   0 0 ... 0 1 (可観測正準系)
y (k )  xn (k )
 xn 1 (k  1)   n 1 xn (k  1)   n 1u (k  1)
 xn 1 (k  1)   n 1 y (k  1)   n 1u (k  1)
 xn  2 (k  2)   n  2 xn (k  2)   n  2u (k  2)   n 1 y (k  1)   n 1u (k  1)
 xn  2 (k  2)   n  2 y (k  2)   n  2u (k  2)   n 1 y (k  1)   n 1u (k  1)
 x1 (k  n  1)  1 y (k  n  1)  1u (k  n  1) 
  n 1 y (k  1)   n 1u (k  1)
 0   0 y (k  n)   0u (k  n)  1u (k  n  1) 
  n 1 y (k  1)   n 1u (k  1)
  n 1 y (k  1)   n  2 y ( k  2) 
  0 y (k  n)   n 1u (k  1) 
  0u ( k  n)
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n )   n 1u ( k  1) 
  0u ( k  n )
AR(Auto Regressive)モデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n ),
(  i  0, i  0,
, n  1)
MA(Moving Average)モデル
y ( k )   n 1e( k  1) 
  0 e( k  n ),
( i  0, i  0,
, n  1; u (i )  e(i ), i  k  1,
, k  n)
ARX(exogenous)モデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n)   n 1u ( k  1) 
  0 u ( k  n)(  e( k ))
ARMAモデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n )   n 1e( k  1) 
  0e(k  n )
ARMAXモデル
y ( k )   n 1 y ( k  1)   n  2 y ( k  2) 
  0 y ( k  n )   n 1u ( k  1) 
  0u ( k  n )   n 1e ( k  1) 
  0e(k  n )
Z変換・パルス伝達関数、シフト・微分オペレータ
数列{y(k),k=0,1, }のZ変換

Y ( z ) :  y (k ) z  k
k 0
関数y(t)(t  0)のラプラス変換

Y(s)=  y (t )e  st dt
0
パルス伝達関数=ゼロ状態での入力のZ変換 伝達関数=ゼロ状態での入力のラプラス変換と
と出力のZ変換の比
安定性:極が複素単位円内に存在する
出力のラプラス変換の比
安定性:極が複素左半平面に存在する
q  z , q 1  z 1 (初期関数値を無視)
q  s, q 1  s 1
qy (k )  y (k  1), q 1 y (k )  y (k  1)
sy (t )  y (t ), s 1 y (t )   y ( )d
t
0
式誤差モデル・出力誤差モデル(BJモデル)(1)
式誤差モデル:ダイナミックスの前に外乱が入る構造
(式の誤差として外乱が入る構造)
C ( z ) w (t )
B ( z )u (t )
1
A( z )
y (t )
y ( k )   n 1 y ( k  1) 
 1 y ( k  n  1)   0 y (k  n)   n 1u (k  1) 
  0 u (k  n)  w(t )
y ( k )   n 1 y ( k  1) 
 1 y ( k  n  1)   0 y (k  n)   n 1u (k  1) 
  0 u (k  n)  w(t )
出力誤差モデル:ダイナミックスの後に外乱が入る構造
(出力に誤差が入る構造)
w (t )
B ( z )u (t )
1
A( z )
y (t )
B ( z )u (t )
1
A( z )
C ( z ) w (t )
1
D( z )
y (t )
BJ(Box Jenkins)モデル
式誤差モデルはBJモデルの特殊な場合!
D( z )  A( z )
パラメータ同定用モデル
ARXモデル
y (k )   T ( k  1)  e(k )
 T ( k  1) : [ y ( k  1), y ( k  2),
 T : [ n 1 ,
,  0 ,  n 1 ,
, y ( k  n), u ( k  1),
, u ( k  n)]
, 0 ]
 (k  1)を回帰ベクトルと呼ぶ
NARXモデル
y ( k )  h ( y ( k  1), y ( k  2),
, y ( k  n ), u ( k  1),
, u ( k  n ))
NARMAXモデル
y ( k )  h ( y ( k  1), y ( k  2),
, y ( k  n ), u ( k  1),
, u ( k  n ), e ( k  1),
, e ( k  n ))
パルス伝達関数とマルコフパラメータ(1)
y (k )   n 1 y (k  1)   n  2 y (k  2) 
  0 y (k  n)   n 1u (k  1) 
  0u ( k  n)
初期条件ゼロの下で両辺をZ変換する
ただし、数列y (k )のZ変換は

Z  y (k ) : Y ( z ) :  y (k ) z  k
k 0

Z  y (k  1)   y (k  1) z
k
k 0

  y (k ') z
 k ' 1
k '1

zy (0)  zy (0)   y (k ') z  k '1
k '1



k ' 
  zy (0)  z  y (0)   y (k ') z    zy (0)  z  y (k ') z  k '   zy (0)  zY ( z )
k '1
k ' 0



Z  y (k  1)   y (k  1) z
z
k 0
n
  n 1 z n 1 
k

 y (k  1) z
k
k 1

  y (k ') z  k '1 z 1Y ( z )
k ' 0
 1 z   0  Y ( z )   bn 1 z n 1 
bn 1 z n 1  b1 z  b0
Y ( z)

: H ( z )
U ( z ) z n   n 1 z n 1   1 z   0
b1 z  b0 U ( z )
パルス伝達関数とマルコフパラメータ(2)
x(k  1)  x(k )  u (k )
y (k )  Cx(k )  Du (k )
u (0)  1, u (k )  0(k  1)の入力を上式に入れる
y (0)  D, x(1)  
y (1)  Cx(1)  C , x(2)  
y (2)  Cx(2)  C , x(3)   2
y (n)  Cx(n)  C  n 1
H 0 : D, H i : C  i 1(i  1)をマルコフパラメータという
H iはiステップ遅れて出力に影響を与える重みとなっている
パルス伝達関数とマルコフパラメータ(3)
 x(k  1)  x(k )  u (k )

 y (k )  Cx(k )  Du (k )
x(0)をゼロとして両辺をZ変換すると
 zX ( z )  X ( z )  U ( z )

Y ( z )  CX ( z )  DU (k )
Y ( z )   C ( zI   ) 1   D U ( z )
Y ( z)
)
 C ( zI   ) 1   D : H ( z(パルス伝達関数)
U ( z)
2
1
2
1
1
1
C ( zI   )   D  C     C     C 2   
z
z
z
1
1
2
2
1
1
1
 H 0  H1    H 2    H 3   
z
z
z
1
 D 
z
0
確率過程(1)
水の上の花粉の軌跡は最初の位置が同じでも、‘熱的ノイズ’によってその軌跡は
非常に異なるものとなる。このような現象を数学的に取り扱いたい。
tは時間で、iは何回目の観測かを示すと考える。
これを数学的に、p(t ,  )のtを固定したとき、を
px (t )
p (t , 1 )
確率パラメータとしてもつ確率変数と考える。
p x (t , 1 )
p x (t ,  2 )
py
p (t ,  2 )
t
px
を固定して、p(t ,  )をtのみの関数と考えたとき、
見本過程という。(実際に観測されるのは見本過程
の一つである!)
確率過程(2)
P ( )
数学的には、 確率過程と は時間tを 変数に持つ確率変数
dP( )
の集合( 族) と 定義さ れる 。
Y (t ,  ), t  T  (Tは非負の整数と か、 実数空間を と る )
   d
上記の設定だけで平均値を 定義し てみよ う 。 だたし 、 の軌道が生成さ れる
確率を P( )によ り 定義する 。 ま た、 の取り う る 全体集合を 形式的に と する 。
P( )


E Y (t ) :  Y (t ,  )dP( )    Y (t ,  )
d  :  Y (t ,  ) p( )d  



 

こ のと き 、 いっ たい全体集合はど のよ う な集合で, ど う やっ て全体で積分を
実行し たら いいだろ う か?
確率過程(3)
こ れに対し て答えを 与える のが次のDoob-Dynki nの補題であ る 。
[ 補題]( Doob  Dynkin)
関数X , Y :   R nを 考える 。 X が確率変数であ る と する 。
こ の時、 Yが確率変数であ る ための必要十分条件は、 R n上
での確率変数g : R n  R nが存在し て、 以下の関係を 満たす
こ と であ る 。
Y ( )  g ( X ( ))
確率過程(4)
こ の補題を 使っ て x  X ( )  R nと し 、   X 1 ( x)と し た場合には次のよ う になる 。
( ただし 、 X 1は逆関数ではなく て集合関数と し て一般には定義)


Y ( )dP( )   n g ( X ( ))dP( X 1 ( x))   n Y ( x)dP ( x)
R
R
ただし 、
Y ( x) : g ( x)


P X 1
1
dx
dP ( x) : dP( X ( x)) 
 x

つま り 、 での確率分布関数から xでの確率分布関数( 確率密度関数)
が誘導さ れる 。
従っ て、 の分布関数を 考えなく と も 、 xの分布関数を 考えて
期待値計算を 行っ て良いこ と になる 。 ( つま り 、 Y ( x)の実現値が
観測さ れている と 考える )
確率過程(5)
こ こ で、 上記の結果を 次の期待値計算に適用する 。
E Y (t ) :  Y (t ,  )dP( )   Yt ( ) dP( )


xt  X t(  ) , Yt(  )  g ( X t ( ))と し 、  =X t1 ( xt )と し て考え 、 前と 同様に変形する 。
E Y (t ) :  Y (t ,  )dP( )   n g ( X t ( )) dP( X t 1 ( xt ))   n Yt ( xt )dP ( xt )

R
R
こ こ で、
Yt ( xt ) : g ( xt )

1
dPt ( xt ) : dP ( X t ( xt ))
と し 、 y (t ) : yt  Yt ( xt ), xt =Yt 1 ( yt )  Yt 1 ( y (t ))と 考え る と
E Y (t )   n y (t )dPt (Y 1 ( yt ))   n y (t )dPt ( y (t ))
R
R
と なっ て、 y (t )の分布関数さ え 分かれば計算可能と なる 。
ただし 、 nの大き さ は考え る 問題によ っ て異な る 。 たく さ んの時刻の結合( 同時) 確率分布を 考え る
と nは非常に大き く なる !
確率過程(6)
例
今、 x(t ,  )の平均値を 計算し たいと する 。 標本信号の考え 方では
E{x(t )}   x(t ,  )dP ( )

と し なければな ら ないが、 標本信号がど のよ う な確率で生成さ れ
る かは分ら ない。 こ れに代わっ て
E{x(t )}   n x(t )dP ( x(t ))
R
と 計算でき る こ と を 示し ている 。
確率過程(7)
ま た、 例え ば時刻tと sの相関を 計算する ために、
 x(t ,  ) 
xa (t , s,  ) : 

 x ( s,  ) 
と して
E{xa (t ) xaT ( s )}   xa (t , s,  ) xaT (t , s,  ) dP( )

を 計算し な ければな ら な く な る が、 こ れは
 x(t ) 
T
x
(
t
,
s
)
x
(
t
,
s
)
dP
(
x
(
t
,
s
)),
x
(
t
,
s
)
:

a
a
a
a
 x( s ) 
R2 n


E{xa (t ) xaT ( s )}  
と し て 計算でき る こ と を 示し て いる 。 も ち ろ ん、 xa (t , s )の分布
を 知る 必要があ る が。
確率過程(8)
一般に確率過程はy( t 1 ,  ) , , y( t n ,  ) の同時確率によ っ てその性質が決定さ れる 。 こ の同時確率が時間の推移に
関し て不変であ る と き 、 その確率過程は定常であ る と いう 。
[モーメ ン ト ]次式で定義さ れる 期待値を n次のモーメ ン ト と いう 。
E{ y (t1 ,  ) y (t2 ,  )
y (tn ,  )}
特に、 1 次、 2 次のモーメ ン ト を 平均値、 相関関数と 呼び、 次のよ う に表現する
平均値 :  y (t )  E{ y (t ,  )}
自己相関関数:  yy (t1 , t2 )  E{ y (t1 ,  ) y (t2 ,  )}
[ 共分散、 分散] 共分散、 分散を 次式で定義する
自己共分散:  yy (t1 , t2 )  cov[ y (t1 ), y (t2 )] : E{( y (t1 )   y (t1 ))( y (t 2 )   y (t 2 ))}
分散 :  y 2 (t ) : cov[ y (t ), y (t )]
確率過程が定常であ る と き 、 相関関数は時刻の差のみの関数と なる 、 つま り   t2  t1と する と
 yy (t1 , t2 )   yy ( )   yy ( )
なぜなら 、
E{ y (t1 ), y (t2 )}  E{ y (t1 ) y (  t1 )}  E{ y (t '1   ) y (t '1 )}
確率過程(8)
数学的( 集合的) 平均と 時間平均
前のス ラ イ ド で考え た平均値はいろ いろ な標本があ り 得る のに
たいし て、 それを 集合的に考え てその期待値を 計算し ていた。
その期待値を 数学的期待値、 ま たは 集合的期待値と いう 。
し かし 、 現実の実験や観測では一つの時間関数が観測でき る だけで、
同じ 実験や観測を 何度も する こ と ができ な場合も 多い。 そのよ う な
一つの標本関数を 用いて、 集合的な性質が計算可能であ る 場合を
エ ルゴ ード 過程と 呼ぶ。
例え ば
1
T  2T
E{x(t )}  lim

T
T
x(t   )d
自己共分散とスペクトル密度関数
定常過程の場合は自己共分散は時間差のみの関数であ っ た
xx ( )
こ れを フ ーリ エ変換し たも のを 考え る

 xx ( j )   xx ( )e  j d

こ れはパワ ース ペク ト ルと 呼ばれる 。 ま た、 逆フ ーリ エ変換では
xx ( ) 
1
2



 xx ( j )e j d 
従っ て各時刻の xの分散xx (0)は
xx (0) 
1
2



 xx ( j )1d 
であ る ので、 パワ ース ペク ト ルの周波数領域で の積分で与え ら れる 。
パワースペクトルからの伝達関数の推定
相互相関関数と フ ィ ルタ ー出力のパワ ース ペク ト ル
相互相関関数は次式で定義さ れる
xy ( ) : E{x(t ) y (t   )}
相互相関関数のフ ーリ エ変換には次の関係があ る

 xy ( j ) :  xy ( )e  j d

 xy ( j )   yx* ( j )
相互相関関数と 自己相関関数の関係には次の関係があ る .
ただし 、 xから yへの伝達関数を H ( s )でその重み関数を h(t )と する .

xy (t )   h(t )xx (t   )d


 yy (t )   h(t ) yx (t   ) d

実際





1
T  2T
h(t )xx (t   )d   h(t ) lim
1
2T


T
T


T
T
x(t ')  h(t )x(t ' t   )d dt ' 

x(t ') x(t ' t   )dt 'd
1
2T

T
T
x(t ') y (t ' t )dt '  xy (t )
従っ て

 yy ( j )  F{ h(t ) yx (t   )d }  F{h}F{ yx }  H ( j ) yx ( j )

 H ( j ) xy ( j )  H ( j ) H * ( j ) xx* ( j ) | H ( j ) |2  xx ( j )
*
今yのス ペク ト ル密度関数が分かっ ている と する と 、 パワ ース ペク ト ルが
全周波数に渡っ て1 のノ イ ズ( 白色ノ イ ズ) によ っ て駆動さ れている と する と
 xx ( j )  1
であ る ので、
 yy ( j ) | H ( j ) |2
と 考える こ と ができ る 。 ま た、 yの分散 yy (0)は
 yy (0) 
1
2



 yy ( j ) d 
1
2



| H ( j ) |2 d  || H ( s) ||2 2
と なり 、 H ( s )の H 2ノ ルム の2 乗( の定数倍) と なる こ と が分かる
伊藤の確率微分方程式‘超入門’
 x(t  t )  x (t )  f c ( x(t ))t  L(t ) (t )  o(t ), x(t )  R n

p
 y (t  t )  y (t )  hc ( x(t )) t  V (t )  (t )  o( t ), y (t )  R
が任意の小さ な 正の tについて 成り 立つ時
dx(t )  f c ( x(t ), t )dt  L(t )d  (t )

dy (t )  hc ( x(t ), t ) dt  V (t ) d (t )
と 表現する 。 ただ し 、  (t ), (t )は独立な ブラ ウ ン 運動で、
それぞれ対角な 拡散行列Q(t ), R (t )を 持つ。
 d    (t ), d  (t )d  T (t )  Q (t )dt , Q(t )  diag (q1 (t ), , qn (t ))

 d   (t ), d (t )d T (t )  R (t )dt , R (t )  diag (r (t ), , r (t ))
1
p

 (t )~N (0, Q (t ) t ),  (t )~N (0, R (t ) t )


o ( t )
lim
0
 t 0
t

伊藤の公式(1)
x(t )が伊藤の確率微分方程式を 満た す時
dx(t )  f c ( x(t ), t )dt  L(t )d  (t )
y  f ( x)と する と yの微分方程式は次式と なる 。
f
1 T 2 f
dy 
dx  dx 2 dx
x
2
 x
伊藤の公式(1)
ただし 、 式を 展開し た後次の関係を 利用。
dt 2  0, dtd i  0, d  i d  j  0(i  j )
 2
d i  qi dt
( 関数が2 次の 係数を 持つ場合、 確率的要素が確定的成分に!)

44
伊藤の公式(2)

f
1 T 2 f
f
1  2 f
dy  dx  dx 2 dx  dx  Tr  2 dxdxT 
x
2
 x
x
2  x


f
1  2 f
 ( f c ( x(t ), t )dt  L(t )d  (t ))  Tr  2 L(t )QLT (t )  dt
x
2  x

Dynkinの公式( 伊藤の公式の応用)
 f

d
1  2 f
E{ f ( x(t ))}  E  f c ( x(t ), t )  Tr  2 L(t )QLT (t ) 
dt
2  x
 x

確率変数の収束(1)
確率変数の列X n (n  1, )と ひと つの確率変数X (定数でも 良い)を 考える 。
[確率収束]
任意の   0に対し て、
lim{P(| X n  X |  )}  0(lim{P(| X n  X |  )}  1)
n 
n 
P
を 満たすと き 、 X nは X に確率収束する と いい、pl i mX n  X ( X n  X )のよ う に表現する 。
n 
[概収束( 確率1 での収束)]
P(lim X n  X )  1
n 
a.s.
を 満たすと き 、 X nは X に概収束する ( 確率1 で収束する ) と いい、 a . s . lim X n  X ( X n  X )のよ う に記述する 。
n 
確率収束の場合, X n(  ) を nに関する 見本列( サン プルパス ) であ る と する と 、 Xと X nの値が よ
り 離れる 確率はnが増加する と 限り なく 小さ く なる 。 し かし 、 ひと つのサン プルパス について
X n ( )が X に収束する かど う かは 分ら ない。
確率変数の収束(2)
Lim
a.s.lim
l.i.m.
plim
[自乗平均収束]
E{|| X n ||2 }  , E{|| X ||2 }  で、
lim E{|| X n  X ||2 }  0
n 
を 満たすと き 、 X nはXに自乗平均収束する と いい、l . i . m. X n  X のよ う に表現する 。
n 
[分布関数と し ての収束( 法則収束)]
Fn , Fを それぞれX n , X の分布関数と する 。 こ のと き
連続な点全てで lim Fn ( )  F ( )(あ る いは弱収束する )
n 
を 満たすと き 、 X nはXに分布関数と し て収束する と いい、Li mX n  X のよ う に記述する 。
n 
確率収束しても概収束しない例
t ()
t
t
  [0,1]
lim P{| X t |  }  0
t 
  


p l im X t  0
t 
lim sup X t ( )  1と なり 、 ど のサン プルパス も 0 に収束し ない!
t 
推定量の性質
真のパラ メ ータ pと その推定値pˆの誤差を e : p  pˆと する
[ 不偏性]
E{e}  0のと き 、 pˆを pの不偏推定量と いう
[ 一致性]
eNを N 個のデータ から 推定し た際の誤差であ る と する 。 こ のと き
p lim eN  0
N 
と なる と き 、 pˆ Nを pの( 弱い) 一致推定量と いう 。
参考文献
1.
山北:システム制御特論テキスト
http://www.ac.ctrl.titech.ac.jp/~yamakita/text.html
2.
3.
4.
B.エクセンダール(谷口節男訳):確率微分方
程式(シュプリンガー・ジャパン)(1999)
相良ら:システム同定(コロナ社)(1995)
足立修一:ユーザのためのシステム同定理論(
コロナ社)(1993)
ダウンロード

第一回講義内容 - 東京工業大学