統計学輪講:第7章
確率過程
柗
資料 P.176
確率過程の例 ~サイコロ


1秒に1回サイコロを振る
以前:確率変数 X を出る目の値としていた



x1  1, x2  2, ..., x6  6
確率変数 X のとる各値の確率は常に一定
(常に1/6、時間に依らない)
確率変数 X を時間に依存する関数とする X=X(t)

1の目の出た回数を確率変数 X とする
X  X (t )
X
8
0.3
0.25
6
0.2
4
0.15
0.1
2
0.05
10
20
30
40
10
50
統計学輪講 7章
20
30
40
50
2
資料 P.176
確率過程の例 ~サイコロ (cont.)

X (t=1) のとりうる値 x (1) とその確率 p



x(1)  0,
p  5/ 6
x(1)  1,
p  1/ 6
X (t=2) のとりうる値 x (2) とその確率 p




1の目が出ない
1の目が出る
1の目が0回出る
1の目が1回出る
1の目が2回出る
x(2)  0, p  (5 / 6)  (5 / 6)  25 / 36
x(2)  1, p  2  (1 / 6)  (5 / 6)  10 / 36
x(2)  2, p  (1 / 6)  (1 / 6)  1 / 36
X (t=3) のとりうる値 x (3) とその確率 p




1の目が0回出る
1の目が1回出る
1の目が2回出る
1の目が3回出る
x(3)  0,
p  (5 / 6)3
x(3)  1,
p  3  (1 / 6)  (5 / 6) 2  75 / 216
x(3)  2,
p  3  (1 / 6) 2  (5 / 6)  15 / 216
x(3)  3,
p  (1 / 6)3
統計学輪講 7章
 125/ 216
 1 / 216
3
資料 P.177
確率過程の例 ~サイコロ (cont.)

時刻 t=n における X(n) の確率分布
x
1 5
f x(n)  n C x    
6 6

e.g.) t=3で1の目が2回出る確率
n x
n=3, x(3)=2
p  f ( x(3))3 C2  (1/ 6)2  (5 / 6)  15/ 216




確率過程:確率変数 X(t)で表される確率的な現象のこと
時助変数: t
標本関数: X(t)のとりうる値 x(t)
標本関数 X(t)のとる確率が分かっていれば、確率過程は
完全に決定できる
統計学輪講 7章
4
資料 P.178~179
確率過程の例 ~ランダムウォーク

コインを投げて表なら上へ、裏なら下へ移動という
動作を行う
確率変数 X は時刻 t における位置
4

2
5
10
15
20
25
30
-2

標本関数 x(t)の値
1
x
(
1
)

 ,

 1

-4
2

x( 2)  0 ,
 2

3
1

x (3)  
 1

 3
x(n) が n=2k (k=0,1,2,…,n) の値を取る確率は

1
f ( x(n))n Ck  
 2
k
1
 
 2
nk
1
n Ck  
 2
統計学輪講 7章
n
5
資料 P.182~183
マルコフ過程

ある時刻の状態が前の時刻の状態と関係し
ているような確率過程をマルコフ過程と呼ぶ


単純マルコフ過程:直前の時刻のみに依存
i 重マルコフ過程 :いくつか前(i 個)の時刻に依存


ランダムウォークの場合は
直前の時刻のみに依存する。
つまり単純マルコフモデルである
サイコロの例も同様
※ 以降、単純マルコフ過程のみを考える
統計学輪講 7章
6
マルコフ過程 (cont.)

資料 P.183
(単純)マルコフ過程を条件付確率で表す
P( X (n)  an | X (n 1)  an1 )
この確率を推移確率という

例)

ランダムウォークの場合
時刻 t=n で x=2 の位置にいるとき、上に進む確率は
1
P( X (n  1)  3 | X (n)  2) 
2

全ての推移確率が時刻に無関係に決まっている
マルコフ過程を 時間的に一様なマルコフ過程 という
統計学輪講 7章
7
資料 P.185~186
例題1


ある先生は週1度だけ講義を担当している。
・休講した次の週は10%の確率で休講する。
・開講した次の週は30%の確率で休講する。
全ての推移確率を求めよ
[解]
休講する状態を x1,開講する状態を x2 とする。
x iから x j に推移するときの確立を pij とすると
推移確率はそれぞれ
p11  P( X (n)  x1 | X (n  1)  x1 )  0.1
p12  P( X (n)  x2 | X (n  1)  x1 )  1  0.1  0.9
p21  P( X (n)  x1 | X (n  1)  x2 )  0.3
p22  P( X (n)  x2 | X (n  1)  x2 )  1  0.3  0.7
統計学輪講 7章
8
資料 P.186
例題1 (cont.)
p11  P( X (n)  x1 | X (n  1)  x1 )  0.1
p12  P( X (n)  x2 | X (n  1)  x1 )  1  0.1  0.9
p21  P( X (n)  x1 | X (n  1)  x2 )  0.3
p22  P( X (n)  x2 | X (n  1)  x2 )  1  0.3  0.7

各推移確率を行列で表す
 p11 p12   0.1 0.9 


P



p

p
0
.
3
0
.
7


22 
 21

この行列のことを推移行列と呼ぶ
統計学輪講 7章
9
資料 P.186
チャップマン・コルモゴロフの式


1回の推移で状態 x iから x j へ移る確率 : pij
(l )
l 回の推移で状態 x iから x j へ移る確率 : pij
---------
xi
pir
l=2 の場合
xr
---------
pij
prj
( 2)
 pi1 p1 j  pi 2 p2 j    pik pkj
k
xj
時間
  pir prj
r 1
:状態
統計学輪講 7章
10
資料 P.186
チャップマン・コルモゴロフの式 (cont.)

l’ 回推移した状態から l 回後の推移確率を計算する


(l ')
x
x
l’ 回の推移で iから rへ移る確率は pir
( l l ')
p
x
l - l’ 回の推移で xrから j へ移る確率は rj
チャップマン・コルモゴロフの式
pij
(l )
 pi1 p1 j
( l ')
k
( l  l ')
  pir prj
( l ')
 pi 2 p2 j
( l ')
( l  l ')
   pik
( l ')
pkj
( l  l ')
( l  l ')
r 1
xi
(l ')
xj
l'
統計学輪講 7章
(l )
l
11
資料 P.187
チャップマン・コルモゴロフの式 (cont.)

l’=1 のとき、
(2)
推移行列を用いて推移確率 pij を求める
 p11 p12  p1k  p11 p12  p1 j  p1k 


( 2)
( 2)
( 2)
p12  p1k 
 p21 p22  p2 k  p21 p22  p2 j  p2 k   p11

( 2)
( 2) 
    ( 2)
p21  p2 k
   p21

P2  



 pi1 pi 2  pik  :
:
:
:
 
 


( 2)
( 2)
( 2) 

















p
p

p


k2
kk
 k1

 p p  p  p p  p  p 
kk  k 1
 k1 k 2
k2
kj
kk 
pij
( 2)
 pi1 p1 j  pi 2 p2 j    pik pkj
k
  pir prj
r 1
統計学輪講 7章
12
資料 P.188
例題2


例題1の先生が、ある週に休講して、3週間後にも
休講する確率はいくらか
 0.1 0.9 

P  
 0.3 0.7 
[解]

p11
( 3)
を求めればよい。まず
P 2 を計算し、 P 3 を計算する。
 0.1 0.9  0.1 0.9   0.28 0.72

  

P  
 0.3 0.7  0.3 0.7   0.24 0.76
2
 0.1 0.9  0.28 0.72  0.24 0.75

  

P  
 0.3 0.7  0.24 0.76  0.25 0.75
3

3
( 3)
P の1行1列目の要素が p11 である。
統計学輪講 7章
答え 24%
13
資料 P.188
推移の極限

(l )
l
P の l をどんどん大きくしていくと、Pの各要素 pij は
ある一定値に近づく
0.8
0.6
0.4
0.2
2
4
6
8
10
p11 と p21 は p1  0.25に近づく
(l )
(l )
p12 と p22 は p2  0.75に近づく
(l )
統計学輪講 7章
(l )
14
資料 P.188~189
推移の極限 (cont.)

l→∞ というのは、長時間経過した後の各状態に
推移する確率を調べている


p1  0.25 :長い目で見たときの、休講する確率が25%
p2  0.75 :長い目で見たときの、開講する確率が75%
0.8
0.6
0.4
0.2

(別解方法)
 l→∞ の極限では、もう1度推移してもその状態にある確率は変
化しない
2
よって
4
6
8
10
 0.1 0.9 
  ( p1 , p2 )
( p1 , p2 )
 0.3 0.7 
0.1 p1  0.3 p2  p1
0.9 p1  0.7 p2  p2
統計学輪講 7章
を解けばよい
15
資料 P.176~189
例題3 (まとめ)

2つの壷A,Bがあり、Aには赤球が2個、Bには白球
が2個入っている。それぞれの壷から1個ずつ球を取り
出し、交換して壷に戻す。この操作を繰り返す。
この過程における推移確率と推移の極限を求めよ

確率変数 X(t) はAの壷の中にある赤球の数とする
A
A
A
B
B
統計学輪講 7章
B
16
資料 P.176~189
例題3 (まとめ) cont.


確率変数 X(t) の取り得る値は X(t)=0,1,2
この過程における各推移確率を求める

時刻 n-1 でAに赤球が入ってないときは、
時刻 n で必ず X(n)=1になる
A
B
時刻 n-1 でAに赤球が2個入っているときは、
時刻 n で必ず X(n)=1 になる
A
B
P( X (n)  1 | X (n  1)  0)  1

P( X (n)  1 | X (n  1)  2)  1

時刻 n-1 でAに赤球が1個入っているときは3通りの推移がある



Aから赤球、Bから白球を取り出すとき: X(n)=0
Aから白球、Bから赤球を取り出すとき: X(n)=2
Aから白球、Bから白球を取り出すときか
Aから赤球、Bから赤球を取り出すとき: X(n)=1
統計学輪講 7章
A
B
17
資料 P.176~189
例題3 (まとめ) cont.
A

B
Aから白球、Bから赤球を取り出すとき X(n)=0
1 1 1
P( X (n)  2 | X (n  1)  1)   
2 2 4

B
A
B
A
B or A
Aから赤球、Bから白球を取り出すとき X(n)=2
1 1 1
P( X (n)  0 | X (n  1)  1)   
2 2 4

A
Aから赤球、Bから赤球を取り出す、または
Aから白球、Bから白球を取り出すとき X(n)=1
P( X (n)  1 | X (n  1)  1) 
B
1 1 1 1 1
   
2 2 2 2 2
統計学輪講 7章
18
資料 P.176~189
例題3 (まとめ) cont.

それぞれの推移確率を推移行列にまとめる
X(n)
0
X(n-1)
1
2


0
1
2
0
1
0
0

1 4
0

1/4 1/2 1/4
0
1
0
1
12
1
0

1 4
0 
この過程は直前の状態のみに依存する。
つまり単純マルコフ過程である
さらに時刻 n においても推移確率が一様である。
つまり時間的に一様なマルコフ過程である
統計学輪講 7章
19
資料 P.176~189
例題3 (まとめ) cont.

球を取り出す操作を何回も繰り返した後の
推移確率を計算する。
つまりこの過程の推移の極限を計算する。

赤球が1個もない確率を p0 、
1個ある確率を p1 、
2個ある確率を p2 とする
 0

( p0 , p1 , p2 )1 4
 0

1
12
1
0 

1 4   ( p0 , p1 , p2 )
0 
を解く
1
2
1
[答] p0  6 , p1  3 , p2  6
統計学輪講 7章
20
ダウンロード

確率過程の例 ~サイコロ (cont.)