ことばとコンピュータ
2007年度1学期
第3回
本日の内容
• 前回のおさらい
– 文を単語に区切って品詞を決める
• 日本語編
• 文を単語に区切って品詞を決める
– 英語編
2
前回のおさらい(1)
• 文を単語に区切って,品詞を決める
– 日本語編
• 「このひとことで元気になった」
→この/ひとこと/で/元気/に/なっ/た
連体詞
名詞 助詞 名詞 助詞 動詞 助動詞
3
おさらい(2)
• 日本語は一般に,語の区切り,空白がない
→単語を切り出す ※最も重要で難しい
語形変化したものを基本形にする
単語に品詞を付与
4
おさらい(3)
コンピュータには文字以上のことはわからない
少なくとも
「単語」を知る必要がある
無理のない単語の並びを知る必要がある
5
おさらい(4)
単語辞書と連接規則
• 単語辞書
– 単語の基本形,読み,品詞,活用の型など
を記述したもの
• 連接規則
– 連接(連続して接する)可能な2つの単語の
タイプ(主に,品詞とその活用の型)を
記述したもの
6
おさらい(5)
道具と手続き
• 単語を知る道具
• 単語の連接を確かめる規則
は揃ったとして,
次は,どうやって,それらを使って実際に
文を単語に区切って,品詞の付与を行うか?
→アルゴリズム(手続き)
7
おさらい(6)
コスト最小法による形態素解析
• 実際にやりながら学習
0
こ1の2 ひ3 と4 こ5 と6 で7 元8 気9 に10な11 っ12 た13
最初はどこでも切れる可能性がある!
0の場所からスタート
8
おさらい(7)
• コスト最小法による形態素解析
0
こ1の2 ひ3 と4 こ5 と6 で7 元8 気9 に10な11 っ12 た13
最初はどこでも切れる可能性がある!
0の場所からスタート
「こ」から始まる
単語を単語辞書
で調べる
9
おさらい(8)
• コスト最小法による形態素解析
0
こ1の2 ひ3 と4 こ5 と6 で7 元8 気9 に10な11 っ12 た13
最初はどこでも切れる可能性がある!
0の場所からスタート
「こ」から始まる
単語を単語辞書
で調べる
「こ」(接尾辞),「こ」(名詞),「この」(連体詞)
の3つを発見!
10
おさらい(8)
• コスト最小法による形態素解析
0
こ1の2 ひ3 と4 こ5 と6 で7 元8 気9 に10な11 っ12 た13
最初はどこでも切れる可能性がある!
0の場所からスタート
文頭との接続が
許されるかどうか
連接規則を見る
「こ」(接尾辞),「こ」(名詞),「この」(連体詞)
の3つを発見!
11
おさらい(9)
• コスト最小法による形態素解析
0
こ1の2 ひ3 と4 こ5 と6 で7 元8 気9 に10な11 っ12 た13
最初はどこでも切れる可能性がある!
0の場所からスタート
文頭との接続が
許されるかどうか
連接規則を見る
「こ」(接尾辞),「こ」(名詞),「この」(連体詞)
の3つを発見!
12
おさらい(10)
50
名詞40
0
こ
10
10
文
頭 10
10
こ の
ラティスを
作っていく
連体詞10
20
13
おさらい(11)
30+40=70
名詞40
50
名詞40
こ
10
0
70
助詞10
60
の
ひ
80
10
10
80
10
文 10
頭
10
10
こ の
連体詞10
20
30
10
30
10
30+40=70
名詞40
ひと
文
末
80 30+40=70
10 名詞40
30
10
ひとこと
14
おさらい(12)
30+40=70
名詞40
50
名詞40
こ
10
0
70
助詞10
60
の
ひ
80
10
10
80
10
文 10
頭
10
10
こ の
連体詞10
20
30
10
30
10
30+40=70
名詞40
ひと
ここを完成
さた!
文
末
80 30+40=70
10 名詞40
30
10
ひとこと
15
この/ひとこと/で/元気/に/なっ/た
連体詞
名詞
助詞 名詞 助詞 動詞 助動詞
16
文を単語に区切って品詞を決める
英語編
• 文を単語単位に分ける
→単語の区切りとして空白があるので,あまり問
題にならない. 略記はやや問題
• 語形変化したものを,原形に戻す.
• 品詞を分析(POS tagging)
– 品詞の曖昧性が多く存在するので難しい.
– 中心的な部分
17
文を単語に区切って品詞を決める(2)
• 実は「形態素解析」と呼ぶ分析
• 形態素は,語基(radical) と 接辞(affix)
– 接辞は,接頭辞(prefix)と接尾辞(suffix)
• 語は,形態素1つか,複数形態素から成る
– 1形態素:
play, small, kind
語基だけ
– 複数形態素:playing → play-ing
smaller → small –er 語基と接尾辞
unkind → un- kind 接頭辞と語基
18
文を単語に区切って品詞を決める(3)
• 実は「形態素解析」と呼ぶ分析
• 形態素は,語基(radical)
と 接辞(affix)
•規則変化は,変化規則を作成
– 接辞は,接頭辞(prefix)と接尾辞(suffix)
•不規則変化は,対応表を作成
• 語は,形態素1つか,複数形態素から成る
– 1形態素:
play, small, kind
語基だけ
表を元に形態素は取り出せる
– 複数形態素:playing → play-ing
smaller → small –er 語基と接尾辞
unkind → un- kind 接頭辞と語基
19
文を単語に区切って品詞を決める(4)
• それよりも...英語では品詞を決める(POS
tagging)が 一番難しくて重要
• 品詞タグづけの難しさの例:
Time flies like an arrow.
– 光陰矢の如し
Time/N flies/V like/Prep an/Det arrow/N
Time/N flies/N like/V an/Det arrow/N
20
文を単語に区切って品詞を決める(5)
• Time flies like an arrow.
Time/N flies/V like/Prep an/Det arrow/N
• 光陰矢の如し
Time/N flies/N like/V an/Det arrow/N
• トキバエは矢を好む.
トキバエ→
21
文を単語に区切って品詞を決める(6)
• Time flies like an arrow.
Time/N flies/V like/Prep an/Det arrow/N
• 光陰矢の如し
Time/N flies/N like/V an/Det arrow/N
• トキバエは矢を好む.
fliesやlikesの品詞が
トキバエ→
複数候補あるせい
22
品詞をどうやって決めか(1)
• 品詞タグ付け:
– 入力単語の列に対して尤もらしい品詞列を与え
る問題と考える
• 尤もらしさの尺度
– 各語について,複数の品詞がありうる場合,どの
品詞が尤もらしいか
– 品詞の並びによる優先度
• 例:「The」 の後に来る語が動詞にも名詞にもなりうる
語である場合 → 名詞が優先される
23
品詞をどうやって決めか(2)
既に品詞付けをしてあるコーパスを元
• 品詞タグ付け:
にして,この尤もらしさを自動的に計算
– 入力単語の列に対して尤もらしい品詞列を与え
る問題と考える
• 尤もらしさの尺度
– 各語について,複数の品詞がありうる場合,どの
品詞が尤もらしいか
– 品詞の並びによる優先度
• 例:「The」 の後に来る語が動詞にも名詞にもなりうる
語である場合 → 名詞が優先される
24
品詞をどうやって決めか(3)
既に品詞付けをしてあるコーパスを元
• 品詞タグ付け:
にして,この尤もらしさを自動的に計算
– 入力単語の列に対して尤もらしい品詞列を与え
る問題と考える
確率的モデルを利用
• 尤もらしさの尺度 したPOS tagging
– 各語について,複数の品詞がありうる場合,どの
品詞が尤もらしいか
– 品詞の並びによる優先度
• 例:「The」 の後に来る語が動詞にも名詞にもなりうる
語である場合 → 名詞が優先される
25
品詞をどうやって決めるか(4)
• 考え方
– 入力単語列:
例:
W1, W2, W3, W4, …,Wn
time, flies, like, an,
arrow
– 求めたい品詞列: C1, C2, C3, C4, … , Cn
例:
N,
V, Prep, Det,
N
P(C1, C2, C3, C4, … , Cn | W1, W2, W3, W4, …,Wn)
という条件付確率が最大になる品詞の並び(が求めたい品
詞の並び)
26
品詞をどうやって決めるか(5)
• 考え方
– 入力単語列:
例:
W1, W2, W3, W4, …,Wn
time, flies, like, an,
arrow
– 求めたい品詞列: C1, C2, C3, C4, … , Cn
例:
N,
V, Prep, Det,
N
P(C1, C2, C3, C4, … , Cn | W1, W2, W3, W4, …,Wn)
という条件付確率が最大になる品詞の並び(が求めたい品
単語列が(W1,
W2, W3, W4, …,Wn)であるときに
詞の並び)
品詞列が(C1,
C2, C3, C4, … , Cn)である確率
(事後確率)
27
品詞をどうやって決めるか(6)
例で考えると...
W1, W2, W3, W4, W5
Time flies like an arrow
入力単語列
C1,
Noun
Noun
Noun
C2 , C3, C4, C5
Noun Verb Det Noun 可能性の
Verb Prep Det Noun ある
Noun Adj Det Noun 品詞列
…
「確率的に一番高いものを選ぶ」ということ
28
品詞をどうやって決めるか(7)
• 計算の仕方
– 最初の式を
P(C1, C2, C3, C4, … , Cn | W1, W2, W3, W4, …,Wn)
– ベイズの定理によって変形
P(A|B) = P(A) P(B|A) / P(B)
P(C1, C2, C3, C4, … , Cn )×P( W1, W2, W3, W4, …,Wn| C1, C2, C3, C4, … , Cn )
P(W1, W2, W3, W4, …,Wn)
29
品詞をどうやって決めるか(8)
• 計算の仕方
– 最初の式を
P(C1, C2, C3, C4, … , Cn | W1, W2, W3, W4, …,Wn)
– ベイズの定理によって変形
P(A|B) = P(A) P(B|A) / P(B)
P(C1, C2, C3, C4, … , Cn )×P( W1, W2, W3, W4, …,Wn| C1, C2, C3, C4, … , Cn )
P(W1, W2, W3, W4, …,Wn)
分母のP(W1..)は品詞(C)と無関係≒結果に影響を与えな
いので考えない
30
品詞をどうやって決めるか(9)
• 計算の仕方
P(C1, C2, C3, C4, … , Cn )
×
P( W1, W2, W3, W4, …,Wn| C1, C2, C3, C4, … , Cn )
を最大にする品詞列だとして計算する
31
品詞をどうやって決めるか(10)
• 計算の仕方(実際)
– 第1項:P(C1, C2, C3, C4, … , Cn)の部分から
• こういう品詞列が出現する確率 を計算するのだが..
• こんな長い品詞列を直接扱うのは困難
(十分なデータがない)
→bigram で 近似
32
品詞をどうやって決めるか(11)
第1項:P(C1, C2, C3, C4, … , Cn)の部分
→bigram で 近似
Time
flies
C1,
C2 ,
like
C3,
an
C4,
arrow
C5
33
品詞をどうやって決めるか(12)
第1項:P(C1, C2, C3, C4, … , Cn)の部分
→bigram で 近似
Time
flies
like
an
arrow
P(C1, C2, C3, C4, … , Cn) ~=ΠP(Ci | Ci-1)
i=0からnまで C0=φ架空の品詞
で計算
C1,
C2 ,
C3,
C4,
C5
34
品詞をどうやって決めるか(13)
第2項
P( W1, W2, W3, W4, …,Wn| C1, C2, C3, C4, … , Cn )も近似
P( W1, W2, W3, W4, …,Wn| C1, C2, C3, C4, … , Cn )
~=Π P(Wi | Ci)
i=0からnまで
time{N, Adj, V} flies{N, V} like{Adj,Prep,Adv,Conj,N}
P(time | N) P(flies|N) P(like|Adj)
P(time | Adj) P(flies|V) P(like|Prep)
P(time | V) P(like|Adv) P(like|Conj) P(like|N)
35
品詞をどうやって決めるか(14)
• 全体として
ΠP(Ci | Ci-1) × P(Wi | Ci) とする
i=1~n
– この計算は,品詞付きのコーパスがあればできる
36
品詞をどうやって決めるか(15)
P(Ci | Ci-1)
品詞Ci-1に続いてCiが出る確率
= freq(Ci-1, Ci) / freq(Ci-1)
↑
Ci-1の出現回数
Ci-1, Ciという順番の並びの出現回数
P(N|φ) = f(φ,N) / f(φ) = 392/685 = 0.57
P(N|det) = f(det, N) / f(det) = 1050/1102 = 0.95
...なんて計算する
37
品詞をどうやって決めるか(16)
P(Wi | Ci) ある品詞Ciとして単語Wiが出る確率
= freq(Wi as Ci) / freq(Ci)
↑
品詞Ciの出現回数
WiがCiとして出現する回数
P(time | N) = f(time as N) / f(N) = 13/ 3481 = 0.0037
P(time | prep) = f(time as Prep) / f(Prep) = 7/1405 = 0.0050
...なんて計算ができる
38
確率の計算
• あらかじめ計算可能
– Webで
– この表から,
英語文の単語と品詞の隠れマルコフモデル
(HMM,Hidden Markov Model)が作成される
39
状態遷移図
• HMMの
状態遷移図例
ここまでは
予め
用意可能
40
品詞を決める-実践(1)
• 各品詞の並びと,その並び安さを示した確率
を計算した
→ 状態遷移図も手に入った
• いよいよ
– Time flies like an arrow の品詞を決める
41
品詞を決める-実践(2)
• まず,開始の○にΦを書く
Φ
42
品詞を決める-実践(3)
• 最初の単語 time の品詞を調べる
→ 今回の例では N しかない(本来は違うので注意)
0.57 × 0.0037 = 0.0021
Φ
0.57
time/N
0.0037
最初の状態からtime/Nに遷移する確率 0.57
品詞Nがtimeである確率 0.0037
ここまでの出現確率 0.57×0.0037=0.0021
43
品詞を決める-実践(4)
• 次の単語 files の品詞を調べる
→ 今回の例では NとV
0.000000048
0.57 × 0.0037 = 0.0021
Φ
0.57
time/N
0.0037
0.00080
0.38
0.31
0.00065
flies/N
0.0006
flies/V
0.0013
0.00000085
44
品詞を決める-実践(5)
• 次の単語 likes の品詞を調べる
→ 今回の例では NとV とPrep
0.000000048
0.57 × 0.0037 = 0.0021
Φ
0.57
time/N
0.0037
0.00080
0.38
0.31
0.00065
この先に追加!→
flies/N
0.0006
flies/V
0.0013
0.00000085
45
品詞を決める-実践(6)
• 最後の単語 arrow まで続ける
→ 最終的には可能性のある組み合せが全部出る
0.000000048
0.57 × 0.0037 = 0.0021
Φ
0.57
time/N
0.0037
0.00080
0.38
0.31
0.00065
flies/N
0.0006
flies/V
0.0013
0.00000085
46
品詞を決める-実践(7)
47
ダウンロード

第3回の講義資料