小町守(NAIST)
森信介(京大)・徳永拓之(PFI)
情報処理学会 夏のプログラミング・シンポジウム
2008年9月7日(日)@越後湯沢

Webの拡大→ユーザ入力文書増大
◦ 新語や新表現の変換はストレスフル
品格?
新しくなって本当に使いづらい・・・前
に戻してもらいたいです。慣れれなの
かな〜
どぅゃら、風邪をひぃてしまぃました。 頭
重ぃし、鼻水がズールズル… でも仕事休
めなぃしー カラダだるぃしー もぅ嫌ャーッ!!!
ねぇよ こどもやばす wwwwwwwww
w 天丼ww おいおい かあいいww
ちょww...
4

Web データを処理したいがタグつきデータ・辞書がな
い(特にフリーで使えるもの)
◦ NAIST-jdic (旧 IPADic)
◦ Google日本語Nグラム

辞書やコーパスに正しく情報(品詞・単語境界)振るの
は(一般の人には)難しい
◦ (できるだけ)品詞情報を用いないで処理したい
◦ 自然言語処理における文節とIMEにおける文節の違い(eg.
東京特許許可局)
5

大規模コーパスの利用
◦
◦
◦
◦


できるだけ人手をかけないでメンテナンス
Google 日本語 N グラム
Webコーパス5億文
Wikipedia・etc…
統計的な理屈づけ
品詞情報を用いない頑健なかな漢字変換
◦ Web に出現する全単語を用いる→凝った未知語処理はしな
い
6

ルールによる変換
◦ Canna
◦ 要言語学(国語学)的知識
◦ 必ずしも精度よく変換できるとはかぎらない

N文節最長一致法
◦ (昔の)ATOK, VJE, Wnn など
◦ 要人手によるパラメータチューニング

最小コスト法
◦ WXG, (少し前までの)MS-IME など
◦ 要人手による辞書チューニング
7

入力: にわにはにわにわとりがいる。
に
ワニ
は
に
わ
二
わ
に
歯
二
羽
煮
羽
二
葉
煮
輪
似
輪
煮
刃
庭
似
庭
埴輪
鶏
庭
に
二
似
コストが一番低いパスを選ぶ
→コストは辞書に書いてある(人手)
8


森ら(1998)の提案
P(x|y) の降順に変換可能文字列 (x1, x2, …) を提
示する
◦ x: 文, y: 入力
かな漢字モデル
P(y | x)P(x)
Q P(x | y) 
P(y)
言語モデル
P(y | x) × P(x)
によるランキング


MS-IME 2007, ATOK 2008が統計的手法を採用
9
かな漢字モデル
言語モデル
に
ワニ
は
に
わ
二
わ
に
歯
二
羽
煮
羽
二
葉
煮
輪
似
輪
煮
刃
庭
似
庭
埴輪
鶏
庭
に
二
似
最小コスト法の自然な拡張になっている
10
日本語っぽい単語列の確率は高く、
日本語っぽくない単語列の確率は低く
h 1
M w,n (w)   P(wi | w
i1
in 1
)
i1


文を単語列w  w1w2 whと見なすngram言語モデ
ル(i<1は文頭、i=h+1は文末)
Google 日本語Nグラムデータ(200億文)から表記
の1-2グラムを計算して使用
h
1
◦ 
異なり1グラム数:250万
◦ 異なり2グラム数:8,000万
我が輩
文頭
は
猫
である
文末
11
h
出現する単語の読みは
なんだったか推定するモデル
M kk (y | w)   P(y i | wi )
i1

確率は読みが振られたコーパスから最尤推定
f (y i ,w i )
P(y i | w i ) 
f (w i )


コーパス
f (e) 中の頻度
毎日新聞95年分1年に MeCab で分かち書き・読
みを付与して使用
かつあき 
こくめい
克明
小野克明さん(43)
克明なやりとりが判明
12

規則ベース
◦
◦
◦
◦
◦

なにをやっているのかはっきり分かる
柔軟な前処理・後処理
問題が簡単なときは規則ベースで書き尽くすこともできる
アドホックなヒューリスティック(要言語学的直観)
「必殺パラメータ」
統計的手法
◦
◦
◦
◦
◦
数学的モデルに基づいた理論的根拠
変換規則や辞書に当たる知識を自動で学習(人手不要)
なにやっているのかよく分からない
コーパスに激しく依存
変化の微調整が難しい
13

http://cl.naist.jp/~mamoru-k/chaime/
14
ChaIME
ATOK 2007
Anthy 9100c
AjaxIME
請求書の支払日時
請求書の市は来日
時
請求書の支払い日
時
請求書の支払いに
知事
近く市場調査を行う。 知覚し冗長さを行う。 近く市場調査を行う。 近く市場調査を行う。
その後サイト内で
その五歳都内で
その後サイト内で
その後再都内で
去年に比べ高い水
準だ。
去年に比べた海水
順だ。
去年に比べたかい
水準だ。
去年に比べ高い水
準だ。
昼イチまでに書類
作っといて。
昼一までに書類津
くっといて。
昼一までに書類
作っといて。
肥留市までに書類
作っといて。
そんな話信じっこな そんな話心十個内
いよね。
よね。
そんなはな視診
時っこないよね。
そんな話神事っ子
ないよね。
初めっからもってけ 恥メッカら持って毛
ばいいのに。
羽いいのに。
恥メッカ羅持ってケ
バ飯野に。
始っから持ってけ
ば良いのに。
熱々の肉まんにぱ
くついた。
あつあつの肉まん
2泊付いた。
熱熱の肉まんにぱ
くついた。
熱々の肉まん二泊
着いた。
15

Anthy http://anthy.sourceforge.jp/
◦
◦
◦
◦

HMM → MEMM による識別モデル(の亜種)
文節分割された読みつきコーパスから学習
表記の素性を用いていない
文法体系が難しい(文節・品詞の判断)
Social IME http://social-ime.com/
◦ 複数人による辞書共有機能
◦ アルゴリズムは Anthy と同じ
16

AjaxIME http://ajaxime.chasen.org/
◦ MeCab-skkserv による連文節かな漢字変換
◦ 読みが振られたコーパスから変換コストを推定
◦ コーパスが小さい・素性がスパース

Sumibi http://www.sumibi.org/
◦
◦
◦
◦
単語分かち書きによるかな漢字変換
生コーパスから連接コストを推定(言語モデル)
辞書にない単語の変換ができない
連文節変換ではない
17

統計に基づくかな漢字変換エンジンを開発している
◦ Google 日本語 N グラム・新聞記事を用いた実装・デモを公
開中
◦ ソースコードは Google Code にある(動かすには Google
日本語 N グラムかそれに相当するデータが必要)

統計的かな漢字変換は、規則ベースに比べ、
◦
◦
◦
◦
◦
数学的根拠がある
大規模なデータから辞書・パラメータを自動推定できる
なにをやっているのかよく分からない
コーパスに依存する(「コーパスの品格」)
細かい調整ができない
悪貨は良貨を駆逐する
18
1.
単語2グラムでクラスタリングし(クラスタ2グラム)、
クラスタ2グラムで単語分割・仮名漢字変換を動か
す
1.
2.
3.
2.
精度の向上とモデルサイズの削減
現在は富豪的プログラミング(辞書が2GB)
自分の研究につながると嬉しいけど……
変換ログを用いて「この変換をした人はこんな変換
もしています」
1.
空気を読む IME を目指して〜
19

本プロジェクトの一部は奈良先端科学技術大学院大
学 Creative and International Competitiveness
Project (CICP 2007) の支援を受けています
21
ダウンロード

スライド - 首都大学東京 自然言語処理研究室