自然言語処理入門
「人間にできることが
計算機にできないわけがない!!」
東京大学 情報基盤センター
(総合文化研究科、情報学府 兼担)
中川裕志
[email protected]
http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/
自動文書要約
 一見、難しそうな処理だが、大変古くから研究さ
れてきた。
 1953年には既にIBMのLuhnによって、単語の重
要度を定義し、重要な単語を多く含む文を文書
から抽出するという方法で、かなり質のよい要約
文が作られていた。
 Luhnは、
 中程度の頻度の単語が現れること
 文書の先頭に近いほうが望ましい
 という2点を考慮してスコアの高い文を抽出した。
 現在でも基本的には踏襲。
自動要約の応用分野
ある分野のサーベイの自動生成
会議議事録の自動生成
携帯端末への要約テキスト表示
音声表示(要約しないと読み上げでは長い時間
がかかる)
高齢者や児童への手短かつ分かり易い表現(言
い換えも含む)
字幕の自動生成
ニュースやドラマなどのビデオコンテンツの要約
(skimming)
要約例
新幹線の車両ドアの上の液晶ディスプレイ
でのニュース表示
インターネットに配信されているメールマガ
ジンの見出し
iモードのニュースは通常のニュースの要
約
などなど
次のものは作り物の例
要約: いろは金融本郷支店での強盗殺人・放火事件で捜査
本部が犯人のモンタージュ公開。逃走車両?目撃情報も。
いろは金融放火:捜査本部が犯人のモンタージュを公開
文京区本郷の13階建て雑居ビルの最上階にある消費者金
融「いろは金融本郷支店」で1日に発生した強盗殺人・放火事
件で、警視庁捜査本部は犯人のモンタージュを公開した。また、
「出火直後にビルの前から黒色の軽乗用車かワゴン車に男が
乗り込み、走り去った」との目撃情報があり、警視庁は犯人の
逃走車両の疑いもあるとみて行方を追っている。
調べでは、同支店はこの日、通常通り午前10時に営業を開
始。同10時45分ごろ、男は持っていた18リットル石油缶の半
分くらいをブリキ缶に入れた灯油のようなものをいきなりカウン
ター越しにまいた。その際に叫んだ「金を出さんかい。出さんと
火つけるぞ」は、なまりがあったという。
従業員によると、男とは面識がないという。60〜65歳、身長
170センチ台前半で中肉。白髪交じりの短髪でサングラスをか
けていた。
一方、従業員とみられる10人の焼死体はいずれも店舗中央
のカウンター近くで発見され、6人が内側で折り重なり、4人が
外側付近に倒れていた。店舗出入り口はエレベータ付近と浦
階段の2カ所だった。けがをした従業員によると、放火された火
は一度爆発し、すぐに黒煙が広がったという。事務所には窓ガ
ラスを破って使うことのできる避難器具はあったが、裏階段は
ロックされており10人は迫る炎と煙にまかれ、逃げ場を失った
とみられる。
要約の機能
Indicative
その文書を読むべきかどうかの判断材料を与
える
Informative
要約を読むだけで、おおよその内容が分かる
Evaluative
要約者の評価も加わった要約(重要なポイント
の強調など)
人間の要約専門家はどうやっているか
表層情報としては以下を利用:
タイトル、見出し、キーフレーズ、位置情報
深層情報としては以下を利用:
談話構造、修辞構造、意味内容(目的、方法、結果、
結論)、その分野の知識
上記により重要文を抽出し、編集、再構成
トピックの文を抜き出し、前後の辻褄合わせ
トピック文をさらに変換
理解した意味から自分で作文することは少ない
(とても大変で時間がかかる)
要約のパラメタ
 圧縮率( compression rate: C)
 C=length(要約テキスト)/length(原テキスト)
 Semantic Informativeness: SI
 テキストT の内容を命題Mi (i=1,2,..)の順序つき集合
とする。
SI  (1 
length( S )
weight ( M ( S ))
)(
)
length(T )
weight ( M (T ))
 S: 要約テキスト、T:原テキスト
 M(S):要約テキストの命題集合、M(T):原テキストの命
題集合。当然、 M ( S )  M (T )
自動要約システムの構成(shallow)
分析
変換
Feature
extraction
Feature
combination
編集、
合成
smoothing
a•F1+b•F2+…
これらモジュールの機能は以下のものの関数
圧縮率
読者: Generic or User focused
機能: indicative or informative or evaluative
結束性:fragment, or connected text
要
約
文を選択するためのfeature
 以下の feature は数値的な重みで表わされる
 位置
 先頭からの文字数or単語数、段落、section、タイトル
など特殊なsection, section の深さ
 テーマ単語(重み)
 文章を特徴つける単語、複合語など
 tf×idf などで重みの大きいターム,など
 特徴的言い回し
 「まとめると」、in summary
 「重要な」「特に」、important, in particular
文を選択するためのfeature
 付加ターム(重み)
 タイトル、headline、先頭段落に現れる単語
 利用者のプロファイルや質問文に現れる単語
 文の長さ(適当な長さあり。長すぎるのはカット)
 結束性(cohesion)
 同一表現あるいは synonymy, hypernymy, 反復
 参照、省略、照応、接続
 談話構造
 修辞構造、話題構造
 文書の形式
Feature の線形結合による文の重み付け
 文をuとする
 uにおける重みW(u)を計算
 テーマ単語や、付加タームは、uに現れた、相当する
個々の単語、タームの重みの総和
 特徴的言い回しも複数あれば総和
 W(u)=a×位置(u)+b×特徴的言い回し(u)
+c×テーマ単語(u)+d×付加ターム(u)
+e×文の長さ(u)
 W(u)の大きい文から順番に要約文として選択
Feature の線形結合による文の重み付け
 Kupiec(1995)の実験
 科学技術分野論文188の全文と要約(平均3文)のペ
ア
 要約に含まれるべき文を計算された重みの順に選択
 要約文が全文のどの文にマッチするかを知らなけれ
ばならない。
 これによれば、位置が最も強力な feature で単
独で33%の再現率
 位置+特徴的言い回し+長すぎる文のカット
が最高性能 44%の再現率
Feature へ掛ける重みの学習
W(u)の定義式のa,b,c,d,e などの重みを最
適化する方法
機械学習による
例えば、人手でつけた正解の要約文の集合
を使う。
正解の要約文をうまく抽出できるような重みを
統計的な機械学習で求める
ベイス統計、C4.5、 など、高度な理論やソフ
トが使えるようになってきた。
談話のfeature
テキストにおける結束性 cohesion
文法的結束性
照応
省略
接続
語彙的結束性:下記の単語が現れる文は
結束しているので、同時に要約に入れる。
同義語(synonymy)
上位語(hypernymy)
繰り返し
強く結束している文の集合を要約文として選択
結束性としては、
同じ語彙(類義も含む)、照応関係を含む、など。
抽出文の再編集
結束性向上のための浅いスムース化
照応
照応の対象物(代名詞)で始まる文を削除
あるいは、代名詞や省略のある文の直前のいくつか
の文を要約に含める。
ギャップを埋める
重要度の低い文を選ばれた文の間に埋め込む
並列な内容のN文のうち、後半が選ばれたなら、それ
より前の文も追加
個別表現の短縮
総理大臣首相
複数テキストの要約
関連するテキストの自動収集
関連するテキストからの情報抽出
重要個所の抽出
テキスト間の共通点の検出
テキスト間の相違点の検出
テキスト間の文体の違いを考慮した要約文書の
生成
情報検索されたテキスト群の要約の基準
Q 検索要求
R システムのよって検索されたテキスト群
から抽出された文の集合。抽出は単一文
書要約の場合と同じ方法でよい。
S 既に選択されたRの部分集合
Maximal Marginal Relevance: MMR
以下の式を満足するようにDiを順番にRから
選択してSに追加していく。
MMR (Q, R, S )
 argmax Di R \ S [  sim( Di , Q )  (1   )max D j S sim( Di , D j )]
統計的方法
原テキストと要約の組が大量にある場合
t 原テキスト、 s 要約
s’=argmaxs P(s|t)= argmaxs P(t|s)P(s)
P(s)は文としての確からしさ(bigramなどで
近似)
P(t|s)は原テキスト中の単語が要約に現れ
る確率
要約の展開
要約対象の拡大
文書、Webページ
音声発話
(書き起こし、あるいは音声認識結果)
マルチメディア
映像の要約( skimming)
携帯端末表示を目指す要約
ダウンロード

自動要約 - 中川研究室