情報学習理論
最後までご聴講いただきありがとうございました。
渡辺澄夫
東京工業大学
学習とは
講義・第1回目のあるページ。
概念とは?
概念1
概念2
…
概念3
学習モデル
世界には例があふれている。例から世界の構造を知る。
2015/11/18
Mathematical Learning Theory
2
深層学習
ニューラルネットワーク
ボルツマンマシン
教師なし学習
教師あり学習
自己組織化
競合学習
サポートベクタマシン
最後の問題
それで、学習の結果は正しいのか?
統計学: 謎の螺旋
真の情報源がわからないから学習を行う。
⇒ 真の情報源が不明だから
学習モデルが正しいかどうかわからない。
⇒ 学習の結果を信じていいのかわからない ⇒ 最初に戻る
「分からぬことこそ統計学の真実」 なのか?
11/18/2015
Birational probability theory
4
真の分布が明確な場合もある
背後にある自然法則が確実にわかっている場合には
学習モデルを定めることができる。
(例)コインを振る問題(表=1、裏=0)を考える場合
p(x|a) = ax(1-a)1-x
(例)半減期 log 2/l の一個の原子が時刻 t に崩壊する確率
p(t|l) =le-lt
モデルが正しいと考えられる場合には、統計的推測の
誤差はデータ揺らぎ(バリアンス)だけになる。
2015/11/18
Mathematical Learning Theory
5
真の分布が明確でないことは多い
法則が明確でない問題では、学習モデルは仮のものである。
(例)1000人の(算数・国語・理科・社会・英語)の
テスト結果から成績の分布を推測する。
(例)手書き数字を認識するソフトウエアを作る。
(例)テレビCMの売り上げへの影響を調べる。
(例)人工知能をつくる。
データ科学では、学習モデルは仮のものであることの方が多い。
仮のモデルを使って得られた結論は「正しい」のだろうか?
2015/11/18
Mathematical Learning Theory
6
初めての人が陥りやすい誤りかた (1)
1.正しい推論は、真の命題を確率1でつなぐ場合だけに得られる。
2.絶対に正しい学習モデルが分かるまでは何もできない。
3.絶対に正しい学習モデルは決してわからないのだから、
統計的学習はすべて嘘である。
(注意)学習は、絶対に正しいものだけを積み上げる方法ではありません。
(注意)世の中には嘘モデルを使って人をだます人もあるので慎重に
なるのはわかります。また「検定すれば必ず正しい結論が得られる」
というわけではありません。
2015/11/18
Mathematical Learning Theory
7
初めての人が陥りやすい誤りかた (2)
1.絶対に正しい学習モデルがわかることはないのだから
統計的学習は、それぞれ好みで決めてよい。
2.統計的学習は、ひとごとに違っていてよい。
それが個性というものだからすばらしい。
3.人はみな世界でひとつだけの統計的学習を持っている。
(注意) 統計的学習は、科学あるいは技術であり
人生観ではありません。
(注意) 結果が絶対に正しくはないからと言って
誤ることを個性だと考えるのは・・・ですね。
2015/11/18
Mathematical Learning Theory
8
統計学は・・・
○ データからわかることは「絶対に正しいこと」ではない。
○ データから何もわからないということはない。
○ 「絶対に正しいこと」がわからないからといって、
個人の好みで結論を選んでよいということではない。
ひとは、知らないことに対しては<0か1か>のような極端な意見に陥りやすい
ので注意しましょう。「統計学こそ大正義」、「統計は全て嘘だらけ」などの本は
昔からたくさんあります。(←統計学者は、そういう主張はしません。)
深層学習とデータサイエンスの発達は、これからの経済社会、芸術文化、私たちの
日々の暮らしに大きな影響を与えるようになるでしょう。統計学と学習理論についての
正しい理解は、その世界を生きていくあなたの支えのひとつになると思います。
→ 平凡であるけれど、「何がどこまでわかるのか」を
知っておくのも悪くないかな(学習理論への出発)。
2015/11/18
Mathematical Learning Theory
9
学習理論で何がわかるか(予測編)
学習理論は
予測を
当てることが
責務である。
2015/11/18
Mathematical Learning Theory
10
学習理論で何がわかるか(予測編)
真の分布
データ
各点の適切さ
学習モデルの集合
2015/11/18
Mathematical Learning Theory
11
学習理論で何がわかるか(予測編)
不明な真の分布
学習の結果
学習アルゴ
リズム
各点の
適切さ
学習モデルの集合
2015/11/18
Mathematical Learning Theory
12
学習理論で何がわかるか(予測編)
不明な真の分布
真の分布が不明でも
汎化誤差が従う
数学的法則が導出
できるので
推測することができる。
汎化
誤差
学習の結果
学習モデルの集合
2015/11/18
Mathematical Learning Theory
13
学習理論で何がわかるか(予測編)
不明な真の分布
真の分布が不明でも
異なるモデルの
汎化誤差の
大小を比較する
ことができる。
→ 予測が正確な
モデルを選べる。
汎化
誤差1
学習の結果1
学習モデル1
2015/11/18
Mathematical Learning Theory
汎化
誤差2
学習の結果2
学習モデル2
14
学習理論で何がわかるか(確率編)
学習理論は
真の構造を
見つけることが
責務である。
2015/11/18
Mathematical Learning Theory
15
学習理論で何がわかるか(確率編)
データ
学習モデルが与えられたとき
「そのモデルからデータが
発生する確率」を計算できる
学習モデルの集合
2015/11/18
Mathematical Learning Theory
16
学習理論で何がわかるか(確率編)
データ
それぞれのモデルからデータが
発生された確率を比較して、
確率の大きいほうを選ぶ。
→ 真の分布を実現できる
モデルがあるときは、その
中で一番小さいモデルが
選ばれる。
学習モデル1
2015/11/18
Mathematical Learning Theory
学習モデル2
17
学習理論で何がわかるか(確率編)
学習モデルが与えられた
とき、「そのモデルから
データが発生する確率」は
学習モデルの集合上の積分
になるので計算は一般に
困難(統計力学における
分配関数と数学的に同値)。
データ
学習モデルに応じて適切な
計算法が必要になる。
学習モデルの集合
2015/11/18
統計力学や純粋数学が
役立つときがある。
Mathematical Learning Theory
18
学習理論への出発
「予測精度の解明」および「構造の発見」は学習理論において
中心的に重要な課題であり、上記のことについては
数式を用いた定義
定理の記述
定理の証明
を行うことができます。将来、必要になったら勉強してみてください。
2015/11/18
Mathematical Learning Theory
19
「小鳥が歌う」と「春が来る」
2015/11/18
Mathematical Learning Theory
20
例
政府統計の総合窓口(e-Stat)のデータを使わせて頂きました。
http://www.estat.go.jp/SG1/estat/eStatTopPortal.do
経済センサス-町丁・大字別集計・神奈川県横浜市の一部分
「○町○丁目」で働く人の数を調べたもの。
log(1+医療福祉で働く人の数)
2015/11/18
log(1+製造業で働く人の数)
21
例
X から Y を多項式回帰したら、多項式の次数によって
結果がまったく異なることが分かった。
log(1+医療福祉で働く人の数)
1次
2次
0次
2015/11/18
Mathematical Learning Theory
log(1+製造業で働く人の数)
22
問1
横浜市で「○町○丁目」で働く人の数を調査した。
X = log(1+製造業で働く人の数)
Y = log(1+医療福祉で働く人の数)
において、多項式を用いて二乗誤差を最小にするように
学習すると、その結果は用いたモデルによって変化する。
(1) 0次: X は Y に影響しない。
(2) 1次: X が大きいほど Y は大きい。
(3) 2次-4次: X がある値より大きいと Y は減少する。
(4) 5次以上: Y はいったん減少したあと、また上昇する。
モデルが違うと結論が違うから「何もわからない」のだろうか。
予測精度および確率の観点から、この問題について論ぜよ。
2015/11/18
Mathematical Learning Theory
23
最後まで
学んでくれて
ありがとう
2015/11/18
Mathematical Learning Theory
実社会で
役立つかな
いつかまた
数学と
出会ってね
24
学習理論と社会
学習理論は、もともと人工知能を作るため、すなわち音声・画像の認識や
自然言語・時系列の理解に用いることを目的として研究されてきました。
今日では、膨大データ、巨大ネットワーク、深い学習モデルが実現され、
社会経済、自然科学、芸術文化のありかたを変革し始めています。
学習理論は科学あるいは技術なので、みんなの幸せに役立つかどうかは、
使い方しだいです。
今度こそ人類は、科学あるいは技術を、賢く正しく使って欲しいと思います。
皆さんの時代です。
2015/11/18
Mathematical Learning Theory
25
問2
次の中で30年後にそうなっていると思うものに○、そうでないものに×をつけましょう。
1.自動英会話できるスマホがあるので、TOEICを受けなくて良い。
2.就職活動は、深層学習が代行してくれる。
3.あなたの脳波と遺伝子からあなただけの修士論文が自動生成。
4.映画も流行歌もお笑い番組も、コンピュータが作っている。
5.人間にできる仕事が少なくなり、失業者があふれて社会危機。
6.会社は社長ひとり。データ分析してAIに指示するだけ。
7.人口減少から抜け出すための深層学習の政策が実行されている。
8.西森先生の量子コンピュータが実現され「パスワード」はもうない。
9.全ての人の全ての行動が記録されている。
10.学問がなくなっている。
2015/11/18
Mathematical Learning Theory
26
ダウンロード

Mathematical Foundation of Statistical Learning