Multi-Instance 祭り!!
named by かしまさん(IBM)
読む人:藤巻(NEC)
読む論文(参考文献)
A) On the Relation Between Multi-Instance
Learning and Semi-Supervised Learning
–
–
–
–
Zhi-Hua Zhou and Jun-Ming Xu
MIってSemi-supervisedで解けるよね
Semi-supervised Learning,CCCP
Formulationは参照論文とほぼ同じになる
B) Multiple Instance Learning for Sparse Positive
Bags
– Razvan C. Bunescu and Raymond J. Mooney
– Trunsductive Constraint, CCCP
Overview
• What is Multi-Instance Learning(A)
• SVM-based Multi-Instance Learning(B)
• sSVM(B)
– Formulation
– Trunsductive and CCCP
• Miss-SVM(A)
– Relation between MI and Semi-Supervised
– Formulation
• Experiments
What is Multi-Instance Learning?
Negative bags
Positive bags
Given : 各bagのラベル
Unknown : 各インスタンスのラベル
Assumption : positive bagは少なくても1つの
positive instanceを含む
Unknown bagに対するpredictorを学習することが目標
*医療系とか画像診断系でこういう問題設定があるのかな?
SVM-based Multi Instance Learning
SIL-SVM : Positive Bags は Positive Richと思おう
他にも・・・
・STK・・・NSKの亜種
・mi-SVM・・・SIL-SVMを繰り返す
・MI-SVM・・・NSKを繰り返す
NSK : InstanceではなくてBagに対するカーネルを準備
Problem : 少なくて1つは正を制約に入れたい!!
Multiple Instance Learning
for Sparse Positive Bags
Razvan C. Bunescu
Raymond J. Mooney
sSVM
sSVMだ~~!
Transductive and CCCP (stSVM)
・sSVMは厳密には「少なくて一つは正」を満たさない場合がある
→ 全部がすごい小さい負
たぶんXの間違え
これを入れると
Bagに必ずpositiveが1つ
必要になる
全部足したのに対する制約
全部が境界にいると思うと・・・
negative wφ(x) + b = -1 + ξX
positive wφ(x) + b = 1 - ξX
後はCCCPで解こう
OK!
全部negative
wφ(X) + |X| b = -|X| + |X|ξX
1つだけpositive
wφ(X) + |X| b = (2 - |X|)(1 – ξX)
Balanced Procedure
On the Relation Between Multi-Instance Learning
and Semi-Supervised Learning
Zhi-Hua Zhou
Jun-Ming Xu
What is Multi-Instance Learning?
思い出しスライド
Negative bags
Positive bags
Given : 各bagのラベル
Unknown : 各インスタンスのラベル
Assumption : positive bagは少なくても1つの
positive instanceを含む
Unknown bagに対するpredictorを学習することが目標
Semi-Supervised Learning
Negative
instances
Positive
instances
Unknown
instances
Given : positive, negative instancesのラベル
Unknown : unknown Instancesのラベル
unknown instancesも学習に使い
predictorの精度を向上させることが目標
Reformulation
Bag
label
Instance
Bagをnegative, positiveでソートしてみる
Bagをばらばらにしてみる
Reformulation
Assumption:positive bagは少なくても1つのpositive instanceを含む
→ negative bagはnegative instanceのみを含む
Negative由来はnegative!!
Positive由来はunknown
Let’s Semi-Supervised Formulation!!
positive bagのindex
→Fsによって各インスタンスのラベルを判定し1つでもpositiveならpositive
MissSVM
Popular Semi-Supervised Learning Formulation
Labeled data
Unlabeled data
Positive bagは必ずpositive instanceを含まないと×
MissSVM
negative bag
positive bag
positive instance
positive instance
Representer Theorem
MissSVM
convex
convex
convex
concave
convex
convex
convex
convex
ConCave Convex Programing (CCCP) にしよう
Relaxation to CCCP
Concave部分が微分不可なのでsubgradientで代用する
(1-τ)
簡単に・・・
fのxにおけるsubgradient
MissSVM CCCP
Experiments
sSVM
Bagのレシピ
Result
Experiments
MissSVM
Drug Activity Prediction
Musk1: 47 positive bags, 45 negative bags, average 5.17 instances
Musk2: 39 positive bags, 63 negative bags, average 64.49 instances
Bag: molecule
Instance: low-energy shape
Image Categorization
Bag: Image
Instance: Region of Interest
Image Categorization
入力
出力
Web Index Page Recommendation
感想
• マルチインスタンス学習の問題設定を知った
• Bag内の相関を考える(Future workにも載っ
ていた)
– 仮説:同じBag内のデータは似ている(positiveも
negativeも)
• 負けてもいいんだという心意気を学んだ
ダウンロード

発表資料