Research Meeting
Yeon JongHeum
2009. 03. 31.
Yahoo!知恵袋(Chiebukuro)
 Question-Answer community in Yahoo! Japan
 http://chiebukuro.yahoo.co.jp/
 Dataset

Public data for research institutes

Beta service version (2004-04-01 ~ 2005-10-31)

Resolved question : 3,116,009

Total Answers : 13,477,785

–
Best : 3,116,008
–
Others : 10,361,777
Total 286 categories
–
>10000 question : 71 categories , >1000 questions : 124 categories
Copyright  2009 by CEBT
2
Dataset Characteristics : Question
 Top 20 categories sorted by question count
Name
Question
恋愛相談、人間関係の悩み
Yahoo!知恵袋
Yahoo!オークション
パソコン、周辺機器
病気、症状、ヘルスケア
政治、社会問題
テレビ、ラジオ
インターネット
言葉、語学
動物、植物、ペット
国内
アダルト
自動車
芸能人、タレント
野球
レシピ、調理法
一般教養
ファッション
メンタルヘルス
健康、病気、ダイエット
Copyright  2009 by CEBT
210105
208793
190432
171848
84394
78777
75194
70529
68513
61541
61380
61369
57627
55783
53341
52430
51940
48984
47807
41978
Rate
6.743
6.701
6.111
5.515
2.708
2.528
2.413
2.263
2.199
1.975
1.970
1.969
1.849
1.790
1.712
1.683
1.667
1.572
1.534
1.347
3
Dataset Characteristics : Question (cont’d)
 Distribution Graph
Copyright  2009 by CEBT
4
Dataset Characteristics : Question (cont’d)
Category
 Log of Distribution Graph
オンラインゲーム
企業法務、知的財産
専門学校、職業訓練
失業、リストラ
ダイビング、サーフィン
留学
花火大会
美術館、博物館、図書館
トレーディングカード
勃起障害 (ED)
ウイルス対策、セキュリ
ティ対策
Copyright  2009 by CEBT
Question
Log(Freq.)
1808
1174
1008
836
770
687
584
266
35
31
3.257198
3.069668
3.003461
2.922206
2.886491
2.836957
2.766413
2.424882
1.544068
1.491362
26
1.414973
5
Dataset Characteristics : Answer
 Top 20 categories sorted by answer count
Name
Answer
恋愛相談、人間関係の悩み
Yahoo!オークション
Yahoo!知恵袋
パソコン、周辺機器
政治、社会問題
病気、症状、ヘルスケア
アダルト
自動車
言葉、語学
レシピ、調理法
芸能人、タレント
テレビ、ラジオ
動物、植物、ペット
野球
子育ての悩み
妊娠、出産
メンタルヘルス
国内
一般教養
話題の人物
Copyright  2009 by CEBT
1416562
1242646
1135325
474687
403306
289578
278361
263667
251657
249928
245729
244464
241061
235975
218126
209330
209116
199384
184062
181674
Rate
10.51035
9.219957
8.423676
3.521996
2.992376
2.148558
2.065332
1.956308
1.867199
1.85437
1.823215
1.813829
1.78858
1.750844
1.618411
1.553148
1.551561
1.479353
1.36567
1.347951
6
Dataset Characteristics : Answer (cont’d)
 Distribution Graph
Copyright  2009 by CEBT
7
Dataset Characteristics : Answer (cont’d)
Category
 Log of Distribution Graph
専門学校、職業訓練
ダイビング、サーフィン
留学
花火大会
美術館、博物館、図書館
哲学、倫理
ドラマ
入札、落札
海外生活
宅配、ゆうパック
食事
Copyright  2009 by CEBT
Question
103567
74881
77004
44653
21595
1659
2078
3796
1720
2586
Log(Freq.)
3.379849179
3.367355921
3.349277527
3.222716471
2.85672889
2.526339277
2.334453751
2.1430148
2.100370545
2.075546961
3600 2.075546961
8
Compare Question Count and Answer Count
Top 20 Question Category
Top 20 Answer Category
恋愛相談、人間関係の悩み
Yahoo!知恵袋
Yahoo!オークション
パソコン、周辺機器
病気、症状、ヘルスケア
政治、社会問題
テレビ、ラジオ
インターネット
言葉、語学
動物、植物、ペット
恋愛相談、人間関係の悩み
Yahoo!オークション
Yahoo!知恵袋
パソコン、周辺機器
政治、社会問題
病気、症状、ヘルスケア
アダルト
自動車
言葉、語学
レシピ、調理法
芸能人、タレント
テレビ、ラジオ
動物、植物、ペット
国内
アダルト
自動車
芸能人、タレント
野球
レシピ、調理法
一般教養
ファッション
メンタルヘルス
健康、病気、ダイエット
野球
子育ての悩み
妊娠、出産
メンタルヘルス
Copyright  2009 by CEBT
国内
一般教養
話題の人物
9
Dataset Characteristics : A/Q ratio
 Answers / Question

>1000 question, ratio of top 10/bottom 10, Sorted by A/Q
Name
Questions
恋愛相談、人間関係の悩み
Yahoo!オークション
マナー
家計、節約
子育ての悩み
ストレス
幼児教育、幼稚園、保育園
結婚
小・中学校、高校
新車
企業と経営
Yahoo!サービス
インターネット
会計、経理、財務
資格、習い事
ラジオ
専門学校、職業訓練
これ、探してます
企業法務、知的財産
オンラインゲーム
Answers
A/Q
210105
190432
23693
6659
35153
13274
12944
20468
26823
19225
1416562
1242646
151274
41437
218126
82054
78826
120392
147883
105748
6.7421623
6.5254054
6.384755
6.2227061
6.2050465
6.1815579
6.0897713
5.8819621
5.5132908
5.5005462
5918
15744
70529
3636
2045
2729
1008
6087
1174
1808
15413
40143
173478
8843
4913
6550
2398
14445
2559
3616
2.6044272
2.5497332
2.4596691
2.4320682
2.402445
2.4001466
2.3789683
2.3730902
2.1797274
2
…
Copyright  2009 by CEBT
10
Compare Q and A and A/Q
 () is A/Q ranking in > 1000 question category
Top 20 Question Category
恋愛相談、人間関係の悩み (1)
Yahoo!知恵袋 (12)
Yahoo!オークション (2)
パソコン、周辺機器 (108)
病気、症状、ヘルスケア (75)
政治、社会問題 (16)
テレビ、ラジオ (83)
インターネット (117)
言葉、語学 (63)
動物、植物、ペット (50)
国内 (84)
アダルト (26)
自動車 (24)
芸能人、タレント (29)
野球 (28)
レシピ、調理法 (21)
一般教養 (67)
ファッション (79)
メンタルヘルス (31)
健康、病気、ダイエット (82)
Top 20 Answer Category
恋愛相談、人間関係の悩み (1)
Yahoo!オークション (2)
Yahoo!知恵袋 (12)
パソコン、周辺機器 (108)
政治、社会問題 (16)
病気、症状、ヘルスケア (75)
アダルト (26)
自動車 (24)
言葉、語学 (63)
レシピ、調理法 (21)
芸能人、タレント (29)
テレビ、ラジオ (83)
動物、植物、ペット (50)
野球 (28)
子育ての悩み (5)
妊娠、出産 (11)
メンタルヘルス (31)
国内 (84)
一般教養 (67)
話題の人物 (14)
Copyright  2009 by CEBT
11
Dataset Characteristics : Posting Length
 Average Posting(Question/Answer) Length

Sorted by question count
Name
恋愛相談、人間関係の悩み
Yahoo!知恵袋
Yahoo!オークション
パソコン、周辺機器
病気、症状、ヘルスケア
政治、社会問題
テレビ、ラジオ
インターネット
言葉、語学
動物、植物、ペット
国内
アダルト
自動車
芸能人、タレント
野球
レシピ、調理法
一般教養
ファッション
メンタルヘルス
健康、病気、ダイエット
Question
210105
208793
190432
171848
84394
78777
75194
70529
68513
61541
61380
61369
57627
55783
53341
52430
51940
48984
47807
41978
Copyright  2009 by CEBT
Answer
1416562
1135325
1242646
474687
289578
403306
244464
173478
251657
241061
199384
278361
263667
245729
235975
249928
184062
163136
209116
137419
Q Length
130.8
58.1
136.5
109.9
108.8
84.6
70.4
97.8
73.9
103.2
79.1
70.0
84.3
56.2
63.5
78.0
66.6
86.6
113.4
86.4
A Length
97.3
64.2
99.6
107.4
114.8
98.3
74.8
103.9
94.0
120.8
102.4
69.1
91.8
64.3
74.4
91.7
91.1
90.0
94.5
96.9
12
Dataset Characteristics : Posting Length
 Average Posting(Question, Answer) Length

>1000 question, Length top 10/bottom 10, Sorted by Q. length
Name
子育ての悩み
幼児教育、幼稚園、保育園
ストレス
派遣
法律相談
消費者問題
子どもの病気とトラブル
労働問題
保険
カウンセリング、治療
オリンピック
天気、天文、宇宙
サッカー
一般教養
格闘技、武術
野球
話題の人物
Yahoo!知恵袋
芸能人、タレント
あの人は今
Questions
Answers
35153
12944
13274
4869
15513
3826
7491
6074
7628
11472
…
5193
14231
19544
51940
12494
53341
34916
208793
55783
15589
Copyright  2009 by CEBT
Q Length
A Length
218126
78826
82054
19718
54266
13597
35192
26294
27869
58413
158.7
156.6
156.5
152.0
151.4
150.3
146.2
144.3
142.0
139.7
151.5
153.9
121.0
145.3
130.6
115.3
145.8
119.1
147.2
128.2
21622
53403
77297
184062
47716
235975
181674
1135325
245729
60070
68.4
67.5
67.1
66.6
63.8
63.5
59.4
58.1
56.2
52.4
74.1
108.9
88.3
91.1
83.3
74.4
65.7
64.2
64.3
66.9
13
Dataset Characteristics : Posting Length
 Average Posting(Question, Answer) Length

>1000 question, Length top 10/bottom 10, Sorted by A. length
Name
幼児教育、幼稚園、保育園
子育ての悩み
保険
子どもの病気とトラブル
派遣
企業法務、知的財産
妊娠、出産
結婚
受験、進学
年金
CM
テレビ、ラジオ
Yahoo!サービス
野球
オリンピック
アダルト
あの人は今
話題の人物
芸能人、タレント
Yahoo!知恵袋
Questions
Answers
12944
35153
7628
7491
4869
1174
38354
20468
4716
2772
…
10014
75194
15744
53341
5193
61369
15589
34916
55783
208793
Copyright  2009 by CEBT
Q Length
A Length
78826
218126
27869
35192
19718
2559
209330
120392
23021
9622
156.6
158.7
142.0
146.2
152.0
114.4
132.0
139.0
103.4
121.8
153.9
151.5
147.2
145.8
145.3
137.9
136.1
134.9
134.2
133.8
26956
244464
40143
235975
21622
278361
60070
181674
245729
1135325
68.4
70.4
78.3
63.5
68.4
70.0
52.4
59.4
56.2
58.1
79.8
74.8
74.8
74.4
74.1
69.1
66.9
65.7
64.3
64.2
14
Dataset Characteristics : Posting Length
 Average Posting(Question, Answer) Length

>1000 question
Copyright  2009 by CEBT
15
Cluster categories with k-means
 Cluster categories into 3 groups
 Parameter

Average question length

Average answer length

Answer/Question ratio
Copyright  2009 by CEBT
16
Cluster categories with k-means
 Clustered information

Group 1 : Middle length question, Middle length answer

Group 2 : Short length question, Short length answer

Group 3 : Long length question, Long length answer
AVG
Group 1
Group 3
MAX
A/Q
3.50
2.00
5.31
Question Length
97.65
73.81
117.30
111.02
91.81
134.15
A/Q
3.65
2.37
5.50
Question Length
74.46
52.39
87.45
Answer Length
88.50
64.23
108.91
A/Q
4.60
2.18
6.74
Question Length
135.84
114.37
158.66
Answer Length
126.67
97.34
153.89
Answer Length
Group 2
MIN
Copyright  2009 by CEBT
17
Cluster categories with k-means
 Distribution of A/Q for each group

Group 1 < Group 2 < Group 3
Copyright  2009 by CEBT
18
Cluster categories with k-means
 Clustered distribution
Copyright  2009 by CEBT
19
Cluster categories with k-means

Group 1


Group 2


パソコン、周辺機器 / 病気、症状、ヘルスケア / インターネット / 動物、植物、ペット / メンタルヘルス / 海
外 / 携帯電話、モバイル / 家事 / 芸術、文学、哲学 / 家事、住宅 / コスメ、美容 / バイク / 家電、AV機器 / 数
学、サイエンス / ダイエット / コスメ、化粧品 / 洋楽 / 就職活動 / 事件、事故、流行 / 中古車 / オーディオ /
就職、転職 / 楽器 / 労働問題、働き方 / 家計、貯金 / 大学 / アルバイト、フリーター / 葬儀 / 貯金 / 資格 / 占
い、超常現象 / 釣り / 受験、進学 / 派遣、アルバイト、パート / 冠婚葬祭 / あいさつ、てがみ、文例 / エステ、
マッサージ / 会計、経理、財務 / 役所、手続き / ボランティア、環境問題、国際協力 / 起業 / アウトドア / 資
格、習い事 / キャンプ / オンラインゲーム / 専門学校、職業訓練
Yahoo!知恵袋 / 政治、社会問題 / テレビ、ラジオ / 言葉、語学 / 国内 / アダルト / 自動車 / 芸能人、タレント
/ 野球 / レシピ、調理法 / 一般教養 / ファッション / 健康、病気、ダイエット / 料理、グルメ、レシピ / 話題
の人物 / コミック / ゲーム / 邦楽 / 交通、地図 / 料理、食材 / 映画 / 音楽 / ニュース、事件 / サッカー / ス
ポーツ / 新車 / ギャンブル / Yahoo!サービス / あの人は今 / ショッピング / 株式 / 天気、天文、宇宙 / 格闘技、
武術 / 飲食店、デパ地下 / CM / お酒、ドリンク / 本、雑誌、コミック / 株と経済 / これ、探してます / 企業
と経営 / 祭りと年中行事 / オリンピック / 雑誌 / 公共施設、役所 / 会社情報、業界動向 / 話題のことば / 経済、
景気 / ラジオ
Group 3

大学、留学 / 恋愛相談、人間関係の悩み / Yahoo!オークション / 妊娠、出産 / 子育ての悩み / 小・中学校、高
校 / 子育て、出産 / 不動産、引越し / マナー / 結婚 / 法律相談 / ストレス / 幼児教育、幼稚園、保育園 / カウ
ンセリング、治療 / 保険 / 子どもの病気とトラブル / 税金 / 家計、節約 / 労働条件、給与、残業 / 法律、消費
者問題 / 労働問題 / ローン / 派遣 / 保険、税金、年金 / 消費者問題 / 年金 / 福祉、介護 / 退職、入社手続き /
パート / 企業法務、知的財産
Copyright  2009 by CEBT
20
Cluster categories with k-means
 Group 1

Scientific, technical, questions

e.g., Computer, math, science, audio, disease, health care, etc.
 Group 2

Relatively simple, light questions

e.g., Celebrity, baseball, cooking, comic, game, radio, etc.
 Group 3

Seeking advises about law, life, children, education

e.g., love, child care, school, manner, tax, labor problem , etc.
Copyright  2009 by CEBT
21
Sample Categories
 Dataset Summary
Category
Group 1
Group 2
Group 3
Questions Answers
家電、AV機器
(Home, AV appliances)
コミック
(Comic Book)
子育て、出産
(Childcare, Childbirth)
Group 2
Group 3
A. Avg.
Length
23488
69099
2.94
98.04
113.34
32981
128744
3.90
74.88
86.67
26747
138700
5.19
129.29
129.18
Users
(Question)
Category
Group 1
Q. Avg.
Length
A/Q
家電、AV機器
(Home, AV appliances)
コミック
(Comic Book)
子育て、出産
(Childcare, Childbirth)
Copyright  2009 by CEBT
Users
(Answer)
Users
(Q∩A)
11677
11243
2700
9515
17474
4960
6486
20134
3853
22
Dataset Summary
 Distribution of number of questions
Copyright  2009 by CEBT
23
Dataset Summary
 Distribution of number of answers
Copyright  2009 by CEBT
24
Dataset Summary
 Distribution of number of answers
Copyright  2009 by CEBT
25
User Relation Graph Summary
Category
Nodes
Edges
Components Diameter
Avg. Path
Length
Group 1
家電、AV機器
(Home, AV appliances)
20220
69099
15957
19
6.8368
Group 2
コミック
(Comic Book)
22029
128744
7326
14
4.1927
Group 3
子育て、出産
(Childcare, Childbirth)
22767
138700
5195
13
4.1937
Density
Reciprocity
Mutual Edges
SCC
Group 1
0.0002
0.0007
121
|V| = 4023
|E| = 13983
Group 2
0.0003
0.0126
5167
|V| = 14587
|E| = 98862
Group 3
0.0003
0.0057
2105
|V| = 17525
|E| = 111117
Copyright  2009 by CEBT
26
Types of Triads
 A subquadratic triad census algorithm for large sparse networks
with small maximum degree, 2001, Elsevier
003
012
102
021D
021U
021C
111D
111U
030T
030C
201
120D
120U
120C
210
300
Copyright  2009 by CEBT
Home, AV
appliances
0
0
0
6781849
562513
453988
3680
16271
18955
30
37
193
252
37
5
0
Comic
Book
0
0
0
4534867
4395827
3276118
415575
330464
165138
3901
17497
22917
13818
8507
5886
684
Childcare,
Childbirth
0
0
0
4164089
11892199
2990332
290774
161202
195152
3469
6394
13437
8267
4449
1953
152
27
Types of Triads
Copyright  2009 by CEBT
28
Research Topic
 Finding Similar Question by using Answer Similarity
Question
Answer
Question
Answer
Answer
Copyright  2009 by CEBT
29
ダウンロード

Research Meeting