Blog 時代の検索エンジン Bulkfeeds
Tatsuhiko Miyagawa
[email protected]
Livedoor, Co.,Ltd. / Shibuya Perl Mongers
Bloggers meeting in Kyoto 2004
アジェンダ

Bulkfeeds 活用術




Bulkfeeds のしくみ


RSS 検索エンジン
全文検索とRSSフィード
Similarity Search
RSS, Ping Server, etc.
Bulkfeeds API

全文検索, Similarity, etc.
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
Bulkfeeds 活用術
Bulkfeeds = RSS 検索エンジン

日本語RSSのディレクトリ



rss-jp.net
Syndic8.com
日本語かどうかの判別

現状は …
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
RSSフィードの全文検索

RSS の item を検索


Blog で言及されたエントリの検索
Google より早い!(最近は Googlebot も
がんばってる)
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
検索結果の RSS フィード

検索した結果の記事を RSS で出力



未来的検索
気になる単語の検索結果を受信
エゴサーチ(自分や会社の名前)
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
RSS検索結果をアプリケーションで

検索結果チャネル



FeedDemon
ReadOne
Headline-Reader
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
Similarity Search

類似記事検索




記事のテキストをマイニング
類似記事を表示
javascript フィードもあるよ
適当な自然言語処理
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
その他いろいろ

Stats


FOAF Relationship


Blog ツールごとの遷移
RSS  FOAF の関連付け
更新間隔表示
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
Bulkfeeds バックエンドの仕組み
Bulkfeeds バックエンド

Open Source Software





Apache 1.3.29
Perl 5.8.3
mod_perl 1.29
MySQL 4.0
サーバは Data-Hotel


http://www.data-hotel.net/
CPU PenIV 1.5G / メモリ 1G / HDD 80G
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
RSSフィードのアグリゲート

Ping サーバ




ping.bloggers.jp
MyBlog Japan
ココログ
各サービス



Livedoor Blog
はてなダイアリ
etc.
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
検索エンジン

Open Source Software



RSS を HTML化
Namazu + Kakasi
3,000,000記事


Namazu の限界
とりあえず直近1ヶ月の記事のみに (4/6)
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
アクセス状況

RSS 検索 (search2)


30,000 / day
Similarity Search

100,000 / day (PV: javascript)
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
Bulkfeeds API
Application Programming Interface

各種データフォーマットによるAPI提供




RSS
OPML
XML (REST)
サービス



Search2, search, similarity
discovery
terms
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
API クライアント

REST



Blogmap


HTTP GET (POST) + XML
プラットフォーム非依存
新着Blogの検索
GREE, Pigeonhole

RSS Auto-Discovery
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
Similarity Terms API

特徴語の抽出





POST + REST
オートニュー速
ニュー速 Ping サーバ
MT-ニュー速プラグイン
API キーを取得して利用してください
Copyright 2004 Livedoor, Co.,Ltd.
Bloggers meeting in Kyoto 2004
ご静聴ありがとうございました
ご質問どうぞ
ダウンロード

Object Oriented Programming in Perl