論文発表
che
20091013
本発表について
• 今回の論文はウェアラブルコンピューティング
とインタラクションの研究
• 発表の狙い
– インタラクションに関する論文を読んできたかった
• 修論で参考にしたい
– 「眼鏡をかける」というネタの優位性を考えたかっ
た
WUW - Wear Ur World - A
Wearable Gestural Interface
P. Mistry, P. Maes, L. Chang.
MIT Media Lab
論文概要
• In the CHI '09 extended abstracts on
Human factors in computing systems.
Boston, USA. 2009
• 内容はビデオを見てもらうのが手っ
取り早いと思います
Abstract
• WUW – Wear Ur World – A Wearable Gestural
Interface
– 情報をtangible worldに持ち出すウェアラブルジェス
チャーインターフェース
• これまで情報は紙かデジタルスクリーンに結びつけられて
きた
– 帽子かペンダントに取り付けられたプロジェクタとカメ
ラのようなウェアラブルデバイスを用いる
– 壁等の現実空間上のオブジェクトの表面に情報を投
影する
– ジェスチャーにより情報の操作を可能にする
• 手や腕,オブジェクトの動きによるジェスチャー
Background
• マルチタッチとジェスチャーベースのインタラ
クションシステムが開発されてきた
– テーブルや壁を用いたコンピューティング
– 現実世界でのジェスチャーを用いたインタラクショ
ン
• モバイルコンピューティングデバイスの普及
– どこでもデジタル情報にアクセスできる
Issue
• There is no link between our interaction with these
digital devices and interaction with the physical world
around us.
– 既存のマルチタッチインタラクションシステムはモバイル
ではない
– 既存の小型モバイルデバイスはフルサイズのジェスチャ
システムには及ばない
• When digital information is projected onto physical
objects, instinctively it makes sense to interact with it
in similar patterns as with physical objects: through
hand gestures.
Aim
• To explore the novel free-hand gestural
interaction that WUW proposes.
– WUW: a computer-vision based wearable and
gestural information interface that augments the
physical world around us with digital information
and proposes natural hand gestures as the
mechanism to interact with that information.
– It is not the aim of this research to present an
alternative to multi-touch or gesture recognition
technology
Related Work
• ARに対するWUWの優位性
– WUW allows the user to interact with the projected
information using hand gestures
– the information is projected onto the objects and
surfaces themselves, rather than onto glasses or
goggles, which results in a very different user
experience
– the user does not need to wear special glasses
• ARに関する研究はWUWに影響を与えている
– wearable computing research projects and object
augmentation research projects inspires the WUW
prototype.
What is WUW
a wearable gestural interface
Device
• カメラと小型プロジェクタから構成される
• それぞれ帽子かペンダントに取り付ける
• カメラ
– ユーザの見ているものを撮る
– ユーザの手や腕の動きを認識する
• プロジェクタ
– 現実空間上のオブジェクトに
情報を投影する
• Color Markers
– 人差し指と親指に
色のついたマーカを付ける
– 指の認識に用いる
Prototype Application
• Map Application
– ジェスチャで地図のズームイン / ズームアウトができる
• Drawing Application
– ジェスチャでお絵描きできる
• Camera Application
– ジェスチャで写真が撮れる
• カメラを手に持つ必要がない
– 撮った写真は現実空間のオブジェクトに投影できる
• Information Application
– ユーザが操作しているオブジェクトの追加的な情報を
投影できる
– ex. 新聞にニュース映像を投影する
• Watch Application
– ユーザの腕に時計を投影する
Gestural Interaction of WUW
• The WUW primarily recognizes
three types of gestures
– Gestures supported by multi-touch
systems
– Freehand gestures
– Iconic gestures (in-the-air drawings)
Gestures supported by multi-touch systems
• iPhoneのような操作
• pinch
– ズームイン・ズームアウト
• flip
– ドキュメント中の表示領域の移動等
• pen
• ペンの上げ下げ
• お絵描きの時に使う
Freehand gestures
• 日常生活でもよく見るジェスチャ
• 手で四角形を作る
– カメラのフレームを象徴
– カメラアプリケーションで使う
• “Namaste”
– 任意の画面からホーム画面への遷移
Iconic gestures
• stylus-based interfaces
• ユーザの描いたシンボルやアイコンを認識して
インタラクション
• 例
– “☆”を描く
• 天気アプリケーションの起動
– [email protected]
• メールチェック
– “×”を描く
• Undo操作
WUW prototype
• 三つのハードウェアで構成
– pocket projector
• 3M MPro110
– camera
帽子に取り付ける
• Logitech QuickCam
– laptop computer
• OS
– Microsoft Windows platform
• Language
– C#
• Library
– WPF (画面描画)
– OpenCV (画像解析)
バックパックに入れる
画像認識
• 指の認識
– prototypeではマーカのついた4本の指しか認識しない
• 両手の人差し指と親指
– 4本しか指を認識しない理由
• 自然な手のジェスチャでは人差し指と親指が重要
• 指の数を制限する事でユーザ数がわかる
– マルチユーザのインタラクションを可能に
• オブジェクトの認識
– 数種類のオブジェクトの認識が可能
• 新聞
• コーヒーカップ
• 本
Discussion
• wearable gestural interfaceを提案した
– 現実空間と仮想空間をより一層結びつける
• 既存の手法に比べて斬新なインタラクション
– 写真を撮るインタラクション等
• コンパクトで廉価
– $350
• ジェスチャ認識のためのハードウェアがカメラ
– 特別な操作を科すようなハードウェアがいらない
• touch-screens
• QWERTY keybords
• pointing devices
Future Work
• カラーマーカを無くしたい
– ユーザビリティを改善する
• 現実空間上のオブジェクト認識能力の改善
• ペンダント型デバイスの開発
– it would be socially more acceptable
– ビデオではできてるように見える
• 近いうちに評価を取る
– 2ヶ月間のinformalなユーザフィードバックは既に
あるが,かなりpositiveな結果だった
個人的な感想
• 単純に面白かった
– 文章もわかりやすかった
– ビデオが特に楽しい
• 写真を撮ってる辺りが最高です
• 言い方次第では眼鏡のレンズによるインタラク
ションも認められるのでは?と期待
– 自分のビジョンを語るのは大事
– インパクトのあるビデオを撮りたい
• 次は評価をしてる論文を読みたい
– 修論で評価方法を参考にしたい
ダウンロード

論文発表