マルチモーダルWebアプリケーション

コンピュータ・インタフェースとして一般によく用いられているキーボードやマウスを越えた，様々な入出力方法(モーダル)の相互利用

例

AT&Tのspeak4it (デモ)

Mashupにより，携帯電話からリモートサーバ上の音声認識や地図検索を利用

マルチモーダル・マッシュアップ

• あらゆる家電・電子機器に通信機能を付加
• 一つの機器だけでは実現できない様々な機能を，ネットワーク越しに実現 (cloud)
• 各端末機器における「センシング」(情報収集)と，収集された情報にもとづく統合的制御

マルチモーダルWebの歴史: HTMLの拡張

方法論1: 名前空間による多言語共存

例: XHTML+Voice (X+V) — IBMによる資料

XML名前空間の機能を使って，XHTMLにVoiceXMLの音声機能を埋め込み

XML Eventsによるモーダル間の連動

課題:

- ローレベルな処理フロー制御やデータ制御等，きめこまかい制御が不可能

- 「マルチモーダル」を実現するためとはいえ，各ブラウザが名前空間の機能を持つのは処理が重い

マルチモーダルWebの歴史: HTMLの拡張2

方法論2: HTML言語自体を拡張

例: HTML5

video, audio, geo, canvas, socket, storage, thread など

課題:

- あらゆるマルチモーダル処理をHTMLおよびJavaScriptのみで記述するのは困難

- 多様なモーダルを連携させるために必要だった名前空間が使えなくなった

これからのマルチモーダルWeb!

三つのキー・テクノロジー

1. MMIアーキテクチャ

   - Web上で利用する様々な入出力デバイスを透過的かつ統一的に扱うためのフレームワーク

   - アプリケーションの構成モジュールを以下の二つに分割し管理

   モダリティ・コンポーネント (MC):

   - 入出力機能を制御する，各クライアント機器上のソフトウェア

   - HTML5, SVG, InkML, VoiceXML 等のMLを利用

   インタラクション・マネージャ (IM):

   - 各MCと通信し，全体のアプリケーション・ロジックを制御するサーバ

   - SCXML 等のMLを利用

2. ライフサイクル・イベント

   - MCとIMの間でやりとりされる，データ通信のためのユニバーサルな API

   - Prepare, Start, Done等

3. EMMA

   - マルチモーダル・システムにおける標準的データ交換フォーマット

   - 音声認識結果にも対応し，各データ要素ごとに確率を付与可能

   - 各装置ごとの差異はEMMAの共通形式で吸収

マルチモーダル・アーキテクチャ

マルチモーダルWeb実現の課題 (例)

セキュリティ:

• 利用者の識別・認証 (バイオメトリックス・ワークショップでも話者認証モデルについて議論)
• 安全確実な分散処理

他標準との統合:

• W3C内標準 (HTML5, SVG, Device API, Device Ontology, Web Apps等)
• 他団体による標準 (DLNA, ECHONET等)
• セマンティック・ウェブ技術
• その他 (ビデオ情報やGPS情報等)

具体的な実装の状況:

• いつ，どのように，新しい仕様を製品へ反映するか
• 家電機器とWebとの連携
• 記述言語/ブラウザ実装等，開発環境の整備

言語処理との兼ね合い:

• 自然言語分析とIME処理
• テキスト情報と音声情報の共存

ユーザビリティ/アクセシビリティ:

• 具体的な画面表示方法等の統一 (表示形式，表示位置等)
• マウス/キーボード以外のインタフェースの有用性
• エージェント機能

ありがとうございました!

お問合せ先:

慶應義塾大学 SFC 研究所 W3C

〒252-8520 神奈川県藤沢市遠藤 5322

電話: 0466-49-1170

Fax: 0466-49-1171

email: keio-contact@w3.org

担当: 一色, 石倉, 芦村

関連情報

本スライド

• http://www.w3.org/2009/Talks/1130-ci-seminar-ka/

W3C全般について

• W3Cトップページ
• W3Cについて
• 初めて訪れる方向けの説明

W3C Multimodal Interaction Working Groupについて

• MMI Architecture
• MMI Authoring
• EMMA
• InkML
• Multimodal Interaction WG Activity Statement
• Multimodal Interaction WG Charter
• Multimodal Interaction WG 一般公開用 Web page
• Multimodal Interaction WG 一般公開用 Mailing List

標準仕様策定活動について

• W3C Process Document
• Publication Policy

W3C特許方針について

• W3C Patent Policy
• Patent Policy FAQ
• Implementation of Patent Policy