JP2003157167A - マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム - Google Patents
マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラムInfo
- Publication number
- JP2003157167A JP2003157167A JP2001356487A JP2001356487A JP2003157167A JP 2003157167 A JP2003157167 A JP 2003157167A JP 2001356487 A JP2001356487 A JP 2001356487A JP 2001356487 A JP2001356487 A JP 2001356487A JP 2003157167 A JP2003157167 A JP 2003157167A
- Authority
- JP
- Japan
- Prior art keywords
- document
- voice
- modal
- multimodal
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 71
- 230000006870 function Effects 0.000 claims abstract description 70
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims description 116
- 230000006854 communication Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 51
- 238000003786 synthesis reaction Methods 0.000 claims description 40
- 230000015572 biosynthetic process Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 39
- 238000012905 input function Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241001235534 Graphis <ascomycete fungus> Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4938—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Document Processing Apparatus (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
ダリティやユーザが使用したいモダリティに応じて、最
適なモダリティを有するインタフェースを提供すること
ができるマルチモーダル文書送受信システムを提供でき
る。 【解決手段】 マルチモーダル文書受信処理装置101
の各種機能を示すモダリティ情報をマルチモーダル文書
送信装置102に送信し、該モダリティ情報に基づいて
該マルチモーダル文書送信装置が生成したマルチモーダ
ル文書を受信する。マルチモーダル文書中の音声出力対
象のテキストデータを、音声合成部206で音声合成
し、その合成した出力音声を音声出力部207で出力す
る。また、マルチモーダル文書中の表示対象のテキスト
データをGUI表示部208で表示する。
Description
トデータの出力形態の記述を含むマルチモーダル文書
を、ネットワークを介してマルチモーダル文書送信装置
から受信するマルチモーダル文書受信装置と、マルチモ
ーダル文書を生成して、ネットワークを介してマルチモ
ーダル文書受信装置へ送信するマルチモーダル文書送信
装置と、そのマルチモーダル文書受信装置とマルチモー
ダル文書送信装置とがネットワークを介して接続されて
構成されるマルチモーダル文書送受信システムに関する
ものである。
ネットに接続されたサーバに保持され、ハイパーテキス
トマークアップ言語(HTML:Hyper Text Markup La
nguage)で記述された文書を、インターネットを介して
パソコン上のブラウザに表示するウェブブラウジングの
世界は、拡大の一途をたどっている。
構造を記述する部分と表現形式を記述する部分が混在し
ており、その両者を分離するものとして、表現形式を構
造から括り出したCSS(Cascading Style Sheet)も
普及している。
S(表現形式)を分離しても、HTMLの文書構造は、
表現形式を意識したものであるため、さらに、文書の内
容のツリー構造のみを表すXML(eXtensible Markup
Language)と、ツリー構造を表現したい表現形式に変換
するXSL(eXtensible Stylesheet Language)で記述
する方法も普及しつつある。
プト言語としては、Java Script、VBScriptなどがあ
り、HTMLファイル内に記述したり、外部ファイルを
挿入したりすることができる。
書の例を図32、33に示し、その両者により生成され
るHTML文書、およびCSSファイルの例、JavaScri
ptファイルの例、ブラウザでの表示例をそれぞれ図34
〜図37に示す。
コンピュータ等の汎用コンピュータにインストールさ
れ、マウスやキーボード等の入力装置によるユーザの操
作に応じて、ブラウザが起動されると、ディスプレイ上
にそのブラウザ画面が表示される。
転」ボタン2501を押すと、図34中ウのonClickの
中身が呼び出され、図36に示すJavaScriptで記述した
関数(reverseColor())により、ブラウザ画面2500
内の背景と文字の色が反転する。
イルシートをいろいろと用意し、適宜切り替えること
で、文書の内容のツリー構造のみを表す単一のXML文
書を用途に応じて切り替えることができるようになって
きている。また、スクリプト言語により、ボタンなどを
押すことによるアクションも記述できる。
でなく、ユーザが日常で持ち歩く携帯電話やPHS(Pe
rsonal Handyphone System)、PDA(Personal Digit
al Assintant:携帯情報端末)といったモバイル端末の
性能も向上し、ハイエンドのモバイル端末は、一世代前
のパソコンと遜色ない処理能力を持つようになってき
た。
下の特徴が挙げられる。
て、ホストコンピュータと接続し、データ通信を行うこ
とができる。
ピーカなど)を装備していることが多い。
イエンドのモバイル端末では、一般に、GUI(Graphi
c User Interface:グラフィックユーザインタフェー
ス)画面が小さく、GUI情報を表示する能力が低い。
また、市場に存在するモバイル端末は、ハイエンドのも
のだけではなく、ハイエンドでないモバイル端末も数多
く存在し、そうしたモバイル端末には、GUI情報を表
示できないものもある。
操作及び応答の一部またはすべてを音声で行えるマルチ
モーダルインタフェースを実現することは有意義なこと
である。
て、一部のハイエンドのモバイル端末では、音声認識、
音声合成を行うことが可能である。しかしながら、多く
のモバイル端末では、音声認識、音声合成を行うことが
できない、もしくは貧弱な音声認識、音声合成しか行う
ことができない。
小型化に伴い、これまで音声処理を行えなかった機種
に、音声処理が可能になることも多く起こるであろう。
また、モバイル端末においては、その携帯性の利点か
ら、画面が小さいことが多かったが、画面の高精細度
化、ハードウェアの軽量化に伴い、モバイル端末におい
ても画面に表示できる情報が増大してきている。
持ったモバイル端末においても、GUI操作をしにくい
状況で、音声のみで処理したいといった状況や、逆に、
音声を使いづらいような環境で、GUIのみによって操
作したいといった状況も存在する。
であり、複数種類のモダリティを有する端末個々のモダ
リティやユーザが使用したいモダリティに応じて、最適
なモダリティを有するインタフェースを提供することが
できるマルチモーダル文書受信装置及びマルチモーダル
文書送信装置、マルチモーダル文書送受信システム及び
それらの制御方法、プログラムを提供することを目的と
する。
めの本発明によるマルチモーダル文書受信装置は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を、ネットワーク
を介してマルチモーダル文書送信装置から受信するマル
チモーダル文書受信装置であって、当該マルチモーダル
文書受信装置の各種機能を示すモダリティ情報を前記マ
ルチモーダル文書送信装置に送信し、該モダリティ情報
に基づいて該マルチモーダル文書送信装置が生成したマ
ルチモーダル文書を受信する通信手段と、前記マルチモ
ーダル文書中の音声出力対象のテキストデータを音声合
成する音声合成手段と、前記音声合成手段で合成した出
力音声を出力する音声出力手段と、前記マルチモーダル
文書中の表示対象のテキストデータを表示する表示手段
とを備える。
変更する変更手段とを更に備える。
マルチモーダル文書中の記述に基づいて、前記表示対象
のテキストデータの表示形態を制御する。
マルチモーダル文書受信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を生成して、ネットワークを介して
マルチモーダル文書受信装置へ送信するマルチモーダル
文書送信装置であって、前記マルチモーダル文書受信装
置の各種機能を示すモダリティ情報を受信する受信手段
と、前記モダリティ情報に基づいて、前記マルチモーダ
ル文書を生成する生成手段と、前記マルチモーダル文書
を前記マルチモーダル文書受信装置へ送信する送信手段
とを備える。
基づいて、前記マルチモーダル文書受信装置が要求する
原文書を編集/操作するための編集/操作ファイルを判
定する判定手段とを更に備え、前記生成手段は、前記判
定手段で判定された編集/操作ファイルを用いて、前記
原文書を編集して前記マルチモーダル文書を生成する。
前記表示対象のテキストデータの一部を表示/非表示を
制御するためのファイルである。
前記音声出力対象のテキストデータの音声出力の実行の
有無を制御するためのファイルである。
マルチモーダル文書送受信システムは以下の構成を備え
る。即ち、少なくともテキストデータの出力形態の記述
を含むマルチモーダル文書を生成するマルチモーダル文
書送信装置と該マルチモーダル文書を受信するマルチモ
ーダル文書受信装置とがネットワークを介して接続され
て構成されるマルチモーダル文書送受信システムであっ
て、前記マルチモーダル文書受信装置は、当該マルチモ
ーダル文書受信装置の各種機能を示すモダリティ情報を
前記マルチモーダル文書送信装置に送信し、該モダリテ
ィ情報に基づいて該マルチモーダル文書送信装置が生成
したマルチモーダル文書を受信する通信手段と、前記マ
ルチモーダル文書中の音声出力対象のテキストデータを
音声合成する音声合成手段と、前記音声合成手段で合成
した出力音声を出力する音声出力手段と、前記マルチモ
ーダル文書中の表示対象のテキストデータを表示する表
示手段とを備え、前記マルチモーダル文書送信装置は、
前記マルチモーダル文書受信装置から前記モダリティ情
報を受信する受信手段と、前記モダリティ情報に基づい
て、前記マルチモーダル文書を生成する生成手段と、前
記マルチモーダル文書を前記マルチモーダル文書受信装
置へ送信する送信手段とを備える。
マルチモーダル文書受信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を、ネットワークを介してマルチモ
ーダル文書送信装置から受信するマルチモーダル文書受
信装置であって、音声を入力する音声入力手段と、前記
音声入力手段から入力された音声の符号化を行い、符号
化入力音声データを生成する符号化手段と、ユーザ設定
情報を設定する設定手段と、当該マルチモーダル文書受
信装置の各種機能を示すモダリティ情報、前記ユーザ設
定情報、前記符号化入力音声データを前記マルチモーダ
ル文書送信装置へ送信する送信手段と、前記モダリティ
情報、前記ユーザ設定情報及び前記符号化入力音声デー
タに基づいて前記マルチモーダル文書送信装置が生成し
たマルチモーダル文書及びそのマルチモーダル文書中の
音声出力対象のテキストデータに対応する符号化出力音
声データを受信する受信手段と、前記符号化出力音声デ
ータを復号する復号化手段と、前記復号化手段で復号化
された出力音声を出力する音声出力手段と、前記マルチ
モーダル文書中の表示対象のテキストデータを表示する
表示手段とを備える。
設定手段によって前記ユーザ設定情報が変更された変更
ユーザ設定情報が生成された場合、前記変更ユーザ設定
情報を前記マルチモーダル文書送信装置へ送信する。
に、前記符号化入力音声データに対応する音声認識結果
を前記マルチモーダル文書送信装置から受信する。
マルチモーダル文書送信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を生成して、ネットワークを介して
マルチモーダル文書受信装置へ送信するマルチモーダル
文書送信装置であって、前記マルチモーダル文書受信装
置の各種機能を示すモダリティ情報及びユーザ設定情
報、符号化入力音声データを受信する受信手段と、前記
符号化入力音声データを音声認識する音声認識手段と、
前記音声認識手段による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成手段と、前記マルチモーダル
文書中の音声合成対象のテキストデータを音声合成して
符号化出力音声データを生成する音声合成手段と、前記
マルチモーダル文書及び前記符号化出力音声データを前
記マルチモーダル文書受信装置へ送信する送信手段とを
備える。
基づいて、前記マルチモーダル文書受信装置が要求する
原文書を編集するための編集ファイルを判定する判定手
段とを更に備え、前記生成手段は、前記判定手段で判定
された編集ファイルを用いて、前記原文書を編集して前
記マルチモーダル文書を生成する。
ーザ設定情報が変更された変更ユーザ設定情報を受信し
た場合、前記生成手段は直前に生成した前記マルチモー
ダル文書を、前記変更ユーザ設定情報に基づいて、該マ
ルチモーダル文書を編集する。
に、前記音声認識結果を前記マルチモーダル文書受信装
置へ送信する。
マルチモーダル文書送受信システムは以下の構成を備え
る。即ち、少なくともテキストデータの出力形態の記述
を含むマルチモーダル文書を生成するマルチモーダル文
書送信装置と該マルチモーダル文書を受信するマルチモ
ーダル文書受信装置とがネットワークを介して接続され
て構成されるマルチモーダル文書送受信システムであっ
て、前記マルチモーダル文書受信装置は、音声を入力す
る音声入力手段と、前記音声入力手段から入力された音
声の符号化を行い、符号化入力音声データを生成する符
号化手段と、ユーザ設定情報を設定する設定手段と、当
該マルチモーダル文書受信装置の各種機能を示すモダリ
ティ情報、前記ユーザ設定情報、前記符号化入力音声デ
ータを前記マルチモーダル文書送信装置へ送信する第1
送信手段と、前記モダリティ情報、前記ユーザ設定情報
及び前記符号化入力音声データに基づいて前記マルチモ
ーダル文書送信装置が生成したマルチモーダル文書及び
そのマルチモーダル文書中の音声出力対象のテキストデ
ータに対応する符号化出力音声データを受信する第1受
信手段と、前記符号化出力音声データを復号する復号化
手段と、前記復号化手段で復号化された出力音声を出力
する音声出力手段と、前記マルチモーダル文書中の表示
対象のテキストデータを表示する表示手段とを備え、前
記マルチモーダル文書送信装置は、前記マルチモーダル
文書受信装置から前記モダリティ情報及び前記ユーザ設
定情報、前記符号化入力音声データを受信する第2受信
手段と、前記符号化入力音声データを音声認識する音声
認識手段と、前記音声認識手段による音声認識結果、前
記モダリティ情報及び前記ユーザ設定情報に基づいて、
前記マルチモーダル文書を生成する生成手段と、前記マ
ルチモーダル文書中の音声合成対象のテキストデータを
音声合成して符号化出力音声データを生成する音声合成
手段と、前記マルチモーダル文書及び前記符号化出力音
声データを前記マルチモーダル文書受信装置へ送信する
第2送信手段とを備える。
マルチモーダル文書受信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置の制御方法であって、当該マルチモー
ダル文書受信装置の各種機能を示すモダリティ情報を前
記マルチモーダル文書送信装置に送信し、該モダリティ
情報に基づいて該マルチモーダル文書送信装置が生成し
たマルチモーダル文書を受信する通信工程と、前記マル
チモーダル文書中の音声出力対象のテキストデータを音
声合成する音声合成工程と、前記音声合成工程で合成し
た出力音声を出力する音声出力工程と、前記マルチモー
ダル文書中の表示対象のテキストデータを表示する表示
工程とを備える。
マルチモーダル文書送信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置の制御方法であって、前記マル
チモーダル文書受信装置の各種機能を示すモダリティ情
報を受信する受信工程と、前記モダリティ情報に基づい
て、前記マルチモーダル文書を生成する生成工程と、前
記マルチモーダル文書を前記マルチモーダル文書受信装
置へ送信する送信工程とを備える。
マルチモーダル文書送受信システムの制御方法は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を生成するマルチ
モーダル送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
の制御方法であって、前記マルチモーダル文書受信装置
は、当該マルチモーダル文書受信装置の各種機能を示す
モダリティ情報を前記マルチモーダル文書送信装置に送
信し、該モダリティ情報に基づいて該マルチモーダル文
書送信装置が生成したマルチモーダル文書を受信する通
信工程と、前記マルチモーダル文書中の音声出力対象の
テキストデータを音声合成する音声合成工程と、前記音
声合成工程で合成した出力音声を出力する音声出力工程
と、前記マルチモーダル文書中の表示対象のテキストデ
ータを表示する表示工程とを備え、前記マルチモーダル
文書送信装置は、前記マルチモーダル文書受信装置から
前記モダリティ情報を受信する受信工程と、前記モダリ
ティ情報に基づいて、前記マルチモーダル文書を生成す
る生成工程と、前記マルチモーダル文書を前記マルチモ
ーダル文書受信装置へ送信する送信工程とを備える。
マルチモーダル文書受信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置の制御方法であって、音声を入力する
音声入力工程と、前記音声入力工程から入力された音声
の符号化を行い、符号化入力音声データを生成する符号
化工程と、ユーザ設定情報を設定する設定工程と、当該
マルチモーダル文書受信装置の各種機能を示すモダリテ
ィ情報、前記ユーザ設定情報、前記符号化入力音声デー
タを前記マルチモーダル文書送信装置へ送信する送信工
程と、前記モダリティ情報、前記ユーザ設定情報及び前
記符号化入力音声データに基づいて前記マルチモーダル
文書送信装置が生成したマルチモーダル文書及びそのマ
ルチモーダル文書中の音声出力対象のテキストデータに
対応する符号化出力音声データを受信する受信工程と、
前記符号化出力音声データを復号する復号化工程と、前
記復号化工程で復号化された出力音声を出力する音声出
力工程と、前記マルチモーダル文書中の表示対象のテキ
ストデータを表示する表示工程とを備える。
マルチモーダル文書送信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置の制御方法であって、前記マル
チモーダル文書受信装置の各種機能を示すモダリティ情
報及びユーザ設定情報、符号化入力音声データを受信す
る受信工程と、前記符号化入力音声データを音声認識す
る音声認識工程と、前記音声認識工程による音声認識結
果、前記モダリティ情報及び前記ユーザ設定情報に基づ
いて、前記マルチモーダル文書を生成する生成工程と、
前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程と、前記マルチモーダル文書及び前記符号化
出力音声データを前記マルチモーダル文書受信装置へ送
信する送信工程とを備える。
マルチモーダル文書送受信システムの制御方法は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を生成するマルチ
モーダル送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
の制御方法であって、前記マルチモーダル文書受信装置
は、音声を入力する音声入力工程と、前記音声入力工程
から入力された音声の符号化を行い、符号化入力音声デ
ータを生成する符号化工程と、ユーザ設定情報を設定す
る設定工程と、当該マルチモーダル文書受信装置の各種
機能を示すモダリティ情報、前記ユーザ設定情報、前記
符号化入力音声データを前記マルチモーダル文書送信装
置へ送信する第1送信工程と、前記モダリティ情報、前
記ユーザ設定情報及び前記符号化入力音声データに基づ
いて前記マルチモーダル文書送信装置が生成したマルチ
モーダル文書及びそのマルチモーダル文書中の音声出力
対象のテキストデータに対応する符号化出力音声データ
を受信する第1受信工程と、前記符号化出力音声データ
を復号する復号化工程と、前記復号化工程で復号化され
た出力音声を出力する音声出力工程と、前記マルチモー
ダル文書中の表示対象のテキストデータを表示する表示
工程とを備え、前記マルチモーダル文書送信装置は、前
記マルチモーダル文書受信装置から前記モダリティ情報
及び前記ユーザ設定情報、前記符号化入力音声データを
受信する第2受信工程と、前記符号化入力音声データを
音声認識する音声認識工程と、前記音声認識工程による
音声認識結果、前記モダリティ情報及び前記ユーザ設定
情報に基づいて、前記マルチモーダル文書を生成する生
成工程と、前記マルチモーダル文書中の音声合成対象の
テキストデータを音声合成して符号化出力音声データを
生成する音声合成工程と、前記マルチモーダル文書及び
前記符号化出力音声データを前記マルチモーダル文書受
信装置へ送信する第2送信工程とを備える。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を、ネットワークを介してマルチモーダル文書送信装
置から受信するマルチモーダル文書受信装置の制御をコ
ンピュータに機能させるためのプログラムであって、当
該マルチモーダル文書受信装置の各種機能を示すモダリ
ティ情報を前記マルチモーダル文書送信装置に送信し、
該モダリティ情報に基づいて該マルチモーダル文書送信
装置が生成したマルチモーダル文書を受信する通信工程
のプログラムコードと、前記マルチモーダル文書中の音
声出力対象のテキストデータを音声合成する音声合成工
程のプログラムコードと、前記音声合成工程で合成した
出力音声を出力する音声出力工程のプログラムコード
と、前記マルチモーダル文書中の表示対象のテキストデ
ータを表示する表示工程のプログラムコードとを備え
る。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を生成して、ネットワークを介してマルチモーダル文
書受信装置へ送信するマルチモーダル文書送信装置の制
御をコンピュータに機能させるためのプログラムであっ
て、前記マルチモーダル文書受信装置の各種機能を示す
モダリティ情報を受信する受信工程のプログラムコード
と、前記モダリティ情報に基づいて、前記マルチモーダ
ル文書を生成する生成工程のプログラムコードと、前記
マルチモーダル文書を前記マルチモーダル文書受信装置
へ送信する送信工程のプログラムコードとを備える。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を、ネットワークを介してマルチモーダル文書送信装
置から受信するマルチモーダル文書受信装置の制御をコ
ンピュータに機能させるためのプログラムであって、音
声を入力する音声入力工程のプログラムコードと、前記
音声入力工程から入力された音声の符号化を行い、符号
化入力音声データを生成する符号化工程のプログラムコ
ードと、ユーザ設定情報を設定する設定工程のプログラ
ムコードと、当該マルチモーダル文書受信装置の各種機
能を示すモダリティ情報、前記ユーザ設定情報、前記符
号化入力音声データを前記マルチモーダル文書送信装置
へ送信する送信工程のプログラムコードと、前記モダリ
ティ情報、前記ユーザ設定情報及び前記符号化入力音声
データに基づいて前記マルチモーダル文書送信装置が生
成したマルチモーダル文書及びそのマルチモーダル文書
中の音声出力対象のテキストデータに対応する符号化出
力音声データを受信する受信工程のプログラムコード
と、前記符号化出力音声データを復号する復号化工程の
プログラムコードと、前記復号化工程で復号化された出
力音声を出力する音声出力工程のプログラムコードと、
前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程のプログラムコードとを備える。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を生成して、ネットワークを介してマルチモーダル文
書受信装置へ送信するマルチモーダル文書送信装置の制
御をコンピュータに機能させるためのプログラムであっ
て、前記マルチモーダル文書受信装置の各種機能を示す
モダリティ情報及びユーザ設定情報、符号化入力音声デ
ータを受信する受信工程のプログラムコードと、前記符
号化入力音声データを音声認識する音声認識工程のプロ
グラムコードと、前記音声認識工程による音声認識結
果、前記モダリティ情報及び前記ユーザ設定情報に基づ
いて、前記マルチモーダル文書を生成する生成工程のプ
ログラムコードと、前記マルチモーダル文書中の音声合
成対象のテキストデータを音声合成して符号化出力音声
データを生成する音声合成工程のプログラムコードと、
前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信工程
のプログラムコードとを備える。
適な実施形態を詳細に説明する。 <実施形態1>図1は本発明の実施形態1のマルチモー
ダル文書送受信システムの構成図である。
c)や、PHS(a〜c)、PDA(a〜c)等のモバ
イル端末からなり、マルチモーダル文書(文書構造+表
現形式)を受信して出力するマルチモーダル文書受信処
理装置群であり、その詳細については、図2を用いて後
述する。
101と通信を行うとともに、インターネット104を
介して、外部のWebサーバ群103a〜103cから
編集する原文書(例えば、Webサーバが管理するWe
bサイト/FTPサイト上のHTML文書、XML文書
やファイル等の各種文書データ)を取得して、マルチモ
ーダル文書を生成するマルチモーダル文書編集送信装置
であり、その詳細については、図3を用いて後述する。
01とマルチモーダル文書編集送信装置102は、公衆
回線や無線LAN等とのネットワークを介して、データ
通信を行うことができる。また、マルチモーダル文書受
信処理装置群101及びマルチモーダル文書編集送信装
置102は、汎用コンピュータや携帯端末に搭載される
標準的な構成要素(例えば、CPU、RAM、ROM、
ハードディスク、外部記憶装置、ネットワークインタフ
ェース、ディスプレイ、キーボード、マウス等)を有し
ている。更に、後述するマルチモーダル文書受信処理装
置群101及びマルチモーダル文書編集送信装置102
それぞれで実現される各種機能は、各装置内部のROM
や外部記憶装置に記憶されるプログラムがCPUによっ
て実行されることによって実現されても良いし、専用の
ハードウェアで実現されても良い。
の機能をマルチモーダル文書編集送信装置102に統合
して構成されても良く、この場合、マルチモーダル文書
編集送信装置102自身で管理している原文書に基づい
て、マルチモーダル文書を生成する。
101の内の1つの詳細構成について、図2を用いて説
明する。
ル文書受信処理装置の詳細構成図である。
フォンから音声を入力する音声入力部である。202
は、音声入力部201から入力された音声の認識処理を
行う音声認識部であり、その音声認識結果は、GUI入
力による文字入力と同等に扱われる。
グデバイスやテンキーなどのボタンによるGUI操作を
入力するGUI操作入力部である。
4上のWebサーバ103a〜103cで管理されるW
ebサイトへのアクセス操作、後述するモダリティ情報
の変更操作等の各種操作がある。
理装置101で使用する音声認識機能、音声合成機能、
GUI表示機能等の各種機能を示すモダリティ情報を保
持するモダリティ情報保持部である。
ダリティ情報保持部204に保持されたモダリティ情報
をマルチモーダル文書編集送信装置102に送信し、マ
ルチモーダル文書編集送信装置102から、テキストデ
ータの入出力形態(例えば、表示、音声入出力、印刷
等)を記述しているマルチモーダル文書やスクリプトフ
ァイルを受信するデータ通信部である。
たマルチモーダル文書中の音声出力対象のテキストデー
タを合成する音声合成部である。207は、音声合成部
207で合成した出力音声をスピーカやイヤホンから出
力する音声出力部である。
マルチモーダル文書中のGUI表示データを表示するW
ebブラウザ等のGUI表示部である。
理装置101の各構成要素201〜208を相互に接続
するバスである。
02の詳細構成について、図3を用いて説明する。
ル文書編集送信装置の詳細構成図である。
104を介して外部のWebサーバ(例えば、103
a)より原文書を受信するインターネット通信部であ
る。
取得した原文書を保持する原文書保持部である。303
は、原文書保持部302に保持された原文書を編集する
ためのスタイルシート群や原文書の操作を記述したスク
リプトファイル群からなる編集/操作ファイルを保持す
るスタイルシート・スクリプト保持部である。
置101から、GUI操作情報及びモダリティ情報を受
信し、マルチモーダル文書やスタイルシートやスクリプ
トファイルをマルチモーダル文書受信処理装置101に
送信するデータ通信部である。
マルチモーダル文書受信処理装置101を特定するため
の端末情報及びモダリティ情報を、個々のマルチモーダ
ル文書受信処理装置101ごとに保持する端末情報保持
部である。尚、端末情報保持部305では、公衆回線で
接続されている場合には電話番号で、無線LANなどな
どで接続されている場合には、IPアドレスでマルチモ
ーダル文書受信処理装置101の特定を行い、個々のマ
ルチモーダル文書受信処理装置101の端末情報を保持
する。
れた現在通信中のマルチモーダル文書受信処理装置10
1のモダリティ情報に基づいて、送信対象の原文書に適
用するスタイルシートや添付するスクリプトファイルを
判定するスタイルシート・スクリプト判定部である。
操作入力に基づいて得られた、原文書保持部302に保
持された原文書に、スタイルシート・スクリプト判定部
306で判定されたやスクリプトファイルを適用して編
集し、マルチモーダル文書を生成する送信文書編集部で
ある。
理装置101の各構成要素301〜307を相互に接続
するバスである。
01の動作について、図4を用いて説明する。
ル文書受信処理装置の動作フローを示すフローチャート
である。
205にて、モダリティ情報保持部204に保持された
モダリティ情報をマルチモーダル文書送信編集送信装置
102に送信する。
入力を待機する。ユーザからの入力がある場合(ステッ
プS402でYES)、ステップS403に進む。
音声入力であるか否かを判定する。音声入力である場合
(ステップS403でYES)、ステップS404に進
み、音声認識部202にて、入力された音声の認識を行
い、その音声認識結果をユーザからのGUI操作とし
て、ステップS405に進む。一方、音声入力でない場
合(ステップS403でNO)、ステップS405に進
む。
は、音声入力部201からの入力の有無に基づいて判定
する。
モダリティ情報の変更であるか否かを判定する。モダリ
ティ情報の変更である場合(ステップS405でYE
S)、ステップS401に戻る。一方、モダリティ情報
の変更でない場合(ステップS405でNO)、ステッ
プS406に進む。
にて、ユーザからの入力(例えば、マルチモーダル文書
の要求)をマルチモーダル文書編集送信装置102に送
信する。ステップS407で、データ通信部205に
て、マルチモーダル文書編集送信装置102からマルチ
モーダル文書を受信する。
に音声合成対象のテキストデータがあるかないかを判定
する。音声合成対象のテキストデータがある場合(ステ
ップS408でYES)、ステップS409に進み、音
声合成部206にて、音声合成対象のテキストデータの
音声合成を行う。そして、ステップS410で、音声出
力部207にて、その音声合成された音声データを出力
する。
モダリティ情報保持部204に保持されているモダリテ
ィ情報として音声合成機能があり、かつ、マルチモーダ
ル文書編集送信装置102から受信したマルチモーダル
文書中に音声合成対象用の所定タグ(例えば、後述す
る”<voice>”タグ)が含まれている否かに基づいて
行う。
たマルチモーダル文書中に音声合成対象のテキストデー
タがない場合(ステップS408でNO)、ステップS
411に進み、GUI表示部208にて、受信したマル
チモーダル文書中のGUI表示データに基づくGUI表
示を行って、ステップS402に戻る。
02の動作について、図5を用いて説明する。
ル文書編集送信装置の動作フローを示すフローチャート
である。
304にて、マルチモーダル文書受信処理装置101か
らの入力を待機する。入力がある場合(ステップS50
1でYES)、ステップS502に進む。
受信処理装置101からの入力がモダリティ情報である
か否かを判定する。モダリティ情報でない場合(ステッ
プS502でNO)、ステップS505に進む。一方、
モダリティ情報である場合(ステップS502でYE
S)、ステップS503に進み、端末情報保持部305
にて、そのモダリティ情報とマルチモーダル文書受信処
理装置101の端末情報を保持する。続く、ステップS
504で、スタイルシート・スクリプト判定部306に
て、受信したモダリティ情報に基づいて、送信対象の原
文書に適用するスタイルシート、スクリプトの判定を行
う。
受信処理装置101からの入力に基づいて、インターネ
ット通信部301にて、インターネット104を介して
原文書を取得し、原文書保持部302に保持する。続
く、ステップS506で、送信文書編集部307にて、
原文書保持部302に保持された原文書に、使用スタイ
ルシート・スクリプト判定部303で判定されたスタイ
ルシートを適用する送信文書編集処理を行い、マルチモ
ーダル文書を生成する。
にて、送信文書編集部307で生成集されたマルチモー
ダル文書をマルチモーダル文書受信処理装置101に送
信し、ステップS501に戻る。
02からマルチモーダル文書処理装置群101それぞれ
に送信されるマルチモーダル文書の例について、図6を
用いて説明する。
ル文書の例を示す図である。
e>”タグで括られた部分のテキストデータは、音声出
力対象のテキストデータであり、これは音声合成部20
6が音声合成し、音声出力部207から出力する。ま
た、”<h1>”〜”</h1>”タグや”<h2>”〜”
</h2>”タグで括られた部分のテキストデータは、表
示対象のテキストデータ(GUI表示データ)であり、
GUI表示部208には、図7に示すような表示が行わ
れる。
スタイルシート例は、図8及び図9に示され、この原文
書とこのスタイルシートに基づいて、送信文書編集部3
07は、例えば、図6に示したマルチモーダル文書を生
成する。
装置102が、マルチモーダル文書処理装置群101の
モダリティ情報からマルチモーダル文書処理装置群10
1が音声合成機能及びGUI表示機能を有していること
を判定した場合であり、図9は、図8の原文書中の”<
pageTitle>”〜”</pageTitle>”タグ、”<aTitle
>”〜”</aTitle>”タグ及び”<abstract>”〜”
</abstract>”タグで括られた部分のテキストデータ
はGUI表示データとし、”<details>”〜”</deta
ils>”タグで括られた部分のテキストデータは音声出
力対象のテキストデータとするスタイルシートである。
ば、まず、マルチモーダル文書受信処理装置101から
自身の使用するモダリティ情報をマルチモーダル文書編
集送信装置102に送信する。次に、マルチモーダル文
書編集送信装置102にて、そのモダリティ情報に基づ
いて、送信対象の原文書に適用するスタイルシートやス
クリプトファイルを判定し、その判定結果に基づいて、
原文書を編集したマルチモーダル文書や必要であればス
クリプトファイルをマルチモーダル文書受信処理装置1
01に返信する。そして、マルチモーダル文書受信処理
装置101では、受信したマルチモーダル文書及びスク
リプトファイルに基づいて、マルチモーダル出力を行う
ことができる。
してホストコンピュータ(マルチモーダル文書編集送信
装置102)とデータ通信を行える様々なモダリティを
持った端末(マルチモーダル文書受信処理装置101)
において、その端末個々の持つモダリティやユーザが使
用したいモダリティに応じて、端末に対して最適なユー
ザインタフェース環境を提供することができる。 <実施形態2>実施形態1では、マルチモーダル文書受
信処理装置101が音声合成機能とGUI表示機能を有
するモダリティ情報を有している場合を説明している
が、音声合成機能を有さないマルチモーダル文書受信処
理装置101については、例えば、図10に示すような
HTMLファイルと、図11に示すようなスクリプトフ
ァイルから、図12に示すようなGUI表示を行うこと
ができる。この場合、図10のHTMLファイル中の各
タグで括られる部分のテキストデータはすべてGUI表
示データとし、図11のスクリプトファイルは、図12
に示すGUI表示と、ユーザが図12のGUI表示中の
メニュー「概要」から「詳細」に変更することで、図1
3に示すようなGUI表示を行うようなスクリプトファ
イルとなっている。 <実施形態3>マルチモーダル文書受信処理装置101
が、携帯端末のような表示画面が小さいものである場合
には、例えば、図11に示すようなスクリプトファイル
と、図14に示すようなHTMLファイルから、図15
に示すようなGUI表示を行うことができる。この場
合、ユーザが図15のGUI表示中のメニュー「見出」
から「概要」、「詳細」とたどっていくことで、図1
6、図17に示すようなGUI表示を行うようなことが
できる。つまり、表示するテキストデータ中の一部の表
示/非表示を制御するメニューやボタン等のコントロー
ルをGUI表示データに構成する。 <実施形態4>実施形態1では、音声合成部206を有
するマルチモーダル文書受信処理装置101に対して、
マルチモーダル文書を出力する場合に、そのマルチモー
ダル文書中のGUI表示データと音声合成対象のテキス
トデータをそれぞれ出力する構成としている。しかしな
がら、GUI表示データと音声合成対象のテキストデー
タの出力形態は、これに限定されない。例えば、実施形
態2、3に示した手法と同様の手法で、最初のマルチモ
ーダル文書の出力時には、音声合成対象のテキストデー
タの音声合成を行わず、音声合成の実行の有無を制御す
る音声合成実行ボタン(コントロール)をGUI表示し
て、ユーザがGUI表示上の音声合成実行ボタンを押し
たときのみ、その音声合成対象のテキストデータを音声
合成するようにしても構わない。 <実施形態5>マルチモーダル文書受信処理装置101
における音声認識部202の有無については、音声認識
部202がない場合には、例えば、図18に示すような
GUI表示となるが、音声認識部202がある場合に
は、例えば、図19に示すように、音声認識が可能な箇
所にその旨を示すボタン(例えば、マイクをかたどって
いるアイコン)を表示するようにして、ユーザに音声合
成が可能な旨を提示するような構成にすることもでき
る。 <実施形態6>実施形態1〜5では、マルチモーダル文
書受信処理装置101に音声認識機能や音声合成機能を
有している場合に実現されるマルチモーダル文書送受信
システムについて説明した。しかしながら、マルチモー
ダル文書受信処理装置101が音声入力機能を有してい
るものの音声認識機能、音声合成機能を持たないあるい
は貧弱な場合や、加えて、このようなマルチモーダル文
書受信処理装置101で音声入出力によるGUI操作を
実現したい場合がある。
用例として、特に、音声認識、音声合成をマルチモーダ
ル文書編集送信装置102で行う構成とすることで、マ
ルチモーダル文書受信処理装置101が音声入力機能を
有しているものの音声認識機能、音声合成機能を持たな
いあるいは貧弱な場合や、加えて、このようなマルチモ
ーダル文書受信処理装置101で音声入出力によるGU
I操作を実現したい場合でも、実施形態1と同等の効果
を期待できるマルチモーダル文書送受信システムについ
て説明する。
受信システムでは、マルチモーダル文書受信処理装置1
01とマルチモーダル文書編集送信装置102間の音声
データの送受信を、符号化されたデジタル音声で行う。
これにより、データの安全性を確保することができる。
101の内の1つの詳細構成について、図20を用いて
説明する。
ダル文書受信処理装置の詳細構成図である。
ロフォンから音声を入力する音声入力部である。402
は、音声入力部402から入力された音声の符号化を行
う入力音声符号化部である。
グデバイスやテンキーなどのボタンによるGUI操作を
入力するGUI操作入力部である。404は、当該マル
チモーダル文書受信処理装置101の有効な各種機能を
示すモダリティ情報を保持するモダリティ情報保持部で
ある。
101が携帯電話、PHS、PDAそれぞれである場合
のモダリティ情報の例をそれぞれ図24〜図26に示
す。
信処理装置101が携帯電話である場合のモダリティ情
報であり、ここでは、マルチモーダル文書受信処理装置
101の機能としてその入力機能及び出力機能がXML
文書で構成されている。
の記述2410中の各行2411〜2416のタグで括
られた部分がその具体的な入力機能の詳細記述である。
ここでは、記述2410は、マイクによる音声入力(2
410)、テンキーによる文字入力(2412)、ボタ
ンによる項目の選択などのポインティング(241
3)、4方向ボタンによるフォーカスの移動(241
4)、2方向ボタンによる垂直方向の画面スクロール
(2416)の入力機能を有する記述と、水平方向の画
面スクロールは行えない(2415)ことを示す記述で
構成されている。
り、この記述2420中の各行2421〜2425のタ
グで括られた部分がその具体的な出力機能の詳細記述で
ある。ここでは、記述2420は、スピーカによる音声
出力(2421)とイヤホンによる音声出力(242
2)、画面のタイプがビットマップ(2423)、画面
サイズが100ドット×120ドット(2424)、R
GBそれぞれ16階調のカラー(2425)の出力機能
を有する記述で構成されている。
説明に準じて説明することができ、ここでは、その詳細
については省略する。
作入力部403から後述する音声出力部409より出力
される音声出力形態やGUI表示部410で表示される
GUI表示形態をユーザごとに設定するユーザ設定部で
ある。406はユーザ設定部405により設定されたユ
ーザ設定情報を保持するユーザ設定保持部である。
れるユーザ設定情報の初期値例を図27に、そのユーザ
設定情報をユーザが変更した場合の例を図28に示す。
て、2710は入力機能を示す記述であり、この記述2
710中の各行2711〜2715のタグで括られた部
分がその具体的な入力機能の詳細記述である。ここで
は、記述2710は、マイクがon(2711)、文字
入力が音声(2712)、ポインティングが音声とボタ
ン(2713)、フォーカス移動が4方向ボタン(27
14)、垂直方向のスクロールが2方向ボタン(271
5)であることを示す記述で構成されている。
り、この記述2720中の各行〜2721〜2725の
タグで括られた部分がその具体的な出力機能の詳細記述
である。ここでは、記述2710は、スピーカがon
(2721)、イヤホンがoff(2722)、大きい
文字は表示(2723)、中くらいの文字は表示及び音
声出力(2724)、小さい文字は音声出力(272
5)であることを示す記述で構成されている。
更例では、図27のユーザ設定情報の入力/出力に係る
記述をすべて音声で行う記述に変更されている。
て生成した符号化入力音声データ、GUI操作入力部4
03により入力されたGUI操作情報、モダリティ情報
保持部404に保持されたモダリティ情報、及びユーザ
設定保持部406に保持されたユーザ設定情報をマルチ
モーダル文書編集送信装置102に送信し、マルチモー
ダル文書編集送信装置102から、符号化出力音声デー
タやGUI表示データを含むマルチモーダル文書を受信
するデータ通信部である。
符号化出力音声データを復号化する出力音声復号化部で
ある。409は、出力音声復号化部408で復号化され
た出力音声をスピーカやイヤホンから出力する音声出力
部である。
マルチモーダル文書中のGUI表示データを表示するW
ebブラウザ等のGUI表示部である。
置101の各構成要素401〜410を相互に接続する
バスである。
02の詳細構成について、図21を用いて説明する。
ダル文書編集送信装置の詳細構成図である。
104を介して外部のWebサーバ(例えば、103
a)より原文書を受信するインターネット通信部であ
る。
取得した原文書を保持する原文書保持部である。503
は、原文書保持部502に保持された原文書を編集する
ためのスタイルシート群を保持するスタイルシート保持
部である。
置101から、符号化入力音声データ、GUI操作情
報、モダリティ情報、及びユーザ設定情報を受信し、後
述する符号化出力音声データやGUI表示データをマル
チモーダル文書受信処理装置101に送信するデータ通
信部である。
マルチモーダル文書受信処理装置101を特定するため
のモダリティ情報及びユーザ設定情報を、個々のマルチ
モーダル文書受信処理装置101ごとに保持する端末情
報保持部である。更に、端末情報保持部505では、公
衆回線で接続されている場合には、電話番号で、無線L
ANで接続されている場合には、IPアドレスでマルチ
モーダル文書受信処理装置101の特定を行い、個々の
マルチモーダル文書受信処理装置101の端末情報を保
持する。
れた現在通信中のマルチモーダル文書受信処理装置10
1のモダリティ情報及びユーザ設定情報に基づいて、送
信対象の原文書に適用するスタイルシートを判定するス
タイルシート判定部である。
符号化入力音声データを音声認識する音声認識部であ
る。508は、音声認識部507で音声認識した認識音
声及びデータ通信部505が受信したGUI操作情報に
基づいて得られた送信対象の原文書に、スタイルシート
判定部506で判定されたスタイルシートスタイルシー
トを適用して編集し、マルチモーダル文書を生成する送
信文書編集部である。
れたマルチモーダル文書中の音声出力対象のテキストデ
ータを符号化出力音声データとして生成する音声合成部
である。
置装置102の各構成要素501〜509を相互に接続
するバスである。
01の動作について、図22を用いて説明する。
ダル文書受信処理装置の動作フローを示すフローチャー
トである。
407にて、モダリティ情報保持部404に保持された
モダリティ情報及びユーザ設定保持部406に保持され
たユーザ設定情報をマルチモーダル文書編集送信装置1
02に送信する。
にて、マルチモーダル文書編集送信装置102からマル
チモーダル文書及びそのマルチモーダル文書中の音声出
力対象のテキストデータに対応する符号化出力音声デー
タ、あるいは音声認識結果を受信する。続いて、ステッ
プS903で、GUI表示部410にて、マルチモーダ
ル文書中のGUI表示データに基づくGUI表示を行
う。更に、ステップS904で、出力音声復号化部40
8にて、符号化出力音声データを復号し、音声出力部4
09にて、出力音声データの音声出力を行う。
編集送信装置102から音声認識結果を受信しているか
否かを判定する。音声認識結果を受信している場合(ス
テップS905でYES)、ステップS907に進み、
音声認識結果を受信していない場合(ステップS905
でNO)、ステップS906に進み、ユーザからの入力
を待機する(ステップS906でNO)。一方、ユーザ
からの入力がある場合(ステップS906でYES)、
ステップS907に進む。
ユーザ設定情報の変更であるか否かを判定する。ユーザ
設定情報の変更である場合(ステップS907でYE
S)、ステップS908に進み、変更保持処理として、
ユーザが変更したユーザ設定情報をユーザ設定保持部4
06に保持し、ステップS901に戻る。一方、ユーザ
設定情報の変更でない場合(ステップS907でN
O)、ステップS909に進む。
音声入力であるか否かを判定する。音声入力である場合
(ステップS909でYES)、ステップS910に進
み、入力された音声の符号化を行い、ステップS911
に進む。一方、音声入力でない場合(ステップS909
でNO)、ステップS911に進む。
にて、ユーザからの入力をマルチモーダル文書編集送信
装置102に送信し、ステップS902に戻る。
02の動作について、図23を用いて説明する。
ダル文書編集送信装置の動作フローを示すフローチャー
トである。
部504にて、マルチモーダル文書受信処理装置101
からの入力を待機する。入力がある場合(ステップS1
001でYES)、ステップS1002に進む。
書受信処理装置101からの入力がモダリティ情報もし
くはユーザ設定情報であるか否かを判定する。モダリテ
ィ情報もしくはユーザ設定情報である場合(ステップS
1002でYES)、ステップS1003に進み、ステ
ップS1003で、端末情報保持部505にて、マルチ
モーダル文書受信処理装置101の端末情報とともに、
モダリティ情報もしくはユーザ設定情報を保持し、ステ
ップS1004に進む。
信部501にて、インターネット104を介してマルチ
モーダル文書受信処理装置101から要求された原文書
を取得し、原文書保持部502に保持する。
定部506にて、端末情報保持部505に保持されたモ
ダリティ情報もしくはユーザ設定情報から使用するスタ
イルシートを判定する。ステップS1006で、送信文
書編集部508にて、原文書保持部502に保持された
原文書に、スタイルシート判定部506で判定されたス
タイルシートを適用する送信文書編集を行い、マルチモ
ーダル文書を生成する。
にて、送信文書編集部508にて編集されたマルチモー
ダル文書中の音声合成対象のテキストデータ(例えば、
後述する”<text-to-speech>”タグが付与されたデー
タ)の音声合成を行い、符号化出力音声データを生成す
る。そして、ステップS1008で、データ通信部50
4にて、送信文書編集部508で編集されたマルチモー
ダル文書と符号化出力音声データをマルチモーダル文書
受信処理装置101に送信し、ステップS1001に戻
る。
リティ情報もしくはユーザ設定情報でない場合(ステッ
プS1002でNO)、ステップS1009に進み、マ
ルチモーダル文書受信処理装置101からの入力が音声
入力であるか否かを判定する。音声入力である場合(ス
テップS1009でYES)、ステップS1010に進
み、音声認識部507にて、符号化入力音声データを認
識する音声認識を行う。続く、ステップS1011で、
データ通信部504にて、音声認識結果をマルチモーダ
ル文書受信処理装置101に送信して、ステップS10
01に戻る。
入力でない場合(ステップS1009でNO)、つま
り、GUI操作情報の場合は、ステップ1012に進
む。そして、ステップS1012で、そのGUI操作情
報に応じて、インターネット通信部501、インターネ
ット104を介して原文書に対するリンク文書を取得
し、原文書保持部502に保持して、ステップS100
5に進む。
ルチモーダル文書の具体例について、図29〜図31を
用いて説明する。
4のモダリティ情報及び図27のユーザ設定情報に基づ
いて判定されたスタイルシートの例を示し、図31は、
これらの原文書及びスタイルシートに基づいて生成され
たマルチモーダル文書中のGUI表示データの表示例を
示している。
するマルチモーダル文書受信処理装置1010のユーザ
設定情報に従えば、GUI表示データ中の大きい文字
(例えば、都心の桜、満開に・・・)と中くらいの文字
(例えば、3日の関東地方・・・)は画面に表示し、中
くらいの文字と小さい文字は音声合成で読み上げる設定
になっている。
は、図29の原文書中の”<aTitle>”及び”</aTitl
e>”タグと”<abstract>”及び”</abstract>”
を、それぞれ”<h1>”及び”</h1>”タグと”<h2
>”及び”</h2>”タグに変換する。また、”<abstr
act>”及び”</abstract>”タグと”<details>”
及び”</details>”タグを、それぞれ”<text-to-sp
eech>”及び”</text-to-speech>”タグに変換する
スタイルシート(図30)を判定する。
speech>”及び”</text-to-speech>”タグに変換さ
れた”<abstract>”及び”</abstract>”タグと”
<details>”及び”</details>”タグで括られたで
キスとデータは、音声合成部509で符号化出力音声デ
ータとして生成され、マルチモーダル文書受信処理装置
102で生成される。
み、かつ図29の原文書及び図30のスタイルシートか
ら得られるマルチモーダル文書がマルチモーダル文書受
信処理装置101へ送信されると、符号化出力音声デー
タは、出力音声復号化部408を介して音声出力部40
9より音声出力される。また、マルチモーダル文書中の
GUI表示データに基づいて、GUI表示部410に図
31に示すようなGUI表示が表示される。尚、図30
中の”<text-to-speech>”タグは、”<!--〜 --
>”タグ(コメントアウトを示すタグ)で囲まれている
ため、GUI表示されない。
ば、音声認識、音声合成をマルチモーダル文書編集送信
装置102で行う構成とすることで、マルチモーダル文
書受信処理装置101が音声入力機能を有しているもの
の音声認識機能、音声合成機能を持たないあるいは貧弱
な場合や、加えて、このようなマルチモーダル文書受信
処理装置101で音声入出力によるGUI操作を実現し
たい場合でも、実施形態1と同等の効果を得ることがで
きる。 <実施形態7>実施形態6では、図24のモダリティ情
報、図27のユーザ設定情報を例に挙げて説明したが、
それ以外のモダリティ情報やユーザ設定情報の場合で
も、それに応じたスタイルシートを用意すれば、同様の
処理が可能なことは明らかである。 <実施形態8>実施形態6では、説明を簡略化するた
め、原文書に適用するスタイルシートを1つにまとめた
ものを用いたが、タグごとにスタイルシートを用意し、
複数のスタイルシートを適用するものとしても構わな
い。 <実施形態9>実施形態6では、図29の原文書に対す
る図30のスタイルシートでは、マルチモーダル文書中
の”<text-to-speech>”タグ内をGUI表示データと
しない記述を含んだままマルチモーダル文書受信処理装
置101に送信しているが、マルチモーダル文書自体の
データ量を削減するために、”text-to-speech”タグ内
を削除したマルチモーダル文書をマルチモーダル文書受
信処理装置101に送信する構成としても構わない。
実現するソフトウェアのプログラム(実施形態では図に
示すフローチャートに対応したプログラム)を、システ
ム或いは装置に直接或いは遠隔から供給し、そのシステ
ム或いは装置のコンピュータが該供給されたプログラム
コードを読み出して実行することによっても達成される
場合を含む。その場合、プログラムの機能を有していれ
ば、形態は、プログラムである必要はない。
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明は、本発明の機能処理を実現するた
めのコンピュータプログラム自体も含まれる。
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、OSに供給するスクリプトデータ等、プ
ログラムの形態を問わない。
ては、例えば、フロッピー(登録商標)ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、MO、CD
−ROM、CD−R、CD−RW、磁気テープ、不揮発
性のメモリカード、ROM、DVD(DVD−ROM,
DVD−R)などがある。
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるWWWサーバ
も、本発明に含まれるものである。
D−ROM等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているOSなどが、実際の処理の一
部または全部を行い、その処理によっても前述した実施
形態の機能が実現され得る。
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるCPU
などが実際の処理の一部または全部を行い、その処理に
よっても前述した実施形態の機能が実現される。
複数種類のモダリティを有する端末個々のモダリティや
ユーザが使用したいモダリティに応じて、最適なモダリ
ティを有するインタフェースを提供することができるマ
ルチモーダル文書受信装置及びマルチモーダル文書送信
装置、マルチモーダル文書送受信システム及びそれらの
制御方法、プログラムを提供できる。
信システムの構成図である。
処理装置の詳細構成図である。
送信装置の詳細構成図である。
処理装置の動作フローを示すフローチャートである。
送信装置の動作フローを示すフローチャートである。
を示す図である。
ある。
る。
す図である。
を示す図である。
例を示す図である。
である。
す図である。
を示す図である。
である。
す図である。
を示す図である。
である。
す図である。
信処理装置の詳細構成図である。
集送信装置の詳細構成図である。
信処理装置の動作フローを示すフローチャートである。
集送信装置の動作フローを示すフローチャートである。
示す図である。
例を示す図である。
報の例を示す図である。
示す図である。
例を示す図である。
ある。
示す図である。
である。
Claims (36)
- 【請求項1】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置であって、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
手段と、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成手段と、 前記音声合成手段で合成した出力音声を出力する音声出
力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備えることを特徴とするマルチ
モーダル文書受信装置。 - 【請求項2】 前記モダリティ情報を変更する変更手段
とを更に備えることを特徴とする請求項1に記載のマル
チモーダル文書受信装置。 - 【請求項3】 前記表示手段は、前記マルチモーダル文
書中の記述に基づいて、前記表示対象のテキストデータ
の表示形態を制御することを特徴とする請求項1に記載
のマルチモーダル文書受信装置。 - 【請求項4】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を受信する受信手段と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成手段と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信手段とを備えることを特徴とするマ
ルチモーダル文書送信装置。 - 【請求項5】 前記モダリティ情報に基づいて、前記マ
ルチモーダル文書受信装置が要求する原文書を編集/操
作するための編集/操作ファイルを判定する判定手段と
を更に備え、 前記生成手段は、前記判定手段で判定された編集/操作
ファイルを用いて、前記原文書を編集して前記マルチモ
ーダル文書を生成することを特徴とする請求項4に記載
のマルチモーダル文書送信装置。 - 【請求項6】 前記操作ファイルは、前記表示対象のテ
キストデータの一部を表示/非表示を制御するためのフ
ァイルであることを特徴とする請求項5に記載のマルチ
モーダル文書送信装置。 - 【請求項7】 前記操作ファイルは、前記音声出力対象
のテキストデータの音声出力の実行の有無を制御するた
めのファイルであることを特徴とする請求項5に記載の
マルチモーダル文書送信装置。 - 【請求項8】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成するマルチモーダ
ル文書送信装置と該マルチモーダル文書を受信するマル
チモーダル文書受信装置とがネットワークを介して接続
されて構成されるマルチモーダル文書送受信システムで
あって、 前記マルチモーダル文書受信装置は、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
手段と、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成手段と、 前記音声合成手段で合成した出力音声を出力する音声出
力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備え、 前記マルチモーダル文書送信装置は、 前記マルチモーダル文書受信装置から前記モダリティ情
報を受信する受信手段と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成手段と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信手段とを備えることを特徴とするマ
ルチモーダル文書送受信システム。 - 【請求項9】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置であって、 音声を入力する音声入力手段と、 前記音声入力手段から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化手段と、 ユーザ設定情報を設定する設定手段と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する送
信手段と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する受信手段と、 前記符号化出力音声データを復号する復号化手段と、 前記復号化手段で復号化された出力音声を出力する音声
出力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備えることを特徴とするマルチ
モーダル文書受信装置。 - 【請求項10】 前記送信手段は、前記設定手段によっ
て前記ユーザ設定情報が変更された変更ユーザ設定情報
が生成された場合、前記変更ユーザ設定情報を前記マル
チモーダル文書送信装置へ送信することを特徴とする請
求項9に記載のマルチモーダル文書受信装置。 - 【請求項11】 前記受信手段は、更に、前記符号化入
力音声データに対応する音声認識結果を前記マルチモー
ダル文書送信装置から受信することを特徴とする請求項
9に記載のマルチモーダル文書受信装置。 - 【請求項12】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報及びユーザ設定情報、符号化入力音声データ
を受信する受信手段と、 前記符号化入力音声データを音声認識する音声認識手段
と、 前記音声認識手段による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成手段と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成手段と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信手段
とを備えること特徴とするマルチモーダル文書送信装
置。 - 【請求項13】 前記モダリティ情報に基づいて、前記
マルチモーダル文書受信装置が要求する原文書を編集す
るための編集ファイルを判定する判定手段とを更に備
え、 前記生成手段は、前記判定手段で判定された編集ファイ
ルを用いて、前記原文書を編集して前記マルチモーダル
文書を生成することを特徴とする請求項12に記載のマ
ルチモーダル文書送信装置。 - 【請求項14】 前記受信手段が前記ユーザ設定情報が
変更された変更ユーザ設定情報を受信した場合、前記生
成手段は直前に生成した前記マルチモーダル文書を、前
記変更ユーザ設定情報に基づいて、該マルチモーダル文
書を編集することを特徴とする請求項12に記載のマル
チモーダル文書送信装置。 - 【請求項15】 前記送信手段は、更に、前記音声認識
結果を前記マルチモーダル文書受信装置へ送信すること
を特徴とする請求項12に記載のマルチモーダル文書送
信装置。 - 【請求項16】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成するマルチモー
ダル文書送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
であって、 前記マルチモーダル文書受信装置は、 音声を入力する音声入力手段と、 前記音声入力手段から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化手段と、 ユーザ設定情報を設定する設定手段と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する第
1送信手段と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する第1受信手段と、 前記符号化出力音声データを復号する復号化手段と、 前記復号化手段で復号化された出力音声を出力する音声
出力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備え、 前記マルチモーダル文書送信装置は、 前記マルチモーダル文書受信装置から前記モダリティ情
報及び前記ユーザ設定情報、前記符号化入力音声データ
を受信する第2受信手段と、 前記符号化入力音声データを音声認識する音声認識手段
と、 前記音声認識手段による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成手段と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成手段と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する第2送信
手段とを備えることを特徴とするマルチモーダル文書送
受信システム。 - 【請求項17】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御方法であって、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
工程と、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成工程と、 前記音声合成工程で合成した出力音声を出力する音声出
力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備えることを特徴とするマルチ
モーダル文書受信装置の制御方法。 - 【請求項18】 前記モダリティ情報を変更する変更工
程とを更に備えることを特徴とする請求項17に記載の
マルチモーダル文書受信装置の制御方法。 - 【請求項19】 前記表示工程は、前記マルチモーダル
文書中の記述に基づいて、前記表示対象のテキストデー
タの表示形態を制御することを特徴とする請求項17に
記載のマルチモーダル文書受信装置の制御方法。 - 【請求項20】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御方法であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を受信する受信工程と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成工程と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信工程とを備えることを特徴とするマ
ルチモーダル文書送信装置の制御方法。 - 【請求項21】 前記モダリティ情報に基づいて、前記
マルチモーダル文書受信装置が要求する原文書を編集/
操作するための編集/操作ファイルを判定する判定工程
とを更に備え、 前記生成工程は、前記判定工程で判定された編集/操作
ファイルを用いて、前記原文書を編集して前記マルチモ
ーダル文書を生成することを特徴とする請求項20に記
載のマルチモーダル文書送信装置の制御方法。 - 【請求項22】 前記操作ファイルは、前記表示対象の
テキストデータの一部を表示/非表示を制御するための
ファイルであることを特徴とする請求項21に記載のマ
ルチモーダル文書送信装置の制御方法。 - 【請求項23】 前記操作ファイルは、前記音声出力対
象のテキストデータの音声出力の実行の有無を制御する
ためのファイルであることを特徴とする請求項21に記
載のマルチモーダル文書送信装置の制御方法。 - 【請求項24】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成するマルチモー
ダル送信装置と該マルチモーダル文書を受信するマルチ
モーダル文書受信装置とがネットワークを介して接続さ
れて構成されるマルチモーダル文書送受信システムの制
御方法であって、 前記マルチモーダル文書受信装置は、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
工程と、前記マルチモーダル文書中の音声出力対象のテ
キストデータを音声合成する音声合成工程と、 前記音声合成工程で合成した出力音声を出力する音声出
力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備え、 前記マルチモーダル文書送信装置は、 前記マルチモーダル文書受信装置から前記モダリティ情
報を受信する受信工程と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成工程と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信工程とを備えることを特徴とするマ
ルチモーダル文書送受信システムの制御方法。 - 【請求項25】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御方法であって、 音声を入力する音声入力工程と、 前記音声入力工程から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化工程と、 ユーザ設定情報を設定する設定工程と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する送
信工程と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する受信工程と、 前記符号化出力音声データを復号する復号化工程と、 前記復号化工程で復号化された出力音声を出力する音声
出力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備えることを特徴とするマルチ
モーダル文書受信装置の制御方法。 - 【請求項26】 前記送信工程は、前記設定工程によっ
て前記ユーザ設定情報が変更された変更ユーザ設定情報
が生成された場合、前記変更ユーザ設定情報を前記マル
チモーダル送信装置へ送信することを特徴とする請求項
25に記載のマルチモーダル文書受信装置の制御方法。 - 【請求項27】 前記受信工程は、更に、前記符号化入
力音声データに対応する音声認識結果を前記マルチモー
ダル文書送信装置から受信することを特徴とする請求項
26に記載のマルチモーダル文書受信装置の制御方法。 - 【請求項28】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御方法であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報及びユーザ設定情報、符号化入力音声データ
を受信する受信工程と、前記符号化入力音声データを音
声認識する音声認識工程と、 前記音声認識工程による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成工程と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信工程
とを備えること特徴とするマルチモーダル文書送信装置
の制御方法。 - 【請求項29】 前記モダリティ情報に基づいて、前記
マルチモーダル文書受信装置が要求する原文書を編集す
るための編集ファイルを判定する判定工程とを更に備
え、 前記生成工程は、前記判定工程で判定された編集ファイ
ルを用いて、前記原文書を編集して前記マルチモーダル
文書を生成することを特徴とする請求項28に記載のマ
ルチモーダル文書送信装置の制御方法。 - 【請求項30】 前記受信工程が前記ユーザ設定情報が
変更された変更ユーザ設定情報を受信した場合、前記生
成工程は直前に生成した前記マルチモーダル文書を、前
記変更ユーザ設定情報に基づいて、該マルチモーダル文
書を編集することを特徴とする請求項28に記載のマル
チモーダル文書送信装置の制御方法。 - 【請求項31】 前記送信工程は、更に、前記音声認識
結果を前記マルチモーダル文書受信装置へ送信すること
を特徴とする請求項28に記載のマルチモーダル文書送
信装置の制御方法。 - 【請求項32】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成するマルチモー
ダル送信装置と該マルチモーダル文書を受信するマルチ
モーダル文書受信装置とがネットワークを介して接続さ
れて構成されるマルチモーダル文書送受信システムの制
御方法であって、 前記マルチモーダル文書受信装置は、 音声を入力する音声入力工程と、 前記音声入力工程から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化工程と、 ユーザ設定情報を設定する設定工程と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する第
1送信工程と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する第1受信工程と、 前記符号化出力音声データを復号する復号化工程と、 前記復号化工程で復号化された出力音声を出力する音声
出力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備え、 前記マルチモーダル文書送信装置は、前記マルチモーダ
ル文書受信装置から前記モダリティ情報及び前記ユーザ
設定情報、前記符号化入力音声データを受信する第2受
信工程と、 前記符号化入力音声データを音声認識する音声認識工程
と、 前記音声認識工程による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成工程と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する第2送信
工程とを備えることを特徴とするマルチモーダル文書送
受信システムの制御方法。 - 【請求項33】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御をコンピュータに機能させる
ためのプログラムであって、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
工程のプログラムコードと、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成工程のプログラムコード
と、 前記音声合成工程で合成した出力音声を出力する音声出
力工程のプログラムコードと、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程のプログラムコードとを備えること
を特徴とするプログラム。 - 【請求項34】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御をコンピュータに機能
させるためのプログラムであって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を受信する受信工程のプログラムコードと、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成工程のプログラムコードと、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信工程のプログラムコードとを備える
ことを特徴とするプログラム。 - 【請求項35】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御をコンピュータに機能させる
ためのプログラムであって、 音声を入力する音声入力工程のプログラムコードと、 前記音声入力工程から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化工程のプログラ
ムコードと、 ユーザ設定情報を設定する設定工程のプログラムコード
と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する送
信工程のプログラムコードと、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する受信工程のプログラ
ムコードと、 前記符号化出力音声データを復号する復号化工程のプロ
グラムコードと、 前記復号化工程で復号化された出力音声を出力する音声
出力工程のプログラムコードと、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程のプログラムコードとを備えること
を特徴とするプログラム。 - 【請求項36】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御をコンピュータに機能
させるためのプログラムであって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報及びユーザ設定情報、符号化入力音声データ
を受信する受信工程のプログラムコードと、 前記符号化入力音声データを音声認識する音声認識工程
のプログラムコードと、 前記音声認識工程による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成工程のプログラムコードと、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程のプログラムコードと、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信工程
のプログラムコードとを備えること特徴とするプログラ
ム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001356487A JP3733322B2 (ja) | 2001-11-21 | 2001-11-21 | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム |
US10/291,722 US7174509B2 (en) | 2001-11-21 | 2002-11-12 | Multimodal document reception apparatus and multimodal document transmission apparatus, multimodal document transmission/reception system, their control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001356487A JP3733322B2 (ja) | 2001-11-21 | 2001-11-21 | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003157167A true JP2003157167A (ja) | 2003-05-30 |
JP3733322B2 JP3733322B2 (ja) | 2006-01-11 |
Family
ID=19167997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001356487A Expired - Fee Related JP3733322B2 (ja) | 2001-11-21 | 2001-11-21 | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7174509B2 (ja) |
JP (1) | JP3733322B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2006051721A1 (ja) * | 2004-11-12 | 2008-05-29 | 株式会社ジャストシステム | 文書処理装置及び文書処理方法 |
JP2009544087A (ja) * | 2006-07-18 | 2009-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Webページをユーザに対して表示する方法、データ処理システム、およびコンピュータ・プログラム(Webページに含まれるオブジェクトに関連したメニュー・オプションを表示するための方法およびシステム) |
JP2015518171A (ja) * | 2012-04-03 | 2015-06-25 | ソニー株式会社 | 再生制御装置、再生制御方法、およびプログラム |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050075884A1 (en) * | 2003-10-01 | 2005-04-07 | Badt Sig Harold | Multi-modal input form with dictionary and grammar |
US7920681B2 (en) * | 2004-11-05 | 2011-04-05 | International Business Machines Corporation | System, apparatus, and methods for creating alternate-mode applications |
WO2007125151A1 (en) * | 2006-04-27 | 2007-11-08 | Risto Kurki-Suonio | A method, a system and a device for converting speech |
US20100030557A1 (en) * | 2006-07-31 | 2010-02-04 | Stephen Molloy | Voice and text communication system, method and apparatus |
US9087507B2 (en) * | 2006-09-15 | 2015-07-21 | Yahoo! Inc. | Aural skimming and scrolling |
US7962963B2 (en) * | 2006-12-22 | 2011-06-14 | Verizon Patent And Licensing Inc. | Multimodal resource management system |
US7680816B2 (en) * | 2006-12-22 | 2010-03-16 | Verizon Patent And Licensing Inc. | Method, system, and computer program product providing for multimodal content management |
US9230549B1 (en) | 2011-05-18 | 2016-01-05 | The United States Of America As Represented By The Secretary Of The Air Force | Multi-modal communications (MMC) |
CN102915188B (zh) * | 2011-08-01 | 2015-07-29 | ***通信集团公司 | 一种控制终端屏幕的显示状态的方法及装置 |
US9899022B2 (en) * | 2014-02-24 | 2018-02-20 | Mitsubishi Electric Corporation | Multimodal information processing device |
US10102848B2 (en) | 2014-02-28 | 2018-10-16 | Google Llc | Hotwords presentation framework |
WO2016157658A1 (ja) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10326244A (ja) | 1997-05-27 | 1998-12-08 | Toyota Motor Corp | データ送出方法及びそれに用いるサーバ |
JPH11250009A (ja) | 1998-03-04 | 1999-09-17 | Uniden Corp | サーバ装置及びウェブデータ変換方式 |
JP2003521061A (ja) * | 2000-01-25 | 2003-07-08 | オートデスク,インコーポレイテッド | インターネット上で建築図面へのアクセスを提供し、処理する方法および装置 |
US7062437B2 (en) * | 2001-02-13 | 2006-06-13 | International Business Machines Corporation | Audio renderings for expressing non-audio nuances |
US7020841B2 (en) * | 2001-06-07 | 2006-03-28 | International Business Machines Corporation | System and method for generating and presenting multi-modal applications from intent-based markup scripts |
-
2001
- 2001-11-21 JP JP2001356487A patent/JP3733322B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-12 US US10/291,722 patent/US7174509B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2006051721A1 (ja) * | 2004-11-12 | 2008-05-29 | 株式会社ジャストシステム | 文書処理装置及び文書処理方法 |
JP4723511B2 (ja) * | 2004-11-12 | 2011-07-13 | 株式会社ジャストシステム | 文書処理装置及び文書処理方法 |
JP2009544087A (ja) * | 2006-07-18 | 2009-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Webページをユーザに対して表示する方法、データ処理システム、およびコンピュータ・プログラム(Webページに含まれるオブジェクトに関連したメニュー・オプションを表示するための方法およびシステム) |
JP2015518171A (ja) * | 2012-04-03 | 2015-06-25 | ソニー株式会社 | 再生制御装置、再生制御方法、およびプログラム |
US9576569B2 (en) | 2012-04-03 | 2017-02-21 | Sony Corporation | Playback control apparatus, playback control method, and medium for playing a program including segments generated using speech synthesis |
Also Published As
Publication number | Publication date |
---|---|
JP3733322B2 (ja) | 2006-01-11 |
US20030097265A1 (en) | 2003-05-22 |
US7174509B2 (en) | 2007-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2004218693B2 (en) | Sequential multimodal input | |
RU2355045C2 (ru) | Последовательный мультимодальный ввод | |
JP3733322B2 (ja) | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム | |
US7165034B2 (en) | Information processing apparatus and method, and program | |
JP2005521120A5 (ja) | ||
JP2006236323A (ja) | アプリケーション提供システム、サーバ、クライアントおよびアプリケーション提供方法 | |
US20110145695A1 (en) | Web page conversion system | |
JP2006216045A (ja) | 移動通信端末機のユーザインターフェース処理方法 | |
US9483573B2 (en) | Context awareness in auditory browsing | |
US20120089895A1 (en) | Mobile terminal device and recording medium | |
KR20140113826A (ko) | 컨텐츠 공유를 위한 장치 및 방법, 이를 위한 통신 서비스 시스템 | |
JP2002268788A (ja) | ウェブ文書のクローズアップ機能を備えた情報通信システムとこれを用いたウェブ文書のクローズアップ方法及びその方法を記録した記録媒体 | |
JP2002202935A (ja) | サーバ装置 | |
JP2002073466A (ja) | 小型端末用掲示板システムおよび掲示方法 | |
KR101978297B1 (ko) | 데이터 공유 서비스 시스템, 데이터 공유 서비스를 위한 장치 및 방법 | |
JP2003186488A (ja) | マルチモーダル入出力装置及びその方法、プログラム | |
JP3987172B2 (ja) | 対話型コミュニケーション端末装置 | |
JP2004318607A (ja) | 情報処理装置、情報処理方法、プログラム、記憶媒体 | |
JP2002269147A (ja) | 電子マニュアル提供システム、電子マニュアル提供方法、電子マニュアル提供方法をコンピュータに実行させるプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4689488B2 (ja) | 情報付加装置、情報付加方法、情報付加プログラム、情報付加システム、情報付加管理サーバ、情報付加管理方法、および、情報付加管理プログラム | |
JP2010086459A (ja) | 情報処理装置、制御方法及び制御プログラム | |
JP4047323B2 (ja) | 情報処理装置及びその方法、プログラム | |
JP2005339513A (ja) | 情報処理装置及びその制御方法、プログラム | |
WO2005076152A2 (en) | Method, arrangement and system for outputting data | |
JP2013127761A (ja) | 情報通信システム、端末、及び、サーバ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040625 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |