JP2003157167A - マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム - Google Patents
マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラムInfo
- Publication number
- JP2003157167A JP2003157167A JP2001356487A JP2001356487A JP2003157167A JP 2003157167 A JP2003157167 A JP 2003157167A JP 2001356487 A JP2001356487 A JP 2001356487A JP 2001356487 A JP2001356487 A JP 2001356487A JP 2003157167 A JP2003157167 A JP 2003157167A
- Authority
- JP
- Japan
- Prior art keywords
- document
- voice
- modal
- multimodal
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 71
- 230000006870 function Effects 0.000 claims abstract description 70
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims description 116
- 230000006854 communication Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 51
- 238000003786 synthesis reaction Methods 0.000 claims description 40
- 230000015572 biosynthetic process Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 32
- 238000012545 processing Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 39
- 238000012905 input function Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 241001235534 Graphis <ascomycete fungus> Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4938—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals comprising a voice browser which renders and interprets, e.g. VoiceXML
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Document Processing Apparatus (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 複数種類のモダリティを有する端末個々のモ
ダリティやユーザが使用したいモダリティに応じて、最
適なモダリティを有するインタフェースを提供すること
ができるマルチモーダル文書送受信システムを提供でき
る。 【解決手段】 マルチモーダル文書受信処理装置１０１
の各種機能を示すモダリティ情報をマルチモーダル文書
送信装置１０２に送信し、該モダリティ情報に基づいて
該マルチモーダル文書送信装置が生成したマルチモーダ
ル文書を受信する。マルチモーダル文書中の音声出力対
象のテキストデータを、音声合成部２０６で音声合成
し、その合成した出力音声を音声出力部２０７で出力す
る。また、マルチモーダル文書中の表示対象のテキスト
データをＧＵＩ表示部２０８で表示する。
ダリティやユーザが使用したいモダリティに応じて、最
適なモダリティを有するインタフェースを提供すること
ができるマルチモーダル文書送受信システムを提供でき
る。 【解決手段】 マルチモーダル文書受信処理装置１０１
の各種機能を示すモダリティ情報をマルチモーダル文書
送信装置１０２に送信し、該モダリティ情報に基づいて
該マルチモーダル文書送信装置が生成したマルチモーダ
ル文書を受信する。マルチモーダル文書中の音声出力対
象のテキストデータを、音声合成部２０６で音声合成
し、その合成した出力音声を音声出力部２０７で出力す
る。また、マルチモーダル文書中の表示対象のテキスト
データをＧＵＩ表示部２０８で表示する。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、少なくともテキス
トデータの出力形態の記述を含むマルチモーダル文書
を、ネットワークを介してマルチモーダル文書送信装置
から受信するマルチモーダル文書受信装置と、マルチモ
ーダル文書を生成して、ネットワークを介してマルチモ
ーダル文書受信装置へ送信するマルチモーダル文書送信
装置と、そのマルチモーダル文書受信装置とマルチモー
ダル文書送信装置とがネットワークを介して接続されて
構成されるマルチモーダル文書送受信システムに関する
ものである。
トデータの出力形態の記述を含むマルチモーダル文書
を、ネットワークを介してマルチモーダル文書送信装置
から受信するマルチモーダル文書受信装置と、マルチモ
ーダル文書を生成して、ネットワークを介してマルチモ
ーダル文書受信装置へ送信するマルチモーダル文書送信
装置と、そのマルチモーダル文書受信装置とマルチモー
ダル文書送信装置とがネットワークを介して接続されて
構成されるマルチモーダル文書送受信システムに関する
ものである。
【０００２】
【従来の技術】インターネットの普及により、インター
ネットに接続されたサーバに保持され、ハイパーテキス
トマークアップ言語（ＨＴＭＬ：Hyper Text Markup La
nguage）で記述された文書を、インターネットを介して
パソコン上のブラウザに表示するウェブブラウジングの
世界は、拡大の一途をたどっている。
ネットに接続されたサーバに保持され、ハイパーテキス
トマークアップ言語（ＨＴＭＬ：Hyper Text Markup La
nguage）で記述された文書を、インターネットを介して
パソコン上のブラウザに表示するウェブブラウジングの
世界は、拡大の一途をたどっている。
【０００３】ＨＴＭＬ文書は、歴史的な事情から、文書
構造を記述する部分と表現形式を記述する部分が混在し
ており、その両者を分離するものとして、表現形式を構
造から括り出したＣＳＳ（Cascading Style Sheet）も
普及している。
構造を記述する部分と表現形式を記述する部分が混在し
ており、その両者を分離するものとして、表現形式を構
造から括り出したＣＳＳ（Cascading Style Sheet）も
普及している。
【０００４】ＨＴＭＬ（文書構造＋表現形式）からＣＳ
Ｓ（表現形式）を分離しても、ＨＴＭＬの文書構造は、
表現形式を意識したものであるため、さらに、文書の内
容のツリー構造のみを表すＸＭＬ（eXtensible Markup
Language）と、ツリー構造を表現したい表現形式に変換
するＸＳＬ（eXtensible Stylesheet Language）で記述
する方法も普及しつつある。
Ｓ（表現形式）を分離しても、ＨＴＭＬの文書構造は、
表現形式を意識したものであるため、さらに、文書の内
容のツリー構造のみを表すＸＭＬ（eXtensible Markup
Language）と、ツリー構造を表現したい表現形式に変換
するＸＳＬ（eXtensible Stylesheet Language）で記述
する方法も普及しつつある。
【０００５】また、ＨＴＭＬでの操作を記述するスクリ
プト言語としては、Java Script、VBScriptなどがあ
り、ＨＴＭＬファイル内に記述したり、外部ファイルを
挿入したりすることができる。
プト言語としては、Java Script、VBScriptなどがあ
り、ＨＴＭＬファイル内に記述したり、外部ファイルを
挿入したりすることができる。
【０００６】ＸＭＬおよびＸＳＬを用いて記述された文
書の例を図３２、３３に示し、その両者により生成され
るＨＴＭＬ文書、およびＣＳＳファイルの例、JavaScri
ptファイルの例、ブラウザでの表示例をそれぞれ図３４
〜図３７に示す。
書の例を図３２、３３に示し、その両者により生成され
るＨＴＭＬ文書、およびＣＳＳファイルの例、JavaScri
ptファイルの例、ブラウザでの表示例をそれぞれ図３４
〜図３７に示す。
【０００７】尚、このブラウザは、例えば、パーソナル
コンピュータ等の汎用コンピュータにインストールさ
れ、マウスやキーボード等の入力装置によるユーザの操
作に応じて、ブラウザが起動されると、ディスプレイ上
にそのブラウザ画面が表示される。
コンピュータ等の汎用コンピュータにインストールさ
れ、マウスやキーボード等の入力装置によるユーザの操
作に応じて、ブラウザが起動されると、ディスプレイ上
にそのブラウザ画面が表示される。
【０００８】図３７中のブラウザ画面２５００上の「反
転」ボタン２５０１を押すと、図３４中ウのonClickの
中身が呼び出され、図３６に示すJavaScriptで記述した
関数（reverseColor()）により、ブラウザ画面２５００
内の背景と文字の色が反転する。
転」ボタン２５０１を押すと、図３４中ウのonClickの
中身が呼び出され、図３６に示すJavaScriptで記述した
関数（reverseColor()）により、ブラウザ画面２５００
内の背景と文字の色が反転する。
【０００９】上記のように、ＣＳＳやＸＳＬというスタ
イルシートをいろいろと用意し、適宜切り替えること
で、文書の内容のツリー構造のみを表す単一のＸＭＬ文
書を用途に応じて切り替えることができるようになって
きている。また、スクリプト言語により、ボタンなどを
押すことによるアクションも記述できる。
イルシートをいろいろと用意し、適宜切り替えること
で、文書の内容のツリー構造のみを表す単一のＸＭＬ文
書を用途に応じて切り替えることができるようになって
きている。また、スクリプト言語により、ボタンなどを
押すことによるアクションも記述できる。
【００１０】その一方で、パーソナルコンピュータだけ
でなく、ユーザが日常で持ち歩く携帯電話やＰＨＳ（Pe
rsonal Handyphone System）、ＰＤＡ（Personal Digit
al Assintant：携帯情報端末）といったモバイル端末の
性能も向上し、ハイエンドのモバイル端末は、一世代前
のパソコンと遜色ない処理能力を持つようになってき
た。
でなく、ユーザが日常で持ち歩く携帯電話やＰＨＳ（Pe
rsonal Handyphone System）、ＰＤＡ（Personal Digit
al Assintant：携帯情報端末）といったモバイル端末の
性能も向上し、ハイエンドのモバイル端末は、一世代前
のパソコンと遜色ない処理能力を持つようになってき
た。
【００１１】そうしたハイエンドのモバイル端末は、以
下の特徴が挙げられる。
下の特徴が挙げられる。
【００１２】（１）公衆回線や無線ＬＡＮなどを経由し
て、ホストコンピュータと接続し、データ通信を行うこ
とができる。
て、ホストコンピュータと接続し、データ通信を行うこ
とができる。
【００１３】（２）音声入出力のデバイス（マイク、ス
ピーカなど）を装備していることが多い。
ピーカなど）を装備していることが多い。
【００１４】
【発明が解決しようとする課題】しかしながら、上記ハ
イエンドのモバイル端末では、一般に、ＧＵＩ（Graphi
c User Interface：グラフィックユーザインタフェー
ス）画面が小さく、ＧＵＩ情報を表示する能力が低い。
また、市場に存在するモバイル端末は、ハイエンドのも
のだけではなく、ハイエンドでないモバイル端末も数多
く存在し、そうしたモバイル端末には、ＧＵＩ情報を表
示できないものもある。
イエンドのモバイル端末では、一般に、ＧＵＩ（Graphi
c User Interface：グラフィックユーザインタフェー
ス）画面が小さく、ＧＵＩ情報を表示する能力が低い。
また、市場に存在するモバイル端末は、ハイエンドのも
のだけではなく、ハイエンドでないモバイル端末も数多
く存在し、そうしたモバイル端末には、ＧＵＩ情報を表
示できないものもある。
【００１５】そのようなモバイル端末の現状において、
操作及び応答の一部またはすべてを音声で行えるマルチ
モーダルインタフェースを実現することは有意義なこと
である。
操作及び応答の一部またはすべてを音声で行えるマルチ
モーダルインタフェースを実現することは有意義なこと
である。
【００１６】また、マルチモーダル文書を扱うに当たっ
て、一部のハイエンドのモバイル端末では、音声認識、
音声合成を行うことが可能である。しかしながら、多く
のモバイル端末では、音声認識、音声合成を行うことが
できない、もしくは貧弱な音声認識、音声合成しか行う
ことができない。
て、一部のハイエンドのモバイル端末では、音声認識、
音声合成を行うことが可能である。しかしながら、多く
のモバイル端末では、音声認識、音声合成を行うことが
できない、もしくは貧弱な音声認識、音声合成しか行う
ことができない。
【００１７】しかしながら、ハードウェアの高性能化、
小型化に伴い、これまで音声処理を行えなかった機種
に、音声処理が可能になることも多く起こるであろう。
また、モバイル端末においては、その携帯性の利点か
ら、画面が小さいことが多かったが、画面の高精細度
化、ハードウェアの軽量化に伴い、モバイル端末におい
ても画面に表示できる情報が増大してきている。
小型化に伴い、これまで音声処理を行えなかった機種
に、音声処理が可能になることも多く起こるであろう。
また、モバイル端末においては、その携帯性の利点か
ら、画面が小さいことが多かったが、画面の高精細度
化、ハードウェアの軽量化に伴い、モバイル端末におい
ても画面に表示できる情報が増大してきている。
【００１８】さらに、音声、ＧＵＩ双方のモダリティを
持ったモバイル端末においても、ＧＵＩ操作をしにくい
状況で、音声のみで処理したいといった状況や、逆に、
音声を使いづらいような環境で、ＧＵＩのみによって操
作したいといった状況も存在する。
持ったモバイル端末においても、ＧＵＩ操作をしにくい
状況で、音声のみで処理したいといった状況や、逆に、
音声を使いづらいような環境で、ＧＵＩのみによって操
作したいといった状況も存在する。
【００１９】本発明は上記の課題に鑑みてなされたもの
であり、複数種類のモダリティを有する端末個々のモダ
リティやユーザが使用したいモダリティに応じて、最適
なモダリティを有するインタフェースを提供することが
できるマルチモーダル文書受信装置及びマルチモーダル
文書送信装置、マルチモーダル文書送受信システム及び
それらの制御方法、プログラムを提供することを目的と
する。
であり、複数種類のモダリティを有する端末個々のモダ
リティやユーザが使用したいモダリティに応じて、最適
なモダリティを有するインタフェースを提供することが
できるマルチモーダル文書受信装置及びマルチモーダル
文書送信装置、マルチモーダル文書送受信システム及び
それらの制御方法、プログラムを提供することを目的と
する。
【００２０】
【課題を解決するための手段】上記の目的を達成するた
めの本発明によるマルチモーダル文書受信装置は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を、ネットワーク
を介してマルチモーダル文書送信装置から受信するマル
チモーダル文書受信装置であって、当該マルチモーダル
文書受信装置の各種機能を示すモダリティ情報を前記マ
ルチモーダル文書送信装置に送信し、該モダリティ情報
に基づいて該マルチモーダル文書送信装置が生成したマ
ルチモーダル文書を受信する通信手段と、前記マルチモ
ーダル文書中の音声出力対象のテキストデータを音声合
成する音声合成手段と、前記音声合成手段で合成した出
力音声を出力する音声出力手段と、前記マルチモーダル
文書中の表示対象のテキストデータを表示する表示手段
とを備える。
めの本発明によるマルチモーダル文書受信装置は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を、ネットワーク
を介してマルチモーダル文書送信装置から受信するマル
チモーダル文書受信装置であって、当該マルチモーダル
文書受信装置の各種機能を示すモダリティ情報を前記マ
ルチモーダル文書送信装置に送信し、該モダリティ情報
に基づいて該マルチモーダル文書送信装置が生成したマ
ルチモーダル文書を受信する通信手段と、前記マルチモ
ーダル文書中の音声出力対象のテキストデータを音声合
成する音声合成手段と、前記音声合成手段で合成した出
力音声を出力する音声出力手段と、前記マルチモーダル
文書中の表示対象のテキストデータを表示する表示手段
とを備える。
【００２１】また、好ましくは、前記モダリティ情報を
変更する変更手段とを更に備える。
変更する変更手段とを更に備える。
【００２２】また、好ましくは、前記表示手段は、前記
マルチモーダル文書中の記述に基づいて、前記表示対象
のテキストデータの表示形態を制御する。
マルチモーダル文書中の記述に基づいて、前記表示対象
のテキストデータの表示形態を制御する。
【００２３】上記の目的を達成するための本発明による
マルチモーダル文書受信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を生成して、ネットワークを介して
マルチモーダル文書受信装置へ送信するマルチモーダル
文書送信装置であって、前記マルチモーダル文書受信装
置の各種機能を示すモダリティ情報を受信する受信手段
と、前記モダリティ情報に基づいて、前記マルチモーダ
ル文書を生成する生成手段と、前記マルチモーダル文書
を前記マルチモーダル文書受信装置へ送信する送信手段
とを備える。
マルチモーダル文書受信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を生成して、ネットワークを介して
マルチモーダル文書受信装置へ送信するマルチモーダル
文書送信装置であって、前記マルチモーダル文書受信装
置の各種機能を示すモダリティ情報を受信する受信手段
と、前記モダリティ情報に基づいて、前記マルチモーダ
ル文書を生成する生成手段と、前記マルチモーダル文書
を前記マルチモーダル文書受信装置へ送信する送信手段
とを備える。
【００２４】また、好ましくは、前記モダリティ情報に
基づいて、前記マルチモーダル文書受信装置が要求する
原文書を編集／操作するための編集／操作ファイルを判
定する判定手段とを更に備え、前記生成手段は、前記判
定手段で判定された編集／操作ファイルを用いて、前記
原文書を編集して前記マルチモーダル文書を生成する。
基づいて、前記マルチモーダル文書受信装置が要求する
原文書を編集／操作するための編集／操作ファイルを判
定する判定手段とを更に備え、前記生成手段は、前記判
定手段で判定された編集／操作ファイルを用いて、前記
原文書を編集して前記マルチモーダル文書を生成する。
【００２５】また、好ましくは、前記操作ファイルは、
前記表示対象のテキストデータの一部を表示／非表示を
制御するためのファイルである。
前記表示対象のテキストデータの一部を表示／非表示を
制御するためのファイルである。
【００２６】また、好ましくは、前記操作ファイルは、
前記音声出力対象のテキストデータの音声出力の実行の
有無を制御するためのファイルである。
前記音声出力対象のテキストデータの音声出力の実行の
有無を制御するためのファイルである。
【００２７】上記の目的を達成するための本発明による
マルチモーダル文書送受信システムは以下の構成を備え
る。即ち、少なくともテキストデータの出力形態の記述
を含むマルチモーダル文書を生成するマルチモーダル文
書送信装置と該マルチモーダル文書を受信するマルチモ
ーダル文書受信装置とがネットワークを介して接続され
て構成されるマルチモーダル文書送受信システムであっ
て、前記マルチモーダル文書受信装置は、当該マルチモ
ーダル文書受信装置の各種機能を示すモダリティ情報を
前記マルチモーダル文書送信装置に送信し、該モダリテ
ィ情報に基づいて該マルチモーダル文書送信装置が生成
したマルチモーダル文書を受信する通信手段と、前記マ
ルチモーダル文書中の音声出力対象のテキストデータを
音声合成する音声合成手段と、前記音声合成手段で合成
した出力音声を出力する音声出力手段と、前記マルチモ
ーダル文書中の表示対象のテキストデータを表示する表
示手段とを備え、前記マルチモーダル文書送信装置は、
前記マルチモーダル文書受信装置から前記モダリティ情
報を受信する受信手段と、前記モダリティ情報に基づい
て、前記マルチモーダル文書を生成する生成手段と、前
記マルチモーダル文書を前記マルチモーダル文書受信装
置へ送信する送信手段とを備える。
マルチモーダル文書送受信システムは以下の構成を備え
る。即ち、少なくともテキストデータの出力形態の記述
を含むマルチモーダル文書を生成するマルチモーダル文
書送信装置と該マルチモーダル文書を受信するマルチモ
ーダル文書受信装置とがネットワークを介して接続され
て構成されるマルチモーダル文書送受信システムであっ
て、前記マルチモーダル文書受信装置は、当該マルチモ
ーダル文書受信装置の各種機能を示すモダリティ情報を
前記マルチモーダル文書送信装置に送信し、該モダリテ
ィ情報に基づいて該マルチモーダル文書送信装置が生成
したマルチモーダル文書を受信する通信手段と、前記マ
ルチモーダル文書中の音声出力対象のテキストデータを
音声合成する音声合成手段と、前記音声合成手段で合成
した出力音声を出力する音声出力手段と、前記マルチモ
ーダル文書中の表示対象のテキストデータを表示する表
示手段とを備え、前記マルチモーダル文書送信装置は、
前記マルチモーダル文書受信装置から前記モダリティ情
報を受信する受信手段と、前記モダリティ情報に基づい
て、前記マルチモーダル文書を生成する生成手段と、前
記マルチモーダル文書を前記マルチモーダル文書受信装
置へ送信する送信手段とを備える。
【００２８】上記の目的を達成するための本発明による
マルチモーダル文書受信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を、ネットワークを介してマルチモ
ーダル文書送信装置から受信するマルチモーダル文書受
信装置であって、音声を入力する音声入力手段と、前記
音声入力手段から入力された音声の符号化を行い、符号
化入力音声データを生成する符号化手段と、ユーザ設定
情報を設定する設定手段と、当該マルチモーダル文書受
信装置の各種機能を示すモダリティ情報、前記ユーザ設
定情報、前記符号化入力音声データを前記マルチモーダ
ル文書送信装置へ送信する送信手段と、前記モダリティ
情報、前記ユーザ設定情報及び前記符号化入力音声デー
タに基づいて前記マルチモーダル文書送信装置が生成し
たマルチモーダル文書及びそのマルチモーダル文書中の
音声出力対象のテキストデータに対応する符号化出力音
声データを受信する受信手段と、前記符号化出力音声デ
ータを復号する復号化手段と、前記復号化手段で復号化
された出力音声を出力する音声出力手段と、前記マルチ
モーダル文書中の表示対象のテキストデータを表示する
表示手段とを備える。
マルチモーダル文書受信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を、ネットワークを介してマルチモ
ーダル文書送信装置から受信するマルチモーダル文書受
信装置であって、音声を入力する音声入力手段と、前記
音声入力手段から入力された音声の符号化を行い、符号
化入力音声データを生成する符号化手段と、ユーザ設定
情報を設定する設定手段と、当該マルチモーダル文書受
信装置の各種機能を示すモダリティ情報、前記ユーザ設
定情報、前記符号化入力音声データを前記マルチモーダ
ル文書送信装置へ送信する送信手段と、前記モダリティ
情報、前記ユーザ設定情報及び前記符号化入力音声デー
タに基づいて前記マルチモーダル文書送信装置が生成し
たマルチモーダル文書及びそのマルチモーダル文書中の
音声出力対象のテキストデータに対応する符号化出力音
声データを受信する受信手段と、前記符号化出力音声デ
ータを復号する復号化手段と、前記復号化手段で復号化
された出力音声を出力する音声出力手段と、前記マルチ
モーダル文書中の表示対象のテキストデータを表示する
表示手段とを備える。
【００２９】また、好ましくは、前記送信手段は、前記
設定手段によって前記ユーザ設定情報が変更された変更
ユーザ設定情報が生成された場合、前記変更ユーザ設定
情報を前記マルチモーダル文書送信装置へ送信する。
設定手段によって前記ユーザ設定情報が変更された変更
ユーザ設定情報が生成された場合、前記変更ユーザ設定
情報を前記マルチモーダル文書送信装置へ送信する。
【００３０】また、好ましくは、前記受信手段は、更
に、前記符号化入力音声データに対応する音声認識結果
を前記マルチモーダル文書送信装置から受信する。
に、前記符号化入力音声データに対応する音声認識結果
を前記マルチモーダル文書送信装置から受信する。
【００３１】上記の目的を達成するための本発明による
マルチモーダル文書送信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を生成して、ネットワークを介して
マルチモーダル文書受信装置へ送信するマルチモーダル
文書送信装置であって、前記マルチモーダル文書受信装
置の各種機能を示すモダリティ情報及びユーザ設定情
報、符号化入力音声データを受信する受信手段と、前記
符号化入力音声データを音声認識する音声認識手段と、
前記音声認識手段による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成手段と、前記マルチモーダル
文書中の音声合成対象のテキストデータを音声合成して
符号化出力音声データを生成する音声合成手段と、前記
マルチモーダル文書及び前記符号化出力音声データを前
記マルチモーダル文書受信装置へ送信する送信手段とを
備える。
マルチモーダル文書送信装置は以下の構成を備える。即
ち、少なくともテキストデータの出力形態の記述を含む
マルチモーダル文書を生成して、ネットワークを介して
マルチモーダル文書受信装置へ送信するマルチモーダル
文書送信装置であって、前記マルチモーダル文書受信装
置の各種機能を示すモダリティ情報及びユーザ設定情
報、符号化入力音声データを受信する受信手段と、前記
符号化入力音声データを音声認識する音声認識手段と、
前記音声認識手段による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成手段と、前記マルチモーダル
文書中の音声合成対象のテキストデータを音声合成して
符号化出力音声データを生成する音声合成手段と、前記
マルチモーダル文書及び前記符号化出力音声データを前
記マルチモーダル文書受信装置へ送信する送信手段とを
備える。
【００３２】また、好ましくは、前記モダリティ情報に
基づいて、前記マルチモーダル文書受信装置が要求する
原文書を編集するための編集ファイルを判定する判定手
段とを更に備え、前記生成手段は、前記判定手段で判定
された編集ファイルを用いて、前記原文書を編集して前
記マルチモーダル文書を生成する。
基づいて、前記マルチモーダル文書受信装置が要求する
原文書を編集するための編集ファイルを判定する判定手
段とを更に備え、前記生成手段は、前記判定手段で判定
された編集ファイルを用いて、前記原文書を編集して前
記マルチモーダル文書を生成する。
【００３３】また、好ましくは、前記受信手段が前記ユ
ーザ設定情報が変更された変更ユーザ設定情報を受信し
た場合、前記生成手段は直前に生成した前記マルチモー
ダル文書を、前記変更ユーザ設定情報に基づいて、該マ
ルチモーダル文書を編集する。
ーザ設定情報が変更された変更ユーザ設定情報を受信し
た場合、前記生成手段は直前に生成した前記マルチモー
ダル文書を、前記変更ユーザ設定情報に基づいて、該マ
ルチモーダル文書を編集する。
【００３４】また、好ましくは、前記送信手段は、更
に、前記音声認識結果を前記マルチモーダル文書受信装
置へ送信する。
に、前記音声認識結果を前記マルチモーダル文書受信装
置へ送信する。
【００３５】上記の目的を達成するための本発明による
マルチモーダル文書送受信システムは以下の構成を備え
る。即ち、少なくともテキストデータの出力形態の記述
を含むマルチモーダル文書を生成するマルチモーダル文
書送信装置と該マルチモーダル文書を受信するマルチモ
ーダル文書受信装置とがネットワークを介して接続され
て構成されるマルチモーダル文書送受信システムであっ
て、前記マルチモーダル文書受信装置は、音声を入力す
る音声入力手段と、前記音声入力手段から入力された音
声の符号化を行い、符号化入力音声データを生成する符
号化手段と、ユーザ設定情報を設定する設定手段と、当
該マルチモーダル文書受信装置の各種機能を示すモダリ
ティ情報、前記ユーザ設定情報、前記符号化入力音声デ
ータを前記マルチモーダル文書送信装置へ送信する第１
送信手段と、前記モダリティ情報、前記ユーザ設定情報
及び前記符号化入力音声データに基づいて前記マルチモ
ーダル文書送信装置が生成したマルチモーダル文書及び
そのマルチモーダル文書中の音声出力対象のテキストデ
ータに対応する符号化出力音声データを受信する第１受
信手段と、前記符号化出力音声データを復号する復号化
手段と、前記復号化手段で復号化された出力音声を出力
する音声出力手段と、前記マルチモーダル文書中の表示
対象のテキストデータを表示する表示手段とを備え、前
記マルチモーダル文書送信装置は、前記マルチモーダル
文書受信装置から前記モダリティ情報及び前記ユーザ設
定情報、前記符号化入力音声データを受信する第２受信
手段と、前記符号化入力音声データを音声認識する音声
認識手段と、前記音声認識手段による音声認識結果、前
記モダリティ情報及び前記ユーザ設定情報に基づいて、
前記マルチモーダル文書を生成する生成手段と、前記マ
ルチモーダル文書中の音声合成対象のテキストデータを
音声合成して符号化出力音声データを生成する音声合成
手段と、前記マルチモーダル文書及び前記符号化出力音
声データを前記マルチモーダル文書受信装置へ送信する
第２送信手段とを備える。
マルチモーダル文書送受信システムは以下の構成を備え
る。即ち、少なくともテキストデータの出力形態の記述
を含むマルチモーダル文書を生成するマルチモーダル文
書送信装置と該マルチモーダル文書を受信するマルチモ
ーダル文書受信装置とがネットワークを介して接続され
て構成されるマルチモーダル文書送受信システムであっ
て、前記マルチモーダル文書受信装置は、音声を入力す
る音声入力手段と、前記音声入力手段から入力された音
声の符号化を行い、符号化入力音声データを生成する符
号化手段と、ユーザ設定情報を設定する設定手段と、当
該マルチモーダル文書受信装置の各種機能を示すモダリ
ティ情報、前記ユーザ設定情報、前記符号化入力音声デ
ータを前記マルチモーダル文書送信装置へ送信する第１
送信手段と、前記モダリティ情報、前記ユーザ設定情報
及び前記符号化入力音声データに基づいて前記マルチモ
ーダル文書送信装置が生成したマルチモーダル文書及び
そのマルチモーダル文書中の音声出力対象のテキストデ
ータに対応する符号化出力音声データを受信する第１受
信手段と、前記符号化出力音声データを復号する復号化
手段と、前記復号化手段で復号化された出力音声を出力
する音声出力手段と、前記マルチモーダル文書中の表示
対象のテキストデータを表示する表示手段とを備え、前
記マルチモーダル文書送信装置は、前記マルチモーダル
文書受信装置から前記モダリティ情報及び前記ユーザ設
定情報、前記符号化入力音声データを受信する第２受信
手段と、前記符号化入力音声データを音声認識する音声
認識手段と、前記音声認識手段による音声認識結果、前
記モダリティ情報及び前記ユーザ設定情報に基づいて、
前記マルチモーダル文書を生成する生成手段と、前記マ
ルチモーダル文書中の音声合成対象のテキストデータを
音声合成して符号化出力音声データを生成する音声合成
手段と、前記マルチモーダル文書及び前記符号化出力音
声データを前記マルチモーダル文書受信装置へ送信する
第２送信手段とを備える。
【００３６】上記の目的を達成するための本発明による
マルチモーダル文書受信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置の制御方法であって、当該マルチモー
ダル文書受信装置の各種機能を示すモダリティ情報を前
記マルチモーダル文書送信装置に送信し、該モダリティ
情報に基づいて該マルチモーダル文書送信装置が生成し
たマルチモーダル文書を受信する通信工程と、前記マル
チモーダル文書中の音声出力対象のテキストデータを音
声合成する音声合成工程と、前記音声合成工程で合成し
た出力音声を出力する音声出力工程と、前記マルチモー
ダル文書中の表示対象のテキストデータを表示する表示
工程とを備える。
マルチモーダル文書受信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置の制御方法であって、当該マルチモー
ダル文書受信装置の各種機能を示すモダリティ情報を前
記マルチモーダル文書送信装置に送信し、該モダリティ
情報に基づいて該マルチモーダル文書送信装置が生成し
たマルチモーダル文書を受信する通信工程と、前記マル
チモーダル文書中の音声出力対象のテキストデータを音
声合成する音声合成工程と、前記音声合成工程で合成し
た出力音声を出力する音声出力工程と、前記マルチモー
ダル文書中の表示対象のテキストデータを表示する表示
工程とを備える。
【００３７】上記の目的を達成するための本発明による
マルチモーダル文書送信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置の制御方法であって、前記マル
チモーダル文書受信装置の各種機能を示すモダリティ情
報を受信する受信工程と、前記モダリティ情報に基づい
て、前記マルチモーダル文書を生成する生成工程と、前
記マルチモーダル文書を前記マルチモーダル文書受信装
置へ送信する送信工程とを備える。
マルチモーダル文書送信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置の制御方法であって、前記マル
チモーダル文書受信装置の各種機能を示すモダリティ情
報を受信する受信工程と、前記モダリティ情報に基づい
て、前記マルチモーダル文書を生成する生成工程と、前
記マルチモーダル文書を前記マルチモーダル文書受信装
置へ送信する送信工程とを備える。
【００３８】上記の目的を達成するための本発明による
マルチモーダル文書送受信システムの制御方法は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を生成するマルチ
モーダル送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
の制御方法であって、前記マルチモーダル文書受信装置
は、当該マルチモーダル文書受信装置の各種機能を示す
モダリティ情報を前記マルチモーダル文書送信装置に送
信し、該モダリティ情報に基づいて該マルチモーダル文
書送信装置が生成したマルチモーダル文書を受信する通
信工程と、前記マルチモーダル文書中の音声出力対象の
テキストデータを音声合成する音声合成工程と、前記音
声合成工程で合成した出力音声を出力する音声出力工程
と、前記マルチモーダル文書中の表示対象のテキストデ
ータを表示する表示工程とを備え、前記マルチモーダル
文書送信装置は、前記マルチモーダル文書受信装置から
前記モダリティ情報を受信する受信工程と、前記モダリ
ティ情報に基づいて、前記マルチモーダル文書を生成す
る生成工程と、前記マルチモーダル文書を前記マルチモ
ーダル文書受信装置へ送信する送信工程とを備える。
マルチモーダル文書送受信システムの制御方法は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を生成するマルチ
モーダル送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
の制御方法であって、前記マルチモーダル文書受信装置
は、当該マルチモーダル文書受信装置の各種機能を示す
モダリティ情報を前記マルチモーダル文書送信装置に送
信し、該モダリティ情報に基づいて該マルチモーダル文
書送信装置が生成したマルチモーダル文書を受信する通
信工程と、前記マルチモーダル文書中の音声出力対象の
テキストデータを音声合成する音声合成工程と、前記音
声合成工程で合成した出力音声を出力する音声出力工程
と、前記マルチモーダル文書中の表示対象のテキストデ
ータを表示する表示工程とを備え、前記マルチモーダル
文書送信装置は、前記マルチモーダル文書受信装置から
前記モダリティ情報を受信する受信工程と、前記モダリ
ティ情報に基づいて、前記マルチモーダル文書を生成す
る生成工程と、前記マルチモーダル文書を前記マルチモ
ーダル文書受信装置へ送信する送信工程とを備える。
【００３９】上記の目的を達成するための本発明による
マルチモーダル文書受信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置の制御方法であって、音声を入力する
音声入力工程と、前記音声入力工程から入力された音声
の符号化を行い、符号化入力音声データを生成する符号
化工程と、ユーザ設定情報を設定する設定工程と、当該
マルチモーダル文書受信装置の各種機能を示すモダリテ
ィ情報、前記ユーザ設定情報、前記符号化入力音声デー
タを前記マルチモーダル文書送信装置へ送信する送信工
程と、前記モダリティ情報、前記ユーザ設定情報及び前
記符号化入力音声データに基づいて前記マルチモーダル
文書送信装置が生成したマルチモーダル文書及びそのマ
ルチモーダル文書中の音声出力対象のテキストデータに
対応する符号化出力音声データを受信する受信工程と、
前記符号化出力音声データを復号する復号化工程と、前
記復号化工程で復号化された出力音声を出力する音声出
力工程と、前記マルチモーダル文書中の表示対象のテキ
ストデータを表示する表示工程とを備える。
マルチモーダル文書受信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置の制御方法であって、音声を入力する
音声入力工程と、前記音声入力工程から入力された音声
の符号化を行い、符号化入力音声データを生成する符号
化工程と、ユーザ設定情報を設定する設定工程と、当該
マルチモーダル文書受信装置の各種機能を示すモダリテ
ィ情報、前記ユーザ設定情報、前記符号化入力音声デー
タを前記マルチモーダル文書送信装置へ送信する送信工
程と、前記モダリティ情報、前記ユーザ設定情報及び前
記符号化入力音声データに基づいて前記マルチモーダル
文書送信装置が生成したマルチモーダル文書及びそのマ
ルチモーダル文書中の音声出力対象のテキストデータに
対応する符号化出力音声データを受信する受信工程と、
前記符号化出力音声データを復号する復号化工程と、前
記復号化工程で復号化された出力音声を出力する音声出
力工程と、前記マルチモーダル文書中の表示対象のテキ
ストデータを表示する表示工程とを備える。
【００４０】上記の目的を達成するための本発明による
マルチモーダル文書送信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置の制御方法であって、前記マル
チモーダル文書受信装置の各種機能を示すモダリティ情
報及びユーザ設定情報、符号化入力音声データを受信す
る受信工程と、前記符号化入力音声データを音声認識す
る音声認識工程と、前記音声認識工程による音声認識結
果、前記モダリティ情報及び前記ユーザ設定情報に基づ
いて、前記マルチモーダル文書を生成する生成工程と、
前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程と、前記マルチモーダル文書及び前記符号化
出力音声データを前記マルチモーダル文書受信装置へ送
信する送信工程とを備える。
マルチモーダル文書送信装置の制御方法は以下の構成を
備える。即ち、少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置の制御方法であって、前記マル
チモーダル文書受信装置の各種機能を示すモダリティ情
報及びユーザ設定情報、符号化入力音声データを受信す
る受信工程と、前記符号化入力音声データを音声認識す
る音声認識工程と、前記音声認識工程による音声認識結
果、前記モダリティ情報及び前記ユーザ設定情報に基づ
いて、前記マルチモーダル文書を生成する生成工程と、
前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程と、前記マルチモーダル文書及び前記符号化
出力音声データを前記マルチモーダル文書受信装置へ送
信する送信工程とを備える。
【００４１】上記の目的を達成するための本発明による
マルチモーダル文書送受信システムの制御方法は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を生成するマルチ
モーダル送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
の制御方法であって、前記マルチモーダル文書受信装置
は、音声を入力する音声入力工程と、前記音声入力工程
から入力された音声の符号化を行い、符号化入力音声デ
ータを生成する符号化工程と、ユーザ設定情報を設定す
る設定工程と、当該マルチモーダル文書受信装置の各種
機能を示すモダリティ情報、前記ユーザ設定情報、前記
符号化入力音声データを前記マルチモーダル文書送信装
置へ送信する第１送信工程と、前記モダリティ情報、前
記ユーザ設定情報及び前記符号化入力音声データに基づ
いて前記マルチモーダル文書送信装置が生成したマルチ
モーダル文書及びそのマルチモーダル文書中の音声出力
対象のテキストデータに対応する符号化出力音声データ
を受信する第１受信工程と、前記符号化出力音声データ
を復号する復号化工程と、前記復号化工程で復号化され
た出力音声を出力する音声出力工程と、前記マルチモー
ダル文書中の表示対象のテキストデータを表示する表示
工程とを備え、前記マルチモーダル文書送信装置は、前
記マルチモーダル文書受信装置から前記モダリティ情報
及び前記ユーザ設定情報、前記符号化入力音声データを
受信する第２受信工程と、前記符号化入力音声データを
音声認識する音声認識工程と、前記音声認識工程による
音声認識結果、前記モダリティ情報及び前記ユーザ設定
情報に基づいて、前記マルチモーダル文書を生成する生
成工程と、前記マルチモーダル文書中の音声合成対象の
テキストデータを音声合成して符号化出力音声データを
生成する音声合成工程と、前記マルチモーダル文書及び
前記符号化出力音声データを前記マルチモーダル文書受
信装置へ送信する第２送信工程とを備える。
マルチモーダル文書送受信システムの制御方法は以下の
構成を備える。即ち、少なくともテキストデータの出力
形態の記述を含むマルチモーダル文書を生成するマルチ
モーダル送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
の制御方法であって、前記マルチモーダル文書受信装置
は、音声を入力する音声入力工程と、前記音声入力工程
から入力された音声の符号化を行い、符号化入力音声デ
ータを生成する符号化工程と、ユーザ設定情報を設定す
る設定工程と、当該マルチモーダル文書受信装置の各種
機能を示すモダリティ情報、前記ユーザ設定情報、前記
符号化入力音声データを前記マルチモーダル文書送信装
置へ送信する第１送信工程と、前記モダリティ情報、前
記ユーザ設定情報及び前記符号化入力音声データに基づ
いて前記マルチモーダル文書送信装置が生成したマルチ
モーダル文書及びそのマルチモーダル文書中の音声出力
対象のテキストデータに対応する符号化出力音声データ
を受信する第１受信工程と、前記符号化出力音声データ
を復号する復号化工程と、前記復号化工程で復号化され
た出力音声を出力する音声出力工程と、前記マルチモー
ダル文書中の表示対象のテキストデータを表示する表示
工程とを備え、前記マルチモーダル文書送信装置は、前
記マルチモーダル文書受信装置から前記モダリティ情報
及び前記ユーザ設定情報、前記符号化入力音声データを
受信する第２受信工程と、前記符号化入力音声データを
音声認識する音声認識工程と、前記音声認識工程による
音声認識結果、前記モダリティ情報及び前記ユーザ設定
情報に基づいて、前記マルチモーダル文書を生成する生
成工程と、前記マルチモーダル文書中の音声合成対象の
テキストデータを音声合成して符号化出力音声データを
生成する音声合成工程と、前記マルチモーダル文書及び
前記符号化出力音声データを前記マルチモーダル文書受
信装置へ送信する第２送信工程とを備える。
【００４２】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を、ネットワークを介してマルチモーダル文書送信装
置から受信するマルチモーダル文書受信装置の制御をコ
ンピュータに機能させるためのプログラムであって、当
該マルチモーダル文書受信装置の各種機能を示すモダリ
ティ情報を前記マルチモーダル文書送信装置に送信し、
該モダリティ情報に基づいて該マルチモーダル文書送信
装置が生成したマルチモーダル文書を受信する通信工程
のプログラムコードと、前記マルチモーダル文書中の音
声出力対象のテキストデータを音声合成する音声合成工
程のプログラムコードと、前記音声合成工程で合成した
出力音声を出力する音声出力工程のプログラムコード
と、前記マルチモーダル文書中の表示対象のテキストデ
ータを表示する表示工程のプログラムコードとを備え
る。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を、ネットワークを介してマルチモーダル文書送信装
置から受信するマルチモーダル文書受信装置の制御をコ
ンピュータに機能させるためのプログラムであって、当
該マルチモーダル文書受信装置の各種機能を示すモダリ
ティ情報を前記マルチモーダル文書送信装置に送信し、
該モダリティ情報に基づいて該マルチモーダル文書送信
装置が生成したマルチモーダル文書を受信する通信工程
のプログラムコードと、前記マルチモーダル文書中の音
声出力対象のテキストデータを音声合成する音声合成工
程のプログラムコードと、前記音声合成工程で合成した
出力音声を出力する音声出力工程のプログラムコード
と、前記マルチモーダル文書中の表示対象のテキストデ
ータを表示する表示工程のプログラムコードとを備え
る。
【００４３】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を生成して、ネットワークを介してマルチモーダル文
書受信装置へ送信するマルチモーダル文書送信装置の制
御をコンピュータに機能させるためのプログラムであっ
て、前記マルチモーダル文書受信装置の各種機能を示す
モダリティ情報を受信する受信工程のプログラムコード
と、前記モダリティ情報に基づいて、前記マルチモーダ
ル文書を生成する生成工程のプログラムコードと、前記
マルチモーダル文書を前記マルチモーダル文書受信装置
へ送信する送信工程のプログラムコードとを備える。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を生成して、ネットワークを介してマルチモーダル文
書受信装置へ送信するマルチモーダル文書送信装置の制
御をコンピュータに機能させるためのプログラムであっ
て、前記マルチモーダル文書受信装置の各種機能を示す
モダリティ情報を受信する受信工程のプログラムコード
と、前記モダリティ情報に基づいて、前記マルチモーダ
ル文書を生成する生成工程のプログラムコードと、前記
マルチモーダル文書を前記マルチモーダル文書受信装置
へ送信する送信工程のプログラムコードとを備える。
【００４４】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を、ネットワークを介してマルチモーダル文書送信装
置から受信するマルチモーダル文書受信装置の制御をコ
ンピュータに機能させるためのプログラムであって、音
声を入力する音声入力工程のプログラムコードと、前記
音声入力工程から入力された音声の符号化を行い、符号
化入力音声データを生成する符号化工程のプログラムコ
ードと、ユーザ設定情報を設定する設定工程のプログラ
ムコードと、当該マルチモーダル文書受信装置の各種機
能を示すモダリティ情報、前記ユーザ設定情報、前記符
号化入力音声データを前記マルチモーダル文書送信装置
へ送信する送信工程のプログラムコードと、前記モダリ
ティ情報、前記ユーザ設定情報及び前記符号化入力音声
データに基づいて前記マルチモーダル文書送信装置が生
成したマルチモーダル文書及びそのマルチモーダル文書
中の音声出力対象のテキストデータに対応する符号化出
力音声データを受信する受信工程のプログラムコード
と、前記符号化出力音声データを復号する復号化工程の
プログラムコードと、前記復号化工程で復号化された出
力音声を出力する音声出力工程のプログラムコードと、
前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程のプログラムコードとを備える。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を、ネットワークを介してマルチモーダル文書送信装
置から受信するマルチモーダル文書受信装置の制御をコ
ンピュータに機能させるためのプログラムであって、音
声を入力する音声入力工程のプログラムコードと、前記
音声入力工程から入力された音声の符号化を行い、符号
化入力音声データを生成する符号化工程のプログラムコ
ードと、ユーザ設定情報を設定する設定工程のプログラ
ムコードと、当該マルチモーダル文書受信装置の各種機
能を示すモダリティ情報、前記ユーザ設定情報、前記符
号化入力音声データを前記マルチモーダル文書送信装置
へ送信する送信工程のプログラムコードと、前記モダリ
ティ情報、前記ユーザ設定情報及び前記符号化入力音声
データに基づいて前記マルチモーダル文書送信装置が生
成したマルチモーダル文書及びそのマルチモーダル文書
中の音声出力対象のテキストデータに対応する符号化出
力音声データを受信する受信工程のプログラムコード
と、前記符号化出力音声データを復号する復号化工程の
プログラムコードと、前記復号化工程で復号化された出
力音声を出力する音声出力工程のプログラムコードと、
前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程のプログラムコードとを備える。
【００４５】上記の目的を達成するための本発明による
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を生成して、ネットワークを介してマルチモーダル文
書受信装置へ送信するマルチモーダル文書送信装置の制
御をコンピュータに機能させるためのプログラムであっ
て、前記マルチモーダル文書受信装置の各種機能を示す
モダリティ情報及びユーザ設定情報、符号化入力音声デ
ータを受信する受信工程のプログラムコードと、前記符
号化入力音声データを音声認識する音声認識工程のプロ
グラムコードと、前記音声認識工程による音声認識結
果、前記モダリティ情報及び前記ユーザ設定情報に基づ
いて、前記マルチモーダル文書を生成する生成工程のプ
ログラムコードと、前記マルチモーダル文書中の音声合
成対象のテキストデータを音声合成して符号化出力音声
データを生成する音声合成工程のプログラムコードと、
前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信工程
のプログラムコードとを備える。
プログラムは以下の構成を備える。即ち、少なくともテ
キストデータの出力形態の記述を含むマルチモーダル文
書を生成して、ネットワークを介してマルチモーダル文
書受信装置へ送信するマルチモーダル文書送信装置の制
御をコンピュータに機能させるためのプログラムであっ
て、前記マルチモーダル文書受信装置の各種機能を示す
モダリティ情報及びユーザ設定情報、符号化入力音声デ
ータを受信する受信工程のプログラムコードと、前記符
号化入力音声データを音声認識する音声認識工程のプロ
グラムコードと、前記音声認識工程による音声認識結
果、前記モダリティ情報及び前記ユーザ設定情報に基づ
いて、前記マルチモーダル文書を生成する生成工程のプ
ログラムコードと、前記マルチモーダル文書中の音声合
成対象のテキストデータを音声合成して符号化出力音声
データを生成する音声合成工程のプログラムコードと、
前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信工程
のプログラムコードとを備える。
【００４６】
【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。 ＜実施形態１＞図１は本発明の実施形態１のマルチモー
ダル文書送受信システムの構成図である。
適な実施形態を詳細に説明する。 ＜実施形態１＞図１は本発明の実施形態１のマルチモー
ダル文書送受信システムの構成図である。
【００４７】図１において、１０１は携帯電話（ａ〜
ｃ）や、ＰＨＳ（ａ〜ｃ）、ＰＤＡ（ａ〜ｃ）等のモバ
イル端末からなり、マルチモーダル文書（文書構造＋表
現形式）を受信して出力するマルチモーダル文書受信処
理装置群であり、その詳細については、図２を用いて後
述する。
ｃ）や、ＰＨＳ（ａ〜ｃ）、ＰＤＡ（ａ〜ｃ）等のモバ
イル端末からなり、マルチモーダル文書（文書構造＋表
現形式）を受信して出力するマルチモーダル文書受信処
理装置群であり、その詳細については、図２を用いて後
述する。
【００４８】１０２はマルチモーダル文書受信処理装置
１０１と通信を行うとともに、インターネット１０４を
介して、外部のＷｅｂサーバ群１０３ａ〜１０３ｃから
編集する原文書（例えば、Ｗｅｂサーバが管理するＷｅ
ｂサイト／ＦＴＰサイト上のＨＴＭＬ文書、ＸＭＬ文書
やファイル等の各種文書データ）を取得して、マルチモ
ーダル文書を生成するマルチモーダル文書編集送信装置
であり、その詳細については、図３を用いて後述する。
１０１と通信を行うとともに、インターネット１０４を
介して、外部のＷｅｂサーバ群１０３ａ〜１０３ｃから
編集する原文書（例えば、Ｗｅｂサーバが管理するＷｅ
ｂサイト／ＦＴＰサイト上のＨＴＭＬ文書、ＸＭＬ文書
やファイル等の各種文書データ）を取得して、マルチモ
ーダル文書を生成するマルチモーダル文書編集送信装置
であり、その詳細については、図３を用いて後述する。
【００４９】尚、マルチモーダル文書受信処理装置群１
０１とマルチモーダル文書編集送信装置１０２は、公衆
回線や無線ＬＡＮ等とのネットワークを介して、データ
通信を行うことができる。また、マルチモーダル文書受
信処理装置群１０１及びマルチモーダル文書編集送信装
置１０２は、汎用コンピュータや携帯端末に搭載される
標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、
ハードディスク、外部記憶装置、ネットワークインタフ
ェース、ディスプレイ、キーボード、マウス等）を有し
ている。更に、後述するマルチモーダル文書受信処理装
置群１０１及びマルチモーダル文書編集送信装置１０２
それぞれで実現される各種機能は、各装置内部のＲＯＭ
や外部記憶装置に記憶されるプログラムがＣＰＵによっ
て実行されることによって実現されても良いし、専用の
ハードウェアで実現されても良い。
０１とマルチモーダル文書編集送信装置１０２は、公衆
回線や無線ＬＡＮ等とのネットワークを介して、データ
通信を行うことができる。また、マルチモーダル文書受
信処理装置群１０１及びマルチモーダル文書編集送信装
置１０２は、汎用コンピュータや携帯端末に搭載される
標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、
ハードディスク、外部記憶装置、ネットワークインタフ
ェース、ディスプレイ、キーボード、マウス等）を有し
ている。更に、後述するマルチモーダル文書受信処理装
置群１０１及びマルチモーダル文書編集送信装置１０２
それぞれで実現される各種機能は、各装置内部のＲＯＭ
や外部記憶装置に記憶されるプログラムがＣＰＵによっ
て実行されることによって実現されても良いし、専用の
ハードウェアで実現されても良い。
【００５０】また、Ｗｅｂサーバ群１０３ａ〜１０３ｃ
の機能をマルチモーダル文書編集送信装置１０２に統合
して構成されても良く、この場合、マルチモーダル文書
編集送信装置１０２自身で管理している原文書に基づい
て、マルチモーダル文書を生成する。
の機能をマルチモーダル文書編集送信装置１０２に統合
して構成されても良く、この場合、マルチモーダル文書
編集送信装置１０２自身で管理している原文書に基づい
て、マルチモーダル文書を生成する。
【００５１】次に、マルチモーダル文書受信処理装置群
１０１の内の１つの詳細構成について、図２を用いて説
明する。
１０１の内の１つの詳細構成について、図２を用いて説
明する。
【００５２】図２は本発明の実施形態１のマルチモーダ
ル文書受信処理装置の詳細構成図である。
ル文書受信処理装置の詳細構成図である。
【００５３】図２において、２０１はユーザがマイクロ
フォンから音声を入力する音声入力部である。２０２
は、音声入力部２０１から入力された音声の認識処理を
行う音声認識部であり、その音声認識結果は、ＧＵＩ入
力による文字入力と同等に扱われる。
フォンから音声を入力する音声入力部である。２０２
は、音声入力部２０１から入力された音声の認識処理を
行う音声認識部であり、その音声認識結果は、ＧＵＩ入
力による文字入力と同等に扱われる。
【００５４】２０３は、スタイラスなどのポインティン
グデバイスやテンキーなどのボタンによるＧＵＩ操作を
入力するＧＵＩ操作入力部である。
グデバイスやテンキーなどのボタンによるＧＵＩ操作を
入力するＧＵＩ操作入力部である。
【００５５】尚、ＧＵＩ操作には、インターネット１０
４上のＷｅｂサーバ１０３ａ〜１０３ｃで管理されるＷ
ｅｂサイトへのアクセス操作、後述するモダリティ情報
の変更操作等の各種操作がある。
４上のＷｅｂサーバ１０３ａ〜１０３ｃで管理されるＷ
ｅｂサイトへのアクセス操作、後述するモダリティ情報
の変更操作等の各種操作がある。
【００５６】２０４は、当該マルチモーダル文書受信処
理装置１０１で使用する音声認識機能、音声合成機能、
ＧＵＩ表示機能等の各種機能を示すモダリティ情報を保
持するモダリティ情報保持部である。
理装置１０１で使用する音声認識機能、音声合成機能、
ＧＵＩ表示機能等の各種機能を示すモダリティ情報を保
持するモダリティ情報保持部である。
【００５７】２０５は、入力されたＧＵＩ操作、かつモ
ダリティ情報保持部２０４に保持されたモダリティ情報
をマルチモーダル文書編集送信装置１０２に送信し、マ
ルチモーダル文書編集送信装置１０２から、テキストデ
ータの入出力形態（例えば、表示、音声入出力、印刷
等）を記述しているマルチモーダル文書やスクリプトフ
ァイルを受信するデータ通信部である。
ダリティ情報保持部２０４に保持されたモダリティ情報
をマルチモーダル文書編集送信装置１０２に送信し、マ
ルチモーダル文書編集送信装置１０２から、テキストデ
ータの入出力形態（例えば、表示、音声入出力、印刷
等）を記述しているマルチモーダル文書やスクリプトフ
ァイルを受信するデータ通信部である。
【００５８】２０６は、データ通信部２０５より受信し
たマルチモーダル文書中の音声出力対象のテキストデー
タを合成する音声合成部である。２０７は、音声合成部
２０７で合成した出力音声をスピーカやイヤホンから出
力する音声出力部である。
たマルチモーダル文書中の音声出力対象のテキストデー
タを合成する音声合成部である。２０７は、音声合成部
２０７で合成した出力音声をスピーカやイヤホンから出
力する音声出力部である。
【００５９】２０８は、データ通信部２０５が受信した
マルチモーダル文書中のＧＵＩ表示データを表示するＷ
ｅｂブラウザ等のＧＵＩ表示部である。
マルチモーダル文書中のＧＵＩ表示データを表示するＷ
ｅｂブラウザ等のＧＵＩ表示部である。
【００６０】２０９は、当該マルチモーダル文書受信処
理装置１０１の各構成要素２０１〜２０８を相互に接続
するバスである。
理装置１０１の各構成要素２０１〜２０８を相互に接続
するバスである。
【００６１】次に、マルチモーダル文書編集送信装置１
０２の詳細構成について、図３を用いて説明する。
０２の詳細構成について、図３を用いて説明する。
【００６２】図３は本発明の実施形態１のマルチモーダ
ル文書編集送信装置の詳細構成図である。
ル文書編集送信装置の詳細構成図である。
【００６３】図３において、３０１は、インターネット
１０４を介して外部のＷｅｂサーバ（例えば、１０３
ａ）より原文書を受信するインターネット通信部であ
る。
１０４を介して外部のＷｅｂサーバ（例えば、１０３
ａ）より原文書を受信するインターネット通信部であ
る。
【００６４】３０２は、インターネット通信部３０１が
取得した原文書を保持する原文書保持部である。３０３
は、原文書保持部３０２に保持された原文書を編集する
ためのスタイルシート群や原文書の操作を記述したスク
リプトファイル群からなる編集／操作ファイルを保持す
るスタイルシート・スクリプト保持部である。
取得した原文書を保持する原文書保持部である。３０３
は、原文書保持部３０２に保持された原文書を編集する
ためのスタイルシート群や原文書の操作を記述したスク
リプトファイル群からなる編集／操作ファイルを保持す
るスタイルシート・スクリプト保持部である。
【００６５】３０４は、マルチモーダル文書受信処理装
置１０１から、ＧＵＩ操作情報及びモダリティ情報を受
信し、マルチモーダル文書やスタイルシートやスクリプ
トファイルをマルチモーダル文書受信処理装置１０１に
送信するデータ通信部である。
置１０１から、ＧＵＩ操作情報及びモダリティ情報を受
信し、マルチモーダル文書やスタイルシートやスクリプ
トファイルをマルチモーダル文書受信処理装置１０１に
送信するデータ通信部である。
【００６６】３０５は、データ通信部３０４が受信した
マルチモーダル文書受信処理装置１０１を特定するため
の端末情報及びモダリティ情報を、個々のマルチモーダ
ル文書受信処理装置１０１ごとに保持する端末情報保持
部である。尚、端末情報保持部３０５では、公衆回線で
接続されている場合には電話番号で、無線ＬＡＮなどな
どで接続されている場合には、ＩＰアドレスでマルチモ
ーダル文書受信処理装置１０１の特定を行い、個々のマ
ルチモーダル文書受信処理装置１０１の端末情報を保持
する。
マルチモーダル文書受信処理装置１０１を特定するため
の端末情報及びモダリティ情報を、個々のマルチモーダ
ル文書受信処理装置１０１ごとに保持する端末情報保持
部である。尚、端末情報保持部３０５では、公衆回線で
接続されている場合には電話番号で、無線ＬＡＮなどな
どで接続されている場合には、ＩＰアドレスでマルチモ
ーダル文書受信処理装置１０１の特定を行い、個々のマ
ルチモーダル文書受信処理装置１０１の端末情報を保持
する。
【００６７】３０６は、端末情報保持部３０５に保持さ
れた現在通信中のマルチモーダル文書受信処理装置１０
１のモダリティ情報に基づいて、送信対象の原文書に適
用するスタイルシートや添付するスクリプトファイルを
判定するスタイルシート・スクリプト判定部である。
れた現在通信中のマルチモーダル文書受信処理装置１０
１のモダリティ情報に基づいて、送信対象の原文書に適
用するスタイルシートや添付するスクリプトファイルを
判定するスタイルシート・スクリプト判定部である。
【００６８】３０７は、データ通信部３０５が受信した
操作入力に基づいて得られた、原文書保持部３０２に保
持された原文書に、スタイルシート・スクリプト判定部
３０６で判定されたやスクリプトファイルを適用して編
集し、マルチモーダル文書を生成する送信文書編集部で
ある。
操作入力に基づいて得られた、原文書保持部３０２に保
持された原文書に、スタイルシート・スクリプト判定部
３０６で判定されたやスクリプトファイルを適用して編
集し、マルチモーダル文書を生成する送信文書編集部で
ある。
【００６９】３０８は、当該マルチモーダル文書編集処
理装置１０１の各構成要素３０１〜３０７を相互に接続
するバスである。
理装置１０１の各構成要素３０１〜３０７を相互に接続
するバスである。
【００７０】次に、マルチモーダル文書受信処理装置１
０１の動作について、図４を用いて説明する。
０１の動作について、図４を用いて説明する。
【００７１】図４は本発明の実施形態１のマルチモーダ
ル文書受信処理装置の動作フローを示すフローチャート
である。
ル文書受信処理装置の動作フローを示すフローチャート
である。
【００７２】まず、ステップＳ４０１で、データ通信部
２０５にて、モダリティ情報保持部２０４に保持された
モダリティ情報をマルチモーダル文書送信編集送信装置
１０２に送信する。
２０５にて、モダリティ情報保持部２０４に保持された
モダリティ情報をマルチモーダル文書送信編集送信装置
１０２に送信する。
【００７３】次に、ステップＳ４０２で、ユーザからの
入力を待機する。ユーザからの入力がある場合（ステッ
プＳ４０２でＹＥＳ）、ステップＳ４０３に進む。
入力を待機する。ユーザからの入力がある場合（ステッ
プＳ４０２でＹＥＳ）、ステップＳ４０３に進む。
【００７４】ステップＳ４０３で、ユーザからの入力が
音声入力であるか否かを判定する。音声入力である場合
（ステップＳ４０３でＹＥＳ）、ステップＳ４０４に進
み、音声認識部２０２にて、入力された音声の認識を行
い、その音声認識結果をユーザからのＧＵＩ操作とし
て、ステップＳ４０５に進む。一方、音声入力でない場
合（ステップＳ４０３でＮＯ）、ステップＳ４０５に進
む。
音声入力であるか否かを判定する。音声入力である場合
（ステップＳ４０３でＹＥＳ）、ステップＳ４０４に進
み、音声認識部２０２にて、入力された音声の認識を行
い、その音声認識結果をユーザからのＧＵＩ操作とし
て、ステップＳ４０５に進む。一方、音声入力でない場
合（ステップＳ４０３でＮＯ）、ステップＳ４０５に進
む。
【００７５】尚、ステップＳ４０３の判定は、この判定
は、音声入力部２０１からの入力の有無に基づいて判定
する。
は、音声入力部２０１からの入力の有無に基づいて判定
する。
【００７６】ステップＳ４０５で、ユーザからの入力が
モダリティ情報の変更であるか否かを判定する。モダリ
ティ情報の変更である場合（ステップＳ４０５でＹＥ
Ｓ）、ステップＳ４０１に戻る。一方、モダリティ情報
の変更でない場合（ステップＳ４０５でＮＯ）、ステッ
プＳ４０６に進む。
モダリティ情報の変更であるか否かを判定する。モダリ
ティ情報の変更である場合（ステップＳ４０５でＹＥ
Ｓ）、ステップＳ４０１に戻る。一方、モダリティ情報
の変更でない場合（ステップＳ４０５でＮＯ）、ステッ
プＳ４０６に進む。
【００７７】ステップＳ４０６で、データ通信部２０５
にて、ユーザからの入力（例えば、マルチモーダル文書
の要求）をマルチモーダル文書編集送信装置１０２に送
信する。ステップＳ４０７で、データ通信部２０５に
て、マルチモーダル文書編集送信装置１０２からマルチ
モーダル文書を受信する。
にて、ユーザからの入力（例えば、マルチモーダル文書
の要求）をマルチモーダル文書編集送信装置１０２に送
信する。ステップＳ４０７で、データ通信部２０５に
て、マルチモーダル文書編集送信装置１０２からマルチ
モーダル文書を受信する。
【００７８】ステップＳ４０８で、受信したＭＭ文書中
に音声合成対象のテキストデータがあるかないかを判定
する。音声合成対象のテキストデータがある場合（ステ
ップＳ４０８でＹＥＳ）、ステップＳ４０９に進み、音
声合成部２０６にて、音声合成対象のテキストデータの
音声合成を行う。そして、ステップＳ４１０で、音声出
力部２０７にて、その音声合成された音声データを出力
する。
に音声合成対象のテキストデータがあるかないかを判定
する。音声合成対象のテキストデータがある場合（ステ
ップＳ４０８でＹＥＳ）、ステップＳ４０９に進み、音
声合成部２０６にて、音声合成対象のテキストデータの
音声合成を行う。そして、ステップＳ４１０で、音声出
力部２０７にて、その音声合成された音声データを出力
する。
【００７９】尚、ステップＳ４０８の判定は、例えば、
モダリティ情報保持部２０４に保持されているモダリテ
ィ情報として音声合成機能があり、かつ、マルチモーダ
ル文書編集送信装置１０２から受信したマルチモーダル
文書中に音声合成対象用の所定タグ（例えば、後述す
る”＜voice＞”タグ）が含まれている否かに基づいて
行う。
モダリティ情報保持部２０４に保持されているモダリテ
ィ情報として音声合成機能があり、かつ、マルチモーダ
ル文書編集送信装置１０２から受信したマルチモーダル
文書中に音声合成対象用の所定タグ（例えば、後述す
る”＜voice＞”タグ）が含まれている否かに基づいて
行う。
【００８０】一方、ステップＳ４０８において、受信し
たマルチモーダル文書中に音声合成対象のテキストデー
タがない場合（ステップＳ４０８でＮＯ）、ステップＳ
４１１に進み、ＧＵＩ表示部２０８にて、受信したマル
チモーダル文書中のＧＵＩ表示データに基づくＧＵＩ表
示を行って、ステップＳ４０２に戻る。
たマルチモーダル文書中に音声合成対象のテキストデー
タがない場合（ステップＳ４０８でＮＯ）、ステップＳ
４１１に進み、ＧＵＩ表示部２０８にて、受信したマル
チモーダル文書中のＧＵＩ表示データに基づくＧＵＩ表
示を行って、ステップＳ４０２に戻る。
【００８１】次に、マルチモーダル文書編集送信装置１
０２の動作について、図５を用いて説明する。
０２の動作について、図５を用いて説明する。
【００８２】図５は本発明の実施形態１のマルチモーダ
ル文書編集送信装置の動作フローを示すフローチャート
である。
ル文書編集送信装置の動作フローを示すフローチャート
である。
【００８３】まず、ステップＳ５０１で、データ通信部
３０４にて、マルチモーダル文書受信処理装置１０１か
らの入力を待機する。入力がある場合（ステップＳ５０
１でＹＥＳ）、ステップＳ５０２に進む。
３０４にて、マルチモーダル文書受信処理装置１０１か
らの入力を待機する。入力がある場合（ステップＳ５０
１でＹＥＳ）、ステップＳ５０２に進む。
【００８４】ステップＳ５０２で、マルチモーダル文書
受信処理装置１０１からの入力がモダリティ情報である
か否かを判定する。モダリティ情報でない場合（ステッ
プＳ５０２でＮＯ）、ステップＳ５０５に進む。一方、
モダリティ情報である場合（ステップＳ５０２でＹＥ
Ｓ）、ステップＳ５０３に進み、端末情報保持部３０５
にて、そのモダリティ情報とマルチモーダル文書受信処
理装置１０１の端末情報を保持する。続く、ステップＳ
５０４で、スタイルシート・スクリプト判定部３０６に
て、受信したモダリティ情報に基づいて、送信対象の原
文書に適用するスタイルシート、スクリプトの判定を行
う。
受信処理装置１０１からの入力がモダリティ情報である
か否かを判定する。モダリティ情報でない場合（ステッ
プＳ５０２でＮＯ）、ステップＳ５０５に進む。一方、
モダリティ情報である場合（ステップＳ５０２でＹＥ
Ｓ）、ステップＳ５０３に進み、端末情報保持部３０５
にて、そのモダリティ情報とマルチモーダル文書受信処
理装置１０１の端末情報を保持する。続く、ステップＳ
５０４で、スタイルシート・スクリプト判定部３０６に
て、受信したモダリティ情報に基づいて、送信対象の原
文書に適用するスタイルシート、スクリプトの判定を行
う。
【００８５】ステップＳ５０５で、マルチモーダル文書
受信処理装置１０１からの入力に基づいて、インターネ
ット通信部３０１にて、インターネット１０４を介して
原文書を取得し、原文書保持部３０２に保持する。続
く、ステップＳ５０６で、送信文書編集部３０７にて、
原文書保持部３０２に保持された原文書に、使用スタイ
ルシート・スクリプト判定部３０３で判定されたスタイ
ルシートを適用する送信文書編集処理を行い、マルチモ
ーダル文書を生成する。
受信処理装置１０１からの入力に基づいて、インターネ
ット通信部３０１にて、インターネット１０４を介して
原文書を取得し、原文書保持部３０２に保持する。続
く、ステップＳ５０６で、送信文書編集部３０７にて、
原文書保持部３０２に保持された原文書に、使用スタイ
ルシート・スクリプト判定部３０３で判定されたスタイ
ルシートを適用する送信文書編集処理を行い、マルチモ
ーダル文書を生成する。
【００８６】ステップＳ５０７で、データ通信部３０４
にて、送信文書編集部３０７で生成集されたマルチモー
ダル文書をマルチモーダル文書受信処理装置１０１に送
信し、ステップＳ５０１に戻る。
にて、送信文書編集部３０７で生成集されたマルチモー
ダル文書をマルチモーダル文書受信処理装置１０１に送
信し、ステップＳ５０１に戻る。
【００８７】次に、マルチモーダル文書編集送信装置１
０２からマルチモーダル文書処理装置群１０１それぞれ
に送信されるマルチモーダル文書の例について、図６を
用いて説明する。
０２からマルチモーダル文書処理装置群１０１それぞれ
に送信されるマルチモーダル文書の例について、図６を
用いて説明する。
【００８８】図６は本発明の実施形態１のマルチモーダ
ル文書の例を示す図である。
ル文書の例を示す図である。
【００８９】図６において、”＜voice＞”〜”＜/voic
e＞”タグで括られた部分のテキストデータは、音声出
力対象のテキストデータであり、これは音声合成部２０
６が音声合成し、音声出力部２０７から出力する。ま
た、”＜h１＞”〜”＜/h１＞”タグや”＜h2＞”〜”
＜/h2＞”タグで括られた部分のテキストデータは、表
示対象のテキストデータ（ＧＵＩ表示データ）であり、
ＧＵＩ表示部２０８には、図７に示すような表示が行わ
れる。
e＞”タグで括られた部分のテキストデータは、音声出
力対象のテキストデータであり、これは音声合成部２０
６が音声合成し、音声出力部２０７から出力する。ま
た、”＜h１＞”〜”＜/h１＞”タグや”＜h2＞”〜”
＜/h2＞”タグで括られた部分のテキストデータは、表
示対象のテキストデータ（ＧＵＩ表示データ）であり、
ＧＵＩ表示部２０８には、図７に示すような表示が行わ
れる。
【００９０】尚、原文書の例及びその原文書に適用する
スタイルシート例は、図８及び図９に示され、この原文
書とこのスタイルシートに基づいて、送信文書編集部３
０７は、例えば、図６に示したマルチモーダル文書を生
成する。
スタイルシート例は、図８及び図９に示され、この原文
書とこのスタイルシートに基づいて、送信文書編集部３
０７は、例えば、図６に示したマルチモーダル文書を生
成する。
【００９１】この例では、マルチモーダル文書編集送信
装置１０２が、マルチモーダル文書処理装置群１０１の
モダリティ情報からマルチモーダル文書処理装置群１０
１が音声合成機能及びＧＵＩ表示機能を有していること
を判定した場合であり、図９は、図８の原文書中の”＜
pageTitle＞”〜”＜/pageTitle＞”タグ、”＜aTitle
＞”〜”＜/aTitle＞”タグ及び”＜abstract＞”〜”
＜/abstract＞”タグで括られた部分のテキストデータ
はＧＵＩ表示データとし、”＜details＞”〜”＜/deta
ils＞”タグで括られた部分のテキストデータは音声出
力対象のテキストデータとするスタイルシートである。
装置１０２が、マルチモーダル文書処理装置群１０１の
モダリティ情報からマルチモーダル文書処理装置群１０
１が音声合成機能及びＧＵＩ表示機能を有していること
を判定した場合であり、図９は、図８の原文書中の”＜
pageTitle＞”〜”＜/pageTitle＞”タグ、”＜aTitle
＞”〜”＜/aTitle＞”タグ及び”＜abstract＞”〜”
＜/abstract＞”タグで括られた部分のテキストデータ
はＧＵＩ表示データとし、”＜details＞”〜”＜/deta
ils＞”タグで括られた部分のテキストデータは音声出
力対象のテキストデータとするスタイルシートである。
【００９２】以上説明したように、実施形態１によれ
ば、まず、マルチモーダル文書受信処理装置１０１から
自身の使用するモダリティ情報をマルチモーダル文書編
集送信装置１０２に送信する。次に、マルチモーダル文
書編集送信装置１０２にて、そのモダリティ情報に基づ
いて、送信対象の原文書に適用するスタイルシートやス
クリプトファイルを判定し、その判定結果に基づいて、
原文書を編集したマルチモーダル文書や必要であればス
クリプトファイルをマルチモーダル文書受信処理装置１
０１に返信する。そして、マルチモーダル文書受信処理
装置１０１では、受信したマルチモーダル文書及びスク
リプトファイルに基づいて、マルチモーダル出力を行う
ことができる。
ば、まず、マルチモーダル文書受信処理装置１０１から
自身の使用するモダリティ情報をマルチモーダル文書編
集送信装置１０２に送信する。次に、マルチモーダル文
書編集送信装置１０２にて、そのモダリティ情報に基づ
いて、送信対象の原文書に適用するスタイルシートやス
クリプトファイルを判定し、その判定結果に基づいて、
原文書を編集したマルチモーダル文書や必要であればス
クリプトファイルをマルチモーダル文書受信処理装置１
０１に返信する。そして、マルチモーダル文書受信処理
装置１０１では、受信したマルチモーダル文書及びスク
リプトファイルに基づいて、マルチモーダル出力を行う
ことができる。
【００９３】つまり、公衆回線や無線ＬＡＮなどを経由
してホストコンピュータ（マルチモーダル文書編集送信
装置１０２）とデータ通信を行える様々なモダリティを
持った端末（マルチモーダル文書受信処理装置１０１）
において、その端末個々の持つモダリティやユーザが使
用したいモダリティに応じて、端末に対して最適なユー
ザインタフェース環境を提供することができる。 ＜実施形態２＞実施形態１では、マルチモーダル文書受
信処理装置１０１が音声合成機能とＧＵＩ表示機能を有
するモダリティ情報を有している場合を説明している
が、音声合成機能を有さないマルチモーダル文書受信処
理装置１０１については、例えば、図１０に示すような
ＨＴＭＬファイルと、図１１に示すようなスクリプトフ
ァイルから、図１２に示すようなＧＵＩ表示を行うこと
ができる。この場合、図１０のＨＴＭＬファイル中の各
タグで括られる部分のテキストデータはすべてＧＵＩ表
示データとし、図１１のスクリプトファイルは、図１２
に示すＧＵＩ表示と、ユーザが図１２のＧＵＩ表示中の
メニュー「概要」から「詳細」に変更することで、図１
３に示すようなＧＵＩ表示を行うようなスクリプトファ
イルとなっている。 ＜実施形態３＞マルチモーダル文書受信処理装置１０１
が、携帯端末のような表示画面が小さいものである場合
には、例えば、図１１に示すようなスクリプトファイル
と、図１４に示すようなＨＴＭＬファイルから、図１５
に示すようなＧＵＩ表示を行うことができる。この場
合、ユーザが図１５のＧＵＩ表示中のメニュー「見出」
から「概要」、「詳細」とたどっていくことで、図１
６、図１７に示すようなＧＵＩ表示を行うようなことが
できる。つまり、表示するテキストデータ中の一部の表
示／非表示を制御するメニューやボタン等のコントロー
ルをＧＵＩ表示データに構成する。 ＜実施形態４＞実施形態１では、音声合成部２０６を有
するマルチモーダル文書受信処理装置１０１に対して、
マルチモーダル文書を出力する場合に、そのマルチモー
ダル文書中のＧＵＩ表示データと音声合成対象のテキス
トデータをそれぞれ出力する構成としている。しかしな
がら、ＧＵＩ表示データと音声合成対象のテキストデー
タの出力形態は、これに限定されない。例えば、実施形
態２、３に示した手法と同様の手法で、最初のマルチモ
ーダル文書の出力時には、音声合成対象のテキストデー
タの音声合成を行わず、音声合成の実行の有無を制御す
る音声合成実行ボタン（コントロール）をＧＵＩ表示し
て、ユーザがＧＵＩ表示上の音声合成実行ボタンを押し
たときのみ、その音声合成対象のテキストデータを音声
合成するようにしても構わない。 ＜実施形態５＞マルチモーダル文書受信処理装置１０１
における音声認識部２０２の有無については、音声認識
部２０２がない場合には、例えば、図１８に示すような
ＧＵＩ表示となるが、音声認識部２０２がある場合に
は、例えば、図１９に示すように、音声認識が可能な箇
所にその旨を示すボタン（例えば、マイクをかたどって
いるアイコン）を表示するようにして、ユーザに音声合
成が可能な旨を提示するような構成にすることもでき
る。 ＜実施形態６＞実施形態１〜５では、マルチモーダル文
書受信処理装置１０１に音声認識機能や音声合成機能を
有している場合に実現されるマルチモーダル文書送受信
システムについて説明した。しかしながら、マルチモー
ダル文書受信処理装置１０１が音声入力機能を有してい
るものの音声認識機能、音声合成機能を持たないあるい
は貧弱な場合や、加えて、このようなマルチモーダル文
書受信処理装置１０１で音声入出力によるＧＵＩ操作を
実現したい場合がある。
してホストコンピュータ（マルチモーダル文書編集送信
装置１０２）とデータ通信を行える様々なモダリティを
持った端末（マルチモーダル文書受信処理装置１０１）
において、その端末個々の持つモダリティやユーザが使
用したいモダリティに応じて、端末に対して最適なユー
ザインタフェース環境を提供することができる。 ＜実施形態２＞実施形態１では、マルチモーダル文書受
信処理装置１０１が音声合成機能とＧＵＩ表示機能を有
するモダリティ情報を有している場合を説明している
が、音声合成機能を有さないマルチモーダル文書受信処
理装置１０１については、例えば、図１０に示すような
ＨＴＭＬファイルと、図１１に示すようなスクリプトフ
ァイルから、図１２に示すようなＧＵＩ表示を行うこと
ができる。この場合、図１０のＨＴＭＬファイル中の各
タグで括られる部分のテキストデータはすべてＧＵＩ表
示データとし、図１１のスクリプトファイルは、図１２
に示すＧＵＩ表示と、ユーザが図１２のＧＵＩ表示中の
メニュー「概要」から「詳細」に変更することで、図１
３に示すようなＧＵＩ表示を行うようなスクリプトファ
イルとなっている。 ＜実施形態３＞マルチモーダル文書受信処理装置１０１
が、携帯端末のような表示画面が小さいものである場合
には、例えば、図１１に示すようなスクリプトファイル
と、図１４に示すようなＨＴＭＬファイルから、図１５
に示すようなＧＵＩ表示を行うことができる。この場
合、ユーザが図１５のＧＵＩ表示中のメニュー「見出」
から「概要」、「詳細」とたどっていくことで、図１
６、図１７に示すようなＧＵＩ表示を行うようなことが
できる。つまり、表示するテキストデータ中の一部の表
示／非表示を制御するメニューやボタン等のコントロー
ルをＧＵＩ表示データに構成する。 ＜実施形態４＞実施形態１では、音声合成部２０６を有
するマルチモーダル文書受信処理装置１０１に対して、
マルチモーダル文書を出力する場合に、そのマルチモー
ダル文書中のＧＵＩ表示データと音声合成対象のテキス
トデータをそれぞれ出力する構成としている。しかしな
がら、ＧＵＩ表示データと音声合成対象のテキストデー
タの出力形態は、これに限定されない。例えば、実施形
態２、３に示した手法と同様の手法で、最初のマルチモ
ーダル文書の出力時には、音声合成対象のテキストデー
タの音声合成を行わず、音声合成の実行の有無を制御す
る音声合成実行ボタン（コントロール）をＧＵＩ表示し
て、ユーザがＧＵＩ表示上の音声合成実行ボタンを押し
たときのみ、その音声合成対象のテキストデータを音声
合成するようにしても構わない。 ＜実施形態５＞マルチモーダル文書受信処理装置１０１
における音声認識部２０２の有無については、音声認識
部２０２がない場合には、例えば、図１８に示すような
ＧＵＩ表示となるが、音声認識部２０２がある場合に
は、例えば、図１９に示すように、音声認識が可能な箇
所にその旨を示すボタン（例えば、マイクをかたどって
いるアイコン）を表示するようにして、ユーザに音声合
成が可能な旨を提示するような構成にすることもでき
る。 ＜実施形態６＞実施形態１〜５では、マルチモーダル文
書受信処理装置１０１に音声認識機能や音声合成機能を
有している場合に実現されるマルチモーダル文書送受信
システムについて説明した。しかしながら、マルチモー
ダル文書受信処理装置１０１が音声入力機能を有してい
るものの音声認識機能、音声合成機能を持たないあるい
は貧弱な場合や、加えて、このようなマルチモーダル文
書受信処理装置１０１で音声入出力によるＧＵＩ操作を
実現したい場合がある。
【００９４】そこで、実施形態６では、実施形態１の応
用例として、特に、音声認識、音声合成をマルチモーダ
ル文書編集送信装置１０２で行う構成とすることで、マ
ルチモーダル文書受信処理装置１０１が音声入力機能を
有しているものの音声認識機能、音声合成機能を持たな
いあるいは貧弱な場合や、加えて、このようなマルチモ
ーダル文書受信処理装置１０１で音声入出力によるＧＵ
Ｉ操作を実現したい場合でも、実施形態１と同等の効果
を期待できるマルチモーダル文書送受信システムについ
て説明する。
用例として、特に、音声認識、音声合成をマルチモーダ
ル文書編集送信装置１０２で行う構成とすることで、マ
ルチモーダル文書受信処理装置１０１が音声入力機能を
有しているものの音声認識機能、音声合成機能を持たな
いあるいは貧弱な場合や、加えて、このようなマルチモ
ーダル文書受信処理装置１０１で音声入出力によるＧＵ
Ｉ操作を実現したい場合でも、実施形態１と同等の効果
を期待できるマルチモーダル文書送受信システムについ
て説明する。
【００９５】また、実施形態６のマルチモーダル文書送
受信システムでは、マルチモーダル文書受信処理装置１
０１とマルチモーダル文書編集送信装置１０２間の音声
データの送受信を、符号化されたデジタル音声で行う。
これにより、データの安全性を確保することができる。
受信システムでは、マルチモーダル文書受信処理装置１
０１とマルチモーダル文書編集送信装置１０２間の音声
データの送受信を、符号化されたデジタル音声で行う。
これにより、データの安全性を確保することができる。
【００９６】まず、マルチモーダル文書受信処理装置群
１０１の内の１つの詳細構成について、図２０を用いて
説明する。
１０１の内の１つの詳細構成について、図２０を用いて
説明する。
【００９７】図２０は本発明の実施形態６のマルチモー
ダル文書受信処理装置の詳細構成図である。
ダル文書受信処理装置の詳細構成図である。
【００９８】図２０において、４０１はユーザがマイク
ロフォンから音声を入力する音声入力部である。４０２
は、音声入力部４０２から入力された音声の符号化を行
う入力音声符号化部である。
ロフォンから音声を入力する音声入力部である。４０２
は、音声入力部４０２から入力された音声の符号化を行
う入力音声符号化部である。
【００９９】４０３は、スタイラスなどのポインティン
グデバイスやテンキーなどのボタンによるＧＵＩ操作を
入力するＧＵＩ操作入力部である。４０４は、当該マル
チモーダル文書受信処理装置１０１の有効な各種機能を
示すモダリティ情報を保持するモダリティ情報保持部で
ある。
グデバイスやテンキーなどのボタンによるＧＵＩ操作を
入力するＧＵＩ操作入力部である。４０４は、当該マル
チモーダル文書受信処理装置１０１の有効な各種機能を
示すモダリティ情報を保持するモダリティ情報保持部で
ある。
【０１００】ここで、マルチモーダル文書受信処理装置
１０１が携帯電話、ＰＨＳ、ＰＤＡそれぞれである場合
のモダリティ情報の例をそれぞれ図２４〜図２６に示
す。
１０１が携帯電話、ＰＨＳ、ＰＤＡそれぞれである場合
のモダリティ情報の例をそれぞれ図２４〜図２６に示
す。
【０１０１】例えば、図２４は、マルチモーダル文書受
信処理装置１０１が携帯電話である場合のモダリティ情
報であり、ここでは、マルチモーダル文書受信処理装置
１０１の機能としてその入力機能及び出力機能がＸＭＬ
文書で構成されている。
信処理装置１０１が携帯電話である場合のモダリティ情
報であり、ここでは、マルチモーダル文書受信処理装置
１０１の機能としてその入力機能及び出力機能がＸＭＬ
文書で構成されている。
【０１０２】２４１０は入力機能を示す記述であり、こ
の記述２４１０中の各行２４１１〜２４１６のタグで括
られた部分がその具体的な入力機能の詳細記述である。
ここでは、記述２４１０は、マイクによる音声入力（２
４１０）、テンキーによる文字入力（２４１２）、ボタ
ンによる項目の選択などのポインティング（２４１
３）、４方向ボタンによるフォーカスの移動（２４１
４）、２方向ボタンによる垂直方向の画面スクロール
（２４１６）の入力機能を有する記述と、水平方向の画
面スクロールは行えない（２４１５）ことを示す記述で
構成されている。
の記述２４１０中の各行２４１１〜２４１６のタグで括
られた部分がその具体的な入力機能の詳細記述である。
ここでは、記述２４１０は、マイクによる音声入力（２
４１０）、テンキーによる文字入力（２４１２）、ボタ
ンによる項目の選択などのポインティング（２４１
３）、４方向ボタンによるフォーカスの移動（２４１
４）、２方向ボタンによる垂直方向の画面スクロール
（２４１６）の入力機能を有する記述と、水平方向の画
面スクロールは行えない（２４１５）ことを示す記述で
構成されている。
【０１０３】一方、２４２０は出力機能を示す記述であ
り、この記述２４２０中の各行２４２１〜２４２５のタ
グで括られた部分がその具体的な出力機能の詳細記述で
ある。ここでは、記述２４２０は、スピーカによる音声
出力（２４２１）とイヤホンによる音声出力（２４２
２）、画面のタイプがビットマップ（２４２３）、画面
サイズが１００ドット×１２０ドット（２４２４）、Ｒ
ＧＢそれぞれ１６階調のカラー（２４２５）の出力機能
を有する記述で構成されている。
り、この記述２４２０中の各行２４２１〜２４２５のタ
グで括られた部分がその具体的な出力機能の詳細記述で
ある。ここでは、記述２４２０は、スピーカによる音声
出力（２４２１）とイヤホンによる音声出力（２４２
２）、画面のタイプがビットマップ（２４２３）、画面
サイズが１００ドット×１２０ドット（２４２４）、Ｒ
ＧＢそれぞれ１６階調のカラー（２４２５）の出力機能
を有する記述で構成されている。
【０１０４】同様に、図２５、図２６の記述も図２４の
説明に準じて説明することができ、ここでは、その詳細
については省略する。
説明に準じて説明することができ、ここでは、その詳細
については省略する。
【０１０５】図２０の説明に戻る。
【０１０６】４０５は、音声入力部４０１及びＧＵＩ操
作入力部４０３から後述する音声出力部４０９より出力
される音声出力形態やＧＵＩ表示部４１０で表示される
ＧＵＩ表示形態をユーザごとに設定するユーザ設定部で
ある。４０６はユーザ設定部４０５により設定されたユ
ーザ設定情報を保持するユーザ設定保持部である。
作入力部４０３から後述する音声出力部４０９より出力
される音声出力形態やＧＵＩ表示部４１０で表示される
ＧＵＩ表示形態をユーザごとに設定するユーザ設定部で
ある。４０６はユーザ設定部４０５により設定されたユ
ーザ設定情報を保持するユーザ設定保持部である。
【０１０７】ここで、ユーザ設定保持部４０６に保持さ
れるユーザ設定情報の初期値例を図２７に、そのユーザ
設定情報をユーザが変更した場合の例を図２８に示す。
れるユーザ設定情報の初期値例を図２７に、そのユーザ
設定情報をユーザが変更した場合の例を図２８に示す。
【０１０８】図２７のユーザ設定情報の初期値例におい
て、２７１０は入力機能を示す記述であり、この記述２
７１０中の各行２７１１〜２７１５のタグで括られた部
分がその具体的な入力機能の詳細記述である。ここで
は、記述２７１０は、マイクがｏｎ（２７１１）、文字
入力が音声（２７１２）、ポインティングが音声とボタ
ン（２７１３）、フォーカス移動が４方向ボタン（２７
１４）、垂直方向のスクロールが２方向ボタン（２７１
５）であることを示す記述で構成されている。
て、２７１０は入力機能を示す記述であり、この記述２
７１０中の各行２７１１〜２７１５のタグで括られた部
分がその具体的な入力機能の詳細記述である。ここで
は、記述２７１０は、マイクがｏｎ（２７１１）、文字
入力が音声（２７１２）、ポインティングが音声とボタ
ン（２７１３）、フォーカス移動が４方向ボタン（２７
１４）、垂直方向のスクロールが２方向ボタン（２７１
５）であることを示す記述で構成されている。
【０１０９】一方、２７２０は出力機能を示す記述であ
り、この記述２７２０中の各行〜２７２１〜２７２５の
タグで括られた部分がその具体的な出力機能の詳細記述
である。ここでは、記述２７１０は、スピーカがｏｎ
（２７２１）、イヤホンがｏｆｆ（２７２２）、大きい
文字は表示（２７２３）、中くらいの文字は表示及び音
声出力（２７２４）、小さい文字は音声出力（２７２
５）であることを示す記述で構成されている。
り、この記述２７２０中の各行〜２７２１〜２７２５の
タグで括られた部分がその具体的な出力機能の詳細記述
である。ここでは、記述２７１０は、スピーカがｏｎ
（２７２１）、イヤホンがｏｆｆ（２７２２）、大きい
文字は表示（２７２３）、中くらいの文字は表示及び音
声出力（２７２４）、小さい文字は音声出力（２７２
５）であることを示す記述で構成されている。
【０１１０】これに対し、図２８のユーザ設定情報の変
更例では、図２７のユーザ設定情報の入力／出力に係る
記述をすべて音声で行う記述に変更されている。
更例では、図２７のユーザ設定情報の入力／出力に係る
記述をすべて音声で行う記述に変更されている。
【０１１１】図２０の説明に戻る。
【０１１２】４０７は、入力音声符号化部４０２によっ
て生成した符号化入力音声データ、ＧＵＩ操作入力部４
０３により入力されたＧＵＩ操作情報、モダリティ情報
保持部４０４に保持されたモダリティ情報、及びユーザ
設定保持部４０６に保持されたユーザ設定情報をマルチ
モーダル文書編集送信装置１０２に送信し、マルチモー
ダル文書編集送信装置１０２から、符号化出力音声デー
タやＧＵＩ表示データを含むマルチモーダル文書を受信
するデータ通信部である。
て生成した符号化入力音声データ、ＧＵＩ操作入力部４
０３により入力されたＧＵＩ操作情報、モダリティ情報
保持部４０４に保持されたモダリティ情報、及びユーザ
設定保持部４０６に保持されたユーザ設定情報をマルチ
モーダル文書編集送信装置１０２に送信し、マルチモー
ダル文書編集送信装置１０２から、符号化出力音声デー
タやＧＵＩ表示データを含むマルチモーダル文書を受信
するデータ通信部である。
【０１１３】４０８は、データ通信部４０７が受信した
符号化出力音声データを復号化する出力音声復号化部で
ある。４０９は、出力音声復号化部４０８で復号化され
た出力音声をスピーカやイヤホンから出力する音声出力
部である。
符号化出力音声データを復号化する出力音声復号化部で
ある。４０９は、出力音声復号化部４０８で復号化され
た出力音声をスピーカやイヤホンから出力する音声出力
部である。
【０１１４】４１０は、データ通信部４０７が受信した
マルチモーダル文書中のＧＵＩ表示データを表示するＷ
ｅｂブラウザ等のＧＵＩ表示部である。
マルチモーダル文書中のＧＵＩ表示データを表示するＷ
ｅｂブラウザ等のＧＵＩ表示部である。
【０１１５】４１１は、当該マルチモーダル文書処理装
置１０１の各構成要素４０１〜４１０を相互に接続する
バスである。
置１０１の各構成要素４０１〜４１０を相互に接続する
バスである。
【０１１６】次に、マルチモーダル文書編集送信装置１
０２の詳細構成について、図２１を用いて説明する。
０２の詳細構成について、図２１を用いて説明する。
【０１１７】図２１は本発明の実施形態６のマルチモー
ダル文書編集送信装置の詳細構成図である。
ダル文書編集送信装置の詳細構成図である。
【０１１８】図２１において、５０１はインターネット
１０４を介して外部のＷｅｂサーバ（例えば、１０３
ａ）より原文書を受信するインターネット通信部であ
る。
１０４を介して外部のＷｅｂサーバ（例えば、１０３
ａ）より原文書を受信するインターネット通信部であ
る。
【０１１９】５０２は、インターネット通信部５０１が
取得した原文書を保持する原文書保持部である。５０３
は、原文書保持部５０２に保持された原文書を編集する
ためのスタイルシート群を保持するスタイルシート保持
部である。
取得した原文書を保持する原文書保持部である。５０３
は、原文書保持部５０２に保持された原文書を編集する
ためのスタイルシート群を保持するスタイルシート保持
部である。
【０１２０】５０４は、マルチモーダル文書受信処理装
置１０１から、符号化入力音声データ、ＧＵＩ操作情
報、モダリティ情報、及びユーザ設定情報を受信し、後
述する符号化出力音声データやＧＵＩ表示データをマル
チモーダル文書受信処理装置１０１に送信するデータ通
信部である。
置１０１から、符号化入力音声データ、ＧＵＩ操作情
報、モダリティ情報、及びユーザ設定情報を受信し、後
述する符号化出力音声データやＧＵＩ表示データをマル
チモーダル文書受信処理装置１０１に送信するデータ通
信部である。
【０１２１】５０５は、データ通信部５０４が受信した
マルチモーダル文書受信処理装置１０１を特定するため
のモダリティ情報及びユーザ設定情報を、個々のマルチ
モーダル文書受信処理装置１０１ごとに保持する端末情
報保持部である。更に、端末情報保持部５０５では、公
衆回線で接続されている場合には、電話番号で、無線Ｌ
ＡＮで接続されている場合には、ＩＰアドレスでマルチ
モーダル文書受信処理装置１０１の特定を行い、個々の
マルチモーダル文書受信処理装置１０１の端末情報を保
持する。
マルチモーダル文書受信処理装置１０１を特定するため
のモダリティ情報及びユーザ設定情報を、個々のマルチ
モーダル文書受信処理装置１０１ごとに保持する端末情
報保持部である。更に、端末情報保持部５０５では、公
衆回線で接続されている場合には、電話番号で、無線Ｌ
ＡＮで接続されている場合には、ＩＰアドレスでマルチ
モーダル文書受信処理装置１０１の特定を行い、個々の
マルチモーダル文書受信処理装置１０１の端末情報を保
持する。
【０１２２】５０６は、端末情報保持部５０５に保持さ
れた現在通信中のマルチモーダル文書受信処理装置１０
１のモダリティ情報及びユーザ設定情報に基づいて、送
信対象の原文書に適用するスタイルシートを判定するス
タイルシート判定部である。
れた現在通信中のマルチモーダル文書受信処理装置１０
１のモダリティ情報及びユーザ設定情報に基づいて、送
信対象の原文書に適用するスタイルシートを判定するス
タイルシート判定部である。
【０１２３】５０７は、データ通信部５０５が受信した
符号化入力音声データを音声認識する音声認識部であ
る。５０８は、音声認識部５０７で音声認識した認識音
声及びデータ通信部５０５が受信したＧＵＩ操作情報に
基づいて得られた送信対象の原文書に、スタイルシート
判定部５０６で判定されたスタイルシートスタイルシー
トを適用して編集し、マルチモーダル文書を生成する送
信文書編集部である。
符号化入力音声データを音声認識する音声認識部であ
る。５０８は、音声認識部５０７で音声認識した認識音
声及びデータ通信部５０５が受信したＧＵＩ操作情報に
基づいて得られた送信対象の原文書に、スタイルシート
判定部５０６で判定されたスタイルシートスタイルシー
トを適用して編集し、マルチモーダル文書を生成する送
信文書編集部である。
【０１２４】５０９は、送信文書編集部５０８で編集さ
れたマルチモーダル文書中の音声出力対象のテキストデ
ータを符号化出力音声データとして生成する音声合成部
である。
れたマルチモーダル文書中の音声出力対象のテキストデ
ータを符号化出力音声データとして生成する音声合成部
である。
【０１２５】５１０は、当該マルチモーダル文書編集装
置装置１０２の各構成要素５０１〜５０９を相互に接続
するバスである。
置装置１０２の各構成要素５０１〜５０９を相互に接続
するバスである。
【０１２６】次に、マルチモーダル文書受信処理装置１
０１の動作について、図２２を用いて説明する。
０１の動作について、図２２を用いて説明する。
【０１２７】図２２は本発明の実施形態６のマルチモー
ダル文書受信処理装置の動作フローを示すフローチャー
トである。
ダル文書受信処理装置の動作フローを示すフローチャー
トである。
【０１２８】まず、ステップＳ９０１で、データ通信部
４０７にて、モダリティ情報保持部４０４に保持された
モダリティ情報及びユーザ設定保持部４０６に保持され
たユーザ設定情報をマルチモーダル文書編集送信装置１
０２に送信する。
４０７にて、モダリティ情報保持部４０４に保持された
モダリティ情報及びユーザ設定保持部４０６に保持され
たユーザ設定情報をマルチモーダル文書編集送信装置１
０２に送信する。
【０１２９】ステップＳ９０２で、データ通信部４０７
にて、マルチモーダル文書編集送信装置１０２からマル
チモーダル文書及びそのマルチモーダル文書中の音声出
力対象のテキストデータに対応する符号化出力音声デー
タ、あるいは音声認識結果を受信する。続いて、ステッ
プＳ９０３で、ＧＵＩ表示部４１０にて、マルチモーダ
ル文書中のＧＵＩ表示データに基づくＧＵＩ表示を行
う。更に、ステップＳ９０４で、出力音声復号化部４０
８にて、符号化出力音声データを復号し、音声出力部４
０９にて、出力音声データの音声出力を行う。
にて、マルチモーダル文書編集送信装置１０２からマル
チモーダル文書及びそのマルチモーダル文書中の音声出
力対象のテキストデータに対応する符号化出力音声デー
タ、あるいは音声認識結果を受信する。続いて、ステッ
プＳ９０３で、ＧＵＩ表示部４１０にて、マルチモーダ
ル文書中のＧＵＩ表示データに基づくＧＵＩ表示を行
う。更に、ステップＳ９０４で、出力音声復号化部４０
８にて、符号化出力音声データを復号し、音声出力部４
０９にて、出力音声データの音声出力を行う。
【０１３０】ステップＳ９０５で、マルチモーダル文書
編集送信装置１０２から音声認識結果を受信しているか
否かを判定する。音声認識結果を受信している場合（ス
テップＳ９０５でＹＥＳ）、ステップＳ９０７に進み、
音声認識結果を受信していない場合（ステップＳ９０５
でＮＯ）、ステップＳ９０６に進み、ユーザからの入力
を待機する（ステップＳ９０６でＮＯ）。一方、ユーザ
からの入力がある場合（ステップＳ９０６でＹＥＳ）、
ステップＳ９０７に進む。
編集送信装置１０２から音声認識結果を受信しているか
否かを判定する。音声認識結果を受信している場合（ス
テップＳ９０５でＹＥＳ）、ステップＳ９０７に進み、
音声認識結果を受信していない場合（ステップＳ９０５
でＮＯ）、ステップＳ９０６に進み、ユーザからの入力
を待機する（ステップＳ９０６でＮＯ）。一方、ユーザ
からの入力がある場合（ステップＳ９０６でＹＥＳ）、
ステップＳ９０７に進む。
【０１３１】ステップＳ９０７で、ユーザからの入力が
ユーザ設定情報の変更であるか否かを判定する。ユーザ
設定情報の変更である場合（ステップＳ９０７でＹＥ
Ｓ）、ステップＳ９０８に進み、変更保持処理として、
ユーザが変更したユーザ設定情報をユーザ設定保持部４
０６に保持し、ステップＳ９０１に戻る。一方、ユーザ
設定情報の変更でない場合（ステップＳ９０７でＮ
Ｏ）、ステップＳ９０９に進む。
ユーザ設定情報の変更であるか否かを判定する。ユーザ
設定情報の変更である場合（ステップＳ９０７でＹＥ
Ｓ）、ステップＳ９０８に進み、変更保持処理として、
ユーザが変更したユーザ設定情報をユーザ設定保持部４
０６に保持し、ステップＳ９０１に戻る。一方、ユーザ
設定情報の変更でない場合（ステップＳ９０７でＮ
Ｏ）、ステップＳ９０９に進む。
【０１３２】ステップＳ９０９で、ユーザからの入力が
音声入力であるか否かを判定する。音声入力である場合
（ステップＳ９０９でＹＥＳ）、ステップＳ９１０に進
み、入力された音声の符号化を行い、ステップＳ９１１
に進む。一方、音声入力でない場合（ステップＳ９０９
でＮＯ）、ステップＳ９１１に進む。
音声入力であるか否かを判定する。音声入力である場合
（ステップＳ９０９でＹＥＳ）、ステップＳ９１０に進
み、入力された音声の符号化を行い、ステップＳ９１１
に進む。一方、音声入力でない場合（ステップＳ９０９
でＮＯ）、ステップＳ９１１に進む。
【０１３３】ステップＳ９１１で、データ通信部４０７
にて、ユーザからの入力をマルチモーダル文書編集送信
装置１０２に送信し、ステップＳ９０２に戻る。
にて、ユーザからの入力をマルチモーダル文書編集送信
装置１０２に送信し、ステップＳ９０２に戻る。
【０１３４】次に、マルチモーダル文書編集送信装置１
０２の動作について、図２３を用いて説明する。
０２の動作について、図２３を用いて説明する。
【０１３５】図２３は本発明の実施形態６のマルチモー
ダル文書編集送信装置の動作フローを示すフローチャー
トである。
ダル文書編集送信装置の動作フローを示すフローチャー
トである。
【０１３６】まず、ステップＳ１００１で、データ通信
部５０４にて、マルチモーダル文書受信処理装置１０１
からの入力を待機する。入力がある場合（ステップＳ１
００１でＹＥＳ）、ステップＳ１００２に進む。
部５０４にて、マルチモーダル文書受信処理装置１０１
からの入力を待機する。入力がある場合（ステップＳ１
００１でＹＥＳ）、ステップＳ１００２に進む。
【０１３７】ステップＳ１００２で、マルチモーダル文
書受信処理装置１０１からの入力がモダリティ情報もし
くはユーザ設定情報であるか否かを判定する。モダリテ
ィ情報もしくはユーザ設定情報である場合（ステップＳ
１００２でＹＥＳ）、ステップＳ１００３に進み、ステ
ップＳ１００３で、端末情報保持部５０５にて、マルチ
モーダル文書受信処理装置１０１の端末情報とともに、
モダリティ情報もしくはユーザ設定情報を保持し、ステ
ップＳ１００４に進む。
書受信処理装置１０１からの入力がモダリティ情報もし
くはユーザ設定情報であるか否かを判定する。モダリテ
ィ情報もしくはユーザ設定情報である場合（ステップＳ
１００２でＹＥＳ）、ステップＳ１００３に進み、ステ
ップＳ１００３で、端末情報保持部５０５にて、マルチ
モーダル文書受信処理装置１０１の端末情報とともに、
モダリティ情報もしくはユーザ設定情報を保持し、ステ
ップＳ１００４に進む。
【０１３８】ステップＳ１００４で、インターネット通
信部５０１にて、インターネット１０４を介してマルチ
モーダル文書受信処理装置１０１から要求された原文書
を取得し、原文書保持部５０２に保持する。
信部５０１にて、インターネット１０４を介してマルチ
モーダル文書受信処理装置１０１から要求された原文書
を取得し、原文書保持部５０２に保持する。
【０１３９】ステップＳ１００５で、スタイルシート判
定部５０６にて、端末情報保持部５０５に保持されたモ
ダリティ情報もしくはユーザ設定情報から使用するスタ
イルシートを判定する。ステップＳ１００６で、送信文
書編集部５０８にて、原文書保持部５０２に保持された
原文書に、スタイルシート判定部５０６で判定されたス
タイルシートを適用する送信文書編集を行い、マルチモ
ーダル文書を生成する。
定部５０６にて、端末情報保持部５０５に保持されたモ
ダリティ情報もしくはユーザ設定情報から使用するスタ
イルシートを判定する。ステップＳ１００６で、送信文
書編集部５０８にて、原文書保持部５０２に保持された
原文書に、スタイルシート判定部５０６で判定されたス
タイルシートを適用する送信文書編集を行い、マルチモ
ーダル文書を生成する。
【０１４０】ステップＳ１００７で、音声合成部５０９
にて、送信文書編集部５０８にて編集されたマルチモー
ダル文書中の音声合成対象のテキストデータ（例えば、
後述する”＜text-to-speech＞”タグが付与されたデー
タ）の音声合成を行い、符号化出力音声データを生成す
る。そして、ステップＳ１００８で、データ通信部５０
４にて、送信文書編集部５０８で編集されたマルチモー
ダル文書と符号化出力音声データをマルチモーダル文書
受信処理装置１０１に送信し、ステップＳ１００１に戻
る。
にて、送信文書編集部５０８にて編集されたマルチモー
ダル文書中の音声合成対象のテキストデータ（例えば、
後述する”＜text-to-speech＞”タグが付与されたデー
タ）の音声合成を行い、符号化出力音声データを生成す
る。そして、ステップＳ１００８で、データ通信部５０
４にて、送信文書編集部５０８で編集されたマルチモー
ダル文書と符号化出力音声データをマルチモーダル文書
受信処理装置１０１に送信し、ステップＳ１００１に戻
る。
【０１４１】一方、ステップＳ１００２において、モダ
リティ情報もしくはユーザ設定情報でない場合（ステッ
プＳ１００２でＮＯ）、ステップＳ１００９に進み、マ
ルチモーダル文書受信処理装置１０１からの入力が音声
入力であるか否かを判定する。音声入力である場合（ス
テップＳ１００９でＹＥＳ）、ステップＳ１０１０に進
み、音声認識部５０７にて、符号化入力音声データを認
識する音声認識を行う。続く、ステップＳ１０１１で、
データ通信部５０４にて、音声認識結果をマルチモーダ
ル文書受信処理装置１０１に送信して、ステップＳ１０
０１に戻る。
リティ情報もしくはユーザ設定情報でない場合（ステッ
プＳ１００２でＮＯ）、ステップＳ１００９に進み、マ
ルチモーダル文書受信処理装置１０１からの入力が音声
入力であるか否かを判定する。音声入力である場合（ス
テップＳ１００９でＹＥＳ）、ステップＳ１０１０に進
み、音声認識部５０７にて、符号化入力音声データを認
識する音声認識を行う。続く、ステップＳ１０１１で、
データ通信部５０４にて、音声認識結果をマルチモーダ
ル文書受信処理装置１０１に送信して、ステップＳ１０
０１に戻る。
【０１４２】一方、ステップＳ１００９において、音声
入力でない場合（ステップＳ１００９でＮＯ）、つま
り、ＧＵＩ操作情報の場合は、ステップ１０１２に進
む。そして、ステップＳ１０１２で、そのＧＵＩ操作情
報に応じて、インターネット通信部５０１、インターネ
ット１０４を介して原文書に対するリンク文書を取得
し、原文書保持部５０２に保持して、ステップＳ１００
５に進む。
入力でない場合（ステップＳ１００９でＮＯ）、つま
り、ＧＵＩ操作情報の場合は、ステップ１０１２に進
む。そして、ステップＳ１０１２で、そのＧＵＩ操作情
報に応じて、インターネット通信部５０１、インターネ
ット１０４を介して原文書に対するリンク文書を取得
し、原文書保持部５０２に保持して、ステップＳ１００
５に進む。
【０１４３】次に、送信文書編集部５０８で生成するマ
ルチモーダル文書の具体例について、図２９〜図３１を
用いて説明する。
ルチモーダル文書の具体例について、図２９〜図３１を
用いて説明する。
【０１４４】図２９は原文書の例を示し、図３０は図２
４のモダリティ情報及び図２７のユーザ設定情報に基づ
いて判定されたスタイルシートの例を示し、図３１は、
これらの原文書及びスタイルシートに基づいて生成され
たマルチモーダル文書中のＧＵＩ表示データの表示例を
示している。
４のモダリティ情報及び図２７のユーザ設定情報に基づ
いて判定されたスタイルシートの例を示し、図３１は、
これらの原文書及びスタイルシートに基づいて生成され
たマルチモーダル文書中のＧＵＩ表示データの表示例を
示している。
【０１４５】図３１において、ＧＵＩ表示データを表示
するマルチモーダル文書受信処理装置１０１０のユーザ
設定情報に従えば、ＧＵＩ表示データ中の大きい文字
（例えば、都心の桜、満開に・・・）と中くらいの文字
（例えば、３日の関東地方・・・）は画面に表示し、中
くらいの文字と小さい文字は音声合成で読み上げる設定
になっている。
するマルチモーダル文書受信処理装置１０１０のユーザ
設定情報に従えば、ＧＵＩ表示データ中の大きい文字
（例えば、都心の桜、満開に・・・）と中くらいの文字
（例えば、３日の関東地方・・・）は画面に表示し、中
くらいの文字と小さい文字は音声合成で読み上げる設定
になっている。
【０１４６】そのため、スタイルシート判定部５０６で
は、図２９の原文書中の”＜aTitle＞”及び”＜/aTitl
e＞”タグと”＜abstract＞”及び”＜/abstract＞”
を、それぞれ”＜h1＞”及び”＜/h1＞”タグと”＜h2
＞”及び”＜/h2＞”タグに変換する。また、”＜abstr
act＞”及び”＜/abstract＞”タグと”＜details＞”
及び”＜/details＞”タグを、それぞれ”＜text-to-sp
eech＞”及び”＜/text-to-speech＞”タグに変換する
スタイルシート（図３０）を判定する。
は、図２９の原文書中の”＜aTitle＞”及び”＜/aTitl
e＞”タグと”＜abstract＞”及び”＜/abstract＞”
を、それぞれ”＜h1＞”及び”＜/h1＞”タグと”＜h2
＞”及び”＜/h2＞”タグに変換する。また、”＜abstr
act＞”及び”＜/abstract＞”タグと”＜details＞”
及び”＜/details＞”タグを、それぞれ”＜text-to-sp
eech＞”及び”＜/text-to-speech＞”タグに変換する
スタイルシート（図３０）を判定する。
【０１４７】また、音声合成部５０９で、”＜text-to-
speech＞”及び”＜/text-to-speech＞”タグに変換さ
れた”＜abstract＞”及び”＜/abstract＞”タグと”
＜details＞”及び”＜/details＞”タグで括られたで
キスとデータは、音声合成部５０９で符号化出力音声デ
ータとして生成され、マルチモーダル文書受信処理装置
１０２で生成される。
speech＞”及び”＜/text-to-speech＞”タグに変換さ
れた”＜abstract＞”及び”＜/abstract＞”タグと”
＜details＞”及び”＜/details＞”タグで括られたで
キスとデータは、音声合成部５０９で符号化出力音声デ
ータとして生成され、マルチモーダル文書受信処理装置
１０２で生成される。
【０１４８】そして、この符号化出力音声データを含
み、かつ図２９の原文書及び図３０のスタイルシートか
ら得られるマルチモーダル文書がマルチモーダル文書受
信処理装置１０１へ送信されると、符号化出力音声デー
タは、出力音声復号化部４０８を介して音声出力部４０
９より音声出力される。また、マルチモーダル文書中の
ＧＵＩ表示データに基づいて、ＧＵＩ表示部４１０に図
３１に示すようなＧＵＩ表示が表示される。尚、図３０
中の”＜text-to-speech＞”タグは、”＜!--〜 --
＞”タグ（コメントアウトを示すタグ）で囲まれている
ため、ＧＵＩ表示されない。
み、かつ図２９の原文書及び図３０のスタイルシートか
ら得られるマルチモーダル文書がマルチモーダル文書受
信処理装置１０１へ送信されると、符号化出力音声デー
タは、出力音声復号化部４０８を介して音声出力部４０
９より音声出力される。また、マルチモーダル文書中の
ＧＵＩ表示データに基づいて、ＧＵＩ表示部４１０に図
３１に示すようなＧＵＩ表示が表示される。尚、図３０
中の”＜text-to-speech＞”タグは、”＜!--〜 --
＞”タグ（コメントアウトを示すタグ）で囲まれている
ため、ＧＵＩ表示されない。
【０１４９】以上説明したように、実施形態６によれ
ば、音声認識、音声合成をマルチモーダル文書編集送信
装置１０２で行う構成とすることで、マルチモーダル文
書受信処理装置１０１が音声入力機能を有しているもの
の音声認識機能、音声合成機能を持たないあるいは貧弱
な場合や、加えて、このようなマルチモーダル文書受信
処理装置１０１で音声入出力によるＧＵＩ操作を実現し
たい場合でも、実施形態１と同等の効果を得ることがで
きる。 ＜実施形態７＞実施形態６では、図２４のモダリティ情
報、図２７のユーザ設定情報を例に挙げて説明したが、
それ以外のモダリティ情報やユーザ設定情報の場合で
も、それに応じたスタイルシートを用意すれば、同様の
処理が可能なことは明らかである。 ＜実施形態８＞実施形態６では、説明を簡略化するた
め、原文書に適用するスタイルシートを１つにまとめた
ものを用いたが、タグごとにスタイルシートを用意し、
複数のスタイルシートを適用するものとしても構わな
い。 ＜実施形態９＞実施形態６では、図２９の原文書に対す
る図３０のスタイルシートでは、マルチモーダル文書中
の”＜text-to-speech＞”タグ内をＧＵＩ表示データと
しない記述を含んだままマルチモーダル文書受信処理装
置１０１に送信しているが、マルチモーダル文書自体の
データ量を削減するために、”text-to-speech”タグ内
を削除したマルチモーダル文書をマルチモーダル文書受
信処理装置１０１に送信する構成としても構わない。
ば、音声認識、音声合成をマルチモーダル文書編集送信
装置１０２で行う構成とすることで、マルチモーダル文
書受信処理装置１０１が音声入力機能を有しているもの
の音声認識機能、音声合成機能を持たないあるいは貧弱
な場合や、加えて、このようなマルチモーダル文書受信
処理装置１０１で音声入出力によるＧＵＩ操作を実現し
たい場合でも、実施形態１と同等の効果を得ることがで
きる。 ＜実施形態７＞実施形態６では、図２４のモダリティ情
報、図２７のユーザ設定情報を例に挙げて説明したが、
それ以外のモダリティ情報やユーザ設定情報の場合で
も、それに応じたスタイルシートを用意すれば、同様の
処理が可能なことは明らかである。 ＜実施形態８＞実施形態６では、説明を簡略化するた
め、原文書に適用するスタイルシートを１つにまとめた
ものを用いたが、タグごとにスタイルシートを用意し、
複数のスタイルシートを適用するものとしても構わな
い。 ＜実施形態９＞実施形態６では、図２９の原文書に対す
る図３０のスタイルシートでは、マルチモーダル文書中
の”＜text-to-speech＞”タグ内をＧＵＩ表示データと
しない記述を含んだままマルチモーダル文書受信処理装
置１０１に送信しているが、マルチモーダル文書自体の
データ量を削減するために、”text-to-speech”タグ内
を削除したマルチモーダル文書をマルチモーダル文書受
信処理装置１０１に送信する構成としても構わない。
【０１５０】尚、本発明は、前述した実施形態の機能を
実現するソフトウェアのプログラム（実施形態では図に
示すフローチャートに対応したプログラム）を、システ
ム或いは装置に直接或いは遠隔から供給し、そのシステ
ム或いは装置のコンピュータが該供給されたプログラム
コードを読み出して実行することによっても達成される
場合を含む。その場合、プログラムの機能を有していれ
ば、形態は、プログラムである必要はない。
実現するソフトウェアのプログラム（実施形態では図に
示すフローチャートに対応したプログラム）を、システ
ム或いは装置に直接或いは遠隔から供給し、そのシステ
ム或いは装置のコンピュータが該供給されたプログラム
コードを読み出して実行することによっても達成される
場合を含む。その場合、プログラムの機能を有していれ
ば、形態は、プログラムである必要はない。
【０１５１】従って、本発明の機能処理をコンピュータ
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明は、本発明の機能処理を実現するた
めのコンピュータプログラム自体も含まれる。
で実現するために、該コンピュータにインストールされ
るプログラムコード自体も本発明を実現するものであ
る。つまり、本発明は、本発明の機能処理を実現するた
めのコンピュータプログラム自体も含まれる。
【０１５２】その場合、プログラムの機能を有していれ
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。
ば、オブジェクトコード、インタプリタにより実行され
るプログラム、ＯＳに供給するスクリプトデータ等、プ
ログラムの形態を問わない。
【０１５３】プログラムを供給するための記録媒体とし
ては、例えば、フロッピー（登録商標）ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発
性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，
ＤＶＤ−Ｒ）などがある。
ては、例えば、フロッピー（登録商標）ディスク、ハー
ドディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ
−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発
性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，
ＤＶＤ−Ｒ）などがある。
【０１５４】その他、プログラムの供給方法としては、
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるＷＷＷサーバ
も、本発明に含まれるものである。
クライアントコンピュータのブラウザを用いてインター
ネットのホームページに接続し、該ホームページから本
発明のコンピュータプログラムそのもの、もしくは圧縮
され自動インストール機能を含むファイルをハードディ
スク等の記録媒体にダウンロードすることによっても供
給できる。また、本発明のプログラムを構成するプログ
ラムコードを複数のファイルに分割し、それぞれのファ
イルを異なるホームページからダウンロードすることに
よっても実現可能である。つまり、本発明の機能処理を
コンピュータで実現するためのプログラムファイルを複
数のユーザに対してダウンロードさせるＷＷＷサーバ
も、本発明に含まれるものである。
【０１５５】また、本発明のプログラムを暗号化してＣ
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。
Ｄ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所
定の条件をクリアしたユーザに対し、インターネットを
介してホームページから暗号化を解く鍵情報をダウンロ
ードさせ、その鍵情報を使用することにより暗号化され
たプログラムを実行してコンピュータにインストールさ
せて実現することも可能である。
【０１５６】また、コンピュータが、読み出したプログ
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行い、その処理によっても前述した実施
形態の機能が実現され得る。
ラムを実行することによって、前述した実施形態の機能
が実現される他、そのプログラムの指示に基づき、コン
ピュータ上で稼動しているＯＳなどが、実際の処理の一
部または全部を行い、その処理によっても前述した実施
形態の機能が実現され得る。
【０１５７】さらに、記録媒体から読み出されたプログ
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行い、その処理に
よっても前述した実施形態の機能が実現される。
ラムが、コンピュータに挿入された機能拡張ボードやコ
ンピュータに接続された機能拡張ユニットに備わるメモ
リに書き込まれた後、そのプログラムの指示に基づき、
その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部または全部を行い、その処理に
よっても前述した実施形態の機能が実現される。
【０１５８】
【発明の効果】以上説明したように、本発明によれば、
複数種類のモダリティを有する端末個々のモダリティや
ユーザが使用したいモダリティに応じて、最適なモダリ
ティを有するインタフェースを提供することができるマ
ルチモーダル文書受信装置及びマルチモーダル文書送信
装置、マルチモーダル文書送受信システム及びそれらの
制御方法、プログラムを提供できる。
複数種類のモダリティを有する端末個々のモダリティや
ユーザが使用したいモダリティに応じて、最適なモダリ
ティを有するインタフェースを提供することができるマ
ルチモーダル文書受信装置及びマルチモーダル文書送信
装置、マルチモーダル文書送受信システム及びそれらの
制御方法、プログラムを提供できる。
【図１】本発明の実施形態１のマルチモーダル文書送受
信システムの構成図である。
信システムの構成図である。
【図２】本発明の実施形態１のマルチモーダル文書受信
処理装置の詳細構成図である。
処理装置の詳細構成図である。
【図３】本発明の実施形態１のマルチモーダル文書編集
送信装置の詳細構成図である。
送信装置の詳細構成図である。
【図４】本発明の実施形態１のマルチモーダル文書受信
処理装置の動作フローを示すフローチャートである。
処理装置の動作フローを示すフローチャートである。
【図５】本発明の実施形態１のマルチモーダル文書編集
送信装置の動作フローを示すフローチャートである。
送信装置の動作フローを示すフローチャートである。
【図６】本発明の実施形態１のマルチモーダル文書の例
を示す図である。
を示す図である。
【図７】本発明の実施形態１のＧＵＩ表示例を示す図で
ある。
ある。
【図８】本発明の実施形態１の原文書の例を示す図であ
る。
る。
【図９】本発明の実施形態１のスタイルシートの例を示
す図である。
す図である。
【図１０】本発明の実施形態２のＨＴＭＬファイルの例
を示す図である。
を示す図である。
【図１１】本発明の実施形態２のスクリプトファイルの
例を示す図である。
例を示す図である。
【図１２】本発明の実施形態２のＧＵＩ表示例を示す図
である。
である。
【図１３】本発明の実施形態２の別のＧＵＩ表示例を示
す図である。
す図である。
【図１４】本発明の実施形態３のＨＴＭＬファイルの例
を示す図である。
を示す図である。
【図１５】本発明の実施形態３のＧＵＩ表示例を示す図
である。
である。
【図１６】本発明の実施形態３の別のＧＵＩ表示例を示
す図である。
す図である。
【図１７】本発明の実施形態３の更に別のＧＵＩ表示例
を示す図である。
を示す図である。
【図１８】本発明の実施形態５のＧＵＩ表示例を示す図
である。
である。
【図１９】本発明の実施形態５の別のＧＵＩ表示例を示
す図である。
す図である。
【図２０】本発明の実施形態６のマルチモーダル文書受
信処理装置の詳細構成図である。
信処理装置の詳細構成図である。
【図２１】本発明の実施形態６のマルチモーダル文書編
集送信装置の詳細構成図である。
集送信装置の詳細構成図である。
【図２２】本発明の実施形態６のマルチモーダル文書受
信処理装置の動作フローを示すフローチャートである。
信処理装置の動作フローを示すフローチャートである。
【図２３】本発明の実施形態６のマルチモーダル文書編
集送信装置の動作フローを示すフローチャートである。
集送信装置の動作フローを示すフローチャートである。
【図２４】本発明の実施形態６のモダリティ情報の例を
示す図である。
示す図である。
【図２５】本発明の実施形態６の別のモダリティ情報の
例を示す図である。
例を示す図である。
【図２６】本発明の実施形態６の更に別のモダリティ情
報の例を示す図である。
報の例を示す図である。
【図２７】本発明の実施形態６のユーザ設定情報の例を
示す図である。
示す図である。
【図２８】本発明の実施形態６のユーザ設定情報の変更
例を示す図である。
例を示す図である。
【図２９】本発明の実施形態６の原文書の例を示す図で
ある。
ある。
【図３０】本発明の実施形態６のスタイルシートの例を
示す図である。
示す図である。
【図３１】本発明の実施形態６のＧＵＩ表示例を示す図
である。
である。
【図３２】従来技術を説明するための図である。
【図３３】従来技術を説明するための図である。
【図３４】従来技術を説明するための図である。
【図３５】従来技術を説明するための図である。
【図３６】従来技術を説明するための図である。
【図３７】従来技術を説明するための図である。
１０１ マルチモーダル文書受信処理装置群
１０２ マルチモーダル文書編集送信装置
１０３ａ〜１０３ｂ Ｗｅｂサーバ
１０４ インターネット
２０１ 音声入力部
２０２ 音声認識部
２０３ ＧＵＩ操作入力部
２０４ モダリティ情報保持部
２０５ データ通信部
２０６ 音声合成部
２０７ 音声出力部
２０８ ＧＵＩ表示部
２０９ バス
３０１ インターネット通信部
３０２ 原文書保持部
３０３ スタイルシート・スクリプト保持部
３０４ データ通信部
３０５ 端末情報保持部
３０６ スタイルシート・スクリプト判定部
３０７ 送信文書編集部
３０８ バス
４０１ 音声入力部
４０２ 入力音声符号化部
４０３ ＧＵＩ操作入力部
４０４ モダリティ情報保持部
４０５ ユーザ設定部
４０６ ユーザ設定保持部
４０７ データ通信部
４０８ 出力音声復号化部
４０９ 音声出力部
４１０ ＧＵＩ表示部
４１１ バス
５０１ インターネット通信部
５０２ 原文書保持部
５０３ スタイルシート保持部
５０４ データ通信部
５０５ 端末情報保持部
５０６ スタイルシート判定部
５０７ 音声認識部
５０８ 送信文書編集部
５０９ 音声合成部
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B021 AA01 BB04
5E501 AA04 AB15 BA05 CA04 CA08
CB09 EA34 FA13 FA32
Claims (36)
- 【請求項１】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置であって、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
手段と、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成手段と、 前記音声合成手段で合成した出力音声を出力する音声出
力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備えることを特徴とするマルチ
モーダル文書受信装置。 - 【請求項２】 前記モダリティ情報を変更する変更手段
とを更に備えることを特徴とする請求項１に記載のマル
チモーダル文書受信装置。 - 【請求項３】 前記表示手段は、前記マルチモーダル文
書中の記述に基づいて、前記表示対象のテキストデータ
の表示形態を制御することを特徴とする請求項１に記載
のマルチモーダル文書受信装置。 - 【請求項４】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成して、ネットワー
クを介してマルチモーダル文書受信装置へ送信するマル
チモーダル文書送信装置であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を受信する受信手段と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成手段と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信手段とを備えることを特徴とするマ
ルチモーダル文書送信装置。 - 【請求項５】 前記モダリティ情報に基づいて、前記マ
ルチモーダル文書受信装置が要求する原文書を編集／操
作するための編集／操作ファイルを判定する判定手段と
を更に備え、 前記生成手段は、前記判定手段で判定された編集／操作
ファイルを用いて、前記原文書を編集して前記マルチモ
ーダル文書を生成することを特徴とする請求項４に記載
のマルチモーダル文書送信装置。 - 【請求項６】 前記操作ファイルは、前記表示対象のテ
キストデータの一部を表示／非表示を制御するためのフ
ァイルであることを特徴とする請求項５に記載のマルチ
モーダル文書送信装置。 - 【請求項７】 前記操作ファイルは、前記音声出力対象
のテキストデータの音声出力の実行の有無を制御するた
めのファイルであることを特徴とする請求項５に記載の
マルチモーダル文書送信装置。 - 【請求項８】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を生成するマルチモーダ
ル文書送信装置と該マルチモーダル文書を受信するマル
チモーダル文書受信装置とがネットワークを介して接続
されて構成されるマルチモーダル文書送受信システムで
あって、 前記マルチモーダル文書受信装置は、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
手段と、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成手段と、 前記音声合成手段で合成した出力音声を出力する音声出
力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備え、 前記マルチモーダル文書送信装置は、 前記マルチモーダル文書受信装置から前記モダリティ情
報を受信する受信手段と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成手段と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信手段とを備えることを特徴とするマ
ルチモーダル文書送受信システム。 - 【請求項９】 少なくともテキストデータの出力形態の
記述を含むマルチモーダル文書を、ネットワークを介し
てマルチモーダル文書送信装置から受信するマルチモー
ダル文書受信装置であって、 音声を入力する音声入力手段と、 前記音声入力手段から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化手段と、 ユーザ設定情報を設定する設定手段と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する送
信手段と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する受信手段と、 前記符号化出力音声データを復号する復号化手段と、 前記復号化手段で復号化された出力音声を出力する音声
出力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備えることを特徴とするマルチ
モーダル文書受信装置。 - 【請求項１０】 前記送信手段は、前記設定手段によっ
て前記ユーザ設定情報が変更された変更ユーザ設定情報
が生成された場合、前記変更ユーザ設定情報を前記マル
チモーダル文書送信装置へ送信することを特徴とする請
求項９に記載のマルチモーダル文書受信装置。 - 【請求項１１】 前記受信手段は、更に、前記符号化入
力音声データに対応する音声認識結果を前記マルチモー
ダル文書送信装置から受信することを特徴とする請求項
９に記載のマルチモーダル文書受信装置。 - 【請求項１２】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報及びユーザ設定情報、符号化入力音声データ
を受信する受信手段と、 前記符号化入力音声データを音声認識する音声認識手段
と、 前記音声認識手段による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成手段と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成手段と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信手段
とを備えること特徴とするマルチモーダル文書送信装
置。 - 【請求項１３】 前記モダリティ情報に基づいて、前記
マルチモーダル文書受信装置が要求する原文書を編集す
るための編集ファイルを判定する判定手段とを更に備
え、 前記生成手段は、前記判定手段で判定された編集ファイ
ルを用いて、前記原文書を編集して前記マルチモーダル
文書を生成することを特徴とする請求項１２に記載のマ
ルチモーダル文書送信装置。 - 【請求項１４】 前記受信手段が前記ユーザ設定情報が
変更された変更ユーザ設定情報を受信した場合、前記生
成手段は直前に生成した前記マルチモーダル文書を、前
記変更ユーザ設定情報に基づいて、該マルチモーダル文
書を編集することを特徴とする請求項１２に記載のマル
チモーダル文書送信装置。 - 【請求項１５】 前記送信手段は、更に、前記音声認識
結果を前記マルチモーダル文書受信装置へ送信すること
を特徴とする請求項１２に記載のマルチモーダル文書送
信装置。 - 【請求項１６】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成するマルチモー
ダル文書送信装置と該マルチモーダル文書を受信するマ
ルチモーダル文書受信装置とがネットワークを介して接
続されて構成されるマルチモーダル文書送受信システム
であって、 前記マルチモーダル文書受信装置は、 音声を入力する音声入力手段と、 前記音声入力手段から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化手段と、 ユーザ設定情報を設定する設定手段と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する第
１送信手段と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する第１受信手段と、 前記符号化出力音声データを復号する復号化手段と、 前記復号化手段で復号化された出力音声を出力する音声
出力手段と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示手段とを備え、 前記マルチモーダル文書送信装置は、 前記マルチモーダル文書受信装置から前記モダリティ情
報及び前記ユーザ設定情報、前記符号化入力音声データ
を受信する第２受信手段と、 前記符号化入力音声データを音声認識する音声認識手段
と、 前記音声認識手段による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成手段と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成手段と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する第２送信
手段とを備えることを特徴とするマルチモーダル文書送
受信システム。 - 【請求項１７】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御方法であって、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
工程と、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成工程と、 前記音声合成工程で合成した出力音声を出力する音声出
力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備えることを特徴とするマルチ
モーダル文書受信装置の制御方法。 - 【請求項１８】 前記モダリティ情報を変更する変更工
程とを更に備えることを特徴とする請求項１７に記載の
マルチモーダル文書受信装置の制御方法。 - 【請求項１９】 前記表示工程は、前記マルチモーダル
文書中の記述に基づいて、前記表示対象のテキストデー
タの表示形態を制御することを特徴とする請求項１７に
記載のマルチモーダル文書受信装置の制御方法。 - 【請求項２０】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御方法であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を受信する受信工程と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成工程と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信工程とを備えることを特徴とするマ
ルチモーダル文書送信装置の制御方法。 - 【請求項２１】 前記モダリティ情報に基づいて、前記
マルチモーダル文書受信装置が要求する原文書を編集／
操作するための編集／操作ファイルを判定する判定工程
とを更に備え、 前記生成工程は、前記判定工程で判定された編集／操作
ファイルを用いて、前記原文書を編集して前記マルチモ
ーダル文書を生成することを特徴とする請求項２０に記
載のマルチモーダル文書送信装置の制御方法。 - 【請求項２２】 前記操作ファイルは、前記表示対象の
テキストデータの一部を表示／非表示を制御するための
ファイルであることを特徴とする請求項２１に記載のマ
ルチモーダル文書送信装置の制御方法。 - 【請求項２３】 前記操作ファイルは、前記音声出力対
象のテキストデータの音声出力の実行の有無を制御する
ためのファイルであることを特徴とする請求項２１に記
載のマルチモーダル文書送信装置の制御方法。 - 【請求項２４】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成するマルチモー
ダル送信装置と該マルチモーダル文書を受信するマルチ
モーダル文書受信装置とがネットワークを介して接続さ
れて構成されるマルチモーダル文書送受信システムの制
御方法であって、 前記マルチモーダル文書受信装置は、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
工程と、前記マルチモーダル文書中の音声出力対象のテ
キストデータを音声合成する音声合成工程と、 前記音声合成工程で合成した出力音声を出力する音声出
力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備え、 前記マルチモーダル文書送信装置は、 前記マルチモーダル文書受信装置から前記モダリティ情
報を受信する受信工程と、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成工程と、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信工程とを備えることを特徴とするマ
ルチモーダル文書送受信システムの制御方法。 - 【請求項２５】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御方法であって、 音声を入力する音声入力工程と、 前記音声入力工程から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化工程と、 ユーザ設定情報を設定する設定工程と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する送
信工程と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する受信工程と、 前記符号化出力音声データを復号する復号化工程と、 前記復号化工程で復号化された出力音声を出力する音声
出力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備えることを特徴とするマルチ
モーダル文書受信装置の制御方法。 - 【請求項２６】 前記送信工程は、前記設定工程によっ
て前記ユーザ設定情報が変更された変更ユーザ設定情報
が生成された場合、前記変更ユーザ設定情報を前記マル
チモーダル送信装置へ送信することを特徴とする請求項
２５に記載のマルチモーダル文書受信装置の制御方法。 - 【請求項２７】 前記受信工程は、更に、前記符号化入
力音声データに対応する音声認識結果を前記マルチモー
ダル文書送信装置から受信することを特徴とする請求項
２６に記載のマルチモーダル文書受信装置の制御方法。 - 【請求項２８】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御方法であって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報及びユーザ設定情報、符号化入力音声データ
を受信する受信工程と、前記符号化入力音声データを音
声認識する音声認識工程と、 前記音声認識工程による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成工程と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信工程
とを備えること特徴とするマルチモーダル文書送信装置
の制御方法。 - 【請求項２９】 前記モダリティ情報に基づいて、前記
マルチモーダル文書受信装置が要求する原文書を編集す
るための編集ファイルを判定する判定工程とを更に備
え、 前記生成工程は、前記判定工程で判定された編集ファイ
ルを用いて、前記原文書を編集して前記マルチモーダル
文書を生成することを特徴とする請求項２８に記載のマ
ルチモーダル文書送信装置の制御方法。 - 【請求項３０】 前記受信工程が前記ユーザ設定情報が
変更された変更ユーザ設定情報を受信した場合、前記生
成工程は直前に生成した前記マルチモーダル文書を、前
記変更ユーザ設定情報に基づいて、該マルチモーダル文
書を編集することを特徴とする請求項２８に記載のマル
チモーダル文書送信装置の制御方法。 - 【請求項３１】 前記送信工程は、更に、前記音声認識
結果を前記マルチモーダル文書受信装置へ送信すること
を特徴とする請求項２８に記載のマルチモーダル文書送
信装置の制御方法。 - 【請求項３２】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成するマルチモー
ダル送信装置と該マルチモーダル文書を受信するマルチ
モーダル文書受信装置とがネットワークを介して接続さ
れて構成されるマルチモーダル文書送受信システムの制
御方法であって、 前記マルチモーダル文書受信装置は、 音声を入力する音声入力工程と、 前記音声入力工程から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化工程と、 ユーザ設定情報を設定する設定工程と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する第
１送信工程と、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する第１受信工程と、 前記符号化出力音声データを復号する復号化工程と、 前記復号化工程で復号化された出力音声を出力する音声
出力工程と、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程とを備え、 前記マルチモーダル文書送信装置は、前記マルチモーダ
ル文書受信装置から前記モダリティ情報及び前記ユーザ
設定情報、前記符号化入力音声データを受信する第２受
信工程と、 前記符号化入力音声データを音声認識する音声認識工程
と、 前記音声認識工程による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成工程と、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程と、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する第２送信
工程とを備えることを特徴とするマルチモーダル文書送
受信システムの制御方法。 - 【請求項３３】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御をコンピュータに機能させる
ためのプログラムであって、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を前記マルチモーダル文書送信装置に送信
し、該モダリティ情報に基づいて該マルチモーダル文書
送信装置が生成したマルチモーダル文書を受信する通信
工程のプログラムコードと、 前記マルチモーダル文書中の音声出力対象のテキストデ
ータを音声合成する音声合成工程のプログラムコード
と、 前記音声合成工程で合成した出力音声を出力する音声出
力工程のプログラムコードと、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程のプログラムコードとを備えること
を特徴とするプログラム。 - 【請求項３４】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御をコンピュータに機能
させるためのプログラムであって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報を受信する受信工程のプログラムコードと、 前記モダリティ情報に基づいて、前記マルチモーダル文
書を生成する生成工程のプログラムコードと、 前記マルチモーダル文書を前記マルチモーダル文書受信
装置へ送信する送信工程のプログラムコードとを備える
ことを特徴とするプログラム。 - 【請求項３５】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を、ネットワークを介
してマルチモーダル文書送信装置から受信するマルチモ
ーダル文書受信装置の制御をコンピュータに機能させる
ためのプログラムであって、 音声を入力する音声入力工程のプログラムコードと、 前記音声入力工程から入力された音声の符号化を行い、
符号化入力音声データを生成する符号化工程のプログラ
ムコードと、 ユーザ設定情報を設定する設定工程のプログラムコード
と、 当該マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報、前記ユーザ設定情報、前記符号化入力音声
データを前記マルチモーダル文書送信装置へ送信する送
信工程のプログラムコードと、 前記モダリティ情報、前記ユーザ設定情報及び前記符号
化入力音声データに基づいて前記マルチモーダル文書送
信装置が生成したマルチモーダル文書及びそのマルチモ
ーダル文書中の音声出力対象のテキストデータに対応す
る符号化出力音声データを受信する受信工程のプログラ
ムコードと、 前記符号化出力音声データを復号する復号化工程のプロ
グラムコードと、 前記復号化工程で復号化された出力音声を出力する音声
出力工程のプログラムコードと、 前記マルチモーダル文書中の表示対象のテキストデータ
を表示する表示工程のプログラムコードとを備えること
を特徴とするプログラム。 - 【請求項３６】 少なくともテキストデータの出力形態
の記述を含むマルチモーダル文書を生成して、ネットワ
ークを介してマルチモーダル文書受信装置へ送信するマ
ルチモーダル文書送信装置の制御をコンピュータに機能
させるためのプログラムであって、 前記マルチモーダル文書受信装置の各種機能を示すモダ
リティ情報及びユーザ設定情報、符号化入力音声データ
を受信する受信工程のプログラムコードと、 前記符号化入力音声データを音声認識する音声認識工程
のプログラムコードと、 前記音声認識工程による音声認識結果、前記モダリティ
情報及び前記ユーザ設定情報に基づいて、前記マルチモ
ーダル文書を生成する生成工程のプログラムコードと、 前記マルチモーダル文書中の音声合成対象のテキストデ
ータを音声合成して符号化出力音声データを生成する音
声合成工程のプログラムコードと、 前記マルチモーダル文書及び前記符号化出力音声データ
を前記マルチモーダル文書受信装置へ送信する送信工程
のプログラムコードとを備えること特徴とするプログラ
ム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001356487A JP3733322B2 (ja) | 2001-11-21 | 2001-11-21 | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム |
| US10/291,722 US7174509B2 (en) | 2001-11-21 | 2002-11-12 | Multimodal document reception apparatus and multimodal document transmission apparatus, multimodal document transmission/reception system, their control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001356487A JP3733322B2 (ja) | 2001-11-21 | 2001-11-21 | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003157167A true JP2003157167A (ja) | 2003-05-30 |
| JP3733322B2 JP3733322B2 (ja) | 2006-01-11 |
Family
ID=19167997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001356487A Expired - Fee Related JP3733322B2 (ja) | 2001-11-21 | 2001-11-21 | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7174509B2 (ja) |
| JP (1) | JP3733322B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006051721A1 (ja) * | 2004-11-12 | 2008-05-29 | 株式会社ジャストシステム | 文書処理装置及び文書処理方法 |
| JP2009544087A (ja) * | 2006-07-18 | 2009-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Ｗｅｂページをユーザに対して表示する方法、データ処理システム、およびコンピュータ・プログラム（Ｗｅｂページに含まれるオブジェクトに関連したメニュー・オプションを表示するための方法およびシステム） |
| JP2015518171A (ja) * | 2012-04-03 | 2015-06-25 | ソニー株式会社 | 再生制御装置、再生制御方法、およびプログラム |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050075884A1 (en) * | 2003-10-01 | 2005-04-07 | Badt Sig Harold | Multi-modal input form with dictionary and grammar |
| US7920681B2 (en) * | 2004-11-05 | 2011-04-05 | International Business Machines Corporation | System, apparatus, and methods for creating alternate-mode applications |
| WO2007125151A1 (en) * | 2006-04-27 | 2007-11-08 | Risto Kurki-Suonio | A method, a system and a device for converting speech |
| US20100030557A1 (en) * | 2006-07-31 | 2010-02-04 | Stephen Molloy | Voice and text communication system, method and apparatus |
| US9087507B2 (en) * | 2006-09-15 | 2015-07-21 | Yahoo! Inc. | Aural skimming and scrolling |
| US7962963B2 (en) * | 2006-12-22 | 2011-06-14 | Verizon Patent And Licensing Inc. | Multimodal resource management system |
| US7680816B2 (en) * | 2006-12-22 | 2010-03-16 | Verizon Patent And Licensing Inc. | Method, system, and computer program product providing for multimodal content management |
| US9230549B1 (en) | 2011-05-18 | 2016-01-05 | The United States Of America As Represented By The Secretary Of The Air Force | Multi-modal communications (MMC) |
| CN102915188B (zh) * | 2011-08-01 | 2015-07-29 | ***通信集团公司 | 一种控制终端屏幕的显示状态的方法及装置 |
| US9899022B2 (en) * | 2014-02-24 | 2018-02-20 | Mitsubishi Electric Corporation | Multimodal information processing device |
| US10102848B2 (en) | 2014-02-28 | 2018-10-16 | Google Llc | Hotwords presentation framework |
| WO2016157658A1 (ja) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10326244A (ja) | 1997-05-27 | 1998-12-08 | Toyota Motor Corp | データ送出方法及びそれに用いるサーバ |
| JPH11250009A (ja) | 1998-03-04 | 1999-09-17 | Uniden Corp | サーバ装置及びウェブデータ変換方式 |
| JP2003521061A (ja) * | 2000-01-25 | 2003-07-08 | オートデスク，インコーポレイテッド | インターネット上で建築図面へのアクセスを提供し、処理する方法および装置 |
| US7062437B2 (en) * | 2001-02-13 | 2006-06-13 | International Business Machines Corporation | Audio renderings for expressing non-audio nuances |
| US7020841B2 (en) * | 2001-06-07 | 2006-03-28 | International Business Machines Corporation | System and method for generating and presenting multi-modal applications from intent-based markup scripts |
-
2001
- 2001-11-21 JP JP2001356487A patent/JP3733322B2/ja not_active Expired - Fee Related
-
2002
- 2002-11-12 US US10/291,722 patent/US7174509B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006051721A1 (ja) * | 2004-11-12 | 2008-05-29 | 株式会社ジャストシステム | 文書処理装置及び文書処理方法 |
| JP4723511B2 (ja) * | 2004-11-12 | 2011-07-13 | 株式会社ジャストシステム | 文書処理装置及び文書処理方法 |
| JP2009544087A (ja) * | 2006-07-18 | 2009-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Ｗｅｂページをユーザに対して表示する方法、データ処理システム、およびコンピュータ・プログラム（Ｗｅｂページに含まれるオブジェクトに関連したメニュー・オプションを表示するための方法およびシステム） |
| JP2015518171A (ja) * | 2012-04-03 | 2015-06-25 | ソニー株式会社 | 再生制御装置、再生制御方法、およびプログラム |
| US9576569B2 (en) | 2012-04-03 | 2017-02-21 | Sony Corporation | Playback control apparatus, playback control method, and medium for playing a program including segments generated using speech synthesis |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3733322B2 (ja) | 2006-01-11 |
| US20030097265A1 (en) | 2003-05-22 |
| US7174509B2 (en) | 2007-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2004218693B2 (en) | Sequential multimodal input | |
| RU2355045C2 (ru) | Последовательный мультимодальный ввод | |
| JP3733322B2 (ja) | マルチモーダル文書受信装置及びマルチモーダル文書送信装置、マルチモーダル文書送受信システム及びそれらの制御方法、プログラム | |
| US7165034B2 (en) | Information processing apparatus and method, and program | |
| JP2005521120A5 (ja) | ||
| JP2006236323A (ja) | アプリケーション提供システム、サーバ、クライアントおよびアプリケーション提供方法 | |
| US20110145695A1 (en) | Web page conversion system | |
| JP2006216045A (ja) | 移動通信端末機のユーザインターフェース処理方法 | |
| US9483573B2 (en) | Context awareness in auditory browsing | |
| US20120089895A1 (en) | Mobile terminal device and recording medium | |
| KR20140113826A (ko) | 컨텐츠 공유를 위한 장치 및 방법, 이를 위한 통신 서비스 시스템 | |
| JP2002268788A (ja) | ウェブ文書のクローズアップ機能を備えた情報通信システムとこれを用いたウェブ文書のクローズアップ方法及びその方法を記録した記録媒体 | |
| JP2002202935A (ja) | サーバ装置 | |
| JP2002073466A (ja) | 小型端末用掲示板システムおよび掲示方法 | |
| KR101978297B1 (ko) | 데이터 공유 서비스 시스템, 데이터 공유 서비스를 위한 장치 및 방법 | |
| JP2003186488A (ja) | マルチモーダル入出力装置及びその方法、プログラム | |
| JP3987172B2 (ja) | 対話型コミュニケーション端末装置 | |
| JP2004318607A (ja) | 情報処理装置、情報処理方法、プログラム、記憶媒体 | |
| JP2002269147A (ja) | 電子マニュアル提供システム、電子マニュアル提供方法、電子マニュアル提供方法をコンピュータに実行させるプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4689488B2 (ja) | 情報付加装置、情報付加方法、情報付加プログラム、情報付加システム、情報付加管理サーバ、情報付加管理方法、および、情報付加管理プログラム | |
| JP2010086459A (ja) | 情報処理装置、制御方法及び制御プログラム | |
| JP4047323B2 (ja) | 情報処理装置及びその方法、プログラム | |
| JP2005339513A (ja) | 情報処理装置及びその制御方法、プログラム | |
| WO2005076152A2 (en) | Method, arrangement and system for outputting data | |
| JP2013127761A (ja) | 情報通信システム、端末、及び、サーバ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040625 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050930 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051017 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |