JP2007241321A - メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム - Google Patents
メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム Download PDFInfo
- Publication number
- JP2007241321A JP2007241321A JP2004062408A JP2004062408A JP2007241321A JP 2007241321 A JP2007241321 A JP 2007241321A JP 2004062408 A JP2004062408 A JP 2004062408A JP 2004062408 A JP2004062408 A JP 2004062408A JP 2007241321 A JP2007241321 A JP 2007241321A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- voice quality
- configuration information
- image configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims description 51
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 40
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 40
- 238000000926 separation method Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract 2
- 230000006854 communication Effects 0.000 description 49
- 238000004891 communication Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010049976 Impatience Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Abstract
【課題】 画像を表示しながら、送信装置が送信したテキストメッセージを読み上げる受信装置を含むメッセージ伝達システムを提供する。
【解決手段】 送信装置11がテキストメッセージを受信装置13に送信する。受信装置13では、音声合成部21が、受信したテキストメッセージにもとづいて合成音声を生成し、スピーカ27から出力する。画像構成情報生成部24が、合成音声の出力とともに表示する画像の情報を生成し、画像表示部22が画像の情報にもとづく画像を表示する。このとき、音声合成部21は、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示部22に入力し、画像表示部22は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる。
【選択図】 図1
【解決手段】 送信装置11がテキストメッセージを受信装置13に送信する。受信装置13では、音声合成部21が、受信したテキストメッセージにもとづいて合成音声を生成し、スピーカ27から出力する。画像構成情報生成部24が、合成音声の出力とともに表示する画像の情報を生成し、画像表示部22が画像の情報にもとづく画像を表示する。このとき、音声合成部21は、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示部22に入力し、画像表示部22は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる。
【選択図】 図1
Description
本発明は、受信装置が受信したメッセージを読み上げ、画像を表示するメッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムに関する。
従来のメッセージ伝達システムの一例が、非特許文献1に記載されている。図17は、従来のメッセージ伝達システムの一構成例を示すブロック図である。図17に示すように、この従来のメッセージ伝達システムは、音声合成部21と、画像表示部22とを含む。このような構成を有する従来のメッセージ伝達システムは、次のように動作する。
音声合成部21は、受信した電子メールの内容を読み上げる。このとき読み上げに用いる音声の性質(以下、声質情報という。)は、受信装置11の使用者(以下、受信者という。)が設定した声質情報か、または受信装置11が自動に選択した声質情報を使用する。また、画像表示部22は、受信装置13が受信した電子メールに対応した画像を表示するとともに、読み上げの進行にともなって、画像を変化させる。
このため、画像の情報および画像を変化させるための情報である画像構成情報を用いる。ここで、画像構成情報とは、受信者が予め受信装置13に記憶させている画像と、その画像に対して受信者が設定した目、口などの顔の部位の位置情報である。また、他の例では、画像構成情報を、受信者が設定する代わりに、予め端末内に記憶しているものがある。
また、受信した電子メールを読み上げる他のシステムが、特許文献1に記載されている。特許文献1に記載されているシステムは、受信したメッセージ中の文字列に埋め込まれた動作制御情報にもとづいて、電子メールを合成音声で読み上げると同時に、ロボットを動かす。また、送信者に対応付けて受信した電子メールの音声データを記憶する。
さらに、受信した電子メールを読み上げる別の方法が、特許文献2に記載されている。特許文献2に記載されている方法は、受信した電子メールに対して、予め受信側で記憶している複数の画像のうちから、送信者IDによって画像を選択して表示し、電子メールを合成音声で読み上げる。合成音声の声質情報は、送信者の音声を予め分析して利用する。
「NTTドコモ携帯電話総合カタログ December2003(9版)」株式会社NTTドコモ、2003年12月、p.27
特開2003−308142号公報 (段落0059−0112、図1)
特開平07−066832号公報 (段落0014−0059、図1)
しかし、従来の技術の第1の問題点は、声質情報と画像構成情報とをともに設定する場合、それぞれを別々に設定しなければならない点である。また、第2の問題点は、受信した電子メールの送信者に適した声質情報または画像構成情報を、受信者が予め選択する等の準備をしなければならず、送信者が電子メールの送信時に送信者に適した声質情報または画像構成情報を通信回線を介して提供する方法が無いということである。さらに、第3の問題点は、送信者と受信者以外の第三者が提供する声質情報または画像構成情報を、通信回線を介して受信者に提供する方法が無いということである。
そこで、本発明は、声質情報または画像構成情報を一体として扱うことのできる、メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムを提供することを目的とする。また、本発明は、電子メールの送信者が、電子メールの送信時に送信者に適した声質情報または画像構成情報を、通信回線を介して提供できるメッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムを提供することを目的とする。さらに、本発明は、送信者と受信者以外の第三者が提供する声質情報または画像構成情報を、通信回線を介して提供するメッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムを提供することを目的とする。
本発明によるメッセージ伝達システムは、テキストメッセージを送信する送信手段と、受信したテキストメッセージにもとづいて合成音声を生成する音声合成手段と、合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段と、画像表示手段に表示させる画像の情報である画像構成情報と、音声合成手段に生成させる合成音声の特徴の情報である声質情報とを含む表現情報を予め記憶する表現情報記憶手段とを含み、画像情報生成手段は、画像構成情報にもとづいて画像の情報を生成し、音声合成手段は、声質情報にもとづいて合成音声を生成し、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示手段に入力し、画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させることを特徴とする。
送信手段を含む送信装置と、音声合成手段と、画像情報生成手段と、画像表示手段と、表現情報記憶手段とを含む受信装置とを備えてもよい。そのような構成によれば、受信装置のユーザが希望する画像と音声とを受信装置に出力させることができる。
音声合成手段と、画像情報生成手段と、画像表示手段とを含む受信装置と、送信手段と、表現情報記憶手段と、表現情報記憶手段が記憶している表現情報を受信装置に送信する表現情報送信手段とを含む送信装置とを備えてもよく、受信装置は、表現情報を受信して声質情報を生成する声質情報生成手段を含んでもよく、画像情報生成手段は、表現情報を送信装置から受信して、表現情報から画像構成情報を生成してもよい。そのような構成によれば、送信装置のユーザが希望する画像と音声とを、受信装置に出力させることができる。
送信装置は、受信装置に送信した表現情報に応じた料金の情報である表現情報課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信装置に送信した表現情報に応じて、送信装置のユーザに料金を課金することができる。
画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、外部画像構成情報記憶手段が記憶している画像構成情報の全部または一部を受信装置に送信する画像構成情報送信手段とを含む画像構成情報提供装置を備えてもよい。そのような構成によれば、外部画像構成情報記憶手段が記憶している、送信装置および受信装置のユーザ以外の第三者が提供する画像を、受信装置に出力させることができる。
受信装置と画像構成情報提供装置とは専用回線で接続されてもよい。そのような構成によれば、受信装置と画像構成情報提供装置との通信のプロトコルを簡易なものにできるので、メッセージ伝達システムの構築が簡単になる。
受信装置と画像構成情報提供装置とは公衆回線網で接続されてもよい。そのような構成によれば、受信装置のユーザは、インターネット等の公衆回線網を介して複数の画像構成情報提供装置が記憶している画像構成情報を用いることができる。
表現情報は、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含んでもよく、画像情報生成手段は、画像インデックス情報にもとづいて、画像構成情報送信手段に、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の送信を要求してもよい。
画像構成情報送信手段は、画像情報生成手段の要求に応じて、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部を受信装置に送信してもよい。
画像構成情報提供装置は、受信装置に送信した画像構成情報に応じた料金の情報である画像課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信装置に送信した画像構成情報に応じて、受信装置のユーザに料金を課金することができる。
声質情報の全部または一部を記憶する外部声質情報記憶手段と、外部声質情報記憶手段が記憶している声質情報の全部または一部を受信装置に送信する声質情報送信手段を含む声質情報提供装置を備えてもよい。そのような構成によれば、外部声質情報記憶手段が記憶している、送信装置および受信装置のユーザ以外の第三者が提供する音声の性質の合成音声を、受信装置に出力させることができる。
受信装置と声質情報提供装置とは専用回線で接続されてもよい。そのような構成によれば、受信装置と声質情報提供装置との通信のプロトコルを簡易なものにできるので、メッセージ伝達システムの構築が簡単になる。
受信装置と声質情報提供装置とは公衆回線網で接続されてもよい。そのような構成によれば、受信装置のユーザは、インターネット等の公衆回線網を介して複数の声質情報提供装置が記憶している画像構成情報を用いることができる。
表現情報は、外部声質情報記憶手段が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含んでもよく、音声合成手段は、声質インデックス情報にもとづいて、声質情報送信手段に、外部声質情報記憶手段が記憶する声質情報の全部または一部の送信を要求してもよい。
声質情報送信手段は、音声合成手段の要求に応じて、外部声質情報記憶手段が記憶する声質情報の全部または一部を受信装置に送信してもよい。
声質情報提供装置は、受信装置に送信した声質情報に応じた料金の情報である声質課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信装置に送信した声質情報に応じて、受信装置のユーザに料金を課金することができる。
本発明によるメッセージ伝達方法は、テキストメッセージを受信し、表示する画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成し、合成音声の区切りを示す情報である区切り情報を生成し、合成音声を出力し、画像構成情報にもとづいて合成音声の出力とともに表示する画像の情報を生成し、画像の情報にもとづく画像を表示し、区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させることを特徴とする。
表現情報から画像構成情報を生成してもよく、表現情報から声質情報を生成してもよい。そのような方法によれば、ユーザが希望する画像と音声とを出力させることができる。
予め記憶している表現情報を送信してもよく、表現情報を受信すると、受信した表現情報から画像構成情報を生成してもよく、受信した表現情報から声質情報を生成してもよい。そのような方法によれば、送信側のユーザが希望する画像と音声とを、出力側に出力させることができる。
送信した表現情報に応じた料金の情報である表現情報課金情報を生成してもよい。そのような方法によれば、送信した表現情報に応じて、受信側のユーザに料金を課金することができる。
表現情報は、画像構成情報の全部または一部を記憶している外部画像構成情報記憶手段における、画像構成情報の全部または一部を記憶している位置を示す情報である画像インデックス情報を含んでもよく、画像インデックス情報にもとづいて、外部画像構成情報記憶手段に、記憶している画像構成情報の全部または一部の送信を要求してもよく、外部画像構成情報記憶手段から、画像構成情報の全部または一部を受信してもよい。そのような方法によれば、外部画像構成情報記憶手段が記憶している第三者等の画像を、受信側に出力させることができる。
外部画像構成情報記憶手段において、送信した画像構成情報に応じた料金の情報である画像課金情報を生成してもよい。そのような方法によれば、受信側に送信した画像構成情報に応じて、受信側のユーザに料金を課金することができる。
表現情報は、声質情報の全部または一部を記憶している外部声質情報記憶手段における、声質情報の全部または一部を記憶している位置を示す情報である声質インデックス情報を含んでもよく、声質インデックス情報にもとづいて、外部声質情報記憶手段に、声質情報の全部または一部の送信を要求してもよく、外部声質情報記憶手段から、声質情報の全部または一部を受信してもよい。そのような方法によれば、外部声質情報記憶手段が記憶している第三者の音声の性質の合成音声を、受信側に出力させることができる。
外部声質情報記憶手段において、送信した声質情報に応じた料金の情報である声質課金情報を生成してもよい。そのような方法によれば、受信側に送信した声質情報に応じて、受信側のユーザに料金を課金することができる。
本発明による受信装置は、送信装置からテキストメッセージを受信する受信装置であって、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、送信装置から受信したテキストメッセージとにもとづいて合成音声を生成する音声合成手段と、画像構成情報にもとづいて、合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段とを含み、音声合成手段は、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示手段に入力し、画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させることを特徴とする。
表現情報を予め記憶する表現情報記憶手段を含んでもよく、画像情報生成手段は、表現情報から画像構成情報を生成してもよい。そのような構成によれば、受信装置のユーザが希望する画像と音声とを出力させることができる。
表現情報を受信して、表現情報から声質情報を生成する声質情報生成手段を含んでもよく、画像情報生成手段は、表現情報を受信して、表現情報から画像構成情報を生成してもよい。そのような構成によれば、送信装置のユーザが希望する画像と音声とを、受信装置に出力させることができる。
画像構成情報の全部または一部を記憶する画像構成情報提供装置から、画像構成情報の全部または一部を受信してもよい。そのような構成によれば、画像情報提供装置が記憶している第三者等の画像を、受信装置に出力させることができる。
表現情報は、画像構成情報提供装置が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含んでもよく、画像情報生成手段は、画像インデックス情報にもとづいて、画像構成情報提供装置に、画像構成情報提供装置が記憶する画像構成情報の全部または一部の送信を要求し、画像構成情報提供装置から、画像構成情報提供装置が記憶する画像構成情報の全部または一部を受信してもよい。
画像情報提供装置と専用回線で接続されていてもよい。そのような構成によれば、受信装置と画像構成情報提供装置との通信のプロトコルを簡易なものにできる。
画像情報提供装置と公衆回線網で接続されていてもよい。そのような構成によれば、受信装置のユーザは、複数の画像情報提供装置が記憶している画像構成情報を用いることができる。
声質情報の全部または一部を記憶する声質情報提供装置から、声質情報の全部または一部を受信してもよい。そのような構成によれば、声質情報提供装置が記憶している第三者の音声の性質の合成音声を、受信装置に出力させることができる。
表現情報は、声質情報提供装置が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含んでもよく、音声合成手段は、声質インデックス情報にもとづいて、声質情報提供装置に、声質情報提供装置が記憶する声質情報の全部または一部の送信を要求し、声質情報提供装置から、声質情報提供装置が記憶する声質情報の全部または一部を受信してもよい。
声質情報提供装置と専用回線で接続されていてもよい。そのような構成によれば、受信装置と声質情報提供装置との通信のプロトコルを簡易なものにできる。
声質情報提供装置と公衆回線網で接続されていてもよい。そのような構成によれば、受信装置のユーザは、複数の声質情報提供装置が記憶している声質情報を用いることができる。
本発明による送信装置は、受信装置に伝達するテキストメッセージ、受信装置に表示させる画像の情報である画像構成情報、および受信装置に生成させるテキストメッセージの合成音声の特徴の情報である声質情報を含む表現情報とを送信する送信手段を含むことを特徴とする。
本発明によるメッセージ伝達プログラムは、コンピュータに、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示手段に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行させることを特徴とする。
コンピュータに、表現情報を受信して、表現情報から声質情報を生成する声質情報生成処理を実行させてもよく、画像情報生成処理で、表現情報を受信して、表現情報から画像構成情報を生成する処理を実行させてもよい。そのような構成によれば、送信側のユーザが希望する画像を画像表示手段に表示させ、送信側のユーザが希望する性質の合成音声を音声出力手段に出力させることができる。
コンピュータに、画像情報生成処理で、画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、外部画像構成情報記憶手段が記憶している画像構成情報の全部または一部を送信する画像構成情報送信手段とを含む画像情報提供装置から、表現情報に含まれ、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報にもとづいて、画像情報提供装置が記憶する画像構成情報の全部または一部の送信を画像情報提供装置に要求する処理を実行させてもよく、画像情報提供装置から画像構成情報の全部または一部を受信する処理を実行させてもよい。そのような構成によれば、画像情報提供装置が記憶している第三者等の画像を、画像表示手段に表示させることができる。
コンピュータに、音声合成処理で、声質情報の全部または一部を記憶する外部声質情報記憶手段と、外部声質情報記憶手段が記憶している声質情報の全部または一部を送信する声質情報送信手段とを含む声質情報提供装置から、表現情報に含まれ、外部声質情報記憶手段が記憶している声質情報の全部または一部の位置を示す情報である声質インデックス情報にもとづいて、声質情報提供装置が記憶する声質情報の全部または一部の送信を、声質情報提供装置に要求する処理を実行させてもよく、声質情報提供装置から、声質情報の全部または一部を受信する処理を実行させてもよい。そのような構成によれば、声質情報提供装置が記憶している第三者の音声の性質の合成音声を、音声出力手段に出力させることができる。
本発明の第1の効果は、電子メールを、 送信者に結び付いた内容である声質情報と画像構成情報を用いて、合成音声と画像とで表現することができることである。また、第2の効果は、電子メールの送信者が提供した声質情報または画像構成情報を使うことで、より緊密なコミュニケーションを行うことが可能になるということである。さらに、第3の効果は、例えば著名人やキャラクタの音声や画像を使用する権利を有する第三者が、声質情報または画像構成情報を受信者に提供することで、送信者と受信者とがより多彩なコミュニケーションを行うことが可能になるということである。
実施の形態1.
本発明の第1の実施の形態について、図面を参照して説明する。図1は、本発明の第1の実施の形態の一構成例を示すブロック図である。
本発明の第1の実施の形態について、図面を参照して説明する。図1は、本発明の第1の実施の形態の一構成例を示すブロック図である。
本発明の第1の実施の形態は、電子メール等のテキストメッセージを通信回線12を介して送信する送信装置11と、送信装置11から受信したテキストメッセージにもとづく合成音声の出力と、合成音声の出力に対応した画像の出力とを行う受信装置13とを含む。
送信装置11は、テキストメッセージを記憶するテキストメッセージ記憶部31と、テキストメッセージ記憶部31が記憶しているテキストメッセージを、通信回線12を介して受信装置13に送信する送信部32とを含む。
受信装置13は、声質情報と画像構成情報とを含む表現情報を記憶する表現情報記憶部(表現情報記憶手段)34、表現情報から声質情報を生成する声質情報生成部(声質情報生成手段)23、表現情報から画像構成情報を生成する画像構成情報生成部(画像情報生成手段)24、画像構成情報を記憶する画像構成情報記憶部33、声質情報にもとづいてテキストメッセージを合成音声に変換したり、合成音声の区切りを示す情報である区切り情報を生成したりする音声合成部(音声合成手段)21、画像構成情報と区切り情報とにもとづいて画像を表示する画像表示部(画像表示手段)22、および合成音声を出力するスピーカ27を含む。
声質情報生成部23は、表現情報記憶部34が記憶している表現情報から声質情報を生成する。ここで、声質情報は、音声合成部21がテキストメッセージから変換して生成する合成音声の声質を指定する情報である。なお、声質情報は、話者名、声の高さ、抑揚の強さ、語尾の特徴等の特定個人あるいは概念的な人物像の声を想起させる要素や、発声速度、焦り方などの発話の際におかれている状況を想起させる要素のうち1以上を含む。
画像構成情報生成部24は、表現情報記憶部34が記憶している表現情報から、画像構成情報を生成する。ここで、画像構成情報は、画像表示部22が、送信者本人またはその代理となるキャラクタの画像を構成、表示するために用いる情報である。また、画像構成情報は、画像を生成するために、基本となる画像である基本画像や、顔の画像の場合は目や口や眉毛などの位置と形状との情報を含んでもよく、それ以外の部位の画像の場合も同等の情報を含んでもよい。画像構成情報生成部24は、生成した画像構成情報を画像構成情報記憶部33に記憶させる。画像構成情報記憶部33は、画像構成情報を記憶する。
なお、画像構成情報は、送信者本人の顔写真や、全身写真のほか、似顔絵や、送信者を受信者に想起させるキャラクタなどの無生物等の情報であってもよい。そして、画像構成情報は、上記に限定したものでは無く、コンピュータグラフィックス(CG)でキャラクタを合成表示するためのパラメータや、複数の静止画像のそれぞれに番号等を付けて束ねたもの等を用いてもよい。
音声合成部21は、声質情報生成部23が生成した声質情報にもとづいて、送信装置11から受信したテキストメッセージを合成音声に変換し、スピーカ27に出力する。
合成音声の出力中には、合成音声の出力の開始、段落の区切り、文の区切り、音節の区切り、合成音声の出力の終了、などの各種の区切りが存在する。音声合成手段21は、これらの区切りのうち、予め定めたいくつかの区切りのタイミングで、区切り情報を画像表示部22に出力する。
合成音声の出力中には、合成音声の出力の開始、段落の区切り、文の区切り、音節の区切り、合成音声の出力の終了、などの各種の区切りが存在する。音声合成手段21は、これらの区切りのうち、予め定めたいくつかの区切りのタイミングで、区切り情報を画像表示部22に出力する。
画像表示部22は、音声合成部21が区切り情報を入力したタイミングで、画像構成情報記憶部33が記憶している画像構成情報にもとづいて画像を生成し、生成した画像を表示する。なお、画像表示部22は、予め音声合成部21が入力した区切り情報に応じて読み込む画像構成情報の要素を記憶している。
ここで、送信装置11と受信装置13とは、例えば、電子メール送受信機能を備えた携帯電話機であり、通信回線12は携帯電話通信網およびそれに付随するデータ通信網である。ただし、本発明の適用はこれらに限定されるものではなく、一般のインターネットを介した電子メールシステムやチャットシステム、専用ホストによるパソコン通信システム、IP電話網、ビデオ通信網などでもよい。また、通信回線12を介する送信装置11と受信装置13との間の通信は、双方向通信でなくてもよく、送信装置11から受信装置13への単一方向通信でもよい。
ここで、受信装置13は、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示部22に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭載する。
次に、本発明の第1の実施の形態の動作について説明する。図2は、本発明の第1の実施の形態の動作を説明するフローチャートである。
送信装置11の送信部32は、通信回線12を介して受信装置13に、テキストメッセージ記憶部31が記憶しているテキストメッセージを送信する(ステップS101)。図3に、テキストメッセージ記憶部31が記憶しているテキストメッセージの一例を示す。図3に示す例では、テキストメッセージ記憶部31は、「今日は、良い天気です。」というテキストメッセージを記憶している。送信部32は、通信回線12を介して受信装置13に、「今日は、良い天気です。」というテキストメッセージを送信する。
受信装置13において、音声合成部21がテキストメッセージを受信すると、声質情報生成部23および画像構成情報生成部24に、テキストメッセージを受信したことを通知する(ステップS102)。声質情報生成部23および画像構成情報生成部24は、表現情報記憶部34が記憶している表現情報を読み出す(ステップS103)。図4は、表現情報の一例を示す説明図である。図4に示す例では、表現情報は、声質情報と画像構成情報とを含む。
声質情報生成部23は、読み出した表現情報から声質情報を生成し、画像構成情報生成部24は、読み出した表現情報から画像構成情報を生成する(ステップS104)。図5は、声質情報の一例を示す説明図である。声質情報は、話者と、発声速度と、声の高さとを示す情報である。ここで、図5に示す例では、声の高さを基準値+100Hzとしているが、例えば350Hz等の絶対値で示してもよい。図6は、画像構成情報の一例を示す説明図である。画像構成情報は、基本画像と、目の相対位置と、目の大きさと、口の相対位置と、口の開度とを示している。目の相対位置と口の相対位置とは、例えば、顔の画像の中心を原点として正規化した座標値で示す。なお、目の相対位置において、右目の相対位置は、例えば、右目を接して囲む四角形の対角線の交点のY座標値と、X座標値とであり、左目の相対位置は、左目を接して囲む四角形の対角線の交点のY座標値と、X座標値とである。また、口の相対位置は、例えば、口を接して囲む四角形の上辺のY座標値(口の上下方向の位置を示す。)と、四角形の幅の値(口の幅を示す。)と、四角形の高さの値(口の厚さを示す。)とで示す。目の大きさにおいて、例えば、右目の大きさは、右目を接して囲む四角形の高さ(右目の厚さを示す。)と幅(右目の幅を示す。)との値で示し、左目の大きさは、左目を接して囲む四角形の高さ(左目の厚さを示す。)と幅(左目の幅を示す。)との値で示す。口の開度は、例えば、口を最も大きく開けた時の口を接して囲む四角形の高さを100として、正規化した値で示す。例えば、口の開度が75の場合、口を最も大きく開けたときの75%の高さで口が開いていることを示す。なお、この実施の形態の例では、上述の方法で、画像構成情報が示す画像を数値化して示したが、本発明はこれに限定されるものではなく、他の方法で画像を画像構成情報が示してもよい。画像構成情報生成部24は、生成した画像構成情報を画像構成情報記憶部33に記憶させる。
画像表示部22は、画像構成情報記憶部33が記憶している画像構成情報を読み出し、基本画像を表示する(ステップS105)。音声合成部21は、声質情報生成部23が生成した声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、合成音声を生成し、スピーカ27に合成音声の出力を開始する(ステップS106)。
図7は、音声合成部21が声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、生成した合成音声の音声波形の一例を示す説明図である。ここで、音声合成部21は内部でタイミング点の情報を持つ。本実施例におけるタイミング点の例として、図7中に時刻Aから時刻Dを示す。それぞれ、時刻Aは発声の開始時点の時刻、時刻Bは読点の時点の時刻、時刻Cは音声合成部21が認識した文節区切りの時点の時刻、時刻Dは発声の終了時点を表している。音声合成部21はそれぞれのタイミング点の時刻で、区切り情報を生成して画像表示部22に出力する。画像情報表示部22は、区切り情報にもとづいて、それぞれのタイミング点の時刻で、予め決められた画像に表示する画像を変化させる。
時刻Aになると(ステップS107)、画像表示部22は画像構成情報記憶部33が記憶している口の相対位置と口の開度との情報を読み出す(ステップS108)。そして、画像表示部は、読み出した口の相対位置と口の開度との情報に応じて、口の周辺の画像を生成し、表示している基本画像の口の周辺の画像に上書きする。この実施の形態では、基本画像の口の開度は75なので、口の開度が100である、口が開いた画像に書き換えられる(ステップS109)。
時刻Bになると(ステップS110)、画像表示部22は画像構成情報記憶部33が記憶している目の相対位置と目の大きさとの情報を読み出す(ステップS111)。そして、目の相対位置を中心に、例えば、右目を囲んで接する四角形の中の画像を、反時計回りの方向に30度傾ける。また、左目を囲んで接する四角形の中の画像を、時計回りの方向に30度傾ける。すると、目が笑っているように見える画像が生成され、画像表示部22は、基本画像の目の周辺の画像を、目が笑っているように見える画像に書き換える(ステップS112)。
時刻Cになると(ステップS113)、画像表示部22は画像構成情報記憶部33が記憶している目の相対位置と目の大きさとの情報を読み出す(ステップS114)。そして、画像表示部は、読み出した目の相対位置と目の大きさとの情報に応じて、目の周辺の画像を生成し、表示している笑っている目の周辺の画像に上書きし、目の周辺を基本画像に書き換える(ステップS115)。
時刻Dになると(ステップS116)、画像表示部22は画像構成情報記憶部33が記憶している口の相対位置と口の開度との情報を読み出す(ステップS117)。そして、画像表示部は、読み出した口の相対位置と口の開度との情報に応じて、口の周辺の画像を生成し、表示している開いている口の周辺の画像に上書きする。この実施の形態では、基本画像の口の開度は75なので、口の開度が100である、口が開いた画像が、口の開度が75である基本画像に書き換えられる(ステップS118)。
音声合成部21は合成音声の出力を終了し(ステップS119)、画像表示部22は、画像の表示を終了する(ステップS120)。
図8は、第1の実施の形態において、画像表示部22が出力する画像の例を示す説明図である。第1の実施の形態の動作の説明で述べたように、時刻Aから時刻Dまで、画像表示部22が出力する画像が時刻に応じて変化することがわかる。
以上、述べたように、この実施の形態によれば、テキストメッセージの出力に連動して画像が動くように見えるように、画像表示部22は画像を出力することができる。
なお、この実施の形態では、テキストメッセージは、プレーンテキストを例に説明したが、修飾情報を伴うリッチテキスト、音声合成の発声内容を表した発音記号列などを用いてもよい。その場合には、それぞれに対応した音声合成部21を用いる。また、図2のフローチャートに示した動作は、各区切りの時刻毎に予め定められているが、そのほか文中の単語の種類や、記号等の特定の文字種、リッチテキストの場合の修飾情報に応じて予め定められていてもよい。
また、この実施例においては、説明のため、表現情報は単一としている。ここで、送信装置11(送信者)が複数ある場合には、表現情報記憶部34は、送信装置11に対応する表現情報を複数記憶しておく。そして、送信装置11は、テキストメッセージとともに送信装置を示す送信者IDを送信し、音声合成部21は、受信した送信者IDを声質情報生成部23および画像構成情報生成部24に出力し、声質情報生成部23および画像構成情報生成部24は、送信者IDに対応した表現情報をそれぞれ読み出す。
実施の形態2.
本発明の第2の実施の形態について、図面を参照して説明する。図9は、本発明の第2の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第1の実施の形態の受信装置13の表現情報記憶部34を、送信装置11が備えたものであり、その他の構成は第1の実施例と同様である。そのため、第1の実施の形態と同様の回路等については図1と同じ符号を付し、説明を省略する。
本発明の第2の実施の形態について、図面を参照して説明する。図9は、本発明の第2の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第1の実施の形態の受信装置13の表現情報記憶部34を、送信装置11が備えたものであり、その他の構成は第1の実施例と同様である。そのため、第1の実施の形態と同様の回路等については図1と同じ符号を付し、説明を省略する。
送信装置11が備える送信部(表現情報送信手段)32は、テキストメッセージ記憶部31が記憶しているテキストメッセージとともに、または別々に、通信回線12を介して表現情報記憶部34が記憶している表現情報を受信装置13に送信する。受信装置13では、声質情報生成部23と画像構成情報生成部24とが表現情報を受信する。
ここで、送信部32は、テキストメッセージと表現情報とを、一体として通信回線12を送信してもよいし、別々に送信してもよい。また、テキストメッセージと表現情報とを別々に送信する場合、テキストメッセージと表現情報とを伝送する通信回線12は物理的・論理的に同一のものでなくてもよい。
受信装置13は、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示部22に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭載する。また、表現情報を受信して、表現情報から声質情報を生成する声質情報生成処理を実行してもよく、画像情報生成処理で、表現情報を受信して、表現情報から画像構成情報を生成する処理を実行してもよい。
次に、本発明の第2の実施の形態の動作について、図面を参照して説明する。図10は、本発明の第2の実施の形態の動作を説明するフローチャートである。
送信装置11の送信部32は、テキストメッセージと表現情報とを、通信回線12を介して受信装置13に送信する(ステップS201)。送信部32は、テキストメッセージと表現情報とに、共通のヘッダを付して通信回線12を一体として送信する。ただし、本発明は、これに限定されることはなく、送信部32は、テキストメッセージと表現情報とを別々のデータとして送信してもよい。また、一度テキストメッセージと表現情報とを一体として送付した後は、表現情報に変更の無い限り、表現情報を受信装置13の記憶部(図示せず)に記憶させて、表現情報の送信を省略してもよい。すると、本発明の第1の実施の形態と同様の構成となる。
受信装置13では、声質情報生成部23と画像構成情報生成部24とが表現情報を受信し、音声合成手段21がテキストメッセージを受信する(ステップS202)。
声質情報生成部23は、受信した表現情報から声質情報を生成し、画像構成情報生成部24は、受信した表現情報から画像構成情報を生成する(ステップS203)。画像構成情報生成部24は、生成した画像構成情報を画像構成情報記憶部33に記憶させる。
画像表示部22は、画像構成情報記憶部33が記憶している画像構成情報を読み出し、基本画像を表示する(ステップS204)。音声合成部21は、声質情報生成部23が生成した声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、合成音声を生成し、スピーカ27に合成音声の出力を開始する(ステップS205)。
ステップS206以降(ステップS206〜S219)の動作は、第1の実施の形態におけるステップS107以降(ステップS107〜S120)の動作と同様なため、説明を省略する。
以上、述べたように、本発明の第2の実施の形態によれば、送信装置11が表現情報を受信装置13に送信するため、送信装置11のユーザの希望する声質の合成音声を受信装置13のスピーカ27から出力させたり、送信装置11のユーザの希望する画像を、合成音声の出力に連動して画像表示部22に表示させたりすることができる。
実施の形態3.
本発明の第3の実施の形態について、図面を参照して説明する。図11は、本発明の第3の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第2の実施の形態の受信装置13の画像構成情報生成部24に通信回線14を介して接続されるサーバ(画像構成情報提供装置、声質情報提供装置)15を含む点が第2の実施の形態と異なる。そして、サーバ15は、予め画像構成情報を記憶しているサーバ画像構成情報記憶部(外部画像構成情報記憶手段)35と、サーバ画像構成情報記憶部35が記憶している画像構成情報を通信回線14を介して受信装置13の画像構成情報生成部24に送信する画像構成情報送信部(画像構成情報送信手段)25とを含む。その他の構成は第2の実施の形態と同様である。そのため、第2の実施の形態と同様の回路等については図9と同じ符号を付し、説明を省略する。なお、通信回線14は、LAN(Local Area Network)等の専用回線で画像情報生成部24とサーバ15とを接続してもよいし、インターネット等の公衆回線で画像情報生成部24とサーバ15とを接続してもよい。そして、通信回線14は、インターネット等の公衆回線であった場合、通信回線12と一部共用していてもよい。
本発明の第3の実施の形態について、図面を参照して説明する。図11は、本発明の第3の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第2の実施の形態の受信装置13の画像構成情報生成部24に通信回線14を介して接続されるサーバ(画像構成情報提供装置、声質情報提供装置)15を含む点が第2の実施の形態と異なる。そして、サーバ15は、予め画像構成情報を記憶しているサーバ画像構成情報記憶部(外部画像構成情報記憶手段)35と、サーバ画像構成情報記憶部35が記憶している画像構成情報を通信回線14を介して受信装置13の画像構成情報生成部24に送信する画像構成情報送信部(画像構成情報送信手段)25とを含む。その他の構成は第2の実施の形態と同様である。そのため、第2の実施の形態と同様の回路等については図9と同じ符号を付し、説明を省略する。なお、通信回線14は、LAN(Local Area Network)等の専用回線で画像情報生成部24とサーバ15とを接続してもよいし、インターネット等の公衆回線で画像情報生成部24とサーバ15とを接続してもよい。そして、通信回線14は、インターネット等の公衆回線であった場合、通信回線12と一部共用していてもよい。
図12は、第3の実施の形態の表現情報の一例を示す説明図である。図12に示す例では、表現情報は、声質情報と画像構成情報のインデックスとを含む。画像構成情報のインデックスとは、画像構成情報を記憶している装置と、その装置内で画像構成情報を記憶している位置とを示す情報である。この実施の形態の例では、サーバ15のサーバ画像構成情報記憶部35が画像構成情報を記憶しているため、画像構成情報のインデックスは、サーバ15のIPアドレスと、サーバ15内での画像構成情報を記憶している位置を示す番号である位置番号とで構成されている。ここで、画像構成情報のインデックスは、サーバのIPアドレスとサーバ15内における位置番号との組に限らず、サーバの名称とフルパス名の組や、URI(Uniform Resource Identifiers)等を用いてもよい。
画像構成情報生成部24は、画像構成情報のインデックスを含む表現情報を受信すると、画像構成情報のインデックスにもとづいて通信回線14を介してサーバ15に接続し、画像構成情報の位置番号を送信する。サーバ15の画像構成情報送信部25は、画像構成情報生成部24から受信した位置番号の画像構成情報をサーバ画像構成情報記憶部35から読み出して、読み出した画像構成情報を通信回線14を介して画像構成情報生成部24に送信する。
ここで、受信装置13は、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示部22に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭載する。また、画像情報生成処理で、画像構成情報の全部または一部を記憶するサーバ画像構成情報記憶部35と、サーバ画像構成情報記憶部35が記憶している画像構成情報の全部または一部を送信する画像構成情報送信部25とを含むサーバ15から、表現情報に含まれ、サーバ画像構成情報記憶部35が記憶する画像構成情報の全部または一部の位置を示す情報である画像構成情報のインデックスにもとづいて、サーバ15が記憶する画像構成情報の全部または一部の送信をサーバ15に要求する処理を実行してもよく、サーバ15から画像構成情報の全部または一部を受信する処理を実行してもよい。さらに、音声合成処理で、声質情報の全部または一部を記憶する外部声質情報記憶部(図示せず)と、外部声質情報記憶部が記憶している声質情報の全部または一部を送信する声質情報送信部(図示せず)とを含むサーバ15から、表現情報に含まれ、外部声質情報記憶部が記憶している声質情報の全部または一部の位置を示す情報である声質情報のインデックスにもとづいて、サーバ15が記憶する声質情報の全部または一部の送信を、サーバ15に要求する処理を実行してもよく、サーバ15から、声質情報の全部または一部を受信する処理を実行してもよい。
次に、本発明の第3の実施の形態の動作について説明する。図13は、画像構成情報生成部24が画像構成情報送信部25から画像構成情報を受信する際の動作を説明するシーケンス図である。
画像構成情報生成部24は、画像構成情報のインデックスを受信すると(ステップS301)、通信回線14を介してサーバ15の画像構成情報送信部25に接続を要求する、(ステップS302)。画像構成情報送信部25は、接続を許可する(ステップS303)。
画像構成情報生成部24は、画像構成情報のインデックスに含まれる位置番号を、画像構成情報送信部25に通信回線14を介して送信して、画像構成情報の送信を要求する(ステップS304)。画像構成情報送信部25は、位置番号を受信すると(ステップS305)、受信した位置番号の画像構成情報をサーバ画像構成情報記憶部35から読み出し(ステップS306)、読み出した画像構成情報を、画像構成情報生成部24に通信回線14を介して送信する(ステップS307)。
画像構成情報生成部24は、画像構成情報を受信すると(ステップS308)、画像構成情報送信部25に接続の切断を要求する(ステップS309)。画像構成情報送信部25は、接続の切断を許可する(ステップS310)。画像構成情報生成部24は、画像構成情報送信部25との接続を切断する(ステップS311)。
本発明の第3の実施の形態の、送信装置11と受信装置13とサーバ15との動作について説明する。図14は、本発明の第3の実施の形態の動作を説明するフローチャートである。
送信装置11の送信部32は、テキストメッセージと表現情報とを、通信回線12を介して受信装置113に送信する(ステップS401)。受信装置13では、声質情報生成部23と画像構成情報生成部24とが表現情報を受信し、音声合成手段21がテキストメッセージを受信する(ステップS402)。
画像情報生成部24は、表現情報に含まれる画像構成情報のインデックスにもとづいて、画像構成情報をサーバ15から通信回線14を介して受信する(ステップS403)。画像情報生成部24は、図13のシーケンス図に示す動作を行ない、サーバ15から画像構成情報を受信する。そして、画像情報生成部24は、受信した画像構成情報を画像構成情報記憶部33に記憶させ、画像構成情報を受信したことを音声合成手段21に通知する。
声質情報生成部23は、受信した表現情報から声質情報を生成する(ステップS404)。画像表示部22は、画像構成情報記憶部33が記憶している画像構成情報を読み出し、基本画像を表示する(ステップS405)。音声合成部21は、声質情報生成部23が生成した声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、合成音声を生成し、スピーカ27に合成音声の出力を開始する(ステップS406)。
ステップS407以降(ステップS407〜S420)の動作は、第1の実施の形態におけるステップS106以降(ステップS107〜S120)の動作と同様なため、説明を省略する。
なお、第3の実施の形態で述べた例では、画像構成情報生成部24は、画像構成情報の全てをサーバ15から受信したが、本発明はこれに限定されるものではなく、画像構成情報の一部を送信装置11から表現情報として受信し、残りの情報をサーバ15から受信してもよい。具体的には、表現情報の画像構成情報に、画像表示部が画像を表示するのに必要となる情報の一部(例えば、基本画像)が欠けていたり、表現情報の画像構成情報に、基本画像がないことを示す情報と、基本画像が記憶されているインデックスとが含まれていたりする場合、画像構成情報生成部24は、サーバ15に接続して基本画像を受信し、サーバ15から受信した基本画像と、表現情報に含まれている他の情報とで画像構成情報を生成してもよい。
また、第3の実施の形態で述べた例では、画像構成情報の全部または一部をサーバ15から受信するという構成になっているが、サーバ15が声質情報を記憶し、声質情報生成部23が通信回線14を介してサーバ15と接続され、声質情報の全部または一部をサーバ15から受信して、声質情報を生成してもよい。その場合、表現情報に声質情報のインデックスが含まれる。さらに、画像構成情報部24が画像構成情報の全部または一部をサーバ15から受信し、声質情報生成部23が声質情報の全部または一部をサーバ15から受信する構成であってもよい。
以上、述べたように、この実施の形態によれば、画像表示部22が表示する画像または音声合成部21が生成する合成音声を、サーバ15が記憶している画像構成情報または声質情報にもとづいて生成するため、例えば著名人やキャラクタの画像や音声を使用する権利を有する第三者が、画像構成情報または声質情報をサーバ15に記憶させて、受信装置13に送信することで、送信装置11のユーザと受信装置13のユーザとは、より多彩なコミュニケーションを行うことができる。
また、通信回線14がLAN等の専用回線であれば、画像情報生成部24とサーバ15との通信プロトコルを簡易なものにできるので、システムの構築が簡単になる。また、通信回線14がインターネット等の公衆回線網であれば、画像情報生成部24は、他のサーバに接続して、他のサーバが記憶している画像構成情報または声質情報を受信することができるため、受信装置13のユーザは、複数のサーバが記憶している画像構成情報または声質情報を使い分けることができる。
実施の形態4.
本発明の第4の実施の形態について、図面を参照して説明する。図15は、本発明の第4の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第3の実施の形態のサーバ15に通信回線16を介して外部の課金処理システムに接続される課金情報生成部(課金手段)26を含む点が第3の実施の形態と異なる。そして、画像構成情報送信部25は、サーバ画像構成情報記憶部35が記憶している画像構成情報を通信回線14を介して受信装置13の画像構成情報生成部24に送信すると、送信した画像構成情報と、送信先の受信装置13を示す情報とを課金情報生成部26に出力する。その他の構成は第3の実施の形態と同様である。そのため、第3の実施の形態と同様の回路等については図11と同じ符号を付し、説明を省略する。
本発明の第4の実施の形態について、図面を参照して説明する。図15は、本発明の第4の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第3の実施の形態のサーバ15に通信回線16を介して外部の課金処理システムに接続される課金情報生成部(課金手段)26を含む点が第3の実施の形態と異なる。そして、画像構成情報送信部25は、サーバ画像構成情報記憶部35が記憶している画像構成情報を通信回線14を介して受信装置13の画像構成情報生成部24に送信すると、送信した画像構成情報と、送信先の受信装置13を示す情報とを課金情報生成部26に出力する。その他の構成は第3の実施の形態と同様である。そのため、第3の実施の形態と同様の回路等については図11と同じ符号を付し、説明を省略する。
次に、本発明の第4の実施の形態の動作について説明する。図16は、画像構成情報生成部24が画像構成情報送信部25から画像構成情報を受信し、画像構成情報送信部25が、送信した画像構成情報と送信先の受信装置13とを示す情報を課金情報生成部26に出力する際の動作を説明するシーケンス図である。
画像構成情報生成部24が、画像構成情報のインデックスを受信すると(ステップS501)、サーバ15の画像構成情報送信部25に受信装置13を示す情報を送信して接続を要求する、(ステップS502)。画像構成情報送信部25は、受信装置13の認証を行ない(ステップS503)、接続を許可する(ステップS504)。
画像構成情報生成部24は、画像構成情報のインデックスに含まれる位置番号を、画像構成情報送信部25に送信する(ステップS505)。画像構成情報送信部25は、位置番号を受信すると(ステップS506)、受信した位置番号の画像構成情報をサーバ画像構成情報記憶部35から読み出し(ステップS507)、読み出した画像構成情報を、画像構成情報生成部24に送信する(ステップS508)。
画像構成情報送信部25は、送信した画像構成情報と送信先の受信装置13を示す情報とを課金情報生成部26に出力する(ステップS509)。課金情報生成部26は、送信した画像構成情報と送信先の受信装置13を示す情報とにもとづいて、受信装置13に課金する金額を決定し、決定した課金する金額と受信装置13を示す情報とである課金情報を生成し(ステップS510)、生成した課金情報を通信回線16を介して外部の課金処理システムに送信する(ステップS511)。外部の課金処理システムは、受信した課金情報にもとづいて、受信装置13のユーザに課金し、料金を請求する。なお、課金する金額は、外部の課金処理システムが決定してもよい。その場合、課金情報は、送信した画像構成情報と送信先の受信装置13を示す情報を含む情報である。
画像構成情報生成部24は、画像構成情報を受信すると(ステップS512)、画像構成情報送信部25に接続の切断を要求する(ステップS513)。画像構成情報送信部25は、接続の切断を許可する(ステップS514)。画像構成情報生成部24は、画像構成情報送信部25との接続を切断する(ステップS515)。
なお、以上に述べた例では、課金情報生成部26は、送信した画像構成情報と送信先の受信装置13を示す情報とにもとづいて、受信装置13に課金する金額を決定しているが、サーバ15が声質情報を記憶し、送信した声質情報と送信先の受信装置13を示す情報とにもとづいて、受信装置13に課金する金額を決定してもよい。
以上、述べたように、この実施の形態によれば、受信装置13のユーザによる、画像構成情報や声質情報の利用回数や種類に応じた課金処理が可能となり、例えば著名人やキャラクタの声質情報や画像構成情報を有料で受信装置13のユーザに提供することができる。また、例えば、画像構成情報や声質情報に広告・宣伝の要素を入れると、そのような画像構成情報や声質情報を利用した回数に応じて広告主に対して課金することができる。
なお、本実施の形態では、課金情報生成部26はサーバ15に含まれるが、送信装置11が課金情報生成部26を含み、課金情報生成部26は、送信部32が表現情報を受信装置13に送信すると、送信した表現情報に応じて、受信装置13のユーザに課金してもよい。
本発明によれば、電子メールや電子会議、チャット等の、テキストのメッセージの送受信を行う用途に適用することができる。また、マンマシンインタフェースのような、機械的に生成されるメッセージを出力する用途に適用することができる。
11 送信装置
12、14、16 通信回線
13 受信装置
15 サーバ
21 音声合成部
22 画像表示部
23 声質情報生成部
24 画像構成情報生成部
25 画像構成情報送信部
26 課金情報生成部
27 スピーカ
31 テキストメッセージ記憶部
32 送信部
33 画像構成情報記憶部
34 表現情報記憶部
35 サーバ画像構成情報記憶部
12、14、16 通信回線
13 受信装置
15 サーバ
21 音声合成部
22 画像表示部
23 声質情報生成部
24 画像構成情報生成部
25 画像構成情報送信部
26 課金情報生成部
27 スピーカ
31 テキストメッセージ記憶部
32 送信部
33 画像構成情報記憶部
34 表現情報記憶部
35 サーバ画像構成情報記憶部
Claims (40)
- テキストメッセージを送信する送信手段と、
受信したテキストメッセージにもとづいて合成音声を生成する音声合成手段と、
前記合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、
前記画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段と、
前記画像表示手段に表示させる画像の情報である画像構成情報と、前記音声合成手段に生成させる合成音声の特徴の情報である声質情報とを含む表現情報を予め記憶する表現情報記憶手段と
を含み、
前記画像情報生成手段は、前記画像構成情報にもとづいて画像の情報を生成し、
前記音声合成手段は、前記声質情報にもとづいて合成音声を生成し、生成した前記合成音声の区切りを示す情報である区切り情報を生成して、前記画像表示手段に入力し、
前記画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる
ことを特徴とするメッセージ伝達システム。 - 送信手段を含む送信装置と、
音声合成手段と、画像情報生成手段と、画像表示手段と、表現情報記憶手段とを含む受信装置とを備えた
請求項1記載のメッセージ伝達システム。 - 音声合成手段と、画像情報生成手段と、画像表示手段とを含む受信装置と、
送信手段と、表現情報記憶手段と、前記表現情報記憶手段が記憶している表現情報を前記受信装置に送信する表現情報送信手段とを含む送信装置とを備え、
前記受信装置は、前記表現情報を受信して声質情報を生成する声質情報生成手段を含み、
前記画像情報生成手段は、前記表現情報を前記送信装置から受信して、前記表現情報から画像構成情報を生成する
請求項1記載のメッセージ伝達システム。 - 送信装置は、受信装置に送信した表現情報に応じた料金の情報である表現情報課金情報を生成する課金手段を含む
請求項3記載のメッセージ伝達システム。 - 画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、前記外部画像構成情報記憶手段が記憶している前記画像構成情報の全部または一部を受信装置に送信する画像構成情報送信手段とを含む画像構成情報提供装置を備えた
請求項3または請求項4記載のメッセージ伝達システム。 - 受信装置と画像構成情報提供装置とは専用回線で接続される
請求項5記載のメッセージ伝達システム。 - 受信装置と画像構成情報提供装置とは公衆回線網で接続される
請求項5記載のメッセージ伝達システム。 - 表現情報は、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含み、
画像情報生成手段は、前記画像インデックス情報にもとづいて、画像構成情報送信手段に、前記外部画像構成情報記憶手段が記憶する前記画像構成情報の全部または一部の送信を要求する
請求項5から請求項7のうちいずれか1項記載のメッセージ伝達システム。 - 画像構成情報送信手段は、画像情報生成手段の要求に応じて、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部を受信装置に送信する
請求項8記載のメッセージ伝達システム。 - 画像構成情報提供装置は、受信装置に送信した画像構成情報に応じた料金の情報である画像課金情報を生成する課金手段を含む
請求項5から請求項9のうちいずれか1項記載のメッセージ伝達システム。 - 声質情報の全部または一部を記憶する外部声質情報記憶手段と、前記外部声質情報記憶手段が記憶している前記声質情報の全部または一部を受信装置に送信する声質情報送信手段を含む声質情報提供装置を備えた
請求項3から請求項10のうちいずれか1項記載のメッセージ伝達システム。 - 受信装置と声質情報提供装置とは専用回線で接続される
請求項11記載のメッセージ伝達システム。 - 受信装置と声質情報提供装置とは公衆回線網で接続される
請求項11記載のメッセージ伝達システム。 - 表現情報は、外部声質情報記憶手段が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含み、
音声合成手段は、前記声質インデックス情報にもとづいて、声質情報送信手段に、前記外部声質情報記憶手段が記憶する前記声質情報の全部または一部の送信を要求する
請求項11から請求項13のうちいずれか1記載のメッセージ伝達システム。 - 声質情報送信手段は、音声合成手段の要求に応じて、外部声質情報記憶手段が記憶する声質情報の全部または一部を受信装置に送信する
請求項14記載のメッセージ伝達システム。 - 声質情報提供装置は、受信装置に送信した声質情報に応じた料金の情報である声質課金情報を生成する課金手段を含む
請求項11から請求項15のうちいずれか1項記載のメッセージ伝達システム。 - テキストメッセージを受信し、
表示する画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信した前記テキストメッセージとにもとづいて合成音声を生成し、
前記合成音声の区切りを示す情報である区切り情報を生成し、
前記合成音声を出力し、
前記画像構成情報にもとづいて前記合成音声の出力とともに表示する画像の情報を生成し、
前記画像の情報にもとづく画像を表示し、
前記区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる
ことを特徴とするメッセージ伝達方法。 - 表現情報から画像構成情報を生成し、
前記表現情報から声質情報を生成する
請求項17記載のメッセージ伝達方法。 - 予め記憶している表現情報を送信し、
前記表現情報を受信すると、受信した前記表現情報から画像構成情報を生成し、受信した前記表現情報から声質情報を生成する
請求項17記載のメッセージ伝達方法。 - 送信した表現情報に応じた料金の情報である表現情報課金情報を生成する
請求項19記載のメッセージ伝達方法。 - 表現情報は、画像構成情報の全部または一部を記憶している外部画像構成情報記憶手段における、前記画像構成情報の全部または一部を記憶している位置を示す情報である画像インデックス情報を含み、
前記画像インデックス情報にもとづいて、前記外部画像構成情報記憶手段に前記画像構成情報の全部または一部の送信を要求し、
前記外部画像構成情報記憶手段から、前記画像構成情報の全部または一部を受信する
請求項19または請求項20記載のメッセージ伝達方法。 - 外部画像構成情報記憶手段において、送信した画像構成情報に応じた料金の情報である画像課金情報を生成する
請求項21記載のメッセージ伝達方法。 - 表現情報は、声質情報の全部または一部を記憶している外部声質情報記憶手段における、前記声質情報の全部または一部を記憶している位置を示す情報である声質インデックス情報を含み、
前記声質インデックス情報にもとづいて、前記外部声質情報記憶手段に、前記声質情報の全部または一部の送信を要求し、
前記外部声質情報記憶手段から、前記声質情報の全部または一部を受信する
請求項19から請求項22のうちいずれか1項記載のメッセージ伝達方法。 - 外部声質情報記憶手段において、送信した声質情報に応じた料金の情報である声質課金情報を生成する
請求項23記載のメッセージ伝達方法。 - 送信装置からテキストメッセージを受信する受信装置において、
画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、前記送信装置から受信したテキストメッセージとにもとづいて合成音声を生成する音声合成手段と、前記画像構成情報にもとづいて、合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、前記画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段とを含み、
前記音声合成手段は、生成した前記合成音声の区切りを示す情報である区切り情報を生成して、前記画像表示手段に入力し、
前記画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる
ことを特徴とする受信装置。 - 表現情報を予め記憶する表現情報記憶手段を含み、
画像情報生成手段は、前記表現情報から画像構成情報を生成する
請求項25記載の受信装置。 - 表現情報を受信して、前記表現情報から声質情報を生成する声質情報生成手段を含み、
画像情報生成手段は、前記表現情報を受信して、前記表現情報から画像構成情報を生成する
請求項25記載の受信装置。 - 画像構成情報の全部または一部を記憶する画像構成情報提供装置から、前記画像構成情報の全部または一部を受信する
請求項26または請求項27記載の受信装置。 - 表現情報は、画像構成情報提供装置が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含み、
画像情報生成手段は、前記画像インデックス情報にもとづいて、前記画像情報提供装置に、前記画像情報提供装置が記憶する前記画像構成情報の全部または一部の送信を要求し、前記画像情報提供装置から、前記画像情報提供装置が記憶する前記画像構成情報の全部または一部を受信する
請求項28記載の受信装置。 - 画像情報提供装置と専用回線で接続された
請求項28または請求項29記載の受信装置。 - 画像情報提供装置と公衆回線網で接続された
請求項28または請求項29記載の受信装置。 - 声質情報の全部または一部を記憶する声質情報提供装置から、前記声質情報の全部または一部を受信する
請求項26から請求項31のうちいずれか1項記載の受信装置。 - 表現情報は、声質情報提供装置が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含み、
音声合成手段は、前記声質インデックス情報にもとづいて、前記声質情報提供装置に、前記声質情報提供装置が記憶する声質情報の全部または一部の送信を要求し、前記声質情報提供装置から、前記声質情報提供装置が記憶する前記声質情報の全部または一部を受信する
請求項32記載の受信装置。 - 声質情報提供装置と専用回線で接続された
請求項32または請求項33記載の受信装置。 - 声質情報提供装置と公衆回線網で接続された
請求項32または請求項33記載の受信装置。 - 受信装置に伝達するテキストメッセージ、受信装置に表示させる画像の情報である画像構成情報、および受信装置に生成させるテキストメッセージの合成音声の特徴の情報である声質情報を含む表現情報とを送信する送信手段を含む
ことを特徴とする送信装置。 - コンピュータに、
画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、前記合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、
テキストメッセージの合成音声の出力とともに表示する画像の情報を、前記画像構成情報にもとづいて生成させる画像情報生成処理と、
前記区切り情報にもとづいて、画像を表示する画像表示手段に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理と
を実行させることを特徴とするメッセージ伝達プログラム。 - コンピュータに、
表現情報を受信して、前記表現情報から声質情報を生成する声質情報生成処理を実行させ、
画像情報生成処理で、前記表現情報を受信して、前記表現情報から画像構成情報を生成する処理を実行させる
請求項37記載のメッセージ伝達プログラム。 - コンピュータに、
画像情報生成処理で、画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、前記外部画像構成情報記憶手段が記憶している前記画像構成情報の全部または一部を送信する画像構成情報送信手段とを含む画像情報提供装置から、表現情報に含まれ、前記外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報にもとづいて、前記画像情報提供装置が記憶する前記画像構成情報の全部または一部の送信を、前記画像情報提供装置に要求する処理を実行させ、前記画像情報提供装置から前記画像構成情報の全部または一部を受信する処理を実行させる
請求項38記載のメッセージ伝達プログラム。 - コンピュータに、
音声合成処理で、声質情報の全部または一部を記憶する外部声質情報記憶手段と、前記外部声質情報記憶手段が記憶している前記声質情報の全部または一部を送信する声質情報送信手段とを含む声質情報提供装置から、表現情報に含まれ、前記外部声質情報記憶手段が記憶している前記声質情報の全部または一部の位置を示す情報である声質インデックス情報にもとづいて、前記声質情報提供装置が記憶する前記声質情報の全部または一部の送信を、前記声質情報提供装置に要求する処理を実行させ、前記声質情報提供装置から、前記声質情報の全部または一部を受信する処理を実行させる
請求項38または請求項39記載のメッセージ伝達プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004062408A JP2007241321A (ja) | 2004-03-05 | 2004-03-05 | メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム |
PCT/JP2005/003216 WO2005086010A1 (ja) | 2004-03-05 | 2005-02-25 | メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004062408A JP2007241321A (ja) | 2004-03-05 | 2004-03-05 | メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007241321A true JP2007241321A (ja) | 2007-09-20 |
Family
ID=34918115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004062408A Pending JP2007241321A (ja) | 2004-03-05 | 2004-03-05 | メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2007241321A (ja) |
WO (1) | WO2005086010A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009125710A1 (ja) * | 2008-04-08 | 2009-10-15 | 株式会社エヌ・ティ・ティ・ドコモ | メディア処理サーバ装置およびメディア処理方法 |
JP2012068910A (ja) * | 2010-09-24 | 2012-04-05 | Toshiba Alpine Automotive Technology Corp | 情報処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3299797B2 (ja) * | 1992-11-20 | 2002-07-08 | 富士通株式会社 | 合成画像表示システム |
JPH09138767A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ten Ltd | 感情表現の通信装置 |
JP2000347956A (ja) * | 1999-03-31 | 2000-12-15 | Sony Corp | 情報処理装置および情報処理方法、並びに記録媒体 |
-
2004
- 2004-03-05 JP JP2004062408A patent/JP2007241321A/ja active Pending
-
2005
- 2005-02-25 WO PCT/JP2005/003216 patent/WO2005086010A1/ja active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009125710A1 (ja) * | 2008-04-08 | 2009-10-15 | 株式会社エヌ・ティ・ティ・ドコモ | メディア処理サーバ装置およびメディア処理方法 |
JPWO2009125710A1 (ja) * | 2008-04-08 | 2011-08-04 | 株式会社エヌ・ティ・ティ・ドコモ | メディア処理サーバ装置およびメディア処理方法 |
JP2012068910A (ja) * | 2010-09-24 | 2012-04-05 | Toshiba Alpine Automotive Technology Corp | 情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2005086010A1 (ja) | 2005-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6077521B2 (ja) | テキストメッセージにおける触覚コンテンツ | |
FI115868B (fi) | Puhesynteesi | |
US7756536B2 (en) | Device and method for providing and displaying animated SMS messages | |
US20090157223A1 (en) | Robot chatting system and method | |
CN104869225B (zh) | 智能对话方法和使用所述方法的电子装置 | |
JP2000305583A (ja) | 音声合成装置 | |
WO2003063483A1 (fr) | Dispositif de communication | |
JP2008529403A (ja) | 移動通信網における3dキャラクターを利用したニュース情報を提供する方法及びシステム | |
WO2018186416A1 (ja) | 翻訳処理方法、翻訳処理プログラム、及び、記録媒体 | |
JP6218568B2 (ja) | 通信装置、通信システム、通信方法、および通信プログラム | |
KR100941598B1 (ko) | 감정적 콘텐츠 효과를 포함하는 전화 통신 서비스를제공하는 VoIP 전화 통신 시스템 및 방법 | |
KR20070008477A (ko) | 감성 전달 기능을 가진 동작 포함 로봇 채팅 시스템 | |
KR101916107B1 (ko) | 통신 단말 및 그 통신 단말의 정보처리 방법 | |
WO2005086010A1 (ja) | メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム | |
JP2004193809A (ja) | 通信装置 | |
KR100499769B1 (ko) | 이동 통신 단말의 인스턴트 메신저를 통한 사진 표시 방법및 이를 위한 이동 통신 단말 | |
JP6064209B2 (ja) | 通話システム及び通話中継方法 | |
JP6805663B2 (ja) | 通信装置、通信システム、通信方法及びプログラム | |
KR20040025029A (ko) | 유무선통신단말기의 문자데이터 입력을 통한 영상데이터전송방법 | |
JP2006048352A (ja) | キャラクタ映像表示機能付き通信端末およびその制御方法 | |
JP4530016B2 (ja) | 情報通信システムおよびそのデータ通信方法 | |
JP2011141651A (ja) | 電子メールシステム、電子メール受信装置および表示方法 | |
JP6677596B2 (ja) | 通信端末 | |
JP2015115740A (ja) | 電話通信装置、電話通信方法及びプログラム | |
JP2023092307A (ja) | 端末装置、プログラム、及び端末装置の動作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080708 |