JP2007241321A - メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム - Google Patents

メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム Download PDF

Info

Publication number
JP2007241321A
JP2007241321A JP2004062408A JP2004062408A JP2007241321A JP 2007241321 A JP2007241321 A JP 2007241321A JP 2004062408 A JP2004062408 A JP 2004062408A JP 2004062408 A JP2004062408 A JP 2004062408A JP 2007241321 A JP2007241321 A JP 2007241321A
Authority
JP
Japan
Prior art keywords
information
image
voice quality
configuration information
image configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004062408A
Other languages
English (en)
Inventor
Reishi Kondou
玲史 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2004062408A priority Critical patent/JP2007241321A/ja
Priority to PCT/JP2005/003216 priority patent/WO2005086010A1/ja
Publication of JP2007241321A publication Critical patent/JP2007241321A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】 画像を表示しながら、送信装置が送信したテキストメッセージを読み上げる受信装置を含むメッセージ伝達システムを提供する。
【解決手段】 送信装置１１がテキストメッセージを受信装置１３に送信する。受信装置１３では、音声合成部２１が、受信したテキストメッセージにもとづいて合成音声を生成し、スピーカ２７から出力する。画像構成情報生成部２４が、合成音声の出力とともに表示する画像の情報を生成し、画像表示部２２が画像の情報にもとづく画像を表示する。このとき、音声合成部２１は、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示部２２に入力し、画像表示部２２は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる。
【選択図】 図１

Description

本発明は、受信装置が受信したメッセージを読み上げ、画像を表示するメッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムに関する。
従来のメッセージ伝達システムの一例が、非特許文献１に記載されている。図１７は、従来のメッセージ伝達システムの一構成例を示すブロック図である。図１７に示すように、この従来のメッセージ伝達システムは、音声合成部２１と、画像表示部２２とを含む。このような構成を有する従来のメッセージ伝達システムは、次のように動作する。
音声合成部２１は、受信した電子メールの内容を読み上げる。このとき読み上げに用いる音声の性質（以下、声質情報という。）は、受信装置１１の使用者（以下、受信者という。）が設定した声質情報か、または受信装置１１が自動に選択した声質情報を使用する。また、画像表示部２２は、受信装置１３が受信した電子メールに対応した画像を表示するとともに、読み上げの進行にともなって、画像を変化させる。
このため、画像の情報および画像を変化させるための情報である画像構成情報を用いる。ここで、画像構成情報とは、受信者が予め受信装置１３に記憶させている画像と、その画像に対して受信者が設定した目、口などの顔の部位の位置情報である。また、他の例では、画像構成情報を、受信者が設定する代わりに、予め端末内に記憶しているものがある。
また、受信した電子メールを読み上げる他のシステムが、特許文献１に記載されている。特許文献１に記載されているシステムは、受信したメッセージ中の文字列に埋め込まれた動作制御情報にもとづいて、電子メールを合成音声で読み上げると同時に、ロボットを動かす。また、送信者に対応付けて受信した電子メールの音声データを記憶する。
さらに、受信した電子メールを読み上げる別の方法が、特許文献２に記載されている。特許文献２に記載されている方法は、受信した電子メールに対して、予め受信側で記憶している複数の画像のうちから、送信者ＩＤによって画像を選択して表示し、電子メールを合成音声で読み上げる。合成音声の声質情報は、送信者の音声を予め分析して利用する。
「ＮＴＴドコモ携帯電話総合カタログ Ｄｅｃｅｍｂｅｒ２００３（９版）」株式会社ＮＴＴドコモ、２００３年１２月、ｐ．２７ 特開２００３−３０８１４２号公報 （段落００５９−０１１２、図１） 特開平０７−０６６８３２号公報 （段落００１４−００５９、図１）
しかし、従来の技術の第１の問題点は、声質情報と画像構成情報とをともに設定する場合、それぞれを別々に設定しなければならない点である。また、第２の問題点は、受信した電子メールの送信者に適した声質情報または画像構成情報を、受信者が予め選択する等の準備をしなければならず、送信者が電子メールの送信時に送信者に適した声質情報または画像構成情報を通信回線を介して提供する方法が無いということである。さらに、第３の問題点は、送信者と受信者以外の第三者が提供する声質情報または画像構成情報を、通信回線を介して受信者に提供する方法が無いということである。
そこで、本発明は、声質情報または画像構成情報を一体として扱うことのできる、メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムを提供することを目的とする。また、本発明は、電子メールの送信者が、電子メールの送信時に送信者に適した声質情報または画像構成情報を、通信回線を介して提供できるメッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムを提供することを目的とする。さらに、本発明は、送信者と受信者以外の第三者が提供する声質情報または画像構成情報を、通信回線を介して提供するメッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラムを提供することを目的とする。
本発明によるメッセージ伝達システムは、テキストメッセージを送信する送信手段と、受信したテキストメッセージにもとづいて合成音声を生成する音声合成手段と、合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段と、画像表示手段に表示させる画像の情報である画像構成情報と、音声合成手段に生成させる合成音声の特徴の情報である声質情報とを含む表現情報を予め記憶する表現情報記憶手段とを含み、画像情報生成手段は、画像構成情報にもとづいて画像の情報を生成し、音声合成手段は、声質情報にもとづいて合成音声を生成し、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示手段に入力し、画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させることを特徴とする。
送信手段を含む送信装置と、音声合成手段と、画像情報生成手段と、画像表示手段と、表現情報記憶手段とを含む受信装置とを備えてもよい。そのような構成によれば、受信装置のユーザが希望する画像と音声とを受信装置に出力させることができる。
音声合成手段と、画像情報生成手段と、画像表示手段とを含む受信装置と、送信手段と、表現情報記憶手段と、表現情報記憶手段が記憶している表現情報を受信装置に送信する表現情報送信手段とを含む送信装置とを備えてもよく、受信装置は、表現情報を受信して声質情報を生成する声質情報生成手段を含んでもよく、画像情報生成手段は、表現情報を送信装置から受信して、表現情報から画像構成情報を生成してもよい。そのような構成によれば、送信装置のユーザが希望する画像と音声とを、受信装置に出力させることができる。
送信装置は、受信装置に送信した表現情報に応じた料金の情報である表現情報課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信装置に送信した表現情報に応じて、送信装置のユーザに料金を課金することができる。
画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、外部画像構成情報記憶手段が記憶している画像構成情報の全部または一部を受信装置に送信する画像構成情報送信手段とを含む画像構成情報提供装置を備えてもよい。そのような構成によれば、外部画像構成情報記憶手段が記憶している、送信装置および受信装置のユーザ以外の第三者が提供する画像を、受信装置に出力させることができる。
受信装置と画像構成情報提供装置とは専用回線で接続されてもよい。そのような構成によれば、受信装置と画像構成情報提供装置との通信のプロトコルを簡易なものにできるので、メッセージ伝達システムの構築が簡単になる。
受信装置と画像構成情報提供装置とは公衆回線網で接続されてもよい。そのような構成によれば、受信装置のユーザは、インターネット等の公衆回線網を介して複数の画像構成情報提供装置が記憶している画像構成情報を用いることができる。
表現情報は、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含んでもよく、画像情報生成手段は、画像インデックス情報にもとづいて、画像構成情報送信手段に、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の送信を要求してもよい。
画像構成情報送信手段は、画像情報生成手段の要求に応じて、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部を受信装置に送信してもよい。
画像構成情報提供装置は、受信装置に送信した画像構成情報に応じた料金の情報である画像課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信装置に送信した画像構成情報に応じて、受信装置のユーザに料金を課金することができる。
声質情報の全部または一部を記憶する外部声質情報記憶手段と、外部声質情報記憶手段が記憶している声質情報の全部または一部を受信装置に送信する声質情報送信手段を含む声質情報提供装置を備えてもよい。そのような構成によれば、外部声質情報記憶手段が記憶している、送信装置および受信装置のユーザ以外の第三者が提供する音声の性質の合成音声を、受信装置に出力させることができる。
受信装置と声質情報提供装置とは専用回線で接続されてもよい。そのような構成によれば、受信装置と声質情報提供装置との通信のプロトコルを簡易なものにできるので、メッセージ伝達システムの構築が簡単になる。
受信装置と声質情報提供装置とは公衆回線網で接続されてもよい。そのような構成によれば、受信装置のユーザは、インターネット等の公衆回線網を介して複数の声質情報提供装置が記憶している画像構成情報を用いることができる。
表現情報は、外部声質情報記憶手段が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含んでもよく、音声合成手段は、声質インデックス情報にもとづいて、声質情報送信手段に、外部声質情報記憶手段が記憶する声質情報の全部または一部の送信を要求してもよい。
声質情報送信手段は、音声合成手段の要求に応じて、外部声質情報記憶手段が記憶する声質情報の全部または一部を受信装置に送信してもよい。
声質情報提供装置は、受信装置に送信した声質情報に応じた料金の情報である声質課金情報を生成する課金手段を含んでもよい。そのような構成によれば、受信装置に送信した声質情報に応じて、受信装置のユーザに料金を課金することができる。
本発明によるメッセージ伝達方法は、テキストメッセージを受信し、表示する画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成し、合成音声の区切りを示す情報である区切り情報を生成し、合成音声を出力し、画像構成情報にもとづいて合成音声の出力とともに表示する画像の情報を生成し、画像の情報にもとづく画像を表示し、区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させることを特徴とする。
表現情報から画像構成情報を生成してもよく、表現情報から声質情報を生成してもよい。そのような方法によれば、ユーザが希望する画像と音声とを出力させることができる。
予め記憶している表現情報を送信してもよく、表現情報を受信すると、受信した表現情報から画像構成情報を生成してもよく、受信した表現情報から声質情報を生成してもよい。そのような方法によれば、送信側のユーザが希望する画像と音声とを、出力側に出力させることができる。
送信した表現情報に応じた料金の情報である表現情報課金情報を生成してもよい。そのような方法によれば、送信した表現情報に応じて、受信側のユーザに料金を課金することができる。
表現情報は、画像構成情報の全部または一部を記憶している外部画像構成情報記憶手段における、画像構成情報の全部または一部を記憶している位置を示す情報である画像インデックス情報を含んでもよく、画像インデックス情報にもとづいて、外部画像構成情報記憶手段に、記憶している画像構成情報の全部または一部の送信を要求してもよく、外部画像構成情報記憶手段から、画像構成情報の全部または一部を受信してもよい。そのような方法によれば、外部画像構成情報記憶手段が記憶している第三者等の画像を、受信側に出力させることができる。
外部画像構成情報記憶手段において、送信した画像構成情報に応じた料金の情報である画像課金情報を生成してもよい。そのような方法によれば、受信側に送信した画像構成情報に応じて、受信側のユーザに料金を課金することができる。
表現情報は、声質情報の全部または一部を記憶している外部声質情報記憶手段における、声質情報の全部または一部を記憶している位置を示す情報である声質インデックス情報を含んでもよく、声質インデックス情報にもとづいて、外部声質情報記憶手段に、声質情報の全部または一部の送信を要求してもよく、外部声質情報記憶手段から、声質情報の全部または一部を受信してもよい。そのような方法によれば、外部声質情報記憶手段が記憶している第三者の音声の性質の合成音声を、受信側に出力させることができる。
外部声質情報記憶手段において、送信した声質情報に応じた料金の情報である声質課金情報を生成してもよい。そのような方法によれば、受信側に送信した声質情報に応じて、受信側のユーザに料金を課金することができる。
本発明による受信装置は、送信装置からテキストメッセージを受信する受信装置であって、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、送信装置から受信したテキストメッセージとにもとづいて合成音声を生成する音声合成手段と、画像構成情報にもとづいて、合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段とを含み、音声合成手段は、生成した合成音声の区切りを示す情報である区切り情報を生成して、画像表示手段に入力し、画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させることを特徴とする。
表現情報を予め記憶する表現情報記憶手段を含んでもよく、画像情報生成手段は、表現情報から画像構成情報を生成してもよい。そのような構成によれば、受信装置のユーザが希望する画像と音声とを出力させることができる。
表現情報を受信して、表現情報から声質情報を生成する声質情報生成手段を含んでもよく、画像情報生成手段は、表現情報を受信して、表現情報から画像構成情報を生成してもよい。そのような構成によれば、送信装置のユーザが希望する画像と音声とを、受信装置に出力させることができる。
画像構成情報の全部または一部を記憶する画像構成情報提供装置から、画像構成情報の全部または一部を受信してもよい。そのような構成によれば、画像情報提供装置が記憶している第三者等の画像を、受信装置に出力させることができる。
表現情報は、画像構成情報提供装置が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含んでもよく、画像情報生成手段は、画像インデックス情報にもとづいて、画像構成情報提供装置に、画像構成情報提供装置が記憶する画像構成情報の全部または一部の送信を要求し、画像構成情報提供装置から、画像構成情報提供装置が記憶する画像構成情報の全部または一部を受信してもよい。
画像情報提供装置と専用回線で接続されていてもよい。そのような構成によれば、受信装置と画像構成情報提供装置との通信のプロトコルを簡易なものにできる。
画像情報提供装置と公衆回線網で接続されていてもよい。そのような構成によれば、受信装置のユーザは、複数の画像情報提供装置が記憶している画像構成情報を用いることができる。
声質情報の全部または一部を記憶する声質情報提供装置から、声質情報の全部または一部を受信してもよい。そのような構成によれば、声質情報提供装置が記憶している第三者の音声の性質の合成音声を、受信装置に出力させることができる。
表現情報は、声質情報提供装置が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含んでもよく、音声合成手段は、声質インデックス情報にもとづいて、声質情報提供装置に、声質情報提供装置が記憶する声質情報の全部または一部の送信を要求し、声質情報提供装置から、声質情報提供装置が記憶する声質情報の全部または一部を受信してもよい。
声質情報提供装置と専用回線で接続されていてもよい。そのような構成によれば、受信装置と声質情報提供装置との通信のプロトコルを簡易なものにできる。
声質情報提供装置と公衆回線網で接続されていてもよい。そのような構成によれば、受信装置のユーザは、複数の声質情報提供装置が記憶している声質情報を用いることができる。
本発明による送信装置は、受信装置に伝達するテキストメッセージ、受信装置に表示させる画像の情報である画像構成情報、および受信装置に生成させるテキストメッセージの合成音声の特徴の情報である声質情報を含む表現情報とを送信する送信手段を含むことを特徴とする。
本発明によるメッセージ伝達プログラムは、コンピュータに、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示手段に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行させることを特徴とする。
コンピュータに、表現情報を受信して、表現情報から声質情報を生成する声質情報生成処理を実行させてもよく、画像情報生成処理で、表現情報を受信して、表現情報から画像構成情報を生成する処理を実行させてもよい。そのような構成によれば、送信側のユーザが希望する画像を画像表示手段に表示させ、送信側のユーザが希望する性質の合成音声を音声出力手段に出力させることができる。
コンピュータに、画像情報生成処理で、画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、外部画像構成情報記憶手段が記憶している画像構成情報の全部または一部を送信する画像構成情報送信手段とを含む画像情報提供装置から、表現情報に含まれ、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報にもとづいて、画像情報提供装置が記憶する画像構成情報の全部または一部の送信を画像情報提供装置に要求する処理を実行させてもよく、画像情報提供装置から画像構成情報の全部または一部を受信する処理を実行させてもよい。そのような構成によれば、画像情報提供装置が記憶している第三者等の画像を、画像表示手段に表示させることができる。
コンピュータに、音声合成処理で、声質情報の全部または一部を記憶する外部声質情報記憶手段と、外部声質情報記憶手段が記憶している声質情報の全部または一部を送信する声質情報送信手段とを含む声質情報提供装置から、表現情報に含まれ、外部声質情報記憶手段が記憶している声質情報の全部または一部の位置を示す情報である声質インデックス情報にもとづいて、声質情報提供装置が記憶する声質情報の全部または一部の送信を、声質情報提供装置に要求する処理を実行させてもよく、声質情報提供装置から、声質情報の全部または一部を受信する処理を実行させてもよい。そのような構成によれば、声質情報提供装置が記憶している第三者の音声の性質の合成音声を、音声出力手段に出力させることができる。
本発明の第１の効果は、電子メールを、 送信者に結び付いた内容である声質情報と画像構成情報を用いて、合成音声と画像とで表現することができることである。また、第２の効果は、電子メールの送信者が提供した声質情報または画像構成情報を使うことで、より緊密なコミュニケーションを行うことが可能になるということである。さらに、第３の効果は、例えば著名人やキャラクタの音声や画像を使用する権利を有する第三者が、声質情報または画像構成情報を受信者に提供することで、送信者と受信者とがより多彩なコミュニケーションを行うことが可能になるということである。
実施の形態１．
本発明の第１の実施の形態について、図面を参照して説明する。図１は、本発明の第１の実施の形態の一構成例を示すブロック図である。
本発明の第１の実施の形態は、電子メール等のテキストメッセージを通信回線１２を介して送信する送信装置１１と、送信装置１１から受信したテキストメッセージにもとづく合成音声の出力と、合成音声の出力に対応した画像の出力とを行う受信装置１３とを含む。
送信装置１１は、テキストメッセージを記憶するテキストメッセージ記憶部３１と、テキストメッセージ記憶部３１が記憶しているテキストメッセージを、通信回線１２を介して受信装置１３に送信する送信部３２とを含む。
受信装置１３は、声質情報と画像構成情報とを含む表現情報を記憶する表現情報記憶部（表現情報記憶手段）３４、表現情報から声質情報を生成する声質情報生成部（声質情報生成手段）２３、表現情報から画像構成情報を生成する画像構成情報生成部（画像情報生成手段）２４、画像構成情報を記憶する画像構成情報記憶部３３、声質情報にもとづいてテキストメッセージを合成音声に変換したり、合成音声の区切りを示す情報である区切り情報を生成したりする音声合成部（音声合成手段）２１、画像構成情報と区切り情報とにもとづいて画像を表示する画像表示部（画像表示手段）２２、および合成音声を出力するスピーカ２７を含む。
声質情報生成部２３は、表現情報記憶部３４が記憶している表現情報から声質情報を生成する。ここで、声質情報は、音声合成部２１がテキストメッセージから変換して生成する合成音声の声質を指定する情報である。なお、声質情報は、話者名、声の高さ、抑揚の強さ、語尾の特徴等の特定個人あるいは概念的な人物像の声を想起させる要素や、発声速度、焦り方などの発話の際におかれている状況を想起させる要素のうち１以上を含む。
画像構成情報生成部２４は、表現情報記憶部３４が記憶している表現情報から、画像構成情報を生成する。ここで、画像構成情報は、画像表示部２２が、送信者本人またはその代理となるキャラクタの画像を構成、表示するために用いる情報である。また、画像構成情報は、画像を生成するために、基本となる画像である基本画像や、顔の画像の場合は目や口や眉毛などの位置と形状との情報を含んでもよく、それ以外の部位の画像の場合も同等の情報を含んでもよい。画像構成情報生成部２４は、生成した画像構成情報を画像構成情報記憶部３３に記憶させる。画像構成情報記憶部３３は、画像構成情報を記憶する。
なお、画像構成情報は、送信者本人の顔写真や、全身写真のほか、似顔絵や、送信者を受信者に想起させるキャラクタなどの無生物等の情報であってもよい。そして、画像構成情報は、上記に限定したものでは無く、コンピュータグラフィックス（ＣＧ）でキャラクタを合成表示するためのパラメータや、複数の静止画像のそれぞれに番号等を付けて束ねたもの等を用いてもよい。
音声合成部２１は、声質情報生成部２３が生成した声質情報にもとづいて、送信装置１１から受信したテキストメッセージを合成音声に変換し、スピーカ２７に出力する。
合成音声の出力中には、合成音声の出力の開始、段落の区切り、文の区切り、音節の区切り、合成音声の出力の終了、などの各種の区切りが存在する。音声合成手段２１は、これらの区切りのうち、予め定めたいくつかの区切りのタイミングで、区切り情報を画像表示部２２に出力する。
画像表示部２２は、音声合成部２１が区切り情報を入力したタイミングで、画像構成情報記憶部３３が記憶している画像構成情報にもとづいて画像を生成し、生成した画像を表示する。なお、画像表示部２２は、予め音声合成部２１が入力した区切り情報に応じて読み込む画像構成情報の要素を記憶している。
ここで、送信装置１１と受信装置１３とは、例えば、電子メール送受信機能を備えた携帯電話機であり、通信回線１２は携帯電話通信網およびそれに付随するデータ通信網である。ただし、本発明の適用はこれらに限定されるものではなく、一般のインターネットを介した電子メールシステムやチャットシステム、専用ホストによるパソコン通信システム、ＩＰ電話網、ビデオ通信網などでもよい。また、通信回線１２を介する送信装置１１と受信装置１３との間の通信は、双方向通信でなくてもよく、送信装置１１から受信装置１３への単一方向通信でもよい。
ここで、受信装置１３は、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示部２２に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭載する。
次に、本発明の第１の実施の形態の動作について説明する。図２は、本発明の第１の実施の形態の動作を説明するフローチャートである。
送信装置１１の送信部３２は、通信回線１２を介して受信装置１３に、テキストメッセージ記憶部３１が記憶しているテキストメッセージを送信する（ステップＳ１０１）。図３に、テキストメッセージ記憶部３１が記憶しているテキストメッセージの一例を示す。図３に示す例では、テキストメッセージ記憶部３１は、「今日は、良い天気です。」というテキストメッセージを記憶している。送信部３２は、通信回線１２を介して受信装置１３に、「今日は、良い天気です。」というテキストメッセージを送信する。
受信装置１３において、音声合成部２１がテキストメッセージを受信すると、声質情報生成部２３および画像構成情報生成部２４に、テキストメッセージを受信したことを通知する（ステップＳ１０２）。声質情報生成部２３および画像構成情報生成部２４は、表現情報記憶部３４が記憶している表現情報を読み出す（ステップＳ１０３）。図４は、表現情報の一例を示す説明図である。図４に示す例では、表現情報は、声質情報と画像構成情報とを含む。
声質情報生成部２３は、読み出した表現情報から声質情報を生成し、画像構成情報生成部２４は、読み出した表現情報から画像構成情報を生成する（ステップＳ１０４）。図５は、声質情報の一例を示す説明図である。声質情報は、話者と、発声速度と、声の高さとを示す情報である。ここで、図５に示す例では、声の高さを基準値＋１００Ｈｚとしているが、例えば３５０Ｈｚ等の絶対値で示してもよい。図６は、画像構成情報の一例を示す説明図である。画像構成情報は、基本画像と、目の相対位置と、目の大きさと、口の相対位置と、口の開度とを示している。目の相対位置と口の相対位置とは、例えば、顔の画像の中心を原点として正規化した座標値で示す。なお、目の相対位置において、右目の相対位置は、例えば、右目を接して囲む四角形の対角線の交点のＹ座標値と、Ｘ座標値とであり、左目の相対位置は、左目を接して囲む四角形の対角線の交点のＹ座標値と、Ｘ座標値とである。また、口の相対位置は、例えば、口を接して囲む四角形の上辺のＹ座標値（口の上下方向の位置を示す。）と、四角形の幅の値（口の幅を示す。）と、四角形の高さの値（口の厚さを示す。）とで示す。目の大きさにおいて、例えば、右目の大きさは、右目を接して囲む四角形の高さ（右目の厚さを示す。）と幅（右目の幅を示す。）との値で示し、左目の大きさは、左目を接して囲む四角形の高さ（左目の厚さを示す。）と幅（左目の幅を示す。）との値で示す。口の開度は、例えば、口を最も大きく開けた時の口を接して囲む四角形の高さを１００として、正規化した値で示す。例えば、口の開度が７５の場合、口を最も大きく開けたときの７５％の高さで口が開いていることを示す。なお、この実施の形態の例では、上述の方法で、画像構成情報が示す画像を数値化して示したが、本発明はこれに限定されるものではなく、他の方法で画像を画像構成情報が示してもよい。画像構成情報生成部２４は、生成した画像構成情報を画像構成情報記憶部３３に記憶させる。
画像表示部２２は、画像構成情報記憶部３３が記憶している画像構成情報を読み出し、基本画像を表示する（ステップＳ１０５）。音声合成部２１は、声質情報生成部２３が生成した声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、合成音声を生成し、スピーカ２７に合成音声の出力を開始する（ステップＳ１０６）。
図７は、音声合成部２１が声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、生成した合成音声の音声波形の一例を示す説明図である。ここで、音声合成部２１は内部でタイミング点の情報を持つ。本実施例におけるタイミング点の例として、図７中に時刻Ａから時刻Ｄを示す。それぞれ、時刻Ａは発声の開始時点の時刻、時刻Ｂは読点の時点の時刻、時刻Ｃは音声合成部２１が認識した文節区切りの時点の時刻、時刻Ｄは発声の終了時点を表している。音声合成部２１はそれぞれのタイミング点の時刻で、区切り情報を生成して画像表示部２２に出力する。画像情報表示部２２は、区切り情報にもとづいて、それぞれのタイミング点の時刻で、予め決められた画像に表示する画像を変化させる。
時刻Ａになると（ステップＳ１０７）、画像表示部２２は画像構成情報記憶部３３が記憶している口の相対位置と口の開度との情報を読み出す（ステップＳ１０８）。そして、画像表示部は、読み出した口の相対位置と口の開度との情報に応じて、口の周辺の画像を生成し、表示している基本画像の口の周辺の画像に上書きする。この実施の形態では、基本画像の口の開度は７５なので、口の開度が１００である、口が開いた画像に書き換えられる（ステップＳ１０９）。
時刻Ｂになると（ステップＳ１１０）、画像表示部２２は画像構成情報記憶部３３が記憶している目の相対位置と目の大きさとの情報を読み出す（ステップＳ１１１）。そして、目の相対位置を中心に、例えば、右目を囲んで接する四角形の中の画像を、反時計回りの方向に３０度傾ける。また、左目を囲んで接する四角形の中の画像を、時計回りの方向に３０度傾ける。すると、目が笑っているように見える画像が生成され、画像表示部２２は、基本画像の目の周辺の画像を、目が笑っているように見える画像に書き換える（ステップＳ１１２）。
時刻Ｃになると（ステップＳ１１３）、画像表示部２２は画像構成情報記憶部３３が記憶している目の相対位置と目の大きさとの情報を読み出す（ステップＳ１１４）。そして、画像表示部は、読み出した目の相対位置と目の大きさとの情報に応じて、目の周辺の画像を生成し、表示している笑っている目の周辺の画像に上書きし、目の周辺を基本画像に書き換える（ステップＳ１１５）。
時刻Ｄになると（ステップＳ１１６）、画像表示部２２は画像構成情報記憶部３３が記憶している口の相対位置と口の開度との情報を読み出す（ステップＳ１１７）。そして、画像表示部は、読み出した口の相対位置と口の開度との情報に応じて、口の周辺の画像を生成し、表示している開いている口の周辺の画像に上書きする。この実施の形態では、基本画像の口の開度は７５なので、口の開度が１００である、口が開いた画像が、口の開度が７５である基本画像に書き換えられる（ステップＳ１１８）。
音声合成部２１は合成音声の出力を終了し（ステップＳ１１９）、画像表示部２２は、画像の表示を終了する（ステップＳ１２０）。
図８は、第1の実施の形態において、画像表示部２２が出力する画像の例を示す説明図である。第1の実施の形態の動作の説明で述べたように、時刻Ａから時刻Ｄまで、画像表示部２２が出力する画像が時刻に応じて変化することがわかる。
以上、述べたように、この実施の形態によれば、テキストメッセージの出力に連動して画像が動くように見えるように、画像表示部２２は画像を出力することができる。
なお、この実施の形態では、テキストメッセージは、プレーンテキストを例に説明したが、修飾情報を伴うリッチテキスト、音声合成の発声内容を表した発音記号列などを用いてもよい。その場合には、それぞれに対応した音声合成部２１を用いる。また、図２のフローチャートに示した動作は、各区切りの時刻毎に予め定められているが、そのほか文中の単語の種類や、記号等の特定の文字種、リッチテキストの場合の修飾情報に応じて予め定められていてもよい。
また、この実施例においては、説明のため、表現情報は単一としている。ここで、送信装置１１（送信者）が複数ある場合には、表現情報記憶部３４は、送信装置１１に対応する表現情報を複数記憶しておく。そして、送信装置１１は、テキストメッセージとともに送信装置を示す送信者ＩＤを送信し、音声合成部２１は、受信した送信者ＩＤを声質情報生成部２３および画像構成情報生成部２４に出力し、声質情報生成部２３および画像構成情報生成部２４は、送信者ＩＤに対応した表現情報をそれぞれ読み出す。
実施の形態２．
本発明の第２の実施の形態について、図面を参照して説明する。図９は、本発明の第２の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第１の実施の形態の受信装置１３の表現情報記憶部３４を、送信装置１１が備えたものであり、その他の構成は第１の実施例と同様である。そのため、第１の実施の形態と同様の回路等については図１と同じ符号を付し、説明を省略する。
送信装置１１が備える送信部（表現情報送信手段）３２は、テキストメッセージ記憶部３１が記憶しているテキストメッセージとともに、または別々に、通信回線１２を介して表現情報記憶部３４が記憶している表現情報を受信装置１３に送信する。受信装置１３では、声質情報生成部２３と画像構成情報生成部２４とが表現情報を受信する。
ここで、送信部３２は、テキストメッセージと表現情報とを、一体として通信回線１２を送信してもよいし、別々に送信してもよい。また、テキストメッセージと表現情報とを別々に送信する場合、テキストメッセージと表現情報とを伝送する通信回線１２は物理的・論理的に同一のものでなくてもよい。
受信装置１３は、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示部２２に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭載する。また、表現情報を受信して、表現情報から声質情報を生成する声質情報生成処理を実行してもよく、画像情報生成処理で、表現情報を受信して、表現情報から画像構成情報を生成する処理を実行してもよい。
次に、本発明の第２の実施の形態の動作について、図面を参照して説明する。図１０は、本発明の第２の実施の形態の動作を説明するフローチャートである。
送信装置１１の送信部３２は、テキストメッセージと表現情報とを、通信回線１２を介して受信装置１３に送信する（ステップＳ２０１）。送信部３２は、テキストメッセージと表現情報とに、共通のヘッダを付して通信回線１２を一体として送信する。ただし、本発明は、これに限定されることはなく、送信部３２は、テキストメッセージと表現情報とを別々のデータとして送信してもよい。また、一度テキストメッセージと表現情報とを一体として送付した後は、表現情報に変更の無い限り、表現情報を受信装置１３の記憶部（図示せず）に記憶させて、表現情報の送信を省略してもよい。すると、本発明の第１の実施の形態と同様の構成となる。
受信装置１３では、声質情報生成部２３と画像構成情報生成部２４とが表現情報を受信し、音声合成手段２１がテキストメッセージを受信する（ステップＳ２０２）。
声質情報生成部２３は、受信した表現情報から声質情報を生成し、画像構成情報生成部２４は、受信した表現情報から画像構成情報を生成する（ステップＳ２０３）。画像構成情報生成部２４は、生成した画像構成情報を画像構成情報記憶部３３に記憶させる。
画像表示部２２は、画像構成情報記憶部３３が記憶している画像構成情報を読み出し、基本画像を表示する（ステップＳ２０４）。音声合成部２１は、声質情報生成部２３が生成した声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、合成音声を生成し、スピーカ２７に合成音声の出力を開始する（ステップＳ２０５）。
ステップＳ２０６以降（ステップＳ２０６〜Ｓ２１９）の動作は、第１の実施の形態におけるステップＳ１０７以降（ステップＳ１０７〜Ｓ１２０）の動作と同様なため、説明を省略する。
以上、述べたように、本発明の第２の実施の形態によれば、送信装置１１が表現情報を受信装置１３に送信するため、送信装置１１のユーザの希望する声質の合成音声を受信装置１３のスピーカ２７から出力させたり、送信装置１１のユーザの希望する画像を、合成音声の出力に連動して画像表示部２２に表示させたりすることができる。
実施の形態３．
本発明の第３の実施の形態について、図面を参照して説明する。図１１は、本発明の第３の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第２の実施の形態の受信装置１３の画像構成情報生成部２４に通信回線１４を介して接続されるサーバ（画像構成情報提供装置、声質情報提供装置）１５を含む点が第２の実施の形態と異なる。そして、サーバ１５は、予め画像構成情報を記憶しているサーバ画像構成情報記憶部（外部画像構成情報記憶手段）３５と、サーバ画像構成情報記憶部３５が記憶している画像構成情報を通信回線１４を介して受信装置１３の画像構成情報生成部２４に送信する画像構成情報送信部（画像構成情報送信手段）２５とを含む。その他の構成は第２の実施の形態と同様である。そのため、第２の実施の形態と同様の回路等については図９と同じ符号を付し、説明を省略する。なお、通信回線１４は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の専用回線で画像情報生成部２４とサーバ１５とを接続してもよいし、インターネット等の公衆回線で画像情報生成部２４とサーバ１５とを接続してもよい。そして、通信回線１４は、インターネット等の公衆回線であった場合、通信回線１２と一部共用していてもよい。
図１２は、第３の実施の形態の表現情報の一例を示す説明図である。図１２に示す例では、表現情報は、声質情報と画像構成情報のインデックスとを含む。画像構成情報のインデックスとは、画像構成情報を記憶している装置と、その装置内で画像構成情報を記憶している位置とを示す情報である。この実施の形態の例では、サーバ１５のサーバ画像構成情報記憶部３５が画像構成情報を記憶しているため、画像構成情報のインデックスは、サーバ１５のＩＰアドレスと、サーバ１５内での画像構成情報を記憶している位置を示す番号である位置番号とで構成されている。ここで、画像構成情報のインデックスは、サーバのＩＰアドレスとサーバ１５内における位置番号との組に限らず、サーバの名称とフルパス名の組や、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒｓ）等を用いてもよい。
画像構成情報生成部２４は、画像構成情報のインデックスを含む表現情報を受信すると、画像構成情報のインデックスにもとづいて通信回線１４を介してサーバ１５に接続し、画像構成情報の位置番号を送信する。サーバ１５の画像構成情報送信部２５は、画像構成情報生成部２４から受信した位置番号の画像構成情報をサーバ画像構成情報記憶部３５から読み出して、読み出した画像構成情報を通信回線１４を介して画像構成情報生成部２４に送信する。
ここで、受信装置１３は、画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、テキストメッセージの合成音声の出力とともに表示する画像の情報を、画像構成情報にもとづいて生成させる画像情報生成処理と、区切り情報にもとづいて、画像を表示する画像表示部２２に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理とを実行するメッセージ伝達プログラムを搭載する。また、画像情報生成処理で、画像構成情報の全部または一部を記憶するサーバ画像構成情報記憶部３５と、サーバ画像構成情報記憶部３５が記憶している画像構成情報の全部または一部を送信する画像構成情報送信部２５とを含むサーバ１５から、表現情報に含まれ、サーバ画像構成情報記憶部３５が記憶する画像構成情報の全部または一部の位置を示す情報である画像構成情報のインデックスにもとづいて、サーバ１５が記憶する画像構成情報の全部または一部の送信をサーバ１５に要求する処理を実行してもよく、サーバ１５から画像構成情報の全部または一部を受信する処理を実行してもよい。さらに、音声合成処理で、声質情報の全部または一部を記憶する外部声質情報記憶部（図示せず）と、外部声質情報記憶部が記憶している声質情報の全部または一部を送信する声質情報送信部（図示せず）とを含むサーバ１５から、表現情報に含まれ、外部声質情報記憶部が記憶している声質情報の全部または一部の位置を示す情報である声質情報のインデックスにもとづいて、サーバ１５が記憶する声質情報の全部または一部の送信を、サーバ１５に要求する処理を実行してもよく、サーバ１５から、声質情報の全部または一部を受信する処理を実行してもよい。
次に、本発明の第３の実施の形態の動作について説明する。図１３は、画像構成情報生成部２４が画像構成情報送信部２５から画像構成情報を受信する際の動作を説明するシーケンス図である。
画像構成情報生成部２４は、画像構成情報のインデックスを受信すると（ステップＳ３０１）、通信回線１４を介してサーバ１５の画像構成情報送信部２５に接続を要求する、（ステップＳ３０２）。画像構成情報送信部２５は、接続を許可する（ステップＳ３０３）。
画像構成情報生成部２４は、画像構成情報のインデックスに含まれる位置番号を、画像構成情報送信部２５に通信回線１４を介して送信して、画像構成情報の送信を要求する（ステップＳ３０４）。画像構成情報送信部２５は、位置番号を受信すると（ステップＳ３０５）、受信した位置番号の画像構成情報をサーバ画像構成情報記憶部３５から読み出し（ステップＳ３０６）、読み出した画像構成情報を、画像構成情報生成部２４に通信回線１４を介して送信する（ステップＳ３０７）。
画像構成情報生成部２４は、画像構成情報を受信すると（ステップＳ３０８）、画像構成情報送信部２５に接続の切断を要求する（ステップＳ３０９）。画像構成情報送信部２５は、接続の切断を許可する（ステップＳ３１０）。画像構成情報生成部２４は、画像構成情報送信部２５との接続を切断する（ステップＳ３１１）。
本発明の第３の実施の形態の、送信装置１１と受信装置１３とサーバ１５との動作について説明する。図１４は、本発明の第３の実施の形態の動作を説明するフローチャートである。
送信装置１１の送信部３２は、テキストメッセージと表現情報とを、通信回線１２を介して受信装置1１３に送信する（ステップＳ４０１）。受信装置１３では、声質情報生成部２３と画像構成情報生成部２４とが表現情報を受信し、音声合成手段２１がテキストメッセージを受信する（ステップＳ４０２）。
画像情報生成部２４は、表現情報に含まれる画像構成情報のインデックスにもとづいて、画像構成情報をサーバ１５から通信回線１４を介して受信する（ステップＳ４０３）。画像情報生成部２４は、図１３のシーケンス図に示す動作を行ない、サーバ１５から画像構成情報を受信する。そして、画像情報生成部２４は、受信した画像構成情報を画像構成情報記憶部３３に記憶させ、画像構成情報を受信したことを音声合成手段２１に通知する。
声質情報生成部２３は、受信した表現情報から声質情報を生成する（ステップＳ４０４）。画像表示部２２は、画像構成情報記憶部３３が記憶している画像構成情報を読み出し、基本画像を表示する（ステップＳ４０５）。音声合成部２１は、声質情報生成部２３が生成した声質情報にもとづいて、受信したテキストメッセージの音声合成を行ない、合成音声を生成し、スピーカ２７に合成音声の出力を開始する（ステップＳ４０６）。
ステップＳ４０７以降（ステップＳ４０７〜Ｓ４２０）の動作は、第１の実施の形態におけるステップＳ１０６以降（ステップＳ１０７〜Ｓ１２０）の動作と同様なため、説明を省略する。
なお、第３の実施の形態で述べた例では、画像構成情報生成部２４は、画像構成情報の全てをサーバ１５から受信したが、本発明はこれに限定されるものではなく、画像構成情報の一部を送信装置１１から表現情報として受信し、残りの情報をサーバ１５から受信してもよい。具体的には、表現情報の画像構成情報に、画像表示部が画像を表示するのに必要となる情報の一部（例えば、基本画像）が欠けていたり、表現情報の画像構成情報に、基本画像がないことを示す情報と、基本画像が記憶されているインデックスとが含まれていたりする場合、画像構成情報生成部２４は、サーバ１５に接続して基本画像を受信し、サーバ１５から受信した基本画像と、表現情報に含まれている他の情報とで画像構成情報を生成してもよい。
また、第３の実施の形態で述べた例では、画像構成情報の全部または一部をサーバ１５から受信するという構成になっているが、サーバ１５が声質情報を記憶し、声質情報生成部２３が通信回線１４を介してサーバ１５と接続され、声質情報の全部または一部をサーバ１５から受信して、声質情報を生成してもよい。その場合、表現情報に声質情報のインデックスが含まれる。さらに、画像構成情報部２４が画像構成情報の全部または一部をサーバ１５から受信し、声質情報生成部２３が声質情報の全部または一部をサーバ１５から受信する構成であってもよい。
以上、述べたように、この実施の形態によれば、画像表示部２２が表示する画像または音声合成部２１が生成する合成音声を、サーバ１５が記憶している画像構成情報または声質情報にもとづいて生成するため、例えば著名人やキャラクタの画像や音声を使用する権利を有する第三者が、画像構成情報または声質情報をサーバ１５に記憶させて、受信装置１３に送信することで、送信装置１１のユーザと受信装置１３のユーザとは、より多彩なコミュニケーションを行うことができる。
また、通信回線１４がＬＡＮ等の専用回線であれば、画像情報生成部２４とサーバ１５との通信プロトコルを簡易なものにできるので、システムの構築が簡単になる。また、通信回線１４がインターネット等の公衆回線網であれば、画像情報生成部２４は、他のサーバに接続して、他のサーバが記憶している画像構成情報または声質情報を受信することができるため、受信装置１３のユーザは、複数のサーバが記憶している画像構成情報または声質情報を使い分けることができる。
実施の形態４．
本発明の第４の実施の形態について、図面を参照して説明する。図１５は、本発明の第４の実施の形態の一構成例を示すブロック図である。本実施の形態の構成は、第３の実施の形態のサーバ１５に通信回線１６を介して外部の課金処理システムに接続される課金情報生成部（課金手段）２６を含む点が第３の実施の形態と異なる。そして、画像構成情報送信部２５は、サーバ画像構成情報記憶部３５が記憶している画像構成情報を通信回線１４を介して受信装置１３の画像構成情報生成部２４に送信すると、送信した画像構成情報と、送信先の受信装置１３を示す情報とを課金情報生成部２６に出力する。その他の構成は第３の実施の形態と同様である。そのため、第３の実施の形態と同様の回路等については図１１と同じ符号を付し、説明を省略する。
次に、本発明の第４の実施の形態の動作について説明する。図１６は、画像構成情報生成部２４が画像構成情報送信部２５から画像構成情報を受信し、画像構成情報送信部２５が、送信した画像構成情報と送信先の受信装置１３とを示す情報を課金情報生成部２６に出力する際の動作を説明するシーケンス図である。
画像構成情報生成部２４が、画像構成情報のインデックスを受信すると（ステップＳ５０１）、サーバ１５の画像構成情報送信部２５に受信装置１３を示す情報を送信して接続を要求する、（ステップＳ５０２）。画像構成情報送信部２５は、受信装置１３の認証を行ない（ステップＳ５０３）、接続を許可する（ステップＳ５０４）。
画像構成情報生成部２４は、画像構成情報のインデックスに含まれる位置番号を、画像構成情報送信部２５に送信する（ステップＳ５０５）。画像構成情報送信部２５は、位置番号を受信すると（ステップＳ５０６）、受信した位置番号の画像構成情報をサーバ画像構成情報記憶部３５から読み出し（ステップＳ５０７）、読み出した画像構成情報を、画像構成情報生成部２４に送信する（ステップＳ５０８）。
画像構成情報送信部２５は、送信した画像構成情報と送信先の受信装置１３を示す情報とを課金情報生成部２６に出力する（ステップＳ５０９）。課金情報生成部２６は、送信した画像構成情報と送信先の受信装置１３を示す情報とにもとづいて、受信装置１３に課金する金額を決定し、決定した課金する金額と受信装置１３を示す情報とである課金情報を生成し（ステップＳ５１０）、生成した課金情報を通信回線１６を介して外部の課金処理システムに送信する（ステップＳ５１１）。外部の課金処理システムは、受信した課金情報にもとづいて、受信装置１３のユーザに課金し、料金を請求する。なお、課金する金額は、外部の課金処理システムが決定してもよい。その場合、課金情報は、送信した画像構成情報と送信先の受信装置１３を示す情報を含む情報である。
画像構成情報生成部２４は、画像構成情報を受信すると（ステップＳ５１２）、画像構成情報送信部２５に接続の切断を要求する（ステップＳ５１３）。画像構成情報送信部２５は、接続の切断を許可する（ステップＳ５１４）。画像構成情報生成部２４は、画像構成情報送信部２５との接続を切断する（ステップＳ５１５）。
なお、以上に述べた例では、課金情報生成部２６は、送信した画像構成情報と送信先の受信装置１３を示す情報とにもとづいて、受信装置１３に課金する金額を決定しているが、サーバ１５が声質情報を記憶し、送信した声質情報と送信先の受信装置１３を示す情報とにもとづいて、受信装置１３に課金する金額を決定してもよい。
以上、述べたように、この実施の形態によれば、受信装置１３のユーザによる、画像構成情報や声質情報の利用回数や種類に応じた課金処理が可能となり、例えば著名人やキャラクタの声質情報や画像構成情報を有料で受信装置１３のユーザに提供することができる。また、例えば、画像構成情報や声質情報に広告・宣伝の要素を入れると、そのような画像構成情報や声質情報を利用した回数に応じて広告主に対して課金することができる。
なお、本実施の形態では、課金情報生成部２６はサーバ１５に含まれるが、送信装置１１が課金情報生成部２６を含み、課金情報生成部２６は、送信部３２が表現情報を受信装置１３に送信すると、送信した表現情報に応じて、受信装置１３のユーザに課金してもよい。
本発明によれば、電子メールや電子会議、チャット等の、テキストのメッセージの送受信を行う用途に適用することができる。また、マンマシンインタフェースのような、機械的に生成されるメッセージを出力する用途に適用することができる。
本発明の第１の実施の形態の一構成例を示すブロック図である。 本発明の第１の実施の形態の動作を説明するフローチャートである。 テキストメッセージ記憶部が記憶しているテキストメッセージの一例である。 表現情報の一例を示す説明図である。 声質情報の一例を示す説明図である。 画像構成情報の一例を示す説明図である。 合成音声の音声波形の一例を示す説明図である。 画像表示部が出力する画像の例を示す説明図である。 本発明の第２の実施の形態の一構成例を示すブロック図である。 本発明の第２の実施の形態の動作を説明するフローチャートである。 本発明の第３の実施の形態の一構成例を示すブロック図である。 第３の実施の形態の表現情報の一例を示す説明図である。 画像構成情報生成部が画像構成情報送信部から画像構成情報を受信する際の動作を説明するシーケンス図である。 本発明の第３の実施の形態の動作を説明するフローチャートである。 本発明の第４の実施の形態の一構成例を示すブロック図である。 画像構成情報生成部が画像構成情報送信部から画像構成情報を受信し、画像構成情報送信部が、送信した画像構成情報と送信先の受信装置とを示す情報を課金情報生成部に出力する際の動作を説明するシーケンス図である。 従来のメッセージ伝達システムの一構成例を示すブロック図である。
符号の説明
１１ 送信装置
１２、１４、１６ 通信回線
１３ 受信装置
１５ サーバ
２１ 音声合成部
２２ 画像表示部
２３ 声質情報生成部
２４ 画像構成情報生成部
２５ 画像構成情報送信部
２６ 課金情報生成部
２７ スピーカ
３１ テキストメッセージ記憶部
３２ 送信部
３３ 画像構成情報記憶部
３４ 表現情報記憶部
３５ サーバ画像構成情報記憶部

Claims (40)

  1. テキストメッセージを送信する送信手段と、
    受信したテキストメッセージにもとづいて合成音声を生成する音声合成手段と、
    前記合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、
    前記画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段と、
    前記画像表示手段に表示させる画像の情報である画像構成情報と、前記音声合成手段に生成させる合成音声の特徴の情報である声質情報とを含む表現情報を予め記憶する表現情報記憶手段と
    を含み、
    前記画像情報生成手段は、前記画像構成情報にもとづいて画像の情報を生成し、
    前記音声合成手段は、前記声質情報にもとづいて合成音声を生成し、生成した前記合成音声の区切りを示す情報である区切り情報を生成して、前記画像表示手段に入力し、
    前記画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる
    ことを特徴とするメッセージ伝達システム。
  2. 送信手段を含む送信装置と、
    音声合成手段と、画像情報生成手段と、画像表示手段と、表現情報記憶手段とを含む受信装置とを備えた
    請求項１記載のメッセージ伝達システム。
  3. 音声合成手段と、画像情報生成手段と、画像表示手段とを含む受信装置と、
    送信手段と、表現情報記憶手段と、前記表現情報記憶手段が記憶している表現情報を前記受信装置に送信する表現情報送信手段とを含む送信装置とを備え、
    前記受信装置は、前記表現情報を受信して声質情報を生成する声質情報生成手段を含み、
    前記画像情報生成手段は、前記表現情報を前記送信装置から受信して、前記表現情報から画像構成情報を生成する
    請求項１記載のメッセージ伝達システム。
  4. 送信装置は、受信装置に送信した表現情報に応じた料金の情報である表現情報課金情報を生成する課金手段を含む
    請求項３記載のメッセージ伝達システム。
  5. 画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、前記外部画像構成情報記憶手段が記憶している前記画像構成情報の全部または一部を受信装置に送信する画像構成情報送信手段とを含む画像構成情報提供装置を備えた
    請求項３または請求項４記載のメッセージ伝達システム。
  6. 受信装置と画像構成情報提供装置とは専用回線で接続される
    請求項５記載のメッセージ伝達システム。
  7. 受信装置と画像構成情報提供装置とは公衆回線網で接続される
    請求項５記載のメッセージ伝達システム。
  8. 表現情報は、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含み、
    画像情報生成手段は、前記画像インデックス情報にもとづいて、画像構成情報送信手段に、前記外部画像構成情報記憶手段が記憶する前記画像構成情報の全部または一部の送信を要求する
    請求項５から請求項７のうちいずれか１項記載のメッセージ伝達システム。
  9. 画像構成情報送信手段は、画像情報生成手段の要求に応じて、外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部を受信装置に送信する
    請求項８記載のメッセージ伝達システム。
  10. 画像構成情報提供装置は、受信装置に送信した画像構成情報に応じた料金の情報である画像課金情報を生成する課金手段を含む
    請求項５から請求項９のうちいずれか１項記載のメッセージ伝達システム。
  11. 声質情報の全部または一部を記憶する外部声質情報記憶手段と、前記外部声質情報記憶手段が記憶している前記声質情報の全部または一部を受信装置に送信する声質情報送信手段を含む声質情報提供装置を備えた
    請求項３から請求項１０のうちいずれか１項記載のメッセージ伝達システム。
  12. 受信装置と声質情報提供装置とは専用回線で接続される
    請求項１１記載のメッセージ伝達システム。
  13. 受信装置と声質情報提供装置とは公衆回線網で接続される
    請求項１１記載のメッセージ伝達システム。
  14. 表現情報は、外部声質情報記憶手段が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含み、
    音声合成手段は、前記声質インデックス情報にもとづいて、声質情報送信手段に、前記外部声質情報記憶手段が記憶する前記声質情報の全部または一部の送信を要求する
    請求項１１から請求項１３のうちいずれか１記載のメッセージ伝達システム。
  15. 声質情報送信手段は、音声合成手段の要求に応じて、外部声質情報記憶手段が記憶する声質情報の全部または一部を受信装置に送信する
    請求項１４記載のメッセージ伝達システム。
  16. 声質情報提供装置は、受信装置に送信した声質情報に応じた料金の情報である声質課金情報を生成する課金手段を含む
    請求項１１から請求項１５のうちいずれか１項記載のメッセージ伝達システム。
  17. テキストメッセージを受信し、
    表示する画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信した前記テキストメッセージとにもとづいて合成音声を生成し、
    前記合成音声の区切りを示す情報である区切り情報を生成し、
    前記合成音声を出力し、
    前記画像構成情報にもとづいて前記合成音声の出力とともに表示する画像の情報を生成し、
    前記画像の情報にもとづく画像を表示し、
    前記区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる
    ことを特徴とするメッセージ伝達方法。
  18. 表現情報から画像構成情報を生成し、
    前記表現情報から声質情報を生成する
    請求項１７記載のメッセージ伝達方法。
  19. 予め記憶している表現情報を送信し、
    前記表現情報を受信すると、受信した前記表現情報から画像構成情報を生成し、受信した前記表現情報から声質情報を生成する
    請求項１７記載のメッセージ伝達方法。
  20. 送信した表現情報に応じた料金の情報である表現情報課金情報を生成する
    請求項１９記載のメッセージ伝達方法。
  21. 表現情報は、画像構成情報の全部または一部を記憶している外部画像構成情報記憶手段における、前記画像構成情報の全部または一部を記憶している位置を示す情報である画像インデックス情報を含み、
    前記画像インデックス情報にもとづいて、前記外部画像構成情報記憶手段に前記画像構成情報の全部または一部の送信を要求し、
    前記外部画像構成情報記憶手段から、前記画像構成情報の全部または一部を受信する
    請求項１９または請求項２０記載のメッセージ伝達方法。
  22. 外部画像構成情報記憶手段において、送信した画像構成情報に応じた料金の情報である画像課金情報を生成する
    請求項２１記載のメッセージ伝達方法。
  23. 表現情報は、声質情報の全部または一部を記憶している外部声質情報記憶手段における、前記声質情報の全部または一部を記憶している位置を示す情報である声質インデックス情報を含み、
    前記声質インデックス情報にもとづいて、前記外部声質情報記憶手段に、前記声質情報の全部または一部の送信を要求し、
    前記外部声質情報記憶手段から、前記声質情報の全部または一部を受信する
    請求項１９から請求項２２のうちいずれか１項記載のメッセージ伝達方法。
  24. 外部声質情報記憶手段において、送信した声質情報に応じた料金の情報である声質課金情報を生成する
    請求項２３記載のメッセージ伝達方法。
  25. 送信装置からテキストメッセージを受信する受信装置において、
    画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、前記送信装置から受信したテキストメッセージとにもとづいて合成音声を生成する音声合成手段と、前記画像構成情報にもとづいて、合成音声の出力とともに表示する画像の情報を生成する画像情報生成手段と、前記画像情報生成手段が生成した画像の情報にもとづく画像を表示する画像表示手段とを含み、
    前記音声合成手段は、生成した前記合成音声の区切りを示す情報である区切り情報を生成して、前記画像表示手段に入力し、
    前記画像表示手段は、入力された区切り情報にもとづいて、合成音声の区切りのタイミングで表示する画像を変化させる
    ことを特徴とする受信装置。
  26. 表現情報を予め記憶する表現情報記憶手段を含み、
    画像情報生成手段は、前記表現情報から画像構成情報を生成する
    請求項２５記載の受信装置。
  27. 表現情報を受信して、前記表現情報から声質情報を生成する声質情報生成手段を含み、
    画像情報生成手段は、前記表現情報を受信して、前記表現情報から画像構成情報を生成する
    請求項２５記載の受信装置。
  28. 画像構成情報の全部または一部を記憶する画像構成情報提供装置から、前記画像構成情報の全部または一部を受信する
    請求項２６または請求項２７記載の受信装置。
  29. 表現情報は、画像構成情報提供装置が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報を含み、
    画像情報生成手段は、前記画像インデックス情報にもとづいて、前記画像情報提供装置に、前記画像情報提供装置が記憶する前記画像構成情報の全部または一部の送信を要求し、前記画像情報提供装置から、前記画像情報提供装置が記憶する前記画像構成情報の全部または一部を受信する
    請求項２８記載の受信装置。
  30. 画像情報提供装置と専用回線で接続された
    請求項２８または請求項２９記載の受信装置。
  31. 画像情報提供装置と公衆回線網で接続された
    請求項２８または請求項２９記載の受信装置。
  32. 声質情報の全部または一部を記憶する声質情報提供装置から、前記声質情報の全部または一部を受信する
    請求項２６から請求項３１のうちいずれか１項記載の受信装置。
  33. 表現情報は、声質情報提供装置が記憶する声質情報の全部または一部の位置を示す情報である声質インデックス情報を含み、
    音声合成手段は、前記声質インデックス情報にもとづいて、前記声質情報提供装置に、前記声質情報提供装置が記憶する声質情報の全部または一部の送信を要求し、前記声質情報提供装置から、前記声質情報提供装置が記憶する前記声質情報の全部または一部を受信する
    請求項３２記載の受信装置。
  34. 声質情報提供装置と専用回線で接続された
    請求項３２または請求項３３記載の受信装置。
  35. 声質情報提供装置と公衆回線網で接続された
    請求項３２または請求項３３記載の受信装置。
  36. 受信装置に伝達するテキストメッセージ、受信装置に表示させる画像の情報である画像構成情報、および受信装置に生成させるテキストメッセージの合成音声の特徴の情報である声質情報を含む表現情報とを送信する送信手段を含む
    ことを特徴とする送信装置。
  37. コンピュータに、
    画像の情報である画像構成情報と合成音声の特徴の情報である声質情報とを含む表現情報の声質情報と、受信したテキストメッセージとにもとづいて合成音声を生成させ、前記合成音声の区切りを示す情報である区切り情報を生成させる音声合成処理と、
    テキストメッセージの合成音声の出力とともに表示する画像の情報を、前記画像構成情報にもとづいて生成させる画像情報生成処理と、
    前記区切り情報にもとづいて、画像を表示する画像表示手段に、合成音声の区切りのタイミングで画像を変化させて表示させる画像表示処理と
    を実行させることを特徴とするメッセージ伝達プログラム。
  38. コンピュータに、
    表現情報を受信して、前記表現情報から声質情報を生成する声質情報生成処理を実行させ、
    画像情報生成処理で、前記表現情報を受信して、前記表現情報から画像構成情報を生成する処理を実行させる
    請求項３７記載のメッセージ伝達プログラム。
  39. コンピュータに、
    画像情報生成処理で、画像構成情報の全部または一部を記憶する外部画像構成情報記憶手段と、前記外部画像構成情報記憶手段が記憶している前記画像構成情報の全部または一部を送信する画像構成情報送信手段とを含む画像情報提供装置から、表現情報に含まれ、前記外部画像構成情報記憶手段が記憶する画像構成情報の全部または一部の位置を示す情報である画像インデックス情報にもとづいて、前記画像情報提供装置が記憶する前記画像構成情報の全部または一部の送信を、前記画像情報提供装置に要求する処理を実行させ、前記画像情報提供装置から前記画像構成情報の全部または一部を受信する処理を実行させる
    請求項３８記載のメッセージ伝達プログラム。
  40. コンピュータに、
    音声合成処理で、声質情報の全部または一部を記憶する外部声質情報記憶手段と、前記外部声質情報記憶手段が記憶している前記声質情報の全部または一部を送信する声質情報送信手段とを含む声質情報提供装置から、表現情報に含まれ、前記外部声質情報記憶手段が記憶している前記声質情報の全部または一部の位置を示す情報である声質インデックス情報にもとづいて、前記声質情報提供装置が記憶する前記声質情報の全部または一部の送信を、前記声質情報提供装置に要求する処理を実行させ、前記声質情報提供装置から、前記声質情報の全部または一部を受信する処理を実行させる
    請求項３８または請求項３９記載のメッセージ伝達プログラム。
JP2004062408A 2004-03-05 2004-03-05 メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム Pending JP2007241321A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004062408A JP2007241321A (ja) 2004-03-05 2004-03-05 メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム
PCT/JP2005/003216 WO2005086010A1 (ja) 2004-03-05 2005-02-25 メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004062408A JP2007241321A (ja) 2004-03-05 2004-03-05 メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム

Publications (1)

Publication Number Publication Date
JP2007241321A true JP2007241321A (ja) 2007-09-20

Family

ID=34918115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004062408A Pending JP2007241321A (ja) 2004-03-05 2004-03-05 メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム

Country Status (2)

Country Link
JP (1) JP2007241321A (ja)
WO (1) WO2005086010A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009125710A1 (ja) * 2008-04-08 2009-10-15 株式会社エヌ・ティ・ティ・ドコモ メディア処理サーバ装置およびメディア処理方法
JP2012068910A (ja) * 2010-09-24 2012-04-05 Toshiba Alpine Automotive Technology Corp 情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3299797B2 (ja) * 1992-11-20 2002-07-08 富士通株式会社 合成画像表示システム
JPH09138767A (ja) * 1995-11-14 1997-05-27 Fujitsu Ten Ltd 感情表現の通信装置
JP2000347956A (ja) * 1999-03-31 2000-12-15 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009125710A1 (ja) * 2008-04-08 2009-10-15 株式会社エヌ・ティ・ティ・ドコモ メディア処理サーバ装置およびメディア処理方法
JPWO2009125710A1 (ja) * 2008-04-08 2011-08-04 株式会社エヌ・ティ・ティ・ドコモ メディア処理サーバ装置およびメディア処理方法
JP2012068910A (ja) * 2010-09-24 2012-04-05 Toshiba Alpine Automotive Technology Corp 情報処理装置

Also Published As

Publication number Publication date
WO2005086010A1 (ja) 2005-09-15

Similar Documents

Publication Publication Date Title
JP6077521B2 (ja) テキストメッセージにおける触覚コンテンツ
FI115868B (fi) Puhesynteesi
US7756536B2 (en) Device and method for providing and displaying animated SMS messages
US20090157223A1 (en) Robot chatting system and method
CN104869225B (zh) 智能对话方法和使用所述方法的电子装置
JP2000305583A (ja) 音声合成装置
WO2003063483A1 (fr) Dispositif de communication
JP2008529403A (ja) 移動通信網における３ｄキャラクターを利用したニュース情報を提供する方法及びシステム
WO2018186416A1 (ja) 翻訳処理方法、翻訳処理プログラム、及び、記録媒体
JP6218568B2 (ja) 通信装置、通信システム、通信方法、および通信プログラム
KR100941598B1 (ko) 감정적 콘텐츠 효과를 포함하는 전화 통신 서비스를제공하는 ＶｏＩＰ 전화 통신 시스템 및 방법
KR20070008477A (ko) 감성 전달 기능을 가진 동작 포함 로봇 채팅 시스템
KR101916107B1 (ko) 통신 단말 및 그 통신 단말의 정보처리 방법
WO2005086010A1 (ja) メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム
JP2004193809A (ja) 通信装置
KR100499769B1 (ko) 이동 통신 단말의 인스턴트 메신저를 통한 사진 표시 방법및 이를 위한 이동 통신 단말
JP6064209B2 (ja) 通話システム及び通話中継方法
JP6805663B2 (ja) 通信装置、通信システム、通信方法及びプログラム
KR20040025029A (ko) 유무선통신단말기의 문자데이터 입력을 통한 영상데이터전송방법
JP2006048352A (ja) キャラクタ映像表示機能付き通信端末およびその制御方法
JP4530016B2 (ja) 情報通信システムおよびそのデータ通信方法
JP2011141651A (ja) 電子メールシステム、電子メール受信装置および表示方法
JP6677596B2 (ja) 通信端末
JP2015115740A (ja) 電話通信装置、電話通信方法及びプログラム
JP2023092307A (ja) 端末装置、プログラム、及び端末装置の動作方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080708