JP2005277989A - 通信端末装置およびその画像提供方法 - Google Patents

Abstract

【課題】通信におけるコミュニケーション力の向上およびプライバシー保護を常に満足させることが可能な通信端末装置およびその画像提供方法を提供。
【解決手段】送信端末装置12は、情報入力部18のGPS受信部42で取得した位置情報50が入力制御部20を介してキャラクタ管理部24および背景管理部26に供給され、供給される位置情報50を基にキャラクタ格納部28のモデルデータおよび背景格納30の背景画像をそれぞれ、推奨順位に並べ替えて、提示し、操作部44で選択したモデルデータを基に表情特徴抽出部22からの特徴量60を反映させたキャラクタ画像をキャラクタ生成部32で生成し、このキャラクタ画像70に選択した背景画像64を画像生成部34で合成し、送信画像72を通信相手先に送信部38から送信する。
【選択図】図１

Description

本発明は、通信端末装置およびその画像提供方法に関し、本発明の通信端末装置は、公衆回線網やIP（Internet Protocol）ネットワーク等の有線や無線の通信回線による通信において、たとえば送信または受信にて送信者の顔の表情画像を実際の表情画像とは異なる２次元または３次元のコンピュータグラフィックス画像等を生成して、生成した画像を表示しながら、音声通信する携帯電話機やパーソナルコンピュータ等に関する。また、本発明の画像提供方法は、実際の表情画像とは異なるように生成した画像だけでなく、この画像とともに表示する背景画像の提供方法に関するものである。

コミュニケーションは、従来の電話機等を用いて音声のみで行われていたが、現在、通信回線の高速化および大容量化にともなって、音声および画像の伝送が広く行われている。このようなコミュニケーション方式の一例にテレビ電話システムがある。このシステムは、一般家庭用電話機や携帯電話機等においてすでに用いられている。このような画像を含んだコミュニケーションは、伝送情報が音声に限られていた従来の電話機に比べ話者の表情等、コミュニケーションにおいて重要な役割を占める言外に含まれる情報を同時に伝えることができる。このため、コミュニケーションを感情表現が豊かなものにすることができる。

ところが、上述のテレビ電話システム等では、通信が不特定な場所や時間帯で行われる場合がある。このコミュニケーションでは、話者のプライバシーが侵され易いという問題が生じてしまう。この問題の対策として、たとえば、化粧、髪型や服装等を気にかけて通話に備える利用者の登場が予想される。このように、画像を含んだコミュニケーションが感情豊かな表現でコミュニケーション力を向上させる反面、利用者に何等かの負担を強いることもある。

また、このような不意な通話が必要になった場合、利用者は画像を非通話状態として伝送せず、従来ながらの音声だけで通話を行う方法も選択できる。しかしながら、この場合、コミュニケーションの低下が引き起こされてしまう。上述したように、通話機会の自由度向上にともなうコミュニケーションの低下という問題の対処方法として、たとえば通話者の顔画像から顔の表情を抽出して、抽出した表情を選択したキャラクタ画像に反映させた画像を連続生成してアニメーション表示させる手法が提案されている。

非特許文献１に挙げた総説は、1998年にMPEG（Moving Picture Experts Group）のワーキンググループ（WG: Working Group）11/MPEGに提案したコミッティドラフトを要約したものである。この総説には、顔の特徴を画像処理して解析し、あらかじめ定義した複数の顔パラメータ等を用いて符号化、グラフィックおよびアニメーションを低ビットレートで統合するものである。これにより、プライバシー保護に対応した処理も行うことが記載されている。
エリック ペタジャン（Eric Petajen）, "Very Low Bitrate Face Animation Coding in MPEG（Moving Picture Experts Group）-4", face2face Animation, Inc., 2000, pp. 1-33.

しかしながら、前述した通話者の顔表情を反映させて生成した代替画像を通信先に伝送するコミュニケーションシステムにおいて、人物画像以外の領域、たとえば部屋の中等も代替画像とともに、通話時の状況として通信されてしまう。人物画像以外の領域もプライバシーの範疇にある。そこで、プライバシーを保護する観点から、コミュニケーションシステムでは、通話者の背景部分をテクスチャ画像や画一的な画像に差し替えて、コミュニケーションすることがある。このコミュニケーションでは、コミュニケーションを行う上で重要な要素となる通話者の背景状況が排除されることになり、言外の情報を伝達できなくしている。

このように通信時の背景状況を考慮せずに、通信相手側に代替する顔画像だけを動画で伝送すると、十分な意思伝達の効果が期待できない。したがって、コミュニケーション力は、常に大きな向上が望めるとはいえない問題を抱えている。

本発明はこのような従来技術の欠点を解消し、通信におけるコミュニケーション力の向上およびプライバシー保護を常に満足させることが可能な通信端末装置およびその画像提供方法を提供することを目的とする。

本発明は上述の課題を解決するために、画像データを含む入力情報を入力する情報入力手段と、この入力情報およびこの入力情報以外の供給元からの入力情報をそれぞれ制御して、供給先に供給する入力制御手段と、入力情報の一つである画像データが含む顔の部位を特徴点とし、この特徴点を基に表情を表す特徴量を抽出する特徴抽出手段と、通信相手に表示する画像をキャラクタとし、このキャラクタの基本的なモデルデータを複数格納するキャラクタ格納手段と、キャラクタに対する背景の画像を背景モデルとして複数格納する背景格納手段と、モデルデータを読み出して、このモデルデータをキャラクタとしての提示、選択指示および提供をそれぞれ制御するキャラクタ管理手段と、背景の画像を読み出して、この背景モデルとしての提示、選択指示および提供をそれぞれ制御する背景管理手段と、特徴量を提供されるモデルデータに反映させて、表情を持つ画像を生成するキャラクタ生成手段と、この生成される表情を持つ画像と提供される背景モデルとを合成し、送信画像を生成する画像合成手段と、この送信画像を送信する送信手段とを具備し、情報入力手段は、入射光を光電変換する受光素子が複数配設され、この受光素子からの電気信号を前記画像データにして出力する撮像手段と、モデルデータおよび背景の画像を推奨順位の高い順に並べ替える条件を取得する条件取得手段と、条件に応じて提示されるモデルデータおよび背景の画像をそれぞれ選択する選択手段とを含むことを特徴とする。

本発明の通信端末装置は、情報入力手段の条件取得手段で取得した条件をキャラクタ管理手段および背景管理手段に供給し、供給される条件を基にキャラクタ格納手段のモデルデータおよび背景格納手段の背景画像をそれぞれ、推奨順位に並べ替えて、提示し、選択手段で選択したモデルデータを基に特徴抽出手段からの特徴量を反映させたキャラクタ画像をキャラクタ生成手段で生成し、このキャラクタ画像に選択した背景画像を画像合成手段で合成し、送信画像を通信相手先に送信して、顔画像だけでなく、周囲の背景も通話者の状況に応じて背景画像を提示し、選択させることにより、選択の負荷を軽減させ、かつ顔および背景すべてを動的に変化する代替画像にしながら、微妙なコミュニケーションを視覚情報として伝達することができる。

本発明の通信端末装置は、送信端末として機能する、画像データを含む入力情報を入力する情報入力手段は、入射光を光電変換する受光素子が複数配設され、この受光素子からの電気信号を画像データにして出力する撮像手段と、通信相手に表示する画像を推奨順位の高い順に並べ替える条件を取得する条件取得手段とを含み、さらに、この送信系は、画像データが含む顔の部位を特徴点とし、この特徴点を基に表情を表す特徴量を抽出する特徴抽出手段と、条件および特徴量を送信する送信手段とを含み、受信端末として機能する、通信相手から送信された条件および特徴量を受信する受信手段と、通信相手として表示する画像をキャラクタとし、このキャラクタの基本的なモデルデータを複数格納するキャラクタ格納手段と、キャラクタに対する背景の画像を背景モデルとして複数格納する背景格納手段と、モデルデータを読み出して、このモデルデータをキャラクタとしての提示、選択指示および提供をそれぞれ制御するキャラクタ管理手段と、背景の画像を読み出して、この背景モデルとしての提示、選択指示および提供をそれぞれ制御する背景管理手段と、特徴量を提供されるモデルデータに反映させて、表情を持つ画像を生成するキャラクタ生成手段と、この生成される表情を持つ画像と提供される背景モデルとを合成し、表示画像を生成する画像合成手段と、キャラクタの選択指示および表示画像の表示を行う入出力手段とを含むことを特徴とする。

本発明の通信端末装置は、送信端末として撮像手段で取得した画像データを特徴抽出手段に供給し、特徴抽出手段からの特徴量および情報取得手段の条件を送信し、受信端末として供給される条件をキャラクタ管理手段および背景管理手段に供給し、供給される条件を基にキャラクタ格納手段のモデルデータおよび背景格納手段の背景画像をそれぞれ、推奨順位に並べ替えて、提示し、選択手段で選択したモデルデータを基に特徴抽出手段からの特徴量を反映させたキャラクタ画像を生成し、このキャラクタ画像に選択した背景画像を画像合成手段で合成し、この合成画像を表示させることにより、送信側からコミュニケーション力の向上に用いる情報だけを通信相手先に供給するから、画像データを通信する場合に比べて伝送量が少なくて済み、供給される情報を基に受信端末側で主導的にキャラクタおよび背景の選択することができる。

また、本発明は上述の課題を解決するために、画像データを含む入力情報のうち、処理条件に用いるセンサ情報としての位置情報および時間情報の少なくとも一方を取得する第１の工程と、この取得した位置情報および時間情報の少なくとも一方を用いて、供給される情報に近い順に画像表示に用いる基本的なモデルデータを並べ替えて、提示する第２の工程と、取得した位置情報および時間情報の少なくとも一方を用いて、供給される情報に近い順に背景の画像を並べ替えて、画像表示用として提示する第３の工程とを含むことを特徴とする。

本発明の画像提供方法は、位置情報および時間情報の少なくとも一方を取得し、供給される情報に近い順にモデルデータおよび背景の画像をそれぞれ、並べ替えて、並べ替えた各モデルデータおよび背景の画像を提示することで、位置情報または時間情報で動的に変化させて、利用者によるモデルデータおよび背景の画像の選択にともなう負担を軽減し、かつ利用者が置かれている現状に近い画像の提供に寄与することができる。

さらに、本発明は上述の課題を解決するために、情報の供給元で取得する画像データを含む入力情報のうち、受信側での処理条件に用いるセンサ情報および前記画像データから抽出した表情を示す情報を送出する第１の工程と、情報の供給先にて供給されたセンサ情報および表情を示す情報を受信する第２の工程と、この供給先の初期状態およびセンサ情報における変化の少なくとも一方を検出する検出条件に応じて判断する第３の工程と、少なくとも一方の状態を検出した場合、センサ情報に近い順に画像表示に用いる基本的なモデルデータを並べ替えて、提示する第４の工程と、センサ情報に近い順に背景の画像を並べ替えて、画像表示用として提示する第５の工程と、第３の工程にて前記検出条件から外れた場合、前記モデルデータおよび前記背景の画像を設定済と判断することを特徴とする。

本発明の画像提供方法は、情報の供給元で取得したセンサ情報および表情を示す情報を送出し、これらの情報を供給先にて受信し、この供給先の初期状態およびセンサ情報における変化の少なくとも一方を検出する検出条件を判断し、この検出条件に該当する場合、センサ情報に近い順にモデルデータおよび背景の画像をそれぞれ順次に並べ替えて、並べ替えた結果を提示し、これ以外の場合、モデルデータおよび背景の画像が設定済と判断して、設定されているデータにより画像を生成することにより、設定の主導権を受信側にするとともに、受信側でモデルデータおよび背景の画像を検出条件に応じて動的に変化させることができる。

次に添付図面を参照して本発明による通信システムの実施例を詳細に説明する。

本実施例は、本発明の通信システムを画像通信システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

画像通信システム10は、図２に示すように、送信端末装置12および受信端末装置14をIP（Internet Protocol）ネットワーク16に接続され、送信端末装置12から受信端末装置14に画像および音声の少なくとも一方を供給する。双方向の通信を行う場合、送信端末装置12および受信端末装置14には、それぞれ、受信端末機能および送信端末機能が具備されることは言うまでもない。本実施例では、説明を簡略化するため、図２に示すように通信端末装置の構成を送信と受信だけに限定して説明する。

送信端末装置12は、図１に示すように、情報入力部18、入力制御部20、表情特徴抽出部22、キャラクタ管理部24、背景画像管理部26、キャラクタ格納部28、背景モデル格納部30、キャラクタ生成部32、画像生成部34、符号化部36および送信部38を含む。

情報入力部18は、外部からの情報を装置12内に取り込み、取り込んだ情報を電気信号に変換する機能を有している。情報入力部18は、図１に示すように、撮像部40、GPS（Global Positioning System）受信部42および操作部44を具備している。撮像部40は、被写界からの入射光を電気信号に変換する光電変換機能を有している。入射光は、図示しない光学系を介して撮像部40における複数の受光素子が配設される入射光側の撮像面に光学像として結像される。撮像部40は、CCD（Charge Coupled Device）やC-MOS（Complementary-Metal Oxide Semiconductor）等を用いるとよい。撮像部40は、さらに光電変換して得られた撮像信号をディジタル画像信号46として入力制御部20に出力する。

GPS受信部42は、受信アンテナ48を介して地球の低軌道を周回する複数の人工衛星がそれぞれ発信する電波を受信し、受信したデータを基に受信端末装置14と人工衛星の位置関係（現在位置の緯度および経度、場合によって高度）を算出する機能を有する。GPS受信部42は、現在位置の情報50を入力制御部20に出力する。操作部44は、送信端末装置12を操作し、操作により生じた指示情報を装置12に提供する機能を有している。操作部44は、数字およびひらがなが割り当てられたボタンやスクロールキーを含んでいる。操作部44は、とくに、後述する複数のモデルデータおよび複数の背景画像の中からそれぞれ、一つずつ操作者が選択する選択機能を有する。具体的に、この選択は、通話開始以前に操作部44に含まれる選択ボタン等のユーザインタフェースを介して選択できるように設定しておけばよい。操作部44は、たとえば図示しないモニタにモデルデータや背景画像を表示させ、これらの表示の中から操作者によりそれぞれ選択された情報を選択信号52として入力制御部20に供給される。

入力制御部20は、情報入力部18からそれぞれ供給される情報の入出力を制御する機能を有している。入力制御部20は、情報入力部18だけでなく、表情抽出部22、キャラクタ管理部24および背景画像管理部26ともそれぞれ接続して、情報の入出力も制御している。入力制御部20は、撮像部40で取得したディジタル画像データ46をディジタル画像データ54として表情特徴抽出部22に供給する。また、入力制御部20は、操作部44からの選択信号52をそれぞれ、キャラクタ選択信号56および背景選択信号58に区別してキャラクタ管理部24および背景画像管理部26に供給するとともに、GPS受信部42で得られた現在位置を示す位置情報50も、それぞれに送っている。キャラクタ選択信号56および背景選択信号58を供給する各データ線は、キャラクタ管理部24および背景画像管理部26からのキャラクタにおけるモデルデータや背景データを入力制御部20に供給するように接続されている。これにより、送信端末装置12は、供給される各データを図示しないモニタに表示させて、どれか一つを選択できるようにしている。

表情特徴抽出部22は、供給されるディジタル画像から顔の各部位である目、鼻、口、眉毛等を解析し、各部位の輪郭を特徴点として抽出し、さらにこの特徴点を座標データとして検出する機能を有する。表情特徴抽出部22は、座標データおよびFAP（Face Animation Parameter）のいずれかにより表情を表すデータ60としてキャラクタ生成部32に出力する。

キャラクタ管理部24は、位置情報50に基づいてモデルデータを並べ替える機能、上述したように、並べ替えたモデルデータの中から推奨するモデルデータを利用者に対して提示する機能および利用者の選択したモデルデータをキャラクタ生成部32に提供する機能を有している。キャラクタ管理部24は、キャラクタ格納部28からキャラクタの基本データであるモデルデータ62を複数入力し、一時的にモデルデータを保持している。キャラクタ管理部24は、選択されたモデルデータ64をキャラクタ生成部32に出力する。

背景画像管理部26も位置情報50に基づいて背景モデルを並べ替える機能、上述したように、並べ替えた背景モデルの中から推奨する背景モデルを利用者に対して提示する機能および利用者の選択した背景モデルを画像生成部34に提供する機能を有している。背景画像管理部26は、背景モデル格納部30から背景画像のモデルデータ66を複数入力し、一時的に背景モデルを保持している。背景画像管理部26は、利用者によって選択された背景画像データ68を画像生成部34に出力する。

キャラクタ格納部28は、キャラクタ画像のモデルデータ62を複数格納するストレージである。キャラクタ格納部28は、キャラクタ管理部24の制御に応じてモデルデータ62がキャラクタ管理部24に読み出される。モデルデータには、後段で詳述するが、位置情報50に基づいてモデルデータが選択できるように、モデルデータと位置情報とがあらかじめ関連付けて格納されている。

ここで、モデルデータとは、たとえば３次元コンピュータグラフィックスのワイヤフレームモデル等に筋肉のモデルを３次元的に配置したモデルである。人間の表情は、顔の筋肉が動き、この動きに基づいて変化することで、たとえば、喜び、怒り、悲しみ等を表している。人間の顔の動き、たとえば発話時の口の動きも顔の筋肉が変化することに基づいている。この変化を反映させるように、モデルデータは、ワイヤフレーム上に筋肉のモデルを３次元的に配置し、各筋肉の収縮や弛緩をさせることにより、ワイヤフレーム自体を変形させる。また、モデルデータは、人物や猫等のような２次元画像を基にしてもよい。本発明では、このようなモデルデータをキャラクタと呼んでいる。

背景モデル格納部30は、背景画像を複数格納するストレージである。背景モデル格納部30は、背景画像管理部26の制御に応じて背景モデルまたは背景画像のモデルデータ66を背景画像管理部26に読み出す。背景モデルについても、後段で詳述するが、位置情報50に基づいて背景モデルが選択できるように、背景モデルと位置情報とがあらかじめ関連付けて格納されている。

キャラクタ生成部32は、供給されるデータ60を選択されたモデルデータ64の各部位に対応付けて、取り込んだ顔表情の動きとモデルデータの動きを同期させる機能を有している。キャラクタ生成部32は、キャラクタに利用者と同じ表情を持つキャラクタ画像データを生成し、キャラクタ画像データ70を画像生成部34に出力する。

画像合成部34は、キャラクタ画像データ70と利用者により選択された背景画像データ68を合成する機能を有している。画像合成部34は、この合成により得られた送信画像データ72を符号化部36に出力する。符号化部36は、供給される送信画像データ72に圧縮処理を施す機能を有している。符号化部36は、圧縮された送信データ74を送信部38に出力する。また、符号化部36は、図示しないが画像データだけでなく、コミュニケーションにおいて有効な音声データも圧縮していることは言うまでもない。送信部38は、供給される送信データ74を受信し、通信相手に送信データ76を出力する機能を有している。本実施例の通信相手は、前述したように受信端末装置14である。

受信側端末装置14は、図２に示すように、受信部78、復号部80およびモニタ82を含む。受信部78は、IPネットワーク16を介し、通信相手として供給される送信データ76を受信する機能を有している。受信部78は、送信データ76を受信して、同期を再生し、クロックを確立し、波形整形した受信データ84を復号部に出力する。

復号部80は、供給されるデータを復号し、伸長処理を施す機能を有している。復号部80は、受信した受信データ84に復号を施して、伸長により圧縮前の画像データ72を復元し、受信画像データ86としてモニタ82に出力する。モニタ82は、供給される画像データを画像として視認できるように表示する機能を有している。モニタ82は、受信画像データ86を表示する。

説明の簡略化のため送信側と受信側に機能をそれぞれ分けて本実施例は説明したが、送信端末装置12に受信端末装置14、受信端末装置14に送信端末装置12の構成をそれぞれ含み、双方向に画像通信ができることは、言うまでもない。以後の実施例でも一方の画像通信だけを説明しているが、本実施例と同様に双方向通信可能な構成を有している。

次に画像通信システム10の動作を説明する。送信端末装置12は、顔画像コミュニケーションを通信相手の受信端末装置14と通信する場合である。この通信において、送信端末装置12は、図３に示すように、位置情報を取得する（ステップS10）。位置情報とは、前述したように、地球上における物理的な緯度および経度である。さらに位置情報は、マップ情報と対応させ、国県市町村の区分、番地表示で表すと、より身近に情報を感じることができる。ただし、マップ情報は常に最新のものを用いることが好ましい。

次にキャラクタを管理する（ステップS12）。この管理とは、取得した現在位置を示す位置情報50を基にしてキャラクタ格納部28に格納しているモデルデータを取得した現在の位置情報と距離の近い順に並べ替える処理である。キャラクタ格納部28には、図4(a)に示すように、コンテンツテーブル88および位置情報テーブル90が個々の内容にそれぞれ、対応付けて設けられている。コンテンツテーブル88には「大仏像」、「公家」、「僧侶」等が設けられ、さらにたとえば、「公家」に対して位置テーブルの緯度情報および経度情報が対応付けられている。

このように処理することにより、キャラクタ管理部24は、利用者に対して現在の位置に適したキャラクタを選択させるように推奨するキャラクタを優先的に提示することができる。

次に背景モデルを管理する（ステップS14）。背景モデルの管理も、上述したキャラクタの管理と同様に、取得した現在位置を示す位置情報50を基にして背景モデル格納部30に格納しているモデルデータを取得した現在の位置情報と距離の近い順に並べ替える処理である。

背景モデル格納部30には、図4(b)に示すように、コンテンツテーブル92および位置情報テーブル94が個々の内容にそれぞれ、対応付けて設けられている。コンテンツテーブル92には「東京タワー」、「金閣寺」、「清水寺」等が設けられ、さらにたとえば、「金閣寺」に対して位置テーブルの緯度情報および経度情報が対応付けられている。

このように処理することにより、背景画像管理部26は、利用者に対して現在の位置に適した背景画像を選択させるように推奨する背景を優先的に提示することができる。

この他、並べ替えは、位置情報50に限定されるものでなく、後述する時間情報によって行うようにしてもよい。この時間設定を行うことにより、背景は、時間帯に応じて変えることができる。

これにより、利用者はキャラクタや背景画像の検索にともなう負荷を大幅に軽減することができる。図示しない送信端末装置12のモニタには、推奨された複数のキャラクタおよび複数の背景画像がたとえば、サムネイル形式等で表示される。利用者は、表示されたものの中から適した画像を一つずつ選択する（ステップS16）。少なくとも一方の選択が未終了の場合（NO）、この選択に戻って待機する。また、両方の選択が終了の場合（YES）、次の処理に進む（ステップS18へ）。

この選択処理を受けて、撮像部40を動作させて、撮像を開始する（ステップS18）。撮像によって得られたディジタル画像データ46が入力制御部20の制御により表情特徴抽出部22にディジタル画像データ54として供給される。ディジタル画像データ54に対して表情特徴を抽出する（ステップS20）。顔領域における表情特徴は、画像処理用のフィルタによる特徴点の探索やテンプレートマッチング処理等の従来から既に知られている手法によりあらかじめ定義された顔の各部位、たとえば目、鼻、口、眉毛等の輪郭を位置座標データに基づいた特徴点として抽出する。

なお、これらの特徴点の抽出は、前述したWG11/MPEGのコミッティドラフトに記載されている68個のFAPとして検出することも可能である。

次にキャラクタ画像を生成する（ステップS22）。キャラクタ画像は、抽出した顔表情の特徴点を表すデータ60、すなわち本実施例における座標データと選択されたモデルデータ64とを用いて、座標データをモデルデータ64の各部位に対応付けてキャラクタ画像データを生成する。この生成により、キャラクタ画像データ70は、利用者の顔表情の動きに同期した画像になる。

次に画像の合成を行う（ステップS24）。これは、キャラクタ画像データ70と選択された背景モデル画像データ68との合成処理である。より具体的には、図5(A)に示すキャラクタ画像96と図5(B)に示す金閣寺の背景画像98とを既知の画像合成手法により合成して、図5(C)に示す合成画像100が生成される。この場合、合成画像100は送信画像データ72である。

次に符号化する（ステップS26）。送信画像データ72には、符号化部36で圧縮処理が施される。圧縮処理には、たとえばMPEG-4規格に応じた圧縮を用いるとよい。符号化部36は送信データ74を送信部38に出力する。次に送信部38は送信データ76を受信端末装置14に送出する（ステップS28）。

次に通信を終了させるか否かを判断する（ステップS30）。通信を継続する場合（NO）、撮像に戻る（ステップS18）。また、通信を終了する場合（YES）、終了に移行して、画像通信を終える。

受信端末装置14には、送信端末装置12からIPネットワーク16を介して送信データ76が供給される。受信端末装置14は、供給される送信データ76を受信する（ステップS32）。受信データ84は復号部80に供給される。復号部80では、受信データ84に伸長処理を施して、送信画像データ72と同じ画像を受信画像データ86として復元する（ステップS34）。モニタ82は、供給される受信画像データ86を画面に表示する（ステップS36）。この後、終了判断に進む（ステップS38へ）。

終了判断は、受信処理を終了するか否かを判断する（ステップS38）。受信を継続する場合（NO）、受信に戻る（ステップS32へ）。また、受信を終了する場合（YES）、終了処理に移行して、通信を切断する。通信中、通信相手の利用者は、この表示により、利用者が選択したキャラクタ画像と背景画像を合成し、キャラクタ画像に表情を持った画像を見ながら、会話することができる。

このように動作させることにより、位置情報50に応じて利用者に推奨するモデルデータや背景画像等のコンテンツを動的に変えて、提示することにより、送信端末装置12の位置に応じたコンテンツを容易に選択でき、通話時に利用者がコンテンツの選択に要する負荷を低減することができる。これにより、言外情報を視覚情報として伝達しながら、通信相手に対するプライバシーも保護できる。したがって、コミュニケーション力を向上させるとともに、利用者に安心感も提供することができる。

次に画像通信システム10における送信端末装置の他の実施例について説明する。これ以降の実施例では、前述した実施例と同じ構成要素には同じ参照符号を付して、説明の煩雑さを避けるため説明を省略する。本実施例の送信端末装置12は、図７に示すように、先の実施例の構成要素に背景画像生成部102を追加している。背景画像生成部102は、背景画像管理部26から供給される背景画像の部品に対応する部分背景画像データを含む背景モデル106を基に画像合成し、一枚の背景画像データ68を生成する機能を有している。背景画像生成部102は、たとえば基本となる背景画像に供給される部分背景画像データをアレンジして生成される背景画像に特徴を持たせている。背景画像生成部102は、生成した背景画像データ68を画像生成部34に出力する。

また、情報入力部18には、撮像部40および操作部44とともに、情報取得部104を含む。情報取得部104は、各種の情報を取得するセンサとしての機能を備えている。すなわち、先の実施例ではGPS受信部42だけであったが、本実施例では気象情報受信部108およびタイマ110も具備している。気象情報受信部108は、アンテナ112またはインターネット等を介してリモートセンシングやレーダ観測による気象情報や公開されている気象情報を受けて、現在位置における気象情報「晴れ」、「曇り」、「雨」および「雪」等を取得し、取得した気象情報114を入力制御部20に出力する。タイマ110は、時計機能を有し、現在の時刻を時刻情報116として入力制御部20に出力する。時刻情報116は、後述するコンテンツの表示選択や通信相手との通話時間帯の判断に用いる。このように情報取得部104は、位置情報50、気象情報114および時刻情報116をセンサ情報として入力制御部20に供給する。

キャラクタ管理部24は、供給されるセンサ情報を総合評価して、キャラクタ（モデルデータ）を並べ替えて、推奨するキャラクタを提示し、利用者の選択に応じてモデルデータ64を出力する。また、背景画像管理部26も供給されるセンサ情報を総合評価して、背景モデルを並べ替えて、推奨する背景モデルを提示し、利用者の選択に応じて背景モデル106を出力する。背景モデル106は、一枚の背景画像や背景画像の部分に対応する部分背景画像を含んでいる。キャラクタ格納部28および背景モデル管理部30のデータ構造については後段でさらに説明する。

次に本実施例における送信端末装置12の動作を説明する。送信端末装置12は、図８に示すように、情報を取得する（ステップS40）。ここでの情報は、各種のセンサから得られる情報である。情報50, 114および116は入力制御部20を介してキャラクタ管理部24および背景画像管理部26にそれぞれ供給される。キャラクタ管理部24および背景画像管理部26は、それぞれ、キャラクタ格納部28および背景モデル格納部30を制御して、モデルデータおよび背景モデルを並べ替える。

とくに、背景モデル格納部30は、図９に示すように、コンテンツテーブル92に対する位置情報テーブル94だけでなく、タイムテーブル118および天候テーブル120が用意されている。位置情報テーブル94の位置情報は、背景モデルの特定に用いている。タイムテーブル118は、コンテンツテーブルのコンテンツに対する「日中」118aの前景および背景、ならびに「夜間」118bの前景および背景を関連付けるとともに、実際表示する前景データおよび背景データをそれぞれ対応させて格納されている。また、天候テーブル120もコンテンツテーブルのコンテンツに対する「晴れ」120a、「曇り」120b、「雨」120cおよび「雪」120dの前景および背景を関連付けるとともに、実際表示する前景データおよび背景データをそれぞれ対応させて格納されている。

次にキャラクタを管理する（ステップS12）。キャラクタ管理部24は、モデル情報の内、位置情報50をキーコードとして用い、推奨するキャラクタのモデルデータを並べ替えて、提示する。

次に背景部品を選択する（ステップS42）。背景画像管理部26は、モデル情報すべてを組み合わせて背景モデルの前景および背景を選択するように背景モデル格納部30を制御する。これにより、背景画像管理部26は、背景モデル格納部30から前景および背景の考慮された背景画像のモデルデータ66を読み出して、背景画像生成部102に背景モデル106として供給する。また、前述した背景モデルの並べ替えを行って、推奨する背景モデルを提示して、利用者に選択させるようにしてもよい。

次に背景画像を作成する（ステップS44）。背景画像生成部102は、供給された背景モデル106を基に一枚の背景画像を生成する。図10に示すように、前景画像122と背景画像124は、従来既知の画像合成方法を組み合わせて、合成する。生成した背景画像126は、画像生成部34の図示しないメモリに供給され、格納される。

次にキャラクタの選択が終了したか否かを判断する（ステップS46）。図示しない送信端末装置12のモニタには、推奨された複数のキャラクタがたとえば、サムネイル形式等で表示される。利用者は、表示されたものの中から適したキャラクタ画像を一つ選択する。この選択が未終了の場合（NO）、この選択に戻って待機する。また、この選択が終了の場合（YES）、次の処理に進む（ステップS18へ）。撮像から終了判断までは、先の実施例とまったく同じである。

なお、本実施例は、各種センサからの情報に応じて、コンテンツ部品を組合せ、動的に背景画像を作成していたが、本発明はこれに限定されるものではなく、たとえばセンサ情報としての位置情報、気象情報および時間情報等の条件に基づいてあらかじめ作成した背景画像を準備し、実際に取得した各種のセンサ情報に基づいて準備した背景画像の中から条件の一致する背景画像を選択し、決定するようにしてもよい。

このように動作させることにより、プライバシーを保護しながら、言外情報を視覚情報として伝達することができる。本実施例は、先の実施例に比べて位置情報だけでなく、この他に時間や天候等の各種センサ情報を総合して、背景等のコンテンツを動的に変えて、利用者が通話している状態の視覚情報をより正確に伝えて、表現することができる。

次に画像通信システム10における送信端末装置の他の実施例について説明する。本実施例を図11に示す。本実施例は、最初の実施例の構成に背景画像登録部128をさらに設けている点に特徴がある。背景画像登録部128は、利用者が撮影した画像を背景モデル格納部30に登録し、保存させる機能を有する。

背景画像登録部128は、操作モードを切り替えた、たとえば背景登録モードにて撮像部40を介して得られたディジタル画像データ46を入力制御部20に出力し、入力制御部20からディジタル画像データ130を取得し、一時的に格納する。また、背景画像登録部128は、この取得したディジタル画像データ130とともに、位置情報およびコンテンツ名を対応付けた、背景モデル132を背景モデル格納部30に供給して、登録・保存する。

ここで、位置情報50は、入力制御部20を介して供給される。また、コンテンツ名は、操作部44のボタン選択により指示入力されるデータで表される。背景モデル格納部30には、図4(b)に示したデータ構造にされた背景モデルが登録・保存される。これにより、背景モデルは、利用者により増やすことができる。

次に本実施例における送信端末装置12の動作を説明する。送信端末装置12は、図12に示すように、通信開始前に操作モードを背景登録モードにする。このモードにおいて、情景を取得する（ステップS50）。送信端末装置12は、利用者がたとえば、旅行先における観光名所等を撮像部40で撮影して、得られた画像データ46をディジタル画像データ130として背景画像登録部128に供給する。この画像は、通信相手に自分の状況を伝える背景に用いる。

次に位置情報50を取得する（ステップS52）。位置情報50は、GPS受信部42によって得られ、背景画像登録部128に供給される。次に背景モデルのコンテンツ名を登録し、保存する（ステップS54）。コンテンツ名は、利用者によって操作部44から背景画像登録部128に供給される。

次に背景モデル格納部30への情景保存が完了したか否かを判断する（ステップS56）。情景保存が未完の場合（NO）、再び情景の取得に戻る（ステップS50へ）。また、情景保存が完了の場合（YES）、次の処理に進む（ステップS12へ）。これ以降の動作は、最初の実施例におけるキャラクタの管理（ステップS12）から終了判断（ステップS30）までまったく同じである。

このように動作させることにより、あらかじめ登録してある背景画像等のコンテンツだけでなく、利用者が所望する画像を取得し、取得した画像を背景画像に用いてコミュニケーションを行うことで、あらかじめ登録済みの背景画像を用いるよりも一層、TPO（Time Place and Occasion）に応じたコミュニケーションにでき、通信相手に対して現在、利用者の周囲等を視覚情報として伝達することがから、プライバシーを保護しながら、コミュニケーション力を向上させることができる。

次に画像通信システム10における送信端末装置12および受信端末装置14の他の実施例についてそれぞれ、説明する。送信端末装置12は、最初の実施例における構成要素の内、図13に示すように、情報入力部18、表情抽出部22、符号化部36および送信部38だけを含む。送信端末装置12は、画像通信において最低限の情報を送出する構成要素を含んでいる。情報入力部18には、撮像部40およびGPS受信部42を具備する。なお、情報入力部18は、図７に示したような情報取得部104を含んでもよい。

受信端末装置14は、図14に示すように、受信部78、復号部80およびモニタ82とともに、画像生成に要求される構成要素を含んでいる。画像生成に要求される構成要素は、キャラクタ管理部24、背景画像管理部26、キャラクタ格納部28、背景モデル格納部30、キャラクタ生成部32、画像生成部34および操作部134を含む。これら構成要素の機能は、前述した最初の実施例における機能に同じである。

受信端末装置14は、復号部80とモニタ82の間にキャラクタ生成部32および画像生成部34を順に配設する。復号部80は、復号したデータ86aとデータ86bとを分けて出力する。データ86aは、送信端末装置12の位置情報であり、キャラクタ管理部24および背景画像管理部26にそれぞれ、供給されている。また、データ86bは、表情特徴を抽出した座標データまたはFAPであり、キャラクタ生成部32に供給されている。

キャラクタ管理部24および背景画像管理部26は、それぞれ、キャラクタ格納部28および背景モデル格納部30のコンテンツを供給される位置情報86aの近い順に並べ替える。キャラクタ管理部24および背景画像管理部26は、それぞれ、モニタ82に並べ替えたコンテンツ62および66を読み出して、サムネイル表示し、提示する。キャラクタ管理部24および背景画像管理部26は、それぞれ、利用者により選択されたモデルデータ（キャラクタ）64および背景画像データ68をキャラクタ生成部32および画像生成部34に出力する。キャラクタ管理部24および背景画像管理部26は、それぞれ、利用者による選択が煩雑な場合、自動選択を設定するとよい。自動選択とは、提示されたモデルデータ（キャラクタ）および背景の画像の先頭に提示されたものを選択することである。これにより、利用者はモデルデータ（キャラクタ）および背景の画像が動的に変化に変化しても、選択を意識することなく、コミュニケーションに集中することができる。

モニタ82および操作部134は、入出力部136に含まれる。ここで、操作部134は、ボタン選択だけでなく、入力制御部20と同じ機能も具備している。この機能により、読み出したコンテンツ62および66をモニタ82に供給して、表示することができる。

図示していないが、受信端末装置14は、図７に示した背景画像登録部102を設けてもよい。これにより、受信端末装置14は、画像通信において背景画像のTPOに応じたコミュニケーションを提供することができる。

次に本実施例における送信端末装置12の動作を説明する。送信端末装置12は、図15に示すように、位置情報50を取得し（ステップS10）、この後、直ちに撮像を行う（ステップS18）。次に顔画像から表情特徴を抽出する（ステップS20）。符号化は、抽出した座標データまたはFAPで表されるデータ60および位置情報50に圧縮処理を施して送信部38に出力する。このように送信部38は供給される圧縮したデータ76を受信端末装置14に送出する。次に終了判断で（ステップS30）、画像送信の終了と継続を判断する。継続する場合（NO）、撮像に戻って一連の処理を繰り返す。

このように送信端末装置12は、本実施例における画像生成に要求される最小限の情報を受信端末装置14に送っている。

受信端末装置14は、図16に示すように、受信（ステップS32）および復号（ステップS34）を行った後、受信端末装置14における管理を行うか否かの判断に進む（ステップS60へ）。この処理は、受信端末装置14が初期状態の場合およびすでに受信状態にあって、復号した位置情報86aが変化している場合のいずれか一方に対応しているか否かを判断する（ステップS60）。初期状態または位置情報86aが変化している場合（YES）、キャラクタの管理（ステップS12）、背景モデルの管理、ならびにキャラクタおよび背景における選択終了の判断処理（ステップS16）を順に行う。

ここで、各管理によるモデルデータおよび背景画像の表示順位は、前述した通り、送信側の位置情報に基づいて表示しているから、推奨されたモデルデータおよび背景画像の内、推奨順位の高いものを選択すると、送信側話者の位置に応じたコンテンツを選択できることになる。

また、初期状態になく、かつ位置情報の変化がない場合（NO）や選択終了の判断処理後、キャラクタの画像生成に進む（ステップS22へ）。

なお、キャラクタ管理部および背景画像管理部26は、取得した位置情報86aと各コンテンツが有する位置情報とを基に距離を算出し、最も近い距離があらかじめ設定した距離の閾値よりも離れていることを示す場合、推奨する背景画像なしとしてモニタ82に表示させるようにしてもよい。このように推奨するコンテンツがない場合には、あらかじめ設定しておいたデフォルトのモデルデータおよび背景画像を選択するように受信端末装置14の利用者（受信者）に示唆しておくとよい。

次にキャラクタの画像を生成する（ステップS22）。座標データまたはFAPで表すデータ60と受信者が選択したモデルデータを用いて、送信側の顔表情の動きに同期させたキャラクタ画像を生成する。このように受信者がモデルデータ（キャラクタ）を選択している点がこれまでと異なっている。

次に画像を合成する（ステップS24）。この合成は、画像生成部34で行う。キャラクタ画像データ70と受信者が選択した背景画像データ68とを合成する。画像生成部34は、合成した画像データ72をモニタ82に供給する。モニタ82には、画像データ72が表示される（ステップS36）。

次に受信を終了するか否かを判断する（ステップS38）。継続（NO）は受信に戻り（ステップS32へ）、終了（YES）は通信を切断して終了する。

このように動作させることにより、コミュニケーション力を向上させることができるとともに、これまでの実施例に比べて送信側から画像データを伝送することなく、送信側の位置情報に応じたコンテンツを推奨して、送信者の表情に同期したキャラクタおよび背景画像を表示させることができ、伝送上の負荷を軽減することができる。また、送信側話者の現在位置の状況などを視覚情報として表示するだけでなく、受信側でのキャラクタや背景画像を選択することにより、受信側に選択の主導権を持たせるもとができる。

次に画像通信システム10および送信端末装置12における他の実施例について説明する。画像通信システム10は、図17に示すように、送信端末装置12および受信端末装置14をIPネットワーク16に接続させるとともに、新たな構成要素として課金装置140もIPネットワーク16に接続させている。課金装置140は、課金サーバ142、コンテンツサーバ144、課金テーブル146および背景モデル格納部30を含む。

課金サーバ142は、使用したコンテンツの対価を計算する機能および課金対象者に課金情報を通知する機能を有している。

コンテンツサーバ144は、背景モデル格納部30および課金テーブル146を管理する機能を有している。課金テーブル146は使用したコンテンツに対する対価を利用者毎に記録するストレージである。背景モデル格納部30は、コンテンツサーバ144の管理機能により送信端末装置12の個々が有していた背景画像を利用者毎に格納管理する大規模なストレージである。背景モデル格納部30は、前述したように、背景画像と位置情報をあらかじめ関連付けて格納されている。利用者は、送信端末装置12から受信端末装置14に対して送信する複数の背景モデルの画像データを登録している。また、第三者、すなわちベンダが提供するコンテンツには、広告等の付加情報を添付することも可能である。これにより、コンテンツ提供者にとっても利便性が発生する。たとえば、送信者が百貨店などの店舗から通話する場合、この店舗が広告付きの背景画像を利用者に提供するように情報提供してもよい。このような場合、広告提示を条件にコンテンツ使用料の軽減等によるサービス提供を設定して課金するようにしてもよい。

図18に示す送信端末装置12は、最初に説明した実施例の構成要素の内、背景モデル管理部30を除き、受信部150を設けている。本実施例における受信部150は、課金装置140からの背景画像データ152を受信する機能を有する。また、本実施例のコンテンツサーバ144は、背景画像データ152を圧縮せずに送出している。受信部150は、圧縮データを扱う場合、復号機能も設けられている。受信部150は、受信した背景画像データ152を背景画像のモデルデータ66として背景画像管理部26に供給する。

また、背景画像管理部26には、入力制御部20を介して位置情報50が供給される。背景画像管理部26は、位置情報154として送信部38に供給し、コンテンツサーバ144に送出している。背景画像管理部26は、コンテンツ管理サーバ144に要求した背景画像のモデルデータを受信部150で取得し、受信部150から背景画像管理部26内のメモリに格納する。

なお、このような背景モデル格納部30の削減は、送信端末装置12に限定されるものでなく、具体的に図示はしないが図14のように受信端末装置14が背景モデル格納部30を有する場合にも適用できることは言うまでもない。

次に画像通信システム10における送信端末装置12および課金装置140の動作について説明する。送信端末装置12は、図19に示すように、GPS受信部42から位置情報50を取得し（ステップS10）、位置情報50をキャラクタ管理部24に供給する。キャラクタ管理部24は、供給される位置情報50を基にモデルデータ（キャラクタまたはコンテンツ）を並び替える（ステップS12）。この後、送信端末装置12は、位置情報50を送信する（ステップS70）。この処理をさらに説明する。背景画像管理部26は、GPS受信部42で取得した位置情報50を取得し、位置情報154として送信部38に供給する。送信部38はIPネットワーク16を経由して、位置情報154をコンテンツ管理サーバ144に送出する。

次に背景画像を管理する（ステップS72）。この管理についてさらに説明する。コンテンツ管理サーバ144は、供給された位置情報154を基に距離を求め、距離の近い順に背景モデル格納部30に格納されている背景画像のモデルデータを並べ替える。コンテンツ管理サーバ144は、この並べ替えの結果を送信端末装置12にIPネットワーク16を経由して、供給する。この結果は、回線容量を考慮してサムネイル形式の縮小画像で供給するとよい。送信端末装置12は、受信部150で背景画像の並べ替えたモデルデータ152を受信する。受信部150は、モデルデータ152を背景画像管理部26に背景画像のモデルデータ66として出力する。背景画像管理部26は、供給される背景画像のモデルデータ66を図示しないモニタに表示して、利用者が選択し易いようにする。

この後、キャラクタおよび背景の選択が終了したか否かを判断する（ステップS16）。少なくとも一方が未選択の場合（NO）選択処理に戻り、両方が選択された場合（YES）次の処理に進む（ステップS74）。

上述した選択により選ばれたキャラクタおよび背景の内、選択された背景画像のモデルデータを示す情報154を要求信号として送信部38に供給する。コンテンツ管理サーバ144は、送信端末装置12の利用者が選択した背景画像を背景モデル格納部30から取得する。コンテンツ管理サーバ144は、取得した背景画像の該当モデルデータを送信端末装置12の受信部150に供給し、受信部150から背景画像管理部26に送出する。このモデルデータの利用に対する使用の対価を課金テーブル146に記録する（ステップS74）。

次に通信相手との画像通信を開始して、撮像し（ステップS18）、表情を抽出し（ステップS20）、選択したキャラクタ画像に表情を持たせるように画像70を生成し（ステップS22）、画像70と選択した背景画像のモデルデータ68とを合成し（ステップS24）、送信画像データ72を符号化し（ステップS26）、圧縮された送信画像データ74を送信部38に供給して、送信部38から受信端末装置14に送信データ76を出力する。

次に終了するか否かを判断する（ステップS30）。継続する場合（NO）、撮像に戻り、終了する場合（YES）、課金処理に進む（ステップS76）。また、送信端末装置12は、コンテンツ管理サーバ144に背景画像のモデルデータの使用が終了したことを報知する。コンテンツ管理サーバ144は、課金テーブル146に終了時刻を記録する。

課金処理は、課金サーバ142で行う。課金サーバ142は、課金テーブル146から課金情報を読み出す。課金情報は、利用者、対価、使用開始時刻および使用終了時刻を含む。課金サーバ142は、読み出した課金情報を基に使用料金を算出し、この使用料金に応じて受領する料金を算出する。使用料金は利用者である課金対象者に通知され、受領する料金は受給対象者に通知される。課金テーブル146には、算出した使用料金とこれまでの使用料金等を利用者毎に保存する。この記録の後、送信端末装置12は、画像通信を切断して終了する。

本実施例でコンテンツ管理サーバ144は、位置情報により並べ替えたが、これに限定されるものでなく、時間情報を用いて並べ替えてもよい。

このように動作させることにより、IPネットワーク16上に課金装置140を設けて、第三者によるコンテンツ管理サーバ144が提供する背景モデル格納部30から多種多様なコンテンツの提示を受けることができ、この提示の中から利用者が所望する背景モデルを選択して、入手することにより、利用者の満足度が常に満たされるようにコンテンツを活用することができることから、画像通信システム10をより一層利便性の高いシステムにすることができる。また、提供するコンテンツには、広告等の付加情報を添付することも可能で、コンテンツ提供者にも利便性が生じさせることができる。

なお、前述した実施例すべては、センサ情報に応じて推奨するモデルデータおよび背景画像を複数利用者に提示し、最終的な利用者の操作によってコンテンツを選択したが、本発明はこれに限定されるものではなく、たとえば各種のセンサ情報に応じて一意にモデルデータおよび背景画像を決定して提供するようにしてもよい。この場合、操作部は、提供されたコンテンツの可否を利用者により指定するだけの機能になる。

以上のように構成することにより、情報入力部18のGPS受信部42で取得した位置情報50が入力制御部20を介してキャラクタ管理部24および背景管理部26に供給され、供給される位置情報50を基にキャラクタ格納部28のモデルデータおよび背景格納30の背景画像をそれぞれ、推奨順位に並べ替えて、提示し、操作部44で選択したモデルデータを基に表情特徴抽出部22からの特徴量であるデータ60を反映させたキャラクタ画像をキャラクタ生成部32で生成し、このキャラクタ画像70に選択した背景画像64を画像生成部34で合成し、送信画像72を通信相手先に送信部38から送信して、顔画像だけでなく、周囲の背景も通話者の状況に応じて背景画像を提示し、選択させることにより、選択の負荷を軽減させ、かつ顔および背景すべてを動的に変化する代替画像にしながら、微妙なコミュニケーションを視覚情報として伝達することができる。

情報取得部104は、送信端末装置12の位置情報50を取得するGPS受信部42を含むことが好ましい。とくに、情報取得部104は、図７に示すように、GPS受信部42、気象情報受信部108およびタイマ110を含むが、これらの一つを少なくとも含み、位置情報50、気象情報114および現在時刻116の少なくとも一つをセンサ情報として取得することが望ましい。

キャラクタ格納部28は、モデルデータのそれぞれが少なくとも、位置情報50を対応させたデータ構造に配設されていることから、キャラクタ管理部24による位置情報50を基に並べ替えて、動的にキャラクタ画像を変えることができる。

背景モデル格納部30は、背景の画像、すなわち背景モデルのそれぞれが少なくとも、位置情報50を対応させたデータ構造に配設されていることから、背景画像管理部26による位置情報50を基に並べ替えるとともに、動的に背景の画像を変えることができ、かつ利用者の現状を反映した背景画像の提示が複雑な操作をすることなく、行うことができる。

キャラクタ管理部24は、取得したセンサ情報のうち、位置情報50を基にキャラクタ格納部28内のモデルデータを推奨するモデルデータに並べ替える機能により利用者に対して推奨するキャラクタを提示して、煩雑な検索や選択操作を容易にすることができる。

背景画像管理部28は、取得したセンサ情報のうち、位置情報50および時間情報116のいずれか一方を基に背景モデル格納部30内の背景の画像を推奨する背景の画像に並べ替える機能により利用者に対して推奨する背景の画像を提示して、煩雑な検索や選択操作を容易にすることができる。

送信端末装置12（通信端末装置の送信系）における背景画像生成部102は、背景画像管理部28から供給される背景画像の部分画像を重畳して、合成することにより背景画像を構成する部品を組み替えて、より細かく利用者の周囲環境等の状況に対応した背景画像を提供することができる。

送信端末装置12（通信端末装置の送信系）における背景画像登録部128は、撮像部40から取得した画像データ46にこの画像データ46を表す名前と位置情報50とを対応付けて、背景モデル格納部30に登録することにより、デフォルトで登録されている以外の情景を背景として登録することができ、背景の自由な設定と活用によりTPOに応じたコミュニケーションを行うことができる。

また、本発明の通信端末装置は、送信端末装置12では、撮像部40で取得した画像データ46を表情特徴抽出部22に供給し、表情特徴抽出部22からの特徴量であるデータ60および情報取得部104におけるGPS受信部42の位置情報50を送信し、受信端末装置14では供給される位置情報をキャラクタ管理部24および背景画像管理部26に供給し、供給される位置情報86aを基にキャラクタ格納部28のモデルデータおよび背景モデル格納部30の背景画像をそれぞれ、推奨順位に並べ替えて、提示し、操作部134で選択したモデルデータ64を基に供給された特徴量86bを反映させたキャラクタ画像を生成し、このキャラクタ画像70に選択した背景画像68を画像生成部34で合成し、この合成画像72をモニタ82に表示させることにより、送信側からコミュニケーション力の向上に用いる情報だけを通信相手先に供給するから、画像データを通信する場合に比べて伝送量が少なくて済み、供給される情報を基に受信端末側で主導的にキャラクタおよび背景の選択することができる。

通信端末装置は、前述した情報取得部104、キャラクタ格納部28、背景モデル格納部30、キャラクタ管理部24および背景画像管理部28を設けることが好ましい。

通信端末装置である送信端末装置12および受信端末装置14をIPネットワーク16に接続させて画像通信システム10を構築する。画像通信システム10は、さらに課金装置140をIPネットワーク16に接続させて、課金装置140は、課金サーバ142およびコンテンツ管理サーバ144を含み、コンテンツ管理サーバ144が課金テーブル146および背景モデル格納部30を含むことにより、利用に応じた課金の処理および課金の管理を行い、ベンダによる背景モデルを管理して、より広範にわたる背景画像を利用者に提供することができる。また、画像通信システム10は、背景画像に広告を付加情報として添付させると、第三者にとっての利便性を持たせることもできる。画像通信システム10は、送信端末装置12または受信端末装置14に含む背景モデル格納部30を廃止し、ベンダによる背景モデル格納部30から背景の画像152を受信することより、構成を簡略化することができる。

コンテンツ管理サーバ144は、送信端末装置12または受信端末装置14ら供給される位置情報または時間情報の少なくとも一方に応じて背景の画像を並べ替えて、得られた結果を位置情報または時間情報の供給元に送信することにより、キャラクタ管理部24および背景画像管理部26と同じ機能を代替することができる。

本発明の画像提供方法は、入力情報のうち、処理条件に用いるセンサ情報としての位置情報50および時間情報116の少なくとも一方を取得し、供給される情報に近い順にモデルデータおよび背景の画像をそれぞれ、並べ替えて、並べ替えた各モデルデータおよび背景の画像を提示することで、位置情報または時間情報で動的に変化させて、利用者によるモデルデータおよび背景の画像の選択にともなう負担を軽減し、かつ利用者が置かれている現状に近い画像の提供に寄与することができる。

センサ情報は、位置情報50、時間情報116および物理的な情報としてたとえば気象情報114のいずれかを含むことが望ましい。

画像提供方法において背景の画像の並べ替えは、センサ情報を総合的に判断して、並べ替えて、背景の画像における前景画像および背景画像をそれぞれ提示し、選択し、この提示した前景画像および背景画像を合成することにより、利用者の現状をあらかじめ設定した背景画像よりも通信相手により多くの情報として伝えることができる。

画像提供方法は、最初に、位置情報50および時間情報116の少なくとも一方とともに、周囲の情景を撮影し、この撮影した画像を背景の画像に用い、この背景の画像を特定するコンテンツ名およびセンサ情報を関連付けて登録することにより、背景の自由な設定と活用によりTPOに応じたコミュニケーションを行うことができる。

画像提供方法は、情報の供給元で取得する画像データを含む入力情報のうち、受信側での処理条件に用いるセンサ情報および画像データから抽出した表情を示すデータ60を送出し、これらの情報を供給先にて受信し、この供給先の初期状態およびセンサ情報における変化の少なくとも一方を検出する検出条件を判断し、この検出条件に該当する場合、センサ情報に近い順にモデルデータおよび背景の画像をそれぞれ順次に並べ替えて、並べ替えた結果を提示し、これ以外の場合、モデルデータおよび背景の画像が設定済と判断して、設定されているデータにより画像を生成することにより、設定の主導権を受信側にするとともに、受信側でモデルデータおよび背景の画像を検出条件に応じて動的に変化させることができる。

検出条件に該当する場合、キャラクタの選択処理は、並べ替えて、提示した先頭のモデルデータを選択し、背景画像の選択処理は、並べ替えて、提示した先頭の前記背景の画像を選択することもより、利用者に決定の判断させず、自動的に表示することができ、コミュニケーションに集中させることができる。

本発明の通信端末装置を適用した送信端末装置の実施例における概略的な構成を示すブロック図である。 図１の送信端末装置と通信する受信端末装置の概略的な構成およびこれら装置を具備する画像通信システムの構成を示すブロック図である。 図１の送信端末装置における動作手順を説明するフローチャートである。 図１のキャラクタ格納部および背景モデル格納部におけるデータ構造を説明する図である。 図１の画像合成部における画像合成の原理を説明する図である。 図２の受信端末装置における動作手順を説明するフローチャートである。 本発明の通信端末装置を適用した送信端末装置の他の実施例における概略的な構成を示すブロック図である。 図７の送信端末装置における動作手順を説明するフローチャートである。 図７の背景モデル格納部におけるデータ構造を説明する図である。 図７の背景画像生成部で合成される画像の一例を説明する図である。 本発明の通信端末装置を適用した送信端末装置の他の実施例における概略的な構成を示すブロック図である。 図11の送信端末装置における動作手順を説明するフローチャートである。 本発明の通信端末装置を適用した送信端末装置の他の実施例における概略的な構成を示すブロック図である。 本発明の通信端末装置を適用した受信端末装置の他の実施例における概略的な構成を示すブロック図である。 図13の送信端末装置における動作手順を説明するフローチャートである。 図14の受信端末装置における動作手順を説明するフローチャートである。 図２の画像通信システムに課金装置を配設した概略的な構成を示すブロック図である。 図17の送信端末装置における概略的な構成を説明するブロック図である。 図18の送信端末装置における動作手順を説明するフローチャートである。

符号の説明

10 画像通信システム
12 送信端末装置
14 受信端末装置
16 IPネットワーク
18 情報入力部
20 入力制御部
22 表情特徴抽出部
24 キャラクタ管理部
26 背景画像管理部
28 キャラクタ格納部
30 背景モデル格納部
32 キャラクタ生成部
34 画像生成部
36 符号化部
38 送信部
78 受信部
80 復号部
82 モニタ

Claims (24)

1. 画像データを含む入力情報を入力する情報入力手段と、
   該入力情報および該入力情報以外の供給元からの入力情報をそれぞれ制御して、供給先に供給する入力制御手段と、
   前記画像データに含まれる顔の部位を特徴点とし、該特徴点を基に表情を表す特徴量を抽出する特徴抽出手段と、
   通信相手に表示する画像をキャラクタとし、該キャラクタの基本的なモデルデータを複数格納するキャラクタ格納手段と、
   前記キャラクタに対する背景の画像を背景モデルとして複数格納する背景格納手段と、
   前記モデルデータを読み出して、該モデルデータを前記キャラクタとしての提示、選択指示および提供をそれぞれ制御するキャラクタ管理手段と、
   前記背景の画像を読み出して、該背景モデルとしての提示、選択指示および提供をそれぞれ制御する背景管理手段と、
   前記特徴量を提供されるモデルデータに反映させて、表情を持つ画像を生成するキャラクタ生成手段と、
   該生成される表情を持つ画像と提供される背景モデルとを合成し、送信画像を生成する画像合成手段と、
   該送信画像を送信する送信手段とを具備し、
   前記情報入力手段は、入射光を光電変換する受光素子が複数配設され、該受光素子からの電気信号を前記画像データにして出力する撮像手段と、
   前記モデルデータおよび前記背景の画像を推奨順位の高い順に並べ替える条件を取得する条件取得手段と、
   前記条件に応じて提示される前記モデルデータおよび前記背景の画像をそれぞれ選択する選択手段とを含むことを特徴とする通信端末装置。
2. 請求項１に記載の装置において、前記条件取得手段は、該装置の位置情報を取得する位置取得手段を含むことを特徴とする通信端末装置。
3. 請求項１または２に記載の装置において、前記条件取得手段は、位置情報、物理的な情報および時間的な情報の少なくとも一つをセンサ情報として取得する手段を含むことを特徴とする通信端末装置。
4. 請求項１、２または３に記載の装置において、前記キャラクタ格納手段は、前記モデルデータのそれぞれが少なくとも、前記位置情報を対応させたデータ構造に配設されていることを特徴とする通信端末装置。
5. 請求項１、２または３に記載の装置において、前記背景格納手段は、前記背景の画像のそれぞれが少なくとも、前記位置情報を対応させたデータ構造に配設されていることを特徴とする通信端末装置。
6. 請求項１ないし５のいずれか一項に記載の装置において、前記キャラクタ管理手段は、前記条件取得手段で取得した情報のうち、前記位置情報を基に前記キャラクタ格納手段内の前記モデルデータを推奨するモデルデータに並べ替える機能を有することを特徴とする通信端末装置。
7. 請求項１ないし６のいずれか一項に記載の装置において、前記背景管理手段は、前記条件取得手段で取得した情報のうち、前記位置情報および前記時間情報の少なくとも一方を基に前記背景格納手段内の前記背景の画像を推奨する背景の画像に並べ替える機能を有することを特徴とする通信端末装置。
8. 請求項１ないし７のいずれか一項に記載の装置において、該装置は、前記背景管理手段から供給される背景画像の部分画像を重畳して、合成する背景合成手段を含むことを特徴とする通信端末装置。
9. 請求項１ないし８のいずれか一項に記載の装置において、該装置は、新たに前記撮像手段から取得した画像データに該画像データを表す名前と前記位置情報とを対応付けて、前記背景格納手段に登録する背景登録手段を含むことを特徴とする通信端末装置。
10. 送信端末として機能する、画像データを含む入力情報を入力する情報入力手段は、入射光を光電変換する受光素子が複数配設され、該受光素子からの電気信号を画像データにして出力する撮像手段と、
    通信相手に表示する画像を推奨順位の高い順に並べ替える条件を取得する条件取得手段とを含み、
    さらに、該送信系は、前記画像データが含む顔の部位を特徴点とし、該特徴点を基に表情を表す特徴量を抽出する特徴抽出手段と、
    前記条件および前記特徴量を送信する送信手段とを含み、
    受信端末として機能する、前記通信相手から送信された前記条件および前記特徴量を受信する受信手段と、
    通信相手として表示する画像をキャラクタとし、該キャラクタの基本的なモデルデータを複数格納するキャラクタ格納手段と、
    前記キャラクタに対する背景の画像を背景モデルとして複数格納する背景格納手段と、
    前記モデルデータを読み出して、該モデルデータを前記キャラクタとしての提示、選択指示および提供をそれぞれ制御するキャラクタ管理手段と、
    前記背景の画像を読み出して、該背景モデルとしての提示、選択指示および提供をそれぞれ制御する背景管理手段と、
    前記特徴量を提供されるモデルデータに反映させて、表情を持つ画像を生成するキャラクタ生成手段と、
    該生成される表情を持つ画像と前記提供される背景モデルとを合成し、表示画像を生成する画像合成手段と、
    前記キャラクタの選択指示および前記表示画像の表示を行う入出力手段とを含むことを特徴とする通信端末装置。
11. 請求項10に記載の装置において、前記条件取得手段は、該装置の位置情報を取得する位置取得手段を含むことを特徴とする通信端末装置。
12. 請求項10または11に記載の装置において、前記条件取得手段は、位置情報、物理的な情報および時間的な情報の少なくとも一つをセンサ情報として取得する手段を含むことを特徴とする通信端末装置。
13. 請求項10、11または12に記載の装置において、前記キャラクタ格納手段は、前記モデルデータのそれぞれが少なくとも、前記位置情報を対応させたデータ構造に配設されていることを特徴とする通信端末装置。
14. 請求項10、11または12に記載の装置において、前記背景格納手段は、前記背景の画像のそれぞれが少なくとも、前記位置情報を対応させたデータ構造に配設されていることを特徴とする通信端末装置。
15. 請求項10ないし14のいずれか一項に記載の装置において、前記キャラクタ管理手段は、前記条件取得手段で取得した情報のうち、前記位置情報を基に前記キャラクタ格納手段内の前記モデルデータを推奨するモデルデータに並べ替える機能を有することを特徴とする通信端末装置。
16. 請求項10ないし15のいずれか一項に記載の装置において、前記背景管理手段は、前記条件取得手段で取得した情報のうち、前記位置情報および前記時間情報の少なくとも一方を基に前記背景格納手段内の前記背景の画像を推奨する背景の画像に並べ替える機能を有することを特徴とする通信端末装置。
17. 請求項10ないし16に記載の通信端末装置を通信ネットワークに接続させて構築される通信システムにおいて、該システムは、サービス情報を管理するサービス管理手段と、
    該サービス情報を基に課金処理する課金処理手段とを含む課金装置を具備し、
    前記サービス管理手段は、前記サービス情報としての課金情報を利用者毎に記録する課金保持手段と、
    前記サービス情報として前記背景の画像を格納するベンダによる背景格納手段とを設け、
    前記通信端末装置は、前記送信系または前記受信系に含む前記背景格納手段を廃止し、前記ベンダによる背景格納手段から前記背景の画像を受信することを特徴とする通信システム。
18. 請求項17に記載のシステムにおいて、前記サービス管理手段は、前記送信系または前記受信系から供給される前記位置情報または前記時間情報の少なくとも一方に応じて前記背景の画像を並べ替えて、該結果を前記位置情報または前記時間情報の供給元に送信することを特徴とする通信システム。
19. 画像データを含む入力情報のうち、処理条件に用いるセンサ情報としての位置情報および時間情報の少なくとも一方を取得する第１の工程と、
    該取得した位置情報および時間情報の少なくとも一方を用いて、供給される情報に近い順に画像表示に用いる基本的なモデルデータを並べ替えて、提示する第２の工程と、
    前記取得した位置情報および時間情報の少なくとも一方を用いて、供給される情報に近い順に背景の画像を並べ替えて、画像表示用として提示する第３の工程とを含むことを特徴とする画像提供方法。
20. 請求項19に記載の方法において、前記センサ情報は、前記位置情報、前記時間情報および前記物理的な情報のいずれかを含むことを特徴とする画像提供方法。
21. 請求項19または20に記載の方法において、第３の工程は、前記センサ情報を総合的に判断して、並べ替えて、前記背景の画像における前景画像および背景画像をそれぞれ提示し、選択する第４の工程と、
    該提示した前景画像および背景画像を合成する第５の工程とを含むことを特徴とする画像提供方法。
22. 請求項19、20または21に記載の方法において、第１の工程は、前記位置情報および前記時間情報の少なくとも一方とともに、周囲の情景を撮影し、
    該撮影した画像を前記背景の画像に用い、該背景の画像を特定する名前および前記センサ情報を関連付けて登録することを特徴とする画像提供方法。
23. 情報の供給元で取得する画像データを含む入力情報のうち、受信側での処理条件に用いるセンサ情報および前記画像データから抽出した表情を示す情報を送出する第１の工程と、
    前記情報の供給先にて前記供給されたセンサ情報および表情を示す情報を受信する第２の工程と、
    該供給先の初期状態および前記センサ情報における変化の少なくとも一方を検出する検出条件に応じて判断する第３の工程と、
    少なくとも一方の状態を検出した場合、前記センサ情報に近い順に画像表示に用いる基本的なモデルデータを並べ替えて、提示する第４の工程と、
    前記センサ情報に近い順に背景の画像を並べ替えて、画像表示用として提示する第５の工程と、
    第３の工程にて前記検出条件から外れた場合、前記モデルデータおよび前記背景の画像を設定済と判断することを特徴とする画像提供方法。
24. 請求項23に記載の方法において、第４の工程は、並べ替えて、提示した先頭の前記モデルデータを選択し、
    第５の工程は、並べ替えて、提示した先頭の前記背景の画像を選択することを特徴とする画像提供方法。

Images