JP3829672B2

JP3829672B2 - テレビ電話装置およびテレビ電話の表示方法

Info

Publication number: JP3829672B2
Application number: JP2001276349A
Authority: JP
Inventors: 勝雄井上; 智輝束田; 正人平井; 大介飯澤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-09-12
Filing date: 2001-09-12
Publication date: 2006-10-04
Anticipated expiration: 2021-09-12
Also published as: JP2003087757A

Description

【０００１】
【発明の属する技術分野】
本発明は、通話者と通話相手の画像を同時に表示させるテレビ電話装置およびテレビ電話の表示方法に関する。
【従来の技術】
従来のテレビ電話装置は、ディスプレイ一杯に通話相手の顔画像を表示させ、ディスプレイの端に子画面を作り、この子画面に通話者の顔画像を表示させる所謂ピクチャｉｎピクチャ方式の表示方法が一般的であった。
【０００２】
【発明が解決しようとする課題】
しかしながら、従来の技術は、ディスプレイのサイズが小さい場合、子画面に表示された通話者の顔画像が小さくなりすぎてほとんど見えないため、自分の顔が相手のテレビ電話にどのように表示されているか通話者には判らず、通話者に不安感を与え問題であった。
【０００３】
また、通話者の指示により親画面と子画面とで画像を入れ替えて表示させることもできたが、この場合には、通話相手の顔画像が見難くなるため、相手の表情が判らず、同様に通話者を不安にさせた。さらに、画像の入れ替えの操作を通話者が行わなければならないため、会話に集中できず、相手の話した内容を把握し損なうおそれががあり問題であった。
【０００４】
本発明は、このような問題を解決し、小さなディスプレイであっても、通話者と通話相手の画像を見易く表示させるテレビ電話装置およびその表示方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明のテレビ電話装置は、通話者の画像を撮影するカメラと、通話者の発話を入力するマイクと、通話相手の画像と通話相手が発した音声とを有する信号を受信する受信器と、画像を表示するディスプレイと、ディスプレイの画面を２つ以上の相互に傾斜した形で接している表示エリアに分割させて、一の表示エリアにカメラで撮影した通話者の画像を表示させると共に、他の一の表示エリアに受信器で受信した通話相手の画像を表示させる制御手段とを備え、制御手段は、相互の表示エリアに向けて傾斜した動画像を各表示エリアに表示させ、さらにマイクから入力した音声データと、受信器で受信した音声データとに基づいて、通話者と通話相手とのうち、発話している側の表示エリアが大きくなるように分割比率を変化させる分割比率変更部を備えることを特徴とする。
【０００７】
また、制御手段は、自装置の操作をガイドするキャラクターの画像をディスプレイに表示させるキャラクター表示部を備えることを特徴とする。
【０００８】
さらに、制御手段は、通話相手が通話相手側の装置を操作している場合に、操作内容をキャラクターのふるまいと発話としてディスプレイに表示させることを特徴とする。
【０００９】
本発明のテレビ電話の表示方法は、ディスプレイの画面を２つ以上の相互に傾斜した形で接している表示エリアに分割させて、他の一の表示エリアに向けて傾斜した通話者の動画像を一の表示エリアに表示させると共に、一の表示エリアに向けて傾斜した通話相手の動画像を他の一の表示エリアに表示させ、さらに通話者と通話相手とのうち、発話している側の表示エリアのほうが大きくなるように分割比率を変化させることを特徴とする。
【００１１】
また、自装置の操作をガイドするキャラクターの画像をディスプレイに表示させることを特徴とする。
【００１２】
さらに、通話相手が通話相手側の装置を操作している場合に、操作内容をキャラクターのふるまいと発話としてディスプレイに表示させることを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係るテレビ電話装置およびテレビ電話の表示方法の好適な実施の形態について添付図面を参照して説明する。
図１は、本実施の形態に係るテレビ電話装置の構成を示すブロック図である。同図より、１は通話者の動画像を撮影するカメラ、２は通話者の発話を入力するマイク、３は通話者又は通話相手の発話を出力するスピーカ、４は画像を記憶するメモリ、５は通話者の動画像と通話者が発した音声とを有する信号を送信すると共に、通話相手の動画像と通話相手が発した音声とを有する信号を受信する送受信器、６は通話者の動画像と通話相手の動画像とを表示させるディスプレイ、７はディスプレイ６の画面を２つの表示エリア６ａ，６ｂに分割させて、一の表示エリア６ａにカメラ１で撮影した通話者の動画像を表示させると共に、他の一の表示エリア６ｂに送受信器５で受信した通話相手の動画像を表示させる制御手段である。
【００１４】
また、制御手段７は、通話者と通話相手とのうち、発話している側の表示エリア６ａ，６ｂが大きくなるように分割比率を変化させる分割比率変更部８と、自装置の操作をガイドするキャラクターの画像を各表示エリア６ａ，６ｂに重ねてディスプレイ６に表示させるキャラクター表示部９と、マイク２から入力された通話者の発話を認識する音声認識部１０とを備えている。
【００１５】
次に、本実施の形態に係るテレビ電話装置の動作について説明する。まず、通話者が本装置を目の前に配置すると、カメラ１によって通話者の顔画像が撮影され、この顔画像は一旦メモリ４に記憶される。また、この顔画像は、マイク２に入力された音声データと共に、送受信器５を介して、通話相手のテレビ電話装置に送信される。一方、送受信器５では、通話相手の画像と通話相手が発した音声とを有する信号が受信され、通話相手が発した音声がスピーカ３から出力される。また、通話相手の画像は一旦メモリ４に記憶される。
【００１６】
そして、メモリ４に記憶された通話者及び通話相手の顔画像は制御手段７に与えられ、制御手段７では、相互の表示エリア６ａ，６ｂに向けて幅が狭くなるような台形状の２つの表示エリア６ａ，６ｂを作成する。そして、一の表示エリア６ａには他の一の表示エリア６ｂに向けて傾斜した通話者の動画像を貼り付けると共に、他の一の表示エリア６ｂには一の表示エリア６ａに向けて傾斜した通話相手の動画像を貼り付ける。制御手段７では、このようにして作成した画像をディスプレイ６に表示する。
【００１７】
その結果、図２（ａ）に示すように、通話者の顔画像と通話相手の顔画像とが向かい合った奥行のある動画像がディスプレイ６に表示される。また、各表示エリアに原寸で顔画像を表示させた場合、それぞれの顔画像が小さくなり、携帯電話のような画面サイズが小さい場合、通話者が各顔画像の表情を捉えるのが困難になる。このため、通話相手が怒っているのか、或いは笑っているのかといった通話相手の表情が通話者には判らず、通話者は通話の間中、不安に駆られることとなる。
【００１８】
本装置であれば、ディスプレイ６の中央方向に傾斜した３次元の顔画像を相互に傾斜した形で接している各表示エリア６ａ，６ｂに表示させ、さらに受信器で受信した音声データに基づいて、通話者と通話相手とのうち、発話している側の表示エリアが大きくなるように分割比率を変化させているので、各表示エリア６ａ，６ｂ一杯に顔画像を表示させることができる。このため、通話相手の表情が通話者に良く判り、且つ自分の顔画像が通話相手の装置にどのように映っているのか通話者は容易に把握できる。また、通話者と通話相手とが向き合うような動画像であるため、通話相手と目の前に話しているような臨場感のある会話環境が得られ、通話者は客観的に映像を眺めながら、リラックスして会話を楽しむことができる。
【００１９】
また、２つの表示エリア６ａ，６ｂは、分割比率変更部８によって分割の比率が動的に変化する。即ち、マイク２に入力された通話者の音声データと、送受信器５で受信した通話相手の音声データが分割比率変更部８に与えられ、分割比率変更部８では、現在、通話者と通話相手とのどちらが発話しているか判断し、発話中の顔画像が大きく表示されるように、２つの表示エリア６ａ，６ｂの境界線の位置を左右方向にずらす。その結果、図２（ｂ）に示すように、発話中の顔画像（この場合は通話者）が表示される表示エリア６ａが大きく取られる（通話相手が発話中の場合は、表示エリア６ｂが大きく取られる）。
このように、２つの表示エリア６ａ，６ｂの分割比率を動的に変化させることにより、発話中の顔画像が常に大きくディスプレイ６に表示されるので、発話者の顔の表情を通話者は容易に把握することができる。
【００２０】
さらに、図３（ａ）に示すように、ディスプレイ６の表示エリア６ａ，６ｂに通話者と通話相手とがそれぞれ表示されている状態で、通話者が不図示のボタンを操作すると、キャラクター表示部９の処理が開始される。そして、図３（ｂ）に示すように、ディスプレイ６の２つの表示エリア６ａ，６ｂに重ねてアニメーションによるキャラクター１１の動画像が表示される。また、「はい、なんでしょうか？」などといった、通話者に発話を促す吹き出しがキャラクター１１と共にディスプレイ６に表示される。
【００２１】
この表示を見た通話者が、マイク２から例えば「ビデオクリップ」と発話すると、発話内容は音声認識部１０で認識され、認識結果に基づいて「ビデオクリップ」に対応したコンテンツを外部のサーバーから送受信器５を介して、制御手段７がダウンロードする。そして、ダウンロードしたビデオクリップのデータは一旦メモリ４に記憶されると共に、図３（ｃ）に示すように、ビデオクリップのタイトル一覧がディスプレイ６に表示される。
【００２２】
次に、このタイトル一覧を見た通話者が所望のビデオクリップを選択し、ビデオクリップを特定する入力を行うと、図４（ａ）に示すように、選択したビデオクリップが表示エリア６ａで再生される。ビデオクリップの再生中は、自動或いは手動（不図示のボタンを操作）により、図４（ｂ）に示すように、表示エリア６ａを広げることができる。ビデオの再生が終了すると、キャラクター１１の吹き出しに「ビデオを停止します」と表示され、図３（ａ）の画面が再び表示される。
【００２３】
以上は、キャラクター１１のガイドに沿って通話者が操作することにより、極めて容易にビデオクリップを再生できる例を示したが、その他の操作もキャラクター１１のガイドに沿って容易に行うことができる。このように、キャラクター１１を仲介とすることにより、簡単な操作で本装置を動作させることができ、マンマシンインターフェースの優れたテレビ電話装置およびテレビ電話の表示方法を提供することができる。
【００２４】
また、通話相手が通話相手側のテレビ電話装置を操作している場合、操作内容は送受信器５を介して、制御手段７に与えられる。制御手段７では、通話相手の操作内容を、ディスプレイ６上のキャラクター１１の吹き出しに文字情報として表示する。この吹き出しの表示によって、通話者は、通話相手が突然黙り込んでしまった場合であっても、この沈黙が、通話相手がテレビ電話装置を操作中によるものだと容易に理解できるので、通話者は操作が終わるまで機嫌を損ねることなく、待ち続けることができる。
【００２５】
特に、通話中に緊急のメールが入り、返信のメールを早急に出さなければならないときなどには、通話相手に断ることなくメールの入力操作ができるので、本装置の使い勝手が大きく向上する。
【００２６】
なお、本発明は上記実施の形態に限定されることなく、本発明の趣旨から逸脱しない範囲内において、例えば以下のように変更することも可能である。
（１）本実施の形態では、ディスプレイ６を２つの表示エリアに分割しているが、３つ以上の表示エリアに分割させてもよい。例えば、縦方向に３つの表示エリアに分割させる場合には、左右の２つの表示エリアに、中央方向に傾斜した通話者と通話相手との動画像をそれぞれ表示し、中央の表示エリアに、もう一人の通話相手の動画像（３人で通話している場合）を表示させてもよい。
（２）本実施の形態では、キャラクター１１の発話は画面上の吹き出しで行っているが、音声合成した人工音声をスピーカ３から出力させてもよい。
【００２７】
【発明の効果】
本発明に係るテレビ電話装置およびテレビ電話の表示方法は、以上のように構成されているため、次のような効果を得ることができる。
即ち、相互に傾斜した形で接している表示エリアに向けて傾斜した動画像を各表示エリアに表示させ、さらに受信器で受信した音声データに基づいて、通話者と通話相手とのうち、発話している側の表示エリアが大きくなるように分割比率を変化させることにより、各表示エリア一杯に顔画像を表示させることができる。このため、通話相手の表情が通話者に良く判り、且つ自分の顔画像が通話相手の装置にどのように映っているのか容易に把握できる。また、通話者と通話相手とが向き合うような動画像であるため、通話相手と目の前に話しているような臨場感のある会話環境が得られ、通話者は客観的に映像を眺めながら、リラックスして会話を楽しむことができる。
【図面の簡単な説明】
【図１】本実施の形態に係るテレビ電話装置の構成を示すブロック図である。
【図２】ディスプレイへの表示例を示す図である。
【図３】ディスプレイへの表示例を示す図である。
【図４】ディスプレイへの表示例を示す図である。
【符号の説明】
１…カメラ、２…マイク、３…スピーカ、４…メモリ、５…送受信器、６…ディスプレイ、６ａ，６ｂ…表示エリア、７…制御手段、８…分割比率変更部、９…キャラクター表示部、１０…音声認識部、１１…キャラクター。

Claims

通話者の画像を撮影するカメラと、
通話者の発話を入力するマイクと、
通話相手の画像と通話相手が発した音声とを有する信号を受信する受信器と、
画像を表示するディスプレイと、
前記ディスプレイの画面を２つ以上の相互に傾斜した形で接している表示エリアに分割させて、一の表示エリアに前記カメラで撮影した通話者の画像を表示させると共に、他の一の表示エリアに前記受信器で受信した通話相手の画像を表示させる制御手段とを備え、
前記制御手段は、相互の表示エリアに向けて傾斜した動画像を各表示エリアに表示させ、さらに前記マイクから入力した音声データと、前記受信器で受信した音声データとに基づいて、通話者と通話相手とのうち、発話している側の表示エリアが大きくなるように分割比率を変化させる分割比率変更部を備えることを特徴とするテレビ電話装置。
前記制御手段は、自装置の操作をガイドするキャラクターの画像を前記ディスプレイに表示させるキャラクター表示部を備えることを特徴とする請求項１記載のテレビ電話装置。
前記制御手段は、通話相手が通話相手側の装置を操作している場合に、操作内容を前記キャラクターの発話として前記ディスプレイに表示させることを特徴とする請求項２記載のテレビ電話装置。
ディスプレイの画面を２つ以上の相互に傾斜した形で接している表示エリアに分割させて、一の表示エリアに向けて傾斜した通話相手の動画像を他の一の表示エリアに表示させると共に、他の一の表示エリアに向けて傾斜した通話者の動画像を一の表示エリアに表示させ、さらに通話者と通話相手とのうち、発話している側の表示エリアのほうが大きくなるように分割比率を変化させることを特徴とするテレビ電話の表示方法。
自装置の操作をガイドするキャラクターの画像を前記ディスプレイに表示させることを特徴とする請求項４記載のテレビ電話の表示方法。
通話相手が通話相手側の装置を操作している場合に、操作内容を前記キャラクターの発話として前記ディスプレイに表示させることを特徴とする請求項５記載のテレビ電話の表示方法。