JP4221445B1 - テレビ電話端末、テレビ電話端末制御方法及びプログラム - Google Patents

Abstract

【課題】カメラで撮影された被写体とメニュー項目との関係が画面上で容易に把握できる操作性の良いユーザインターフェイス装置を提供する。
【解決手段】本発明に係るユーザインターフェイス部２１０は、被写体を撮影するカメラ１１３と、前記カメラ１１３で撮影された前記被写体を表示し、当該被写体上に電話帳メニュー項目５０４ａ〜５０４ｃを表示する表示出音部２１９と、前記カメラ１１３で撮影された前記被写体の一部である物体の位置を検出する位置検出部２１３と、前記メニュー項目に対応した領域に前記物体が位置する場合、当該電話帳メニュー項目５０４ａ〜５０４ｃを選択するメニュー処理部２１７とを備える。
【選択図】図４

Description

本発明は、コンピュータ等の情報端末装置やテレビ電話端末等の表示部を備える機器が備えるユーザの操作を受け付けてメニュー項目を選択するユーザインターフェイス装置に関する。

操作者の手を認識して、それに応じたアイコンをモニタに表示してメニュー項目を選択するユーザインターフェイス装置が提案されている（例えば、特許文献１参照。）。

特許文献１記載のユーザインターフェイス装置では、操作者の手をカメラで撮影し、手の動き及び形状特徴に基づいて生成されたアイコンでモニタに表示されたメニュー項目を選択する。これにより、操作者はキーボードやマウス等の入力装置を必要とせず、簡単に機器の操作ができる。

一方で、テレビ電話端末では、操作者が入力装置を操作して相手のテレビ電話端末を呼び出しているため、機器の操作が苦手な高齢者等にとって、より簡単なユーザインターフェイスが求められている。
特許第３７７７６５０号公報

しかしながら、特許文献１記載のユーザインターフェイス装置では、モニタにはメニュー項目及びアイコンのみが表示されていた。これにより、手の位置に精度良くアイコンが表示されない場合には、操作者は自身の手の位置とモニタに表示されるアイコンの位置との関係の把握が困難で、アイコンの操作性が悪いという問題がある。

そこで、本発明は、被写体とメニュー項目との関係が画面上で容易に把握できる操作性の良いユーザインターフェイス装置、テレビ電話端末、ユーザインターフェイス制御方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係るユーザインターフェイス装置は、被写体を撮影するカメラと、前記カメラで撮影された前記被写体を表示し、当該被写体上に少なくとも１つのメニュー項目を表示する表示部と、前記カメラで撮影された前記被写体に含まれる前記被写体の一部である物体を表す画像の位置を検出する位置検出部と、前記物体を表す画像と前記メニューに対応した領域との重なりに応じて当該メニュー項目を選択するメニュー処理部とを備える。

この構成によれば、本発明に係るユーザインターフェイス装置は、メニュー項目及びカメラで撮影された被写体を同時にモニタに表示できる。これにより、モニタにはメニュー項目及び被写体が重なって表示され、本発明に係るユーザインターフェイス装置を使用する操作者は、自身の映像とメニュー項目との位置関係の把握が容易となり操作性が向上する。

さらに、本発明に係るユーザインターフェイス装置では、メニュー項目に対応する領域にカメラで撮影された予め定められた物体を表す画像が位置する場合、当該メニュー項目を選択できる。これにより、操作者はキーボードやマウス等の入力装置を必要とせず、メニュー項目の選択が可能となり、簡単に機器の操作ができる。

また、前記表示部は、さらに、前記物体を表す画像の位置にポインタを表示してもよい。

この構成によれば、本発明に係るユーザインターフェイス装置では、予め定められた物体を表す画像の位置を示すポインタ、メニュー項目及び被写体をモニタに同時に表示できる。これにより、操作者は、モニタに表示される被写体の一部である物体を表す画像のうち、どの部分に対応してメニュー項目が選択されるのか容易に認識できる。

また、前記表示部は、前記メニュー項目と重なる前記被写体を透過させてもよい。

この構成によれば、本発明に係るユーザインターフェイス装置では、メニュー項目と重なる被写体の一部が表示される。これにより、メニュー項目及び物体を表す画像が重なる場合も、メニュー項目及び物体を表す画像の重なりを操作者は容易に認識できる。

また、前記メニュー処理部は、前記物体を表す画像と前記メニュー項目に対応した領域とが予め定められた時間重なる場合、当該メニュー項目を選択してもよい。

この構成によれば、本発明に係るユーザインターフェイス装置では、物体を表す画像がメニュー項目と重ならない場合も、メニュー項目を選択可能となる。これにより、物体を表す画像に近いメニュー項目を選択でき、操作性が向上する。

また、前記位置検出部は、前記物体の形状を識別し、前記ユーザインターフェイス装置は、さらに、前記物体の形状が、予め定められた所定の形状であるか否か判定する形状判定部を備え、前記メニュー処理部は、前記形状判定部により予め定められた所定の形状であると判定された場合、当該メニュー項目を選択してもよい。

この構成によれば、本発明に係るユーザインターフェイス装置を使用する操作者は、メニュー項目に対応する領域で物体を所定の形状にすることで、メニュー項目を選択できる。これにより、操作者はメニュー項目の選択感覚を得やすくなる。

また、前記表示部は、さらに、ポインタを表示し、前記ユーザインターフェイス装置は、さらに、前記物体を表す画像の動きまたは形状に応答して前記ポインタの移動を制御するポインタ移動部を備えてもよい。

この構成によれば、本発明に係るユーザインターフェイス装置を使用する操作者は、物体の動きまたは形状を変えることで、ポインタの移動が可能となる。これにより、誤操作を防止できる。

また、前記ポインタ移動部は、前記ポインタを予め定められた位置に表示するよう制御し、前記物体を表す画像の位置が前記ポインタの位置に重なった後、前記ポインタが前記物体を表す画像の位置に追従するよう制御し、前記メニュー項目が選択された後で、前記ポインタを予め定められた位置に表示するよう制御してもよい。

この構成によれば、本発明に係るユーザインターフェイス装置では、メニュー処理部が当該メニュー項目を選択した後で、ポインタの位置を予め定められた位置に表示する。

これにより、メニュー項目選択後にポインタが同じ位置に表示されたままで、メニュー項目選択時と異なるメニュー項目を選択することを防止する。

また、前記メニュー処理部は、前記ポインタが前記メニュー項目に対応した領域と重なった時間または重なった時の前記物体の挙動に応じて、当該メニュー項目を選択してもよい。

この構成によれば、本発明に係るユーザインターフェイス装置では、物体を表す画像の位置に表示されるポインタをメニューに対応した領域に、予め定められた時間重ねる、もしくは重ねた時の挙動に応じて当該メニューを選択できる。これにより、誤操作を防止できる。

また、本発明に係るテレビ電話端末は、上記ユーザインターフェイス装置を備え、前記メニュー項目はテレビ電話端末の操作に関する。

この構成によれば、本発明に係るテレビ電話端末では、操作者の指示を受け付ける外部入力装置を必要としない。また、メニュー項目及びカメラで撮影された被写体を同時にモニタに表示できる。

これにより、モニタにはメニュー項目及び被写体が重なって表示され、本発明に係るテレビ電話端末を使用する操作者は、自身の映像とメニュー項目との位置関係の把握が容易となり操作性が向上する。

さらに、メニュー項目に対応する領域にカメラで撮影された予め定められた物体が位置する場合、当該メニュー項目を選択できる。

これにより、操作者はキーボードやマウス等の入力装置を必要とせず、メニュー項目の選択が可能となり、簡単に機器の操作ができる。よって、機器の操作が苦手な高齢者等もテレビ電話通信が容易となる。

さらに、テレビ電話端末はカメラ及びモニタを元々備えるので、本発明に係るユーザインターフェイス装置を用いることは好適である。これにより、導入によるコスト増加を抑制できる。

また、前記テレビ電話端末は、さらに、当該テレビ電話端末が他のテレビ電話端末と通話中に、前記メニュー処理部による前記メニュー項目の選択を禁止する選択禁止部を備えてもよい。

この構成によれば、本発明に係るテレビ電話端末では、他のテレビ電話端末と通信中にメニュー項目の選択はなされない。これにより、通信中に会話によって自然に生じる操作者のジェスチャによってメニュー項目が誤って選択されることを防止する。

また、前記表示部は、さらに、前記物体を表す画像の位置にポインタを表示し、前記選択禁止部は、さらに、前記通話中に前記表示部による前記ポインタの表示を禁止してもよい。

この構成によれば、本発明に係るテレビ電話端末では、他のテレビ電話端末と通信中にポインタが表示されない。これにより、通信中に会話によって自然に生じる操作者のジェスチャによってポインタが画面内を移動し、画面の視認性が劣化するのを防止する。

また、前記テレビ電話端末は、さらに、前記通話中に前記カメラで撮影された前記被写体に、予め定められた時間に変化があるか否かを判定する画像変化判定部と、前記画像変化判定部により変化なしと判定された場合、当該通話を終了する終了実行部とを備えてもよい。

この構成によれば、本発明に係るテレビ電話端末では、テレビ電話通信中に被写体が予め定められた時間内に変化がない場合、当該テレビ電話通信を終了する。これにより、操作者は特別な操作をすることなく、当該テレビ電話通信を終了できる。

また、前記テレビ電話端末は、さらに、音声を取得する音声取得部と、前記通話中に前記音声取得部が取得した音声が、予め定められた時間に予め定められた音量以上があるか否かを判定する音声判定部と、前記音声判定部により予め定められた音量以上でないと判定された場合、通話を終了する終了実行部とを備えてもよい。

この構成によれば、本発明に係るテレビ電話端末では、テレビ電話通信中に操作者の音声を取得して音声が予め定められた時間内に予め定められた音量がない場合、当該テレビ電話通信を終了する。これにより、操作者は特別な操作をすることなく、当該テレビ電話通信を終了できる。

また、前記テレビ電話端末は、さらに、前記通話中に前記カメラで撮影された前記被写体に、予め定められた終了画像が含まれるか否かを判定する終了画像判定部と、前記終了画像判定部により含まれると判定された場合、当該通話を終了する終了実行部とを備えてもよい。

この構成によれば、本発明に係るテレビ電話端末では、テレビ電話通信中に操作者が予め定められた終了画像をカメラの撮影範囲内に図示した場合、当該テレビ電話通信を終了する。これにより、操作者は外部入力装置を使用することなく、当該テレビ電話通信を終了できる。

なお、本発明は、このようなユーザインターフェイス装置及びテレビ電話端末として実現することができるだけでなく、そのユーザインターフェイス装置及びテレビ電話端末を制御するための制御方法やプログラムとしても実現することができる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

以上より、本発明は、カメラで撮影された被写体と操作者の手の位置に表示されるアイコンとメニュー項目との関係が画面上で用意に把握できる操作性の良いユーザインターフェイス装置、テレビ電話端末、ユーザインターフェイス制御方法及びプログラムを提供できる。

以下、本発明に係るテレビ電話端末の実施の形態について、図面を参照しながら詳細に説明する。

（本発明の実施の形態１）
本発明の実施の形態１に係るテレビ電話端末は、テレビ電話端末のカメラで撮影された被写体を自画像としてモニタに表示する。テレビ電話端末は、自画像にメニュー項目と自画像に含まれる手の位置にポインタとを表示する。テレビ電話端末は、メニュー項目に対応する領域に予め定められた時間ポインタが停止した場合、当該メニュー項目を選択する。これにより、自画像に表示されるメニュー項目とポインタと操作者の手との位置関係の把握が容易となり、操作性が向上する。

図１は、本発明の実施の形態１に係るテレビ電話端末１１０のシステム構成を示す図である。

図１に示すテレビ電話システム１００は、複数のテレビ電話端末１１０Ａ及び１１０Ｂと、管理サーバ１３０と、一般端末１４０Ａ及び１４０Ｂとを備える。なお、複数のテレビ電話端末１１０Ａ及び１１０Ｂを特に区別しない場合は、テレビ電話端末１１０と記し、複数の一般端末１４０Ａ及び１４０Ｂを特に区別しない場合は、一般端末１４０と記す。

テレビ電話端末１１０、一般端末１４０及び管理サーバ１３０は、インターネット等のネットワーク１２０を介して接続される。なお、図１では、ネットワーク１２０を介して、２台のテレビ電話端末１１０と２台の一般端末１４０とが接続されているが、ネットワークに接続されるテレビ電話端末１１０及び一般端末１４０のそれぞれの数は、任意の数でよい。

テレビ電話システム１００において、テレビ電話端末１１０及び一般端末１４０との間で、映像及び音声を送受信するテレビ電話通信が行われる。

一般端末１４０は、一般の使用者が操作するテレビ電話端末である。一般端末１４０は、例えば、パソコンである。

管理サーバ１３０は、テレビ電話端末１１０Ａ及びテレビ電話端末１１０Ｂの間のテレビ電話通信を制御するコンピュータ等である。具体的には、管理サーバ１３０は、テレビ電話システム１００に含まれる各テレビ電話端末１１０及び一般端末１４０のＩＰアドレスの割り振り及び管理を行う。また、管理サーバ１３０は各テレビ電話端末１１０及び一般端末１４０からの要求に応じて、テレビ電話通信の接続を制御する。

テレビ電話端末１１０は、高齢者等のコンピュータ弱者が操作するテレビ電話端末である。具体的には、セットトップボックス（ＳＴＢ）１１１、モニタ１１２、カメラ１１３、スピーカ１１４及びマイク１１５を備える。

ＳＴＢ１１１は、管理サーバ１３０の制御のもと、ネットワーク１２０を介して他のテレビ電話端末１１０及び一般端末１４０とテレビ電話通信を行う各種通信Ｉ／Ｆを備えるコンピュータ等である。また、ＳＴＢ１１１は、モニタ１１２、カメラ１１３、スピーカ１１４及びマイク１１５にも接続され、モニタ１１２、カメラ１１３、スピーカ１１４及びマイク１１５の制御を行う。

モニタ１１２は、ＳＴＢ１１１に接続され、テレビ電話端末１１０とテレビ電話通信している他のテレビ電話端末１１０及び一般端末１４０（以下、相手端末と記す。）から送信された相手画像とカメラ１１３で撮影された被写体である自画像とを表示する。また、モニタ１１２は、自画像中の手の位置にポインタを表示する。モニタ１１２は、例えば、一般家庭で用いられているテレビである。

カメラ１１３は、ＳＴＢ１１１に接続され、テレビ電話端末１１０を操作している操作者の様子を撮影する。

スピーカ１１４は、テレビ電話通信時に相手端末から送信された音声を出音する。また、スピーカ１１４は、テレビ電話通信をしていない時（以下、非通信時と記す。）におけるメニュー項目選択時に音を出す。なお、スピーカ１１４は、例えばテレビに内蔵されているスピーカでもよい。

マイク１１５は、テレビ電話通信時に相手端末へ送信する音声を取得する。

次に、テレビ電話端末１１０の詳細な構成を説明する。

図２は、テレビ電話端末１１０が備えるＳＴＢ１１１の構成を示すブロック図である。

ＳＴＢ１１１は、ユーザインターフェイス部２１０、音声取得部２２１、送受信部２２３及び通信制御部２２５を備える。

なお、ＳＴＢ１１１は、ＣＰＵ等のプロセッサと、ＲＡＭ、ハードディスク又は不揮発性メモリ等の記憶部とを備える。図２に示す各処理部（ユーザインターフェイス部２１０、音声取得部２２１、送受信部２２３及び通信制御部２２５）の機能は、当該プロセッサが当該記憶部に記憶されるプログラムを実行することにより実現される。また、図２に示す各処理部による保持及び記憶機能は、当該記憶部を用いて実現される。なお、図２に示す各処理部のうち、一部又は全てを、ＳＴＢ１１１が備える専用の回路により実現してもよい。

ユーザインターフェイス部２１０は、カメラ１１３が撮影した被写体である画像データから手を検出して、自画像の手の位置へポインタを表示する。ユーザインターフェイス部２１０は、ポインタがメニュー項目に対応した領域に位置する場合、当該メニュー項目を選択する。ユーザインターフェイス部２１０は、画像取得部２１１、位置検出部２１３、ポインタ移動部２１５、メニュー処理部２１７及び表示出音部２１９を備える。

画像取得部２１１は、カメラ１１３が撮影した被写体である画像データを取得する。

位置検出部２１３は、画像データ中の手の画像データを抽出し、手の座標を求める処理部である。

ポインタ移動部２１５は、位置検出部２１３が出力した座標にポインタを表示するポインタデータを表示出音部２１９へ出力する。

メニュー処理部２１７は、メニュー項目に対応した領域にポインタが位置する場合、当該メニュー項目を選択する。また、メニュー処理部２１７は、モニタ１１２に表示されるメニュー項目の表示情報であるメニュー項目表示データを、表示出音部２１９へ出力する。メニュー処理部２１７の具体的な構成は後述する。

音声取得部２２１は、マイク１１５が取得した音である音声データを取得する。

送受信部２２３は、ネットワーク１２０及び管理サーバ１３０を介して、相手端末との間で、画像データ、音声データ、及び呼び出し信号等の制御信号の送信及び受信を行う。

通信制御部２２５は、当該テレビ電話端末１１０と相手端末との間のテレビ電話通信を制御する。具体的には、通信制御部２２５は、テレビ電話通信時に画像取得部２１１が取得した画像データ及び音声取得部２２１が取得した音声データを、送受信部２２３を介して相手端末へ送信する。また、通信制御部２２５は、テレビ電話通信時に相手端末から受信した音声データ及び画像データを表示出音部２１９へ出力する。

表示出音部２１９は、テレビ電話通信時に、メニュー項目、ポインタ、自画像及び相手画像をモニタ１１２に表示し、相手端末から受信した音声データをスピーカ１１４に出力する。自画像とは画像取得部２１１が取得した画像データである。相手画像とは相手端末から受信した画像データである。また、非通信時に、表示出音部２１９は、メニュー項目、ポインタ及び画像取得部２１１が取得した画像データ自画像としてモニタ１１２に表示する。

次に、メニュー処理部２１７の詳細な構成を説明する。

図３は、メニュー処理部２１７の構成を示すブロック図である。

メニュー処理部２１７は、メニュー項目に対応した領域にポインタが位置する場合、当該メニュー項目を選択する。メニュー処理部２１７は、メニュー記憶部３０１、相互座標判定部３０３、選択判定部３０５、メニュー実行部３０７及びメニュー表示部３０９を備える。

メニュー記憶部３０１は、各メニュー項目に対応するメニュー項目情報を格納する。メニュー項目情報は、アイコン画像データ、アイコン画像の第１領域及び第2領域及びＩＰアドレスを含む。アイコン画像データは、モニタ１１２で表示される各メニュー項目に対応する画像データである。アイコン画像が自画像に表示される領域が第１領域である。自画像において、隣接するメニュー項目の第１領域までの距離が等しくなる点の集合で画面を分割された領域が第２領域である。第１領域及び第２領域についての詳細は後述する。

相互座標判定部３０３は、メニュー項目の第２領域にポインタが位置するか否かを判定する。選択判定部３０５は、メニュー項目が選択されたか否かを判定する。

メニュー実行部３０７は、メニュー記憶部３０１からメニュー項目情報を読み取り、メニュー表示部３０９へ第１領域及びアイコン画像を出力する。また、メニュー実行部３０７は、選択判定部３０５がメニュー項目を示す情報を出力した場合、当該メニュー項目に応じた処理を実行する。

メニュー表示部３０９は、相互座標判定部３０３及びメニュー実行部３０７が出力した情報によりメニュー項目の表示を切り替える。

以上から、メニュー処理部２１７は、モニタ１１２に表示されるポインタに一番近いメニュー項目をハイライト表示させ、予め定められた時間、同一メニュー項目上でポインタが停止した場合、当該メニュー項目を選択する。

次に、本発明の実施の形態１におけるモニタ１１２に表示される画像を説明する。

図４は、テレビ電話端末１１０を用いた非通信時のモニタ１１２の表示例を示す図である。

図４に示すように、表示出音部２１９は、自画像５０１、ポインタ５０３及び電話帳メニュー項目５０４ａ〜５０４ｃをモニタ１１２に表示する。ポインタ５０３及び電話帳メニュー項目５０４ａ〜５０４ｃは自画像５０１上に表示される。ポインタ５０３は、自画像５０１中の手の画像に追従して動く。図４では、電話帳メニュー項目５０４ａ〜５０４ｃに予め登録された通話相手として「長男」、「長女」及び「管理人」が表示されている。

具体的には、位置検出部２１３は、画像取得部２１１が出力した画像データ中の手の画像データを例えば色情報により抽出し、抽出された手の画像データの重心を計算し、それを自画像の座標系であるポインタ座標に変換する。なお、位置検出部２１３が検出する物体は、手で無くとも予め定められたで物体（例えば、カードやペン）であってもよいし、手以外の身体の一部であってもよい。ポインタ移動部２１５は、ポインタ座標にポインタのアイコンを表示するポインタデータをメニュー処理部２１７及び表示出音部２１９へ出力する。ポインタ５０３のアイコンは自画像５０１及びメニュー項目より手前に表示され、ポインタ５０３と重なる自画像５０１及びメニュー項目を透過しない。

なお、ポインタ５０３のアイコンは、枠のみが表示され、内部は透明であってもよい。また、ポインタ５０３のアイコンは全体もしくは一部が半透明であってもよい。

電話帳メニュー項目５０４ａ〜５０４ｃは、予め登録された通話相手を表示し、ポインタ５０３に最も近い電話帳メニュー項目５０４ａ〜５０４ｃが選択される。すなわちポインタ５０３の座標が電話帳メニュー項目５０４ａ〜５０４ｃの第２領域に位置した場合に、当該電話帳メニュー項目５０４ａ〜５０４ｃが選択される。

電話帳メニュー項目５０４ａ〜５０４ｃの処理は、メニュー処理部２１７が行う。また、電話帳メニュー項目５０４ａ〜５０４ｃ以外のメニュー項目（通信開始確認メニュー項目、終了メニュー項目、終了確認メニュー項目及び着信メニュー項目）も、電話帳メニュー項目５０４ａ〜５０４ｃとの処理も同様にメニュー処理部２１７が行う。

メニュー処理部２１７は、メニュー項目の第２領域にポインタが位置する場合、当該メニュー項目を選択する。メニュー処理部２１７は、メニュー記憶部３０１、相互座標判定部３０３、選択判定部３０５、メニュー実行部３０７及びメニュー表示部３０９を備える。

メニュー記憶部３０１は、各メニュー項目に対応するメニュー項目情報を格納する。メニュー項目情報は、アイコン画像データ、アイコン画像の第１領域及び第２領域及びＩＰアドレスを含む。アイコン画像データは、自画像に表示される各メニュー項目に対応する画像データである。

相互座標判定部３０３は、メニュー項目に対応した領域に手が位置するか否かを判定する。具体的には、相互座標判定部３０３は、位置検出部２１３が出力したポインタ座標がメニュー記憶部に格納されているメニュー項目の第２領域に位置するか否かを判定する。ポインタ座標がメニュー項目の第２領域に位置する場合、相互座標判定部３０３は、当該メニュー項目を示す情報を選択判定部３０５及びメニュー表示部３０９へ出力する。

例えば、図４では、手の位置（すなわち、ポインタ座標）が電話帳メニュー項目５０４ａ〜５０４ｃのうち「長女」を示す電話帳メニュー項目５０４ｂの第２領域に位置しているので、相互座標判定部３０３は、「長女」を示す電話帳メニュー項目５０４ｂの情報を選択判定部３０５及びメニュー表示部３０９へ出力する。

選択判定部３０５は、メニュー項目が選択されたか否かを判定する。具体的には、選択判定部３０５は、位置検出部２１３が出力したポインタ座標が予め定められた時間移動せず、かつ相互座標判定部３０３からメニュー項目を示す情報が送られた場合、当該メニュー項目が選択されたと判定し、当該メニュー項目を示す情報をメニュー実行部３０７へ出力する。

例えば、図４において、操作者の手の位置が予め定められた時間、停止した場合、選択判定部３０５は、操作者が「長女」を示す電話帳メニュー項目５０４ｂを選択したと判定し、「長女」を示す電話帳メニュー項目５０４ｂが選択されたことを示す情報をメニュー実行部３０７へ出力する。

メニュー実行部３０７は、メニュー記憶部３０１からメニュー項目情報を読み取り、メニュー表示部３０９へ第１領域及びアイコン画像を出力する。また、メニュー実行部３０７は、選択判定部３０５がメニュー項目の選択がされたことを示す情報を出力した場合、当該メニュー項目に応じた処理を実行する。

例えば、図４において、操作者の手の位置が予め定められた時間、停止した場合、メニュー実行部３０７は電話帳メニュー項目５０４ｂに応じた処理を実行する。

メニュー表示部３０９は、表示出音部２１９へ出力するメニュー項目の画像データを保持する。具体的には、メニュー実行部３０７が出力したメニュー項目に対応するアイコン画像を示す、メニュー項目表示データを表示出音部２１９へ出力する。

また、相互座標判定部３０３によってポインタ座標が第２領域に位置すると判定された場合、メニュー表示部３０９は、当該メニュー項目のメニュー項目表示データをハイライト表示に切り替えて出力する。具体的に、メニュー項目のハイライト表示とは、拡大表示、色の切り替え、明滅及び表示サイズの拡大縮小の繰り返しである。なお、ハイライト表示は、拡大表示、色の切り替え、明滅及び表示サイズの拡大縮小の繰り返しのうち、同時に２つ以上行ってもよい。

例えば、図４では、相互座標判定部３０３が出力した「長女」を示す電話帳メニュー項目５０４ｂが枠を太く表示されたハイライト表示となっている。

以上から、メニュー処理部２１７は、ポインタ５０３に一番近いメニュー項目をハイライト表示させ、予め定められた時間、同一メニュー項目上でポインタ５０３が停止した場合、当該メニュー項目を実行する。

以下で記述する各メニュー項目（通信開始確認メニュー項目、終了メニュー項目、終了確認メニュー項目及び着信メニュー項目）においても、メニュー処理部２１７における処理は電話帳メニュー項目５０４ａ〜５０４ｃと同様である。

また、ここでは、操作者の誤操作を防止するために、２段階の操作を経ることにより、テレビ電話通信の開始を実現しており、操作者は電話帳メニュー項目５０４ａ〜５０４ｃで通話相手を選択したのち、後述する通信開始メニュー項目を選択することで、相手端末とのテレビ電話通信が開始される。

図５は、テレビ電話通信の開始を確認する時の自画像５０１の表示例を示す図である。

図５に示すように、自画像５０１上に、ポインタ５０３及び通信開始確認メニュー項目５０５ａ〜５０５ｂが表示される。

通信開始確認メニュー項目５０５ａ〜５０５ｂは、図４で操作者が電話帳メニュー項目５０４ａ〜５０４ｃで通話相手を選択した場合に表示される。通信開始確認メニュー項目５０５ａ〜５０５ｂは、「はい」及び「いいえ」を含み、操作者が「はい」を選択するとテレビ電話端末１１０は電話帳メニュー項目５０４ａ〜５０４ｃで選択された通話相手へ呼び出しを開始する。また、操作者が「いいえ」を選択すると当該テレビ電話通信は開始されず、自画像５０１には図４の画像が表示される。

また、図４及び図５において、モニタ１１２上に表示される自画像５０１の大きさは任意である。

図６は、テレビ電話端末１１０を用いたテレビ電話通信時のモニタ１１２の表示例を示す図である。

図６に示すように、テレビ電話通信時に、表示出音部２１９は、自画像５０１、ポインタ５０３、終了メニュー項目５０６及び相手画像５１１をモニタ１１２へ表示する。表示出音部２１９は、相手端末から受信した画像を送受信部２２３及び通信制御部２２５を介して相手画像５１１へ表示する。自画像５０１上に、ポインタ５０３及び終了メニュー項目５０６が表示される。ここで、メニュー処理部２１７における終了メニュー項目５０６の処理は、電話帳メニュー項目５０４ａ〜５０４ｃと同様である。

終了メニュー項目５０６は、操作者がテレビ電話通信を終了する時に選択される。

また、ここではテレビ電話通信の開始と同様に、誤操作を防止するために、２段階の操作を経ることにより、テレビ電話通信の終了を実現している。操作者は終了メニュー項目５０６及び後述する終了確認メニュー項目を選択することにより、当該テレビ電話通信を終了する。

図７は、テレビ電話通信の終了を確認する時の自画像５０１の表示例を示す図である。

図７に示すように、自画像５０１上に、ポインタ５０３及び終了確認メニュー項目５０７ａ〜５０７ｂが表示される。

終了確認メニュー項目５０７ａ〜５０７ｂは、図６において操作者が終了メニュー項目５０６を選択した場合に表示されるメニュー項目である。終了確認メニュー項目５０７ａ〜５０７ｂは、「はい」及び「いいえ」を含む。操作者が「はい」を選択した場合、テレビ電話端末１１０は、当該テレビ電話通信を切断し、モニタ１１２に表示していた相手画像５１１の画面を閉じて、図４と同様に非通信時の表示とする。操作者が「いいえ」を選択した場合、テレビ電話端末１１０は、当該テレビ電話通信を続け、図６と同様に自画像５０１上にポインタ５０３及び終了メニュー項目５０６を表示する。

また、相手画像５１１に表示される映像は、図６と同様である。

図８は、非通信時に、他の端末から呼び出しがあった場合の自画像５０１の表示例を示す図である。

図８に示すように、自画像５０１には着信メニュー項目５０８が表示される。図８では、自画像５０１に手の画像が含まれていないためポインタ５０３が表示されていないが、含まれる場合はポインタ５０３が手の位置に表示される。

着信メニュー項目５０８は、他の端末から呼び出しがあることを知らせるメニュー項目である。操作者は、着信メニュー項目５０８を選択することで、当該テレビ電話通信の開始を許可する。

ここでは、操作者の誤操作を防止するために、２段階の操作を経ることにより、テレビ電話通信の開始を実現している。よって、操作者は着信メニュー項目５０８を選択したのち、通信開始確認メニュー項目５０５ａ及び５０５ｂを選択することで、相手端末とのテレビ電話通信を開始する。

以上、本発明の実施の形態１におけるモニタ１１２に表示される画像について説明した。

また、メニュー表示部３０９は、誤操作を防止するために表示されるメニュー項目（具体的には、通信開始確認メニュー項目５０５ａ〜５０５ｂ及び終了確認メニュー項目５０７ａ〜５０７ｂ）を、それぞれ直前に表示されるメニュー項目とは異なる位置に表示する。

図９は、これまで説明した自画像５０１に表示される各メニュー項目（電話帳メニュー項目５０４ｂ、通信開始確認メニュー項目５０５ａ〜５０５ｂ、終了メニュー項目５０６、終了確認メニュー項目５０７ａ〜５０７ｂ及び着信メニュー項目５０８）の表示を模式的に示す図である。図９の斜線で示されている箇所は、メニュー項目の背景の自画像５０１を透過することを示す。

図９（ａ）は、文字及び枠のみが表示されたメニュー項目を示す図である。

図９（ｂ）は、枠に文字が表示されたメニュー項目を示す図である。

図９（ｃ）は、文字のみが表示されたメニュー項目を示す図である。

なお、メニュー項目の表示は上記に限らず自画像５０１を透過するように、半透明でも、枠の横にメニュー項目名が表示されていてもよい。

図１０は、メニュー記憶部３０１に格納されているメニュー項目の第１領域５２１及び第２領域５２２を示す図である。

アイコン画像が自画像に表示される領域が第１領域５２１である。自画像において、隣接するメニュー項目の第１領域５２１までの距離が等しくなる点の集合で画面を分割された領域が第２領域５２２である。

具体的には、第２領域は、隣接する第１領域までの距離が等しくなる点の集合で画面を分割した領域である。これにより、メニュー処理部２１７は、ポインタ５０３が存在する位置に最も近いメニュー項目にポインタ５０３が対応すると判断し、ハイライト表示させる。

なお、第２領域は、隣接するメニュー項目の第１領域までの距離が等しくなる点の集合で画面を分割された領域のうち、一部の領域であってもよい。また、第２領域は、第１領域の周縁に予め定められた幅の縁取りをもたせた領域としてもよい。

図１１は、テレビ電話端末１１０の非通信時の動作の流れを示すフローチャートである。

まず、テレビ電話端末１１０の位置検出部２１３は、画像取得部２１１が出力した画像に手があるか否かを判定する（Ｓ１０１）。位置検出部２１３は、画像に手がないと判定した場合（Ｓ１０１でＮｏ）、引き続き手の検出を続ける。

位置検出部２１３が画像に手があると判定した場合（Ｓ１０１でＹｅｓ）、手の座標を算出する（Ｓ１０２）。

ポインタ移動部２１５は、位置検出部２１３が算出した座標データを含むポインタデータを表示出音部２１９に出力する。表示出音部２１９は、ポインタデータが示す座標にポインタを表示する（Ｓ１０３）。

次に、メニュー処理部２１７は、メニュー記憶部３０１に格納されているメニュー項目の第２領域に、ポインタが位置するか否かを判定する（Ｓ１０４）。

メニュー処理部２１７は、ポインタがメニュー項目の第２領域に位置すると判定した場合（Ｓ１０４でＹｅｓ）、ポインタが一定時間停止したか否かを判定する（Ｓ１０５）。

メニュー処理部２１７が、ポインタが一定時間停止したと判定した場合（Ｓ１０５でＹｅｓ）、当該メニュー項目を選択する（S１０６）。

以上のように、本発明の実施の形態１によれば、カメラ１１３で撮影された被写体である自画像５０１上に、自画像５０１を透過する部分を有するメニュー項目及びポインタを表示することで、マウス及びキーボード等の入力装置を必要とせず、操作性の良いテレビ電話端末１１０を提供できる。

なお、自画像５０１に通話時に音量を示す音量コントロールが表示され、操作者が音量を調整可能となっていてもよい。

また、自画像５０１に、画面の輝度を示すモニタコントロールが表示され、操作者が輝度を調整可能となっていてもよい。

また、通信中はＳＴＢ１１１に接続された機器（例えば、リモコンまたはボタン）によって、操作者が音量、輝度及びテレビ電話通信の切断を行ってもよい。

また、ポインタがメニュー項目の第２領域に位置する場合、表示出音部２１９は、当該メニュー項目の第１領域にポインタを表示してもよい。

また、他の端末から呼び出しがあった場合、表示出音部２１９は、モニタ１１２に着信メニュー項目５０８を出すとともに、スピーカ１１４に他の端末から呼び出しがあることを知らせる着信音を出力してもよい。

（本発明の実施の形態２）
次に本発明の実施の形態２について述べる。

本発明の実施の形態２に係るテレビ電話端末は、操作者の手を検出して操作者の手に応じた座標にポインタを移動し、操作者が予め定められた手の形状にした場合に、ポインタが第２領域に位置するメニュー項目を選択する。

以下、本発明の実施の形態１に係るテレビ電話端末１１０と異なる点を中心に述べる。

図１２は、本発明の実施の形態２に係るテレビ電話端末のユーザインターフェイス部６１０の構成を示すブロック図である。ここで、図２と同じブロックは同じ符号としている。本発明の実施の形態１のユーザインターフェイス部２１０と比較して、ユーザインターフェイス部６１０は、新たに形状記憶部６１１及び形状判定部６１３を備える。

ユーザインターフェイス部６１０は、テレビ電話端末の操作者の手に応じた座標にポインタを移動し、操作者が予め定められた手の形状にした場合に、ポインタが第２領域に位置するメニュー項目を選択する。

形状記憶部６１１は、選択を意味する予め定められた手の形状を記憶している。

形状判定部６１３は、位置検出部２１３が抽出した操作者の手の画像データが、形状記憶部６１１に格納されている予め定められた手の形状か否かを判定する。形状判定部６１３は、手の画像データが予め定められた手の形状であると判定した場合、操作者が選択動作を行ったことを示す信号をメニュー処理部２１７へ出力する。メニュー処理部２１７の選択判定部３０５は選択動作を行ったことを示す信号を受信した時に、相互座標判定部３０３からメニュー項目を示す情報が出力されている場合は、当該メニュー項目を示す情報をメニュー実行部３０７へ出力する。

これにより、ユーザインターフェイス部６１０は、操作者がメニュー項目の第２領域において、予め定められた手の形状にした場合、当該メニュー項目を選択できる。例えば、図４において、操作者は手の形状を開いた状態から握った状態に変化させることで、「長女」を示す電話帳メニュー項目５０４ｂを選択できる。

図１３は、形状記憶部６１１に格納されている操作者の選択動作を表す手の形状を示す図である。図１３（ａ）は、手を握った状態、図１３（ｂ）は二本の指を立てた状態、図１３（ｃ）は一本の指を立てた状態を表す。

ユーザインターフェイス部６１０は、手の形状が図１３（ａ）となった場合、当該メニュー項目を選択する。

以上のように本発明の実施の形態２では、操作者の手を検出して操作者の手の位置にポインタ５０３を表示し、操作者が予め定められた手の形状にした場合に、ポインタが第２領域に位置するメニュー項目を選択する。これにより、操作者はメニュー項目の選択感覚が得やすくなる。

なお、操作者の手がポインタと重なった時に、手が予め定められた形状（例えば、握る）になった場合、手の位置に追従してポインタが動き、次に手が予め定められた形状でなくなった（例えば、開いた）場合に、その位置にポインタが停止する、としてもよい。

図１４は、操作者がポインタ７１１上に手を重ねて握った場合に、ポインタ７１１が移動する様子を示す図である。

ポインタ７１１は、操作者が手を重ねた場合、手が予め定められた形状となった時に移動可能となる。電話帳メニュー項目７１２ａ〜７１２ｃは、本発明の実施の形態１の電話帳メニュー項目５０４ａ〜５０４ｃと機能は同じで、アイコンが異なるものである。

図１４（ａ）では、ポインタ７１１上に手は位置していないため、ポインタ７１１は静止していることを示す図である。このとき、ポインタ移動部２１５は予め定められた座標のポインタデータを表示出音部２１９へ出力する。

図１４（ｂ）は、操作者が手を握ってポインタ７１１を移動している様子を示す図である。

操作者が手を握ると、位置検出部２１３から手を握った形状を示す画像データが出力される。形状判定部６１３は、手を握った画像データが形状記憶部６１１に格納されているか否かを判定し、格納されている場合には、操作者が選択動作を行ったことを示す信号をメニュー処理部２１７及びポインタ移動部２１５へ出力する。

ポインタ移動部２１５は、位置検出部２１３が出力した手の座標とポインタ７１１の座標が一致するか否かを判定する。ポインタ移動部２１５は、一致すると判定したときに、選択動作を行ったことを示す信号を受信した場合、ポインタ７１１が手の位置に表示されるよう手の座標をポインタ７１１の座標とする。

図１４（ｃ）は、操作者は「長女」を示す電話帳メニュー項目７１２ｂ上で手を開くことで、ポインタ７１１は電話帳メニュー項目７１２ｂのバスケット上に表示された様子を示す図である。

操作者が手を開くと、形状判定部６１３は選択動作を行ったことを示す信号を停止する。ポインタ移動部２１５は、形状判定部６１３が選択動作を行ったことを示す信号を停止した場合に、ポインタ７１１を停止させる。これにより、ポインタ７１１の座標は操作者が手を開いた位置となる。

このとき、メニュー処理部２１７は、選択動作を示す信号が停止したときの手の位置が、メニュー項目の第２領域に位置するか否かを判定し、位置する場合は当該メニュー項目を実行する。

また、ポインタ移動部２１５は、メニュー項目が選択された後、ポインタ７１１の座標を予め定められた位置とする。

以上より、本発明の実施の形態２に係るテレビ電話端末は、操作者が手の位置及び形状を変えることでポインタ７１１の移動及び停止を行うため、誤操作の防止及び実行感覚の向上が図られる。

なお、選択動作を示す手の形状は図１３（ｂ）または図１３（ｃ）のいずれか１つであってもよい。また、選択動作を示す方法は手の形状に限らず、手を振っても手を倒しても手をプッシュする動作でもよい。さらに、予め定められたカードやペンを図示してもよい。さらに、手以外の身体の一部もしくは全体の動き、例えば、腕を振っても、身体をひねっても、頭を振ってもよい。

また、電話帳メニュー項目７１２ａ〜７１２ｃのアイコンの形状はバスケットに限らず、本発明の実施の形態１で示したアイコンの形状であってもよい。また、ポインタ７１１は、メニュー項目が選択された後で、予め定められた位置に表示されずメニュー項目選択時の位置に表示されていてもよい。

また、ポインタ７１１は、本発明の実施の形態１と同様に手の位置に表示され、手が選択動作を示す形状になった場合に、選択動作を示した位置に対応する第２領域を有するメニュー項目が実行されてもよい。

また、本発明の実施の形態１及び２に係るユーザインターフェイス部は、テレビ電話端末に限らず、デスクトップパソコン、ノートパソコン及び携帯電話にも適用できる。さらに、本発明の実施の形態１及び２に係るユーザインターフェイス部は、操作者の操作を受け付けて動作する機器にも適用できる。

（本発明の実施の形態３）
次に本発明の実施の形態３について述べる。

本発明の実施の形態３に係るテレビ電話端末は、テレビ電話通信中に予め定められた終了動作が行われた場合、当該テレビ電話通信を終了する。

以下、本発明の実施の形態１に係るテレビ電話端末１１０と異なる点を中心に述べる。

図１５は、本発明の実施の形態３に係るテレビ電話端末８１０が備えるＳＴＢ８１１の構成を示すブロック図である。ここで、図２と同じブロックは同じ符号としている。

ＳＴＢ８１１は、図２のＳＴＢ１１１と比較して、新たに終了判定部８１２、終了実行部８１３及び選択禁止部８１５を備える。

終了判定部８１２は、テレビ電話通信時に、画像取得部２１１が取得した画像又は音声取得部２２１が取得した音声をもとに、当該テレビ電話通信を終了するか否かを判定する。終了判定部８１２の詳細な構成は後述する。

終了実行部８１３は、終了判定部８１２が出力したテレビ電話通信を終了するか否かを示す制御信号に基づき、通信制御部２２５にテレビ電話通信終了を要求する。

選択禁止部８１５は、通信制御部２２５が出力した信号に応じて、メニュー処理部２１７でのメニュー項目の選択を許可又は禁止する。具体的には、テレビ電話通信時にメニュー処理部２１７でのメニュー項目の選択を禁止し、非通信時にメニュー処理部２１７のメニュー項目の選択を許可する。

なお、選択禁止部８１５は、テレビ電話通信時にメニュー項目の選択の禁止に加えて、ポインタ移動部２１５のポインタの移動及び表示出音部２１９のポインタの表示のうち、少なくとも一方を禁止してもよい。

図１６は、終了判定部８１２の構成を示すブロック図である。

終了判定部８１２は、テレビ電話通信時に予め定められた通話終了操作により、テレビ電話通信の終了を判定する。終了判定部８１２は、過去画像記憶部４０１、画像変化判定部４０３、終了画像記憶部４０５、終了画像判定部４０７、過去音声記憶部４０９及び音声判定部４１１を備える。

過去画像記憶部４０１は、一定時間毎に画像変化判定部４０３が出力する画像を記憶する。なお、過去画像記憶部４０１に格納される画像は、１つでも複数であってもよい。

画像変化判定部４０３は、タイマを備え、画像取得部２１１が取得した画像データと、過去画像記憶部４０１に格納されている画像とを一定時間毎に比較し、画像に差があるか否かを判定する。具体的には、画像に差があるか否かの判定を、閾値を設けることで実現する。画像変化判定部４０３は、差があると判定した場合、画像取得部２１１から取得した画像データを過去画像記憶部４０１へ格納する。画像変化判定部４０３は、差がないと判定した場合、終了実行部８１３へ終了判定を出力する。

なお、画像変化判定部４０３が画像取得部２１１から取得した画像を比較する対象は、過去画像記憶部４０１に格納されている画像のうち、複数であってもよい。

終了画像記憶部４０５は、予め定められた終了画像を記憶する。なお、終了画像は複数であってもよい。

終了画像判定部４０７は、画像取得部２１１が取得した画像データ中に、終了画像記憶部４０５に格納されている終了画像が含まれるか否かを判定し、含まれる場合は終了実行部８１３に終了判定を出力する。

過去音声記憶部４０９は、一定時間毎に音声取得部２２１が出力する音声データを記憶する。なお、過去音声記憶部４０９に記憶される音声データは、１つであっても複数であってもよい。

音声判定部４１１は、タイマを備え、音声取得部２２１が出力した音声データが、予め定められた音量を超えているか否かを一定時間毎に比較する。音声判定部４１１は音声データが予め定められた音量を越えていると判定した場合、音声判定部４１１は、音声取得部２２１から取得した音声データを過去音声記憶部４０９へ格納する。音声判定部４１１は音声データが予め定められた音量を越えていないと判定した場合、終了実行部８１３へ終了判定を出力する。

なお、音声判定部４１１は、音声データに差があるか否かの判定を、過去音声記憶部４０９に格納されている音声データと音声取得部２２１が出力した音声データとが差があるか否かで判定してもよい。このとき、音声判定部４１１が音声取得部２２１から取得した音声データを比較する対象は、過去音声記憶部４０９に格納されている音声データのうち、複数であってもよい。

また、終了判定部８１２は、画像変化判定部４０３及び音声判定部４１１で共に終了判定が出力された場合、もしくは、終了画像判定部４０７及び音声判定部４１１で共に終了判定が出力された場合に、終了実行部８１３へ終了判定を出力してもよい。

図１７は、テレビ電話通信時に操作者が終了画像８０１を用いて当該テレビ電話通信を終了させるときの自画像５０１を示す図である。操作者は予め定められた終了画像８０１をカメラ１１３に示すことで、当該テレビ電話通信を終了する。なお、終了画像８０１は、どのような画像であってもよい。また、本発明の実施の形態１と同様に、この後に、終了確認メニュー項目５０７ａ〜５０７ｂを表示してもよい。

図１８は、テレビ電話端末８１０のメニュー項目の選択の禁止動作の流れを示すフローチャートである。

テレビ電話端末８１０の通信制御部２２５は、通信中か否かを選択禁止部８１５へ出力する（Ｓ２０１）。選択禁止部８１５は、通信制御部２２５がテレビ電話通信中と判定した場合（Ｓ２０１でＹｅｓ）、メニュー処理部２１７でのメニュー項目の選択を禁止する（Ｓ２０２）。選択禁止部８１５は、通信制御部２２５がテレビ電話通信中でないと判定した場合（Ｓ２０１でＮｏ）、メニュー処理部２１７でのメニュー項目の選択を許可する（Ｓ２０３）。

以上のように本発明の実施の形態３では、テレビ電話端末８１０は、テレビ電話通信中に予め定められた終了動作が行われた場合、当該テレビ電話通信を終了する。

なお、テレビ電話端末８１０は、選択禁止部８１５を実行する第１モードと禁止する第２モードとを有し、操作者が任意でいずれかのモードを選択可能となっていてもよい。

以上、本発明のユーザインターフェイス装置、テレビ電話端末、ユーザインターフェイス制御方法及びプログラムについて実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の形態に含まれる。

例えば、実施の形態１において、位置検出部２１３は、画像取得部２１１が出力した画像データの一定時間毎の差分を取ることで、画像データ中の動いている部分を抽出する。次に、位置検出部２１３は、動いている部分の最上点をポインタ座標としてもよい。

図１９は、被写体の動きの最上点にポインタ５０３が表示されている自画像の一例を示す図である。ここでは、操作者が手以外の部分を固定し、手のみを振っているので、ポインタ５０３は手の最上点に表示される。図１９では、ポインタ５０３と操作者との位置関係を見やすくするため、各メニュー項目の表示は省略している。

本発明は、ユーザインターフェイス装置に適用でき、特に、機器の操作の苦手な高齢者等が使いやすいユーザインターフェイス装置に適用できる。

本発明の実施の形態１に係るテレビ電話システムの構成を示す図である。 本発明の実施の形態１に係るテレビ電話端末が備えるＳＴＢの構成を示すブロック図である。 本発明の実施の形態１に係るテレビ電話端末のメニュー処理部の構成を示すブロック図である。 本発明の実施の形態１に係るテレビ電話端末において、非通信時に表示される画面例を示す図である。 本発明の実施の形態１に係るテレビ電話端末において、テレビ電話通信の開始を確認する時の自画像の表示例を示す図である。 本発明の実施の形態１に係るテレビ電話端末において、テレビ電話通信時に表示される画面例を示す図である。 本発明の実施の形態１に係るテレビ電話端末において、テレビ電話通信の終了を確認する時の自画像の表示例を示す図である。 本発明の実施の形態１に係るテレビ電話端末において、非通信時に、他の端末から呼び出しがあった場合の自画像の表示例を示す図である。 本発明の実施の形態１に係るテレビ電話端末のメニュー項目を示す表示を模式的に示す図である。 本発明の実施の形態１に係るテレビ電話端末において、メニュー記憶部に格納されているメニュー項目の第１領域及び第２領域を示す図である。 本発明の実施の形態１に係るテレビ電話端末において、非通信時の動作の流れを示すフローチャートである。 本発明の実施の形態２に係るテレビ電話端末のユーザインターフェイス部の構成を示すブロック図である。 本発明の実施の形態２に係るテレビ電話端末において、形状記憶部に格納されている操作者の選択動作を表す手の形状を示す図である。 本発明の実施の形態２に係るテレビ電話端末において、操作者がポインタ上に手を重ねて握った場合に、ポインタが移動する様子を示す図である。 本発明の実施の形態３に係るテレビ電話端末が備えるＳＴＢの構成を示すブロック図である。 本発明の実施の形態３に係るテレビ電話端末の終了判定部の構成を示すブロック図である。 本発明の実施の形態３に係るテレビ電話端末において、テレビ電話通信時に操作者が終了画像を用いて当該テレビ電話通信を終了させるときの自画像を示す図である。 本発明の実施の形態３に係るテレビ電話端末において、メニュー項目の選択の禁止動作の流れを示すフローチャートである。 本発明の実施の形態１に係るテレビ電話端末において、被写体の動きの最上点にポインタが表示される自画像の表示例を示す図である。

符号の説明

１００ テレビ電話システム
１１０、８１０ テレビ電話端末
１１１、８１１ セットトップボックス（ＳＴＢ）
１１２ モニタ
１１３ カメラ
１１４ スピーカ
１１５ マイク
１２０ ネットワーク
１３０ 管理サーバ
１４０ 一般端末
２１０、６１０ ユーザインターフェイス部
２１１ 画像取得部
２１３ 位置検出部
２１５ ポインタ移動部
２１７ メニュー処理部
２１９ 表示出音部
２２１ 音声取得部
２２３ 送受信部
２２５ 通信制御部
３０１ メニュー記憶部
３０３ 相互座標判定部
３０５ 選択判定部
３０７ メニュー実行部
３０９ メニュー表示部
４０１ 過去画像記憶部
４０３ 画像変化判定部
４０５ 終了画像記憶部
４０７ 終了画像判定部
４０９ 過去音声記憶部
４１１ 音声判定部
５０１ 自画像
５０３、７１１ ポインタ
５０４ａ〜５０４ｃ、７１２ａ〜７１２ｃ 電話帳メニュー項目
５０５ａ〜５０５ｂ 通信開始確認メニュー項目
５０６ 終了メニュー項目
５０７ａ〜５０７ｂ 終了確認メニュー項目
５０８ 着信メニュー項目
５１１ 相手画像
５２１ 第１領域
５２２ 第２領域
６１１ 形状記憶部
６１３ 形状判定部
８０１ 終了画像
８１２ 終了判定部
８１３ 終了実行部
８１５ 選択禁止部

Claims (13)

1. テレビ電話端末であって、
   被写体を撮影するカメラと、
   前記カメラで撮影された前記被写体を表示し、当該被写体上に当該テレビ電話端末の操作に関する少なくとも１つのメニュー項目を表示する表示部と、
   前記カメラで撮影された前記被写体に含まれる前記被写体の一部である物体を表す画像の位置を検出する位置検出部と、
   前記物体を表す画像と前記メニューに対応した領域との重なりに応じて当該メニュー項目を選択するメニュー処理部と、
   他のテレビ電話端末と通話中に、前記メニュー処理部による前記メニュー項目の選択を禁止する選択禁止部とを備え、
   前記表示部は、さらに、前記物体を表す画像の位置にポインタを表示する
   テレビ電話端末。
2. 前記選択禁止部は、さらに、前記通話中に前記表示部による前記ポインタの表示を禁止する
   請求項１記載のテレビ電話端末。
3. 前記テレビ電話端末は、さらに、
   前記通話中に前記カメラで撮影された前記被写体に、予め定められた時間に変化があるか否かを判定する画像変化判定部と、
   前記画像変化判定部により変化なしと判定された場合、当該通話を終了する終了実行部と
   を備える請求項１記載のテレビ電話端末。
4. 前記テレビ電話端末は、さらに、
   音声を取得する音声取得部と、
   前記通話中に前記音声取得部が取得した音声が、予め定められた時間に予め定められた音量以上があるか否かを判定する音声判定部と、
   前記音声判定部により予め定められた音量以上でないと判定された場合、通話を終了する終了実行部と
   を備える請求項１記載のテレビ電話端末。
5. 前記テレビ電話端末は、さらに、
   前記通話中に前記カメラで撮影された前記被写体に、予め定められた終了画像が含まれるか否かを判定する終了画像判定部と、
   前記終了画像判定部により含まれると判定された場合、当該通話を終了する終了実行部と
   を備える請求項１記載のテレビ電話端末。
6. 前記表示部は、前記メニュー項目と重なる前記被写体を透過させる
   請求項１記載のテレビ電話端末。
7. 前記メニュー処理部は、前記物体を表す画像と前記メニュー項目に対応した領域とが予め定められた時間重なる場合、当該メニュー項目を選択する
   請求項１記載のテレビ電話端末。
8. 前記位置検出部は、前記物体の形状を識別し、
   前記テレビ電話端末は、さらに、
   前記物体の形状が、予め定められた所定の形状であるか否か判定する形状判定部を備え、
   前記メニュー処理部は、前記形状判定部により予め定められた所定の形状であると判定された場合、当該メニュー項目を選択する
   請求項１記載のテレビ電話端末。
9. 前記テレビ電話端末は、さらに、
   前記物体を表す画像の動きまたは形状に応答して前記ポインタの移動を制御するポインタ移動部
   を備える請求項１記載のテレビ電話端末。
10. 前記ポインタ移動部は、前記ポインタを予め定められた位置に表示するよう制御し、前記物体を表す画像の位置が前記ポインタの位置に重なった後、前記ポインタが前記物体を表す画像の位置に追従するよう制御し、前記メニュー項目が選択された後で、前記ポインタを予め定められた位置に表示するよう制御する
    請求項９記載のテレビ電話端末。
11. 前記メニュー処理部は、前記ポインタが前記メニュー項目に対応した領域と重なった時間または重なった時の前記物体の挙動に応じて、当該メニュー項目を選択する
    請求項１０記載のテレビ電話端末。
12. テレビ電話端末を制御するためのテレビ電話端末制御方法であって、
    カメラで被写体を撮影する撮影ステップと、
    前記カメラで撮影された前記被写体を表示し、当該被写体上に当該テレビ電話端末の操作に関する少なくとも１つのメニュー項目を表示する表示ステップと、
    前記カメラで撮影された前記被写体に含まれる前記被写体の一部である物体を表す画像の位置を検出する位置検出ステップと、
    前記物体を表す画像と前記メニューに対応した領域との重なりに応じて当該メニュー項目を選択するメニュー処理ステップと、
    他のテレビ電話端末と通話中に、前記メニュー処理部による前記メニュー項目の選択を禁止する選択禁止ステップとを含み、
    前記表示ステップでは、さらに、前記物体を表す画像の位置にポインタを表示する
    テレビ電話端末制御方法。
13. テレビ電話端末を制御するためのプログラムであって、
    カメラで被写体を撮影する撮影ステップと、
    前記カメラで撮影された前記被写体を表示し、当該被写体上に当該テレビ電話端末の操作に関する少なくとも１つのメニュー項目を表示する表示ステップと、
    前記カメラで撮影された前記被写体に含まれる前記被写体の一部である物体を表す画像の位置を検出する位置検出ステップと、
    前記物体を表す画像と前記メニューに対応した領域との重なりに応じて当該メニュー項目を選択するメニュー処理ステップと、
    他のテレビ電話端末と通話中に、前記メニュー処理部による前記メニュー項目の選択を禁止する選択禁止ステップとをコンピュータに実行させ、
    前記表示ステップでは、さらに、前記物体を表す画像の位置にポインタを表示する
    プログラム。

Images