JPWO2016158014A1 - 情報処理装置、通信システム、情報処理方法及びプログラム - Google Patents

Abstract

本開示に係る情報処理装置は、遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得する受信部と、前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を備える。【選択図】図９

Description

本開示は、情報処理装置、通信システム、情報処理方法及びプログラムに関する。

近時においては、情報処理端末にカメラを装着して遠隔コミュニケーションを行い、双方の端末に会話者の映像を表示する技術が用いられている。このような状況の中、下記の非特許文献１には、複数視点映像から補間により中間の視点を生成することが記載されている。また、下記の非特許文献２には、映像中の目玉の視線方向を変化させることが記載されている。

Ott, M., Lewis, J. P., & Cox, I. (1993). Teleconferencing eyecontact using a virtual camera. Paper presented at INTERACT '93 and CHI '93conference companion on Human factors in computing systems in Amsterdam, TheNetherlands, 109-110 Jerald, J., & Daily, M. (2002). Eye gaze correction forvideoconferencing. Proceedings of the 2002 symposium on Eye tracking research& applications. New Orleans, Louisiana, USA, 77-81.

遠隔コミュニケーションを行い、双方の端末に会話者の映像を表示する場合においては、双方の会話者の視線が一致していることが円滑なコミュニケーションに繋がる。しかしながら、上記従来技術に記載された技術は、目の向きを変化させることを想定した技術であり、双方の端末に会話者の映像を表示する場合に、視線の向きを定量的に変化させて完全に視線を合わせることは困難である。

そこで、会話者の映像を表示する場合に、簡素な構成で視線の向きを把握することで、視線を一致させることが望まれていた。

本開示によれば、遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得する受信部と、前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を備える、情報処理装置が提供される。

また、本開示によれば、自装置のユーザの顔を含む映像信号を取得する映像信号取得部と、前記自装置のユーザの顔を含む映像信号から自装置のユーザの視線位置に関する情報を取得する視線検出部と、自装置のユーザの顔を含む映像信号に基づいて、自装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記自装置のユーザの視線位置に関する情報と前記自装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記自装置のユーザの視線位置を前記自装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を備える、情報処理装置が提供される。

また、本開示によれば、遠隔コミュケーションを行う第２の通信装置から前記第２の通信装置のユーザの視線位置に関する情報を取得する受信部と、前記第２の通信装置から受信した前記第２の通信装置のユーザの顔を含む映像信号に基づいて、前記第２の通信装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記第２の通信装置のユーザの視線位置に関する情報と前記第２の通信装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記第２の通信装置のユーザの視線位置を前記第２の通信装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を有する、第１の通信装置と、遠隔コミュケーションを行う前記第１の通信装置から前記第１の通信装置のユーザの視線位置に関する情報を取得する受信部と、前記第１の通信装置から受信した前記第１の通信装置のユーザの顔を含む映像信号に基づいて、前記第１の通信装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記第１の通信装置のユーザの視線位置に関する情報と前記第１の通信装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記第１の通信装置のユーザの視線位置を前記第１の通信装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を有する、前記第２の通信装置と、を備える、通信システムが提供される。

また、本開示によれば、遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得することと、前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出することと、前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させることと、を備える、情報処理方法が提供される。

また、本開示によれば、遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得する手段、前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出する手段、前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させる手段と、としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本開示によれば、会話者の映像を表示する場合に、簡素な構成で視線の向きを把握することで、視線を一致させることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係るシステムの概要を示す模式図である。 カメラの位置によってユーザＡの視線が異なる様子を示す模式図である。 ユーザＡとユーザＢの身長が異なる場合を示す模式図である。 ユーザＡとユーザＢの視線を一致させてアイコンタクトを再現した状態を示す模式図である。 ユーザＢの端末の構成を示す模式図である。 第１の実施形態のシステムを示す模式図である。 マーカーの例を示す模式図である。 図６に示した視線位置表示の処理を示すフローチャートである。 図６に示した視線位置表示を実現する端末の主要な構成を詳細に示すブロック図である。 視線ずれ量算出部による処理を示すフローチャートである。 重畳部による処理を示すフローチャートである。 視線ずれ量算出部が視線ずれ量を算出する手法を説明するための模式図である。 第２の実施形態のシステムを示す模式図である。 第２の実施形態の端末の主要な構成を詳細に示すブロック図である。 第３の実施形態のシステムを示す模式図である。 キャリブレーションの様子を示す模式図である。 キャリブレーションの様子を示す模式図である。 第３の実施形態の処理を示すフローチャートである。 第３の実施形態に係る端末の構成を示す模式図である。 図１８に示した視線位置表示を実現する端末の主要な構成を詳細に示すブロック図である。 視線指示部による処理を示すフローチャートである。 視線変換部による処理を示すフローチャートである。 視線変換量と画面内の視線の変化を示す模式図である。 重畳部の処理を示すフローチャートである。 キャリブレーション処理の状態遷移を示す模式図である。 第３の実施形態のシステムを示す模式図である。 キャリブレーションによって視線の方向が変わる様子を示す模式図である。 キャリブレーションによって視線の方向が変わる様子を示す模式図である。 第４の実施形態におけるキャリブレーションを示す模式図である。 第４の実施形態におけるキャリブレーションを示す模式図である。 第４の実施形態の処理を示すフローチャートである。 第４の実施形態に係る端末の構成を示す模式図である。 視点信号処理部の構成を示す模式図である。 幾何変換部の処理を示すフローチャートである。 重畳部の処理を示すフローチャートである。 キャリブレーション処理の状態遷移を示す模式図である。 第５の実施形態のシステムを示す模式図である。 第５の実施形態の処理を示すフローチャートである。 第５の実施形態に係る端末の主要な構成を示す模式図である。 視線指示部の処理を示すフローチャートである。 視線変換部の処理を示すフローチャートである。 第６の実施形態のシステムを示す模式図である。 第６の実施形態の処理を示すフローチャートである。 第６の実施形態に係る端末の主要な構成を示す模式図である。 重畳部の処理を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．システムの概要
１．２．端末の構成例
１．３．システムの構成例
１．４．端末の主要構成
２．第２の実施の形態
２．１．システムの概要
２．２．端末の主要構成
３．第３の実施の形態
３．１．システムの概要
３．２．端末の主要構成
４．第４の実施の形態
４．１．システムの概要
４．２．端末の構成例
５．第５の実施の形態
５．１．システムの概要
５．２．端末の主要構成
６．第６の実施の形態
６．１．システムの概要
６．２．端末の主要構成

＜１．第１の実施形態＞
［１．１．システムの概要］
まず、図１を参照して、本開示の第１の実施形態に係るシステムの概要について説明する。図１に示すように、第１の実施形態のシステムは、ユーザＡの端末１０００と、ユーザＢの端末２０００とを有し、ユーザＡとユーザＢとが端末１０００、端末２０００を用いて遠隔コミュニケーションを行う。なお、図１においては、端末１０００，２０００の正面図と右側面図をそれぞれ示している。

端末１０００にはカメラ１０１０が設けられ、ユーザＡを撮影する。端末２０００にはカメラ２０１０が設けられ、ユーザＢを撮影する。なお、図1では１台のカメラ１０１０，２０１０が各端末１０００，２０００に設けられているが、カメラ１０１０は1台に限定されるものではない。視線検出や視線変換を行う場合、２台以上のカメラ１０１０，２０１０を各端末１０００，２０００が使用することもできる。端末１０００と端末２０００はインターネットなどのネットワーク１００を介して接続され、端末２０００の画面２０２０にはカメラ１０１０が撮影したユーザＡの画像が表示され、端末１０００の画面１０２０にはカメラ２０１０が撮影したユーザＢの画像が表示される。また、端末１０００はユーザＡの音声を取得するマイクを備え、ユーザＡの音声はネットワーク１００を介して端末２０００に送信され、発音される。また、端末２０００はユーザＢの音声を取得するマイクを備え、ユーザＢの音声はネットワーク１００を介して端末１０００に送信され、発音される。これにより、ユーザＡとユーザＢは、各端末１０００，２０００の画面上で相手を見ながらコミュニケーションを行うことができる。

図２は、カメラ１０１０の位置によってユーザＡの視線が異なる様子を示す模式図である。ユーザＡは、画面１０２０に表示されたユーザＢを見ながら会話を行う。一方、カメラ１０１０は、画面１０２０の上下左右に配置される。カメラが画面１０２０の正面に対して上下左右に位置すると、撮影される顔の向きが変化する。例えば、カメラ１０１０が画面１０２０の上にあると、通信相手（ユーザＢ）にはユーザＡの視線が下を向いているように画面２０２０上に表示される。同様に、カメラ１０１０が画面１０２０の下にあると、ユーザＡの視線が上を向いているように画面２０２０上に表示される。また、カメラ１０１０が画面１０２０の右にあるとユーザＡの視線が左を向いているように画面２０２０上に表示され、カメラ１０１０が画面１０２０の左にあるとユーザＡの視線が右を向いているように画面２０２０上に表示される。

遠隔コミュニケーションを行う場合、双方のユーザＡ，Ｂが現実と同様にアイコンタクトをしていることが、円滑なコミュニケーションに繋がる。図２に示したように、カメラ１０１０の位置に起因して視線の方向が正面を向いていない場合は、コミュニケーションに違和感が生じてしまう。

図３は、ユーザＡとユーザＢの身長が異なる場合を示す模式図である。ユーザＡとユーザＢの身長の高さの違いを考慮して現実のアイコンタクトを再現するためには、ユーザＡ、ユーザＢの厳密な位置関係を検出し、ユーザＡ、ユーザＢを厳密な位置・大きさ・角度で表示しなければいけない。例えば、図３では、ユーザＡとユーザＢの身長差に応じて、画面１０２０内の上方にユーザＢの顔が表示され、画面２０２０内の下方にユーザＡの顔が表示されている。このような場合においても、図４に示すように、ユーザＡとユーザＢの視線を一致させてアイコンタクトを再現できれば、円滑なコミュニケーションが可能である。

このため、本実施形態では、アイコンタクトを実現する前提として、画面１０２０，２０２０内において、相手の視線が何処を向いているかを示すマーカーを相手の画像と重畳して表示する。以下、詳細に説明する。

［１．２．端末の構成例］
図５は、端末２０００の構成を示す模式図である。なお、端末１０００の構成は端末２０００と同様である。図５に示すように、端末２０００は、センサー部２１００、自地点信号処理部２２００、符号化部２３００、送信部２４００、受信部２５００、複合部２６００、相手地点信号処理部２７００、提示部２８００を有して構成されている。センサー部２１００は、ＣＣＤ／ＣＭＯＳ等のイメージセンサー(含複数台)からなるカメラ２０２０、赤外線等によるデプスセンサー、マイクなどを含む。符号化部２３００は、Ｈ.３２０／Ｈ.３２３など通信プロトコルに対応するブロックであり、映像符号化（Ｈ.２６ｘ）、音声符号化（Ｇ.７ｘｘ）などを行う。提示部２０８０は、画像を表示するためのディスプレイ、音声を発するスピーカ等を含む。なお、以下では、音声に関連する説明は省略する。

［１．３．システムの構成例］
図６は、本実施形態のシステムを示す模式図である。上述したように、端末２０００の画面２０２０内にはユーザＡが表示される。そして、ユーザＡがどこを見ているかが分かるように、ユーザＢの端末２０００の画面２０２０には図形や絵などのマーカー（スーパー）２０３０が重畳表示される。

図６に示すように、ユーザＡが端末１０００の画面１０２０内のユーザＢの顔（目）を見ている場合、ユーザＢの端末２０００の画面２０２０に表示されたユーザＡの顔（目）の位置にマーカー２０３０が重畳表示される。この際、ユーザＢが視線を外さなくても分かる位置にマーカー２０３０が重畳される。

また、ユーザＡが端末１０００の画面１０２０内のユーザＢの顔を見ていない場合、ユーザＢの端末２０００の画面２０２０にはマーカー２０３０を重畳表示しない。

図７は、マーカー２０３０の例を示す模式図である。マーカー２０３０の色、形状、大きさ、明るさ、透過度は適宜変更可能である。また、例えばマーカー２０３０を、視点位置を囲むようにして、視点位置以外に設けることも可能である。視点位置以外の透過度、明るさ、色を変更することも可能である。

図６のシステムによれば、ユーザＢは、画面２０２０内のマーカー２０３０を確認することで、ユーザＡが画面１０２０内に表示されたユーザＢの顔（の目）に視線を向けているか否かを判別することができる。

図８は、図６に示した視線位置表示（マーカー２０３０の表示）の処理を示すフローチャートである。先ず、ステップＳ１０では、ユーザＡの端末１０００で、ユーザＡの視点位置を検出する。次のステップＳ１２では、ユーザＡの端末１０００で、画面１０２０に表示されたユーザＢの顔の表示位置、サイズを検出する。次のステップＳ１４では、ユーザＡの視点位置とユーザＢの顔の表示位置のずれ量を算出し、ユーザＢの端末２０００に送信する。次のステップＳ１６では、ユーザＢの端末２０００で、画面２０２０に表示されたユーザＡの顔の表示位置、サイズを検出する。次のステップＳ１８では、ユーザＡの視線位置をユーザＢの端末２０００での座標系に変換する。次のステップＳ１９では、ユーザＢの端末２０００で、ユーザＡの視線位置をマーカー２０３０で重畳表示する。ステップＳ１９の後は処理を終了する。

［１．４．端末の主要構成］
図９は、図６に示した視線位置表示を実現する端末２０００の主要な構成を詳細に示すブロック図である。なお、端末１０００は端末２０００と同様に構成されている。図９に示すように、端末２０００の自地点信号処理部２２００は、視線検出部２２１０、視線ずれ量算出部２２２０を備えている。また、相手地点信号処理部２７００は、顔検出部２７１０、重畳部２７２０を備えている。なお、図５、図９等に示す端末２０００の各構成要素は、ハードウェア（回路）、又はＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。この場合に、そのプログラムは、装置内部に設けられるメモリ、または外部から接続されるメモリ等の記録媒体に格納されることができる。

センサー部２１００のカメラ２０１０がユーザＢを撮像して得られた映像信号は、視線検出部２２１０へ入力される。視線検出部２２１０は、ユーザＢの撮像画像からユーザＢの視線の方向を検出する。

また、端末１０００から送信されて復号部２６００が復号した端末１０００の映像信号と視線ずれ量とは、顔検出部２７１０と重畳部２７２０へ送られる。顔検出部２７１０は、映像信号に基づいて、ユーザＡの顔位置とサイズを検出する。なお、顔検出部２７１０による画像から顔の位置及びサイズの検出は、例えば特開２００５−１５７６７９号公報に記載された手法により行うことができる。この方法では、以下の手順により顔の位置及びサイズを検出する。先ず、複数の弱判別器を重み付け加算した顔領域の判別器を用意する（ステップＡ）。顔画像群と非顔画像群を入力として、ステップＡの重み係数を機械学習する（ステップＢ）。ステップＢの機械学習後の判別器を用いて、入力画像の顔領域を検出する（ステップＣ）。

視線ずれ量算出部２２２０は、視線検出部２２１０が検出した視線の方向と、顔検出部２７１０が検出したユーザＡの顔位置及びサイズとに基づいて、ユーザＢの視線ずれ量を算出する。視線ずれ量は、映像信号とともに符号化部２３００へ送られる。なお、視線検出部２２１０による視線の検出は、例えば特開２００６−２０２１８１号公報、特開平２−２２４６３７号公報に記載された手法を用いることができる。特開２００６−２０２１８１号公報の方法では、以下の手順により視線を検出している。先ず、ユーザの左右からの顔画像を取得する（ステップＤ）。ステップＤの結果から左右の顔を検出する（ステップＥ）。ステップＥの結果から顔の向きを検出する（ステップＦ）。ステップＥの結果から眼球・虹彩を検出する（ステップＧ）。ステップＦ，Ｇからユーザの視線方向を検出する（ステップＨ）。また、特開平２−２２４６３７号公報の方法では、以下の手順により視線を検出している。先ず、顔画像から頭部の位置と方向を検出する（ステップＩ）。顔画像から眼の特徴点(黒眼の位置など)を検出する（ステップＪ）。ステップＩ，Ｊから視線方向を検出する（ステップＫ）。

重畳部２７２０は、端末１０００から受信したユーザＡの視線ずれ量と、顔検出部２７１０が検出したユーザＡの顔位置及びサイズから求まるマーカー２２３０を映像信号に重畳し、提示部２８００へ出力する。

図１０は、視線ずれ量算出部２２２０による処理を示すフローチャートである。先ず、ステップＳ２０では、視線位置と顔位置の変位を算出する。次のステップＳ２２では、変位を顔サイズを基準に正規化する。ステップＳ２２の後は処理を終了する。

図１１は、重畳部２７２０による処理を示すフローチャートである。先ず、ステップＳ３０では、視線ずれ量が所定の閾値より小さいか否かを判定し、視線ずれ量が所定の閾値より小さい場合はステップＳ３２へ進む。ステップＳ３２では、視線ずれ量と顔サイズから画面２０２０上の視線位置を計算する。次のステップＳ３４では画面２０２０上の視線位置にマーカー２０３０を重畳し、ステップＳ３６では映像信号を出力する。

また、ステップＳ３０で視線ずれ量が所定の閾値以上の場合はステップＳ３６へ進み、マーカー２０３０を重畳することなく映像信号を出力する。

図１２は、視線ずれ量算出部２２２０が視線ずれ量を算出する手法を説明するための模式図である。視線ずれ量は、画面に表示されている顔の大きさを基準にして、基準座標からどれほど視線がずれているかを表すベクトル量である。顔の大きさの基準となるものは、顔の横サイズ、縦サイズなどの情報である。また、基準座標（原点）は、例えば眉間の位置とする。

図１２に示すように、検出側の装置（ユーザＡの端末１０００）では、画面１０２０に表示されたユーザＢの顔の原点Ｏ（眉間）と、ユーザＡの視線位置Ｐとのずれを視線ずれ量として算出する。視線ずれ量は、ＸＹ座標系により以下の式で表すことができる。画面上でのユーザＢの顔のサイズをＬとする。この視線ずれ量は、映像信号とともに端末２０００へ送られる。
視線ずれ量＝［ｌｘ／Ｌ，ｌｙ／Ｌ］

表示側の装置（ユーザＢの端末２０００）では、端末１０００から送られた視線ずれ量に基づいて、座標系の変換を行い、視線ずれ量ｍ＝（ｍｘ，ｍｙ）を求める。座標系の変換により得られた視線ずれ量ｍｘは、端末２０００の画面２０２０上でユーザＡの顔のサイズをＭとすると、以下の式で表すことができる。
ｍｘ＝Ｍ＊ｌｘ／Ｌ
ｍｙ＝Ｍ＊ｌｙ／Ｌ

以上説明したように第１の実施形態によれば、ユーザＢは、端末２０００の画面に表示された通信相手のユーザＡの顔とともに、ユーザＡの視線位置を視認することができる。そして、ユーザＡが自身の端末１０００に表示されているユーザＢの顔に視線を合わせた場合、ユーザＢは、端末２０００の画面２０２０上でユーザＡの顔に重畳されたマーカー２０３０を視認する。従って、ユーザＢは、ユーザＡが自身の端末１０００の画面１０２０上でユーザＢの顔に視線を向けているか否かを容易に認識することができる。

＜２．第２の実施形態＞
［２．１．システムの概要］
次に、本開示の第２の実施形態について説明する。図１３は、第２の実施形態のシステムを示す模式図である。第２の実施形態に係るシステムの基本的な構成は、第１の実施形態と同様である。第１の実施形態では端末１０００と端末２０００の間で視線ずれ量を送信するが、第２の実施形態では視線ずれ量の代わりに視線位置を送り、視線ずれ量は受信側の装置で算出する点で第１の実施形態と相違する。端末１０００，２０００の構成は、図４に示した第１の実施形態と同様である。

［２．２．端末の主要構成］
図１４は、第２の実施形態の端末２０００の主要な構成を詳細に示すブロック図である。なお、端末１０００は端末２０００と同様に構成されている。図１４に示すように、端末２０００の自地点信号処理部２２００は、視線検出部２２１０、顔検出部２２１２、視線ずれ量算出部２２２０を備えている。また、相手地点信号処理部２７００は、顔検出部２７１０、重畳部２７２０を備えている。

第２の実施形態では、センサー部２１００のカメラ２０１０がユーザＢを撮像して得られた映像信号は、視線検出部２２１０と顔検出部２２１２へ入力される。視線検出部２２１０は、第１の実施形態と同様にユーザＢの視線位置を検出する。第２の実施形態では、視線位置に基づいて視線ずれ量を算出することなく、検出された視線位置は映像信号とともに符号化部２３００へ送られる。

また、端末１０００から送信された端末１０００の映像信号とユーザＡの視線位置とは復号部２６００が復号する。ユーザＡの視線位置は視線ずれ量算出部２２２０へ送られる。視線ずれ量算出部２２２０は、顔検出部２２１２が検出したユーザＢの顔位置、サイズと、端末１０００から受信したユーザＡの視線位置とに基づいて、ユーザＡの視線ずれ量を算出する。

第１の実施形態と同様、顔検出部２７１０は、映像信号に基づいて、ユーザＡの顔位置とサイズを検出する。重畳部２７２０は、視線ずれ量算出部２２２０が算出したユーザＡの視線ずれ量と、顔検出部２７１０が検出したユーザＡの顔位置及びサイズから求まるマーカー２２３０を映像信号に重畳し、提示部２８００へ出力する。

以上説明したように第２の実施形態によれば、端末１０００と端末２０００の間で視線位置を送り、視線ずれ量は受信側の装置で算出する。これにより、第１の実施形態と同様に、ユーザＡが自身の端末１０００に表示されているユーザＢの顔に視線を合わせた場合、ユーザＢは、端末２０００の画面２０２０上で通信相手のユーザＡの顔に重畳されたマーカー２０３０を視認することができる。

＜３．第３の実施形態＞
［３．１．システムの概要］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、第１又は第２の実施形態の手法により相手ユーザの視線位置を示すマーカーを相手ユーザの顔に重畳表示した状態で、相手ユーザの視線位置を最適な位置にキャリブレーションするものである。

図１５は、第３の実施形態のシステムを示す模式図である。第３の実施形態に係るシステムの基本的な構成は、第１の実施形態と同様である。図１３に示すように、第３の実施形態では、端末１０００の画面に相手のユーザＢの目を見るよう「相手の目を見てください」とのアナウンスが表示される。また、「相手の目を見てください」との音声ガイダンスを発しても良い。この状態で、ユーザＢは、指示装置３０００を用いて端末２０００に表示されたユーザＡの画像の視線をキャリブレーションし、ユーザＡの視線を正面に補正する。

図１６Ａ及び図１６Ｂは、キャリブレーションの様子を示す模式図である。図１５に示すように端末１０００，２０００のカメラ１０１０，２０１２が画面１０２０，２０２０の上部に配置されている場合、図２で説明したように、ユーザＡが正面を向いていたとしても、端末２０００の画面２０１０上では、図１６Ａに示したようにユーザＡの視線は下向きに表示される。第３の実施形態では、上述したアナウンスを表示し、端末２０００の画面２０２０上でマーカー２０３０がユーザＡの目の位置に表示されている状態で、図１６Ａに示す状態から図１６Ｂに示すユーザＡの目が正面を向いた状態にキャリブレーションをする。これにより、ユーザＡが端末１０００の画面１０２０上でユーザＢの画像の目を見ている状態で、端末２０００の画面２０２０上でユーザＡの画像の目がユーザＢを見ている状態となる。なお、図１６Ａから図１６Ｂに至る視線の変化は、非特許文献２に記載されている技術により行うことができる。非特許文献２に記載されている技術では、先ず、目玉の位置をトラッキングして特定する（ステップＬ）。目標とする視線の向きから、変換後の目玉の位置を決定する（ステップＭ）、画素毎に異なる向きに画素をWarpingする画像処理を行うことで、目玉の位置を移動する（ステップＮ）。Warping量は目の大きさや目玉の中心からの距離などに依存して決定する（ステップＯ）。

ユーザＢの端末２０００においても同様に、「相手の目を見てください」とのアナウンスが表示される。ユーザＢが画面２０２０内のユーザＡの画像の目を見ると、ユーザＡの端末１０００の画面１０２０において、ユーザＢの画像の目の位置にマーカー１０３０が表示される。この状態でユーザＡが図１６Ａ及び図１６Ｂと同様のキャリブレーションを行うことにより、ユーザＢが端末２０００の画面２０２０上でユーザＡの画像の目を見ている状態で、端末１０００の画面１０２０上でユーザＢの画像の目がユーザＡを見ている状態となる。

これにより、双方のユーザＡ，Ｂが現実と同様にアイコンタクトをしている状態となり、円滑なコミュニケーションを実現することができる。

図１７は、第３の実施形態の処理を示すフローチャートである。先ず、ステップＳ４０では、ユーザＢがキャリブレーション開始を指示する。次のステップＳ４２では、ユーザＡの端末１０００に、画面１０２０内の相手（ユーザＢ）の目を見るように促すテロップを重畳表示する。次のステップＳ４４では、ユーザＡが画面１０２０内の相手（ユーザＢ）の目を見たことにより、ユーザＢの端末２０００に表示されたユーザＡの目の位置に、ユーザＡの視線位置（マーカー２０３０）が重畳表示される。

次のステップＳ４６では、ユーザＢの端末２０００の画面２０２０に表示されているユーザＡの視線がユーザＢを向いているか否かを判定する。そして、ユーザＢの端末２０００の画面２０２０に表示されているユーザＡの視線がユーザＢを向いていない場合は、ステップＳ４８へ進み、ユーザＢは、ユーザＡの目が自分を向くように指示装置で視線変換を指示する。次のステップＳ５０では、ステップＳ４８で指示された視線変換量に基づいて視線変換を行う。

一方、ステップＳ４６において、ユーザＢの端末２０００の画面２０２０に表示されているユーザＡの視線がユーザＢを向いている場合は、キャリブレーションを終了する。テレビ会議などに適用した場合、会議の開始前にこのフローを実施することによって、視線が一致した状態に初期設定することができる。なお、上述の例では、カメラが上(下)にある場合を例に挙げて、視点を上下方向に変換する例を示すが、カメラが左(右)にある場合は左右方向に変換することも同様に可能である。

［３．２．端末の主要構成］
図１８は、第３の実施形態に係る端末２０００の構成を示す模式図である。基本的な構成は図５と同様であるが、図５の構成に対して、指示装置３０００による指示を行うことで、相手のユーザＡの端末１０００から受信した映像信号において、画面２０２０内のユーザＡの画像中の視線の向きを補正可能に構成されている。

図１９は、図１８に示した視線位置表示を実現する端末２０００の主要な構成を詳細に示すブロック図である。基本的な構成は図９と同様であるが、相手地点信号処理部２７００は、視線指示部２７３０、視線変換部２７４０、視線変換量記憶部２７５０を更に備えている。

図１６Ａから図１６Ｂに至るキャリブレーションの際には、ユーザＢの操作によって指示装置３０００から「＋１」、「＋２」などのコマンドが視線指示部２７３０へ送られる。ここでは、“＋”のコマンドによって画面２０２０内のユーザＡの視線が上向きに変化し、“−”のコマンドによって画面２０２０内のユーザＡの視線が下向きに変化するものとする。また、コマンドの絶対値が大きいほど、視線の向きの変化量が増加するものとする。

視線変化量記憶部２７５０は、指示装置３０００から指定されたコマンドの値を記憶する。視線変換部２７３０には、復号部２６００から映像信号が入力される。視線変換部２７３０は、視線指示部２７３０から指定された視線変換量に基づいて、視線変換を行う。これにより、図１６Ｂに示したように、視線の向きが変化する。重畳部２７２０は、視線変換部２７３０によって視線の向きが変化した映像信号とマーカー２０３０とを重畳し、提示部２８００へ送る。

また、指示装置３０００によるコマンドは、センサー部からの映像信号、視線ずれ量と重畳されて、符号化部により符号化されて端末１０００へ送られる。また、復号部は、端末１０００から、映像信号、視線ずれ量とともに、ユーザＡが指示したコマンドを受信する。受信したコマンドは、重畳部に送られる。従って、重畳部は、コマンドを受信することにより端末１０００においてキャリブレーションがオンであるか否かを判定できる。そして、端末１０００においてキャリブレーションがオンである場合は、画面２０２０に上述したテロップを重畳表示する。

図２０は、視線指示部２７３０による処理を示すフローチャートである。先ず、ステップＳ６０では、視線変換量記憶部２７５０に記憶されている視線変換量を読み出す。次のステップＳ６２では、指示装置３０００からコマンドを受信したか否かを判定し、コマンドを受信していない場合はステップＳ６４へ進む。ステップＳ６４では、受信したコマンドに基づいて視線変換量を更新する。次のステップＳ６６では、更新した視線変換量を視線変換量記憶部２７５０に保存する。次のステップＳ６８では、更新した視線変換量を視線変換部２７３０へ出力する。

一方、ステップＳ６２において指示装置３０００からコマンドを受信していない場合は、ステップＳ６８へ進み、視線変換量記憶部２７５０から読み出した視線変換量を視線変換部２７３０へ出力する。

図２１は、視線変換部２７３０による処理を示すフローチャートである。先ず、ステップＳ７０では、視線指示部２７３０から視線変換量を取得する。次のステップＳ７２では、視線変換量に基づいて画面内の視線を変換する。ステップＳ７２の後は処理を終了する。

図２２は、視線変換量と画面内の視線の変化を示す模式図である。図２２に示すように、視線変換量の値が大きくなるほど、画面内の視線の向きが上向きに変化する。

図２３は、重畳部の処理を示すフローチャートである。先ず、ステップＳ８０では、キャリブレーション処理の状態を判定し、自端末がオンであるか、相手端末がオンであるか、あるいはオフであるかを判定する。自端末がオンの場合は、図１１のステップＳ３０〜Ｓ３６と同様の処理を行う。すなわち、ステップＳ８２では、視線ずれ量が所定の閾値よりも小さいか否かを判定する。そして、視線ずれ量が所定の閾値よりも小さい場合はステップＳ８４へ進み、視線ずれ量と顔サイズから画面２０２０上の視線位置を計算する。次のステップＳ８６では画面２０２０上の視線位置にマーカー２０３０を重畳し、ステップＳ８８では映像信号を出力する。

ステップＳ８０で相手端末がオンの場合は、ステップＳ８９へ進み、視線合わせ指示のテロップを画面２０２０に重畳表示する。ステップＳ８９の後はステップＳ８８へ進み、映像信号を出力する。また、ステップＳ８０で自端末、および相手端末がオフの場合は、ステップＳ８８へ進み、映像信号を出力する。

図２４は、キャリブレーション処理の状態遷移を示す模式図である。自端末及び相手端末の双方がオフの状態から、自端末のキャリブレーション開始コマンドを自端末へ送ることで、自端末がオンとなる。また、相手端末のキャリブレーション開始コマンドを相手端末に送ることによって、相手端末がオンとなる。

また、自端末のキャリブレーション終了コマンドによりキャリブレーションがオフとなる。また、相手端末のキャリブレーション終了コマンドによりキャリブレーションがオフとなる。

以上説明したように第３の実施形態によれば、端末２０００の画面２０２０上でマーカー２０３０がユーザＡの目の位置に表示されている状態で、ユーザＡの目が正面を向いた状態にキャリブレーションをする。また、端末１０００の画面１０２０上でマーカー１０３０がユーザＢの目の位置に表示されている状態で、ユーザＢの目が正面を向いた状態にキャリブレーションをする。これにより、双方のユーザＡ，Ｂが現実と同様にアイコンタクトをしている状態となり、円滑なコミュニケーションを実現することができる。

＜４．第４の実施形態＞
［４．１．システムの概要］
次に、本開示の第４の実施形態について説明する。第４の実施形態は、第３の実施形態と同様にキャリブレーションを行うものであるが、相手端末とは通信を行わずに、デジタルミラーで視線一致のキャリブレーションを行う。デジタルミラー使用開始前に、このフローを実施することによって、視線が一致した状態に初期設定することができる。以下、詳細に説明する。

図２５は、第３の実施形態のシステムを示す模式図である。第１〜第３の実施形態では、カメラ１０１０，２０１０の撮像によって得られた映像信号が相手端末に送信され、相端末に送信された映像信号により表示が行われた。第４の実施形態は、１の端末（ここでは端末４０００とする）のみを備え、端末４０００のカメラ４０１０の撮像により得られた画像は端末４０００の画面４０２０に表示される。そして、端末４０００のユーザＣをデジタルミラーで画面４０２０表示した状態でキャリブレーションを行い、視線位置を最適に調整する。

図２５に示すように、画面４０２０には、「自分の目をみてください」というテロップが表示される。この状態でユーザＣが画面４０２０内に表示された自分の目を見ると、図２で説明したように、キャリブレーションが行われていない状態では、図２６Ａに示すように、視線が下を向いている。この状態で第３の実施形態と同様のキャリブレーションを行うことで、図２６Ｂに示すように、視線を正面に向けることができる。

また、ユーザＣと端末４０００との相対的な位置関係により、画面４０２０内に表示されるユーザＣの位置や大きさが変化する。デジタルミラーとして機能するには、等身大で正面の位置に表示されることが望ましい。第４の実施形態では、ユーザＣが指示装置３０００を使って図２７に示すキャリブレーションを行うことで、画面４０２０内に適正な大きさ、位置でユーザＣを表示する。

図２７の中段に示すように、ユーザＣと端末２０００の距離が適正である場合、画面２０２０内の中央にユーザＣが等身大で表示される。一方、ユーザＣと端末２０００が遠い場合、カメラ２０１０が画面２０２０の上にあるため、ユーザＣは画面２０２０内の高い位置に小さく表示される。また、一方、ユーザＣと端末２０００が近い場合、ユーザＣは画面２０２０内の低い位置に大きく表示される。

このため、第４の実施形態では、図２８に示す２段階のキャリブレーションを行う。図２８に示すように、先ず画面２０２０内でユーザＣの大きさ、位置を適正化するキャリブレーション（第１のキャリブレーション）を行う。そして、このキャリブレーションが完了した後、第３の実施形態と同様の視線を変化させるキャリブレーション（第２のキャリブレーション）を行う。

図２９は、第４の実施形態の処理を示すフローチャートである。先ず、ステップＳ９０では、ユーザＣがキャリブレーション開始を指示する。次のステップＳ９２では、ユーザＣの端末２０００の画面２０２０に、自分の目を見るように促すテロップを重畳表示する。次のステップＳ９４では、テロップに従ってユーザＣが自分の目を見る。この際、ユーザＣの視点位置をカメラ２０１０で検出して、画面２０２０に重畳表示しても良い。

次のステップＳ９６では、ユーザＣの端末４０００の画面４０２０に表示されているユーザＣの視線がユーザＣ自身の目に向いているか否かを判定し、視線がユーザＣ自身の目に向いていない場合は、ステップＳ９８へ進む。ステップＳ９８では、画面４０２０内のユーザＣの視線が自分を向くように指示装置３０００で幾何変換、視線変換を指示する。次のステップＳ９９では、指示された幾何変化量や視線変換量に基づいて、端末４０００が幾何変換、視線変換を実行する。なお、幾何変換は上述した第１のキャリブレーションに相当し、映像の拡大、縮小、上下左右シフトを行う。視線変換は第２のキャリブレーションに相当する。

一方、ステップＳ９６で、画面２０２０内のユーザＣの視線がユーザＣ自身の目に向いている場合は、処理を終了する。

［４．２．端末の構成例］
図３０は、第４の実施形態に係る端末４０００の構成を示す模式図である。図４に示すように、端末４０００は、センサー部４１００、視点信号処理部４２００、提示部４３００を備える。なお、デジタルミラー表示をするため、第１〜第３の実施形態とは異なり、通信機能は必須ではない。視点信号処理部４２００は、指示装置３０００からのコマンドに基づいて、幾何変換、視線変換の双方を行う。なお、幾何変換の機能は、第３の実施形態に組み込むこともできる。

図３１は、視点信号処理部４２００の構成を示す模式図である。視点信号処理部４２００は、視線検出部４２１０、視線ずれ量算出部４２２０、幾何変換部４２３０、幾何変換量記憶部４２４０、顔検出部４２５０、重畳部４２６０、視線指示部４２７０、視線変換量記憶部４２８０、視線変換部４２９０を有して構成される。視線検出部４２１０、視線ずれ量算出部４２２０、顔検出部４２５０、重畳部４２６０、視線指示部４２７０、視線変換量記憶部４２８０、視線変換部４２９０等の基本的な機能は、第３の実施形態と同様である。

図３２は、幾何変換部の処理を示すフローチャートである。先ず、ステップＳ１００では、幾何変換量記憶部４２８０から幾何変換量を読み出す。次のステップＳ１０２では、指示装置３０００からコマンドを受信したか否かを判定し、コマンドを受信した場合はステップＳ１０４で幾何変換量を更新する。次のステップＳ１０６では、更新した幾何変換量を幾何変換量記憶部４２８０に記憶する。次のステップＳ１０８では、更新した幾何変換量により幾何変換した映像信号を提示部４３０へ出力する。ステップＳ１０８の後は処理を終了する。

また、ステップＳ１０２で指示装置３０００からのコマンドを受信していない場合は、ステップＳ１０８へ進み、幾何変換量記憶部４２８０から読み出した幾何変換量により幾何変換した映像を提示部４３０へ出力する。

図３３は、重畳部の処理を示すフローチャートである。先ず、ステップＳ１１０では、キャリブレーション処理の状態を判定し、端末がオンであるか、あるいはオフであるかを判定する。端末がオンの場合は、ステップＳ１１２へ進む、視線ずれ量が所定の閾値よりも小さいか否かを判定する。そして、視線ずれ量が所定の閾値よりも小さい場合はステップＳ１１４へ進み、視線ずれ量と顔サイズから端末４０００の画面４０２０上の視線位置を計算する。次のステップＳ１１６では画面上の視線位置にマーカーを重畳する。次のステップＳ１１８では、視線合わせ指示のテロップを映像信号に重畳し、次のステップＳ１１９では、映像信号を提示部４３０へ出力する。ステップＳ１１９の後は処理を終了する。なお、デジタルミラーの場合、マーカーを重畳しなくても、ユーザ自身が画面４０２０に表示された自身の画像の顔の目を自立的に見ることができる。従って、マーカーの表示は必須ではない。

図３４は、キャリブレーション処理の状態遷移を示す模式図である。キャリブレーション開始コマンドによりキャリブレーション処理の状態がオンとなり、キャリブレーション終了コマンドによりキャリブレーション処理の状態がオフとなる。

以上説明したように第４の実施形態によれば、デジタルミラーのようにユーザＣ自身を端末４０００の画面４０２０に表示する場合において、視線位置のキャリブレーションを行うことで、表示されたユーザＣ自身の目を正面に向けることが可能となる。また、表示されたユーザＣの顔の大きさ、位置をキャリブレーションすることで、最適な位置に顔を配置することが可能となる。

＜５．第５の実施形態＞
［５．１．システムの概要］
次に、本開示の第５の実施形態について説明する。第３の実施形態において、ユーザＡの顔位置がずれると、視線が一致しなくなる場合が考えられる。第５の実施形態では、キャリブレーションの際に複数の顔位置で登録を行うことにより、ユーザＡの顔位置が少し移動した場合であっても簡単には視線が外れないようにする。

図３５は、第５の実施形態のシステムを示す模式図である。第５の実施形態に係るシステムの基本的な構成は、第３の実施形態と同様である。第５の実施形態では、端末１０００に「顔位置をずらしてから相手の目を見てください」というテロップが表示される。なお、「上に顔位置をずらしてください」、「右に顔位置をずらしてください」などと順番に顔位置をずらす方向を指示したり、目標位置にマークを重畳表示して「このマークの位置まで顔位置をずらしてください」などと指示したりすることも可能である。このテロップに従ってユーザＡは、顔位置を移動する。ユーザＢは、ユーザＡの複数の顔位置に応じてキャリブレーションを行う。

図３６は、第５の実施形態の処理を示すフローチャートである。先ず、ステップＳ１２０では、ユーザＢがキャリブレーション開始を指示する。次のステップＳ１２２では、ユーザＡの端末１０００に、顔位置をずらして相手の目を見るように促すテロップを重畳する。次のステップＳ１２４では、ユーザＡが相手の目を見ると、ユーザＢ側の端末２０００にユーザＡの視点位置（マーカー２０３０）を重畳する。次のステップＳ１２６では、端末２０００に表示されているユーザＡの視線がユーザＢを向いているか否かを判定し、ユーザＢを向いている場合はステップＳ１２８へ進む。ステップＳ１２８では、ユーザＢは、ユーザＡの視線が自分を向くように指示装置で視線変換を指示する。次のステップＳ１３０では、端末２０００は、指示された視線変換量に基づいて視線変換を行う。

一方、ステップＳ２６で端末２０００に表示されているユーザＡの視線がユーザＢを向いていない場合は、ステップＳ１３２へ進む。ステップＳ１３２では、規定回数以上のユーザＡの顔位置で調整したか否かを判定し、規定回数以上の顔位置で調整した場合は処理を終了する。規定回数以上の顔位置で調整していない場合は、ステップＳ１２２へ戻り、以降の処理を再度行う。

［５．２．端末の主要構成］
図３７は、第５の実施形態に係る端末２０００の主要な構成を示す模式図である。基本的な構成は図１９と同様であるが、図３７に示す構成では、視線指示部２７３０に視線ずれ量が送られる。視線指示部２７３０は、視線ずれ量と視線変換量の組を視線変換量記憶部２７５０に保存する。

図３８は、視線指示部２７３０の処理を示すフローチャートである。先ず、ステップＳ１４０では、視線変更量記憶部２７５０から始点変換量を読み出す。次のステップＳ１４２では、指示装置３０００からコマンドを受信したか否かを判定し、コマンドを受信した場合はステップＳ１４４へ進み、視線変換量を更新する。次のステップＳ１４６では、視線変換量と端末１０００から受信した視線ずれ量の組を視線変換量記憶部１７５０に保存する。次のステップＳ１４８では、視線変換量を視線変換部１７４０へ出力する。ステップＳ１４４，Ｓ１４６の処理は、ユーザＡが顔位置を複数の場所に移動した際に、移動場所毎に行われる。

また、ステップＳ１４２で指示装置１４２からコマンドを受信していない場合は、視線変換量記憶部２７５０に保存された視線変換量を視線変更部１７４０へ出力する。

図３９は、視線変換部２７４０の処理を示すフローチャートである。先ず、ステップＳ１５０では、相手側のキャリブレーション処理中か否かを判定し、相手側のキャリブレーション処理中の場合はステップＳ１５２へ進み、視線指示部１５２から視線変換量を取得する。次のステップＳ１５４では、視線変換量に基づいて視線を変換する。

一方、ステップＳ１５０で相手側のキャリブレーション処理中でない場合は、ステップＳ１５６へ進む。ステップＳ１５６では、視線変換量記憶部１７５０から視線変更量と視線ずれ量の組を読み込む。次のステップＳ１５８では、端末１０００から受信した視線ずれ量に基づいて、視線変換量を補間計算する。次のステップＳ１５４では、補間計算した視線変換量に基づいて、視線を変換する。

ステップＳ１５８において、例えば［視線ずれ量，視線変換量］の組として、［ｘ０，ｙ０］、［ｘ１，ｙ１］が保存されている場合、視線ずれ量がｘであれば、保存されている２組の値から視線変換量ｙを補間計算する。この場合、視線変換量ｙは以下の式から算出できる。
ｙ＝ｙ０＋（ｙ１−ｙ０）＊（ｘ−ｘ０）／（ｘ１−ｘ０）

以上説明したように第５の実施形態によれば、複数の顔位置でキャリブレーションを行い、視線ずれ量と視線変換量の組を保存しておくことで、顔位置の位置ずれを考慮した上で視線変換を行うことが可能となる。従って、顔位置がずれた場合であっても、視線位置を高精度に設定することが可能となる。

＜６．第６の実施形態＞
［６．１．システムの概要］
次に、本開示の第６の実施形態について説明する。第３の実施形態において、ユーザＡの顔位置は、時間の経過とともに位置ずれを生じることが想定される。顔位置に位置ずれが生じると、視線の位置が一致しなくなる。このため、第６の実施形態では、ユーザＡの顔位置が経時変化したかを検出し、閾値以上ずれた場合に再キャリブレーションの指示を出す。

図４０は、第６の実施形態のシステムを示す模式図である。第６の実施形態に係るシステムの基本的な構成は、第３の実施形態と同様である。図４０に示すように、ユーザＡの視線ずれ量の変化を計測し、視線ずれ量が閾値を超えた場合に、ユーザＢの端末２０００に再キャリブレーションを促すテロップを表示する。端末２０００が再キャリブレーションを行うことで、視線ずれ量が閾値を超えた場合に、ユーザＡの視線位置を適正な位置に設定することができる。

図４１は、第６の実施形態の処理を示すフローチャートである。先ず、ステップＳ１６０では、端末２０００がキャリブレーション処理を行う。次のステップＳ１６２では、視線ずれ量の変化の履歴を取得する。次のステップＳ１６４では、視線ずれ量が経時変化しているか否かを判定し、視線ずれ量が経時変化している場合はステップＳ１６６へ進み、再キャリブレーションを促すテロップを端末２０００に表示する。ステップＳ１６６の後はステップＳ１６０へ戻る。ステップＳ１６４における判定では、視線ずれ量が所定の閾値を超えた場合に視線ずれ量が経時変化していると判定することができる

［６．２．端末の主要構成］
図４２は、第６の実施形態に係る端末２０００の主要な構成を示す模式図である。基本的な構成は図１９と同様であるが、図４２に示す構成では、端末１０００から受信した視線ずれ量が視線変換量記憶部２７５０に送られる。そして、視線変換量記憶部２７５０から視線ずれ量の履歴が重畳部２７２０に送られる。重畳部２７２０は、視線ずれ量が所定の閾値を超えた場合に、再キャリブレーションを促すテロップを表示する。

図４３は、重畳部２７２０の処理を示すフローチャートである。先ず、ステップＳ１７０では、キャリブレーション処理の状態を判定する。自端末のキャリブレーションがオンの場合は、ステップＳ１７２へ進み、視線ずれ量が閾値よりも小さいか否かを判定し、視線ずれ量が閾値よりも小さい場合はステップＳ１７４へ進む。ステップＳ１７４では、視線ずれ量と顔サイズから画面上の視線位置を計算する。次のステップＳ１７６では、視線位置にマーカー２０３０を重畳する。次のステップＳ１７８では、映像信号を提示部２８００へ出力する。

ステップＳ１７０で相手の端末１０００のキャリブレーションがオンの場合は、ステップＳ１８０へ進み、視線合わせ指示のテロップ「ユーザＡの目に視線を合わせてください」を表示する。ステップＳ１８０の後はステップＳ１７８へ進む。

また、ステップＳ１７０でキャリブレーションがオフの場合は、ステップＳ１８２へ進む。ステップＳ１８２では、視線ずれ量の移動平均が閾値を超えているか否かを判定し、視線ずれ量の移動平均が閾値を超えている場合はステップＳ１８４へ進み、再キャリブレーションのテロップを重畳する。一方、ステップＳ１８２で視線ずれ量の移動平均が閾値を超えていない場合は、ステップＳ１７８へ進む。

以上説明したように第６の実施形態によれば、視線ずれ量に経時変化が生じた場合は、再キャリブレーションを促すテロップを表示するため、相手端末との間で視線の位置を確実に一致させることが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得する受信部と、
前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、
前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させる重畳部と、
を備える、情報処理装置。
（２） 前記通信相手の視線に関する情報は、自装置のユーザの顔を含む映像信号に基づいて前記通信相手端末に表示された自装置のユーザの顔に対する前記通信相手のユーザの視線ずれ量である、前記（１）に記載の情報処理装置。
（３） 自装置のユーザの顔を含む映像信号を取得する映像信号取得部と、
前記自装置のユーザの顔を含む映像信号から自装置のユーザの視線に関する情報を取得する視線検出部と、
前記自装置のユーザの顔を含む映像信号と前記自装置のユーザの視線に関する情報を前記通信相手端末へ送信する送信部と、
を更に備える、前記（１）に記載の情報処理装置。
（４） 前記自装置のユーザの視線に関する情報と、前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの顔に対する自装置のユーザの視線ずれ量を算出する視線ずれ量算出部を備え、
前記送信部は、前記通信相手のユーザの顔に対する自装置のユーザの視線ずれ量を前記通信相手端末へ送信する、前記（３）に記載の情報処理装置。
（５） 前記通信相手のユーザの視線に関する情報は、前記通信相手のユーザの視線位置の情報であり、
前記自装置のユーザの顔を含む映像信号に基づいて、自装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、
前記通信相手のユーザの視線位置の情報と、前記自装置のユーザの顔の位置及び大きさに関する情報とに基づいて、自装置のユーザの顔に対する通信相手のユーザの視線のずれ量を算出する視線ずれ量算出部を備える、前記（３）に記載の情報処理装置。
（６） 前記重畳部は、前記通信相手のユーザの顔の目の位置に前記通信相手のユーザの視線位置を示すマーカーであって、所定の大きさ、色、形状、透過度、又は明るさを有する前記マーカーを重畳表示させる、前記（１）〜（５）のいずれかに記載の情報処理装置。
（７） 前記重畳部は、前記通信相手のユーザの顔の目を覆うように前記マーカーを重畳表示させる、前記（６）に記載の情報処理装置。
（８） 前記重畳部は、前記通信相手のユーザの眉間の位置に前記マーカーを重畳表示させる、前記（６）に記載の情報処理装置。
（９） 視線位置のキャリブレーションのために自装置のユーザが入力したコマンドに基づいて、視線変換量を出力する視線指示部と、
前記通信相手端末から受信した前記通信相手のユーザの顔を含む映像信号において、前記視線変換量に基づいて、前記通信相手のユーザの視線の方向を変換する視線変換部と、
を更に備える、前記（１）〜（８）のいずれかに記載の情報処理装置。
（１０） 前記コマンドは、前記通信相手のユーザの視線位置が前記通信相手のユーザの顔の目に重畳して表示された状態で入力される、前記（９）に記載の情報処理装置。
（１１） 前記視線指示部が前記コマンドに基づいて出力した前記視線変換量を記憶する視線変換量記憶部を備える、前記（９）に記載の情報処理装置。
（１２） 前記通信相手の視線に関する情報は、自装置のユーザの顔を含む映像信号に基づいて前記通信相手端末に表示された自装置のユーザの顔に対する前記通信相手のユーザの視線ずれ量であり、
前記視線変換量記憶部は、前記視線変換量と当該視線変換量に対応する前記視線ずれ量の組を記憶し、
前記視線指示部には前記通信相手端末から取得した前記視線ずれ量が入力され、
前記視線指示部は、前記視線変換量と当該視線変換量に対応する前記視線ずれ量の組に基づいて、入力された前記視線ずれ量を補間することで入力された前記視線ずれ量に対応する前記視線変換量を出力する、前記（１１）に記載の情報処理装置。
（１３） 前記重畳部は、前記通信相手のユーザの視線位置に関する情報が経時変化した場合は、再キャリブレーションを促す情報を重畳して表示させる、前記（９）に記載の情報処理装置。
（１４） 自装置のユーザの顔を含む映像信号を取得する映像信号取得部と、
前記自装置のユーザの顔を含む映像信号から自装置のユーザの視線位置に関する情報を取得する視線検出部と、
自装置のユーザの顔を含む映像信号に基づいて、自装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、
前記自装置のユーザの視線位置に関する情報と前記自装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記自装置のユーザの視線位置を前記自装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、
を備える、情報処理装置。
（１５） 視線位置のキャリブレーションのために自装置のユーザが入力したコマンドに基づいて、視線変換量を出力する視線指示部と、
前記自装置のユーザの顔を含む映像信号において、前記視線変換量に基づいて、前記自装置のユーザの視線の方向を変換する視線変換部を更に備える、前記（１４）に記載の情報処理装置。
（１６） 遠隔コミュケーションを行う第２の通信装置から前記第２の通信装置のユーザの視線位置に関する情報を取得する受信部と、前記第２の通信装置から受信した前記第２の通信装置のユーザの顔を含む映像信号に基づいて、前記第２の通信装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記第２の通信装置のユーザの視線位置に関する情報と前記第２の通信装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記第２の通信装置のユーザの視線位置を前記第２の通信装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を有する、第１の通信装置と、
遠隔コミュケーションを行う前記第１の通信装置から前記第１の通信装置のユーザの視線位置に関する情報を取得する受信部と、前記第１の通信装置から受信した前記第１の通信装置のユーザの顔を含む映像信号に基づいて、前記第１の通信装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記第１の通信装置のユーザの視線位置に関する情報と前記第１の通信装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記第１の通信装置のユーザの視線位置を前記第１の通信装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を有する、前記第２の通信装置と、
を備える、通信システム。
（１７） 遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得することと、
前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出することと、
前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させることと、
を備える、情報処理方法。
（１８） 遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得する手段、
前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出する手段、
前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させる手段と、
としてコンピュータを機能させるためのプログラム。

２１００，４１００ センサー部
２２１０，４２１０ 視線検出部
２２１２，２７１０，４２５０ 顔検出部
２２２０ 視線ずれ量算出部
２４００ 送信部
２５００ 受信部
２７２０，４２６０ 重畳部
２７３０，４２７０ 視線指示部
２７４０，４２９０ 視線変換部
２７５０ 視線変換量記憶部

Claims (18)

1. 遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得する受信部と、
   前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、
   前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させる重畳部と、
   を備える、情報処理装置。
2. 前記通信相手の視線に関する情報は、自装置のユーザの顔を含む映像信号に基づいて前記通信相手端末に表示された自装置のユーザの顔に対する前記通信相手のユーザの視線ずれ量である、請求項１に記載の情報処理装置。
3. 自装置のユーザの顔を含む映像信号を取得する映像信号取得部と、
   前記自装置のユーザの顔を含む映像信号から自装置のユーザの視線に関する情報を取得する視線検出部と、
   前記自装置のユーザの顔を含む映像信号と前記自装置のユーザの視線に関する情報を前記通信相手端末へ送信する送信部と、
   を更に備える、請求項１に記載の情報処理装置。
4. 前記自装置のユーザの視線に関する情報と、前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの顔に対する自装置のユーザの視線ずれ量を算出する視線ずれ量算出部を備え、
   前記送信部は、前記通信相手のユーザの顔に対する自装置のユーザの視線ずれ量を前記通信相手端末へ送信する、請求項３に記載の情報処理装置。
5. 前記通信相手のユーザの視線に関する情報は、前記通信相手のユーザの視線位置の情報であり、
   前記自装置のユーザの顔を含む映像信号に基づいて、自装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、
   前記通信相手のユーザの視線位置の情報と、前記自装置のユーザの顔の位置及び大きさに関する情報とに基づいて、自装置のユーザの顔に対する通信相手のユーザの視線のずれ量を算出する視線ずれ量算出部を備える、請求項３に記載の情報処理装置。
6. 前記重畳部は、前記通信相手のユーザの顔の目の位置に、前記通信相手のユーザの視線位置を示すマーカーであって、所定の大きさ、色、形状、透過度、又は明るさを有する前記マーカーを重畳表示させる、請求項１に記載の情報処理装置。
7. 前記重畳部は、前記通信相手のユーザの顔の目を覆うように前記マーカーを重畳表示させる、請求項６に記載の情報処理装置。
8. 前記重畳部は、前記通信相手のユーザの眉間の位置に前記マーカーを重畳表示させる、請求項６に記載の情報処理装置。
9. 視線位置のキャリブレーションのために自装置のユーザが入力したコマンドに基づいて、視線変換量を出力する視線指示部と、
   前記通信相手端末から受信した前記通信相手のユーザの顔を含む映像信号において、前記視線変換量に基づいて、前記通信相手のユーザの視線の方向を変換する視線変換部と、
   を更に備える、請求項１に記載の情報処理装置。
10. 前記コマンドは、前記通信相手のユーザの視線位置が前記通信相手のユーザの顔の目に重畳して表示された状態で入力される、請求項９に記載の情報処理装置。
11. 前記視線指示部が前記コマンドに基づいて出力した前記視線変換量を記憶する視線変換量記憶部を備える、請求項９に記載の情報処理装置。
12. 前記通信相手の視線に関する情報は、自装置のユーザの顔を含む映像信号に基づいて前記通信相手端末に表示された自装置のユーザの顔に対する前記通信相手のユーザの視線ずれ量であり、
    前記視線変換量記憶部は、前記視線変換量と当該視線変換量に対応する前記視線ずれ量の組を記憶し、
    前記視線指示部には前記通信相手端末から取得した前記視線ずれ量が入力され、
    前記視線指示部は、前記視線変換量と当該視線変換量に対応する前記視線ずれ量の組に基づいて、入力された前記視線ずれ量を補間することで入力された前記視線ずれ量に対応する前記視線変換量を出力する、請求項１１に記載の情報処理装置。
13. 前記重畳部は、前記通信相手のユーザの視線位置に関する情報が経時変化した場合は、再キャリブレーションを促す情報を重畳して表示させる、請求項９に記載の情報処理装置。
14. 自装置のユーザの顔を含む映像信号を取得する映像信号取得部と、
    前記自装置のユーザの顔を含む映像信号から自装置のユーザの視線位置に関する情報を取得する視線検出部と、
    自装置のユーザの顔を含む映像信号に基づいて、自装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、
    前記自装置のユーザの視線位置に関する情報と前記自装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記自装置のユーザの視線位置を前記自装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、
    を備える、情報処理装置。
15. 視線位置のキャリブレーションのために自装置のユーザが入力したコマンドに基づいて、視線変換量を出力する視線指示部と、
    前記自装置のユーザの顔を含む映像信号において、前記視線変換量に基づいて、前記自装置のユーザの視線の方向を変換する視線変換部を更に備える、請求項１４に記載の情報処理装置。
16. 遠隔コミュケーションを行う第２の通信装置から前記第２の通信装置のユーザの視線位置に関する情報を取得する受信部と、前記第２の通信装置から受信した前記第２の通信装置のユーザの顔を含む映像信号に基づいて、前記第２の通信装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記第２の通信装置のユーザの視線位置に関する情報と前記第２の通信装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記第２の通信装置のユーザの視線位置を前記第２の通信装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を有する、第１の通信装置と、
    遠隔コミュケーションを行う前記第１の通信装置から前記第１の通信装置のユーザの視線位置に関する情報を取得する受信部と、前記第１の通信装置から受信した前記第１の通信装置のユーザの顔を含む映像信号に基づいて、前記第１の通信装置のユーザの顔の位置及び大きさに関する情報を検出する顔検出部と、前記第１の通信装置のユーザの視線位置に関する情報と前記第１の通信装置のユーザの顔の位置及び大きさに関する情報とに基づいて、前記第１の通信装置のユーザの視線位置を前記第１の通信装置のユーザの顔を含む映像信号に重畳して表示させる重畳部と、を有する、前記第２の通信装置と、
    を備える、通信システム。
17. 遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得することと、
    前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出することと、
    前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させることと、
    を備える、情報処理方法。
18. 遠隔コミュケーションを行う通信相手端末から通信相手のユーザの視線に関する情報を取得する手段、
    前記通信相手端末から受信した通信相手のユーザの顔を含む映像信号に基づいて、通信相手のユーザの顔の位置及び大きさに関する情報を検出する手段、
    前記通信相手のユーザの視線に関する情報と前記通信相手のユーザの顔の位置及び大きさに関する情報とに基づいて、前記通信相手のユーザの視線位置を前記通信相手のユーザの顔を含む映像信号に重畳して表示させる手段と、
    としてコンピュータを機能させるためのプログラム。

Images