JP2018124457A - 顔画像処理装置 - Google Patents

Abstract

【課題】ユーザの違和感を低減させた画像を取得し得る顔画像処理装置を提供する。【解決手段】顔画像処理装置は、複数の発光素子を有し、発光素子を発光させて所定の画像を画像表示面に表示すると共に、発光素子を発光させないときに画像表示面から入射した光を画像表示面に対向する裏面へ透過させる光透過性を生じる画像表示部と、画像表示部の裏面に対面するように配置された少なくとも一個の撮像部と、画像表示部及び撮像部の動作を制御する制御部と、を備え、制御部は、発光素子を発光させる第１期間と発光素子を発光させない第２期間とを有するように画像表示部を制御し、制御部は、第２期間において、撮像部から画像表示面から入射された光に基づく画像を取得するように撮像部を制御するタイミング制御部を有する。【選択図】図２

Description

本発明は、顔画像処理装置に関する。

近年、カメラとディスプレイとを備えると共に情報通信機能を奏する小型の装置が普及している。このような装置は、カメラによって得た画像を同一装置に備えられたディスプレイに表示して閲覧するといったデジタルカメラのような使い方が可能である。また、このような装置は、カメラによって得た画像を別の装置に送信し別の装置に備えられたディスプレイに表示することにより、テレビ電話のような使い方も可能である。例えば、特許文献１には、撮像装置と表示装置とを備えた双方向コミュニケーションシステムが開示されている。

特開２００５−３３７８４号公報

ディスプレイに表示された人物の顔画像を見ながら装置を操作するとき、ディスプレイに表示された人物の視線は重要な要素である。ユーザが装置を操作するとき、ディスプレイに表示された人物の視線によっては、違和感を覚えることがあり得る。遠隔地にいる他ユーザがディスプレイに表示されているとき、当該ディスプレイを見ている自ユーザは、ディスプレイ上の他ユーザに視線を合わせようとしたり、視線をずらそうとすることがある。しかし、視線を意識的に合わせたりずらしたりといった動作にディスプレイが介在すると、自ユーザの意図に応じた視線の一致やずれが行われないことが生じ得る。従って、自ユーザが視線を一致させようとしたときに、実際には一致できないことが生じると、心が通わない感じがするので、違和感を生じ易くなる。

そこで、本発明は、ユーザの違和感を低減させ得る顔画像処理装置を提供する。

本発明の一形態である顔画像処理装置は、複数の発光素子を有し、発光素子を発光させて所定の画像を画像表示面に表示すると共に、発光素子を発光させないときに画像表示面から入射した光を画像表示面の逆側の裏面へ透過させる画像表示部と、画像表示部の裏面に対面するように配置され、画像表示面から裏面へ透過した光を受ける少なくとも一個の撮像部と、画像表示部及び撮像部を制御する制御部と、を備え、制御部は、発光素子を発光させる第１期間と発光素子を発光させない第２期間とが繰り返されるように画像表示部を制御し、制御部は、第２期間において、画像表示面から裏面へ透過した光に基づく画像を取得するように撮像部を制御する。

この装置は、撮像部によってユーザの画像を取得する。ここで、ユーザが当該顔画像処理装置を操作するとき、所定の画像を画像表示面に表示する画像表示部を見ている。そして、画像表示部の裏面側には、撮像部が配置されている。画像表示部は、制御部によって画像を表示させる第１期間と画像を表示させない第２期間とを有するように制御されている。画像表示部が画像を表示させないとき、画像表示部は画像表示面から入射した光を裏面へ透過させる、つまり、ユーザの像が撮像部に入射される。ここで、実際には画像を表示させているときも、入射光が透過するが、画像表示部が表示させる際に発光する光に対して透過光が無視できるほどの光量となるため、ここでは、画像表示部が画像を表示させないときには光が透過すると表現している。そして、制御部は、ユーザの像が撮像部に入射される第２期間において、画像を取得するように撮像部を動作させる。これにより、ユーザの視線方向に画像表示部に画像を表示しながら、ユーザの画像を撮像することが可能になる。つまり、ユーザの視線が撮像部を向いた画像を得ることができる。従って、ユーザの違和感を低減することができる。

画像表示部から撮像部までの距離は、第１期間において画像表示部から撮像部に入射する光の強度が撮像部の飽和強度を上回る距離に設定されてもよい。画像表示部から発せられる光の強度は、距離に応じて減少する。従って、画像表示装置では、画像を表示させない第２期間において撮像部を用いた撮像が行われる。従って、第１期間において画像表示部から撮像部に入射する光の強度が撮像部の飽和強度を上回っても問題は生じないし、そもそも入射する光の強度が飽和強度を上回ると、画像を補正することができない。この構成によれば、画像表示部から撮像部までの距離が撮像部の飽和強度に左右されることがないので、撮像部が画像表示部に近接して配置することが可能になる。従って、顔画像処理装置を小型化することができる。

本発明の一形態である顔画像処理装置は、画像表示部と撮像部との間に配置され、画像表示部の裏面に対面する入射面と撮像部に対面する出射面とを有する光制御部と、出射面及び撮像部を覆うように配置された光遮蔽部と、をさらに備え、光制御部は、出射面から入射面へ向かう光の強度より入射面において反射される光の強度が強くなる関係を満たす反射率及び透過率を有してもよい。この構成によれば、ユーザが画像表示部を見たとき、ユーザ側から画像表示部に入射した後に反射してユーザの眼に入る光の強度が、撮像部側から光制御部及び画像表示部を透過してユーザの眼に入る光の強度よりも大きくなる。すなわち、画像表示部の裏面側の様子は、画像表示面側から見えにくくなる。従って、ユーザが画像表示部の裏面側に配置された撮像部を意識し難くなるので、ユーザの違和感をより低減することができる。

本発明の一形態である顔画像処理装置は、光遮蔽部と出射面との間に配置されると共に撮像部を囲む光吸収部をさらに備えてもよい。この構成によれば、撮像部に入射し得る迷光を低減することが可能になる。従って、より良好な画像を得ることができる。

制御部は、外部装置から第１画像情報を受信すると共に、第１期間において第１画像情報に基づく画像を画像表示部に表示させてもよい。この構成によれば、双方向コミュニケーション機能を発揮することができる。

第１画像情報は、外部装置に対面する他ユーザの両眼を含んだ画像であり、制御部は、撮像部と重複する画像表示面の領域に他ユーザの両眼近傍の領域を表示させてもよい。この構成によれば、画像表示面に表示された対話の相手である他ユーザと、違和感を低減させた対話を行うことができる。

制御部は、撮像部から第２画像情報を取得すると共に、第１期間において第２画像情報に基づく画像を画像表示部に表示させてもよい。この構成によれば、例えば、ユーザ自身を含む画像を得ることができる。

第２画像情報は、撮像部に対面する自ユーザの両眼を含んだ画像であり、制御部は、撮像部と重複する画像表示面の領域に自ユーザの両眼近傍の領域を表示させてもよい。この構成によれば、違和感を低減しながら、自ユーザの画像を得ることができる。

本発明の一形態である顔画像処理装置は、撮像部に対面する自ユーザの瞳孔の位置を検出する瞳孔検出部をさらに備えてもよい。この構成によれば、顔画像処理装置は、瞳孔の位置を利用した様々な機能を奏することが可能になる。

瞳孔検出部は、自ユーザの瞳孔の位置を示す三次元座標を取得してもよい。この構成によれば、顔画像処理装置は、瞳孔の位置の三次元座標を利用した様々な機能を奏することが可能になる。

制御部は、第２期間のうち撮像部の露光を行わない期間において、自ユーザに向けて光を照射すると共に、撮像部とは別の撮像部において自ユーザを含む画像を取得してもよい。この構成によれば、撮像部において得られる画像のノイズを低減することができる。

自ユーザを含む画像を取得するための操作を自ユーザが行ったとき、制御部は、自ユーザを含む複数枚の画像を一時的に保持し、瞳孔検出部は、自ユーザを含む複数枚の画像に対して瞳孔を検出する処理を行い、制御部は、瞳孔検出部における処理において、瞳孔が検出された画像を保存するように撮像部を制御してもよい。この構成によれば、撮像された人物が眼を開いている画像を確実に得ることができる。

自ユーザを含む画像を取得するための操作を自ユーザが行ったとき、瞳孔検出部は、リアルタイムに取得される自ユーザを含む画像に対して瞳孔を検出する処理を行い、制御部は、瞳孔検出部における処理において、瞳孔が検出されたときに自ユーザを含む画像を保存するように撮像部を制御してもよい。この構成によれば、撮像された人物が眼を開いている画像を確実に得ることができる。

自ユーザを含む画像には、自ユーザを含む複数の人物像が含まれ、瞳孔検出部は、自ユーザを含む画像から、すべての人物像に対して瞳孔を検出する処理を行い、制御部は、瞳孔検出部における処理において、すべての人物像から瞳孔が検出されたときに自ユーザを含む画像を保存するように撮像部を制御してもよい。この構成によれば、撮像された人物が眼を開いている画像を確実に得ることができる。

撮像部に対面する自ユーザが注視する画像表示部上の注視点の位置を検出する注視点検出部をさらに備え、注視点検出部は、撮像部に対面する自ユーザの瞳孔の位置と、ユーザに照射された光が自ユーザの角膜において反射した位置とを利用して注視点の位置を検出してもよい。この構成によれば、顔画像処理装置は、注視点の位置を利用した様々な機能を奏することが可能になる。

自ユーザを含む画像を取得するための操作を自ユーザが行ったとき、注視点検出部は、リアルタイムに取得される自ユーザを含む画像に対して注視点の位置を検出する処理を行い、制御部は、画像表示部上における注視点の位置と撮像部の位置とを対比し、注視点の位置と撮像部の位置とがほぼ一致し、重複していると判断されたときに自ユーザを含む画像を保存するように撮像部を制御してもよい。この構成によれば、視線を一致させやすい画像を得ることができる。

撮像部に対面する自ユーザの顔方向を検出する顔方向検出部を更に備え、顔方向検出部は、自ユーザの鼻孔の位置と、自ユーザの瞳孔の位置とを利用して顔方向を検出してもよい。この構成によれば、顔画像処理装置は、顔方向を利用した様々な機能を奏することが可能になる。

顔方向検出部は、リアルタイムに取得される自ユーザを含む画像に対して顔方向を検出する処理を行い、制御部は、顔方向が所定の変化を生じたときに自ユーザを含む画像を保存するように撮像部を制御し、所定の変化とは、自ユーザの頷きを示す顔方向の変化であってもよい。この構成によれば、顔画像処理装置の操作のバリエーションを増やすことができる。

撮像部に対面する自ユーザの視線方向を検出する視線方向検出部をさらに備え、視線方向検出部は、撮像部に対面する自ユーザが注視する画像表示部上の注視点の位置を検出する注視点検出部と、撮像部に対面する自ユーザの顔方向を検出する顔方向検出部を有し、注視点検出部は、撮像部に対面する自ユーザの瞳孔の位置と、ユーザに照射された光が自ユーザの角膜において反射した位置とを利用して注視点の位置を検出し、顔方向検出部は、自ユーザの鼻孔の位置と、自ユーザの瞳孔の位置とを利用して顔方向を検出してもよい。この構成によれば、顔画像処理装置は、視線方向を利用した様々な機能を奏することが可能になる。

視線方向検出部は、リアルタイムに取得される自ユーザを含む画像に対して視線方向を検出する処理を行い、制御部は、視線方向の延長線と撮像部とが重複するか否かを判断し、視線方向の延長線と撮像部とが重複するときに自ユーザを含む画像を保存するように撮像部を制御してもよい。この構成によれば、視線を合わせやすい画像を得ることができる。

視線方向検出部及び顔方向検出部は、リアルタイムに取得される自ユーザを含む画像に対して視線方向及び顔方向の方向を検出する処理を行い、制御部は、視線方向の延長線と撮像部とが重複するか否かを判断した結果、視線方向の延長線と撮像部とが重複すると共に、顔方向の延長線と撮像部とが重複するか否かを判断した結果、顔方向の延長線と撮像部とが重複するときに、自ユーザを含む画像を保存するように撮像部を制御してもよい。この構成によれば、視線を合わせやすい画像を得ることができる。

自ユーザを含む画像には、自ユーザの像を含む複数の人物像が含まれ、視線方向検出部は、自ユーザを含む画像から、すべての人物像に対して視線方向を検出する処理を行い、制御部は、視線方向検出部における処理において、すべての人物像の視線方向の延長線と撮像部とが重複するときに自ユーザを含む画像を保存するように撮像部を制御してもよい。この構成によれば、視線を合わせやすい画像を得ることができる。

自ユーザを含む画像には、自ユーザの像を含む複数の人物像が含まれ、視線方向検出部及び顔方向検出部は、自ユーザを含む画像から、すべての人物像に対して視線方向及び顔方向を検出する処理を行い、制御部は、すべての人物像における視線方向の延長線と撮像部とが重複するか否かを判断した結果、すべての人物像における視線方向の延長線と撮像部とが重複すると共に、すべての人物像における顔方向の延長線と撮像部とが重複するか否かを判断した結果、すべての人物像における顔方向の延長線と撮像部とが重複するときに、自ユーザを含む画像を保存するように撮像部を制御してもよい。この構成によれば、視線を合わせやすい画像を得ることができる。

制御部は、外部装置と対面する自ユーザを含むと共に画像表示部に表示される画像のサイズを、外部装置で算出された自ユーザの両眼の三次元位置に応じて補正してもよい。この場合には、画像を自ユーザの両眼の三次元位置に応じて補正することで、画像表示部に表示される自ユーザの画像のサイズおよび歪を調整することができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。

制御部は、撮像部に対面する自ユーザの顔方向又は視線方向を基に、画像表示面に設定される複数の表示領域のうち顔方向又は視線方向が示す注目表示領域を特定し、注目表示領域に表示させる他ユーザの画像を強調表示させてもよい。この場合、コミュニケーション相手のユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。

制御部は、撮像部に対面する自ユーザの顔方向又は視線方向を基に、画像表示面に設定される複数の表示領域のうち顔方向又は視線方向が示す注目表示領域を特定し、注目表示領域に対応する他ユーザの使用する外部装置に対して、撮像部によって取得された自ユーザの画像とともに特定の結果を出力し、外部装置から、他ユーザの画像とともに特定の結果を取得した場合には、他ユーザの画像を強調表示させるように制御してもよい。この場合も、コミュニケーションを求めているユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。

制御部は、外部からのドラック入力により、複数の他ユーザの画像の表示位置を、複数の表示領域の間で変更可能に構成されてもよい。この場合、他ユーザの顔画像の表示位置を自由に変更することができ、ユーザ間でのコミュニケーションをより円滑にすることができる。

本発明によれば、ユーザの違和感を低減し得る顔画像処理装置が提供される。

図１は、本実施形態に係る端末を双方向のコミュニケーションに利用する形態を模式的に示す図である。 図２は、図１に示された端末の主要な構成を示す分解斜視図である。 図３は、制御用ＩＣにおける動作タイミングを示すチャートである。 図４は、本実施形態に係る端末の別の利用形態を模式的に示す図である。 図５は、第３実施形態に係る端末における制御用ＩＣの構成を示す機能ブロック図である。 図６は、第３実施形態に係る端末の主要な構成を示す分解斜視図である。 図７は、第３実施形態に係る端末の機能を説明するための図である。 図８は、第３実施形態に係る端末の機能を説明するための別の図である。 図９は、本発明の変形例における両眼の位置関係の計算のイメージを示す図である。

以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
＜第１実施形態＞

図１に示されるように、顔画像処理装置は、双方向のコミュニケーションに利用されるいわゆるスマートフォンやタブレット端末といった情報端末が例示できる。以下、顔画像処理装置は、単に「端末１Ａ」、「端末１Ｂ」と称する。図１には、自ユーザＡが端末１Ａを操作し、他ユーザＢが端末１Ｂ（外部装置）を操作する様子を示す。端末１Ａ、１Ｂは、有線又は無線のインターネット回線１００を通じて通信可能とされている。端末１Ａには、自ユーザＡと対話する他ユーザＢの顔画像ＢＧ（第１画像情報）が表示される。また、端末１Ａは、自ユーザＡの顔画像ＡＧを端末１Ｂへ送信する。同様に、端末１Ｂには、他ユーザＢと対話する自ユーザＡの顔画像ＡＧ（第２画像情報）が表示される。また、端末１Ｂは、他ユーザＢの顔画像ＢＧを端末１Ａへ送信する。このような顔画像ＡＧ、ＢＧを見ながらのコミュニケーションにおいて、例えば、自ユーザＡが端末１Ａに表示された他ユーザＢの顔画像ＢＧを見たとき、表示された他ユーザＢの顔画像ＢＧの視線方向によっては違和感を覚えることがあり得る。そこで、本実施形態に係る端末１Ａ、１Ｂは、自ユーザＡが端末１Ａを見たとき、端末１Ａに表示されている他ユーザＢの顔画像ＢＧとの視線が違和感を覚えない程度に一致させることを可能とする。なお、端末１Ａ、１Ｂは、コミュニケーションの相手と視線を強制的に一致させるものではない。端末１Ａの自ユーザＡが、ディスプレイ３に表示された他ユーザＢから視線をずらせば、他ユーザＢには視線がずれて見える。

図２は、端末１Ａの構造を示す分解斜視図である。図２に示されるように、端末１Ａは、ケース２（光遮蔽部）と、ディスプレイ３（画像表示部）と、光制御板４（光制御部）と、光吸収板５（光吸収部）と、回路基板６と、を有する。ディスプレイ３、光制御板４、光吸収板５及び回路基板６は、この順に積層される。そしてこの積層体は、ケース２に収容される。回路基板６には、複数のカメラ７が設けられる。

ケース２は、ディスプレイ３、光制御板４、光吸収板５及び回路基板６を収容するものであり、端末１Ａの外殻をなす。また、ケース２は、回路基板６を覆って回路基板６に設けられたカメラ７への外光の入射を遮蔽する。ケース２は、前カバー８と後カバー９とを有する。前カバー８は、開口８ａ有し、この開口８ａからディスプレイ３が露出する。従って、ケース２は、この開口８ａからの光の入射のみを許容する。また、前カバー８は、カメラ７のための複数のカメラ孔８ｂを有する。後カバー９は、前カバー８と同様にカメラ７のためのカメラ孔を有する。

ディスプレイ３は、開口８ａから露出するように配置される。ディスプレイ３は、所定の画像を表示する矩形板状或いはシート状をなす。このディスプレイ３は、二次元状に配置された複数の発光素子１１を有する。ディスプレイ３は、発光素子１１を発光させて所定の画像を画像表示面３ａに表示する。従って、液晶ディスプレイのようにバックライト光源のような別途の光源を必要とせず、ディスプレイ自体が発光する。また、ディスプレイ３は、発光素子１１を発光させないときに画像表示面３ａから入射した光を画像表示面３ａに対向する裏面３ｂへ透過させる光透過性を生じる。このようなディスプレイ３として、例えば、有機ＥＬ（エレクトロ・ルミネッセンス）ディスプレイが挙げられる。有機ＥＬディスプレイは、励起子の寿命が短いので電流を制御することにより輝度を瞬間的に変化させることが可能である。すなわち、有機ＥＬディスプレイは、応答速度が非常に高速である。例えば、液晶ディスプレイの応答速度がミリ秒オーダーであるところ、有機ＥＬディスプレイの応答速度はその１／１０００以下である。例えば、有機ＥＬディスプレイの応答速度は、０．００１ミリ秒以下である。

光制御板４は、ディスプレイ３の裏面３ｂに接するように配置される。光制御板４は矩形板状をなし、ディスプレイ３の裏面３ｂに接する光入射面４ａと、光出射面４ｂとを有する。また、光制御板４は、ディスプレイ３と略同じ大きさと形状とを有する。光制御板４は、外部からケース２内へ入射する光と、ケース２の内部から外部へ出射される光の度合いを制御する。具体的には、光制御板４は、光出射面４ｂから光入射面４ａへ透過する光の強度より光入射面４ａにおいて反射される光の強度が多くなる関係を満たす。この関係は、反射率と透過率とを適切に設定することにより得られる。このような光制御板４として、例えば、いわゆるマジックミラーやハーフミラーなどが挙げられる。

回路基板６は、光制御板４の光出射面４ｂ側に配置される。回路基板６は、矩形の板状をなす。回路基板６には、端末１Ａの各種機能のための電子部品が配置される。このような電子部品は、カメラ７、制御用ＩＣ１２（制御部）を含む。

カメラ７は、第１カメラ７Ａ（撮像部）、第２カメラ７Ｂ、第３カメラ７Ｃを有する。第１カメラ７Ａ及び第２カメラ７Ｂは、自ユーザＡの画像を取得する。第１カメラ７Ａは、回路基板６において前カバー８と対面する基板主面６ａに設けられる。換言すると、第１カメラ７Ａは、ディスプレイ３の裏面３ｂ側に配置される。具体的には、ディスプレイ３の法線方向Ｄ１からみたとき、第１カメラ７Ａは、ディスプレイ３の画像表示面３ａと重複する（光軸Ｌ１参照）。一方、ディスプレイ３の法線方向Ｄ１からみたとき、第２カメラ７Ｂは、ディスプレイ３の画像表示面３ａと重複しない位置に設けられる（光軸Ｌ２参照）。具体的には、第２カメラ７Ｂは、ディスプレイ３の上端よりも上側に設けられる。

ここで、第１カメラ７Ａは、光制御板４に密着し、或いは光制御板４との間に極めて小さい隙間を生じるように配置される。このような配置によれば、第１カメラ７Ａは、ディスプレイ３に対して近接して配置されることになる。そうすると、ディスプレイ３が発光したとき、その光が第１カメラ７Ａに入射する。第１カメラ７Ａがディスプレイ３に対して近接して配置されているので、ディスプレイ３が生じた光は、間に光制御板４があったとしても強烈な光が第１カメラ７Ａに入射され得る。すなわち、ディスプレイ３から第１カメラ７Ａまでの距離は、ディスプレイ３が発光する第１期間Ｐ１において、ディスプレイ３から第１カメラ７Ａへ入射する光の強度が第１カメラ７Ａの飽和強度を上回るほど近接した距離である。従って、第１カメラ７Ａには極めて強い光強度を有する光が入射される。この光強度は、第１カメラ７Ａの飽和強度を上回る。しかし、ディスプレイ３が発光している期間（後述する第１期間Ｐ１）は、第１カメラ７Ａによって画像を撮像しない。すなわち、ディスプレイ３が発光している期間は、第１カメラ７Ａの露光をしない。従って、ディスプレイ３に第１カメラ７Ａを近接して配置する構成によって端末１Ａの機能が妨げられることはない。

第３カメラ７Ｃは、自ユーザＡを含まない画像、例えば風景といった別の画像を取得する。第３カメラ７Ｃは、回路基板６において後カバー９と対面する基板裏面６ｂに設けられる。

なお、本実施形態において、第２カメラ７Ｂ及び第３カメラ７Ｃは必要に応じて設ければよい。

制御用ＩＣ１２は、ディスプレイ３及びカメラ７を制御する。制御用ＩＣ１２の動作については後に詳細に説明する。

光吸収板５は、光制御板４と回路基板６との間に配置される。光吸収板５は、矩形の板状をなし、第１カメラ７Ａのための素子開口１３を有する。具体的には、光吸収板５は、第１カメラ７Ａを囲むように回路基板６上に設けられる。この光吸収板５は、ケース２内に入射した迷光が第１カメラ７Ａに入射することを抑制する。

次に、端末１Ａの動作について説明する。端末１Ａの動作は、制御用ＩＣ１２によって制御される。制御用ＩＣ１２は、図３に示されるように、ディスプレイ３に画像を表示する期間（第１期間Ｐ１）とディスプレイ３に画像を表示しない期間（第２期間Ｐ２）とを所定の周期に基づいて繰り返す。ここで、符号Ｇ１は、ディスプレイ３の動作タイミングを示す。符号Ｇ２は、第１カメラ７Ａの動作タイミングを示す。さらに、制御用ＩＣ１２は、第２期間Ｐ２において、第１カメラ７Ａの露光を行う。

まず、端末１Ａの制御用ＩＣ１２は、別の端末１Ｂから画像情報を受信する。そして、制御用ＩＣ１２は、受信した画像情報をディスプレイ３に表示させる（第１期間Ｐ１）。具体的には、制御用ＩＣ１２は、画像情報に対応する発光素子１１を選択的に発光させる。この第１期間Ｐ１は、一例として１ミリ秒程度である。

次に、制御用ＩＣ１２は、ディスプレイ３への画像の表示を停止する（第２期間Ｐ２）。具体的には、制御用ＩＣ１２は、ディスプレイ３を構成する発光素子１１の発光を停止する。この第２期間Ｐ２は、ディスプレイのフレームレートやカメラの感度、さらには発光素子のパワー、ユーザの頭部の動くスピード等に応じて、数マイクロ秒から十数ミリ秒である。例えば、制御用ＩＣ１２は、ディスプレイ３を構成する発光素子１１のうち、少なくとも第１カメラ７Ａと重複する領域における発光素子１１の発光を停止する。そうすると、発光が停止されたディスプレイ３の領域は、外部から入射される光が透過する。つまり、ディスプレイ３を見ている自ユーザＡの像がディスプレイ３、光制御板４を通過して、第１カメラ７Ａに入射する。そこで、制御用ＩＣ１２は、第２期間Ｐ２において第１カメラ７Ａを制御し、自ユーザＡを含む画像を取得する。

再び図１に示されるように、画像を取得するとき、自ユーザＡは、端末１Ａのディスプレイ３を見ている。具体的には、ディスプレイ３に表示された他ユーザＢの顔画像ＢＧを見ている。そうすると、自ユーザＡの視線Ｓ１はディスプレイ３に表示された他ユーザＢの方向を向いている。そして、自ユーザＡの視線Ｓ１の延長線上には、第１カメラ７Ａが存在する。従って、自ユーザＡは、ディスプレイ３に表示された他ユーザＢの画像を見ることにより、意識することなく第１カメラ７Ａを見ることになる。従って、第１カメラ７Ａは、自ユーザＡが第１カメラ７Ａを見ているような画像を得ることができる。

ところで、他ユーザＢの顔画像が端末１Ａのディスプレイ３に表示されており、自ユーザＡが他ユーザＢと視線を合わせようとする。このとき、自ユーザＡはディスプレイ３に表示された他ユーザＢの眼を見る。そうすると、他ユーザＢの眼が表示されている領域の奥に自ユーザＡを映すカメラ７が存在するときに、相互に眼と眼を合わせることが可能となる。従って、端末１Ａにおいて、自ユーザＡを映すカメラ７が、実質的に、端末１Ａのディスプレイ３の背後に配置されている必要がある。しかし、従来の液晶ディスプレイなどでは、そのディスプレイがカメラへの光の入射を阻害するので自ユーザＡの画像を得ることができない。また、ディスプレイに眼に見えないような小さな穴をあけて、そこにカメラを設置して、自ユーザＡの画像を得ることも考えられる。しかし、ディスプレイ３に映る画像に欠損が起こることはもとより、ディスプレイに小さな孔を設けるにためには、高度な技術が必要であるし、光の回折により鮮明な画像が得られにくくなる。

そこで、本実施形態に係る端末１Ａは、上記問題点を解消しながら、自ユーザＡの違和感をより低減できる。すなわち、本実施形態に係る端末１Ａは、第１カメラ７Ａによって自ユーザＡの画像を取得することが可能である。ここで、自ユーザＡが当該端末１Ａを操作するとき、他ユーザＢの顔画像ＢＧを表示するディスプレイ３を見ている。そして、ディスプレイ３の裏面３ｂ側には、第１カメラ７Ａが配置されている。制御用ＩＣ１２は、ディスプレイ３が顔画像ＢＧを表示させる第１期間Ｐ１と顔画像ＢＧを表示させない第２期間Ｐ２とを有するように制御する。ディスプレイ３が顔画像ＢＧを表示させないとき、ディスプレイ３は入射した光を裏面３ｂ側へ透過させる、つまり、自ユーザＡの像が第１カメラ７Ａに入射される。そして、制御用ＩＣ１２は、自ユーザＡの像が第１カメラ７Ａに入射される第２期間Ｐ２において、当該画像を取得するように第１カメラ７Ａを動作させる。これにより、自ユーザＡの視線Ｓ１の方向に顔画像ＢＧを表示しながら、自ユーザＡの顔画像ＡＧを撮像することが可能になる。つまり、自ユーザＡの視線Ｓ１が第１カメラ７Ａを向いた画像を得ることができる。従って、他ユーザＢの違和感を低減する画像を得ることができる。

端末１Ａは、光制御板４と、後カバー９を含むケース２とをさらに備える。この光制御板４は、光出射面４ｂから光入射面４ａへ向かう光の強度より、光入射面４ａにおいて反射される光の強度が多くなる関係を満たす反射率及び透過率を有する。この構成によれば、自ユーザＡがディスプレイ３を見たとき、自ユーザＡの側からディスプレイ３に入射した後に、光制御板４の光入射面４ａにおいて反射して自ユーザＡの眼に入る光の強度が、第１カメラ７Ａの側から光制御板４及びディスプレイ３を透過して自ユーザＡの眼に入る光の強度よりも大きくなる。すなわち、ディスプレイ３の裏面３ｂ側の様子は、画像表示面３ａ側から見えにくくなる。従って、自ユーザＡがディスプレイ３の裏面３ｂ側に配置された第１カメラ７Ａなどを意識し難くなるので、より自ユーザＡの違和感を低減することができる。

端末１Ａは、光吸収板５をさらに有してもよい。さらに、第１カメラ７Ａには、フォトレジスト処理を施してもよい。これらの構成によれば、第１カメラ７Ａに入射し得る迷光を低減することが可能になる。従って、より良好な画像を得ることができる。

制御用ＩＣ１２は、別の端末１Ｂから画像情報を取得し、第１期間Ｐ１において当該像情報に基づく顔画像ＢＧをディスプレイ３に表示する。この構成によれば、双方向コミュニケーション機能を発揮することができる。

端末１Ａによって得られる画像情報は、動画像であってもよいし、静止画像であってもよい。端末１Ａによれば、何れの画像形態においても、違和感を低減することができる。
＜第２実施形態＞

図４に示されるように、端末１Ａに表示される画像は、端末１Ａを操作している自ユーザＡの顔画像ＡＧ（第２画像情報）であってもよい。このように、端末１Ａを操作する自ユーザＡが端末１Ａを用いて自分自身の画像を得る行為は、いわゆる「自撮り」と呼ばれている。そして、「自撮り」によって得られた画像は、「自撮り画像」である。具体的には、制御用ＩＣ１２は、第１カメラ７Ａから画像情報を取得する。そして制御用ＩＣ１２は、第１期間Ｐ１において顔画像ＡＧをディスプレイ３に表示させる。この構成によれば、例えば、自ユーザＡ自身を含む画像を得ることができる。さらに、制御用ＩＣ１２は、第１カメラ７Ａと重複する画像表示面３ａの領域に自ユーザＡの両眼近傍の領域を表示させる。この構成によれば、違和感を低減しながら、自ユーザＡ自身の自撮り画像を得ることができる。

なお、制御用ＩＣ１２は、第１カメラ７Ａと重複する画像表示面３ａの領域に自ユーザＡの両眼近傍の領域を表示させなくてもよい。この場合であっても、ディスプレイ３に表示された自分（自ユーザＡ）の顔画像を見ながら撮影するならば、ディスプレイ３の周辺に撮像素子が設置されるよりも、自然な自撮り画像が得られる。
＜第３実施形態＞

顔画像処理装置は、本発明者らによる瞳孔検出技術、注視点検出技術、顔方向検出技術により取得される種々の情報を利用して、様々な機能を奏することとしてもよい。第３実施形態に係る端末１Ｃは、各種の検出機能を奏するための機能的構成要素を有する。例えば、図５に示されるように、これらの機能的構成要素は、制御用ＩＣ１２Ａに実装される。なお、以下の説明は、自ユーザＡが操作する端末１Ｃについて説明する。他ユーザＢが操作する端末については同様の構成を有すると共に同様に動作を行うので説明を省略する。

制御用ＩＣ１２Ａは、機能的構成要素として、撮像制御部１６と、情報処理部１７と、位置制御部１８と、瞳孔検出部１９と、視線方向検出部２１と、注視点検出部２２と、顔方向検出部２３と、を有する。

撮像制御部１６は、第１カメラ７Ａによる撮像のための制御を行う。具体的には、撮像制御部１６は、第１カメラ７Ａの露光のタイミングと、ディスプレイ３の発光のタイミングとを制御する。これらの具体的な制御の内容は、第１実施形態において既に説明済みである。

情報処理部１７は、他ユーザＢが操作する端末から通信ネットワークを介して送信された他ユーザＢの顔画像に関するデータを受ける。

位置制御部１８は、ディスプレイ３における表示態様を制御する。すなわち、位置制御部１８は、他ユーザＢが操作する端末１Ｂから入力された顔画像ＢＧを、自ユーザＡが操作する端末１Ａのディスプレイ３の表示領域に表示させる。このとき、位置制御部１８は、ディスプレイ３における顔画像の表示位置を制御したり、表示する顔画像を補正する。

瞳孔検出部１９は、後述する第４カメラ７Ｄによって得られた画像情報を処理して、画像情報から自ユーザＡの瞳孔を検出する。自ユーザＡの画像を得るとき、自ユーザＡに向けて照射された光の波長によって瞳孔が明るく映し出された画像（明瞳孔画像）と、瞳孔が暗く映し出された画像（暗瞳孔画像）とを得ることができる。両画像は、瞳孔の明るさが異なっており、そのほかの領域は明るさがほぼ同じである。そうすると、明瞳孔画像と暗瞳孔画像との差分を得ることにより、瞳孔領域だけを抽出できる。瞳孔の検出には、本件発明者らの（特開２００８−１２５６１９号公報、国際公開公報ＷＯ２０１３／１７６２６５等）に開示された構成及び方法を利用できる。

視線方向検出部２１は、第４カメラ７Ｄによって得られた画像情報を処理して、自ユーザＡの視線方向を示す視線ベクトルを得る。視線ベクトルは、自ユーザＡに向けて照射された光が自ユーザＡの眼球の角膜において反射した位置と自ユーザＡの瞳孔の中心とを結ぶベクトルに基づく。視線方向の検出には、本件発明者らの特許文献（特許第４５１７０４９号、ＷＯ２０１２／０７７７１３等）に開示された構成及び方法を利用できる。

注視点検出部２２は、第４カメラ７Ｄによって得られた画像情報を処理して、自ユーザＡが注視するディスプレイ３上の位置（注視点）を得る。注視点は、視線検出処理により得られる視線ベクトルとディスプレイ３との交点として得ることができる。注視点の検出には、本件発明者らの特許文献（特許第４５１７０４９号）に開示された構成及び方法を利用できる。

顔方向検出部２３は、第４カメラ７Ｄによって得られた画像情報を処理して、自ユーザＡの顔の向きを示す顔ベクトルを得る。顔ベクトルは、例えば、自ユーザＡの顔を代表する仮想的な面を想定し、当該仮想面の法線方向を顔方向として得られる。仮想面は、例えば、自ユーザＡの両眼の瞳孔位置と鼻孔位置とを通る面として定義できる。従って、上述した瞳孔検出技術を用いて２個の瞳孔の三次元位置を得ると共に、鼻孔の三次元位置を得る。そして、瞳孔の三次元位置及び鼻孔の三次元位置を利用して顔方向を示すベクトルを得る。顔方向（顔姿勢）の検出には、本件発明者らの特許公報（特開２００７−２７１５５４号公報、国際公開公報ＷＯ２０１３／１７６２６５、特許第４４３１７４９号公報、特許第４７６５００８号公報、および国際公開公報ＷＯ２０１０／０１０９２６等）に開示された構成及び方法を利用できる。なお、自ユーザＡの鼻孔検出用の光学系として光源を備えないカメラを用いる技術（特開２０１５−２３２７７１号公報）を利用してもよい。

上記の検出処理は、何れも自ユーザＡが含まれた画像情報を利用する。検出処理に提供される画像情報は、一対の第４カメラ７Ｄにより得られる。図６に示されるように第４カメラ７Ｄは、回路基板６において前カバー８と対面する基板主面６ａに設けられる。第４カメラ７Ｄは、第２カメラ７Ｂと同様にディスプレイ３の画像表示面３ａと重複しない位置に設けられる。第４カメラ７Ｄは、ディスプレイ３の下端よりも上側に設けられる。前カバー８には、第４カメラ７Ｄのためのカメラ孔８ｂが設けられる。

第４カメラ７Ｄの近傍には、近赤外光源部１０が配置される。近赤外光源部１０は、例えば波長８５０ｎｍの光を照射する光源１０ｂと、波長９４０ｎｍの光を照射する光源１０ａと、を含む。それぞれの光源１０ａ，１０ｂは、第４カメラ７Ｄを挟むように、第４カメラ７Ｄの左右両側にそれぞれ配置される。前カバー８には、光源１０ａ，１０ｂのための開口８ｃが設けられる。近赤外光源部１０の詳細は、例えば、本件発明者らの特許文献（特開２００８−１２５６１９号公報（特願２００６−３１１８１５））に記載の構成を採用できる。さらに、瞳孔検出をする構成として、本発明者らによる特願２００６−３１１８１５号公報に開示された構成も採用できる。

なお、瞳孔のみを検出する場合には、第４カメラ７Ｄの近傍に少なくとも１個の光源が配置されていればよい。例えば、一対の第４カメラ７Ｄの間に光源が配置されていればよい。この構成の場合には、暗瞳孔画像から瞳孔を検出することができる。

なお、自ユーザＡに照射される光として近赤外線を使用する場合には、第１カメラ７Ａと第２カメラ７Ｂに、近赤外カットフィルターを設けてもよい。この構成によれば、第１カメラ７Ａと第２カメラ７Ｂとによって得られる画像の近赤外線に起因するノイズを低減することができる。また、第２期間Ｐ２は、第１カメラ７Ａを露光させる期間と、第１カメラ７Ａを露光させない期間とを含む。そして、第１カメラ７Ａを露光させない期間において、光源１０ａ，１０ｂから近赤外光を照射し、近赤外光の照射に同期させて第４カメラ７Ｄの露光を行ってもよい。

制御用ＩＣ１２Ａは、これらの機能的構成要素を動作させて、様々な機能を発揮する。以下、端末１Ｃが有する様々な機能について説明する。

＜第１機能＞
制御用ＩＣ１２は、第１カメラ７Ａと重複するディスプレイ３の領域に他ユーザＢの両眼近傍の領域を表示させる。制御用ＩＣ１２は、他ユーザＢが操作する端末１Ｂから送信された画像情報を受け取る。この情報には、送信された画像情報における他ユーザＢの瞳孔位置に関する情報も含まれている。端末１Ｃの制御用ＩＣ１２は、当該瞳孔位置に関する情報を利用して、他ユーザＢにおける両眼の一方、又は両眼を結ぶ直線の中央が第１カメラ７Ａ上に位置するようにディスプレイ３に表示する。この構成によれば、自ユーザＡがディスプレイ３に表示された他ユーザＢと視線を合せたとき、第１カメラ７Ａを見ることになる。自ユーザＡがディスプレイ３に表示された他ユーザＢと視線を合わせようとしたとき、自ユーザＡの視線は自然に第１カメラ７Ａの方向に向く。従って、違和感を低減させ得る画像を得ることができる。

＜第２機能＞
通常、シャッターを切る操作は、端末１Ｃに備えられた物理的なボタンや、ディスプレイ３に表示されるアイコンが用いられる。この端末１Ｃでは、第１カメラ７Ａによって得られた画像情報を利用してシャッター操作を行うこともできる。制御用ＩＣ１２Ａは、顔方向検出部２３における処理によって、顔方向を示すベクトルをリアルタイムに得る。そして、当該ベクトルが所定の変化（例えば、被写体である自ユーザＡが顔を上下に往復移動する変化、すなわち頷き動作）が生じたときに、画像を取得する。要するに、シャッターボタンを押す動作に変えて、自ユーザＡが頷く動作をシャッター操作とすることができる。また、顔方向のベクトルが第１カメラ７Ａと重複するとき、すなわち自ユーザＡが第１カメラ７Ａを見る動作（注視点を第１カメラ７Ａと重複させる動作）をシャッター操作としてもよい。

＜第３機能＞
撮像のタイミングを制御用ＩＣ１２Ａに委ねてもよい。例えば、自ユーザＡが自撮り画像を得るとき、準備ができたと判断した自ユーザＡはシャッターボタンを押すといった操作を行う。通常であれば、端末１Ｃはシャッターボタンが押された時点で画像情報を取得する。この機能によれば、シャッターボタンが押された時点では画像情報の取得は行われない。シャッターボタンが押された後に、予め設定された所定の条件を満たしたタイミングで制御用ＩＣ１２Ａが画像情報の取得を行う。従って、シャッターボタンが押されたタイミングでは、撮像に適さない条件（例えば、被写体が眼を閉じている等）であったとしても、制御用ＩＣ１２Ａがその後に現れる撮像に適した条件（例えば、被写体の眼が開いている等）であるときに画像情報を得る。

例えば、制御用ＩＣ１２Ａは、第１カメラ７Ａから提供される画像情報を瞳孔検出部１９に入力し、リアルタイムに瞳孔検出処理を行う。この処理は、シャッターの操作をトリガとして開始される。そして、瞳孔検出処理の結果、画像情報から瞳孔が検出されたものを画像情報として保存する。なお、画像情報を保存するタイミングの基準は、瞳孔が検出されたか否かに限定されない。例えば、自ユーザＡの注視点の位置と第１カメラ７Ａの位置とを対比して、それらの位置が重複したときに画像情報を保存することとしてもよい。また、自ユーザＡの視線や顔方向を基準に用いてもよい。

また、画像情報に含まれる人物像は、一人に限定されず、複数の人物像であってもよい。自ユーザＡを含む複数人の人物を撮像するとき、全員の眼が開いている（瞳孔が検出される）ときに画像を取得することとしてもよい。

＜第４機能＞
撮像のタイミングが自ユーザＡに委ねられたとき、その撮像は必ずしも成功するわけではなく、失敗することもあり得る。ここでいう撮像のタイミングとは、撮像素子が画像を取得するタイミングともいえるし、事後的に閲覧可能なデータとして画像情報を保存するタイミングともいえる。また、撮像の失敗とは、例えば、被写体である人物が眼を閉じていたり、視線がずれていると感じられるような画像が得られることをいう。

端末１Ｃは、このように撮像のタイミングが自ユーザＡに委ねられた場合であっても、自ユーザＡが望む画像を得ることができる。具体的には、端末１Ｃは、複数枚の画像を取得し、それらを処理することによって自ユーザＡが望む画像のみを保存する。つまり、前述のシャッター機能では、撮像のタイミングは制御用ＩＣ１２Ａに委ねられていた。一方、ここで説明する機能は、撮像のタイミングは自ユーザＡに委ねられている点で相違する。

被写体が眼を閉じている画像情報の取得を防止する動作を例示する。端末１Ｃは、第１カメラ７Ａから逐次画像情報を取得する。つまり、動画像情報を取得することと同義である。逐次取得される画像情報は、端末１Ｃが備えるバッファ用メモリ（不図示）に一時的に保持される。この画像情報の取得は、自ユーザＡのシャッター操作とは無関係に連続して行われる。制御用ＩＣ１２Ａは、自ユーザＡがシャッターを操作したとき、シャッターを押した時点を中心としてその前後の期間に含まれる複数枚の画像をバッファ用メモリから抽出する。抽出する期間は、シャッターの操作前に限定してもよいし、シャッターの操作後に限定してもよい。続いて、制御用ＩＣ１２Ａは、抽出した画像情報を瞳孔検出部１９に入力し、瞳孔検出処理を行う。つまり、画像情報の瞳孔検出処理により、被写体の瞳孔が検出された場合その画像情報の被写体は眼を開いていると判断できる。逆に、被写体の瞳孔が検出されない場合その画像情報の被写体は眼を閉じていると判断できる。従って、制御用ＩＣ１２Ａは、抽出された複数の画像情報から瞳孔が検出された画像情報を保存する。

なお、保存すべき画像情報を抽出する基準は、瞳孔が検出されたか否かに限定されない。例えば、自ユーザＡの視線や顔方向を基準にしてもよい。

また、この機能においても、画像情報に含まれる人物像は、一人に限定されない。自ユーザＡを含む複数人の人物を撮像するとき、画像情報に含まれるすべての眼が開いている（瞳孔が検出される）ときに画像を保存してもよい。

＜第５機能＞
また、位置制御部１８と注視点検出部２２とを利用することにより次のような機能を奏することもできる。図７に示すように、位置制御部１８は、６つの複数の表示領域３１ａ〜３１ｆのそれぞれに顔画像を表示させる。これらの表示領域３１ａ〜３１ｆのそれぞれは、予め他ユーザＵ１〜Ｕ６の顔画像の表示用として割り当てられている。位置制御部１８は、１以上の端末から入力された他ユーザＵ１〜Ｕ６の顔画像を、それぞれに割り当てられた表示領域３１ａ〜３１ｆに表示させるように制御する。表示領域３１ａ〜３１ｆの中央には、表示領域３１ａ〜３１ｆよりも目立つようにサイズの大きい表示領域３１ｇが設定されている。これにより、相対的にディスプレイ３が小さくても、自ユーザＡが見たい特定の他ユーザの表情等がよく見える状態でコミュニケーションを図ることができる。そして、これらの表示領域３１ａ〜３１ｆの対応する位置に、自ユーザＡのユーザ顔画像を撮像するカメラがそれぞれ設けられるのではなく、表示領域３１ｇの対応する位置に自ユーザＡの顔画像ＡＧを撮影する第１カメラ７Ａが設けられる。この構成によれば、多人数間のコミュニケーションでも一台のカメラで対応できる。

ここで、位置制御部１８は、視線方向検出部２１によって自ユーザＡの視線方向を基に算出されたディスプレイ３上の注視点を用いて、自ユーザＡの視線方向が示す表示領域を、表示領域３１ａ〜３１ｆのうちから注目表示領域として特定する。具体的には、位置制御部１８は、自ユーザＡの注視点が、一定時間（例えば、０．５秒以上）継続して位置する表示領域３１ａ〜３１ｆを、注目表示領域として特定する。このような特定方法によれば、自ユーザＡの視線のふらつきによる表示領域の頻繁な切り替わりを防止して、顔画像表示を安定化できる。

移動平均注視点を用いて表示領域３１ａ〜３１ｆから注目表示領域を特定してもよい。移動平均注視点は、自ユーザＡの注視点について移動平均を施すことにより得られる。位置制御部１８は、注目表示領域を特定した際には、その注目表示領域に表示されているユーザの顔画像を拡大（強調）して表示領域３１ｇにも同時に表示させる。図７には、注目表示領域として表示領域３１ｅが特定され、表示領域３１ｅに表示されている他ユーザＵ５の顔画像が同時に表示領域３１ｇにも表示されている例を示している。

このような構成によれば、自ユーザＡがコミュニケーションを図りたい相手の他ユーザの顔画像に視線を向けるだけで、その他ユーザの顔画像が拡大強調表示される。その結果、コミュニケーションしたい他ユーザの表情が見やすくなりコミュニケーションが円滑化される。

なお、表示領域３１ｇにおける顔画像の切り替わりを自ユーザＡに把握させやすくする視覚的効果を加えてもよい。例えば、位置制御部１８は、注目表示領域を特定した際に、注目表示領域として特定された表示領域３１ｅの顔画像を、拡大させながら中央の表示領域３１ｇに向けて移動させるようにアニメーション化して表示させてもよい。さらに、位置制御部１８は、表示領域３１ｅを注目表示領域として特定した後に、表示領域３１ｆを注目表示領域として特定した際には、それまで中央の表示領域３１ｇに表示されていた顔画像を、縮小させながら表示領域３１ｅに向けて移動させるようにアニメーション化して表示させてもよい。このような制御により、自ユーザＡが顔画像の切り替わりを容易に認識することができる。

また、上記の構成において、表示領域３１ａ〜３１ｆのそれぞれに対する他ユーザＵ１〜Ｕ６の顔画像の割り当ては、自ユーザＡの操作によって変更可能にされていてもよい。すなわち、位置制御部１８は、表示領域３１ａ〜３１ｆを自ユーザＡが直接に触れて行うドラック入力により、他ユーザＵ１〜Ｕ６の顔画像の表示位置を、表示領域３１ａ〜３１ｆの間で変更可能に構成されてもよい。この際、自ユーザＡの両手がふさがっているときのように、自ユーザＡによるタッチ操作が困難な場合には、本発明者らによる文献「瞳孔マウスの提案」（第１０回画像センシングシンポジウム講演論文集、Ｂ−２８、ｐｐ．１６７−１７２、２００４）に開示された瞳孔マウスの技術、又は、本発明者らによる文献「注視点検出法と瞳孔マウスの組み合わせによるＰＣ入力法の提案」（ＶｉＥＷ２０１１ビジョン技術の実利用化ワークショップ、ＯＳ１−Ｈ１（ＩＳ１−Ａ１）、７ｐａｇｅｓ、２０１２）に開示された視線と瞳孔マウスとを組み合わせた入力技術を用いて、入力が検出されてもよい。

また、位置制御部１８は、上述した注目表示領域の特定、又は表示領域３１ａ〜３１ｆの割り当ての変更を、瞳孔マウスによる入力、または自ユーザＡの顔方向を基に実行可能に構成されていてもよい。すなわち、注視点検出部２２に代えて顔方向検出部２３と位置制御部１８とを組み合わせてもよい。ただし、位置制御部１８は、瞳孔マウスまたは顔方向によって示される入力位置にカーソル等の視標を表示させることが好適である。瞳孔マウスを利用する場合は、絶対的な基準位置が存在せず、瞳孔の動きの検出量に応じてその量だけ入力位置の移動が制御されるため、カーソルが存在しないと入力位置がわかりにくい。顔方向を利用する場合にもカーソルが存在しないと入力位置がわかりにくい。カーソルが表示されることにより、自ユーザＡにとって入力されている位置が明確化される。ただし、常にカーソルが表示されていると自ユーザＡにとって顔画像の視認性が低下するので、位置制御部１８は、中央の表示領域３１ｇの中に入力位置が認識されている際にはカーソルを表示させないように制御する。そして、入力位置が中央の表示領域３１ｇの外側に移動した際にその入力位置にカーソルを表示させるように制御することが好適である。

さらに、位置制御部１８は、図８に示すように、６個の複数の表示領域３１ａ〜３１ｆに表示されている他ユーザＵ１〜Ｕ６の顔画像のうち、自ユーザＡの顔画像に視線を向けている他ユーザＵ１〜Ｕ６の顔画像を強調表示させるように制御してもよい。このような構成では、注視点検出部２２が、自ユーザＡの注視点を用いて、自ユーザＡの注視点が示す注目表示領域を、表示領域３１ａ〜３１ｆのうちから特定する。

そして、情報処理部１７は、特定した注目表示領域に割り当てられている他ユーザＵ１〜Ｕ６の使用する端末に対して、自ユーザＡの出力対象画像とともに、注目表示領域として特定された結果を出力する。出力される結果としては、注目表示領域に視線を向けている自ユーザＡを識別する情報等が挙げられる。一方、位置制御部１８は、別の端末から、他ユーザＵ１〜Ｕ６に関する顔画像とともに、自ユーザＡに割り当てられている表示領域が注目表示領域として特定された結果が出力された場合には、その特定結果によって識別される何れかの他ユーザＵ１〜Ｕ６の顔画像を強調表示させるように制御する。図８では、表示領域３１ａ、３１ｄが割り当てられた他ユーザＵ１，Ｕ４の使用する端末から特定結果が出力された結果、それらの他ユーザＵ１，Ｕ４の顔画像が表示領域３１ａ，３１ｄにおいて太線で囲まれて強調表示された例を示している。ここでの強調表示は、顔画像を点滅させるような表示であってもよいし、外枠の色を変えるような表示であってもよい。このような制御により、自ユーザＡに対してコミュニケーションを求めている他ユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。

上述した第１機能〜第５機能は、顔画像処理装置である端末１Ｃに求められる仕様に応じて、適宜選択し、組み合わせてよい。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では、制御用ＩＣ１２は、ディスプレイ３とカメラ７の制御において、ディスプレイ３の点滅を一定の期間を持って繰り返し（すなわち、第１期間Ｐ１と第２期間Ｐ２とが固定される）、第２期間Ｐ２において第２期間Ｐ２よりも短い時間である露光時間を設定してもよい。すなわち、ディスプレイ３の制御を主制御とし、カメラ７の制御をディスプレイ３の制御に追従させてもよい。逆に、カメラ７の制御を主制御とし、ディスプレイ３の制御をカメラ７の制御に追従させてもよい。

上記実施形態では、顔画像処理装置の例として携帯が可能な小型の端末１Ａを説明したが、このような端末１Ａに限定されない。例えば、顔画像処理装置は、据え置きで利用されるテレビなどであってもよい。

この場合には、制御用ＩＣ１２は、顔画像の歪調整処理を行うとよい。他ユーザが他のカメラ（撮像部）を取り付けたテレビ（画像表示部）の正面から外れると、自ユーザが見ているテレビに表示される他ユーザの顔画像が、例えば台形状に歪んで見えることがある。このような場合、相手の顔の縦横比が変わってしまうので、自ユーザがコミュニケーションの際に不自然な印象を受ける。そこで、位置制御部１８は、テレビに表示される他ユーザの顔画像を、歪調整によって予め補正することにより、自ユーザがテレビに表示された他ユーザの顔画像を見た時の不自然な印象を低減する。このような歪補正には、本件発明者らによる文献（遠隔瞳孔検出に基づく頭部移動を許容する視線一致型コミュニケーションシステムの提案（山本祥之、福元清剛、海老澤嘉伸）２０１５年映像情報メディア学会年次大会、１３Ｃ−３、 ２ ｐａｇｅｓ （２０１５））に開示された構成及び方法を利用できる。

上記実施形態では、顔画像処理装置の例としてインターネット回線１００に接続された端末１Ａを例示した。しかし、顔画像処理装置は、インターネット回線などのネットワークに接続されるものに限定されない。例えば、それぞれカメラが接続された２台のデスクトップコンピュータが、通信ネットワークを介することなく、直接にケーブルで接続されたような構成であってもよい。

上記実施形態では、自ユーザＡ及び他ユーザＢの両眼を処理の対象とする構成を例示した。しかし、顔画像処理装置における様々な機能は、両眼を処理の対象とする構成に限定されず、片眼だけを処理の対象としてもよい。例えば、この構成は、一方の自ユーザＡがその両眼で他方の他ユーザＢの片方の眼を注視する場合に有効である。また、一方の自ユーザＡが眼科医であり、他方の他ユーザＢが遠隔地にいる患者である場合にも有効である。この場合には、制御用ＩＣ１２Ａは、他方の他ユーザＢの片眼だけを検出し、片眼が第４カメラ７Ｄの位置に表示されるようにディスプレイ３を制御する。この制御は、瞳孔検出部１９によって他ユーザＢの瞳孔の三次元座標が既知であり、第４カメラ７Ｄによって得られた画像中の瞳孔の座標が既知であるので、当該得られた画像中に両眼が含まれているか否かを判別できる。

上記実施形態において、ディスプレイ３に表示させる顔画像のサイズを他ユーザＢの両眼の瞳孔の三次元位置に応じて補正する機能を有していてもよい。

第１実施形態の端末１Ａにおいては、自ユーザＡに相手側ユーザである他ユーザＢが同じ位置（例えばディスプレイ３の略中央の領域）にいるように見せるためには、位置制御部１８が、相手側ユーザ（他ユーザＢ）側の端末１Ｂで検出された他ユーザＢの瞳孔の三次元座標を基に、ディスプレイ３に表示される画像のサイズを相手側ユーザ（他ユーザＢ）の両眼の位置関係に対応するように設定してもよい。例えば、図９に示すように、本変形例の位置制御部１８は、相手側ユーザ（他ユーザＢ）の左右の瞳孔の三次元位置を基にそれらの中点の位置Ｍ_３を算出する。そして、位置制御部１８は、その中点Ｍ_３を通り、顔画像を撮像した端末１Ｂ側の第１カメラ７Ａの撮像面１０３ａに平行な平面Ｓ２の位置と、第１カメラ７Ａから各瞳孔に向いた直線Ｌ_３，Ｌ_４の位置とを求め、さらに、この平面Ｓ２と各直線Ｌ_３，Ｌ_４との交点Ｐ_３，Ｐ_４の三次元位置を求める。そして、位置制御部１８は、交点Ｐ_３，Ｐ_４の２つの三次元位置の間の距離を求め、その距離と自ユーザＡの見ている画像上の相手側ユーザ（他ユーザＢ）の瞳孔間距離とが等しくなるように、投影画像のサイズを設定する。具体的には、位置制御部１８は、投影する顔画像上の左右の瞳孔の座標が既知であるので、それらの座標間の距離が交点Ｐ_３，Ｐ_４から計算した距離と等しくなるように投影画像のサイズを変更すればよい。このとき、位置制御部１８は、顔画像から表示対象の画像を切り出す際には、その画像の範囲の幅を、Ｐ_３，Ｐ_４の三次元位置の間の距離を基にして、相手側ユーザの頭部全体が入り、かつ、投影画像上の瞳孔間の距離がその距離と等しく見えるように、設定するとよい。このような変形例によれば、相手側ユーザが頭部を回転させてカメラに映る瞳孔間の距離が変化したような場合でも、自ユーザＡにとって相手側ユーザ（他ユーザＢ）があたかもディスプレイ３上の位置に存在しているように感じさせることができる。ただし、スマートフォンなどのディスプレイのように狭い表示領域に画像を表示する場合は、等身大の顔全体を映すことは不可能であるので、上記の方法と同様の方法に基づきユーザの好みのサイズ、もしくは、各表示領域にちょうど顔が入るような所定のサイズに縮めて表示する。なお、性能的に、目の位置や目の３次元座標や視線方向や顔方向の検出に高い精度を要さない場合で、第１カメラ７Ａや第２カメラ７Ｂから得られる画像から眼の位置や目の３次元座標、視線方向や顔方向が計測できる技術を使用する場合は、瞳孔、角膜反射、鼻孔を検出する必要がないため、第４カメラ７Ｄ、さらに近赤外光源部１０Ａ、１０Ｂを要さない。さらには、瞳孔検出をする場合に通常は使用する可視光カットフィルターを第４カメラ７Ｄには使用せずに、第４カメラ７Ｄによって撮影した画像から目の位置や目の３次元座標，視線方向や顔方向を計測して用いてもよい。

１Ａ、１Ｂ…端末（顔画像処理装置）、２…ケース（光遮蔽部）、３…ディスプレイ（画像表示部）、３ａ…画像表示面、３ｂ…裏面、４…光制御板（光制御部）、５…光吸収板（光吸収部）、６…回路基板、７Ａ…第１カメラ（撮像部）、８…前カバー、９…後カバー、１１…発光素子、１２…制御用ＩＣ（制御部）、１６…撮像制御部、１７…情報処理部、１８…位置制御部、１９…瞳孔検出部、２１…視線方向検出部、２２…注視点検出部、２３…顔方向検出部、１００…インターネット回線、Ａ…自ユーザ（自ユーザ）、ＡＧ…顔画像（第１画像情報）、Ｂ…他ユーザ（他ユーザ）、ＢＧ…顔画像（第２画像情報）、Ｐ１…第１期間、Ｐ２…第２期間。

Claims (27)

1. 複数の発光素子を有し、前記発光素子を発光させて所定の画像を画像表示面に表示すると共に、前記発光素子を発光させないときに前記画像表示面から入射した光を前記画像表示面の逆側の裏面へ透過させる画像表示部と、
   前記画像表示部の前記裏面に対面するように配置され、前記画像表示面から前記裏面へ透過した光を受ける少なくとも一個の撮像部と、
   前記画像表示部及び前記撮像部を制御する制御部と、を備え、
   前記制御部は、前記発光素子を発光させる第１期間と前記発光素子を発光させない第２期間とが繰り返されるように前記画像表示部を制御し、
   前記制御部は、前記第２期間において、前記画像表示面から前記裏面へ透過した光に基づく画像を取得するように前記撮像部を制御する、顔画像処理装置。
2. 前記画像表示部から前記撮像部までの距離は、前記第１期間において前記画像表示部から前記撮像部に入射する光の強度が前記撮像部の飽和強度を上回る距離に設定される、請求項１に記載の顔画像処理装置。
3. 前記画像表示部と前記撮像部との間に配置され、前記画像表示部の前記裏面に対面する入射面と前記撮像部に対面する出射面とを有する光制御部と、
   前記出射面及び前記撮像部を覆うように配置された光遮蔽部と、をさらに備え、
   前記光制御部は、前記出射面から前記入射面へ向かう光の強度より前記入射面において反射される光の強度が強くなる関係を満たす反射率及び透過率を有する、請求項１又は２に記載の顔画像処理装置。
4. 前記光遮蔽部と前記出射面との間に配置されると共に前記撮像部を囲む光吸収部をさらに備える、請求項３に記載の顔画像処理装置。
5. 前記制御部は、外部装置から第１画像情報を受信すると共に、前記第１期間において前記第１画像情報に基づく画像を前記画像表示部に表示させる、請求項１〜４の何れか一項に記載の顔画像処理装置。
6. 前記第１画像情報は、前記外部装置に対面する他ユーザの両眼を含んだ画像であり、
   前記制御部は、前記撮像部と重複する前記画像表示面の領域に前記他ユーザの両眼近傍の領域を表示させる、請求項５に記載の顔画像処理装置。
7. 前記制御部は、前記撮像部から第２画像情報を取得すると共に、前記第１期間において前記第２画像情報に基づく画像を前記画像表示部に表示させる、請求項１〜４の何れか一項に記載の顔画像処理装置。
8. 前記第２画像情報は、前記撮像部に対面する自ユーザの両眼を含んだ画像であり、
   前記制御部は、前記撮像部と重複する前記画像表示面の領域に前記自ユーザの両眼近傍の領域を表示させる、請求項７に記載の顔画像処理装置。
9. 前記撮像部に対面する自ユーザの瞳孔の位置を検出する瞳孔検出部をさらに備える、請求項１〜８の何れか一項に記載の顔画像処理装置。
10. 前記瞳孔検出部は、前記自ユーザの前記瞳孔の位置を示す三次元座標を取得する、請求項９に記載の顔画像処理装置。
11. 前記制御部は、前記第２期間のうち前記撮像部の露光を行わない期間において、前記自ユーザに向けて光を照射すると共に、前記撮像部とは別の撮像部において前記自ユーザを含む画像を取得する、請求項９又は１０に記載の顔画像処理装置。
12. 前記自ユーザを含む画像を取得するための操作を前記自ユーザが行ったとき、
    前記制御部は、前記自ユーザを含む複数枚の画像を一時的に保持し、
    前記瞳孔検出部は、前記自ユーザを含む複数枚の画像に対して前記瞳孔を検出する処理を行い、
    前記制御部は、前記瞳孔検出部における処理において、前記瞳孔が検出された画像を保存するように前記撮像部を制御する、請求項９〜１１の何れか一項に記載の顔画像処理装置。
13. 前記自ユーザを含む画像を取得するための操作を前記自ユーザが行ったとき、
    前記瞳孔検出部は、リアルタイムに取得される前記自ユーザを含む画像に対して前記瞳孔を検出する処理を行い、
    前記制御部は、前記瞳孔検出部における処理において、前記瞳孔が検出されたときに前記自ユーザを含む画像を保存するように前記撮像部を制御する、請求項９〜１２の何れか一項に記載の顔画像処理装置。
14. 前記自ユーザを含む画像には、前記自ユーザを含む複数の人物像が含まれ、
    前記瞳孔検出部は、前記自ユーザを含む画像から、すべての前記人物像に対して瞳孔を検出する処理を行い、
    前記制御部は、前記瞳孔検出部における処理において、すべての前記人物像から前記瞳孔が検出されたときに前記自ユーザを含む画像を保存するように前記撮像部を制御する、請求項９〜１３の何れか一項に記載の顔画像処理装置。
15. 前記撮像部に対面する自ユーザが注視する前記画像表示部上の注視点の位置を検出する注視点検出部をさらに備え、
    前記注視点検出部は、前記撮像部に対面する前記自ユーザの瞳孔の位置と、
    前記自ユーザに照射された光が前記自ユーザの角膜において反射した位置とを利用して前記注視点の位置を検出する、請求項１〜７の何れか一項に記載の顔画像処理装置。
16. 前記自ユーザを含む画像を取得するための操作を前記自ユーザが行ったとき、
    前記注視点検出部は、リアルタイムに取得される前記自ユーザを含む画像に対して前記注視点の位置を検出する処理を行い、
    前記制御部は、前記画像表示部上における前記注視点の位置と前記撮像部の位置とを対比し、前記注視点の位置と前記撮像部の位置とがほぼ一致し、重複していると判断されたときに前記自ユーザを含む画像を保存するように前記撮像部を制御する、請求項１５に記載の顔画像処理装置。
17. 前記撮像部に対面する自ユーザの顔方向を検出する顔方向検出部を更に備え、
    前記顔方向検出部は、前記自ユーザの鼻孔の位置と、前記自ユーザの瞳孔の位置とを利用して前記顔方向を検出する、請求項１〜８の何れか一項に記載の顔画像処理装置。
18. 前記顔方向検出部は、リアルタイムに取得される前記自ユーザを含む画像に対して前記顔方向を検出する処理を行い、
    前記制御部は、前記顔方向が所定の変化を生じたときに前記自ユーザを含む画像を保存するように前記撮像部を制御し、
    前記所定の変化とは、前記自ユーザの頷きを示す前記顔方向の変化である、請求項１７に記載の顔画像処理装置。
19. 前記撮像部に対面する自ユーザの視線方向を検出する視線方向検出部をさらに備え、
    前記視線方向検出部は、前記撮像部に対面する前記自ユーザが注視する前記画像表示部上の注視点の位置を検出する注視点検出部と、前記撮像部に対面する前記自ユーザの顔方向を検出する顔方向検出部を有し、
    前記注視点検出部は、前記撮像部に対面する前記自ユーザの瞳孔の位置と、
    前記自ユーザに照射された光が前記自ユーザの角膜において反射した位置とを利用して前記注視点の位置を検出し、
    前記顔方向検出部は、前記自ユーザの鼻孔の位置と、前記自ユーザの瞳孔の位置とを利用して前記顔方向を検出する、請求項１〜８の何れか一項に記載の顔画像処理装置。
20. 前記視線方向検出部は、リアルタイムに取得される前記自ユーザを含む画像に対して前記視線方向を検出する処理を行い、
    前記制御部は、前記視線方向の延長線と前記撮像部とが重複するか否かを判断し、前記視線方向の延長線と前記撮像部とが重複するときに前記自ユーザを含む画像を保存するように前記撮像部を制御する、請求項１９に記載の顔画像処理装置。
21. 前記視線方向検出部及び前記顔方向検出部は、リアルタイムに取得される前記自ユーザを含む画像に対して前記視線方向及び前記顔方向の方向を検出する処理を行い、
    前記制御部は、前記視線方向の延長線と前記撮像部とが重複するか否かを判断した結果、前記視線方向の延長線と前記撮像部とが重複すると共に、前記顔方向の延長線と前記撮像部とが重複するか否かを判断した結果、前記顔方向の延長線と前記撮像部とが重複するときに、前記自ユーザを含む画像を保存するように前記撮像部を制御する、請求項１９に記載の顔画像処理装置。
22. 前記自ユーザを含む画像には、前記自ユーザの像を含む複数の人物像が含まれ、
    前記視線方向検出部は、前記自ユーザを含む画像から、すべての前記人物像に対して前記視線方向を検出する処理を行い、
    前記制御部は、前記視線方向検出部における処理において、すべての前記人物像の前記視線方向の延長線と前記撮像部とが重複するときに前記自ユーザを含む画像を保存するように前記撮像部を制御する、請求項１９に記載の顔画像処理装置。
23. 前記自ユーザを含む画像には、前記自ユーザの像を含む複数の人物像が含まれ、
    前記視線方向検出部及び前記顔方向検出部は、前記自ユーザを含む画像から、すべての前記人物像に対して前記視線方向及び前記顔方向を検出する処理を行い、
    前記制御部は、すべての前記人物像における前記視線方向の延長線と前記撮像部とが重複するか否かを判断した結果、すべての前記人物像における前記視線方向の延長線と前記撮像部とが重複すると共に、すべての前記人物像における前記顔方向の延長線と前記撮像部とが重複するか否かを判断した結果、すべての前記人物像における前記顔方向の延長線と前記撮像部とが重複するときに、前記自ユーザを含む画像を保存するように前記撮像部を制御する、請求項１９に記載の顔画像処理装置。
24. 前記制御部は、外部装置と対面する自ユーザを含むと共に前記画像表示部に表示される画像のサイズを、前記外部装置で算出された前記自ユーザの両眼の三次元位置に応じて補正する、請求項１〜２３の何れか一項に記載の顔画像処理装置。
25. 前記制御部は、前記撮像部に対面する自ユーザの顔方向又は視線方向を基に、前記画像表示面に設定される複数の表示領域のうち前記顔方向又は前記視線方向が示す注目表示領域を特定し、前記注目表示領域に表示させる他ユーザの画像を強調表示させるように制御する、請求項１〜８の何れか一項に記載の顔画像処理装置。
26. 前記制御部は、前記撮像部に対面する自ユーザの顔方向又は視線方向を基に、前記画像表示面に設定される複数の表示領域のうち前記顔方向又は前記視線方向が示す注目表示領域を特定し、前記注目表示領域に対応する他ユーザの使用する外部装置に対して、前記撮像部によって取得された前記自ユーザの画像とともに前記特定の結果を出力し、
    前記外部装置から、前記他ユーザの画像とともに前記特定の結果を取得した場合には、前記他ユーザの画像を強調表示させるように制御する、請求項１〜８及び請求項２５の何れか一項に記載の顔画像処理装置。
27. 前記制御部は、外部からのドラック入力により、複数の他ユーザの画像の表示位置を、前記複数の表示領域の間で変更可能に構成される、請求項２５又は２６に記載の顔画像処理装置。

Images