JP2021182736A - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP2021182736A JP2021182736A JP2021052724A JP2021052724A JP2021182736A JP 2021182736 A JP2021182736 A JP 2021182736A JP 2021052724 A JP2021052724 A JP 2021052724A JP 2021052724 A JP2021052724 A JP 2021052724A JP 2021182736 A JP2021182736 A JP 2021182736A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- electronic device
- eye image
- sight detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Viewfinders (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】顔の位置、顔の向き、眼鏡の位置、眼鏡の向きなどの調整をユーザーが容易に行うことができ、ひいては検出精度の高い視線検出を行うことができる電子機器を提供する。【解決手段】本発明の電子機器は、表示手段を見る眼を撮像した眼画像に基づいて視線検出を行う検出手段と、眼画像における瞳孔像の位置と、眼画像における角膜反射像の数との少なくとも一方に基づいて、表示手段を視認する視認状態の調整方法に関する所定の通知を行うように制御する制御手段とを有することを特徴とする。【選択図】図9
Description
本発明は、視線検出機能を有する電子機器に関する。
視線検出機能でユーザーの視線(視線方向)を検出し、視線の検出結果に基づいて測距点選択などを行うことが可能なカメラ(ビデオカメラを含む)が実用化されている。
特許文献1には、ユーザーの眼画像を表示装置に表示する技術が開示されている。ユーザーが眼画像に基づいて顔の位置、顔の向き、眼鏡の位置、眼鏡の向きなどを調整することで、眼鏡の反射光などの不要光による視線検出精度の低下を抑制することができる。
しかしながら、特許文献1に開示された従来技術では、視線検出機能に不慣れなユーザーは、視線検出精度の低下を防止するための具体的な調整方法を容易に判断できず、調整を容易に行えない。その結果、眼の位置が視線検出範囲(視線検出が可能な範囲)を超えたり、眼鏡の反射光などの不要光が除去できなかったりすることなどにより、視線検出精度が低下してしまう。
そこで本発明は、顔の位置、顔の向き、眼鏡の位置、眼鏡の向きなどの調整をユーザーが容易に行うことができ、ひいては検出精度の高い視線検出を行うことができる電子機器を提供することである。
本発明の電子機器は、表示手段を見る眼を撮像した眼画像を取得可能な電子機器であって、前記眼画像に基づいて視線検出を行う検出手段と、前記眼画像における瞳孔像の位置と、前記眼画像における角膜反射像の数との少なくとも一方に基づいて、前記表示手段を視認する視認状態の調整方法に関する所定の通知を行うように制御する制御手段とを有することを特徴とする。
本発明によれば、顔の位置、顔の向き、眼鏡の位置、眼鏡の向きなどの調整をユーザーが容易に行うことができ、ひいては検出精度の高い視線検出を行うことができる。
(実施形態)
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
<構成の説明>
図1(a),1(b)は、本実施形態に係るカメラ1(デジタルスチルカメラ;レンズ交換式カメラ)の外観を示す。なお、本発明は、画像、文字等の情報を表示するデバイスや、接眼光学系を通して光学像を視認するユーザーの視線を検出することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてよい。表示部を見る眼を撮像した眼画像を取得可能な全ての電子機器に対して、本発明は適用可能である。
図1(a),1(b)は、本実施形態に係るカメラ1(デジタルスチルカメラ;レンズ交換式カメラ)の外観を示す。なお、本発明は、画像、文字等の情報を表示するデバイスや、接眼光学系を通して光学像を視認するユーザーの視線を検出することが可能な任意の電子機器にも適用可能である。これらの電子機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、ヘッドマウントディスプレイ、双眼鏡などが含まれてよい。表示部を見る眼を撮像した眼画像を取得可能な全ての電子機器に対して、本発明は適用可能である。
図1(a)は正面斜視図であり、図1(b)は背面斜視図である。図1(a)に示すように、カメラ1は、撮影レンズユニット1A及びカメラ筐体1Bを有する。カメラ筐体1Bには、ユーザー(撮影者)からの撮像操作を受け付ける操作部材であるレリーズボタン34が配置されている。図1(b)に示すように、カメラ筐体1Bの背面には、カメラ筐体1B内に含まれている後述の表示パネル6をユーザーが覗き込むための接眼窓枠121が配置されている。接眼窓枠121は覗き口12を形成し、カメラ筐体1Bに対しては外側(背面側)に突出している。カメラ筐体1Bの背面には、ユーザーからの各種操作を受け付ける操作部材41〜43も配置されている。例えば、操作部材41はタッチ操作を受け付けるタッチパネルであり、操作部材42は各方向に押し倒し可能な操作レバーであり、操作部材43は4方向のそれぞれに押し込み可能な4方向キーである。操作部材41(タッチパネル)は、液晶パネル等の表示パネルを備えており、表示パネルで画像を表示する機能を有する。
図2は、カメラ1内の構成を示すブロック図である。
撮像素子2は例えばCCDやCMOSセンサー等の撮像素子であり、撮影レンズユニット1Aの光学系により撮像素子2の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をA/D変換部(不図示)に出力する。A/D変換部は、撮像素子2により得られたアナログ画像信号をA/D変換し、画像データとして出力する。
撮影レンズユニット1Aは、ズームレンズ、フォーカスレンズ、絞り等を含む光学系で構成され、カメラ筐体1Bに装着された状態で、被写体からの光を撮像素子2に導き、被写体像を撮像素子2の撮像面上に結像する。絞り制御部118、焦点調節部119、ズーム制御部120は、それぞれマウント接点117を介してCPU3からの指示信号を受信し、該指示信号に従い、絞り、フォーカスレンズ、ズームレンズを駆動制御する。
カメラ筐体1Bが備えるCPU3は、カメラ筐体1Bが備える各ブロックに対する制御プログラムをメモリ部4の有するROMより読み出し、メモリ部4の有するRAMに展開して実行する。これによりCPU3は、カメラ筐体1Bが備える各ブロックの動作を制御する。CPU3には、視線検出部201、測光部202、自動焦点検出部203、信号入力部204、表示デバイス駆動部210、光源駆動部205等が接続されている。また、CPU3は、撮影レンズユニット1A内に配置された絞り制御部118、焦点調節部11
9、ズーム制御部120に、マウント接点117を介して信号を伝達する。本実施形態では、メモリ部4は、撮像素子2および視線検出センサー30からの撮像信号の記憶機能を備える。
9、ズーム制御部120に、マウント接点117を介して信号を伝達する。本実施形態では、メモリ部4は、撮像素子2および視線検出センサー30からの撮像信号の記憶機能を備える。
視線検出部201は、視線検出センサー30上に眼球像が結像した状態での視線検出センサー30の出力(眼を撮像した眼画像)をA/D変換し、その結果をCPU3に送信する。CPU3は、後述する所定のアルゴリズムに従って眼画像から視線検出に必要な特徴点を抽出し、特徴点の位置からユーザーの視線(視認用画像における視点)を算出する。
測光部202は、測光センサーの役割を兼ねた撮像素子2から得られる信号、具体的には被写界の明るさに対応した輝度信号の増幅、対数圧縮、A/D変換等を行い、その結果を被写界輝度情報としてCPU3に送る。
自動焦点検出部203は、撮像素子2(例えばCCD)の中に含まれる、位相差検出のために使用される複数の検出素子(複数の画素)からの信号電圧をA/D変換し、CPU3に送る。CPU3は、複数の検出素子の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは撮像面位相差AFとして知られる公知の技術である。本実施形態では、一例として、ファインダー内の視野像(視認用画像)を分割し、撮像面上の分割された180か所のそれぞれに、焦点検出ポイントがあるとする。
光源駆動部205は、CPU3からの信号(指示)に基づいて、後述する赤外LED18,19,22〜27を駆動する。
画像処理部206は、RAMに格納されている画像データに対して、各種画像処理を行う。例えば、光学系や撮像素子に起因する画素欠陥の補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理が行われる。
信号入力部204には、スイッチSW1とスイッチSW2が接続されている。スイッチSW1は、カメラ1の測光、測距、視線検出動作等を開始するためのスイッチであり、レリーズボタン34の第1ストロークでONする。スイッチSW2は、撮影動作を開始するためのスイッチであり、レリーズボタン34の第2ストロークでONする。スイッチSW1,SW2からのON信号は信号入力部204に入力され、CPU3に送信される。また信号入力部204は、図1(b)の操作部材41(タッチパネル)、操作部材42(操作レバー)、操作部材43(4方向キー)からの操作入力も受け付ける。
記録/出力部207は、着脱可能なメモリカード等の記録媒体に画像データを含むデータを記録、またはこれらのデータを外部インターフェースを介して外部装置に出力する。
表示デバイス駆動部210は、CPU3からの信号に基づいて、表示デバイス209を駆動する。表示デバイス209は、後述する表示パネル5,6である。
図3は、図1(a)に示したY軸とZ軸が成すYZ平面でカメラ1を切断した断面図であり、カメラ1の構成を概念的に示した図である。
シャッター32と撮像素子2は撮影レンズユニット1Aの光軸方向に順に並ぶ。
カメラ筐体1Bの背面には表示パネル5が設けられ、表示パネル5は、カメラ1の操作やカメラ1で得られた画像の鑑賞・編集のために、メニュー表示や画像表示を行う。表示パネル5は、バックライト付きの液晶パネルや、有機ELパネル等で構成される。
カメラ筐体1Bに設けられたEVFは、通常のEVFとして表示パネル5のようにメニューや画像の表示が行えることに加えて、EVFを覗くユーザーの視線を検出し、検出結果をカメラ1の制御に反映することが可能な構成となっている。
表示パネル6は、ユーザーがファインダーを覗いているときに、表示パネル5と同様の表示(カメラ1の操作やカメラ1で得られた画像の鑑賞・編集のためのメニュー表示や画像表示)を行う。表示パネル6は、バックライト付きの液晶パネルや、有機ELパネル等で構成される。表示パネル6は一般的なカメラにおける撮影画像と同様に、3:2や4:3、16:9といったX軸方向(水平方向)のサイズがY軸方向(垂直方向)のサイズよりも長い長方形で構成される。
パネルホルダー7は表示パネル6を保持するパネルホルダーで、表示パネル6とパネルホルダー7は接着固定され、表示パネルユニット8を構成している。
第一光路分割プリズム9、第二光路分割プリズム10は貼り付け接着されて光路分割プリズムユニット11(光路分割部材)を構成している。光路分割プリズムユニット11は、表示パネル6からの光を覗き口12に設けられたアイピース窓17に導き、逆にアイピース窓17から導かれる眼(瞳)からの反射光などを視線検出センサー30に導く。
表示パネルユニット8と光路分割プリズムユニット11は、マスク33を挟んで固定され、一体形成されている。
接眼光学系16は、G1レンズ13、G2レンズ14、G3レンズ15により構成される。
アイピース窓17は、可視光を透過する透明な部材である。表示パネルユニット8に表示された画像は、光路分割プリズムユニット11と接眼光学系16とアイピース窓17を通して観察される。
照明窓20,21は、赤外LED18,19,22〜27が外から視認できないように隠すための窓で、可視光を吸収し赤外光を透過する樹脂で構成されている。
図4(a)は、カメラ1のEVF部分の構成を示す斜視図、図4(b)はEVF部分の光軸の横断面図である。
赤外LED18,19,22〜27は、赤外光を発する光源である。赤外LED18,19,23,25は近距離照明用の赤外LEDである。赤外LED22,24,26,27は遠距離照明用の赤外LEDである。なお、赤外LED以外の光源が使用されてもよい。
絞り28、視線結像レンズ29を含む視線検出光学系は、光路分割プリズムユニット11によってアイピース窓17から導かれた赤外反射光を、視線検出センサー30に導く。視線検出センサー30は、CCDやCMOSなどの固体撮像素子で構成される。
ここで、赤外LED18,19,22〜27の少なくともいずれかから、ファインダーを覗いているユーザーの眼球に光が照射された場合を考える。この場合は、図4(b)の光路31aで示すように、光が照射された眼球の光学像(眼球像)が、アイピース窓17、G3レンズ15、G2レンズ14、G1レンズ13を通り、第二光路分割プリズム10の第2面10aから第二光路分割プリズム10内に入る。
第二光路分割プリズムの第1面10bには、赤外光を反射するダイクロイック膜が形成されており、反射光路31bで示すように、第二光路分割プリズム10内に入った眼球像は、第1面10bで、第2面10aの側に反射される。
そして、結像光路31cで示すように、反射された眼球像は、第2面10aで全反射され、第二光路分割プリズム10の第3面10cから第二光路分割プリズム10外へ出て、絞り28を通り、視線結像レンズ29により視線検出センサー30に結像される。視線検出には、このような眼球像と共に、赤外LEDから発せられた光が角膜で正反射して形成された角膜反射像が用いられる。
図5は、近距離照明用の赤外LED18,19,23,25から発せられた光が眼球の角膜37で正反射し、視線検出センサー30で受光されるまでの光路の例を示す。
<視線検出動作の説明>
図6,7(a),7(b),8を用いて、視線検出方法について説明する。ここでは、赤外LED26,27を用いた場合の例について説明するが、その他の赤外LED18,19,22〜25を用いた場合も同様である。図6は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図6に示すように、赤外LED26,27はユーザーの眼球140に赤外光を照射する。赤外LED26,27から発せられて眼球140で反射した赤外光の一部は、視線結像レンズ29によって、視線検出センサー30近傍に結像される。図6では、視線検出方法の原理が理解しやすいよう、赤外LED26,27、視線結像レンズ29、視線検出センサー30の位置が調整されている。
図6,7(a),7(b),8を用いて、視線検出方法について説明する。ここでは、赤外LED26,27を用いた場合の例について説明するが、その他の赤外LED18,19,22〜25を用いた場合も同様である。図6は、視線検出方法の原理を説明するための図であり、視線検出を行うための光学系の概略図である。図6に示すように、赤外LED26,27はユーザーの眼球140に赤外光を照射する。赤外LED26,27から発せられて眼球140で反射した赤外光の一部は、視線結像レンズ29によって、視線検出センサー30近傍に結像される。図6では、視線検出方法の原理が理解しやすいよう、赤外LED26,27、視線結像レンズ29、視線検出センサー30の位置が調整されている。
図7(a)は、視線検出センサー30で撮像された眼画像(視線検出センサー30に投影された眼球像)の概略図であり、図7(b)は視線検出センサー30(例えばCCD)の出力強度を示す図である。図8は、視線検出動作の概略フローチャートを表す。
視線検出動作が開始すると、図8のステップS801で、赤外LED26,27は、光源駆動部205からの指示に従って、ユーザーの眼球140に向けて視線検出用の発光強度E2で赤外光を発する。
ステップS802では、CPU3は、視線検出センサー30による眼画像の取得を開始する。赤外光によって照明されたユーザーの瞳孔像や角膜反射像は、視線結像レンズ29(受光レンズ)を通して視線検出センサー30近傍に結像され、視線検出センサー30により光電変換される。これにより、処理可能な眼画像の電気信号が得られる。眼画像は一定時間おきに取得され続ける。
ステップS803では、視線検出部201(視線検出回路)は、視線検出センサー30から得られた眼画像(眼画像信号;眼画像の電気信号)をCPU3に送る。
ステップS804では、CPU3は、ステップS802で得られた眼画像から、瞳孔中心cに対応する点の座標を求める。
ステップS805では、CPU3は、赤外LED26,27の角膜反射像Pd,Peに対応する2点の座標を求める。
赤外LED26,27より発せられた赤外光は、ユーザーの眼球140の角膜142を照明する。このとき、角膜142の表面で反射した赤外光の一部により形成される角膜反
射像Pd,Peは、視線結像レンズ29により集光され、視線検出センサー30上に結像して、眼画像における角膜反射像Pd’,Pe’となる。同様に瞳孔141の端部a,bからの光も視線検出センサー30上に結像して、眼画像における瞳孔端像a’,b’となる。
射像Pd,Peは、視線結像レンズ29により集光され、視線検出センサー30上に結像して、眼画像における角膜反射像Pd’,Pe’となる。同様に瞳孔141の端部a,bからの光も視線検出センサー30上に結像して、眼画像における瞳孔端像a’,b’となる。
図7(b)は、図7(a)の眼画像における領域α’の輝度情報(輝度分布)を示す。図7(b)では、眼画像の水平方向をX軸方向、垂直方向をY軸方向とし、X軸方向の輝度分布が示されている。本実施形態では、角膜反射像Pd’,Pe’のX座標(X軸方向(水平方向)の座標)をXd,Xeとし、瞳孔端像a’,b’のX座標をXa,Xbとする。図7(b)に示すように、角膜反射像Pd’,Pe’のX座標Xd,Xeでは、極端に高いレベルの輝度が得られる。瞳孔141の領域(瞳孔141からの光が視線検出センサー30上に結像して得られる瞳孔像の領域)に相当する、X座標XaからX座標Xbまでの領域では、X座標Xd,Xeを除いて、極端に低いレベルの輝度が得られる。そして、瞳孔141の外側の虹彩143の領域(虹彩143からの光が結像して得られる、瞳孔像の外側の虹彩像の領域)では、上記2種の輝度の中間の輝度が得られる。具体的には、X座標がX座標Xaより小さい領域と、X座標がX座標Xbより大きい領域とで、上記2種の輝度の中間の輝度が得られる。
図7(b)に示すような輝度分布から、角膜反射像Pd’,Pe’のX座標Xd,Xeと、瞳孔端像a’,b’のX座標Xa,Xbを得ることができる。具体的には、輝度が極端に高い座標を角膜反射像Pd’,Pe’の座標として得ることができ、輝度が極端に低い座標を瞳孔端像a’,b’の座標として得ることができる。また、視線結像レンズ29の光軸に対する眼球140の光軸の回転角θxが小さい場合には、瞳孔中心cからの光が視線検出センサー30上に結像して得られる瞳孔中心像c’(瞳孔像の中心)のX座標Xcは、Xc≒(Xa+Xb)/2と表すことができる。つまり、瞳孔端像a’,b’のX座標Xa,Xbから、瞳孔中心像c’のX座標Xcを算出できる。このようにして、角膜反射像Pd’,Pe’のX座標と、瞳孔中心像c’のX座標とを見積もることができる。
CPU3は、Y座標(Y軸方向(垂直方向)の座標)も同様に算出し、瞳孔中心像c’の座標(Xc,Yc)、角膜反射像Pd’の座標(Xd,Yd)、及び、角膜反射像Pe’の座標(Xe,Ye)を得る。
ステップS806では、CPU3は、眼球像の結像倍率βを算出する。結像倍率βは、視線結像レンズ29に対する眼球140の位置により決まる倍率で、角膜反射像Pd’,Pe’の間隔(Xd−Xe)の関数を用いて求めることができる。
ステップS807では、CPU3は、視線結像レンズ29の光軸に対する眼球140の光軸の回転角を算出する。角膜反射像Pdと角膜反射像Peの中点のX座標と角膜142の曲率中心OのX座標とはほぼ一致する。このため、角膜142の曲率中心Oから瞳孔141の中心cまでの標準的な距離をOcとすると、Z−X平面(Y軸に垂直な平面)内での眼球140の回転角θxは、以下の式1で算出できる。Z−Y平面(X軸に垂直な平面)内での眼球140の回転角θyも、回転角θxの算出方法と同様の方法で算出できる。
β×Oc×SINθx≒{(Xd+Xe)/2}−Xc ・・・(式1)
β×Oc×SINθx≒{(Xd+Xe)/2}−Xc ・・・(式1)
ステップS808では、CPU3は、ステップS807で算出した回転角θx,θyを用いて、表示パネル6に表示された視認用画像におけるユーザーの視点(視線位置;視線が注がれた位置;ユーザーが見ている位置)を求める(推定する)。視点の座標(Hx,Hy)が瞳孔中心cに対応する座標であるとすると、視点の座標(Hx,Hy)は後述する式4,5(または式4’,5’)で算出できる。
ステップS809では、CPU3は、視点の座標(Hx,Hy)をメモリ部4に格納し、視線検出動作を終える。
ここで、眼が所定の位置(本実施形態では接眼光学系16の光軸上)から大きく離れている場合や、眼画像における角膜反射像の数が所定数(発光している赤外LEDの数)と異なる場合に、視線検出精度が低下してしまう。
角膜反射像の数が所定数よりも少ない場合の例を説明する。赤外LED26,27から発せられた赤外光が角膜142の表面で反射して視線検出センサー30に結像するまでの間に、当該赤外光がユーザーのまぶたやまつ毛によって遮光されることがある。その場合には、遮光された赤外光に対応する角膜反射像は形成されないため、角膜反射像の数は2つより少なくなる。角膜反射像の数が1つ以下であると、結像倍率βが算出できないため、視線検出精度が低下してしまう。まぶたやまつ毛によって赤外光が遮光されないようにユーザーがまぶたを大きく開けば、視線検出精度の低下を抑制できる。
角膜反射像の数が所定数よりも多い場合の例を説明する。ユーザーが眼鏡をかけている場合に、眼鏡の位置や向きに依っては、赤外光が眼鏡のレンズの入射面(表面)または射出面(裏面)で反射することにより、眼画像に偽像が発生する。偽像が角膜反射像として誤検出されると、角膜反射像の数(検出数)は2つより多くなる。その結果、偽像の座標に基づいて誤った視線が検出されてしまう(視線検出精度が低下してしまう)。角膜反射像と誤検出されうる範囲に偽像が発生しないように、ユーザーが眼鏡の位置や向きを調整すれば、視線検出精度の低下を抑制できる。
このように、視線検出精度が低下する理由は様々であり、視線検出精度の低下を抑制するための調整方法(表示パネル6を視認する視認状態の調整方法)も様々である。そこで、本実施形態では、視認状態の調整方法を好適に通知する。表示による通知や音声による通知、表示と音声の組み合わせによる通知など、様々な通知が可能であるが、本実施形態では、表示パネル6での表示によって通知が行われる例を説明する。
<キャリブレーション動作の説明>
図9,10(a)〜10(j)を用いて、キャリブレーション動作と通知動作について説明する。図9は、キャリブレーション動作の概略フローチャートを表し、図10(a)〜10(j)は、表示画像や眼画像の一例を表す。視線には個人差があり、当該個人差を考慮しなければ、高精度に視線を検出することができない。そのため、そのような個人差を考慮するためのキャリブレーション動作が必要となる。キャリブレーション動作は、ユーザー個人の視線の特徴に基づく補正値を得るための動作であり、図8の視線検出動作よりも前に行われる。通知動作は、視認状態の調整方法を通知する動作である。本実施形態では、図8の視線検出動作よりも前にユーザーがカメラ1の使用方法(表示パネル6の視認方法;ファインダーの覗き方)に慣れることを期待して、キャリブレーション動作に通知動作を含めるとする。もちろん、図8の視線検出動作に通知動作を含めてもよい。
図9,10(a)〜10(j)を用いて、キャリブレーション動作と通知動作について説明する。図9は、キャリブレーション動作の概略フローチャートを表し、図10(a)〜10(j)は、表示画像や眼画像の一例を表す。視線には個人差があり、当該個人差を考慮しなければ、高精度に視線を検出することができない。そのため、そのような個人差を考慮するためのキャリブレーション動作が必要となる。キャリブレーション動作は、ユーザー個人の視線の特徴に基づく補正値を得るための動作であり、図8の視線検出動作よりも前に行われる。通知動作は、視認状態の調整方法を通知する動作である。本実施形態では、図8の視線検出動作よりも前にユーザーがカメラ1の使用方法(表示パネル6の視認方法;ファインダーの覗き方)に慣れることを期待して、キャリブレーション動作に通知動作を含めるとする。もちろん、図8の視線検出動作に通知動作を含めてもよい。
キャリブレーション動作が開始すると、図9のステップS901で、CPU3は、キャリブレーション用の指標や指示などを、表示パネル6に表示する。例えば、図10(a)に示すように、ユーザーが見る(注視する)べき指標1002と、指標1002を見ることや理想の視認状態(視認方法)などを通知する指示1003とが表示される。表示範囲1001は、表示パネル6の表示範囲(表示面の領域)を示す。
ステップS902〜S905は、図8のステップS801〜S804と同じである。なお、ステップS905では、眼画像に輝度が極端に低い座標が存在しない場合に、CPU3は、瞳孔中心像c’(瞳孔像の中心)の座標(Xc,Yc)が検出(算出)不可能であ
ると判断する。
ると判断する。
ステップS906では、CPU3は、眼画像に瞳孔像が写っているか否か、具体的には瞳孔中心像c’の座標(Xc,Yc)が検出可能であったか否かを判定する。瞳孔像が写っている(座標(Xc,Yc)が検出可能であった)と判定された場合はステップS908に進み、そうでない場合はステップS907に進む。
ステップS907では、CPU3は、所定の位置へ眼を移動させることが通知されるように、表示パネル6の表示を更新する。例えば、図10(b)に示すように、表示パネル6の中心軸(表示面に垂直な中心軸)上または接眼光学系16の光軸上、つまりファインダーの中央に眼を並進移動させることを通知する指示1004が表示される。ここでは、図10(c)に示すように、瞳孔像が視線検出センサー30の視野範囲1005(撮像範囲)の外側に位置するなどの理由から、眼画像に瞳孔像が写っていない。この場合には、CPU3は、瞳孔像の位置の把握が困難であるため、眼の目標位置のみを通知し、眼の移動方向は通知しない。
ステップS908では、CPU3は、眼画像における所定の範囲内に瞳孔像が写っているか否か、具体的には瞳孔中心像c’の座標(Xc,Yc)が所定の範囲内で検出されたか否かを判定する。所定の範囲内に瞳孔像が写っている(所定の範囲内で座標(Xc,Yc)が検出された)と判定された場合は、ステップS910に進む。そうでない場合、つまり所定の範囲内に瞳孔像が写っていない(所定の範囲内で座標(Xc,Yc)が検出されなかった;所定の範囲外に瞳孔像が写っている;所定の範囲外で座標(Xc,Yc)が検出された)と判定された場合は、ステップS909に進む。
本実施形態では、図10(d)に示すように、視線検出センサー30の視野範囲1005が、X座標の閾値Xc1,Xc2とY座標の閾値Yc1,Yc2を境として、9つの領域A1〜A9に分割(区分)されているとする。そして、ステップS908では、CPU3は、Xc1≦Xc≦Xc2かつYc1≦Yc≦Yc2であるか否かを判定するとする。そして、Xc1≦Xc≦Xc2かつYc1≦Yc≦Yc2の場合、つまり中央の領域A5で座標(Xc,Yc)が検出された場合に、ステップS910に進むとする。また、Xc1≦Xc≦Xc2かつYc1≦Yc≦Yc2でない場合、つまり領域A5以外の領域A1〜A4,A6〜A9のいずれかで座標(Xc,Yc)が検出された場合に、ステップS909に進むとする。
ファインダーの中央に眼が位置するようにユーザーが顔の位置や向き(姿勢)を維持していても、ユーザーが眼球を回転させれば、瞳孔像は移動し、座標(Xc,Yc)は変化する。そのように変化した座標(Xc,Yc)は適切な視認状態に対応するため、眼を並進移動をユーザーに促すのは好ましくない。従って、上記変化した座標(Xc,Yc)を含む領域が領域A5として設定されるように閾値Xc1,Xc2,Yc1,Yc2を決定することが好ましい。
ステップS909では、CPU3は、ステップS907と同様に、所定の位置へ眼を移動させることが通知されるように、表示パネル6の表示を更新する。ここでは、CPU3は、瞳孔中心像c’の座標(Xc,Yc)に基づいて、瞳孔像から所定の範囲に向かう方向を判断できる。具体的には、領域A1〜A4,A6〜A9のうち、座標(Xc,Yc)が検出された領域から、領域A5に向かう方向を判断できる。そして、CPU3は、判断した方向に対応する、所定の位置(ファインダーの中央)への眼の移動方向も判断できる。このため、CPU3は、判断した移動方向がさらに通知されるように、表示パネル6の表示を更新する。例えば、図10(e)に示すように、判断した移動方向に眼を並進移動させることを通知する指示1006と、判断した移動方向の矢印1007とが表示される
。図10(d)の状態の場合、つまり座標(Xc,Yc)が領域A7で検出された場合には、図10(e)で示すように、眼を右上に移動させるための指示1006と矢印1007が表示される。
。図10(d)の状態の場合、つまり座標(Xc,Yc)が領域A7で検出された場合には、図10(e)で示すように、眼を右上に移動させるための指示1006と矢印1007が表示される。
ステップS910は、図8のステップS805と同じである。なお、ステップS910では、CPU3は、さらに、眼画像における角膜反射像の数(検出数)をカウントする。
ステップS911では、CPU3は、眼画像における角膜反射像の数(検出数)を所定数と比較する。所定数は、発光している赤外LEDの数(赤外光の照射数)であり、赤外LED26,27のみが発光している場合には2である。検出数=照射数と判定された場合はステップS916に進み、検出数>照射数と判定された場合はステップS912に進み、検出数<照射数と判定された場合はステップS915に進む。
ステップS912では、CPU3は、偽像(偽の角膜反射像)を特定するために、眼鏡を移動させることが通知されるよう、表示パネル6の表示を更新する。
ここでは、角膜反射像の検出数が所定数(赤外光の照射数)よりも多い。図10(f)は、角膜反射像の検出数が赤外光の照射数より多い場合の眼画像の例を示す。図10(f)において、像1008a,1009aは、赤外LED26,27によって照射された赤外光がユーザーの眼鏡のレンズで反射せずに眼の角膜表面でのみ反射して視線検出センサー30に結像した角膜反射像であり、視線検出に必要な像である。像1008b,1009bは、赤外LED26,27によって照射された赤外光が、ユーザーの眼鏡のレンズで反射して視線検出センサー30に結像した偽像であり、視線検出に不要な像である。偽像1008b,1009bは、角膜反射像1008a,1009aと大きさや輝度が似ているため、角膜反射像として誤検出されやすい。そのような誤検出がされた場合に、1枚の眼画像を詳細に解析しても、角膜反射像として検出された像1008a,1009a,1008b,1009bから偽像を特定(判別)するのは困難である。
そこで、ステップS912では、CPU3は、図10(g)に示すように、眼を移動させずに眼鏡のみを移動させること(眼鏡のみの位置や向きを変更させること)を通知する指示1010を表示する。
ステップS913では、CPU3は、複数枚の眼画像に基づいて、検出された複数の角膜反射像から偽像を特定(判別)する。図10(h)は、図10(g)の指示1010に応じてユーザーが眼鏡のみを移動させた後の眼画像の例を示す。図10(h)に示すように、眼鏡のみを移動させた場合には、偽像でない角膜反射像の移動距離は小さく、偽像の移動距離は大きい。このため、複数枚の眼画像から、検出された角膜反射像の移動を検出することで、偽像を特定することができる。
具体的には、CPU3は、公知の画像解析技術である特徴点追跡により、眼鏡の移動前に得られた眼画像と、眼鏡の移動後に得られた眼画像との間の、像(角膜反射像として検出された像)の対応関係を判断する。ここで、眼鏡の移動前に得られた眼画像が図10(f)の眼画像であり、眼鏡の移動後に得られた眼画像が図10(h)の眼画像であるとする。その場合には、図10(h)の像1008a’が図10(f)の像1008aに対応し、像1009a’が像1009aに対応し、像1008b’が像1008bに対応し、像1009b’が像1009bに対応すると判断される。
次に、CPU3は、眼鏡の移動前後での各像の座標に基づいて、眼鏡の移動による各像の移動量(移動距離)を算出する。
そして、CPU3は、移動距離が所定距離以下である像1008a’,1009a’を角膜反射像として特定し、移動距離が所定距離よりも長い像1008b’,1009b’を偽像として特定する。
ステップS914では、CPU3は、偽像除去のために、眼鏡を移動させることが通知されるよう、表示パネル6の表示を更新する。例えば、図10Iに示すように、特定された偽像1008b’,1009b’にそれぞれ対応するアイテム1008b”,1009b”と、眼画像の範囲に対応する範囲のアイテム1005”とが表示される。アイテム1005”の範囲に対するアイテム1008b”,1009b”の相対位置は、図10Hにおける視野範囲1005に対する偽像1008b’,1009b’との相対位置と一致する。偽像1008b’,1009b’が移動すると、アイテム1008b”,1009b”も移動する。そして、アイテム1008b”,1009b”がアイテム1005”の範囲外に移動するように眼鏡を移動させると、偽像1008b’,1009b’が消え、アイテム1008b”,1009b”も消える。このため、図10Iに示すように、眼鏡を移動させてアイテム1008b”,1009b”をアイテム1005”の範囲外に移動させることを通知する指示1011も表示される。
ステップS915では、CPU3は、まぶたの開きを大きくすることを通知するように、表示パネル6の表示を更新する。例えば、図10(j)に示すように、まぶたの開きを大きくすることを通知する指示1012やグラフィック1013が表示される。一般的に、一方の眼のまぶたを閉じると、他方の眼のまぶたの開きは小さくなる。従って、ファインダーを覗いていない眼のまぶたを閉じている場合には、ファインダーを覗いている眼のまぶたの開きは小さい。このため、図10(j)に示すように、両目のまぶたの開きを大きくすること(両目のまぶたを開くこと)を通知する指示が、指示1012として表示される。さらに、そのような通知を行うグラフィック1014が表示される。
ステップS916,S917は、図8のステップS806,S807と同じである。
ステップS918では、CPU3は、ステップS917で算出した回転角θx,θyを用いて、表示パネル6に表示された視認用画像におけるユーザーの視点を求める(推定する)。ここでは、キャリブレーション動作の結果(補正値)が反映されていない視点、つまりユーザー個人の視線の特徴が反映されていない視点が求められる。そのような視点の座標(H’x,H’y)は以下の式2,3で算出できる。
H’x=m×θx ・・・(式2)
H’y=m×θy ・・・(式3)
H’x=m×θx ・・・(式2)
H’y=m×θy ・・・(式3)
式2,3のパラメータmは、カメラ1のファインダー光学系(視線結像レンズ29等)の構成で定まる定数であり、回転角θx,θyを視認用画像において瞳孔中心cに対応する座標に変換する変換係数であり、予め決定されてメモリ部4に格納されるとする。
ステップS919では、CPU3は、ステップS918で算出した座標(H’x,H’y)を用いて、補正値Bx,Byを算出する。
キャリブレーション動作の結果(補正値Bx,By)が反映された視点、つまりユーザー個人の視線の特徴が反映された視点の座標(Hx,Hy)は、以下の式4,5で表される。
Hx=m×(θx+Bx) ・・・(式4)
Hy=m×(θy+By) ・・・(式5)
Hx=m×(θx+Bx) ・・・(式4)
Hy=m×(θy+By) ・・・(式5)
ここでは、図10(a)などに示す指標1002をユーザーが注視しているはずであり
、指標1002は表示範囲1001の中央に表示されているため、正しい視点の座標(Hx,Hy)は(0,0)である。そのため、座標(Hx,Hy)=(0,0)と、式2〜5とから、補正値Bx=−H’x/mと、補正値By=−H’y/mとが算出できる。
、指標1002は表示範囲1001の中央に表示されているため、正しい視点の座標(Hx,Hy)は(0,0)である。そのため、座標(Hx,Hy)=(0,0)と、式2〜5とから、補正値Bx=−H’x/mと、補正値By=−H’y/mとが算出できる。
ステップS920では、CPU3は、ステップS918で算出した補正値Bx,Byをメモリ部4に格納し、キャリブレーション動作を終える。
なお、キャリブレーション動作において、ユーザーが見るべき指標として、表示範囲1001の中央に表示される指標1002を用いる例を説明したが、ユーザーが見るべき指標の位置は表示範囲1001の中央に限られない。例えば、表示範囲1001の中央から上下左右のいずれかの方向にずれた位置に、ユーザーが見るべき指標が表示されてもよい。
ユーザーが複数の位置を順番に見るように、ユーザーが見るべき複数の指標が順番に又は共に表示されてもよい。その場合は、例えば、ステップS808,S919などで使用される(考慮される)式4,5を、以下の式4’,5’に置き換える。
Hx=m×(Ax×θx+Bx) ・・・(式4’)
Hy=m×(Ay×θy+By) ・・・(式5’)
Hx=m×(Ax×θx+Bx) ・・・(式4’)
Hy=m×(Ay×θy+By) ・・・(式5’)
この場合には、ステップS918では、CPU3は、ユーザーが見るべき複数の指標のそれぞれについて、視点の座標(H’x,H’y)を算出する。ステップS919では、CPU3は、複数の指標のそれぞれについて視点の座標(Hx,Hy)の誤差(座標(Hx,Hy)と正しい座標との差)が最小となるように、補正値Ax,Ay,Bx,Byを算出する。ステップS920では、CPU3は、補正値Ax,Ay,Bx,Byをメモリ部4に格納する。このようにキャリブレーション動作を行うことで、より高精度な視線検出を行うことが可能となる。
以上説明したように、本実施形態によれば、眼画像における瞳孔像の位置と、眼画像における角膜反射像の数(検出数)との少なくとも一方に基づいて、表示部を視認する視認状態の調整方法が通知される。これにより、眼の位置(顔の位置や向き)、眼鏡の位置、眼鏡の向きなどの調整をユーザーが容易に行うことができ、ひいては検出精度の高い視線検出を行うことができる。
(変形例)
前述した実施形態では、正面を見ているユーザーの視線と視線検出用の光学系の光軸が一致する構成について例示的に説明したが、これに限定されるものではない。例えば、視線検出の方式としては、正面を見ているユーザーの視線と視線検出に係る眼球像の撮影軸とが異なるような、所謂軸外系視線検出方式を採用する構成であってもよい。すなわち、ユーザーの眼球を他の光学系を介することなく直接視線検出ユニットで検出する方式を採用してもよい。この場合、前述した接眼光学系16を介することなくユーザーの眼球像を撮像する視線検出センサーを、接眼光学系16の光軸外に配し、前述した表示パネル6を視認している状態のユーザー眼球を、該光軸に対して斜め方向から撮像するような構成であればよい。
前述した実施形態では、正面を見ているユーザーの視線と視線検出用の光学系の光軸が一致する構成について例示的に説明したが、これに限定されるものではない。例えば、視線検出の方式としては、正面を見ているユーザーの視線と視線検出に係る眼球像の撮影軸とが異なるような、所謂軸外系視線検出方式を採用する構成であってもよい。すなわち、ユーザーの眼球を他の光学系を介することなく直接視線検出ユニットで検出する方式を採用してもよい。この場合、前述した接眼光学系16を介することなくユーザーの眼球像を撮像する視線検出センサーを、接眼光学系16の光軸外に配し、前述した表示パネル6を視認している状態のユーザー眼球を、該光軸に対して斜め方向から撮像するような構成であればよい。
以下、光路分割プリズムユニット11を使用せず、直接ユーザーの視線を検出する方式を用いた変形例について説明する。なお、本変形例に係る撮像装置であるカメラ1の基本的な構成および駆動方法については、前述した実施形態と略同一であるため、各部に付す符号は同一とし、説明は省略する。本変形例では、前述した実施形態と異なる構成について、以下で詳細に説明する。
図11は、本変形例に係るカメラ1の断面図の一例である。図11において、表示パネルユニット8には、カバーガラス1101が配置されている。すなわち、前述した実施形態に対して、本変形例では、カメラ1の内部から光路分割プリズムユニット11(光路分割部材)を除外し、カバーガラス1101を新たに備える点が異なる。カバーガラス1101は、素通しのガラス部材であり、前述した実施形態における光路分割プリズム11に比べて、EVF部分の光軸方向における厚みを薄型化できる。したがって、本変形例に係るカメラ1では、接眼光学系16を表示パネルユニット8に近接させることにより、接眼光学系16の表示倍率を大きくすることができるなど、光学性能を向上させることができる。
また、図11に図示するように、赤外LED18と並んで、視線結像レンズ1102aと視線検出センサー1102bにより形成される視線検出モジュール1102が配されている。視線検出モジュール1102は、接眼光学系16の光軸(すなわちEVF部分の光軸)に対して所定の角度θだけ傾いて配されており、撮影者の眼球を、照明窓20を介して直接撮像することができる。本変形例では、視線結像レンズ1102aの光軸と接眼光学系16の光軸との成す角度が所定の角度θであるとする。
ここで、本変形例における視線検出モジュール1102は、接眼光学系16を介することなく被写体の眼球を撮像するため、視線検出センサー1102bに投影される眼球像の大きさや位置が、視線検出モジュール1102と撮影者の眼球との距離に応じて変化する。
また、本変形例のように、視線検出モジュール1102が撮影者の眼球に対して下側に位置する場合は、撮影者の眼球までの距離に応じて視線検出センサー1102b上に結像する眼球像の倍率(大きさ)が変化しながら、眼球像が上下方向に移動する。なお、カメラ1におけるEVF部分が配された側を上側とする。したがって、本変形例における視線検出センサー1102bの撮像範囲1201(図12(a),12(b))は、前述した実施形態と比較して上下方向に拡大される。なお、仮に、撮影者の眼球に対して左右側に視線検出モジュール1102を配置した場合は、撮影者の眼球との距離により眼球像が左右方向に移動するため、撮像範囲が左右方向に拡大した撮像範囲とすることが望ましい。
図12(a),12(b)は、本変形例に係る視線検出センサー1102b上に結像する撮影者の眼球像を例示的に説明する図である。図12(a)は、撮影者の眼球が視線検出センサー1102bに近い場合を示し、図12(b)は撮影者の眼球が視線検出センサー1102bから遠い場合を示している。すなわち、図12(a),12(b)に図示するように、視線検出センサー1102bと撮影者(の眼球)との距離に応じて、検出に用いる眼画像に占める眼球像の割合や眼画像における眼球像の位置も変化する。
そこで、本変形例では、図12(a),12(b)に図示するように、視線検出センサー1102bと撮影者(の眼球)までの距離に応じて、視線センサー1102b上の眼球を検出する範囲を範囲1202や範囲1203のように変化させる。すなわち、本変形例では、上述した範囲内の眼球像の有無を検出し、前述した実施形態のような種々の通知をユーザーに対して表示する。なお、視線検出センサー1102bと撮影者との距離は、前述した実施形態のように角膜反射像を用いた結像倍率βに基づいて算出してもよいし、眼球像における虹彩部の大きさに基づいて推定してもよい。
なお、上述した実施形態(変形例を含む)はあくまで一例であり、本発明の要旨の範囲内で上述した構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上述した構成を適宜組み合わせて得られる構成も、本発明に含まれる。例えば、上述した実施形態(変形例を含む)では、撮像装置に設けられたEVF部分に視線検出
ユニットを設ける構成について説明したが、これに限定されるものではない。前述した視線検出ユニットを備える(組み合わせる)電子機器としては、例えば、ヘッドマウントディスプレイなど、どのような機器であってもよい。
ユニットを設ける構成について説明したが、これに限定されるものではない。前述した視線検出ユニットを備える(組み合わせる)電子機器としては、例えば、ヘッドマウントディスプレイなど、どのような機器であってもよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:カメラ 3:CPU 6:表示パネル 30:視線検出センサー
Claims (16)
- 表示手段を見る眼を撮像した眼画像を取得可能な電子機器であって、
前記眼画像に基づいて視線検出を行う検出手段と、
前記眼画像における瞳孔像の位置と、前記眼画像における角膜反射像の数との少なくとも一方に基づいて、前記表示手段を視認する視認状態の調整方法に関する所定の通知を行うように制御する制御手段と
を有することを特徴とする電子機器。 - 前記制御手段は、視線検出に関するキャリブレーション動作中における前記眼画像に基づいて、前記所定の通知を行う
ことを特徴とする請求項1に記載の電子機器。 - 前記制御手段は、前記眼画像における所定の範囲内に前記瞳孔像が写っていない場合に、前記所定の通知として、前記所定の範囲に対応する所定の位置へ前記眼を移動させることの通知を行うように制御する
ことを特徴とする請求項1または2に記載の電子機器。 - 前記所定の範囲外に前記瞳孔像が写っている場合に、前記制御手段は、前記所定の通知として、前記瞳孔像から前記所定の範囲に向かう方向に対応する、前記所定の位置への前記眼の移動方向の通知をさらに行うように制御する
ことを特徴とする請求項3に記載の電子機器。 - 前記移動方向の通知は、前記表示手段での矢印の表示を含む
ことを特徴とする請求項4に記載の電子機器。 - 前記制御手段は、前記角膜反射像の数が所定数よりも少ないか否かを判定し、当該判定の結果に基づいて、前記所定の通知の通知内容を異ならせるように制御する
ことを特徴とする請求項1に記載の電子機器。 - 前記角膜反射像の数が前記所定数よりも少ない場合に、前記制御手段は、前記所定の通知として、まぶたの開き度合いに関する内容の通知を行うように制御する
ことを特徴とする請求項6に記載の電子機器。 - 前記まぶたの開き度合いに関する内容は、まぶたの開きを大きくすることである
ことを特徴とする請求項7に記載の電子機器。 - 前記角膜反射像の数が所定数よりも多い場合に、前記制御手段は、前記所定の通知として、眼鏡の移動に関する内容の通知を行うように制御する
ことを特徴とする請求項6記載の電子機器。 - 前記制御手段は、
前記眼鏡の移動に関する内容の通知を行うように制御した後に、
所定距離よりも長い距離を移動した角膜反射像に対応する第1のアイテムと、前記眼画像の範囲に対応する範囲の第2のアイテムとを、前記表示手段に表示するように制御し、
前記眼鏡を移動させて前記第1のアイテムを前記第2のアイテムの範囲外に移動させることの通知を行うように制御する
ことを特徴とする請求項9に記載の電子機器。 - 前記視線検出に関するキャリブレーション動作中の状態は、前記表示手段にキャリブレーション用のアイテムを表示している状態である
ことを特徴とする請求項1に記載の電子機器。 - 視線検出センサーを更に備え、
前記視線検出センサーは、前記表示手段と接眼部との間に設けられた前記表示手段用の光学系を介して入射した光学像に基づいて前記眼画像を取得可能である
ことを特徴とする請求項1乃至11の何れか1項に記載の電子機器。 - 視線検出センサーを更に備え、
前記視線検出センサーは、前記表示手段と接眼部との間に設けられた前記表示手段用の光学系を介することなく、入射した光学像に基づいて前記眼画像を取得可能であり、
前記検出手段は、前記視線検出センサーと撮影者との距離に関する情報に応じて、前記眼画像において視線検出を行う範囲を変更する
ことを特徴とする請求項1乃至11の何れか1項に記載の電子機器。 - 表示手段を見る眼を撮像した眼画像を取得可能な電子機器の制御方法であって、
前記眼画像に基づいて視線検出を行うステップと、
前記眼画像における瞳孔像の位置と、前記眼画像における角膜反射像の数との少なくとも一方に基づいて、前記表示手段を視認する視認状態の調整方法に関する所定の通知を行うように制御するステップと
を有することを特徴とする制御方法。 - コンピュータを、請求項1乃至13のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至13のいずれか1項に記載の電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/316,409 US11822714B2 (en) | 2020-05-15 | 2021-05-10 | Electronic device and control method for capturing an image of an eye |
CN202110526495.1A CN113676623A (zh) | 2020-05-15 | 2021-05-14 | 电子设备及其控制方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020085960 | 2020-05-15 | ||
JP2020085960 | 2020-05-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021182736A true JP2021182736A (ja) | 2021-11-25 |
Family
ID=78606841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021052724A Pending JP2021182736A (ja) | 2020-05-15 | 2021-03-26 | 電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021182736A (ja) |
-
2021
- 2021-03-26 JP JP2021052724A patent/JP2021182736A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230013134A1 (en) | Electronic device | |
US20210034151A1 (en) | Electronic device, control method, and non-transitory computer readable medium | |
US11822714B2 (en) | Electronic device and control method for capturing an image of an eye | |
US20220329740A1 (en) | Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium | |
JP2021182736A (ja) | 電子機器 | |
JP2022096819A (ja) | 視線検出装置 | |
JP2021125867A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、およびプログラム | |
WO2021210225A1 (ja) | 電子機器 | |
JP2016197816A (ja) | ヘッドマウントディスプレイ及び制御方法 | |
US20230224561A1 (en) | Display apparatus, finder apparatus, and imaging apparatus | |
US11971552B2 (en) | Electronic device, method of controlling the same, and storage medium | |
JP2022124778A (ja) | 電子機器 | |
CN114341728B (zh) | 观察***、观察***的控制方法、存储介质 | |
US20230092593A1 (en) | Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor | |
US20240085979A1 (en) | Recording device, image-capturing apparatus, control method, and recording system | |
JP2021064928A (ja) | 電子機器 | |
JP2023040771A (ja) | 視線検出装置 | |
JP2023063023A (ja) | 電子機器及び電子機器の制御方法 | |
JP2024003432A (ja) | 電子機器 | |
JP2023087377A (ja) | 視線検出装置 | |
JP2023083695A (ja) | 電子機器 | |
JP2022171084A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2023003735A (ja) | 視線検出装置、撮像装置、視線検出方法、プログラム、および、記憶媒体 | |
JP2021076832A (ja) | 撮像装置、電子機器、ファインダーユニット | |
CN114631304A (zh) | 摄像设备、电子装置、取景器单元 |