JP2023074878A - Visual line detecting apparatus, method of controlling visual line detecting apparatus, and program - Google Patents
Visual line detecting apparatus, method of controlling visual line detecting apparatus, and program Download PDFInfo
- Publication number
- JP2023074878A JP2023074878A JP2021188045A JP2021188045A JP2023074878A JP 2023074878 A JP2023074878 A JP 2023074878A JP 2021188045 A JP2021188045 A JP 2021188045A JP 2021188045 A JP2021188045 A JP 2021188045A JP 2023074878 A JP2023074878 A JP 2023074878A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- index
- display
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、視線検出装置、視線検出装置の制御方法およびプログラムに関する。 The present invention relates to a line-of-sight detection device, a line-of-sight detection device control method, and a program.
視線を検出する視線検出装置が従来から知られている（例えば、特許文献１および特許文献２参照）。特許文献１に記載の視線検出装置では、被験者に注視させるための指標を表示装置に複数表示させて、当該複数の指標の相対位置と、各指標を見せたときの眼の角膜反射像の相対位置とに基づいて、被験者の視機能の評価データを出力している。また、特許文献１に記載の視線検出装置では、表示装置上での各指標は静止している。特許文献２に記載の視線検出装置では、表示装置（画像表示装置）に表示される映像（スルー画像）から被写体の顔検出、視線検出を順に行い、その検出結果に基づいて、被写体のカメラ目線を判断している。
A line-of-sight detection device that detects a line of sight is conventionally known (see, for example,
視線の位置を示す指標を表示装置に表示する場合、例えば視線検出装置の制御部での処理時間や視線検出対象者の眼の固視微動等の諸条件によって、表示装置上では、指標の位置と、実際の（現在の）視線の位置とがズレる、すなわち、異なることがある。 When an index indicating the position of the line of sight is displayed on the display device, the position of the index on the display device may vary depending on various conditions, such as the processing time in the control unit of the line of sight detection device and the involuntary eye movement of the eye of the target of the line of sight detection. and the actual (current) line-of-sight position may deviate, that is, be different.
本発明は、表示部上での移動体に対して、視線位置表示用指標を正確な位置に表示することができる視線検出装置、視線検出装置の制御方法およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a line-of-sight detection device, a control method for the line-of-sight detection device, and a program capable of displaying a line-of-sight position indicator at an accurate position with respect to a moving object on a display unit. .
上記目的を達成するために、本発明の視線検出装置は、移動体を視認しているユーザの瞳の画像を撮影する撮影部と、画像に基づいてユーザの視線の位置を検出する視線検出部と、視線の位置を示す視線位置表示用指標と移動体とを表示可能な表示部と、を備える視線検出装置であって、ユーザに視線で追跡させる視線追跡検出用指標を表示部に表示させつつ、移動させる制御を行う制御手段と、表示部上での移動体に対する視線位置表示用指標の位置を補正する補正手段と、を備え、補正手段は、ユーザが視線追跡検出用指標を視線で追跡した際に、視線の位置と視線追跡検出用指標との位置関係を検出し、視線位置表示用指標と移動体とを表示部に表示する際に、位置関係に基づいて、視線位置表示用指標の位置を補正することを特徴とする。 In order to achieve the above object, the line-of-sight detection device of the present invention includes a photographing unit for capturing an image of the eyes of a user who is visually recognizing a moving object, and a line-of-sight detection unit for detecting the position of the user's line of sight based on the image. and a display unit capable of displaying a line-of-sight position display index indicating the line-of-sight position and a moving object, wherein the display unit displays the line-of-sight tracking detection index to be tracked by the user's line of sight. and a correction means for correcting the position of the line-of-sight position display index with respect to the moving object on the display unit. At the time of tracking, the positional relationship between the line-of-sight position and the eye-tracking detection index is detected, and when the line-of-sight position display index and the moving object are displayed on the display unit, the line-of-sight position display indicator is calculated based on the positional relationship. It is characterized by correcting the position of the index.
本発明によれば、表示部上での移動体に対して、視線位置表示用指標を正確な位置に表示することができる。 According to the present invention, the line-of-sight position indicator can be displayed at an accurate position with respect to the moving object on the display unit.
以下、本発明の実施形態について図１～図１３を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。 Embodiments of the present invention will be described in detail below with reference to FIGS. 1 to 13. FIG. However, the configurations described in the following embodiments are merely examples, and the scope of the present invention is not limited by the configurations described in the embodiments.
図１は、視線検出装置が搭載されたデジタルスチルカメラの内部構成を示す概略図である。図１に示すように、デジタルスチルカメラ（撮像装置）１は、撮影レンズ１Ａと、撮影レンズ１Ａが着脱自在に装着されるカメラ本体のカメラ筐体１Ｂと、を有するレンズ交換式カメラである。カメラ筐体１Ｂには、撮像素子２、ＣＰＵ３、メモリ部４、表示素子（表示部）１０、表示素子駆動回路１１、接眼レンズ１２、視線検出装置５が内蔵されている。ＣＰＵ３は、マイクロコンピュータの中央処理装置であり、カメラ全体の作動を制御する。また、図示は省略するが、メモリ部４とは別のメモリ部もカメラ筐体１Ｂに内蔵されている。このメモリ部には、視線検出装置５を含むデジタルスチルカメラ１の各部や各手段等の作動（視線検出装置の制御方法）をＣＰＵ３（コンピュータ）に実行させるためのプログラムが記憶されている。撮像素子２は、デジタルスチルカメラ１の撮影レンズ１Ａの予定結像面に配置されており、被写体を撮像することができる。メモリ部４は、撮像素子２および眼球用撮像素子（撮影部）１７で撮像された被写体の画像を記録する、すなわち、撮像素子２および眼球用撮像素子１７からの撮像信号の記憶機能を有する。また、メモリ部４は、後述する視線の個人差を補正する視線補正データの記憶機能を有する。表示素子１０は、液晶等で構成され、例えば撮像素子２で撮像された被写体の画像等を表示することができる。表示素子駆動回路１１は、表示素子１０を駆動する。これにより、表示素子１０に画像等が表示される。接眼レンズ１２は、ユーザ（撮影者）が表示素子１０に表示された被写体の画像を観察する際に、ユーザが覗き込むレンズである。また、カメラ筐体１Ｂの背面側には、操作部材４１、操作部材４２、操作部材４３が配置されている。操作部材４１～操作部材４３は、例えば、デジタルスチルカメラ１の撮像条件（作動条件）等を設定する際に用いられる。
FIG. 1 is a schematic diagram showing the internal configuration of a digital still camera equipped with a line-of-sight detection device. As shown in FIG. 1, a digital still camera (imaging device) 1 is an interchangeable lens type camera having a photographing
カメラ筐体１Ｂには、視線検出装置５が内蔵されている。視線検出装置５は、ユーザの視線の位置を検出する装置であり、光源１３ａ、光源１３ｂ、光分割器１５、受光レンズ１６、眼球用撮像素子１７を有する。光源１３ａ、光源１３ｂは、角膜反射による反射像と瞳孔との関係に基づいて、視線方向を検出するためにユーザの眼球（瞳）１４を照明するための装置である。光源１３ａ、光源１３ｂは、接眼レンズ１２の周囲に配置された赤外発光ダイオードで構成されている。光源１３ａ、光源１３ｂで照明された眼球像と、光源１３ａ、光源１３ｂの角膜反射による像とは、接眼レンズ１２を透過して、光分割器１５で反射される。そして、これらの像は、受光レンズ１６によって眼球用撮像素子１７上に結像される。眼球用撮像素子１７は、ＣＭＯＳ等の光電素子列が２次元的に配置された素子である。受光レンズ１６は、撮影者の眼球１４の瞳孔と眼球用撮像素子１７とを共役な結像関係に位置付けている。視線検出装置５では、眼球用撮像素子１７上に結像された眼球１４と、光源１３ａ、光源１３ｂの角膜反射による像との位置関係に基づいて、後述する所定のアルゴリズムで視線の位置（視線方向）を検出することができる。なお、光源１３ａ、光源１３ｂで照明された眼球１４を、接眼レンズ１２と光分割器１５を介さずに、直接眼球用撮像素子１７で撮像する構成としてもよい。この場合、表示素子１０と干渉しない位置に眼球用撮像素子１７と受光レンズ１６とを配置して、分取得画像に光学補正をかければよい。
A line-of-
撮影レンズ１Ａは、レンズ１０１、レンズ１０２、絞り１１１、絞り駆動装置１１２、レンズ駆動用モータ１１３、レンズ駆動部材１１４、フォトカプラ１１５、パルス板１１６、マウント接点１１７、焦点調節回路118を有する。撮影レンズ１Ａは、本実施形態ではレンズ１０１およびレンズ１０２の２枚のレンズを有するが、レンズの枚数については、２枚に限定されない。レンズ１０１とレンズ１０２との間には、絞り１１１が配置されている。絞り駆動装置１１２は、絞り１１１を駆動させる装置である。レンズ駆動用モータ１１３は、駆動ギヤ等からなるレンズ駆動部材１１４に連結され、このレンズ駆動部材１１４を介して、レンズ１０１およびレンズ１０２のうちの少なくとも一方のレンズを移動させるモータである。フォトカプラ１１５は、レンズ駆動部材１１４に連動するパルス板１１６の回転を検出して、その検出結果を焦点調節回路118に伝える。焦点調節回路１１８は、フォトカプラ１１５の検出結果とカメラ本体側からのレンズ駆動量の情報とに基づいて、レンズ駆動用モータ１１３を所定量駆動させる。これにより、前記一方のレンズを合焦点位置に移動させることができる。マウント接点１１７は、カメラ本体と撮影レンズ１Ａとの通信可能に接続するインターフェイスとなる。
The photographing
図２は、図１に示すデジタルスチルカメラの電気的な構成を示すブロック図である。図２に示すように、カメラ筐体１Ｂ内では、視線検出回路（視線検出部）２０１、測光回路２０２、自動焦点検出回路２０３、信号入力回路２０４、表示素子駆動回路１１、光源駆動回路２０５がそれぞれＣＰＵ３と通信可能に接続されている。また、撮影レンズ１Ａ内には、絞り駆動装置１１２に含まれる絞り制御回路２０６と、焦点調節回路１１８とが配置されており、これらの回路は、マウント接点１１７を介してカメラ本体と間で信号の伝達がなされる。視線検出回路２０１は、眼球用撮像素子１７で眼球像が結像することによる出力をＡ／Ｄ変換し、この像情報をＣＰＵ３に送信する。ＣＰＵ３は、視線検出に必要な眼球像の各特徴点を、後述する所定のアルゴリズムに従って抽出する。そして、ＣＰＵ３は、各特徴点の位置からユーザの視線を算出する。このように、視線検出回路２０１は、ユーザの眼球の画像に基づいて、ユーザの視線の位置を検出する視線検出部となっており、視線検出装置５の一部を構成している。測光回路２０２は、測光センサの機能も兼ねる撮像素子２から得られる信号を元に、被写界の明るさに対応した輝度信号出力を増幅後、対数圧縮、Ａ／Ｄ変換し、この情報を被写界輝度情報として、ＣＰＵ３に送る。自動焦点検出回路２０３は、撮像素子２におけるＣＭＯＳ等の光電変換素子列の中に含まれる、位相差検出の為に使用される複数の画素からの信号電圧をＡ／Ｄ変換し、ＣＰＵ３に送る。ＣＰＵ３は、前記複数の画素の信号から、各焦点検出ポイントに対応する被写体までの距離を演算する。これは位相差ＡＦとして知られる公知の技術である。信号入力回路２０４には、不図示のレリーズボタンの第１ストロークでＯＮし、カメラの測光、測距、視線検出動作等を開始するためのスイッチであるＳＷ１が電気的に接続される。また、信号入力回路２０４には、レリーズボタンの第２ストロークでＯＮし、レリーズ動作を開始するためのスイッチであるＳＷ２が電気的に接続される。そして、各スイッチからの信号が信号入力回路２０４に入力され、ＣＰＵ３に送信される。光源駆動回路２０５は、光源１３ａ、光源１３ｂを駆動させる回路である。これにより、光源１３ａ、光源１３ｂは、それぞれ、ユーザ（眼球１４）にとって不感の赤外線ＩＦを照射する発光ダイオードである。
FIG. 2 is a block diagram showing the electrical configuration of the digital still camera shown in FIG. As shown in FIG. 2, a line-of-sight detection circuit (line-of-sight detection unit) 201, a
図３は、光源から眼球に赤外線が照射されている状態を示す模式図である。図４は、図３に示す状態の下で視線の位置（視線）を検出する原理を説明するための図である。なお、図４（ａ）は、眼球用撮像素子に投影される眼球像の概略図であり、図４（ｂ）は、眼球像の輝度分布を示した図である。また、図３および図４では、それぞれ、Ｘ軸方向が水平方向、Ｙ軸方向が鉛直方向となっており、Ｚ軸方向がＸ軸方向およびＹ軸方向と直交する方向（受光レンズ１６の光軸方向）となっている。 FIG. 3 is a schematic diagram showing a state in which an eyeball is irradiated with infrared light from a light source. FIG. 4 is a diagram for explaining the principle of detecting the line-of-sight position (line-of-sight) under the condition shown in FIG. FIG. 4(a) is a schematic diagram of an eyeball image projected onto an eyeball imaging element, and FIG. 4(b) is a diagram showing the luminance distribution of the eyeball image. 3 and 4, the X-axis direction is the horizontal direction, the Y-axis direction is the vertical direction, and the Z-axis direction is the direction orthogonal to the X-axis direction and the Y-axis direction (the direction of the light from the light receiving lens 16). axial direction).
図３に示すように、光源１３ａと光源１３ｂとは、受光レンズ１６の光軸を対称の軸として、線対称に配置されている。なお、この配置構成は、視線検出原理の理解を容易にするために、図１に示す配置構成とは異なっている。光源１３ａおよび光源１３ｂからは、それぞれ、ユーザの眼球１４に向かって赤外線ＩＦが照射されている。そして、眼球１４の角膜１４２で反射した赤外線ＩＦの一部は、受光レンズ１６で集光されて、眼球用撮像素子１７で結像する。
As shown in FIG. 3, the
図４を参照して、ユーザの視線の位置を検出する原理について説明する。この原理の流れとしては、眼球像の中から、特徴点として、光源１３ａ、１３ｂによる角膜反射像Ｐｄ、角膜反射像Ｐｅおよび瞳孔中心（瞳孔の輪郭中心）ｃを検出する。そして、この検出結果に基づいて、眼球１４の回転角（回転角θ、回転角θｙ）を算出する。この回転角とキャリブレーションデータとより、表示素子１０上におけるユーザの視線の位置を検出することができる。
The principle of detecting the position of the user's line of sight will be described with reference to FIG. As a flow of this principle, the corneal reflection image Pd by the
まず、角膜反射像Ｐｄ、角膜反射像Ｐｅの検出について説明する。図４（ａ）では、眼球用撮像素子１７上で、角膜反射像Ｐｄが結像した位置を座標（Ｘａ，Ｙａ）とし、角膜反射像Ｐｅが結像した位置を座標（Ｘｂ，Ｙｂ）とする。なお、一例として、Ｙａ＝Ｙｂとする。そして、図４（ａ）における眼球像のＸ軸方向に沿った任意の１行分（以下「検索行」と言う）の輝度分布（輝度情報）を示すと、座標（Ｘａ，Ｙａ）および座標（Ｘｂ，Ｙｂ）を含む検索行では、図４（ｂ）に示す輝度分布が得られる。図４（ｂ）に示すように、座標（Ｘａ，Ｙａ）および座標（Ｘｂ，Ｙｂ）では、輝度閾値ＴＨ１以上の極端に強いレベルの輝度が得られている。そして、検索行をＹ軸方向に沿って走査して、各検索行での輝度のレベル判定を順次処理する。この処理に基づいて、眼球像全体に対して輝度閾値ＴＨ１以上となった座標を検出して、当該検出された座標群の重心を演算することにより、角膜反射像Ｐｄの座標（Ｘａ，Ｙａ）と角膜反射像Ｐｅの座標（Ｘｂ，Ｙｂ）とを検出することができる。
First, detection of the corneal reflection image Pd and the corneal reflection image Pe will be described. In FIG. 4A, the position where the corneal reflection image Pd is formed on the
次に、瞳孔１４１の瞳孔中心ｃの検出について説明する。図４（ｂ）では、瞳孔１４１の輪郭部の一部である瞳孔端ａの座標を（Ｘｃ，Ｙｃ）、瞳孔端ｂの座標を（Ｘｄ，Ｙｄ）とする。図４（ｂ）に示すように、瞳孔１４１の領域は、座標（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）を除き、輝度閾値ＴＨ２以下の低いレベルの輝度が得られる。これに対し、瞳孔１４１の外側の光彩１４３の領域に相当する部分では、輝度閾値ＴＨ１と輝度閾値ＴＨ２との間である中間レベルの輝度が得られる。つまり、輝度閾値ＴＨ１以下である輝度閾値ＴＨ２近傍で輝度変化があり、かつ、輝度閾値ＴＨ２と同じ輝度レベルの画素座標（Ｘｃ，Ｙｃ）、（Ｘｄ，Ｙｄ）を瞳孔１４１の輪郭部と判定する。この判定を前記検索行と、眼球像のＹ軸方向に沿った検索列とを変えて、輝度のレベル判定を順次処理することにより、眼球像全体に対して瞳孔１４１の輪郭部全体の座標を検出することができる。この瞳孔１４１の輪郭座標に対して真円近似法を用いることにより、瞳孔中心ｃの座標および瞳孔１４１の半径ｒを演算することができる。例えば輪郭座標が２０個あるとし、各輪郭座標（Ｘｉ，Ｙｉ）、ｉ＝１～２０で表した場合、瞳孔中心ｃの座標（Ｘ０、Ｙ０）と半径ｒとは、次式より求めることができる。
Next, detection of the pupil center c of the
なお、αは、Ｘ０を算出するための一時変数、βは、Ｙ０を算出するための一時変数、γは、ｒを算出するための一時変数である。 is a temporary variable for calculating X0, .beta. is a temporary variable for calculating Y0, and .gamma. is a temporary variable for calculating r.
次に、眼球像の結像倍率βを算出する。βは受光レンズ１６に対する眼球１４の位置により決まる倍率で、実質的には角膜反射像Ｐｄ、角膜反射像Ｐｅの間隔の関数として求めることができる。
Next, the imaging magnification β of the eyeball image is calculated. β is a magnification determined by the position of the
角膜反射像Ｐｄと角膜反射像Ｐｅとの中点の座標と、角膜１４２の曲率中心Ｏの座標とは、ほぼ一致する。そのため、角膜１４２の曲率中心Ｏと瞳孔１４１の瞳孔中心ｃまでの標準的な距離をＯｃとすると、眼球１４の光軸のＹ軸回り回転角θｘは、次式より求めることができる。
β*Ｏｃ*ＳＩＮθｘ≒（（Ｘａ＋Ｘｂ）／２）－Ｘ０・・・（３）
The coordinates of the midpoint between the corneal reflection image Pd and the corneal reflection image Pe and the coordinates of the center of curvature O of the cornea 142 substantially match. Therefore, if the standard distance between the center of curvature O of the cornea 142 and the pupil center c of the
β*Oc*SINθx≈((Xa+Xb)/2)-X0 (3)
また、図３では、ユーザの眼球１４がＹ軸回りに回転する場合の回転角θｘを算出する例を示しているが、ユーザの眼球１４がＸ軸回りに回転する場合の回転角θｙは、次式より求めることができる。
β*Ｏｃ*ＳＩＮθｙ≒（（Ｙａ＋Ｙｂ）／２）－Ｙ０・・・（４）
FIG. 3 shows an example of calculating the rotation angle θx when the user's
β*Oc*SINθy≈((Ya+Yb)/2)-Y0 (4)
そして、回転角θ、回転角θｙを用いて、表示素子１０上でユーザの視線の位置を求める。その際、注視点位置を表示素子１０上での瞳孔中心ｃに対応する座標を（Ｈｘ，Ｈｙ）とすると、
Ｈｘ＝ｍ×（θｘ－（θｘ＿ｃａｌ））・・・（５）
Ｈｙ＝ｍ×（θｙ－（θｙ＿ｃａｌ））・・・（６）
となる。なお、係数ｍは、デジタルスチルカメラ１のファインダ光学系の構成で定まる定数で、回転角θｘ、回転角θｙを、表示素子１０上での瞳孔中心ｃに対応する座標に変換する変換係数である。係数ｍは、予めメモリ部４に記憶されている。また、θｘ＿ｃａｌ、θｙ＿ｃａｌは、それぞれ、後述するキャリブレーション動作時に演算した回転角であり、視線検出ルーチンが開始する前にメモリ部４に記憶されている。
Then, the position of the user's line of sight on the
Hx=m×(θx−(θx_cal)) (5)
Hy=m×(θy−(θy_cal)) (6)
becomes. Note that the coefficient m is a constant determined by the configuration of the finder optical system of the digital
ここで、「キャリブレーション動作」とは、人間の眼球形状の個人差等の要因により、ユーザが実際に注視している位置と、演算された推定注視点の位置とのズレを抑制するためのオフセット量を記憶する動作である。キャリブレーション動作時に表示素子１０にキャリブレーション用画像を表示する。画像は、ユーザが注視するためのターゲット枠である。そのときの回転角θｘ＿ｃａｌ、θｙ＿ｃａｌを取得し、オフセット量としてメモリ部４に記憶させている。なお、キャリブレーション動作では、ターゲット枠を複数の位置に表示し、各位置のそれぞれの回転角で、位置同士の間を補間することにより、精度向上が可能である。
Here, the “calibration operation” is an operation for suppressing the deviation between the position where the user is actually gazing and the position of the calculated estimated gazing point due to factors such as individual differences in the shape of human eyeballs. This is the operation of storing the offset amount. An image for calibration is displayed on the
図５は、移動している被写体（移動体）をユーザが視線で追跡している状態を示す模式図である。図５に示す状態では、ユーザ５０１が被写体２０２ａまたは被写体２０２ｂを見ている視線の位置を前述した視線検出によって検出している。そして、この視線の位置を示す視線位置表示用指標５０３がファインダイメージ２００（表示素子１０）上に表示された状態となっている。図５に示すように、被写体２０２ａが被写体２０２ｂに移動しており、この移動をユーザ５０１は、視線２０１ａから視線２０１ｂで追跡している。このように、被写体２０２ａ、被写体２０２ｂは、同一の移動体であり、この移動体をユーザが視認している。そして、移動体を視認しているユーザ５０１の眼球１４の画像が、眼球用撮像素子１７で撮影されて、ユーザ５０１の視線位置検出に用いられている。また、ファインダイメージ２００（表示素子１０）は、検出された視線位置を示す視線位置表示用指標５０３と、移動体とを表示することができ、視線検出装置５の一部を構成している。ファインダイメージ２００では、視線位置表示用指標５０３は、被写体２０２ｂと同じ位置に表示されるのが好ましいが、被写体２０２ｂよりも遅れた位置に表示されてしまう。その理由について、図６を参照して説明する。
FIG. 5 is a schematic diagram showing a state in which a user is tracking a moving subject (moving object) with his or her line of sight. In the state shown in FIG. 5, the line-of-sight position of the
図６は、視線位置表示用指標が表示されるタイミングを説明するための図である。図６（ａ）に示す状態では、ファインダイメージ３００（表示素子１０）上でユーザに視線で追跡させる視線追跡検出用指標３０２ａが視線追跡検出用指標３０２ｂに移動しており、その移動をユーザ３０１は、視線３０１ａから視線３０１ｂで追跡している。視線追跡検出用指標３０２ａ、視線追跡検出用指標３０２ｂは、移動体を模した指標であり、本実施形態では星形をなす。
FIG. 6 is a diagram for explaining the timing at which the line-of-sight position indicator is displayed. In the state shown in FIG. 6(a), the eye-tracking
図６（ｃ）に示す状態では、ファインダイメージ３００’上で視線追跡検出用指標３０２ａ’の移動をユーザ３０１が視線３０１ａ’で追跡しているかまたは視線追跡検出用指標３０２ｂ’の移動をユーザ３０１が視線３０１ｂ’で追跡している。また、視線追跡検出用指標３０２ａ’を視線３０１ａ’で追跡しているとき、視線位置表示用指標３０３ａがファインダイメージ３００’に表示されている。同様に、視線追跡検出用指標３０２ｂ’の移動を視線３０１ｂ’で追跡しているとき、視線位置表示用指標３０３ｂがファインダイメージ３００’に表示されている。なお、本実施形態では、ＣＰＵ３は、視線追跡検出用指標を表示素子１０に表示させつつ、移動させる制御（制御工程）を行う制御手段として機能するが、これに限定されない。例えば、視線検出装置５は、ＣＰＵ３とは別に、当該制御手段として機能するＣＰＵを有していてもよい。
In the state shown in FIG. 6(c), the
図６（ｂ）は、視線追跡検出用指標を表示してから、視線位置検出を経て、視線位置表示用指標を表示するまでの処理を示すタイミングチャートである。なお、この処理は、ＣＰＵ３や視線検出回路２０１等で行なわれる。視線追跡検出用指標３０２ａがファインダイメージ３００の図６（ａ）に示す箇所に位置する（表示される）タイミングで、タイミングチャート３１０に示すように、眼球１４の画像を蓄積して（斜め線ハッチング参照）、読み出す（直線の矢印参照）。次いで、読み出された眼球画像用いて、タイミングチャート３１１に示すように、視線位置の演算を行う（縦線ハッチング参照）。次いで、タイミングチャート３１２に示すように、表示素子１０に視線位置表示用指標３０３ａを表示する（横線ハッチング参照）。
FIG. 6B is a timing chart showing the processing from displaying the eye-tracking detection index to displaying the eye-gaze position display index through eye-gaze position detection. This processing is performed by the
視線位置表示用指標３０３ａは、ファインダイメージ３００’の図６（ｃ）に示す箇所に位置しており、この位置は、図６（ａ）に示す視線追跡検出用指標３０２ａと同じ位置である。しかしながら、視線追跡検出用指標３０２ａ’が移動しているため、実際には、視線追跡検出用指標３０２ａ’を追跡している視線３０１ａ’も、移動してしまっている。ファインダイメージ３００’では、視線位置表示用指標３０３ａは、視線追跡検出用指標３０２ａ’と同じ位置に表示されるのが好ましいが、ＣＰＵ３等での前述した処理に時間を要するため、視線追跡検出用指標３０２ａ’よりも遅れた位置に表示されてしまう。
The line-of-sight
同様に、視線位置表示用指標３０３ｂは、ファインダイメージ３００’の図６（ｃ）に示す箇所に位置しており、この位置は、図６（ａ）に示す視線追跡検出用指標３０２ｂと同じ位置である。しかしながら、視線追跡検出用指標３０２ｂ’が移動しているため、実際には、視線追跡検出用指標３０２ｂ’を追跡している視線３０１ｂ’も、移動してしまっている。ファインダイメージ３００’では、視線位置表示用指標３０３ｂは、視線追跡検出用指標３０２ｂ’と同じ位置に表示されるのが好ましいが、ＣＰＵ３等での前述した処理に時間を要するため、視線追跡検出用指標３０２ｂ’よりも遅れた位置に表示されてしまう。
Similarly, the line-of-sight
以上のように、視線追跡検出用指標の追跡時には、ＣＰＵ３や視線検出回路２０１等で行なわれる処理に時間を要することに起因する（図６（ｂ）参照）、視線位置表示用指標の表示の遅れが生じることが分かる。以下、この遅れを「システム遅れ」と言うことがある。
As described above, when the eye-tracking detection index is tracked, the processing performed by the
図７は、静止した物体を見ている場合の視線の動きを示す模式図である。視野４１０内で静止した物体を模した注視指標７０２をユーザが観察している場合、図７に示すように、視線７０１は、微小なトレモア４１１（０．０２°程度）によって揺れていて、そのトレモア４１１を行いながらゆっくりとドリフト４１３していく。ドリフト４１３によって視線７０１が注視指標７０２からズある程度レると、大きいフリックであるマイクロサッカード４１２（０．３３°程度）によって視線７０１の位置を戻そうとする。このように、視線７０１は、絶えず微小な動きを繰り返していて、止まることがない。この視線７０１の移動は、「固視微動」と呼ばれている。固視微動は、生理現象の１つである。
FIG. 7 is a schematic diagram showing movement of the line of sight when looking at a stationary object. When the user observes a
図８は、移動体を視認しているときの視線の動きを示す模式図である。図８（ａ）に示すように、ファインダイメージ４００（表示素子１０）上で被写体４０２ａが被写体４０２ｂに移動しており、この移動をユーザ４０１は、視線４０１ａから視線４０１ｂで追跡している。図８（ｂ）は、被写体４０２ａが被写体４０２ｂに移動する際の位置の変化（横軸）と時間経過（縦軸）との関係を示すグラフ４２０である。図８（ｂ）に示すように、被写体４０２ａが被写体４０２ｂに等速移動している（点線４２２参照）。この場合、視線は、固視微動があるため、そのまま等速で追従せず、ドリフト４１４（トレモアを含む）であまり移動しない状態と、被写体が離れていくにつれて、マイクロサッカード４１２で追いつく状態とを繰り返しながら追従する（実線４２１参照）。
FIG. 8 is a schematic diagram showing movement of the line of sight when viewing a moving object. As shown in FIG. 8(a), a subject 402a moves to a subject 402b on the finder image 400 (display element 10), and the
このように、移動体の追跡時には、固視微動があるため（図８（ｂ）参照）、移動体の移動速度の程度によっては、視線の移動の遅れが生じることが分かる。以下、この遅れを「視線遅れ（視線追跡特性）」と言うことがある。なお、視線遅れは、視線追跡検出用指標の追跡時にも同様に生じる。そして、視線遅れは、システム遅れに加えて、視線位置表示用指標の表示の遅れのさらなる原因にもなる。 As described above, when tracking a moving object, there is a slight involuntary eye movement (see FIG. 8(b)), so it can be seen that the movement of the line of sight is delayed depending on the moving speed of the moving object. Hereinafter, this delay may be referred to as "line-of-sight delay (line-of-sight tracking characteristic)". Note that the line-of-sight delay similarly occurs when the line-of-sight tracking detection index is tracked. In addition to the system delay, the line-of-sight delay also causes a delay in the display of the line-of-sight position indicator.
以上のように、移動体の追跡時には、システム遅れや視線遅れが生じて、視線位置表示用指標の表示が遅れるおそれがある（視線追跡検出用指標の追跡時についても同様）。そこで、デジタルスチルカメラ１（視線検出装置５）では、このような不具合を低減可能に構成されている。以下、この構成および作用について説明する。 As described above, when tracking a moving object, a system delay or a line-of-sight delay may occur, and display of the line-of-sight position display index may be delayed (the same applies when tracking the line-of-sight tracking detection index). Therefore, the digital still camera 1 (line-of-sight detection device 5) is configured to be able to reduce such problems. This configuration and operation will be described below.
デジタルスチルカメラ１は、移動体追跡時の視線位置表示用指標の表示に先立って、キャリブレーション動作を行う。なお、キャリブレーション動作は、不図示のキャリブレーション動作開始用の画面を操作することによって行われる。このキャリブレーション動作では、表示素子１０上での視線位置表示用指標の位置を補正する（補正工程）。本実施形態では、ＣＰＵ３は、補正工程を行う補正手段として機能するが、これに限定されない。例えば、デジタルスチルカメラ１は、ＣＰＵ３とは別に、当該補正手段として機能するＣＰＵを有していてもよい。まず、キャリブレーション動作時には、ユーザが注視するためのターゲット枠であるキャリブレーション用画像として、視線追跡検出用指標を表示素子１０に表示する。例えば、図６（ａ）に示すように、視線追跡検出用指標３０２ａをファインダイメージ３００に表示する。視線追跡検出用指標３０２ａが例えば等速移動することにより、ユーザ３０１が視線追跡検出用指標３０２ａを視線３０１ａで追跡する。その追跡の際、図６（ｂ）および（ｃ）に示すように、システム遅れ（視線位置表示用指標の表示の遅れ）を起因として、視線位置表示用指標３０３ａ（視線の位置）と視線追跡検出用指標３０２ａ’との間に位置ズレが生じる。ＣＰＵ３は、この位置ズレの程度（位置関係）を検出して、オフセット量（第１オフセット量）ＯＡ１としてメモリ部４に記憶させる。そして、ＣＰＵ３は、移動体追跡時に視線位置表示用指標３０３ａと移動体とを表示素子１０に表示する際、前述した位置関係に基づいたオフセット量ＯＡ１分だけ、移動体に対する視線位置表示用指標３０３ａの位置を移動させる補正を行う。この補正により、例えば図１２に示すように、ファインダイメージ６００（表示素子１０）上での被写体６０２ｂ（移動体）に対して、視線位置表示用指標６０３を正確な位置に、すなわち、重ねて表示することができる。
The digital
なお、オフセット量ＯＡ１は、ファインダイメージ３００上での視線追跡検出用指標３０２ａの移動速度に応じて変化する。そのため、キャリブレーション動作時に、例えば視線追跡検出用指標３０２ａの移動速度を大、中、小の３段階に分けて、各段階でのオフセット量ＯＡ１をメモリ部４に記憶する。そして、移動体追跡時に視線位置表示用指標を表示する際、表示素子１０上での移動体の移動速度が「大」の場合には、オフセット量ＯＡ１として、「大」段階でのオフセット量ＯＡ１を用いる。また、表示素子１０上での移動体の移動速度が「中」の場合には、オフセット量ＯＡ１として、「中」段階でのオフセット量ＯＡ１を用いる。また、表示素子１０上での移動体の移動速度が「小」の場合には、オフセット量ＯＡ１として、「小」段階でのオフセット量ＯＡ１を用いる。このようにオフセット量ＯＡ１を使い分けることにより、視線位置表示用指標６０３を正確な位置に表示することができる。
The offset amount OA1 changes according to the moving speed of the eye-tracking
図９は、速度が変化する視線追跡検出用指標を視認しているときの視線の動きを示す模式図である。ＣＰＵ３は、視線追跡検出用指標を移動させる際、視線追跡検出用指標の移動速度および移動方向のうちの少なくとも一方を変化させることができる。例えば図９に示すように、視線追跡検出用指標は、図９中の左側から右側に向かって直線的に移動しており、その際、移動速度が変化している。視線追跡検出用指標５０２ａは、停止している状態を示す。視線追跡検出用指標５０２ｂは、視線追跡検出用指標５０２ａの状態から移動速度上げて、そのまま移動中の状態を示す。視線追跡検出用指標５０２ｃは、視線追跡検出用指標５０２ｂの状態から移動速度を下げて、再び停止している状態を示す。また、ユーザ５０１は、視線追跡検出用指標５０２ａを視線５０１ａで追跡し、視線追跡検出用指標５０２ｂを視線５０１ｂで追跡し、視線追跡検出用指標５０２ｃを視線５０１ｃで追跡している。視線検出回路２０１は、視線５０１ａ～視線５０１ｃの位置を検出する。
FIG. 9 is a schematic diagram showing the movement of the line of sight when viewing the line-of-sight tracking detection index whose speed changes. When moving the eye-tracking detection index, the
図９に示す一例では、視線追跡検出用指標５０２ｂの移動速度が高速である分、視線５０１ｂが固視微動等により追従しきれず、視線５０１ｂでの視線遅れ（視線の移動の遅れ）が生じている。そして、この視線遅れを起因として、視線５０１ｂの位置と視線追跡検出用指標５０２ｂとの間に位置ズレが生じる。ＣＰＵ３は、この位置ズレの程度（位置関係）を検出して、オフセット量（第２オフセット量）ＯＡ２としてメモリ部４に記憶させる。なお、オフセット量ＯＡ２は、システム遅れによるオフセット量ＯＡ１分も含まれている。そして、システム遅れの場合と同様に、ＣＰＵ３は、移動体追跡時に視線位置表示用指標と移動体とを表示素子１０に表示する際、オフセット量ＯＡ２分だけ、移動体に対する視線位置表示用指標の位置を移動させる補正を行う。この補正により、表示素子１０上での移動体に対して、視線位置表示用指標を正確な位置に表示することができる。
In the example shown in FIG. 9, since the movement speed of the eye-tracking
図１０は、速度が変化する視線追跡検出用指標を視認しているときの視線の動きのその他の例を示す模式図である。ＣＰＵ３は、視線追跡検出用指標を移動させる際、視線追跡検出用指標の移動方向を変化させることができる。例えば、図１０（ａ）では、図９と同様に、視線追跡検出用指標が速度を変更しつつ、図中の左側から右側に向かって直線的に移動している状態を示す。図１０（ｂ）では、視線追跡検出用指標が速度を変更しつつ、図中の上側から下側に向かって直線的に移動している状態を示す。固視微動による視線遅れの程度は、表示素子１０での縦方向の移動（「上側から下側へ」および「下側から上側へ」）と、表示素子１０での横方向の移動（「左側から右側へ」および「右側から左側へ」）とで異なる。従って、各移動に応じて、オフセット量ＯＡ２をメモリ部４に記憶しておく。これにより、移動体の移動方向に応じて、オフセット量ＯＡ２を使い分けることができ、視線位置表示用指標を正確な位置に表示することができる。以上のように、本実施形態では、ＣＰＵ３は、視線追跡検出用指標を移動させる際、視線追跡検出用指標の移動速度および移動方向のうちの少なくとも一方を変化させることができる。
FIG. 10 is a schematic diagram showing another example of the movement of the line of sight when viewing the line-of-sight tracking detection index whose speed changes. When moving the eye-tracking detection index, the
図１１は、キャリブレーション動作後に移動体の追跡を行うときのフローチャートである。ステップＳ１０１では、ＣＰＵ３は、視線検出回路２０１によって視線を検出し、その検出結果に基づいて、移動体の移動に伴う視線追跡の速度（視線の移動速度）を計測する。また、ステップＳ１０２では、ＣＰＵ３は、視線検出回路２０１での検出結果に基づいて、視線追跡の方向（視線の移動方向）を計測する。なお、表示素子１０上での移動体の移動速度や移動方向については、公知の方法により計測可能（検出可能）である。また、ステップＳ１０２では、ＣＰＵ３が視線追跡の方向を計測しているが、これに限定されない。例えば、ＣＰＵ３が、デジタルスチルカメラ１で撮影された画像から視線位置に対応した移動体を認識し、移動体の移動方向から視線追跡の方向を予測してもよい。
FIG. 11 is a flow chart when tracking a moving object after the calibration operation. In step S101, the
ステップＳ１０３では、ＣＰＵ３は、ステップＳ１０２で計測した視線追跡の方向のばらつきを求めて、当該ばらつきが所定値（第１閾値）よりも多いか否かを判断する。ステップＳ１０３での判断の結果、ＣＰＵ３が、ばらつきが所定値よりも多いと判断した場合には、処理はステップＳ１０７に進む。一方、ステップＳ１０３での判断の結果、ＣＰＵ３が、ばらつきが所定値よりも多くはない、すなわち、ばらつきが所定値よりも少ないと判断した場合には、処理はステップＳ１０４に進む。
In step S103, the
ステップＳ１０７では、ＣＰＵ３は、視線位置表示用指標の補正を行わずに、視線が検出された位置に視線位置表示用指標を表示する。ステップＳ１０４では、ＣＰＵ３は、ステップＳ１０１で計測した視線追跡の速度が所定値（第２閾値）以上であるか否かを判断する。ステップＳ１０４での判断の結果、ＣＰＵ３が、視線追跡の速度が所定値以上であると判断した場合には、処理はステップＳ１０６に進む。一方、ステップＳ１０４での判断の結果、ＣＰＵ３が、視線追跡の速度が所定値以上ではない、すなわち、所定値未満であると判断した場合には、処理はステップＳ１０５に進む。
In step S107, the
ステップＳ１０６では、ＣＰＵ３は、システム遅れと視線遅れとを加味して、オフセット量ＯＡ２分だけ視線位置表示用指標を移動させる補正を行う。ステップＳ１０５では、ＣＰＵ３は、視線遅れのみを加味して、オフセット量ＯＡ１分だけ視線位置表示用指標の位置を移動させる補正（以下「指標位置補正」と言う）を行う。
In step S106, the
以上のように、デジタルスチルカメラ１では、ＣＰＵ３は、システム遅れおよび視線遅れのうち、少なくともシステム遅れを含む位置関係に基づいて、視線位置表示用指標の位置を補正する（ステップＳ１０５、ステップＳ１０６参照）。具体的には、ＣＰＵ３は、視線位置表示用指標と移動体とに表示する際に、視線の移動速度が所定値以上の場合には、視線遅れおよびシステム遅れを含む位置関係に基づいて、視線位置表示用指標の位置を補正する（ステップＳ１０４、ステップＳ１０６参照）。また、ＣＰＵ３は、視線の移動速度が所定値未満の場合には、システム遅れを含む位置関係に基づいて、視線位置表示用指標の位置を補正する（ステップＳ１０４、ステップＳ１０５参照）。このような指標位置補正の結果、図１２に示す状態が得られる。
As described above, in the digital
図１２は、指標位置補正を行った際の表示素子での表示状態を示す模式図である。図１２に示すように、ファインダイメージ６００（表示素子１０）上で被写体６０２ａが被写体６０２ｂに移動しており、この移動をユーザ６０１は、視線６０１ａから視線６０１ｂで追跡している。このとき、仮に指標位置補正を行っていない場合には、被写体６０２ｂから遅れた位置に視線位置表示用指標６０３ａが表示される。しかしながら、指標位置補正が行われていることにより、被写体６０２ｂと同じ位置に視線位置表示用指標６０３が表示される。従って、デジタルスチルカメラ１では、ファインダイメージ６００上での被写体６０２ｂに対して、視線位置表示用指標６０３を正確な位置に表示することができる。
FIG. 12 is a schematic diagram showing a display state on the display element when index position correction is performed. As shown in FIG. 12, a subject 602a is moving to a subject 602b on a finder image 600 (display element 10), and the
図１３は、ユーザの視点が移動して測距点を選択する場合の模式図ある。ファインダイメージ７００（表示素子１０）は、測距点を表示可能である。図１３に示すように、ユーザ１３０１が測距点７０４ａを見ている視線７０１ａの状態から、斜め左下方の視線７０１ｂを移した場合に、システム遅れおよび視線遅れ（前述した位置関係）を用いて、測距点７０４ｂへの移動が予測される。これにより、視線が移動する前に測距点７０４ｂを選択することが可能となる。このように、ユーザ１３０１が視認している測距点が移動する場合に、測距点の移動先の予測（予測工程）を行うことができる。例えば、本実施形態では、ＣＰＵ３が、予測工程を行う予測手段として機能する。
FIG. 13 is a schematic diagram of the case where the user's viewpoint moves to select a range-finding point. A finder image 700 (display element 10) can display a distance measuring point. As shown in FIG. 13, when the
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステムまたは装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、本発明は、本実施形態では撮像装置に適用された例となっているが、適用される装置としては、撮像装置に限定されず、例えば、ヘッドマウントディスプレイにも適用可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes are possible within the scope of the gist thereof. The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors of the computer of the system or device reads the program. It can also be realized by executing processing. The invention can also be implemented by a circuit (eg, an ASIC) that implements one or more functions. Moreover, although the present invention is applied to an imaging device in this embodiment, the device to which the invention is applied is not limited to the imaging device, and can also be applied to, for example, a head-mounted display.
１ デジタルスチルカメラ（撮像装置）
５ 視線検出装置
１０ 表示素子（表示部）
１７ 眼球用撮像素子（撮影部）
２０１ 視線検出回路（視線検出部）
３０２ａ 視線追跡検出用指標
３０２ｂ 視線追跡検出用指標
３０３ａ 視線位置表示用指標
３０３ｂ 視線位置表示用指標
1 Digital still camera (imaging device)
5 line-of-
17 eyeball imaging device (imaging unit)
201 line-of-sight detection circuit (line-of-sight detection unit)
302a Eye-tracking
Claims (9)
前記ユーザに視線で追跡させる視線追跡検出用指標を前記表示部に表示させつつ、移動させる制御を行う制御手段と、
前記表示部上での前記移動体に対する前記視線位置表示用指標の位置を補正する補正手段と、を備え、
前記補正手段は、前記ユーザが前記視線追跡検出用指標を視線で追跡した際に、該視線の位置と前記視線追跡検出用指標との位置関係を検出し、前記視線位置表示用指標と前記移動体とを前記表示部に表示する際に、前記位置関係に基づいて、前記視線位置表示用指標の位置を補正することを特徴とする視線検出装置。 an imaging unit that captures an image of the eyes of a user viewing a moving object; a line-of-sight detection unit that detects the line-of-sight position of the user based on the image; and a line-of-sight position display index that indicates the line-of-sight position. A line-of-sight detection device comprising a display unit capable of displaying the moving object,
a control means for performing control to move while displaying on the display unit an index for eye-tracking detection that is to be tracked by the user's eye;
correction means for correcting the position of the line-of-sight position display index with respect to the moving object on the display unit;
The correcting means detects a positional relationship between a position of a line of sight and the eye-tracking detection index when the user tracks the eye-tracking detection index with a line of sight, and correcting the position of the index for displaying the line-of-sight position based on the positional relationship when the body is displayed on the display unit.
前記補正手段は、前記視線位置表示用指標の表示の遅れを前記位置関係として検出することを特徴とする請求項１に記載の視線検出装置。 When tracking the eye-tracking detection indicator, a delay occurs in the display of the eye-gaze position display indicator,
2. The line-of-sight detection apparatus according to claim 1, wherein the correction means detects a delay in display of the line-of-sight position display index as the positional relationship.
前記補正手段は、前記視線の移動の遅れを前記位置関係として検出することを特徴とする請求項２に記載の視線検出装置。 When tracking the eye-tracking detection index, a delay occurs in movement of the line of sight,
3. The line-of-sight detection apparatus according to claim 2, wherein the correction means detects a delay in movement of the line of sight as the positional relationship.
前記ユーザが視認している前記測距点が移動する場合に、前記位置関係に基づいて、前記測距点の移動先を予測する予測手段を備えることを特徴とする請求項１乃至６のうちの何れか１項に記載の視線検出装置。 The display unit is capable of displaying a distance measuring point,
7. Among any of claims 1 to 6, further comprising prediction means for predicting a destination of said focus detection point based on said positional relationship when said focus detection point visually recognized by said user moves. The line-of-sight detection device according to any one of 1.
前記ユーザに視線で追跡させる視線追跡検出用指標を前記表示部に表示させつつ、移動させる制御を行う制御工程と、
前記表示部上での前記移動体に対する前記視線位置表示用指標の位置を補正する補正工程と、を有し、
前記補正工程では、前記ユーザが前記視線追跡検出用指標を視線で追跡した際に、該視線の位置と前記視線追跡検出用指標との位置関係を検出し、前記視線位置表示用指標と前記移動体とを前記表示部に表示する際に、前記位置関係に基づいて、前記視線位置表示用指標の位置を補正することを特徴とする視線検出装置の制御方法。 an imaging unit that captures an image of the eyes of a user viewing a moving object; a line-of-sight detection unit that detects the line-of-sight position of the user based on the image; and a line-of-sight position display index that indicates the line-of-sight position. A method of controlling a line-of-sight detection device comprising a display unit capable of displaying the moving object,
a control step of performing control to move while displaying on the display unit an index for eye-tracking detection that is to be tracked by the user's line of sight;
a correction step of correcting the position of the line-of-sight position display index with respect to the moving object on the display unit;
In the correcting step, when the user tracks the eye-tracking detection index with his or her line of sight, the positional relationship between the line-of-sight position and the eye-tracking detection index is detected, and the line-of-sight position display index and the movement are detected. A control method for a line-of-sight detection device, comprising: correcting a position of the line-of-sight position display index based on the positional relationship when displaying a body on the display unit.
A program for causing a computer to execute each means of the line-of-sight detection device according to any one of claims 1 to 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021188045A JP2023074878A (en) | 2021-11-18 | 2021-11-18 | Visual line detecting apparatus, method of controlling visual line detecting apparatus, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021188045A JP2023074878A (en) | 2021-11-18 | 2021-11-18 | Visual line detecting apparatus, method of controlling visual line detecting apparatus, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023074878A true JP2023074878A (en) | 2023-05-30 |
Family
ID=86541222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021188045A Pending JP2023074878A (en) | 2021-11-18 | 2021-11-18 | Visual line detecting apparatus, method of controlling visual line detecting apparatus, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023074878A (en) |
-
2021
- 2021-11-18 JP JP2021188045A patent/JP2023074878A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7358530B2 (en) | Object recognition device and method of controlling the object recognition device | |
| JP2803222B2 (en) | Eye gaze detection device | |
| JPH07151950A (en) | Camera | |
| JPH11338041A (en) | Optical device and camera provided with line-of-sight detecting function | |
| US11829052B2 (en) | Gaze detection apparatus, gaze detection method, and non-transitory computer readable medium | |
| US20220329740A1 (en) | Electronic apparatus, method for controlling electronic apparatus, and non-transitory computer readable storage medium | |
| JP2023074878A (en) | Visual line detecting apparatus, method of controlling visual line detecting apparatus, and program | |
| JPH10307314A (en) | Observation optical device | |
| JPH0556924A (en) | Video camera | |
| US20240114228A1 (en) | Line-of-sight detecting apparatus, image pickup apparatus, line-of-sight detecting method, and storage medium | |
| JP7358130B2 (en) | Electronic equipment and its control method | |
| US20220277590A1 (en) | Line-of-sight detection device and control method for controlling the same | |
| US20230092593A1 (en) | Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor | |
| US11632496B2 (en) | Image pickup apparatus for detecting line-of-sight position, control method therefor, and storage medium | |
| US20240085979A1 (en) | Recording device, image-capturing apparatus, control method, and recording system | |
| JP2023063023A (en) | Electronic device and control method for the same | |
| JP2023006629A (en) | Control device and control method | |
| JP3391892B2 (en) | Eye gaze detecting device, optical device, and eye gaze detecting method | |
| JP3363492B2 (en) | Eye gaze detection apparatus and eye gaze detection method | |
| JP2023073758A (en) | Electronic device and control method | |
| JPH05232372A (en) | Camera provided with device for detecting line of sight | |
| JP2952070B2 (en) | Optical line-of-sight detecting device and optical apparatus having line-of-sight detecting means | |
| JPH0938038A (en) | Sight line detection device and optical instrument therewith | |
| JP2023087377A (en) | Visual line detection device | |
| JP2023069526A (en) | Electronic device and control method and program for the same |