JP2948975B2 - Eye gaze detection device - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】本発明は、カメラ等に用いられる
視線方向の検出装置に係り、特に観察者の眼球に光線を
投光し、その反射光より得られるプルキンエ像を利用し
て視線方向を検出する視線検出装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a gaze direction detecting device used for a camera or the like, and more particularly to a gaze direction utilizing a Purkinje image obtained by projecting a light beam on an observer's eyeball and reflecting the light. The present invention relates to a line-of-sight detecting device that detects

【０００２】[0002]

【従来の技術】従来、カメラへの情報の入力は、ダイヤ
ル、釦等による入力操作部材によって測距や測光のため
に必要となる情報を入力していたが、入力すべき情報が
増えると操作が煩雑になり易い。そこで、撮影者の視線
方向によりカメラへの情報入力を行う技術の開発が成さ
れている。2. Description of the Related Art Conventionally, information required for distance measurement and photometry has been input to a camera by an input operation member such as a dial or a button. Tends to be complicated. Therefore, a technology for inputting information to a camera according to the direction of the photographer's line of sight has been developed.

【０００３】例えば、特開平２−５号公報では、第１プ
ルキンエ像に基づいて観察者の視線方向を検出する視線
検出装置に関する技術が開示されている。この視線検出
装置をカメラなどの撮影装置に適用した場合には、撮影
者がファインダを覗いているときには常に連続して視線
検出を行っている。さらに、この視線検出した注視点の
位置をファインダスクリーン上にスーパーインポーズす
ると共に、ある特定のスイッチが操作されたときの視線
情報を取込んで装置本体に対して各種の指示を与えてい
る。[0003] For example, Japanese Patent Application Laid- Open No. 2-5 discloses a technique relating to a line-of-sight detection device that detects the line-of-sight direction of an observer based on a first Purkinje image. When this gaze detection device is applied to a photographing device such as a camera, the gaze detection is always performed continuously when the photographer is looking into the finder. Further, the position of the gazing point detected by the line of sight is superimposed on the finder screen, and line of sight information when a specific switch is operated is input to give various instructions to the apparatus body.

【０００４】[0004]

【０００５】[0005]

【０００６】しかし、撮影者の視線の動きは必ずしも撮
影時に主被写体を見つめているとは限らず、例えば、
「電子情報通信学会技術報告ＰＲＵ８８−７３”非接触
視線検出のための特徴点抽出法”（伴野ほか）」によれ
ば、人間の一回の注視時間は通常２００−３５０ｍｓ程
度であり、注視中の固定微動を平均化したり躍動運動と
正確に区別したりすることなどを考えると、視線の動き
に正確に追随して検出をするためには６０ｍｓ程度の間
隔で検出を行うのが望ましい。 However, the movement of the gaze of the photographer is not always
Not always staring at the main subject when shadowing, for example,
According to the IEICE Technical Report PRU88-73, "Feature point extraction method for non-contact gaze detection" (Kanno et al.), A single human fixation time is usually about 200-350 ms, and In consideration of averaging the fixed fine movement of the eyeball or accurately distinguishing it from the jerk movement, it is desirable to perform the detection at intervals of about 60 ms in order to accurately follow the movement of the line of sight.

【０００７】[0007]

【発明が解決しようとする課題】しかし、連続して視線
検出を行う場合には、検出間隔を短くして検出を続ける
ため照明光やセンサ駆動のための消費電流が大きくな
る。However, when the line of sight is continuously detected, the detection interval is shortened and the detection is continued, so that the illumination light and the current consumption for driving the sensor increase.

【０００８】例えば、カメラなどの装置は通常スタンバ
イ状態を備え、この状態では表示を出して各種スイッチ
の入力待ちをしている。このとき、撮影者がファインダ
を覗いていないときには、視線検出の必要性に関係無く
検出を続けているために無駄な消費電力があるといえ
る。本発明は上記問題に鑑みてなされたもので、その目
的とするところは、簡単な構成で消費電力を小さくした
視線検出装置を提供することにある。For example, a device such as a camera usually has a standby state, in which a display is displayed and input of various switches is waited. At this time, when the photographer is not looking through the finder, it can be said that there is wasteful power consumption because detection is continued regardless of the necessity of gaze detection. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object of the present invention is to provide a gaze detection device with a simple configuration and low power consumption.

【０００９】[0009]

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の態様による視線検出装置は、ファイ
ンダを覗く観察者の眼球に赤外光を照射する照射手段
と、上記眼球からの反射光を受光し、光電変換信号を出
力する光電変換手段と、上記光電変換手段からの上記光
電変換信号を受け上記観察者の視線方向を検出する検出
手段と、上記観察者が上記ファインダを覗いているか否
かを判別する判別手段と、上記判別手段によりファイン
ダを覗いていないと判別された際に、上記検出手段によ
る検出動作を一時的に遅延させる遅延手段とを具備する
ことを特徴とする。In order to achieve the above object, a gaze detecting apparatus according to a first aspect of the present invention comprises: an irradiating means for irradiating an eyeball of an observer looking through a finder with infrared light; Photoelectric conversion means for receiving reflected light from the camera and outputting a photoelectric conversion signal; detecting means for receiving the photoelectric conversion signal from the photoelectric conversion means and detecting the line of sight of the observer; Determination means for determining whether or not the user is looking through the finder, and delay means for temporarily delaying the detection operation by the detection means when the determination means determines that the user is not looking through the finder. And

【００１０】[0010]

【作用】即ち、第１の態様による視線検出装置では、照
射手段によりファインダを覗く観察者の眼球に赤外光が
照射されると、光電変換手段により上記眼球からの反射
光が受光され光電変換信号が出力される。そして、検出
手段により上記光電変換信号に基づいて上記観察者の視
線方向が検出される。尚、判別手段により上記観察者が
上記ファインダを覗いているか否かが判別され、この判
別手段によりファインダを覗いていないと判別された際
に、遅延手段により、上記検出手段による検出動作が一
時的に遅延される。In the eye-gaze detecting device according to the first aspect, when the irradiating means irradiates the observer's eyeball looking into the finder with infrared light, reflected light from the eyeball is received by the photoelectric conversion means and photoelectric conversion is performed. A signal is output. Then, the gaze direction of the observer is detected by the detection means based on the photoelectric conversion signal. The determining means determines whether or not the observer is looking through the finder. When the determining means determines that the observer is not looking through the finder, the detecting means temporarily stops the detecting operation by the detecting means. Is delayed.

【００１１】[0011]

【実施例】図１は本発明の視線検出装置の概要を示す図
である。FIG. 1 is a diagram showing an outline of a gaze detecting apparatus according to the present invention.

【００１２】同図に示すように、本発明の視線検出装置
には、撮影者の眼球に光を照射するための検出光照射部
１、及び該照射光の眼球からの反射光を受光し光電変換
するための光電変換部２が設けられている。そして、上
記光電変換部２は視線を検出するための視線方向演算部
３に接続されており、該視線方向演算部３は接眼状態検
出部４に接続されている。As shown in FIG. 1, a gaze detecting apparatus according to the present invention includes a detection light irradiating unit 1 for irradiating light to an eyeball of a photographer, and a photoelectric conversion unit that receives reflected light of the irradiation light from the eyeball. A photoelectric conversion unit 2 for conversion is provided. The photoelectric conversion unit 2 is connected to a gaze direction calculation unit 3 for detecting a gaze, and the gaze direction calculation unit 3 is connected to an eyepiece state detection unit 4.

【００１３】さらに、上記接眼状態検出部４は検出モー
ド切換部５に接続されており、該検出モード切換部５は
制御部６に接続されている。そして、制御部６は上記検
出光照射部１及び視線方向演算部３に接続されている。Further, the eyepiece state detecting section 4 is connected to a detection mode switching section 5, and the detection mode switching section 5 is connected to a control section 6. The control unit 6 is connected to the detection light irradiation unit 1 and the gaze direction calculation unit 3.

【００１４】このような構成において、検出光照射部１
が眼球に光を照射すると、この照射光の眼球からの反射
光が光電変換部２により受光され光電変換される。そし
て、上記光電変換部２からの信号に基づいて視線方向演
算部３において撮影者の視線方向が検出される。In such a configuration, the detection light irradiation unit 1
Irradiates the eyeball with light, and the reflected light of this irradiation light from the eyeball is received by the photoelectric conversion unit 2 and photoelectrically converted. Then, the line-of-sight direction calculation unit 3 detects the line-of-sight direction of the photographer based on the signal from the photoelectric conversion unit 2.

【００１５】一方、接眼状態検出部４により撮影者がフ
ァインダを覗いているか否かが検出されると、この接眼
状態に応じて接眼状態検出部４により検出モードが“視
線検出モード”あるいは“低消費電力モード”に切換え
られる。そして、制御部６は検出モード切換部５からの
信号を受け、該信号に基づいて検出光照射部１及び視線
方向演算部３の動作を制御する。On the other hand, when the eyepiece state detecting section 4 detects whether or not the photographer is looking into the finder, the eyepiece state detecting section 4 sets the detection mode to "line-of-sight detection mode" or "low" according to the eyepiece state. The mode is switched to the "power consumption mode". The control unit 6 receives a signal from the detection mode switching unit 5 and controls the operations of the detection light irradiation unit 1 and the line-of-sight direction calculation unit 3 based on the signal.

【００１６】このように、本発明の視線検出装置では上
記接眼状態検出部４を設け、その検出結果に応じて“視
線検出モード”と“低消費電力モード”とを使いわける
ことで消費電力を小さくすることに特徴を有している。
図２は本発明の第１の実施例に係る視線検出装置の構成
を示す図である。As described above, the eye-gaze detecting device of the present invention is provided with the eye-eye state detecting section 4 and uses the "eye-gaze detecting mode" and the "low power consumption mode" in accordance with the detection result to reduce power consumption. The feature is to make it smaller.
FIG. 2 is a diagram showing a configuration of the visual line detection device according to the first embodiment of the present invention.

【００１７】同図に示すように、観察光学系において
は、撮影レンズ１０１を通過した光の光路上に跳ね上げ
ミラー１０２が配置されており、該跳ね上げミラー１０
２による反射光の光路上には、液晶板１０３、ピント板
１０４、コンデンサレンズ１０５が設けられている。As shown in FIG. 1, in the observation optical system, a flip-up mirror 102 is disposed on the optical path of light that has passed through the photographing lens 101.
A liquid crystal plate 103, a focus plate 104, and a condenser lens 105 are provided on the optical path of the light reflected by 2.

【００１８】そして、上記コンデンサレンズ１０５を通
過した光の光路上には、ペンタダハプリズム１０６が設
けられており、該ペンタダハプリズム１０６の反射面１
０６ａで反射した光の光路上には、視線検出を行なう為
の光学部材を兼ねた接眼レンズ１１が設けられている。
さらに、上記ペンタダハプリズムの反射面１０６ａを透
過した光の光路上には、ＡＦ結像レンズ１０７、ＡＦエ
リアセンサ１０８が設けられている。A penta roof prism 106 is provided on the optical path of the light having passed through the condenser lens 105, and the reflecting surface 1 of the penta roof prism 106 is provided.
On the optical path of the light reflected at 06a, an eyepiece lens 11 which is also an optical member for detecting the line of sight is provided.
Further, an AF imaging lens 107 and an AF area sensor 108 are provided on the optical path of the light transmitted through the reflecting surface 106a of the penta roof prism.

【００１９】一方、視線検出光学系は、撮影者に対して
不感の光源である赤外発光ダイオード(LED;light emitt
ing diode)１２と投光レンズ１３とからなる照明部と、
ラインセンサ１６、ハーフミラー１７及び受光レンズ１
５とからなる受光部とにより構成され、ダイクロックミ
ラーよりなるビームスプリッタ１１ａを有する接眼レン
ズ１１の上方に配置されている。On the other hand, the line-of-sight detection optical system includes an infrared light emitting diode (LED), which is a light source insensitive to the photographer.
ing diode) 12 and a lighting unit including a light projecting lens 13;
Line sensor 16, half mirror 17, and light receiving lens 1
5, and is disposed above an eyepiece 11 having a beam splitter 11a composed of a dichroic mirror.

【００２０】このような構成において、撮影レンズ１０
１を通過した被写体光は跳ね上げミラー１０２により反
射され、液晶板１０３を介してピント板１０５の焦点面
近傍に結像する。In such a configuration, the photographing lens 10
The subject light passing through 1 is reflected by the flip-up mirror 102 and forms an image near the focal plane of the focus plate 105 via the liquid crystal plate 103.

【００２１】そして、ピント板１０５にて拡散した被写
体像はコンデンサレンズ１０６、ペンタダハプリズム１
０７、そして、ビームスプリッタ１１ａを有する接眼レ
ンズ１１を介して撮影者の眼球２００のアイポイント２
００ａに導かれる。さらに、ピント板１０５で拡散され
る被写体像の光束の一部は、ペンタダハプリズム１０６
の反射面１０６ａを透過し、ＡＦ結像レンズ１０７を介
してＡＦエリアセンサ１０８の受光面上に結像される。The object image diffused by the focus plate 105 is condensed by the condenser lens 106 and the penta roof prism 1.
07, and the eye point 2 of the photographer's eyeball 200 via the eyepiece 11 having the beam splitter 11a.
00a. Further, a part of the luminous flux of the subject image diffused by the focus plate 105 is
Is transmitted through the reflective surface 106a, and is imaged on the light receiving surface of the AF area sensor 108 via the AF image forming lens 107.

【００２２】一方、視線検出光学系では、赤外ＬＥＤ１
２からの赤外光は投光レンズ１３を介してビームスプリ
ッタ１１ａにおいて反射され、ファインダの射出面から
ほぼ並行光として撮影者の眼球２００に照射される。そ
して、眼球２００のアイポイント２０１ａで反射した赤
外光の一部はビームスプリッタ１１ａで再反射して、ハ
ーフミラー１７、受光レンズ１５を介してラインセンサ
１６上に集光し、眼球像として結像される。On the other hand, in the visual axis detection optical system, the infrared LED 1
The infrared light from 2 is reflected by the beam splitter 11a via the light projecting lens 13 and is emitted from the exit surface of the finder as substantially parallel light to the eyeball 200 of the photographer. Then, a part of the infrared light reflected at the eye point 201a of the eyeball 200 is reflected again by the beam splitter 11a, condensed on the line sensor 16 via the half mirror 17 and the light receiving lens 15, and formed as an eyeball image. Imaged.

【００２３】このラインセンサ１６で光電変換された眼
球の像情報は、例えば図３で示すような出力信号とな
り、図示しないＣＰＵ５０において、この出力信号に現
れている第１プルキンエ像３０に基づき撮影者の視線方
向が算出される。The image information of the eyeball photoelectrically converted by the line sensor 16 becomes, for example, an output signal as shown in FIG. 3, and the CPU 50 (not shown) uses the first Purkinje image 30 appearing in the output signal to obtain a photographer Is calculated.

【００２４】ここで、上記ＣＰＵ５０は、図５に示すよ
うに、１ｓｔレリーズスイッチ５７ａ、２ｎｄレリーズ
スイッチ５７ｂ、パワースイッチ５７ｃ、各種モード設
定部５１、自動合焦（ＡＦ）装置５５、露出制御部５
６、表示部５２、ＬＥＤ１２、ラインセンサ１６に接続
されており、それぞれを制御する。Here, as shown in FIG. 5, the CPU 50 includes a first release switch 57a, a second release switch 57b, a power switch 57c, various mode setting units 51, an automatic focusing (AF) device 55, and an exposure control unit 5.
6, connected to the display unit 52, the LED 12, and the line sensor 16, and controls each of them.

【００２５】そして、上記ＡＦ装置５５は、さらに図６
に示すようにＡＦエリアセンサ１０８、撮影レンズ駆動
部５５１、レンズ位置エンコーダ５５２からなり、フォ
ーカスエリアを指定することにより、任意の位置にある
第１プルキンエ像を得ることで焦点合わせをすることが
できる。以下、図７のフローチャートを参照して本実施
例に係る視線検出装置の動作について説明する。The AF device 55 further comprises
As shown in the figure, the focus area can be adjusted by obtaining the first Purkinje image at an arbitrary position by designating the focus area by including the AF area sensor 108, the photographing lens driving unit 551, and the lens position encoder 552. . Hereinafter, the operation of the visual line detection device according to the present embodiment will be described with reference to the flowchart of FIG.

【００２６】即ち、ＣＰＵ５０は、まずＩ／Ｏやレジス
タ等のイニシャライズを行い（ステップＳ１０１）、カ
メラのメインスイッチの“オン”、“オフ”を調べる
（ステップＳ１０２）。That is, the CPU 50 first initializes I / O and registers (step S101), and checks whether the main switch of the camera is "on" or "off" (step S102).

【００２７】上記ステップ１０２において、メインスイ
ッチが“オフ”されている場合には動作を終了し（ステ
ップＳ１０３）、“オン”されている場合にはタイマ２
が所定値までカウントされているか否かを調べる（ステ
ップＳ１０４）。このタイマ２は撮影者が所定時間カメ
ラを操作しなかったときに、例えば１分間ぐらいカメラ
内部の電源供給を停止して省電さるためのもので、上記
ステップＳ１０１のイニシャライズでリセットされてお
り、ＣＰＵ５０の処理動作とは別に計時している。In step 102, if the main switch is turned off, the operation ends (step S103). If the main switch is turned on, the timer 2 is turned off.
It is determined whether or not is counted up to a predetermined value (step S104). The timer 2 is used to stop the power supply inside the camera for, for example, about one minute when the photographer has not operated the camera for a predetermined time, thereby saving power. The timer 2 has been reset by the initialization in step S101. The time is measured separately from the processing operation of the CPU 50.

【００２８】上記ステップＳ１０４において、最後のカ
メラ操作から所定時間経過している場合にはＣＰＵ５０
は電源供給を停止して省電させ、クロックを停止してシ
ステムダウンさせる（ステップＳ１０５）。このＣＰＵ
５０の停止状態からは、ＣＰＵ５０につながる割り込み
のスイッチにより立ち上がることができる（ステップＳ
１０６，Ｓ１０７）。In step S104, if a predetermined time has elapsed since the last operation of the camera, the CPU 50
Stops the power supply to save power, stops the clock, and shuts down the system (step S105). This CPU
From the stop state of the CPU 50, it can be started by an interrupt switch connected to the CPU 50 (step S).
106, S107).

【００２９】一方、上記ステップＳ１０４において、最
後のカメラ動作から所定時間経過していない場合には後
述するような視線検出のサブルーチンを実行する（ステ
ップＳ１０８）。この視線検出のサブルーチンでは視線
検出の演算と検出結果の表示を行う。On the other hand, if the predetermined time has not elapsed since the last camera operation in step S104, a visual line detection subroutine as described later is executed (step S108). In the line-of-sight detection subroutine, the calculation of the line-of-sight detection and the display of the detection result are performed.

【００３０】次に、上記視線検出結果に基づいて撮影者
がファインダを覗いているか否かを判断する。これは、
検出フラグＦ０が“１”であるか否かを調べることによ
り判断する（ステップＳ１０９）。Next, it is determined whether or not the photographer is looking into the finder based on the result of the line of sight detection. this is,
The determination is made by checking whether the detection flag F0 is "1" (step S109).

【００３１】上記ステップＳ１０９において、検出フラ
グＦ０が“０”のときには、視線検出のサブルーチンに
て検出できなかったと判断する。この時、撮影者が目を
つぶっている場合も考えられるので、前回の検出結果の
フラグＦ１も調べ（ステップＳ１１０）、検出フラグＦ
１が“０”のときには覗いていないと判断し、Ｆ１をＦ
０にしてからステップＳ１１２に進む。そして、所定時
間だけ待機した後（ステップＳ１１２）、ステップＳ１
０２に戻り、システムダウンすべきでないときは再び視
線検出を実行する（ステップＳ１０８）。上記ステップ
Ｓ１１２で所定時間待機するのは、視線検出の検出イン
ターバルを確保するためである。このように時間をおい
て検出することにより消費電流を低減することができ
る。In step S109, when the detection flag F0 is "0", it is determined that the detection has not been performed in the line-of-sight detection subroutine. At this time, since the photographer may have closed his eyes, the previous detection result flag F1 is also checked (step S110), and the detection flag F
When 1 is "0", it is determined that the user is not peeping, and F1 is set to F
After setting to 0, the process proceeds to step S112. After waiting for a predetermined time (step S112), step S1 is executed.
Returning to 02, when the system should not be shut down, the visual axis detection is executed again (step S108). The reason for waiting for the predetermined time in step S112 is to secure a detection interval of the line-of-sight detection. As described above, the current consumption can be reduced by performing the detection at a later time.

【００３２】一方、上記ステップＳ１０９において、検
出フラグＦ０が“１”のときには、視線検出のサブルー
チンにて視線検出ができたと判断する。同様に、Ｆ０が
“０”でＦ１が“１”のときも視線検出ができたと判断
する。On the other hand, when the detection flag F0 is "1" in step S109, it is determined that the visual axis detection has been performed in the visual axis detection subroutine. Similarly, when F0 is “0” and F1 is “1”, it is determined that the line of sight has been detected.

【００３３】そして、共に撮影者がファインダを覗いて
いると判断し、Ｆ１＝Ｆ０とした後（ステップＳ１１
３）、次のステップＳ１１４に進み、撮影者がファイン
ダを覗いていると判断されたときは上記タイマ２をリセ
ットする。Then, it is determined that the photographer is looking through the finder, and F1 = F0 is set (step S11).
3) The process proceeds to the next step S114, and if it is determined that the photographer is looking into the viewfinder, the timer 2 is reset.

【００３４】次に、１ｓｔレリーズスイッチの“オ
ン”、“オフ”を調べる（ステップＳ１１５）。そし
て、１ｓｔレリーズスイッチが“オン”されている場合
にはステップＳ１０２に戻り、１ｓｔレリーズスイッチ
が“オン”されている場合には視線検出結果に応じてモ
ード切り換えの可否を判断する（ステップＳ１１６）。Next, "ON" and "OFF" of the first release switch are checked (step S115). If the first release switch is "on", the process returns to step S102, and if the first release switch is "on", it is determined whether or not the mode can be switched according to the result of the line-of-sight detection (step S116). .

【００３５】本実施例では、撮影者はファインダ内に図
４（ａ）に示されるモードマーク４０に視線を向けて、
１ｓｔレリーズスイッチを押すことによりモードの切り
換えができるようになっている。In this embodiment, the photographer looks at the mode mark 40 shown in FIG.
The mode can be switched by pressing the first release switch.

【００３６】上記ステップＳ１１６において、視線方向
がモードマーク４０上にある時には、その選択に従いモ
ードの切り換えを実行し（ステップＳ１１７）、ステッ
プＳ１０２へと戻る。そして、視線方向がモードマーク
４０上にない時には、その視線方向がオートフォーカス
のターゲットのある方向であるとして、その結果に従い
測光のデータ取りと測距エリアを選択して測距とピント
合わせのＡＦ動作を行う（ステップＳ１１８）。このＡ
Ｆ動作の後、２ｎｄレリースイッチの“オン”、“オ
フ”を調べる（ステップＳ１１９）。In step S116, when the line of sight is on the mode mark 40, the mode is switched according to the selection (step S117), and the process returns to step S102. When the direction of the line of sight is not on the mode mark 40, the direction of the line of sight is determined to be the direction in which the target of auto-focusing exists, and based on the result, the data acquisition of the photometry and the distance measurement area are selected, and the AF for the distance measurement and focusing is performed. The operation is performed (step S118). This A
After the F operation, whether the second relay switch is "ON" or "OFF" is checked (step S119).

【００３７】上記ステップＳ１１９において、２ｎｄレ
リーズスイッチが“オン”されていない場合には、再び
１ｓｔレリーズスイッチの“オン”、“オフ”を調べる
（ステップＳ１２０）。そして、１ｓｔレリーズスイッ
チが“オフ”されていない場合にはステップＳ１０２へ
と戻り、１ｓｔレリーズスイッチが“オン”されている
場合には撮影者がシャッタチャンスを待っているところ
であるのでタイマ２をリセットして（ステップＳ１２
１）、２ｎｄレリーズスイッチ検出へ戻る（ステップＳ
１１９）。If it is determined in step S119 that the second release switch has not been turned "on", it is checked again whether the first release switch is "on" or "off" (step S120). If the first release switch has not been turned off, the process returns to step S102. If the first release switch has been turned on, the timer 2 is reset because the photographer is waiting for a photo opportunity. (Step S12
1) Return to the detection of the second release switch (step S)
119).

【００３８】一方、上記ステップＳ１１９において、２
ｎｄレリーズスイッチが“オン”されている場合には、
露出及びフィルムの巻き上げを行う（ステップＳ１２
２，Ｓ１１３）。On the other hand, in step S119, 2
When the nd release switch is turned on,
Exposure and film winding are performed (step S12)
2, S113).

【００３９】以下、図８を参照して上記視線検出のサブ
ルーチンの動作について説明する。ＣＰＵ５０は、まず
光源である赤外ＬＥＤ５を“オン”した後（ステップＳ
２０１）、受光手段であるＣＣＤイメージセンサ６をリ
セットして積分を開始する（ステップＳ２０２）。この
イメージセンサ６は、内部に積分光量を制御するための
光量モニタを内蔵しており、この光量モニタの出力に従
って積分を行い積分が終了したらＣＰＵ５０に積分終了
を知らせる。次に、ＣＰＵ５０はイメージセンサ６の積
分終了を待ち（ステップＳ２０３）、積分終了後、ＬＥ
Ｄ５をオフする（ステップＳ２０４）。そして、ＣＰＵ
５０は積分時間から接眼検出を行う（ステップＳ２０
５）。The operation of the line-of-sight detection subroutine will now be described with reference to FIG. The CPU 50 first turns on the infrared LED 5 as a light source (step S
201), the CCD image sensor 6 as the light receiving means is reset and integration is started (step S202). The image sensor 6 has a built-in light quantity monitor for controlling the integrated light quantity, performs integration in accordance with the output of the light quantity monitor, and notifies the CPU 50 of the completion of the integration when the integration is completed. Next, the CPU 50 waits for the completion of the integration of the image sensor 6 (step S203).
D5 is turned off (step S204). And CPU
50 performs eyepiece detection from the integration time (step S20)
5).

【００４０】ここでは、もし撮影者がファインダを覗い
ていれば所定のレベルの反射光を得るはずなので、反射
光量がこの所定レベルから大きくはずれた場合には撮影
者がファインダを覗いていないと判断することができ
る。Here, if the photographer is looking through the finder, the reflected light of a predetermined level should be obtained. Therefore, if the amount of reflected light greatly deviates from this predetermined level, it is determined that the photographer is not looking through the finder. can do.

【００４１】上記ステップＳ２０５において、積分時間
が所定範囲に入っていないときには像データを読み出さ
ずに接眼していないと判断してサブルーチンを抜ける。
そして、積分時間が所定範囲に入っているときには、セ
ンサ６から像データを読み出し、Ａ／Ｄ変換して内部の
ランダムアクセスメモリに書き込む（ステップＳ２０
６）。In step S205, when the integration time is not within the predetermined range, it is determined that the eye is not being read without reading the image data, and the process exits the subroutine.
When the integration time falls within the predetermined range, the image data is read from the sensor 6, A / D converted, and written into the internal random access memory (step S20).
6).

【００４２】続いて、ＣＰＵ５０は取込んだ像データか
ら眼球像の特徴となる第１プルキンエ像と虹彩エッジと
を検出し、その座標をより視線方向を算出する（ステッ
プＳ２０７）。Subsequently, the CPU 50 detects the first Purkinje image and the iris edge, which are features of the eyeball image, from the captured image data, and calculates the line-of-sight direction based on the coordinates (step S207).

【００４３】ここで、視線方向の検出は、例えば特開昭
６１−１７２５５２号公報により開示されている技術に
より、角膜面での反射光である第１プルキンエ像位置と
虹彩の中心位置とから算出することができる。尚、撮影
者がファインダを覗いていない場合や、目をつぶってい
る瞬間などには眼球像を得られなく視線方向を検出でき
ない。Here, the direction of the line of sight is calculated from the position of the first Purkinje image, which is the reflected light on the corneal surface, and the center position of the iris, for example, by the technique disclosed in JP-A-61-172552. can do. When the photographer does not look into the viewfinder or when his or her eyes are closed, an eyeball image cannot be obtained and the gaze direction cannot be detected.

【００４４】こうして、ＣＰＵ５０は視線が検出できた
かをどうかを判断する（ステップＳ２０８）。この検出
できたかどうかの判断は、得られたセンサ信号が所定の
パターンと一致するか、あるいはセンサで得られた光量
が所定範囲以内であるか等により決める。Thus, the CPU 50 determines whether or not the line of sight has been detected (step S208). The determination as to whether or not the detection has been made is determined based on whether the obtained sensor signal matches a predetermined pattern, whether the amount of light obtained by the sensor is within a predetermined range, or the like.

【００４５】上記ステップＳ２０８において、撮影者の
視線を検出できた場合には、検出フラグＦ０を“１”に
してから（ステップＳ２１０）、ピント板１０４近傍に
置かれる液晶表示素子１１１に視線位置を表示する（ス
テップＳ２１１）。そして、検出できなかった場合には
検出フラグＦ０を“０”にして（ステップＳ２０９）、
リターンする。こうして、撮影者の視線位置は図４
（ｂ）に示すように、ファインダ内表示においてスーパ
ーインポーズ表示４１がされる。If the gaze of the photographer can be detected in step S208, the detection flag F0 is set to "1" (step S210), and the gaze position is set on the liquid crystal display element 111 placed near the focus plate 104. It is displayed (step S211). If the detection has not been performed, the detection flag F0 is set to “0” (step S209),
To return. Thus, the gaze position of the photographer is
As shown in (b), a superimposed display 41 is displayed on the display in the viewfinder.

【００４６】図９（ａ）は、撮影者がファインダを覗い
ていない時、接眼検出を続けているタイムチャートを示
し、図９（ｂ）は、撮影者がファインダを覗いている
時、接眼検出・視線方向を続けているタイムチャートを
示す図である。FIG. 9A shows a time chart in which eye detection is continued when the photographer is not looking through the viewfinder, and FIG. 9B is a time chart when the eye photographer is looking through the viewfinder. -It is a figure which shows the time chart which continues a gaze direction.

【００４７】図９（ａ），（ｂ）から解るように、接眼
検出によって、検出一回の時間間隔が異なるようになっ
ている。接眼時は細かな時間で検出を繰り返すことによ
って正確な視線検出を実現し、非接眼時はインターバル
を開けることによって電流消費を抑える。ここで、本実
施例におけるＡＦエリアセンサ１１０はピント面の像を
受光しており、この像のコントラストを検出することに
よりコントラストＡＦを行う。As can be seen from FIGS. 9A and 9B, the time interval of one detection differs depending on the eyepiece detection. Accurate gaze detection is realized by repeating the detection in a short time when the eye is in the eyepiece, and current consumption is suppressed by opening the interval when the eye is not in the eye. Here, the AF area sensor 110 in the present embodiment receives an image on the focus plane, and performs contrast AF by detecting the contrast of this image.

【００４８】そして、撮影レンズ１０１を所定の２つの
位置に駆動し、このとき得られる像から所定の空間周波
数のコントラストを抽出すると共に周波数成分比を算出
し、撮影レンズ固有の周波数成分比テーブルと比較する
ことによって、レンズのデフォーカス量を算出する。こ
の技術は特開平２−２７５９１６号公報によって公知で
あるため、ここでは詳細な説明は省略する。Then, the photographing lens 101 is driven to two predetermined positions, a contrast of a predetermined spatial frequency is extracted from the image obtained at this time, and a frequency component ratio is calculated. By comparison, the defocus amount of the lens is calculated. Since this technique is known from Japanese Patent Application Laid-Open No. 2-275916, a detailed description is omitted here.

【００４９】このように、本実施例では単なる接眼部の
反射光を検出する接眼センサに比べて眼球像を検出する
ようにしたので、撮影者が覗いているのか、あるいは撮
影とは関係ない物体が近接しているのかを確実に判断す
ることができる。図１０は本発明の第２の実施例に係る
視線検出装置の構成を示す図である。以下、本実施例の
説明において、第１の実施例と同一内容のものは同一番
号で示し、その説明を省略する。As described above, in the present embodiment, the eyeball image is detected as compared with the eyepiece sensor which simply detects the reflected light from the eyepiece, so that it is not related to whether the photographer is looking in or at the time of shooting. It is possible to reliably determine whether or not the object is close. FIG. 10 is a diagram showing a configuration of a visual line detection device according to a second embodiment of the present invention. Hereinafter, in the description of the present embodiment, components having the same contents as those of the first embodiment will be denoted by the same reference numerals, and description thereof will be omitted.

【００５０】本実施例は前述した第１の実施例の構成に
対して、接眼検出手段１１２を更に具備したことに特徴
を有する。即ち、この接眼検出手段１１２は、図１１に
示すようにファインダ近傍に設けられており、撮影者が
カメラの顔を近づけたことを検出するもので焦電センサ
や赤外光のリフレクタ式のものが知られている。以下、
図１３を参照して本実施例の動作について説明する。The present embodiment is characterized in that an eyepiece detecting means 112 is further provided in the configuration of the first embodiment. That is, the eyepiece detecting means 112 is provided near the finder as shown in FIG. 11, and detects that the photographer has approached the camera face. It has been known. Less than,
The operation of this embodiment will be described with reference to FIG.

【００５１】ＣＰＵ５０は、まずＩ／Ｏやレジスタ等の
イニシャライズを行い（ステップＳ３０１）、カメラの
メインスイッチの“オン”、“オフ”を調べる（ステッ
プＳ３０２）。The CPU 50 first initializes I / O and registers (step S301), and checks whether the main switch of the camera is "on" or "off" (step S302).

【００５２】上記ステップ３０２において、メインスイ
ッチが“オフ”されている場合には動作を終了し（ステ
ップＳ３０３）、“オン”されている場合にはタイマ２
が所定値までカウントされているかを調べる（ステップ
Ｓ３０４）。In step 302, if the main switch is turned off, the operation ends (step S303). If the main switch is turned on, the timer 2 is turned off.
It is checked whether or not is counted up to a predetermined value (step S304).

【００５３】このタイマ２は撮影者が所定時間カメラを
操作しなかったときに、例えば１分間ぐらいカメラ内部
の電源供給を停止し省電さるためのもので、上記ステッ
プＳ３０１のイニシャライズでリセットされており、Ｃ
ＰＵ５０の処理動作とは別に計時している。The timer 2 is used to stop the power supply inside the camera for, for example, one minute when the photographer does not operate the camera for a predetermined time, thereby saving power. The timer 2 is reset by the initialization in step S301. Yes, C
The time is measured separately from the processing operation of the PU 50.

【００５４】上記ステップＳ３０４において、最後のカ
メラ操作から所定時間経過している場合には、ＣＰＵ５
０は電源供給を停止して省電させ、クロックを停止して
システムダウンさせる（ステップＳ３０５）。このＣＰ
Ｕ５０の停止状態からは、ＣＰＵ５０につながる割り込
みのスイッチにより立ち上がることができる（ステップ
Ｓ３０６，Ｓ３０７）。In step S304, if a predetermined time has elapsed since the last operation of the camera, the CPU 5
In step S305, the power supply is stopped to save power, and the clock is stopped to shut down the system (step S305). This CP
From the stop state of U50, it can be started by an interrupt switch connected to the CPU 50 (steps S306 and S307).

【００５５】一方、上記ステップＳ３０４において、最
後のカメラ動作から所定時間経過していない場合には接
眼検出を行う（ステップＳ３０８）。そして、上記接眼
検出結果に基づいて撮影者がファインダを覗いているか
否かを判断する（ステップＳ３０９）。On the other hand, if the predetermined time has not elapsed since the last camera operation in step S304, the eye detection is performed (step S308). Then, it is determined whether or not the photographer is looking through the finder based on the eyepiece detection result (step S309).

【００５６】上記ステップＳ３０９において、撮影者が
ファインダを覗いていないと判断された場合にはステッ
プＳ３０２に戻り、撮影者がファインダを覗いていると
判断された場合には前述の視線検出のサブルーチンを実
行する（ステップＳ３１０）。そして、この視線検出の
結果より、撮影者がファインダを覗いているか否かを再
度検出する（ステップＳ３１１）。In step S309, if it is determined that the photographer is not looking through the viewfinder, the process returns to step S302. If it is determined that the photographer is looking through the viewfinder, the above-described line-of-sight detection subroutine is executed. Execute (step S310). Then, based on the result of the line-of-sight detection, it is detected again whether or not the photographer is looking into the finder (step S311).

【００５７】こうして、撮影者がファインダを覗いてい
ると判断されたときは、前記のタイマ２をリセットする
（ステップＳ３１２）。そして、１ｓｔレリーズスイッ
チの“オン”、“オフ”を調べる（ステップＳ３１
３）。When it is determined that the photographer is looking through the viewfinder, the timer 2 is reset (step S312). Then, it checks whether the first release switch is on or off (step S31).
3).

【００５８】上記ステップ３１３において、１ｓｔレリ
ーズスイッチが“オン”されている場合には、ステップ
Ｓ３０２に戻る。そして、１ｓｔレリーズスイッチが
“オン”されている場合には、視線検出結果に応じてモ
ード切り換えをするか否かを判断する（ステップＳ３１
４）。If it is determined in step 313 that the first release switch is "ON", the flow returns to step S302. If the first release switch is "ON", it is determined whether or not to switch the mode in accordance with the result of the line-of-sight detection (step S31).
4).

【００５９】上記ステップＳ３１４において、視線方向
がモードマーク上にある時には、その選択に従いモード
の切り換えを実行し（ステップＳ３１５）、ステップＳ
３０２へと戻る。そして、視線方向がモード選にない時
には、その視線方向がＡＦターゲットのある方向である
として、その結果に従い測光のデータ取りと測距エリア
を選択して測距とピント合わせのＡＦ動作を行う（ステ
ップＳ３１６）。そして、上記ＡＦ動作の後、２ｎｄレ
リースイッチの“オン”、“オフ”を調べる（ステップ
Ｓ３１７）。In step S314, when the line of sight is on the mode mark, the mode is switched according to the selection (step S315).
Return to 302. When the line-of-sight direction is not in the mode selection, it is determined that the line-of-sight direction is the direction in which the AF target is located, and based on the result, the photometry data acquisition and the distance measurement area are selected, and the AF operation for distance measurement and focusing is performed ( Step S316). After the AF operation, whether the second relay switch is "ON" or "OFF" is checked (step S317).

【００６０】上記ステップＳ３１７において、２ｎｄレ
リーズスイッチが“オン”されていない場合には、再び
１ｓｔレリーズスイッチの“オン”、“オフ”を調べる
（ステップＳ３１８）。そして、１ｓｔレリーズスイッ
チが“オフ”されていない場合にはステップＳ３０２へ
と戻り、１ｓｔレリーズスイッチが“オン”されている
場合には撮影者がシャッタチャンスを待っているところ
であるのでタイマ２をリセットして（ステップＳ３１
９）、２ｎｄレリーズスイッチの検出に戻る（ステップ
Ｓ３１７）。If it is determined in step S317 that the second release switch has not been turned "ON", it is checked again whether the first release switch is "ON" or "OFF" (step S318). If the first release switch has not been turned off, the flow returns to step S302. If the first release switch has been turned on, the timer 2 is reset because the photographer is waiting for a photo opportunity. (Step S31
9) Return to detecting the second release switch (step S317).

【００６１】一方、上記ステップＳ３１７において、２
ｎｄレリーズスイッチが“オン”されている場合には、
露出及びフィルムの巻き上げを行う（ステップＳ３２
０，Ｓ３２１）。このように、本実施例では視線検出に
先立ち、接眼検出センサによって視線検出を開始するよ
うにしたので、無駄な電力消費を低減することができ
る。On the other hand, in step S317, 2
When the nd release switch is turned on,
Exposure and film winding are performed (step S32)
0, S321). As described above, in the present embodiment, since the eye-gaze detection is started by the eyepiece detection sensor prior to the gaze detection, useless power consumption can be reduced.

【００６２】以上、本発明の実施例について説明した
が、本発明の趣旨からはずれない範囲で様々な変形が可
能であることは勿論である。例えば、上記実施例におい
て、合焦点装置はファインダ内に実装するＡＦエリアセ
ンサ１０８を用いたコントラストＡＦとしたが、複数の
ラインセンサを持つ位相差検出ＡＦであってもよい。Although the embodiments of the present invention have been described above, it goes without saying that various modifications can be made without departing from the spirit of the present invention. For example, in the above embodiment, the focusing device is a contrast AF using the AF area sensor 108 mounted in the viewfinder, but may be a phase difference detection AF having a plurality of line sensors.

【００６３】また、視線検出を第１プルキンエ像と虹彩
中心位置から算出するようにしたが、例えば虹彩と強膜
とエッジから算出しても良い。さらに、上記実施例にお
いて、視線検出によって接眼検出して、撮影者が装置を
覗いていないと判断できるときには、装置の中の測光回
路、測距回路などの電源供給を停止してもよい。Although the visual line detection is calculated from the first Purkinje image and the iris center position, it may be calculated from the iris, the sclera and the edge, for example. Further, in the above embodiment, when it is determined that the photographer is not looking into the apparatus by detecting the eye by the line of sight, the power supply to the photometric circuit and the distance measuring circuit in the apparatus may be stopped.

【００６４】以上詳述したように、本発明によれば撮影
者がファインダを覗いたときに、自動的に視線検出を始
める事ができるようにしたので、消費電力を抑えること
ができる。そして、視線検出センサを接眼検出センサと
して用いて、その検出結果に応じて検出インターバルを
切り換えるようにしたので、簡単な構成で装置の自動的
な立上がりを実現できると共に、従来にない省電の効果
を出すことができる。さらに、本実施例においては、単
なる接眼部の反射光を検出する接眼センサに比べて、眼
球像を検出するようにしたので、撮影者が覗いているの
か、或いは撮影とは無関係な物体が近接しているのかを
確実に判断できるという効果もある。また、視線検出装
置自身で接眼検出を行うようにしたので、コストを低く
抑えられる。As described in detail above, according to the present invention, when the photographer looks into the finder, the gaze detection can be automatically started, so that the power consumption can be suppressed. The gaze detection sensor is used as an eyepiece detection sensor, and the detection interval is switched according to the detection result, so that the automatic start-up of the device can be realized with a simple configuration, and an unprecedented power saving effect. Can be issued. Furthermore, in the present embodiment, the eyeball image is detected as compared with an eyepiece sensor that simply detects the reflected light of the eyepiece, so that the photographer is looking into the camera or an object unrelated to the shooting. There is also an effect that it is possible to reliably determine whether or not they are close to each other. Also, since the eye-gaze detection is performed by the eye-gaze detecting device itself, the cost can be reduced.

【００６５】[0065]

【発明の効果】本発明によれば、簡単な構成で消費電力
を低減した視線検出装置を提供することができる。According to the present invention, it is possible to provide an eye-gaze detecting device with a simple configuration and reduced power consumption.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の概要を示すブロック図である。FIG. 1 is a block diagram showing an outline of the present invention.

【図２】本発明の第１の実施例に係る視線検出装置の構
成を示す図である。FIG. 2 is a diagram illustrating a configuration of a visual line detection device according to a first embodiment of the present invention.

【図３】眼球からの反射光より検出された第１プルキン
エ像の様子を示す図である。FIG. 3 is a diagram showing a state of a first Purkinje image detected from light reflected from an eyeball.

【図４】（ａ）はファインダ内表示、（ｂ）はファイン
ダ内のスーパーインポーズ表示を示す図である。4A is a view showing a display in a viewfinder, and FIG. 4B is a view showing a superimposed display in a viewfinder.

【図５】ＣＰＵ５０の機能を説明するための図である。FIG. 5 is a diagram for explaining functions of a CPU 50;

【図６】自動合焦装置５５の詳細な構成を示す図であ
る。FIG. 6 is a diagram showing a detailed configuration of the automatic focusing device 55.

【図７】第１の実施例の動作を示すフローチャートであ
る。FIG. 7 is a flowchart showing the operation of the first embodiment.

【図８】視線検出処理のサーブルーチンを示すフローチ
ャートである。FIG. 8 is a flowchart illustrating a serve routine of a visual line detection process.

【図９】視線検出のタイムチャートを示す図であり、
（ａ）は非接眼時のタイムチャート、（ｂ）は接眼時の
タイムチャートを示す。FIG. 9 is a diagram showing a time chart of gaze detection;
(A) is a time chart at the time of non-eyepiece, (b) is a time chart at the time of eyepiece.

【図１０】本発明の第２の実施例に係る視線検出装置の
構成を示す図である。FIG. 10 is a diagram illustrating a configuration of a visual line detection device according to a second embodiment of the present invention.

【図１１】カメラにおける接眼検出装置の位置を示す図
である。FIG. 11 is a diagram showing the position of an eyepiece detection device in a camera.

【図１２】ＣＰＵ５０の機能を説明するための図であ
る。FIG. 12 is a diagram for explaining functions of a CPU 50;

【図１３】第２の実施例の動作を示すフローチャートで
ある。FIG. 13 is a flowchart showing the operation of the second embodiment.

【符号の説明】[Explanation of symbols]

１…検出光照射部、２…光電変換部、３…視線方向演算
部、４…接眼状態検出部、５…検出モード切換部、６…
制御部。DESCRIPTION OF SYMBOLS 1 ... Detection light irradiation part, 2 ... Photoelectric conversion part, 3 ... Eye gaze direction calculation part, 4 ... Eyepiece state detection part, 5 ... Detection mode switching part, 6 ...
Control unit.

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G02B 7/28 - 7/40 G03B 13/02 - 13/16 G03B 13/36 Continuation of the front page (58) Field surveyed (Int.Cl. ⁶ , DB name) G02B 7/28-7/40 G03B 13/02-13/16 G03B 13/36

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 ファインダを覗く観察者の眼球に光を照
射する照射手段と、上記眼球からの反射光を受光し、光
電変換信号を出力する光電変換手段と、 上記光電変換手段からの上記光電変換信号を受け上記観
察者の視線方向を検出する検出手段と、 上記観察者が上記ファインダを覗いているか否かを判別
する判別手段と、 上記判別手段によりファインダを覗いていないと判別さ
れた際に、上記検出手段による検出動作を一時的に遅延
させる遅延手段と、 を具備することを特徴とする視線検出装置。1. An irradiating means for irradiating an eyeball of an observer looking through a finder with light, a photoelectric conversion means for receiving light reflected from the eyeball and outputting a photoelectric conversion signal, and a photoelectric conversion means for outputting a photoelectric conversion signal. Detecting means for receiving the conversion signal and detecting the direction of the line of sight of the observer; determining means for determining whether or not the observer is looking through the finder; and when the determiner determines that the observer is not looking through the finder And a delay means for temporarily delaying the detection operation by the detection means.