JP2877400B2 - Gaze detection method of gaze detection device - Google Patents
Gaze detection method of gaze detection deviceInfo
- Publication number
- JP2877400B2 JP2877400B2 JP1316468A JP31646889A JP2877400B2 JP 2877400 B2 JP2877400 B2 JP 2877400B2 JP 1316468 A JP1316468 A JP 1316468A JP 31646889 A JP31646889 A JP 31646889A JP 2877400 B2 JP2877400 B2 JP 2877400B2
- Authority
- JP
- Japan
- Prior art keywords
- bit
- bit element
- curve
- pupil
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
- Focusing (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、第一プルキンエ像に対応するピーク成分と
眼底からの反射光束に対応する信号成分とを含む光電変
換信号分布曲線を得る段階と、光電変換信号分布曲線を
信号処理して第一プルキンエ像の位置を検出する段階
と、第一プルキンエ像を含む信号成分を信号処理の対象
から除外して眼の虹彩の縁の位置を検出する段階と、瞳
孔の縁の位置に基づき瞳孔中心を求め、瞳孔中心と第一
プルキンエ像との位置関係から視線の方向を検出する段
階とからなる視線検出装置の視線検出方法の改良に関す
る。The present invention relates to a step of obtaining a photoelectric conversion signal distribution curve including a peak component corresponding to a first Purkinje image and a signal component corresponding to a light beam reflected from the fundus. Detecting the position of the first Purkinje image by performing signal processing on the photoelectric conversion signal distribution curve, and detecting the position of the edge of the iris of the eye by excluding the signal component including the first Purkinje image from signal processing targets The present invention relates to an improvement in a gaze detection method of a gaze detection device, comprising the steps of: determining a pupil center based on a position of a pupil edge; and detecting a gaze direction from a positional relationship between the pupil center and the first Purkinje image.
（従来の技術） 近時、カメラ、たとえば、一眼レフレックスカメラで
は、ファインダーの視野内に複数個の合焦ゾーンを設け
ると共に、その複数個の合焦ゾーンと光学的に略共役な
位置に、そのファインダーの各合焦ゾーンに対応するオ
ートフォーカス光学系の合焦視野を設け、撮影者の視線
が向けられた方向にある合焦ゾーンを選択し、その選択
された合焦ゾーンに対応するオートフォーカス光学系を
用いて、その選択された合焦ゾーンに重なって見える被
写体に対する合焦情報に基づいて被写体に対する合焦を
行うものが提案されつつある（特願昭63−143259号参
照）。(Prior Art) Recently, a camera, for example, a single-lens reflex camera, has a plurality of focusing zones within a field of view of a viewfinder, and has a position optically substantially conjugate to the plurality of focusing zones. An in-focus field of the auto-focus optical system corresponding to each focusing zone of the viewfinder is provided, a focusing zone in a direction in which the photographer's line of sight is directed is selected, and an auto-focusing zone corresponding to the selected focusing zone is selected. A device that focuses on a subject by using a focusing optical system based on focusing information on the subject that appears to overlap with the selected focusing zone has been proposed (see Japanese Patent Application No. 63-143259).
その視線の方向を検出するために、従来の説明におい
ては図示を略す送光系を用いて平行光束を撮影者の眼に
照射し、その眼からの反射光束を受光系の一次元ライン
センサ（CCD）を用いて受光し、第10図に示すように、
反射強度の最も大きい第一プルキンエ像に対応するピー
ク成分１と眼底からの反射光束に対応する信号成分２と
を含む光電変換信号分布曲線３を得、光電変換信号分布
曲線３を信号処理して第一プルキンエ像の位置を検出す
ると共に、第一プルキンエ像を含む信号成分１を信号処
理の対象から除外して眼の瞳孔の縁の位置を検出し、瞳
孔の縁の位置に基づき瞳孔中心を求め、瞳孔中心と第一
プルキンエ像との位置関係を検出する視線検出装置が開
発されつつある。なお、４は虹彩からの反射光束に基づ
く信号成分であり、光電変換信号分布曲線３のすそ野を
形成している。In order to detect the direction of the line of sight, a parallel light beam is applied to the photographer's eye using a light transmitting system (not shown) in the conventional description, and a reflected light beam from the eye is used as a one-dimensional line sensor (light receiving system). CCD), and as shown in FIG.
A photoelectric conversion signal distribution curve 3 including a peak component 1 corresponding to the first Purkinje image having the highest reflection intensity and a signal component 2 corresponding to the reflected light flux from the fundus is obtained, and the photoelectric conversion signal distribution curve 3 is subjected to signal processing. Along with detecting the position of the first Purkinje image, detecting the position of the edge of the pupil of the eye by excluding the signal component 1 including the first Purkinje image from the object of signal processing, and determining the center of the pupil based on the position of the edge of the pupil An eye-gaze detecting device for detecting the positional relationship between the center of the pupil and the first Purkinje image is being developed. Reference numeral 4 denotes a signal component based on the light beam reflected from the iris, which forms the base of the photoelectric conversion signal distribution curve 3.
ところで、従来は、その光電変換信号分布曲線３を以
下に説明する信号処理を行って視線の方向を検出してい
る。By the way, conventionally, the direction of the line of sight is detected by performing signal processing described below on the photoelectric conversion signal distribution curve 3.
すなわち、第11図に示すように、二つのスライスレベ
ルSL1、SL2を準備し、スライスレベルSL1により信号成
分２をスライスして瞳孔の縁を求めるための座標i1、i2
を求め、ピーク成分１をスライスして座標PI1、PI2を求
める。そして、座標i1、i2を加算平均して瞳孔中心と求
め、座標PI1、PI2を加算平均して第一プルキンエ像の位
置を求める。この瞳孔中心の位置と第一プルキンエ像の
位置とにより視線の方向を検出している（特願昭62−14
6067号参照）。That is, as shown in FIG. 11, two slice levels SL 1 and SL 2 are prepared, and coordinates i 1 and i 2 for obtaining the edge of the pupil by slicing the signal component 2 by the slice level SL 1.
, And slice the peak component 1 to obtain coordinates PI 1 and PI 2 . Then, the coordinates i 1 and i 2 are added and averaged to obtain the pupil center, and the coordinates PI 1 and PI 2 are added and averaged to obtain the position of the first Purkinje image. The direction of the line of sight is detected from the position of the center of the pupil and the position of the first Purkinje image (Japanese Patent Application No. 62-14 / 1987).
No. 6067).
（発明が解決しようとする課題） ところが、その特願昭62−14067号に開示の信号処理
の方法は、スライスレベルSL2、SL1によってスライスさ
れた位置の二個のビット素子B1、B2、B1′、B2′のみを
用いて座標PI1、PI2、i1、i2を求めるのみであるので、
光電変換信号分布曲線３にノイズが混入した場合にはそ
のノイズの影響を受け易いという問題点があった。(Problems to be Solved by the Invention) However, the signal processing method disclosed in Japanese Patent Application No. 62-14067 uses two bit elements B 1 , B 1 at positions sliced by slice levels SL 2 , SL 1 . Since only the coordinates PI 1 , PI 2 , i 1 and i 2 are obtained using only B 2 ′ and B 1 ′ and B 2 ′,
When noise is mixed in the photoelectric conversion signal distribution curve 3, there is a problem that the noise is easily affected by the noise.
そこで、第12図に示すように、同一出力値を呈するビ
ット素子の頻度を求め、最も頻度の多いビット素子の出
力値を分割レベルBLに設定し、この分割レベルBLを用い
て分割ピーク成分１′（第14図参照）と分割信号成分
２′（第13図参照）とに分割し、この分割ピーク成分
１′と分割信号成分２′とをそれぞれその中央O2を境に
左右に反転させた反転成分を準備する。そして、分割ピ
ーク成分１′とこの反転成分とを相互にビット素子の配
列方向にずらして、出力値の差の絶対値を求める一方、
分割信号成分２′とこの反転成分２′とを相互にビット
素子の配列方向にずらして出力値の差の絶対値を求め
る。次に、この絶対値が最小である各ビット素子を分割
ピーク成分１′と分割信号成分２′とについて求め、第
１プルキンエ像の位置と瞳孔の中心とを求める方法が提
案された（詳細は特願昭63−143259号参照）。この方法
によれば、ノイズの影響を極力除去して第一プルキンエ
像の位置と瞳孔の中心とを求めることができる。Therefore, as shown in FIG. 12, the frequency of the bit element exhibiting the same output value is obtained, the output value of the most frequent bit element is set to the division level BL, and the division peak component 1 is calculated using the division level BL. '(14 as shown) and the division signal component 2' is divided into (13 as shown) and inverts the divided peak component 1 'and the divided signal component 2' and the right and left bordering the central O 2, respectively Prepare the inverted component. Then, the divided peak component 1 'and the inverted component are shifted from each other in the direction in which the bit elements are arranged, thereby obtaining the absolute value of the difference between the output values.
The absolute value of the difference between the output values is obtained by shifting the divided signal component 2 'and the inverted component 2' in the direction in which the bit elements are arranged. Next, a method has been proposed in which each bit element having the minimum absolute value is determined for the divided peak component 1 'and the divided signal component 2', and the position of the first Purkinje image and the center of the pupil are determined (details are given below). See Japanese Patent Application No. 63-143259). According to this method, the position of the first Purkinje image and the center of the pupil can be obtained by removing the influence of noise as much as possible.
ところが、この特願昭63−143259号に開示の信号処理
方法は、分割ピーク成分１′の分布、分割信号成分２′
の分布が中央を境に左右対称であることが前提となって
おり、視線検出装置の光学系にゴーストが混在している
場合には、その対称性が損なわれて、精度良く瞳孔の中
心と第一プルキンエ像の位置とを求め難いという問題点
を残していた。However, the signal processing method disclosed in Japanese Patent Application No. 63-143259 discloses a distribution of a divided peak component 1 'and a divided signal component 2'.
It is assumed that the distribution is symmetrical about the center, and if ghosts are mixed in the optical system of the eye gaze detection device, the symmetry is impaired and the center of the pupil is accurately detected. The problem remains that it is difficult to determine the position of the first Purkinje statue.
そこで、本発明の目的は、簡単な処理方法を用いて、
ノイズ、ゴースト等の影響を極力除去し、精度良く視線
の方向を検出することのできる視線検出装置の視線検出
方法を提供することにある。Therefore, an object of the present invention is to use a simple processing method,
It is an object of the present invention to provide a line-of-sight detection method of a line-of-sight detection device that can remove the influence of noise, ghost, and the like as much as possible and can detect the direction of the line of sight with high accuracy.
（課題を達成するための手段） 本発明に係わる視線検出装置の視線検出方法は、上記
の目的を達成するため、 第一プルキンエ像に対応するピーク成分と眼底からの
反射光束に対応する信号成分とを含む光電変換信号分布
曲線を得る段階と、 該光電変換信号分布曲線を信号処理して第一プルキン
エ像の位置を検出する段階と、 第一プルキンエ像を含むピーク成分を信号処理の対象
から除外する段階と、 眼の瞳孔の縁の位置を検出する段階と、 該瞳孔の縁の位置に基づき瞳孔中心を求め、前記瞳孔
中心と前記第一プルキンエ像との位置関係から視線の方
向を検出する段階とからなる視線検出装置の視線検出方
法において、 前記光電変換信号分布曲線を信号処理して第一プルキ
ンエ像の位置を検出する段階が、前記光電変換信号分布
曲線のピーク値に対応するビット素子を検索する処理を
行う段階と、 ピーク値を出力するビット素子とそのビット素子を挟
む複数個のビット素子とから第一プルキンエ像の位置を
内挿する段階と、 からなり、 前記第一プルキンエ像を含むピーク成分を信号処理の
対象から除外する段階が、前記ピーク値に対応するビッ
ト素子を挟んで複数個のビット素子を信号処理の対象か
ら外すことであり、 前記瞳孔の縁を求める段階が、 その信号処理の対象から除外されたピーク成分の左側
の曲線と右側の曲線とについて、一方の曲線の他方の曲
線側に位置するビット素子の出力値に基づいてその他方
の曲線側のビット素子の出力値よりも小さいスレシホー
ルドレベルを設定する段階と、 そのスレシーホルドレベルを境に隣合った二個のビッ
ト素子であって一方のビット素子の出力値が前記スレシ
ホールドレベルよりも小さく他方のビット素子の出力値
が前記スレシホールドレベルよりも大きい二個のビット
素子を求める段階と、 前記二個のビット素子の近傍にある複数個のビット素
子に対して一ビット素子を飛ばしてビット素子のペアを
求め、このビット素子のペアの出力値に基づく直線群を
得て、この直線群のうち傾きが最大の直線を第一の直線
として求める段階と、 該第一の直線がゼロレベルと交差する位置に最も近い
位置にあるゼロクロスビット素子を求め、このゼロクロ
スビット素子の近傍にある複数個のビット素子の出力値
に基づきその複数個のビット素子に適合しかつ第一の直
線よりも傾きの小さな第二の直線を求める段階と、 該第二の直線と前記第一の直線との交点を前記光電変
換信号分布曲線の変曲点とみなして求め、前記左側の曲
線の変曲点と右側の曲線の変曲点とに基づき瞳孔の縁を
求める段階と、 からなることを特徴とする。(Means for Achieving the Object) In order to achieve the above object, a gaze detection method of a gaze detection apparatus according to the present invention includes a peak component corresponding to a first Purkinje image and a signal component corresponding to a light flux reflected from the fundus. Obtaining a photoelectric conversion signal distribution curve including: a step of detecting a position of the first Purkinje image by performing signal processing on the photoelectric conversion signal distribution curve; and obtaining a peak component including the first Purkinje image from an object of signal processing. Excluding, detecting the position of the edge of the pupil of the eye, obtaining the center of the pupil based on the position of the edge of the pupil, and detecting the direction of the line of sight from the positional relationship between the center of the pupil and the first Purkinje image Performing the signal processing on the photoelectric conversion signal distribution curve to detect the position of the first Purkinje image, wherein the peak of the photoelectric conversion signal distribution curve is detected. Performing a process of searching for a bit element corresponding to the peak value, and interpolating the position of the first Purkinje image from a bit element that outputs a peak value and a plurality of bit elements sandwiching the bit element. The step of excluding the peak component including the first Purkinje image from the target of signal processing is to exclude a plurality of bit elements from the target of signal processing with the bit element corresponding to the peak value interposed therebetween, The step of determining the edge of the pupil is based on the output value of the bit element located on the other curve side of one curve for the left curve and the right curve of the peak component excluded from the signal processing. Setting a threshold level smaller than the output value of the bit element on the curve side; and two bit elements adjacent to the threshold level and Obtaining two bit elements in which the output value of the bit element is smaller than the threshold level and the output value of the other bit element is larger than the threshold level; and in the vicinity of the two bit elements. A bit element pair is obtained by skipping one bit element for a plurality of bit elements, and a straight line group based on the output value of the bit element pair is obtained. And determining a zero-cross bit element located closest to the position where the first straight line intersects the zero level.Based on output values of a plurality of bit elements in the vicinity of the zero-cross bit element, Obtaining a second straight line that is adapted to a plurality of bit elements and has a smaller slope than the first straight line; and an intersection of the second straight line and the first straight line is subjected to the photoelectric conversion. No. determined is regarded as the inflection point of the distribution curve, characterized the step of determining the edges of the pupil based on the inflection point of the inflection point and the right of the curve of the left side of the curve, in that it consists of.
（作用） 本発明に係わる視線検出装置の視線検出方法は、多数
のビット素子を用いて瞳孔中心と第一プルキンエ像の位
置とを求めているので、ノイズ、ゴースト等の影響を極
力除去して精度良く視線の方向を検出することができ
る。また、ニュートンの方法に基づき第一の直線と第二
の直線とのみを用いてその交点として光電変換信号分布
曲線の変曲点を求め、この変曲点を瞳孔の縁の位置とし
て用いて瞳孔の中心を求めているので、信号処理の方法
も簡単である。(Operation) Since the gaze detection method of the gaze detection device according to the present invention obtains the center of the pupil and the position of the first Purkinje image by using a large number of bit elements, the influence of noise, ghost, and the like is removed as much as possible. The gaze direction can be detected with high accuracy. Further, based on Newton's method, the inflection point of the photoelectric conversion signal distribution curve is obtained as the intersection using only the first straight line and the second straight line, and the inflection point is used as the position of the edge of the pupil to obtain the pupil. , The signal processing method is also simple.
（実施例） 以下に、本発明に係わる視線検出装置を一眼レフレッ
クスカメラのオートフォーカス光学系に適用した実施例
を図面を参照しつつ説明する。(Embodiment) An embodiment in which the visual line detection device according to the present invention is applied to an autofocus optical system of a single-lens reflex camera will be described below with reference to the drawings.
第３図は一眼レフレックスカメラのファインダー視野
を示すもので、そのファインダー視野10には３個の合焦
ゾーン11、12、13が設けられている。その合焦ゾーン1
1、12、13の離間距離は、ここでは、約9mmである。一眼
レフレックスカメラには、その各合焦ゾーン11、12、13
に対応させてオートフォーカス光学系（図示を略す）が
設けられている。このオートフォーカス光学系は、３個
の合焦ゾーン11、12、13と略共役な位置に、各合焦ゾー
ン11、12、13に対応する合焦視野（図示を略す）を有す
る。そして、各オートフォーカス光学系は第２図に示す
ようにCCD14、15、16を有する。CCD14、15、16にはオー
トフォーカス光学系の一部を構成する一対のセパレータ
レンズ（図示を略す）により被写体17、18、19の像がそ
れぞれ再結像される。FIG. 3 shows the viewfinder field of view of the single-lens reflex camera. The viewfinder field 10 is provided with three focusing zones 11, 12, and 13. Focus zone 1
The separation distance between 1, 12, and 13 is about 9 mm here. Single-lens reflex cameras have their respective focusing zones 11, 12, 13
An autofocus optical system (not shown) is provided in correspondence with. The autofocus optical system has a focus field (not shown) corresponding to each of the focusing zones 11, 12, and 13 at a position substantially conjugate with the three focusing zones 11, 12, and 13. Each autofocus optical system has CCDs 14, 15, and 16, as shown in FIG. The images of the subjects 17, 18, and 19 are re-imaged on the CCDs 14, 15, and 16 by a pair of separator lenses (not shown) constituting a part of the autofocus optical system.
CCD14、15、16は後述する視線検出装置の処理回路20
の出力信号に基づいていずれかが選択駆動されるもの
で、以下に、視線検出装置の光学系の概略構成を第２図
を参照しつつ説明する。CCDs 14, 15, and 16 are processing circuits 20 of a gaze detection device described later.
In the following, a schematic configuration of an optical system of the visual line detection device will be described with reference to FIG.
その第２図において、21はペンタプリズム、22は接眼
レンズ、23はカメラのフレーム、24は視線検出装置の送
光系、25は視線検出装置の受光系、26はビームスプリッ
タである。送光系24は光源27′とコンペンセータープリ
ズム28′とから大略構成されている。その光源27′は赤
外光を発生するもので、その赤外光はコンペンセーター
プリズム28′、ペンタプリズム21を介して接眼レンズ22
に導かれ、その接眼レンズ22により平行光束とされる。
その赤外光束はビームスプリッタ26を介してファインダ
ー窓28に導かれる。このファインダー窓28に眼29を当て
ると、撮影者はたとえば第３図に示すような被写体17、
18、19を見ることができる。同時に、撮影者の眼29には
赤外光束が投影される。In FIG. 2, reference numeral 21 denotes a pentaprism, 22 denotes an eyepiece, 23 denotes a frame of a camera, 24 denotes a light transmission system of a visual line detection device, 25 denotes a light receiving system of the visual line detection device, and 26 denotes a beam splitter. The light transmission system 24 is generally constituted by a light source 27 'and a compensator prism 28'. The light source 27 'generates infrared light, and the infrared light is transmitted through the compensator prism 28' and the pentaprism 21 to the eyepiece 22.
And is converted into a parallel light beam by the eyepiece lens 22.
The infrared light beam is guided to the finder window 28 via the beam splitter 26. When the user puts his / her eyes 29 on the finder window 28, the photographer can see the subject 17, for example, as shown in FIG.
18, 19 can be seen. At the same time, an infrared light beam is projected on the eye 29 of the photographer.
その赤外光束の投影により、第４図に示すように、撮
影者の眼29の角膜30に第１プルキンエ像PIが形成され
る。その赤外光束の一部は角膜30を通過して眼底に至
る。その第１プルキンエ像PIと瞳孔31の中心32との位置
関係を求めれば、眼の回旋角を求めることができるもの
で、この点に関しては特願昭63−143259号に詳細に開示
されている。By the projection of the infrared light beam, as shown in FIG. 4, a first Purkinje image PI is formed on the cornea 30 of the eye 29 of the photographer. Part of the infrared light beam passes through the cornea 30 and reaches the fundus. If the positional relationship between the first Purkinje image PI and the center 32 of the pupil 31 is determined, the rotation angle of the eye can be determined, and this point is disclosed in detail in Japanese Patent Application No. 63-143259. .
その眼底からの反射光束と角膜30からの反射光束とは
再びファインダー窓28を介してビームスプリッタ26に導
かれる。そして、このビームスプリッタ26により受光系
25に向けて反射される。受光系25は縮小レンズ33とミラ
ー34と再結像レンズ35と一次元ラインセンサ（CCD）36
とから大略構成されている。一次元ラインセンサ36は所
定幅の多数のビット素子を有する。その一次元ラインセ
ンサ36には眼底からの反射光束に基づきシルエットとし
て浮かび上がった瞳孔の縁37、37の像と角膜30からの反
射光束に基づく第１プルキンエ像PIとが再結像される。
一次元ラインセンサ36はその再結像に対応した光電変換
信号を出力する。その光電変換信号分布曲線３は第１プ
ルキンエ像PIに対応するピーク成分１と、眼底からの反
射光束に対応する信号成分２と虹彩からの反射光束に対
応する信号成分４とからなっている。この光電変換信号
分布曲線３を形成する光電変換信号は処理回路20に入力
される。The light beam reflected from the fundus and the light beam reflected from the cornea 30 are guided again to the beam splitter 26 via the finder window 28. The beam splitter 26 provides a light receiving system.
Reflected towards 25. The light receiving system 25 includes a reduction lens 33, a mirror 34, a re-imaging lens 35, and a one-dimensional line sensor (CCD) 36.
It is roughly composed of The one-dimensional line sensor 36 has a number of bit elements having a predetermined width. On the one-dimensional line sensor 36, the images of the pupil edges 37, 37 that emerge as silhouettes based on the reflected light beam from the fundus and the first Purkinje image PI based on the reflected light beam from the cornea 30 are re-imaged.
The one-dimensional line sensor 36 outputs a photoelectric conversion signal corresponding to the re-imaging. The photoelectric conversion signal distribution curve 3 includes a peak component 1 corresponding to the first Purkinje image PI, a signal component 2 corresponding to a light beam reflected from the fundus, and a signal component 4 corresponding to a reflected light beam from the iris. The photoelectric conversion signal forming the photoelectric conversion signal distribution curve 3 is input to the processing circuit 20.
その処理回路20は所定の演算プログラムに基づき以下
に説明する処理を行う。The processing circuit 20 performs processing described below based on a predetermined calculation program.
（１）第一プルキンエ像PIの位置を検出する段階 光電変換信号分布曲線３のピークに対応するビット素
子を検索する段階 この処理は通常の公知の方法により最大値を求めるも
ので、まず、最大値記憶メモリ（図示を略す）に初期値
Vmax＝０（第15図のS1参照）を与え、仮り最大値Vmaxと
する。一次元ラインセンサ36のビット素子（その個数を
Ｎとする）を左から右に順に参照していって、仮り最大
値Vmaxより大きな値を出力するビット素子があればその
ビット素子の出力値を新たな仮り最大値Vmaxとして更新
し、その仮り最大値Vmaxに対応するビット素子の番号I
maxをビット番号記憶メモリ（図示を略す）に記憶す
る。(1) Step of detecting the position of the first Purkinje image PI Step of searching for the bit element corresponding to the peak of the photoelectric conversion signal distribution curve 3 This processing is to find the maximum value by a commonly known method. Initial value in value storage memory (not shown)
V max = 0 gives (see S 1 in FIG. 15), and temporarily maximum value V max. Bit element of the one-dimensional line sensor 36 went reference in order (the number and N) from left to right, the output value of the bit element if any bit element that outputs a value greater than the provisional maximum value V max update the as a new provisional maximum value V max, number I of bit element corresponding to the temporary maximum value V max
max is stored in a bit number storage memory (not shown).
すなわち、仮り最大値VmaxとＩ番目のビット素子の出
力Ｖ（Ｉ）とを比較し（S2参照）、Ｖ（Ｉ）≧Vmaxのと
きはVmax＝Ｖ（Ｉ）、Imax＝Ｉの処理を行う（S3参
照）。Ｖ（Ｉ）＜Vmaxのときはカウント個数を＋１して
（S4参照）、S2の判断を行う。That is, compared with the provisional maximum value V max and the output V of the I-th bit element (I) (see S 2), V (I) V max = V (I) when the ≧ V max, I max = The processing of I is performed (see S3). V (I) <(see S4) and increments the count number when the V max, makes the determination of S2.
Ｉ＝１からＮまで、S1からS4までの処理を繰り返し、
最終ビット素子（Ｎ番目のビット素子）までこの処理を
実行すれば、最大値記憶メモリVmaxには真の最大値（ピ
ーク値）Vmaxが記憶され、ビット番号記憶メモリImaxに
はその真の最大値Vmaxを出力するビット素子の番号Imax
が記憶される。The processing from S1 to S4 is repeated from I = 1 to N,
If this process is performed up to the last bit element (N-th bit element), the true maximum value (peak value) V max is stored in the maximum value storage memory V max, and the true value is stored in the bit number storage memory I max. number I max of the bit element which outputs the maximum value V max of
Is stored.
次に、最大値を出力するビット素子を用いて第１プル
キンエ像PIの位置を内挿座標Xpeakとして求める段階。Next, a step of obtaining the position of the first Purkinje image PI as the interpolation coordinate X peak by using the bit element that outputs the maximum value.
まず、真の最大値Vmaxを出力するビット素子の番号I
max、真の最大値Vmaxをビット番号記憶メモリ、最大値
記憶メモリからそれぞれ呼び出す。First, the number I of the bit element that outputs the true maximum value V max
max, calling each true maximum value V max bit number storage memory, the maximum value storage memory.
また、番号Imaxのビット素子の左隣のビット素子の番
号Imax-1をメモリから呼び出し、その番号Imax-1のビッ
ト素子の出力値Ｖ（Imax-1）をメモリV-1に記憶させ、
次いで、番号Imaxのビット素子の右隣のビット素子の番
号Imax+1をメモリから呼び出し、番号Imax+1のビット素
子の出力値Ｖ（Imax＋１）をメモリV+1に記憶させる（S
5参照）。Also, call the number I max-1 bit element to the left of the bit element number I max from the memory, the output value V of the bit element of that number I max-1 a (I max-1) in the memory V -1 Remember
Then, call the number I max + 1 bit elements right next to the bit element number I max from the memory, and stores the output value V of the number I max + 1-bit elements (Imax + 1) in the memory V +1 (S
5).
次に、V-1≦V+1か否かを判断する（S6参照）。次に、
S7又はS8に移行して内挿座標Xpeakを求める処理を行
う。Next, it is determined whether or not V -1 ≤ V +1 (see S6). next,
The process proceeds to S7 or S8 to perform a process of obtaining the interpolation coordinate X peak .
番号Imax-1のビット素子の出力値V-1と番号Imax+1の
ビット素子の出力値V+1とが共に等しいときには、番号I
maxのビット素子の中央位置をピーク値として考えるこ
とができるが、一般には、番号Imax-1のビット素子の出
力値V-1と番号Imax+1のビット素子の出力値V+1とは等し
いとは限らず、かつ、ビット素子には幅があるので内挿
によりXpeakを求めることにしたのである。When the output value V -1 of the bit element of the number I max-1 and the output value V +1 of the bit element of the number I max + 1 are equal to each other, the number I max
Although the center position of the bit element of max can be considered as the peak value, generally, the output value V -1 of the bit element of number I max-1 and the output value V +1 of the bit element of number I max + 1 are Are not always equal, and the bit element has a width, so X peak is determined by interpolation.
すなわち、不等式V-1＜V+1（またはV-1≦V+1）が成立
するときには、第５図に示すように、数学の直線の傾き
を求める方程式を用い、直線Ａと直線Ｂとの交点とし
て、 の式を用いて求め（第15図のS8参照）、 前記不等式が成り立たない場合は、 の式を用いて求める（第15図のS7参照）。That is, when the inequality V −1 <V +1 (or V −1 ≦ V +1 ) is satisfied, a straight line A and a straight line B are used as shown in FIG. As the intersection of (See S8 in FIG. 15). If the inequality does not hold, (See S7 in FIG. 15).
このようにして、第一プルキンエ像PIの位置がピーク
値を出力するビット素子とそのビット素子を挟む複数個
のビット素子とを用いて内挿座標Xpeakとして求める。In this way, the position of the first Purkinje image PI is obtained as the interpolation coordinate X peak using the bit element outputting the peak value and the plurality of bit elements sandwiching the bit element.
（２）第一プルキンエ像PIを含むビットを処理対象から
除去する段階 この処理は、第６図に示すように、ピーク成分１を形
成する出力値を出力する番号のビット素子を処理の対象
から除外するもので、番号Imaxのビット素子の左右の複
数個のビット素子の出力値を呼び出さないようにするこ
とにより達成される。第６図では、矢印Ｃの範囲のビッ
ト素子が処理の対象から除外されている。(2) Step of removing the bit including the first Purkinje image PI from the processing target In this processing, as shown in FIG. 6, the bit element of the number that outputs the output value forming the peak component 1 is removed from the processing target. exclude, is achieved by not called the output value of a plurality of bit elements of the left and right bit element number I max. In FIG. 6, the bit elements in the range of arrow C are excluded from processing.
処理の対象から除外するビット素子の個数は視線検出
装置の光学性能と一次元ラインセンサー36のビット素子
の幅とが関係するが、光電変換分布曲線３の形状をブラ
ウン管上に映し出してその形状を見ながら決定するのが
望ましい。The number of bit elements to be excluded from the processing is related to the optical performance of the line-of-sight detection device and the width of the bit elements of the one-dimensional line sensor 36. However, the shape of the photoelectric conversion distribution curve 3 is projected on a CRT and the shape is reflected. It is desirable to decide while watching.
ここでは、真の最大値Vmaxを出力するビット素子の番
号Imaxから左に数えて４番目（Imax-4）と真の最大値V
maxを出力するビット素子の番号Imaxから右に数えて４
番目（Imax＋４）との間の各ビット素子を処理対象から
除外する。Here, the fourth counting left with the number I max of the bit element that outputs a true maximum value V max (I max -4) and true maximum value V
with the number I max of the bit element that outputs max counting right 4
Each bit element between the first and the second (I max +4) is excluded from the processing target.
次に、後述する眼の虹彩の縁の検出の際に、左側処理
に用いるスレシュホールドレベルと右側処理に用いるス
レシュホールドレベルとを決定するため、左側の曲線40
の右端のビット素子IRと右側の曲線41の左端のビット素
子ILとを求める処理を行う。Next, at the time of detecting the edge of the iris of the eye, which will be described later, the left curve 40 is used to determine the threshold level used for the left processing and the threshold level used for the right processing.
Of the rightmost bit element I R and the leftmost bit element I L of the right curve 41 are obtained.
すなわち、右端のビット素子メモリIRにビット素子番
号Imax-5を記憶させる。次に、左端のビット素子メモリ
ILにビット素子番号Imax+5を記憶させる（第15図の参照
S9参照）。That, and stores the bit element number I max -5 at the right end of the bit element memory I R. Next, the leftmost bit element memory
The bit element number I max +5 is stored in I L (see FIG. 15).
S9).
（３）眼の虹彩の縁（瞳孔の縁37）を検出する段階 この処理はピーク成分１を出力するビット素子を除い
たビット素子の出力値を用いて行われるもので、ピーク
成分１の左側に存在する曲線40と右側に存在する曲線41
との両方に対して実行される。(3) Step of detecting the edge of the iris of the eye (the pupil edge 37) This processing is performed using the output values of the bit elements excluding the bit element that outputs the peak component 1, and the left side of the peak component 1 Curve 40 present on the right and curve 41 present on the right
And is performed for both.
右側の曲線41に対する処理と左側の曲線40に対する処
理とはピーク成分１を境に対称的に実行されるので、こ
こでは、左側の曲線40に対する処理について詳述する。Since the processing on the right curve 41 and the processing on the left curve 40 are performed symmetrically with respect to the peak component 1, the processing on the left curve 40 will be described in detail here.
左側の曲線40に対する処理は以下の手順で行われる。 The processing for the left curve 40 is performed in the following procedure.
左側の曲線40のほぼ右端に位置する番号IR（IR＝Imax
-5）のビット素子（第６図参照）、すなわち、一方の曲
線40の他方の曲線側に位置するビット素子の出力値Ｖ
（IR）よりも小さいスレシホールドレベルSLLを第１図
に示すように設定する。このスレシホールドレベルSLL
はその右端の番号IRのビット素子の出力値Ｖ（IR）の半
分の値を用いるのが望ましい。従って、まず、 SLL＝Ｖ（IR）/2の処理を行う（第16図のS101参照）。The number I R (I R = I max) located approximately at the right end of the left curve 40
5), that is, the output value V of the bit element located on the other curve side of one curve 40.
A threshold level SLL smaller than (I R ) is set as shown in FIG. This threshold level SLL
It is desirable to use half of the output value V (I R ) of the bit element of the rightmost number I R. Therefore, first, processing of SLL = V (I R ) / 2 is performed (see S101 in FIG. 16).
そして、左側の曲線40を構成する出力値のうち隣接す
る二つのビット素子に着目し、左側のビット素子の出力
値（ビット番号の小さい方のビット素子（番号Ｉで示
す）の出力値）Ｖ（Ｉ）がそのスレシホールドレベルSL
Lより小さく、右側のビット素子の出力値（ビット番号
の大きい方のビット素子（番号Ｉ＋１で示す）の出力
側）Ｖ（Ｉ＋１）がスレシホールドレベルSLLより大き
いか否かの判断を行う（S102参照）。この判断はＩ＝１
からIRまで繰り返される（S104参照）。この条件を満足
する隣接する二つのビット素子の番号をI1、I2（第１図
参照）としてメモリに記憶させる。Focusing on two adjacent bit elements among the output values forming the left curve 40, the output value of the left bit element (the output value of the bit element with the smaller bit number (indicated by number I)) V (I) is the threshold level SL
It is determined whether or not the output value V (I + 1) of the right bit element (the output side of the bit element having the larger bit number (indicated by the number I + 1)) V (I + 1) that is smaller than L is larger than the threshold level SL L. (See S102). This judgment is I = 1
To I R (see S104). The numbers of two adjacent bit elements satisfying this condition are stored in the memory as I 1 and I 2 (see FIG. 1).
次に、ニュートンの方法を用いて、変曲点５を直線近
似の交点として求めるために、第一の直線K1を求める処
理を行う。Next, using the Newton method, in order to obtain the inflection point 5 as the intersection of the linear approximation, executes processing for calculating a first straight K 1.
ここでは、この第一の直線K1を求める処理は番号I1の
ビット素子から左に数えて四つ目のビット素子I1-4番目
のビット素子（これを番号ILSで示す）とその番号I1の
ビット素子から右に数えて四つ目のビット素子I1+4番目
のビット素子（これを番号IILで示す。）までの間のビ
ット素子を対象として行われ、一ビット素子を飛ばして
ビットのペアを求める。このビット素子のペアの出力値
を用いて各ビット素子のペアに基づく直線群を求める。
たとえば、番号I3のビット素子の出力値V3と番号I4のビ
ット素子の出力値V4とにより直線K1′が求められ、番号
I1のビット素子の出力値V1と番号I4の出力値V4とにより
直線K1が求められる。Here, the process of obtaining the first straight line K 1 is performed by counting the bit element of the number I 1 to the left from the fourth bit element I 1 to the fourth bit element (this is indicated by the number I LS ) and its performed as a target bit elements until four th bit element I 1 +4 th bit element (which is indicated by numbers I IL.) counted from the bit element number I 1 to the right one bit element To find a pair of bits. A straight line group based on each bit element pair is obtained using the output value of this bit element pair.
For example, the straight line K 1 'is determined by the number I output value V 3 of the bit element 3 and the number I output value V 4 bit elements 4, number
Straight K 1 is determined by the output value V 4 output values V 1 and No. I 4-bit element I 1.
この処理を行うために、メモリにILS＝I1-4、ILL＝I1
+4を記憶させる。（S105参照）。In order to perform this processing, I LS = I 1 -4 and I LL = I 1 are stored in the memory.
Remember +4. (See S105).
次に、傾きを求めるためのメモリAL1、BL1に初期値A
L1＝０、BL1＝０を与える（S106参照）。そして、メモ
リIL0、メモリIUPに、それぞれ番号Ｉ−１、Ｉ＋１を記
憶させ、メモリＤにＤ＝２を記憶させる（s107参照）。Next, the initial values A are stored in the memories A L1 and B L1 for calculating the inclination.
L1 = 0 and B L1 = 0 are given (see S106). Then, the numbers I-1 and I + 1 are stored in the memories I L0 and I UP , respectively, and D = 2 is stored in the memory D (see s107).
そして、第18図の直線演算ルーチン（S108参照）に移
行して、傾きａ、切片ｂを求める。Then, the process proceeds to a straight line calculation routine (see S108) in FIG. 18, and the slope a and the intercept b are obtained.
傾きａは、 ａ＝（Ｖ（IUP）−Ｖ（ILO））/D 切片ｂは、 ｂ＝（IUP×Ｖ（ILO）−ILO×Ｖ（IUP））/D により求められる。The slope a is given by: a = (V (I UP ) −V (I LO )) / D The intercept b is obtained by b = (I UP × V (I LO ) −I LO × V (I UP )) / D Can be
そして、その傾きａとメモリAL1に記憶された傾きと
を比較し（S109参照）、ａ＞AL1であるならば、S110に
移行してメモリAL1、BL1を更新してS108において求めた
傾きａと切片ｂとをメモリAL1、BL1に記憶させる（S110
参照）。これを、Ｉ＝ILSからILLまで繰り返せば（S111
参照）、傾きが最大の直線が求められる。Then, the gradient a is compared with the gradient stored in the memory A L1 (refer to S109). If a> A L1 , the process proceeds to S110, where the memories A L1 and B L1 are updated and obtained in S108. The inclination a and the intercept b are stored in the memories A L1 and B L1 (S110
reference). If this is repeated from I = I LS to I LL (S111
), And a straight line having the maximum slope is obtained.
ここでは、番号I1のビット素子と番号I4のビット素子
に基づく直線K1が傾きが最大の直線であり、この番号I1
のビット素子と番号I4のビット素子に基づく直線K1が第
一の直線K1である。Here is a linear straight line K 1 is slope maximum based on bit element of the bit element and the number I 4 numbered I 1, the number I 1
Straight K 1 based on the bit element of the bit element and the number I 4 is the first straight line K 1.
次に、この第一の直線K1がゼロレベルと交差する位置
X1を求める。この位置X1のすぐ左側に中心があるビット
素子（最も位置X1に近いビット素子）をゼロクロス・ビ
ット素子（番号I7）として定める。これは、メモリIUP
に-B1DIVA1の値を記憶させることにより得られる。Then, at the intersection with the first straight line K 1 is zero level
Determine the X 1. The bit element centered immediately to the left of this position X 1 (the bit element closest to position X 1 ) is defined as the zero-cross bit element (number I 7 ). This is the memory I UP
Is obtained by storing the value of -B 1 DIVA 1 in
これは、メモリIUPに-B1DIVA1の値を記憶させること
により得られる。This is obtained by storing the value of -B 1 DIVA 1 in the memory I UP .
ここで、BDIVAは、 BDIVA＝SGN（B/A）＊INT（ABS（B/A））の処理を行うこ
とを意味し、 ABS（B/A）はＢをＡで割った値の絶対値をとることを意
味し、INTはそのB/Aの値のうち、小数点以下は切り捨て
て整数化することを意味し、SGNは正負の符号判定を意
味する。これにより、ゼロクロスビット素子が得られ
る。Here, BDIVA means that processing of BDIVA = SGN (B / A) * INT (ABS (B / A)) is performed, and ABS (B / A) is the absolute value of the value obtained by dividing B by A. , INT means that the fractional part of the B / A value is rounded down to be converted to an integer, and SGN means whether the sign is positive or negative. Thereby, a zero cross bit element is obtained.
そして、そのゼロクロス・ビット素子（番号I7）より
数えて四つ目のビット素子IUP-4（番号I8）をメモリILO
に記憶させる（S112参照）。次に、第18図の直線演算ル
ーチンに移行し（S113参照）、番号I8のビット素子の出
力値V8とそのゼロクロスビット番号I7のビット素子の出
力値V7とに基づき、複数個のビット素子の出力値に適合
しかつ第一の直線よりも傾きの小さな第二の直線K2を求
める。ここでは、直線K2の傾きA2と切片B2を求める。Then, the fourth bit element I UP- 4 (number I 8 ) counted from the zero-cross bit element (number I 7 ) is stored in the memory I LO
(See S112). Then, the process proceeds to a straight line calculation routine of FIG. 18 (see S113), on the basis of the output value V 8-bit device number I 8 and the output value V 7 bit element of the zero-cross bit number I 7, a plurality and adapted to output values of the bit element than the first straight seek small second straight K 2 slope. Here, finding the slope A 2 and the intercept B 2 straight lines K 2.
そして、第一の直線K1と第二の直線K2との交点Xedge
を数学的方法により求め、その交点をXedgeを変曲点５
とみなして扱い、変曲点５を瞳孔の縁として取り扱い、
左側の曲線40と右側の曲線41とについてそれぞれ瞳孔の
縁37、37の位置を求める。そして、この瞳孔の縁37、37
の位置を加算平均して瞳孔中心を得る。すなわち、交点
Xedgeは、 Xedge＝（B1−B2）／（A2−A1） として求められる（S114参照）。Then, the intersection X edge between the first straight line K 1 and the second straight line K 2
Is calculated by the mathematical method, and the intersection is defined by X edge as the inflection point 5
And treat inflection point 5 as the edge of the pupil,
The positions of the pupil edges 37, 37 are determined for the left curve 40 and the right curve 41, respectively. And this pupil edge 37, 37
Are averaged to obtain a pupil center. That is, the intersection
X edge is obtained as X edge = (B 1 −B 2 ) / (A 2 −A 1 ) (see S114).
次に、右側処理（S11参照）に移行し、同様の処理を
行う。Next, the process proceeds to the right side process (see S11), and the same process is performed.
右側処理終了後、瞳孔の中心を求めるため、右側処置の
交点Xedge（左と）と右側処理の交点Xedge（右）との平
均Xmeanとを求める（S12参照）。After the right side processing is completed, the average X mean of the intersection X edge (left) and the right side processing intersection X edge (right) in order to obtain the center of the pupil is obtained (see S12).
次に、平均Xmeanと内挿座標Xpeakとを用いて下記の演
算式により、視線方向を求めるために、Ｘ座標の位置X
objを求める（S13参照）。Next, using the average X mean and the interpolated coordinates X peak , the position X
Obtain obj (see S13).
Xobj＝2.467＊（Xmean−Xpeak） この演算式の係数は、特願昭63−143259号の視線検出
の原理に基づき得たものである。X obj = 2.467 * (X mean −X peak ) The coefficients of this equation are obtained based on the principle of gaze detection in Japanese Patent Application No. 63-143259.
第７図〜第９図はその一次元ラインセンサ36から出力
された光電変換信号分布曲線の実測例を示しており、第
７図は中央の合焦ゾーン12に視線を向けた場合の光電変
換信号分布曲線３、第８図は左側の合焦ゾーン11に視線
を向けた場合の光電変換信号分布曲線３、第９図は右側
の合焦ゾーン13に視線を向けた場合の光電変換信号分布
曲線３を示しており、視線の方向は中央の合焦ゾーン12
の位置をＸ＝0mmとして、左側の合焦ゾーン11に視線を
向けた場合の位置はＸ＝−9mm、右側の合焦ゾーン13に
視線を向けた場合はＸ＝9mmとして得られ、実際の処理
においても良好の検出結果が得られた。7 to 9 show actual measurement examples of the distribution curve of the photoelectric conversion signal output from the one-dimensional line sensor 36. FIG. 7 shows the photoelectric conversion when the line of sight is directed to the central focusing zone 12. Signal distribution curve 3, FIG. 8 shows a photoelectric conversion signal distribution curve 3 when the line of sight is directed to the left focusing zone 11, and FIG. 9 shows a photoelectric conversion signal distribution when the line of sight is directed to the right focusing zone 13. Curve 3 is shown, and the direction of the line of sight is the central focusing zone 12.
Is set to X = 0 mm, the position when the line of sight is directed to the left focusing zone 11 is obtained as X = −9 mm, and when the line of sight is directed to the right focusing zone 13, X = 9 mm. Good detection results were also obtained in the processing.
（効果） 本発明に係わる視線検出装置の視線検出方法によれ
ば、簡単な処理方法を用いて、ノイズ、ゴースト等の影
響を極力除去して精度良く視線の方向を検出することが
できるという効果を奏する。(Effect) According to the gaze detection method of the gaze detection device according to the present invention, it is possible to detect the direction of the gaze with high accuracy by removing the influence of noise, ghost, and the like as much as possible using a simple processing method. To play.
第１図は本発明に係わる視線検出装置の処理回路を用い
て変曲点をニュートンの方法により求めるための説明
図、 第２図は本発明に係わる視線検出装置の光学系の要部構
成図、 第３図は第２図に示す視線検出装置が組み込まれた一眼
レフレックスカメラのファインダー視野を示す図、 第４図は視線検出装置を用いて眼に形成される第１プル
キンエ像を説明するための説明図、 第５図は第２図に示す処理回路を用いてピーク位置を求
める処理を説明するための説明図、 第６図はピーク成分を除くための処理を説明するための
説明図、 第７図〜第９図は光電変換信号分布曲線の実測例を説明
するための説明図、 第10図は光電変換信号分布曲線の説明図、 第11図は従来の視線検出装置の視線検出方法の一例を示
す図、 第12図〜第14図は従来の視線検出装置の視線検出方法の
他の例を示す図、 第15図〜第18図は本発明に係わる視線検出装置の視線検
出方法のフローチャート、 である。 １…ピーク成分、２…信号成分 ３…光電変換信号分布曲線、５…変曲点 20…処理回路、31…瞳孔 32…瞳孔中心、36…一次元ラインセンサ（CCD） 37…瞳孔の縁、PI…第１プルキンエ像 K1…第一の直線、K2…第二の直線 K3…第三の直線、Xedge…内挿座標FIG. 1 is an explanatory diagram for finding an inflection point by the Newton's method using the processing circuit of the eye-gaze detecting device according to the present invention, and FIG. FIG. 3 is a view showing a finder visual field of a single-lens reflex camera incorporating the visual line detection device shown in FIG. 2, and FIG. 4 is a view explaining a first Purkinje image formed on the eye using the visual line detection device. FIG. 5 is an explanatory diagram for explaining a process for obtaining a peak position using the processing circuit shown in FIG. 2, and FIG. 6 is an explanatory diagram for explaining a process for removing a peak component. 7 to 9 are explanatory diagrams for explaining an actual measurement example of a photoelectric conversion signal distribution curve, FIG. 10 is an explanatory diagram of a photoelectric conversion signal distribution curve, and FIG. 11 is a gaze detection of a conventional gaze detection device. FIGS. 12 to 14 show an example of a method. Diagram showing another example of the sight line detection method of the detection device, FIG. 15-FIG. 18 is a flow chart, of the sight line detection method of the visual line detection device according to the present invention. DESCRIPTION OF SYMBOLS 1 ... Peak component, 2 ... Signal component 3 ... Photoelectric conversion signal distribution curve, 5 ... Inflection point 20 ... Processing circuit, 31 ... Pupil 32 ... Pupil center, 36 ... One-dimensional line sensor (CCD) 37 ... Pupil edge, PI: First Purkinje image K 1 … First straight line, K 2 … Second straight line K 3 … Third straight line, X edge … Interpolated coordinates
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6，ＤＢ名) A61B 3/10 G02B 7/11 ──────────────────────────────────────────────────続 き Continued on front page (58) Field surveyed (Int.Cl. 6 , DB name) A61B 3/10 G02B 7/11
Claims (2)
眼底からの反射光束に対応する信号成分とを含む光電変
換信号分布曲線を得る段階と、 該光電変換信号分布曲線を信号処理して第一プルキンエ
像の位置を検出する段階と、 第一プルキンエ像を含むピーク成分を信号処理の対象か
ら除外する段階と、 眼の瞳孔の縁の位置を検出する段階と、 該瞳孔の縁の位置に基づき瞳孔中心を求め、前記瞳孔中
心と前記第一プルキンエ像との位置関係から視線の方向
を検出する段階とからなる視線検出装置の視線検出方法
において、 前記光電変換信号分布曲線を信号処理して第一プルキン
エ像の位置を検出する段階が、前記光電変換信号分布曲
線のピーク値に対応するビット素子を検索する処理を行
う段階と、 ピーク値を出力するビット素子とそのビット素子を挟む
複数個のビット素子とから第一プルキンエ像の位置を内
挿する段階と、 からなり、 前記第一プルキンエ像を含むピーク成分を信号処理の対
象から除外する段階が、前記ピーク値に対応するビット
素子を挟んで複数個のビット素子を信号処理の対象から
外すことであり、 前記瞳孔の緑を求める段階が、 その信号処理の対象から除外されたピーク成分の左側の
曲線と右側の曲線とについて、一方の曲線の他方の曲線
側に位置するビット素子の出力値に基づいてその他方の
曲線側のビット素子の出力値よりも小さいスレシホール
ドレベルを設定する段階と、 そのスレシーホルドレベルを境に隣合った二個のビット
素子であって一方のビット素子の出力値が前記スレシホ
ールドレベルよりも小さく他方のビット素子の出力値が
前記スレシホールドレベルよりも大きい二個のビット素
子を求める段階と、 前記二個のビット素子の近傍にある複数個のビット素子
に対して一ビット素子を飛ばしてビット素子のペアを求
め、このビット素子のペアの出力値に基づく直線群を得
て、この直線群のうち傾きが最大の直線を第一の直線と
して求める段階と、 該第一の直線がゼロレベルと交差する位置に最も近い位
置にあるゼロクロスビット素子を求め、このゼロクロス
ビット素子の近傍にある複数個のビット素子の出力値に
基づきその複数個のビット素子に適合しかつ第一の直線
よりも傾きの小さな第二の直線を求める段階と、 該第二の直線と前記第一の直線との交点を前記光電変換
信号分布曲線の変曲点とみなして求め、 前記左側の曲線の変曲点と右側の曲線の変曲点とに基づ
き瞳孔の縁を求める段階と、 からなることを特徴とする視線検出装置の視線検出方
法。A step of obtaining a photoelectric conversion signal distribution curve including a peak component corresponding to a first Purkinje image and a signal component corresponding to a light flux reflected from the fundus; Detecting a position of one Purkinje image; removing a peak component including the first Purkinje image from a signal processing target; detecting a position of an edge of a pupil of the eye; Determining the pupil center based on the pupil center, and detecting the direction of the line of sight from the positional relationship between the pupil center and the first Purkinje image, the signal processing the photoelectric conversion signal distribution curve, Detecting the position of the first Purkinje image includes performing a process of searching for a bit element corresponding to a peak value of the photoelectric conversion signal distribution curve, and outputting a peak value and a bit element that outputs the peak value. Interpolating the position of the first Purkinje image from a plurality of bit elements sandwiching the bit element, and excluding a peak component including the first Purkinje image from signal processing. A plurality of bit elements are excluded from a target of signal processing with a bit element corresponding to the value interposed therebetween, and the step of obtaining green of the pupil includes a curve on the left side of a peak component excluded from the target of the signal processing. For the right curve, setting a threshold level smaller than the output value of the bit element on the other curve side based on the output value of the bit element located on the other curve side of one curve; Two bit elements adjacent to each other at a threshold level, one bit element having an output value smaller than the threshold level and the other bit element having an output value Determining two bit elements greater than the threshold level; and skipping one bit element for a plurality of bit elements near the two bit elements to determine a pair of bit elements, Obtaining a group of straight lines based on the output values of the pair of elements, and obtaining a straight line having the largest slope from the group of straight lines as a first straight line; a position closest to a position where the first straight line intersects the zero level; Is determined, a second straight line that is adapted to the plurality of bit elements and has a smaller inclination than the first straight line based on the output values of the plurality of bit elements near the zero cross bit element. Determining the intersection of the second straight line and the first straight line as an inflection point of the photoelectric conversion signal distribution curve, and determining an inflection point of the left curve and an inflection point of the right curve Based on Determining a pupil edge; and a gaze detection method for the gaze detection device, comprising:
中心を求める段階であることを特徴とする請求項１に記
載の視線検出装置の視線検出方法。2. The line of sight according to claim 1, wherein the step of obtaining the center of the pupil is the step of obtaining the center of the pupil as the median value between the left inflection point and the right inflection point. A gaze detection method for the detection device.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1316468A JP2877400B2 (en) | 1989-12-07 | 1989-12-07 | Gaze detection method of gaze detection device |
| US07/623,566 US5485403A (en) | 1989-12-07 | 1990-12-07 | Method and apparatus for processing signals from photoconductive sensor |
| DE4039144A DE4039144A1 (en) | 1989-12-07 | 1990-12-07 | Signal evaluation system for detecting line of sight - detects variation point between two signal levels using defined threshold level |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1316468A JP2877400B2 (en) | 1989-12-07 | 1989-12-07 | Gaze detection method of gaze detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03177828A JPH03177828A (en) | 1991-08-01 |
| JP2877400B2 true JP2877400B2 (en) | 1999-03-31 |
Family
ID=18077434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1316468A Expired - Fee Related JP2877400B2 (en) | 1989-12-07 | 1989-12-07 | Gaze detection method of gaze detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2877400B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5627586A (en) * | 1992-04-09 | 1997-05-06 | Olympus Optical Co., Ltd. | Moving body detection device of camera |
| JP6169446B2 (en) * | 2013-09-04 | 2017-07-26 | アルプス電気株式会社 | Gaze detection device |
-
1989
- 1989-12-07 JP JP1316468A patent/JP2877400B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03177828A (en) | 1991-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7380998B2 (en) | Image pickup apparatus having image pickup optical system | |
| JP4018218B2 (en) | Optical apparatus and distance measuring point selection method | |
| JP3240648B2 (en) | Focus detection device | |
| JPH08248303A (en) | Focus detector | |
| JP2605282B2 (en) | Automatic focusing device | |
| JPS6155618A (en) | Automatic focusing device | |
| US5671447A (en) | Line-of-sight detecting device and apparatus including the same | |
| JP2886865B2 (en) | Focus state detection device | |
| JP2001116985A (en) | Camera with subject recognizing function and subject recognizing method | |
| US6636699B2 (en) | Focus detection device and distance measurement device | |
| JP5159205B2 (en) | Focus detection device and control method thereof | |
| JP2787491B2 (en) | Eye gaze detection device | |
| JP2001116979A (en) | Automatic focusing camera and photographing method | |
| JP2877400B2 (en) | Gaze detection method of gaze detection device | |
| US5640618A (en) | Focus state detection device and method | |
| JP2877399B2 (en) | Gaze detection method of gaze detection device | |
| JPH05211625A (en) | Image pickup device | |
| JP3039066B2 (en) | Focus detection device | |
| US5485403A (en) | Method and apparatus for processing signals from photoconductive sensor | |
| JP3290450B2 (en) | Magnetic recording and photographing apparatus and focus control apparatus and method | |
| JPH03107932A (en) | Photographing controller for camera | |
| JPS6155620A (en) | Automatic focusing device | |
| JPH05188276A (en) | Automatic focusing device for camera | |
| JP3591258B2 (en) | Focus detection device | |
| JP3728611B2 (en) | Focus detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090122 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |