JPH06304141A - Device for detecting line of sight - Google Patents

Abstract

PURPOSE:To make a correct detection of the line of sight without performing special arithmetic processing on estimating the circle of the pupil of the eye and the cornea reflection image. CONSTITUTION:The device is provided with a correction means 100 which corrects the extracted boundary position coordinate according to the shape of a photoelectric conversion signal forming the pixel of an area sensor 14 and an arithmetic means 100 computing the line of sight of a user based on the plural corrected boundary position coordinates. According to the shape of the photoelectric conversion signal which forms the pixel of the area sensor, that is, the aspect ratio of the photoelectric conversion element which forms the pixel of the area sensor, the coordinates at the boundary position are corrected and matched with the real space coordinates.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、使用者が観察している
注視点方向の軸、いわゆる視線（視軸）を検出する、カ
メラ等の光学機器に配置される視線検出装置の改良に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an improvement of a line-of-sight detection device arranged in an optical device such as a camera for detecting a so-called line-of-sight (visual axis) of a gazing point observed by a user. Is.

【０００２】[0002]

【従来の技術】従来より、使用者（観察者）が観察面上
のどの位置を観察しているかを検出する、いわゆる視線
（視軸）を検出する装置（例えばアイカメラ）が種々提
案されている。2. Description of the Related Art Conventionally, various devices (for example, eye cameras) that detect what position on a viewing surface a user (observer) observes, that is, a so-called line of sight (visual axis) have been proposed. There is.

【０００３】例えば特開平１−２７４７３６号公報にお
いては、光源からの平行光束を観察者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して視軸を求めている。For example, in Japanese Unexamined Patent Publication No. 1-274736, a parallel light flux from a light source is projected onto the anterior segment of the eyeball of an observer, and a corneal reflection image by the reflected light from the cornea and an image forming position of the pupil are used. Seeking the visual axis.

【０００４】図６及び図７は視線検出方法の原理説明図
である。6 and 7 are explanatory views of the principle of the visual axis detection method.

【０００５】先ず、図６について説明すると、それぞれ
の赤外発光ダイオード（以下、ＩＲＥＤと記す）１３
ａ，１３ｂは受光レンズ１２の光軸アに対してｘ方向に
略対称に配置され、各々撮影者の眼球１５を発散照明し
ている。First, referring to FIG. 6, each infrared light emitting diode (hereinafter referred to as IRED) 13
Reference characters a and 13b are arranged substantially symmetrically with respect to the optical axis A of the light receiving lens 12 in the x direction, and divergently illuminate the eyeball 15 of the photographer.

【０００６】ＩＲＥＤ１３ａ，１３ｂより投射された赤
外光は、眼球１５の角膜１６を照明し、この時角膜１６
の表面で反射したそれぞれの赤外光の一部による角膜反
射像ｄ，ｅは受光レンズ１２により集光され、イメージ
センサ１４上の位置ｄ´，ｅ´に再結像する。また、Ｉ
ＲＥＤ１３ａ，１３ｂにより照明された眼球１５の瞳孔
部の像も、イメージセンサ１４上に結像する。The infrared light projected from the IREDs 13a, 13b illuminates the cornea 16 of the eyeball 15, and at this time, the cornea 16
The corneal reflection images d and e due to a part of the respective infrared light reflected by the surface of are collected by the light receiving lens 12 and re-imaged at the positions d ′ and e ′ on the image sensor 14. Also, I
The image of the pupil of the eyeball 15 illuminated by the REDs 13a and 13b is also formed on the image sensor 14.

【０００７】瞳孔１９と虹彩１７の境界（ａ，ｂ）が有
す円（これを瞳孔円と称する）の中心ｃのｘ座標をｘｃ
としたとき、イメージセンサ１４上でのｘ座標は不図示
のｘｃ’となる。The x-coordinate of the center c of the circle (this is called the pupil circle) having the boundary (a, b) between the pupil 19 and the iris 17 is xc.
Then, the x coordinate on the image sensor 14 becomes xc ′ (not shown).

【０００８】図７（ａ）は、図６のイメージセンサ１４
面上に投影される眼球像を示しており、図７（ｂ）は、
図７（ａ）中のライン（Ｉ）−（Ｉ’）でのイメージセ
ンサ１４よりの像信号の出力波形を示している。FIG. 7A shows the image sensor 14 of FIG.
FIG. 7B shows an eyeball image projected on the surface.
The output waveform of the image signal from the image sensor 14 in the line (I)-(I ') in FIG. 7A is shown.

【０００９】図７（ａ）において、５０は眼球１５のい
わゆる白目の部分、５１は瞳孔部のそれぞれ反射像を示
している。また、５２ａ，５２ｂは一対のＩＲＥＤ１３
ａ，１３ｂの角膜反射像を表しており、この角膜反射像
はプルキンエ像と呼ばれるものである。In FIG. 7A, 50 is a so-called white-eye portion of the eyeball 15, and 51 is a reflection image of the pupil. Further, 52a and 52b are a pair of IREDs 13.
The corneal reflection images of a and 13b are shown, and this corneal reflection image is called a Purkinje image.

【００１０】図７（ｂ）において、像信号６０中の極大
点２つが一対のプルキンエ像に対応している。In FIG. 7 (b), two maximum points in the image signal 60 correspond to a pair of Purkinje images.

【００１１】図６に戻って、プルキンエ像ｄ及びｅの中
点のｘ座標と角膜１６の曲率中心Ｏのｘ座標ｘｏとは一
致するため、プルキンエ像ｄ，ｅの発生位置のｘ座標を
ｘｄ，ｘｅ、角膜１６の曲率中心Ｏと瞳孔１９の中心ｃ
までの標準的な距離をＬ_ocとし、距離Ｌ_ocに対する個人
差を考慮する係数をＡ１とすると、眼球１５の光軸イの
回転角θは、 （Ａ１＊Ｌ_oc）＊ｓｉｎθ≒ｘｃ−（ｘｄ＋ｘｅ）／２ ………（１） の関係式を略満足する。このため、視線演算処理装置に
おいて、イメージセンサ１４上の一部に投影された各特
徴点（プルキンエ像ｄ，ｅ及び瞳孔中心ｃ）の位置を検
出することにより、眼球１５の光軸イの回転角θを求め
ることができる。この時上記（１）式は、 β（Ａ１＊Ｌ_oc）＊ｓｉｎθ≒ｘｃ´−（ｘｄ´＋ｘｅ´）／２…（２） と書き換えられる。但し、βは受光レンズ１２に対する
眼球１５の位置により決まる倍率で、実質的にはプルキ
ンエ像の間隔｜ｘｄ′−ｘｅ′｜の関数として求められ
る。眼球１５の光軸イの回転角θは θ≒ＡＲＣＳＩＮ｛（ｘｃ′−ｘｆ′）／β／（Ａ１＊Ｌ_oc）｝…（３） と書き換えられる。但し ｘｆ′≒（ｘｄ′＋ｘｅ′）／２ である。Returning to FIG. 6, since the x coordinate of the midpoint of the Purkinje images d and e and the x coordinate xo of the center of curvature O of the cornea 16 coincide, the x coordinate of the generation position of the Purkinje images d and e is xd. , Xe, the center of curvature O of the cornea 16 and the center c of the pupil 19
_Let L _oc be the standard distance up to, and A1 be the coefficient that considers individual differences with respect to the distance L _oc , then the rotation angle θ of the optical axis a of the eyeball 15 is (A1 * L _oc ) * sin θ≈xc− ( xd + xe) / 2 ... The relational expression of (1) is substantially satisfied. Therefore, in the line-of-sight calculation processing device, the rotation of the optical axis a of the eyeball 15 is detected by detecting the position of each feature point (Purkinje images d and e and the pupil center c) projected on a part of the image sensor 14. The angle θ can be obtained. At this time, the above equation (1) is rewritten as β (A1 * L _oc ) * sin θ≈xc ′ − (xd ′ + xe ′) / 2 (2). However, β is a magnification determined by the position of the eyeball 15 with respect to the light receiving lens 12, and is substantially obtained as a function of the Purkinje image interval | xd′−xe ′ |. The rotation angle θ of the optical axis a of the eyeball 15 is rewritten as θ≈ARCSIN {(xc′−xf ′) / β / (A1 * L _oc )} (3). However, xf'≈ (xd '+ xe') / 2.

【００１２】ところで、撮影者の眼球１５の光軸イと視
軸とは一致しないため、光軸イの水平方向の回転角θが
算出されると、光軸イと視軸との角度補正δをすること
により撮影者の水平方向の視線θＨは求められる。眼球
１５の光軸イと視軸との補正角度δに対する個人差を考
慮する係数をＢ１とすると、撮影者の水平方向の視線θ
Ｈは θＨ＝θ±（Ｂ１＊δ） ………………（４） で求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置を覗く撮影者の目が左目
の場合は＋、右目の場合は−の符号が選択される。By the way, since the optical axis a of the photographer's eyeball 15 does not coincide with the visual axis, when the horizontal rotation angle θ of the optical axis a is calculated, the angle correction δ between the optical axis a and the visual axis is calculated. The horizontal line of sight θH of the photographer can be obtained by performing. Letting B1 be a coefficient considering an individual difference with respect to the correction angle δ between the optical axis a of the eyeball 15 and the visual axis, the horizontal line of sight θ of the photographer is taken.
H is calculated by θH = θ ± (B1 * δ) (4). Here, the sign ± is selected as + when the eye of the photographer looking into the observation device is the left eye, and when the eye of the photographer looking into the observing device is positive, the sign ± is selected.

【００１３】また同図においては、撮影者の眼球がｚ−
ｘ平面（例えば水平面）内で回転する例を示している
が、撮影者の眼球がｚ−ｙ平面（例えば垂直面）内で回
転する場合においても同様に検出可能である。但し、撮
影者の視線の垂直方向の成分は眼球１５の光軸イの垂直
方向の成分θ′と一致するため垂直方向の視線θＶは θＶ＝θ′ となる。更に、視線デ−タθＨ、θＶより撮影者が見て
いるファインダ視野内のピント板上の位置（ｘｎ，ｙ
ｎ）は ｘｎ≒ｍ＊θＨ ≒ｍ＊［ＡＲＣＳＩＮ｛（ｘｃ′−ｘｆ′）／β／（Ａ１＊Ｌ_oc）｝ ±（Ｂ＊α）］ ………………（５） ｙｎ≒ｍ＊θＶ で求められる。但し、ｍはカメラのファインダ光学系で
決まる定数である。In the figure, the eyeball of the photographer is z-.
Although an example of rotating in the x plane (for example, horizontal plane) is shown, it can be similarly detected when the eyeball of the photographer rotates in zy plane (for example, vertical plane). However, since the vertical component of the line of sight of the photographer matches the vertical component θ ′ of the optical axis a of the eyeball 15, the vertical line of sight θV is θV = θ ′. Further, the position (xn, y) on the focusing plate in the finder field viewed by the photographer from the line-of-sight data θH, θV.
n) is xn≈m * θH≈m * [ARCSIN {(xc′−xf ′) / β / (A1 * L _oc )} ± (B * α)] ……………… (5) yn≈m * Determined by θV. However, m is a constant determined by the finder optical system of the camera.

【００１４】ここで、撮影者の眼球１５の個人差を補正
する係数Ａ１，Ｂ１の値は撮影者にカメラのファインダ
内の所定の位置に配設された視標を固視してもらい、該
視標の位置と上記（５）式に従い算出された固視点の位
置とを一致させることにより求められる。Here, the values of the coefficients A1 and B1 for correcting the individual difference of the eyeball 15 of the photographer are determined by asking the photographer to fixate the visual target arranged at a predetermined position in the viewfinder of the camera. It is obtained by matching the position of the target with the position of the fixation point calculated according to the above equation (5).

【００１５】通常、撮影者の視線及び注視点を求める演
算は、前記各式に基づき視線演算処理装置のマイクロコ
ンピュータのソフトで実行している。Normally, the calculation of the line of sight and the point of gaze of the photographer is executed by the software of the microcomputer of the line-of-sight calculation processing device based on the above equations.

【００１６】視線の個人差を補正する係数が求まると、
上記（５）式を用いてカメラのファインダを覗く撮影者
の視線のピント板上の位置を算出し、その視線情報を撮
影レンズの焦点調節あるいは露出制御等に利用してい
る。When the coefficient for correcting the individual difference of the line of sight is obtained,
The position of the line of sight of the photographer looking into the viewfinder of the camera is calculated on the focus plate by using the above equation (5), and the line-of-sight information is used for focus adjustment or exposure control of the photographing lens.

【００１７】実際に視線を求めるには、イメージセンサ
１４上の眼球像をマイクロコンピュータ等で処理して、
上述したプルキンエ像，瞳孔円を検出し、その位置情報
に基づいて視線を算出する。In order to actually obtain the line of sight, the eyeball image on the image sensor 14 is processed by a microcomputer or the like,
The Purkinje image and the pupil circle described above are detected, and the line of sight is calculated based on the position information.

【００１８】具体的な手法としては、本出願人によって
特開平４−３４７１３１号公報等にて開示されている。A specific method is disclosed by the present applicant in Japanese Patent Application Laid-Open No. 4-347131.

【００１９】同公報によれば、瞳孔円の求め方として、
イメージセンサから眼球像信号を読み出しながら、瞳孔
と虹彩の境界の輝度差を信号エッジとして抽出し、その
座標を記憶してゆく。そして、眼球像の読み出しを終了
すると、記憶している複数の瞳孔のエッジ座標を例えば
最小２乗法を用いて円を推定し、これを瞳孔円としてい
る。According to the publication, as a method for obtaining the pupil circle,
While reading the eyeball image signal from the image sensor, the brightness difference at the boundary between the pupil and the iris is extracted as a signal edge, and the coordinates thereof are stored. Then, when the reading of the eyeball image is completed, a circle is estimated from the stored edge coordinates of the plurality of pupils by using, for example, the least square method, and this is set as a pupil circle.

【００２０】図８はこの概要を説明するための図であ
る。FIG. 8 is a diagram for explaining this outline.

【００２１】図８（ａ）は眼球像を表し、ここではプル
キンエ像は省略している。瞳孔円５１の回りに配置され
ている複数の白丸が瞳孔エッジであり、７０−１がその
１つを表している。また、図８（ｂ）は、図８（ａ）の
瞳孔エッジのみを抽出して表したものである。FIG. 8A shows an eyeball image, and the Purkinje image is omitted here. A plurality of white circles arranged around the pupil circle 51 is a pupil edge, and 70-1 represents one of them. Further, FIG. 8B shows only the pupil edge of FIG. 8A by being extracted.

【００２２】これらのエッジ・データに基づいて最小二
乗法を用いて推定した円が７５である。この推定円の中
心座標を（ｘｃ，ｙｃ），半径をｒｃとすると、図８の
（ｃ）のようになる。The circle estimated using the least squares method based on these edge data is 75. When the center coordinates of this estimated circle are (xc, yc) and the radius is rc, the result is as shown in (c) of FIG.

【００２３】[0023]

【発明が解決しようとする課題】上記従来例に用いられ
ている二次元のイメージセンサ（以下、エリアセンサと
も記す）は、センサの各画素を形成する光電変換素子の
形状は正方形をしているので、画素の縦横アドレスはエ
リアセンサ上の空間座標と一致している。従って、抽出
したプルキンエ像，瞳孔エッジの画素単位の座標（エリ
アセンサ上でのアドレス）はそのまま空間座標として処
理に用いることができる。In the two-dimensional image sensor (hereinafter, also referred to as an area sensor) used in the above-mentioned conventional example, the photoelectric conversion element forming each pixel of the sensor has a square shape. Therefore, the vertical and horizontal addresses of the pixels match the spatial coordinates on the area sensor. Therefore, the extracted Purkinje image and the coordinates of the pupil edge in pixel units (addresses on the area sensor) can be directly used for processing as spatial coordinates.

【００２４】つまり、図９（ａ）の様に正方形の画素形
状を持つエリアセンサは、縦横の画素ピッチは等しいの
で、例えば抽出した瞳孔エッジのセンサ上のアドレスで
瞳孔円を求めると、図９（ｂ）のように正しく瞳孔円を
求めることができる。In other words, the area sensor having a square pixel shape as shown in FIG. 9A has the same vertical and horizontal pixel pitches. Therefore, for example, when the pupil circle is obtained by the address on the sensor of the extracted pupil edge, FIG. The pupil circle can be correctly obtained as in (b).

【００２５】ところが、図１０（ａ）の様な形状が長方
形の光電変換素子を画素とするエリアセンサを用いる
と、抽出した瞳孔エッジのセンサ上のアドレスそのまま
で瞳孔を表すと、縦横のピッチが異なる為、図１０
（ｂ）のように横長の円（楕円）の瞳孔となる。However, when an area sensor having pixels having a rectangular photoelectric conversion element as shown in FIG. 10A is used, if the extracted pupil edge address is used as it is to represent the pupil, the vertical and horizontal pitches are Because it is different,
As shown in (b), the pupil is a horizontally long circle (ellipse).

【００２６】このようになると、正しい瞳孔円の推定は
数値計算上、困難なのもになる。In this case, it is difficult to estimate the correct pupil circle in terms of numerical calculation.

【００２７】（発明の目的）本発明の目的は、瞳孔円や
角膜反射像の推定に際して、格別な演算処理を施すこと
なく、正確な視線検出を行うことのできる視線検出装置
を提供することである。(Object of the Invention) An object of the present invention is to provide an eye-gaze detecting device capable of performing an accurate eye-gaze detection without performing a special calculation process when estimating a pupil circle or a corneal reflection image. is there.

【００２８】[0028]

【課題を解決するための手段】本発明は、エリアセンサ
の画素を形成する光電変換信号の形状に従って、抽出さ
れた境界位置座標を補正する補正手段と、補正された複
数の境界位置座標に基づいて、使用者の視線を算出する
演算手段とを備え、また、エリアセンサの画素を形成す
る光電変換信号の形状に従って、抽出された境界位置座
標、及び、角膜反射像の座標を補正する補正手段と、補
正された複数の境界位置と角膜反射像の座標に基づい
て、使用者の視線を算出する演算手段とを備え、エリア
センサの画素を形成する光電変換信号の形状に従って、
つまりエリアセンサの画素を形成する光電変換素子の縦
横比に応じて、境界位置（瞳孔エッジ），角膜反射像の
座標を補正（伸長あるいは圧縮）して、実空間座標に合
せるようにしている。The present invention is based on a correction means for correcting the extracted boundary position coordinates according to the shape of a photoelectric conversion signal forming a pixel of an area sensor, and a plurality of corrected boundary position coordinates. And a correction means for correcting the extracted boundary position coordinates and the coordinates of the corneal reflection image according to the shape of the photoelectric conversion signal forming the pixel of the area sensor. And a plurality of corrected boundary positions and the coordinates of the corneal reflection image, based on the coordinates of the user, comprising a calculating means for calculating the line of sight of the user, according to the shape of the photoelectric conversion signal forming the pixels of the area sensor,
That is, the boundary position (pupil edge) and the coordinates of the corneal reflection image are corrected (expanded or compressed) according to the aspect ratio of the photoelectric conversion elements forming the pixels of the area sensor, and are adjusted to the real space coordinates.

【００２９】[0029]

【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail below based on the illustrated embodiments.

【００３０】図１は本発明の一実施例における視線検出
装置を具備した一眼レフカメラを示す要部概略図であ
る。FIG. 1 is a schematic view of a main part of a single-lens reflex camera equipped with a line-of-sight detection device according to an embodiment of the present invention.

【００３１】図１において、１は撮影レンズで、便宜上
２枚のレンズで示したが、実際はさらに多数のレンズか
ら構成されている。２は主ミラーで、ファインダ系によ
る被写体像の観察状態と被写体像の撮影状態に応じて撮
影光路へ斜設され或は退去される。３はサブミラーで、
主ミラー２を透過した光束をカメラボディの下方の後述
する焦点検出装置６へ向けて反射する。In FIG. 1, reference numeral 1 denotes a taking lens, which is shown as two lenses for convenience, but in reality it is composed of a larger number of lenses. Reference numeral 2 denotes a main mirror, which is obliquely installed or retreated in the photographing optical path according to the observation state of the subject image by the finder system and the photographing state of the subject image. 3 is a submirror,
The light beam that has passed through the main mirror 2 is reflected toward a focus detection device 6 described below below the camera body.

【００３２】４はシャッタ、５は感光部材で、銀塩フィ
ルム或はＣＣＤやＭＯＳ型等の固体撮像素子、或はビデ
ィコン等の撮像管である。A shutter 4 and a photosensitive member 5 are a silver salt film, a solid-state image pickup device such as a CCD or MOS type, or an image pickup tube such as a vidicon.

【００３３】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，二次結像レンズ６ｄ，絞り６ｅ、複数のＣＣＤから
成るラインセンサ６ｆ等から構成されている。Reference numeral 6 denotes a focus detection device, which is a field lens 6a and reflection mirrors 6b and 6 arranged near the image plane.
c, a secondary imaging lens 6d, a diaphragm 6e, a line sensor 6f including a plurality of CCDs, and the like.

【００３４】本実施例における焦点検出装置６は、周知
の位相差方式にて焦点検出を行うものである。The focus detection device 6 in this embodiment detects the focus by a well-known phase difference method.

【００３５】７は撮影レンズ１の予定結像面に配置され
たピント板、８はファインダ光路変更用のペンタプリズ
ム、９，１０は各々観察画面内の被写体輝度を測定する
ための結像レンズと測光センサである。結像レンズ９は
ペンタプリズム８内の反射光路を介してピント板７と測
光センサ１０を共役に関係付けている。Reference numeral 7 is a focusing plate arranged on the planned image forming surface of the taking lens 1, 8 is a pentaprism for changing the finder optical path, and 9 and 10 are image forming lenses for measuring the brightness of the subject in the observation screen. It is a photometric sensor. The imaging lens 9 conjugately connects the focusing plate 7 and the photometric sensor 10 via the reflection optical path in the pentaprism 8.

【００３６】次に、ペンタプリズム８の射出後方には光
分割器１１ａを備えた接眼レンズ１１が配置され、撮影
者の眼球１５によるピント板７の観察に使用される。光
分割器１１ａは、例えば可視光を透過し赤外光を反射す
るダイクロイックミラーより成っている。Next, an eyepiece lens 11 having a light splitter 11a is arranged behind the exit of the pentaprism 8 and is used for observing the focusing plate 7 by the eyeball 15 of the photographer. The light splitter 11a includes, for example, a dichroic mirror that transmits visible light and reflects infrared light.

【００３７】１２は受光レンズ、１４はＣＣＤ等の光電
変換素子列を二次元的に配したイメージセンサ（エリア
センサ）で、受光レンズ１２に関して所定の位置にある
撮影者の眼球１５の瞳孔近傍と共役になるように配置さ
れている。１３ａ〜１３ｆは各々照明光源であるところ
のＩＲＥＤ（赤外発光ダイオード）である。Reference numeral 12 is a light receiving lens, and 14 is an image sensor (area sensor) in which a photoelectric conversion element array such as a CCD is two-dimensionally arranged. It is located near the pupil of the photographer's eyeball 15 at a predetermined position with respect to the light receiving lens 12. It is arranged to be conjugate. Reference numerals 13a to 13f denote IREDs (infrared light emitting diodes) which are illumination light sources.

【００３８】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤで、ここから発光さ
れた光は投光用プリズム２２を介し、主ミラー２で反射
されてピント板７の表示部に設けた微小プリズムアレイ
７ａで垂直方向に曲げられ、ペンタプリズム８，接眼レ
ンズ１１を通って撮影者の眼１５に達する。Reference numeral 21 is a high-intensity superimposing LED that can be visually recognized even in a bright subject. The light emitted from this LED is reflected by the main mirror 2 via the light projecting prism 22 and is displayed on the display portion of the focusing plate 7. It is bent in the vertical direction by the provided micro prism array 7a, passes through the penta prism 8 and the eyepiece lens 11, and reaches the eye 15 of the photographer.

【００３９】そこで、ピント板７の焦点検出領域に対応
する複数の位置（測距点）にこの微小プリズムアレイ７
ａを枠状に形成し、これを各々に対応した５つのスーパ
ーインポーズ用ＬＥＤ２１（各々をＬＥＤ−Ｌ１，ＬＥ
Ｄ−Ｌ２，ＬＥＤ−Ｃ，ＬＥＤ−Ｒ１，ＬＥＤ−Ｒ２と
する）によって照明する。Therefore, the fine prism array 7 is provided at a plurality of positions (distance measuring points) corresponding to the focus detection area of the focusing plate 7.
a is formed in a frame shape, and five superimposing LEDs 21 (each of which are LED-L1 and LE
D-L2, LED-C, LED-R1, LED-R2).

【００４０】２３はファインダ視野領域を形成する視野
マスク、２４はファインダ視野外に撮影情報を表示する
ためのファインダ内ＬＣＤで、照明用ＬＥＤ（Ｆ−ＬＥ
Ｄ）２５によって照明される。Reference numeral 23 is a field mask for forming a finder field area, and 24 is an LCD in the finder for displaying photographing information outside the field of view of the finder, which is an illumination LED (F-LE).
D) Illuminated by 25.

【００４１】ファインダ内ＬＣＤ２４を透過した光は三
角プリズム２６によってファインダ視野内に導かれ、そ
してファインダ視野外に表示され、撮影者は撮影情報を
知ることができる。The light transmitted through the in-finder LCD 24 is guided into the finder field by the triangular prism 26 and is displayed outside the finder field so that the photographer can know the photographic information.

【００４２】３１は撮影レンズ１内に設けた絞り、３２
は図２により後述する絞り駆動回路１１１を含む絞り駆
動装置、３３はレンズ駆動用モータ、３４は駆動ギヤ等
から成るレンズ駆動部材である。３５はフォトカプラ
で、前記レンズ駆動部材３４に連動するパルス板３６の
回転を検知してレンズ焦点調節回路１１０に伝えてい
る。焦点調節回路１１０は、この情報とカメラ側からの
レンズ駆動量の情報に基づいて前記レンズ駆動用モータ
３３を所定量駆動させ、撮影レンズ１を合焦位置に移動
させるようになっている。３７は公知のカメラとレンズ
とのインターフェイスとなるマウント接点である。Reference numeral 31 denotes an aperture provided in the taking lens 1, 32
2 is an aperture drive device including an aperture drive circuit 111 described later with reference to FIG. 2, 33 is a lens drive motor, and 34 is a lens drive member including a drive gear and the like. Reference numeral 35 is a photocoupler, which detects the rotation of the pulse plate 36 interlocked with the lens driving member 34 and transmits it to the lens focus adjustment circuit 110. The focus adjustment circuit 110 drives the lens driving motor 33 by a predetermined amount based on this information and the information on the lens driving amount from the camera side to move the taking lens 1 to the in-focus position. A mount contact 37 serves as an interface between a known camera and lens.

【００４３】図２は上記構成の一眼レフカメラに内蔵さ
れた電気的構成を示す回路図であり、図１と同じ部分は
同一符号を付してある。FIG. 2 is a circuit diagram showing an electrical structure incorporated in the single-lens reflex camera having the above-mentioned structure, and the same parts as those in FIG. 1 are designated by the same reference numerals.

【００４４】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（ＣＰＵ）１００には、視線検出回
路１０１，測光回路１０２，自動焦点検出回路１０３，
信号入力回路１０４，ＬＣＤ駆動回路１０５，ＬＥＤ駆
動回路１０６，ＩＲＥＤ駆動回路１０７，シャッタ制御
回路１０８，モータ制御回路１０９，発音体１１２が接
続されている。また、撮影レンズ１内に配置された焦点
調節回路１１０，絞り駆動回路１１１とは、図１で示し
たマウント接点３７を介して信号の伝達がなされる。In the central processing unit (CPU) 100 of the microcomputer built in the camera body, the visual axis detection circuit 101, the photometric circuit 102, the automatic focus detection circuit 103,
A signal input circuit 104, an LCD drive circuit 105, an LED drive circuit 106, an IRED drive circuit 107, a shutter control circuit 108, a motor control circuit 109, and a sounding body 112 are connected. Further, signals are transmitted to the focus adjustment circuit 110 and the diaphragm drive circuit 111 arranged in the photographing lens 1 through the mount contact 37 shown in FIG.

【００４５】ＣＰＵ１００に付随したＥＥＰＲＯＭ１０
０ａは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。EEPROM 10 attached to CPU 100
Reference numeral 0a has a function of storing the line-of-sight correction data for correcting individual differences in the line of sight as a storage unit.

【００４６】前記視線検出回路１０１は、イメージセン
サ１４（ＣＣＤ−ＥＹＥ）からの眼球像の信号をＡ／Ｄ
変換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ
１００は後述するように視線検出に必要な眼球像の各特
徴点を所定のアルゴリズムにしたがって抽出し、さらに
各特徴点の位置から撮影者の視線を算出する。The line-of-sight detection circuit 101 A / D receives an eyeball image signal from the image sensor 14 (CCD-EYE).
The image information is converted and transmitted to the CPU 100. CPU
As will be described later, 100 extracts each feature point of the eyeball image necessary for the sight line detection according to a predetermined algorithm, and further calculates the line of sight of the photographer from the position of each feature point.

【００４７】前記測光回路１０２は、測光センサ１０か
らの信号を増幅後、対数圧縮，Ａ／Ｄ変換し、各センサ
の輝度情報としてＣＰＵ１００に送信する。本実施例で
の測光センサ１０は、４つの領域を測光するＳＰＣ−
Ｌ，ＳＰＣ−Ｃ，ＳＰＣ−Ｒ，ＳＰＣ−Ａから成るフォ
トダイオードにて構成されている。The photometric circuit 102 amplifies the signal from the photometric sensor 10, performs logarithmic compression and A / D conversion, and transmits it to the CPU 100 as luminance information of each sensor. The photometric sensor 10 according to the present embodiment is an SPC- that measures light in four areas.
The photodiode is composed of L, SPC-C, SPC-R, and SPC-A.

【００４８】ラインセンサ６ｆは、画面内の５つの測距
点に対応した５組のラインセンサＣＣＤ−Ｌ２，ＣＣＤ
−Ｌ１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ−Ｒ２から
構成される公知のＣＣＤラインセンサである。The line sensor 6f is composed of five sets of line sensors CCD-L2, CCD corresponding to five distance measuring points on the screen.
It is a known CCD line sensor composed of -L1, CCD-C, CCD-R1 and CCD-R2.

【００４９】前記自動焦点検出回路１０３は、上記のラ
インセンサ６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１
００に送る。The automatic focus detection circuit 103 A / D converts the voltage obtained from the line sensor 6f, and the CPU 1
Send to 00.

【００５０】ＳＷ−１は不図示のレリーズボタンの第１
ストロークでＯＮし、測光，ＡＦ，視線検出動作等を開
始させる為のスイッチ、ＳＷ−２は不図示のレリーズボ
タンの第２ストロークでＯＮするレリーズスイッチ、Ｓ
Ｗ−ＡＥＬは不図示のＡＥロックボタンを押すことによ
ってＯＮするＡＥロックスイッチ、ＳＷ−ＤＩＡＬ１と
ＳＷ−ＤＩＡＬ２は、不図示の電子ダイヤル内に設けら
れたダイヤルスイッチで、信号入力回路１０４のアップ
ダウンカウンタに入力され、該電子ダイヤルの回転クリ
ック量をカウントする。SW-1 is the first release button (not shown).
A switch for turning on with a stroke to start photometry, AF, line-of-sight detection operation, etc., SW-2 is a release switch for turning on with a second stroke of a release button (not shown), S
W-AEL is an AE lock switch that is turned on by pressing an AE lock button (not shown), and SW-DIAL1 and SW-DIAL2 are dial switches provided in an electronic dial (not shown), and the signal input circuit 104 is moved up and down. It is input to the counter and counts the rotation click amount of the electronic dial.

【００５１】前記ＬＣＤ駆動回路１０５は、液晶表示素
子ＬＣＤを表示駆動させるための公知の構成よりなるも
ので、ＣＰＵ１００からの信号にしたがい、絞り値，シ
ャッタ秒時，設定した撮影モード等の表示をモニタ用Ｌ
ＣＤ４２とファインダ内ＬＣＤ２４の両方に同時に表示
させることができる。The LCD driving circuit 105 has a known structure for driving the liquid crystal display element LCD to display the aperture value, shutter speed, set photographing mode, etc. according to the signal from the CPU 100. L for monitor
It can be displayed on both the CD 42 and the LCD 24 in the viewfinder at the same time.

【００５２】前記ＬＥＤ駆動回路１０６は、照明用ＬＥ
Ｄ（Ｆ−ＬＥＤ）２５とスーパーインポーズ用ＬＥＤ２
１を点灯，点滅制御する。前記ＩＲＥＤ駆動回路１０７
は、赤外発光ダイオード（ＩＲＥＤ１〜６）１３ａ〜１
３ｆを状況に応じて選択的に点灯させる。前記シャッタ
制御回路１０８は、通電すると先幕を走行させるマグネ
ットＭＧ−１と、後幕を走行させるマグネットＭＧ−２
を制御し、感光部材に所定光量を露光させる。前記モー
タ制御回路１０９は、フィルムの巻き上げ、巻き戻しを
行うモータＭ１と主ミラー２及びシャッタ４のチャージ
を行うモータＭ２を制御するためのものである。The LED driving circuit 106 is a lighting LE.
D (F-LED) 25 and LED2 for superimposing
1 is turned on and off. The IRED drive circuit 107
Is an infrared light emitting diode (IRED1 to 6) 13a to 1
3f is selectively turned on according to the situation. The shutter control circuit 108 has a magnet MG-1 for running the front curtain and a magnet MG-2 for running the rear curtain when energized.
Is controlled to expose the photosensitive member to a predetermined amount of light. The motor control circuit 109 is for controlling the motor M1 for winding and rewinding the film and the motor M2 for charging the main mirror 2 and the shutter 4.

【００５３】上記シャッタ制御回路１０８とモータ制御
回路１０９によって一連のカメラのレリーズシーケンス
が動作する。The shutter control circuit 108 and the motor control circuit 109 operate a series of camera release sequences.

【００５４】図３は上記ＣＰＵ１００及び視線検出回路
１０１における視線検出動作を示すフローチャートであ
り、以下これにしたがって説明する。FIG. 3 is a flow chart showing the visual axis detecting operation in the CPU 100 and the visual axis detecting circuit 101, which will be described below.

【００５５】この動作はステップ２００より開始され
る。This operation starts at step 200.

【００５６】先ず、ＣＰＵ１００は撮影者の眼球１５を
照明するためにＩＲＥＤ１３ａ〜１３ｆの内から適切な
組み合わせのＩＲＥＤを選んで点灯させる（ステップ２
０１）。このＩＲＥＤの選択は、不図示の姿勢スイッチ
によりカメラが横位置か縦位置か、あるいは、撮影者が
眼鏡をかけているか否かによってなされる。First, the CPU 100 selects an appropriate combination of the IREDs 13a to 13f for illuminating the eyeball 15 of the photographer and lights it (step 2).
01). The selection of the IRED is made depending on whether the camera is in the horizontal position or the vertical position by an unillustrated attitude switch, or whether the photographer wears glasses.

【００５７】次に、イメージセンサ１４により所定の蓄
積時間で電荷蓄積を行う（ステップ２０２）。そして、
この蓄積が終了すると、同時にＩＲＥＤも消灯させる
（ステップ２０３）。次いで、ＣＰＵ１００は蓄積の終
了したイメージセンサ１４から撮影者の眼球像を読み出
すと同時に、逐次的にプルキンエ像や瞳孔部の特徴抽出
の処理を行う（ステップ２０４）。Next, the image sensor 14 accumulates charges for a predetermined accumulation time (step 202). And
When this accumulation is completed, the IRED is also turned off at the same time (step 203). Next, the CPU 100 reads out the eyeball image of the photographer from the image sensor 14 whose accumulation has been completed, and at the same time, sequentially performs the Purkinje image and the feature extraction of the pupil portion (step 204).

【００５８】具体的な方法は本出願人によって特開平４
−３４７１３１号公報に詳述されており、基本的にはこ
れと同じであるが、本実施例では、その内の瞳孔エッジ
の抽出方法が異なっている。The specific method is disclosed in Japanese Patent Laid-Open No.
This is described in detail in Japanese Patent Laid-Open No. 347131, and is basically the same as this, but in the present embodiment, a method of extracting a pupil edge therein is different.

【００５９】この抽出方法について、図４を用いて説明
する。This extraction method will be described with reference to FIG.

【００６０】図４（ａ）は、瞳孔の左側のエッジ部分の
光電変換信号の一例であり、横軸はエリアセンサの横
（水平）方向の座標を表し、縦軸は出力（輝度）を表
す。FIG. 4A is an example of the photoelectric conversion signal of the left edge portion of the pupil, where the horizontal axis represents the horizontal (horizontal) coordinate of the area sensor and the vertical axis represents the output (luminance). .

【００６１】図４において、信号８１より次第に輝度が
低下し始め、信号８２で輝度の低下が終わる。信号８１
より図中左側は眼球１５の虹彩部であり、信号８２より
右側が瞳孔部である。そして、信号８１から８２に至る
部分が、いわゆる瞳孔エッジである。In FIG. 4, the luminance gradually starts to decrease from the signal 81, and the luminance ends at the signal 82. Signal 81
The left side of the figure is the iris part of the eyeball 15, and the right side of the signal 82 is the pupil part. The portion from the signals 81 to 82 is the so-called pupil edge.

【００６２】瞳孔エッジにこのような特徴が認められる
とき、従来においては、信号８１の座標、あるいは、信
号８２の座標、あるいは、信号８１と８２の中点の座標
をもって瞳孔エッジの座標とする方法が一般的である。
しかし、この従来方法では、１つあるいは２つの信号の
情報に基づいて座標を決定するために、座標が画素単位
でしか求まらず、かつ、ノイズに対して非常に不安定と
なる。When such a feature is recognized in the pupil edge, conventionally, the coordinate of the signal 81, the coordinate of the signal 82, or the coordinate between the signals 81 and 82 is used as the coordinate of the pupil edge. Is common.
However, in this conventional method, the coordinates are determined only on a pixel-by-pixel basis because the coordinates are determined based on the information of one or two signals, and they are very unstable with respect to noise.

【００６３】そこで、この実施例では、信号８１から８
２までの間の信号の全てを用いて瞳孔エッジ座標を決定
するようにしている。Therefore, in this embodiment, the signals 81 to 8
The pupil edge coordinates are determined using all the signals up to 2.

【００６４】具体的には、瞳孔エッジ部分の信号の差分
をとり、その信号の重心位置をもってエッジ座標と見な
すわけである。Specifically, the difference between the signals at the pupil edge portion is calculated, and the barycentric position of the signal is regarded as the edge coordinate.

【００６５】図４（ａ）の信号をｄ（ｋ）とすると、例
えば ｅ（ｋ）＝ｄ（ｋ−１）−ｄ（ｋ） …………（６） なる計算を行う。ｋは検出座標を表す。Assuming that the signal of FIG. 4A is d (k), for example, the calculation of e (k) = d (k-1) -d (k) (6) is performed. k represents a detected coordinate.

【００６６】ｅ（ｋ）をプロットすると、図４（ｂ）の
ようになる。信号ｅ（ｋ）は一次差分であるため、信号
ｄ（ｋ）の変化が最大の座標で該ｅ（ｋ）は最大値（信
号８３）となる。最大値をもって瞳孔エッジとするので
は、ノイズに対して不安定であるから、本実施例では、
ｅ（ｋ）の重心ｇを求めて、これを瞳孔エッジ座標とす
る。重心座標ｇは次式によって算出される。When e (k) is plotted, it becomes as shown in FIG. 4 (b). Since the signal e (k) is a first-order difference, the e (k) becomes the maximum value (signal 83) at the coordinate where the change of the signal d (k) is the maximum. If the maximum value is set as the pupil edge, it is unstable with respect to noise. Therefore, in the present embodiment,
The center of gravity g of e (k) is calculated and used as the pupil edge coordinates. The barycentric coordinate g is calculated by the following equation.

【００６７】 ｇ＝〔Σｋ・ｅ（ｋ）〕／Σｅ（ｋ） …………（７） ｇは画素単位以下の値（実数値）で求めることができ
る。G = [Σk · e (k)] / Σe (k) (7) g can be calculated with a value (real value) equal to or less than the pixel unit.

【００６８】ところで、上記式（６）では、図４（ａ）
のような減少信号ではｅ（ｋ）は正値をとるが、瞳孔の
右側エッジのように増加信号では負値をとる。その場
合、式（７）の重心計算は正しく機能しないので、式
（６）は絶対値をとるように次のように計算する。By the way, in the above equation (6), FIG.
In the decreasing signal such as, e (k) takes a positive value, but in the increasing signal like the right edge of the pupil, it takes a negative value. In that case, the calculation of the center of gravity of the formula (7) does not function properly, and therefore the formula (6) is calculated as follows so as to take an absolute value.

【００６９】 ｅ（ｋ）＝｜ｄ（ｋ−１）−ｄ（ｋ）｜ ………（６）′ 以上のように、瞳孔エッジを重心で検出することによ
り、画素単位以下の精度で、しかも、ノイズに対して安
定した座標検出が出来る。E (k) = | d (k−1) −d (k) | ... (6) ′ As described above, by detecting the pupil edge at the center of gravity, the accuracy is less than a pixel unit, and Moreover, stable coordinate detection can be performed against noise.

【００７０】再び図３に戻って、眼球像全体の読み出し
が終わり、プルキンエ像，瞳孔の特徴抽出が完了した後
は、これらの情報に基づいて１組のプルキンエ像位置を
検出する（ステップ２０５）。Returning to FIG. 3 again, after the reading of the entire eyeball image is completed and the feature extraction of the Purkinje image and the pupil is completed, one set of Purkinje image positions is detected based on these information (step 205). .

【００７１】先にも述べたように、プルキンエ像は眼球
照明用ＩＲＥＤの角膜反射像であるから、図７（ａ）の
５２ａ，５２ｂのように像信号中には光強度の強い接点
として現れるため、その特徴をもって１組のプルキンエ
像を検出し、その位置（ｘｄ′，ｙｄ′），（ｘｅ′，
ｙｅ′）を求めることが出来る。As described above, since the Purkinje image is the corneal reflection image of the IRED for eyeball illumination, it appears as a contact point having a strong light intensity in the image signal like 52a and 52b in FIG. 7A. Therefore, a set of Purkinje images is detected with that characteristic, and their positions (xd ', yd'), (xe ',
ye ') can be obtained.

【００７２】検出した１組のプルキンエ像の座標を矩形
の光電変換素子の縦横比に基づいて補正を行う。The detected coordinates of one set of Purkinje images are corrected based on the aspect ratio of the rectangular photoelectric conversion element.

【００７３】今、素子（イメージセンサ１４の光電変換
素子）の縦横比が図１０（ａ）で示した様に「２：１」
の矩形であるとすると、画素単位で表した座標は２倍に
横長となっているから、眼球像中の水平検出座標を１／
２にすれば良い。Now, the aspect ratio of the element (photoelectric conversion element of the image sensor 14) is "2: 1" as shown in FIG. 10 (a).
If the rectangle is a rectangle, the coordinates expressed in pixel units are twice as long horizontally, so the horizontal detection coordinates in the eyeball image are 1 /
You can set it to 2.

【００７４】即ち、１つのプルキンエ像座標（ｘｄ′，
ｙｄ′）の縦座標ｙｄ′はそのままにして、横座標ｘ
ｄ′を１／２にする変換をいう。That is, one Purkinje image coordinate (xd ',
ordinate 'yd') is left unchanged, and abscissa x
This is a conversion that reduces d'to 1/2.

【００７５】ｙｄ′←ｙｄ′ ｘｄ′←ｘｄ′／２ 同様に、もう一つのプルキンエ像（ｘｅ′，ｙｅ′）に
ついても、 ｙｅ′←ｙｅ′ ｘｅ′←ｘｅ′／２ なる変換を行う。Yd '← yd' xd '← xd' / 2 Similarly, for the other Purkinje image (xe ', ye'), the conversion of ye '← ye' xe '← xe' / 2 is performed.

【００７６】次に、上記ステップ２０４の逐次処理過程
で抽出した瞳孔エッジの座標情報から、瞳孔円の中心
（ｘｃ′，ｙｃ′）および半径ｒｃの検出を行う（ステ
ップ２０６）。Next, the center (xc ', yc') of the pupil circle and the radius rc are detected from the pupil edge coordinate information extracted in the sequential processing step of step 204 (step 206).

【００７７】瞳孔中心、瞳孔径の検出には、抽出された
瞳孔エッジデータに基づく円の最小二乗推定を用いる。
その基準の計算式は、本出願人による特開平４−３４７
１３１号公報に開示されているが、ここに再び説明して
おく。For the detection of the center of the pupil and the diameter of the pupil, least square estimation of a circle based on the extracted pupil edge data is used.
The calculation formula of the standard is the Japanese Patent Application Laid-Open No. 4-347 by the present applicant.
Although it is disclosed in Japanese Patent No. 131, the description will be given here again.

【００７８】ｎ個の瞳孔エッジの座標を各々（ｘ₁ ，ｙ
₁ ）、（ｘ₂ ，ｙ₂ ），……，（ｘｎ，ｙｎ）とする
と、これらのデータに基づく最小二乗法を用いた推定円
の中心座標（ｘｃ，ｙｃ），半径ｒｃ，推定誤差量ＥＲ
は ｘｃ＝｛（Ｗ１・Ｖ２−Ｗ２・Ｗ４−（Ｗ６−Ｙ１・Ｚ１）・Ｗ３｝ ／｛２・（Ｙ２・Ｖ１−Ｗ５−Ｗ６・Ｘ１／ｎ） ……（１０） ｙｃ＝｛（Ｗ２・Ｖ１−Ｗ１・Ｗ４−（Ｗ７−Ｘ１・Ｚ１）・Ｗ３｝ ／｛２・（Ｙ２・Ｖ１−Ｗ５−Ｗ７・Ｘ１／ｎ） ……（１１） ｒｃ＝√｛Ｗ３−２・（ｘｃ・Ｘ１＋ｙｃ・Ｙ１）／ｎ ＋ｘｃ² ＋ｙｃ² ｝ ……（１２） ＥＲＸ＝Ｘ４−４・ｘｃ・Ｘ３＋２（２・ｘｃ² ＋ｄ）・Ｘ２ −４・ｘｃ・ｄ・Ｘ１＋Ｙ４−４・ｙｃ・Ｙ３ ＋２（２・ｙｃ² ＋ｄ）・Ｙ２−４・ｙｃ・ｄ・Ｙ１ ＋２（Ｚ４−２・ｘｃ・Ｚ３−２・ｙｃ・Ｚ２ ＋４・ｘｃ・ｙｃ・Ｚ１） ＋（ｄ² ・ｎ） …………（１３） ＥＲ＝√（ＥＲＸ／ｎ） …………（１４） 但し、 Ｘ１＝Σｘｉ，Ｘ２＝Σｘｉ² ，Ｘ３＝Σｘｉ³ ，Ｘ４＝Σｘｉ⁴ …………（１５）〜（１８） Ｙ１＝Σｙｉ，Ｙ２＝Σｙｉ² ，Ｙ３＝Σｙｉ³ ，Ｙ４＝Σｙｉ⁴ …………（１９）〜（２２） Ｚ１＝Σｘｉ・ｙｉ，Ｚ２＝Σｘｉ² ・ｙｉ ……（２５）〜（２６） Ｚ３＝Σｘｉ・ｙｉ² ，Ｚ４＝ｘｉ² ・ｙｉ² ……（２５）〜（２６） さらに、 Ｖ１＝Ｘ２−Ｘ１² ／ｎ ………………（２７） Ｖ２＝Ｙ２−Ｙ１² ／ｎ ………………（２８） Ｗ１＝Ｘ３＋Ｙ３ ………………（２９） Ｗ２＝Ｙ３＋Ｚ３ ………………（３０） Ｗ３＝（Ｘ２＋Ｙ２）／ｎ ………………（３１） Ｗ４＝Ｚ１−Ｘ１・Ｙ１／ｎ ………………（３２） Ｗ５＝（Ｚ１−２・Ｘ１・Ｙ１／ｎ）・Ｚ１ ………………（３３） Ｗ６＝Ｘ１・Ｙ２ ………………（３４） Ｗ７＝Ｘ２・Ｙ１ ………………（３５） ｄ＝ｘｃ² ＋ｙｃ² −ｒｃ² ………………（３６） 以上の数値計算を行えば、円の中心（ｘｃ，ｙｃ）、半
径ｒｃと最小二乗推定誤差量ＥＲを求めることができ
る。The coordinates of the n pupil edges are (x ₁ , y
₁ ), (x ₂ , y ₂ ), ..., (xn, yn), the center coordinates (xc, yc), radius rc, and estimated error amount of the estimated circle using the least squares method based on these data. ER
Is xc = {(W1.V2-W2.W4- (W6-Y1.Z1) .W3} / {2. (Y2.V1-W5-W6.X1 / n) ... (10) yc = {(W2 * V1-W1 * W4- (W7-X1 * Z1) * W3} / {2 * (Y2 * V1-W5-W7 * X1 / n) ... (11) rc = √ {W3-2 * (xc *) X1 + yc · Y1) / n + xc 2 + yc 2} ...... (12) ERX = X4-4 · xc · X3 + 2 (2 · xc 2 + d) · X2 -4 · xc · d · X1 + Y4-4 · yc · Y3 +2 ( 2 ・ yc ² + d) ・ Y2-4 ・ yc ・ d ・ Y1 +2 (Z4-2 ・ xc ・ Z3-2 ・ yc ・ Z2 +4 ・ xc ・ yc ・ Z1) + (d ²・ n) ............ (13) ER = √ (ERX / n) (14) However, X1 = Σxi, X2 = Σxi ² , X3 = Σxi ³ , X4 = Σxi ⁴ (15) to (18) Y1 = Σyi, Y2 = Σyi ² , Y3 = Σyi ³ , Y4 = Σyi ⁴ (19) to (22) Z1 = Σxi · yi, Z2 = Σxi ² · yi (25) to (26) Z3 = Σxi · yi ² , Z4 = xi ² · yi ² (25) to (26) Further, V1 = X2-X1 ² / n ...... (27) V2 = Y2-Y1 ² / n ………… (28) W1 = X3 + Y3 ………… (29) W2 = Y3 + Z3 ………… (30) W3 = (X2 + Y2 ) / N ……………… (31) W4 = Z1-X1 ・ Y1 / n ………… (32) W5 = (Z1-2 ・ X1 ・ Y1 / n) ・ Z1 ………… … (33) W6 = X1 · Y2 ……………… (34) W7 = X2 · Y1 ………… (35) d = xc ² + yc ² −rc ² (36) By performing the above numerical calculation, the center (xc, yc) of the circle, the radius rc, and the least square estimation error amount ER can be obtained.

【００７９】さて、上述の演算に先立って瞳孔エッジに
対しても、プルキンエ像と同様に、光電変換素子の形状
に応じた座標変換を行う。Prior to the above-mentioned calculation, the coordinate conversion according to the shape of the photoelectric conversion element is performed on the pupil edge as in the Purkinje image.

【００８０】素子（イメージセンサ１４の光電変換素
子）の縦横比を「２：１」とすると、ｎ個の瞳孔エッジ
座標（ｘ₁ ，ｙ₁ ），（ｘ₂ ，ｙ₂ ），……，（ｘｎ，
ｙｎ）に対して、 ｘｉ←ｘｉ／２ ……………（４０） なる変換を施した後に、上述の式（１０）〜（３６）の
演算を実行すれば良い。これにより、変換後の瞳孔エッ
ジ座標は図５のようになる。なお、前述したように、図
１０（ｂ）が変換前の瞳孔エッジ座標である。When the aspect ratio of the element (photoelectric conversion element of the image sensor 14) is “2: 1”, n pupil edge coordinates (x ₁ , y ₁ ), (x ₂ , y ₂ ), ..., (Xn,
After performing the conversion of xi ← xi / 2 ... (40) on yn), the operations of the above equations (10) to (36) may be executed. As a result, the pupil edge coordinates after conversion are as shown in FIG. Note that, as described above, FIG. 10B shows the pupil edge coordinates before conversion.

【００８１】図３のステップ２０６にて、撮影者の眼球
像からプルキンエ像位置と瞳孔位置を検出することがで
きれば、ステップ２０７にて、撮影者の視線方向あるい
はファインダ上での座標を式（５）から算出することが
出来、視線検出サブルーチンをリターンする（ステップ
２０８）。If the Purkinje image position and the pupil position can be detected from the eyeball image of the photographer in step 206 of FIG. 3, in step 207 the photographer's line-of-sight direction or the coordinates on the finder are calculated by the formula (5). ), The line-of-sight detection subroutine is returned (step 208).

【００８２】上記の実施例によれば、エリアセンサの画
素を形成する光電変換素子の縦横比に応じて、抽出した
プルキンエ像及び瞳孔エッジの座標を補正するようにし
ている為、数値計算上、格別の処理を講ずる事無く、正
しい視線検出処理が可能となる。According to the above-mentioned embodiment, the extracted Purkinje image and the coordinates of the pupil edge are corrected according to the aspect ratio of the photoelectric conversion element forming the pixel of the area sensor. Correct line-of-sight detection processing can be performed without taking any special processing.

【００８３】（変形例）上記の実施例においては、光電
変換素子の縦横比「２：１」に応じて水平方向の座標を
１／２に圧縮することで座標変換を行っているが、水平
方向座標のみを操作するのに対して、垂直方向の座標を
２倍に伸長するようにしても良い。このことにより、同
様の効果を得ることができることは云うまでもないであ
ろう。(Modification) In the above embodiment, the coordinate conversion is performed by compressing the horizontal coordinate to 1/2 according to the aspect ratio "2: 1" of the photoelectric conversion element. While only the directional coordinates are operated, the vertical coordinates may be doubled. It goes without saying that the same effect can be obtained by this.

【００８４】[0084]

【発明の効果】以上説明したように、本発明によれば、
エリアセンサの画素を形成する光電変換信号の形状に従
って、抽出された境界位置座標を補正する補正手段と、
補正された複数の境界位置座標に基づいて、使用者の視
線を算出する演算手段とを備え、また、エリアセンサの
画素を形成する光電変換信号の形状に従って、抽出され
た境界位置座標、及び、角膜反射像の座標を補正する補
正手段と、補正された複数の境界位置と角膜反射像の座
標に基づいて、使用者の視線を算出する演算手段とを備
え、エリアセンサの画素を形成する光電変換信号の形状
に従って、つまりエリアセンサの画素を形成する光電変
換素子の縦横比に応じて、境界位置，角膜反射像の座標
を補正して、実空間座標に合せるようにしている。As described above, according to the present invention,
Correction means for correcting the extracted boundary position coordinates according to the shape of the photoelectric conversion signal forming the pixel of the area sensor;
Based on the corrected plurality of boundary position coordinates, comprising a calculating means for calculating the line of sight of the user, according to the shape of the photoelectric conversion signal forming the pixels of the area sensor, the extracted boundary position coordinates, and, A photoelectric conversion device that includes a correction unit that corrects the coordinates of the corneal reflection image and a calculation unit that calculates the line of sight of the user based on the corrected plurality of boundary positions and the coordinates of the corneal reflection image, and that forms the pixels of the area sensor. The boundary position and the coordinates of the corneal reflection image are corrected according to the shape of the converted signal, that is, according to the aspect ratio of the photoelectric conversion element forming the pixel of the area sensor so as to match the real space coordinates.

【００８５】よって、瞳孔円や角膜反射像の推定に際し
て、格別な演算処理を施すことなく、正確な視線検出を
行うことが可能となる。Therefore, when estimating the pupil circle and the corneal reflection image, it is possible to detect the line of sight accurately without performing special calculation processing.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施例装置を一眼レフカメラに適用
した場合の要部を示す概略図である。FIG. 1 is a schematic diagram showing a main part when an apparatus according to an embodiment of the present invention is applied to a single-lens reflex camera.

【図２】図１の一眼レフカメラの要部構成を示すブロッ
ク図である。FIG. 2 is a block diagram showing a main configuration of the single-lens reflex camera shown in FIG.

【図３】本発明の一実施例における視線検出時の概略動
作を示すフローチャートである。FIG. 3 is a flowchart showing a schematic operation at the time of detecting a line of sight in one embodiment of the present invention.

【図４】本発明の一実施例における瞳孔エッジ抽出時の
説明を助けるための図である。FIG. 4 is a diagram for helping in explaining a pupil edge extraction according to an embodiment of the present invention.

【図５】本発明の一実施例における瞳孔エッジ抽出時の
説明を助けるための図である。FIG. 5 is a diagram for helping in explaining a pupil edge extraction in the embodiment of the present invention.

【図６】視線検出方法の原理を説明するための図であ
る。FIG. 6 is a diagram for explaining the principle of the eye gaze detection method.

【図７】観察者のイメージセンサ上での眼球像の一例を
示す図である。FIG. 7 is a diagram showing an example of an eyeball image on an image sensor of an observer.

【図８】一般的な瞳孔円検出について説明するための図
である。FIG. 8 is a diagram for explaining general pupil circle detection.

【図９】正方形のエリアセンサの画素形状と瞳孔形を示
す図である。FIG. 9 is a diagram showing a pixel shape and a pupil shape of a square area sensor.

【図１０】長方形のエリアセンサの画素形状と瞳孔形を
示す図である。FIG. 10 is a diagram showing a pixel shape and a pupil shape of a rectangular area sensor.

【符号の説明】[Explanation of symbols]

１３ａ，１３ｂ ＩＲＥＤ（赤外発光ダイオード） １４ イメージセンサ １５ 眼球 １６ 角膜 １７ 虹彩 １００ ＣＰＵ １０１ 視線検出回路 １０７ ＩＲＥＤ駆動回路 13a, 13b IRED (infrared light emitting diode) 14 image sensor 15 eyeball 16 cornea 17 iris 100 CPU 101 line-of-sight detection circuit 107 IRED drive circuit

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】 使用者の眼球像を受光するエリアセンサ
と、該エリアセンサから出力される光電変換信号に基づ
いて、眼球像中の瞳孔部と虹彩部の境界位置を前記エリ
アセンサの画素座標として抽出する処理手段と、前記エ
リアセンサの画素を形成する光電変換信号の形状に従っ
て、前記処理手段にて抽出された境界位置座標を補正す
る補正手段と、補正された複数の境界位置座標に基づい
て、使用者の視線を算出する演算手段とを備えた視線検
出装置。1. An area sensor that receives an eyeball image of a user, and a photoelectric conversion signal output from the area sensor is used to determine a boundary position between a pupil portion and an iris portion in the eyeball image with pixel coordinates of the area sensor. Based on the corrected plurality of boundary position coordinates, the correction means for correcting the boundary position coordinates extracted by the processing means according to the shape of the photoelectric conversion signal forming the pixel of the area sensor, And a line-of-sight detection device including a calculation unit that calculates the line of sight of the user. 【請求項２】 使用者の眼球像を受光するエリアセンサ
と、該エリアセンサから出力される光電変換信号に基づ
いて、眼球像中の照明源の角膜反射像、及び、眼球像中
の瞳孔部と虹彩部の境界位置を前記エリアセンサの画素
座標として抽出する処理手段と、前記エリアセンサの画
素を形成する光電変換信号の形状に従って、前記処理手
段にて抽出された境界位置座標、及び、角膜反射像の座
標を補正する補正手段と、補正された複数の境界位置と
角膜反射像の座標に基づいて、使用者の視線を算出する
演算手段とを備えた視線検出装置。2. An area sensor for receiving an eyeball image of a user, and a corneal reflection image of an illumination source in the eyeball image based on a photoelectric conversion signal output from the area sensor, and a pupil portion in the eyeball image. And processing means for extracting the boundary position between the iris and the iris as pixel coordinates of the area sensor, and boundary position coordinates extracted by the processing means according to the shape of the photoelectric conversion signal forming the pixel of the area sensor, and the cornea. A line-of-sight detection device comprising: a correction unit that corrects the coordinates of the reflection image; and a calculation unit that calculates the line of sight of the user based on the corrected plurality of boundary positions and the coordinates of the corneal reflection image. 【請求項３】 補正手段は、矩形の光電変換素子の縦横
比にしたがって、抽出された境界位置，角膜反射像の縦
座標，横座標を補正する手段であることを特徴とする請
求項１又は２記載の視線検出装置。3. The correcting means is means for correcting the extracted boundary position, the ordinate and the abscissa of the corneal reflection image according to the aspect ratio of the rectangular photoelectric conversion element. 2. The line-of-sight detection device described in 2.