JP4568836B2 - Real-time pupil position detection system - Google Patents
Real-time pupil position detection system Download PDFInfo
- Publication number
- JP4568836B2 JP4568836B2 JP2004170506A JP2004170506A JP4568836B2 JP 4568836 B2 JP4568836 B2 JP 4568836B2 JP 2004170506 A JP2004170506 A JP 2004170506A JP 2004170506 A JP2004170506 A JP 2004170506A JP 4568836 B2 JP4568836 B2 JP 4568836B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- center
- image
- detected
- difference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、顔全体が写っている顔画像に関連するデータを前処理の段階で獲得し、前記データに基づいて瞳孔の２次元座標を高精度に検出する実時間瞳孔位置検出システムに関する。 The present invention relates to a real-time pupil position detection system that acquires data related to a face image in which an entire face is captured in a pre-processing stage and detects two-dimensional coordinates of the pupil with high accuracy based on the data.
顔画像から眼を検出する方法はたくさん提案されている。眼を検出する方法の代表的な方法に、テンプレートマッチングがある。しかし、この方法は、予め、眼の特徴点である目尻や目頭などの画像をテンプレートとして保存しなければならないため、その作業が面倒である。また、一般的に周囲の光環境変化に弱いという欠点をもつ。そのため、更新型テンプレートを用いることもあるが、追尾対象が徐々にずれていくという問題がある。さらに、この方法では、目頭と目尻を検出し、それらの中間位置などを眼の位置とするわけだが、視線の出口である瞳孔は、黒目の中央にある穴の部分であり、その位置は、視線の方向によって目尻と目頭の間で移動する。したがって、眼の位置をそのまま瞳孔位置に代替することはできない。 Many methods for detecting eyes from facial images have been proposed. Template matching is a typical method for detecting an eye. However, this method is troublesome because the images such as the corners of the eyes and the eyes that are characteristic points of the eyes must be stored in advance as templates. In addition, it has a drawback that it is generally vulnerable to changes in the surrounding light environment. For this reason, an update template may be used, but there is a problem that the tracking target gradually shifts. Furthermore, in this method, the eye head and the corner of the eye are detected, and the middle position between them is the position of the eye, but the pupil which is the exit of the line of sight is the hole part in the center of the black eye, It moves between the corners of the eyes and the eyes depending on the direction of the line of sight. Therefore, the eye position cannot be replaced with the pupil position as it is.
非特許文献１に示されているように、黒目を検出する方法として、分離度フィルタを使用する方法がある。これは黒目が円形で白目に比べて黒いことを利用する方法である。しかし、黒目は目蓋に隠れやすく、それの正確な中心を求めるのは難しい。さらに、別の欠点として真っ暗なところでは使用できないという点がある。多くの場合は、照明光を使用しないのが前提であるためである。そこで、もし、顔に光を照射すると、可視光では眩しいので、近赤外光を使用することになる。しかし、その場合、可視光の場合と比べて、黒目と白目のコントラストが悪くなり、黒目は検出しにくい。さらに、被験者が眼鏡やサングラスを使用している場合は、それらは、黒目の検出に大きな障害となる。その大きな理由は、近赤外光を顔に照射するための光源が眼鏡レンズの表面等で反射光が非常に明るい反射像を作るためであり（眼鏡反射）、これへの対処については、ほとんど検討されていない。
瞳孔は照明無しでは一般に検出しにくい。しかし、照明を工夫することで容易となるだけでなく、昼夜にかかわらず検出ができるようにする。
この後で述べる複数の光源と画像差分を用いることにより眼鏡反射が眼鏡レンズ上に現れても、瞳孔像に重ならない限り検出可能である。顔が背景よりも光源の影響を明るくなりやすいため顔領域が判別しやすくする。
黒目に比較して瞳孔は目蓋に隠れにくいため、黒目の中心を瞳孔中心として検出するより、瞳孔中心を直接求めることにより、高い検出精度を得る。
本発明の目的は、マーカー等を用いることなく非接触で、実時間の瞳孔の検出が可能になる実時間瞳孔検出装置を提供することにある。
The pupil is generally difficult to detect without illumination. However, it is not only easy to devise lighting, but also enables detection regardless of day or night.
By using a plurality of light sources and image differences described later, even if a spectacle reflection appears on the spectacle lens, it can be detected as long as it does not overlap the pupil image. Since the face is more easily affected by the light source than the background, the face area is easily discriminated.
Since the pupil is less concealed by the eyelid than the black eye, high detection accuracy is obtained by directly obtaining the pupil center rather than detecting the center of the black eye as the pupil center.
An object of the present invention is to provide a real-time pupil detection device capable of detecting a real-time pupil without using a marker or the like.
前記目的を達成するための、本発明による実時間瞳孔位置検出システムは、明瞳孔を含む顔画像と暗瞳孔を含む顔画像を撮像することができる撮影手段と、撮影手段の出力を処理演算する画像処理演算装置を用いて、顔領域の差分画像を得る前処理ステップと、前処理ステップにおいて得られた顔領域の差分画像における瞬目時に生じる画像変化により目領域差分画像を作成することで瞳孔を検出する瞳孔検出ステップと、瞳孔検出ステップにおいて検出された瞳孔に基づき瞳孔の中心を算出する低精度中心算出ステップと、検出された瞳孔にウインドウを与えてウインドウ内で瞳孔の中心を算出する高精度中心算出ステップと、からなるフレームを繰り返し実行する実時間瞳孔位置検出システムにおいて、各フレームにて、前処理ステップを行い、前のフレームで瞳孔が１個も検出されなかった場合は、瞳孔検出ステップに続けて低精度中心算出ステップを行い第１瞳孔および第２瞳孔の中心を算出し、前のフレームで何れか一方の瞳孔が検出されなかった場合は、検出された瞳孔に対して高精度中心算出ステップを行い中心を算出し、検出されなかった瞳孔に対して瞳孔検出ステップに続けて低精度中心算出ステップを行い中心を算出し、前のフレームで２個の瞳孔が検出された場合は、各瞳孔について、高精度中心算出ステップを行い中心を算出する、ことを特徴とする。In order to achieve the above object, a real-time pupil position detection system according to the present invention is capable of imaging a face image including a bright pupil and a face image including a dark pupil, and processing and calculating an output of the imaging unit. Pupils by creating an eye area difference image by a preprocessing step of obtaining a difference image of a face area using an image processing arithmetic unit and an image change that occurs at the time of blinking in the difference image of the face area obtained in the preprocessing step A pupil detection step for detecting the pupil, a low-precision center calculation step for calculating the center of the pupil based on the pupil detected in the pupil detection step, and a height for calculating the pupil center in the window by giving a window to the detected pupil. In the real-time pupil position detection system that repeatedly executes a frame consisting of a center of accuracy calculation step, a pre-processing step in each frame If no pupil is detected in the previous frame, a low-precision center calculation step is performed subsequent to the pupil detection step to calculate the centers of the first and second pupils, and either If one of the pupils is not detected, a high-precision center calculation step is performed on the detected pupil to calculate a center, and a low-precision center calculation step is performed on the undetected pupil following the pupil detection step. The center is calculated, and when two pupils are detected in the previous frame, the center is calculated by performing a high-precision center calculation step for each pupil.
また、本発明による実時間瞳孔位置検出システムにおいて、前処理ステップは、明瞳孔を含む顔画像と暗瞳孔を含む顔画像の差分画像と、顔領域を区別する２値画像を作り、それらの論理積により顔領域差分画像を得るステップであることを特徴としてもよい。Further, in the real-time pupil position detection system according to the present invention, the preprocessing step creates a binary image that distinguishes a face region from a difference image between a face image including a bright pupil and a face image including a dark pupil, and the logic of these images. It may be a step of obtaining a face area difference image by product.
また、本発明による実時間瞳孔位置検出システムにおいて、低精度中心算出ステップは、瞳孔検出ステップにおいて作成した目領域差分画像における輝度に基づき瞳孔の中心を算出することを特徴としてもよい。In the real-time pupil position detection system according to the present invention, the low accuracy center calculation step may calculate the center of the pupil based on the luminance in the eye area difference image created in the pupil detection step.
また、本発明による実時間瞳孔位置検出システムにおいて、高精度中心算出ステップは、ウインドウ内での輝度および分離度に基づき瞳孔の中心を算出することを特徴としてもよい。In the real-time pupil position detection system according to the present invention, the high-precision center calculation step may calculate the center of the pupil based on the brightness and the degree of separation in the window.
本発明によるシステムによれば、マーカー等を用いることなく非接触で、実時間の瞳孔の検出が可能になる。
細部の効果としては、いくつかの閾値に経験値を利用したが、一度決定すると他の被験者でも閾値を変更せずにほぼ同様に使用できる。したがって、本システムでは、初めての被験者でもすぐに瞳孔検出が開始できる。
本発明は眼の座標を検出することは当然可能であるが、本質は精密に瞳孔中心を検出できることであり、ばらつきがほとんどない。
According to the system of the present invention, it is possible to detect a pupil in real time without using a marker or the like.
As an effect of details, an empirical value is used for several threshold values, but once determined, other subjects can use the same in a similar manner without changing the threshold values. Therefore, in this system, pupil detection can be started immediately even for the first subject.
In the present invention, it is naturally possible to detect the coordinates of the eye, but the essence is that the center of the pupil can be detected precisely and there is almost no variation.
以下図面等を参照して本発明によるシステムの実施の形態を説明する。まず始めに、ハードウエア構成について説明する。図１は、本発明で使用するステレオカメラと各カメラに取り付けられた光源の関係を示す斜視図である。図２は前記カメラによる取得顔画像と差分画像を示す図である。
瞳孔を容易に検出するため、本システムでは顔に対して近赤外の照明を与えた。一般に、カメラから離れた場所からの照明の場合、瞳孔は周囲よりも暗く写る傾向が現れる（暗瞳孔）。しかし、瞳孔より暗く写る部分は背景を含めて他に多々存在する。一方で、カメラの開口部近くに光源を設置すると、瞳孔は周囲よりも明るく写る傾向（明瞳孔）、いわゆる赤目現象に相当する現象が生じる。
しかし、この場合も、周囲が明るいと瞳孔よりも明るい部分が他に存在し、やはり瞳孔の検出は難しい。そこで、カメラ開口部に近い光源と遠い光源を用意し、それらをビデオ信号の奇数、偶数フィールドに同期させ点滅させる。得られる明瞳孔画像と暗瞳孔画像を差分し、瞳孔以外の部分を相殺させると瞳孔部を浮き上がらせることができ、瞳孔検出が容易になる。
Embodiments of a system according to the present invention will be described below with reference to the drawings. First, the hardware configuration will be described. FIG. 1 is a perspective view showing the relationship between a stereo camera used in the present invention and a light source attached to each camera. FIG. 2 is a diagram showing an acquired face image and a difference image by the camera.
In order to easily detect the pupil, the system provided near-infrared illumination on the face. In general, in the case of illumination from a place away from the camera, the pupil tends to appear darker than the surroundings (dark pupil). However, there are many other parts including the background that appear darker than the pupil. On the other hand, when a light source is installed near the opening of the camera, the pupil tends to appear brighter than the surroundings (bright pupil), a phenomenon corresponding to the so-called red-eye phenomenon.
However, in this case as well, if the surroundings are bright, there are other brighter parts than the pupil, and it is still difficult to detect the pupil. Therefore, a light source close to the camera opening and a light source far from the camera opening are prepared, and they are flashed in synchronization with the odd and even fields of the video signal. If the obtained bright pupil image and dark pupil image are differentiated and the portions other than the pupil are offset, the pupil portion can be lifted, and pupil detection is facilitated.
従来の方法では、カメラ１台での上述のような画像差分による瞳孔検出において、半径の異なる２重リング状に並べた光源を用いたが、カメラ開口から離れた外側のリングが原因で小型化がしにくい。また、本発明におけるシステムでは２台のカメラを用いるわけだが、２台のカメラのそれぞれに２重リング光源を取り付けた場合、両者の光源からの光が互いに影響しあい、画像差分の効果が弱くなるだけでなく、眼鏡装着時は眼鏡反射が多く現れ、瞳孔検出に問題を生ずる。 In the conventional method, in the pupil detection based on the image difference as described above with one camera, light sources arranged in a double ring shape with different radii are used, but the size is reduced due to the outer ring away from the camera opening. Hard to break. In the system according to the present invention, two cameras are used. When a double ring light source is attached to each of the two cameras, the light from both light sources influence each other, and the effect of image difference is weakened. In addition, many spectacle reflections appear when wearing spectacles, causing a problem in pupil detection.
そこで、光源の小型化と数を少なくするために、図１に示したように、２台の各カメラＣ１，Ｃ２において、開口部に近い位置に一重のリング状にＬＥＤを配置した光源Ｌ１，Ｌ２を取り付け、それらをフィールド毎に交互に点灯させた。なお、２台のカメラ間距離は約１０ｃｍであった。
各カメラにおいて、それ自体に取り付けられた光源が点灯するフィールドでは、図２の（ａ）のように明瞳孔画像が得られ、もう一方のカメラに取り付けた光源が点灯するフィールドでは、図２の（ｂ）のように暗瞳孔画像が得られた。明瞳孔画像から暗瞳孔画像を差分すると、基本的に図２の（ｃ）のように瞳孔部が明るく浮き彫りになった。他にも首筋など明るい部分が存在するが画像処理でそれらを区別し、各カメラにおいて２個もしくは１個の瞳孔の２次元座標を画像処理に従ってサブピクセルで求めた。
Therefore, in order to reduce the size and the number of the light sources, as shown in FIG. 1, in each of the two cameras C1 and C2, the light sources L1 and L2 in which LEDs are arranged in a single ring shape at a position close to the opening. L2 was attached and they were lit alternately for each field. The distance between the two cameras was about 10 cm.
In each camera, a bright pupil image is obtained as shown in FIG. 2A in a field where the light source attached to the camera is lit, and in a field where the light source attached to the other camera is lit, as shown in FIG. A dark pupil image was obtained as in (b). When the dark pupil image was subtracted from the bright pupil image, basically the pupil portion was brightly embossed as shown in FIG. There are other bright parts such as the neck, which are distinguished by image processing, and the two-dimensional coordinates of two or one pupil in each camera are determined by subpixels according to the image processing.
なお、カメラレンズと光源との間に可視光カットフィルタ（ＩＲ８００）と、光源に用いたＬＥＤと中心波長が同じで半値幅が１７ｎｍのバンドパスフィルタ（ただし、可視光は通過）を重ねて取り付けた。これによって、瞳孔検出を妨害する周囲光をかなりカットすることができた。さらに、同じ特性のバンドパスフィルタを光源の前にも取り付けた。この理由は次の通りである。視線検出まで行うには、ステレオカメラの他に、回転する狭角のカメラが必要であることは先述した。狭角のカメラにはステレオカメラとは別の波長の光源を取り付けたが、ＬＥＤの波長域がオーバーラップし、互いに干渉した。そこで、ステレオカメラと狭角カメラの両方において、光源の前にフィルタを取り付け、波長域を狭くして目に光を照射した。
狭角カメラは、検出された瞳孔の３次元位置に向けるために、高速のパン・チルト台(Directed Perception社，PTU-D46)に取り付け、画像処理も行う同一のパソコン（Pentium（登録商標）4, 3GHz）によりRS232Cを介して制御した。画像入力ボードにはMatrox社製Meteor2 MC/4を用いた。計３台のカメラには、近赤外領域に比較的強い感度を持つSONY XC-EI50を用いた。カメラのAGC は使用しなかった。
A visible light cut filter (IR800) and a band-pass filter with the same center wavelength as the LED used for the light source and a half-value width of 17 nm (however, visible light passes) are attached between the camera lens and the light source. It was. As a result, ambient light that interferes with pupil detection could be significantly cut off. In addition, a bandpass filter with the same characteristics was attached in front of the light source. The reason is as follows. As described above, in order to perform the line-of-sight detection, a rotating narrow-angle camera is required in addition to the stereo camera. A light source having a wavelength different from that of the stereo camera was attached to the narrow-angle camera, but the wavelength ranges of the LEDs overlapped and interfered with each other. Therefore, in both the stereo camera and the narrow-angle camera, a filter was attached in front of the light source, and light was applied to the eyes with a narrow wavelength range.
The narrow-angle camera is mounted on a high-speed pan / tilt stand (Directed Perception, PTU-D46) and directed to the same three-dimensional position of the detected pupil (Pentium® 4) , 3GHz) via RS232C. Matrox Meteor2 MC / 4 was used for the image input board. For the three cameras in total, SONY XC-EI50, which has relatively strong sensitivity in the near infrared region, was used. The camera AGC was not used.
本発明における実時間瞳孔検出システムにおける画像処理の基本的な考え方は次の通りである。
ア．顔全体がフレームに十分入る大きさで撮影するものとし、瞳孔は２個とも検出する。瞬き等で瞳孔が写っていない場合は、そのことが明確にわかるようにする。
イ．差分画像において睫毛，目蓋，髪の毛，服などが写り、瞳孔と誤判断するのを防ぐために、第１に、顔領域を抽出し、その中のみについて瞳孔を探索する。第２に、瞳孔にウインドウを与えて、その中だけを探索する。
ウ．眼鏡反射が瞳孔に重ならない限り、瞳孔を捕らえられるようにし、瞳孔中心はサブピクセル単位で高精度に検出する。
エ．カルマンフィルタにより、次フレームにおいて与えるべきウインドウの位置を予測し、速い頭部運動に対応できるようにする。ウインドウ内にて瞳孔が検出されなくなったら、ウインドウを解除し、瞬目を利用して瞳孔にウインドウを再度与える。
The basic concept of image processing in the real-time pupil detection system according to the present invention is as follows.
A. It is assumed that the entire face is photographed with a size enough to fit in the frame, and both pupils are detected. If the pupil is not visible due to blinking, make sure that it is clear.
I. In order to prevent false eyelashes, eyelids, hair, clothes, etc. appearing in the difference image and misjudging it as a pupil, first, a face region is extracted, and the pupil is searched for only within it. Second, a window is given to the pupil and only the inside is searched.
C. As long as the spectacle reflection does not overlap the pupil, the pupil is captured, and the center of the pupil is detected with high accuracy in units of subpixels.
D. The Kalman filter predicts the position of the window to be given in the next frame so that it can cope with fast head movement. When the pupil is no longer detected in the window, the window is released and the window is given again to the pupil using the blink.
図７は、瞳孔検出アルゴリズムの全体を示す流れ図である。本発明のシステムでは、実時間で瞳孔位置の検出を可能にするために全体を図７に示すようにしてある。
流れ図中の(1) の内容は、前処理（差分画像と顔領域差分画像の作成）で後述する。
流れ図中の(2) の内容は、瞬目による瞳孔検出（目領域差分画像の取得と瞳孔の有無の判断等）で後述する。
流れ図中の(3) 内容は、ウインドウ内における高精度瞳孔中心算出で後述する。
FIG. 7 is a flowchart showing the entire pupil detection algorithm. In the system of the present invention, the whole is shown in FIG. 7 in order to enable detection of the pupil position in real time.
The contents of (1) in the flowchart will be described later in the preprocessing (creation of difference image and face area difference image).
The content of (2) in the flowchart will be described later in pupil detection by blinking (acquisition of eye region difference image and determination of presence / absence of pupil).
The contents of (3) in the flowchart will be described later with high-precision pupil center calculation in the window.
流れ図注の(a) 〜(c) は、以下に述べる項目に対応している。
(a)もし、前のフレームで２個の瞳孔が検出されていた場合、現在のフレームの差分画像において、カルマンフィルタによって予測される２個の瞳孔位置にウインドウ（２１×２１）を与え、(3) で述べた方法で瞳孔中心を精密に算出する。
(b)もし、前のフレームで瞳孔が１個も検出されなかった場合には、現在のフレームでは１つのウインドウも与えない。この場合は、まず、(2) で述べた方法により、目領域差分画像を作成し、最大値を示す画素を探索し、第１瞳孔候補の座標とする（低精度中心算出）。その座標を中心にした２１×２１画素のマスクを与え、マスク外で最大値を示す座標を求め、第２瞳孔候補の座標とする（低精度中心算出）。次に、両瞳孔候補のｙ座標の差が５０未満であったら、両候補は共に瞳孔であると判断し、両瞳孔の座標を記録し、それを次のフレームにおいて、(3) で述べたカルマンフィルタの初期値として用いる。５０以上であったら、両候補は共に瞳孔ではないと判断する。
(c)もし、前のフレームで片方の瞳孔のみが検出された場合、カルマンフィルタによって予測される瞳孔の位置にウインドウ（２１×２１）を与え、(3) の方法で瞳孔中心を高精度算出する。さらに、同位置をマスクし、目領域差分画像において、もう一方の瞳孔中心座標を最大値探索により低精度検出する。
瞳孔の低精度中心算出が行われると、２個の瞳孔中心のｙ座標が５０画素以上離れていないと、必ず瞳孔中心候補座標が選択される。しかし、次のフレームにおいては、予測される位置にウインドウが与えられ、ウインドウ内で高精度中心算出が行われる。この際に、実際は瞳孔が存在しなければ、瞳孔がないと判定される。そのため、低精度算出が行われた段階では、その座標を出力せず、次のフレームの高精度中心算出の時点で、瞳孔の存在を判定したら、出力するようにする。
(A) to (c) in the flow chart note correspond to the items described below.
(a) If two pupils are detected in the previous frame, a window (21 × 21) is given to the two pupil positions predicted by the Kalman filter in the difference image of the current frame, and (3 Calculate the pupil center precisely by the method described in).
(b) If no pupil is detected in the previous frame, no window is given in the current frame. In this case, first, an eye area difference image is created by the method described in (2), and a pixel indicating the maximum value is searched for as the coordinates of the first pupil candidate (low-precision center calculation). A mask of 21 × 21 pixels centered on the coordinates is given, and the coordinate indicating the maximum value outside the mask is obtained and used as the coordinates of the second pupil candidate (low precision center calculation). Next, if the difference between the y-coordinates of both pupil candidates is less than 50, both candidates are determined to be pupils, and the coordinates of both pupils are recorded, and this is described in (3) in the next frame. Used as the initial value of the Kalman filter. If it is 50 or more, both candidates are judged not to be pupils.
(c) If only one pupil is detected in the previous frame, a window (21 × 21) is given to the position of the pupil predicted by the Kalman filter, and the center of the pupil is calculated with high accuracy by the method (3). . Further, the same position is masked, and the other pupil center coordinates are detected with low accuracy by searching for the maximum value in the eye region difference image.
When the low-precision center calculation of the pupil is performed, the pupil center candidate coordinates are always selected unless the y-coordinates of the two pupil centers are separated by 50 pixels or more. However, in the next frame, a window is provided at a predicted position, and high-precision center calculation is performed within the window. At this time, if the pupil does not actually exist, it is determined that there is no pupil. Therefore, when the low-accuracy calculation is performed, the coordinates are not output, but are output when the presence of the pupil is determined at the time of calculating the high-precision center of the next frame.
（１）前処理（差分画像と顔領域差分画像の取得）
図３は、顔領域２値画像と顔領域差分画像を示す図である。
画像ボードを利用してパソコンメモリー上に画像（６４０×４８０画素）を取り込む。画像を奇数，偶数フィールドに分離して、それぞれを３２０×２４０画素でメモリー上にコピーする。
以下は、コピーされた画像を元に瞳孔検出を行う。眼鏡反射除去のために、Ｐタイル法により明瞳孔画像の高輝度部を除去してから、暗瞳孔画像を差分する。
差分後に平滑化を行う。この時点での画像を単に差分画像と呼ぶことにする。差分画像においては、顔以外の背景部分や顔と背景の境界部分に瞳孔と特徴が類似した部分が存在する場合があり、誤検出の原因となる。そこで、まず画像全体から画像内で顔領域を検出し、顔領域内で瞳孔を探索する。本方法では、顔全体を照明しているため、生画像においてカメラおよび光源から近い位置にある顔が背景よりも明るく写る。これを顔領域の判別に利用する。まず、差分画像ではなく奇数フィールド画像または偶数フィールド画像（明瞳孔を含む画像または暗瞳孔を含む画像）を判別分析法により２値化する。
(1) Pre-processing (acquisition of difference image and face area difference image)
FIG. 3 is a diagram showing a face area binary image and a face area difference image.
An image (640 × 480 pixels) is captured on a personal computer memory using an image board. The image is separated into odd and even fields, and each is copied to the memory with 320 × 240 pixels.
In the following, pupil detection is performed based on the copied image. In order to remove specular reflection, the dark pupil image is differentiated after removing the high-luminance portion of the bright pupil image by the P tile method.
Smoothing is performed after the difference. The image at this point is simply called a difference image. In the difference image, there may be a portion similar in characteristics to the pupil in the background portion other than the face or in the boundary portion between the face and the background, which causes erroneous detection. Therefore, first, a face area is detected in the image from the entire image, and a pupil is searched for in the face area. In this method, since the entire face is illuminated, the face close to the camera and the light source in the raw image appears brighter than the background. This is used for discrimination of the face area. First, not a difference image but an odd field image or an even field image (an image including a bright pupil or an image including a dark pupil) is binarized by a discriminant analysis method.
さらに、ラベリングを行うが、ラベリングの高速化のために、その前にオープニング処理を行う。ラベリングの結果、最大領域を顔領域として抽出する。この顔領域の２値化画像は目の部分がくり抜けるため塗りつぶす。図４は目領域の２値画像と目領域差分画像を示す図である。前記塗りつぶしを行った後に（図４の（ａ））、差分画像との論理積により顔領域差分画像を得る（図４の（ｂ））。 Further, labeling is performed, but an opening process is performed before labeling in order to speed up the labeling. As a result of labeling, the maximum area is extracted as a face area. The binarized image of this face area is filled because the eye part is cut out. FIG. 4 is a diagram showing a binary image of the eye area and an eye area difference image. After the painting (FIG. 4A), a face area difference image is obtained by a logical product with the difference image (FIG. 4B).
（２）瞬目による瞳孔検出（目領域差分画像の取得と瞳孔の有無の判断等）
瞳孔部にウインドウを与えると、他の部分を瞳孔と誤判断するのを防げる点では有効だが、瞬目の間に頭が動いてウインドウ外に瞳孔が出てしまった場合は瞳孔が検出できなくなる。そのため、ウインドウを一度解除して広い範囲を瞳孔探索し、再度、瞳孔にウインドウを与える。このときの誤判断を極力避けなければならない。そこで、瞬目時に生じる画像変化を利用して目の領域を限定してから、瞳孔を検出する。まず、最新の奇数フィールド画像と数フレーム前（例えば４フレーム前）の奇数フィールド画像の絶対値差分画像を得る。Ｐタイル法で輝度の高いから１５％の閾値を求め２値化を行い、目領域の２値画像を得る（図４の（ａ））。これと、現在のフレームの顔領域差分画像との論理積演算を行い、目領域差分画像を得る（図４の（ｂ））。この画像では、眼領域は顔領域内として検出されるため、顔領域外において画像が変化する場所を目領域として誤って判断しない。また、口など他の動く部分が目領域２値画像の一部と誤って判断されても、顔領域差分画像において瞳孔と口などは特性が異なるため、それらの論理積である目領域差分画像では、誤って検出されることがない。
目領域差分画像は、処理時間軽減のために、前のフレームにおいて瞳孔が２個未満であったと判断されたときのみに作り利用する。
(2) Pupil detection by blinking (acquisition of eye area difference image and determination of presence or absence of pupil, etc.)
Giving a window to the pupil is effective in preventing misidentification of other parts as pupils, but the pupil cannot be detected if the head moves out of the window during a blink. . Therefore, the window is canceled once, the pupil is searched for a wide range, and the window is given to the pupil again. You should avoid misjudgment at this time as much as possible. Therefore, the pupil is detected after the eye region is limited using the image change that occurs at the time of blinking. First, an absolute value difference image between the latest odd field image and the odd field image several frames before (for example, four frames before) is obtained. Since the brightness is high by the P tile method, a threshold value of 15% is obtained and binarized to obtain a binary image of the eye area ((a) of FIG. 4). An AND operation between this and the face area difference image of the current frame is performed to obtain an eye area difference image ((b) of FIG. 4). In this image, since the eye area is detected as the face area, a place where the image changes outside the face area is not erroneously determined as the eye area. Even if other moving parts such as the mouth are mistakenly determined to be part of the eye area binary image, the characteristics of the pupil and the mouth are different in the face area difference image. Then, it is not detected by mistake.
The eye region difference image is created and used only when it is determined that there are less than two pupils in the previous frame in order to reduce processing time.
（３）ウインドウ内における高精度瞳孔中心算出
ウインドウは差分画像に対して与える。まず、ウインドウ内に眼鏡反射除去の残骸や目蓋など、動く部分が差分画像中において明るく写るため、それらが瞳孔と誤判断される確率を低下させるために、ウインドウの中央を最大値とした２次元正規分布関数を用いて重み付けを行う。
これは、カルマンフィルタで瞳孔位置を予測しているので、瞳孔がウインドウの中央に存在する確率が高いことを前提としているためである。
瞳孔の３次元計測をしたり、画像中に写る瞳孔の移動に合わせてパソコンのカーソルを動かそうとした場合などに、ピクセル単位での分解能では問題になる。高分解能で瞳孔中心を求めるには、重心法が一般的である。しかし、瞳孔に図６（ｂ）に示すように、画像中に動く対象があると、瞳孔以外にも明るい部分として写る。この例では、目蓋である。このように、瞳孔近傍に同様に明るい部分が存在すると、重心を求める際のサンプル領域の広さの選択が問題となる。特に瞳孔の大きさは変化するため厄介である。一方で、最近、円形に近い黒目の検出のために、円形状のマスクを用いた分離度フィルタが用いられることがある。しかし、分離度が最大になる座標を求めるという方法ではピクセル単位の分解能でしか座標が検出できない。テンプレートマッチングも同様である。
そこで、分離度と輝度を考慮した重心法の混合法を提案する。
さらに、瞳孔特徴量Ｐ（ｘ，ｙ）を次式(1) のように定義し、ウインドウ内について求めた。
Ｐ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）・ＳM （ｘ，ｙ） (1)
(3) High-precision pupil center calculation in the window A window is given to the difference image. First, since moving parts such as remnants of eyeglass reflection removal and eyelids appear bright in the difference image in the window, the center of the window is set to the maximum value 2 in order to reduce the probability that they are erroneously determined as pupils. Weighting is performed using a dimensional normal distribution function.
This is because the pupil position is predicted by the Kalman filter, and it is assumed that there is a high probability that the pupil exists in the center of the window.
When performing three-dimensional measurement of the pupil, or trying to move the cursor of the personal computer in accordance with the movement of the pupil shown in the image, the resolution in pixel units becomes a problem. The center of gravity method is generally used to obtain the pupil center with high resolution. However, as shown in FIG. 6B, if there is a moving object in the image as shown in FIG. In this example, it is the eyelid. Thus, if a bright part exists in the vicinity of the pupil as well, the selection of the size of the sample area when obtaining the center of gravity becomes a problem. This is particularly troublesome because the size of the pupil changes. On the other hand, recently, a separability filter using a circular mask may be used for detecting a black eye close to a circle. However, in the method of obtaining the coordinate with the maximum degree of separation, the coordinate can be detected only with pixel unit resolution. The same applies to template matching.
Therefore, we propose a method of mixing the center of gravity method considering the degree of separation and brightness.
Further, the pupil feature amount P (x, y) is defined as in the following equation (1), and obtained within the window.
P (x, y) = I (x, y) .SM (x, y) (1)
ここで、（ｘ, ｙ) はウインドウ内の注目する画素の座標であり、Ｉ（ｘ，ｙ）は（ｘ, ｙ) における差分画像の輝度で、ＳM （ｘ，ｙ）は最大分離度である。これまで分離度フィルタは、円形状のマスクを用いて黒目の検出に使用されてきた。ここでは、瞳孔に適用する。ただし、演算時間の縮小のために、図５のような形状をした８方向に伸びた放射状マスク上の画素についての演算のみを行った。マスクを、中心から８方向にＬ画素分の範囲を図中で破線の正方形で示した。この正方形の内側と外側の領域に分け、Ｌを変えながら分離度ｓを計算し、ｓ値が最大となるＬ（Ｌｍ）を決定した。そのときの各座標（ｘ，ｙ）におけるｓの最大値を，最大分離度ＳM （ｘ，ｙ）に置き換え、式(1) に使用した。図６は、ウインドウが両瞳孔に与えられた様子と、ウインドウ内の差分画像と、瞳孔特徴量を現す画像である。
ここで、注目すべき点は、ウインドウ内の差分画像が図６の（ｂ）のように目蓋が写っている場合で、Ｐ（ｘ，ｙ）を示す画像は図６の（ｃ）のようになり、目蓋が消えてほぼ瞳孔の中心部だけが高い値を持つ画像になることである。なお、瞳孔は通常は円であるが、正方形のマスクでも十分に高精度に検出できる。正方形のマスクを使用することにより、細長い形状のものはＳM （ｘ，ｙ）が小さくなり、瞳孔と誤検出されにくい。
Here, (x, y) is the coordinates of the pixel of interest in the window, I (x, y) is the luminance of the difference image at (x, y), and S M (x, y) is the maximum degree of separation. It is. Until now, the separability filter has been used to detect black eyes using a circular mask. Here, it applies to the pupil. However, in order to reduce the calculation time, only the calculation on the pixels on the radial mask extending in eight directions having the shape as shown in FIG. 5 was performed. The range of L pixels in the eight directions from the center is indicated by a broken-line square in the drawing. The area was divided into an inner area and an outer area of the square, and the separation degree s was calculated while changing L, and L (Lm) that maximized the s value was determined. The maximum value of s at each coordinate (x, y) at that time was replaced with the maximum degree of separation S M (x, y) and used in the equation (1). FIG. 6 is an image showing a state in which a window is given to both pupils, a difference image in the window, and a pupil feature amount.
Here, the point to be noted is that the difference image in the window shows the eyelid as shown in FIG. 6B, and the image showing P (x, y) is the one shown in FIG. 6C. Thus, the eyelid disappears and only the center of the pupil has a high value. Note that the pupil is usually a circle, but even a square mask can be detected with sufficiently high accuracy. By using a square mask, a long and narrow shape has a small S M (x, y), and is not easily detected as a pupil.
さらに、ウインドウ内でＰ（ｘ，ｙ）の最大値を求め、それが閾値（経験値）を超えなかったときは瞳孔が存在しないと判断し、超えたときは瞳孔が存在すると判断する。この方法により、以前のフレームで存在した瞳孔が現在にフレームで消失した場合に、それを判断する。瞳孔が存在すると判断されたら、Ｐ（ｘ，ｙ）が最大値を示した座標を中心に一辺４Ｌｍの方形領域内におけるＰ（ｘ，ｙ）の重心を計算し、最終的な瞳孔中心とした。
このように、高精度中心算出では瞳孔の有無が判断できて、低精度中心算出ではできない可能性が高いのは、低精度中心算出では、単に最高輝度を示す座標を探索しているからであり、眼鏡反射や眼鏡フレーム反射などの残骸が、瞳孔として誤認識される確率が高い（瞳孔のそばにあるためでもある。）。それに対して、高精度中心算出では、単に輝度だけでなく、対象が正方形に近いかどうか（横長や縦長ではなくて）を考慮する方法になっているからである。
Furthermore, the maximum value of P (x, y) is obtained within the window, and when it does not exceed the threshold value (experience value), it is determined that there is no pupil, and when it exceeds, it is determined that there is a pupil. By this method, when the pupil existing in the previous frame disappears in the current frame, it is determined. If it is determined that a pupil is present, the center of gravity of P (x, y) in a square region with a side of 4 Lm is calculated around the coordinates where P (x, y) has the maximum value, and the final pupil center is obtained. .
In this way, the high accuracy center calculation can determine the presence or absence of the pupil, and the low accuracy center calculation is likely not possible because the low accuracy center calculation simply searches for coordinates that indicate the highest luminance. There is a high probability that debris such as spectacle reflection and spectacle frame reflection will be misrecognized as a pupil (because it is near the pupil). On the other hand, the high-precision center calculation is based not only on the brightness but also on whether the object is close to a square (not horizontal or vertical).
本発明の具体的な産業上の１つの応用例として、１台のカメラと２個の光源を組み合わせて、２個の瞳孔を検出して、画像内の瞳孔の移動にあわせて、パソコン画面上のカーソルを制御するなどにも使用できる（「瞳孔マウス」）。その際に、移動平均などをする必要がないため、遅延がほとんどなく使用しやすい。さらに、本手法では、瞳孔の有無が正確に分かるため、眼の開閉によって汎用マウスのクリックやドラッグに相当する動作にも使用できる。 As one specific industrial application example of the present invention, a single camera and two light sources are combined to detect two pupils, and on the personal computer screen in accordance with the movement of the pupils in the image. It can also be used to control the cursor ("pupil mouse"). At that time, since there is no need to perform a moving average or the like, there is almost no delay and it is easy to use. Furthermore, in this method, since the presence or absence of the pupil can be accurately determined, it can be used for an operation corresponding to a general mouse click or drag by opening and closing the eyes.
Ｃ１ カメラ
Ｃ２ カメラ
Ｌ１ 光源
Ｌ２ 光源
C1 camera C2 camera L1 light source L2 light source
Claims (4)
顔領域の差分画像を得る前処理ステップと、 A pre-processing step for obtaining a difference image of the face region;
前記前処理ステップにおいて得られた顔領域の差分画像における瞬目時に生じる画像変化により目領域差分画像を作成することで瞳孔を検出する瞳孔検出ステップと、 A pupil detection step of detecting a pupil by creating an eye area difference image by an image change that occurs at the time of blinking in the difference image of the face area obtained in the preprocessing step;
前記瞳孔検出ステップにおいて検出された瞳孔に基づき瞳孔の中心を算出する低精度中心算出ステップと、 A low precision center calculating step for calculating the center of the pupil based on the pupil detected in the pupil detecting step;
検出された瞳孔にウインドウを与えてウインドウ内で瞳孔の中心を算出する高精度中心算出ステップと、 A high-precision center calculation step of giving a window to the detected pupil and calculating the center of the pupil in the window;
からなるフレームを繰り返し実行する実時間瞳孔位置検出システムにおいて、In a real-time pupil position detection system that repeatedly executes a frame consisting of
各フレームにて、 At each frame
前記前処理ステップを行い、 Performing the pre-processing step;
前のフレームで瞳孔が１個も検出されなかった場合は、前記瞳孔検出ステップに続けて前記低精度中心算出ステップを行い第１瞳孔および第２瞳孔の中心を算出し、 If no pupil is detected in the previous frame, the center of the first pupil and the second pupil is calculated by performing the low accuracy center calculation step subsequent to the pupil detection step,
前のフレームで何れか一方の瞳孔が検出されなかった場合は、検出された瞳孔に対して前記高精度中心算出ステップを行い中心を算出し、検出されなかった瞳孔に対して前記瞳孔検出ステップに続けて前記低精度中心算出ステップを行い中心を算出し、 If either pupil is not detected in the previous frame, the high-precision center calculation step is performed on the detected pupil to calculate the center, and the pupil detection step is performed on the pupil that has not been detected. Subsequently, the low precision center calculation step is performed to calculate the center,
前のフレームで２個の瞳孔が検出された場合は、各瞳孔について、前記高精度中心算出ステップを行い中心を算出する、 When two pupils are detected in the previous frame, the center is calculated by performing the high-precision center calculation step for each pupil.
ことを特徴とする実時間瞳孔位置検出システム。A real-time pupil position detection system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004170506A JP4568836B2 (en) | 2004-06-08 | 2004-06-08 | Real-time pupil position detection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004170506A JP4568836B2 (en) | 2004-06-08 | 2004-06-08 | Real-time pupil position detection system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005348832A JP2005348832A (en) | 2005-12-22 |
| JP4568836B2 true JP4568836B2 (en) | 2010-10-27 |
Family
ID=35583780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004170506A Active JP4568836B2 (en) | 2004-06-08 | 2004-06-08 | Real-time pupil position detection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4568836B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013176265A1 (en) | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4687247B2 (en) * | 2005-05-31 | 2011-05-25 | パナソニック株式会社 | Foreign object detection method and eyeball observation apparatus |
| JP4501003B2 (en) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | Face posture detection system |
| JP4528976B2 (en) * | 2006-03-31 | 2010-08-25 | 国立大学法人静岡大学 | Pupil detection apparatus and method |
| WO2007125794A1 (en) * | 2006-04-27 | 2007-11-08 | Konica Minolta Holdings, Inc. | Data measuring device and data measuring method |
| JP5603258B2 (en) | 2011-01-13 | 2014-10-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Detection apparatus and detection method |
| US9898658B2 (en) | 2013-05-08 | 2018-02-20 | National University Corporation Shizuoka University | Pupil detection light source device, pupil detection device and pupil detection method |
| CN110477858B (en) * | 2018-05-15 | 2023-11-28 | 深圳莫廷医疗科技有限公司 | Eye to be inspected alignment method, device and ophthalmic equipment |
| CN117045194B (en) * | 2022-05-07 | 2024-05-17 | 苏州健雄职业技术学院 | Laser scanning fundus camera pupil positioning system with improved S-curve algorithm |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02138673A (en) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | Image pickup device |
| JPH07218989A (en) * | 1994-02-04 | 1995-08-18 | Mitsubishi Electric Corp | Face image photographing device |
| JPH07289519A (en) * | 1994-04-27 | 1995-11-07 | Nissan Motor Co Ltd | Line of sight direction detector for vehicle |
| JPH105178A (en) * | 1996-06-26 | 1998-01-13 | Nissan Motor Co Ltd | Visual line input device |
| JPH1156782A (en) * | 1997-08-12 | 1999-03-02 | Techno Works:Kk | Detecting method of eyeball characteristic points by using two-light sources and differentiating means of image |
-
2004
- 2004-06-08 JP JP2004170506A patent/JP4568836B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02138673A (en) * | 1988-07-14 | 1990-05-28 | A T R Tsushin Syst Kenkyusho:Kk | Image pickup device |
| JPH07218989A (en) * | 1994-02-04 | 1995-08-18 | Mitsubishi Electric Corp | Face image photographing device |
| JPH07289519A (en) * | 1994-04-27 | 1995-11-07 | Nissan Motor Co Ltd | Line of sight direction detector for vehicle |
| JPH105178A (en) * | 1996-06-26 | 1998-01-13 | Nissan Motor Co Ltd | Visual line input device |
| JPH1156782A (en) * | 1997-08-12 | 1999-03-02 | Techno Works:Kk | Detecting method of eyeball characteristic points by using two-light sources and differentiating means of image |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013176265A1 (en) | 2012-05-25 | 2013-11-28 | 国立大学法人静岡大学 | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
| US9514538B2 (en) | 2012-05-25 | 2016-12-06 | National University Corporation Shizuoka University | Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005348832A (en) | 2005-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6577454B2 (en) | On-axis gaze tracking system and method | |
| EP3418944A2 (en) | Information processing apparatus, information processing method, and program | |
| CN110266916B (en) | Method and system for processing glare in eye tracking | |
| US10692210B2 (en) | Recording medium storing computer program for pupil detection, information processing apparatus, and pupil detecting method | |
| KR101550474B1 (en) | Method and device for finding and tracking pairs of eyes | |
| JP4307496B2 (en) | Facial part detection device and program | |
| JP6234762B2 (en) | Eye detection device, method, and program | |
| JP4491604B2 (en) | Pupil detection device | |
| WO2012011221A1 (en) | Pupil detection device and pupil detection method | |
| JP2001175876A (en) | Method and device for detecting moving body | |
| JP2008146172A (en) | Eye detection device, eye detection method and program | |
| US10552675B2 (en) | Method and apparatus for eye detection from glints | |
| JP2008210239A (en) | Line-of-sight estimation device | |
| JPH07313459A (en) | Detecting device for opening extent of eyelid | |
| EP3158921A1 (en) | Line of sight detection system and method | |
| US9420950B2 (en) | Retro-reflectivity array for enabling pupil tracking | |
| JP4568836B2 (en) | Real-time pupil position detection system | |
| US20210302529A1 (en) | Determining Imperfections in an Imaging Camera for Determining the Orientation of Objects in Space | |
| EP3042341A1 (en) | Method and apparatus for eye detection from glints | |
| JP2005296382A (en) | Visual line detector | |
| EP3671541B1 (en) | Classification of glints using an eye tracking system | |
| Kunka et al. | Non-intrusive infrared-free eye tracking method | |
| KR102288753B1 (en) | Apparatus for monitoring driver and method thereof | |
| JP5128454B2 (en) | Wrinkle detection device, wrinkle detection method and program | |
| CN114565531A (en) | Image restoration method, device, equipment and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070316 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |