JPWO2017203769A1 - Gaze detection method - Google Patents

Abstract

【課題】視線方向検出の精度を確保しつつ、演算処理の負担を抑えて高速化を図ることができる視線検出方法を提供する。
【解決手段】眼領域画像を抽出するために取得された、所定範囲の画像に対象者の眼領域画像が含まれているか否かを一定周期で判別する第１の判別ステップを有し、第１の判別ステップにおいて所定範囲の画像に対象者の眼領域画像が含まれている場合は、その眼領域画像を抽出し、抽出した眼領域画像に基づいて対象者の視線方向を検出し、第１の判別ステップにおいて所定範囲の画像に対象者の眼領域画像が含まれていない場合は、新たに全体画像を取得し、この全体画像から対象者の顔画像を検出し、検出した顔画像から対象者の眼領域画像を抽出して、抽出した眼領域画像に基づいて対象者の視線方向を検出し、さらに、抽出した眼領域画像を含む範囲を所定範囲として更新する。
【選択図】図６The present invention provides a gaze detection method capable of speeding up by suppressing the load of arithmetic processing while securing the accuracy of gaze direction detection.
The method includes a first determination step of determining at a constant cycle whether or not an eye region image of a subject is included in an image of a predetermined range acquired to extract an eye region image; When the eye area image of the subject is included in the image of the predetermined range in the determination step 1, the eye area image is extracted, and the gaze direction of the subject is detected based on the extracted eye area image. When the eye area image of the subject is not included in the image of the predetermined range in the determination step 1, a whole image is newly obtained, the face image of the subject is detected from the whole image, and the detected face image is detected. The eye region image of the subject is extracted, the gaze direction of the subject is detected based on the extracted eye region image, and the range including the extracted eye region image is updated as a predetermined range.
[Selected figure] Figure 6

Description

本発明は、対象者の視線方向を検出する視線検出方法に関する。   The present invention relates to a gaze detection method for detecting a gaze direction of a subject.

特許文献１に記載の視線検出装置では、まず、取得された画像データから、顔の中心位置、顔を構成するパーツの中心位置、瞳の位置等の器官位置などが検出され、検出された中心位置や器官位置を使用して、顔の大きさが所定のサイズで、かつ顔の向きが正立するように正規化が行われる。その後、正規化された画像データを使用して、顔の向きに対応する特徴量と目領域の特徴量が抽出され、これらの特徴量を使用して視線方向の推定が行われる。   In the line-of-sight detection device described in Patent Document 1, first, the center position of the face, the center position of the parts constituting the face, the organ position such as the position of the pupil, etc. are detected from the acquired image data The position and the organ position are used to perform normalization so that the size of the face is a predetermined size and the direction of the face is erected. After that, the normalized image data is used to extract the feature amount corresponding to the face direction and the feature amount of the eye area, and the gaze direction is estimated using these feature amounts.

特開２０１２−０３７９３４号公報JP 2012-037934 A

しかしながら、特許文献１に記載の視線検出装置においては、視線方向の推定を更新するたびに、正規化処理から、顔の向きに対応する特徴量と目領域の特徴量の抽出までの演算処理を行うため、毎回の処理量が多くなり、視線検出処理を高速化することが困難となっている。さらに、近年では、目領域の特徴量の抽出精度を上げて視線方向の推定の確度を高めることが求められつつあり、このために画像の解像度を高めると上記演算処理の負担はさらに高いものとなる。   However, in the gaze detection apparatus described in Patent Document 1, every time the estimation of the gaze direction is updated, the calculation processing from the normalization processing to the extraction of the feature quantity corresponding to the face direction and the feature quantity of the eye area is performed. Because the processing amount is increased, it is difficult to speed up the gaze detection process. Furthermore, in recent years, it has been sought to increase the accuracy of estimation of the gaze direction by raising the extraction accuracy of feature quantities in the eye area, and the burden of the above arithmetic processing is further increased if the resolution of the image is increased. Become.

そこで本発明は、視線方向検出の精度を確保しつつ、演算処理の負担を抑えて高速化を図ることができる視線検出方法を提供することを目的とする。   Therefore, it is an object of the present invention to provide a gaze detection method capable of speeding up while suppressing the load of arithmetic processing while securing the accuracy of gaze direction detection.

上記課題を解決するために、本発明の視線検出方法は、眼領域画像を抽出するために取得された、所定範囲の画像に対象者の眼領域画像が含まれているか否かを一定周期で判別する第１の判別ステップを有し、第１の判別ステップにおいて所定範囲の画像に対象者の眼領域画像が含まれている場合は、その眼領域画像を抽出し、抽出した眼領域画像に基づいて対象者の視線方向を検出し、第１の判別ステップにおいて所定範囲の画像に対象者の眼領域画像が含まれていない場合は、新たに全体画像を取得し、この全体画像から対象者の顔画像を検出し、検出した顔画像から対象者の眼領域画像を抽出して、抽出した眼領域画像に基づいて対象者の視線方向を検出し、さらに、抽出した眼領域画像を含む範囲を所定範囲として更新することを特徴としている。
これにより、所定範囲の画像に眼領域画像が含まれている限り、すなわち、所定範囲から眼領域画像がロストしない限り、全体画像を取得せずに所定範囲の画像から抽出した眼領域画像に基づいて視線方向を算出するため、視線方向の算出の精度を維持しつつ、演算処理の負担を抑えることができ、処理の高速化を図ることができる。In order to solve the above problems, according to the gaze detection method of the present invention, whether or not the image of a predetermined range included in the image of a predetermined range acquired for extracting the eye region image is included at a constant cycle In the case where there is a first discrimination step of discrimination, and in the first discrimination step, the image of a predetermined range includes the eye region image of the subject, the eye region image is extracted and the extracted eye region image is extracted. The gaze direction of the subject is detected on the basis of the subject, and when the eye area image of the subject is not included in the image of the predetermined range in the first determination step, a whole image is newly acquired, The face image of the subject is detected, the eye area image of the subject is extracted from the detected face image, the gaze direction of the subject is detected based on the extracted eye area image, and the range including the extracted eye area image In particular, it is important to update the It is set to.
Thus, as long as the eye area image is included in the image of the predetermined range, that is, as long as the eye area image is not lost from the predetermined range, based on the eye area image extracted from the image of the predetermined range without acquiring the entire image. Since the gaze direction is calculated, the load of the arithmetic processing can be suppressed while maintaining the accuracy of calculation of the gaze direction, and the processing can be speeded up.

本発明の視線検出方法において、第１の判別ステップとは独立して、全体画像を取得し、取得した全体画像から対象者の顔画像が検出できるか否かを判別する第２の判別ステップを有し、第２の判別ステップにおいて取得する全体画像は、第１の判別ステップで判別される所定範囲の画像よりも解像度が低く、第２の判別ステップにおいて取得した全体画像から対象者の顔画像が検出できない場合は、次の第１の判別ステップを待たずに、新たに全体画像を取得し、この画像から対象者の顔画像を検出し、検出した顔画像から対象者の眼領域画像を抽出して、抽出した眼領域画像に基づいて対象者の視線方向を検出し、さらに、抽出した眼領域画像を含む範囲を所定範囲として更新することが好ましい。
これにより、データ量の小さな画像で判別を行うことができるため、視線検出の精度を確保しつつ、演算処理の負担を軽減することができる。In the line-of-sight detection method of the present invention, a second determination step of acquiring an entire image independently of the first determination step and determining whether or not a face image of a subject can be detected from the acquired entire image The entire image acquired in the second determination step has a lower resolution than the image of the predetermined range determined in the first determination step, and the face image of the subject from the entire image acquired in the second determination step If it can not be detected, the whole image is newly acquired without waiting for the next first determination step, the face image of the object person is detected from this image, and the eye area image of the object person is detected from the detected face image It is preferable to extract and detect the line-of-sight direction of the subject based on the extracted eye area image, and further update the range including the extracted eye area image as a predetermined range.
As a result, discrimination can be performed using an image with a small amount of data, so the burden of arithmetic processing can be reduced while securing the accuracy of gaze detection.

本発明の視線検出方法において、画像の取得は、複数の画素が水平方向及び垂直方向に配列され、ローリングシャッタ方式で駆動される撮像素子で行われ、所定範囲は、撮像素子の水平方向に並ぶ１つまたは２以上のラインで構成されることが好ましい。
これにより、撮像素子のコストを下げることができるとともに、演算処理の負担を軽減して高速かつ高精度の視線方向検出を実現することができる。In the visual axis detection method of the present invention, acquisition of an image is performed by an imaging device in which a plurality of pixels are arranged in the horizontal direction and the vertical direction and driven by a rolling shutter method, and the predetermined range is aligned in the horizontal direction of the imaging device It is preferred to be composed of one or more lines.
As a result, the cost of the imaging device can be reduced, and the load on the arithmetic processing can be reduced to realize high-speed and high-accuracy gaze direction detection.

本発明の視線検出方法によると、視線方向検出の精度を確保しつつ、演算処理の負担を抑え、処理の高速化を図ることができる。   According to the gaze detection method of the present invention, it is possible to suppress the load of arithmetic processing and to speed up the processing while securing the accuracy of gaze direction detection.

本発明の第１実施形態に係る視線検出装置の構成を示す機能ブロック図である。It is a functional block diagram showing composition of a look detection apparatus concerning a 1st embodiment of the present invention. 本発明の第１実施形態の画像取得部の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the image acquisition part of 1st Embodiment of this invention. 本発明の第１実施形態の視線検出部の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the gaze detection part of 1st Embodiment of this invention. 対象者の画像の例を示す図である。It is a figure which shows the example of a subject's image. （Ａ）は、撮像素子からの画像取得タイミングを模式的に示す図、図５（Ｂ）は第１光源と第２光源の発光期間を模式的に示す図である。(A) is a figure which shows typically the image acquisition timing from an image pick-up element, FIG. 5: (B) is a figure which shows the light emission period of a 1st light source and a 2nd light source typically. 本発明の第１実施形態に係る視線検出の流れを示すフローチャートである。It is a flowchart which shows the flow of gaze detection which concerns on 1st Embodiment of this invention. 本発明の第２実施形態に係る視線検出の流れを示すフローチャートである。It is a flow chart which shows a flow of eye gaze detection concerning a 2nd embodiment of the present invention.

以下、本発明の実施形態に係る視線検出方法について図面を参照しつつ詳しく説明する。
＜第１実施形態＞
＜視線検出装置の構成＞
図１〜図３を参照して、第１実施形態に係る視線検出方法に用いる視線検出装置について説明する。ここで、図１は、第１実施形態に係る視線検出装置１０の構成を示す機能ブロック図、図２は、第１実施形態の画像取得部２０の構成を示す機能ブロック図、図３は、第１実施形態の視線検出部６０の構成を示す機能ブロック図である。図４は、対象者の画像の例を示す図である。Hereinafter, a gaze detection method according to an embodiment of the present invention will be described in detail with reference to the drawings.
First Embodiment
<Configuration of gaze detection device>
The gaze detection apparatus used for the gaze detection method according to the first embodiment will be described with reference to FIGS. 1 to 3. Here, FIG. 1 is a functional block diagram showing the configuration of the visual axis detection device 10 according to the first embodiment, FIG. 2 is a functional block diagram showing the configuration of the image acquisition unit 20 according to the first embodiment, and FIG. It is a functional block diagram showing composition of eye gaze detector 60 of a 1st embodiment. FIG. 4 is a diagram showing an example of an image of a subject.

図１に示すように、第１実施形態に係る視線検出装置１０は、制御部１１と、メモリ１２と、画像取得部２０と、顔検出部３０と、正規化処理部４０と、眼領域画像取得部５０と、視線検出部６０とを備える。視線検出装置１０は、例えば、自動車の車室内のインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。   As shown in FIG. 1, the gaze detection apparatus 10 according to the first embodiment includes a control unit 11, a memory 12, an image acquisition unit 20, a face detection unit 30, a normalization processing unit 40, and an eye area image. An acquisition unit 50 and a gaze detection unit 60 are provided. The sight line detection device 10 is installed, for example, on an instrument panel or the upper part of a windshield in a vehicle compartment of a car so as to face the driver's face as a target person.

視線検出装置１０においては、画像取得部２０によって取得された対象者ＳＢの全体画像Ａ１（図４）、例えば上半身に対応する範囲の画像から顔検出部３０において顔画像Ａ２（図４）を抽出し、この顔画像Ａ２について正規化処理部４０で正規化処理を行う。正規化処理された顔画像は、眼領域画像取得部５０において、眼領域を含む所定範囲Ａ３（図４）が設定され、この所定範囲内の眼領域画像が抽出されて視線検出部６０へ出力される。視線検出部６０では、受け取った画像に基づいて特徴量を抽出し、この特徴量に基づいて対象者の視線方向を検出する。画像取得部２０による画像取得から視線検出部６０による視線方向の検出までの処理は制御部１１による制御にしたがって実行され、その処理に必要な情報、処理結果などはメモリ１２に保存され、必要に応じて読み出される。   In the gaze detection apparatus 10, the face detection unit 30 extracts the face image A2 (FIG. 4) from the entire image A1 (FIG. 4) of the subject SB acquired by the image acquisition unit 20, for example, an image in a range corresponding to the upper body. The normalization processing unit 40 performs normalization processing on the face image A2. For the face image subjected to the normalization process, a predetermined range A3 (FIG. 4) including the eye area is set in the eye area image acquisition unit 50, and the eye area image within this predetermined range is extracted and output to the gaze detection unit 60 Be done. The gaze detection unit 60 extracts a feature amount based on the received image, and detects the gaze direction of the subject based on the feature amount. The processing from the image acquisition by the image acquisition unit 20 to the detection of the gaze direction by the gaze detection unit 60 is executed under the control of the control unit 11, and the information necessary for the processing, the processing result, etc. are stored in the memory 12 Read out accordingly.

眼領域画像取得部５０で設定された所定範囲はメモリ１２に記憶され、視線検出部６０による視線方向の検出後は、この所定範囲で次の画像が取得され、この画像に眼領域画像が含まれるか否かが判別部としての制御部１１によって判別される。取得された画像に眼領域画像が含まれていれば上述の処理と同様に視線方向が検出される。制御部１１による判別の結果、所定範囲の画像に眼領域画像が含まれていない場合は、改めて画像取得部２０によって全体画像が取得され、この画像に基づいて顔画像の検出と正規化処理の後に、所定範囲を新たに設定して、この範囲をもって、メモリ１２に記憶された所定範囲のデータを更新する。さらに、この所定範囲で取得した画像に眼領域画像が含まれている場合には、この眼領域画像から抽出した特徴量に基づいて視線方向を検出する。以下、各構成部材・ブロックについて説明する。   The predetermined range set by the eye region image acquisition unit 50 is stored in the memory 12, and after detection of the gaze direction by the gaze detection unit 60, the next image is acquired in this predetermined range, and the image includes the eye region image Is determined by the control unit 11 as a determination unit. If an eye area image is included in the acquired image, the gaze direction is detected as in the above-described process. As a result of the discrimination by the control unit 11, when the image in the predetermined range does not include the eye area image, the entire image is acquired by the image acquiring unit 20 again, and the detection and normalization processing of the face image are performed based on this image. Later, a predetermined range is newly set, and the data of the predetermined range stored in the memory 12 is updated with this range. Furthermore, when the eye area image is included in the image acquired in the predetermined range, the sight line direction is detected based on the feature quantity extracted from the eye area image. Each component member and block will be described below.

画像取得部２０は、図２に示すように、第１光源２１と、第２光源２２と、第１カメラ２３と、第２カメラ２４と、露光制御部２５と、光源制御部２６とを備える。   As shown in FIG. 2, the image acquisition unit 20 includes a first light source 21, a second light source 22, a first camera 23, a second camera 24, an exposure control unit 25, and a light source control unit 26. .

第１光源２１は複数個のＬＥＤ（発光ダイオード）光源からなる。これらのＬＥＤ光源は、第１カメラ２３のレンズの外側において、レンズを囲むように配置されている。
第２光源２２も複数個のＬＥＤ光源からなる。これらのＬＥＤ光源は、第２カメラ２４のレンズの外側において、レンズを囲むように配置されている。The first light source 21 comprises a plurality of LED (light emitting diode) light sources. These LED light sources are disposed outside the lens of the first camera 23 so as to surround the lens.
The second light source 22 also comprises a plurality of LED light sources. These LED light sources are disposed outside the lens of the second camera 24 so as to surround the lens.

第１光源２１のＬＥＤ光源、および、第２光源２２のＬＥＤ光源は、８００ｎｍ以上１０００ｎｍ以下の赤外光（近赤外光）を出射し、この検知光を運転者の眼に与えることができるように配置されている。特に、８５０ｎｍは、人の眼の眼球内での光吸収率が低い波長であり、この光は眼球の奥の網膜で反射されやすい。   The LED light source of the first light source 21 and the LED light source of the second light source 22 can emit infrared light (near infrared light) of 800 nm or more and 1000 nm or less and can provide this detection light to the driver's eyes It is arranged as. In particular, 850 nm is a wavelength at which the light absorptivity in the eyeball of the human eye is low, and this light is easily reflected by the retina at the back of the eyeball.

カメラ２３、２４は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は運転者の眼を含む顔の画像を取得し、水平方向および垂直方向に配列された複数の画素で光が検出される。
これらのカメラ２３、２４においては、２つの光源２１、２２から出射される検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、明瞳孔画像検出部６１や暗瞳孔画像検出部６２における瞳孔画像の抽出や、視線方向算出部６５における視線方向の算出を精度良く行うことができる。The cameras 23 and 24 have, for example, a CMOS (complementary metal oxide semiconductor) as an imaging device. The imaging device acquires an image of a face including the driver's eye, and light is detected by a plurality of pixels arranged in the horizontal direction and the vertical direction.
In these cameras 23 and 24, it is preferable to arrange a band pass filter matched to the wavelength of the detection light emitted from the two light sources 21 and 22. As a result, extraction of pupil images by the bright pupil image detection unit 61 and the dark pupil image detection unit 62 and calculation of the gaze direction by the gaze direction calculation unit 65 can be performed with high accuracy.

カメラ２３、２４は、制御部１１の制御にしたがって、撮影の範囲および解像度を切り替えることができる。
撮影の範囲は、例えば全体画像と部分画像に切り替えることができる。全体画像は、例えば車両の運転者を対象とする場合は、視線検出の対象となる位置としての運転席に着いた運転者の上半身の画像である。部分画像は、全体画像に基づいて眼領域画像取得部５０で設定した所定範囲の画像、すなわち、運転者の眼領域に対応する範囲の画像である。The cameras 23 and 24 can switch the shooting range and resolution under the control of the control unit 11.
The imaging range can be switched, for example, between the entire image and the partial image. The entire image is, for example, an image of the upper body of the driver who has arrived at the driver's seat as a position subject to gaze detection when the driver of the vehicle is targeted. The partial image is an image of a predetermined range set by the eye region image acquisition unit 50 based on the entire image, that is, an image of a range corresponding to the eye region of the driver.

撮影の解像度は、例えば高解像度と低解像度に切り替えることができる。高解像度の画像は、少なくとも、視線方向の検出に必要な特徴量を抽出可能な解像度を有する画像であり、低解像度の画像は、少なくとも、顔の特徴部位の検出ができ、これによって顔画像の検出が可能な解像度を有する画像である。   The imaging resolution can be switched, for example, between high resolution and low resolution. The high-resolution image is an image having a resolution capable of extracting at least the feature amount necessary for detecting the gaze direction, and the low-resolution image can at least detect a facial feature portion, thereby It is an image having a resolution that can be detected.

第１カメラ２３と第１光源２１のＬＥＤ光源の光軸間距離は、視線検出部６０と運転者としての運転者との距離を考慮して、第１カメラ２３と第２カメラ２４の光軸間距離に対して十分に短くしている。そのため、第１光源２１は第１カメラ２３に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２４と第２光源２２のＬＥＤ光源の光軸間距離は、第１カメラ２３と第２カメラ２４の光軸間距離に対して十分に短くしているため、第２光源２２は第２カメラ２４に対して互いの光軸が略同軸であるとみなすことができる。   The distance between the optical axes of the LED light sources of the first camera 23 and the first light source 21 is the optical axis of the first camera 23 and the second camera 24 in consideration of the distance between the visual axis detection unit 60 and the driver as the driver. The distance is made sufficiently short. Therefore, the first light sources 21 can be regarded as having their optical axes substantially coaxial with the first camera 23. Similarly, since the distance between the optical axes of the LED light sources of the second camera 24 and the second light source 22 is sufficiently shorter than the distance between the optical axes of the first camera 23 and the second camera 24, the second light source The optical axes of the second camera 24 can be regarded as substantially coaxial with each other.

これに対して、第１カメラ２３と第２カメラ２４の光軸間距離を十分に長くとっているため、第１光源２１および第１カメラ２３の各光軸と、第２光源２２および第２カメラ２４の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。   On the other hand, since the distance between the optical axes of the first camera 23 and the second camera 24 is sufficiently long, the respective optical axes of the first light source 21 and the first camera 23, the second light source 22 and the second Each optical axis of the camera 24 is not coaxial. In the following description, the above arrangement may be expressed as, for example, two members being substantially coaxial, and may be expressed as two members being non-coaxial or the like.

第１光源２１と第２光源２２の点灯（発光）のタイミングは光源制御部２６によって制御される。この点灯のタイミングは露光制御部２５からの指示信号によって設定され、露光制御部２５は、制御部１１の制御に従って、第１光源２１と第２光源２２の点灯に同期させるように、後述の撮影条件（明瞳孔撮影条件、暗瞳孔撮影条件）で、第１カメラ２３と第２カメラ２４に撮像を行わせる。   The timing of lighting (emission) of the first light source 21 and the second light source 22 is controlled by the light source control unit 26. The lighting timing is set by an instruction signal from the exposure control unit 25. The exposure control unit 25 synchronizes the lighting of the first light source 21 and the second light source 22 according to the control of the control unit 11, as described later. Under the conditions (bright pupil shooting condition, dark pupil shooting condition), the first camera 23 and the second camera 24 perform imaging.

顔検出部３０は、画像取得部２０で取得した全体画像Ａ１（図４）に対して、前処理としてビニング処理などにより画素の数を減らすダウンサイジングを行う。このダウンサイジングは、全体画像Ａ１において隣り合う所定数の画素を１画素にまとめることによって解像度を低下させ、画像データのサイズを小さくするものである。このダウンサイジング処理は、後の顔検出処理が可能なレベルに設定されており、このレベルに対応して１画素にまとめる画素数も定められている。これにより、画像のデータサイズが小さくなるため、後の顔検出処理の精度を確保しつつ高速化することができる。   The face detection unit 30 performs downsizing on the entire image A1 (FIG. 4) acquired by the image acquisition unit 20 to reduce the number of pixels by binning processing or the like as preprocessing. This downsizing is to reduce the resolution and reduce the size of the image data by grouping a predetermined number of adjacent pixels in the entire image A1 into one pixel. This downsizing process is set to a level at which the face detection process can be performed later, and the number of pixels to be combined into one pixel is also determined corresponding to this level. As a result, since the data size of the image is reduced, it is possible to speed up while securing the accuracy of the face detection processing to be performed later.

さらに、顔検出部３０は、ダウンサイジング処理後の画像に各種の検出方法を適用することによって顔検出を行う。例えば、Ｈａａｒ−ｌｉｋｅ顔検出法に基づいて初期検出を行い、さらに、あらかじめメモリ１２に登録した一般的な顔の特徴部位の情報、例えば、眉、眼球、虹彩、鼻、唇の位置、形状、大きさなどのデータと照らし合わせて、この照合結果にしたがって顔の検出を行う。また、立体的な顔のデータとして、複数の顔向き、例えば正面、斜め右向き、斜め左向きについての各特徴部位の情報と、取得した画像とを照らし合わせることにより顔向きの検出も行う。   Furthermore, the face detection unit 30 performs face detection by applying various detection methods to the image after the downsizing process. For example, initial detection is performed based on the Haar-like face detection method, and information on general facial feature parts registered in the memory 12 in advance, for example, eyelid, eyeball, iris, nose, lip position, shape, Face detection is performed according to the comparison result in comparison with data such as size. In addition, face orientation detection is also performed by comparing information on each of the feature portions with respect to a plurality of face orientations, for example, front, diagonally right, diagonally left, as the three-dimensional face data, with the acquired image.

また、顔検出部３０は、検出された顔画像における色や明るさなどに基づいて、各特徴部位に対応する複数のランドマーク、例えば、眉、眼球、虹彩、唇の輪郭線、鼻の稜線を検出する。
なお、一般的な顔の特徴部位の情報に加えて、または、これに代えて、特定の個人の顔の特徴部位の情報と、その個人を特定する氏名その他の識別情報とを組み合わせて予め登録し、画像取得部２０で取得した画像との照合によって、顔検出とともに個人を認証するようにしてもよい。In addition, the face detection unit 30 detects a plurality of landmarks corresponding to each feature, for example, eyebrows, eyeballs, iris, lip outlines, nose ridgelines, based on the color, brightness, etc. of the detected face image. To detect
In addition to or instead of general facial feature information, registration is made in advance by combining information of a specific individual's facial feature with a name or other identification information specifying that individual. Alternatively, the individual may be authenticated together with the face detection by matching with the image acquired by the image acquiring unit 20.

正規化処理部４０は、顔検出部３０で検出された複数のランドマーク間の関係を維持しつつ、例えばアフィン変換によって、顔を正面向きとし、かつ、所定のサイズとなるように変換させ、これによって顔画像を正規化する。   The normalization processing unit 40, while maintaining the relationship between the plurality of landmarks detected by the face detection unit 30, converts the face into a front direction by affine transformation, for example, to a predetermined size, This normalizes the face image.

眼領域画像取得部５０は、正規化処理部４０で正規化された画像において、ランドマークとして検出された眼球の位置・範囲情報に基づいて、両眼の眼球を含む画像が含まれる範囲を所定範囲として設定する。さらに、眼領域画像取得部５０は、画像取得部２０で取得した画像のうち、所定範囲に対応する明瞳孔画像と暗瞳孔画像を眼領域画像として取得する。設定された所定範囲はメモリ１２に保存され、取得された眼領域画像は視線検出部６０へ出力される。   The eye region image acquiring unit 50 specifies a range including an image including the eyeballs of both eyes in the image normalized by the normalization processing unit 40 based on the position / range information of the eyeball detected as the landmark. Set as a range. Furthermore, the eye region image acquiring unit 50 acquires a bright pupil image and a dark pupil image corresponding to a predetermined range among the images acquired by the image acquiring unit 20 as an eye region image. The set predetermined range is stored in the memory 12, and the acquired eye area image is output to the gaze detection unit 60.

ここで所定範囲の設定例について説明する。図５は、ローリングシャッタ方式の撮像素子からの画像取得タイミングと光源の発光タイミングの例を模式的に示す図である。図５（Ａ）は、撮像素子からの画像取得タイミングを示し、図５（Ｂ）は第１光源２１と第２光源２２の発光期間を示す。
撮像素子の駆動方式には、グローバルシャッタ方式とローリングシャッタ方式があり、第１実施形態のカメラ２３、２４はいずれの方式の撮像素子も使用可能であるが、ここではローリングシャッタ方式の場合について説明する。Here, a setting example of the predetermined range will be described. FIG. 5 is a view schematically showing an example of the image acquisition timing from the rolling shutter type imaging device and the light emission timing of the light source. FIG. 5A shows the image acquisition timing from the imaging device, and FIG. 5B shows the light emission period of the first light source 21 and the second light source 22.
There are a global shutter system and a rolling shutter system as a drive system of the image sensor, and the cameras 23 and 24 of the first embodiment can use any system of image sensors, but here, the case of the rolling shutter system is described Do.

図５（Ａ）において、Ｈ０００、Ｈ１００、Ｈ２００、Ｈ３００、Ｈ４００、Ｈ５００、Ｈ６００、Ｈ７００、及び、Ｈ８００は、撮像素子において垂直方向の上から下側へ順に並んだ、水平方向に並ぶ画素のラインをそれぞれ示している。撮像素子は、ローリングシャッタ方式で、これらのラインごとに駆動される。また、図５（Ａ）の「ＶＳＹＮＣ」は、カメラ２３、２４から出力される垂直同期信号であって、カメラのフレームレートにより決定され、制御部１１はこれらの垂直同期信号に同期して、対応するカメラの撮像素子の画素のラインに対応する撮像データを取り込む。また、Ｂ１１〜Ｂ１８、Ｂ２１〜・・・は、撮像素子の各画素ラインに対応する撮像データを取り込むタイミングを示しており、水平同期信号を意味している。   In FIG. 5A, H000, H100, H200, H300, H400, H500, H600, H700, and H800 are lines of horizontally aligned pixels arranged in order from top to bottom in the vertical direction in the imaging device. Respectively. The imaging device is driven for each of these lines by a rolling shutter method. Further, “VSYNC” in FIG. 5A is a vertical synchronization signal output from the cameras 23 and 24 and is determined by the frame rate of the camera, and the control unit 11 synchronizes with these vertical synchronization signals. The imaging data corresponding to the line of the pixels of the imaging element of the corresponding camera is captured. Further, B11 to B18, B21 to ... indicate timings of capturing imaging data corresponding to respective pixel lines of the imaging element, and mean horizontal synchronization signals.

図５（Ｂ）は、第１光源２１からの検知光の出射期間Ｉ１１、Ｉ１２、Ｉ１３と、第２光源２２からの検知光の出射期間Ｉ２１、Ｉ２２とを示している。図５（Ｂ）に示す例では、光源２１、２２の発光時間は同じであり、一定の周期で交互に発光している。第１光源２１または第２光源２２からの検知光が発光しているそれぞれの期間において、撮像素子がラインＨ０００からラインＨ８００までの１フレーム分ずつ駆動される。この１フレーム分の駆動により得られる画像は対象者の全体画像に対応し、この画像のうちで眼領域に対応する所定範囲として、１つまたは複数の画素のラインを設定することができる。   FIG. 5B shows emission periods I11, I12 and I13 of the detection light from the first light source 21 and emission periods I21 and I22 of the detection light from the second light source 22. In the example shown in FIG. 5B, the light emission times of the light sources 21 and 22 are the same, and light is alternately emitted in a constant cycle. The imaging element is driven by one frame each from the line H000 to the line H800 in each period during which the detection light from the first light source 21 or the second light source 22 is emitted. An image obtained by driving one frame corresponds to the entire image of the subject, and a line of one or more pixels can be set as a predetermined range corresponding to the eye region in the image.

視線検出部６０は、コンピュータのＣＰＵやメモリで構成されており、図３に示す各ブロックによる処理は、予めインストールされたソフトウエアを実行することで行われる。視線検出部６０には、明瞳孔画像検出部６１と、暗瞳孔画像検出部６２と、瞳孔中心算出部６３と、角膜反射光中心検出部６４と、視線方向算出部６５とが設けられている。   The line-of-sight detection unit 60 is constituted by a CPU and a memory of a computer, and the processing by each block shown in FIG. 3 is performed by executing software installed in advance. The line-of-sight detection unit 60 is provided with a bright pupil image detection unit 61, a dark pupil image detection unit 62, a pupil center calculation unit 63, a corneal reflection light center detection unit 64, and a gaze direction calculation unit 65. .

視線検出部６０に与えられた画像は、明瞳孔画像検出部６１と暗瞳孔画像取得部６２にそれぞれ読み込まれる。明瞳孔画像検出部６１では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出され、暗瞳孔画像検出部６２では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出される。
（ａ）明瞳孔撮影条件
（ａ−１）第１光源２１の点灯期間に、これと略同軸の第１カメラ２３で画像を取得
（ａ−２）第２光源２２の点灯期間に、これと略同軸の第２カメラ２４で画像を取得
（ｂ）暗瞳孔撮影条件
（ｂ−１）第１光源２１の点灯期間に、これと非同軸の第２カメラ２４で画像を取得
（ｂ−２）第２光源２２の点灯期間に、これと非同軸の第１カメラ２３で画像を取得The images given to the sight line detection unit 60 are read into the bright pupil image detection unit 61 and the dark pupil image acquisition unit 62 respectively. The bright pupil image detection unit 61 detects an image of an eye in the combination of a light source and a camera that satisfies any of the following bright pupil imaging conditions (a), and the dark pupil image detection unit 62 detects the following dark pupil The image of the eye at the time of the combination of a light source and a camera which satisfy | fills either imaging | photography conditions (b) is detected.
(A) Bright pupil imaging condition (a-1) During the lighting period of the first light source 21, an image is acquired by the first camera 23 substantially coaxial with this (a-2) During the lighting period of the second light source 22, Image acquisition by the second camera 24 substantially coaxial (b) dark pupil imaging conditions (b-1) image acquisition by the second camera 24 non-coaxial with this during the lighting period of the first light source 21 (b-2) During the lighting period of the second light source 22, an image is acquired by the first non-coaxial camera 23

＜明瞳孔画像と暗瞳孔画像＞
光源２１、２２からの出射光の波長８５０ｎｍは、運転者の眼の網膜に至る眼球内での吸収率が低いため、この波長の光は網膜で反射されやすい。例えば第１光源２１が点灯したときに、第１光源２１と略同軸の第１カメラ２３で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出され、瞳孔が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部６１で抽出される。これは、第２光源２２が点灯したときに、これと略同軸の第２カメラ２４で取得される画像についても同様である。<Light pupil image and dark pupil image>
The wavelength 850 nm of the light emitted from the light sources 21 and 22 has a low absorptivity in the eyeball reaching the retina of the driver's eye, so light of this wavelength is likely to be reflected by the retina. For example, when the first light source 21 is turned on, in the image acquired by the first camera 23 substantially coaxial with the first light source 21, infrared light reflected by the retina is detected through the pupil and the pupil looks bright. This image is extracted by the bright pupil image detection unit 61 as a bright pupil image. The same applies to an image acquired by the second camera 24 substantially coaxial with the second light source 22 when the second light source 22 is turned on.

これに対して、第１光源２１を点灯したときに、第１光源２１と非同軸の第２カメラ２４で画像を取得する場合には、網膜で反射された赤外光が第２カメラ２４にほとんど入射しないため、瞳孔が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部６２で抽出される。これは、第２光源２２が点灯したときに、非同軸の第１カメラ２３で取得される画像についても同様である。   On the other hand, when the first light source 21 is turned on and the second camera 24 coaxial with the first light source 21 obtains an image, the infrared light reflected by the retina is transmitted to the second camera 24. The pupil looks dark because it is hardly incident. Therefore, this image is extracted by the dark pupil image detection unit 62 as a dark pupil image. The same applies to an image acquired by the non-coaxial first camera 23 when the second light source 22 is turned on.

瞳孔中心算出部６３では、明瞳孔画像検出部６１で検出された明瞳孔画像から暗瞳孔画像検出部６２で検出された暗瞳孔画像が減算されて、瞳孔の形状が明るくなった瞳孔画像信号が取得される。瞳孔中心算出部６３では、瞳孔画像信号が画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、特徴量として、楕円の長軸と短軸との交点が、瞳孔の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔の中心位置が算出されてもよい。   The pupil center calculation unit 63 subtracts the dark pupil image detected by the dark pupil image detection unit 62 from the bright pupil image detected by the light pupil image detection unit 61, and a pupil image signal with a bright pupil shape is obtained. It is acquired. In the pupil center calculation unit 63, the pupil image signal is subjected to image processing and binarized, and an area image of a portion corresponding to the shape and area of the pupil is calculated. Further, an ellipse including the area image is extracted, and as a feature quantity, an intersection point of the major axis and the minor axis of the ellipse is calculated as the center position of the pupil. Alternatively, the central position of the pupil may be calculated from the luminance distribution of the pupil image.

暗瞳孔画像検出部６２で検出された暗瞳孔画像信号は、角膜反射光中心検出部６４に与えられる。暗瞳孔画像信号は、角膜の反射点から反射された反射光による輝度信号が含まれている。角膜の反射点からの反射光はプルキニエ像を結像するものであり、カメラ２３、２４の撮像素子では、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部６４では、このスポット画像が画像処理されて、特徴量として、角膜の反射点からの反射光の中心が求められる。   The dark pupil image signal detected by the dark pupil image detection unit 62 is given to the corneal reflection light center detection unit 64. The dark pupil image signal includes a luminance signal of the reflected light reflected from the reflection point of the cornea. The reflected light from the reflection point of the cornea forms a Purkinje image, and the imaging devices of the cameras 23 and 24 acquire spot images of extremely small area. In the corneal reflection light center detection unit 64, this spot image is image-processed, and the center of the reflection light from the reflection point of the cornea is obtained as the feature amount.

瞳孔中心算出部６３で算出された瞳孔中心算出値と角膜反射光中心検出部６４で算出された角膜反射光中心算出値は、視線方向算出部６５に与えられる。視線方向算出部６５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。   The pupil center calculation value calculated by the pupil center calculation unit 63 and the corneal reflection light center calculation value calculated by the corneal reflection light center detection unit 64 are provided to the gaze direction calculation unit 65. The gaze direction calculation unit 65 detects the direction of the gaze from the pupil center calculation value and the corneal reflection light center calculation value.

視線方向算出部６５では、瞳孔の中心と、角膜からの反射点の中心との直線距離αが算出される。また瞳孔の中心を原点とするＸ−Ｙ座標が設定され、瞳孔の中心と反射点の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向が算出される。算出された視線方向のデータは、視線方向算出部６５による検出結果として制御部１１へ出力される。
なお、瞳孔中心に代えて虹彩中心を用いて視線方向を算出してもよい。虹彩中心は、例えば、明瞳孔撮影条件を満たす画像の虹彩（黒目）と白目の反射率の違いを利用して、虹彩部分を楕円状または円形状に抽出し、抽出した図形の中心を算出することによって求める。The line-of-sight direction calculation unit 65 calculates the linear distance α between the center of the pupil and the center of the reflection point from the cornea. Further, an X-Y coordinate having an origin at the center of the pupil is set, and an inclination angle β between the line connecting the center of the pupil and the center of the reflection point and the X axis is calculated. Further, the line-of-sight direction is calculated from the linear distance α and the inclination angle β. The calculated gaze direction data is output to the control unit 11 as a detection result by the gaze direction calculation unit 65.
The line of sight direction may be calculated using the iris center instead of the pupil center. For the iris center, for example, the iris portion is extracted in an elliptical shape or a circular shape using the difference in the reflectance of the iris (black eye) and the white eye of the image satisfying the bright pupil imaging condition, and the center of the extracted figure is calculated. Ask by.

＜視線検出の流れ＞
図４と図６を参照しつつ第１実施形態の視線検出装置１０を用いた視線検出の流れについて説明する。図６は、第１実施形態に係る視線検出の流れを示すフローチャートである。<Flow of gaze detection>
A flow of gaze detection using the gaze detection apparatus 10 of the first embodiment will be described with reference to FIGS. 4 and 6. FIG. 6 is a flowchart showing the flow of gaze detection according to the first embodiment.

まず、画像取得部２０によって対象者ＳＢの全体画像Ａ１（図４）を取得する（図６のステップＳ１１）。具体的には、第１光源２１と第２光源２２を交互に発光させ、第１光源２１の点灯に同期させて、第１カメラ２３と第２カメラ２４で同時に撮像を行う。このとき第１カメラ２３で明瞳孔画像が取得され、第２カメラ２４で暗瞳孔画像が取得される。第２光源２２が点灯している期間についても、点灯に同期させて、第１カメラ２３と第２カメラ２４で同時に撮像が行われる。このときは、第１カメラ２３で暗瞳孔画像が取得され、第２カメラ２４で明瞳孔画像が取得される。撮像された画像データはメモリ１２にそれぞれ保存され、第１カメラ２３または第２カメラ２４で取得された明瞳孔画像が全体画像Ａ１として顔検出部３０へ与えられる。   First, the entire image A1 (FIG. 4) of the subject person SB is acquired by the image acquisition unit 20 (step S11 in FIG. 6). Specifically, the first light source 21 and the second light source 22 are alternately emitted, synchronized with the lighting of the first light source 21, and images are simultaneously taken by the first camera 23 and the second camera 24. At this time, a bright pupil image is acquired by the first camera 23, and a dark pupil image is acquired by the second camera 24. Also in a period in which the second light source 22 is on, imaging is simultaneously performed by the first camera 23 and the second camera 24 in synchronization with the lighting. At this time, a dark pupil image is acquired by the first camera 23 and a bright pupil image is acquired by the second camera 24. The captured image data is stored in the memory 12, and a bright pupil image acquired by the first camera 23 or the second camera 24 is given to the face detection unit 30 as the entire image A1.

次に、顔検出部３０は、画像取得部２０から与えられた全体画像Ａ１（図４）に対して顔検出処理を行う（図６のステップＳ１２）。顔検出部３０は、顔検出処理に先立って、ビニング処理などにより画素の数を減らすダウンサイジングを行う。顔検出部３０は、ダウンサイズされた画像に対して各種の検出方法を適用することによって顔検出を行い、顔画像Ａ２を抽出する。例えば、Ｈａａｒ−ｌｉｋｅ顔検出法に基づいて初期検出を行い、さらに、あらかじめメモリ１２に登録した一般的な顔の特徴部位の情報と、例えば、図４に示す全体画像Ａ１における眉ＢＲ、眼球ＥＢ、虹彩ＩＲ、鼻ＮＳ、唇ＬＰなどの位置、形状、大きさなどとを互いに照らし合わせることによって顔画像Ａ２を抽出する。また、立体的な顔のデータとして、複数の顔向き、例えば正面、斜め右向き、斜め左向きについての各特徴部位の情報と、取得した画像とを照らし合わせることにより顔向きの検出も行う。さらに、顔検出部３０は、検出された顔画像における色や明るさなどに基づいて、各特徴部位に対応する複数のランドマーク、例えば、眉ＢＲ、眼球ＥＢ、虹彩ＩＲ、唇ＬＰの輪郭線、鼻ＮＳの稜線を検出する。検出された顔画像Ａ２およびランドマークについての検出情報は正規化処理部４０へ出力される。   Next, the face detection unit 30 performs face detection processing on the entire image A1 (FIG. 4) given by the image acquisition unit 20 (step S12 in FIG. 6). The face detection unit 30 performs downsizing to reduce the number of pixels by a binning process or the like prior to the face detection process. The face detection unit 30 performs face detection by applying various detection methods to the downsized image, and extracts a face image A2. For example, initial detection is performed based on the Haar-like face detection method, and further, information on general feature parts of the face registered in advance in the memory 12 and, for example, 眉 BR in the entire image A1 shown in FIG. The face image A2 is extracted by comparing the positions, shapes, sizes, etc. of the iris IR, the nose NS, the lips LP, etc. with each other. In addition, face orientation detection is also performed by comparing information on each of the feature portions with respect to a plurality of face orientations, for example, front, diagonally right, diagonally left, as the three-dimensional face data, with the acquired image. Furthermore, the face detection unit 30 detects contours of a plurality of landmarks corresponding to each feature, for example, eyebrows BR, eyeballs EB, iris IR, lips LP, based on the color, brightness, etc. of the detected face image. , The ridge line of the nose NS is detected. Detection information on the detected face image A2 and landmarks is output to the normalization processing unit 40.

つづいて、正規化処理部４０は、顔検出部３０で検出された複数のランドマーク間の関係を維持しつつ、例えばアフィン変換によって、顔を正面向きとし、かつ、所定のサイズとなるように変換させ、これによって顔画像を正規化する（ステップＳ１３）。正規化された画像データは眼領域画像取得部５０へ送られ、眼領域画像取得部５０においては、ランドマークとして検出された眼球の位置・範囲情報に基づいて、両眼の眼球を含む画像が含まれる範囲が初期の所定範囲Ａ３（図４）として設定される（ステップＳ１４）。さらに、眼領域画像取得部５０は、画像取得部２０で取得した明瞳孔画像と暗瞳孔画像をメモリ１２から読み出し、これらの画像において、上記所定範囲Ａ３に対応する範囲の画像を抽出・取得する（ステップＳ１５）。このように取得された画像は判別部としての制御部１１へ与えられる。   Subsequently, while maintaining the relationship between the plurality of landmarks detected by the face detection unit 30, the normalization processing unit 40 turns the face to the front by the affine transformation, for example, and has a predetermined size. The face image is normalized by the conversion (step S13). The normalized image data is sent to the eye region image acquisition unit 50. In the eye region image acquisition unit 50, an image including the eyeballs of both eyes is generated based on the position / range information of the eyeball detected as the landmark. A range included is set as an initial predetermined range A3 (FIG. 4) (step S14). Furthermore, the eye region image acquisition unit 50 reads the bright pupil image and the dark pupil image acquired by the image acquisition unit 20 from the memory 12, and extracts and acquires an image of a range corresponding to the predetermined range A3 in these images. (Step S15). The image acquired in this manner is given to the control unit 11 as a determination unit.

次に、判別部としての制御部１１は、眼領域画像取得部５０から受け取った画像に眼領域画像が含まれているか否かを判別する（ステップＳ１６、第１の判別ステップ）。この判別は、あらかじめメモリ１２に登録した一般的な目の特徴部位の情報と、例えば、眼球や虹彩の位置、形状、大きさなどとを互いに照らし合わせることによって行う。ここで、上記ステップＳ１４、Ｓ１５において、両眼の眼球を含む画像に基づいて所定範囲Ａ３が設定されていることから、制御部１１は、眼領域画像取得部５０から受け取った画像に眼領域画像が含まれていると判別する（ステップＳ１６でＹＥＳ）。制御部１１は、眼領域画像取得部５０から受け取った画像を視線検出部６０へ出力する。   Next, the control unit 11 as a determination unit determines whether the image received from the eye region image acquisition unit 50 includes an eye region image (step S16, first determination step). This determination is performed by comparing the information of a general eye feature portion registered in the memory 12 in advance with, for example, the position, shape, size and the like of the eyeball and the iris. Here, since the predetermined range A3 is set based on the image including the eyeballs of both eyes in the steps S14 and S15, the control unit 11 determines that the image received from the eye region image acquiring unit 50 is an eye region image Is determined to be included (YES in step S16). The control unit 11 outputs the image received from the eye region image acquisition unit 50 to the sight line detection unit 60.

眼領域画像を受け取った視線検出部６０では、まず、明瞳孔画像検出部６１で明瞳孔画像が検出され、暗瞳孔画像検出部６２で暗瞳孔画像が検出される。さらに、瞳孔中心算出部６３において、明瞳孔画像から暗瞳孔画像が減算されて、瞳孔の形状が明るくなった瞳孔画像信号が取得され、この信号に基づいて、瞳孔の形状と面積に対応する部分のエリア画像が算出され、このエリア画像を含む楕円から、特徴量として瞳孔の中心位置が算出される（ステップＳ１７）。また、角膜反射光中心検出部６４では、暗瞳孔画像信号に含まれるスポット画像が画像処理されて、特徴量として、角膜の反射点からの反射光の中心が求められる（ステップＳ１７）。   In the visual axis detection unit 60 receiving the eye area image, first, the bright pupil image detection unit 61 detects a bright pupil image, and the dark pupil image detection unit 62 detects a dark pupil image. Furthermore, in the pupil center calculation unit 63, a dark pupil image is subtracted from the bright pupil image to obtain a pupil image signal in which the pupil shape is brightened, and based on this signal, a portion corresponding to the pupil shape and area The area image of is calculated, and the central position of the pupil is calculated as the feature amount from the ellipse including the area image (step S17). Further, in the corneal reflection light center detection unit 64, the spot image included in the dark pupil image signal is subjected to image processing, and the center of the reflected light from the reflection point of the cornea is determined as the feature amount (step S17).

次に、視線方向算出部６５において、瞳孔中心算出部６３で算出された瞳孔中心算出値と角膜反射光中心検出部６４で算出された角膜反射光中心算出値とから、視線方向が検出される（ステップＳ１８）。   Next, in the gaze direction calculation unit 65, the gaze direction is detected from the pupil center calculation value calculated by the pupil center calculation unit 63 and the cornea reflection light center calculation value calculated by the corneal reflection light center detection unit 64. (Step S18).

視線方向の検出後は、上記ステップＳ１４で設定した所定範囲で画像が取得される（ステップＳ１５）。この画像の取得方法は上記ステップＳ１１と同様に、第１光源２１と第２光源２２を交互に点灯させて、２つのカメラ２３、２４で撮影条件に対応した瞳孔画像を撮影する。ここでは全体画像ではなく、所定範囲の画像のみを取得するため、データのサイズを小さく抑えることができ、その後の処理も高速に実行することが可能となる。ここで取得された画像については、制御部１１において、眼領域画像が含まれているか否かが判別される（ステップＳ１６、第１の判別ステップ）。   After detection of the sight line direction, an image is acquired in the predetermined range set in step S14 (step S15). In this image acquisition method, the first light source 21 and the second light source 22 are alternately turned on, and a pupil image corresponding to the imaging condition is photographed by the two cameras 23 and 24, as in step S11. Here, not only the entire image but only an image within a predetermined range is acquired, so the size of the data can be kept small, and the subsequent processing can be performed at high speed. The control unit 11 determines whether or not an eye area image is included in the image acquired here (step S16, first determination step).

制御部１１による判別（ステップＳ１６）の結果、眼領域画像が含まれている場合（ステップＳ１６でＹＥＳ）は、視線検出部６０において、特徴量として、瞳孔中心と角膜反射光中心の位置が抽出され（ステップＳ１７）。この特徴量に基づいて、視線方向算出部６５において視線方向が検出される（ステップＳ１８）。   As a result of the discrimination by the control unit 11 (step S16), when the eye area image is included (YES in step S16), the gaze detection unit 60 extracts the positions of the pupil center and the corneal reflected light center as feature quantities. (Step S17). The gaze direction is detected by the gaze direction calculation unit 65 based on the feature amount (step S18).

これに対して、制御部１１による判別（ステップＳ１６）の結果、眼領域画像が含まれていなかった場合（ステップＳ１６でＮＯ）は、全体画像が再び取得され（ステップＳ１１）、この全体画像について、顔画像の検出（ステップＳ１２）と正規化処理（ステップＳ１３）が実行され、この正規化画像に対して新たな所定範囲が設定される。この新しい所定範囲によって、メモリ１２に記憶された所定範囲のデータは更新され（ステップＳ１４）、その後の画像取得（ステップＳ１５）以下の処理が行われる。ここで、眼領域画像が含まれていなかった場合としては、片眼の眼球の画像だけが含まれていた場合、両眼の眼球の画像が特徴量検出に十分な濃度、解像度を有していなかった場合などが挙げられる。   On the other hand, as a result of the determination by the control unit 11 (step S16), when the eye area image is not included (NO in step S16), the entire image is acquired again (step S11). The face image detection (step S12) and the normalization process (step S13) are executed, and a new predetermined range is set for the normalized image. The data of the predetermined range stored in the memory 12 is updated by the new predetermined range (step S14), and the process following image acquisition (step S15) is performed. Here, as the case where the eye area image is not included, when only the image of the eyeball of one eye is included, the images of the eyeballs of both eyes have sufficient density and resolution for feature amount detection. There are cases where there were no such cases.

以上のように構成されたことから、第１実施形態の視線検出方法によれば、次の効果を奏する。
（１）第１の判別ステップ（図６のステップＳ１６）において所定範囲の画像に対象者の眼領域画像が含まれているか否かを判別し、眼領域画像が含まれている間は、新たに全体画像を取得せずに、所定範囲の画像に基づいて視線方向を検出し続ける。このため、視線検出の精度は確保しつつ、毎回取得する画像のデータサイズを抑えることができ、演算処理の負担を抑えて処理の高速化を図ることができる。
（２）ローリングシャッタ方式で駆動される撮像素子を用いた場合、撮像素子のコストを下げることができるとともに、演算処理の負担を軽減して高速かつ高精度の視線方向検出を実現することができる。Since it was comprised as mentioned above, according to the gaze detection method of 1st Embodiment, there exist the following effects.
(1) In the first determination step (step S16 in FIG. 6), it is determined whether or not the image of the predetermined range includes the eye region image of the subject, and while the eye region image is included, The gaze direction is continuously detected based on the image of the predetermined range without acquiring the entire image. Therefore, it is possible to suppress the data size of the image acquired each time while securing the accuracy of the sight line detection, and to speed up the processing while suppressing the load of the arithmetic processing.
(2) When an imaging device driven by a rolling shutter system is used, the cost of the imaging device can be reduced, and the burden on arithmetic processing can be reduced to realize high-speed and high-accuracy gaze direction detection. .

＜第２実施形態＞
つづいて、本発明の第２実施形態について説明する。第２実施形態においては、所定範囲に眼領域画像が含まれているか否かに拘わらず、定期的に低解像度の全体画像を取得して第２の判別ステップを実行する点が第１実施形態と異なる。第２実施形態に係る視線検出装置は、第１実施形態に係る視線検出装置１０と同様の構成を備える。以下、第１実施形態と同様の構成・処理・作用等については詳細な説明は省略する。Second Embodiment
Subsequently, a second embodiment of the present invention will be described. In the second embodiment, regardless of whether or not the eye region image is included in the predetermined range, the second determination step is performed by periodically acquiring the low-resolution entire image according to the first embodiment. It is different from The gaze detection apparatus according to the second embodiment has the same configuration as the gaze detection apparatus 10 according to the first embodiment. Hereinafter, detailed description of the same configuration, processing, operation, and the like as the first embodiment will be omitted.

図７は、第２実施形態に係る視線検出の流れを示すフローチャートである。
まず、第１実施形態の視線検出（図６）と同様に、画像取得部２０によって対象者ＳＢの全体画像Ａ１（図４）を取得（図７のステップＳ２１）し、この全体画像Ａ１を用いて、顔検出部３０において顔検出処理を行い、顔画像Ａ２を抽出する（ステップＳ２２）。また、顔検出部３０では、顔向きの検出や各特徴部位に対応する複数のランドマークの検出を行う。さらに、正規化処理部４０における顔画像の正規化（ステップＳ２３）と、眼領域画像取得部５０における所定範囲Ａ３の設定（ステップＳ２４）と、判別部としての制御部１１における判別（ステップＳ２６、第１の判別ステップ）とも第１実施形態と同様である。ここで、上記ステップＳ２４、Ｓ２５において、両眼の眼球を含む画像に基づいて所定範囲Ａ３が設定されていることから、制御部１１は、眼領域画像取得部５０から受け取った画像に眼領域画像が含まれていると判別（ステップＳ２６でＹＥＳ）し、眼領域画像取得部５０から受け取った画像を視線検出部６０へ出力する。FIG. 7 is a flowchart showing the flow of gaze detection according to the second embodiment.
First, the entire image A1 (FIG. 4) of the target person SB is acquired by the image acquisition unit 20 (step S21 in FIG. 7) as in the gaze detection (FIG. 6) of the first embodiment. Then, the face detection unit 30 performs face detection processing to extract a face image A2 (step S22). In addition, the face detection unit 30 detects the face direction and detects a plurality of landmarks corresponding to each feature portion. Furthermore, normalization of the face image in the normalization processing unit 40 (step S23), setting of the predetermined range A3 in the eye region image acquisition unit 50 (step S24), and determination in the control unit 11 as the determination unit (step S26) The first determination step is the same as in the first embodiment. Here, since the predetermined range A3 is set based on the image including the eyeballs of both eyes in the steps S24 and S25, the control unit 11 determines that the image received from the eye region image acquiring unit 50 is an eye region image Is determined (YES in step S26), and the image received from the eye region image acquisition unit 50 is output to the gaze detection unit 60.

眼領域画像を受け取った視線検出部６０では、第１実施形態と同様に、まず、明瞳孔画像検出部６１で明瞳孔画像が検出され、暗瞳孔画像検出部６２で暗瞳孔画像が検出される。さらに、瞳孔中心算出部６３において、明瞳孔画像から暗瞳孔画像が減算されて、瞳孔の形状が明るくなった瞳孔画像信号が取得され、この信号に基づいて、瞳孔の形状と面積に対応する部分のエリア画像が算出され、このエリア画像を含む楕円から、特徴量として瞳孔の中心位置が算出される（ステップＳ２７）。また、角膜反射光中心検出部６４では、暗瞳孔画像信号に含まれるスポット画像が画像処理されて、特徴量として、角膜の反射点からの反射光の中心が求められる（ステップＳ２７）。つづいて、視線方向算出部６５において、瞳孔中心算出部６３で算出された瞳孔中心算出値と角膜反射光中心検出部６４で算出された角膜反射光中心算出値とから、視線方向が検出される（ステップＳ２８）。   In the visual axis detection unit 60 having received the eye area image, first, the bright pupil image detection unit 61 detects the bright pupil image and the dark pupil image detection unit 62 detects the dark pupil image, as in the first embodiment. . Furthermore, in the pupil center calculation unit 63, a dark pupil image is subtracted from the bright pupil image to obtain a pupil image signal in which the pupil shape is brightened, and based on this signal, a portion corresponding to the pupil shape and area The area image of is calculated, and the central position of the pupil is calculated as the feature amount from the ellipse including the area image (step S27). Further, in the corneal reflection light center detection unit 64, the spot image included in the dark pupil image signal is subjected to image processing, and the center of the reflected light from the reflection point of the cornea is determined as the feature amount (step S27). Subsequently, in the gaze direction calculation unit 65, the gaze direction is detected from the pupil center calculation value calculated by the pupil center calculation unit 63 and the cornea reflection light center calculation value calculated by the corneal reflection light center detection unit 64. (Step S28).

次に、画像取得部２０によって対象者ＳＢの全体画像が取得される（ステップＳ２９）。この画像は、上記ステップＳ２１で取得する画像よりも低い解像度であり、以下に述べる簡易的な顔画像検出ができる最低限の解像度を有している。顔検出部３０においては、この画像に基づいて顔画像検出処理が実行される（ステップＳ３０、第２の判別ステップ）。この顔画像検出においては、特徴部位の照合によって、顔の位置、向きが上記ステップＳ２２における顔画像検出に対して、所定量以上ずれていないことを確認し、ランドマークの検出は省略する。この所定量は、一般的な特徴部位の配置において、いったん設定した所定範囲Ａ３内に眼領域画像が再び含まれる基準量として設定される。   Next, the entire image of the subject person SB is acquired by the image acquisition unit 20 (step S29). This image has a resolution lower than that of the image acquired in step S21, and has a minimum resolution that enables simple face image detection described below. The face detection unit 30 executes face image detection processing based on this image (step S30, second determination step). In this face image detection, it is confirmed that the position and the direction of the face are not deviated by a predetermined amount or more with respect to the face image detection in the above step S22 by collation of the characteristic part, and the detection of the landmark is omitted. The predetermined amount is set as a reference amount in which the eye region image is included again in the predetermined range A3 once set in the arrangement of the general feature portion.

顔画像検出ができた場合（ステップＳ３０でＹＥＳ）、すなわち、顔の位置、向きが上記ステップＳ２２における顔画像検出の結果に対して所定量未満のずれ量の範囲内にある場合、上記ステップＳ２４で設定した所定範囲について画像が取得される（ステップＳ２５）。ここで取得される画像の解像度は、上記ステップＳ２１で取得する画像と同等の高い解像度であり、かつ、上記ステップＳ２９で取得される画像の解像度よりも高い。画像の取得方法は上記ステップＳ２１と同様に、第１光源２１と第２光源２２を交互に点灯させて、２つのカメラ２３、２４で撮影条件に対応した瞳孔画像を撮影する。ここで取得された画像については、制御部１１において、眼領域画像が含まれているか否かが判別される（ステップＳ２６、第１の判別ステップ）。   If face image detection is successful (YES in step S30), that is, if the position and orientation of the face are within the range of a displacement amount less than a predetermined amount with respect to the result of face image detection in step S22, step S24 above An image is acquired for the predetermined range set in (step S25). The resolution of the image acquired here is a high resolution equivalent to the image acquired in step S21, and is higher than the resolution of the image acquired in step S29. In the image acquisition method, as in step S21, the first light source 21 and the second light source 22 are alternately turned on, and the two cameras 23 and 24 capture a pupil image corresponding to the imaging condition. The control unit 11 determines whether an eye area image is included in the image acquired here (step S26, first determination step).

制御部１１による判別（ステップＳ２６）の結果、眼領域画像が含まれている場合（ステップＳ２６でＹＥＳ）は、視線検出部６０において、特徴量として、瞳孔中心と角膜反射光中心の位置が抽出され（ステップＳ２７）。この特徴量に基づいて、視線方向算出部６５において視線方向が検出される（ステップＳ２８）。   As a result of the discrimination by the control unit 11 (step S26), when the eye area image is included (YES in step S26), the gaze detection unit 60 extracts the positions of the pupil center and the corneal reflected light center as feature quantities. (Step S27). The gaze direction is detected by the gaze direction calculation unit 65 based on the feature amount (step S28).

（１）制御部１１による判別（ステップＳ２６）の結果、眼領域画像が含まれていなかった場合（ステップＳ２６でＮＯ）、および、（２）上記ステップＳ３０において顔画像検出ができなかった場合（ステップＳ３０でＮＯ）、すなわち、顔の位置、向きが上記ステップＳ２２における顔画像検出の結果に対して所定量以上のずれを生じていた場合は、全体画像が再び取得され（ステップＳ２１）、この全体画像について、顔画像の検出（ステップＳ２２）と正規化処理（ステップＳ２３）が実行され、正規化画像に対して新たな所定範囲が設定され、この新しい所定範囲によって、メモリ１２に記憶された所定範囲のデータは更新され（ステップＳ２４）、その後の画像取得（ステップＳ２５）以下の処理が行われる。   (1) As a result of the discrimination by the control unit 11 (step S26), when the eye area image is not included (NO in step S26), and (2) when the face image can not be detected in step S30. If the position and orientation of the face deviate from the result of face image detection in step S22 by a predetermined amount or more, the entire image is acquired again (step S21). Face image detection (step S22) and normalization processing (step S23) are performed on the entire image, a new predetermined range is set for the normalized image, and the new predetermined range is stored in the memory 12 The data in the predetermined range is updated (step S24), and the subsequent process of image acquisition (step S25) is performed.

なお、図７のステップＳ３０で示す第２判別ステップは、視線方向の検出（ステップＳ２８）が終わるたびに毎回実行されていたが、この実行間隔は毎回ではなく所定回数ごととしてもよい。また、図７のステップＳ３０で示す第２判別ステップに代えて、図７に示す処理の流れとは独立した形で第２判別ステップを実行させてもよい。   Although the second determination step shown in step S30 of FIG. 7 is performed each time detection of the sight line direction (step S28) ends, the execution interval may be a predetermined number of times instead of every time. Further, instead of the second determination step shown in step S30 of FIG. 7, the second determination step may be executed independently of the flow of the process shown in FIG.

第２実施形態の視線検出方法によれば、第２の判別ステップにおいてデータ量の小さな画像で判別を行うことができるため、視線検出の精度を確保しつつ、演算処理の負担を軽減することができる。
なお、その他の作用、効果、変形例は第１実施形態と同様である。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。According to the line-of-sight detection method of the second embodiment, the determination can be performed using an image with a small amount of data in the second determination step, so that the burden of arithmetic processing can be reduced while securing the accuracy of line-of-sight detection. it can.
The other actions, effects, and modifications are the same as in the first embodiment.
Although the present invention has been described with reference to the above embodiment, the present invention is not limited to the above embodiment, and can be improved or changed within the scope of the improvement purpose or the spirit of the present invention.

以上のように、本発明に係る視線検出方法は、視線検出の精度を確保しつつ、処理負担を軽減して高速化を図ることができる点で有用である。   As described above, the gaze detection method according to the present invention is useful in that the processing load can be reduced and the speed can be increased while securing the accuracy of gaze detection.

１０ 視線検出装置
１１ 制御部
１２ メモリ
２０ 画像取得部
２１ 第１光源
２２ 第２光源
２３ 第１カメラ
２４ 第２カメラ
２５ 露光制御部
２６ 光源制御部
３０ 顔検出部
４０ 正規化処理部
５０ 眼領域画像取得部
６０ 視線検出部
６１ 明瞳孔画像検出部
６２ 暗瞳孔画像検出部
６３ 瞳孔中心算出部
６４ 角膜反射光中心検出部
６５ 視線方向算出部
Ａ１ 全体画像
Ａ２ 顔画像
Ａ３ 所定範囲DESCRIPTION OF SYMBOLS 10 gaze detection apparatus 11 control part 12 memory 20 image acquisition part 21 1st light source 22 2nd light source 23 1st camera 24 2nd camera 25 exposure control part 26 light source control part 30 face detection part 40 normalization processing part 50 eye area image Acquisition unit 60 line of sight detection unit 61 bright pupil image detection unit 62 dark pupil image detection unit 63 pupil center calculation unit 64 corneal reflection light center detection unit 65 gaze direction calculation unit A1 whole image A2 face image A3 predetermined range

Claims (3)

眼領域画像を抽出するために取得された、所定範囲の画像に対象者の眼領域画像が含まれているか否かを一定周期で判別する第１の判別ステップを有し、
前記第１の判別ステップにおいて前記所定範囲の画像に前記対象者の眼領域画像が含まれている場合は、その眼領域画像を抽出し、抽出した眼領域画像に基づいて前記対象者の視線方向を検出し、
前記第１の判別ステップにおいて前記所定範囲の画像に前記対象者の眼領域画像が含まれていない場合は、新たに全体画像を取得し、この全体画像から前記対象者の顔画像を検出し、検出した顔画像から前記対象者の眼領域画像を抽出して、前記抽出した眼領域画像に基づいて前記対象者の視線方向を検出し、さらに、前記抽出した眼領域画像を含む範囲を前記所定範囲として更新することを特徴とする視線検出方法。It has a first determination step of determining at a constant cycle whether or not an image of a subject's eye region is included in an image of a predetermined range acquired to extract an eye region image,
When the eye area image of the subject is included in the image of the predetermined range in the first determination step, the eye area image is extracted, and the gaze direction of the subject based on the extracted eye area image To detect
When the eye area image of the subject is not included in the image of the predetermined range in the first determination step, a whole image is newly obtained, and a face image of the subject is detected from the whole image, The eye area image of the subject is extracted from the detected face image, the line-of-sight direction of the subject is detected based on the extracted eye area image, and the range including the extracted eye area image is further determined as the predetermined A gaze detection method characterized by updating as a range. 前記第１の判別ステップとは独立して、全体画像を取得し、取得した全体画像から前記対象者の顔画像が検出できるか否かを判別する第２の判別ステップを有し、
前記第２の判別ステップにおいて取得する全体画像は、前記第１の判別ステップで判別される所定範囲の画像よりも解像度が低く、
前記第２の判別ステップにおいて取得した前記全体画像から前記対象者の顔画像が検出できない場合は、次の前記第１の判別ステップを待たずに、新たに全体画像を取得し、この画像から前記対象者の顔画像を検出し、検出した顔画像から前記対象者の眼領域画像を抽出して、前記抽出した眼領域画像に基づいて前記対象者の視線方向を検出し、さらに、前記抽出した眼領域画像を含む範囲を前記所定範囲として更新することを特徴とする請求項１に記載の視線検出方法。Independent of the first determination step, there is a second determination step of acquiring an entire image and determining whether or not the face image of the subject can be detected from the acquired entire image,
The entire image acquired in the second determination step has a lower resolution than the image of the predetermined range determined in the first determination step,
If the face image of the subject can not be detected from the entire image acquired in the second determination step, the entire image is newly acquired without waiting for the next first determination step, and the image is extracted from the image. A face image of the subject is detected, an eye area image of the subject is extracted from the detected face image, a line of sight direction of the subject is detected based on the extracted eye area image, and the extraction is further performed The gaze detection method according to claim 1, wherein a range including an eye region image is updated as the predetermined range. 画像の取得は、複数の画素が水平方向及び垂直方向に配列され、ローリングシャッタ方式で駆動される撮像素子で行われ、
前記所定範囲は、前記撮像素子の前記水平方向に並ぶ１つまたは２以上のラインで構成されることを特徴とする請求項１または請求項２に記載の視線検出方法。The image acquisition is performed by an imaging device in which a plurality of pixels are arranged in the horizontal direction and the vertical direction and driven by a rolling shutter method,
The line-of-sight detection method according to claim 1 or 2, wherein the predetermined range includes one or more lines aligned in the horizontal direction of the imaging device.

Images