JP2016049258A - Lighting and imaging device and visual axis detecting apparatus including the same - Google Patents

Lighting and imaging device and visual axis detecting apparatus including the same Download PDF

Info

Publication number
JP2016049258A
JP2016049258A JP2014176131A JP2014176131A JP2016049258A JP 2016049258 A JP2016049258 A JP 2016049258A JP 2014176131 A JP2014176131 A JP 2014176131A JP 2014176131 A JP2014176131 A JP 2014176131A JP 2016049258 A JP2016049258 A JP 2016049258A
Authority
JP
Japan
Prior art keywords
light source
image
light
pupil
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014176131A
Other languages
Japanese (ja)
Other versions
JP6370168B2 (en
Inventor
河内　隆宏
Takahiro Kawachi
隆宏 河内
山下　龍麿
Tatsumaro Yamashita
龍麿 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Electric Co Ltd filed Critical Alps Electric Co Ltd
Priority to JP2014176131A priority Critical patent/JP6370168B2/en
Publication of JP2016049258A publication Critical patent/JP2016049258A/en
Application granted granted Critical
Publication of JP6370168B2 publication Critical patent/JP6370168B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a lighting/imaging device including an image pick-up device driven by a rolling shutter method and capable of acquiring an image suited for detecting a visual axis, and visual axis detecting apparatus including the same.SOLUTION: The lighting/imaging device includes: a light source for applying detection light to the eyes of a subject; a light source control section for controlling the light source so as to exit the detection light for each prescribed period; and an image pick-up device in which a plurality of pixels are aligned in the horizontal direction and vertical direction. The lighting/imaging device further includes: an imaging body that acquires an image including the subject's eyes by driving the image pick-up device by a rolling shutter method; and an exposure control section that drives the image pick-up device for at least two frames with respect to single-time exit of the detection light by the rolling shutter method.SELECTED DRAWING: Figure 2

Description

本発明は、ローリングシャッタ方式で撮像素子を駆動する照明撮像装置、及び、それを備えた視線検出装置に関する。   The present invention relates to an illumination imaging apparatus that drives an imaging element by a rolling shutter system, and a line-of-sight detection apparatus including the same.

特許文献１に記載の注視点検出方法は、２台以上のカメラと、これらのカメラの開口部外側に設けた光源とを用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成し、これらの画像に基づいて、カメラと瞳孔を結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルを計算し、このベクトルをもとに各カメラの基準線に対する対象者の視線の方向を所定の関数を用いて計算する。   The gaze point detection method described in Patent Literature 1 generates a face image of a subject as a bright pupil image and a dark pupil image using two or more cameras and a light source provided outside the opening of these cameras. Based on these images, a vector from the corneal reflection point of the subject to the pupil on a plane perpendicular to the reference line connecting the camera and the pupil is calculated, and the target for the reference line of each camera is calculated based on this vector. The direction of the person's line of sight is calculated using a predetermined function.

さらに、各カメラに対応して計算した視線の方向が近くなるように前記関数を補正し、補正された関数を用いて視線の方向を計算して視線の所定の平面上の交点を求めることによって対象者の所定平面上の注視点を検出することができる。   Further, by correcting the function so that the direction of the line of sight calculated corresponding to each camera is close, and calculating the direction of the line of sight using the corrected function to obtain the intersection of the line of sight on a predetermined plane A gazing point on a predetermined plane of the subject can be detected.

特許文献１に記載の注視点検出方法においては、前記光源として、互いに異なる波長の光を出力する発光素子が設けられており、これらの発光素子を交互に発光させることによって、一方の発光素子によって対象者の目に照明光が照射されたときに明瞳孔画像を生成し、他方の発光素子によって照明光が照射されたときに暗瞳孔画像を生成する。   In the gazing point detection method described in Patent Document 1, a light emitting element that outputs light having different wavelengths is provided as the light source, and by alternately emitting light from these light emitting elements, one light emitting element is used. A bright pupil image is generated when illumination light is irradiated to the subject's eyes, and a dark pupil image is generated when illumination light is irradiated by the other light emitting element.

国際公開２０１２／０２０７６０号公報International Publication 2012/020760

一般に、カメラの撮像素子の駆動には、グローバルシャッタ方式とローリングシャッタ方式がある。グローバルシャッタ方式では、一画面（フレーム）の全画素が同時に露光されるのに対して、ローリングシャッタ方式では、画面の垂直方向上側から順に露光を行うため、一画面中であっても垂直方向の位置によって、画素の露光タイミングが異なる。   Generally, there are a global shutter system and a rolling shutter system for driving an image sensor of a camera. In the global shutter method, all pixels on one screen (frame) are exposed simultaneously, whereas in the rolling shutter method, exposure is performed in order from the upper side in the vertical direction of the screen. The pixel exposure timing varies depending on the position.

また、視線検出においては、光源から対象者への検知光の出射と、撮像素子における露光とを同期させるために、一般的には、撮像素子のＶＳＹＮＣ信号（垂直同期信号）をトリガーにして、光源から出射する光の波長などを切り替える制御を行っている。このような制御は、一画面の全画素を同時に露光させるグローバルシャッタ方式の場合には影響ないが、ローリングシャッタ方式で駆動する場合には、画面の垂直方向位置によって露光のタイミングが異なるため、撮像素子から取得した１フレーム分の画面中に、光源の切換え前の画像と切換え後の画像が混在してしまう。例えば、光源の切換えによって検知光の波長を変更する場合では、切換えの前後で撮像される画像は異なるものとなることから、視線検出が可能な瞳孔画像を得ることができず、検出に支障をきたすおそれがあった。   Further, in the line-of-sight detection, in order to synchronize the emission of the detection light from the light source to the subject and the exposure in the image sensor, generally, using the VSYNC signal (vertical synchronization signal) of the image sensor as a trigger, Control is performed to switch the wavelength of light emitted from the light source. Such control does not affect the global shutter method that exposes all pixels on one screen at the same time, but when driven by the rolling shutter method, the exposure timing differs depending on the vertical position of the screen. The image before switching the light source and the image after switching are mixed in the screen for one frame acquired from the element. For example, when the wavelength of the detection light is changed by switching the light source, the images picked up before and after the switching are different, so that a pupil image capable of detecting the line of sight cannot be obtained, which hinders detection. There was a risk of it coming.

そこで本発明は、ローリングシャッタ方式で駆動する撮像素子を備え、この撮像素子によって視線検出に適した画像を得ることのできる照明撮像装置、及び、それを備えた視線検出装置を提供することを目的とする。   SUMMARY OF THE INVENTION An object of the present invention is to provide an illumination imaging device that includes an imaging device that is driven by a rolling shutter system, and that can obtain an image suitable for eye-gaze detection using the imaging device, and a gaze detection device including the illumination imaging device. And

上記課題を解決するために、本発明の照明撮像装置は、対象者の目に検知光を与える光源と、所定の周期で検知光を切換えて出射させるように光源を制御する光源制御部と、複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、対象者の目を含む画像を取得する撮像体と、１回の前記検知光の出射期間に、前記ローリングシャッタ方式で前記撮像素子を少なくとも２フレーム分駆動して、同じ検知光が照射されているときの画像のみを取得する露光制御部と、を備えることを特徴としている。   In order to solve the above problems, the illumination imaging device of the present invention includes a light source that provides detection light to the eyes of the subject, a light source control unit that controls the light source so that the detection light is switched and emitted at a predetermined period, An image pickup device including an image pickup device in which a plurality of pixels are arranged in a horizontal direction and a vertical direction, and driving the image pickup device by a rolling shutter system to acquire an image including an eye of a subject, and one detection An exposure control unit that drives the image sensor for at least two frames by the rolling shutter method and acquires only an image when the same detection light is irradiated during a light emission period. .

これにより、周期的に行われる検知光の切換えの前後の画像が混在して取得されることがなくなり、同じ検知光が照射されている１フレーム分の画像を取得できるようになり、視線検出に適した画像を得ることができる。さらに、撮像素子の駆動方式をローリングシャッタ方式とすることにより、安価な照明撮像装置を提供することが可能となる。   As a result, images before and after the periodic switching of the detection light are not acquired together, and an image for one frame irradiated with the same detection light can be acquired. A suitable image can be obtained. Furthermore, it is possible to provide an inexpensive illumination imaging apparatus by adopting a rolling shutter system as the imaging element driving system.

本発明の照明撮像装置において、光源は、第１波長の検知光と、第１波長よりも長い波長の第２波長の検知光とを切換えて出射し、光源制御部は、前記所定の周期ごとに、第１波長の検知光と第２波長の検知光を切換えて出射させることが好ましい。   In the illumination imaging apparatus of the present invention, the light source switches and emits the detection light having the first wavelength and the detection light having the second wavelength longer than the first wavelength, and the light source control unit performs the predetermined period. In addition, it is preferable that the detection light of the first wavelength and the detection light of the second wavelength are switched and emitted.

本発明の照明撮像装置において、前記光源は、前記撮像素子に近い位置にある第１光源と、前記撮像素子に対して前記第１光源よりも離れた位置にある第２光源とを備え、
前記光源制御部は、前記所定の周期で、前記第１光源と前記第２光源から検知光を切換えて出射させることが好ましい。 In the illumination imaging apparatus of the present invention, the light source includes a first light source located at a position close to the imaging element, and a second light source located at a position farther from the first light source with respect to the imaging element,
Preferably, the light source control unit switches and emits detection light from the first light source and the second light source at the predetermined period.

上記手段では、撮像素子に近い位置にある光源と離れた位置にある光源を選択することで、明瞳孔画像と暗瞳孔画像とを取得することが可能となるため、第１光源と第２光源を同一種類の光源で構成することができ、これにより、光源の選択の自由度が上がり、部品コストの低下に資することができる。   In the above means, it is possible to acquire a bright pupil image and a dark pupil image by selecting a light source located at a position distant from the light source located close to the image sensor, so that the first light source and the second light source are obtained. Can be composed of the same type of light source, thereby increasing the degree of freedom in selecting the light source and contributing to a reduction in component costs.

本発明の照明撮像装置において、撮像素子は、ＣＭＯＳであることが好ましい。
これにより、撮像素子を安価に構成することができる。 In the illumination imaging apparatus of the present invention, the imaging element is preferably a CMOS.
Thereby, an image pick-up element can be comprised at low cost.

本発明の視線検出装置は、上述のいずれかの照明撮像装置と、撮像体で取得した画像から瞳孔画像を抽出する瞳孔画像抽出部と、瞳孔画像抽出部で抽出した瞳孔画像から瞳孔中心を算出する瞳孔中心算出部と、瞳孔画像抽出部で抽出した瞳孔画像から角膜反射光の中心を検出する角膜反射光中心検出部と、瞳孔中心と角膜反射光の中心とから対象者の視線方向を算出する視線方向算出部と、を備えることを特徴としている。   The line-of-sight detection device of the present invention calculates the pupil center from one of the illumination imaging devices described above, a pupil image extraction unit that extracts a pupil image from an image acquired by the imaging body, and a pupil image extracted by the pupil image extraction unit Pupil center calculation unit, corneal reflection light center detection unit for detecting the center of the corneal reflection light from the pupil image extracted by the pupil image extraction unit, and calculation of the gaze direction of the subject from the pupil center and the center of the corneal reflection light And a line-of-sight direction calculating unit.

これにより、１つのフレーム中に異なる検知光による画像が混在しないようになるため、精度の高い視線検出を行うことができる。   As a result, images with different detection lights are not mixed in one frame, so that accurate line-of-sight detection can be performed.

本発明によると、１回の検知光の出射期間に、ローリングシャッタ方式で撮像素子を少なくとも２フレーム分駆動させ、同じ検知光が与えられているときの画像のみを取得することにより、周期的に行われる検知光の切り替えの前後の画像が混在して取得されることがなくなるため、視線検出に適した画像を得ることができる。   According to the present invention, during a single detection light emission period, the image pickup device is driven by at least two frames by the rolling shutter method, and only images when the same detection light is given are acquired periodically. Since images before and after the detection light switching performed are not mixedly acquired, an image suitable for eye gaze detection can be obtained.

本発明の実施形態に係る照明撮像装置を含む視線検出装置の構成を示す正面図である。It is a front view which shows the structure of the gaze detection apparatus containing the illumination imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る照明撮像装置を含む視線検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of the gaze detection apparatus containing the illumination imaging device which concerns on embodiment of this invention. 対象者の目の視線の向きとカメラとの関係を模式的に示す平面図である。It is a top view which shows typically the relationship between the direction of the eyes | visual_axis of a subject's eye, and a camera. 瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。It is explanatory drawing for calculating the direction of eyes | visual_axis from the pupil center and the center of corneal reflected light. 撮像素子からの画像取得タイミングと光源の発光タイミングを模式的に示す図である。It is a figure which shows typically the image acquisition timing from an image pick-up element, and the light emission timing of a light source. 撮像素子からの画像取得タイミングと光源の発光タイミングの比較例を模式的に示す図である。It is a figure which shows typically the comparative example of the image acquisition timing from an image pick-up element, and the light emission timing of a light source.

以下、本発明の実施形態に係る照明撮像装置及び視線検出装置について図面を参照しつつ詳しく説明する。   Hereinafter, an illumination imaging apparatus and a line-of-sight detection apparatus according to embodiments of the present invention will be described in detail with reference to the drawings.

＜視線検出装置の構造＞
図１は、本実施形態の照明撮像装置を含む視線検出装置の構成を示す正面図、図２は、本実施形態の照明撮像装置を含む視線検出装置の構成を示すブロック図である。 <Structure of gaze detection device>
FIG. 1 is a front view illustrating a configuration of a line-of-sight detection device including the illumination imaging apparatus of the present embodiment, and FIG. 2 is a block diagram illustrating a configuration of the line-of-sight detection device including the illumination imaging apparatus of the present embodiment.

本実施形態の照明撮像装置は、図２に示す、第１光源１１ならびに第２光源２１と、２つの光源制御部３１、３２と、撮像体としての第１カメラ１２ならびに第２カメラ２２と、露光制御部３３とを備える。   The illumination imaging apparatus according to the present embodiment includes a first light source 11 and a second light source 21, two light source control units 31 and 32, a first camera 12 and a second camera 22 as an imaging body, as illustrated in FIG. An exposure control unit 33.

また、本発明の視線検出装置は、図２に示すように、２つの受像装置１０、２０と、演算制御部ＣＣとを備え、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。   Further, as shown in FIG. 2, the line-of-sight detection device of the present invention includes two image receiving devices 10 and 20 and a calculation control unit CC, such as an instrument panel or an upper part of a windshield in a vehicle interior. It is installed so as to face the driver's face as the subject.

図１に示すように、２つの受像装置１０、２０は、それぞれが備えるカメラ１２、２２の光軸１２Ｃ、２２Ｃが所定距離Ｌ１０だけ離間するように配置されている。カメラ１２、２２は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は、露光制御部３３によって、ローリングシャッタ方式で駆動され、運転者の目を含む顔の画像を取得する。撮像素子では、水平方向及び垂直方向に配列された複数の画素で光が検出される。   As shown in FIG. 1, the two image receiving devices 10 and 20 are arranged such that the optical axes 12C and 22C of the cameras 12 and 22 included in each of them are separated by a predetermined distance L10. The cameras 12 and 22 have, for example, CMOS (complementary metal oxide semiconductor) as an image sensor. This image sensor is driven by the exposure shutter 33 in a rolling shutter system, and acquires an image of a face including the driver's eyes. In the image sensor, light is detected by a plurality of pixels arranged in the horizontal direction and the vertical direction.

図１と図２に示すように、受像装置１０は、第１光源１１と第１カメラ１２とを備え、第１光源１１は、１２個のＬＥＤ（発光ダイオード）光源１１１からなる。これらのＬＥＤ光源１１１は、カメラ１２のレンズ１２Ｌの外側において、それらの光軸１１１Ｃとカメラ１２の光軸１２Ｃとが距離Ｌ１１だけ離れて円状になるように配置されている。受像装置２０は、第２光源２１と第２カメラ２２とを備え、第２光源２１は、１２個のＬＥＤ光源２１１からなる。これらのＬＥＤ光源２１１は、第２カメラ２２のレンズ２２Ｌの外側において、それらの光軸２１１Ｃと第２カメラ２２の光軸２２Ｃとが距離Ｌ２１だけ離れて円状になるように配置されている。   As shown in FIGS. 1 and 2, the image receiving device 10 includes a first light source 11 and a first camera 12, and the first light source 11 includes twelve LED (light emitting diode) light sources 111. These LED light sources 111 are arranged outside the lens 12L of the camera 12 so that their optical axis 111C and the optical axis 12C of the camera 12 are separated by a distance L11. The image receiving device 20 includes a second light source 21 and a second camera 22, and the second light source 21 includes twelve LED light sources 211. These LED light sources 211 are arranged outside the lens 22L of the second camera 22 so that their optical axis 211C and the optical axis 22C of the second camera 22 are separated by a distance L21.

また、カメラ１２、２２においては、光源１１、２１から出射される検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、瞳孔画像抽出部４０における瞳孔画像の抽出や、視線方向算出部４５における視線方向の算出を精度良く行うことができる。   In addition, in the cameras 12 and 22, it is preferable to arrange a band pass filter that matches the wavelength of the detection light emitted from the light sources 11 and 21. Thereby, the extraction of the pupil image in the pupil image extraction unit 40 and the calculation of the gaze direction in the gaze direction calculation unit 45 can be performed with high accuracy.

第１光源１１のＬＥＤ光源１１１、及び、第２光源２１のＬＥＤ光源２１１は、検知光として同じ波長の赤外光、例えば波長が８５０ｎｍの赤外光（近赤外光）を出射し、この検知光を対象者の目に与えることができるように配置されている。ここで、８５０ｎｍは、人の目の眼球内での光吸収率が低い波長であり、この光は眼球の奥の網膜で反射されやすい。   The LED light source 111 of the first light source 11 and the LED light source 211 of the second light source 21 emit infrared light having the same wavelength as detection light, for example, infrared light (near infrared light) having a wavelength of 850 nm. It arrange | positions so that detection light can be given to a subject's eyes. Here, 850 nm is a wavelength with a low light absorption rate in the eyeball of the human eye, and this light is easily reflected by the retina at the back of the eyeball.

第１カメラ１２とＬＥＤ光源１１１の光軸間距離Ｌ１１は、視線検出装置と対象者としての運転者との距離を考慮して、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０に対して十分に短くしている。そのため、第１光源１１は第１カメラ１２に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２とＬＥＤ光源２１１の光軸間距離Ｌ２１は、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０に対して十分に短くしているため、第２光源２１は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。   The distance L11 between the optical axes of the first camera 12 and the LED light source 111 is the distance L10 between the optical axes of the first camera 12 and the second camera 22 in consideration of the distance between the visual line detection device and the driver as the subject. In contrast, it is sufficiently short. Therefore, the first light source 11 can be regarded as having substantially the same optical axis as the first camera 12. Similarly, since the distance L21 between the optical axes of the second camera 22 and the LED light source 211 is sufficiently shorter than the distance L10 between the optical axes of the first camera 12 and the second camera 22, the second light source 21 is It can be considered that the optical axes of the second camera 22 are substantially coaxial.

これに対して、第１カメラ１２と第２カメラ２２の光軸間距離Ｌ１０を十分に長くしているため、第１光源１１及び第１カメラ１２の各光軸と、第２光源２１及び第２カメラ２２の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。   On the other hand, since the distance L10 between the optical axes of the first camera 12 and the second camera 22 is sufficiently long, the optical axes of the first light source 11 and the first camera 12, the second light source 21 and the second light source 21 The optical axes of the two cameras 22 are not coaxial. In the following description, the above arrangement may be expressed as two members being substantially coaxial and the like, and the two members being non-coaxial.

演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。   The arithmetic control unit CC is composed of a CPU and a memory of a computer, and the function of each block shown in FIG. 2 is calculated by executing software installed in advance.

演算制御部ＣＣには、光源制御部３１、３２と、露光制御部３３と、画像取得部３４、３５と、瞳孔画像抽出部４０と、瞳孔中心算出部４３と、角膜反射光中心検出部４４と、視線方向算出部４５とが設けられている。   The arithmetic control unit CC includes a light source control unit 31, 32, an exposure control unit 33, an image acquisition unit 34, 35, a pupil image extraction unit 40, a pupil center calculation unit 43, and a corneal reflection light center detection unit 44. And a line-of-sight direction calculation unit 45 are provided.

光源制御部３１及び光源制御部３２は、露光制御部３３からの指示信号にしたがって、所定の周期ごとに、第１光源１１と第２光源２１から交互に検知光を出射するように制御する。   The light source control unit 31 and the light source control unit 32 perform control so that detection light is emitted alternately from the first light source 11 and the second light source 21 at predetermined intervals in accordance with an instruction signal from the exposure control unit 33.

露光制御部３３は、第１光源１１と第２光源２１のいずれか一方からの検知光の出射期間において、ローリングシャッタ方式で撮像素子を少なくとも２フレーム分ずつ駆動させ、このとき、同じ検知光が照射されている画像のみを取得する。   The exposure control unit 33 drives the image sensor by at least two frames by the rolling shutter method in the emission period of the detection light from either the first light source 11 or the second light source 21. At this time, the same detection light is transmitted. Get only the image being illuminated.

例えば、図５に示すように、同じ光源が点灯しているときに、最初のフレームの画像データは破棄し、２フレーム目の画像データをライン毎に取得することで、必ず、同じ検知光が照射されている画像を得ることができる。   For example, as shown in FIG. 5, when the same light source is turned on, the image data of the first frame is discarded, and the image data of the second frame is acquired for each line, so that the same detection light is always obtained. An illuminated image can be obtained.

さらに詳しくは、１ライン毎に画像を取得するタイミングを決めている水平同期信号に着目すると、１つの光源が点灯しているときに、カメラから水平同期信号が２回出力されるが、最初の水平同期信号直後から２回目の水平同期信号直前までの間で露光された１ライン分の画素で得られた画像データを取得することで、必ず、同じ検知光が照射されている画像を得ることができる。   More specifically, focusing on the horizontal synchronization signal that determines the timing for acquiring an image for each line, when one light source is turned on, the horizontal synchronization signal is output twice from the camera. By acquiring image data obtained with pixels for one line exposed between immediately after the horizontal synchronization signal and immediately before the second horizontal synchronization signal, an image irradiated with the same detection light is always obtained. Can do.

なお、この方式では、同じ光源が点灯しているときに２フレーム分のデータ量の画像が取得されるが、使用されるのは１フレーム分の画像データであるため、使用しない１フレーム分の画像データは、画像取得部３４、３５で取得した後で削除されるか、画像取得部３４、３５において、その後に取得される画像データで上書きされる。   In this method, an image having a data amount of two frames is acquired when the same light source is turned on. However, since only one frame of image data is used, one unused frame is used. The image data is deleted after being acquired by the image acquisition units 34 and 35 or is overwritten with image data acquired thereafter by the image acquisition units 34 and 35.

画像取得部３４、３５で取得された画像は、フレームごとに瞳孔画像抽出部４０に読み込まれる。瞳孔画像抽出部４０は、明瞳孔画像検出部４１と暗瞳孔画像検出部４２とを備えている。明瞳孔画像検出部４１では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出され、暗瞳孔画像検出部４２では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの目の画像が検出される。   The images acquired by the image acquisition units 34 and 35 are read into the pupil image extraction unit 40 for each frame. The pupil image extraction unit 40 includes a bright pupil image detection unit 41 and a dark pupil image detection unit 42. The bright pupil image detection unit 41 detects an eye image when the combination of the light source and the camera satisfies one of the following bright pupil photographing conditions (a). The dark pupil image detection unit 42 detects the following dark pupils. An image of the eye when the combination of the light source and the camera satisfies any one of the shooting conditions (b) is detected.

（ａ）明瞳孔撮影条件
（ａ−１）第１光源１１の点灯期間に、これと略同軸の第１カメラ１２で画像を取得、
（ａ−２）第２光源２１の点灯期間に、これと略同軸の第２カメラ２２で画像を取得、
（ｂ）暗瞳孔撮影条件
（ｂ−１）第１光源１１の点灯期間に、これと非同軸の第２カメラ２２で画像を取得、
（ｂ−２）第２光源２１の点灯期間に、これと非同軸の第１カメラ１２で画像を取得、 (A) Bright pupil photographing conditions (a-1) During the lighting period of the first light source 11, an image is acquired by a first camera 12 substantially coaxial with the first light source 11,
(A-2) During the lighting period of the second light source 21, an image is acquired by a second camera 22 substantially coaxial with the second light source 21,
(B) Dark pupil photographing condition (b-1) During the lighting period of the first light source 11, an image is acquired by the second camera 22 that is non-coaxial with this.
(B-2) During the lighting period of the second light source 21, an image is acquired by the first camera 12 that is non-coaxial with the second light source 21,

＜明瞳孔画像と暗瞳孔画像＞
図３は、対象者の目５０の視線の向きと受像装置１０，２０との位置関係を模式的に示す平面図である。図４は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図３（Ａ）と図４（Ａ）では、対象者の視線方向ＶＬが受像装置１０と受像装置２０との中間に向けられており、図３（Ｂ）と図４（Ｂ）では、視線方向ＶＬがカメラの光軸１２Ｃの方向へ向けられている。 <Light pupil image and dark pupil image>
FIG. 3 is a plan view schematically showing the positional relationship between the direction of the line of sight of the eye 50 of the subject and the image receiving devices 10 and 20. FIG. 4 is an explanatory diagram for calculating the direction of the line of sight from the center of the pupil and the center of the corneal reflected light. 3A and 4A, the line-of-sight direction VL of the subject is directed to the middle between the image receiving device 10 and the image receiving device 20, and in FIGS. 3B and 4B, the line of sight The direction VL is directed toward the optical axis 12C of the camera.

目５０は前方に角膜５１を有し、その後方に瞳孔５２と水晶体５３が位置している。そして最後部に網膜５４が存在している。   The eye 50 has a cornea 51 in the front, and a pupil 52 and a crystalline lens 53 are located behind the cornea 51. And the retina 54 exists in the last part.

第１光源１１の波長８５０ｎｍは、網膜５４に至る眼球内での吸収率が低いため、この波長の光は網膜５４で反射されやすい。受像装置１０に設けられた第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ１２で取得される画像では、網膜５４で反射された赤外光が瞳孔５２を通じて検出され、瞳孔５２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部４１で抽出される。これは、受像装置２０に設けられた第２光源２１が点灯したときに、これと略同軸の第２カメラ２２で取得される画像についても同様である。   Since the wavelength 850 nm of the first light source 11 has a low absorptance in the eyeball reaching the retina 54, light of this wavelength is easily reflected by the retina 54. When the first light source 11 provided in the image receiving device 10 is turned on, infrared light reflected by the retina 54 is detected through the pupil 52 in an image acquired by the first camera 12 substantially coaxial with the first light source 11. The pupil 52 appears bright. This image is extracted as a bright pupil image by the bright pupil image detection unit 41. The same applies to the image acquired by the second camera 22 that is substantially coaxial with the second light source 21 provided in the image receiving device 20 when it is turned on.

これに対して、受像装置１０に設けられた第１光源１１を点灯したときに、受像装置２０に設けられた第１光源１１と非同軸の第２カメラ２２で画像を取得する場合には、網膜５４で反射された赤外光が第２カメラ２２にほとんど入射しないため、瞳孔５２が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部４２で抽出される。これは、受像装置２０の第２光源２１が点灯したときに、受像装置１０に設けられた非同軸の第１カメラ１２で取得される画像についても同様である。   On the other hand, when the first light source 11 provided in the image receiving device 10 is turned on, when an image is acquired by the second camera 22 that is non-coaxial with the first light source 11 provided in the image receiving device 20, Since the infrared light reflected by the retina 54 hardly enters the second camera 22, the pupil 52 appears dark. Therefore, this image is extracted by the dark pupil image detection unit 42 as a dark pupil image. The same applies to an image acquired by the non-coaxial first camera 12 provided in the image receiving device 10 when the second light source 21 of the image receiving device 20 is turned on.

瞳孔画像抽出部４０では、明瞳孔画像検出部４１で検出された明瞳孔画像から暗瞳孔画像検出部４２で検出された暗瞳孔画像がマイナスされて、瞳孔５２の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部４３に与えられる。瞳孔中心算出部４３では、瞳孔画像信号が画像処理されて二値化され、瞳孔５２の形状と面積に対応する部分のエリア画像を算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔５２の中心位置として算出される。あるいは、瞳孔画像の輝度分布により瞳孔５２の中心位置が算出されてもよい。   The pupil image extraction unit 40 subtracts the dark pupil image detected by the dark pupil image detection unit 42 from the bright pupil image detected by the bright pupil image detection unit 41, and the pupil image signal in which the shape of the pupil 52 is brightened. Is generated. This pupil image signal is given to the pupil center calculation unit 43. In the pupil center calculation unit 43, the pupil image signal is subjected to image processing and binarized, and an area image corresponding to the shape and area of the pupil 52 is calculated. Further, an ellipse including this area image is extracted, and the intersection of the major axis and the minor axis of the ellipse is calculated as the center position of the pupil 52. Alternatively, the center position of the pupil 52 may be calculated from the luminance distribution of the pupil image.

また、暗瞳孔画像検出部４２で検出された暗瞳孔画像信号は、角膜反射光中心検出部４４に与えられる。暗瞳孔画像信号は、図３と図４に示す、角膜５１の反射点５５から反射された反射光による輝度信号が含まれている。角膜５１の反射点５５からの反射光はプルキニエ像を結像するものであり、図４に示すように、第１カメラ１２の撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部４４では、スポット画像が画像処理されて、角膜５１の反射点５５からの反射光の中心が求められる。   The dark pupil image signal detected by the dark pupil image detection unit 42 is given to the corneal reflection light center detection unit 44. The dark pupil image signal includes a luminance signal by reflected light reflected from the reflection point 55 of the cornea 51 shown in FIGS. 3 and 4. The reflected light from the reflection point 55 of the cornea 51 forms a Purkinje image, and as shown in FIG. 4, a spot image with a very small area is acquired on the imaging device of the first camera 12. In the corneal reflection light center detection unit 44, the spot image is subjected to image processing, and the center of the reflection light from the reflection point 55 of the cornea 51 is obtained.

瞳孔中心算出部４３で算出された瞳孔中心算出値と角膜反射光中心検出部４４で算出された角膜反射光中心算出値は、視線方向算出部４５に与えられる。視線方向算出部４５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。   The pupil center calculation value calculated by the pupil center calculation unit 43 and the corneal reflection light center calculation value calculated by the corneal reflection light center detection unit 44 are given to the gaze direction calculation unit 45. The line-of-sight direction calculation unit 45 detects the direction of the line of sight from the pupil center calculated value and the corneal reflection light center calculated value.

図３（Ａ）に示す場合では、人の目５０の視線方向ＶＬが、第１カメラ１２の撮像光軸１２Ｃと第２カメラ２２の撮像光軸１３Ｃの中間に向けられている。このとき、図４（Ａ）に示すように、角膜５１からの反射点５５の中心が瞳孔５２の中心と一致している。これに対して、図３（Ｂ）に示す場合では、人の目５０の視線方向ＶＬが、撮像光軸１３Ｃの外側方向へ向けられている。このとき、図４（Ｂ）に示すように、瞳孔５２の中心と角膜５１からの反射点５５の中心とが位置ずれする。   In the case shown in FIG. 3A, the line-of-sight direction VL of the human eye 50 is directed to the middle between the imaging optical axis 12C of the first camera 12 and the imaging optical axis 13C of the second camera 22. At this time, the center of the reflection point 55 from the cornea 51 coincides with the center of the pupil 52 as shown in FIG. On the other hand, in the case shown in FIG. 3B, the line-of-sight direction VL of the human eye 50 is directed toward the outside of the imaging optical axis 13C. At this time, as shown in FIG. 4B, the center of the pupil 52 and the center of the reflection point 55 from the cornea 51 are displaced.

視線方向算出部４５では、瞳孔５２の中心と、角膜５１からの反射点５５の中心との直線距離αが算出される（図４（Ｂ））。また瞳孔５２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔５２の中心と反射点５５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向ＶＬが算出される。   The line-of-sight direction calculation unit 45 calculates the linear distance α between the center of the pupil 52 and the center of the reflection point 55 from the cornea 51 (FIG. 4B). Further, an XY coordinate having the center of the pupil 52 as the origin is set, and an inclination angle β between the line connecting the center of the pupil 52 and the center of the reflection point 55 and the X axis is calculated. Further, the line-of-sight direction VL is calculated from the linear distance α and the inclination angle β.

視線方向算出部４５において、視線方向ＶＬを精度良く算出するためには、瞳孔５２の中心座標と反射点５５の中心座標を高精度に検出することが必要である。   In order to calculate the gaze direction VL with high accuracy, the gaze direction calculation unit 45 needs to detect the center coordinates of the pupil 52 and the center coordinates of the reflection point 55 with high accuracy.

＜撮像動作＞
以上の構成の照明撮像装置及び視線検出装置においては、所定の周期ごとに、第１光源１１と第２光源２１を交互に発光させる。第１光源１１が点灯している期間に、第１カメラ１２と第２カメラ２２で同時に撮像が行われる。このとき第１カメラ１２で明瞳孔画像が取得され、第２カメラ２２で暗瞳孔画像が取得される。第２光源２１が点灯している期間も、第１カメラ１２と第２カメラ２２で同時に撮像が行われる。このときは、第１カメラ１２で暗瞳孔画像が取得され、第２カメラ２２で明瞳孔画像が取得される。 <Imaging operation>
In the illumination imaging device and the line-of-sight detection device configured as described above, the first light source 11 and the second light source 21 are caused to emit light alternately at predetermined intervals. During the period when the first light source 11 is lit, the first camera 12 and the second camera 22 capture images simultaneously. At this time, a bright pupil image is acquired by the first camera 12 and a dark pupil image is acquired by the second camera 22. Even during the period when the second light source 21 is lit, the first camera 12 and the second camera 22 capture images simultaneously. At this time, a dark pupil image is acquired by the first camera 12 and a bright pupil image is acquired by the second camera 22.

このときの撮像動作を第１カメラ１２に着目すると、第１光源１１と第２光源２１の発光が交互に切換えられているときに、第１カメラ１２で撮像を継続していることになり、第２カメラ２２に着目すると、第１光源１１と第２光源２１の発光が交互に切換えられているときに、第２カメラ２２が撮像を継続していることになる。   Focusing on the imaging operation at this time with respect to the first camera 12, when the light emission of the first light source 11 and the second light source 21 is alternately switched, the first camera 12 continues imaging. Focusing on the second camera 22, when the light emission of the first light source 11 and the second light source 21 is alternately switched, the second camera 22 continues to image.

第１カメラ１２の撮像動作は、第１光源１１の発光の１期間に、撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させ、２フレーム目のライン画像を取得することで、第１光源１１が発光しているときのライン画像のみを得ることができる。第２光源２１が発光したときも、発光の１期間に、第１カメラ１２の撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させ、２フレーム目のライン画像を取得することで、第２光源２１は発光しているときのライン画像のみを得ることができる。   The imaging operation of the first camera 12 is performed by driving the imaging device for at least two frames by the rolling shutter method in one period of light emission of the first light source 11 and acquiring the line image of the second frame, thereby obtaining the first light source 11. It is possible to obtain only a line image when is emitted. Even when the second light source 21 emits light, the image sensor of the first camera 12 is driven for at least two frames by the rolling shutter method in one period of light emission, and the second light source 21 is obtained by acquiring the line image of the second frame. 21 can obtain only a line image when light is emitted.

これは第２カメラ２２においても同じであり、第１光源１１の発光の１期間に、撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させ、第２光源２１が発光したときも、発光の１期間に、撮像素子をローリングシャッタ方式で少なくとも２フレーム分駆動させる。   The same applies to the second camera 22, and even when the image sensor is driven for at least two frames by the rolling shutter method during one light emission period of the first light source 11 and the second light source 21 emits light, During the period, the image sensor is driven by at least two frames by a rolling shutter method.

以下、図５を参照して、第１光源１１と第２光源２１を交互に発光させ、それぞれの光源の１回の発光期間に、第２カメラ２２の撮像素子を２フレーム分駆動させる例について説明する。図５（Ａ）は、撮像素子からの画像取得タイミングを示し、（Ｂ）は第１光源１１と第２光源２１の発光期間を示す。図５の撮像タイミングは、第２カメラ２２の撮像素子においても同じである。   Hereinafter, with reference to FIG. 5, an example in which the first light source 11 and the second light source 21 emit light alternately and the image sensor of the second camera 22 is driven for two frames during one light emission period of each light source. explain. FIG. 5A shows image acquisition timing from the image sensor, and FIG. 5B shows light emission periods of the first light source 11 and the second light source 21. The imaging timing in FIG. 5 is the same for the imaging device of the second camera 22.

図５（Ａ）において、Ｈ０００、Ｈ１００、Ｈ２００、Ｈ３００、Ｈ４００、Ｈ５００、Ｈ６００、Ｈ７００、及び、Ｈ８００は、撮像素子において垂直方向の上から下側へ順に並んだ画素のラインをそれぞれ示している。撮像素子は、ローリングシャッタ方式で、これらのラインごとに駆動される。また、図５（Ａ）のＶＳＹＮＣ１〜ＶＳＹＮＣ１０は、カメラ１２、２２から画像取得部３４、３５に与えられる垂直同期信号であって、画像取得部３４、３５は、これらの垂直同期信号に同期して、対応するカメラの撮像素子の画素のラインに対応する撮像データを取り込む。   In FIG. 5A, H000, H100, H200, H300, H400, H500, H600, H700, and H800 respectively indicate pixel lines arranged in order from the top to the bottom in the vertical direction. . The image sensor is driven for each of these lines by a rolling shutter system. Also, VSYNC1 to VSYNC10 in FIG. 5A are vertical synchronization signals given from the cameras 12 and 22 to the image acquisition units 34 and 35. The image acquisition units 34 and 35 are synchronized with these vertical synchronization signals. Thus, image data corresponding to the pixel line of the image sensor of the corresponding camera is captured.

また、Ａ１１〜Ａ１９、Ａ２１〜Ａ２９、Ａ３１〜Ａ３９、Ａ４１〜Ａ４９、Ａ５１〜Ａ５９、Ａ６１〜Ａ６９、Ａ７１〜Ａ７９、Ａ８１〜Ａ８９、及び、Ａ９１〜Ａ９９は、撮像素子の各画素ラインに対応する撮像データを取り込むタイミングを示しており、水平同期信号を意味している。   A11 to A19, A21 to A29, A31 to A39, A41 to A49, A51 to A59, A61 to A69, A71 to A79, A81 to A89, and A91 to A99 correspond to the pixel lines of the image sensor. The timing for capturing image data is shown, which means a horizontal synchronization signal.

図５（Ｂ）は、第１光源１１からの検知光の出射期間Ｉ１１、Ｉ１２、Ｉ１３と、第２光源２１からの検知光の出射期間Ｉ２１、Ｉ２２とを示している。図５（Ｂ）に示す例では、光源１１、２１の発光時間は同じであり、一定の周期で交互に発光している。   FIG. 5B shows detection light emission periods I11, I12, and I13 from the first light source 11, and detection light emission periods I21 and I22 from the second light source 21, respectively. In the example shown in FIG. 5B, the light emission times of the light sources 11 and 21 are the same, and light is emitted alternately at a constant cycle.

図５（Ａ）に示すＶＳＹＮＣ１、２，３，４、・・・は、カメラのフレームレートにより決定される。   VSYNC 1, 2, 3, 4,... Shown in FIG. 5 (A) is determined by the frame rate of the camera.

また、照明撮像装置及び視線検出装置の使用環境によって、例えば周囲環境の明るさの変化に応じて、ＶＳＹＮＣ１、ＶＳＹＮＣ２、ＶＳＹＮＣ３、・・・の各フレームにおける露光時間を、それぞれ独立させて変化させてもよく、これに合わせて、光源１１、２１の発光時間を変化させてもよい。   Further, depending on the usage environment of the illumination imaging device and the line-of-sight detection device, for example, the exposure time in each frame of VSYNC1, VSYNC2, VSYNC3,... In accordance with this, the light emission times of the light sources 11 and 21 may be changed.

図５において、第１光源１１からの検知光が発光している期間Ｉ１１において、撮像素子は、ＶＳＹＮＣ１、およびＶＳＹＮＣ２の２フレーム分の画像データを取得する。ＶＳＹＮＣ２のタイミングにおいて、画像取得部３４では、水平同期信号Ａ１１直後〜Ａ２１直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ１２直後〜Ａ２２直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ１３直後〜Ａ２３直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、これが繰り返される。   In FIG. 5, in the period I11 during which the detection light from the first light source 11 is emitted, the imaging device acquires image data for two frames of VSYNC1 and VSYNC2. At the timing of VSYNC2, the image acquisition unit 34 acquires line image data for one line (or a plurality of lines) exposed immediately after the horizontal synchronization signal A11 to immediately before A21, and then immediately after the horizontal synchronization signal A12. Line image data for one line (or a plurality of lines) exposed immediately before A22 is acquired, and then one line (or a plurality of lines) exposed immediately after the horizontal synchronization signal A13 to A23. Min) of line image data is acquired, and this is repeated.

第１光源１１が点灯している期間Ｉ１１においては、垂直同期信号ＶＳＹＮＣ１の１フレーム分と、ＶＳＹＮＣ２の１フレーム分の駆動とが行われるが、ＶＳＹＮＣ２の画像データを用いることで、第１光源１１が点灯しているときの画像のみを１フレーム分取得することができる。   In the period I11 during which the first light source 11 is lit, one frame of the vertical synchronization signal VSYNC1 and one frame of VSYNC2 are driven. By using the image data of VSYNC2, the first light source 11 is used. It is possible to acquire only one image for when one is on.

これは、第２光源２１が点灯しているときの期間Ｉ２１でも同じである。このときも、垂直同期信号ＶＳＹＮＣ３の１フレーム分と、ＶＳＹＮＣ４間の１フレーム分の駆動とが行われる。このときも、ＶＳＹＮＣ４のタイミングにおいて水平同期信号Ａ３１直後〜Ａ４１直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ３２直後〜Ａ４２直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、次に、水平同期信号Ａ３３直後〜Ａ４３直前の間に露光された１ライン分（あるいは複数ライン分）のライン画像データが取得され、これが繰り返される。ＶＳＹＮＣ４の画像データを用いることで、第２光源２１が点灯しているときの画像のみを１フレーム分取得することができる。   This also applies to the period I21 when the second light source 21 is lit. Also at this time, driving for one frame of the vertical synchronization signal VSYNC3 and for one frame between VSYNC4 are performed. Also at this time, line image data for one line (or a plurality of lines) exposed immediately after the horizontal synchronization signal A31 to immediately before A41 at the timing of VSYNC4 is acquired, and then immediately after the horizontal synchronization signal A32 to immediately before A42. Line image data for one line (or a plurality of lines) exposed during the period is acquired, and then one line (or a plurality of lines) exposed between immediately after the horizontal synchronization signal A33 to immediately before A43. Line image data is acquired and this is repeated. By using the image data of VSYNC4, it is possible to acquire only one image when the second light source 21 is turned on for one frame.

図６は比較例を示している。この比較例では、第１光源１１が点灯している期間Ｉ１１、Ｉ１２、Ｉ１３、・・・においてローリングシャッタは１フレーム分のみ駆動され、第２光源２１が点灯している期間Ｉ２１、Ｉ２２、Ｉ２３、・・・においてもローリングシャッタが１フレーム分のみ駆動される。この場合には、水平同期信号Ｂ１３〜Ｂ２３，Ｂ２４〜Ｂ２４などにおいて、１ライン分の露光時間内に第１光源１１の発光期間Ｉ１１と第２光源２１の発光期間Ｉ２１が混在してしまい、第１光源１１の発光と第２光源の発光とにより画像を個別に取得できなくなる。   FIG. 6 shows a comparative example. In this comparative example, in the periods I11, I12, I13,... During which the first light source 11 is lit, the rolling shutter is driven for one frame and the periods I21, I22, I23 in which the second light source 21 is lit. ,..., The rolling shutter is driven only for one frame. In this case, in the horizontal synchronization signals B13 to B23, B24 to B24, etc., the light emission period I11 of the first light source 11 and the light emission period I21 of the second light source 21 are mixed within the exposure time for one line. Images cannot be acquired individually by the light emission of the first light source 11 and the light emission of the second light source.

以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）所定の周期ごとに光源１１、２１から検知光を出射させ、１回の検知光の出射に対して、ローリングシャッタ方式で撮像素子を少なくとも２フレーム分駆動させることにより、周期的に行われる検知光の切り替えの前後の画像が混在して取得されることがなくなり、同じ検知光が照射されている１フレーム分の画像が得られる。このため、照明条件の異なる画像が混在しない、視線検出に適した画像を得ることができる。 With the configuration described above, the following effects are achieved according to the above embodiment.
(1) The detection light is emitted from the light sources 11 and 21 every predetermined period, and the image pickup device is driven at least two frames by a rolling shutter system in response to one detection light emission. Thus, images before and after switching of the detected light are not mixedly acquired, and an image for one frame irradiated with the same detection light is obtained. For this reason, it is possible to obtain an image suitable for eye-gaze detection in which images with different illumination conditions are not mixed.

（２）撮像素子の駆動方式をローリングシャッタ方式とすることにより、安価な照明撮像装置を提供することが可能となる。 (2) It is possible to provide an inexpensive illumination imaging apparatus by adopting a rolling shutter system as the imaging element driving system.

（３）第１カメラ１２の撮像素子の光軸が、第１光源１１の光軸とは略同軸である一方第２光源２１の光軸とは非同軸であり、また、第２カメラ２２の撮像素子の光軸が、第２光源２１の光軸とは略同軸である一方第１光源１１の光軸とは非同軸であることから、撮像素子と光源の光軸が略同軸か非同軸かによって、明瞳孔画像と暗瞳孔画像のどちらを検出するかを選択可能となる。このため、第１光源１１と第２光源２１を同一種類の光源で構成することができ、これにより、光源の選択の自由度が上がり、部品コストの低下に資することができる。 (3) The optical axis of the image sensor of the first camera 12 is substantially coaxial with the optical axis of the first light source 11, but is non-coaxial with the optical axis of the second light source 21, and Since the optical axis of the image sensor is substantially coaxial with the optical axis of the second light source 21 and is non-coaxial with the optical axis of the first light source 11, the optical axis of the image sensor and the light source is substantially coaxial or non-coaxial. Depending on whether or not a bright pupil image or a dark pupil image is to be detected, it is possible to select. For this reason, the 1st light source 11 and the 2nd light source 21 can be comprised with the same kind of light source, and, thereby, the freedom degree of selection of a light source increases and it can contribute to the fall of component cost.

（４）カメラ１２、２２の撮像素子をＣＭＯＳで構成することにより、撮像素子を安価に構成することができる。 (4) By configuring the imaging elements of the cameras 12 and 22 with CMOS, the imaging element can be configured at low cost.

（５）上述の照明撮像装置を用いて瞳孔画像を取得することにより、１つのフレーム中に異なる検知光による画像が混在しないようになるため、精度の高い視線検出を行うことができる。 (5) By acquiring a pupil image using the above-described illumination imaging apparatus, images with different detection lights do not coexist in one frame, so that accurate line-of-sight detection can be performed.

以下に変形例について説明する。
（１）上記実施形態では、第１光源１１と第２光源２１から同じ波長の検知光を交互又は同時に出射し、光源と略同軸のカメラで撮影した画像から明瞳孔用画像を検出し、光源と非同軸のカメラで撮影した画像から暗瞳孔画像を検出していた。これに対して、第１光源１１からの検知光と第２光源２１からの検知光の波長を異なるものにし、それぞれの光源と略同軸のカメラで対象者の目の画像を取得してもよい。 A modification will be described below.
(1) In the embodiment described above, detection light having the same wavelength is emitted alternately or simultaneously from the first light source 11 and the second light source 21, and an image for a bright pupil is detected from an image photographed by a camera substantially coaxial with the light source. A dark pupil image was detected from an image taken with a non-coaxial camera. On the other hand, the detection light from the first light source 11 and the detection light from the second light source 21 may have different wavelengths, and an image of the subject's eyes may be acquired with a camera substantially coaxial with each light source. .

この場合、第１光源１１と第２光源２１の検知光の波長としては、例えば、一方の光源からの検知光の波長（第１波長）を８５０ｎｍとし、他方の光源からの検知光の波長（第２波長）を第１波長より長い９４０ｎｍとする。ここで、８５０ｎｍが、人の目の眼球内で光吸収率が低く網膜で反射されやすいのに対して、９４０ｎｍは、人の目の眼球内で光吸収率が高い波長であり、網膜で反射されにくい。なお、人の目の眼球内、あるいは網膜上等での光吸収率や光反射率の高低の関係が同様であれば、８５０ｎｍと９４０ｎｍ以外の波長の組み合わせとしてもよい。また、光源とカメラについては、上述の実施形態のように２組設ける形に限定されずに、例えば、カメラは１台として、このカメラに対して略同軸となるように、第１波長の検知光を出射する光源と第２波長の検知光を出射する光源を配置する構成も可能である。   In this case, as the wavelength of the detection light of the first light source 11 and the second light source 21, for example, the wavelength of the detection light from one light source (first wavelength) is 850 nm, and the wavelength of the detection light from the other light source ( The second wavelength is 940 nm, which is longer than the first wavelength. Here, 850 nm has a low light absorption rate in the eyeball of the human eye and is easily reflected by the retina, whereas 940 nm is a wavelength having a high light absorption rate in the eyeball of the human eye and is reflected by the retina. It is hard to be done. Note that a combination of wavelengths other than 850 nm and 940 nm may be used as long as the relationship between the light absorptivity and the light reflectance in the human eyeball or on the retina is the same. In addition, the light source and the camera are not limited to the form in which two sets are provided as in the above-described embodiment. For example, the first wavelength is detected so that one camera is provided and is substantially coaxial with the camera. A configuration in which a light source that emits light and a light source that emits detection light having the second wavelength are also possible.

光源からの検知光の波長をこのように設定した場合、波長８５０ｎｍの検知光を与える光源と略同軸のカメラで取得した画像により明瞳孔画像を検出することができ、波長９４０ｎｍの検知光を与える光源と略同軸のカメラで取得した画像により暗瞳孔画像を検出することができる。   When the wavelength of the detection light from the light source is set in this way, a bright pupil image can be detected from an image acquired with a camera that is substantially coaxial with the light source that provides the detection light with a wavelength of 850 nm, and the detection light with a wavelength of 940 nm is provided. A dark pupil image can be detected from an image acquired by a camera substantially coaxial with the light source.

（２）光源とカメラについては、上述の実施形態のように２組設ける形に限定されず、例えば、カメラは１台として、このカメラに対して略同軸の光源と非同軸の光源を設ける構成や、光源を１台として、この光源に対して略同軸のカメラと非同軸のカメラを設ける構成も可能である。 (2) About a light source and a camera, it is not limited to the form provided in two sets like the above-mentioned embodiment, For example, the camera is set as one unit, The structure which provides a substantially coaxial light source and a non-coaxial light source with respect to this camera Alternatively, a configuration in which a single light source is provided and a substantially coaxial camera and a non-coaxial camera are provided for the light source is also possible.

本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。   Although the present invention has been described with reference to the above embodiment, the present invention is not limited to the above embodiment, and can be improved or changed within the scope of the purpose of the improvement or the idea of the present invention.

以上のように、本発明に係る照明撮像装置は、ローリングシャッタ方式で撮像素子を駆動し、周期的に照明条件が変化する装置に有用である。   As described above, the illumination imaging apparatus according to the present invention is useful for an apparatus in which an imaging element is driven by a rolling shutter system and illumination conditions change periodically.

１０、２０ 受像装置
１１ 第１光源
１２ 第１カメラ
１２Ｃ 光軸
２１ 第２光源
２２ 第２カメラ
２２Ｃ 光軸
３１、３２ 光源制御部
３３ 露光制御部
３４、３５ 画像取得部
４０ 瞳孔画像抽出部
４１ 明瞳孔画像検出部
４２ 暗瞳孔画像検出部
４３ 瞳孔中心算出部
４４ 角膜反射光中心検出部
４５ 視線方向検出部
５０ 目 DESCRIPTION OF SYMBOLS 10, 20 Image receiving device 11 1st light source 12 1st camera 12C optical axis 21 2nd light source 22 2nd camera 22C optical axis 31, 32 Light source control part 33 Exposure control part 34, 35 Image acquisition part 40 Pupil image extraction part 41 Bright Pupil image detection unit 42 Dark pupil image detection unit 43 Pupil center calculation unit 44 Cornea reflection light center detection unit 45 Gaze direction detection unit 50 eyes

Claims (5)

対象者の目に検知光を与える光源と、
所定の周期で前記検知光を切換えて出射させるように前記光源を制御する光源制御部と、
複数の画素が水平方向及び垂直方向に配列された撮像素子を備え、この撮像素子をローリングシャッタ方式で駆動することにより、前記対象者の目を含む画像を取得する撮像体と、
１回の前記検知光の出射期間に、前記ローリングシャッタ方式で前記撮像素子を少なくとも２フレーム分駆動して、同じ検知光が照射されているときの画像のみを取得する露光制御部と、
を備えることを特徴とする照明撮像装置。 A light source that provides detection light to the subject's eyes;
A light source controller that controls the light source to switch and emit the detection light at a predetermined period;
An imaging body that includes an imaging device in which a plurality of pixels are arranged in a horizontal direction and a vertical direction, and obtains an image including the eyes of the subject by driving the imaging device in a rolling shutter system;
An exposure control unit that drives the image pickup device for at least two frames by the rolling shutter method in one emission period of the detection light, and acquires only an image when the same detection light is irradiated;
An illumination imaging apparatus comprising: 前記光源は、第１波長の検知光と、前記第１波長よりも長い波長の第２波長の検知光とを出射し、
前記光源制御部は、前記所定の周期で前記第１波長の検知光と前記第２波長の検知光を切換えて出射させる
ことを特徴とする請求項１に記載の照明撮像装置。 The light source emits detection light having a first wavelength and detection light having a second wavelength longer than the first wavelength,
2. The illumination imaging apparatus according to claim 1, wherein the light source control unit switches and emits the detection light of the first wavelength and the detection light of the second wavelength at the predetermined period. 前記光源は、前記撮像素子に近い位置にある第１光源と、前記撮像素子に対して前記第１光源よりも離れた位置にある第２光源とを備え、
前記光源制御部は、前記所定の周期で、前記第１光源と前記第２光源から検知光を切換えて出射させる
ことを特徴とする請求項１に記載の照明撮像装置。 The light source includes a first light source located near the image sensor and a second light source located farther from the first light source than the image sensor,
2. The illumination imaging apparatus according to claim 1, wherein the light source controller switches and emits detection light from the first light source and the second light source at the predetermined period. 前記撮像素子は、ＣＭＯＳである
ことを特徴とする請求項１から請求項３のいずれか１項に記載の照明撮像装置。 The illumination imaging apparatus according to any one of claims 1 to 3, wherein the imaging element is a CMOS. 請求項１から請求項４のいずれか１項に記載の照明撮像装置と、
前記撮像体で取得した画像から瞳孔画像を抽出する瞳孔画像抽出部と、
前記瞳孔画像抽出部で抽出した瞳孔画像から瞳孔中心を算出する瞳孔中心算出部と、
前記瞳孔画像抽出部で抽出した瞳孔画像から角膜反射光の中心を検出する角膜反射光中心検出部と、
前記瞳孔中心と前記角膜反射光の中心とから前記対象者の視線方向を算出する視線方向算出部と、
を備える
ことを特徴とする視線検出装置。 The illumination imaging device according to any one of claims 1 to 4,
A pupil image extraction unit that extracts a pupil image from an image acquired by the imaging body;
A pupil center calculation unit that calculates the pupil center from the pupil image extracted by the pupil image extraction unit;
A corneal reflection light center detection unit for detecting the center of the corneal reflection light from the pupil image extracted by the pupil image extraction unit;
A line-of-sight direction calculation unit that calculates the line-of-sight direction of the subject from the center of the pupil and the center of the corneal reflected light;
A line-of-sight detection device comprising:
JP2014176131A 2014-08-29 2014-08-29 Illumination imaging apparatus and line-of-sight detection apparatus including the same Expired - Fee Related JP6370168B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014176131A JP6370168B2 (en) 2014-08-29 2014-08-29 Illumination imaging apparatus and line-of-sight detection apparatus including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014176131A JP6370168B2 (en) 2014-08-29 2014-08-29 Illumination imaging apparatus and line-of-sight detection apparatus including the same

Publications (2)

Publication Number Publication Date
JP2016049258A true JP2016049258A (en) 2016-04-11
JP6370168B2 JP6370168B2 (en) 2018-08-08

Family

ID=55657259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014176131A Expired - Fee Related JP6370168B2 (en) 2014-08-29 2014-08-29 Illumination imaging apparatus and line-of-sight detection apparatus including the same

Country Status (1)

Country Link
JP (1) JP6370168B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195450A1 (en) * 2016-05-10 2017-11-16 ソニー株式会社 Information processing apparatus and information processing method
WO2017203769A1 (en) * 2016-05-23 2017-11-30 アルプス電気株式会社 Sight line detection method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013146311A1 (en) * 2012-03-28 2013-10-03 富士フイルム株式会社 Imaging device, and endoscope device provided therewith
JP2014073205A (en) * 2012-10-03 2014-04-24 Topcon Corp Ophthalmographic device
JP2014094186A (en) * 2012-11-09 2014-05-22 Jvc Kenwood Corp Visual line detector and visual line detection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013146311A1 (en) * 2012-03-28 2013-10-03 富士フイルム株式会社 Imaging device, and endoscope device provided therewith
JP2014073205A (en) * 2012-10-03 2014-04-24 Topcon Corp Ophthalmographic device
JP2014094186A (en) * 2012-11-09 2014-05-22 Jvc Kenwood Corp Visual line detector and visual line detection method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017195450A1 (en) * 2016-05-10 2017-11-16 ソニー株式会社 Information processing apparatus and information processing method
US10757337B2 (en) 2016-05-10 2020-08-25 Sony Corporation Information processing apparatus and information processing method to control exposure for imaging the eye
WO2017203769A1 (en) * 2016-05-23 2017-11-30 アルプス電気株式会社 Sight line detection method
JPWO2017203769A1 (en) * 2016-05-23 2019-04-18 アルプスアルパイン株式会社 Gaze detection method

Also Published As

Publication number Publication date
JP6370168B2 (en) 2018-08-08

Similar Documents

Publication Publication Date Title
US10698482B2 (en) Gaze tracking using non-circular lights
US10878236B2 (en) Eye tracking using time multiplexing
JP5858433B2 (en) Gaze point detection method and gaze point detection device
US10481403B2 (en) Contact lens with retinal camera
US20140022371A1 (en) Pupil detection device
WO2017094343A1 (en) Line of sight detection device and line of sight detection method
JP6631951B2 (en) Eye gaze detection device and eye gaze detection method
TW201416908A (en) Pupil tracking device
WO2017094344A1 (en) Line of sight detection device and line of sight detection method
JP5626039B2 (en) Gaze detection apparatus and gaze detection method
JP6767482B2 (en) Line-of-sight detection method
JP6324119B2 (en) Rotation angle calculation method, gazing point detection method, information input method, rotation angle calculation device, gazing point detection device, information input device, rotation angle calculation program, gazing point detection program, and information input program
JP2016085588A (en) Line of sight detecting device, and line of sight detecting method
JP6957048B2 (en) Eye image processing device
JP5601179B2 (en) Gaze detection apparatus and gaze detection method
JPWO2016031666A1 (en) Gaze detection device
JP6370168B2 (en) Illumination imaging apparatus and line-of-sight detection apparatus including the same
JP6555707B2 (en) Pupil detection device, pupil detection method, and pupil detection program
JP2016051317A (en) Visual line detection device
JP6780161B2 (en) Line-of-sight detection device and line-of-sight detection method
JP2019042221A (en) Image voice output device, image voice output method, and image voice output program
JP6430813B2 (en) Position detection apparatus, position detection method, gazing point detection apparatus, and image generation apparatus
EP3811852B1 (en) Device, method, and program for detecting gaze
JP2017162233A (en) Visual line detection device and visual line detection method
JP2018028728A (en) Ophthalmic portion image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180710

R150 Certificate of patent or registration of utility model

Ref document number: 6370168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees