WO2017154370A1 - 視線検出装置および視線検出方法 - Google Patents

視線検出装置および視線検出方法 Download PDF

Info

Publication number
WO2017154370A1
WO2017154370A1 PCT/JP2017/001733 JP2017001733W WO2017154370A1 WO 2017154370 A1 WO2017154370 A1 WO 2017154370A1 JP 2017001733 W JP2017001733 W JP 2017001733W WO 2017154370 A1 WO2017154370 A1 WO 2017154370A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pupil
bright
luminance
pupil image
Prior art date
Application number
PCT/JP2017/001733
Other languages
English (en)
French (fr)
Inventor
河内　隆宏
Original Assignee
アルプス電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルプス電気株式会社 filed Critical アルプス電気株式会社
Publication of WO2017154370A1 publication Critical patent/WO2017154370A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention relates to a line-of-sight detection device and a line-of-sight detection method capable of detecting the line-of-sight direction of a driver of a vehicle and other subjects.
  • a pupil candidate region is obtained from a difference image between a bright pupil image and a dark pupil image for the purpose of reliably detecting the driver's pupil position even when the subject wears glasses. Is extracted from the AND operation image of the bright pupil image and the dark pupil image, and the pupil candidate region is selected by comparing the extracted pupil candidate region with the corneal reflection image.
  • the light source for bright pupil image acquisition and the light source for dark pupil image acquisition differ in the wavelength of the emitted light and the position with respect to the camera, reflection from the frame or lens of the glasses that appears in the bright pupil image and the dark pupil image Light images appear in different forms in position, brightness, or size. For this reason, even if a difference image between the bright pupil image and the dark pupil image is acquired, it is difficult to completely remove the reflected light image from the glasses. Furthermore, since the reflected light image from the glasses often has a higher brightness than the pupil image, the reflected light image may be erroneously detected as a pupil image, and the line of sight may not be detected accurately.
  • the present invention provides a line-of-sight detection device capable of accurately detecting a pupil while suppressing the influence of reflected light from a frame or a lens of a spectacle even when the subject wears spectacles.
  • An object is to provide a gaze detection method.
  • the eye gaze detection device of the present invention acquires a bright pupil image and a dark pupil image, respectively, and creates a difference image between the bright pupil image and the dark pupil image, and a difference image.
  • the luminance feature amount of the corresponding region in the bright pupil image is calculated, and the corresponding in the dark pupil image
  • a luminance calculation unit that calculates a luminance feature amount of the region to be processed, and a luminance feature amount of the corresponding region in the bright pupil image and a luminance feature amount of the corresponding region in the dark pupil image, calculated by the luminance calculation unit for each of the bright spots
  • a determination unit that determines whether or not the bright spot is a pupil based on the comparison result.
  • the luminance feature amount it is preferable to use an average value, a median value, a maximum value, a minimum value, a histogram, or a combination of the luminance values of the
  • the gaze detection method of the present invention includes a step of acquiring a bright pupil image and a dark pupil image, a step of creating a difference image between the light pupil image and the dark pupil image, and a step of creating a binary image obtained by binarizing the difference image
  • the luminance feature amount of the corresponding region in the bright pupil image and the luminance feature amount calculation of the corresponding region in the dark pupil image are calculated.
  • the luminance feature amount of the corresponding region in the bright pupil image and the luminance feature amount of the corresponding region in the dark pupil image calculated in the luminance feature amount calculating step are compared with each other.
  • a luminance comparison step, and a step of determining whether or not each of the one or more bright spots is a pupil based on a comparison result of the luminance comparison step. It is characterized in that.
  • a pupil image has a large difference in luminance feature between a bright pupil image and a dark pupil image, whereas reflected light from glasses or corneal reflected light has a small difference in luminance feature amount.
  • the pupil can be accurately selected from a plurality of pupil candidates in the difference image. Therefore, even when the subject wears spectacles and there is reflected light from the frame or lens of the spectacles, it is possible to suppress the influence of such reflected light and accurately detect the pupil. it can.
  • the determination unit Is preferably a pupil.
  • the determination unit determines that the bright spot is a pupil. It is preferable. This makes it easier to exclude reflected light from glasses having higher brightness than the pupil image from the pupil candidates, and can improve the determination accuracy.
  • the gaze detection device of the present invention includes a pupil center calculation unit that calculates an elliptical range based on the bright spot determined to be a pupil by the determination unit, and calculates the center of the elliptical shape as the center of the pupil.
  • a pupil center calculation unit that calculates the centroid of the bright spot based on the bright spot determined to be a pupil by the determination unit and calculates the centroid as the center of the pupil.
  • a pupil center calculation unit that calculates the median value of the area occupied by the bright spot based on the bright spot determined to be the pupil by the determination unit and calculates the median value as the center of the pupil.
  • the line-of-sight detection device of the present invention includes a first camera and a second camera, which are arranged apart from each other and each acquire an image of an area including at least eyes, a first light source arranged close to the first camera, It is preferable that the second light source is disposed close to the second camera, and the pupil image extraction unit acquires the bright pupil image and the dark pupil image from the images acquired by the respective cameras.
  • a line-of-sight detection device that acquires a bright pupil image with a light source and a substantially coaxial camera, and a dark pupil image with a non-coaxial camera, detection of the pupil is suppressed while suppressing the influence of reflected light from the glasses. Can be done accurately.
  • the feature information measurement step for measuring feature information and the feature information measured in the feature information measurement step are within a predetermined range.
  • the method includes a step of determining only the bright spot as a target of the luminance feature amount calculating step.
  • the feature information preferably includes the size of the bright spot, the aspect ratio, and the filling rate.
  • the line-of-sight detection device capable of accurately detecting the pupil while suppressing the influence of the reflected light from the frame or lens of the spectacles and the like A line-of-sight detection method can be provided.
  • FIG. 1 It is a block diagram which shows the structure of the gaze detection apparatus which concerns on embodiment of this invention.
  • A is an example of a bright pupil image
  • B is an example of a dark pupil image
  • C is a figure which shows the difference image of the bright pupil image of (A), and the dark pupil image of (B).
  • It is a flowchart which shows the flow of a process of the gaze detection method which concerns on embodiment of this invention.
  • FIG. 1 is a block diagram illustrating a configuration of a visual line detection device 10 according to the present embodiment.
  • 2A is an example of a bright pupil image
  • FIG. 2B is an example of a dark pupil image
  • FIG. 2C is a diagram of the bright pupil image of FIG. 2A and the dark pupil image of FIG. It is a figure which shows a difference image.
  • 2A, 2B, and 2C show the pupil image detection range 81 in an enlarged manner.
  • 2A and 2B conceptually show the detection range 81 in order to clearly show the pupil image and the reflected light image.
  • the line-of-sight detection device 10 includes two light sources 11, 12, two cameras 21, 22, a control unit 30, two light source control units 31, 32, two image acquisition units 41, 42, and a pupil.
  • An image extraction unit 51, a pupil center calculation unit 54, a corneal reflection light center detection unit 55, a gaze direction calculation unit 56, an image processing unit 57, a luminance calculation unit 58, and a determination unit 59 are provided.
  • the line-of-sight detection device 10 is installed, for example, on an instrument panel or an upper part of a windshield in a vehicle cabin so as to face the driver's face as a subject.
  • the cameras 21 and 22 are arranged such that the optical axes are separated from each other by a predetermined distance.
  • the cameras 21 and 22 have, for example, CMOS (complementary metal oxide semiconductor) as an image sensor.
  • CMOS complementary metal oxide semiconductor
  • This image sensor acquires an image of a face including the driver's eyes, and light is detected by a plurality of pixels arranged in the horizontal direction and the vertical direction.
  • Each of the first light source 11 and the second light source 12 includes, for example, a plurality of LED (light emitting diode) light sources.
  • the first light source 11 is disposed so as to surround the lens outside the lens of the first camera 21, and the second light source 12 is disposed so as to surround the lens outside the lens of the second camera 22, for example.
  • the band-pass filters that match the wavelengths of the detection lights emitted from the two light sources 11 and 12.
  • Both the LED light source of the first light source 11 and the LED light source of the second light source 12 emit infrared light (near infrared light) of 800 nm or more and 1000 nm or less, and give this detection light to the driver's eyes. It is arranged to be able to.
  • 850 nm is a wavelength with a low light absorption rate in the eyeball of a human eye, and this light is easily reflected by the retina at the back of the eyeball.
  • the distance between the optical axes of the first camera 21 and the LED light source of the first light source 11 is the optical axis of the first camera 21 and the second camera 22 in consideration of the distance between the visual line detection device 10 and the driver as the driver.
  • the distance is sufficiently short. Therefore, the first light source 11 can be regarded as having a substantially coaxial optical axis with respect to the first camera 21.
  • the distance between the optical axes of the LED light sources of the second camera 22 and the second light source 12 is sufficiently shorter than the distance between the optical axes of the first camera 21 and the second camera 22, the second light source 12, the optical axes of the second camera 22 can be regarded as being substantially coaxial.
  • the optical axes of the first camera 21 and the second camera 22 are not coaxial.
  • the above arrangement may be expressed as two members being substantially coaxial and the like, and the two members being non-coaxial.
  • the wavelengths of the light emitted from the two light sources 11 and 12 are both wavelengths having a low light absorption rate in the eyeball, but the wavelength of the light emitted from one light source is the light absorption rate.
  • the number of light sources and cameras is not limited to two.
  • the calculation unit 58 and the determination unit 59 are configured by a CPU and a memory of a computer, and processing by each unit is performed by executing software installed in advance.
  • the light source control unit 31 and the light source control unit 32 respectively control lighting / non-lighting of the first light source 11 and the second light source 12 according to an instruction signal from the control unit 30.
  • the cameras 21 and 22 acquire images according to the instruction signal from the control unit 30, and images captured by the cameras 21 and 22 are acquired by the image acquisition units 41 and 42 for each frame.
  • the images acquired by the image acquisition units 41 and 42 are read into the pupil image extraction unit 51 for each frame.
  • the pupil image extraction unit 51 includes a bright pupil image detection unit 52 and a dark pupil image detection unit 53.
  • the bright pupil image detection unit 52 detects an eye image when the combination of the light source and the camera satisfies one of the following bright pupil photographing conditions (a).
  • the dark pupil image detection unit 53 detects the following dark pupils: An eye image when the combination of the light source and the camera satisfies any one of the imaging conditions (b) is detected.
  • (A) Bright pupil photographing condition (a-1) An image is acquired by the first camera 21 substantially coaxial with the first light source 11 during the lighting period.
  • the infrared light emitted from the first light source 11 has a low absorption rate in the eyeball reaching the retina of the driver's eye, and thus is easily reflected by the retina. Therefore, when the first light source 11 is turned on, in the image acquired by the first camera 21 substantially coaxial with the first light source 11, the infrared light reflected by the retina is detected through the pupil, and the pupil looks bright. This image is extracted as a bright pupil image by the bright pupil image detection unit 52. The same applies to an image acquired by the second camera 22 that is substantially coaxial with the second light source 12 when it is turned on.
  • the dark pupil image detected by the dark pupil image detection unit 53 is subtracted from the bright pupil image detected by the bright pupil image detection unit 52 to create a difference image. Furthermore, a predetermined size range including both eyes is cut out as the pupil detection range 81 (FIG. 2).
  • the clipped image is given to the image processing unit 57, and binarized by image processing to create a binary image.
  • the created binary image is stored in a memory in the image processing unit 57.
  • labeling image processing is performed, and a label is attached to each of one or more bright spots in the binary image. Each luminescent spot and the label attached to the luminescent spot are output to the luminance calculation unit 58 and the determination unit 59.
  • the determination unit 59 measures feature information of each bright spot in the binary image, and selects a bright spot as a pupil candidate of the pupil image based on this feature information.
  • the feature information includes, for example, the size of the bright spot, the aspect ratio, and the filling rate.
  • the size is the maximum diameter or area of the bright spot
  • the aspect ratio is, for example, the ratio of the maximum value in the vertical direction to the maximum value in the horizontal direction
  • the filling rate is a virtual elliptical shape assumed from the outer peripheral shape Is the ratio of the area of a pixel whose luminance is not zero to the area of.
  • the determination unit 59 selects a bright spot whose feature information is within a predetermined range as a pupil candidate.
  • the predetermined range is, for example, a range of average pupil size, aspect ratio, and average filling rate, or a range of feature information registered as a pupil of a driver of a vehicle equipped with the line-of-sight detection device 10 It is.
  • the selection result of pupil candidates of the pupil image is output to the luminance calculation unit 58.
  • the luminance calculation unit 58 calculates the luminance feature amounts of the corresponding regions in the bright pupil image and the dark pupil image for the pupil candidate selected by the determination unit 59.
  • the luminance feature amount include an average value of luminance, a median value of luminance, a maximum value of luminance, a minimum value of luminance, and a luminance distribution.
  • the average luminance is used. In the calculation of the luminance feature amount, first, the average luminance of the region corresponding to the pupil candidate in the bright pupil image is calculated, and then the average luminance of the region corresponding to the pupil candidate in the dark pupil image is calculated.
  • the position of the region to be calculated in the bright pupil image directly corresponds to the position of the candidate pupil in the difference image.
  • the position of the calculation target region in the dark pupil image is shifted from the position of the candidate pupil in the difference image.
  • This shift amount is the distance between the bright spots corresponding to each other in the bright pupil image and the dark pupil image, and is based on the mutual positional relationship between the light sources 11 and 12 and the distance between the light sources 11 and 12 and the subject. To calculate.
  • the luminance calculation unit 58 calculates the position of the calculation target region in the dark pupil image by adding the shift amount to the position of the region on the bright pupil image after the average luminance is calculated in the bright pupil image. The average luminance in the area is calculated. The calculation result of the average luminance by the luminance calculation unit 58 is output to the determination unit 59.
  • the determination unit 59 compares the average luminance of the corresponding region in the bright pupil image with the average luminance of the corresponding region in the dark pupil image only for the bright spot as the pupil candidate whose feature information is within the predetermined range. Then, based on the comparison result, it is determined whether or not the target bright spot is a pupil. This comparison is performed by taking a difference or ratio between two target average luminances. If the difference or ratio is equal to or greater than a predetermined value, it is determined that the bright spot is a pupil.
  • the infrared light emitted from the light sources 11 and 12 has low absorptance in the eyeball reaching the retina of the eye, and when acquiring a bright pupil image, an image is acquired with a camera substantially coaxial with the light source.
  • the pupil looks bright.
  • the pupil looks dark because an image is acquired with a camera non-coaxial with the optical axis. Therefore, when the average brightness of the target region is compared between the bright pupil image and the dark pupil image, the difference or ratio becomes large.
  • the difference in the average luminance between the bright pupil image and the dark pupil image is small in the reflected light image from the glasses frame, the lens, and the like, and the cornea reflection image. Based on such a difference in characteristics, the determination unit 59 determines whether or not the target bright spot is a pupil by distinguishing between the pupil image and the image of the reflected light from the glasses or the reflected light from the cornea. .
  • the determination unit 59 determines that the bright spot is a pupil. .
  • the reflected light image from the glasses has a higher luminance than the pupil image in both the bright pupil image and the dark pupil image. Therefore, if the luminance is lower than the luminance assumed as the reflected light image from the glasses (assumed luminance) and larger than the minimum luminance that can be recognized as a pupil image, it is determined as a pupil. It becomes possible.
  • the pupil center calculation unit 54 calculates an area image corresponding to the shape and area of the pupil. Further, an ellipse including the area image is extracted, and the center of the ellipse shape, that is, the intersection of the major axis and the minor axis of the ellipse shape is calculated as the center position of the pupil.
  • Various methods can be used for extracting the ellipse (ellipse fitting). For example, an ellipse inscribed by the area image is calculated, and this ellipse is selected.
  • the pupil center calculation unit 54 sends the calculated coordinate data of the center position of the pupil to the gaze direction calculation unit 56.
  • the calculation of the center position of the pupil is not limited to the method of calculating based on the elliptical shape.
  • the median value of the area occupied by the bright spot may be calculated, and this median value may be calculated as the center of the pupil.
  • the dark pupil image signal detected by the dark pupil image detection unit 53 is given to the corneal reflection light center detection unit 55.
  • the dark pupil image signal includes a luminance signal based on reflected light from the reflection point of the cornea.
  • the reflected light from the reflection point of the cornea forms a Purkinje image, and is acquired as a spot image with a very small area by the imaging device of the camera.
  • the corneal reflection light center detection unit 55 performs image processing on the spot image, and obtains the coordinates of the center of the reflection light (corneal reflection light) from the reflection point of the cornea in the dark pupil image as the reflection light center coordinates.
  • the corneal reflection light center detection unit 55 sends the calculated center coordinates of the corneal reflection light to the gaze direction calculation unit 56.
  • the pupil center calculation value calculated by the pupil center calculation unit 54 and the corneal reflection light center calculation value calculated by the corneal reflection light center detection unit 55 are given to the gaze direction calculation unit 56.
  • the line-of-sight direction calculation unit 56 detects the direction of the line of sight from the pupil center calculated value and the corneal reflection light center calculated value.
  • 2A, 2 ⁇ / b> B, and 2 ⁇ / b> C are enlarged views of the detection range 81 of the bright pupil image 61, the dark pupil image 62, and the difference image 63.
  • a pupil image 72 is obtained by subtracting the pupil image 71 in the dark pupil image 62 from the pupil image 71 in the bright pupil image 61.
  • a reflected light image 73 from the glasses appears in the bright pupil image 61
  • a reflected light image 74 from the glasses appears in the dark pupil image 62.
  • These reflected light images 73 and 74 are based on the reflected light from the same part of the glasses, but the appearing positions are shifted due to the difference in the positional relationship between the light source and the camera when acquiring the bright pupil image and the dark pupil image.
  • the reflected light image 73 on the bright pupil image 61 has a circular shape centered on the straight line L
  • the reflected light image 74 on the dark pupil image 62 is shifted from the straight line L. It has a circular shape. Therefore, even if the dark pupil image 62 is subtracted from the bright pupil image 61, the reflected light images 73 and 74 do not disappear completely, and a crescent-shaped residual image 75 remains as shown in FIG.
  • a difference image or a binary image obtained by binarizing the difference image can be obtained from the eyeglasses in addition to the pupil image. Even if a residual image such as reflected light appears, the determination unit 59 can determine whether or not the bright spot is a pupil based on the average luminance calculated by the luminance calculation unit 58. Even when wearing glasses, the pupil image can be specified, and thereby the detection of the pupil and the calculation of the gaze direction can be performed accurately.
  • FIG. 3 is a flowchart showing a processing flow of the visual line detection method according to the present embodiment.
  • FIG. 3 shows the flow of processing from acquisition of a bright pupil image and dark pupil image to acquisition of pupil coordinates.
  • the operation of the first camera 21 will be described.
  • the first light source 11 is turned on for obtaining a pupil image, and a bright pupil image is obtained by obtaining an image in accordance with the turning on (step S1).
  • the second light source 12 is turned on, and a dark pupil image is obtained by acquiring an image in accordance with the lighting (step S2).
  • the operation of the second camera 22 will be described.
  • the first light source 11 is turned on for pupil image acquisition under the control of the control unit 30, and when an image is acquired in accordance with this lighting, the second camera 22 obtains a dark pupil image.
  • Step S1 When the second light source 12 is turned on and an image is acquired in accordance with this lighting, a bright pupil image is obtained by the second camera 22 (step S2).
  • step S ⁇ b> 1 the image captured by the first camera 21 is read from the image acquisition unit 41 to the bright pupil image detection unit 52 of the pupil image extraction unit 51, and the bright pupil image detection unit 52 detects the bright pupil image.
  • the image captured by the second camera 22 is read from the image acquisition unit 42 into the dark pupil image detection unit 53 of the pupil image extraction unit 51, and the dark pupil image detection unit 53 detects the dark pupil image.
  • step S ⁇ b> 2 the image captured by the first camera 21 is read from the image acquisition unit 41 to the dark pupil image detection unit 53 of the pupil image extraction unit 51, and the dark pupil image detection unit 53 detects the dark pupil image.
  • the image captured by the second camera 22 is read from the image acquisition unit 42 into the bright pupil image detection unit 52 of the pupil image extraction unit 51, and the bright pupil image detection unit 52 detects the bright pupil image.
  • the pupil image extraction unit 51 the dark pupil image detected by the dark pupil image detection unit 53 is subtracted from the bright pupil image detected by the bright pupil image detection unit 52 to create a difference image (step S3). Further, the pupil image extraction unit 51 cuts out an image having a predetermined size including both eyes of the subject as the detection range 81 (FIG. 2) (step S4).
  • the image cut out in step S4 is sent to the image processing unit 57, and a binary image is created by image processing (step S5).
  • the created binary image is stored in a memory in the image processing unit 57.
  • the image processing unit 57 performs a labeling process on the binary image, and labels each of one or more bright spots included in the binary image.
  • the binary image including the bright spot is output to the determination unit 59 together with the label, and the determination unit 59 measures the size, aspect ratio, filling rate, etc. of the bright spot as the feature information of each bright spot (step S6, feature). Information measurement step).
  • the determination unit 59 determines whether or not the acquired feature information is within a predetermined range, and selects a bright spot within the predetermined range as a pupil candidate (step S7). If there is a pupil candidate as a result of this determination (Y in step S7), the selected pupil candidate and label are output to the luminance calculation unit 58.
  • a pupil candidate as a result of this determination
  • images are selected in the order of the labels, and data is output to the luminance calculation unit 58.
  • the luminance calculation unit 58 that has received information on the pupil candidates calculates a bright pupil image region corresponding to the position of the pupil candidate in the binary image. If the coordinates on the bright pupil image correspond to the coordinates on the binary image as they are, the range occupied by the pupil candidate on the binary image becomes the corresponding region on the bright pupil image. Subsequently, the luminance calculation unit 58 calculates the average value of the luminances of the pixels in the calculated region (step S8, luminance feature amount calculation step).
  • the luminance calculation unit 58 calculates a shift amount (shift amount) of the distance between the bright spots corresponding to each other in the bright pupil image and the dark pupil image (step S9). Further, the luminance calculation unit 58 calculates a shift coordinate obtained by adding the shift amount to the coordinate value of the region on the bright pupil image of the candidate pupil targeted in step S8 (step S10). The luminance calculation unit 58 calculates the luminance feature amount of the pixel in the region corresponding to the shift coordinate in the dark pupil image (Step S11, luminance feature amount calculation step). For example, average luminance is used as the luminance feature amount. Data on the average brightness of the pupil candidate area on the bright pupil image calculated in step S8 and data on the average brightness on the dark pupil image calculated for the area corresponding to the same pupil candidate (step S11) Is output to the determination unit 59.
  • the determination unit 59 determines the average brightness data in the bright pupil image and the dark pupil image. compared with each other as the brightness comparison step. It is determined whether the brightness is lower than the assumed brightness and within a predetermined range (step S12). When the difference in average luminance is equal to or greater than a predetermined value and the average luminance in the bright pupil image and the dark pupil image is lower than the assumed luminance and within a predetermined range (Y in step S12), the determination unit 59 determines the target It is determined that the pupil candidate is a pupil, and a pupil image is determined (step S13).
  • the pupil center calculation unit 54 calculates an area image corresponding to the shape and area of the pupil. Further, the pupil center calculation unit 54 extracts an elliptical shape including the calculated area image (ellipse fitting) (step S14), and calculates the coordinates (XP, YP) of the elliptical center position (step S15). .
  • step S12 (1) the difference in average luminance is less than a predetermined value, or (2) the average luminance in the bright pupil image and the dark pupil image is greater than or equal to the assumed luminance, or the average luminance is within a predetermined range. If not (N in Step S12), the determination unit 59 determines that the targeted pupil candidate is not a pupil, and determines whether there is an undetermined image that has not been determined other than this pupil candidate ( Step S16). When it is determined that there is an undetermined image (Y in step S16), the processing from step S8 is executed for the pupil candidate of the next label.
  • step S16 determines whether there is no undetermined image (N in step S16) and if it is determined in step S7 that there is no pupil candidate (N in step S7). If it is determined that the ellipse shape cannot be extracted (step S17).
  • the pupil image has a large difference in average luminance between the bright pupil image and the dark pupil image, whereas the difference in average luminance is small in the reflected light from the glasses or the cornea reflected light.
  • the pupil can be accurately selected from a plurality of pupil candidates in the difference image. Therefore, even when the subject wears spectacles and there is reflected light from the frame or lens of the spectacles, it is possible to suppress the influence of such reflected light and accurately detect the pupil. This can contribute to accurate line-of-sight detection.
  • the target bright spot is determined to be a pupil. Therefore, the pupil image and the reflected light from the glasses can be reliably distinguished, which can contribute to highly accurate line-of-sight detection. Further, when the average brightness of the region corresponding to the bright spot in the bright pupil image and the dark pupil image is within a predetermined range, the determination unit determines that the bright spot is a pupil. As a result, it becomes easier for the pupil candidates to exclude reflected light from glasses having higher brightness than the pupil image, so that the determination accuracy can be improved.
  • a first camera 21 and a second camera 22 that are arranged apart and each acquire an image of an area including at least eyes; a first light source 11 that is arranged close to the first camera 21;
  • the pupil image extraction part 51 is acquiring the bright pupil image and the dark pupil image from the image acquired with each camera.
  • a bright pupil image is acquired with a camera that is substantially coaxial with the light source that is lit, and a dark pupil image is acquired with a non-coaxial camera. It is possible to accurately detect the pupil while suppressing the influence of the reflected light or the like.
  • the feature information measurement step for measuring the feature information For each of one or more bright spots in the binary image, the feature information measurement step for measuring the feature information, and the feature information measured in the feature information measurement step averages only the bright spots within a predetermined range. Determining a target of the luminance calculation step.
  • the feature information preferably includes the size of the bright spot, the aspect ratio, and the filling rate.
  • the line-of-sight detection device and line-of-sight detection method according to the present invention provide such reflection even when the subject wears spectacles and there is reflected light from the frame or lens of the spectacles. This is useful in that the pupil can be accurately detected while suppressing the influence of light.
  • Eye-gaze detection apparatus 11 1st light source 12 2nd light source 21 1st camera 22 2nd camera 30 Control part 31, 32 Light source control part 41, 42 Image acquisition part 51 Pupil image extraction part 52 Bright pupil image detection part 53 Dark pupil image Detection unit 54 Pupil center calculation unit 55 Corneal reflection light center detection unit 56 Gaze direction calculation unit 57 Image processing unit 58 Luminance calculation unit 59 Determination unit 61 Bright pupil image 62 Dark pupil image 63 Difference image 71 Pupil image 72 Pupil image 73, 74 Reflected light image 75 Residual image 81 Detection range

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】対象者が眼鏡を着用している場合であっても、眼鏡のフレームやレンズなどからの反射光による影響を抑えて、瞳孔の検出を正確に行うことができる視線検出装置及び視線検出方法を提供することを目的とする。 【解決手段】明瞳孔画像と暗瞳孔画像をそれぞれ取得し、明瞳孔画像と暗瞳孔画像の差分画像を作成する瞳孔画像抽出部と、差分画像を二値化した二値画像を作成する画像処理部と、二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度算出部と、輝点のそれぞれについて、輝度算出部で算出した、明瞳孔画像において対応する領域の輝度特徴量と暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較し、その比較結果に基づいて、その輝点が瞳孔であるか否かを判定する判定部とを備える。

Description

視線検出装置および視線検出方法
　本発明は、車両の運転者その他の対象者の視線方向を検出可能な視線検出装置および視線検出方法に関する。
　特許文献１に記載の瞳孔検知方法においては、対象者が眼鏡を着用した場合でも確実にドライバの瞳孔位置を検出することを目的として、明瞳孔画像と暗瞳孔画像との差分画像から瞳孔候補領域を抽出するとともに、明瞳孔画像と暗瞳孔画像とのＡＮＤ演算画像から角膜反射像を抽出し、抽出された瞳孔候補領域と角膜反射像とを比較することによって瞳孔候補領域を選定している。
特開２００９－２５４５２５号公報
　しかしながら、明瞳孔画像取得用光源と暗瞳孔画像取得用光源は、出射光の波長やカメラに対する位置が異なっているため、明瞳孔画像と暗瞳孔画像において現れる、眼鏡のフレームやレンズなどからの反射光による像は、位置、輝度、または大きさが互いに異なった形で現れる。このため、明瞳孔画像と暗瞳孔画像との差分画像を取得しても、眼鏡からの反射光像を完全に除去することは困難である。さらに、眼鏡からの反射光像は、瞳孔画像と比べて輝度が高いことが多いため、反射光像を誤って瞳孔画像として検出してしまい正確に視線を検知できないおそれがある。
　そこで本発明は、対象者が眼鏡を着用している場合であっても、眼鏡のフレームやレンズなどからの反射光による影響を抑えて、瞳孔の検出を正確に行うことができる視線検出装置及び視線検出方法を提供することを目的とする。
　上記課題を解決するために、本発明の視線検出装置は、明瞳孔画像と暗瞳孔画像をそれぞれ取得し、明瞳孔画像と暗瞳孔画像の差分画像を作成する瞳孔画像抽出部と、差分画像を二値化した二値画像を作成する画像処理部と、二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度算出部と、輝点のそれぞれについて、輝度算出部で算出した、明瞳孔画像において対応する領域の輝度特徴量と暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較し、その比較結果に基づいて、その輝点が瞳孔であるか否かを判定する判定部とを備えることを特徴としている。輝度特徴量としては、対応する領域の輝度の平均値、メジアン値、最大値、最小値、ヒストグラム、あるいは、それらを組み合わせて用いることが好ましい。
　本発明の視線検出方法は、明瞳孔画像と暗瞳孔画像をそれぞれ取得するステップと、明瞳孔画像と暗瞳孔画像の差分画像を作成し、差分画像を二値化した二値画像を作成するステップと、二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度特徴量算出ステップと、１つ以上の輝点のそれぞれについて、輝度特徴量算出ステップで算出した、明瞳孔画像において対応する領域の輝度特徴量と暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較する輝度比較ステップと、輝度比較ステップの比較結果に基づいて、１つ以上の輝点のそれぞれについて、瞳孔であるか否かを判定するステップとを備えることを特徴としている。
　瞳孔画像は明瞳孔画像と暗瞳孔画像とで輝度特徴量の差が大きいのに対して、眼鏡からの反射光や角膜反射光等は輝度特徴量の差が小さいことから、明瞳孔画像と暗瞳孔画像における輝度特徴量を互いに比較することによって、差分画像中の複数の瞳孔候補から瞳孔を正確に選択することができる。したがって、対象者が眼鏡を着用しており、眼鏡のフレームやレンズからの反射光が存在する場合であっても、このような反射光による影響を抑えて、瞳孔の検出を正確に行うことができる。
　本発明の視線検出装置では、判定部における比較により、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の輝度特徴量の差が所定値以上であったとき、判定部は、その輝点が瞳孔であると判定することが好ましい。
　これにより、瞳孔と眼鏡からの反射光等とを確実に区別することができ、精度の高い視線検出に資することができる。
　本発明の視線検出装置では、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の輝度特徴量が所定の範囲内であったとき、判定部は、その輝点が瞳孔であると判定することが好ましい。
　これにより、瞳孔画像よりも輝度の高い眼鏡からの反射光等を瞳孔候補から除外しやすくなり、判定精度を高めることができる。
　本発明の視線検出装置では、判定部によって瞳孔であると判定された輝点に基づいて楕円形状の範囲を算出し、この楕円形状の中心を瞳孔の中心として算出する瞳孔中心算出部を備えることが好ましい。
　または、判定部によって瞳孔であると判定された輝点に基づいて、輝点の重心を算出し、この重心を瞳孔の中心として算出する瞳孔中心算出部を備えることが好ましい。
　または、判定部によって瞳孔であると判定された輝点に基づいて、輝点の占める領域の中央値を算出し、この中央値を瞳孔の中心として算出する瞳孔中心算出部を備えることが好ましい。
　これにより、さまざまな対象者の眼の形状に合わせて適切な範囲を設定することができ、正確な瞳孔中心算出に資することができる。
　本発明の視線検出装置は、互いに離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラおよび第２カメラと、第１カメラに接近して配置された第１光源と、第２カメラに接近して配置された第２光源とを備え、瞳孔画像抽出部は、それぞれのカメラで取得した画像から明瞳孔画像と暗瞳孔画像を取得することが好ましい。
　点灯させた光源と略同軸のカメラで明瞳孔画像を取得するとともに、非同軸のカメラで暗瞳孔画像を取得する視線検出装置において、眼鏡からの反射光等による影響を抑えて、瞳孔の検出を正確に行うことができる。
　本発明の視線検出方法は、二値画像における１つ以上の輝点のそれぞれについて、特徴情報を測定する特徴情報測定ステップと、特徴情報測定ステップにおいて測定した特徴情報が、所定の範囲内にある輝点のみを輝度特徴量算出ステップの対象に決定するステップとを備えることが好ましい。ここで、特徴情報は、輝点のサイズ、縦横比、充填率を含むことが好ましい。
　これにより、瞳孔画像が有する形状などの特徴によって瞳孔候補の選択ができるため、明瞳孔画像と暗瞳孔画像における輝度特徴量による判定と合わせて精度の高い瞳孔の判定を行うことが可能となる。また、輝度特徴量による判定の前にこのステップを実行することにより、輝度特徴量による判定の対象を減らすことができるため、輝度特徴量の判定にかかる演算処理の負担を軽減させることができる。
　本発明によると、対象者が眼鏡を着用している場合であっても、眼鏡のフレームやレンズなどからの反射光による影響を抑えて、瞳孔の検出を正確に行うことができる視線検出装置及び視線検出方法を提供することができる。
本発明の実施形態に係る視線検出装置の構成を示すブロック図である。 （Ａ）は明瞳孔画像の例、（Ｂ）は暗瞳孔画像の例、（Ｃ）は（Ａ）の明瞳孔画像と（Ｂ）の暗瞳孔画像の差分画像を示す図である。 本発明の実施形態に係る視線検出方法の処理の流れを示すフローチャートである。
　以下、本発明の実施形態に係る視線検出装置および視線検出方法について図面を参照しつつ詳しく説明する。
　図１と図２を参照して、本実施形態に係る視線検出装置１０の構成について説明する。図１は、本実施形態に係る視線検出装置１０の構成を示すブロック図である。図２（Ａ）は明瞳孔画像の例、図２（Ｂ）は暗瞳孔画像の例、図２（Ｃ）は図２（Ａ）の明瞳孔画像と図２（Ｂ）の暗瞳孔画像の差分画像を示す図である。図２（Ａ）、（Ｂ）、（Ｃ）は瞳孔画像の検出範囲８１を拡大して示している。図２（Ａ）と図２（Ｂ）は瞳孔の画像と反射光像を明りょうに示すために、検出範囲８１を取り出して概念的に示している。
　図１に示すように、視線検出装置１０は、２つの光源１１、１２、２つのカメラ２１、２２、制御部３０、２つの光源制御部３１、３２、２つの画像取得部４１、４２、瞳孔画像抽出部５１、瞳孔中心算出部５４、角膜反射光中心検出部５５、視線方向算出部５６、画像処理部５７、輝度算出部５８、および、判定部５９を備える。視線検出装置１０は、車両の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。
　カメラ２１、２２は、光軸が所定距離だけ互いに離間するように配置されている。カメラ２１、２２は、撮像素子として、例えばＣＭＯＳ（相補型金属酸化膜半導体）を有している。この撮像素子は運転者の眼を含む顔の画像を取得し、水平方向および垂直方向に配列された複数の画素で光が検出される。
　第１光源１１と第２光源１２は、それぞれ、例えば複数個のＬＥＤ（発光ダイオード）光源からなる。第１光源１１は、例えば、第１カメラ２１のレンズの外側において、レンズを囲むように配置され、第２光源１２は、例えば、第２カメラ２２のレンズの外側において、レンズを囲むように配置されている。これらのカメラ２１、２２においては、２つの光源１１、１２から出射される検知光の波長に合わせたバンドパスフィルタを配置していることが好ましい。これにより、瞳孔画像抽出部５１における瞳孔画像の抽出や、視線方向算出部５６における視線方向の算出を精度良く行うことができる。
　第１光源１１のＬＥＤ光源、および、第２光源１２のＬＥＤ光源は、ともに、８００ｎｍ以上１０００ｎｍ以下の赤外光（近赤外光）を出射し、この検知光を運転者の眼に与えることができるように配置されている。特に、８５０ｎｍは、人の眼の眼球内での光吸収率が低い波長であり、この光は眼球の奥の網膜で反射されやすい。
　第１カメラ２１と第１光源１１のＬＥＤ光源の光軸間距離は、視線検出装置１０と運転者としての運転者との距離を考慮して、第１カメラ２１と第２カメラ２２の光軸間距離に対して十分に短くしている。そのため、第１光源１１は第１カメラ２１に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２と第２光源１２のＬＥＤ光源の光軸間距離は、第１カメラ２１と第２カメラ２２の光軸間距離に対して十分に短くしているため、第２光源１２は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。
　これに対して、第１カメラ２１と第２カメラ２２の光軸間距離を十分に長くとっているため、第１光源１１と第２カメラ２２の光軸、および、第２光源１２と第１カメラ２１の各光軸とは、同軸ではない。以下の説明においては、上記配置を、２つの部材が略同軸である等と表現し、２つの部材が非同軸である等と表現することがある。
　なお、以上の説明では２つの光源１１、１２からの出射光の波長を、両者とも、眼球内での光吸収率が低い波長としていたが、一方の光源からの出射光の波長を光吸収率が高く、網膜まで到達しづらい波長とし、明瞳孔画像撮影用の光源と暗瞳孔画像撮影用の光源としてもよい。また、光源やカメラの数は２台ずつに限定されない。
　２つの光源制御部３１、３２、２つの画像取得部４１、４２、瞳孔画像抽出部５１、瞳孔中心算出部５４、角膜反射光中心検出部５５、視線方向算出部５６、画像処理部５７、輝度算出部５８、および、判定部５９は、コンピュータのＣＰＵやメモリで構成されており、各部による処理は、予めインストールされたソフトウエアを実行することで行われる。
　光源制御部３１および光源制御部３２は、制御部３０からの指示信号にしたがって、第１光源１１と第２光源１２の点灯・非点灯をそれぞれ制御する。カメラ２１、２２は、制御部３０からの指示信号にしたがって画像を取得し、カメラ２１、２２で撮影された画像は、フレームごとに画像取得部４１、４２にそれぞれ取得される。
　画像取得部４１、４２で取得された画像は、フレームごとに瞳孔画像抽出部５１に読み込まれる。瞳孔画像抽出部５１は、明瞳孔画像検出部５２と暗瞳孔画像検出部５３とを備えている。明瞳孔画像検出部５２では、以下の明瞳孔撮影条件（ａ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出され、暗瞳孔画像検出部５３では、以下の暗瞳孔撮影条件（ｂ）のいずれかを満たす、光源とカメラの組み合わせのときの眼の画像が検出される。
（ａ）明瞳孔撮影条件
　（ａ－１）第１光源１１の点灯期間に、これと略同軸の第１カメラ２１で画像を取得
　（ａ－２）第２光源１２の点灯期間に、これと略同軸の第２カメラ２２で画像を取得
（ｂ）暗瞳孔撮影条件
　（ｂ－１）第１光源１１の点灯期間に、これと非同軸の第２カメラ２２で画像を取得
　（ｂ－２）第２光源１２の点灯期間に、これと非同軸の第１カメラ２１で画像を取得
　第１光源１１から出射する赤外光は、運転者の眼の網膜に至る眼球内での吸収率が低いため、網膜で反射されやすい。したがって、第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ２１で取得される画像では、網膜で反射された赤外光が瞳孔を通じて検出され、瞳孔が明るく見える。この画像は、明瞳孔画像として明瞳孔画像検出部５２で抽出される。これは、第２光源１２が点灯したときに、これと略同軸の第２カメラ２２で取得される画像についても同様である。
　これに対して、第１光源１１を点灯したときに、第１光源１１と非同軸の第２カメラ２２で画像を取得する場合には、網膜で反射された赤外光が第２カメラ２２にほとんど入射しないため、瞳孔が暗く見える。したがって、この画像は暗瞳孔画像として、暗瞳孔画像検出部５３で抽出される。これは、第２光源１２が点灯したときに、非同軸の第１カメラ２１で取得される画像についても同様である。
　瞳孔画像抽出部５１では、明瞳孔画像検出部５２で検出された明瞳孔画像から、暗瞳孔画像検出部５３で検出された暗瞳孔画像がマイナスされて差分画像が作成される。さらに、瞳孔検出範囲８１（図２）として、両眼を含む所定の大きさの範囲が切り出される。切り出された画像は、画像処理部５７に与えられ、画像処理によって二値化されて二値画像が作成される。作成された二値画像は画像処理部５７内のメモリに保存される。画像処理部５７においては、ラベリングの画像処理が施され、二値画像における１つ以上の輝点のそれぞれに対してラベルが付される。それぞれの輝点、および、輝点に付されたラベルは輝度算出部５８と判定部５９へ出力される。
　判定部５９では、二値画像中の各輝点の特徴情報が測定され、この特徴情報に基づいて、瞳孔画像の瞳孔候補としての輝点が選択される。特徴情報としては、例えば、輝点のサイズ、縦横比、充填率がある。ここで、サイズは輝点の最大径や面積であり、縦横比は例えば縦方向の最大値と横方向の最大値の比であり、充填率とは、外周形状から想定される仮想の楕円形状の面積に対する、輝度がゼロでない画素の面積の割合である。判定部５９は、特徴情報が所定の範囲内にある輝点を瞳孔候補として選択する。所定の範囲とは、例えば、一般的な瞳孔のサイズ、縦横比、充填率の平均値の範囲や、視線検出装置１０が備え付けられた車両の運転者等の瞳孔として登録された特徴情報の範囲である。瞳孔画像の瞳孔候補の選択結果は輝度算出部５８へ出力される。
　輝度算出部５８では、判定部５９で選択された瞳孔候補について、明瞳孔画像と暗瞳孔画像においてそれぞれ対応する領域の輝度特徴量が算出される。輝度特徴量としては、例えば、輝度の平均値、輝度のメジアン値、輝度の最大値、輝度の最小値、輝度分布があるが、ここでは平均輝度を用いる。この輝度特徴量の算出においては、まず明瞳孔画像において瞳孔候補に対応する領域の平均輝度が算出され、次に暗瞳孔画像において瞳孔候補に対応する領域の平均輝度が算出される。ここで、上述のとおり、明瞳孔画像と暗瞳孔画像とでは光源とカメラの関係が異なるため、明瞳孔画像において算出対象となる領域の位置は、差分画像における瞳孔候補の位置と直接対応する一方で、暗瞳孔画像における算出対象領域の位置は、差分画像における瞳孔候補の位置とずれが生じている。このずれ量（シフト量）は、明瞳孔画像と暗瞳孔画像において互いに対応する輝点間の距離であり、光源１１、１２の互いの位置関係や光源１１、１２と対象者との距離に基づいて算出する。輝度算出部５８では、明瞳孔画像において平均輝度が算出された後に、明瞳孔画像上の領域の位置に上記シフト量を加算することによって、暗瞳孔画像における算出対象領域の位置が算出され、この領域における平均輝度が算出される。輝度算出部５８による平均輝度の算出結果は判定部５９へ出力される。
　判定部５９は、特徴情報が所定の範囲内にあった瞳孔候補としての輝点のみについて、明瞳孔画像において対応する領域の平均輝度と、暗瞳孔画像において対応する領域の平均輝度とを互いに比較し、その比較結果に基づいて、対象となった輝点が瞳孔であるか否かを判定する。この比較は、対象となる２つの平均輝度の差や比をとることによって行い、差や比が所定値以上であったときは、その輝点が瞳孔であると判定する。ここで、光源１１、１２から出射する赤外光は眼の網膜に至る眼球内での吸収率が低いものであり、明瞳孔画像の取得においては、光源と略同軸のカメラで画像を取得するために瞳孔が明るく見える。これに対して、暗瞳孔画像の取得においては、光軸と非同軸のカメラで画像を取得するために、瞳孔が暗く見える。したがって、明瞳孔画像と暗瞳孔画像で対象となる領域の平均輝度を比較すると、その差や比は大きなものとなる。一方、眼鏡のフレームやレンズ等からの反射光像や、角膜反射像は、明瞳孔画像と暗瞳孔画像における平均輝度の差が小さい。このような特性の違いに基づいて、判定部５９においては、瞳孔画像と、眼鏡からの反射光や角膜反射光の画像とを区別して、対象の輝点が瞳孔であるか否かを判定する。
　さらに、判定部５９は、対象となる輝点の平均輝度が、あらかじめ設定された値（想定輝度）よりも低く、所定の範囲内であったときは、その輝点が瞳孔であると判定する。眼鏡からの反射光像は、明瞳孔画像と暗瞳孔画像のいずれにおいても、瞳孔画像に対して輝度が大きい。このため、眼鏡からの反射光像として想定される輝度（想定輝度）よりも低く、また、瞳孔画像として認識可能な最小限の輝度よりも大きな輝度を有していれば瞳孔として判定することが可能となる。
　判定部５９において瞳孔であると判定された輝点については、瞳孔中心算出部５４において、瞳孔の形状と面積に対応するエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、この楕円形状の中心、すなわち、楕円形状の長軸と短軸との交点が瞳孔の中心位置として算出される。この楕円の抽出（楕円フィッティング）は、各種の手法を用いることができ、例えばエリア画像が内接する楕円を算出し、この楕円を選択する。瞳孔中心算出部５４は、算出した瞳孔の中心位置の座標データを視線方向算出部５６へ送出する。
　ここで、瞳孔の中心位置の算出は、楕円形状に基づいて算出する方法に限定されない。例えば、判定部５９において瞳孔であると判定された輝点に基づいて、輝点の重心を算出し、この重心を瞳孔の中心として算出することもできる。また、判定部５９によって瞳孔であると判定された輝点に基づいて、輝点が占める領域の中央値を算出し、この中央値を瞳孔の中心として算出してもよい。
　一方、暗瞳孔画像検出部５３で検出された暗瞳孔画像信号は、角膜反射光中心検出部５５に与えられる。暗瞳孔画像信号は、角膜の反射点からの反射光による輝度信号が含まれている。角膜の反射点からの反射光はプルキニエ像を結像するものであり、カメラの撮像素子では、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部５５では、このスポット画像が画像処理されて、反射光中心座標として、暗瞳孔画像における、角膜の反射点からの反射光（角膜反射光）の中心の座標が求められる。角膜反射光中心検出部５５は、算出した角膜反射光の中心座標を視線方向算出部５６へ送出する。
　瞳孔中心算出部５４で算出された瞳孔中心算出値と角膜反射光中心検出部５５で算出された角膜反射光中心算出値は、視線方向算出部５６に与えられる。視線方向算出部５６では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。
　ここで、図２（Ａ）に示す明瞳孔画像６１と図２（Ｂ）に示す暗瞳孔画像６２が得られた場合について説明する。図２（Ａ）、（Ｂ）、（Ｃ）は、明瞳孔画像６１、暗瞳孔画像６２、および、差分画像６３の検出範囲８１をそれぞれ拡大して示した図である。
　明瞳孔画像６１と暗瞳孔画像６２の差分画像６３においては、明瞳孔画像６１における瞳孔の画像７１から暗瞳孔画像６２における瞳孔の画像７１をマイナスすることによって瞳孔画像７２が得られる。
　また、明瞳孔画像６１には眼鏡からの反射光像７３が現れており、暗瞳孔画像６２にも眼鏡からの反射光像７４が現れている。これらの反射光像７３、７４は眼鏡の同じ部分からの反射光によるものであるが、明瞳孔画像と暗瞳孔画像を取得するときの光源とカメラの位置関係の違いによって、現れる位置がずれている。すなわち、明瞳孔画像６１上の反射光像７３は、直線Ｌ上に中心が位置する円形状であるのに対して、暗瞳孔画像６２上の反射光像７４は、直線Ｌから中心がずれた円形状となっている。したがって、明瞳孔画像６１から暗瞳孔画像６２をマイナスしても反射光像７３、７４は完全に消えることがなく、図２（Ｃ）に示すように、三日月状の残存画像７５が残る。
　これに対して、本実施形態の視線検出装置１０によれば、図２（Ｃ）に示すように、差分画像やこれを二値化した二値画像に、瞳孔画像のほかに、眼鏡からの反射光などの残存画像が現れていたとしても、輝度算出部５８によって算出された平均輝度に基づいて判定部５９において輝点が瞳孔であるか否かを判定することができるため、対象者が眼鏡をかけていた場合などにおいても、瞳孔画像を特定することができ、これによって瞳孔の検出や視線方向の算出を正確に行うことができる。
　次に、図３を参照して、本実施形態に係る視線検出方法における処理の流れについて説明する。図３は、本実施形態に係る視線検出方法の処理の流れを示すフローチャートである。図３は、明瞳孔画像と暗瞳孔画像の取得から瞳孔座標の取得までの処理の流れを示している。
　まず、第１カメラ２１の動作について説明する。制御部３０の制御により、瞳孔画像取得のために第１光源１１が点灯され、この点灯に合わせて画像を取得する事で明瞳孔画像を得る（ステップＳ１）。また、第２光源１２が点灯され、この点灯に合わせて画像を取得する事で暗瞳孔画像を得る（ステップＳ２）。
　次に、第２カメラ２２の動作について説明する。第１カメラの場合と同様に、制御部３０の制御により、瞳孔画像取得のために第１光源１１が点灯され、この点灯に合わせて画像を取得すると、第２カメラ２２では暗瞳孔画像が得られる（ステップＳ１）。また、第２光源１２が点灯され、この点灯に合わせて画像を取得すると、第２カメラ２２では明瞳孔画像が得られる（ステップＳ２）。
　ステップＳ１において、第１カメラ２１で撮影された画像は画像取得部４１から瞳孔画像抽出部５１の明瞳孔画像検出部５２に読み込まれ、明瞳孔画像検出部５２において明瞳孔画像が検出される。また、第２カメラ２２で撮影された画像は画像取得部４２から瞳孔画像抽出部５１の暗瞳孔画像検出部５３に読み込まれ、暗瞳孔画像検出部５３において暗瞳孔画像が検出される。
　ステップＳ２において、第１カメラ２１で撮影された画像は画像取得部４１から瞳孔画像抽出部５１の暗瞳孔画像検出部５３に読み込まれ、暗瞳孔画像検出部５３において暗瞳孔画像が検出される。また、第２カメラ２２で撮影された画像は画像取得部４２から瞳孔画像抽出部５１の明瞳孔画像検出部５２に読み込まれ、明暗瞳孔画像検出部５２において明瞳孔画像が検出される。
　瞳孔画像抽出部５１では、明瞳孔画像検出部５２で検出された明瞳孔画像から、暗瞳孔画像検出部５３で検出された暗瞳孔画像がマイナスされて差分画像が作成される（ステップＳ３）。さらに瞳孔画像抽出部５１では、検出範囲８１（図２）として、対象者の両眼を含む所定の大きさの範囲の画像が切り出される（ステップＳ４）。
　上記ステップＳ４で切り出された画像は画像処理部５７に送られ、画像処理によって二値画像が作成される（ステップＳ５）。作成された二値画像は画像処理部５７内のメモリに保存される。この二値画像に対して、画像処理部５７はラベリング処理を実行し、二値画像に含まれる１つ以上の輝点のそれぞれについてラベルが付される。輝点を含む二値画像はラベルとともに判定部５９へ出力され、判定部５９では、各輝点の特徴情報として、輝点のサイズ、縦横比、充填率などが測定される（ステップＳ６、特徴情報測定ステップ）。
　つづいて、判定部５９では、取得した特徴情報が所定の範囲にあるかどうかが判定され、所定の範囲内にある輝点が瞳孔候補として選択される（ステップＳ７）。この判定の結果、瞳孔候補があった場合（ステップＳ７でＹ）、選択された瞳孔候補とラベルが輝度算出部５８へ出力される。ここで、瞳孔候補が複数ある場合は、ラベルの順に画像が選択され、輝度算出部５８へデータが出力される。
　瞳孔候補の情報を受けた輝度算出部５８では、二値画像における瞳孔候補の位置に対応する明瞳孔画像の領域が算出される。明瞳孔画像上の座標が二値画像上の座標にそのまま対応していれば、二値画像上で瞳孔候補が占める範囲が明瞳孔画像上で対応する領域となる。つづいて、輝度算出部５８は、算出した領域の画素の輝度の平均値を算出する（ステップＳ８、輝度特徴量算出ステップ）。
　次に、輝度算出部５８は、明瞳孔画像と暗瞳孔画像において互いに対応する輝点間の距離のずれ量（シフト量）を算出する（ステップＳ９）。さらに輝度算出部５８は、ステップＳ８で対象とした瞳孔候補の明瞳孔画像上における領域の座標値に上記ずれ量を加算したシフト座標を算出する（ステップＳ１０）。輝度算出部５８は、暗瞳孔画像において上記シフト座標に対応する領域の画素の輝度特徴量を算出する（ステップＳ１１、輝度特徴量算出ステップ）。　輝度特徴量としては、例えば、平均輝度を用いる。上記ステップＳ８で算出された明瞳孔画像上での瞳孔候補の領域の平均輝度のデータと、同一の瞳孔候補に対応する領域について算出された暗瞳孔画像上での平均輝度のデータ（ステップＳ１１）とは判定部５９へ出力される。
　上記平均輝度のデータ（ステップＳ８、Ｓ１１）を受けた判定部５９では、輝度比較ステップとして、明瞳孔画像と暗瞳孔画像における平均輝度のデータが互いに比較され、また、判定ステップとして、それぞれの平均輝度が想定輝度よりも低く、所定の範囲内であるか否かが判定される（ステップＳ１２）。平均輝度の差が所定値以上であり、かつ、明瞳孔画像と暗瞳孔画像における平均輝度が想定輝度よりも低く、所定の範囲内である場合（ステップＳ１２でＹ）、判定部５９は、対象となっている瞳孔候補が瞳孔であると判定し、瞳孔画像が確定する（ステップＳ１３）。
　瞳孔画像が確定すると、瞳孔中心算出部５４において、瞳孔の形状と面積に対応するエリア画像が算出される。さらに、瞳孔中心算出部５４では、算出されたエリア画像を含む楕円形状が抽出され（楕円フィッティング）（ステップＳ１４）、楕円形状の中心位置の座標（ＸＰ，ＹＰ）が算出される（ステップＳ１５）。
　上記ステップＳ１２において、（１）平均輝度の差が所定値未満であり、または、（２）明瞳孔画像と暗瞳孔画像における平均輝度が想定輝度以上である、もしくは、平均輝度が所定の範囲内にない場合（ステップＳ１２でＮ）、判定部５９は、対象としていた瞳孔候補は瞳孔ではないと判定し、この瞳孔候補以外に判定を行っていない未判定画像があるか否かを判定する（ステップＳ１６）。未判定画像があると判定した場合（ステップＳ１６でＹ）、次のラベルの瞳孔候補について、上記ステップＳ８からの処理が実行される。
　一方、上記ステップＳ１６において未判定画像がないと判定した場合（ステップＳ１６でＮ）、および、上記ステップＳ７において瞳孔候補が存在しないと判定した場合（ステップＳ７でＮ）、瞳孔中心の算出のための楕円形状の抽出はできないものと判定する（ステップＳ１７）。
　以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）二値画像における１つ以上の輝点のそれぞれについて、明瞳孔画像と暗瞳孔画像のそれぞれにおいて対応する領域の平均輝度を算出し、算出した平均輝度を互いに比較した結果に基づいて、対象とした輝点が瞳孔の画像であるか否かを判定している。ここで、瞳孔画像は明瞳孔画像と暗瞳孔画像とで平均輝度の差が大きいのに対して、眼鏡からの反射光や角膜反射光等は平均輝度の差が小さいことから、明瞳孔画像と暗瞳孔画像における平均輝度を互いに比較することによって、差分画像中の複数の瞳孔候補から瞳孔を正確に選択することができる。したがって、対象者が眼鏡を着用しており、眼鏡のフレームやレンズからの反射光が存在する場合であっても、このような反射光による影響を抑えて、瞳孔の検出を正確に行うことができ、ひいては正確な視線検出に資することができる。
（２）判定部５９における比較により、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の平均輝度の差が所定値以上であったとき、対象とした輝点が瞳孔であると判定しているため、瞳孔画像と眼鏡からの反射光等とを確実に区別することができ、精度の高い視線検出に資することができる。
　さらに、明瞳孔画像と暗瞳孔画像において輝点に対応する領域の平均輝度が所定の範囲内であったとき、判定部は、その輝点が瞳孔であると判定している。これにより、瞳孔画像よりも輝度の高い眼鏡からの反射光等を瞳孔候補が除外しやすくなることから、判定精度を高めることができる。
（３）判定部５９によって瞳孔画像であると判定された輝点に基づいて楕円形状の範囲を算出し、この楕円形状の中心を瞳孔の中心として算出するため、さまざまな対象者の眼の形状に合わせて適切な範囲を設定することができ、正確な瞳孔中心算出に資することができる。
（４）離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラ２１および第２カメラ２２と、第１カメラ２１に接近して配置された第１光源１１と、第２カメラ２２に接近して配置された第２光源１２とを備え、瞳孔画像抽出部５１は、それぞれのカメラで取得した画像から明瞳孔画像と暗瞳孔画像を取得している。この構成においては、点灯させた光源と略同軸のカメラで明瞳孔画像を取得するとともに、非同軸のカメラで暗瞳孔画像を取得しており、この構成において上記判定を実行することにより、眼鏡からの反射光等による影響を抑えて、瞳孔の検出を正確に行うことができる。
（５）二値画像における１つ以上の輝点のそれぞれについて、特徴情報を測定する特徴情報測定ステップと、特徴情報測定ステップにおいて測定した特徴情報が、所定の範囲内にある輝点のみを平均輝度算出ステップの対象に決定するステップとを備える。ここで、特徴情報は、輝点のサイズ、縦横比、充填率を含むことが好ましい。これにより、瞳孔画像が有する形状などの特徴によって瞳孔候補の選択ができるため、明瞳孔画像と暗瞳孔画像における平均輝度による判定と合わせて精度の高い瞳孔画像の判定を行うことが可能となる。また、平均輝度による判定の前にこのステップを実行することにより、平均輝度による判定の対象を減らすことができるため、平均輝度の判定にかかる演算処理の負担を軽減させることができる。
　本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。
　以上のように、本発明に係る視線検出装置および視線検出方法は、対象者が眼鏡を着用しており、眼鏡のフレームやレンズからの反射光が存在する場合であっても、このような反射光による影響を抑えて、瞳孔の検出を正確に行うことができる点で有用である。
　１０　　視線検出装置
　１１　　第１光源
　１２　　第２光源
　２１　　第１カメラ
　２２　　第２カメラ
　３０　　制御部
　３１、３２　光源制御部
　４１、４２　画像取得部
　５１　　瞳孔画像抽出部
　５２　　明瞳孔画像検出部
　５３　　暗瞳孔画像検出部
　５４　　瞳孔中心算出部
　５５　　角膜反射光中心検出部
　５６　　視線方向算出部
　５７　　画像処理部
　５８　　輝度算出部
　５９　　判定部
　６１　　明瞳孔画像
　６２　　暗瞳孔画像
　６３　　差分画像
　７１　　瞳孔の画像
　７２　　瞳孔画像
　７３、７４　反射光像
　７５　　残存画像
　８１　　検出範囲

Claims (12)

  1. 　明瞳孔画像と暗瞳孔画像をそれぞれ取得し、前記明瞳孔画像と前記暗瞳孔画像の差分画像を作成する瞳孔画像抽出部と、
    　前記差分画像を二値化した二値画像を作成する画像処理部と、
    　前記二値画像における１つ以上の輝点のそれぞれについて、前記明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、前記暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度算出部と、
    　前記輝点のそれぞれについて、前記輝度算出部で算出した、前記明瞳孔画像において対応する領域の輝度特徴量と前記暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較し、その比較結果に基づいて、その輝点が瞳孔であるか否かを判定する判定部とを備えることを特徴とする視線検出装置。
  2. 　前記判定部における比較により、前記明瞳孔画像と前記暗瞳孔画像において前記輝点に対応する領域の輝度特徴量の差が所定値以上であったとき、前記判定部は、その輝点が前記瞳孔であると判定することを特徴とする請求項１に記載の視線検出装置。
  3. 　前記明瞳孔画像と前記暗瞳孔画像において前記輝点に対応する領域の輝度特徴量が所定の範囲内であったとき、前記判定部は、その輝点が前記瞳孔であると判定することを特徴とする請求項２に記載の視線検出装置。
  4. 　前記輝度特徴量が、前記対応する領域の、輝度の平均値、輝度のメジアン値、輝度の最大値、輝度の最小値、輝度分布、のいずれかを含むことを特徴とする請求項１から３のいずれか１項に記載の視線検出装置。
  5. 　前記判定部によって前記瞳孔であると判定された前記輝点に基づいて楕円形状の範囲を算出し、この楕円形状の中心を前記瞳孔の中心として算出する瞳孔中心算出部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の視線検出装置。
  6. 　前記判定部によって前記瞳孔であると判定された前記輝点に基づいて、前記輝点の重心を算出し、この重心を前記瞳孔の中心として算出する瞳孔中心算出部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の視線検出装置。
  7. 　前記判定部によって前記瞳孔であると判定された前記輝点に基づいて、前記輝点が占める領域の中央値を算出し、この中央値を前記瞳孔の中心として算出する瞳孔中心算出部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の視線検出装置。
  8. 　互いに離れて配置されてそれぞれが少なくとも目を含む領域の画像を取得する第１カメラおよび第２カメラと、前記第１カメラに接近して配置された第１光源と、前記第２カメラに接近して配置された第２光源とを備え、
    　前記瞳孔画像抽出部は、それぞれのカメラで取得した画像から前記明瞳孔画像と前記暗瞳孔画像を取得することを特徴とする請求項１から請求項７のいずれか１項に記載の視線検出装置。
  9. 　明瞳孔画像と暗瞳孔画像をそれぞれ取得するステップと、
    　前記明瞳孔画像と前記暗瞳孔画像の差分画像を作成し、前記差分画像を二値化した二値画像を作成するステップと、
    　前記二値画像における１つ以上の輝点のそれぞれについて、前記明瞳孔画像において対応する領域の輝度特徴量を算出するとともに、前記暗瞳孔画像において対応する領域の輝度特徴量を算出する輝度特徴量算出ステップと、
    　前記１つ以上の輝点のそれぞれについて、前記輝度特徴量算出ステップで算出した、前記明瞳孔画像において対応する領域の輝度特徴量と前記暗瞳孔画像において対応する領域の輝度特徴量とを互いに比較する輝度比較ステップと、
    　前記輝度比較ステップの比較結果に基づいて、前記１つ以上の輝点のそれぞれについて、瞳孔であるか否かを判定するステップとを備えることを特徴とする視線検出方法。
  10. 　前記二値画像における１つ以上の輝点のそれぞれについて、特徴情報を測定する特徴情報測定ステップと、
    　前記特徴情報測定ステップにおいて測定した特徴情報が、所定の範囲内にある前記輝点のみを前記輝度特徴量算出ステップの対象に決定するステップとを備えることを特徴とする請求項９に記載の視線検出方法。
  11. 　前記特徴情報は、前記輝点のサイズ、縦横比、充填率を含むことを特徴とする請求項１０に記載の視線検出方法。
  12. 　前記輝度特徴量が、前記対応する領域の、輝度の平均値、輝度のメジアン値、輝度の最大値、輝度の最小値、輝度分布、のいずれかを含むことを特徴とする請求項９から１１のいずれか１項に記載の視線検出方法。
PCT/JP2017/001733 2016-03-09 2017-01-19 視線検出装置および視線検出方法 WO2017154370A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-045718 2016-03-09
JP2016045718 2016-03-09

Publications (1)

Publication Number Publication Date
WO2017154370A1 true WO2017154370A1 (ja) 2017-09-14

Family

ID=59789235

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001733 WO2017154370A1 (ja) 2016-03-09 2017-01-19 視線検出装置および視線検出方法

Country Status (1)

Country Link
WO (1) WO2017154370A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7507319B2 (ja) 2020-12-17 2024-06-27 ジン ラブズ インコーポレイテッド 瞳孔検出および視線追跡のためのイベントカメラシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024616A (ja) * 2014-07-18 2016-02-08 国立大学法人静岡大学 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム
WO2016027627A1 (ja) * 2014-08-22 2016-02-25 国立大学法人静岡大学 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
WO2016031666A1 (ja) * 2014-08-29 2016-03-03 アルプス電気株式会社 視線検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024616A (ja) * 2014-07-18 2016-02-08 国立大学法人静岡大学 眼球計測システム、視線検出システム、眼球計測方法、眼球計測プログラム、視線検出方法、および視線検出プログラム
WO2016027627A1 (ja) * 2014-08-22 2016-02-25 国立大学法人静岡大学 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
WO2016031666A1 (ja) * 2014-08-29 2016-03-03 アルプス電気株式会社 視線検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7507319B2 (ja) 2020-12-17 2024-06-27 ジン ラブズ インコーポレイテッド 瞳孔検出および視線追跡のためのイベントカメラシステム

Similar Documents

Publication Publication Date Title
US10437327B2 (en) Eye tracking device and method for operating an eye tracking device
EP3453316B1 (en) Eye tracking using eyeball center position
EP2881891B1 (en) Image processing device and image processing method
JP6346525B2 (ja) 視線検出装置
US20190138094A1 (en) Gaze tracking using non-circular lights
US10722112B2 (en) Measuring device and measuring method
JP2009254525A (ja) 瞳孔検知方法及び装置
US10324529B1 (en) Method and system for glint/reflection identification
WO2017203769A1 (ja) 視線検出方法
US10342425B1 (en) Method and system for controlling illuminators
WO2018164104A1 (ja) 眼部画像処理装置
JP4313717B2 (ja) 視線検出装置
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
JP4895874B2 (ja) 目状態判別装置、目状態判別方法及び目状態判別プログラム
CN111522431B (zh) 使用眼睛跟踪***对闪光进行分类
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
WO2017154370A1 (ja) 視線検出装置および視線検出方法
JP2016051317A (ja) 視線検出装置
WO2017154356A1 (ja) 視線検出装置および視線検出方法
EP3801196B1 (en) Method and system for glint/reflection identification
JP2005296383A (ja) 視線検出装置
JPH06323832A (ja) 車両用インターフェイス
JP2017162233A (ja) 視線検出装置および視線検出方法
JP2018028728A (ja) 眼部画像処理装置
JP6693149B2 (ja) 瞳孔検出装置、および瞳孔検出方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17762716

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17762716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP