WO2022137604A1 - 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム - Google Patents
目開閉検出方法、目開閉検出装置及び目開閉検出プログラム Download PDFInfo
- Publication number
- WO2022137604A1 WO2022137604A1 PCT/JP2021/021993 JP2021021993W WO2022137604A1 WO 2022137604 A1 WO2022137604 A1 WO 2022137604A1 JP 2021021993 W JP2021021993 W JP 2021021993W WO 2022137604 A1 WO2022137604 A1 WO 2022137604A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- eye
- height
- region
- coefficient
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 308
- 238000012545 processing Methods 0.000 claims description 97
- 210000000744 eyelid Anatomy 0.000 claims description 79
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 67
- 230000008569 process Effects 0.000 description 58
- 238000010586 diagram Methods 0.000 description 24
- 238000012986 modification Methods 0.000 description 20
- 230000004048 modification Effects 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 8
- 210000000720 eyelash Anatomy 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 7
- 230000037007 arousal Effects 0.000 description 6
- 230000008602 contraction Effects 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000002920 convulsive effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 241001504424 Zosteropidae Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Definitions
- This disclosure relates to a technique for detecting the open / closed state of the human eye from an image.
- the technique of detecting the open / closed state of a person's eyes from an image is attracting attention as an elemental technique for estimating a person's emotion or a person's state (for example, the degree of arousal of a person and the degree of eye fatigue).
- the following documents are known as techniques for detecting the open / closed state of the human eye.
- the eye open / close determination device of Patent Document 1 has an edge detection unit that detects an edge of an eye region based on an input image, and a binarization process for the eye region that has performed edge detection. It is provided with a binarization processing unit and an eye opening / closing determination unit that determines the opening / closing of eyes based on the data of the area of the eyes that has been binarized.
- the image processing apparatus of Patent Document 2 has an eye region specifying unit that specifies an eye region including an eye and an eye opening / closing determination unit that determines whether the eyes are open or closed in a captured image including a face. And an image processing unit that performs different processing on the eye area depending on whether the eyes are open or closed.
- the present disclosure has been made to solve the above problems, and an object of the present disclosure is to provide a technique capable of improving the detection accuracy of the open / closed state of the human eye.
- a computer acquires a first image including a person's face imaged by an imaging device, and a second image including the area of the person's eyes from the first image.
- the second image is binarized, and the pixel whose gradation value is smaller than the threshold value is represented by the first luminance value, and the pixel whose gradation value is equal to or higher than the threshold value is represented by the second luminance value.
- the image is generated and based on the height of the third image and the maximum height at which the vertical distance between the upper and lower pixels in the first luminance region having the first luminance value is maximum. It determines whether the human eye is open or closed, and outputs information about the result of the determination.
- FIG. 3 is an external view of the eye opening / closing detection system according to the first embodiment of the present disclosure. It is a block diagram which shows an example of the whole structure of the eye opening / closing detection system in Embodiment 1 of this disclosure. It is a flowchart which shows an example of the eye opening / closing detection processing of the eye opening / closing detection device in Embodiment 1 of this disclosure. It is a flowchart which shows an example of the eye state determination processing of step S6 of FIG. It is a figure which shows an example of the face area detected from a face image. It is a figure which shows an example of the eye detection area corresponding to the left eye. It is a figure which shows an example of the eye detection area corresponding to the right eye.
- Embodiment 3 It is a figure which shows an example of the whole structure of the eye opening / closing detection system in Embodiment 3 of this disclosure. It is a flowchart which shows an example of the eye state determination process in Embodiment 3. It is a figure which shows an example of an RGB image, an HSV image and a binary image in a state where eyes are open. It is a figure which shows an example of an RGB image, an HSV image and a binary image in a state where eyes are closed. It is a block diagram which shows an example of the whole structure of the eye opening / closing detection system in Embodiment 4 of this disclosure.
- the eyes are opened when the number of one of the binarized white pixels is larger than the number of pixels specified in advance in each of the right eye region and the left eye region. If the number of white pixels on one of the binarized white pixels is less than or equal to the number of pixels specified in advance, it is determined that the eyes are closed.
- the size and shape of human eyes may change due to the effects of false eyelashes and makeup. Therefore, even if the open / closed state of the eyes is detected according to the ratio of one of the binarized pixels or the number of one of the binarized pixels as in the above-mentioned conventional technique, the open / closed state of the human eye is high. It is difficult to detect with accuracy.
- a computer acquires a first image including a person's face imaged by an image pickup device, and the person is taken from the first image.
- a second image including the area of the eyes is generated, the second image is binarized, pixels having a gradation value smaller than the threshold value are represented by the first brightness value, and pixels having a gradation value equal to or higher than the threshold value are the first.
- a third image represented by two brightness values is generated, and the height of the third image and the vertical distance between the upper end pixel and the lower end pixel in the first brightness region having the first brightness value are the maximum. Based on the maximum height, it is determined whether the person's eyes are open or closed, and information regarding the result of the determination is output.
- the height of the third image obtained by binarizing the second image including the area of the human eye and the vertical interval between the upper end pixel and the lower end pixel in the first luminance region having the first luminance value Based on the maximum height at which the distance in the direction is maximum, it is determined whether the human eye is open or closed. Therefore, it is possible to suppress the influence of individual differences in the size and shape of the human eye and improve the detection accuracy of the open / closed state of the human eye.
- the determination it is determined whether or not the maximum height in the first luminance region is larger than the value obtained by multiplying the height of the third image by the first coefficient.
- the maximum height in the first luminance region is larger than the value obtained by multiplying the height of the third image by the first coefficient, it is determined that the eyes are open. You may.
- the ratio of the maximum height in the first luminance region to the height of the third image differs between the state where the eyes are open and the state where the eyes are closed. With the eyes open, the height of the third image and the maximum height within the first luminance region are substantially the same. Therefore, by comparing the maximum height in the first luminance region with the value obtained by multiplying the height of the third image by the first coefficient, it is possible to determine with high accuracy that the eyes are open. can.
- the eye opening / closing detection method when it is determined in the determination that the maximum height in the first brightness region is equal to or less than the value obtained by multiplying the height of the third image by the first coefficient. It is determined whether or not the maximum height in the first brightness region is smaller than the value obtained by multiplying the height of the third image by a second coefficient smaller than the first coefficient, and the first brightness region. When it is determined that the maximum height in the image is smaller than the value obtained by multiplying the height of the third image by the second coefficient, it may be determined that the eyes are closed.
- the ratio of the maximum height in the first luminance region to the height of the third image differs between the state where the eyes are open and the state where the eyes are closed.
- the maximum height in the first luminance region with the eyes closed is shorter than the maximum height in the first luminance region with the eyes open. Therefore, by comparing the maximum height in the first luminance region with the value obtained by multiplying the height of the third image by the second coefficient smaller than the first coefficient, it is highly likely that the eyes are closed. It can be judged by accuracy.
- a fourth image showing a region of the person's face is further generated from the first image, and in the determination, the maximum height in the first brightness region is determined.
- the maximum height in the first brightness region is the height of the fourth image from the second coefficient. It is determined whether or not it is smaller than the value obtained by multiplying the small third coefficient and the second coefficient, and the maximum height in the first brightness region is set to the height of the fourth image by the third coefficient.
- the maximum height in the first brightness region is the height of the fourth image. If it is equal to or greater than the value obtained by multiplying the third coefficient and the second coefficient, it may be determined that the eyes are open.
- a fourth image showing a region of the person's face is further generated from the first image, and in the determination, the maximum height in the first brightness region is determined.
- the maximum height in the first brightness region is the height of the fourth image from the first coefficient. It is determined whether or not the second coefficient is smaller than the value obtained by multiplying the second coefficient smaller than the second coefficient and the third coefficient smaller than the second coefficient, and the maximum height in the first brightness region is the height of the fourth image.
- the first relative to the height of the fourth image showing the region of the human face rather than the ratio of the maximum height in the first luminance region to the height of the third image including the region of the human eye. Since it is determined whether or not the eyes are closed by using the ratio of the maximum height in the luminance region, even if the third image is not properly detected, the open / closed state of the eyes can be checked with high accuracy. Can be detected.
- the second image has a rectangular shape
- the maximum height in the first luminance region has the second coefficient as the height of the third image.
- the eye height in the closed state tends to be shorter than the eye height in the open state. Therefore, even if the open / closed state of the eyes cannot be determined using the height of the third image and the maximum height in the first luminance region, the aspect ratio of the second image including the human eye region is used for the eyes. It is possible to determine the open / closed state of the human eye, and it is possible to improve the detection accuracy of the open / closed state of the human eye.
- the second image is represented by a red component, a green component, and a blue component
- the maximum height in the first luminance region is the height of the third image.
- a fifth image represented by a hue component, a saturation component, and a luminance component is generated from the second image, and further, the fifth image of the fifth image.
- the hue component is binarized to generate a sixth image in which pixels having a gradation value smaller than the threshold value are represented by the third luminance value and pixels having a gradation value equal to or higher than the threshold value are represented by the fourth luminance value. Further, it may be determined whether the person's eyes are open or closed based on the third luminance region having the third luminance value.
- the difference between the visible light image of the open eye and the visible light image of the closed eye is whether or not the light is reflected in the corneal part. That is, light is reflected in the corneal portion of the open eye, whereas the cornea itself does not exist in the closed eye.
- the light reflected on the corneal portion remarkably appears in the hue component in the color space represented by the hue component, the saturation component, and the lightness component.
- the feature amount corresponding to the light reflected on the corneal portion is extracted by generating a sixth image obtained by binarizing the hue component of the fifth image represented by the hue component, the saturation component and the lightness component. ..
- the open / closed state of the eyes cannot be determined using the height of the third image and the maximum height in the first luminance region, the fifth image represented by the hue component, saturation component, and lightness component
- the open / closed state of the eye can be determined, and the open / closed state of the human eye can be determined. It is possible to improve the detection accuracy of.
- the position of the upper eyelid and the position of the lower eyelid may be further detected based on the third image.
- the position of the upper eyelid and the position of the lower eyelid are detected based on the third image, respectively. Emotions or human condition can be estimated.
- the position of the upper eyelid and the position of the lower eyelid are performed by performing a morphology gradient calculation on the third image. May be detected.
- the position of the upper eyelid and the position of the lower eyelid are detected by performing the morphology gradient calculation on the binarized third image, the position of the upper eyelid and the position of the lower eyelid can be determined. It can be detected accurately.
- the third image is a binary image of either the left eye or the right eye of the person, and further, the position of the outer corner of the eye and the position of the inner corner of the eye are determined based on the third image. Each may be detected.
- the position of the outer corner of the eye and the position of the inner corner of the eye are detected based on the third image, respectively.
- the state can be estimated.
- the position of the leftmost pixel in the lateral direction having the first luminance value in the third image is the outer corner of the eye and the inner corner of the eye.
- the position of the rightmost pixel in the lateral direction having the first luminance value may be detected as the position of either the outer corner of the eye or the inner corner of the eye.
- the position of the leftmost pixel in the horizontal direction having the first luminance value is set as the position of either the outer corner or the inner corner of the eye.
- the position of the rightmost pixel in the lateral direction which is detected and has the first luminance value is detected as the position of either the outer corner of the eye or the inner corner of the eye. Therefore, the position of the outer corner of the eye and the position of the inner corner of the eye can be easily detected.
- the present disclosure can be realized not only as an eye opening / closing detection method for executing the above-mentioned characteristic processing, but also has a characteristic configuration corresponding to the characteristic method executed by the eye opening / closing detection method. It can also be realized as an eye opening / closing detection device or the like. In addition, it can be realized as a computer program that causes a computer to execute the characteristic processing included in such an eye opening / closing detection method. Therefore, the same effect as the above-mentioned eye opening / closing detection method can be obtained in the following other aspects as well.
- the eye opening / closing detection device includes an acquisition unit that acquires a first image including a human face imaged by an imaging device, and a second image that includes a region of the human eye from the first image.
- the eye area detection unit that generates an image and the second image are binarized, and pixels having a gradation value smaller than the threshold value are represented by the first brightness value, and pixels having a gradation value equal to or higher than the threshold value are represented by the second brightness value.
- the binarization processing unit that generates the third image represented by, the height of the third image, and the vertical direction between the upper end pixel and the lower end pixel in the first brightness region having the first brightness value.
- a determination unit that determines whether the person's eyes are open or closed based on the maximum height at which the distance is maximum, an output unit that outputs information regarding the determination result, and an output unit. To prepare for.
- the eye opening / closing detection program acquires a first image including a person's face imaged by an imaging device on a computer, and a second image including the area of the person's eyes from the first image.
- An image is generated, the second image is binarized, and pixels having a gradation value smaller than the threshold value are represented by the first brightness value, and pixels having a gradation value equal to or higher than the threshold value are represented by the second brightness value.
- Three images are generated, based on the height of the third image and the maximum height at which the vertical distance between the upper and lower pixels in the first brightness region having the first brightness value is maximum.
- a process of determining whether the person's eyes are open or closed and outputting information regarding the result of the determination is executed.
- FIG. 1 is an external view of the eye opening / closing detection system 100 according to the first embodiment of the present disclosure.
- the eye opening / closing detection system 100 is composed of a mobile terminal device such as a smartphone or a tablet terminal.
- a mobile terminal device such as a smartphone or a tablet terminal.
- the eye opening / closing detection system 100 may be configured by appropriately combining a stationary computer or a cloud server, a camera, and a display.
- the eye opening / closing detection system 100 includes an eye opening / closing detection device 1, an image pickup device 2, and a display 3.
- the eye open / close detection device 1 detects the open / closed state of the eyes of the person U1 imaged by the image pickup device 2.
- the image pickup device 2 is composed of a camera mounted on a mobile terminal device.
- the image pickup device 2 is a camera capable of acquiring a color visible light image at a predetermined frame rate.
- the display 3 is composed of a liquid crystal display device mounted on a mobile terminal device or a display device such as an organic EL (Electroluminescence) display device.
- the display 3 displays an image of the face of the person U1 captured by the image pickup device 2. Further, the display 3 superimposes and displays information on the open / closed state of the eyes detected by the eye open / close detection device 1 on the image of the face of the person U1.
- FIG. 2 is a block diagram showing an example of the overall configuration of the eye opening / closing detection system 100 according to the first embodiment of the present disclosure.
- the eye opening / closing detection device 1 includes a processor 10 and a memory 20.
- the processor 10 is composed of, for example, a CPU (Central Processing Unit).
- the processor 10 includes an image acquisition unit 11, an eye area detection unit 12, a binarization processing unit 13, an eye state determination unit 14, and an output unit 15.
- the image acquisition unit 11, the eye area detection unit 12, the binarization processing unit 13, the eye state determination unit 14, and the output unit 15 are realized, for example, by the processor 10 executing the eye opening / closing detection program.
- the image acquisition unit 11 acquires an image captured by the image pickup device 2.
- the acquired image includes the face of the person U1.
- an image including a face is referred to as a face image.
- the image acquisition unit 11 sequentially acquires facial images captured at a predetermined frame rate.
- the face image is an example of a first image including a human face.
- the eye area detection unit 12 generates an eye detection area including a human eye area from the face image.
- the eye region detection unit 12 detects a face region showing a person's face from the face image acquired by the image acquisition unit 11.
- the eye area detection unit 12 may detect the face area by inputting a face image into a classifier created in advance for detecting the face area.
- This classifier is composed of, for example, a Haar-shaped cascade classifier.
- the face area is, for example, a rectangular area having a size that includes the entire face.
- the face area is an example of a fourth image showing a human face area.
- the eye area detection unit 12 detects the eye detection area by inputting the face area into a classifier created in advance to detect the eye detection area.
- This classifier is composed of, for example, a Haar-shaped cascade classifier.
- the eye detection area is a rectangular area in which the upper side touches the upper eyelid, the lower side touches the lower eyelid, one side of the left side and the right side touches the inner corner of the eye, and the other side of the left side and the right side touches the outer corner of the eye. ..
- the eye region detection unit 12 detects each of the eye detection region including the left eye and the eye detection region including the right eye from the face region.
- the eye detection area is an example of a second image including the area of the human eye.
- the eye detection area including the left eye is referred to as a "left eye detection area”
- the eye detection area including the right eye is referred to as a "right eye detection area”.
- the left eye refers to an eye located on the left side when the person U1 is viewed from the front
- a right eye refers to an eye located on the right side when the person U1 is viewed from the front.
- the binarization processing unit 13 binarizes the eye detection area, and the pixel whose gradation value is smaller than the threshold value is represented by the first luminance value, and the pixel whose gradation value is equal to or higher than the threshold value is represented by the second luminance value. Generate a binary image.
- the binary image is an example of the third image.
- the binarization processing unit 13 converts the eye detection area into a grayscale image having a gradation value of, for example, 0 to 255, and with respect to the converted grayscale image.
- the binarization process may be executed. As the binarization process, for example, Otsu's binarization process can be adopted.
- the first luminance value is, for example, white
- the second luminance value is, for example, black. That is, in the first embodiment, a binary image is generated in which the dark part is represented by white and the bright part is represented by black.
- the white luminance value is represented by, for example, 255
- the black luminance value is represented by, for example, 0.
- the grayscale image has a gradation value of 0 to 255, which is an example. If the image captured by the image pickup apparatus 2 is an image quantized by another number of bits such as 16 bits, the grayscale image may have a gradation value that can be expressed by the number of bits.
- the binarization processing unit 13 may generate a binary image for each of the left eye detection area and the right eye detection area.
- the eye condition determination unit 14 is based on the height of the binary image and the maximum height at which the vertical distance between the upper end pixel and the lower end pixel in the first luminance region having the first luminance value is maximum. Determine whether the eyes are open or closed.
- the eye condition determination unit 14 determines whether or not the maximum height in the first luminance region is larger than the value obtained by multiplying the height of the binary image by the first coefficient.
- the first coefficient is, for example, 0.9.
- the eye state determination unit 14 determines that the maximum height in the first brightness region is equal to or less than the value obtained by multiplying the height of the binary image by the first coefficient. It is determined whether or not the height of the binary image is smaller than the value obtained by multiplying the height of the binary image by the second coefficient smaller than the first coefficient.
- the second coefficient is, for example, 0.6.
- the output unit 15 outputs information regarding the result of the determination.
- the output unit 15 superimposes information indicating the open / closed state of the eyes determined by the eye condition determination unit 14 on the face image acquired by the image acquisition unit 11 to generate a display screen, and displays the display screen on the display 3.
- the memory 20 is a storage device capable of storing various information such as a RAM (Random Access Memory), an SSD (Solid State Drive), or a flash memory.
- the memory 20 is used as a working area of the processor 10. Further, the memory 20 may store information indicating the open / closed state of the eyes determined by the eye state determination unit 14 in association with the face image acquired by the image acquisition unit 11.
- the face image associated with the information indicating the open / closed state of the eyes can be used as teacher data when machine learning an identification model for identifying the open / closed state of the eyes from the face image. That is, the output unit 15 may add information indicating the open / closed state of the eyes to the face image as a label, and store the face image to which the label is attached in the memory 20.
- FIG. 3 is a flowchart showing an example of the eye opening / closing detection process of the eye opening / closing detection device 1 according to the first embodiment of the present disclosure.
- the flowchart shown in FIG. 3 is executed at a predetermined sampling cycle.
- the predetermined sampling period is, for example, the frame period of the image pickup apparatus 2.
- step S1 the image acquisition unit 11 acquires a face image from the image pickup device 2.
- step S2 the eye area detection unit 12 inputs a face image into a classifier that detects the face area, and detects the face area.
- FIG. 5 is a diagram showing an example of the face region 41 detected from the face image 40.
- the eye region detection unit 12 detects a rectangular region including the upper part of the forehead, the lower part of the chin, and the hairline of the ear as the face region 41.
- the face region 41 does not include the entire hair, but may be an region including the entire hair.
- the face image 40 is an image of the person U1 taken from the front, the left eye and the right eye are included. Further, as shown in FIG. 5, the left eye of the person U1 is open, and the right eye of the person U1 is closed.
- step S3 the eye area detection unit 12 inputs the face area 41 extracted in step S2 into the classifier for detecting the eye detection area and detects the eye detection area.
- the eye region detection unit 12 detects a rectangular region including the entire eye region as eye detection regions 421 and 422.
- the eye detection area 421 corresponds to the left eye
- the eye detection area 422 corresponds to the right eye.
- FIG. 6 is a diagram showing an example of the eye detection region 421 corresponding to the left eye
- FIG. 7 is a diagram showing an example of the eye detection region 422 corresponding to the right eye.
- the eye detection area 421 is a rectangular area including the entire area of the open left eye.
- the eye detection area 422 is a rectangular area including the entire area of the closed right eye. From the face region 41 shown in FIG. 5, an eye detection region 421 corresponding to the left eye shown in FIG. 6 and an eye detection region 422 corresponding to the right eye shown in FIG. 7 are extracted.
- the upper side is in contact with the upper eyelid
- the lower side is in contact with the lower eyelid
- the right side is in contact with the inner corner of the eye
- the left side is in contact with the outer corner of the eye.
- the upper side is in contact with the upper eyelid
- the lower side is in contact with the tip of the eyelash
- the right side is in contact with the outer corner of the eye
- the left side is in contact with the inner corner of the eye. ..
- step S4 the binarization processing unit 13 converts the eye detection regions 421 and 422 detected in step S3 into a grayscale image.
- the conversion process to the grayscale image for example, a process of calculating the average of the gradation values of the red component, the green component, and the blue component of each pixel constituting the eye detection regions 421 and 422 can be adopted.
- this is an example, and other processing may be adopted as the conversion processing to the grayscale image.
- step S5 the binarization processing unit 13 binarizes the eye detection regions 421 and 422 converted into grayscale images to generate binary images 431 and 432.
- FIG. 8 is a diagram showing an example of a binary image 431 corresponding to the left eye
- FIG. 9 is a diagram showing an example of a binary image 432 corresponding to the right eye.
- the binarization processing unit 13 binarizes the eye detection regions 421 and 422 converted into grayscale images to generate binary images 431 and 432.
- the left eye is open. Therefore, in the example of FIG. 8, in the eye detection region 421 corresponding to the left eye, the pixels in the dark part of the pupil, eyelashes, and part of the white eye are represented by white pixels, and the pixels in the other part of the white eye and the bright part of the skin are represented by white pixels.
- a binary image 431 represented by black pixels is generated.
- the binary image 431 includes a block of white regions 51 composed of white pixels and a block of black regions 52 composed of black pixels.
- the right eye is closed. Therefore, in the example of FIG. 9, in the eye detection region 422 corresponding to the right eye, the pixels in the dark part of the edge of the eyelash and the upper eyelid are represented by white pixels, and the pixels in the bright part of the skin are represented by black pixels.
- a binary image 432 is generated.
- the binary image 432 includes a block of white regions 61 composed of white pixels and a block of black regions 62 composed of black pixels.
- step S6 the eye state determination unit 14 maximizes the height of the binary image and the vertical distance between the upper end pixel and the lower end pixel in the first luminance region having the first luminance value. Based on the maximum height, the eye condition determination process for determining whether the human eye is open or closed is executed. The eye condition determination unit 14 determines whether the human eye is open or closed for each of the left eye detection region and the right eye detection region. The eye condition determination process will be described later with reference to FIG.
- step S7 the output unit 15 outputs the determination result information indicating the determination result of the open / closed state of the eyes determined by the eye condition determination unit 14.
- the output unit 15 generates a display screen in which the determination result information indicating the determination result of the open / closed state of the eyes determined in step S6 is superimposed on the face image acquired in step S1 and displays it on the display 3.
- a display screen in which the determination result information indicating the determination result of the open / closed state of the eyes is superimposed on the face image is displayed on the display 3 in real time.
- FIG. 4 is a flowchart showing an example of the eye state determination process in step S6 of FIG.
- the eye condition determination unit 14 calculates the maximum height at which the vertical distance between the upper end pixel and the lower end pixel in the white region having the first luminance value is maximum.
- the eye condition determination unit 14 counts the number of white pixels on the Y axis at each X coordinate with respect to the white region 51 of the binary image 431 shown in FIG. 8, so that the height of each X coordinate of the white region 51 is high. Is calculated.
- the height is represented by the number of white pixels in the vertical direction.
- the eye condition determination unit 14 calculates the height at each X coordinate while sequentially shifting the X coordinate one pixel at a time from the left end to the right end of the white region 51.
- the eye condition determination unit 14 calculates the X coordinate having the maximum height and the height thereof in the white region 51.
- the eye condition determination unit 14 When the eye detection area 421 corresponding to the left eye and the eye detection area 422 corresponding to the right eye are detected, the eye state determination process is performed on the binary images 431 and 432 corresponding to the left eye and the right eye, respectively. Is done. Therefore, the eye condition determination unit 14 also counts the number of white pixels on the Y axis at each X coordinate with respect to the white region 61 of the binary image 432 shown in FIG. 9, so that each X in the white region 56 Calculate the height of the coordinates. The eye condition determination unit 14 calculates the height at each X coordinate while sequentially shifting the X coordinate one pixel at a time from the left end to the right end of the white region 61. The eye condition determination unit 14 calculates the X coordinate having the maximum height and the height thereof in the white region 61.
- step S12 the eye condition determination unit 14 determines whether or not the maximum height of the white region is larger than the value obtained by multiplying the height of the binary image in the eye detection region by 0.9.
- the eye state in step S13 when it is determined that the maximum height of the white region is larger than the value obtained by multiplying the height of the binary image in the eye detection region by 0.9 (YES in step S12), the eye state in step S13.
- the determination unit 14 determines that the eyes are open. That is, as shown in FIG. 8, when the eyes are open, the ratio of the maximum height 54 of the white region 51 to the height 53 of the binary image 431 of the eye detection region 421 approaches 1. Therefore, when the maximum height 54 of the white region 51 is larger than the value obtained by multiplying the height of the binary image 431 of the eye detection region 421 by 0.9, the eye condition determination unit 14 is in the eye detection region 421. Judge that the eyes are open.
- step S14 determines whether or not the maximum height of the white region is smaller than the value obtained by multiplying the height of the binary image in the eye detection region by 0.6.
- the eye state in step S15 when it is determined that the maximum height of the white region is smaller than the value obtained by multiplying the height of the binary image in the eye detection region by 0.6 (YES in step S14), the eye state in step S15.
- the determination unit 14 determines that the eyes are closed. That is, as shown in FIG. 9, when the eyes are closed, the maximum height 64 of the white region 61 is less than 60% of the height 63 of the binary image 432 of the eye detection region 422. Therefore, when the maximum height 64 of the white region 61 is smaller than the value obtained by multiplying the height of the binary image 432 of the eye detection region 422 by 0.6, the eye condition determination unit 14 is in the eye detection region 422. It is determined that the eyes are closed.
- step S14 when it is determined that the maximum height of the white region is equal to or greater than the value obtained by multiplying the height of the binary image in the eye detection region by 0.6 (NO in step S14), the eye condition determination is performed in step S16.
- the unit 14 determines that it is impossible to determine the open / closed state of the eyes.
- the output unit 15 When the eye state determination unit 14 determines that the eye open / closed state cannot be determined, the output unit 15 outputs determination result information indicating that the eye open / closed state cannot be determined. Alternatively, the determination result information may not be output.
- the eye condition determination unit 14 may determine that the eyes are closed without performing the process of step S14.
- the eye condition determination unit 14 does not perform the processing of step S12, and the maximum height of the white region is the binary image of the eye detection region. It may be determined whether or not the height is smaller than the value obtained by multiplying the height by 0.6. When it is determined that the maximum height of the white region is smaller than the value obtained by multiplying the height of the binary image in the eye detection region by 0.6, the eye condition determination unit 14 is in a state where the eyes are closed. It may be determined that. Further, when it is determined that the maximum height of the white region is equal to or greater than the value obtained by multiplying the height of the binary image in the eye detection region by 0.6, the eye condition determination unit 14 is in a state where the eyes are open. It may be determined that.
- FIG. 10 is a diagram showing an example of a display screen displayed on the display 3.
- the output unit 15 superimposes and displays the determination result information indicating whether the eyes are open or closed on the face image of the person displayed on the display 3. As shown in FIG. 10, the display 3 superimposes and displays the determination result information 441 and 442 on the face image 40.
- the determination result information 441 indicates a state in which the eyes are open, and is displayed in the vicinity of the frame indicating the eye detection area 421.
- the character "OPEN” indicating that the eyes are open is displayed on the display 3 as the determination result information 441.
- the determination result information 442 indicates a state in which the eyes are closed, and is displayed in the vicinity of the frame indicating the eye detection area 422.
- the character "CLOSE” indicating that the eyes are closed is displayed on the display 3 as the determination result information 442.
- the method of presenting the determination result information 441 and 442 is an example.
- the display 3 may display the eye detection area 421 indicating that the eyes are open and the eye detection area 422 indicating that the eyes are closed in different modes.
- a different aspect is, for example, changing the color.
- the eye opening / closing detection system 100 may further include a speaker.
- the output unit 15 may output sound from the speaker when it is determined by the eye condition determination unit 14 that the eyes are closed.
- the height of the binary image obtained by binarizing the eye detection area including the human eye area and the vertical direction between the upper end pixel and the lower end pixel in the first luminance region having the first luminance value Based on the maximum height at which the distance is maximum, it is determined whether the human eye is open or closed. Therefore, it is possible to suppress the influence of individual differences in the size and shape of the human eye and improve the detection accuracy of the open / closed state of the human eye.
- the open / closed state of the eyes is further determined using the height of the face region.
- the configuration of the eye opening / closing detection system in the first modification of the first embodiment is the same as the configuration of the eye opening / closing detection system in the first embodiment. Therefore, in the following, the configuration of the eye opening / closing detection system in the first modification of the first embodiment will be described with reference to FIGS. 1 and 2.
- the eye state determination unit 14 in the first modification of the first embodiment determines that the maximum height in the first luminance region is equal to or greater than the value obtained by multiplying the height of the binary image by the second coefficient
- the first 1 It is determined whether or not the maximum height in the luminance region is smaller than the value obtained by multiplying the height of the face region by the third coefficient smaller than the second coefficient and the second coefficient. Then, when the maximum height in the first luminance region is smaller than the value obtained by multiplying the height of the face region by the third coefficient and the second coefficient, the eye condition determination unit 14 is in a state where the eyes are closed. Judge that there is.
- the eye condition determination unit 14 keeps the eyes open. Judge that there is.
- the face area is an example of a fourth image showing a human face area.
- the second coefficient is, for example, 0.6.
- the third coefficient is, for example, 0.15.
- the eye condition determination unit 14 determines whether or not the maximum height in the first luminance region is smaller than the value obtained by multiplying the height of the face region by the third coefficient and the second coefficient.
- the third coefficient is not limited to 0.15, and may be any value indicating the ratio of the height of the eyes to the height of the face region.
- the eye condition determination process in the first modification of the first embodiment will be described.
- the eye open / close detection process other than the eye state determination process is the same as the eye open / close detection process in the first embodiment shown in FIG.
- FIG. 11 is a flowchart showing an example of the eye state determination process in the modification 1 of the first embodiment.
- steps S21 to S25 Since the processing of steps S21 to S25 is the same as the processing of steps S11 to S15 of FIG. 4, the description thereof will be omitted.
- step S26 the eye condition determination unit 14 Determines whether the maximum height of the white region is less than the height of the face region multiplied by 0.15 and 0.6.
- step S26 when it is determined that the maximum height of the white region is smaller than the value obtained by multiplying the height of the face region by 0.15 and 0.6 (YES in step S26), the eye condition determination is performed in step S27.
- the unit 14 determines that the eyes are closed.
- step S28 the eye condition determination unit. 14 determines that the eyes are open.
- the open / closed state of the eyes is determined using the ratio of, the open / closed state of the eyes can be detected with higher accuracy.
- the first embodiment it is determined whether or not the eyes are closed by using the height of the binary image in the eye detection area.
- the second modification of the first embodiment it is determined whether or not the eyes are closed by using the height of the face region.
- the configuration of the eye opening / closing detection system in the second modification of the first embodiment is the same as the configuration of the eye opening / closing detection system in the first embodiment. Therefore, in the following, the configuration of the eye opening / closing detection system in the second modification of the first embodiment will be described with reference to FIGS. 1 and 2.
- the eye state determination unit 14 in the second modification of the first embodiment determines that the maximum height in the first brightness region is equal to or less than the value obtained by multiplying the height of the binary image by the first coefficient
- the first 1 It is determined whether or not the maximum height in the brightness region is smaller than the value obtained by multiplying the height of the face region by the second coefficient smaller than the first coefficient and the third coefficient smaller than the second coefficient. Then, when the eye condition determination unit 14 determines that the maximum height in the first luminance region is smaller than the value obtained by multiplying the height of the face region by the second coefficient and the third coefficient, the eyes are closed. It is determined that the state is present.
- the eye condition determination unit 14 determines that the maximum height in the first luminance region is equal to or greater than the value obtained by multiplying the height of the face region by the second coefficient and the third coefficient, the eyes are opened. It is determined that the state is present.
- the face area is an example of a fourth image showing a human face area.
- the second coefficient is, for example, 0.6.
- the third coefficient is, for example, 0.15.
- the eye condition determination process in the second modification of the first embodiment will be described.
- the eye open / close detection process other than the eye state determination process is the same as the eye open / close detection process in the first embodiment shown in FIG.
- FIG. 12 is a flowchart showing an example of the eye state determination process in the second modification of the first embodiment.
- steps S31 to S33 Since the processing of steps S31 to S33 is the same as the processing of steps S11 to S13 of FIG. 4, the description thereof will be omitted.
- step S34 the eye condition determination unit 14 Determines whether the maximum height of the white region is less than the height of the face region multiplied by 0.15 and 0.6.
- step S34 when it is determined that the maximum height of the white region is smaller than the value obtained by multiplying the height of the face region by 0.15 and 0.6 (YES in step S34), the eye condition determination is performed in step S35.
- the unit 14 determines that the eyes are closed.
- step S36 the eye condition determination unit. 14 determines that the eyes are open.
- the maximum height of the white region with respect to the height of the face region is not the ratio of the maximum height of the white region to the height of the binary image of the eye detection region. Since it is determined whether or not the eyes are closed by using the ratio, it is possible to detect the open / closed state of the eyes with high accuracy even when the eye detection area is not properly detected.
- the eye condition determination unit 14 determines that the maximum height of the white region is equal to or greater than the value obtained by multiplying the height of the binary image in the eye detection region by a second coefficient (for example, 0.6). When it is determined, it is determined that it is impossible to determine the open / closed state of the eyes.
- the second embodiment it is determined that the maximum height of the white region is equal to or greater than the value obtained by multiplying the height of the binary image in the eye detection region by the second coefficient (for example, 0.6).
- the open / closed state of the eyes is determined using the aspect ratio of the binary image.
- FIG. 13 is a block diagram showing an example of the overall configuration of the eye opening / closing detection system 100A according to the second embodiment of the present disclosure.
- the same components as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
- the eye opening / closing detection device 1A includes a processor 10A and a memory 20.
- the processor 10A further includes an aspect ratio determining unit 16 with respect to the processor 10 of the eye opening / closing detection device 1 of the first embodiment.
- the aspect ratio determination unit 16 determines that the maximum height in the first luminance region is equal to or greater than the value obtained by multiplying the height of the binary image by the second coefficient, the aspect ratio (height) of the eye detection region is determined. Based on the ratio to the width), it is determined whether the human eye is open or closed.
- the aspect ratio determining unit 16 determines the open / closed state of the eyes by comparing the aspect ratio of the eye detection region with the threshold value.
- the aspect ratio determination unit 16 determines whether or not the aspect ratio of the eye detection region is equal to or greater than the threshold value.
- the aspect ratio of the eye detection area is a value obtained by dividing the width (horizontal length) of the rectangular eye detection area by the height (vertical length).
- the aspect ratio determination unit 16 determines that the eyes are closed.
- the aspect ratio determination unit 16 determines that the aspect ratio of the eye detection area is smaller than the threshold value, the aspect ratio determination unit 16 determines that the eyes are open.
- the aspect ratio determining unit 16 determines whether the human eye is open or closed based on the aspect ratio of the eye detection area.
- the present disclosure is not particularly limited to this, and even if it is determined whether the human eye is open or closed based on the aspect ratio of the binary image in the eye detection area. good.
- the eye condition determination process in the second embodiment will be described.
- the eye open / close detection process other than the eye state determination process is the same as the eye open / close detection process in the first embodiment shown in FIG.
- FIG. 14 is a flowchart showing an example of the eye state determination process in the second embodiment.
- steps S41 to S45 Since the processing of steps S41 to S45 is the same as the processing of steps S11 to S15 of FIG. 4, the description thereof will be omitted.
- step S46 the aspect ratio determination unit 16 Calculates the aspect ratio of the eye detection area by dividing the width (horizontal length) of the eye detection area by the height (vertical length).
- FIG. 15 is a diagram showing an example of an eye detection region 421 in a state where the eyes are open
- FIG. 16 is a diagram showing an example of an eye detection region 422 in a state where the eyes are closed.
- the eye detection areas 421 and 422 have a rectangular shape.
- the eye detection area 421 shown in FIG. 15 includes an open eye.
- the eye detection area 422 shown in FIG. 16 includes eyes in a closed state.
- the width of the eye detection area 421 is, for example, 263 pixels, and the height of the eye detection area 421 is, for example, 80 pixels.
- the aspect ratio of the eye detection area 421 is, for example, 3.29.
- the width of the eye detection area 422 is, for example, 288 pixels, and the height of the eye detection area 421 is, for example, 64 pixels.
- the aspect ratio of the eye detection area 421 is, for example, 4.5.
- the aspect ratio of the eye detection area 422 when the eyes are closed is larger than the aspect ratio of the eye detection area 421 when the eyes are open.
- step S47 the aspect ratio determination unit 16 determines whether or not the aspect ratio of the eye detection region is equal to or greater than the threshold value.
- the threshold is, for example, 4.0.
- step S48 the aspect ratio determination unit 16 determines that the eyes are closed.
- step S49 the aspect ratio determination unit 16 determines that the eyes are open.
- the open / closed state of the eye can be determined using the aspect ratio of the eye detection region. It is possible to improve the detection accuracy of the open / closed state of the human eye.
- the eye condition determination unit 14 determines that the maximum height of the white region is equal to or greater than the value obtained by multiplying the height of the binary image in the eye detection region by a second coefficient (for example, 0.6). When it is determined, it is determined that it is impossible to determine the open / closed state of the eyes. On the other hand, in the third embodiment, it is determined that the maximum height of the white region is equal to or greater than the value obtained by multiplying the height of the binary image in the eye detection region by the second coefficient (for example, 0.6).
- the eye detection region represented by the red component, the green component, and the blue component is converted into an HSV image represented by the hue component, the saturation component, and the color component, and the HSV image is converted into an HSV image.
- the open / closed state of the eye is determined using the binary image of the hue component.
- FIG. 17 is a block diagram showing an example of the overall configuration of the eye opening / closing detection system 100B according to the third embodiment of the present disclosure.
- the same components as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
- the eye opening / closing detection device 1B includes a processor 10B and a memory 20.
- the processor 10B further includes an HSV conversion unit 17, a binarization processing unit 18, and a white area determination unit 19 with respect to the processor 10 of the eye opening / closing detection device 1 of the first embodiment.
- the HSV conversion unit 17 determines that the maximum height in the first brightness region is equal to or greater than the value obtained by multiplying the height of the binary image by the second coefficient by the eye condition determination unit 14, the red component and the green color are used. From the eye detection region (RGB image) represented by the component and the blue component, an HSV image represented by the hue component, the saturation component and the lightness component is generated.
- the HSV image is an example of the fifth image.
- the HSV conversion unit 17 generates an HSV image from the eye detection region using a conversion formula that converts an RGB image into an HSV image. Since the conversion formula is a conventional technique, the description thereof will be omitted.
- the binarization processing unit 18 binarizes the hue component of the HSV image, and the pixel whose gradation value is smaller than the threshold value is represented by the third luminance value, and the pixel whose gradation value is equal to or more than the threshold value is represented by the fourth luminance value. Generate the represented binary image.
- the binary image is an example of the sixth image.
- As the binarization process for example, Otsu's binarization process can be adopted.
- the binarization processing unit 18 may execute the binarization processing on the hue component of the HSV image.
- the third luminance value is, for example, white
- the fourth luminance value is, for example, black.
- the white luminance value is represented by, for example, 255
- the black luminance value is represented by, for example, 0.
- the white region determination unit 19 determines whether the human eye is open or closed based on the third luminance region having the third luminance value.
- the third luminance value represents white.
- the white region determination unit 19 detects a white region in which a plurality of white pixels are continuous from a binary image.
- the white region determination unit 19 determines whether the human eye is open or closed based on the number or size of the white region detected from the binary image. When the number of white regions detected from the binary image is equal to or greater than the threshold value, the white region determination unit 19 determines that the eyes are open. Further, when the number of white regions detected from the binary image is smaller than the threshold value, the white region determination unit 19 determines that the eyes are closed.
- the white region determination unit 19 may determine that the eyes are open when the number of pixels in the largest white region detected from the binary image is equal to or greater than the threshold value. Further, the white region determination unit 19 may determine that the eyes are closed when the number of pixels in the largest white region detected from the binary image is smaller than the threshold value. Further, the white region determination unit 19 may determine that the eyes are closed when there is no white region in the binary image.
- the eye condition determination process in the third embodiment will be described.
- the eye open / close detection process other than the eye state determination process is the same as the eye open / close detection process in the first embodiment shown in FIG.
- FIG. 18 is a flowchart showing an example of the eye state determination process in the third embodiment.
- steps S61 to S65 Since the processing of steps S61 to S65 is the same as the processing of steps S11 to S15 of FIG. 4, the description thereof will be omitted.
- step S66 the HSV conversion unit 17 , An HSV image represented by the HSV color space is generated from the eye detection region represented by the RGB color space.
- step S67 the binarization processing unit 18 binarizes the hue component of the HSV image to generate a binary image.
- step S68 the white area determination unit 19 executes a labeling process on the binary image.
- the same number is assigned to a plurality of consecutive white pixels for a binary image.
- a plurality of white regions composed of a plurality of continuous white pixels are detected from the binary image.
- FIG. 19 is a diagram showing an example of an RGB image, an HSV image and a binary image in a state where the eyes are open
- FIG. 20 is a diagram showing an RGB image, an HSV image and a binary image in a state where the eyes are closed. It is a figure which shows an example.
- the cornea (black eye) portion in the eye detection region (RGB image) with the eyes open The difference between the RGB image of the open eye and the RGB image of the closed eye is whether or not light is reflected in the corneal portion. That is, light is reflected in the corneal portion of the open eye, whereas the cornea itself does not exist in the closed eye.
- the light reflected in the corneal portion appears prominently in the hue component in the HSV color space.
- the feature amount corresponding to the light reflected on the corneal portion is extracted by generating an HSV image from the RGB image and generating a binary image of the hue component of the HSV image. As shown in FIG.
- the white region determination unit 19 can determine the open / closed state of the eyes by counting the number of white regions in the binary image of the hue component.
- step S69 the white region determination unit 19 determines whether or not the number of white regions is equal to or greater than the threshold value.
- the white region determination unit 19 determines that the eyes are open.
- step S71 the white region determination unit 19 determines that the eyes are closed.
- the hue component of the HSV image in the eye detection region can be used.
- the open / closed state of the eyes can be determined using the generated binary image, and the detection accuracy of the open / closed state of the human eye can be improved.
- step S47 of FIG. 14 when it is determined in step S47 of FIG. 14 that the aspect ratio of the eye detection region is smaller than the threshold value (NO in step S47), the processes of steps S66 to S71 of FIG. 18 may be performed.
- FIG. 21 is a block diagram showing an example of the overall configuration of the eye opening / closing detection system 100C according to the fourth embodiment of the present disclosure.
- the eye opening / closing detection device 1C in the fourth embodiment further detects the position of the upper eyelid and the position of the lower eyelid.
- the same components as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.
- the processor 10C of the eye opening / closing detection device 1C further includes an iris detection processing unit 21, an eyelid detection unit 22, and a state estimation unit 24 with respect to the processor 10 of the eye opening / closing detection device 1 of the first embodiment.
- the iris detection processing unit 21 is a pixel having a second luminance value that appears in the first luminance region having the first luminance value in the binary image generated by the binarization processing unit 13, and satisfies a predetermined condition.
- a binary image is generated by replacing the pixel with the binary luminance value with the pixel with the first luminance value. Then, the iris detection processing unit 21 calculates iris information including information on at least one of the position and size of the human iris using the binary image.
- the eyelid detection unit 22 detects the position of the upper eyelid and the position of the lower eyelid of the person U1 based on the binary image generated by the binarization processing unit 13.
- the eyelid detection unit 22 may detect the position of the upper eyelid and the position of the lower eyelid by performing a morphology gradient calculation on the binary image.
- the eyelid detection unit 22 detects the position of the upper eyelid and the position of the lower eyelid for each of the binary image of the left eye and the binary image of the right eye.
- the state estimation unit 24 is based on the open / closed state of the human eye determined by the eye condition determination unit 14 and the positions of the upper and lower eyelids of the person detected by the eyelid detection unit 22. To estimate.
- the state of a person is, for example, the degree of arousal of the person.
- the state estimation unit 24 estimates the degree of arousal of a person based on the open / closed state of the eyes and the positions of the upper eyelid and the lower eyelid.
- the state of a person may be, for example, the degree of fatigue of the person.
- the state estimation unit 24 may estimate the degree of fatigue of a person based on the open / closed state of the eyes and the positions of the upper eyelid and the lower eyelid.
- the state estimation unit 24 is based on the open / closed state of the human eye determined by the eye condition determination unit 14 and the positions of the upper and lower eyelids of the person detected by the eyelid detection unit 22. You may estimate your feelings.
- FIG. 22 is a flowchart showing an example of processing of the eye opening / closing detection device 1C according to the fourth embodiment of the present disclosure.
- steps S81 to S86 Since the processing of steps S81 to S86 is the same as the processing of steps S1 to S6 of FIG. 3, the description thereof will be omitted.
- step S87 the iris detection processing unit 21 calculates the iris information by applying the iris detection processing to the binary image generated by the binarization processing unit 13.
- the iris detection processing unit 21 separates the binary image by a predetermined pixel in the X direction and divides the binary image into a plurality of local regions. For example, the iris detection processing unit 21 divides the binary image into 10 evenly in the horizontal direction. As a result, the binary image is divided into ten strip-shaped local regions with the Y direction as the longitudinal direction. Here, the iris detection processing unit 21 divides the binary image into 10 local regions, which is an example. The number of divisions may be an integer of 2 or more and 9 or less or an integer of 11 or more.
- the Y direction refers to the vertical direction (vertical direction) of the image captured by the image pickup apparatus 2.
- the iris detection processing unit 21 calculates the average luminance value of each of the 10 local regions.
- the iris detection processing unit 21 calculates the X coordinate of the iris estimation center position.
- the estimated iris center position is the estimated position of the iris center position and is different from the finally calculated iris center position. Due to the effects of double eyelids, eyelash thickness, false eyelashes, etc., these areas may appear as large white areas. In this case, the white part of the eye may be filled. In order to avoid such a situation, the iris estimation center position is calculated in the second embodiment.
- the iris detection processing unit 21 calculates the coordinates of the midpoint in the X direction of the local region having the maximum average luminance value among the plurality of local regions as the X coordinates of the iris estimation center position.
- the midpoint of the local region in the X direction may not be appropriate as the X coordinate of the iris estimation center position.
- the left end or the right end of the local region in the X direction may be calculated as the X coordinate of the iris estimation center position.
- the iris detection processing unit 21 calculates the Y coordinate of the iris estimation center position.
- the iris detection processing unit 21 detects the uppermost end point of the white pixel and the lowermost end point of the white pixel in the local region where the X coordinate of the iris estimation center position exists, and determines the midpoint between the uppermost end point and the lowest end point. Calculated as the Y coordinate of the estimated center position of the iris.
- the uppermost end point and the lowermost end point may appear in a local region adjacent to the left or a local region adjacent to the right.
- the iris detection processing unit 21 calculates and calculates the uppermost end point and the lowermost end point in the local region where the X coordinate of the iris estimation center position exists and the two local regions adjacent to the left and right of the local region.
- the average top point is calculated by averaging the top points
- the average bottom point is calculated by averaging the three calculated bottom points
- the midpoint between the average top point and the average bottom point is the center of iris estimation. It may be calculated as the Y coordinate of the position.
- the iris detection processing unit 21 executes a filling process on the binary image.
- a visible light image external light or a background may be reflected on the cornea depending on the brightness of the surroundings.
- bright color areas such as white appear in the pupil, which is black or brown.
- a black island region appears in the pupil region, and the iris information cannot be detected with high accuracy. Therefore, in the second embodiment, a fill process for filling the black island region is executed.
- the iris detection processing unit 21 sets a vertical line parallel to the Y direction at the X coordinate of the iris estimation center position with respect to the binary image.
- the iris detection processing unit 21 detects the white pixel that first appears from the upper end side of the binary image in the vertical line as the upper end pixel.
- the iris detection processing unit 21 detects the white pixel that first appears from the lower end side of the binary image in the vertical line as the lower end pixel.
- the iris detection processing unit 21 determines whether or not the distance between the upper end pixel and the lower end pixel is larger than the first reference distance.
- the iris detection processing unit 21 determines that the distance between the upper end pixel and the lower end pixel is larger than the first reference distance, the black pixel between the upper end pixel and the lower end pixel in the vertical line satisfies a predetermined condition. It is determined as a black pixel, and this black pixel is replaced with a white pixel.
- the iris detection processing unit 21 determines that the distance between the upper end pixel and the lower end pixel is equal to or less than the first reference distance, the iris detection processing unit 21 does not replace the vertical line.
- the first reference distance for example, a reasonable distance is adopted based on the assumed iris diameter.
- the iris detection processing unit 21 executes such a filling process for each vertical line within the range of the left reference distance from the iris estimation center position toward the left side in the X direction, and also toward the right side in the X direction from the iris estimation center position. Execute for each vertical line within the range of the right reference distance.
- the sum of the left reference distance range and the right reference distance range is an example of the second reference distance.
- the left reference distance range and the right reference distance range are, for example, the same range.
- As the second reference distance for example, a distance slightly larger than the assumed iris diameter is adopted. As a result, the fill process can be applied intensively to the vertical lines located in the pupil region.
- the iris detection processing unit 21 detects the leftmost pixel and the rightmost pixel in the pupil region, respectively.
- the iris detection processing unit 21 examines the change in the luminance value one pixel at a time in the X direction from the iris estimation center position as a starting point in the white region of the binary image. Then, the iris detection processing unit 21 detects the black pixel that first appears on the left side in the X direction as the leftmost pixel, and detects the black pixel that first appears on the right side in the X direction as the rightmost pixel.
- the iris detection processing unit 21 calculates the intermediate position between the leftmost pixel and the rightmost pixel as the X coordinate of the iris center position.
- the iris detection processing unit 21 detects the upper end pixel and the lower end pixel of the pupil region, respectively.
- the iris detection processing unit 21 examines the change in the luminance value one pixel at a time in the Y direction, starting from the X coordinate of the iris center position in the white region of the binary image. Then, the iris detection processing unit 21 detects the black pixel that first appears on the upper side in the Y direction as the upper end pixel, and detects the black pixel that first appears on the lower side in the Y direction as the lower end pixel.
- the iris detection processing unit 21 calculates the intermediate position between the upper end pixel and the lower end pixel as the Y coordinate of the iris center position. From the above, the position of the center of the iris is calculated.
- the above is the explanation of the iris detection process.
- the iris detection processing unit 21 calculates iris information including the iris center position.
- step S88 the eyelid detection unit 22 detects the position of the upper eyelid and the position of the lower eyelid by the morphology gradient calculation.
- FIG. 23 is a diagram showing a binary image 70 before the morphology gradient calculation is executed.
- a binary image 70 is generated in which dark parts such as pupils and eyelashes are shown in white and bright parts such as white eyes and skin are shown in black in the eye detection region.
- the white region D1 shown in FIG. 23 is composed of white pixels.
- the eyelid detection unit 22 applies the expansion process to the binary image 70.
- the expansion process is a process of replacing the pixel of interest with a white pixel if there is at least one white pixel in the vicinity of the pixel of interest.
- the eyelid detection unit 22 applies the shrinkage process to the binary image 70.
- the shrinkage process is a process of replacing the pixel of interest with a black pixel if there is at least one black pixel in the vicinity of the pixel of interest.
- FIG. 24 is a diagram showing an expansion image 81 and a contraction image 82 in which expansion processing and contraction processing are executed on a binary image 70.
- the white region D1 included in the expansion image 81 is expanded more than the white region D1 included in the binary image 70.
- the white region D1 included in the shrinkage image 82 is shrunk more than the white region D1 included in the binary image 70.
- the eyelid detection unit 22 calculates a gradient image by subtracting the contraction image 82 from the expansion image 81.
- FIG. 25 is a diagram showing a gradient image 83.
- the gradient image 83 includes the edge E1 of the white region D1 of the binary image 70.
- the eyelid detection unit 22 detects the uppermost end position of the edge E1 as the position P10 of the upper eyelid.
- the eyelid detection unit 22 may detect the intersection of the vertical line passing through the iris center position P0 detected by the iris detection processing unit 21 and the upper edge E1 as the upper eyelid position P10. Further, the eyelid detection unit 22 detects the intersection of the vertical line passing through the iris center position P0 detected by the iris detection processing unit 21 and the lower edge E1 as the lower eyelid position P11. As a result, it is possible to detect the position of the lower eyelid, which has a small change in brightness and is difficult to clearly appear in the binary image 70.
- the eyelid detection unit 22 may detect the portion of the upper edge E1 connecting the left end and the right end of the gradient image 83 as the upper eyelid line.
- the eyelid detection unit 22 detects the uppermost end position of the edge E1 as the upper eyelid position P10, and lowers the intersection of the straight line extending vertically downward from the detected upper eyelid position P10 and the lowermost edge E1. It may be detected as the position P11 of the eyelid. In this case, since it is not necessary to detect the iris center position P0, the process of step S87 can be omitted.
- the state estimation unit 24 determines the open / closed state of the human eye determined by the eye condition determination unit 14, and the position of the upper eyelid and the lower eyelid of the person detected by the eyelid detection unit 22. Estimate the condition of a person based on. At this time, the state estimation unit 24 calculates the distance between the position of the upper eyelid and the position of the lower eyelid when the eyes are open. The state estimation unit 24 calculates the ratio of the distance between the position of the upper eyelid and the position of the lower eyelid to the height of the eye detection area. Then, when the calculated ratio is equal to or less than the threshold value, the state estimation unit 24 estimates that the arousal degree of the person is reduced. Further, the state estimation unit 24 estimates that the arousal degree of the person is high when the calculated ratio is higher than the threshold value. Further, the state estimation unit 24 estimates that the person is not awake and is in a sleeping state when both eyes are closed.
- state estimation unit 24 may estimate that the degree of human fatigue is high when the calculated ratio is equal to or less than the threshold value. Further, the state estimation unit 24 may estimate that the degree of human fatigue is low when the calculated ratio is higher than the threshold value.
- step S90 the output unit 15 generates a display screen by superimposing the estimation result by the state estimation unit 24 on the face image calculated in step S1 and displays it on the display 3. For example, on the display screen, the state of a person (for example, the degree of arousal) is displayed together with the face image.
- the output unit 15 may superimpose the determination result of the open / closed state of the human eye on the face image and display it on the display 3.
- the state estimation unit 24 may estimate whether or not the upper eyelid is in a convulsive state based on the time-series data of the upper eyelid position P10. That is, the state estimation unit 24 estimates that the upper eyelid is in a convulsive state when the position P10 of the upper eyelid moves up and down at a predetermined interval within a predetermined period.
- the human condition or human emotion can be estimated using the determination result of the open / closed state of the eyes and the detection result of the position of the upper eyelid and the position of the lower eyelid.
- FIG. 26 is a block diagram showing an example of the overall configuration of the eye opening / closing detection system 100D according to the fifth embodiment of the present disclosure.
- the eye opening / closing detection device 1D in the fifth embodiment further detects the position of the outer corner of the eye and the position of the inner corner of the eye.
- the same components as those in the first and fourth embodiments are designated by the same reference numerals, and the description thereof will be omitted.
- the processor 10D of the eye opening / closing detection device 1D further includes an iris detection processing unit 21, an outer corner of the eye detection unit 23, and a state estimation unit 24D with respect to the processor 10 of the eye opening / closing detection device 1 of the first embodiment.
- the outer corner of the eye detection unit 23 detects the position of the outer corner of the eye and the position of the inner corner of the eye from the binary image generated by the binarization processing unit 13.
- the outer corner of the eye detection unit 23 detects the position of the outer corner of the eye and the position of the inner corner of the eye based on a binary image of either the left eye or the right eye of a person.
- the outer corner of the eye detection unit 23 detects the position of the outer corner of the eye and the position of the inner corner of the eye for each of the binary image of the left eye and the binary image of the right eye.
- the outer corner of the eye detection unit 23 detects the position of the leftmost pixel in the lateral direction having the first luminance value as the position of either the outer corner of the eye or the inner corner of the eye in the binary image, and the right end in the lateral direction having the first luminance value.
- the position of the pixel is detected as the position of either the outer corner of the eye or the inner corner of the eye.
- the state estimation unit 24D detects the open / closed state of the human eye determined by the eye condition determination unit 14, the position of the outer corner of the eye and the position of the inner corner of the eye detected by the outer corner of the eye detection unit 23, and the position of the inner corner of the eye, and the iris detection processing unit 16.
- the human condition is estimated based on the position of the center of the iris.
- the state of a person is, for example, a state in which the person is embarrassed, a state in which the person is upset, or a state in which the person is tense.
- the state estimation unit 24D is based on the open / closed state of the eye, the position of the outer corner of the eye, the position of the inner corner of the eye, and the center position of the iris. Estimate that you are in a state of being.
- the state estimation unit 24D determines whether or not blinking is performed a predetermined number of times or more within a predetermined time based on the time-series data of the open / closed state of the eyes.
- the state estimation unit 24D calculates the distance between the center position of the iris and the position of the outer corner of the eye, or the distance between the center position of the iris and the position of the inner corner of the eye. In the state estimation unit 24D, whether the iris center position is moving from side to side in small steps based on the time-series data of the distance between the iris center position and the position of the outer corner of the eye or the distance between the position of the center of the iris and the position of the inner corner of the eye. Judge whether or not.
- the state estimation unit 24D determines that the iris center position is moving from side to side in small steps when the distance between the iris center position and the position of the outer corner of the eye changes a predetermined number of times within a predetermined period. Even if the state estimation unit 24D determines that the iris center position is moving from side to side in small steps when the distance between the iris center position and the inner corner of the eye is changed a predetermined number of times within a predetermined period. good.
- the state estimation unit 24D determines that the blinking is performed more than a predetermined number of times within a predetermined time and determines that the center position of the iris is moving in small steps from side to side, the person is embarrassed. It is presumed that the person is upset or the person is tense.
- the state estimation unit 24D includes the open / closed state of the human eye determined by the eye condition determination unit 14, the position of the outer corner of the eye and the position of the inner corner of the eye detected by the outer corner of the eye detection unit 23, and the iris detection processing unit 16.
- a person's emotions may be estimated based on the iris center position detected by.
- FIG. 27 is a flowchart showing an example of processing of the eye opening / closing detection device 1D according to the fifth embodiment of the present disclosure.
- steps S101 to S106 Since the processing of steps S101 to S106 is the same as the processing of steps S1 to S6 in FIG. 3, the description thereof will be omitted.
- step S107 the outer corner of the eye detection unit 23 detects the position of the outer corner of the eye and the position of the inner corner of the eye.
- FIG. 28 is a diagram showing a binary image 70 in which the positions of the outer corners of the eyes and the inner corners of the eyes are detected.
- the X coordinate of the left end of the white region D1 is the X coordinate (X11) of the left end of the binary image 70, and the white region D1.
- the X coordinate at the right end of is the X coordinate (X12) at the right end of the binary image 70, and both X coordinates have been calculated when the binary image 70 is generated. Therefore, the outer corner of the eye detection unit 23 calculates the position 12 of the outer corner of the eye and the position P13 of the inner corner of the eye using both the calculated X coordinates. Since FIG. 28 is a binary image 70 of the left eye, the left end of the white region D1 is the position P12 of the outer corner of the eye, and the right end of the white region D1 is the position P13 of the inner corner of the eye.
- the outer and inner corners of the eyes detection unit 23 searches for white pixels one pixel at a time from the lower end of the binary image 70 at the X coordinate (X11) toward the upper end. Then, the outer corner of the eye detection unit 23 determines the Y coordinate of the first detected white pixel as the Y coordinate of the position P12 of the outer corner of the eye. Similarly, the outer and inner corner detection unit 23 searches for white pixels one pixel at a time from the lower end of the binary image 70 at the X coordinate (X12) toward the upper end. Then, the inner corner of the eye detection unit 23 determines the Y coordinate of the first detected white pixel as the Y coordinate of the position P13 of the inner corner of the eye. From the above, the position P12 of the outer corner of the eye and the position P13 of the inner corner of the eye are detected.
- step S108 Since the process of step S108 is the same as the process of step S87 of FIG. 22, the description thereof will be omitted.
- step S109 the state estimation unit 24D determines the open / closed state of the human eye determined by the eye condition determination unit 14, the position of the outer corner of the eye and the position of the inner corner of the eye detected by the outer corner of the eye detection unit 23.
- the state of a person is estimated based on the position of the center of the iris detected by the iris detection processing unit 16.
- step S110 the output unit 15 generates a display screen by superimposing the estimation result by the state estimation unit 24D on the face image calculated in step S1 and displays it on the display 3. For example, on the display screen, the estimation result of the human condition is displayed together with the face image.
- the output unit 15 may superimpose the determination result of the open / closed state of the human eye on the face image and display it on the display 3.
- the human condition or human emotion can be estimated using the determination result of the open / closed state of the eye, the detection result of the position of the outer corner of the eye and the position of the inner corner of the eye, and the detection result of the center position of the iris.
- the eye opening / closing detection system 100D may further include an input device that performs an input operation by moving the eyes.
- the input device may move the pointer displayed on the display 3 according to the distance between the position of the center of the iris and the position of the outer corner of the eye or the position of the inner corner of the eye.
- each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
- the program may also be implemented by another independent computer system by recording and transporting the program on a recording medium or by transporting the program over a network.
- LSI Large Scale Integration
- FPGA Field Programmable Gate Array
- reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
- a part or all of the functions of the apparatus according to the embodiment of the present disclosure may be realized by executing a program by a processor such as a CPU.
- each step shown in the above flowchart is executed is for exemplifying the present disclosure in detail, and may be an order other than the above as long as the same effect can be obtained. .. Further, a part of the above steps may be executed simultaneously with other steps (parallel).
- the technique according to the present disclosure can improve the detection accuracy of the open / closed state of the human eye, and is therefore useful as a technique for detecting the open / closed state of the human eye from an image.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
目開閉検出装置は、撮像装置により撮像された人の顔を含む第1画像を取得し、第1画像から人の目の領域を含む第2画像を生成し、第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成し、第3画像の高さと、第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、人の目が開いている状態と閉じている状態とのいずれであるかを判定し、判定の結果に関する情報を出力する。
Description
本開示は、画像から人の目の開閉状態を検出する技術に関するものである。
画像から人の目の開閉状態を検出する技術は、人の感情又は人の状態(例えば、人の覚醒度及び目の疲労度等)を推定するための要素技術として注目されている。人の目の開閉状態を検出する技術として下記の文献が知られている。
例えば、特許文献1の目開閉判定装置は、入力された画像に基づいて目の領域のエッジ検出を行うエッジ検出部と、エッジ検出を行った目の領域に対して二値化処理を行う二値化処理部と、二値化処理を行った目の領域のデータに基づいて目の開閉の判定を行う目開閉判定部とを備えている。
また、例えば、特許文献2の画像処理装置は、顔が含まれる撮影画像において、目を含む目領域を特定する目領域特定部と、目が開いているか閉じているかを判定する目開閉判定部と、目が開いているか閉じているかによって、目領域に対して異なる処理をする画像処理部とを備えている。
しかしながら、上記従来の技術では、人の目の開閉状態の検出精度が低く、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、人の目の開閉状態の検出精度を向上させることができる技術を提供することを目的とするものである。
本開示の一態様に係る目開閉検出方法は、コンピュータが、撮像装置により撮像された人の顔を含む第1画像を取得し、前記第1画像から前記人の目の領域を含む第2画像を生成し、前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成し、前記第3画像の高さと、前記第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定し、判定の結果に関する情報を出力する。
本開示によれば、人の目の開閉状態の検出精度を向上させることができる。
(本開示の基礎となった知見)
上記の特許文献1における目の開閉の判定では、二値化処理した画素のうち黒色画素の割合が閾値以上になった場合には目が開いていると判定され、黒色画素の割合が閾値より小さい場合には目が閉じていると判定される。
上記の特許文献1における目の開閉の判定では、二値化処理した画素のうち黒色画素の割合が閾値以上になった場合には目が開いていると判定され、黒色画素の割合が閾値より小さい場合には目が閉じていると判定される。
また、上記の特許文献2における目の開閉の判定では、右目領域及び左目領域のそれぞれにおいて、二値化した一方の白色の画素数が事前に指定した画素数よりも多い場合には目が開いていると判定され、二値化した一方の白色の画素数が事前に指定した画素数以下である場合には目が閉じていると判定される。
人の目の大きさ及び形状には個人差がある。また、人の目の大きさ及び形状は、つけまつげ及び化粧の影響により変化するおそれがある。そのため、上記の従来技術のように、二値化した一方の画素の割合又は二値化した一方の画素の数に応じて目の開閉状態を検出したとしても、人の目の開閉状態を高い精度で検出することは困難である。
以上の課題を解決するために、本開示の一態様に係る目開閉検出方法は、コンピュータが、撮像装置により撮像された人の顔を含む第1画像を取得し、前記第1画像から前記人の目の領域を含む第2画像を生成し、前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成し、前記第3画像の高さと、前記第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定し、判定の結果に関する情報を出力する。
この構成によれば、人の目の領域を含む第2画像を二値化した第3画像の高さと、第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、人の目が開いている状態と閉じている状態とのいずれであるかが判定される。したがって、人の目の大きさ及び形状の個人差による影響を抑制し、人の目の開閉状態の検出精度を向上させることができる。
また、上記の目開閉検出方法において、前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに第1係数を乗算した値よりも大きいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに第1係数を乗算した値よりも大きいと判定した場合、前記目が開いている状態であると判定してもよい。
目が開いている状態と目が閉じている状態とでは、第3画像の高さに対する第1輝度領域内の最大高さの割合が異なる。目が開いている状態では、第3画像の高さと第1輝度領域内の最大高さとが実質的に同じになる。そのため、第1輝度領域内の最大高さと、第3画像の高さに第1係数を乗算した値とを比較することにより、目が開いている状態であることを高い精度で判定することができる。
また、上記の目開閉検出方法において、前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに第1係数を乗算した値以下であると判定した場合、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第1係数よりも小さい第2係数を乗算した値よりも小さいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値よりも小さいと判定した場合、前記目が閉じている状態であると判定してもよい。
目が開いている状態と目が閉じている状態とでは、第3画像の高さに対する第1輝度領域内の最大高さの割合が異なる。目が閉じている状態の第1輝度領域内の最大高さは、目が開いている状態の第1輝度領域内の最大高さよりも短くなる。そのため、第1輝度領域内の最大高さと、第3画像の高さに第1係数よりも小さい第2係数を乗算した値とを比較することにより、目が閉じている状態であることを高い精度で判定することができる。
また、上記の目開閉検出方法において、さらに、前記第1画像から、前記人の顔の領域を示す第4画像を生成し、前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値以上であると判定した場合、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第2係数よりも小さい第3係数と前記第2係数とを乗算した値よりも小さいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第3係数と前記第2係数とを乗算した値よりも小さい場合、前記目が閉じている状態であると判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第3係数と前記第2係数とを乗算した値以上である場合、前記目が開いている状態であると判定してもよい。
この構成によれば、人の目の領域を含む第3画像の高さに対する第1輝度領域内の最大高さの割合だけでなく、人の顔の領域を示す第4画像の高さに対する第1輝度領域内の最大高さの割合を用いて、人の目が開いている状態と閉じている状態とのいずれであるかが判定されるので、より高い精度で目の開閉状態を検出することができる。
また、上記の目開閉検出方法において、さらに、前記第1画像から、前記人の顔の領域を示す第4画像を生成し、前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第1係数を乗算した値以下であると判定した場合、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第1係数よりも小さい第2係数と前記第2係数よりも小さい第3係数とを乗算した値よりも小さいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第2係数と前記第3係数とを乗算した値よりも小さいと判定した場合、前記目が閉じている状態であると判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第2係数と前記第3係数とを乗算した値以上である場合、前記目が開いている状態であると判定してもよい。
この構成によれば、人の目の領域を含む第3画像の高さに対する第1輝度領域内の最大高さの割合ではなく、人の顔の領域を示す第4画像の高さに対する第1輝度領域内の最大高さの割合を用いて、目が閉じているか否かが判定されるので、第3画像が適切に検出されていない場合であっても、高い精度で目の開閉状態を検出することができる。
また、上記の目開閉検出方法において、前記第2画像は矩形状であり、前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値以上であると判定した場合、前記第2画像の高さと横幅との比率に基づいて、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定してもよい。
閉じている状態の目の高さは、開いている状態の目の高さよりも短くなる傾向にある。そのため、第3画像の高さと第1輝度領域内の最大高さとを用いて目の開閉状態が判定できない場合であっても、人の目の領域を含む第2画像の縦横比を用いて目の開閉状態を判定することができ、人の目の開閉状態の検出精度を向上させることができる。
また、上記の目開閉検出方法において、前記第2画像は、赤色成分、緑色成分及び青色成分により表され、さらに、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値以上であると判定した場合、前記第2画像から、色相成分、彩度成分及び明度成分により表される第5画像を生成し、さらに、前記第5画像の前記色相成分を二値化して、階調値が閾値より小さい画素が第3輝度値で表され、階調値が閾値以上の画素が第4輝度値で表された第6画像を生成し、さらに、前記第3輝度値を有する第3輝度領域に基づいて、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定してもよい。
開いた目を撮像した可視光画像と、閉じた目を撮像した可視光画像との違いは、角膜部分に光が映り込んでいるか否かである。すなわち、開いた目の角膜部分には光が映り込んでいるのに対し、閉じた目には角膜自体が存在しない。角膜部分に映り込んだ光は、色相成分、彩度成分及び明度成分により表される色空間における色相成分に顕著に表れる。角膜部分に映り込んだ光に相当する特徴量は、色相成分、彩度成分及び明度成分により表される第5画像の色相成分を二値化した第6画像が生成されることにより抽出される。そのため、第3画像の高さと第1輝度領域内の最大高さとを用いて目の開閉状態が判定できない場合であっても、色相成分、彩度成分及び明度成分により表される第5画像の色相成分を二値化した第6画像における、角膜部分に映り込んだ光に相当する特徴量の有無が判定されることにより、目の開閉状態を判定することができ、人の目の開閉状態の検出精度を向上させることができる。
また、上記の目開閉検出方法において、さらに、前記第3画像に基づいて上まぶたの位置及び下まぶたの位置をそれぞれ検出してもよい。
この構成によれば、第3画像に基づいて上まぶたの位置及び下まぶたの位置がそれぞれ検出されるので、目の開閉状態と、上まぶたの位置及び下まぶたの位置とに基づいて、人の感情又は人の状態を推定することができる。
また、上記の目開閉検出方法において、前記上まぶたの位置及び前記下まぶたの位置の検出において、前記第3画像に対してモルフォロジー勾配演算を行うことによって前記上まぶたの位置及び前記下まぶたの位置を検出してもよい。
この構成によれば、二値化された第3画像に対してモルフォロジー勾配演算を行うことによって上まぶたの位置及び下まぶたの位置が検出されているため、上まぶたの位置及び下まぶたの位置を精度よく検出できる。
また、上記の目開閉検出方法において、前記第3画像は、前記人の左目及び右目のいずれか一方の二値画像であり、さらに、前記第3画像に基づいて目尻の位置及び目頭の位置をそれぞれ検出してもよい。
この構成によれば、第3画像に基づいて目尻の位置及び目頭の位置がそれぞれ検出されるので、目の開閉状態と、目尻の位置及び目頭の位置とに基づいて、人の感情又は人の状態を推定することができる。
また、上記の目開閉検出方法において、前記目尻の位置及び前記目頭の位置の検出において、前記第3画像において、前記第1輝度値を有する横方向の左端の画素の位置を前記目尻及び前記目頭のいずれか一方の位置として検出し、前記第1輝度値を有する前記横方向の右端の画素の位置を前記目尻及び前記目頭のいずれか他方の位置として検出してもよい。
この構成によれば、左目及び右目のいずれか一方の二値画像である第3画像において、第1輝度値を有する横方向の左端の画素の位置が、目尻及び目頭のいずれか一方の位置として検出され、第1輝度値を有する横方向の右端の画素の位置が目尻及び目頭のいずれか他方の位置として検出されている。そのため、目尻の位置及び目頭の位置を容易に検出できる。
また、上記の目開閉検出方法において、さらに、前記目が開いている状態と閉じている状態とのいずれであるかを示す情報をディスプレイに表示される前記人の顔画像に重畳して表示してもよい。
この構成によれば、目が開いている状態と閉じている状態とのいずれであるかを示す情報がディスプレイに表示される人の顔画像に重畳して表示されるので、目の開閉状態の判定結果をリアルタイムで顔画像上に表示することができる。
また、本開示は、以上のような特徴的な処理を実行する目開閉検出方法として実現することができるだけでなく、目開閉検出方法が実行する特徴的な方法に対応する特徴的な構成を備える目開閉検出装置などとして実現することもできる。また、このような目開閉検出方法に含まれる特徴的な処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。したがって、以下の他の態様でも、上記の目開閉検出方法と同様の効果を奏することができる。
本開示の他の態様に係る目開閉検出装置は、撮像装置により撮像された人の顔を含む第1画像を取得する取得部と、前記第1画像から前記人の目の領域を含む第2画像を生成する目領域検出部と、前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成する二値化処理部と、前記第3画像の高さと、前記第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定する判定部と、判定の結果に関する情報を出力する出力部と、を備える。
本開示の他の態様に係る目開閉検出プログラムは、コンピュータに、撮像装置により撮像された人の顔を含む第1画像を取得し、前記第1画像から前記人の目の領域を含む第2画像を生成し、前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成し、前記第3画像の高さと、前記第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定し、判定の結果に関する情報を出力する、処理を実行させる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
(実施の形態1)
図1は、本開示の実施の形態1における目開閉検出システム100の外観図である。目開閉検出システム100は、スマートフォン又はタブレット端末等の携帯端末装置により構成されている。但し、これは一例であり、目開閉検出システム100は、据え置き型のコンピュータ又はクラウドサーバとカメラとディスプレイとを適宜組み合わせて構成されてもよい。
図1は、本開示の実施の形態1における目開閉検出システム100の外観図である。目開閉検出システム100は、スマートフォン又はタブレット端末等の携帯端末装置により構成されている。但し、これは一例であり、目開閉検出システム100は、据え置き型のコンピュータ又はクラウドサーバとカメラとディスプレイとを適宜組み合わせて構成されてもよい。
目開閉検出システム100は、目開閉検出装置1、撮像装置2、及びディスプレイ3を含む。目開閉検出装置1は、撮像装置2により撮像された人U1の目の開閉状態を検出する。
撮像装置2は、携帯端末装置に実装されたカメラで構成されている。撮像装置2は、所定のフレームレートでカラーの可視光画像が取得可能なカメラである。
ディスプレイ3は、携帯端末装置に実装された液晶表示装置又は有機EL(Electro Luminescence)表示装置等の表示装置で構成されている。ディスプレイ3は、撮像装置2が撮像した人U1の顔の画像を表示する。さらに、ディスプレイ3は、人U1の顔の画像に目開閉検出装置1が検出した目の開閉状態に関する情報を重畳表示させる。
図2は、本開示の実施の形態1における目開閉検出システム100の全体構成の一例を示すブロック図である。目開閉検出装置1は、プロセッサ10及びメモリ20を備える。プロセッサ10は、例えばCPU(Central Processing Unit)で構成されている。プロセッサ10は、画像取得部11、目領域検出部12、二値化処理部13、目状態判定部14及び出力部15を備える。画像取得部11、目領域検出部12、二値化処理部13、目状態判定部14及び出力部15は例えばプロセッサ10が目開閉検出プログラムを実行することで実現される。
画像取得部11は、撮像装置2により撮像された画像を取得する。ここで、取得される画像には、人U1の顔が含まれる。以下、顔が含まれる画像を顔画像と呼ぶ。画像取得部11は、所定のフレームレートで撮像される顔画像を順次に取得する。顔画像は人の顔を含む第1画像の一例である。
目領域検出部12は、顔画像から人の目の領域を含む目検出領域を生成する。目領域検出部12は、画像取得部11が取得した顔画像から人物の顔を示す顔領域を検出する。目領域検出部12は、顔領域を検出するために予め作成された分類器に顔画像を入力することで顔領域を検出すればよい。この分類器は、例えば、ハール(Haar)状のカスケード分類器で構成される。顔領域は、例えば顔の全体を含む程度のサイズを持つ矩形状の領域である。顔領域は人の顔の領域を示す第4画像の一例である。
目領域検出部12は、目検出領域を検出するために予め作成された分類器に顔領域を入力して目検出領域を検出する。この分類器は、例えばハール状のカスケード分類器で構成される。目検出領域は、上辺が上まぶたに接し、下辺が下まぶたに接し、左辺及び右辺のうちの1辺が目頭に接し、左辺及び右辺のうちの他辺が目尻に接する矩形状の領域である。目領域検出部12は、左目を含む目検出領域と、右目を含む目検出領域とのそれぞれを顔領域から検出する。目検出領域は人の目の領域を含む第2画像の一例である。
以下、左目を含む目検出領域を「左目検出領域」と呼び、右目を含む目検出領域を「右目検出領域」と呼ぶ。両者を区別しない場合、単に目検出領域と呼ぶ。また、左目とは人U1を正面から見て左側に位置する目を指し、右目とは人U1を正面から見て右側に位置する目を指す。但し、これは一例であり、この関係は逆であってもよい。
二値化処理部13は、目検出領域を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された二値画像を生成する。二値画像は第3画像の一例である。目検出領域がカラー画像で構成されている場合、二値化処理部13は、目検出領域を例えば0~255の階調値を有するグレースケール画像に変換し、変換したグレースケール画像に対して二値化処理を実行すればよい。二値化処理としては、例えば大津の二値化処理が採用できる。第1輝度値は例えば白色であり、第2輝度値は例えば黒色である。すなわち、本実施の形態1では、暗い箇所は白色で表され、明るい箇所は黒色で表された二値画像が生成される。白色の輝度値は例えば255で表され、黒色の輝度値は例えば0で表される。
ここでは、撮像装置2が撮像する画像が8ビットで量子化された画像であるため、グレースケール画像は0~255の階調値を有しているが、これは一例である。撮像装置2が撮像する画像が16ビット等の他のビット数で量子化された画像であれば、グレースケール画像は、そのビット数で表現可能な階調値を有していればよい。
二値化処理部13は、左目検出領域と右目検出領域とのそれぞれについて二値画像を生成すればよい。
目状態判定部14は、二値画像の高さと、第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、人の目が開いている状態と閉じている状態とのいずれであるかを判定する。
具体的には、目状態判定部14は、第1輝度領域内の最大高さが、二値画像の高さに第1係数を乗算した値よりも大きいか否かを判定する。第1係数は、例えば0.9である。目状態判定部14は、第1輝度領域内の最大高さが、二値画像の高さに第1係数を乗算した値よりも大きいと判定した場合、目が開いている状態であると判定する。
また、目状態判定部14は、第1輝度領域内の最大高さが、二値画像の高さに第1係数を乗算した値以下であると判定した場合、第1輝度領域内の最大高さが、二値画像の高さに第1係数よりも小さい第2係数を乗算した値よりも小さいか否かを判定する。第2係数は、例えば0.6である。目状態判定部14は、第1輝度領域内の最大高さが、二値画像の高さに第2係数を乗算した値よりも小さいと判定した場合、目が閉じている状態であると判定する。
出力部15は、判定の結果に関する情報を出力する。出力部15は、画像取得部11が取得した顔画像に、目状態判定部14が判定した目の開閉状態を示す情報を重畳して表示画面を生成し、表示画面をディスプレイ3に表示する。
メモリ20は、例えば、RAM(Random Access Memory)、SSD(Solid State Drive)又はフラッシュメモリ等の各種情報を記憶可能な記憶装置である。メモリ20は、プロセッサ10の作業領域として使用される。また、メモリ20は、目状態判定部14が判定した目の開閉状態を示す情報を、画像取得部11が取得した顔画像に対応付けて記憶してもよい。
目の開閉状態を示す情報が対応付けられた顔画像は、顔画像から目の開閉状態を識別するための識別モデルを機械学習する際の教師データとして用いることができる。すなわち、出力部15は、目の開閉状態を示す情報をラベルとして顔画像に付与し、ラベルが付与された顔画像をメモリ20に記憶してもよい。
続いて、本実施の形態1における目開閉検出装置1の目開閉検出処理について説明する。
図3は、本開示の実施の形態1における目開閉検出装置1の目開閉検出処理の一例を示すフローチャートである。なお、図3に示すフローチャートは、所定のサンプリング周期で実行される。所定のサンプリング周期は例えば撮像装置2のフレーム周期である。
まず、ステップS1において、画像取得部11は、撮像装置2から顔画像を取得する。
次に、ステップS2において、目領域検出部12は、顔領域を検出する分類器に顔画像を入力し、顔領域を検出する。
図5は、顔画像40から検出される顔領域41の一例を示す図である。図5に示すように、目領域検出部12は、額の上部と顎の下部と、耳の生え際とを含む矩形状の領域を顔領域41として検出している。ここでは、顔領域41は髪の全体を含んでいないが、髪の全体を含む領域であってもよい。図5では、顔画像40は人U1を正面から撮影した画像であるため、左目と右目とが含まれている。また、図5に示すように、人U1の左目は開いており、人U1の右目は閉じている。
次に、ステップS3において、目領域検出部12は、ステップS2で抽出した顔領域41を、目検出領域を検出する分類器に入力して目検出領域を検出する。図5に示すように、目領域検出部12は、目全域を含む矩形状の領域を目検出領域421,422として検出している。目検出領域421は、左目に対応しており、目検出領域422は、右目に対応している。
図6は、左目に対応する目検出領域421の一例を示す図であり、図7は、右目に対応する目検出領域422の一例を示す図である。図6に示すように、目検出領域421は、開かれた左目の全域を含む矩形状の領域である。また、図7に示すように、目検出領域422は、閉じられた右目の全域を含む矩形状の領域である。図5に示す顔領域41からは、図6に示す左目に対応する目検出領域421と、図7に示す右目に対応する目検出領域422とが抽出されている。
目が開かれた状態の目検出領域421において、上辺は上まぶたに接しており、下辺は下まぶたに接しており、右辺は目頭に接しており、左辺は目尻に接している。また、目が閉じられた状態の目検出領域422において、上辺は上まぶたに接しており、下辺はまつげの先端部分に接しており、右辺は目尻に接しており、左辺は目頭に接している。
次に、ステップS4において、二値化処理部13は、ステップS3で検出された目検出領域421,422をグレースケール画像に変換する。グレースケール画像への変換処理としては、例えば目検出領域421,422を構成する各画素の赤色成分、緑色成分、青色成分のそれぞれの階調値の平均を算出する処理が採用できる。但し、これは一例であり、グレースケール画像への変換処理としては他の処理が採用されてもよい。
次に、ステップS5において、二値化処理部13は、グレースケール画像に変換された目検出領域421,422を二値化して二値画像431,432を生成する。
図8は、左目に対応する二値画像431の一例を示す図であり、図9は、右目に対応する二値画像432の一例を示す図である。二値化処理部13は、グレースケール画像に変換された目検出領域421,422を二値化して二値画像431,432を生成する。
左目は開かれている。そのため、図8の例では、左目に対応する目検出領域421において瞳、まつ毛及び白目の一部の暗い部位の画素が白色の画素で表され、白目の他部及び肌の明るい部位の画素が黒色の画素で表された二値画像431が生成されている。図8の例では、二値画像431は、白色の画素で構成された一塊の白色領域51と、黒色の画素で構成された一塊の黒色領域52とを含む。
右目は閉じられている。そのため、図9の例では、右目に対応する目検出領域422においてまつ毛及び上まぶたの縁の暗い部位の画素が白色の画素で表され、肌の明るい部位の画素が黒色の画素で表された二値画像432が生成されている。図9の例では、二値画像432は、白色の画素で構成された一塊の白色領域61と、黒色の画素で構成された一塊の黒色領域62とを含む。
次に、ステップS6において、目状態判定部14は、二値画像の高さと、第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、人の目が開いている状態と閉じている状態とのいずれであるかを判定する目状態判定処理を実行する。目状態判定部14は、左目検出領域及び右目検出領域のそれぞれに対して、人の目が開いている状態と閉じている状態とのいずれであるかを判定する。なお、目状態判定処理については、図4を用いて後述する。
次に、ステップS7において、出力部15は、目状態判定部14によって判定された目の開閉状態の判定結果を示す判定結果情報を出力する。出力部15は、ステップS6で判定された目の開閉状態の判定結果を示す判定結果情報がステップS1で取得された顔画像に重畳された表示画面を生成し、ディスプレイ3に表示する。図3のフローチャートが所定のサンプリング周期で繰り返されることにより、目の開閉状態の判定結果を示す判定結果情報が顔画像に重畳された表示画面がディスプレイ3にリアルタイムで表示される。
続いて、図3のステップS6の目状態判定処理について説明する。
図4は、図3のステップS6の目状態判定処理の一例を示すフローチャートである。
まず、ステップS11において、目状態判定部14は、第1輝度値を有する白色領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さを算出する。目状態判定部14は、図8に示す二値画像431の白色領域51に対し、各X座標におけるY軸上の白色画素の数を計数することにより、白色領域51の各X座標の高さを算出する。なお、高さは、縦方向の白色画素の数で表される。目状態判定部14は、白色領域51の左端から右端に向かってX座標を1画素ずつ順にずらしながら各X座標における高さを算出する。目状態判定部14は、白色領域51内において、高さが最大となるX座標とその高さを算出する。
なお、目状態判定処理は、左目に対応する目検出領域421と、右目に対応する目検出領域422とが検出されている場合、左目及び右目のそれぞれに対応する二値画像431,432に対して行われる。そのため、目状態判定部14は、図9に示す二値画像432の白色領域61に対しても、各X座標におけるY軸上の白色画素の数を計数することにより、白色領域56の各X座標の高さを算出する。目状態判定部14は、白色領域61の左端から右端に向かってX座標を1画素ずつ順にずらしながら各X座標における高さを算出する。目状態判定部14は、白色領域61内において、高さが最大となるX座標とその高さを算出する。
次に、ステップS12において、目状態判定部14は、白色領域の最大高さが、目検出領域の二値画像の高さに0.9を乗算した値よりも大きいか否かを判定する。
ここで、白色領域の最大高さが、目検出領域の二値画像の高さに0.9を乗算した値よりも大きいと判定された場合(ステップS12でYES)、ステップS13において、目状態判定部14は、目が開いている状態であると判定する。すなわち、図8に示すように、目が開いている場合、目検出領域421の二値画像431の高さ53に対する白色領域51の最大高さ54の割合は、1に近づく。そのため、白色領域51の最大高さ54が、目検出領域421の二値画像431の高さに0.9を乗算した値よりも大きい場合、目状態判定部14は、目検出領域421内の目が開いている状態であると判定する。
一方、白色領域の最大高さが、目検出領域の二値画像の高さに0.9を乗算した値以下であると判定された場合(ステップS12でNO)、ステップS14において、目状態判定部14は、白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値よりも小さいか否かを判定する。
ここで、白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値よりも小さいと判定された場合(ステップS14でYES)、ステップS15において、目状態判定部14は、目が閉じている状態であると判定する。すなわち、図9に示すように、目が閉じている場合、白色領域61の最大高さ64は、目検出領域422の二値画像432の高さ63の60%の長さを下回る。そのため、白色領域61の最大高さ64が、目検出領域422の二値画像432の高さに0.6を乗算した値よりも小さい場合、目状態判定部14は、目検出領域422内の目が閉じている状態であると判定する。
一方、白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値以上であると判定された場合(ステップS14でNO)、ステップS16において、目状態判定部14は、目の開閉状態の判定が不可能であると判定する。
なお、目状態判定部14によって目の開閉状態の判定が不可能であると判定された場合、出力部15は、目の開閉状態の判定が不可能であることを示す判定結果情報を出力してもよいし、判定結果情報を出力しなくてもよい。
また、本実施の形態1において、ステップS12でNOであった場合、目状態判定部14は、ステップS14の処理を行わず、目が閉じていると判定してもよい。
また、本実施の形態1において、ステップS11の処理が行われた後、目状態判定部14は、ステップS12の処理を行わず、白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値よりも小さいか否かを判定してもよい。そして、白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値よりも小さいと判定された場合、目状態判定部14は、目が閉じている状態であると判定してもよい。また、白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値以上であると判定された場合、目状態判定部14は、目が開いている状態であると判定してもよい。
図10は、ディスプレイ3に表示される表示画面の一例を示す図である。
出力部15は、目が開いている状態と閉じている状態とのいずれであるかを示す判定結果情報をディスプレイ3に表示される人の顔画像に重畳して表示する。図10に示すように、ディスプレイ3は、顔画像40に、判定結果情報441,442を重畳して表示する。判定結果情報441は、目が開いている状態を示しており、目検出領域421を示す枠の近傍に表示される。
例えば、目が開いていることを示す「OPEN」という文字が判定結果情報441としてディスプレイ3に表示される。一方、判定結果情報442は、目が閉じている状態を示しており、目検出領域422を示す枠の近傍に表示される。例えば、目が閉じていることを示す「CLOSE」という文字が判定結果情報442としてディスプレイ3に表示される。なお、判定結果情報441,442の提示方法は一例である。ディスプレイ3は、目が開いていることを示す目検出領域421と、目が閉じていることを示す目検出領域422とを異なる態様で表示してもよい。異なる態様とは、例えば、色を変えたりすることである。
また、目開閉検出システム100は、スピーカをさらに備えてもよい。例えば、出力部15は、目状態判定部14によって目が閉じられていると判定された場合、音をスピーカから出力してもよい。
このように、人の目の領域を含む目検出領域を二値化した二値画像の高さと、第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、人の目が開いている状態と閉じている状態とのいずれであるかが判定される。したがって、人の目の大きさ及び形状の個人差による影響を抑制し、人の目の開閉状態の検出精度を向上させることができる。
続いて、本実施の形態1の変形例1における目開閉検出システムについて説明する。
本実施の形態1では、目検出領域が適切に検出されていない場合、実際には目が開いている状態であっても、図4のステップS12でYESと判定されず、ステップS14以降の処理で、目が開いている状態であると判定されない可能性がある。そこで、本実施の形態1の変形例1では、さらに、顔領域の高さを用いて目の開閉状態が判定される。
なお、実施の形態1の変形例1における目開閉検出システムの構成は、実施の形態1における目開閉検出システムの構成と同じである。そのため、以下では、図1及び図2を用いて実施の形態1の変形例1における目開閉検出システムの構成を説明する。
実施の形態1の変形例1における目状態判定部14は、第1輝度領域内の最大高さが、二値画像の高さに第2係数を乗算した値以上であると判定した場合、第1輝度領域内の最大高さが、顔領域の高さに第2係数よりも小さい第3係数と第2係数とを乗算した値よりも小さいか否かを判定する。そして、目状態判定部14は、第1輝度領域内の最大高さが、顔領域の高さに第3係数と第2係数とを乗算した値よりも小さい場合、目が閉じている状態であると判定する。また、目状態判定部14は、第1輝度領域内の最大高さが、顔領域の高さに第3係数と第2係数とを乗算した値以上である場合、目が開いている状態であると判定する。顔領域は人の顔の領域を示す第4画像の一例である。第2係数は、例えば0.6である。第3係数は、例えば0.15である。
顔領域の高さに0.15を乗算した値は、目の垂直方向の長さ、すなわち目の高さに相当するといえる。そこで、目状態判定部14は、第1輝度領域内の最大高さが、顔領域の高さに第3係数と第2係数とを乗算した値よりも小さいか否かを判定する。なお、第3係数は、0.15に限定されず、顔領域の高さに対する目の高さの割合を示す値であればよい。
続いて、本実施の形態1の変形例1における目状態判定処理について説明する。なお、本実施の形態1の変形例1において、目状態判定処理以外の目開閉検出処理は、図3に示す本実施の形態1における目開閉検出処理と同じである。
図11は、本実施の形態1の変形例1における目状態判定処理の一例を示すフローチャートである。
ステップS21~ステップS25の処理は、図4のステップS11~ステップS15の処理と同じであるので、説明を省略する。
白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値以上であると判定された場合(ステップS24でNO)、ステップS26において、目状態判定部14は、白色領域の最大高さが、顔領域の高さに0.15及び0.6を乗算した値よりも小さいか否かを判定する。
ここで、白色領域の最大高さが、顔領域の高さに0.15及び0.6を乗算した値よりも小さいと判定された場合(ステップS26でYES)、ステップS27において、目状態判定部14は、目が閉じている状態であると判定する。
一方、白色領域の最大高さが、顔領域の高さに0.15及び0.6を乗算した値以上であると判定された場合(ステップS26でNO)、ステップS28において、目状態判定部14は、目が開いている状態であると判定する。
このように、本実施の形態1の変形例1では、目検出領域の二値画像の高さに対する白色領域の最大高さの割合だけでなく、顔領域の高さに対する白色領域の最大高さの割合を用いて、目の開閉状態が判定されるので、より高い精度で目の開閉状態を検出することができる。
続いて、本実施の形態1の変形例2における目開閉検出システム100について説明する。
本実施の形態1では、目検出領域の二値画像の高さを用いて目が閉じている状態であるか否かが判定されている。これに対し、本実施の形態1の変形例2では、顔領域の高さを用いて目が閉じている状態であるか否かが判定される。
なお、実施の形態1の変形例2における目開閉検出システムの構成は、実施の形態1における目開閉検出システムの構成と同じである。そのため、以下では、図1及び図2を用いて実施の形態1の変形例2における目開閉検出システムの構成を説明する。
実施の形態1の変形例2における目状態判定部14は、第1輝度領域内の最大高さが、二値画像の高さに第1係数を乗算した値以下であると判定した場合、第1輝度領域内の最大高さが、顔領域の高さに第1係数よりも小さい第2係数と第2係数よりも小さい第3係数とを乗算した値よりも小さいか否かを判定する。そして、目状態判定部14は、第1輝度領域内の最大高さが、顔領域の高さに第2係数と第3係数とを乗算した値よりも小さいと判定した場合、目が閉じている状態であると判定する。また、目状態判定部14は、第1輝度領域内の最大高さが、顔領域の高さに第2係数と第3係数とを乗算した値以上であると判定した場合、目が開いている状態であると判定する。顔領域は人の顔の領域を示す第4画像の一例である。第2係数は、例えば0.6である。第3係数は、例えば0.15である。
続いて、本実施の形態1の変形例2における目状態判定処理について説明する。なお、本実施の形態1の変形例2において、目状態判定処理以外の目開閉検出処理は、図3に示す本実施の形態1における目開閉検出処理と同じである。
図12は、本実施の形態1の変形例2における目状態判定処理の一例を示すフローチャートである。
ステップS31~ステップS33の処理は、図4のステップS11~ステップS13の処理と同じであるので、説明を省略する。
白色領域の最大高さが、目検出領域の二値画像の高さに0.9を乗算した値以下であると判定された場合(ステップS32でNO)、ステップS34において、目状態判定部14は、白色領域の最大高さが、顔領域の高さに0.15及び0.6を乗算した値よりも小さいか否かを判定する。
ここで、白色領域の最大高さが、顔領域の高さに0.15及び0.6を乗算した値よりも小さいと判定された場合(ステップS34でYES)、ステップS35において、目状態判定部14は、目が閉じている状態であると判定する。
一方、白色領域の最大高さが、顔領域の高さに0.15及び0.6を乗算した値以上であると判定された場合(ステップS34でNO)、ステップS36において、目状態判定部14は、目が開いている状態であると判定する。
このように、本実施の形態1の変形例2では、目検出領域の二値画像の高さに対する白色領域の最大高さの割合ではなく、顔領域の高さに対する白色領域の最大高さの割合を用いて、目が閉じているか否かが判定されるので、目検出領域が適切に検出されていない場合であっても、高い精度で目の開閉状態を検出することができる。
(実施の形態2)
実施の形態1では、目状態判定部14は、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定した場合、目の開閉状態の判定が不可能であると判定している。これに対し、実施の形態2では、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定された場合、二値画像の縦横比を用いて目の開閉状態が判定される。
実施の形態1では、目状態判定部14は、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定した場合、目の開閉状態の判定が不可能であると判定している。これに対し、実施の形態2では、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定された場合、二値画像の縦横比を用いて目の開閉状態が判定される。
図13は、本開示の実施の形態2における目開閉検出システム100Aの全体構成の一例を示すブロック図である。なお、実施の形態2において、実施の形態1と同一の構成要素には同一の符号を付して説明を省略する。
目開閉検出装置1Aは、プロセッサ10A及びメモリ20を備える。プロセッサ10Aは、実施の形態1の目開閉検出装置1のプロセッサ10に対して、さらに縦横比判定部16を備えている。
縦横比判定部16は、第1輝度領域内の前記最大高さが、二値画像の高さに第2係数を乗算した値以上であると判定した場合、目検出領域の縦横比(高さと横幅との比率)に基づいて、人の目が開いている状態と閉じている状態とのいずれであるかを判定する。
一般的に、開いている状態の目と閉じている状態の目とでは、目の縦横比が異なる傾向にある。すなわち、閉じている状態の目の高さは、開いている状態の目の高さよりも短くなる傾向にある。そこで、縦横比判定部16は、目検出領域の縦横比と閾値とを比較することにより、目の開閉状態を判定する。
より具体的には、縦横比判定部16は、目検出領域の縦横比が閾値以上であるか否かを判定する。目検出領域の縦横比は、矩形状の目検出領域の横幅(水平方向の長さ)を高さ(垂直方向の長さ)で除算した値である。縦横比判定部16は、目検出領域の縦横比が閾値以上であると判定した場合、目が閉じている状態であると判定する。また、縦横比判定部16は、目検出領域の縦横比が閾値より小さいと判定した場合、目が開いている状態であると判定する。
なお、本実施の形態2では、縦横比判定部16は、目検出領域の縦横比に基づいて、人の目が開いている状態と閉じている状態とのいずれであるかを判定しているが、本開示は特にこれに限定されず、目検出領域の二値画像の縦横比に基づいて、人の目が開いている状態と閉じている状態とのいずれであるかを判定してもよい。
続いて、本実施の形態2における目状態判定処理について説明する。なお、本実施の形態2において、目状態判定処理以外の目開閉検出処理は、図3に示す本実施の形態1における目開閉検出処理と同じである。
図14は、本実施の形態2における目状態判定処理の一例を示すフローチャートである。
ステップS41~ステップS45の処理は、図4のステップS11~ステップS15の処理と同じであるので、説明を省略する。
白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値以上であると判定された場合(ステップS44でNO)、ステップS46において、縦横比判定部16は、目検出領域の横幅(水平方向の長さ)を高さ(垂直方向の長さ)で除算することにより、目検出領域の縦横比を算出する。
図15は、目が開いている状態の目検出領域421の一例を示す図であり、図16は、目が閉じている状態の目検出領域422の一例を示す図である。
図15及び図16に示すように、目検出領域421,422は矩形状である。図15に示す目検出領域421は、開いている状態の目を含む。図16に示す目検出領域422は、閉じている状態の目を含む。
目検出領域421の横幅は、例えば263ピクセルであり、目検出領域421の高さは、例えば80ピクセルである。目検出領域421の縦横比は、例えば3.29である。また、目検出領域422の横幅は、例えば288ピクセルであり、目検出領域421の高さは、例えば64ピクセルである。目検出領域421の縦横比は、例えば4.5である。
このように、目が閉じている状態の目検出領域422の縦横比は、目が開いている状態の目検出領域421の縦横比よりも大きくなる。
図14に戻って、次に、ステップS47において、縦横比判定部16は、目検出領域の縦横比が閾値以上であるか否かを判定する。閾値は、例えば4.0である。ここで、目検出領域の縦横比が閾値以上であると判定された場合(ステップS47でYES)、ステップS48において、縦横比判定部16は、目が閉じている状態であると判定する。
一方、目検出領域の縦横比が閾値より小さいと判定された場合(ステップS47でNO)、ステップS49において、縦横比判定部16は、目が開いている状態であると判定する。
このように、二値画像の高さと白色領域の最大高さとを用いて目の開閉状態が判定できない場合であっても、目検出領域の縦横比を用いて目の開閉状態を判定することができ、人の目の開閉状態の検出精度を向上させることができる。
(実施の形態3)
実施の形態1では、目状態判定部14は、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定した場合、目の開閉状態の判定が不可能であると判定している。これに対し、実施の形態3では、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定された場合、赤色成分、緑色成分及び青色成分により表される目検出領域が、色相(Hue)成分、彩度(Saturation)成分及び明度(Value)成分により表されるHSV画像に変換され、HSV画像の色相成分の二値画像を用いて目の開閉状態が判定される。
実施の形態1では、目状態判定部14は、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定した場合、目の開閉状態の判定が不可能であると判定している。これに対し、実施の形態3では、白色領域の最大高さが、目検出領域の二値画像の高さに第2係数(例えば、0.6)を乗算した値以上であると判定された場合、赤色成分、緑色成分及び青色成分により表される目検出領域が、色相(Hue)成分、彩度(Saturation)成分及び明度(Value)成分により表されるHSV画像に変換され、HSV画像の色相成分の二値画像を用いて目の開閉状態が判定される。
図17は、本開示の実施の形態3における目開閉検出システム100Bの全体構成の一例を示すブロック図である。なお、実施の形態2において、実施の形態1と同一の構成要素には同一の符号を付して説明を省略する。
目開閉検出装置1Bは、プロセッサ10B及びメモリ20を備える。プロセッサ10Bは、実施の形態1の目開閉検出装置1のプロセッサ10に対して、さらにHSV変換部17、二値化処理部18及び白色領域判定部19を備えている。
HSV変換部17は、目状態判定部14によって第1輝度領域内の最大高さが、二値画像の高さに第2係数を乗算した値以上であると判定された場合、赤色成分、緑色成分及び青色成分により表される目検出領域(RGB画像)から、色相成分、彩度成分及び明度成分により表されるHSV画像を生成する。HSV画像は第5画像の一例である。
HSV変換部17は、RGB画像をHSV画像に変換する変換式を用いて、目検出領域からHSV画像を生成する。なお、変換式は、従来技術であるので説明を省略する。
二値化処理部18は、HSV画像の色相成分を二値化して、階調値が閾値より小さい画素が第3輝度値で表され、階調値が閾値以上の画素が第4輝度値で表された二値画像を生成する。二値画像は第6画像の一例である。二値化処理としては、例えば大津の二値化処理が採用できる。二値化処理部18は、HSV画像の色相成分に対して二値化処理を実行すればよい。第3輝度値は例えば白色であり、第4輝度値は例えば黒色である。白色の輝度値は例えば255で表され、黒色の輝度値は例えば0で表される。
白色領域判定部19は、第3輝度値を有する第3輝度領域に基づいて、人の目が開いている状態と閉じている状態とのいずれであるかを判定する。第3輝度値は白色を表している。白色領域判定部19は、複数の白色画素が連続する白色領域を二値画像から検出する。白色領域判定部19は、二値画像から検出された白色領域の数又は大きさに基づいて、人の目が開いている状態と閉じている状態とのいずれであるかを判定する。白色領域判定部19は、二値画像から検出された白色領域の数が閾値以上である場合、目が開いている状態であると判定する。また、白色領域判定部19は、二値画像から検出された白色領域の数が閾値より少ない場合、目が閉じている状態であると判定する。
なお、白色領域判定部19は、二値画像から検出された最も大きい白色領域の画素数が閾値以上である場合、目が開いている状態であると判定してもよい。また、白色領域判定部19は、二値画像から検出された最も大きい白色領域の画素数が閾値より少ない場合、目が閉じている状態であると判定してもよい。また、白色領域判定部19は、二値画像に白色領域がない場合、目が閉じている状態であると判定してもよい。
続いて、本実施の形態3における目状態判定処理について説明する。なお、本実施の形態3において、目状態判定処理以外の目開閉検出処理は、図3に示す本実施の形態1における目開閉検出処理と同じである。
図18は、本実施の形態3における目状態判定処理の一例を示すフローチャートである。
ステップS61~ステップS65の処理は、図4のステップS11~ステップS15の処理と同じであるので、説明を省略する。
白色領域の最大高さが、目検出領域の二値画像の高さに0.6を乗算した値以上であると判定された場合(ステップS64でNO)、ステップS66において、HSV変換部17は、RGB色空間により表される目検出領域から、HSV色空間により表されるHSV画像を生成する。
次に、ステップS67において、二値化処理部18は、HSV画像の色相成分を二値化して二値画像を生成する。
次に、ステップS68において、白色領域判定部19は、二値画像にラベリング処理を実行する。ラベリング処理では、二値画像に対して、連続する複数の白色画素に同じ番号が割り振られる。このラベリング処理により、二値画像から、連続した複数の白色画素で構成される複数の白色領域が検出される。
図19は、目が開いている状態における、RGB画像、HSV画像及び二値画像の一例を示す図であり、図20は、目が閉じている状態における、RGB画像、HSV画像及び二値画像の一例を示す図である。
図19に示すように、目が開いている状態の目検出領域(RGB画像)には、角膜(黒目)部分に光が映り込んでいる。開いた目を撮像したRGB画像と、閉じた目を撮像したRGB画像との違いは、角膜部分に光が映り込んでいるか否かである。すなわち、開いた目の角膜部分には光が映り込んでいるのに対し、閉じた目には角膜自体が存在しない。角膜部分に映り込んだ光は、HSV色空間における色相成分に顕著に表れる。角膜部分に映り込んだ光に相当する特徴量は、RGB画像からHSV画像が生成されるとともに、HSV画像の色相成分の二値画像が生成されることにより、抽出される。図19に示すように、目が開いている状態の色相成分の二値画像には、角膜部分に映り込んだ光に相当する白色領域が現れている。一方、図20に示すように、目が閉じている状態の色相成分の二値画像には、角膜部分に映り込んだ光に相当する白色領域が現れていない。白色領域判定部19は、色相成分の二値画像における白色領域の数を計数することにより、目の開閉状態を判定することができる。
図18に戻って、ステップS69において、白色領域判定部19は、白色領域の数が閾値以上であるか否かを判定する。ここで、白色領域の数が閾値以上であると判定された場合(ステップS69でYES)、ステップS70において、白色領域判定部19は、目が開いている状態であると判定する。
一方、白色領域の数が閾値より少ないと判定された場合(ステップS69でNO)、ステップS71において、白色領域判定部19は、目が閉じている状態であると判定する。
このように、RGB画像である目検出領域の二値画像の高さと白色領域の最大高さとを用いて目の開閉状態が判定できない場合であっても、目検出領域のHSV画像の色相成分から生成した二値画像を用いて目の開閉状態が判定することができ、人の目の開閉状態の検出精度を向上させることができる。
なお、実施の形態2と実施の形態3とは組み合わせることが可能である。すなわち、図14のステップS47において、目検出領域の縦横比が閾値より小さいと判定された場合(ステップS47でNO)、図18のステップS66~ステップS71の処理が行われてもよい。
(実施の形態4)
実施の形態1では、目の開閉状態が検出される。これに対し、実施の形態4では、さらに、上まぶたの位置及び下まぶたの位置が検出される。
実施の形態1では、目の開閉状態が検出される。これに対し、実施の形態4では、さらに、上まぶたの位置及び下まぶたの位置が検出される。
図21は、本開示の実施の形態4における目開閉検出システム100Cの全体構成の一例を示すブロック図である。実施の形態4における目開閉検出装置1Cは、さらに、上まぶたの位置及び下まぶたの位置を検出する。なお、実施の形態4において、実施の形態1と同一の構成要素には同一の符号を付して説明を省略する。
目開閉検出装置1Cのプロセッサ10Cは、実施の形態1の目開閉検出装置1のプロセッサ10に対して、さらに、虹彩検出処理部21、まぶた検出部22及び状態推定部24を備えている。
虹彩検出処理部21は、二値化処理部13によって生成された二値画像において、第1輝度値を有する第1輝度領域内に表れる第2輝度値の画素であって所定の条件を満たす第2輝度値の画素を、第1輝度値の画素に置き換えて二値画像を生成する。そして、虹彩検出処理部21は、二値画像を用いて人の虹彩の位置及び大きさの少なくとも一方に関する情報を含む虹彩情報を算出する。
まぶた検出部22は、二値化処理部13により生成された二値画像に基づいて人U1の上まぶたの位置及び下まぶたの位置をそれぞれ検出する。まぶた検出部22は、二値画像に対してモルフォロジー勾配演算を行うことによって上まぶたの位置及び下まぶたの位置を検出すればよい。まぶた検出部22は、左目の二値画像及び右目の二値画像のそれぞれについて、上まぶたの位置及び下まぶたの位置を検出する。
状態推定部24は、目状態判定部14によって判定された人の目の開閉状態と、まぶた検出部22によって検出された人の上まぶたの位置及び下まぶたの位置とに基づいて、人の状態を推定する。人の状態は、例えば、人の覚醒度である。例えば、状態推定部24は、目の開閉状態と、上まぶたの位置及び下まぶたの位置とに基づいて、人の覚醒度を推定する。
人の状態は、例えば、人の疲労度であってもよい。例えば、状態推定部24は、目の開閉状態と、上まぶたの位置及び下まぶたの位置とに基づいて、人の疲労度を推定してもよい。
なお、状態推定部24は、目状態判定部14によって判定された人の目の開閉状態と、まぶた検出部22によって検出された人の上まぶたの位置及び下まぶたの位置とに基づいて、人の感情を推定してもよい。
続いて、実施の形態4における目開閉検出装置1Cの処理について説明する。
図22は、本開示の実施の形態4における目開閉検出装置1Cの処理の一例を示すフローチャートである。
ステップS81~ステップS86の処理は、図3のステップS1~ステップS6の処理と同じであるので、説明を省略する。
次に、ステップS87において、虹彩検出処理部21は、二値化処理部13によって生成された二値画像に対して虹彩検出処理を適用することによって、虹彩情報を算出する。
ここで、虹彩検出処理部21が実行する虹彩検出処理について説明する。
まず、虹彩検出処理部21は、二値画像をX方向に所定画素ずつ分離して複数の局所領域に分割する。例えば、虹彩検出処理部21は、二値画像を横方向に均等に10分割する。これにより、二値画像は、Y方向を長手方向とする短冊状の10個の局所領域に分けられる。ここで、虹彩検出処理部21は、二値画像を10個の局所領域に分割したが、これは一例である。分割数は、2以上9以下の整数又は11以上の整数であってもよい。Y方向とは、撮像装置2が撮像する画像の縦方向(垂直方向)を指す。
次に、虹彩検出処理部21は、10個の局所領域のそれぞれの平均輝度値を算出する。
次に、虹彩検出処理部21は、虹彩推定中心位置のX座標を算出する。虹彩推定中心位置は、虹彩中心位置の推定位置であり、最終的に算出される虹彩中心位置とは異なる。二重まぶた、まつ毛の濃さ、及びつけまつ毛等の影響によりこれらの部位が白色領域として大きく表れることがある。この場合、白目の部位が塗りつぶされる可能性がある。このような事態を回避するために、本実施の形態2では虹彩推定中心位置が算出される。
虹彩検出処理部21は、複数の局所領域のうち、平均輝度値が最大である局所領域のX方向の中点の座標を虹彩推定中心位置のX座標として算出する。なお、局所領域のX方向の幅によっては、局所領域のX方向の中点が虹彩推定中心位置のX座標として妥当でない場合もある。この場合、局所領域のX方向の左端又は右端が虹彩推定中心位置のX座標として算出されてもよい。
次に、虹彩検出処理部21は、虹彩推定中心位置のY座標を算出する。虹彩検出処理部21は、虹彩推定中心位置のX座標が存在する局所領域において、白色画素の最上端点と、白色画素の最下端点とを検出し、最上端点と最下端点との中点を虹彩推定中心位置のY座標として算出する。なお、まつ毛及び化粧の影響で最上端点及び最下端点が左に隣接する局所領域又は右に隣接する局所領域に現れることもある。そこで、虹彩検出処理部21は、虹彩推定中心位置のX座標が存在する局所領域と、当該局所領域の左右に隣接する2つの局所領域とにおいて最上端点及び最下端点を算出し、算出した3個の最上端点を平均して平均最上端点を求めるとともに算出した3個の最下端点を平均して平均最下端点を算出し、平均最上端点と平均最下端点との中点を虹彩推定中心位置のY座標として算出してもよい。
次に、虹彩検出処理部21は、二値画像に対して塗りつぶし処理を実行する。可視光画像においては、周囲の明るさ等により、角膜に外光又は背景等が映り込むことがある。この映り込みが大きい場合、黒色又は茶色である瞳内に白色などの明るい色の領域が現れる。この場合、目の画像を二値化すると、瞳領域内に黒色の島領域が現れ、虹彩情報を高精度に検出できなくなる。そこで、本実施の形態2では、黒色の島領域を塗りつぶす塗りつぶし処理を実行する。
塗りつぶし処理の詳細は下記の通りである。まず、虹彩検出処理部21は、二値画像に対して虹彩推定中心位置のX座標にY方向と平行な縦ラインを設定する。次に、虹彩検出処理部21は、縦ラインにおいて二値画像の上端側から最初に現れる白色画素を上端画素として検出する。次に、虹彩検出処理部21は、縦ラインにおいて二値画像の下端側から最初に現れる白色画素を下端画素として検出する。次に、虹彩検出処理部21は、上端画素と下端画素間の距離が第1基準距離よりも大きいか否かを判定する。次に、虹彩検出処理部21は、上端画素及び下端画素間の距離が第1基準距離よりも大きいと判定した場合、縦ラインにおいて上端画素及び下端画素間にある黒色画素を所定の条件を満たす黒色画素として判定し、この黒色画素を白色画素に置換する。一方、虹彩検出処理部21は、上端画素と下端画素間の距離が第1基準距離以下と判定した場合、縦ラインに対する置換は行わない。第1基準距離としては、例えば、想定される虹彩直径を基準に妥当な距離が採用される。
虹彩検出処理部21は、このような塗りつぶし処理を虹彩推定中心位置からX方向の左側に向けて左基準距離の範囲内の各縦ラインについて実行すると共に虹彩推定中心位置からX方向の右側に向けて右基準距離の範囲内の各縦ラインについて実行する。左基準距離範囲と右基準距離範囲との和は第2基準距離の一例である。左基準距離範囲と右基準距離範囲とは例えば同じ範囲である。第2基準距離としては、例えば、想定される虹彩直径よりも多少大きな距離が採用される。これにより、瞳領域に位置する縦ラインに対して重点的に塗りつぶし処理を適用することができる。
次に、虹彩検出処理部21は、瞳領域の左端画素及び右端画素をそれぞれ検出する。虹彩検出処理部21は、二値画像の白色領域において、虹彩推定中心位置を起点として、X方向を左右に1画素ずつ輝度値の変化を調べる。そして、虹彩検出処理部21は、X方向の左側に最初に現れる黒色画素を左端画素として検出すると共に、X方向の右側に最初に現れる黒色画素を右端画素として検出する。
次に、虹彩検出処理部21は、左端画素及び右端画素の中間位置を虹彩中心位置のX座標として算出する。
次に、虹彩検出処理部21は、瞳領域の上端画素及び下端画素をそれぞれ検出する。虹彩検出処理部21は、二値画像の白色領域において、虹彩中心位置のX座標を起点として、Y方向を上下に1画素ずつ輝度値の変化を調べる。そして、虹彩検出処理部21は、Y方向の上側に最初に現れる黒色画素を上端画素として検出すると共に、Y方向の下側に最初に現れる黒色画素を下端画素として検出する。
次に、虹彩検出処理部21は、上端画素及び下端画素の中間位置を虹彩中心位置のY座標として算出する。以上により虹彩中心位置が算出される。
以上が、虹彩検出処理の説明である。虹彩検出処理部21は、虹彩中心位置を含む虹彩情報を算出する。
次に、ステップS88において、まぶた検出部22は、モルフォロジー勾配演算により上まぶたの位置及び下まぶたの位置を検出する。
図23は、モルフォロジー勾配演算が実行される前の二値画像70を示す図である。
図23の例では、目検出領域において瞳及びまつ毛等の暗い部位が白色で表され、白目及び肌等の明るい部位が黒色で表された二値画像70が生成されている。図23に示す白色領域D1は、白色の画素で構成されている。
まず、まぶた検出部22は、二値画像70に対して膨張処理を適用する。膨張処理は、注目画素の近傍に少なくとも1つの白色画素があれば、注目画素を白色画素に置き換える処理である。次に、まぶた検出部22は、二値画像70に対して収縮処理を適用する。収縮処理は、注目画素の近傍に少なくとも1つの黒色画素があれば、注目画素を黒色画素に置き換える処理である。
図24は、二値画像70に対して膨張処理及び収縮処理が実行された膨張画像81及び収縮画像82を示す図である。
膨張処理が行われることにより、膨張画像81に含まれる白色領域D1は二値画像70に含まれる白色領域D1よりも膨張している。収縮処理が行われることにより、収縮画像82に含まれる白色領域D1は二値画像70に含まれる白色領域D1よりも収縮されている。
次に、まぶた検出部22は、膨張画像81から収縮画像82を減じることで勾配画像を算出する。
図25は、勾配画像83を示す図である。勾配画像83には、二値画像70の白色領域D1のエッジE1が含まれている。
次に、まぶた検出部22は、エッジE1の最上端位置を上まぶたの位置P10として検出する。なお、まぶた検出部22は、虹彩検出処理部21によって検出された虹彩中心位置P0を通る縦ラインと上側のエッジE1との交点を上まぶたの位置P10として検出してもよい。また、まぶた検出部22は、虹彩検出処理部21によって検出された虹彩中心位置P0を通る縦ラインと下側のエッジE1との交点を下まぶたの位置P11として検出する。これにより、輝度変化が薄く二値画像70において明確に表れ難い下まぶたの位置を検出することができる。なお、まぶた検出部22は、勾配画像83の左端と右端とをつなぐ上側のエッジE1の部分を上まぶたラインとして検出してもよい。
また、まぶた検出部22は、エッジE1の最上端位置を上まぶたの位置P10として検出し、検出した上まぶたの位置P10から垂直下方向に伸ばした直線と最下端のエッジE1との交点を下まぶたの位置P11として検出してもよい。この場合、虹彩中心位置P0の検出が不要となるため、ステップS87の処理が省略可能となる。
次に、ステップS89において、状態推定部24は、目状態判定部14によって判定された人の目の開閉状態と、まぶた検出部22によって検出された人の上まぶたの位置及び下まぶたの位置とに基づいて、人の状態を推定する。このとき、状態推定部24は、目が開いている状態である場合、上まぶたの位置と下まぶたの位置との間の距離を算出する。状態推定部24は、目検出領域の高さに対する、上まぶたの位置と下まぶたの位置との間の距離の割合を算出する。そして、状態推定部24は、算出した割合が閾値以下である場合、人の覚醒度が低下していると推定する。また、状態推定部24は、算出した割合が閾値より高い場合、人の覚醒度が高いと推定する。さらに、状態推定部24は、両方の目が閉じている状態である場合、人が覚醒しておらず、睡眠状態であると推定する。
なお、状態推定部24は、算出した割合が閾値以下である場合、人の疲労度が高いと推定してもよい。また、状態推定部24は、算出した割合が閾値より高い場合、人の疲労度が低いと推定してもよい。
次に、ステップS90において、出力部15は、状態推定部24による推定結果をステップS1で算出された顔画像に重畳することにより、表示画面を生成し、ディスプレイ3に表示する。例えば、表示画面には、顔画像とともに、人の状態(例えば、覚醒度)が表示される。なお、出力部15は、人の目の開閉状態の判定結果を顔画像に重畳してディスプレイ3に表示してもよい。
なお、状態推定部24は、上まぶたの位置P10の時系列データに基づいて、上まぶたが痙攣状態であるか否かを推定してもよい。すなわち、状態推定部24は、上まぶたの位置P10が所定期間内に所定間隔で上下している場合に、上まぶたが痙攣状態であると推定する。
このように、目の開閉状態の判定結果と、上まぶたの位置及び下まぶたの位置の検出結果とを用いて、人の状態又は人の感情を推定することができる。
(実施の形態5)
実施の形態1では、目の開閉状態が検出される。これに対し、実施の形態5では、さらに目尻の位置及び目頭の位置が検出される。
実施の形態1では、目の開閉状態が検出される。これに対し、実施の形態5では、さらに目尻の位置及び目頭の位置が検出される。
図26は、本開示の実施の形態5における目開閉検出システム100Dの全体構成の一例を示すブロック図である。実施の形態5における目開閉検出装置1Dは、さらに目尻の位置及び目頭の位置を検出する。なお、実施の形態5において、実施の形態1及び実施の形態4と同一の構成要素には同一の符号を付して説明を省略する。
目開閉検出装置1Dのプロセッサ10Dは、実施の形態1の目開閉検出装置1のプロセッサ10に対して、さらに、虹彩検出処理部21、目尻目頭検出部23及び状態推定部24Dを備えている。
目尻目頭検出部23は、二値化処理部13により生成された二値画像から目尻の位置及び目頭の位置のそれぞれを検出する。目尻目頭検出部23は、人の左目及び右目のいずれか一方の二値画像に基づいて目尻の位置及び目頭の位置をそれぞれ検出する。ここで、目尻目頭検出部23は、左目の二値画像及び右目の二値画像のそれぞれについて、目尻の位置及び目頭の位置を検出する。
目尻目頭検出部23は、二値画像において、第1輝度値を有する横方向の左端の画素の位置を目尻及び目頭のいずれか一方の位置として検出し、第1輝度値を有する横方向の右端の画素の位置を目尻及び目頭のいずれか他方の位置として検出する。
状態推定部24Dは、目状態判定部14によって判定された人の目の開閉状態と、目尻目頭検出部23によって検出された人の目尻の位置及び目頭の位置と、虹彩検出処理部16によって検出された虹彩中心位置とに基づいて、人の状態を推定する。人の状態は、例えば、人が当惑している状態、人が動揺している状態又は人が緊張している状態である。例えば、状態推定部24Dは、目の開閉状態と、目尻の位置及び目頭の位置と、虹彩中心位置とに基づいて、人が当惑している状態、人が動揺している状態又は人が緊張している状態であることを推定する。
具体的には、人が当惑している場合、人が動揺している場合又は人が緊張している場合、目の開閉回数(瞬きの回数)が通常より増えるとともに、瞳が左右に小刻みに動く傾向にある。そこで、状態推定部24Dは、目の開閉状態の時系列データに基づいて、所定時間内に所定回数以上瞬きをしているか否かを判定する。
また、状態推定部24Dは、虹彩中心位置と目尻の位置との間の距離、又は虹彩中心位置と目頭の位置との間の距離を算出する。状態推定部24Dは、虹彩中心位置と目尻の位置との間の距離又は虹彩中心位置と目頭の位置との間の距離の時系列データに基づいて、虹彩中心位置が左右に小刻みに動いているか否かを判定する。すなわち、状態推定部24Dは、虹彩中心位置と目尻の位置との間の距離が所定期間内に所定回数変化している場合に、虹彩中心位置が左右に小刻みに動いていると判定する。なお、状態推定部24Dは、虹彩中心位置と目頭の位置との間の距離が所定期間内に所定回数変化している場合に、虹彩中心位置が左右に小刻みに動いていると判定してもよい。
そして、状態推定部24Dは、所定時間内に所定回数以上瞬きをしていると判定し、かつ虹彩中心位置が左右に小刻みに動いていると判定して場合、人が当惑している状態、人が動揺している状態又は人が緊張している状態であると推定する。
なお、状態推定部24Dは、目状態判定部14によって判定された人の目の開閉状態と、目尻目頭検出部23によって検出された人の目尻の位置及び目頭の位置と、虹彩検出処理部16によって検出された虹彩中心位置とに基づいて、人の感情を推定してもよい。
続いて、実施の形態5における目開閉検出装置1Dの処理について説明する。
図27は、本開示の実施の形態5における目開閉検出装置1Dの処理の一例を示すフローチャートである。
ステップS101~ステップS106の処理は、図3のステップS1~ステップS6の処理と同じであるので、説明を省略する。
次に、ステップS107において、目尻目頭検出部23は、目尻の位置及び目頭の位置を検出する。
図28は、目尻の位置及び目頭の位置が検出された二値画像70を示す図である。
二値画像70の枠は白色領域D1の外接矩形であるため、二値画像70において、白色領域D1の左端のX座標は二値画像70の左端のX座標(X11)であり、白色領域D1の右端のX座標は二値画像70の右端のX座標(X12)であり、両X座標は二値画像70を生成する際に算出済みである。そこで、目尻目頭検出部23は、算出済みの両X座標を利用して目尻の位置12及び目頭の位置P13を算出する。なお、図28は、左目の二値画像70であるため、白色領域D1の左端が目尻の位置P12となり、白色領域D1の右端が目頭の位置P13となる。
詳細には、目尻目頭検出部23は、X座標(X11)において二値画像70の下端から1画素ずつ上端に向けて白色画素を探索していく。そして、目尻目頭検出部23は、最初に検出した白色画素のY座標を目尻の位置P12のY座標として決定する。同様に、目尻目頭検出部23は、X座標(X12)において二値画像70の下端から1画素ずつ上端に向けて白色画素を探索していく。そして、目尻目頭検出部23は、最初に検出した白色画素のY座標を目頭の位置P13のY座標として決定する。以上により、目尻の位置P12及び目頭の位置P13が検出される。
ステップS108の処理は、図22のステップS87の処理と同じであるので、説明を省略する。
次に、ステップS109において、状態推定部24Dは、目状態判定部14によって判定された人の目の開閉状態と、目尻目頭検出部23によって検出された人の目尻の位置及び目頭の位置と、虹彩検出処理部16によって検出された虹彩中心位置とに基づいて、人の状態を推定する。
次に、ステップS110において、出力部15は、状態推定部24Dによる推定結果をステップS1で算出された顔画像に重畳することにより、表示画面を生成し、ディスプレイ3に表示する。例えば、表示画面には、顔画像とともに、人の状態の推定結果が表示される。なお、出力部15は、人の目の開閉状態の判定結果を顔画像に重畳してディスプレイ3に表示してもよい。
このように、目の開閉状態の判定結果と、目尻の位置及び目頭の位置の検出結果と、虹彩中心位置の検出結果とを用いて、人の状態又は人の感情を推定することができる。
また、目開閉検出システム100Dは、目の動きにより入力操作を行う入力装置をさらに備えてもよい。例えば、入力装置は、虹彩中心位置と、目尻の位置又は目頭の位置との距離に応じて、ディスプレイ3に表示されるポインタを移動させてもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。また、プログラムを記録媒体に記録して移送することにより、又はプログラムをネットワークを経由して移送することにより、独立した他のコンピュータシステムによりプログラムが実施されてもよい。
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、本開示の実施の形態に係る装置の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
本開示に係る技術は、人の目の開閉状態の検出精度を向上させることができるので、画像から人の目の開閉状態を検出する技術として有用である。
Claims (14)
- コンピュータが、
撮像装置により撮像された人の顔を含む第1画像を取得し、
前記第1画像から前記人の目の領域を含む第2画像を生成し、
前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成し、
前記第3画像の高さと、前記第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定し、
判定の結果に関する情報を出力する、
目開閉検出方法。 - 前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに第1係数を乗算した値よりも大きいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに第1係数を乗算した値よりも大きいと判定した場合、前記目が開いている状態であると判定する、
請求項1記載の目開閉検出方法。 - 前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに第1係数を乗算した値以下であると判定した場合、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第1係数よりも小さい第2係数を乗算した値よりも小さいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値よりも小さいと判定した場合、前記目が閉じている状態であると判定する、
請求項2記載の目開閉検出方法。 - さらに、前記第1画像から、前記人の顔の領域を示す第4画像を生成し、
前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値以上であると判定した場合、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第2係数よりも小さい第3係数と前記第2係数とを乗算した値よりも小さいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第3係数と前記第2係数とを乗算した値よりも小さい場合、前記目が閉じている状態であると判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第3係数と前記第2係数とを乗算した値以上である場合、前記目が開いている状態であると判定する、
請求項3記載の目開閉検出方法。 - さらに、前記第1画像から、前記人の顔の領域を示す第4画像を生成し、
前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第1係数を乗算した値以下であると判定した場合、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第1係数よりも小さい第2係数と前記第2係数よりも小さい第3係数とを乗算した値よりも小さいか否かを判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第2係数と前記第3係数とを乗算した値よりも小さいと判定した場合、前記目が閉じている状態であると判定し、前記第1輝度領域内の前記最大高さが、前記第4画像の高さに前記第2係数と前記第3係数とを乗算した値以上である場合、前記目が開いている状態であると判定する、
請求項2記載の目開閉検出方法。 - 前記第2画像は矩形状であり、
前記判定において、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値以上であると判定した場合、前記第2画像の高さと横幅との比率に基づいて、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定する、
請求項3記載の目開閉検出方法。 - 前記第2画像は、赤色成分、緑色成分及び青色成分により表され、
さらに、前記第1輝度領域内の前記最大高さが、前記第3画像の高さに前記第2係数を乗算した値以上であると判定した場合、前記第2画像から、色相成分、彩度成分及び明度成分により表される第5画像を生成し、
さらに、前記第5画像の前記色相成分を二値化して、階調値が閾値より小さい画素が第3輝度値で表され、階調値が閾値以上の画素が第4輝度値で表された第6画像を生成し、
さらに、前記第3輝度値を有する第3輝度領域に基づいて、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定する、
請求項3記載の目開閉検出方法。 - さらに、前記第3画像に基づいて上まぶたの位置及び下まぶたの位置をそれぞれ検出する、
請求項1~7のいずれか1項に記載の目開閉検出方法。 - 前記上まぶたの位置及び前記下まぶたの位置の検出において、前記第3画像に対してモルフォロジー勾配演算を行うことによって前記上まぶたの位置及び前記下まぶたの位置を検出する、
請求項8記載の目開閉検出方法。 - 前記第3画像は、前記人の左目及び右目のいずれか一方の二値画像であり、
さらに、前記第3画像に基づいて目尻の位置及び目頭の位置をそれぞれ検出する、
請求項1~9のいずれか1項に記載の目開閉検出方法。 - 前記目尻の位置及び前記目頭の位置の検出において、前記第3画像において、前記第1輝度値を有する横方向の左端の画素の位置を前記目尻及び前記目頭のいずれか一方の位置として検出し、前記第1輝度値を有する前記横方向の右端の画素の位置を前記目尻及び前記目頭のいずれか他方の位置として検出する、
請求項10記載の目開閉検出方法。 - さらに、前記目が開いている状態と閉じている状態とのいずれであるかを示す情報をディスプレイに表示される前記人の顔画像に重畳して表示する、
請求項1~11のいずれか1項に記載の目開閉検出方法。 - 撮像装置により撮像された人の顔を含む第1画像を取得する取得部と、
前記第1画像から前記人の目の領域を含む第2画像を生成する目領域検出部と、
前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成する二値化処理部と、
前記第3画像の高さと、前記第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定する判定部と、
判定の結果に関する情報を出力する出力部と、
を備える目開閉検出装置。 - コンピュータに、
撮像装置により撮像された人の顔を含む第1画像を取得し、
前記第1画像から前記人の目の領域を含む第2画像を生成し、
前記第2画像を二値化して、階調値が閾値より小さい画素が第1輝度値で表され、階調値が閾値以上の画素が第2輝度値で表された第3画像を生成し、
前記第3画像の高さと、前記第1輝度値を有する第1輝度領域内における上端画素と下端画素との間の縦方向の距離が最大となる最大高さとに基づき、前記人の目が開いている状態と閉じている状態とのいずれであるかを判定し、
判定の結果に関する情報を出力する、
処理を実行させる目開閉検出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180007408.XA CN115039148A (zh) | 2020-12-22 | 2021-06-09 | 眼睛睁闭检测方法、眼睛睁闭检测装置以及眼睛睁闭检测程序 |
US17/841,841 US20220309832A1 (en) | 2020-12-22 | 2022-06-16 | Method for detecting opening and closing of eye, device for detecting opening and closing of eye, and non-transitory computer-readable recording medium recording program for detecting opening and closing of eye |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020212910A JP6977975B1 (ja) | 2020-12-22 | 2020-12-22 | 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム |
JP2020-212910 | 2020-12-22 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/841,841 Continuation US20220309832A1 (en) | 2020-12-22 | 2022-06-16 | Method for detecting opening and closing of eye, device for detecting opening and closing of eye, and non-transitory computer-readable recording medium recording program for detecting opening and closing of eye |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022137604A1 true WO2022137604A1 (ja) | 2022-06-30 |
Family
ID=78815537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/021993 WO2022137604A1 (ja) | 2020-12-22 | 2021-06-09 | 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220309832A1 (ja) |
JP (1) | JP6977975B1 (ja) |
CN (1) | CN115039148A (ja) |
WO (1) | WO2022137604A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7339420B1 (ja) | 2022-12-20 | 2023-09-05 | カバー株式会社 | プログラム、方法、情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1044824A (ja) * | 1996-07-30 | 1998-02-17 | Nissan Motor Co Ltd | 車両運転者の開閉眼判定装置 |
JP2008262447A (ja) * | 2007-04-13 | 2008-10-30 | Fujifilm Corp | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 |
JP2012252383A (ja) * | 2011-05-31 | 2012-12-20 | Panasonic Corp | 撮像装置、動画再生装置及び撮像方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09202154A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 人物状態検出装置 |
-
2020
- 2020-12-22 JP JP2020212910A patent/JP6977975B1/ja active Active
-
2021
- 2021-06-09 WO PCT/JP2021/021993 patent/WO2022137604A1/ja active Application Filing
- 2021-06-09 CN CN202180007408.XA patent/CN115039148A/zh active Pending
-
2022
- 2022-06-16 US US17/841,841 patent/US20220309832A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1044824A (ja) * | 1996-07-30 | 1998-02-17 | Nissan Motor Co Ltd | 車両運転者の開閉眼判定装置 |
JP2008262447A (ja) * | 2007-04-13 | 2008-10-30 | Fujifilm Corp | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 |
JP2012252383A (ja) * | 2011-05-31 | 2012-12-20 | Panasonic Corp | 撮像装置、動画再生装置及び撮像方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7339420B1 (ja) | 2022-12-20 | 2023-09-05 | カバー株式会社 | プログラム、方法、情報処理装置 |
JP2024088283A (ja) * | 2022-12-20 | 2024-07-02 | カバー株式会社 | プログラム、方法、情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220309832A1 (en) | 2022-09-29 |
JP2022099131A (ja) | 2022-07-04 |
CN115039148A (zh) | 2022-09-09 |
JP6977975B1 (ja) | 2021-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6636154B2 (ja) | 顔画像処理方法および装置、ならびに記憶媒体 | |
US11250241B2 (en) | Face image processing methods and apparatuses, and electronic devices | |
US10574883B2 (en) | System and method for guiding a user to take a selfie | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
Thanh et al. | A skin lesion segmentation method for dermoscopic images based on adaptive thresholding with normalization of color models | |
JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
TWI694809B (zh) | 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置 | |
CN111212594B (zh) | 电子设备和利用电子设备确定结膜充血程度的方法 | |
US8285002B2 (en) | Image processing apparatus and method, image sensing apparatus, and program | |
CN106503644B (zh) | 基于边缘投影及颜色特征的眼镜属性检测方法 | |
JP2008192100A (ja) | 瞼検出装置及びプログラム | |
WO2020019286A1 (zh) | 眼睑下垂检测方法及*** | |
JP6956986B1 (ja) | 判定方法、判定装置、及び判定プログラム | |
JP6784261B2 (ja) | 情報処理装置、画像処理システム、画像処理方法及びプログラム | |
WO2022137604A1 (ja) | 目開閉検出方法、目開閉検出装置及び目開閉検出プログラム | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
WO2022137601A1 (ja) | 視距離推定方法、視距離推定装置、及び視距離推定プログラム | |
TWI673034B (zh) | 眼瞼下垂檢測方法及系統 | |
JP2022098933A (ja) | 虹彩検出方法、虹彩検出装置、及び虹彩検出プログラム | |
TWI466038B (zh) | Eyelid length measurement method and device thereof | |
JP5093540B2 (ja) | 目の位置の検出方法および検出システム | |
Mohammed et al. | Illumination-Invariant Facial Components Extraction Using Adaptive Contrast Enhancement Methods | |
CN109816637B (zh) | 一种眼底图像中硬性渗出区域的检测方法 | |
JP4848302B2 (ja) | 目検出装置、目検出方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21909765 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21909765 Country of ref document: EP Kind code of ref document: A1 |