WO2019159229A1 - 誤検出判定装置及び誤検出判定方法 - Google Patents

誤検出判定装置及び誤検出判定方法 Download PDF

Info

Publication number
WO2019159229A1
WO2019159229A1 PCT/JP2018/004888 JP2018004888W WO2019159229A1 WO 2019159229 A1 WO2019159229 A1 WO 2019159229A1 JP 2018004888 W JP2018004888 W JP 2018004888W WO 2019159229 A1 WO2019159229 A1 WO 2019159229A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
reliability
eyelid
video
wrinkle
Prior art date
Application number
PCT/JP2018/004888
Other languages
English (en)
French (fr)
Inventor
和樹 國廣
雄大 中村
敬 平野
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/004888 priority Critical patent/WO2019159229A1/ja
Priority to JP2019571839A priority patent/JP6698966B2/ja
Priority to US16/962,383 priority patent/US11200417B2/en
Publication of WO2019159229A1 publication Critical patent/WO2019159229A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This invention relates to an apparatus for determining whether a flaw is erroneously detected.
  • Patent Document 1 describes a wakefulness estimation device that estimates wakefulness in consideration of erroneous detection information when an eye is detected by mistake.
  • the awakening level estimation device disclosed in Patent Document 1 detects a pixel density along a vertical pixel row of an image, and extracts a pixel group of an eye using a local decrease in density at an eye portion. To do. Moreover, the arousal level estimation apparatus of Patent Document 1 determines whether the detected eye is due to erroneous detection. For example, the arousal level estimation apparatus disclosed in Patent Literature 1 determines erroneous detection using the positional relationship between the left and right eyes, such as the detected distance between the left and right eyes.
  • the arousal level estimation apparatus disclosed in Patent Document 1 has low accuracy in determining whether or not an eye is erroneously detected. For example, even when a scene is reflected in the vicinity of the eye on the lens surface of the glasses and the reflected scene is erroneously detected as an eye, erroneous detection is performed using the positional relationship between the left and right eyes as in Patent Document 1. If it is determined, it is not determined that the eye is erroneously detected. It is determined that the eye has been detected normally, and the process is performed while the reflected scene is treated as an eye. After all, false eye detection is also false eyelid detection.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to obtain an erroneous detection determination device that can improve the determination accuracy of whether or not a bag is erroneously detected.
  • a false detection determination device includes a video acquisition unit that acquires video data indicating a driver's video, a region extraction unit that extracts an eye region of the video using the video data acquired by the video acquisition unit, Using the eyelid detection unit that detects eyelids in the eye region extracted by the region extraction unit, the luminance information of the eye region extracted by the region extraction unit, and the position information of the eyelid detected by the eyelid detection unit, the eyelid reliability And a determination unit that determines that no wrinkle is detected normally when the reliability calculated by the reliability calculation unit is less than the first threshold value. It is.
  • the determination is made based on the eyelid reliability calculated using the luminance information of the eye area and the detected eyelid position information, thereby determining whether or not the eyelid is erroneously detected. Accuracy can be increased.
  • FIG. 1 is a diagram illustrating a configuration of an erroneous detection determination device according to Embodiment 1.
  • FIG. FIG. 2A is a diagram illustrating an example of a wrinkle line
  • FIG. 2B is a diagram when the wrinkle line of FIG. 2A is plotted. It is explanatory drawing of a brightness
  • FIG. 5A is a diagram illustrating a situation in the vicinity of the driver's eyes when there is no reflection of a landscape on the lens surface of the glasses, and FIG. It is a figure which shows a condition.
  • FIG. 6A is a diagram illustrating an example of a wrinkle line
  • FIG. 6B is a diagram when the wrinkle line of FIG.
  • FIG. 11A is a diagram illustrating a case where a landscape is reflected in a band shape below the eye on the lens surface of the glasses
  • FIG. 11B is a diagram illustrating a case where a landscape similar to the eye is reflected on the lens surface of the glasses. is there.
  • FIG. 1 is a diagram illustrating a configuration of an erroneous detection determination device 10 according to the first embodiment.
  • the false detection determination device 10 includes a video acquisition unit 1, a region extraction unit 2, a wrinkle detection unit 3, a reliability calculation unit 4, a determination unit 5, and a state determination unit 6.
  • the video acquisition unit 1 acquires video data indicating a driver's video.
  • video data indicating the image of the driver is output from a camera (not shown) that is mounted on the automobile and photographs the driver.
  • the video acquisition unit 1 outputs the acquired video data to the region extraction unit 2.
  • the area extraction unit 2 uses the video data acquired by the video acquisition unit 1 to extract the eye area of the video indicated by the video data.
  • the eye area is an area including at least the eye, and is an area narrower than the face area. Since the image processing technique for extracting the person's eye area from the person's video is a well-known technique, the details are omitted. For example, an image processing technique is used in which a face area of a person is specified and a horizontally long range set at the top of the face area is used as the eye area of the person.
  • the area extraction unit 2 outputs video data of a portion corresponding to the driver's eye area in the video data acquired by the video acquisition unit 1 to the eyelid detection unit 3 and the reliability calculation unit 4.
  • the eyelid detection unit 3 uses the video data output from the region extraction unit 2 to detect the eyelid in the eye region extracted by the region extraction unit 2. Since the image processing technique for detecting wrinkles is a well-known technique, the details are omitted. For example, an image processing technique that detects the pixel density along the vertical pixel row of the video and detects the position where the density locally changes as a wrinkle is used as disclosed in Patent Document 1.
  • the eyelid detection unit 3 outputs the detected position information of the eyelids to the reliability calculation unit 4 and the state determination unit 6.
  • the heel position information is information that can identify a heel line as shown in FIGS. 2A, 2B, 6A, and 6B, which will be described later.
  • the eyelid position information includes a coordinate position of the eye head in the eye region, a coordinate position of the eye corner in the eye region, and a function representing the shape of the eyelid line.
  • the reliability calculation unit 4 calculates the eyelid reliability using the luminance information of the eye region extracted by the region extraction unit 2 and the position information of the eyelid detected by the eyelid detection unit 3.
  • the luminance information of the eye region can be specified by the reliability calculation unit 4 using the video data output from the region extraction unit 2.
  • the wrinkle reliability is an index indicating the reliability of whether the wrinkle detected by the wrinkle detection unit 3 is really a wrinkle. The higher the wrinkle reliability, the more the wrinkle detection unit 3 can correctly detect wrinkles.
  • the reliability calculation unit 4 outputs the calculated heel reliability to the determination unit 5.
  • the reliability calculation unit 4 specifies the wrinkle line L1 as shown in FIG. 2A, for example, using the wrinkle position information output from the wrinkle detection unit 3.
  • the wrinkle line L1 indicates a wrinkle detected by the wrinkle detection unit 3.
  • One end of the eyelid line L1 corresponds to the corner of the eye, and the other end corresponds to the corner of the eye.
  • the reliability calculation unit 4 plots the eyelid line L1 in the eye area. At this time, for example, the reliability calculation unit 4 plots the eyelid line L1 in the eye region with reference to the coordinate positions of the eye and the corner of the eye included in the eyelid position information.
  • the eye area corresponds to the video indicated by the video data acquired from the area extraction unit 2 by the reliability calculation unit 4.
  • FIG. 2B is a diagram when the eyelid line L1 is plotted in the eye region.
  • 2A and 2B show plot states of the eyelid line and eyelid line when the situation near the driver's eyes is shown in FIG. 5A as will be described later, and also shows the frame F of the glasses.
  • the heel line L1 is in good agreement with the actual heel.
  • the reliability calculation unit 4 calculates a normal vector Va in the heel line L1 for each pixel on the heel line L1.
  • the normal vector Va at the heel line L1 is as shown in FIG. 2A.
  • the reliability calculation unit 4 calculates a luminance vector Vb for each pixel on the eyelid line L1.
  • the reliability calculation unit 4 specifies the luminance information of the eye region using the video data output from the region extraction unit 2, and uses it for calculating the luminance vector Vb.
  • FIG. 3 is an explanatory diagram of the luminance vector Vb.
  • the luminance vector Vb is a vector indicating the direction in which the luminance increases.
  • the luminance vector Vb of the pixel P1 is the only vector that goes to the white pixel P2 among the pixels surrounding the pixel P1.
  • the luminance vector Vb of a pixel surrounded by a plurality of white pixels is a vector that passes through the center of gravity of the plurality of white pixels, for example.
  • the luminance vector Vb of the pixel P3 surrounded by the two white pixels P2 and P4 passes between the pixel P2 and the pixel P4 as indicated by a broken line in FIG.
  • the normal vector Va and the luminance vector Vb have, for example, the length of a unit vector.
  • the similarity between the normal vector Va and the brightness vector Vb increases as the soot detected by the soot detection unit 3 matches the actual soot. Therefore, the reliability calculation unit 4 calculates a wrinkle evaluation value indicating the similarity between the normal vector Va and the luminance vector Vb. It shows that the normal vector Va and the brightness
  • the wrinkle evaluation value is, for example, the inner product of the normal vector Va and the luminance vector Vb.
  • the reliability calculation unit 4 calculates the inner product of the normal vector Va and the luminance vector Vb for each pixel on the heel line L1, and uses the total value as the heel evaluation value.
  • the wrinkle evaluation value may be an evaluation value other than the inner product as long as it indicates the similarity between the normal vector Va and the luminance vector Vb.
  • the wrinkle evaluation value may be the reciprocal of the total value of the angles formed by the normal vector Va and the luminance vector Vb.
  • FIG. 4 is a graph showing the relationship between wrinkle evaluation values and wrinkle reliability. If the wrinkle evaluation value is greater than or equal to the fourth threshold value, the wrinkle reliability is calculated according to the wrinkle evaluation value. On the other hand, if the wrinkle evaluation value is less than the fourth threshold value, the wrinkle reliability is calculated as a minimum value, for example, 0. Note that, when the heel evaluation value is less than the fourth threshold, the reliability calculation unit 4 does not uniformly reduce the heel reliability to the minimum value, but gradually reduces the heel reliability according to the heel evaluation value. Also good. Further, the relationship between the heel evaluation value and the heel reliability may be a direct proportion instead of FIG. Further, the reliability calculation unit 4 may use the wrinkle evaluation value as the wrinkle reliability as it is. In short, there are various methods for converting the ⁇ evaluation value to the ⁇ reliability.
  • FIGS. 2A and 2B is a case where the situation near the driver's eyes is shown in FIG. 5A, for example.
  • FIG. 5A there is no reflection of the scenery on the lens surface of the glasses, and the eyelids are clearly reflected in the image.
  • FIG. 5B shows a situation near the eyes of the driver, which is different from FIG. 5A.
  • the driver's eyes open in the same manner as in FIG. 5A, but the scenery is reflected entirely on the lens surface of the glasses, and the eyelids are faded and reflected in the image.
  • the edge A of the dashboard is reflected on the lens surface of the glasses.
  • FIG. 5B is, for example, a wrinkle line L2 illustrated in FIG. 6A.
  • FIG. 6B is a diagram when the eyelid line L2 is plotted in the eye region.
  • the heel line L2 is plotted at a position away from the actual heel. That is, the wrinkle detection unit 3 erroneously detects the edge A of the dashboard as a wrinkle.
  • the similarity between the normal vector Va and the luminance vector Vb at the pixels on the heel line L2 is low, and the heel evaluation value and the heel reliability are lower than in the case of FIG. 5A.
  • the determination unit 5 determines whether the wrinkle detection unit 3 has normally detected wrinkles using the wrinkle reliability output from the reliability calculation unit 4. Specifically, the determination unit 5 determines that the wrinkle is not normally detected when the wrinkle reliability calculated by the reliability calculation unit 4 is less than the first threshold. For example, the first threshold is set in advance to a value higher than the heel reliability calculated in the situation shown in FIG. 5B. The determination unit 5 outputs the determination result to the state determination unit 6.
  • the state determination unit 6 uses the position information of the eyelid detected by the eyelid detection unit 3 to calculate the open / closed state of the eye. For example, the state determination unit 6 calculates the degree of eye opening as the open / closed state of the eye. The eye opening degree is calculated by a known calculation method, for example, using the flatness rate of the eyelid line identified from the position information of the eyelid detected by the eyelid detection unit 3. Further, the state determination unit 6 uses the determination result output from the determination unit 5 to determine whether the calculated opening / closing state is valid or invalid. The valid open / closed state is treated as a proper representation of the actual eye open / closed state of the driver. On the other hand, an open / closed state that is invalidated is treated as not properly representing the actual open / closed state of the driver's eyes. Accordingly, the open / closed state invalidated is immediately discarded.
  • the state determination unit 6 may be configured to be able to calculate the gaze direction or the arousal level.
  • the state determination unit 6 calculates the line-of-sight direction when the open / close state is determined to be valid.
  • the state determination part 6 calculates a wakefulness degree, when it determines with an opening / closing state being effective.
  • the degree of wakefulness is an index that indicates the degree of wakefulness of the driver, and if the degree of openness when the eyes are closed is continuously calculated, the degree of wakefulness that indicates doze is calculated. Calculated based on
  • the functions of the image acquisition unit 1, region extraction unit 2, eyelid detection unit 3, reliability calculation unit 4, determination unit 5, and state determination unit 6 of the false detection determination device 10 are realized by a processing circuit.
  • the processing circuit may be dedicated hardware or a CPU (Central Processing Unit) that executes a program stored in a memory.
  • the CPU is also called a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor).
  • the functions of the video acquisition unit 1, the region extraction unit 2, the eyelid detection unit 3, the reliability calculation unit 4, the determination unit 5, and the state determination unit 6 are realized by a processing circuit 100 that is dedicated hardware. It is a figure which shows the hardware structural example in the case of having carried out.
  • the processing circuit 100 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array), or a combination thereof.
  • the functions of the video acquisition unit 1, the region extraction unit 2, the wrinkle detection unit 3, the reliability calculation unit 4, the determination unit 5, and the state determination unit 6 may be realized by combining separate processing circuits 100. The function of each unit may be realized by one processing circuit 100.
  • FIG. 7B shows a CPU 102 that executes functions stored in the memory 101 for the functions of the video acquisition unit 1, region extraction unit 2, eyelid detection unit 3, reliability calculation unit 4, determination unit 5, and state determination unit 6. It is a figure which shows the hardware structural example at the time of implement
  • the functions of the video acquisition unit 1, the region extraction unit 2, the eyelid detection unit 3, the reliability calculation unit 4, the determination unit 5, and the state determination unit 6 are software, firmware, or a combination of software and firmware. It is realized by.
  • Software and firmware are described as programs and stored in the memory 101.
  • the CPU 102 reads out and executes the program stored in the memory 101, so that each unit of the video acquisition unit 1, the region extraction unit 2, the eyelid detection unit 3, the reliability calculation unit 4, the determination unit 5, and the state determination unit 6 is executed. Realize the function.
  • the erroneous detection determination apparatus 10 has a memory 101 for storing a program or the like in which the processes of steps ST1 to ST23 shown in the flowcharts of FIGS. 8, 9, and 10 to be described later are executed as a result. .
  • these programs cause the computer to execute the procedures or methods of the image acquisition unit 1, the region extraction unit 2, the eyelid detection unit 3, the reliability calculation unit 4, the determination unit 5, and the state determination unit 6. It can also be said.
  • the memory 101 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM) or an EEPROM (Electrically Erasable Programmable Semiconductor ROM).
  • a RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable ROM) or an EEPROM (Electrically Erasable Programmable Semiconductor ROM).
  • EPROM Erasable Programmable ROM
  • EEPROM Electrical Erasable Programmable Semiconductor ROM
  • a part is implement
  • the functions of the video acquisition unit 1, the region extraction unit 2, and the eyelid detection unit 3 are realized by a processing circuit as dedicated hardware, and the reliability calculation unit 4, the determination unit 5, and the state determination unit 6 are processed.
  • the function can be realized by the circuit reading and executing the program stored in the memory.
  • the processing circuit includes the video acquisition unit 1, the region extraction unit 2, the eyelid detection unit 3, the reliability calculation unit 4, the determination unit 5, and the state determination unit by hardware, software, firmware, or a combination thereof. 6 can be realized.
  • the series of processes shown in FIG. 8 is periodically performed when the driver starts driving the automobile, for example.
  • the video acquisition unit 1 acquires video data indicating the video of the driver (step ST1).
  • the video acquisition unit 1 outputs the acquired video data to the region extraction unit 2.
  • the region extraction unit 2 extracts the eye region of the video indicated by the video data using the video data acquired by the video acquisition unit 1 (step ST2).
  • the region extraction unit 2 outputs video data of a portion corresponding to the driver's eye region to the eyelid detection unit 3 and the reliability calculation unit 4.
  • eyelid detection unit 3 uses the video data output from region extraction unit 2 to detect eyelids in the eye region extracted by region extraction unit 2 (step ST3).
  • the eyelid detection unit 3 outputs the detected position information of the eyelids to the reliability calculation unit 4 and the state determination unit 6.
  • the reliability calculation unit 4 calculates the eyelid reliability using the luminance information of the eye region extracted by the region extraction unit 2 and the position information of the eyelid detected by the eyelid detection unit 3 (step ST4). .
  • the reliability calculation unit 4 outputs the calculated heel reliability to the determination unit 5.
  • FIG. 9 shows an example of the process in step ST4 in detail.
  • the reliability calculation unit 4 sets the wrinkle reliability to the maximum value as an initial value (step ST11). When the heel reliability is expressed as a percentage, for example, the maximum value of the heel reliability is 100. Subsequently, the reliability calculation unit 4 calculates the wrinkle evaluation value as described above. And the reliability calculation part 4 determines whether the calculated haze evaluation value is more than a 4th threshold value (step ST12). If the heel evaluation value is greater than or equal to the fourth threshold (step ST12; YES), the reliability calculation unit 4 sets the heel reliability according to the heel evaluation value, for example, as shown in FIG. 4 (step ST13).
  • the heel reliability is expressed, for example, as a percentage
  • the heel reliability set in step ST13 is a value larger than zero.
  • the wrinkle reliability set in step ST11 is updated.
  • the reliability calculation unit 4 sets the wrinkle reliability to the minimum value (step ST14).
  • the ⁇ reliability is expressed as a percentage, for example, the minimum value of the ⁇ reliability is 0.
  • the wrinkle reliability set in step ST11 is updated.
  • the reliability calculation unit 4 does not uniformly set the wrinkle reliability to the minimum value, but stepwise according to the wrinkle evaluation value. The reliability may be lowered.
  • the determination part 5 determines whether the wrinkle reliability calculated by step ST4 as mentioned above is more than a 1st threshold value (step ST5). If the wrinkle reliability is equal to or higher than the first threshold (step ST5; YES), the determination unit 5 determines that wrinkles are normally detected (step ST6). The determination unit 5 outputs the determination result to the state determination unit 6. The state determination unit 6 uses the position information of the eyelid detected by the eyelid detection unit 3 to calculate the open / closed state of the eye. The state determination unit 6 determines that the calculated opening / closing state is valid (step ST7).
  • step ST5 when the wrinkle reliability is less than the first threshold (step ST5; NO), the determination unit 5 determines that wrinkles are not normally detected (step ST8).
  • the determination unit 5 outputs the determination result to the state determination unit 6.
  • the state determination unit 6 uses the position information of the eyelid detected by the eyelid detection unit 3 to calculate the open / closed state of the eye.
  • the state determination unit 6 determines that the calculated opening / closing state is invalid (step ST9).
  • the state determination unit 6 calculates the open / closed state of the eye when it is determined that the eyelid is normally detected, and the open / closed state of the eye is determined when it is determined that the eyelid is not normally detected. It may be configured not to calculate.
  • the erroneous detection determination device 10 determines whether or not wrinkles are erroneously detected. Even when the scenery reflected near the eyes on the lens surface of the glasses is detected as a eyelid as shown in FIG. 5B, the erroneous detection determination device 10 can correctly determine that the eyelid is erroneously detected. Detection accuracy is high.
  • the determination unit 5 determines that eyelids are not normally detected, the open / closed state of the eye calculated by the state determination unit 6 is invalidated. Therefore, the sensing performance is improved when the driver's state such as sleepiness or blinking is sensed using the open / closed state of the eyes.
  • Another possible countermeasure is to take a picture so that the scenery does not appear on the lens surface of the glasses in order to prevent the false detection of wrinkles due to the reflection of the scenery on the lens surface of the glasses. .
  • the erroneous detection determination device 10 even if there is no such countermeasure, it is possible to accurately determine the erroneous detection of wrinkles and to suppress an increase in cost.
  • the reliability calculation unit 4 may calculate the heel reliability according to the heel reliability calculated in the past. An example of processing in this case will be described using the flowchart shown in FIG. Note that steps that perform the same or corresponding steps as those already described with reference to FIG. 9 are denoted with the same reference numerals, and description thereof will be omitted or simplified as appropriate.
  • the reliability calculation unit 4 stores the calculated hail reliability in a storage unit (not shown). As a result, in the erroneous detection determination device 10, a history of heel reliability calculated by the reliability calculation unit 4 in the past is accumulated. Subsequent to step ST13 or step ST14, the reliability calculation unit 4 reads a history of wrinkle reliability from a storage unit (not shown). At this time, the reliability calculation unit 4 reads the history of the wrinkle reliability for a series of videos from one frame before the set frame before the video for which the wrinkle reliability is calculated in step ST13 or step ST14. As a result, one or a plurality of defect reliability is read out. If the set frame is, for example, 5 frames, the reliability calculation unit 4 determines the five reliability levels from one frame before to 5 frames before the video for which the reliability is calculated in step ST13 or step ST14. read out.
  • the reliability calculation unit 4 calculates the ratio of the read reliability values that are less than the second threshold value (step ST21). In this way, the reliability calculation unit 4 calculates the proportion of the video whose heel reliability is less than the second threshold in the video indicated by the video data acquired by the video acquisition unit 1 in the past.
  • the second threshold value may be set to the same value as the first threshold value, or may be set to a value less than the first threshold value.
  • the reliability calculation unit 4 determines whether the calculated ratio is greater than or equal to the third threshold (step ST22).
  • the reliability calculation unit 4 sets the heel reliability to the minimum value (step ST23). At this time, the reliability calculation unit 4 may reduce the heel reliability, and may reduce the heel reliability to a value other than the minimum value. As a result, the heel reliability set in step ST13 or step ST14 is updated and output to the determination unit 5.
  • the reliability calculation unit 4 makes no change to the heel reliability set in step ST13 or step ST14. That is, the wrinkle reliability set in step ST13 or step ST14 is output to the determination unit 5.
  • FIG. 11A shows a case where a landscape is reflected in a band shape below the eye on the lens surface of the glasses.
  • the bag detecting unit 3 detects the degree of eye opening.
  • the reliability calculated by the reliability calculation unit 4 is high, and the determination unit 5 cannot determine that it is a false detection. .
  • FIG. 11B shows a case where a scene similar to the eye is reflected on the lens surface of the glasses with the eyes closed.
  • the edge portion of the landscape surrounded by a broken line in the figure is detected as a heel by the heel detection unit 3.
  • the reliability calculated by the reliability calculation unit 4 is high, and the determination unit 5 determines that it is a false detection. I can't.
  • FIG. 12 is a diagram showing an example of the time transition of the reflection of scenery and the reliability of haze. It is assumed that the reflection of the landscape starts from the state T1 and changes to the state T6 so as to be aligned on the horizontal axis.
  • FIG. 12 shows the wrinkle reliability calculated by the reliability calculation unit 4 by the processing shown in FIG. 9 for the video showing each of the states T1 to T6. In the states T1 and T5, there is no reflection of the landscape, and the haze reliability is calculated high. In states T2, T3, and T6, the entire scene is reflected on the lens surface of the glasses, and the eyelid reliability is calculated to be low. In the state T4, as described with reference to FIG. 11A, the wrinkle detection unit 3 erroneously detects wrinkles, but the wrinkle reliability is calculated to be high.
  • FIG. 13 is a diagram illustrating an example of a temporal transition of a ratio of a video having a haze reliability less than the second threshold in the past video when the scene reflection shown in FIG. 12 occurs.
  • the ratio in the state T3 is the ratio of the video in which the heel reliability is calculated to be less than the second threshold in the video for the set frames before the state T2.
  • the wrinkle reliability in the states T3 and T4 is set to the minimum value. That is, as shown in FIG. 14, the heel reliability is low even in the state T3.
  • the determination unit 5 can determine that wrinkles are erroneously detected.
  • the reliability calculation unit 4 calculates the reliability, the determination accuracy of erroneous detection is increased by considering not only a single video that is currently processed but also a video that has been processed in the past. Increase more.
  • the video acquisition unit 1, the region extraction unit 2, the eyelid detection unit 3, the reliability calculation unit 4, the determination unit 5, and the state determination unit 6 constituting the erroneous detection determination device 10 are in a server (not shown) outside the automobile. May be built.
  • a server acquires video data indicating the video of the driver from the automobile by wireless communication, and determines whether a false eyelid is detected.
  • a server transmits a signal for notifying the driver to the vehicle as necessary based on the calculated eye open / closed state.
  • the server may function as the false detection determination device 10.
  • the erroneous detection determination device 10 is mounted on an automobile.
  • the erroneous detection determination device 10 may be a smartphone such as a driver brought into the vehicle.
  • the smartphone acquires video data indicating the image of the driver by a camera (not shown) that is mounted on a car and photographs the driver, or a camera built in the smartphone.
  • the hail detection unit 3 and the reliability calculation unit 4 may be built in a server (not shown) outside the automobile, and the server (not shown) may perform hail detection and hail reliability calculation.
  • a server acquires video data indicating the eye region from the automobile by wireless communication, and determines whether the eyelid is erroneously detected.
  • a server transmits the detected position information of the bag and the calculated bag reliability to the vehicle.
  • each part which comprises the misdetection determination apparatus 10 may be disperse
  • the driver of the automobile has been described as an example.
  • the erroneous detection determination device 10 may be used for a driver of a moving body other than the automobile.
  • the erroneous detection determination device 10 may output the processing result to an external device without having the state determination unit 6. That is, the erroneous detection determination device 10 outputs the position information of the eyelid detected by the eyelid detection unit 3 and the determination result by the determination unit 5 to the state determination unit 6 provided outside the erroneous detection determination device 10.
  • the state determination unit 6 provided outside the false detection determination device 10 receives the output from the false detection determination device 10, calculates the open / closed state of the eyes, and senses the driver's state such as dozing, drowsiness or blinking. To do.
  • the reliability calculation unit 4 calculates the eye reliability using the luminance information of the eye region and the position information of the eyelid, and the determination unit 5 uses the eye reliability.
  • the degree to determine whether or not wrinkles are erroneously detected the accuracy of erroneous detection determination can be increased.
  • the false detection determination device 10 includes a state determination unit 6 that calculates the open / closed state of the eye using the position information of the eyelid detected by the eyelid detection unit 3, and the determination unit 5 does not detect eyelids normally. If it is determined, the state determination unit 6 determines that the calculated opening / closing state is invalid. Therefore, the sensing performance is improved when the driver's state such as sleepiness or blinking is sensed using the open / closed state of the eyes.
  • the reliability calculation unit 4 In addition, in the video indicated by the video data acquired by the video acquisition unit 1, when the proportion of the video whose ⁇ reliability is less than the second threshold is greater than or equal to the third threshold, the reliability calculation unit 4 The heel reliability calculated using the heel position information is lowered, and the determination unit 5 performs the determination using the heel reliability reduced by the reliability calculation unit 4. Therefore, the determination accuracy of erroneous detection is further increased.
  • the reliability calculation unit 4 calculates the wrinkle reliability using the inner product of the luminance vector obtained from the luminance information and the normal vector of the hail line obtained from the position information. Accordingly, it is possible to appropriately calculate the heel reliability.
  • any component of the embodiment can be modified or any component of the embodiment can be omitted within the scope of the invention.
  • the erroneous detection determination device can improve the determination accuracy of whether or not a false is detected, so that it is incorporated in a system that detects and processes a defect, such as a driver monitoring system. Suitable for use in.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

領域抽出部（２）は、運転者の映像の眼領域を抽出する。瞼検出部（３）は、眼領域内の瞼を検出する。信頼度算出部（４）は、眼領域の輝度情報と、瞼検出部（３）が検出した瞼の位置情報とを用いて、瞼信頼度を算出する。判定部（５）は、瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する。

Description

誤検出判定装置及び誤検出判定方法
　この発明は、瞼が誤検出されたかを判定する装置に関するものである。
　車室内を撮影し、運転者の居眠り又は眠気等を検出するドライバモニタリング装置が知られている。運転者がメガネ又はサングラス（以下、サングラスについてもメガネと呼ぶ）を着用した場合、メガネのレンズ表面に風景が映り込むこと、又は、メガネフレームで瞼が隠されることなどにより、瞼が正常に検出されないことがある。瞼が正常に検出されない場合、運転者の居眠り又は眠気等の検出性能が低下する。
　特許文献１には、眼を誤って検出した場合に、その誤検出の情報を加味して覚醒度を推定する覚醒度推定装置が記載されている。特許文献１の覚醒度推定装置は、画像の縦方向の画素列に沿って画素の濃度を検出し、眼の部分で濃度が局所的に低下することを利用して、眼の画素群を抽出する。また、特許文献１の覚醒度推定装置は、検出した眼が誤検出によるものかを判断する。例えば、特許文献１の覚醒度推定装置は、検出した左右の眼の距離等、左右の眼の位置関係を用いて誤検出を判定する。
特開２００７―３４４３６号公報
　しかしながら、上記特許文献１の覚醒度推定装置は、眼を誤検出しているか否かの判定精度が低いものであった。例えば、メガネのレンズ表面において眼付近に風景が映り込んでその映り込んだ風景が眼として誤検出されている場合でも、上記特許文献１のように左右の眼の位置関係を用いて誤検出が判定されると、眼を誤検出しているとは判定されない。眼を正常に検出できたと判定がされ、映り込んだ風景が眼として扱われながら処理が行われてしまう。眼の誤検出は、結局のところ瞼の誤検出でもある。
　この発明は、上記のような課題を解決するためになされたもので、瞼を誤検出しているか否かの判定精度を高めることができる誤検出判定装置を得ることを目的とする。
　この発明に係る誤検出判定装置は、運転者の映像を示す映像データを取得する映像取得部と、映像取得部が取得した映像データを用いて、映像の眼領域を抽出する領域抽出部と、領域抽出部が抽出した眼領域内の瞼を検出する瞼検出部と、領域抽出部が抽出した眼領域の輝度情報と、瞼検出部が検出した瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出部と、信頼度算出部が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定部とを備えることを特徴とするものである。
　この発明によれば、眼領域の輝度情報と検出された瞼の位置情報とを用いて算出された瞼信頼度に基づき、判定が行われることで、瞼を誤検出しているか否かの判定精度を高めることができる。
実施の形態１に係る誤検出判定装置の構成を示す図である。 図２Ａは瞼ラインの一例を示す図であり、図２Ｂは図２Ａの瞼ラインをプロットしたときの図である。 輝度ベクトルの説明図である。 瞼評価値と瞼信頼度との関係を示すグラフである。 図５Ａはメガネのレンズ表面に風景の映り込みが無い場合の運転者の眼付近の状況を示す図であり、図５Ｂはメガネのレンズ表面に風景が映り込んだ場合の運転者の眼付近の状況を示す図である。 図６Ａは瞼ラインの一例を示す図であり、図６Ｂは図６Ａの瞼ラインをプロットしたときの図である。 図７Ａ及び図７Ｂは、実施の形態１に係る誤検出判定装置のハードウェア構成例を示す図である。 実施の形態１に係る誤検出判定装置による処理の一例を示すフローチャートである。 図８のステップＳＴ４での処理の一例を詳細に示すフローチャートである。 瞼信頼度を算出する処理の変形例を示すフローチャートである。 図１１Ａはメガネのレンズ表面において眼の下部に風景が帯状に映り込んだ場合を示す図であり、図１１Ｂはメガネのレンズ表面において眼と似た形状の風景が映り込んだ場合を示す図である。 風景の映り込みと瞼信頼度の時間推移の一例を示す図である。 図１２で示した風景の映り込みが発生した場合に、過去の映像のうち瞼信頼度が第２閾値未満である映像の占める割合の時間推移の一例を示す図である。 図１２で示した風景の映り込みが発生した場合に、図１０で示した処理に従い算出される瞼信頼度を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１． 
　図１は、実施の形態１に係る誤検出判定装置１０の構成を示す図である。誤検出判定装置１０は、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５、及び、状態判定部６を備える。
　映像取得部１は、運転者の映像を示す映像データを取得する。以下では、誤検出判定装置１０が自動車に搭載されている場合を例に説明する。この場合、自動車に搭載されて運転者を撮影する不図示のカメラから、運転者の映像を示す映像データが出力される。
　映像取得部１は、取得した映像データを領域抽出部２へ出力する。
　領域抽出部２は、映像取得部１が取得した映像データを用いて、当該映像データが示す映像の眼領域を抽出する。眼領域は、少なくとも眼を含む領域であり、顔領域よりは狭い領域である。人物の映像から当該人物の眼領域を抽出する画像処理技術は、周知の技術であるので、詳細については省略する。例えば、人物の顔領域を特定し、顔領域の上部に設定した横長の範囲を、当該人物の眼領域とする画像処理技術が用いられる。
　領域抽出部２は、映像取得部１が取得した映像データのうち、運転者の眼領域に相当する部分の映像データを瞼検出部３と信頼度算出部４へ出力する。
　瞼検出部３は、領域抽出部２から出力された映像データを用いて、領域抽出部２が抽出した眼領域内の瞼を検出する。瞼を検出する画像処理技術は、周知の技術であるので、詳細については省略する。例えば、特許文献１で挙げられているような、映像の縦方向の画素列に沿って画素の濃度を検出し、濃度が局所的に変化した位置を瞼として検出する画像処理技術が用いられる。
　瞼検出部３は、検出した瞼の位置情報を信頼度算出部４と状態判定部６へ出力する。瞼の位置情報は、例えば後述の図２Ａ、図２Ｂ、図６Ａ及び図６Ｂで示すような瞼ラインが特定できる情報である。例えば、瞼の位置情報は、眼領域における目頭の座標位置、眼領域における目尻の座標位置、及び、瞼ラインの形状を表す関数を含んでいる。
　信頼度算出部４は、領域抽出部２が抽出した眼領域の輝度情報と、瞼検出部３が検出した瞼の位置情報とを用いて、瞼信頼度を算出する。眼領域の輝度情報は、領域抽出部２から出力された映像データを用いて信頼度算出部４にて特定可能である。瞼信頼度は、瞼検出部３が検出した瞼が本当に瞼であるかの信頼度を示す指標である。瞼信頼度が高いほど、瞼検出部３が瞼を正しく検出できていることを示している。信頼度算出部４は、算出した瞼信頼度を判定部５へ出力する。
　図２Ａ、図２Ｂ、図３及び図４は、瞼信頼度の算出方法の一例を説明するための図である。
　信頼度算出部４は、瞼検出部３から出力された瞼の位置情報を用いて、例えば図２Ａに示すような瞼ラインＬ１を特定する。瞼ラインＬ１は、瞼検出部３が検出した瞼を示している。瞼ラインＬ１の一端は目頭、他端は目尻に相当する。
　信頼度算出部４は、瞼ラインＬ１を眼領域にプロットする。このとき、例えば瞼の位置情報に含まれる、眼領域における目頭及び目尻の座標位置を参照して、信頼度算出部４は瞼ラインＬ１を眼領域にプロットする。眼領域は、信頼度算出部４が領域抽出部２から取得した映像データが示す映像に相当する。
　図２Ｂは、瞼ラインＬ１を眼領域にプロットしたときの図である。図２Ａ及び図２Ｂは、後述するように運転者の眼付近の状況が図５Ａに示す場合における、瞼ライン及び瞼ラインのプロット状況であり、メガネのフレームＦについても示している。図２Ｂに示されるように、瞼ラインＬ１は、実際の瞼とよく一致している。信頼度算出部４は、瞼ラインＬ１上の画素それぞれについて、瞼ラインＬ１での法線ベクトルＶａを算出する。瞼ラインＬ１での法線ベクトルＶａは、図２Ａに示すとおりである。
　また、信頼度算出部４は、瞼ラインＬ１上の画素それぞれについて、輝度ベクトルＶｂを算出する。信頼度算出部４は、領域抽出部２から出力された映像データを用いて眼領域の輝度情報を特定し、輝度ベクトルＶｂの算出に用いる。図３は、輝度ベクトルＶｂの説明図である。輝度ベクトルＶｂは、輝度が明るくなる方向を示すベクトルである。例えば画素Ｐ１の輝度ベクトルＶｂは、画素Ｐ１を囲む画素の中で唯一白い画素Ｐ２へ向かうベクトルとなる。なお、複数の白い画素に囲まれている画素の輝度ベクトルＶｂは、例えば、当該複数の白い画素の重心を通過するベクトルとなる。例えば、２つの白い画素Ｐ２，Ｐ４に囲まれている画素Ｐ３の輝度ベクトルＶｂは、図３中に破線で示すように画素Ｐ２と画素Ｐ４との間を通過している。なお、法線ベクトルＶａ及び輝度ベクトルＶｂは、例えば単位ベクトルの長さを有する。
　瞼検出部３が検出した瞼が、実際の瞼と一致しているほど、法線ベクトルＶａと輝度ベクトルＶｂとの類似度は高くなる。したがって、信頼度算出部４は、法線ベクトルＶａと輝度ベクトルＶｂとの類似度を示す瞼評価値を算出する。瞼評価値が大きいほど、法線ベクトルＶａと輝度ベクトルＶｂとが類似していることを示す。瞼評価値は、例えば、法線ベクトルＶａと輝度ベクトルＶｂとの内積である。信頼度算出部４は、瞼ラインＬ１上の画素それぞれについて、法線ベクトルＶａと輝度ベクトルＶｂとの内積を算出し、合計値を瞼評価値とする。なお、瞼評価値は、法線ベクトルＶａと輝度ベクトルＶｂとの類似度を示すものであれば、内積以外を用いた評価値であってもよい。例えば、瞼評価値は、法線ベクトルＶａと輝度ベクトルＶｂとが成す角度の合計値の逆数であってもよい。
　信頼度算出部４は、瞼評価値を算出すると、算出した瞼評価値を瞼信頼度に変換する。図４は、瞼評価値と瞼信頼度との関係を示すグラフである。瞼評価値が第４閾値以上であれば、瞼評価値に応じて瞼信頼度が算出される。一方、瞼評価値が第４閾値未満であれば、瞼信頼度は最小値例えば０と算出される。なお、信頼度算出部４は、瞼評価値が第４閾値未満の場合、一律に瞼信頼度を最小値にするのではなく、瞼評価値に応じて段階的に瞼信頼度を低下させてもよい。また、瞼評価値と瞼信頼度との関係は、図４に代えて、正比例を示すものであってもよい。また、信頼度算出部４は、瞼評価値をそのまま瞼信頼度として用いてもよい。要は、瞼評価値から瞼信頼度への変換方法は、様々なものが考えられる。
　図２Ａ及び図２Ｂで示した例は、運転者の眼付近の状況が例えば図５Ａに示す場合のものである。図５Ａでは、メガネのレンズ表面に風景の映り込みが無く、瞼がはっきりと映像に映り込む。
　一方、図５Ｂは、図５Ａとは異なる運転者の眼付近の状況を示している。図５Ｂでは、運転者の眼の開き具合は図５Ａと同様であるが、メガネのレンズ表面に風景が全体的に映り込んでおり、瞼が薄れて映像に映り込む。また、例えばダッシュボードの縁Ａがメガネのレンズ表面に映り込むなどしている。図５Ｂに示す状況に対して瞼検出部３が検出した瞼は、例えば図６Ａに示す瞼ラインＬ２となる。図６Ｂは、瞼ラインＬ２を眼領域にプロットしたときの図である。瞼ラインＬ２は、実際の瞼から離れた位置にプロットされる。つまり、瞼検出部３は、ダッシュボードの縁Ａを瞼として誤検出している。この場合、瞼ラインＬ２上の画素での法線ベクトルＶａと輝度ベクトルＶｂとの類似度は低く、瞼評価値そして瞼信頼度は、図５Ａの場合と比較して低くなる。
　判定部５は、信頼度算出部４から出力された瞼信頼度を用いて、瞼検出部３が瞼を正常に検出したかを判定する。具体的には、判定部５は、信頼度算出部４が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する。第１閾値は、例えば、図５Ｂのような状況で算出される瞼信頼度より高い値に予め設定される。
　判定部５は、判定結果を状態判定部６へ出力する。
　状態判定部６は、瞼検出部３が検出した瞼の位置情報を用いて、眼の開閉状態を算出する。状態判定部６は、例えば開眼度を眼の開閉状態として算出する。開眼度は、周知の算出方法によって算出されるものであり、例えば、瞼検出部３が検出した瞼の位置情報から特定される瞼ラインの扁平率を用いて算出される。また、状態判定部６は、判定部５から出力された判定結果を用いて、算出した開閉状態を有効とするか無効とするかを判定する。有効とされた開閉状態は、運転者の実際の眼の開閉状態を適切に表せているものとして扱われる。一方、無効とされた開閉状態は、運転者の実際の眼の開閉状態を適切に表せていないものとして扱われる。したがって、無効とされた開閉状態は、即座に破棄されるなどする。
　なお、状態判定部６は、視線方向又は覚醒度を算出可能に構成されてもよい。状態判定部６は、開閉状態を有効と判定した場合に、視線方向を算出する。また、状態判定部６は、開閉状態を有効と判定した場合に、覚醒度を算出する。覚醒度は、運転者の覚醒度合いを示す指標であり、眼を閉じているときの開眼度が継続して算出されると居眠りを示す覚醒度が算出されるなど、開眼度の経時的な変化に基づき算出される。
　次に、誤検出判定装置１０のハードウェア構成例について、図７Ａ及び図７Ｂを用いて説明する。
　誤検出判定装置１０の映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能は、処理回路により実現される。当該処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）とも呼ばれる。
　図７Ａは、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を、専用のハードウェアである処理回路１００で実現した場合のハードウェア構成例を示す図である。処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）若しくはＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を別個の処理回路１００を組み合わせて実現してもよいし、当該各部の機能を１つの処理回路１００で実現してもよい。
　図７Ｂは、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を、メモリ１０１に格納されるプログラムを実行するＣＰＵ１０２で実現した場合のハードウェア構成例を示す図である。この場合、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組合せにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ１０１に格納される。ＣＰＵ１０２は、メモリ１０１に格納されたプログラムを読み出して実行することにより、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を実現する。すなわち、誤検出判定装置１０は、後述する図８、図９及び図１０のフローチャートで示すステップＳＴ１～ＳＴ２３の処理が結果的に実行されることになるプログラム等を格納するためのメモリ１０１を有する。また、これらのプログラムは、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の手順又は方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１０１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）等の、不揮発性若しくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク若しくはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等のディスク状の記録媒体等が該当する。
　なお、映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、映像取得部１、領域抽出部２及び瞼検出部３については専用のハードウェアとしての処理回路でその機能を実現し、信頼度算出部４、判定部５及び状態判定部６については処理回路がメモリに格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組合せによって、上記の映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５及び状態判定部６の各部の機能を実現することができる。
　次に、上記のように構成された誤検出判定装置１０による処理の一例について、図８に示すフローチャートを用いて説明する。図８に示す一連の処理は、例えば運転者が自動車の運転を開始すると、周期的に行われる。
　映像取得部１は、運転者の映像を示す映像データを取得する（ステップＳＴ１）。映像取得部１は、取得した映像データを領域抽出部２へ出力する。
　続いて、領域抽出部２は、映像取得部１が取得した映像データを用いて、当該映像データが示す映像の眼領域を抽出する（ステップＳＴ２）。
　領域抽出部２は、運転者の眼領域に相当する部分の映像データを瞼検出部３と信頼度算出部４へ出力する。
　続いて、瞼検出部３は、領域抽出部２から出力された映像データを用いて、領域抽出部２が抽出した眼領域内の瞼を検出する（ステップＳＴ３）。
　瞼検出部３は、検出した瞼の位置情報を信頼度算出部４と状態判定部６へ出力する。
　続いて、信頼度算出部４は、領域抽出部２が抽出した眼領域の輝度情報と、瞼検出部３が検出した瞼の位置情報とを用いて、瞼信頼度を算出する（ステップＳＴ４）。信頼度算出部４は、算出した瞼信頼度を判定部５へ出力する。
　ここで、図９に、ステップＳＴ４での処理の一例を詳細に示す。
　まず、信頼度算出部４は、初期値として、瞼信頼度を最大値に設定する（ステップＳＴ１１）。瞼信頼度が例えばパーセントで表現される場合、瞼信頼度の最大値は１００である。
　続いて、信頼度算出部４は、既に述べたようにして瞼評価値を算出する。そして、信頼度算出部４は、算出した瞼評価値が第４閾値以上であるかを判定する（ステップＳＴ１２）。
　瞼評価値が第４閾値以上である場合（ステップＳＴ１２；ＹＥＳ）、信頼度算出部４は、例えば図４のようにして瞼評価値に応じて瞼信頼度を設定する（ステップＳＴ１３）。瞼信頼度が例えばパーセントで表現される場合、ステップＳＴ１３で設定される瞼信頼度は、０よりも大きい値である。これにより、ステップＳＴ１１で設定された瞼信頼度が更新される。
　一方、瞼評価値が第４閾値未満である場合（ステップＳＴ１２；ＮＯ）、信頼度算出部４は、瞼信頼度を最小値に設定する（ステップＳＴ１４）。瞼信頼度が例えばパーセントで表現される場合、瞼信頼度の最小値は０である。これにより、ステップＳＴ１１で設定された瞼信頼度が更新される。なお、既に述べたように、瞼評価値が第４閾値未満の場合、信頼度算出部４は、一律に瞼信頼度を最小値にするのではなく、瞼評価値に応じて段階的に瞼信頼度を低下させてもよい。
　図８に戻り、判定部５は、以上のようにしてステップＳＴ４で算出された瞼信頼度が、第１閾値以上であるかを判定する（ステップＳＴ５）。
　瞼信頼度が第１閾値以上である場合（ステップＳＴ５；ＹＥＳ）、判定部５は、瞼が正常に検出されていると判定する（ステップＳＴ６）。判定部５は、判定結果を状態判定部６へ出力する。
　状態判定部６は、瞼検出部３が検出した瞼の位置情報を用いて、眼の開閉状態を算出している。状態判定部６は、算出した開閉状態を有効と判定する（ステップＳＴ７）。
　一方、瞼信頼度が第１閾値未満である場合（ステップＳＴ５；ＮＯ）、判定部５は、瞼が正常に検出されていないと判定する（ステップＳＴ８）。判定部５は、判定結果を状態判定部６へ出力する。
　状態判定部６は、瞼検出部３が検出した瞼の位置情報を用いて、眼の開閉状態を算出している。状態判定部６は、算出した開閉状態を無効と判定する（ステップＳＴ９）。
　なお、状態判定部６は、瞼が正常に検出されていると判定された場合に眼の開閉状態を算出し、瞼が正常に検出されていないと判定された場合はそもそも眼の開閉状態を算出しないように構成されてもよい。
　このようにして、誤検出判定装置１０は、瞼を誤検出しているか否かを判定する。図５Ｂのようにメガネのレンズ表面において眼付近に映り込んだ風景を瞼として検出している場合でも、誤検出判定装置１０は、瞼を誤検出していると正しく判定することができ、誤検出の判定精度が高い。
　また、判定部５によって瞼が正常に検出されていないと判定された場合、状態判定部６が算出した眼の開閉状態は無効とされる。したがって、眼の開閉状態を利用して居眠り、眠気又は瞬き等の運転者の状態がセンシングされる場合に、センシング性能が向上する。
　また、メガネのレンズ表面への風景の映り込みによる瞼の誤検出が発生しないように、そもそもメガネのレンズ表面へ風景が映り込まないようにカメラが撮影を行うことも対策の１つとして考えられる。しかしながら、この場合、撮影時のカメラ照明を強くする必要があり、コストが上昇する。誤検出判定装置１０によると、このような対策が無い場合でも瞼の誤検出を精度良く判定でき、コストの上昇を抑えることができる。
　なお、信頼度算出部４は、過去に算出した瞼信頼度に応じて、瞼信頼度を算出してもよい。この場合の処理の一例を、図１０に示すフローチャートを用いて説明する。なお、図９で既に説明したステップと同一又は相当する処理を行うステップについては、同一の符号を付し、適宜その説明を省略又は簡略化する。
　信頼度算出部４は、ステップＳＴ４で瞼信頼度を算出するたびに、算出した瞼信頼度を不図示の記憶部に格納する。これにより、誤検出判定装置１０内には、過去に信頼度算出部４が算出した瞼信頼度の履歴が蓄積される。
　ステップＳＴ１３又はステップＳＴ１４に続いて、信頼度算出部４は、不図示の記憶部から瞼信頼度の履歴を読み出す。このとき、信頼度算出部４は、ステップＳＴ１３又はステップＳＴ１４で瞼信頼度を算出する対象とした映像よりも１フレーム前から設定フレーム前までの一連の映像について、瞼信頼度の履歴を読み出す。これにより、１又は複数個の瞼信頼度が読み出される。設定フレームが例えば５フレームであると、信頼度算出部４は、ステップＳＴ１３又はステップＳＴ１４で瞼信頼度を算出する対象とした映像よりも１フレーム前から５フレーム前までの５つの瞼信頼度を読み出す。
　そして、信頼度算出部４は、読み出した瞼信頼度のなかで、瞼信頼度が第２閾値未満であるものの割合を算出する（ステップＳＴ２１）。このようにして、信頼度算出部４は、過去に映像取得部１が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合を算出する。なお、第２閾値は、第１閾値と同じ値に設定されてもよいし、第１閾値未満の値に設定されてもよい。
　続いて、信頼度算出部４は、算出した割合が第３閾値以上であるかを判定する（ステップＳＴ２２）。
　算出した割合が第３閾値以上である場合（ステップＳＴ２２；ＹＥＳ）、信頼度算出部４は、瞼信頼度を最小値に設定する（ステップＳＴ２３）。なお、このとき、信頼度算出部４は、瞼信頼度を低下させればよく、瞼信頼度を最小値ではない値に低下させても構わない。これにより、ステップＳＴ１３又はステップＳＴ１４で設定された瞼信頼度が更新され、判定部５へ出力される。
　一方、算出した割合が第３閾値未満である場合（ステップＳＴ２２；ＮＯ）、信頼度算出部４は、ステップＳＴ１３又はステップＳＴ１４で設定した瞼信頼度に何ら変更を行わない。つまり、ステップＳＴ１３又はステップＳＴ１４で設定された瞼信頼度が判定部５へ出力される。
　図１１Ａ、図１１Ｂ、図１２、図１３及び図１４を用いて、図１０で示した処理について追加で説明する。
　図１１Ａは、メガネのレンズ表面において眼の下部に風景が帯状に映り込んだ場合を示す。この場合、瞼全体のうち図中破線で囲んだ一部分のみが、瞼検出部３により瞼として検出される。このように瞼が検出された場合、実際の眼の状態とは異なり、開眼度は低く算出されて眼が閉じかかっているかのように扱われる。つまり、瞼検出部３は瞼を誤検出をしていることになる。しかしながら、法線ベクトルＶａと輝度ベクトルＶｂとはよく一致することから、信頼度算出部４により算出される瞼信頼度は高くなり、判定部５は誤検出であるとの判定を行うことができない。
　また、図１１Ｂは、眼が閉じられた状態でメガネのレンズ表面において眼と似た形状の風景が映り込んだ場合を示している。この場合、図中破線で囲んだ風景の縁部分が、瞼検出部３により瞼として検出される。この場合も、法線ベクトルＶａと輝度ベクトルＶｂとはよく一致することから、信頼度算出部４により算出される瞼信頼度は高くなり、判定部５は誤検出であるとの判定を行うことができない。
　図１２は、風景の映り込みと瞼信頼度の時間推移の一例を示す図である。風景の映り込みは、横軸に並んでいるように、状態Ｔ１から始まり状態Ｔ６のように変化したとする。図１２では、状態Ｔ１～Ｔ６それぞれを映した映像に対して、図９に示した処理により信頼度算出部４が算出した瞼信頼度を示している。状態Ｔ１及びＴ５では、風景の映り込みがなく、瞼信頼度は高く算出される。状態Ｔ２、Ｔ３及びＴ６では、メガネのレンズ表面に風景が全体的に映り込んでおり、瞼信頼度は低く算出される。状態Ｔ４は、図１１Ａを用いて説明したように、瞼検出部３は瞼を誤検出しているものの、瞼信頼度は高く算出される。
　図１３は、図１２で示した風景の映り込みが発生した場合に、過去の映像のうち瞼信頼度が第２閾値未満である映像の占める割合の時間推移の一例を示す図である。例えば、状態Ｔ３での当該割合は、状態Ｔ２以前の設定フレーム分の映像の中で、瞼信頼度が第２閾値未満と算出された映像の割合となる。図１３に示すように割合が推移している場合に、図１０に示した処理に従うと、状態Ｔ３及びＴ４での瞼信頼度が最小値に設定されることになる。つまり、図１４に示すように状態Ｔ３でも瞼信頼度が低くなる。これにより、状態Ｔ３について、判定部５は、瞼を誤検出していると判定できる。
　このように、信頼度算出部４が瞼信頼度を算出する際に、現在処理の対象としている映像単体ではなく、過去に処理の対象とした映像も考慮することで、誤検出の判定精度がより高まる。
　なお、上記では、誤検出判定装置１０が自動車に搭載されている場合を示した。しかしながら、誤検出判定装置１０を構成する映像取得部１、領域抽出部２、瞼検出部３、信頼度算出部４、判定部５、及び、状態判定部６が自動車外部の不図示のサーバ内に構築されてもよい。この場合、不図示のサーバは、自動車から無線通信により運転者の映像を示す映像データを取得し、瞼の誤検出の判定を行う。また、不図示のサーバは、算出した眼の開閉状態に基づき、必要に応じて運転者に警告を伝えるための信号を自動車へ送信する。このように、サーバが誤検出判定装置１０として機能してもよい。
　また、上記では、誤検出判定装置１０が自動車に搭載されているとしたが、誤検出判定装置１０は、車両に持ち込まれた運転者等のスマートフォン等であってもよい。この場合、当該スマートフォンは、自動車に搭載されて運転者を撮影する不図示のカメラ、又は、スマートフォンに内蔵されたカメラにより、運転者の映像を示す映像データを取得する。
　また、例えば瞼検出部３及び信頼度算出部４が自動車外部の不図示のサーバ内に構築され、瞼の検出及び瞼信頼度の算出を不図示のサーバが行うようにしてもよい。この場合、不図示のサーバは、自動車から無線通信により眼領域を示す映像データを取得し、瞼の誤検出の判定を行う。そして、不図示のサーバは、検出した瞼の位置情報と、算出した瞼信頼度とを自動車へ送信する。このように、誤検出判定装置１０を構成する各部が、自動車と自動車外部のサーバという異なる場所に分散していてもよい。
　また、上記では、自動車の運転者を例に説明をしたが、自動車以外の移動体の運転者を対象に、誤検出判定装置１０が使われてもよい。
　また、誤検出判定装置１０は、状態判定部６を有さずに、処理結果を外部の装置へ出力するものであってもよい。つまり、誤検出判定装置１０は、瞼検出部３が検出した瞼の位置情報、及び、判定部５による判定結果を、誤検出判定装置１０の外部に設けられた状態判定部６へ出力する。誤検出判定装置１０の外部に設けられた状態判定部６は、誤検出判定装置１０からの出力を受けて、眼の開閉状態を算出し、居眠り、眠気又は瞬き等の運転者の状態をセンシングする。
　以上のように、この実施の形態１によれば、信頼度算出部４が、眼領域の輝度情報と、瞼の位置情報とを用いて瞼信頼度を算出し、判定部５が、瞼信頼度を用いて、瞼を誤検出しているか否かを判定することで、誤検出の判定精度を高めることができる。
　また、誤検出判定装置１０は、瞼検出部３が検出した瞼の位置情報を用いて眼の開閉状態を算出する状態判定部６を備え、判定部５が、瞼が正常に検出されていないと判定した場合、状態判定部６は、算出した開閉状態を無効と判定する。したがって、眼の開閉状態を利用して居眠り、眠気又は瞬き等の運転者の状態がセンシングされる場合に、センシング性能が向上する。
　また、映像取得部１が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合が第３閾値以上である場合、信頼度算出部４は、輝度情報と瞼の位置情報とを用いて算出した瞼信頼度を低下させ、判定部５は、信頼度算出部４が低下させた瞼信頼度を用いて判定を行う。したがって、誤検出の判定精度がより高まる。
　また、信頼度算出部４は、輝度情報から得られる輝度ベクトルと、位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出する。したがって、適切に瞼信頼度を算出することができる。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　以上のように、この発明に係る誤検出判定装置は、瞼を誤検出しているか否かの判定精度を高めることができるので、瞼を検出して処理を行うシステム、例えばドライバモニタリングシステムに組み込んで用いるのに適している。
　１　映像取得部、２　領域抽出部、３　瞼検出部、４　信頼度算出部、５　判定部、６　状態判定部、１０　誤検出判定装置、１００　処理回路、１０１　メモリ、１０２　ＣＰＵ。

Claims (5)

  1. 　運転者の映像を示す映像データを取得する映像取得部と、
    　前記映像取得部が取得した映像データを用いて、前記映像の眼領域を抽出する領域抽出部と、
    　前記領域抽出部が抽出した眼領域内の瞼を検出する瞼検出部と、
    　前記領域抽出部が抽出した眼領域の輝度情報と、前記瞼検出部が検出した瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出部と、
    　前記信頼度算出部が算出した瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定部とを備えることを特徴とする誤検出判定装置。
  2. 　前記瞼検出部が検出した瞼の位置情報を用いて眼の開閉状態を算出する状態判定部を備え、
    　前記判定部が、瞼が正常に検出されていないと判定した場合、
    　前記状態判定部は、算出した開閉状態を無効と判定することを特徴とする請求項１記載の誤検出判定装置。
  3. 　前記映像取得部が取得した映像データが示す映像のうち、瞼信頼度が第２閾値未満である映像の占める割合が第３閾値以上である場合、
    　前記信頼度算出部は、前記輝度情報と瞼の前記位置情報とを用いて算出した瞼信頼度を低下させ、
    　前記判定部は、前記信頼度算出部が低下させた瞼信頼度を用いて判定を行うことを特徴とする請求項１記載の誤検出判定装置。
  4. 　前記信頼度算出部は、前記輝度情報から得られる輝度ベクトルと、前記位置情報から得られる瞼ラインの法線ベクトルとの内積を用いて、瞼信頼度を算出することを特徴とする請求項１記載の誤検出判定装置。
  5. 　映像取得部が、運転者の映像を示す映像データを取得する映像取得ステップと、
    　領域抽出部が、前記映像取得ステップにより取得された映像データを用いて、前記映像の眼領域を抽出する領域抽出ステップと、
    　瞼検出部が、前記領域抽出ステップにより抽出された眼領域内の瞼を検出する瞼検出ステップと、
    　信頼度算出部が、前記領域抽出ステップにより抽出された眼領域の輝度情報と、前記瞼検出ステップにより検出された瞼の位置情報とを用いて、瞼信頼度を算出する信頼度算出ステップと、
    　判定部が、前記信頼度算出ステップにより算出された瞼信頼度が第１閾値未満の場合に、瞼が正常に検出されていないと判定する判定ステップとを備えることを特徴とする誤検出判定方法。
PCT/JP2018/004888 2018-02-13 2018-02-13 誤検出判定装置及び誤検出判定方法 WO2019159229A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/004888 WO2019159229A1 (ja) 2018-02-13 2018-02-13 誤検出判定装置及び誤検出判定方法
JP2019571839A JP6698966B2 (ja) 2018-02-13 2018-02-13 誤検出判定装置及び誤検出判定方法
US16/962,383 US11200417B2 (en) 2018-02-13 2018-02-13 Determination apparatus and method to enhance accuracy in determining the presence of an erroneously detected eyelid

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/004888 WO2019159229A1 (ja) 2018-02-13 2018-02-13 誤検出判定装置及び誤検出判定方法

Publications (1)

Publication Number Publication Date
WO2019159229A1 true WO2019159229A1 (ja) 2019-08-22

Family

ID=67619274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004888 WO2019159229A1 (ja) 2018-02-13 2018-02-13 誤検出判定装置及び誤検出判定方法

Country Status (3)

Country Link
US (1) US11200417B2 (ja)
JP (1) JP6698966B2 (ja)
WO (1) WO2019159229A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220080A (ja) * 2003-01-09 2004-08-05 Nissan Motor Co Ltd 開閉眼判定装置
JP2009169740A (ja) * 2008-01-17 2009-07-30 Toyota Motor Corp 顔画像処理装置
JP2011095826A (ja) * 2009-10-27 2011-05-12 Toyota Motor Corp 眼部検出装置
JP2011125620A (ja) * 2009-12-21 2011-06-30 Toyota Motor Corp 生体状態検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412253B2 (ja) 2005-07-22 2010-02-10 日産自動車株式会社 覚醒度推定装置及び方法
JP4331197B2 (ja) * 2006-11-06 2009-09-16 トヨタ自動車株式会社 眼開度検出装置及び方法
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
CN103493097B (zh) * 2011-04-15 2015-09-16 爱信精机株式会社 眼睑检测装置、眼睑检测方法
US8983147B2 (en) * 2011-07-11 2015-03-17 Toyota Jidosha Kabushiki Kaisha Eyelid detection device
JP2013027615A (ja) * 2011-07-29 2013-02-07 Topcon Corp 眼科手術用顕微鏡
WO2019035337A1 (ja) * 2017-08-15 2019-02-21 テイ・エス テック株式会社 生体センサーの配置構造

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220080A (ja) * 2003-01-09 2004-08-05 Nissan Motor Co Ltd 開閉眼判定装置
JP2009169740A (ja) * 2008-01-17 2009-07-30 Toyota Motor Corp 顔画像処理装置
JP2011095826A (ja) * 2009-10-27 2011-05-12 Toyota Motor Corp 眼部検出装置
JP2011125620A (ja) * 2009-12-21 2011-06-30 Toyota Motor Corp 生体状態検出装置

Also Published As

Publication number Publication date
JP6698966B2 (ja) 2020-05-27
US11200417B2 (en) 2021-12-14
US20210073510A1 (en) 2021-03-11
JPWO2019159229A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
JP4826506B2 (ja) 視線推定装置
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
US20180081434A1 (en) Eye and Head Tracking
JP5790762B2 (ja) 瞼検出装置
US20070291231A1 (en) Eyeglass detection method
JP2008146356A (ja) 視線方向推定装置及び視線方向推定方法
US20180092518A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
KR102442220B1 (ko) 얼굴 생체 검출 방법과 장치, 전자 기기, 컴퓨터 판독 가능 매체
JP7008814B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2010244156A (ja) 画像特徴量検出装置及びこれを用いた視線方向検出装置
JP4412253B2 (ja) 覚醒度推定装置及び方法
US11161470B2 (en) Occupant observation device
JP2004192552A (ja) 開閉眼判定装置
WO2019159229A1 (ja) 誤検出判定装置及び誤検出判定方法
JP5493676B2 (ja) 眼位置認識装置
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
JP4883013B2 (ja) 顔画像処理装置
JP5035139B2 (ja) 眼画像処理装置
CN111696312B (zh) 乘员观察装置
WO2024057356A1 (ja) 開瞼度検出装置、開瞼度検出方法、および眠気判定システム
JP4710679B2 (ja) 開閉眼判定方法及びその装置
JP2020194224A (ja) 運転者判定装置、運転者判定方法、および運転者判定プログラム
WO2022234662A1 (ja) 眠気推定装置及び眠気推定システム
US20210097713A1 (en) Information processing device, information processing method, and program
JP2008262417A (ja) 眼の開閉状態検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18906328

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019571839

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18906328

Country of ref document: EP

Kind code of ref document: A1