WO2023243069A1 - 脇見判定装置および脇見判定方法 - Google Patents
脇見判定装置および脇見判定方法 Download PDFInfo
- Publication number
- WO2023243069A1 WO2023243069A1 PCT/JP2022/024255 JP2022024255W WO2023243069A1 WO 2023243069 A1 WO2023243069 A1 WO 2023243069A1 JP 2022024255 W JP2022024255 W JP 2022024255W WO 2023243069 A1 WO2023243069 A1 WO 2023243069A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- line
- sight
- occupant
- unit
- inattentiveness
- Prior art date
Links
- 238000000034 method Methods 0.000 title description 24
- 238000001514 detection method Methods 0.000 claims abstract description 117
- 238000010801 machine learning Methods 0.000 claims description 44
- 210000001508 eye Anatomy 0.000 description 84
- 238000003384 imaging method Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 20
- 210000001747 pupil Anatomy 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 210000000744 eyelid Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 210000000720 eyelash Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present disclosure relates to an inattentiveness determination device and an inattentiveness determination method for a vehicle occupant.
- Patent Document 1 there is a known technology that detects the direction of the passenger's line of sight based on a captured image of the passenger in the vehicle, and determines whether the passenger is looking aside from the detected direction of the line of sight.
- the direction of a person's line of sight based on a captured image is detected by, for example, detecting the iris or pupil on the captured image.
- the area occupied by the occupant's eyes (more specifically, the eyeballs) is small.
- detection of the iris or pupil from the eye area which is inherently small, may fail, resulting in the occupant's line of sight.
- direction may be detected incorrectly.
- An object of the present invention is to provide an inattentiveness detection device that prevents false detection of inattentiveness by a passenger.
- the inattentiveness detection device includes an image acquisition unit that acquires a captured image of the face of an occupant in a vehicle, and a line of sight detection that detects the direction of the occupant's line of sight based on the captured image acquired by the image acquisition unit.
- an inattentiveness tentative determination section that tentatively determines whether the occupant is looking aside based on the direction of the occupant's line of sight detected by the line of sight detection section; If it is tentatively determined that the occupant is looking in a downward direction, the gaze correctness determination unit determines whether the direction of the occupant's gaze detected by the gaze detection unit is correct or not, and the inattentiveness provisional determination unit determines whether the occupant is looking downward or not.
- the present invention also includes an inattentiveness determination section.
- the inattentiveness detection device detects the false detection of inattentiveness by an occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected as downward. It can be prevented.
- FIG. 1 is a diagram showing a configuration example of an inattentiveness determination device according to Embodiment 1.
- FIG. FIGS. 2A and 2B are diagrams illustrating an example of a captured image of an occupant inside a vehicle.
- 3 is a flowchart for explaining the operation of the inattentiveness determination device according to the first embodiment. To explain the details of the line-of-sight correct/incorrect judgment performed by the line-of-sight correct/incorrect judgment unit in step ST4 in FIG. It is a flowchart. 4 is a flowchart for explaining details of the inattentiveness determination by the inattentiveness determination unit in step ST5 of FIG. 3.
- FIG. 6A and 6B are diagrams illustrating an example of the hardware configuration of the inattentiveness determination device according to the first embodiment.
- 7 is a diagram illustrating a configuration example of an inattentiveness determination device according to a second embodiment.
- FIG. 7 is a flowchart for explaining the operation of the inattentiveness determination device according to the second embodiment.
- FIG. 7 is a diagram illustrating a configuration example of an inattentiveness determination device equipped with a learning device that generates a first machine learning model in a second embodiment.
- 10 is a flowchart for explaining the operation of a learning device installed in the inattentiveness determination device shown in FIG. 9 in Embodiment 2.
- FIG. 11 is a flowchart for explaining details of the operation of generating learning data by the learning data generating section in step ST101 of FIG. 10.
- FIG. 10 is a flowchart for explaining details of the operation of generating learning data by the learning data generating section in step ST101 of FIG. 10.
- FIG. 1 is a diagram showing a configuration example of an inattentiveness determination device 1 according to the first embodiment.
- the inattentiveness determination device 1 is mounted on a vehicle (not shown) and connected to an imaging device 2 and an output device 3.
- the inattentiveness determination device 1, the imaging device 2, and the output device 3 constitute an inattentiveness determination system 400.
- the imaging device 2 is mounted on a vehicle and is installed so as to be able to image at least an area where the face of the occupant should be present.
- the imaging device 2 is provided in the vehicle near the front of the occupant's head, or below the front of the occupant's head, more specifically, below the front of the occupant's eyes. It is assumed that For example, the imaging device 2 is provided in a vehicle under a steering wheel, on an upper part of an instrument panel (hereinafter referred to as "instrument panel"), on a center console, or on a pillar.
- the imaging device 2 may be used in common with, for example, a so-called DMS (Driver Monitoring System) installed for the purpose of monitoring the inside of a vehicle.
- the imaging device 2 is a visible light camera or an infrared camera.
- the imaging device 2 outputs the captured image to the inattentiveness determination device 1 .
- the output device 3 is mounted on the vehicle and outputs a warning based on the warning information output from the inattentiveness determination device 1.
- the output device 3 issues a warning based on the warning information output from the inattentiveness determination device 1 to alert the occupant to inattentiveness.
- the output device 3 is, for example, a display device such as a touch panel display included in a car navigation device (not shown), or an audio output device such as a speaker included in the car navigation device.
- the display device displays, for example, a message warning the occupant.
- the audio output device outputs, for example, an audio message or a warning sound to warn the occupant.
- the inattentiveness determination device 1 determines whether or not the occupant is inattentive, based on a captured image of the face of the occupant present in the vehicle, captured by the imaging device 2.
- the determination of whether or not the occupant is looking aside, which is performed by the inattentiveness determining device 1, is also referred to as "inattentiveness determination.”
- the inattentiveness determination device 1 according to the first embodiment detects the direction of the passenger's line of sight based on the captured image, and performs the inattentiveness determination based on the detected direction of the passenger's line of sight.
- the inattentiveness determination device 1 determines whether or not the direction of the passenger's line of sight is incorrectly detected as being downward, and if it is determined that the direction of the passenger's line of sight is incorrectly detected as being downward, then the direction of the passenger's line of sight detected is To avoid erroneously determining that a passenger is looking aside based on the direction.
- the inattentiveness determination device 1 detects that the direction of the passenger's line of sight is downward even though it is impossible for the passenger to look downward. The orientation of is determined to be invalid.
- the inattentiveness determination device 1 determines whether or not the occupant is in a situation where it is impossible for the occupant to be facing downward, based on a captured image. Specifically, the inattentiveness determination device 1 determines whether the occupant is in a state where it is impossible for the occupant to look downward based on the degree of eye opening of the occupant based on the captured image.
- FIG. 2A and FIG. 2B are diagrams showing an example of a captured image of a passenger inside a vehicle. For example, when an occupant looks downward, that is, when he or she directs his/her line of sight downward, it is assumed that the occupant enters a so-called lowered eyes state (see FIG. 2A).
- the passenger when it is detected that the passenger's line of sight is downward, the passenger must be in a state where the eyes are not fully open, or in other words, the degree of eye opening is low.
- the area occupied by the passenger's eyes (more specifically, the eyeballs) on the captured image of the passenger's face inside the vehicle is small.
- the direction of a person's line of sight based on a captured image is detected by, for example, detecting the iris or pupil on the captured image.
- detecting the iris or pupil on the captured image For example, when a visible light camera detects the direction of the passenger's line of sight from an image taken inside the vehicle, the inner corner of the passenger's eye and iris are detected on the captured image, and the direction of the passenger's line of sight is determined based on the positional relationship between the inner corner of the eye and the iris. can be detected.
- the Purkinje image and pupil it is possible to detect the direction of the passenger's line of sight based on the positional relationship between the Purkinje image and the pupil.
- the iris or pupil may be hidden by the eyelids or eyelashes, but as described above, the area shown by the passenger's eyes on the captured image is small. Therefore, if the iris or pupil is hidden by the eyelids or eyelashes, it becomes difficult to detect the position of the iris or pupil, and detection of the iris or pupil may fail.
- the iris or pupil may be detected at a position lower than its actual position. As a result, the direction of the passenger's line of sight may be incorrectly detected.
- the iris is partially hidden even if the passenger's eyes are open. , the iris becomes further hidden. Therefore, detecting the vertical position of the iris based on the captured image is more difficult than detecting the horizontal position.
- it is more difficult to detect the downward position of the iris or pupil based on the captured image than to detect the upward position.
- the direction of the passenger's line of sight is likely to be erroneously detected as being downward.
- near-infrared light from a scenery or a visible light camera may be reflected by the lenses of the glasses and may overlap the iris or pupil, causing the iris to appear white. If the iris or pupil appears white on the captured image, the direction of the passenger's line of sight may be detected to be downward, regardless of the direction in which the passenger's line of sight is actually directed. In this manner, for example, even when the occupant is wearing glasses, the direction of the occupant's line of sight is likely to be erroneously detected as being downward. As described above, since the area shown by the passenger's eyes on the captured image is small, the entire area of the iris or pupil may appear white.
- the inattentiveness determination device 1 detects that the direction of the occupant's line of sight is directed downward even though the occupant's eyes are fully open in the captured image. In this case, the detection result of the direction of the line of sight is determined to be incorrect, so that it is not erroneously determined that the occupant is looking aside based on the direction of the line of sight.
- the inattentiveness determination device 1 includes an image acquisition unit 11, a line of sight detection unit 12, an eye opening degree determination unit 13, an inattentiveness provisional determination unit 14, a line of sight correct/incorrect determination unit 15, an inattentiveness determination unit 16, and a warning unit. 17.
- the image acquisition unit 11 acquires a captured image of the face of an occupant in the vehicle captured by the imaging device 2 .
- the image acquisition section 11 outputs the acquired captured image to the line of sight detection section 12 and the eye opening degree determination section 13.
- the line of sight detection unit 12 detects the direction of the passenger's line of sight based on the captured image acquired by the image acquisition unit 11.
- the line of sight detection unit 12 may detect the direction of the passenger's line of sight using a known image recognition technique on the captured image. For example, when the imaging device 2 is a visible light camera, the line of sight detection unit 12 can detect the inner corner of the occupant's eye and iris on the captured image, and detect the direction of the occupant's line of sight from the positional relationship between the inner corner of the eye and the iris.
- the line of sight detection unit 12 detects the positional relationship between the Purkinje image obtained by reflecting off the cornea when the infrared camera irradiates a near-infrared point source and the pupil.
- the direction of the passenger's line of sight can be detected. Note that these are just examples, and the line of sight detection unit 12 may detect the direction of the passenger's line of sight using various known algorithms.
- the direction of the passenger's line of sight is expressed as an angle with respect to a predetermined reference direction.
- the direction of the passenger's line of sight is expressed as an angle with respect to the reference direction, with the state when the passenger looks straight ahead from the seat as a reference direction.
- the direction of the passenger's line of sight is, for example, the standard direction when the passenger looks straight ahead is 0 degrees, the direction upward from the standard is plus, and the direction is downward from the standard. It is expressed as an angle with a negative direction.
- the line-of-sight detection unit 12 outputs information indicating the detected direction of the passenger's line-of-sight (hereinafter referred to as “line-of-sight information”) to the inattentiveness temporary determination unit 14.
- the line of sight information is, for example, information in which the direction of the passenger's line of sight is associated with the captured image acquired by the image acquisition unit 11.
- the line-of-sight detection unit 12 stores the line-of-sight information in a storage unit (not shown) in association with the acquisition date and time of the captured image.
- the acquisition date and time of the captured image may be, for example, the date and time given to the captured image by the imaging device 2, or the date and time when the image acquisition unit 11 acquired the captured image.
- the line of sight detection unit 12 may acquire information on the date and time when the captured image was acquired from the image acquisition unit 11.
- the eye-opening degree determination unit 13 determines the eye-opening degree of the occupant based on the captured image acquired by the image acquisition unit 11. For example, the eye openness determination unit 13 uses a known image recognition technique on the captured image to detect the upper and lower eyelids of the occupant. For example, in a captured image, an area where a passenger's face may exist (hereinafter referred to as a "face detection area") is set in advance, and the eye openness determination unit 13 detects a known edge in the face detection area of the captured image. Detection is performed to extract feature points indicating the occupant's upper eyelid and feature points indicating the lower eyelid.
- face detection area an area where a passenger's face may exist
- the eye opening degree determining unit 13 calculates, for example, the distance between the upper and lower eyelids of the occupant in the captured image (hereinafter referred to as "eyelid distance") in order from the left on the captured image, and calculates the distance between the upper and lower eyelids of the occupant in the captured image, and Calculate the eyelid distance. Then, the eye opening degree determination unit 13 determines the eye opening degree based on the ratio between the calculated maximum eyelid distance and the reference value of the eye opening degree. That is, the unit of eye opening degree is percent.
- the reference value of the degree of eye opening is set in advance, for example, to the average value of the degree of eye opening during wakefulness of an adult of a typical physique, which is calculated through a test.
- the reference value of the degree of eye opening may be, for example, the average value of the degree of eye opening of the occupant during a preset time after the occupant boards the vehicle, or the standard value of the degree of eye opening of the occupant It may also be an average value of all eye opening degrees determined up to now. Note that the method for determining the degree of eye opening described above is only an example.
- the eye-opening degree determination unit 13 may determine the eye-opening degree using various known algorithms.
- the eye-opening degree determining unit 13 outputs information indicating the determined eye-opening degree of the occupant (hereinafter referred to as “eye-opening degree information”) to the line-of-sight correctness determining unit 15.
- the eye opening degree information is, for example, information in which the occupant's eye opening degree and the captured image acquired by the image acquisition unit 11 are associated with each other.
- the eye-opening degree determination unit 13 stores the eye-opening degree information in a storage unit (not shown) in association with the acquisition date and time of the captured image.
- the acquisition date and time of the captured image may be, for example, the date and time given to the captured image by the imaging device 2, or the date and time when the image acquisition unit 11 acquired the captured image.
- the eye openness determination unit 13 may acquire information on the date and time when the captured image was acquired from the image acquisition unit 11.
- the tentative looking aside determination section 14 makes a tentative decision as to whether or not the occupant is looking aside (hereinafter referred to as "tentative looking aside determination”) based on the direction of the occupant's line of sight detected by the line of sight detection section 12. For example, the inattentiveness tentative determination unit 14 determines whether the occupant is looking aside, depending on whether the direction of the occupant's line of sight satisfies preset conditions (hereinafter referred to as "inattentiveness tentative determination conditions"). Make a tentative judgment. The inattentiveness tentative determination unit 14 tentatively determines that the occupant is looking aside when the direction of the passenger's line of sight satisfies the inattentiveness provisional determination condition.
- the condition for tentative looking aside judgment is set, for example, as follows: "The direction of the passenger's line of sight in the vertical direction (in other words, the vertical direction) is outside the looking aside judgment range.”
- the inattentiveness provisional determination conditions are generated in advance by an administrator or the like and stored in a location where the inattentiveness determination device 1 can refer to them.
- the inattentiveness provisional determination range in the inattentiveness provisional determination conditions is the permissible range of movement of the passenger's line of sight in the vertical direction for performing the necessary confirmation actions, and is set in advance by the administrator, etc. and is stored in a location that can be referenced by the inattentiveness determination device 1.
- the inattentiveness tentative determination unit 14 tentatively determines that the occupant is inattentive in an upward direction. Further, for example, if the direction of the occupant's line of sight is downward than the inattentiveness determination range, the inattentiveness tentative determination unit 14 tentatively determines that the occupant is inattentive in a downward direction.
- the judgment by the inattentiveness provisional judgment unit 14 as to whether or not the occupant is looking aside is a provisional provisional judgment, and ultimately the inattentiveness judgment unit 16 determines whether or not the occupant is inattentive. Confirm the judgment. Details of the inattentiveness determination unit 16 will be described later.
- the inattentiveness warning counter is a counter for counting the time that has passed since the inattentiveness tentative determination unit 14 tentatively determined that the occupant was inattentive.
- the inattentiveness warning counter is stored in a location where the inattentiveness determination device 1 can refer to it.
- the inattentiveness warning counter is reset when the inattentiveness determination unit 16 determines that the occupant is not inattentive.
- the inattentiveness warning counter also indicates that when the power of the inattentiveness determination device 1 is turned off, and if the inattentiveness determination device 1 rejects the provisional determination result that the occupant is inattentive, the inattentiveness determination device 1 issues a warning. It is reset when information is output or when the vehicle stops. This reset is performed by the control section (not shown) of the inattentiveness determination device 1, the inattentiveness determination section 16, the warning section 17, or the like.
- the looking aside tentative determination unit 14 outputs the result of the looking aside tentative determination (hereinafter referred to as the “looking aside tentative determination result”) to the line of sight correct/incorrect determining unit 15 . Further, the tentative looking aside determination unit 14 outputs the line of sight information acquired from the line of sight detection unit 12 to the line of sight correct/incorrect determining unit 15 together with the tentative looking aside determination result.
- the line-of-sight correctness determination unit 15 determines whether or not the direction of the occupant's line of sight detected by the line-of-sight detection unit 12 is valid. (hereinafter referred to as "correct/incorrect determination of line of sight"). Specifically, when the looking aside determination unit 14 tentatively determines that the occupant is looking aside in a downward direction, the line of sight correctness determination unit 15 determines the direction of the occupant's line of sight detected by the line of sight detection unit 12 and the degree of eye opening. Based on the degree of eye opening of the occupant determined by the unit 13, a line-of-sight determination is made to determine whether the direction of the occupant's line of sight detected by the line-of-sight detection unit 12 is correct.
- the line-of-sight correct/incorrect judgment unit 15 detects the line-of-sight of the passenger detected by the line-of-sight detection unit 12 among the captured images retroactively acquired by the image acquisition unit 11 (hereinafter referred to as "captured images for correct/incorrect determination").
- the direction is less than or equal to a preset threshold (hereinafter referred to as “line-of-sight determination threshold”), and the degree of eye opening of the occupant determined by the eye opening degree determining unit 13 is equal to or less than a preset threshold (hereinafter referred to as “threshold for determining eye opening degree”). ) or above (hereinafter referred to as “proportion for correct/incorrect determination”) is calculated.
- a preset threshold hereinafter referred to as "threshold for determining eye opening degree”
- the line-of-sight determination unit 15 determines whether the vertical direction of the passenger's line of sight detected by the line-of-sight detection unit 12 is less than or equal to the line-of-sight determination threshold, in other words, the direction of the occupant's line of sight is lower than the line-of-sight determination threshold. Then, the ratio for determining whether the captured image is correct or not is calculated, and the degree of eye opening of the occupant determined by the eye opening degree determining unit 13 is equal to or higher than the eye opening degree determining threshold.
- the captured image for correct/incorrect determination may be a captured image of the number of frames acquired by the image acquisition unit 11 in a period that goes back a preset period from the present, or may be a captured image of a preset number of frames. It may be a captured image of the number of frames.
- the line of sight correct/incorrect judgment unit 15 includes a captured image for correct/incorrect determination, information on the direction of the passenger's line of sight detected by the line of sight detection unit 12 based on the captured image, and an eye opening degree determination unit based on the captured image.
- the information on the degree of eye opening of the occupant determined in step 13 may be acquired from the line of sight information and the degree of eye opening information stored in the storage unit.
- the line-of-sight correct/incorrect determination unit 15 determines whether the calculated correct/incorrect determination ratio is greater than or equal to a preset threshold (hereinafter referred to as "correct/incorrect determination threshold"). If the correct/incorrect judgment ratio is equal to or higher than the correct/incorrect judgment threshold, the line-of-sight determination unit 15 determines that the direction of the passenger's line of sight detected by the line-of-sight detection unit 12 is incorrect.In other words, the direction of the passenger's line of sight has been erroneously detected. It is determined that The case where the proportion for correct/incorrect judgment is equal to or greater than the threshold for correct/incorrect judgment means that, among the captured images for correct/incorrect judgment, for example, as shown in FIG.
- the line-of-sight correctness determination unit 15 determines that the direction of the passenger's line of sight detected by the line-of-sight detection unit 12 is correct.
- the line of sight correct/incorrect determining section 15 determines whether the occupant is looking aside when the temporary looking aside determining section 14 tentatively determines that the occupant is not looking aside, and even when the tentative looking aside determining section 14 tentatively determines that the occupant is looking aside. If the looking aside is not downward looking, it is determined that the direction of the passenger's line of sight detected by the line of sight detection unit 12 is correct.
- the line-of-sight correct/incorrect determination unit 15 outputs the result of the line-of-sight correct/incorrect determination (hereinafter referred to as the “line-of-sight correct/incorrect determination result”) to the inattentiveness determination unit 16 together with the temporary inattentiveness determination result obtained from the temporary inattentiveness determination unit 14.
- the looking aside determination unit 16 performs looking aside determination to determine whether the occupant is looking aside based on the temporary looking aside determination result by the temporary looking aside determination unit 14 and the correct/incorrect line of sight determination result by the line of sight correct/incorrect determining unit 15.
- the looking aside determination unit 16 maintains the result of the tentative looking aside determination unit 14 and determines that the occupant is not looking aside. .
- the looking aside determination unit 16 determines that the occupant is looking aside. However, when the looking aside determination unit 16 tentatively determines that the occupant is looking in the downward direction, the looking aside determination unit 15 determines that the direction of the occupant's line of sight detected by the looking detection unit 12 is correct. Determine whether or not it is determined to be fraudulent. When the line-of-sight determination unit 15 determines that the direction of the passenger's line of sight detected by the line-of-sight detection unit 12 is incorrect, the looking aside determination unit 16 determines that the occupant is not looking aside. That is, the looking aside determination unit 16 rejects the result of the tentative looking aside determination unit 14, and determines that the occupant is not looking aside.
- the looking aside determination unit 16 determines that the line of sight correctness determining unit 15 detects that the line of sight detection unit 12 detects If it is determined that the direction of the passenger's line of sight is incorrect, it is determined that the passenger is not looking aside.
- the inattentiveness determination unit 16 determines that the occupant is not inattentive, it resets the inattentiveness warning counter. As described above, the inattentiveness warning counter is incremented when the inattentiveness tentative determination unit 14 tentatively determines that the occupant is inattentive. By resetting the inattentiveness warning counter, the inattentiveness determination unit 16 prevents the warning unit 17 from outputting a warning to the occupant even though it is determined that the occupant is not inattentive. Details of the warning section 17 will be described later.
- the looking aside determination unit 15 determines whether the occupant's line of sight detected by the looking detection unit 12 is correct. If it is determined that the orientation is not incorrect, in other words, it is legal, the result of the tentative looking aside determination by the looking aside tentative determination unit 14 is maintained, and it is determined that the occupant is looking aside. In this case, the inattentiveness determination unit 16 does not reset the inattentiveness warning counter.
- the inattentiveness determination unit 16 maintains the result of the tentative inattentiveness determination by the provisional inattentiveness determination unit 14, It is determined that the occupant is looking aside. In this case as well, the inattentiveness determination unit 16 does not reset the inattentiveness warning counter.
- the inattentiveness determination unit 16 outputs the result of the inattentiveness determination (hereinafter referred to as the “inattentiveness determination result”) to the warning unit 17 .
- the warning unit 17 outputs warning information that causes the output device 3 to issue a warning when the inattentiveness determination unit 16 determines that the occupant is inattentive. Specifically, the warning unit 17 outputs warning information when the state of the occupant determined to be inattentive by the inattentiveness determining unit 16 continues for a preset time (hereinafter referred to as "warning target time"). do.
- the warning unit 17 may determine whether or not the condition of the occupant determined to be inattentive continues for the warning target time based on the inattentiveness warning counter. When the warning unit 17 outputs the warning information, it resets the inattentiveness warning counter.
- the warning information is output from the warning unit 17, the output device 3 outputs a warning based on the warning information.
- FIG. 3 is a flowchart for explaining the operation of the inattentiveness determination device 1 according to the first embodiment. Note that the inattentiveness determination device 1 repeats the operation shown in the flowchart of FIG. 3, for example, while the vehicle is traveling.
- the image acquisition unit 11 acquires a captured image of the face of an occupant in the vehicle captured by the imaging device 2 (step ST1).
- the image acquisition section 11 outputs the acquired captured image to the line of sight detection section 12 and the eye opening degree determination section 13.
- the line of sight detection unit 12 detects the direction of the passenger's line of sight based on the captured image acquired by the image acquisition unit 11 in step ST1 (step ST2-1).
- the line-of-sight detection unit 12 outputs line-of-sight information to the inattentiveness temporary determination unit 14 .
- the line of sight detection unit 12 associates the line of sight information with the acquisition date and time of the captured image and stores the line of sight information in the storage unit.
- the eye-opening degree determination section 13 determines the eye-opening degree of the occupant based on the captured image acquired by the image acquisition section 11 in step ST1 (step ST2-2).
- the eye-opening degree determining section 13 outputs the eye-opening degree information to the line-of-sight correct/incorrect determining section 15 . Further, the eye-opening degree determination unit 13 stores the eye-opening degree information in the storage unit in association with the acquisition date and time of the captured image.
- the inattentiveness tentative determination section 14 makes a tentative inattentiveness determination based on the direction of the passenger's line of sight detected by the line of sight detection section 12 in step ST2-1 (step ST3).
- the tentative looking aside determination unit 14 tentatively decides that the occupant is looking aside, it counts up the looking aside warning counter.
- the inattentiveness tentative determination section 14 outputs the result of the inattentiveness tentative determination to the line-of-sight correct/incorrect determination section 15 . Further, the tentative looking aside determination unit 14 outputs the line of sight information acquired from the line of sight detection unit 12 to the line of sight correct/incorrect determining unit 15 together with the tentative looking aside determination result.
- the line of sight correctness determination unit 15 determines the direction of the occupant's line of sight detected by the line of sight detection unit 12 in step ST2-1. It is determined whether the direction is correct or not (step ST4).
- the line-of-sight correct/incorrect determining unit 15 determines if the looking-aside tentative determining unit 14 tentatively determines in step ST3 that the occupant is not looking aside, and if the looking-looking tentative determining unit 14 tentatively determines that the occupant is looking aside.
- step ST4 a line-of-sight correctness determination is performed to determine that the direction of the occupant's line of sight detected by the line-of-sight detection unit 12 is correct.
- the line-of-sight correct/incorrect determination unit 15 outputs the line-of-sight correct/incorrect determination result to the inattentiveness determination unit 16 together with the result of the temporary inattentiveness determination acquired from the temporary inattentiveness determination unit 14 in step ST3.
- the looking aside determination unit 16 determines whether or not the occupant is looking aside, based on the temporary looking aside determination result by the temporary looking aside determining unit 14 in step ST3 and the correct/incorrect visual line determination result by the visual line correct/incorrect determining unit 15 in step ST4. An inattentiveness determination is made (step ST5).
- the inattentiveness determination unit 16 outputs the inattentiveness determination result to the warning unit 17.
- the warning unit 17 outputs warning information that causes the output device 3 to issue a warning when the inattentiveness determination unit 16 determines in step ST5 that the occupant is inattentive (step ST6). Specifically, the warning unit 17 outputs warning information when the state of the occupant determined to be inattentive by the inattentiveness determining unit 16 in step ST5 continues for the warning target period. When the warning information is output from the warning unit 17, the output device 3 outputs a warning based on the warning information.
- the warning unit 17 determines that the condition of the occupant, which the inattentiveness determination unit 16 has determined to be inattentive, does not continue for the warning target time, and in step ST5, the inattentiveness determination unit 16 determines that the occupant is inattentive. If it is determined that there is no warning information, no warning information will be output.
- step ST2-2 is performed before the process of step ST3, but this is only an example.
- the process of step ST2-2 may be performed before the process of step ST4 is performed.
- FIG. 4 shows the line-of-sight correct/incorrect judgment performed by the line-of-sight correct/incorrect judgment unit 15 in step ST4 in FIG. It is a flowchart for explaining details.
- the line-of-sight correct/incorrect judgment unit 15 determines whether the direction of the passenger's line-of-sight detected by the line-of-sight detection unit 12 in step ST2-1 in FIG.
- a ratio for correct/incorrect determination which is the ratio of captured images in which the degree of eye opening of the occupant is equal to or less than the threshold for determining the degree of eye opening and in which the degree of eye opening of the occupant determined by the degree of eye opening determination unit 13 in step ST2-2 in FIG. 3 is equal to or greater than the threshold for determining the degree of eye opening is calculated (step ST41).
- the line-of-sight correct/incorrect determination unit 15 determines whether the correct/incorrect determination ratio calculated in step ST41 is equal to or greater than the correct/incorrect determination threshold (step ST42).
- step ST42 If it is determined in step ST42 that the proportion for correct/incorrect judgment is equal to or higher than the threshold for correct/incorrect judgment (in the case of "YES" in step ST42), the line of sight correct/incorrect judgment unit 15 detects that the line of sight detection unit 12 in step ST2-1. It is determined that the detected direction of the passenger's line of sight is incorrect (step ST43).
- step ST42 If it is determined in step ST42 that the proportion for correct/incorrect judgment is less than the threshold for correct/incorrect judgment (in the case of "NO" in step ST42), the line-of-sight correct/incorrect judgment unit 15 determines that the line-of-sight detection unit 12 in step ST2-1. It is determined that the detected direction of the passenger's line of sight is valid (step ST44).
- FIG. 5 is a flowchart for explaining details of the inattentiveness determination by the inattentiveness determination unit 16 in step ST5 of FIG. 3.
- the inattentiveness determination unit 16 determines whether or not the inattentiveness determination unit 14 has tentatively determined in step ST3 of FIG. 3 that the occupant is inattentive in a downward direction (step ST51).
- the line-of-sight correctness determination unit 15 determines whether the direction of the passenger's line-of-sight detected by the line-of-sight detection unit 12 in step ST2-1 of FIG. 3 is incorrect.
- step ST4 of FIG. 3 if the line-of-sight correctness determination unit 15 determines that the direction of the passenger's line of sight detected by the line-of-sight detection unit 12 in step ST2-1 of FIG. 3 is incorrect (“YES” in step ST52) ), the inattentiveness determination unit 16 determines that the occupant is not inattentive (step ST53). That is, the looking aside determination unit 16 rejects the result of the tentative looking aside determination unit 14, and determines that the occupant is not looking aside. At this time, the inattentiveness determination unit 16 resets the inattentiveness warning counter.
- step ST4 of FIG. 3 the line of sight correctness determination unit 15 determines that the direction of the passenger's line of sight detected by the line of sight detection unit 12 in step ST2-1 of FIG. (In the case of "NO" in step ST52), the inattentiveness determination section 16 maintains the result of the inattentiveness provisional determination by the inattentiveness provisional determination section 14, and determines that the occupant is inattentive. (step ST54). Note that in this case, the inattentiveness determination unit 16 does not reset the inattentiveness warning counter.
- step ST55 If the inattentiveness determination unit 14 does not provisionally determine that the occupant is inattentive in the downward direction in step ST3 of FIG. The result of the provisional judgment of inattentiveness by the unit 14 is maintained (step ST55). That is, when the inattentiveness determination section 14 tentatively determines that the occupant is not looking aside in step ST3 of FIG. 3, the inattentiveness determination section 16 determines that the occupant is not looking aside. Further, when the inattentiveness determination unit 14 tentatively determines in step ST3 in FIG. 3 that the occupant is looking aside in a direction other than the downward direction, the inattentiveness determination unit 16 determines that the occupant is inattentive. do. At this time, the inattentiveness determination unit 16 resets the inattentiveness warning counter.
- the inattentiveness determination device 1 detects the direction of the passenger's line of sight and determines the degree to which the passenger's eyes are open based on the captured image of the passenger's face in the vehicle by the imaging device 2.
- the inattentiveness determination device 1 makes a tentative inattentiveness determination based on the detected direction of the passenger's line of sight.
- the inattentiveness determination device 1 tentatively determines that the occupant is looking in the downward direction as a result of the inattentiveness determination, the inattentiveness determination device 1 detects the detected occupant's eyes based on the detected direction of the occupant's line of sight and the determined degree of eye opening of the occupant.
- a line-of-sight determination is made to determine whether the direction of the line-of-sight is correct. Even if the inattentiveness determination device 1 tentatively determines that the occupant is looking in the downward direction, if the detected direction of the occupant's line of sight is determined to be incorrect, the inattentiveness determination device 1 determines that the occupant is inattentive. It is determined that the Thereby, the inattentiveness determination device 1 prevents false detection of inattentiveness by the occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected as downward. be able to.
- FIGS. 6A and 6B are diagrams illustrating an example of the hardware configuration of the inattentiveness determination device 1 according to the first embodiment.
- the functions of the control unit are realized by the processing circuit 1001. That is, when determining whether or not the occupant is looking aside based on the direction of the occupant's line of sight detected based on the captured image, the inattentiveness determination device 1 detects that the direction of the occupant's line of sight is downward.
- processing circuit 1001 determines whether this is legal or not, and then performs control to determine whether or not the occupant is looking aside.
- Processing circuit 1001 may be dedicated hardware as shown in FIG. 6A, or may be processor 1004 that executes a program stored in memory 1005 as shown in FIG. 6B.
- the processing circuit 1001 is dedicated hardware, the processing circuit 1001 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Circuit). Gate Array), or a combination of these.
- ASIC Application Specific Integrated Circuit
- FPGA Field-Programmable Circuit
- the processing circuit is the processor 1004, the image acquisition unit 11, the line of sight detection unit 12, the degree of eye opening determination unit 13, the looking aside temporary judgment unit 14, the line of sight correct/incorrect judgment unit 15, the looking aside judgment unit 16, and the warning unit 17
- the functions of the control unit are realized by software, firmware, or a combination of software and firmware.
- Software or firmware is written as a program and stored in memory 1005.
- the processor 1004 reads out and executes the program stored in the memory 1005, thereby controlling the image acquisition unit 11, the line of sight detection unit 12, the degree of eye opening determination unit 13, the temporary inattentiveness determination unit 14, and the line of sight correct/incorrect determination unit 15.
- the inattentiveness determination device 1 includes a memory 1005 for storing a program that, when executed by the processor 1004, results in the execution of steps ST1 to ST6 in FIG. 3 described above. Further, the program stored in the memory 1005 includes an image acquisition unit 11, a line of sight detection unit 12, an eye opening degree judgment unit 13, a temporary looking aside judgment unit 14, a line of sight correct/incorrect judgment unit 15, an aside looking judgment unit 16, It can also be said that it causes the computer to execute the processing procedure or method of the warning section 17 and the control section (not shown).
- the memory 1005 is, for example, RAM, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically non-volatile or volatile This includes semiconductor memory, magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versatile Discs), and the like.
- the image acquisition section 11, the line of sight detection section 12, the degree of eye opening determination section 13, the looking aside provisional determining section 14, the looking aside determination section 15, the looking aside determining section 16, the warning section 17, and a control section (not shown).
- Some of the functions may be realized by dedicated hardware, and some by software or firmware.
- the function of the image acquisition unit 11 is realized by a processing circuit 1001 as dedicated hardware, and the line of sight detection unit 12, the degree of eye opening determination unit 13, the temporary looking aside determination unit 14, and the line of sight correct/incorrect determination unit 15.
- the inattentiveness determination section 16, the warning section 17, and a control section can realize their functions by having the processor 1004 read and execute programs stored in the memory 1005.
- a storage unit (not shown) includes a memory 1005 and the like.
- the inattentiveness determination device 1 also includes an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with devices such as the imaging device 2 or the output device 3.
- the inattentiveness determination device 1 was equipped with the warning section 17, but this is only an example.
- the function of the warning unit 17 may be provided by an external device connected to the inattentiveness determination device 1 outside of the inattentiveness determination device 1 .
- the inattentiveness determination unit 16 in the inattentiveness determination device 1 outputs the inattentiveness determination result and the value of the inattentiveness warning counter to the external device.
- the inattentiveness determination device 1 is an in-vehicle device installed in a vehicle, and includes an image acquisition section 11, a line of sight detection section 12, an eye openness degree determination section 13, and an inattentiveness temporary determination section 14.
- the on-vehicle device was equipped with a line-of-sight correctness determination unit 15, an inattentiveness determination unit 16, a warning unit 17, and a control unit (not shown).
- a part may be installed in an on-vehicle device of a vehicle, and the other part may be provided in a server connected to the on-vehicle device via a network, and the system may be configured by the on-vehicle device and the server.
- the image acquisition unit 11, the line of sight detection unit 12, the degree of eye openness determination unit 13, the looking aside provisional judgment unit 14, the line of sight correct/incorrect judgment unit 15, the looking aside judgment unit 16, the warning unit 17, and a control unit may all be provided in the server.
- the inattentiveness determination device 1 includes the image acquisition unit 11 that acquires a captured image of the face of an occupant in the vehicle, and the image acquisition unit 11 based on the captured image, a line-of-sight detection unit 12 that detects the direction of the occupant's line of sight; and a temporary looking-inside-looking determination unit 14 that tentatively determines whether or not the occupant is looking aside, based on the direction of the occupant's line of sight detected by the line-of-sight detection unit 12.
- the line of sight correctness/incorrect determination determines whether the direction of the occupant's line of sight detected by the line of sight detection unit 12 is correct or not. Even in the case where the inattentive look determination unit 15 and the inattentive look tentative determination unit 14 tentatively determine that the occupant is looking aside in a downward direction, the gaze correctness determination unit 15 determines whether the direction of the occupant's gaze detected by the gaze detection unit 12 is correct.
- the vehicle is also configured to include an inattentiveness determination unit 16 that determines that the occupant is not inattentive when it is determined that the vehicle is not inattentive. Therefore, the inattentiveness determination device 1 prevents false detection of inattentiveness by the occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected as being downward. Can be done.
- the inattentiveness determination device 1 includes an eye-opening degree determination unit 13 that determines the degree of eye opening of the occupant based on the captured image acquired by the image acquisition unit 11, and a line-of-sight correctness determination unit 15,
- the inattentiveness tentative determination unit 14 tentatively determines that the occupant is looking in the downward direction, it is determined based on the direction of the occupant's line of sight detected by the line of sight detection unit 12 and the degree of eye opening of the occupant determined by the eye opening degree determination unit 13.
- the system is configured to determine whether the direction of the passenger's line of sight detected by the line of sight detection unit 12 is correct or not. Therefore, the inattentiveness determination device 1 prevents false detection of inattentiveness by the occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected as being downward. Can be done.
- the inattentiveness determination device 1 can be configured to include a warning unit 17 that outputs warning information that causes a warning to be issued when the inattentiveness determination unit 16 determines that the occupant is inattentive. . Therefore, the inattentiveness determination device 1 can alert the occupant to inattentiveness. Further, in the inattentiveness determination device 1 according to the first embodiment, the warning unit 17 outputs warning information when the state of the occupant determined to be inattentive by the inattentiveness determination unit 16 continues for a warning target time. It can be configured as follows. Therefore, the inattentiveness determination device 1 can alert the occupant to inattentiveness, and can also prevent unnecessary warnings from being issued in cases such as when the occupant only momentarily moves his/her line of sight.
- Embodiment 2 when the inattentiveness determination device tentatively determines that the occupant is inattentive in a downward direction, the inattentiveness determination device compares the detected direction of the occupant's line of sight and the determined degree of eye opening of the occupant with preset conditions. By doing so, it was possible to determine whether the line of sight was correct or incorrect.
- an embodiment will be described in which an inattentiveness determination device determines whether the line of sight is correct or not using a learned model (hereinafter referred to as a "machine learning model").
- FIG. 7 is a diagram showing a configuration example of an inattentiveness determination device 1a according to the second embodiment.
- the inattentiveness determination device 1a according to the second embodiment differs from the inattentiveness determination device 1 according to the first embodiment in that it does not include the eye open degree determination section 13 but includes a model storage section 18.
- the specific operation of the line-of-sight correct/incorrect determination unit 15a in the inattentiveness determination device 1a according to the second embodiment is different from the specific operation of the line-of-sight correctness determination unit 15 in the inattentiveness determination device 1 according to the first embodiment.
- the inattentiveness determination device 1a, the imaging device 2, and the output device 3 constitute an inattentiveness determination system 400a.
- the line of sight correctness determination unit 15a uses the captured image acquired by the image acquisition unit 11 and a machine learning model (first machine learning model). Based on this, it is determined whether the direction of the passenger's line of sight detected by the line of sight detection unit 12 is correct or not.
- the line-of-sight correct/incorrect determination section 15a may acquire the captured image via the line-of-sight detection section 12 and the inattentiveness temporary determination section 14.
- the first machine learning model is a machine learning model that inputs a captured image of the passenger's face and outputs information indicating whether or not the direction of the passenger's line of sight detected based on the captured image is valid. It is.
- the first machine learning model is generated in advance by an administrator or the like and stored in the model storage unit 18.
- the administrator may have the vehicle perform a test drive, and the administrator may take a captured image (hereinafter referred to as "first (hereinafter referred to as “test image”), an image taken when a warning of inattentiveness was issued due to the occupant looking downward (hereinafter referred to as “second test image”), and an image captured when the occupant turned his/her gaze downward
- first hereinafter referred to as "test image”
- second test image an image taken when a warning of inattentiveness was issued due to the occupant looking downward
- a captured image hereinafter referred to as a "third test image” is collected in the case where the warning for inattentiveness was not issued. Then, the administrator etc.
- the administrator etc. adds information as a teacher label to the first test image indicating that the direction of the passenger's line of sight detected based on the first test image is not valid, and information indicating that the direction of the passenger's line of sight detected based on the second test image is valid is given as a teacher label to the third test image, and the direction of the passenger's line of sight detected based on the third test image is given as a teacher label.
- Information indicating that the direction of the passenger's line of sight is valid is given as a teacher label.
- the administrator or the like causes a learning device to learn the generated learning data to generate a first machine learning model.
- the line-of-sight correctness determination unit 15a inputs the captured image acquired by the image acquisition unit 11 into the first machine learning model, and obtains information indicating that the direction of the passenger's line of sight detected based on the captured image is valid. If obtained, it is determined that the direction of the passenger's line of sight detected by the line of sight detection unit 12 is valid.
- the line-of-sight correct/incorrect determination unit 15a inputs the captured image acquired by the image acquisition unit 11 into the first machine learning model, and determines that the direction of the passenger's line of sight detected based on the captured image is not valid, that is, is fraudulent. If information indicating this is obtained, it is determined that the direction of the passenger's line of sight detected by the line of sight detection unit 12 is incorrect.
- the line of sight correct/incorrect determining section 15a determines whether the occupant is looking aside when the temporary looking aside determining section 14 tentatively determines that the occupant is not looking aside, and even when the tentative looking aside determining section 14 tentatively determines that the occupant is looking aside. If the looking aside is not downward looking, it is determined that the direction of the passenger's line of sight detected by the line of sight detection unit 12 is correct.
- the line-of-sight correct/incorrect determination unit 15a outputs the line-of-sight correct/incorrect determination result to the inattentiveness determination unit 16 together with the result of the temporary inattentiveness determination obtained from the temporary inattentiveness determination unit 14.
- the model storage unit 18 stores a first machine learning model generated in advance by an administrator or the like. Note that in FIG. 7, the model storage unit 18 is included in the inattentiveness determination device 1a, but this is only an example. The model storage unit 18 may be provided outside the inattentiveness determination device 1a at a location that can be referenced by the inattentiveness determination device 1a.
- FIG. 8 is a flowchart for explaining the operation of the inattentiveness determination device 1a according to the second embodiment. Note that the inattentiveness determination device 1a repeats the operation shown in the flowchart of FIG. 8, for example, while the vehicle is traveling.
- the specific operations of step ST1, step ST2-1, step ST3, and steps ST5 to ST6 are respectively performed by the inattentiveness determining device 1 in step ST1 and step ST6, which have already been explained in the first embodiment. Since the specific operations are the same as those in ST2-1, ST3, and ST5 to ST6, duplicate explanations will be omitted.
- the line of sight correct/incorrect determining section 15a stores the captured image and the model storage section acquired by the captured image acquiring section in step ST1. Based on the machine learning model stored in the machine learning model 18, a line-of-sight determination is made to determine whether the direction of the passenger's line of sight detected by the line-of-sight detection unit 12 in step ST2-1 is correct (step ST4a). If the gaze correctness determination unit 15a inputs the captured image into the first machine learning model and obtains information indicating that the direction of the passenger's gaze detected based on the captured image is valid, the gaze correctness determination unit 15a performs step ST2.
- step ST2-1 it is determined that the direction of the passenger's line of sight detected by the line of sight detection unit 12 is valid.
- the line-of-sight correctness determination unit 15a inputs the captured image to the first machine learning model and obtains information indicating that the direction of the passenger's line of sight detected based on the captured image is not valid, that is, is incorrect. If the direction of the passenger's line of sight detected by the line of sight detection unit 12 is determined to be incorrect in step ST2-1.
- the line-of-sight correct/incorrect determining unit 15a determines that when the looking-aside tentative determining unit 14 tentatively determines that the occupant is not looking aside in step ST3, and when the looking-aside tentative determining unit 14 tentatively determines that the occupant is looking aside. However, if the looking aside is not downward looking, it is determined that the direction of the passenger's line of sight detected by the line of sight detection unit 12 is correct.
- the line-of-sight correct/incorrect determination unit 15a outputs the line-of-sight correct/incorrect determination result to the inattentiveness determination unit 16 together with the result of the temporary inattentiveness determination acquired from the temporary inattentiveness determination unit 14.
- the inattentiveness determination device 1a performs a provisional inattentiveness determination based on the direction of the passenger's line of sight detected based on the captured image of the face of the occupant in the vehicle captured by the imaging device 2.
- the inattentiveness determination device 1a tentatively determines that the occupant is inattentive in a downward direction as a result of the inattentiveness determination
- the inattentiveness determination device 1a performs an inattentiveness judgment based on the captured image and a first machine learning model that is generated in advance before shipping the product. , to determine whether the detected direction of the passenger's line of sight is correct or not.
- the inattentiveness determination device 1a determines that the occupant is inattentive. It is determined that the Thereby, the inattentiveness determination device 1a prevents false detection of inattentiveness by the occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected as being downward. be able to.
- the first machine learning model may be generated based on a captured image acquired by the vehicle after the vehicle starts traveling.
- the inattentiveness determination device is equipped with a learning device that generates a first machine learning model based on a captured image acquired by the vehicle, and determines whether the line of sight is correct or not using the first machine learning model generated by the learning device. You may do so.
- FIG. 9 is a diagram showing a configuration example of an inattentiveness determination device 1b equipped with a learning device 100 that generates a first machine learning model in the second embodiment.
- the same components as those of the inattentiveness determination device 1a described using FIG. 7 are given the same reference numerals and redundant explanation will be omitted.
- the inattentiveness determination device 1b shown in FIG. 9 differs from the inattentiveness determination device 1a shown in FIG. 7 in that it is equipped with a learning device 100.
- the inattentiveness determination device 1b, the imaging device 2, and the output device 3 constitute an inattentiveness determination system 400b.
- the learning device 100 performs learning based on captured images (hereinafter referred to as “captured images for learning data generation”) acquired by the image acquisition unit 11 during a preset period (hereinafter referred to as “learning data generation period").
- a first machine learning model is generated using the generated learning data.
- the learning data generation period is, for example, a predetermined period after the vehicle starts traveling.
- the learning device 100 includes a learning data generation section 101 and a learning section 102.
- the learning data generation unit 101 generates learning data for generating the first machine learning model.
- a method for generating learning data by the learning data generating unit 101 will be explained using a specific example.
- the learning data generation unit 101 detects the direction of the passenger's line of sight based on a captured image for generating learning data.
- the learning data generation unit 101 may detect the direction of the passenger's line of sight in the same manner as the line of sight detection unit 12 detects the direction of the passenger's line of sight.
- the learning data generation unit 101 detects the direction of the passenger's line of sight, this is only an example.
- the line-of-sight detection unit 12 detects the direction of the occupant's line of sight based on the captured image for generating learning data, and the learning data generation unit 101 acquires the direction of the line-of-sight of the occupant from the line-of-sight detection unit 12. good.
- the learning data generating unit 101 determines the degree of eye opening of the occupant based on the captured image for generating learning data.
- the learning data generating section 101 may determine the degree of eye opening of the occupant using the same method as the eye opening degree determining section 13 described in the first embodiment.
- the learning data generation unit 101 then generates the following information based on the direction of the occupant's line of sight detected based on the captured image for generating learning data and the degree of eye opening of the occupant determined based on the captured image for generating learning data. It is determined whether the detected direction of the passenger's line of sight is valid. Specifically, when the direction of the passenger's line of sight is equal to or less than the line-of-sight determination threshold, the learning data generation unit 101 performs the same method as the line-of-sight determination unit 15 that has already explained in the first embodiment. Then, it is determined whether the detected direction of the passenger's line of sight is valid. Note that the learning data generation unit 101 stores the captured image acquired from the image acquisition unit 11 in a storage unit (not shown).
- the learning data generation unit 101 may perform the correct/incorrect gaze determination using only the stored captured images. .
- the learning data generation unit 101 may determine that the detected direction of the passenger's line of sight is valid unless the direction of the passenger's line of sight is equal to or less than the line of sight determination threshold.
- the learning data generation unit 101 When determining whether the detected direction of the passenger's line of sight is valid, the learning data generation unit 101 associates the result of the determination with the captured image, and determines that the captured image and the direction of the passenger's line of sight are valid. Generate learning data that includes information indicating whether or not.
- the learning data generation period is, for example, a predetermined period after the vehicle starts traveling. It is assumed that during a predetermined period of time after the vehicle starts traveling, there is a high possibility that the occupant is facing forward without looking aside. Therefore, the learning data generation unit 101 can also generate learning data on the assumption that the occupant is not looking aside and is facing forward.
- the learning data generation unit 101 detects the direction of the passenger's line of sight based on the captured image for learning data generation using a method similar to that described in ⁇ Specific Example 1>. Based on the detected direction of the passenger's line of sight, the learning data generation unit 101 determines whether the detected direction of the passenger's line of sight is valid. Specifically, when the direction of the passenger's line of sight is less than or equal to the line-of-sight determination threshold, the learning data generation unit 101 determines that the detected direction of the passenger's line of sight is not valid, that is, it is fraudulent. This is because, as described above, it is assumed that the occupant is facing forward during the learning data generation period. The learning data generation unit 101 may determine that the detected direction of the passenger's line of sight is valid unless the direction of the passenger's line of sight is equal to or less than the line of sight determination threshold.
- the learning data generation unit 101 When determining whether the detected direction of the passenger's line of sight is valid, the learning data generation unit 101 associates the result of the determination with the captured image, and determines that the captured image and the direction of the passenger's line of sight are valid. Generate learning data that includes information indicating whether or not.
- the learning data generation unit 101 outputs the generated learning data to the learning unit 102.
- the learning unit 102 generates a first machine learning model using the learning data generated by the learning data generating unit 101.
- the learning unit 102 causes the model storage unit 18 to store the generated first machine learning model.
- the line-of-sight correctness determination unit 15a uses the first machine learning model to determine whether the line-of-sight is correct or incorrect.
- the specific operation of the inattentiveness determination device 1b shown in FIG. 9 is the same as the specific operation of the inattentiveness determination device 1a shown in FIG. 7, which has already been explained using the flowchart in FIG. , duplicate explanations will be omitted.
- the inattentiveness determination device 1b performs the operation shown in the flowchart of FIG. 8 after the first machine learning model generated by the learning device 100 is stored in the model storage unit 18.
- the inattentiveness determination device 1b repeats the operation shown in the flowchart of FIG. 8, for example, while the vehicle is running.
- FIG. 10 is a flowchart for explaining the operation of the learning device 100 included in the inattentiveness determination device 1b shown in FIG. 9 in the second embodiment.
- the learning device 100 performs the operation shown in the flowchart of FIG. 10 before the inattentiveness determination device 1b performs the operation shown in the flowchart of FIG.
- the learning data generation unit 101 generates learning data for generating a first machine learning model (step ST101).
- the learning data generation unit 101 outputs the generated learning data to the learning unit 102.
- the learning unit 102 generates a first machine learning model using the learning data generated by the learning data generating unit 101 in step ST101 (step ST102).
- FIG. 11 is a flowchart for explaining details of the learning data generation operation by the learning data generation unit 101 in step ST101 in FIG.
- the learning data generation unit 101 repeats the operation shown in the flowchart of FIG. 11 during the learning data generation period.
- the flowchart in FIG. 11 shows the operation of the learning data generating unit 101 when the learning data generating unit 101 generates the learning data by the method described in the above-mentioned ⁇ Specific Example 1>. This is a flowchart for explanation.
- the learning data generation unit 101 acquires the captured image for learning data generation acquired by the image acquisition unit 11 (step ST1011).
- the learning data generation unit 101 detects the direction of the passenger's line of sight based on the captured image for learning data generation acquired in step ST1011 (step ST1012). Further, the learning data generation unit 101 determines the degree of eye opening of the occupant based on the captured image for learning data generation acquired in step ST1011 (step ST1013).
- the learning data generation unit 101 determines whether the direction of the passenger's line of sight detected in step ST1012 is valid based on the direction of the passenger's line of sight detected in step ST1012 and the degree of eye opening of the passenger determined in step ST1013. It is determined whether there is one (step ST1014). Specifically, when the direction of the passenger's line of sight detected in step ST1012 is equal to or less than the line-of-sight determination threshold, the learning data generation unit 101 determines the line-of-sight direction by the line-of-sight determination unit 15, which has already been explained in Embodiment 1. It is determined whether the detected direction of the passenger's line of sight is valid or not using a method similar to the correctness determination (see FIG. 4). The learning data generating unit 101 may determine that the detected direction of the passenger's line of sight is valid unless the direction of the passenger's line of sight detected in step ST1012 is equal to or less than the line of sight determination threshold.
- step ST1014 When determining in step ST1014 whether the direction of the passenger's line of sight detected in step ST1012 is valid, the learning data generation unit 101 associates the result of the determination with the captured image, and Learning data including information indicating whether or not the direction of the passenger's line of sight is valid is generated (step ST1015).
- step ST1013 of the process explained using the flowchart of FIG. This process can be omitted.
- step ST1014 the learning data generation unit 101 determines that if the direction of the passenger's line of sight detected in step ST1012 is below the line of sight determination threshold, the detected direction of the passenger's line of sight is not valid, that is, it is fraudulent. It is determined that there is.
- the learning data generating unit 101 may determine that the detected direction of the passenger's line of sight is valid unless the direction of the passenger's line of sight detected in step ST1012 is equal to or less than the line of sight determination threshold.
- the learning device 100 Based on the first machine learning model generated by the first machine learning model, it is also possible to determine whether the detected direction of the passenger's line of sight is correct or not. Even in this case, the inattentiveness determination device 1b can falsely detect inattentiveness by the occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected to be downward. can be prevented.
- the inattentiveness determination device 1b is equipped with the learning device 100, but this is only an example.
- the inattentiveness determination device 1b may not be equipped with the learning device 100, and the learning device 100 may be provided at a location outside the inattentiveness determination device 1b that can be referenced by the inattentiveness determination device 1b.
- the hardware configurations of the inattentiveness determination devices 1a and 1b according to the second embodiment are the same as the hardware configuration of the inattentiveness determination device 1 described using FIGS. 6A and 6B in the first embodiment, and therefore illustration thereof is omitted. do.
- the functions of the image acquisition unit 11, the line of sight detection unit 12, the temporary looking aside judgment unit 14, the correct/incorrect line of sight judgment unit 15a, the looking aside judgment unit 16, and the warning unit 17 are realized by the processing circuit 1001. be done.
- the inattentiveness determination devices 1a and 1b determine that the direction of the occupant's line of sight is downward.
- a processing circuit 1001 is provided which, when detected, determines whether or not this is legitimate, and then performs control to determine whether or not the occupant is looking aside.
- the processing circuit 1001 reads out and executes a program stored in the memory 1005, thereby controlling the image acquisition section 11, the line of sight detection section 12, the looking aside provisional judgment section 14, the line of sight correct/incorrect judgment section 15a, and the looking aside judgment section 16. Then, the function of the warning section 17 is executed. That is, the inattentiveness determination devices 1a and 1b include a memory 1005 for storing a program that, when executed by the processing circuit 1001, results in the execution of steps ST1 to ST6 in FIG. 8 described above. .
- the program stored in the memory 1005 includes the processing procedures of the image acquisition section 11, the line of sight detection section 12, the looking aside provisional judgment section 14, the line of sight correct/incorrect judgment section 15a, the looking aside judgment section 16, and the warning section 17.
- a storage unit includes, for example, a memory 1005.
- the inattentiveness determination devices 1a and 1b also include an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with a device such as the imaging device 2 or the output device 3.
- the hardware configuration of learning device 100 according to Embodiment 2 is the same as the hardware configuration of inattentiveness determination device 1 described using FIGS. 6A and 6B in Embodiment 1, and therefore illustration thereof is omitted.
- the functions of the learning data generation section 101 and the learning section 102 are realized by the processing circuit 1001. That is, the learning device 100 includes a processing circuit 1001 that generates learning data based on a captured image and performs control to generate a first machine learning model using the generated learning data.
- Processing circuit 1001 may be dedicated hardware as shown in FIG. 6A, or may be processor 1004 that executes a program stored in memory 1005 as shown in FIG. 6B.
- the functions of the learning data generation unit 101 and the learning unit 102 are realized by software, firmware, or a combination of software and firmware.
- Software or firmware is written as a program and stored in memory 1005.
- the processor 1004 executes the functions of the learning data generation unit 101 and the learning unit 102 by reading and executing the program stored in the memory 1005.
- the learning device 100 includes a memory 1005 for storing a program that, when executed by the processor 1004, results in the execution of steps ST101 to ST102 in FIG. 10 described above. Further, it can be said that the program stored in the memory 1005 causes the computer to execute the processing procedure or method of the learning data generation unit 101 and the learning unit 102.
- the functions of the learning data generation section 101 and the learning section 102 may be realized by dedicated hardware, and some may be realized by software or firmware.
- the function of the learning data generation unit 101 is realized by the processing circuit 1001 as dedicated hardware, and the function of the learning unit 102 is realized by the processor 1004 reading and executing a program stored in the memory 1005. It is possible to realize this.
- the storage unit and model storage unit 18 (not shown) are composed of a memory 1005 and the like.
- the learning device 100 also includes an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with devices such as the imaging device 2.
- the inattentiveness determination devices 1a and 1b were provided with the warning section 17, but this is only an example.
- the function of the warning unit 17 may be provided in an external device connected to the inattentiveness determination devices 1a, 1b outside of the inattentiveness determination devices 1a, 1b.
- the inattentiveness determination devices 1a and 1b are in-vehicle devices mounted on a vehicle, and include an image acquisition unit 11, a line of sight detection unit 12, an eye opening degree determination unit 13, and an inattentiveness provisional determination unit. 14, a line-of-sight correctness determination section 15a, an inattentiveness determination section 16, a warning section 17, and a control section (not shown) were included in the vehicle-mounted device.
- a part may be installed in an on-vehicle device of a vehicle, and the other part may be provided in a server connected to the on-vehicle device via a network, and the system may be configured by the on-vehicle device and the server.
- the image acquisition unit 11, the line of sight detection unit 12, the degree of eye opening determination unit 13, the looking aside provisional judgment unit 14, the line of sight correct/incorrect judgment unit 15a, the looking aside judgment unit 16, the warning unit 17, and a control unit may all be provided in the server. Further, in the learning device 100, some or all of the learning data generation unit 101 and the learning unit 102 may be provided in a server.
- the inattentiveness determination devices 1a and 1b include the image acquisition unit 11 that acquires a captured image in which the face of an occupant in a vehicle is captured, and a line-of-sight detection unit 12 that detects the direction of the occupant's line-of-sight based on the line-of-sight direction of the occupant; and an inattentiveness provisional determination unit 14 that tentatively determines whether the occupant is looking aside based on the direction of the occupant's line of sight detected by the line-of-sight detection unit 12.
- the line of sight is used to determine whether the direction of the occupant's line of sight detected by the line of sight detection unit 12 is correct or not. Even if the correct/incorrect judgment unit 15a and the temporary looking aside judgment unit 14 tentatively judge that the occupant is looking aside in a downward direction, the correct/incorrect judgment unit 15 determines whether the passenger's line of sight detected by the visual line detection unit 12 is correct or incorrect.
- the vehicle is configured to include an inattentiveness determination unit 16 that determines that the occupant is not inattentive when it is determined that the orientation is incorrect. Therefore, the inattentiveness determination device 1 prevents false detection of inattentiveness by the occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected as being downward. Can be done.
- the inattentiveness determination devices 1a and 1b when the inattentiveness determination unit 14 tentatively determines that the occupant is inattentive in a downward direction, the image acquisition unit A machine learning model ( The system is configured to determine whether the direction of the passenger's line of sight detected by the line of sight detection unit 12 is correct based on the first machine learning model). Therefore, the inattentiveness determination devices 1a and 1b prevent false detection of inattentiveness by the occupant when the direction of the occupant's line of sight detected based on the captured image is incorrectly detected to be downward. can do.
- the inattentiveness determination devices 1a and 1b use a machine learning model to determine whether the line of sight is correct or not, thereby quickly analyzing the relationship between parameters and making a flexible line of sight judgment that matches the acquired captured image. be able to.
- the inattentiveness determination devices 1a and 1b according to the second embodiment are based on the direction of the passenger's line of sight detected based on the captured image for learning data generation acquired by the image acquisition unit 11 during the learning data generation period.
- a learning data generation unit that determines whether the detected direction of the passenger's line of sight is valid or not, and generates learning data that includes a captured image and information indicating whether or not the direction of the passenger's line of sight is valid.
- 101 and a learning unit 102 that generates a machine learning model (first machine learning model) using the learning data generated by the learning data generating unit 101.
- the inattentiveness determination devices 1a and 1b can determine whether the line of sight is correct or not according to the actual situation when the vehicle is actually traveling, using a machine learning model according to the situation when the vehicle is actually traveling. As a result, the inattentiveness determination devices 1a and 1b can improve the accuracy of determining whether the line of sight is correct or not.
- the inattentiveness determination devices 1a and 1b according to the second embodiment are configured to detect the direction of the passenger's line of sight detected based on the captured image for learning data generation acquired by the image acquisition unit 11 during the learning data generation period, and for learning. Based on the degree of eye opening of the occupant determined based on the captured image for data generation, it is determined whether the detected direction of the occupant's line of sight is valid.
- a machine learning model (first machine learning model) is generated using a learning data generating unit 101 that generates learning data including information indicating whether or not the learning data is generated by the learning data generating unit 101.
- the learning unit 102 can be configured to include a learning unit 102.
- the inattentiveness determination devices 1a and 1b can determine whether the line of sight is correct or not according to the actual situation when the vehicle is actually traveling, using a machine learning model according to the situation when the vehicle is actually traveling. As a result, the inattentiveness determination devices 1a and 1b can improve the accuracy of determining whether the line of sight is correct or not.
- the inattentiveness determination device prevents false detection of inattentiveness by an occupant when the direction of the vehicle occupant's line of sight detected based on a captured image is incorrectly detected to be downward. It can be prevented.
- 1, 1a, 1b inattentiveness determination device 11 image acquisition unit, 12 line of sight detection unit, 13 eye open degree determination unit, 14 inattentiveness provisional determination unit, 15, 15a gaze correctness determination unit, 16 inattentiveness determination unit, 17 warning unit, 18 model Storage unit, 100 learning device, 101 learning data generation unit, 102 learning unit, 2 imaging device, 3 output device, 400, 400a, 400b inattentiveness determination system, 1001 processing circuit, 1002 input interface device, 1003 output interface device, 1004 Processor, 1005 memory.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
車両内の乗員の顔が撮像された撮像画像を取得する画像取得部(11)と、画像取得部(11)が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部(12)と、視線検知部(12)が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部(14)と、脇見仮判定部(14)が乗員は下方向の脇見をしていると仮判定した場合、視線検知部(12)が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部(15,15a)と、脇見仮判定部(14)が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部(15,15a)が、視線検知部(12)が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部(16)とを備えた。
Description
本開示は、車両の乗員の脇見判定装置および脇見判定方法に関する。
従来、車両内の乗員が撮像された撮像画像に基づいて乗員の視線の向きを検知し、検知した視線の向きから乗員が脇見をしているか否かを判定する技術が知られている(例えば、特許文献1)。
一般に、撮像画像に基づく人の視線の向きの検知は、例えば、撮像画像上で虹彩または瞳孔を検知することで行われる。ここで、車両内の乗員が撮像された撮像画像上で、乗員の目(より詳細には眼球)が占める領域は、小さい。例えば、瞼またはまつ毛によって虹彩または瞳孔が隠されている等の事象が発生すると、もともと小さい領域である目の領域からの虹彩または瞳孔の検知に失敗する可能性があり、その結果、乗員の視線の向きが誤検知される可能性がある。このように、撮像画像に基づく乗員の視線の向きの検知は難しく、当該乗員の視線の向きが不正に検知されることがある。具体的には、乗員は下方向を向いていることがあり得ない状態であるにもかかわらず、乗員の視線の向きが下向きであると不正に検知されることがある。
従来技術では、このように、撮像画像に基づいて検知された乗員の視線の向きが、下向きであると不正に検知された視線の向きであった場合に、乗員は脇見をしていないにもかかわらず、脇見をしていると誤判定する可能性があるという課題がある。
なお、特許文献1に開示されているような技術では、そもそも、撮像画像に基づいて検出された視線の向きが不正に検知され得ることについて考慮されていないため、依然として、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された場合に、乗員は脇見をしていないにもかかわらず脇見をしていると誤判定する可能性があるという課題がある。
従来技術では、このように、撮像画像に基づいて検知された乗員の視線の向きが、下向きであると不正に検知された視線の向きであった場合に、乗員は脇見をしていないにもかかわらず、脇見をしていると誤判定する可能性があるという課題がある。
なお、特許文献1に開示されているような技術では、そもそも、撮像画像に基づいて検出された視線の向きが不正に検知され得ることについて考慮されていないため、依然として、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された場合に、乗員は脇見をしていないにもかかわらず脇見をしていると誤判定する可能性があるという課題がある。
本開示は上記のような課題を解決するためになされたもので、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止する脇見検知装置を提供することを目的とする。
本開示に係る脇見検知装置は、車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部と、視線検知部が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部と、脇見仮判定部が乗員は下方向の脇見をしていると仮判定した場合、視線検知部が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部と、脇見仮判定部が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部が、視線検知部が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部とを備えたものである。
本開示によれば、脇見検知装置は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、実施の形態1に係る脇見判定装置1の構成例を示す図である。
脇見判定装置1は、車両(図示省略)に搭載され、撮像装置2および出力装置3と接続される。脇見判定装置1と撮像装置2と出力装置3とで脇見判定システム400を構成する。
実施の形態1.
図1は、実施の形態1に係る脇見判定装置1の構成例を示す図である。
脇見判定装置1は、車両(図示省略)に搭載され、撮像装置2および出力装置3と接続される。脇見判定装置1と撮像装置2と出力装置3とで脇見判定システム400を構成する。
撮像装置2は、車両に搭載され、少なくとも乗員の顔が存在すべき範囲を撮像可能に設置されている。
実施の形態1において、撮像装置2は、車両において、乗員の頭部の正面付近、または、乗員の頭部の正面よりも下方、より詳細には、乗員の目の正面よりも下方に設けられていることを前提とする。例えば、撮像装置2は、車両内においてハンドルの下、インストルメントパネル(以下「インパネ」という。)の上部、センターコンソール、または、ピラーに設けられている。
撮像装置2は、例えば、車室内をモニタリングすることを目的に設置される、いわゆるDMS(Driver Monitoring System)と共用のものであってもよい。撮像装置2は、可視光カメラ、または、赤外線カメラである。
撮像装置2は、撮像した撮像画像を、脇見判定装置1に出力する。
実施の形態1において、撮像装置2は、車両において、乗員の頭部の正面付近、または、乗員の頭部の正面よりも下方、より詳細には、乗員の目の正面よりも下方に設けられていることを前提とする。例えば、撮像装置2は、車両内においてハンドルの下、インストルメントパネル(以下「インパネ」という。)の上部、センターコンソール、または、ピラーに設けられている。
撮像装置2は、例えば、車室内をモニタリングすることを目的に設置される、いわゆるDMS(Driver Monitoring System)と共用のものであってもよい。撮像装置2は、可視光カメラ、または、赤外線カメラである。
撮像装置2は、撮像した撮像画像を、脇見判定装置1に出力する。
出力装置3は、車両に搭載され、脇見判定装置1から出力された警告情報に基づく警告を出力する。出力装置3は、脇見判定装置1から出力された警告情報に基づく警告を行うことで、乗員に対して、脇見への注意喚起を行わせる。
出力装置3は、例えば、カーナビゲーション装置(図示省略)が備えているタッチパネル式ディスプレイ等の表示装置、または、カーナビゲーション装置が備えているスピーカ等の音声出力装置である。表示装置は、例えば、乗員に対して警告するメッセージを表示する。音声出力装置は、例えば、乗員に対して警告する音声メッセージ、または、警告音を出力する。
出力装置3は、例えば、カーナビゲーション装置(図示省略)が備えているタッチパネル式ディスプレイ等の表示装置、または、カーナビゲーション装置が備えているスピーカ等の音声出力装置である。表示装置は、例えば、乗員に対して警告するメッセージを表示する。音声出力装置は、例えば、乗員に対して警告する音声メッセージ、または、警告音を出力する。
実施の形態1に係る脇見判定装置1は、撮像装置2によって車両内に存在する乗員の顔が撮像された撮像画像に基づいて、当該乗員が脇見しているか否かを判定する。実施の形態1において、脇見判定装置1が行う、乗員が脇見しているか否かの判定を「脇見判定」ともいう。
具体的には、実施の形態1に係る脇見判定装置1は、撮像画像に基づいて、乗員の視線の向きを検知し、検知した乗員の視線の向きに基づいて脇見判定を行う。ここで、脇見判定装置1は、乗員の視線の向きが下向きであると不正に検知していないかを判定し、下向きであると不正に検知したと判定した場合は、検知した乗員の視線の向きに基づいて乗員が脇見をしていると誤判定しないようにする。実施の形態1において、脇見判定装置1は、乗員が下方向を向いていることがあり得ない状態であるにもかかわらず乗員が視線の向きは下向きと検知した場合に、検知した乗員の視線の向きは不正であると判定する。
具体的には、実施の形態1に係る脇見判定装置1は、撮像画像に基づいて、乗員の視線の向きを検知し、検知した乗員の視線の向きに基づいて脇見判定を行う。ここで、脇見判定装置1は、乗員の視線の向きが下向きであると不正に検知していないかを判定し、下向きであると不正に検知したと判定した場合は、検知した乗員の視線の向きに基づいて乗員が脇見をしていると誤判定しないようにする。実施の形態1において、脇見判定装置1は、乗員が下方向を向いていることがあり得ない状態であるにもかかわらず乗員が視線の向きは下向きと検知した場合に、検知した乗員の視線の向きは不正であると判定する。
実施の形態1において、脇見判定装置1は、乗員が下方向を向いていることがあり得ない状態であるか否かを、撮像画像に基づいて判定する。詳細には、脇見判定装置1は、乗員が下方向を向いていることがあり得ない状態であるか否かを、撮像画像に基づく乗員の開眼度から判定する。
ここで、図2Aおよび図2Bは、車両内の乗員が撮像された撮像画像の一例を示す図である。
例えば、乗員は、下方向を向くとき、すなわち、視線を下方に向けるとき、いわゆる伏し目状態になると想定される(図2A参照)。よって、乗員の視線の向きが下向きと検知された場合、乗員はじゅうぶんに開眼していない状態、言い換えれば、開眼度が低い状態になっているはずである。
しかし、車両内にて乗員の顔が撮像された撮像画像上で、乗員の目(より詳細には眼球)が占める領域は、小さい。
ここで、図2Aおよび図2Bは、車両内の乗員が撮像された撮像画像の一例を示す図である。
例えば、乗員は、下方向を向くとき、すなわち、視線を下方に向けるとき、いわゆる伏し目状態になると想定される(図2A参照)。よって、乗員の視線の向きが下向きと検知された場合、乗員はじゅうぶんに開眼していない状態、言い換えれば、開眼度が低い状態になっているはずである。
しかし、車両内にて乗員の顔が撮像された撮像画像上で、乗員の目(より詳細には眼球)が占める領域は、小さい。
一般に、撮像画像に基づく人の視線の向きの検知は、例えば、撮像画像上で、虹彩または瞳孔を検知することで行われる。例えば、可視光カメラが車両内を撮像した撮像画像から乗員の視線の向きを検知する場合、撮像画像上で乗員の目頭と虹彩を検知し、目頭と虹彩の位置関係から、乗員の視線の向きを検知できる。また、例えば、赤外線カメラが車両内を撮像した撮像画像から乗員の視線の向きを検知する場合、赤外線カメラが近赤外の点光源を照射すると角膜で反射して得られたプルキニエ像と瞳孔の位置を検知し、プルキニエ像と瞳孔の位置関係から、乗員の視線の向きを検知できる。
ここで、例えば、撮像画像において、瞼またはまつ毛によって虹彩または瞳孔が隠されていることがあるが、上述のとおり、撮像画像上で、乗員の目が示す領域は小さい。そのため、瞼またはまつ毛によって虹彩または瞳孔が隠されてしまうと、当該虹彩または瞳孔の位置の検知が難しくなり、虹彩または瞳孔の検知に失敗する可能性がある。詳細には、瞼またはまつ毛によって虹彩または瞳孔が隠されると、虹彩または瞳孔が実際の位置よりも下の位置で検知されてしまうことがある。その結果、乗員の視線の向きが誤検知される可能性がある。
特に、乗員の目の上下方向の領域は、乗員が開眼していたとしても虹彩が一部隠された状態であるところ、仮に、乗員が半目状態である、または、もともと乗員の目が細い場合、さらに虹彩が隠された状態となる。そのため、撮像画像に基づく虹彩の上下方向の位置の検知は、左右方向の位置の検知よりも、難しい。また、瞼の形状的に、撮像画像に基づく虹彩または瞳孔の下方向の位置の検知は、上方向の位置の検知よりも、難しい。そのため、撮像画像に基づいて乗員の視線の向きが検知される場合、当該乗員の視線の向きの、下向きとの誤検知が発生しやすい。
また、例えば、乗員が眼鏡を装着している場合、眼鏡のレンズに風景または可視光カメラからの近赤外光が反射し、虹彩または瞳孔と被って当該虹彩が白くうつることがある。撮像画像上で虹彩または瞳孔が白くうつっていると、実際の乗員の視線の向きがどの向きであるかによらず、乗員の視線の向きは、下向きと検知される可能性がある。このように、例えば、乗員が眼鏡を装着している場合も、当該乗員の視線の向きの、下向きとの誤検知が発生しやすい。上述のとおり、撮像画像上で、乗員の目が示す領域は小さいため、虹彩または瞳孔の全域が白くうつってしまい得る。
ここで、例えば、撮像画像において、瞼またはまつ毛によって虹彩または瞳孔が隠されていることがあるが、上述のとおり、撮像画像上で、乗員の目が示す領域は小さい。そのため、瞼またはまつ毛によって虹彩または瞳孔が隠されてしまうと、当該虹彩または瞳孔の位置の検知が難しくなり、虹彩または瞳孔の検知に失敗する可能性がある。詳細には、瞼またはまつ毛によって虹彩または瞳孔が隠されると、虹彩または瞳孔が実際の位置よりも下の位置で検知されてしまうことがある。その結果、乗員の視線の向きが誤検知される可能性がある。
特に、乗員の目の上下方向の領域は、乗員が開眼していたとしても虹彩が一部隠された状態であるところ、仮に、乗員が半目状態である、または、もともと乗員の目が細い場合、さらに虹彩が隠された状態となる。そのため、撮像画像に基づく虹彩の上下方向の位置の検知は、左右方向の位置の検知よりも、難しい。また、瞼の形状的に、撮像画像に基づく虹彩または瞳孔の下方向の位置の検知は、上方向の位置の検知よりも、難しい。そのため、撮像画像に基づいて乗員の視線の向きが検知される場合、当該乗員の視線の向きの、下向きとの誤検知が発生しやすい。
また、例えば、乗員が眼鏡を装着している場合、眼鏡のレンズに風景または可視光カメラからの近赤外光が反射し、虹彩または瞳孔と被って当該虹彩が白くうつることがある。撮像画像上で虹彩または瞳孔が白くうつっていると、実際の乗員の視線の向きがどの向きであるかによらず、乗員の視線の向きは、下向きと検知される可能性がある。このように、例えば、乗員が眼鏡を装着している場合も、当該乗員の視線の向きの、下向きとの誤検知が発生しやすい。上述のとおり、撮像画像上で、乗員の目が示す領域は小さいため、虹彩または瞳孔の全域が白くうつってしまい得る。
このように、撮像画像に基づく乗員の視線の向きの検知は難しく、撮像画像に基づいて乗員の視線の向きを検知すると、乗員はじゅうぶんに開眼している状態、言い換えれば、開眼度が高い状態であるにもかかわらず、乗員は下方向を向いている、すなわち、視線を下方に向けていると検知される(図2B参照)ことがある。
脇見判定装置1は、例えば、図2Bに示すように、撮像画像上、乗員はじゅうぶんに開眼している状態であるにもかかわらず、乗員の視線の向きが下方向を向いていると検知した場合に、当該視線の向きの検知結果は不正であると判定し、当該視線の向きに基づいて乗員は脇見をしている誤判定しないようにする。
脇見判定装置1は、例えば、図2Bに示すように、撮像画像上、乗員はじゅうぶんに開眼している状態であるにもかかわらず、乗員の視線の向きが下方向を向いていると検知した場合に、当該視線の向きの検知結果は不正であると判定し、当該視線の向きに基づいて乗員は脇見をしている誤判定しないようにする。
実施の形態1に係る脇見判定装置1の詳細な構成例について説明する。
図1に示すように、脇見判定装置1は、画像取得部11、視線検知部12、開眼度判定部13、脇見仮判定部14、視線正否判定部15、脇見判定部16、および、警告部17を備える。
図1に示すように、脇見判定装置1は、画像取得部11、視線検知部12、開眼度判定部13、脇見仮判定部14、視線正否判定部15、脇見判定部16、および、警告部17を備える。
画像取得部11は、撮像装置2によって車両内の乗員の顔が撮像された撮像画像を取得する。
画像取得部11は、取得した撮像画像を、視線検知部12および開眼度判定部13に出力する。
画像取得部11は、取得した撮像画像を、視線検知部12および開眼度判定部13に出力する。
視線検知部12は、画像取得部11が取得した撮像画像に基づき、乗員の視線の向きを検知する。
視線検知部12は、撮像画像に対して公知の画像認識技術を用いて、乗員の視線の向きを検知すればよい。
例えば、撮像装置2が可視光カメラである場合、視線検知部12は、撮像画像上で乗員の目頭と虹彩を検知し、目頭と虹彩の位置関係から、乗員の視線の向きを検知できる。
また、例えば、撮像装置2が赤外線カメラである場合、視線検知部12は、赤外線カメラが近赤外の点光源を照射すると角膜で反射して得られたプルキニエ像と瞳孔との位置関係から、乗員の視線の向きを検知できる。
なお、これらは一例に過ぎず、視線検知部12は、公知の種々のアルゴリズムを用いて乗員の視線の向きを検知すればよい。
視線検知部12は、撮像画像に対して公知の画像認識技術を用いて、乗員の視線の向きを検知すればよい。
例えば、撮像装置2が可視光カメラである場合、視線検知部12は、撮像画像上で乗員の目頭と虹彩を検知し、目頭と虹彩の位置関係から、乗員の視線の向きを検知できる。
また、例えば、撮像装置2が赤外線カメラである場合、視線検知部12は、赤外線カメラが近赤外の点光源を照射すると角膜で反射して得られたプルキニエ像と瞳孔との位置関係から、乗員の視線の向きを検知できる。
なお、これらは一例に過ぎず、視線検知部12は、公知の種々のアルゴリズムを用いて乗員の視線の向きを検知すればよい。
実施の形態1において、乗員の視線の向きは、所定の基準の向きに対する角度であらわされる。例えば、乗員の視線の向きは、乗員が座席にて真っすぐ前方を見たときの状態を基準の向きとして、当該基準の向きに対する角度であらわされる。
より詳細には、実施の形態1において、乗員の視線の向きは、例えば、乗員が真っすぐ前方をみたときの基準の向きを0度とし、基準よりも上方向の向きをプラス、基準よりも下方向の向きをマイナスとした角度であらわされる。
視線検知部12は、検知した乗員の視線の向きを示す情報(以下「視線情報」という。)を、脇見仮判定部14に出力する。視線情報は、例えば、乗員の視線の向きと、画像取得部11が取得した撮像画像とが対応付けられた情報である。
また、視線検知部12は、視線情報を、撮像画像の取得日時と対応付けて、記憶部(図示省略)に記憶させる。撮像画像の取得日時は、例えば、撮像装置2によって撮像画像に付与されている日時でもよいし、画像取得部11が撮像画像を取得した日時でもよい。視線検知部12は、画像取得部11から撮像画像を取得した日時の情報を取得すればよい。
より詳細には、実施の形態1において、乗員の視線の向きは、例えば、乗員が真っすぐ前方をみたときの基準の向きを0度とし、基準よりも上方向の向きをプラス、基準よりも下方向の向きをマイナスとした角度であらわされる。
視線検知部12は、検知した乗員の視線の向きを示す情報(以下「視線情報」という。)を、脇見仮判定部14に出力する。視線情報は、例えば、乗員の視線の向きと、画像取得部11が取得した撮像画像とが対応付けられた情報である。
また、視線検知部12は、視線情報を、撮像画像の取得日時と対応付けて、記憶部(図示省略)に記憶させる。撮像画像の取得日時は、例えば、撮像装置2によって撮像画像に付与されている日時でもよいし、画像取得部11が撮像画像を取得した日時でもよい。視線検知部12は、画像取得部11から撮像画像を取得した日時の情報を取得すればよい。
開眼度判定部13は、画像取得部11が取得した撮像画像に基づき、乗員の開眼度を判定する。
例えば、開眼度判定部13は、撮像画像に対して公知の画像認識技術を用いて、乗員の上瞼と下瞼を検知する。例えば、撮像画像において、乗員の顔が存在し得る領域(以下「顔検知領域」という。)が予め設定されており、開眼度判定部13は、撮像画像の顔検知領域に対して既知のエッジ検出を行って、乗員の上瞼を示す特徴点、および、下瞼を示す特徴点を抽出する。次に、開眼度判定部13は、例えば、撮像画像における乗員の上瞼と下瞼の上下の距離(以下「瞼距離」という。)を、撮像画像上、左から順に算出し、最大となる瞼距離を算出する。そして、開眼度判定部13は、算出した最大となる瞼距離と開眼度の基準値との比率に基づき、開眼度を判定する。すなわち、開眼度の単位はパーセントである。開眼度の基準値には、予め、例えば、試験を行って算出された、一般的な体格の成人の覚醒時の開眼度の平均値が設定されている。なお、これは一例に過ぎず、開眼度の基準値は、例えば、乗員が車両に搭乗してから予め設定された時間における乗員の開眼度の平均値としてもよいし、開眼度判定部13が現在までに判定したすべての開眼度の平均値としてもよい。
なお、上述した開眼度の判定方法は、一例に過ぎない。開眼度判定部13は、公知の種々のアルゴリズムを用いて開眼度を判定すればよい。
例えば、開眼度判定部13は、撮像画像に対して公知の画像認識技術を用いて、乗員の上瞼と下瞼を検知する。例えば、撮像画像において、乗員の顔が存在し得る領域(以下「顔検知領域」という。)が予め設定されており、開眼度判定部13は、撮像画像の顔検知領域に対して既知のエッジ検出を行って、乗員の上瞼を示す特徴点、および、下瞼を示す特徴点を抽出する。次に、開眼度判定部13は、例えば、撮像画像における乗員の上瞼と下瞼の上下の距離(以下「瞼距離」という。)を、撮像画像上、左から順に算出し、最大となる瞼距離を算出する。そして、開眼度判定部13は、算出した最大となる瞼距離と開眼度の基準値との比率に基づき、開眼度を判定する。すなわち、開眼度の単位はパーセントである。開眼度の基準値には、予め、例えば、試験を行って算出された、一般的な体格の成人の覚醒時の開眼度の平均値が設定されている。なお、これは一例に過ぎず、開眼度の基準値は、例えば、乗員が車両に搭乗してから予め設定された時間における乗員の開眼度の平均値としてもよいし、開眼度判定部13が現在までに判定したすべての開眼度の平均値としてもよい。
なお、上述した開眼度の判定方法は、一例に過ぎない。開眼度判定部13は、公知の種々のアルゴリズムを用いて開眼度を判定すればよい。
開眼度判定部13は、判定した乗員の開眼度を示す情報(以下「開眼度情報」という。)を、視線正否判定部15に出力する。開眼度情報は、例えば、乗員の開眼度と、画像取得部11が取得した撮像画像とが対応付けられた情報である。
また、開眼度判定部13は、開眼度情報を、撮像画像の取得日時と対応付けて、記憶部(図示省略)に記憶させる。撮像画像の取得日時は、例えば、撮像装置2によって撮像画像に付与されている日時でもよいし、画像取得部11が撮像画像を取得した日時でもよい。開眼度判定部13は、画像取得部11から撮像画像を取得した日時の情報を取得すればよい。
また、開眼度判定部13は、開眼度情報を、撮像画像の取得日時と対応付けて、記憶部(図示省略)に記憶させる。撮像画像の取得日時は、例えば、撮像装置2によって撮像画像に付与されている日時でもよいし、画像取得部11が撮像画像を取得した日時でもよい。開眼度判定部13は、画像取得部11から撮像画像を取得した日時の情報を取得すればよい。
脇見仮判定部14は、視線検知部12が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定(以下「脇見仮判定」という。)を行う。
例えば、脇見仮判定部14は、乗員の視線の向きが、予め設定されている条件(以下「脇見仮判定用条件」という。)を満たすか否かによって、乗員は脇見をしているか否かの仮判定を行う。脇見仮判定部14は、乗員の視線の向きが脇見仮判定用条件を満たす場合、乗員は脇見をしていると仮判定する。
例えば、脇見仮判定部14は、乗員の視線の向きが、予め設定されている条件(以下「脇見仮判定用条件」という。)を満たすか否かによって、乗員は脇見をしているか否かの仮判定を行う。脇見仮判定部14は、乗員の視線の向きが脇見仮判定用条件を満たす場合、乗員は脇見をしていると仮判定する。
脇見仮判定用条件には、例えば、「乗員の視線の垂直方向(言い換えれば、上下方向)の向きが脇見判定用範囲外であること」との条件が設定されている。脇見仮判定用条件は、予め、管理者等によって生成され、脇見判定装置1が参照可能な場所に記憶されている。
なお、脇見仮判定用条件における脇見仮判定用範囲は、乗員が必要な確認動作を行うための上下方向への視線の向きの動きの範囲として許容される範囲であり、予め管理者等によって設定され、脇見判定装置1が参照可能な場所に記憶されている。
例えば、脇見仮判定部14は、乗員の視線の向きが脇見判定用範囲よりも上向きであれば、乗員は上方向の脇見をしていると仮判定する。また、例えば、脇見仮判定部14は、乗員の視線の向きが脇見判定用範囲よりも下向きであれば、乗員は下方向の脇見をしていると仮判定する。
なお、脇見仮判定用条件における脇見仮判定用範囲は、乗員が必要な確認動作を行うための上下方向への視線の向きの動きの範囲として許容される範囲であり、予め管理者等によって設定され、脇見判定装置1が参照可能な場所に記憶されている。
例えば、脇見仮判定部14は、乗員の視線の向きが脇見判定用範囲よりも上向きであれば、乗員は上方向の脇見をしていると仮判定する。また、例えば、脇見仮判定部14は、乗員の視線の向きが脇見判定用範囲よりも下向きであれば、乗員は下方向の脇見をしていると仮判定する。
なお、脇見仮判定部14による、乗員は脇見をしているか否かの判定は、暫定的な仮の判定であり、最終的には、脇見判定部16が、乗員は脇見をしているか否かの判定を確定させる。脇見判定部16の詳細については、後述する。
脇見仮判定部14は、乗員は脇見をしていると仮判定した場合、脇見警告カウンタをカウントアップする。脇見警告カウンタは、脇見仮判定部14が乗員は脇見をしていると仮判定してからの経過時間をカウントするためのカウンタである。脇見警告カウンタは、脇見判定装置1が参照可能な場所に記憶されている。当該脇見警告カウンタは、脇見判定部16が、乗員は脇見をしていないと確定させた場合にリセットされる。また、当該脇見警告カウンタは、脇見判定装置1の電源がオフにされた場合、脇見判定装置1において乗員は脇見をしているとの仮判定の結果を棄却した場合、脇見判定装置1が警告情報を出力した場合、または、車両が停止した場合等に、リセットされる。このリセットは、脇見判定装置1の制御部(図示省略)、脇見判定部16、または、警告部17等が行う。
脇見仮判定部14は、脇見仮判定の結果(以下「脇見仮判定結果」という。)を、視線正否判定部15に出力する。
また、脇見仮判定部14は、視線検知部12から取得した視線情報を、脇見仮判定結果とともに視線正否判定部15に出力する。
また、脇見仮判定部14は、視線検知部12から取得した視線情報を、脇見仮判定結果とともに視線正否判定部15に出力する。
視線正否判定部15は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、視線検知部12が検知した乗員の視線の向きが正当であるか否かの判定(以下「視線正否判定」という。)を行う。
詳細には、視線正否判定部15は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、視線検知部12が検知した乗員の視線の向きと、開眼度判定部13が判定した乗員の開眼度とに基づき、視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。
詳細には、視線正否判定部15は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、視線検知部12が検知した乗員の視線の向きと、開眼度判定部13が判定した乗員の開眼度とに基づき、視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。
視線正否判定部15が行う視線正否判定の詳細について説明する。
まず、視線正否判定部15は、現在から遡って画像取得部11によって取得された撮像画像(以下「正否判定用の撮像画像」という。)のうち、視線検知部12が検知した乗員の視線の向きが予め設定された閾値(以下「視線判定用閾値」という。)以下であり、かつ、開眼度判定部13が判定した乗員の開眼度が予め設定された閾値(以下「開眼度判定用閾値」という。)以上である撮像画像の割合(以下「正否判定用割合」という。)を算出する。
なお、視線正否判定部15が視線判定用閾値と比較する乗員の視線の向きは、詳細には、乗員の視線の上下方向の向きである。視線正否判定部15は、視線検知部12が検知した乗員の視線の上下方向の向きが視線判定用閾値以下であって、言い換えれば、乗員の視線の向きが視線判定用閾値よりも下向きであって、かつ、開眼度判定部13が判定した乗員の開眼度が開眼度判定用閾値以上である撮像画像の正否判定用割合を算出する。
まず、視線正否判定部15は、現在から遡って画像取得部11によって取得された撮像画像(以下「正否判定用の撮像画像」という。)のうち、視線検知部12が検知した乗員の視線の向きが予め設定された閾値(以下「視線判定用閾値」という。)以下であり、かつ、開眼度判定部13が判定した乗員の開眼度が予め設定された閾値(以下「開眼度判定用閾値」という。)以上である撮像画像の割合(以下「正否判定用割合」という。)を算出する。
なお、視線正否判定部15が視線判定用閾値と比較する乗員の視線の向きは、詳細には、乗員の視線の上下方向の向きである。視線正否判定部15は、視線検知部12が検知した乗員の視線の上下方向の向きが視線判定用閾値以下であって、言い換えれば、乗員の視線の向きが視線判定用閾値よりも下向きであって、かつ、開眼度判定部13が判定した乗員の開眼度が開眼度判定用閾値以上である撮像画像の正否判定用割合を算出する。
実施の形態1において、正否判定用の撮像画像は、現在から予め設定された期間だけ遡った期間に画像取得部11によって取得されたフレーム数の撮像画像であってもよいし、予め設定されたフレーム数の撮像画像であってもよい。
なお、視線正否判定部15は、正否判定用の撮像画像と、当該撮像画像に基づいて視線検知部12が検知した乗員の視線の向きの情報、および、当該撮像画像に基づいて開眼度判定部13が判定した乗員の開眼度の情報とを、記憶部に記憶されている視線情報および開眼度情報から取得すればよい。
なお、視線正否判定部15は、正否判定用の撮像画像と、当該撮像画像に基づいて視線検知部12が検知した乗員の視線の向きの情報、および、当該撮像画像に基づいて開眼度判定部13が判定した乗員の開眼度の情報とを、記憶部に記憶されている視線情報および開眼度情報から取得すればよい。
次に、視線正否判定部15は、算出した正否判定用割合が予め設定された閾値(以下「正否判定用閾値」という。)以上であるか否かを判定する。
視線正否判定部15は、正否判定用割合が正否判定用閾値以上である場合、視線検知部12が検知した乗員の視線の向きは不正である、言い換えれば、乗員の視線の向きは誤検知された、と判定する。正否判定用割合が正否判定用閾値以上である場合とは、すなわち、正否判定用の撮像画像のうち、例えば、上述の図2Bで示したように、乗員はじゅうぶんに開眼しているにもかかわらず乗員は下方向を向いていると検知されてしまった撮像画像の割合が正否判定用閾値以上であった場合である。
一方、視線正否判定部15は、正否判定用割合が正否判定用閾値未満である場合、視線検知部12が検知した乗員の視線の向きは正当であると判定する。
視線正否判定部15は、正否判定用割合が正否判定用閾値以上である場合、視線検知部12が検知した乗員の視線の向きは不正である、言い換えれば、乗員の視線の向きは誤検知された、と判定する。正否判定用割合が正否判定用閾値以上である場合とは、すなわち、正否判定用の撮像画像のうち、例えば、上述の図2Bで示したように、乗員はじゅうぶんに開眼しているにもかかわらず乗員は下方向を向いていると検知されてしまった撮像画像の割合が正否判定用閾値以上であった場合である。
一方、視線正否判定部15は、正否判定用割合が正否判定用閾値未満である場合、視線検知部12が検知した乗員の視線の向きは正当であると判定する。
なお、視線正否判定部15は、脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部14が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、視線検知部12が検知した乗員の視線の向きは正当であると判定する。
視線正否判定部15は、視線正否判定の結果(以下「視線正否判定結果」という。)を、脇見仮判定部14から取得した脇見仮判定結果とともに、脇見判定部16に出力する。
脇見判定部16は、脇見仮判定部14による脇見仮判定結果と視線正否判定部15による視線正否判定結果とに基づき乗員が脇見をしているか否かを判定する脇見判定を行う。
脇見判定部16は、脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、脇見仮判定部14による脇見仮判定の結果を維持し、乗員は脇見をしていないと判定する。
また、脇見判定部16は、脇見仮判定部14が乗員は脇見をしていると仮判定した場合、乗員は脇見をしていると判定する。ただし、脇見判定部16は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合は、視線正否判定部15が、視線検知部12が検知した乗員の視線の向きが不正であると判定したか否かを判定する。そして、脇見判定部16は、視線正否判定部15が、視線検知部12が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。すなわち、脇見判定部16は、脇見仮判定部14による脇見仮判定の結果を棄却し、乗員は脇見をしていないと判定する。
このように、脇見判定部16は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部15が、視線検知部12が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。
このように、脇見判定部16は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部15が、視線検知部12が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。
脇見判定部16は、乗員は脇見をしていないと判定すると、脇見警告カウンタをリセットする。上述のとおり、脇見警告カウンタは、脇見仮判定部14が乗員は脇見をしていると仮判定するとカウントアップされる。脇見判定部16は、脇見警告カウンタをリセットすることにより、乗員は脇見をしていないと判定したにもかかわらず、警告部17が乗員に対して警告を出力してしまうことを防ぐ。警告部17の詳細については、後述する。
脇見判定部16は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部15が、視線検知部12が検知した乗員の視線の向きが不正ではない、言い換えれば、正当であると判定した場合は、脇見仮判定部14による脇見仮判定の結果を維持し、乗員は脇見をしていると判定する。この場合、脇見判定部16は、脇見警告カウンタをリセットしない。
また、脇見判定部16は、脇見仮判定部14が乗員は脇見をしていると仮判定した脇見の方向が下方向でない場合は、脇見仮判定部14による脇見仮判定の結果を維持し、乗員は脇見をしていると判定する。この場合も、脇見判定部16は、脇見警告カウンタをリセットしない。
また、脇見判定部16は、脇見仮判定部14が乗員は脇見をしていると仮判定した脇見の方向が下方向でない場合は、脇見仮判定部14による脇見仮判定の結果を維持し、乗員は脇見をしていると判定する。この場合も、脇見判定部16は、脇見警告カウンタをリセットしない。
脇見判定部16は、脇見判定の結果(以下「脇見判定結果」という。)を、警告部17に出力する。
警告部17は、脇見判定部16が乗員は脇見をしていると判定した場合に、出力装置3に警告を行わせる警告情報を出力する。
詳細には、警告部17は、脇見判定部16が脇見をしていると判定した乗員の状態が予め設定された時間(以下「警告対象時間」という。)継続した場合に、警告情報を出力する。警告部17は、脇見をしていると判定した乗員の状態が警告対象時間継続しているか否かを、脇見警告カウンタから判定すればよい。警告部17は、警告情報を出力すると、脇見警告カウンタをリセットする。
出力装置3は、警告部17から警告情報が出力されると、当該警告情報に基づく警告を出力する。
警告部17は、脇見判定部16が乗員は脇見をしていると判定した場合に、出力装置3に警告を行わせる警告情報を出力する。
詳細には、警告部17は、脇見判定部16が脇見をしていると判定した乗員の状態が予め設定された時間(以下「警告対象時間」という。)継続した場合に、警告情報を出力する。警告部17は、脇見をしていると判定した乗員の状態が警告対象時間継続しているか否かを、脇見警告カウンタから判定すればよい。警告部17は、警告情報を出力すると、脇見警告カウンタをリセットする。
出力装置3は、警告部17から警告情報が出力されると、当該警告情報に基づく警告を出力する。
実施の形態1に係る脇見判定装置1の動作について説明する。
図3は、実施の形態1に係る脇見判定装置1の動作について説明するためのフローチャートである。なお、脇見判定装置1は、例えば、車両が走行中、図3のフローチャートに示す動作を繰り返す。
図3は、実施の形態1に係る脇見判定装置1の動作について説明するためのフローチャートである。なお、脇見判定装置1は、例えば、車両が走行中、図3のフローチャートに示す動作を繰り返す。
画像取得部11は、撮像装置2によって車両内の乗員の顔が撮像された撮像画像を取得する(ステップST1)。
画像取得部11は、取得した撮像画像を、視線検知部12および開眼度判定部13に出力する。
画像取得部11は、取得した撮像画像を、視線検知部12および開眼度判定部13に出力する。
視線検知部12は、ステップST1にて画像取得部11が取得した撮像画像に基づき、乗員の視線の向きを検知する(ステップST2-1)。
視線検知部12は、視線情報を、脇見仮判定部14に出力する。
また、視線検知部12は、視線情報を、撮像画像の取得日時と対応付けて、記憶部に記憶させる。
視線検知部12は、視線情報を、脇見仮判定部14に出力する。
また、視線検知部12は、視線情報を、撮像画像の取得日時と対応付けて、記憶部に記憶させる。
開眼度判定部13は、ステップST1にて画像取得部11が取得した撮像画像に基づき、乗員の開眼度を判定する(ステップST2-2)。
開眼度判定部13は、開眼度情報を、視線正否判定部15に出力する。
また、開眼度判定部13は、開眼度情報を、撮像画像の取得日時と対応付けて、記憶部に記憶させる。
開眼度判定部13は、開眼度情報を、視線正否判定部15に出力する。
また、開眼度判定部13は、開眼度情報を、撮像画像の取得日時と対応付けて、記憶部に記憶させる。
脇見仮判定部14は、ステップST2-1にて視線検知部12が検知した乗員の視線の向きに基づき、脇見仮判定を行う(ステップST3)。
脇見仮判定部14は、乗員は脇見をしていると仮判定した場合、脇見警告カウンタをカウントアップする。
脇見仮判定部14は、脇見仮判定結果を、視線正否判定部15に出力する。
また、脇見仮判定部14は、視線検知部12から取得した視線情報を、脇見仮判定結果とともに視線正否判定部15に出力する。
脇見仮判定部14は、乗員は脇見をしていると仮判定した場合、脇見警告カウンタをカウントアップする。
脇見仮判定部14は、脇見仮判定結果を、視線正否判定部15に出力する。
また、脇見仮判定部14は、視線検知部12から取得した視線情報を、脇見仮判定結果とともに視線正否判定部15に出力する。
視線正否判定部15は、ステップST3にて脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、ステップST2-1にて視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う(ステップST4)。
視線正否判定部15は、ステップST3にて脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部14が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、当該ステップST4にて、視線検知部12が検知した乗員の視線の向きは正当であると判定する視線正否判定を行う。
視線正否判定部15は、視線正否判定結果を、ステップST3にて脇見仮判定部14から取得した脇見仮判定結果とともに、脇見判定部16に出力する。
視線正否判定部15は、ステップST3にて脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部14が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、当該ステップST4にて、視線検知部12が検知した乗員の視線の向きは正当であると判定する視線正否判定を行う。
視線正否判定部15は、視線正否判定結果を、ステップST3にて脇見仮判定部14から取得した脇見仮判定結果とともに、脇見判定部16に出力する。
脇見判定部16は、ステップST3における脇見仮判定部14による脇見仮判定結果と、ステップST4における視線正否判定部15による視線正否判定結果とに基づき、乗員が脇見をしているか否かを判定する脇見判定を行う(ステップST5)。
脇見判定部16は、脇見判定結果を、警告部17に出力する。
脇見判定部16は、脇見判定結果を、警告部17に出力する。
警告部17は、ステップST5にて脇見判定部16が乗員は脇見をしていると判定した場合に、出力装置3に警告を行わせる警告情報を出力する(ステップST6)。詳細には、警告部17は、ステップST5にて脇見判定部16が脇見をしていると判定した乗員の状態が警告対象時間継続した場合に、警告情報を出力する。
出力装置3は、警告部17から警告情報が出力されると、当該警告情報に基づく警告を出力する。
なお、警告部17は、脇見判定部16が脇見をしていると判定した乗員の状態が警告対象時間継続していない場合、および、ステップST5にて脇見判定部16が乗員は脇見をしていると判定しなかった場合は、警告情報を出力しない。
出力装置3は、警告部17から警告情報が出力されると、当該警告情報に基づく警告を出力する。
なお、警告部17は、脇見判定部16が脇見をしていると判定した乗員の状態が警告対象時間継続していない場合、および、ステップST5にて脇見判定部16が乗員は脇見をしていると判定しなかった場合は、警告情報を出力しない。
なお、図3のフローチャートでは、ステップST2-2の処理は、ステップST3の処理よりも前に行われるようにしたが、これは一例に過ぎない。ステップST2-2の処理は、ステップST4の処理が行われるよりも前に行われていればよい。
図4は、図3のステップST3にて脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合に図3のステップST4において視線正否判定部15が行う視線正否判定の詳細について説明するためのフローチャートである。
視線正否判定部15は、現在から遡って画像取得部11によって取得された正否判定用の撮像画像のうち、図3のステップST2-1にて視線検知部12が検知した乗員の視線の向きが視線判定用閾値以下であり、かつ、図3のステップST2-2にて開眼度判定部13が判定した乗員の開眼度が開眼度判定用閾値以上である撮像画像の割合である正否判定用割合を算出する(ステップST41)。
視線正否判定部15は、ステップST41にて算出した正否判定用割合が正否判定用閾値以上であるか否かを判定する(ステップST42)。
ステップST42にて、正否判定用割合が正否判定用閾値以上であると判定した場合(ステップST42の“YES”の場合)、視線正否判定部15は、ステップST2-1にて視線検知部12が検知した乗員の視線の向きは不正であると判定する(ステップST43)。
ステップST42にて、正否判定用割合が正否判定用閾値未満であると判定した場合(ステップST42の“NO”の場合)、視線正否判定部15は、ステップST2-1にて視線検知部12が検知した乗員の視線の向きは正当であると判定する(ステップST44)。
図5は、図3のステップST5における、脇見判定部16による脇見判定の詳細について説明するためのフローチャートである。
脇見判定部16は、図3のステップST3にて脇見仮判定部14が乗員は下方向の脇見をしていると仮判定したか否かを判定する(ステップST51)。
図3のステップST3にて脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合(ステップST51の“YES”の場合)、脇見判定部16は、図3のステップST4にて、視線正否判定部15が図3のステップST2-1にて視線検知部12が検知した乗員の視線の向きが不正であると判定したか否かを判定する(ステップST52)。
図3のステップST4にて、視線正否判定部15が図3のステップST2-1にて視線検知部12が検知した乗員の視線の向きが不正であると判定した場合(ステップST52の“YES”の場合)、脇見判定部16は、乗員は脇見をしていないと判定する(ステップST53)。すなわち、脇見判定部16は、脇見仮判定部14による脇見仮判定の結果を棄却し、乗員は脇見をしていないと判定する。このとき、脇見判定部16は、脇見警告カウンタをリセットする。
図3のステップST4にて、視線正否判定部15が図3のステップST2-1にて視線検知部12が検知した乗員の視線の向きが不正ではない、言い換えれば、正当であると判定した場合(ステップST52の“NO”の場合)、脇見判定部16は、脇見仮判定部14による脇見仮判定の結果を維持し、乗員は脇見をしている、詳細には、乗員は下方向の脇見をしていると判定する(ステップST54)。なお、この場合、脇見判定部16は、脇見警告カウンタをリセットしない。
図3のステップST3にて脇見仮判定部14が乗員は下方向の脇見をしていると仮判定しなかった場合(ステップST51の“NO”の場合)、脇見判定部16は、脇見仮判定部14による脇見仮判定の結果を維持する(ステップST55)。
つまり、図3のステップST3にて脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、脇見判定部16は、乗員は脇見をしていないと判定する。また、図3のステップST3にて脇見仮判定部14が乗員は下方向以外の方向への脇見をしていると仮判定した場合、脇見判定部16は、乗員は脇見をしていると判定する。なお、このとき、脇見判定部16は、脇見警告カウンタをリセットしておく。
つまり、図3のステップST3にて脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、脇見判定部16は、乗員は脇見をしていないと判定する。また、図3のステップST3にて脇見仮判定部14が乗員は下方向以外の方向への脇見をしていると仮判定した場合、脇見判定部16は、乗員は脇見をしていると判定する。なお、このとき、脇見判定部16は、脇見警告カウンタをリセットしておく。
このように、脇見判定装置1は、撮像装置2によって車両内の乗員の顔が撮像された撮像画像に基づき、乗員の視線の向きを検知するとともに、乗員の開眼度を判定する。
脇見判定装置1は、検知した乗員の視線の向きに基づき、脇見仮判定を行う。脇見判定装置1は、脇見仮判定の結果、乗員は下方向の脇見をしていると仮判定した場合、検知した乗員の視線の向きと判定した乗員の開眼度とに基づき、検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。そして、脇見判定装置1は、乗員は下方向の脇見をしていると仮判定した場合であっても、検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。
これにより、脇見判定装置1は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
脇見判定装置1は、検知した乗員の視線の向きに基づき、脇見仮判定を行う。脇見判定装置1は、脇見仮判定の結果、乗員は下方向の脇見をしていると仮判定した場合、検知した乗員の視線の向きと判定した乗員の開眼度とに基づき、検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。そして、脇見判定装置1は、乗員は下方向の脇見をしていると仮判定した場合であっても、検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。
これにより、脇見判定装置1は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
図6Aおよび図6Bは、実施の形態1に係る脇見判定装置1のハードウェア構成の一例を示す図である。
実施の形態1において、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部の機能は、処理回路1001により実現される。すなわち、脇見判定装置1は、撮像画像に基づいて検知された乗員の視線の向きに基づいて乗員が脇見をしているか否かを判定する際、乗員の視線の向きが下向きであると検知した場合にはこれが正当であるか否かを判定した上で、乗員が脇見をしているか否かを判定するための制御を行う処理回路1001を備える。
処理回路1001は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリ1005に格納されるプログラムを実行するプロセッサ1004であってもよい。
実施の形態1において、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部の機能は、処理回路1001により実現される。すなわち、脇見判定装置1は、撮像画像に基づいて検知された乗員の視線の向きに基づいて乗員が脇見をしているか否かを判定する際、乗員の視線の向きが下向きであると検知した場合にはこれが正当であるか否かを判定した上で、乗員が脇見をしているか否かを判定するための制御を行う処理回路1001を備える。
処理回路1001は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリ1005に格納されるプログラムを実行するプロセッサ1004であってもよい。
処理回路1001が専用のハードウェアである場合、処理回路1001は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
処理回路がプロセッサ1004の場合、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ1005に記憶される。プロセッサ1004は、メモリ1005に記憶されたプログラムを読み出して実行することにより、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部の機能を実行する。すなわち、脇見判定装置1は、プロセッサ1004により実行されるときに、上述の図3のステップST1~ステップST6が結果的に実行されることになるプログラムを格納するためのメモリ1005を備える。また、メモリ1005に記憶されたプログラムは、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ1005とは、例えば、RAM、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
なお、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部11については専用のハードウェアとしての処理回路1001でその機能を実現し、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部についてはプロセッサ1004がメモリ1005に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
図示しない記憶部は、メモリ1005等で構成される。
また、脇見判定装置1は、撮像装置2または出力装置3等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
図示しない記憶部は、メモリ1005等で構成される。
また、脇見判定装置1は、撮像装置2または出力装置3等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
以上の実施の形態1では、脇見判定装置1は警告部17を備えていたが、これは一例に過ぎない。例えば、警告部17の機能は脇見判定装置1の外部にて脇見判定装置1と接続されている外部装置が備えていてもよい。この場合、脇見判定装置1において脇見判定部16は、脇見判定の結果と脇見警告カウンタの値とを外部装置に出力する。
また、以上の実施の形態1では、脇見判定装置1は、車両に搭載される車載装置とし、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部は、車載装置に備えられていた。
これに限らず、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部が全部サーバに備えられてもよい。
これに限らず、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15と、脇見判定部16と、警告部17と、図示しない制御部が全部サーバに備えられてもよい。
以上のように、実施の形態1に係る脇見判定装置1は、車両内の乗員の顔が撮像された撮像画像を取得する画像取得部11と、画像取得部11が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部12と、視線検知部12が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部14と、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部15と、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部15が、視線検知部12が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部16とを備えるように構成した。そのため、脇見判定装置1は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
詳細には、実施の形態1に係る脇見判定装置1は、画像取得部11が取得した撮像画像に基づき、乗員の開眼度を判定する開眼度判定部13を備え、視線正否判定部15は、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、視線検知部12が検知した乗員の視線の向きと開眼度判定部13が判定した乗員の開眼度とに基づき、視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行うように構成した。そのため、脇見判定装置1は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
また、実施の形態1に係る脇見判定装置1は、脇見判定部16が乗員は脇見をしていると判定した場合に、警告を行わせる警告情報を出力する警告部17を備えるように構成できる。そのため、脇見判定装置1は、乗員に対して、脇見への注意喚起を行わせることができる。
また、実施の形態1に係る脇見判定装置1において、警告部17は、脇見判定部16が脇見をしていると判定した乗員の状態が警告対象時間継続した場合に、警告情報を出力するように構成できる。そのため、脇見判定装置1は、乗員に対して、脇見への注意喚起を行わせることができるとともに、乗員が一瞬視線を動かしただけである場合等に、不要な警告を行わないようにできる。
また、実施の形態1に係る脇見判定装置1において、警告部17は、脇見判定部16が脇見をしていると判定した乗員の状態が警告対象時間継続した場合に、警告情報を出力するように構成できる。そのため、脇見判定装置1は、乗員に対して、脇見への注意喚起を行わせることができるとともに、乗員が一瞬視線を動かしただけである場合等に、不要な警告を行わないようにできる。
実施の形態2.
実施の形態1では、脇見判定装置は、乗員は下方向の脇見をしていると仮判定した場合、検知した乗員の視線の向きと判定した乗員の開眼度とを予め設定された条件と比較することで、視線正否判定を行っていた。
実施の形態2では、脇見判定装置が、学習済みのモデル(以下「機械学習モデル」という。)を用いて視線正否判定を行う実施の形態について説明する。
実施の形態1では、脇見判定装置は、乗員は下方向の脇見をしていると仮判定した場合、検知した乗員の視線の向きと判定した乗員の開眼度とを予め設定された条件と比較することで、視線正否判定を行っていた。
実施の形態2では、脇見判定装置が、学習済みのモデル(以下「機械学習モデル」という。)を用いて視線正否判定を行う実施の形態について説明する。
図7は、実施の形態2に係る脇見判定装置1aの構成例を示す図である。
実施の形態2に係る脇見判定装置1aの構成について、実施の形態1にて図1を用いて説明した脇見判定装置1と同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態2に係る脇見判定装置1aは、実施の形態1に係る脇見判定装置1とは、開眼度判定部13を備えず、モデル記憶部18を備えた点が異なる。また、実施の形態2に係る脇見判定装置1aにおける視線正否判定部15aの具体的な動作が、実施の形態1に係る脇見判定装置1における視線正否判定部15の具体的な動作とは異なる。
脇見判定装置1aと撮像装置2と出力装置3とで脇見判定システム400aを構成する。
実施の形態2に係る脇見判定装置1aの構成について、実施の形態1にて図1を用いて説明した脇見判定装置1と同じ構成には、同じ符号を付して重複した説明を省略する。
実施の形態2に係る脇見判定装置1aは、実施の形態1に係る脇見判定装置1とは、開眼度判定部13を備えず、モデル記憶部18を備えた点が異なる。また、実施の形態2に係る脇見判定装置1aにおける視線正否判定部15aの具体的な動作が、実施の形態1に係る脇見判定装置1における視線正否判定部15の具体的な動作とは異なる。
脇見判定装置1aと撮像装置2と出力装置3とで脇見判定システム400aを構成する。
視線正否判定部15aは、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、画像取得部11が取得した撮像画像と、機械学習モデル(第1機械学習モデル)とに基づき、視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。なお、視線正否判定部15aは、撮像画像を、視線検知部12および脇見仮判定部14を介して取得すればよい。
第1機械学習モデルは、乗員の顔が撮像された撮像画像を入力とし、当該撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を出力する機械学習モデルである。
第1機械学習モデルは、乗員の顔が撮像された撮像画像を入力とし、当該撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を出力する機械学習モデルである。
第1機械学習モデルは、予め、管理者等によって生成され、モデル記憶部18に記憶されている。
管理者等は、例えば、製品出荷前等に、車両の試験走行を行わせ、乗員が視線を下方に向けていないにも関わらず脇見の警告が行われた場合の撮像画像(以下「第1試験画像」という。)と、乗員が視線を下方に向けていたことにより脇見の警告が行われた場合の撮像画像(以下「第2試験画像」という。)と、乗員が視線を下方に向けておらず脇見の警告が行われなかった場合の撮像画像(以下「第3試験画像」という。)とを収集する。そして、管理者等は、収集した撮像画像に、当該撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を教師ラベルとして付与して学習用データを生成する。詳細には、管理者等は、第1試験画像には当該第1試験画像に基づいて検知される乗員の視線の向きは正当ではない旨を示す情報を教師ラベルとして付与し、第2試験画像には当該第2試験画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報を教師ラベルとして付与し、第3試験画像には当該第3試験画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報を教師ラベルとして付与する。
管理者等は、生成した学習用データを学習器に学習させて、第1機械学習モデルを生成させる。
管理者等は、例えば、製品出荷前等に、車両の試験走行を行わせ、乗員が視線を下方に向けていないにも関わらず脇見の警告が行われた場合の撮像画像(以下「第1試験画像」という。)と、乗員が視線を下方に向けていたことにより脇見の警告が行われた場合の撮像画像(以下「第2試験画像」という。)と、乗員が視線を下方に向けておらず脇見の警告が行われなかった場合の撮像画像(以下「第3試験画像」という。)とを収集する。そして、管理者等は、収集した撮像画像に、当該撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を教師ラベルとして付与して学習用データを生成する。詳細には、管理者等は、第1試験画像には当該第1試験画像に基づいて検知される乗員の視線の向きは正当ではない旨を示す情報を教師ラベルとして付与し、第2試験画像には当該第2試験画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報を教師ラベルとして付与し、第3試験画像には当該第3試験画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報を教師ラベルとして付与する。
管理者等は、生成した学習用データを学習器に学習させて、第1機械学習モデルを生成させる。
視線正否判定部15aは、第1機械学習モデルに画像取得部11が取得した撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報が得られた場合、視線検知部12が検知した乗員の視線の向きは正当であると判定する。
視線正否判定部15aは、第1機械学習モデルに画像取得部11が取得した撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当ではない、すなわち、不正である旨を示す情報が得られた場合、視線検知部12が検知した乗員の視線の向きは不正であると判定する。
視線正否判定部15aは、第1機械学習モデルに画像取得部11が取得した撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当ではない、すなわち、不正である旨を示す情報が得られた場合、視線検知部12が検知した乗員の視線の向きは不正であると判定する。
なお、視線正否判定部15aは、脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部14が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、視線検知部12が検知した乗員の視線の向きは正当であると判定する。
視線正否判定部15aは、視線正否判定結果を、脇見仮判定部14から取得した脇見仮判定結果とともに、脇見判定部16に出力する。
モデル記憶部18は、予め管理者等によって生成された第1機械学習モデルを記憶する。
なお、図7では、モデル記憶部18は、脇見判定装置1aに備えられているが、これは一例に過ぎない。モデル記憶部18は、脇見判定装置1aの外部の、脇見判定装置1aが参照可能な場所に備えられてもよい。
なお、図7では、モデル記憶部18は、脇見判定装置1aに備えられているが、これは一例に過ぎない。モデル記憶部18は、脇見判定装置1aの外部の、脇見判定装置1aが参照可能な場所に備えられてもよい。
実施の形態2に係る脇見判定装置1aの動作について説明する。
図8は、実施の形態2に係る脇見判定装置1aの動作について説明するためのフローチャートである。なお、脇見判定装置1aは、例えば、車両が走行中、図8のフローチャートに示す動作を繰り返す。
図8のフローチャートにおいて、ステップST1、ステップST2-1、ステップST3、ステップST5~ステップST6の具体的な動作は、それぞれ、実施の形態1にて説明済みの、脇見判定装置1によるステップST1、ステップST2-1、ステップST3、ステップST5~ステップST6の具体的な動作と同様であるため、重複した説明を省略する。
図8は、実施の形態2に係る脇見判定装置1aの動作について説明するためのフローチャートである。なお、脇見判定装置1aは、例えば、車両が走行中、図8のフローチャートに示す動作を繰り返す。
図8のフローチャートにおいて、ステップST1、ステップST2-1、ステップST3、ステップST5~ステップST6の具体的な動作は、それぞれ、実施の形態1にて説明済みの、脇見判定装置1によるステップST1、ステップST2-1、ステップST3、ステップST5~ステップST6の具体的な動作と同様であるため、重複した説明を省略する。
視線正否判定部15aは、ステップST3にて脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、ステップST1にて撮像画像取得部が取得した撮像画像とモデル記憶部18に記憶されている機械学習モデルとに基づき、ステップST2-1にて視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う(ステップST4a)。
視線正否判定部15aは、第1機械学習モデルに撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報が得られた場合、ステップST2-1にて視線検知部12が検知した乗員の視線の向きは正当であると判定する。
視線正否判定部15aは、第1機械学習モデルに撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当ではない、すなわち、不正である旨を示す情報が得られた場合、ステップST2-1にて視線検知部12が検知した乗員の視線の向きは不正であると判定する。
視線正否判定部15aは、第1機械学習モデルに撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当である旨を示す情報が得られた場合、ステップST2-1にて視線検知部12が検知した乗員の視線の向きは正当であると判定する。
視線正否判定部15aは、第1機械学習モデルに撮像画像を入力して、当該撮像画像に基づいて検知される乗員の視線の向きは正当ではない、すなわち、不正である旨を示す情報が得られた場合、ステップST2-1にて視線検知部12が検知した乗員の視線の向きは不正であると判定する。
なお、視線正否判定部15aは、ステップST3にて脇見仮判定部14が乗員は脇見をしていないと仮判定した場合、および、脇見仮判定部14が乗員は脇見をしていると仮判定しても当該脇見が下方向の脇見でない場合は、視線検知部12が検知した乗員の視線の向きは正当であると判定する。
視線正否判定部15aは、視線正否判定結果を、脇見仮判定部14から取得した脇見仮判定結果とともに、脇見判定部16に出力する。
視線正否判定部15aは、視線正否判定結果を、脇見仮判定部14から取得した脇見仮判定結果とともに、脇見判定部16に出力する。
このように、脇見判定装置1aは、撮像装置2によって車両内の乗員の顔が撮像された撮像画像に基づき検知した乗員の視線の向きに基づき、脇見仮判定を行う。脇見判定装置1aは、脇見仮判定の結果、乗員は下方向の脇見をしていると仮判定した場合、撮像画像と、製品出荷前等に予め生成されている第1機械学習モデルとに基づき、検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う。そして、脇見判定装置1aは、乗員は下方向の脇見をしていると仮判定した場合であっても、検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する。
これにより、脇見判定装置1aは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
これにより、脇見判定装置1aは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
以上の実施の形態2において、第1機械学習モデルは、車両が走行を開始した後に、車両にて取得された撮像画像に基づいて生成されるようにしてもよい。
詳細には、脇見判定装置が、車両にて取得された撮像画像に基づいて第1機械学習モデルを生成する学習装置を搭載し、学習装置が生成した第1機械学習モデルを用いて視線正否判定を行ってもよい。
詳細には、脇見判定装置が、車両にて取得された撮像画像に基づいて第1機械学習モデルを生成する学習装置を搭載し、学習装置が生成した第1機械学習モデルを用いて視線正否判定を行ってもよい。
ここで、図9は、実施の形態2において、第1機械学習モデルを生成する学習装置100を搭載した脇見判定装置1bの構成例を示す図である。
図9に示す脇見判定装置1bの構成について、図7を用いて説明した脇見判定装置1aと同じ構成には、同じ符号を付して重複した説明を省略する。
図9に示す脇見判定装置1bは、図7に示した脇見判定装置1aとは、学習装置100を搭載している点が異なる。
なお、脇見判定装置1bと撮像装置2と出力装置3とで脇見判定システム400bを構成する。
図9に示す脇見判定装置1bの構成について、図7を用いて説明した脇見判定装置1aと同じ構成には、同じ符号を付して重複した説明を省略する。
図9に示す脇見判定装置1bは、図7に示した脇見判定装置1aとは、学習装置100を搭載している点が異なる。
なお、脇見判定装置1bと撮像装置2と出力装置3とで脇見判定システム400bを構成する。
学習装置100は、予め設定された期間(以下「学習用データ生成期間」という。)に画像取得部11が取得した撮像画像(以下「学習用データ生成用の撮像画像」という。)に基づき学習用データを生成し、生成した学習用データを用いて第1機械学習モデルを生成する。実施の形態2において、学習用データ生成期間は、例えば、車両が走行を開始してからの所定の期間とする。
学習装置100は、学習用データ生成部101と学習部102を備える。
学習装置100は、学習用データ生成部101と学習部102を備える。
学習用データ生成部101は、第1機械学習モデルを生成するための学習用データを生成する。
学習用データ生成部101による学習用データの生成方法について、具体例を挙げて説明する。
〈具体例1〉
まず、学習用データ生成部101は、学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する。学習用データ生成部101は、視線検知部12が乗員の視線の向きを検知するのと同様の方法で、乗員の視線の向きを検知すればよい。なお、ここでは、学習用データ生成部101が乗員の視線の向きを検知するものとするが、これは一例に過ぎない。例えば、学習用データ生成用の撮像画像に基づく乗員の視線の向きの検知は視線検知部12が行い、学習用データ生成部101は、視線検知部12から乗員の視線の向きを取得してもよい。
また、学習用データ生成部101は、学習用データ生成用の撮像画像に基づき、乗員の開眼度を判定する。学習用データ生成部101は、実施の形態1にて説明済みの開眼度判定部13と同様の方法で、乗員の開眼度を判定すればよい。
まず、学習用データ生成部101は、学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する。学習用データ生成部101は、視線検知部12が乗員の視線の向きを検知するのと同様の方法で、乗員の視線の向きを検知すればよい。なお、ここでは、学習用データ生成部101が乗員の視線の向きを検知するものとするが、これは一例に過ぎない。例えば、学習用データ生成用の撮像画像に基づく乗員の視線の向きの検知は視線検知部12が行い、学習用データ生成部101は、視線検知部12から乗員の視線の向きを取得してもよい。
また、学習用データ生成部101は、学習用データ生成用の撮像画像に基づき、乗員の開眼度を判定する。学習用データ生成部101は、実施の形態1にて説明済みの開眼度判定部13と同様の方法で、乗員の開眼度を判定すればよい。
そして、学習用データ生成部101は、学習用データ生成用の撮像画像に基づき検知された乗員の視線の向きと学習用データ生成用の撮像画像に基づき判定された乗員の開眼度とに基づき、検知された乗員の視線の向きは正当であるか否かを判定する。
具体的には、学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下である場合、実施の形態1にて説明済みの視線正否判定部15による視線正否判定と同様の方法で、検知された乗員の視線の向きは正当であるか否かを判定する。なお、学習用データ生成部101は、画像取得部11から取得した撮像画像を図示しない記憶部に記憶させておく。学習用データ生成部101は、記憶部に、正否判定用の撮像画像のフレーム数だけ撮像画像が記憶されていない場合は、記憶されているだけの撮像画像を用いて視線正否判定を行えばよい。
学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。
具体的には、学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下である場合、実施の形態1にて説明済みの視線正否判定部15による視線正否判定と同様の方法で、検知された乗員の視線の向きは正当であるか否かを判定する。なお、学習用データ生成部101は、画像取得部11から取得した撮像画像を図示しない記憶部に記憶させておく。学習用データ生成部101は、記憶部に、正否判定用の撮像画像のフレーム数だけ撮像画像が記憶されていない場合は、記憶されているだけの撮像画像を用いて視線正否判定を行えばよい。
学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。
学習用データ生成部101は、検知された乗員の視線の向きは正当であるか否かを判定すると、当該判定の結果を撮像画像と対応付け、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する。
〈具体例2〉
上述のとおり、実施の形態2において、学習用データ生成期間は、例えば、車両が走行を開始してからの所定の期間とする。車両が走行を開始してから所定の期間においては、乗員は脇見をせず正面を向いている可能性が高いと想定される。
そこで、学習用データ生成部101は、乗員は脇見をせず正面を向いているとの前提を置いて、学習用データを生成することもできる。
上述のとおり、実施の形態2において、学習用データ生成期間は、例えば、車両が走行を開始してからの所定の期間とする。車両が走行を開始してから所定の期間においては、乗員は脇見をせず正面を向いている可能性が高いと想定される。
そこで、学習用データ生成部101は、乗員は脇見をせず正面を向いているとの前提を置いて、学習用データを生成することもできる。
まず、学習用データ生成部101は、〈具体例1〉で説明したのと同様の方法で、学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する。
学習用データ生成部101は、検知された乗員の視線の向きに基づき、検知された乗員の視線の向きは正当であるか否かを判定する。詳細には、学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下である場合、検知された乗員の視線の向きは正当ではない、すなわち、不正であると判定する。上述のとおり、学習用データ生成期間においては、乗員は正面を向いているとの前提を置いているためである。
学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。
学習用データ生成部101は、検知された乗員の視線の向きに基づき、検知された乗員の視線の向きは正当であるか否かを判定する。詳細には、学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下である場合、検知された乗員の視線の向きは正当ではない、すなわち、不正であると判定する。上述のとおり、学習用データ生成期間においては、乗員は正面を向いているとの前提を置いているためである。
学習用データ生成部101は、乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。
学習用データ生成部101は、検知された乗員の視線の向きは正当であるか否かを判定すると、当該判定の結果を撮像画像と対応付け、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する。
学習用データ生成部101は、生成した学習用データを、学習部102に出力する。
学習部102は、学習用データ生成部101が生成した学習用データを用いて第1機械学習モデルを生成する。
学習部102は、生成した第1機械学習モデルをモデル記憶部18に記憶させる。
学習部102は、生成した第1機械学習モデルをモデル記憶部18に記憶させる。
視線正否判定部15aは、学習部102が第1機械学習モデルをモデル記憶部18に記憶させると、当該第1機械学習モデルを用いて、視線正否判定を行う。
実施の形態2において、図9に示す脇見判定装置1bの具体的な動作は、図8のフローチャートを用いて説明済みの、図7に示す脇見判定装置1aの具体的な動作と同様であるため、重複した説明を省略する。
ただし、脇見判定装置1bは、学習装置100によって生成された第1機械学習モデルがモデル記憶部18に記憶されてから、図8のフローチャートに示す動作を行う。脇見判定装置1bは、例えば、車両が走行中、図8のフローチャートに示す動作を繰り返す。
ただし、脇見判定装置1bは、学習装置100によって生成された第1機械学習モデルがモデル記憶部18に記憶されてから、図8のフローチャートに示す動作を行う。脇見判定装置1bは、例えば、車両が走行中、図8のフローチャートに示す動作を繰り返す。
図10は、実施の形態2において、図9に示す脇見判定装置1bが搭載している学習装置100の動作について説明するためのフローチャートである。
学習装置100は、脇見判定装置1bが図9のフローチャートに示すような動作を行うのに先立って、図10のフローチャートに示すような動作を行う。
学習装置100は、脇見判定装置1bが図9のフローチャートに示すような動作を行うのに先立って、図10のフローチャートに示すような動作を行う。
学習用データ生成部101は、第1機械学習モデルを生成するための学習用データを生成する(ステップST101)。
学習用データ生成部101は、生成した学習用データを、学習部102に出力する。
学習用データ生成部101は、生成した学習用データを、学習部102に出力する。
学習部102は、ステップST101にて学習用データ生成部101が生成した学習用データを用いて第1機械学習モデルを生成する(ステップST102)。
図11は、図10のステップST101における学習用データ生成部101による学習用データ生成の動作の詳細を説明するためのフローチャートである。
学習用データ生成部101は、例えば、車両が走行を開始すると、学習用データ生成用期間、図11のフローチャートに示すような動作を繰り返す。
なお、図11のフローチャートは、学習用データ生成部101が前述の〈具体例1〉にて説明したような方法で学習用データを生成するものとした場合の学習用データ生成部101の動作を説明するフローチャートとしている。
学習用データ生成部101は、例えば、車両が走行を開始すると、学習用データ生成用期間、図11のフローチャートに示すような動作を繰り返す。
なお、図11のフローチャートは、学習用データ生成部101が前述の〈具体例1〉にて説明したような方法で学習用データを生成するものとした場合の学習用データ生成部101の動作を説明するフローチャートとしている。
学習用データ生成部101は、画像取得部11が取得した学習用データ生成用の撮像画像を取得する(ステップST1011)。
学習用データ生成部101は、ステップST1011にて取得した学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する(ステップST1012)。
また、学習用データ生成部101は、ステップST1011にて取得した学習用データ生成用の撮像画像に基づき、乗員の開眼度を判定する(ステップST1013)。
学習用データ生成部101は、ステップST1011にて取得した学習用データ生成用の撮像画像に基づき乗員の視線の向きを検知する(ステップST1012)。
また、学習用データ生成部101は、ステップST1011にて取得した学習用データ生成用の撮像画像に基づき、乗員の開眼度を判定する(ステップST1013)。
そして、学習用データ生成部101は、ステップST1012にて検知した乗員の視線の向きとステップST1013にて判定した乗員の開眼度とに基づき、ステップST1012にて検知した乗員の視線の向きは正当であるか否かを判定する(ステップST1014)。
具体的には、学習用データ生成部101は、ステップST1012にて検知した乗員の視線の向きが視線判定用閾値以下である場合、実施の形態1にて説明済みの視線正否判定部15による視線正否判定と同様の方法で、検知された乗員の視線の向きは正当であるか否かを判定する(図4参照)。
学習用データ生成部101は、ステップST1012にて検知した乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。
具体的には、学習用データ生成部101は、ステップST1012にて検知した乗員の視線の向きが視線判定用閾値以下である場合、実施の形態1にて説明済みの視線正否判定部15による視線正否判定と同様の方法で、検知された乗員の視線の向きは正当であるか否かを判定する(図4参照)。
学習用データ生成部101は、ステップST1012にて検知した乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。
学習用データ生成部101は、ステップST1014にて、ステップST1012にて検知された乗員の視線の向きは正当であるか否かを判定すると、当該判定の結果を撮像画像と対応付け、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する(ステップST1015)。
なお、学習用データ生成部101が前述の〈具体例2〉にて説明したような方法で学習用データを生成するものとした場合、図11のフローチャートを用いて説明した処理のうち、ステップST1013の処理を省略できる。ステップST1014において、学習用データ生成部101は、ステップST1012にて検知した乗員の視線の向きが視線判定用閾値以下である場合、検知された乗員の視線の向きは正当ではない、すなわち、不正であると判定する。学習用データ生成部101は、ステップST1012にて検知した乗員の視線の向きが視線判定用閾値以下でなければ、検知された乗員の視線の向きは正当であると判定すればよい。
このように、脇見判定装置1bは、脇見仮判定の結果、乗員は下方向の脇見をしていると仮判定した場合、撮像画像と、車両にて取得された撮像画像に基づいて学習装置100が生成した第1機械学習モデルとに基づき、検知した乗員の視線の向きが正当であるか否かの視線正否判定を行うこともできる。
このようにしても、脇見判定装置1bは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
このようにしても、脇見判定装置1bは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
なお、以上の実施の形態2において、脇見判定装置1bは、学習装置100を搭載しているものとしたが、これは一例に過ぎない。
脇見判定装置1bは学習装置100を搭載せず、学習装置100は、脇見判定装置1bの外部の、脇見判定装置1bが参照可能な場所に備えられてもよい。
脇見判定装置1bは学習装置100を搭載せず、学習装置100は、脇見判定装置1bの外部の、脇見判定装置1bが参照可能な場所に備えられてもよい。
実施の形態2に係る脇見判定装置1a,1bのハードウェア構成は、実施の形態1において図6Aおよび図6Bを用いて説明した脇見判定装置1のハードウェア構成と同様であるため、図示を省略する。
実施の形態2において、画像取得部11と、視線検知部12と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17の機能は、処理回路1001により実現される。すなわち、脇見判定装置1a,1bは、撮像画像に基づいて検知された乗員の視線の向きに基づいて乗員が脇見をしているか否かを判定する際、乗員の視線の向きが下向きであると検知した場合にはこれが正当であるか否かを判定した上で、乗員が脇見をしているか否かを判定するための制御を行う処理回路1001を備える。
実施の形態2において、画像取得部11と、視線検知部12と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17の機能は、処理回路1001により実現される。すなわち、脇見判定装置1a,1bは、撮像画像に基づいて検知された乗員の視線の向きに基づいて乗員が脇見をしているか否かを判定する際、乗員の視線の向きが下向きであると検知した場合にはこれが正当であるか否かを判定した上で、乗員が脇見をしているか否かを判定するための制御を行う処理回路1001を備える。
処理回路1001は、メモリ1005に記憶されたプログラムを読み出して実行することにより、画像取得部11と、視線検知部12と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17の機能を実行する。すなわち、脇見判定装置1a,1bは、処理回路1001により実行されるときに、上述の図8のステップST1~ステップST6が結果的に実行されることになるプログラムを格納するためのメモリ1005を備える。また、メモリ1005に記憶されたプログラムは、画像取得部11と、視線検知部12と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17の処理の手順または方法をコンピュータに実行させるものであるともいえる。
図示しない記憶部は、例えば、メモリ1005で構成される。
また、脇見判定装置1a,1bは、撮像装置2または出力装置3等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
図示しない記憶部は、例えば、メモリ1005で構成される。
また、脇見判定装置1a,1bは、撮像装置2または出力装置3等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
実施の形態2に係る学習装置100のハードウェア構成は、実施の形態1において図6Aおよび図6Bを用いて説明した脇見判定装置1のハードウェア構成と同様であるため、図示を省略する。
実施の形態2において、学習用データ生成部101と学習部102の機能は、処理回路1001により実現される。すなわち、学習装置100は、撮像画像に基づいて学習用データを生成し、生成した学習用データを用いて第1機械学習モデルを生成する制御を行うための処理回路1001を備える。
処理回路1001は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリ1005に格納されるプログラムを実行するプロセッサ1004であってもよい。
実施の形態2において、学習用データ生成部101と学習部102の機能は、処理回路1001により実現される。すなわち、学習装置100は、撮像画像に基づいて学習用データを生成し、生成した学習用データを用いて第1機械学習モデルを生成する制御を行うための処理回路1001を備える。
処理回路1001は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリ1005に格納されるプログラムを実行するプロセッサ1004であってもよい。
処理回路がプロセッサ1004の場合、学習用データ生成部101と学習部102の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ1005に記憶される。プロセッサ1004は、メモリ1005に記憶されたプログラムを読み出して実行することにより、学習用データ生成部101と学習部102の機能を実行する。すなわち、学習装置100は、プロセッサ1004により実行されるときに、上述の図10のステップST101~ステップST102が結果的に実行されることになるプログラムを格納するためのメモリ1005を備える。また、メモリ1005に記憶されたプログラムは、学習用データ生成部101と学習部102の処理の手順または方法をコンピュータに実行させるものであるともいえる。
なお、学習用データ生成部101と学習部102の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、学習用データ生成部101については専用のハードウェアとしての処理回路1001でその機能を実現し、学習部102についてはプロセッサ1004がメモリ1005に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
図示しない記憶部およびモデル記憶部18は、メモリ1005等で構成される。
また、学習装置100は、撮像装置2等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
図示しない記憶部およびモデル記憶部18は、メモリ1005等で構成される。
また、学習装置100は、撮像装置2等の装置と、有線通信または無線通信を行う入力インタフェース装置1002および出力インタフェース装置1003を備える。
以上の実施の形態2では、脇見判定装置1a,1bは警告部17を備えていたが、これは一例に過ぎない。例えば、警告部17の機能は脇見判定装置1a,1bの外部にて脇見判定装置1a,1bと接続されている外部装置が備えていてもよい。
また、以上の実施の形態1では、脇見判定装置1a,1bは、車両に搭載される車載装置とし、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17と、図示しない制御部は、車載装置に備えられていた。
これに限らず、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17と、図示しない制御部が全部サーバに備えられてもよい。
また、学習装置100について、学習用データ生成部101と学習部102のうちの一部、または、全部が、サーバに備えられてもよい。
これに限らず、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17と、図示しない制御部のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとでシステムを構成してもよい。
また、画像取得部11と、視線検知部12と、開眼度判定部13と、脇見仮判定部14と、視線正否判定部15aと、脇見判定部16と、警告部17と、図示しない制御部が全部サーバに備えられてもよい。
また、学習装置100について、学習用データ生成部101と学習部102のうちの一部、または、全部が、サーバに備えられてもよい。
以上のように、実施の形態2に係る脇見判定装置1a,1bは、車両内の乗員の顔が撮像された撮像画像を取得する画像取得部11と、画像取得部11が取得した撮像画像に基づき、乗員の視線の向きを検知する視線検知部12と、視線検知部12が検知した乗員の視線の向きに基づき、乗員は脇見をしているか否かの仮判定を行う脇見仮判定部14と、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部15aと、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合であっても、視線正否判定部15が、視線検知部12が検知した乗員の視線の向きが不正であると判定した場合は、乗員は脇見をしていないと判定する脇見判定部16とを備えるように構成した。そのため、脇見判定装置1は、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
詳細には、実施の形態2に係る脇見判定装置1a,1bにおいて、視線正否判定部15aは、脇見仮判定部14が乗員は下方向の脇見をしていると仮判定した場合、画像取得部11が取得した撮像画像と、乗員の顔が撮像された撮像画像を入力とし撮像画像に基づいて検知される乗員の視線の向きは正当であるか否かを示す情報を出力する機械学習モデル(第1機械学習モデル)とに基づき、視線検知部12が検知した乗員の視線の向きが正当であるか否かの視線正否判定を行うように構成した。そのため、脇見判定装置1a,1bは、撮像画像に基づいて検知された乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
また、脇見判定装置1a,1bは、機械学習モデルを用いて視線正否判定を行うことで、高速にパラメータ同士の関係性を分析し、取得された撮像画像に合った柔軟な視線正否判定を行うことができる。
また、脇見判定装置1a,1bは、機械学習モデルを用いて視線正否判定を行うことで、高速にパラメータ同士の関係性を分析し、取得された撮像画像に合った柔軟な視線正否判定を行うことができる。
また、実施の形態2に係る脇見判定装置1a,1bは、画像取得部11が学習用データ生成期間に取得した学習用データ生成用の撮像画像に基づき検知された乗員の視線の向きに基づき、検知された乗員の視線の向きは正当であるか否かを判定し、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部101と、学習用データ生成部101が生成した学習用データを用いて機械学習モデル(第1機械学習モデル)を生成する学習部102とを備えるように構成できる。そのため、脇見判定装置1a,1bは、実際に車両が走行する際の状況に応じた機械学習モデルを用いて、実際に車両が走行する際の状況に応じた視線正否判定を行うことができる。その結果、脇見判定装置1a,1bは、視線正否判定の精度を向上させることができる。
また、実施の形態2に係る脇見判定装置1a,1bは、画像取得部11が学習用データ生成期間に取得した学習用データ生成用の撮像画像に基づき検知された乗員の視線の向きと学習用データ生成用の撮像画像に基づき判定された乗員の開眼度とに基づき、検知された乗員の視線の向きは正当であるか否かを判定し、撮像画像および乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部101と、学習用データ生成部101が生成した学習用データを用いて機械学習モデル(第1機械学習モデル)を生成する学習部102とを備えるように構成できる。そのため、脇見判定装置1a,1bは、実際に車両が走行する際の状況に応じた機械学習モデルを用いて、実際に車両が走行する際の状況に応じた視線正否判定を行うことができる。その結果、脇見判定装置1a,1bは、視線正否判定の精度を向上させることができる。
なお、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
本開示に係る脇見判定装置は、撮像画像に基づいて検知された車両の乗員の視線の向きが下向きであると不正に検知された視線の向きであった場合の、乗員による脇見の誤検知を防止することができる。
1,1a,1b 脇見判定装置、11 画像取得部、12 視線検知部、13 開眼度判定部、14 脇見仮判定部、15,15a 視線正否判定部、16 脇見判定部、17 警告部、18 モデル記憶部、100 学習装置、101 学習用データ生成部、102 学習部、2 撮像装置、3 出力装置、400,400a,400b 脇見判定システム、1001 処理回路、1002 入力インタフェース装置、1003 出力インタフェース装置、1004 プロセッサ、1005 メモリ。
Claims (10)
- 車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像に基づき、前記乗員の視線の向きを検知する視線検知部と、
前記視線検知部が検知した前記乗員の視線の向きに基づき、前記乗員は脇見をしているか否かの仮判定を行う脇見仮判定部と、
前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行う視線正否判定部と、
前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合であっても、前記視線正否判定部が、前記視線検知部が検知した前記乗員の視線の向きが不正であると判定した場合は、前記乗員は脇見をしていないと判定する脇見判定部
とを備えた脇見判定装置。 - 前記画像取得部が取得した前記撮像画像に基づき、前記乗員の開眼度を判定する開眼度判定部を備え、
前記視線正否判定部は、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記視線検知部が検知した前記乗員の視線の向きと前記開眼度判定部が判定した前記乗員の前記開眼度とに基づき、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行う
ことを特徴とする請求項1記載の脇見判定装置。 - 前記視線正否判定部は、現在から遡って前記画像取得部によって取得された正否判定用の前記撮像画像のうち、前記視線検知部が検知した前記乗員の視線の向きが視線判定用閾値以下であり、かつ、前記開眼度判定部が判定した前記乗員の前記開眼度が開眼度判定用閾値以上である前記撮像画像の割合が正否判定用閾値以上である場合、前記視線検知部が検知した前記乗員の視線の向きは不正であると判定する
ことを特徴とする請求項2記載の脇見判定装置。 - 前記視線正否判定部は、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記画像取得部が取得した前記撮像画像と、前記乗員の顔が撮像された前記撮像画像を入力とし前記撮像画像に基づいて検知される前記乗員の視線の向きは正当であるか否かを示す情報を出力する機械学習モデルとに基づき、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行う
ことを特徴とする請求項1記載の脇見判定装置。 - 前記画像取得部が学習用データ生成期間に取得した学習用データ生成用の前記撮像画像に基づき検知された前記乗員の視線の向きに基づき、検知された前記乗員の視線の向きは正当であるか否かを判定し、前記撮像画像および前記乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部と、
前記学習用データ生成部が生成した前記学習用データを用いて前記機械学習モデルを生成する学習部
とを備えた請求項4記載の脇見判定装置。 - 前記画像取得部が学習用データ生成期間に取得した学習用データ生成用の前記撮像画像に基づき検知された前記乗員の視線の向きと前記学習用データ生成用の前記撮像画像に基づき判定された前記乗員の開眼度とに基づき、検知された前記乗員の視線の向きは正当であるか否かを判定し、前記撮像画像および前記乗員の視線の向きは正当であるか否かを示す情報を含む学習用データを生成する学習用データ生成部と、
前記学習用データ生成部が生成した前記学習用データを用いて前記機械学習モデルを生成する学習部
とを備えた請求項4記載の脇見判定装置。 - 前記学習用データ生成部は、前記学習用データ生成用の前記撮像画像のうち、前記乗員の視線の向きが視線判定用閾値以下であり、かつ、前記乗員の前記開眼度が開眼度判定用閾値以上である前記撮像画像の割合が正否判定用閾値以上である場合、検知された前記乗員の視線の向きは不正であると判定する
ことを特徴とする請求項6記載の脇見判定装置。 - 前記脇見判定部が前記乗員は脇見をしていると判定した場合に、警告を行わせる警告情報を出力する警告部
を備えた請求項1から請求項7のうちのいずれか1項記載の脇見判定装置。 - 前記警告部は、前記脇見判定部が脇見をしていると判定した前記乗員の状態が警告対象時間継続した場合に、前記警告情報を出力する
ことを特徴とする請求項8記載の脇見判定装置。 - 画像取得部が、車両内の乗員の顔が撮像された撮像画像を取得するステップと、
視線検知部が、前記画像取得部が取得した前記撮像画像に基づき、前記乗員の視線の向きを検知するステップと、
脇見仮判定部が、前記視線検知部が検知した前記乗員の視線の向きに基づき、前記乗員は脇見をしているか否かの仮判定を行うステップと、
視線正否判定部が、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合、前記視線検知部が検知した前記乗員の視線の向きが正当であるか否かの視線正否判定を行うステップと、
脇見判定部が、前記脇見仮判定部が前記乗員は下方向の脇見をしていると仮判定した場合であっても、前記視線正否判定部が、前記視線検知部が検知した前記乗員の視線の向きが不正であると判定した場合は、前記乗員は脇見をしていないと判定するステップ
とを備えた脇見判定方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/024255 WO2023243069A1 (ja) | 2022-06-17 | 2022-06-17 | 脇見判定装置および脇見判定方法 |
JP2024527733A JPWO2023243069A1 (ja) | 2022-06-17 | 2022-06-17 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2022/024255 WO2023243069A1 (ja) | 2022-06-17 | 2022-06-17 | 脇見判定装置および脇見判定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023243069A1 true WO2023243069A1 (ja) | 2023-12-21 |
Family
ID=89192636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/024255 WO2023243069A1 (ja) | 2022-06-17 | 2022-06-17 | 脇見判定装置および脇見判定方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2023243069A1 (ja) |
WO (1) | WO2023243069A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008204107A (ja) * | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム |
WO2019117004A1 (ja) * | 2017-12-13 | 2019-06-20 | オムロン株式会社 | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体 |
JP2020024532A (ja) * | 2018-08-07 | 2020-02-13 | オムロン株式会社 | 脇見運転検出装置 |
JP2021051564A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社Jvcケンウッド | 視線データ補正装置、評価装置、視線データ補正方法、評価方法、視線データ補正プログラム、及び評価プログラム |
JP2021060937A (ja) * | 2019-10-09 | 2021-04-15 | トヨタ自動車株式会社 | 視線推定装置 |
JP2021105694A (ja) * | 2019-12-27 | 2021-07-26 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2021167164A (ja) * | 2020-04-13 | 2021-10-21 | マツダ株式会社 | ドライバ異常判定装置 |
-
2022
- 2022-06-17 WO PCT/JP2022/024255 patent/WO2023243069A1/ja active Application Filing
- 2022-06-17 JP JP2024527733A patent/JPWO2023243069A1/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008204107A (ja) * | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム |
WO2019117004A1 (ja) * | 2017-12-13 | 2019-06-20 | オムロン株式会社 | 安全確認評価装置、車載装置、これらを備えた安全確認評価システム、安全確認評価方法、安全確認評価プログラム、及び記憶媒体 |
JP2020024532A (ja) * | 2018-08-07 | 2020-02-13 | オムロン株式会社 | 脇見運転検出装置 |
JP2021051564A (ja) * | 2019-09-25 | 2021-04-01 | 株式会社Jvcケンウッド | 視線データ補正装置、評価装置、視線データ補正方法、評価方法、視線データ補正プログラム、及び評価プログラム |
JP2021060937A (ja) * | 2019-10-09 | 2021-04-15 | トヨタ自動車株式会社 | 視線推定装置 |
JP2021105694A (ja) * | 2019-12-27 | 2021-07-26 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2021167164A (ja) * | 2020-04-13 | 2021-10-21 | マツダ株式会社 | ドライバ異常判定装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023243069A1 (ja) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4926437B2 (ja) | 車両の運転支援装置 | |
EP1732028B1 (en) | System and method for detecting an eye | |
US7370970B2 (en) | Eyeglass detection method | |
WO2018150485A1 (ja) | 運転状態判定装置および運転状態判定方法 | |
US20170155867A1 (en) | Display device and vehicle | |
JP6470334B2 (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
US20060287779A1 (en) | Method of mitigating driver distraction | |
JP2018156172A (ja) | 車両の表示システム及び車両の表示システムの制御方法 | |
JP2006293909A (ja) | 運転者の視線方向検出装置 | |
JP6213435B2 (ja) | 注意過多状態判定装置及び注意過多状態判定プログラム | |
WO2023243069A1 (ja) | 脇見判定装置および脇見判定方法 | |
CN115246405A (zh) | 一种驾驶员分心行为的检测方法及*** | |
US11881054B2 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
JP2009125518A (ja) | ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置 | |
WO2023103708A1 (zh) | 分心区域的自动标定方法及装置、道路车辆、电子设备 | |
US11995898B2 (en) | Occupant monitoring device for vehicle | |
JP4715262B2 (ja) | 車両用視線方向検出装置及び方法 | |
CN111696312B (zh) | 乘员观察装置 | |
WO2022113275A1 (ja) | 睡眠検出装置及び睡眠検出システム | |
WO2024057356A1 (ja) | 開瞼度検出装置、開瞼度検出方法、および眠気判定システム | |
JP7374386B2 (ja) | 状態判定装置および状態判定方法 | |
WO2022269653A1 (ja) | 顔向き判定装置および顔向き判定方法 | |
WO2024047856A1 (ja) | 眠気推定装置および眠気推定方法 | |
WO2023157720A1 (ja) | 車両用顔登録制御装置及び車両用顔登録制御方法 | |
US11919454B2 (en) | Occupant monitoring device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22946885 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2024527733 Country of ref document: JP |