WO2020255238A1 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

情報処理装置、プログラム及び情報処理方法 Download PDF

Info

Publication number
WO2020255238A1
WO2020255238A1 PCT/JP2019/024021 JP2019024021W WO2020255238A1 WO 2020255238 A1 WO2020255238 A1 WO 2020255238A1 JP 2019024021 W JP2019024021 W JP 2019024021W WO 2020255238 A1 WO2020255238 A1 WO 2020255238A1
Authority
WO
WIPO (PCT)
Prior art keywords
level
head
driver
unit
evaluation
Prior art date
Application number
PCT/JP2019/024021
Other languages
English (en)
French (fr)
Inventor
拓也 村上
雄大 中村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112019007484.9T priority Critical patent/DE112019007484T5/de
Priority to PCT/JP2019/024021 priority patent/WO2020255238A1/ja
Priority to JP2019557640A priority patent/JP6689470B1/ja
Publication of WO2020255238A1 publication Critical patent/WO2020255238A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Definitions

  • the present invention relates to an information processing device, a program, and an information processing method.
  • driver monitoring system has been put into practical use.
  • Driver monitoring systems are becoming more widespread not only in commercial vehicles such as trucks and buses, but also in general vehicles.
  • the main functions installed in the driver monitoring system are the detection functions for drowsy driving and sideways driving as safe driving support functions. Further, in the automatic driving Lv (Level) 3, since the authority is transferred from the automatic driving system to a human being, these functions are required as a technique for determining whether or not the driver is in a driving state.
  • the driver's face is photographed by a camera installed in the car, and the driver's condition is estimated from the facial expression and the like.
  • a technique for estimating drowsiness a technique for detecting the degree of eye opening is often used as described in Patent Document 1.
  • an object of the present invention is to enable the driver's alertness level to be detected even when the driver's eyes are hidden.
  • the information processing device includes a posture holding function evaluation unit that evaluates the state of the posture holding function, which is a function of the driver holding the posture, from an image including the driver's head, and the posture holding function evaluation unit. It is characterized by comprising an arousal degree estimation unit for estimating the arousal degree level of the driver by using the evaluation.
  • the program according to one aspect of the present invention includes a posture holding function evaluation unit that evaluates the state of the posture holding function, which is a function of the driver holding the posture, from an image including the driver's head, and a computer. It is characterized in that it functions as an arousal degree estimation unit that estimates the arousal degree level of the driver by using the evaluation.
  • the posture holding function evaluation unit evaluates the state of the posture holding function, which is a function of the driver holding the posture, from an image including the driver's head.
  • the arousal degree estimation unit is characterized in that the arousal degree estimation unit estimates the level of the arousal degree of the driver by using the evaluation.
  • the level of alertness of the driver can be detected even when the driver's eyes are hidden.
  • FIG. It is a block diagram which shows schematic structure of the information processing apparatus which concerns on Embodiment 1.
  • FIG. It is the schematic for demonstrating the coordinate system in Embodiment 1.
  • FIG. It is the schematic which shows the arrangement example in the vehicle of the information processing apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the hardware configuration example of the information processing apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the information processing apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows schematic structure of the information processing apparatus which concerns on Embodiment 2.
  • FIG. It is the schematic which shows the arrangement example in the vehicle of the information processing apparatus which concerns on Embodiment 2.
  • FIG. It is a flowchart which shows the operation of the information processing apparatus which concerns on Embodiment 2.
  • FIG. 1 is a block diagram schematically showing the configuration of the information processing device 100, which is the alertness estimation device according to the first embodiment. As shown in FIG. 1, the information processing device 100 is connected to the image pickup device 130 and the alertness decrease notification device 140.
  • the information processing device 100 receives the input of image data indicating the image captured by the image pickup device 130, estimates the level of the driver's arousal level, and says that the driver's arousal level is lowered by the estimated level. If it is determined, the arousal reduction notification device 140 is notified.
  • the image pickup device 130 may use, for example, a CCD (Charge Coupled Device) or the like, and the alertness decrease notification device 140 may use a display, a speaker, or the like.
  • CCD Charge Coupled Device
  • the information processing device 100 includes an input interface unit (hereinafter referred to as an input I / F unit) 101, a posture holding function evaluation unit 102, an alertness estimation unit 106, and an output interface unit (hereinafter referred to as an output I / F unit). It is provided with 107.
  • the posture holding function evaluation unit 102 includes a head coordinate detection unit 103, a head inclination angle detection unit 104, and an evaluation unit 105.
  • the input I / F unit 101 is an input unit that receives input of image data from the image pickup apparatus 130.
  • the input I / F unit 101 gives the input image data to the head coordinate detection unit 103 and the head inclination angle detection unit 104.
  • the image shown by the image data one driver may be shown or another occupant may be shown. Further, if the head coordinates can be detected and the head inclination angle can be detected, the image may be an RGB (Red Green Blue) image, an IR (infrared) image, or a distance image.
  • RGB Red Green Blue
  • IR infrared
  • the posture holding function evaluation unit 102 evaluates the state of the posture holding function, which is a function for the driver to hold the posture, from the image shown by the image data.
  • the head coordinate detection unit 103 detects the head coordinates, which are the coordinates of the driver's head, from the image indicated by the image data given from the input I / F unit 101.
  • the head coordinate detection unit 103 gives the detected head coordinates to the evaluation unit 105.
  • the head coordinate detection unit 103 detects the driver's face from the image indicated by the image data given from the input I / F unit 101.
  • the face detection method which is a method of detecting the driver's face, is not particularly limited.
  • the head coordinate detection unit 103 may detect the driver's face by using an AdaBoost-based detector using a commonly used Har-like feature amount.
  • the "Haar-like feature amount” is a feature amount that captures the feature by the difference in brightness of the image, and is less susceptible to fluctuations in lighting conditions or noise than when the pixel value is used as the feature amount as it is.
  • AdaBoost is an abbreviation for Adaptive Boosting, and is a machine learning algorithm that improves performance by using a plurality of weak classifiers in combination.
  • the head coordinate detection unit 103 detects the head coordinates, which are the coordinates of the driver's head, from the face detection frame, which is an area including the detected face.
  • the method of calculating the head coordinates may be the center of the face detection frame, or a representative point of the head may be set from the feature points of the face, and the representative point may be used as the head coordinates.
  • the midpoint between the left and right eyes may be used as the representative point.
  • the representative point may be estimated by setting it as the midpoint of the outer corner of the eye.
  • the "face detection frame” is a frame indicating the area where the face exists in the image, and includes the feature points of the face. In many cases, the shape of the frame is square. "Face feature points” are coordinates that constitute faciality, and refer to coordinates such as contour, nostrils, outer corners of eyes, inner corners of eyes, corners of mouth, lips, and eyebrows.
  • the head coordinate detection unit 103 provides the head tilt angle detection unit 104 with face area information indicating the detected face detection frame.
  • the head inclination angle detection unit 104 detects the head inclination angle, which is the inclination angle of the driver's head, from the image indicated by the image data given from the input I / F unit 101.
  • the head tilt angle detection unit 104 gives the detected head tilt angle to the evaluation unit 105.
  • the head tilt angle detection unit 104 is an image in the face detection frame indicated by the face area information given by the head coordinate detection unit 103 among the images indicated by the image data given by the input I / F unit 101.
  • the tilt angle of the driver's head is detected from the face area image.
  • the head inclination angle detection unit 104 creates a detector from images taken every 10 degrees of the inclination angle of the head, and creates a detector as a face area image.
  • the detector may be used to detect the head inclination angle.
  • the head tilt angle detection unit 104 may specify a plurality of feature points from the face region image and detect the head tilt angle from the distance between the feature points.
  • the head tilt angle detection unit 104 may specify two feature points in the vertical direction of the face region image and detect the head tilt angle by the distance between the two feature points. For example, as the head tilt angle increases, the distance between the two feature points decreases. In this case, if image data captured by a stereo camera or a TOF (Time of Flight) camera or the like for which a distance is required is used, the distance can be obtained accurately and easily.
  • TOF Time of Flight
  • the evaluation unit 105 determines the variation of the head coordinates detected by the head coordinate detection unit 103 in a predetermined period and the head inclination angle detected by the head inclination angle detection unit 104 in the predetermined period.
  • the state of the driver's posture holding function is evaluated using the variation.
  • the evaluation unit 105 disperses the head coordinates detected by the head coordinate detection unit 103 in a predetermined period, and the head detected by the head inclination angle detection unit 104 in a predetermined period.
  • the state of the driver's posture holding function is evaluated using the dispersion of the inclination angle.
  • the evaluation unit 105 calculates the variance of the head coordinates in a predetermined period. Specifically, the evaluation unit 105 calculates the variance of the head coordinates for the last 20 seconds. In this case, assuming that the image pickup apparatus 130 inputs image data at 30 fps (frame per second), the evaluation unit 105 records 600 frames of the head coordinates in the gravity direction of the earth and calculates the variance of the coordinates. .. As shown in FIG. 2, the direction of gravity of the earth is taken as the Y axis here. The frame rate of the image pickup apparatus 130 and the time for calculating the variance are not limited to this example. Further, in the example shown in FIG. 2, the direction around the X-axis is the Pitch direction, the direction around the Y-axis is the Yaw direction, and the direction around the Z-axis is the Roll direction.
  • the evaluation unit 105 calculated the variance of the coordinates in the direction of gravity of the earth, but similarly, the variance of the coordinates in the horizontal direction with respect to the ground may be calculated.
  • the horizontal direction with respect to the ground is defined as the X axis here.
  • the evaluation unit 105 calculates the variance of the head inclination angle in a predetermined period. Specifically, the evaluation unit 105 calculates the variance of the head inclination angle for the last 20 seconds. In this case, assuming that the image pickup apparatus 130 inputs image data at 30 fps, the evaluation unit 105 records the angle in the Pitch direction, which is the inclination angle of the earth in the gravity direction for 600 frames, and calculates the variance thereof.
  • the evaluation unit 105 records the angle in the Pitch direction and calculates the variance, but as described above, the evaluation unit 105 may record the angle in the Yaw direction or the Roll direction and calculate the variance.
  • the evaluation unit 105 calculates an evaluation value indicating the state of the posture holding function from the dispersion of the head coordinates and the dispersion of the head inclination angle. For example, the evaluation unit 105 divides the variance of the head coordinates in the predetermined period by the variance of the head inclination angle in the predetermined period, or the value of the head inclination angle in the predetermined period. The value obtained by dividing the variance by the variance of the head coordinates in a predetermined period is calculated as the evaluation value.
  • the evaluation unit 105 calculates the evaluation value by the following equation (1).
  • Evaluation value (dispersion of Pitch angle) ⁇ (variance of Y coordinate) (1)
  • the evaluation unit 105 may calculate the evaluation value by the following equation (2) or (3).
  • Evaluation value (variance of X coordinates) ⁇ (variance of Yaw angle) (2)
  • Evaluation value (variance of Roll angle) ⁇ (variance of X coordinates) (3)
  • the evaluation unit 105 gives the evaluation value calculated as described above to the alertness estimation unit 106.
  • equation (1) when the evaluation value becomes large, the position of the head does not change and the head swings in the vertical direction, so that the driver's alertness decreases and the posture holding function is performed. It can be judged that it is not exhibited.
  • equation (2) when the evaluation value becomes large, it is judged that the driver's arousal level is lowered and the posture holding function is not exhibited because the head is swinging from side to side without rotating. Can be done.
  • equation (3) when the evaluation value becomes large, the position of the head does not change and the head swings left and right, so the driver's alertness decreases and the posture holding function is exhibited. It can be judged that there is no state.
  • the arousal level estimation unit 106 estimates the driver's arousal level using the evaluation performed by the posture holding function evaluation unit 102. For example, the alertness estimation unit 106 estimates the driver's alertness level based on the evaluation value given by the evaluation unit 105.
  • the level of alertness may be divided into 6 levels that can be estimated from facial expressions or body movements, as in the known evaluation method defined by NEDO (New Energy and Industrial Technology Development), for example. It may be divided into degree levels.
  • the arousal level estimation unit 106 sets a threshold value of the evaluation value for each level and estimates the arousal level. In other words, it is assumed that the corresponding level is specified in advance in the evaluation value. Then, when the estimated arousal level is lower than the predetermined threshold value, the arousal estimation unit 106 gives a notification instruction from the output I / F unit 107 to the arousal decrease notification device 140.
  • the output I / F unit 107 is an output unit for outputting an instruction or the like to the alertness decrease notification device 140.
  • the arousal level reduction notification device 140 notifies the driver and the passenger of the decrease in arousal level in response to the notification instruction from the arousal level estimation unit 106.
  • the alertness decrease notification device 140 notifies the driver or the like of the decrease in alertness by using the speaker and the display, and indicates that a break is urged or the driving is in a non-transferable state.
  • FIG. 3 is a schematic view showing an example of arrangement of the information processing device 100 according to the first embodiment in the vehicle 150.
  • an in-vehicle camera 151 that functions as an image pickup device 130, an information processing device 100, a storage device 152, a speaker 153 that functions as an alertness decrease notification device 140, and a display 154 are arranged.
  • the in-vehicle camera 151 captures an image of the upper body including the driver's head to be detected.
  • the in-vehicle camera 151 is connected to the information processing device 100.
  • the in-vehicle camera 151 shown in FIG. 3 may be connected via wiring such as a wire harness, or may be connected wirelessly.
  • the in-vehicle camera 151 may be a general RGB camera or an IR camera. Further, the in-vehicle camera 151 may be a Depth sensor.
  • An "RGB camera” is a camera that communicates signals of three colors of red, green, and blue using three different cables and the like, and generally uses three independent CCD sensors.
  • An "IR camera” is an infrared camera, which is sensitive to wavelengths in the infrared region.
  • the "Dept sensor” is also referred to as a 3D (three dimensions) sensor, a distance measuring sensor, or a Dept camera, and is a sensor capable of generating a depth image in addition to a two-dimensional image.
  • the distance measuring method includes a stereo camera method, a pattern irradiation method, a TOF method, and the like, but any type of sensor may be used.
  • FIG. 4 is a block diagram showing a hardware configuration example of the information processing apparatus 100 according to the first embodiment.
  • the information processing device 100 includes a CPU 160, a program memory 161 and a data memory 162, an interface 163, and a bus 164 connecting them.
  • An in-vehicle camera 151, a speaker 153, and a display 154 are connected to the interface 163.
  • the head coordinate detection unit 103, the head inclination angle detection unit 104, the evaluation unit 105, and the arousal degree estimation unit 106 can be configured by the CPU 160 executing a program stored in the program memory 161. ..
  • the input I / F unit 101 and the output I / F unit 107 can be configured by the interface 163.
  • the information processing apparatus 100 can be realized by a computer that stores a specific program.
  • CPU Central Processing Unit
  • the CPU 160 operates according to the program stored in the program memory 161.
  • the CPU 160 stores various data in the data memory 162 in the process of operation.
  • the speaker 153 and the display 154 are controlled via the interface 163.
  • the operation performed by the information processing apparatus 100 will be described with reference to FIG.
  • FIG. 5 is a flowchart showing the operation of the information processing apparatus 100 according to the first embodiment.
  • the flowchart shown in FIG. 5 includes an image data acquisition step (S10), a face detection step (S11), a head coordinate detection step (S12), a head coordinate distribution calculation step (S13), and a head. It has an inclination angle detection step (S14), a head inclination angle dispersion calculation step (S15), an evaluation value calculation step (S16), an arousal degree estimation step (S17), and an arousal degree decrease notification step (S18). ..
  • the input I / F unit 101 acquires image data of an image of the upper body including the driver's head.
  • the head coordinate detection unit 103 detects the driver's face from the image indicated by the acquired image data.
  • the head coordinate detection unit 103 provides the head inclination angle detection unit 104 with face area information indicating a face detection frame, which is a region including the detected face.
  • the head coordinate detection unit 103 detects the head coordinates from the face detection frame, which is an area including the face detected in the face detection step S11.
  • the evaluation unit 105 calculates the variance of the head coordinates.
  • the head tilt angle detection unit 104 detects the head tilt angle from the face detection frame which is a region including the face detected in the face detection step S11.
  • the evaluation unit 105 calculates the variance of the head tilt angle detected in the head tilt angle detection step S14.
  • the evaluation unit 105 calculates an evaluation value indicating the state of the posture holding function from the dispersion of the head coordinates and the dispersion of the head inclination angle.
  • the arousal level estimation unit 106 estimates the arousal level from the evaluation value calculated in the evaluation value calculation step S16.
  • the arousal level estimation unit 106 uses the output I / F unit 107 via the output I / F unit 107 when the level of the arousal level estimated in the arousal level estimation step S17 falls below a predetermined threshold value.
  • the arousal level decrease notification device 140 is instructed to notify the driver and the like of the decrease in arousal level. Whether the arousal level reduction notification device 140 that receives such an instruction notifies the driver, the passenger, or the like of the decrease in arousal level by using at least one of the speaker 153 and the display 154 and prompts a break. Indicates that the operation cannot be transferred.
  • the level of the driver's alertness can be estimated from the state of the posture holding function.
  • the driver, passengers, and the like can be notified according to the estimation result.
  • the level of arousal level is estimated by evaluating the state of the posture holding function of the head from the coordinates of the head and the inclination angle of the head, awakening is performed even when the eyes are hidden.
  • the level of degree can be estimated.
  • a sensor other than a camera is not required to estimate the arousal level, cost reduction and miniaturization are possible.
  • the inclination angle of the head is used for estimation, it is possible to distinguish whether the movement of the head is due to the turning of the face or the vibration of the vehicle. As a result, it is possible to prevent erroneous detection due to the movement of the head caused by turning around at the time of safety confirmation.
  • FIG. 6 is a block diagram schematically showing the configuration of the information processing device 200, which is the alertness estimation device according to the second embodiment. As shown in FIG. 6, the information processing device 200 is connected to the image pickup device 130 and the alertness decrease notification device 140.
  • the image pickup device 130 and the alertness decrease notification device 140 in the second embodiment are the same as the image pickup device 130 and the alertness decrease notification device 140 in the first embodiment.
  • CAN Controller Area Network
  • CAN is an abbreviation for Controller Area Network, and is a network corresponding to a standard for connecting electronic circuits and various devices developed as a communication technology between in-vehicle devices.
  • the information processing device 200 includes an input I / F unit 201, a posture holding function evaluation unit 102, an alertness estimation unit 206, an output I / F unit 107, a PERCLOS calculation unit 208, and a yawn detection unit 209. .
  • the posture holding function evaluation unit 102 includes a head coordinate detection unit 103, a head inclination angle detection unit 104, and an evaluation unit 105.
  • the posture holding function evaluation unit 102 and the output I / F unit 107 in the second embodiment are the same as the posture holding function evaluation unit 102 and the output I / F unit 107 in the first embodiment.
  • the head coordinate detection unit 103 of the posture holding function evaluation unit 102 transmits the face area information indicating the detected face detection frame to the head inclination angle detection unit 104, as well as the PERCLOS calculation unit 208 and the yawn detection unit 209. give.
  • the input I / F unit 201 receives the input of image data from the image pickup apparatus 130.
  • the input I / F unit 201 gives the input image data to the head coordinate detection unit 103, the head inclination angle detection unit 104, the PERCLOS calculation unit 208, and the yawn detection unit 209. Further, the input I / F unit 201 receives input from the CAN 270 of vehicle information indicating the state of the vehicle driven by the driver, such as the steering angle of the steering wheel, the position of the gear, or the vehicle speed.
  • the input I / F unit 201 gives the input vehicle information to the alertness estimation unit 206.
  • the PERCLOS calculation unit 208 detects the degree of eye opening, which is the rate at which the driver's eyes are open, from the image indicated by the image data given from the input I / F unit 201, and according to the degree of eye opening, the driver at a fixed time. Is an eye closure ratio calculation unit that calculates the eye closure ratio, which is the ratio of the time that the eye is closed.
  • the PERCLOS calculation unit 208 calculates the PERCLOS of the driver.
  • PERCLOS is an abbreviation for percentage of eye closure, which is the ratio of eye closure time within a certain period of time. PERCLOS is known to have a high correlation with the subjective drowsiness of the subject (here, the driver), and can be used as a drowsiness index.
  • the PERCLOS calculation unit 208 has a face area image corresponding to the face detection frame indicated by the face area information given by the head coordinate detection unit 103 among the images indicated by the image data given by the input I / F unit 201.
  • the degree of eye opening is calculated from the distance between the upper and lower eyelids. Specifically, the PERCLOS calculation unit 208 obtains the midpoint between the outer and inner corners of the eyes on the arc of the upper and lower eyelids, and determines the ratio of the distance between the upper and lower eyelids to the distance between the upper and lower eyelids at the time of maximum eye opening. The degree of eye opening.
  • the distance between the upper and lower eyelids with respect to the distance between the upper and lower eyelids at the time of maximum eye opening shall be predetermined. Therefore, the definition of the degree of eye opening is calculated for each frame, with the degree of eye opening when the eyes are closed as 0% and the degree of eye opening when awake as 100%.
  • the PERCLOS calculation unit 208 calculates PERCLOS from the calculated eye opening degree.
  • the PERCLOS calculation unit 208 determines whether the eyes are open or closed at a predetermined threshold value for each frame with respect to the calculated degree of eye opening, and when it is determined that the eyes are closed, the calculation is performed as an eye closing frame. For example, when the PERCLOS calculation unit 208 is provided with a buffer for 1 minute and calculates PERCLOS from an image taken by an image pickup device 130 at 10 fps, the number of eye-closure frames accumulated in 1 minute is divided by 6000 frames. , PERCLOS can be calculated.
  • the yawn detection unit 209 detects the opening degree, which is the ratio at which the driver's mouth is open, from the image indicated by the image data given from the input I / F unit 201, and the driver yawns according to the opening degree. Detects whether or not it is done.
  • the lips detection unit 209 is a face area image corresponding to the face detection frame indicated by the face area information given by the head coordinate detection unit 103 among the images indicated by the image data given by the input I / F unit 201.
  • the degree of opening of the mouth is detected from the feature points of the face from the distance between the upper and lower lips.
  • the accretion detection unit 209 obtains the midpoint between the left and right mouth corners on the arc of the upper lip and the lower lip, respectively, and sets the distance between the upper and lower midpoints as the opening degree with respect to the distance between the upper and lower midpoints at the time of maximum opening. calculate.
  • the yawn detection unit 209 detects the driver's yawn based on the calculated opening degree.
  • the characteristics of yawning are that the mouth opens continuously for a certain period of time, the nose hole widens, tears come out, or inhalation is performed before yawning occurs, but here the mouth opens continuously for a certain period of time. The case where the feature is used will be described.
  • the yawn detection unit 209 determines that the corresponding frame is a yawn frame when the calculated opening degree becomes equal to or higher than a predetermined threshold value. Then, the yawn detection unit 209 determines that the yawn is yawn when the yawn frame continues for a predetermined time, which is a threshold value or longer. Further, since yawning does not occur continuously in a short time, the yawning detection unit 209 does not detect yawning for a certain period of time after detecting yawning once. This makes it possible to prevent erroneous detection.
  • the arousal level estimation unit 206 has vehicle information given by the input I / F unit 201, an evaluation value given by the evaluation unit 105, PERCLOS given by the PERCLOS calculation unit 208, and the presence or absence of yawning given by the yawn detection unit 209. From, the level of alertness of the driver is estimated.
  • the arousal level estimation unit 206 refers to the vehicle state indicated by the vehicle state information, and estimates the driver's arousal level when the vehicle state does not correspond to a predetermined condition.
  • the predetermined conditions are when back or parking is selected as the gear, when the vehicle speed is below the predetermined threshold value, or when the steering angle is above the predetermined threshold value. Is. When none of these conditions are met, the arousal level estimation unit 206 estimates the level of arousal level.
  • the alertness estimation unit 206 advances straight forward toward the front when the vehicle state indicated by the vehicle state information is equal to or higher than the predetermined vehicle speed. If so, estimate the level of alertness of the driver.
  • the arousal level estimation unit 206 determines that the driver's arousal level is estimated, the vehicle information given by the input I / F unit 201, the evaluation value given by the evaluation unit 105, and the PERCLOS calculation unit The level of arousal of the driver is estimated from the PERCLOS given by 208 and the presence or absence of yawn given by the yawn detection unit 209.
  • the arousal level estimation unit 206 includes vehicle information given by the input I / F unit 201, an evaluation value given by the evaluation unit 105, PERCLOS given by the PERCLOS calculation unit 208, and yawns given by the yawn detection unit 209. The level of alertness corresponding to each is estimated from each of the presence or absence. Then, the arousal level estimation unit 206 adopts the lowest arousal level at the same timing as the arousal level at that timing.
  • the level of arousal level may be associated in advance according to the magnitude of the change in steering angle with time. Further, for PERCLOS, the level of arousal level may be associated with each value in advance, and the level of arousal level may be associated with each value in advance for the presence or absence of yawning.
  • the level of alertness corresponding to the evaluation value is the first level
  • the level of alertness corresponding to the state of the vehicle indicated by the vehicle information is the second level
  • the level of alertness corresponding to PERCLOS is the third level.
  • the alertness estimation unit 206 has a first level, a second level, a third level, and a third level. Identify the final level of alertness from level 4. However, if the third level cannot be obtained due to reasons such as wearing sunglasses, the final level of alertness is specified from the first level, the second level, and the third level. .. Here, among these levels, the one with the lowest arousal level is specified as the final arousal level.
  • the evaluation method of NEDO may be used as in the first embodiment, but any level of arousal level may be used. It is desirable to calculate the level of alertness together with the reliability for each index.
  • the reliability is an index indicating whether the output value is a plausible value. The value output when the reliability is high is a plausible value, and the value output when the reliability is low is adjusted so that it is often incorrect.
  • the lowest level may be adopted from among the indicators whose reliability exceeds a predetermined threshold value. As a result, even a driver who has no characteristic of opening and closing eyes can correctly determine the level of arousal level by yawning or variation in steering angle.
  • a method of estimating the level of arousal of the driver from the degree of opening of the eyelids is effective, and that when the level of arousal of the driver decreases, PERCLOS increases.
  • a method of detecting an open / closed eye by using an image pickup device 130 that is sensitive to infrared rays is common, but the state of the eyes cannot be detected when wearing sunglasses having low infrared transmittance.
  • the level of arousal level by PERCLOS is not estimated when wearing sunglasses, but the level estimated by another method can be applied.
  • FIG. 7 is a schematic view showing an example of arrangement of the information processing device 200 according to the second embodiment on the vehicle 150.
  • an in-vehicle camera 151 that functions as an image pickup device 130
  • an information processing device 200 a storage device 152
  • a speaker 153 and a display 154 that function as an arousal decrease notification device 140
  • a vehicle speed sensor 255 a gearbox 256 and a steering wheel 257 are arranged.
  • the vehicle-mounted camera 151, the storage device 152, the speaker 153, and the display 154 in the second embodiment are the same as the vehicle-mounted camera 151, the storage device 152, the speaker 153, and the display 154 in the first embodiment.
  • the information that can be acquired from the vehicle speed sensor 255, the gearbox 256, and the steering wheel 257 is sent to the information processing device 200 as vehicle information via the CAN 270.
  • the information processing apparatus 200 also includes a CPU 160, a program memory 161 and a data memory 162, an interface 163, and a bus 164 connecting them.
  • An in-vehicle camera 151, a speaker 153, and a display 154 are connected to the interface 163.
  • the interface 163 is also connected to the CAN 270.
  • FIG. 8 is a flowchart showing the operation of the information processing apparatus 200 according to the second embodiment.
  • the flowchart shown in FIG. 8 includes an image data acquisition step (S20), a face detection step (S21), a head coordinate detection step (S22), a head coordinate distribution calculation step (S23), and a head.
  • It has (S29), an evaluation value calculation step (S30), an arousal degree estimation step (S31), and an arousal degree decrease notification step (S32).
  • the input I / F unit 201 acquires image data of an image of the upper body including the driver's head.
  • the image shown by the image data is an RGB image, an IR image, or an IR image, if it is possible to calculate the head coordinates, the head tilt angle, the PERCLOS, and the yawn detection to be performed in the subsequent processing. It may be any image such as a distance image.
  • the head coordinate detection unit 103 detects the driver's face from the image indicated by the acquired image data.
  • the head coordinate detection unit 103 provides face area information indicating a detection frame, which is a region including the detected face, to the head inclination angle detection unit 104, the PERCLOS calculation unit 208, and the yawn detection unit 209.
  • the head coordinate detection unit 103 detects the head coordinates from the face detection frame, which is an area including the face detected in the face detection step S21.
  • the evaluation unit 105 calculates the variance of the head coordinates.
  • the head tilt angle detection unit 104 detects the head tilt angle from the face detection frame which is a region including the face detected in the face detection step S21.
  • the evaluation unit 105 calculates the variance of the head tilt angle detected in the head tilt angle detection step S24.
  • the PERCLOS calculation unit 208 uses the driver's facial feature points from the face detection frame, which is an area including the face detected in the face detection step S21, to determine the degree of eye opening. Is detected. In the PERCLOS calculation step S27, the PERCLOS calculation unit 208 calculates PERCLOS from the eye opening degree detected in the eye opening degree detection step S26.
  • the yawn detection unit 209 uses the feature points of the driver's face from the face detection frame, which is an area including the face detected in the face detection step S21, to open the mouth. Detect the degree.
  • the yawn detection unit 209 detects the presence or absence of yawn by using the opening degree detected in the opening degree detection step S28.
  • the evaluation unit 105 calculates an evaluation value indicating the state of the posture holding function from the dispersion of the head coordinates and the dispersion of the head inclination angle.
  • the awakening level estimation unit 206 refers to the vehicle state indicated by the vehicle state information and estimates the driver's arousal level when the vehicle state does not correspond to a predetermined condition. ..
  • the alertness estimation unit 206 includes vehicle information given by the input I / F unit 201, an evaluation value given by the evaluation unit 105, PERCLOS given by the PERCLOS calculation unit 208, and yawn given by the yawn detection unit 209. The level of alertness of the driver is estimated from the presence or absence of.
  • the arousal level estimation unit 206 uses the output I / F unit 107 via the output I / F unit 107 when the level of the arousal level estimated in the arousal level estimation step S31 falls below a predetermined threshold value.
  • the arousal level decrease notification device 140 is instructed to notify the driver and the like of the decrease in arousal level. Whether the arousal level reduction notification device 140 that receives such an instruction notifies the driver, the passenger, or the like of the decrease in arousal level by using at least one of the speaker 153 and the display 154 and prompts a break. Indicates that the operation cannot be transferred.
  • the evaluation can be performed by an index suitable for evaluating the level of the driver's arousal level. Further, by controlling the speaker 153 and the display 154 according to the evaluation result, the driver and the passenger can be notified of the arousal level.
  • 100,200 information processing device 101,201 input I / F unit, 103 head coordinate detection unit, 104 head tilt angle detection unit, 105 evaluation unit, 106,206 arousal degree estimation unit, 107 output I / F unit, 208 PERCLOS calculation unit, 209 accretion detection unit, 130 imaging device, 140 arousal reduction notification device, 150 vehicle, 151 in-vehicle camera, 152 storage device, 153 speaker, 154 display, 160 CPU, 161 program memory, 162 data memory, 163 Interface, 164 bus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

運転手の頭部を含む画像から、運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う姿勢保持機能評価部（１０２）と、評価を用いて、運転手の覚醒度のレベルを推定する覚醒度推定部（１０６）とを備える。

Description

情報処理装置、プログラム及び情報処理方法
　本発明は、情報処理装置、プログラム及び情報処理方法に関する。
　ドライバーモニタリングシステムが実用化されている。ドライバーモニタリングシステムは、トラック又はバス等の業務用車両に限らず、一般車への普及も進んでいる。
　ドライバーモニタリングシステムに搭載されている機能として主たるものは、安全運転支援機能として、居眠り運転及びわき見運転の検出機能である。また、自動運転Ｌｖ（Ｌｅｖｅｌ）３においては、自動運転システムから人間への権限移譲が行われるため、これらの機能は、ドライバーが運転可能な状態にあるかを判断する技術として求められている。
　従来の技術は、車内に取り付けられたカメラによって、ドライバーの顔を撮影し、その表情等から、ドライバーの状態の推定を行っている。例えば、眠気を推定する技術としては、特許文献１に記載されているように、眼の開き度合いを検出する技術がよく用いられている。
特開昭６１－１７５１２９号公報
　従来の眠気を検出する技術は、走行中において運転手の眠気を常時検出することは困難である。例えば、従来の技術では、赤外線カメラを用いていることが多いが、赤外線を遮光するサングラスを運転手が着用している場合、眼の様子が見えないため、瞼の開き度合いを検出することができない。
　そこで、本発明は、運転手の眼が隠れている場合でも、運転手の覚醒度のレベルを検出できるようにすることを目的とする。
　本発明の一態様に係る情報処理装置は、運転手の頭部を含む画像から、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う姿勢保持機能評価部と、前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部と、を備えることを特徴とする。
　本発明の一態様に係るプログラムは、コンピュータを、運転手の頭部を含む画像から、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う姿勢保持機能評価部、及び、前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部、として機能させることを特徴とする。
　本発明の一態様に係る情報処理方法は、姿勢保持機能評価部が、運転手の頭部を含む画像から、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行い、覚醒度推定部が、前記評価を用いて、前記運転手の覚醒度のレベルを推定することを特徴とする。
　本発明の一又は複数の態様によれば、運転手の眼が隠れている場合でも、運転手の覚醒度のレベルを検出することができる。
実施の形態１に係る情報処理装置の構成を概略的に示すブロック図である。 実施の形態１における座標系を説明するための概略図である。 実施の形態１に係る情報処理装置の車両への配置例を示す概略図である。 実施の形態１に係る情報処理装置のハードウェア構成例を示すブロック図である。 実施の形態１に係る情報処理装置の動作を示すフローチャートである。 実施の形態２に係る情報処理装置の構成を概略的に示すブロック図である。 実施の形態２に係る情報処理装置の車両への配置例を示す概略図である。 実施の形態２に係る情報処理装置の動作を示すフローチャートである。
実施の形態１．
　図１は、実施の形態１に係る覚醒度推定装置である情報処理装置１００の構成を概略的に示すブロック図である。
　図１に示されているように情報処理装置１００は、撮像装置１３０と、覚醒度低下通知装置１４０とに接続されている。
　情報処理装置１００は、撮像装置１３０で撮像された画像を示す画像データの入力を受けて、運転手の覚醒度のレベルを推定して、推定されたレベルにより運転手の覚醒度が低下したと判断した場合には、覚醒度低下通知装置１４０に通知を行わせる。
　撮像装置１３０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等を利用すればよく、覚醒度低下通知装置１４０は、ディスプレイ又はスピーカ等を利用すればよい。
　情報処理装置１００は、入力インターフェース部（以下、入力Ｉ／Ｆ部という）１０１と、姿勢保持機能評価部１０２と、覚醒度推定部１０６と、出力インターフェース部（以下、出力Ｉ／Ｆ部という）１０７とを備える。
　姿勢保持機能評価部１０２は、頭部座標検出部１０３と、頭部傾斜角検出部１０４と、評価部１０５とを備える。
　入力Ｉ／Ｆ部１０１は、撮像装置１３０から画像データの入力を受ける入力部である。入力Ｉ／Ｆ部１０１は、入力された画像データを頭部座標検出部１０３及び頭部傾斜角検出部１０４に与える。
　ここで、画像データで示される画像には、一名の運転手が映っていてもよいし、他の乗員が映っていてもよい。また、頭部座標の検出と、頭部傾斜角の検出とが可能であれば、画像は、ＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）画像でも、ＩＲ（ｉｎｆｒａｒｅｄ）画像でも、距離画像でもよい。
　姿勢保持機能評価部１０２は、画像データで示される画像から、運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う。
　頭部座標検出部１０３は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像から、運転手の頭部の座標である頭部座標を検出する。頭部座標検出部１０３は、検出された頭部座標を評価部１０５に与える。
　例えば、頭部座標検出部１０３は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像から、運転手の顔を検出する。
　運転手の顔を検出する方法である顔検出方法は、特に問わない。
　具体的には、頭部座標検出部１０３は、一般的に利用されているＨａａｒ－ｌｉｋｅ特徴量を使ったＡｄａＢｏｏｓｔベースの検出器を用いて、運転手の顔を検出してもよい。
　なお、「Ｈａａｒ－ｌｉｋｅ特徴量」は、画像の明暗差により特徴を捉える特徴量であり、画素値をそのまま特徴量として用いる場合と比べて、照明条件の変動又はノイズの影響を受けにくい。また、「ＡｄａＢｏｏｓｔ」は、Ａｄａｐｔｉｖｅ　Ｂｏｏｓｔｉｎｇ　の略で、弱い分類器を複数組み合わせて利用することで、パフォーマンスを改善した機械学習アルゴリズムである。
　次に、頭部座標検出部１０３は、検出された顔を含む領域である顔検出枠から、運転手の頭部の座標である頭部座標を検出する。
　頭部座標の算出方法は、顔検出枠の中心であってもよく、顔の特徴点から頭部の代表点を設定し、その代表点を頭部座標としてもよい。例えば、左右の眼の間の中点を代表点としてもよい。但し、眼の間には特徴的なエッジが存在しなかったり、眼鏡の着用によりエッジができたりするため、直接左右の眼の中点の検出は行わず、左右の目頭の中点としたり、目尻の中点としたりすることで代表点の推定を行ってもよい。
　なお、「顔検出枠」は、画像中から顔の存在する領域を示す枠で、顔の特徴点を内包する。多くの場合枠の形状は正方形である。「顔の特徴点」は、顔らしさを構成する座標で、輪郭、鼻孔、目尻、目頭、口角、唇又は眉等の座標を指す。
　なお、頭部座標検出部１０３は、検出された顔検出枠を示す顔領域情報を頭部傾斜角検出部１０４に与える。
　頭部傾斜角検出部１０４は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像から、運転手の頭部の傾斜角である頭部傾斜角を検出する。頭部傾斜角検出部１０４は、検出された頭部傾斜角を評価部１０５に与える。
　例えば、頭部傾斜角検出部１０４は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像の内、頭部座標検出部１０３から与えられる顔領域情報で示される顔検出枠内の画像である顔領域画像から、運転手の頭部の傾斜角を検出する。
　具体的には、頭部の傾斜角を検出する方法として、頭部傾斜角検出部１０４は、頭部の傾斜角１０度毎に撮影した画像から検出器を作成しておき、顔領域画像と、その検出器とを用いて、頭部傾斜角を検出してもよい。
　また、頭部傾斜角検出部１０４は、顔領域画像から複数の特徴点を特定し、その特徴点間の距離から、頭部傾斜角を検出してもよい。例えば、頭部傾斜角検出部１０４は、顔領域画像の垂直方向に二つの特徴点を特定し、その二つの特徴点間の距離により頭部傾斜角を検出してもよい。例えば、頭部傾斜角が大きくなると、その二つの特徴点間の距離は短くなる。この場合に、距離が求められるステレオカメラ又はＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ等で撮像された画像データを用いると、正確かつ容易に、その距離を求めることができる。
　評価部１０５は、予め定められた期間において頭部座標検出部１０３で検出される頭部座標のばらつきと、予め定められた期間において頭部傾斜角検出部１０４で検出される頭部傾斜角のばらつきとを用いて、運転手の姿勢保持機能の状態の評価を行う。
　ここでは、評価部１０５は、予め定められた期間において頭部座標検出部１０３で検出される頭部座標の分散と、予め定められた期間において頭部傾斜角検出部１０４で検出される頭部傾斜角の分散とを用いて、運転手の姿勢保持機能の状態の評価を行う。
　例えば、評価部１０５は、予め定められた期間における頭部座標の分散を算出する。具体的には、評価部１０５は、直近２０秒間の頭部座標の分散を算出する。この場合、撮像装置１３０が３０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）で画像データを入力すると仮定すると、評価部１０５は、６００フレーム分の地球の重力方向の頭部座標を記録し、その座標の分散を算出する。図２に示されているように、地球の重力方向を、ここでは、Ｙ軸とする。なお、撮像装置１３０のフレームレート、及び、分散を算出する時間はこの例に限定されない。
　また、図２に示されている例では、Ｘ軸の周りの方向がＰｉｔｃｈ方向、Ｙ軸の周りの方向がＹａｗ方向、Ｚ軸の周りの方向がＲｏｌｌ方向である。
　ここでは、評価部１０５は、地球の重力方向の座標の分散を算出したが、同様に地面に対して水平方向の座標の分散を算出してもよい。なお、図２に示されているように、地面に対して水平方向を、ここではＸ軸とする。水平方向の座標の分散から後述する姿勢保持機能の状態を推定する場合、対応する頭部傾斜角は、Ｙａｗ方向又はＲｏｌｌ方向となる。
　また、評価部１０５は、予め定められた期間における頭部傾斜角の分散を算出する。具体的には、評価部１０５は、直近２０秒間の頭部傾斜角の分散を算出する。この場合、撮像装置１３０が３０ｆｐｓで画像データを入力すると仮定すると、評価部１０５は、６００フレーム分の地球の重力方向の傾斜角であるＰｉｔｃｈ方向の角度を記録し、その分散を算出する。
　ここでは、評価部１０５は、Ｐｉｔｃｈ方向の角度を記録し分散を算出したが、上述のように、Ｙａｗ方向又はＲｏｌｌ方向の角度を記録し分散を算出してもよい。
　そして、評価部１０５は、頭部座標の分散と頭部傾斜角の分散とから、姿勢保持機能の状態を示す評価値を算出する。例えば、評価部１０５は、予め定められた期間における頭部座標の分散を、予め定められた期間における頭部傾斜角の分散で割った値、又は、予め定められた期間における頭部傾斜角の分散を、予め定められた期間における頭部座標の分散で割った値を評価値として算出する。
　具体的には、評価部１０５は、下記の（１）式により、評価値を算出する。
　評価値＝（Ｐｉｔｃｈ角の分散）÷（Ｙ座標の分散）　　　　　　（１）
　なお、評価部１０５は、下記の（２）式又は（３）式により、評価値を算出してもよい。
　評価値＝（Ｘ座標の分散）÷（Ｙａｗ角の分散）　　　　　　　　（２）
　評価値＝（Ｒｏｌｌ角の分散）÷（Ｘ座標の分散）　　　　　　　（３）
　評価部１０５は、以上のようにして算出した評価値を覚醒度推定部１０６に与える。
　例えば、（１）式において、評価値が大きくなる場合、頭部の位置が変わらずに、頭部が上下方向にスイングしているため、運転手の覚醒度が低下して、姿勢保持機能が発揮されていない状態と判断することができる。
　（２）式でも、評価値が大きくなる場合、頭部が回転せずに左右に揺れているため、運転手の覚醒度が低下して、姿勢保持機能が発揮されていない状態と判断することができる。
　（３）式でも、評価値が大きくなる場合、頭部の位置が変わらずに、頭部が左右にスイングしているため、運転手の覚醒度が低下して、姿勢保持機能が発揮されていない状態と判断することができる。
　覚醒度推定部１０６は、姿勢保持機能評価部１０２で行われた評価を用いて、運転手の覚醒度のレベルを推定する。
　例えば、覚醒度推定部１０６は、評価部１０５から与えられる評価値に基づいて、運転手の覚醒度のレベルを推定する。
　覚醒度のレベルは、例えば、ＮＥＤＯ（Ｎｅｗ　Ｅｎｅｒｇｙ　ａｎｄ　Ｉｎｄｕｓｔｒｉａｌ　Ｔｅｃｈｎｏｌｏｇｙ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｏｒｇａｎｉｚａｔｉｏｎ）が定めた公知の評価法のように、表情又は体の動き等から推測できる６段階に分けてもよいし、任意の覚醒度レベルに分けてもよい。
　ＮＥＤＯの評価法で覚醒度をレベル分けする場合、覚醒度推定部１０６は、レベル毎に評価値の閾値を設けて、覚醒度のレベルを推定する。言い換えると、評価値には、対応するレベルが予め特定されているものとする。そして、推定された覚醒度のレベルが、予め定められた閾値を下回る場合、覚醒度推定部１０６は、出力Ｉ／Ｆ部１０７から、覚醒度低下通知装置１４０に通知指示を行う。
　出力Ｉ／Ｆ部１０７は、覚醒度低下通知装置１４０に指示等を出力するための出力部である。
　覚醒度低下通知装置１４０は、覚醒度推定部１０６からの通知指示に応じて、運転者及び同乗者に、覚醒度の低下を通知する。例えば、覚醒度低下通知装置１４０は、スピーカとディスプレイとを用いて覚醒度の低下を運転者等に通知し、休憩を促すか運転移譲不能状態であることを示す。
　図３は、実施の形態１に係る情報処理装置１００の車両１５０への配置例を示す概略図である。
　車両１５０の内部には、撮像装置１３０として機能する車載カメラ１５１と、情報処理装置１００と、記憶装置１５２と、覚醒度低下通知装置１４０として機能するスピーカ１５３及びディスプレイ１５４とが配置されている。
　ここで、車載カメラ１５１は、検出対象となる運転手の頭部を含む上半身を撮像する。車載カメラ１５１は、情報処理装置１００と接続されている。なお、図３に示されている車載カメラ１５１は、ワイヤハーネス等の配線を介して接続されてもよく、無線により接続されてもよい。
　また、車載カメラ１５１は、一般的なＲＧＢカメラでもよいし、ＩＲカメラでもよい。さらに、車載カメラ１５１は、Ｄｅｐｔｈセンサでもよい。
　「ＲＧＢカメラ」は、異なった３本のケーブル等を用いて、赤、緑及び青の３色の信号を通信するカメラであり、一般に３つの独立したＣＣＤセンサを用いるものである。
　「ＩＲカメラ」は、赤外線カメラであり、赤外線領域の波長に感度をもつカメラである。
　「Ｄｅｐｔｈセンサ」は、３Ｄ（ｔｈｒｅｅ　ｄｉｍｅｎｓｉｏｎｓ）センサ、測距センサ又はＤｅｐｔｈカメラともいい、二次元画像に加えて深度画像を生成することができるセンサである。測距方式としてステレオカメラ方式、パターン照射方式、ＴＯＦ方式等があるが、どの方式のセンサでもよい。
　図４は、実施の形態１に係る情報処理装置１００のハードウェア構成例を示すブロック図である。
　情報処理装置１００は、ＣＰＵ１６０と、プログラムメモリ１６１と、データメモリ１６２と、インターフェース１６３と、これらを接続するバス１６４とを備える。
　インターフェース１６３には、車載カメラ１５１と、スピーカ１５３と、ディスプレイ１５４とが接続される。
　ここで、頭部座標検出部１０３、頭部傾斜角検出部１０４、評価部１０５及び覚醒度推定部１０６は、ＣＰＵ１６０がプログラムメモリ１６１に記憶されているプログラムを実行することにより構成することができる。
　入力Ｉ／Ｆ部１０１及び出力Ｉ／Ｆ部１０７は、インターフェース１６３により構成することができる。
　以上のように、情報処理装置１００は、特定のプログラムを記憶したコンピュータにより実現することができる。
　なお、「ＣＰＵ」は、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称であり、演算及び制御を行う装置である。
　ＣＰＵ１６０は、プログラムメモリ１６１に記憶されたプログラムに従って動作する。ＣＰＵ１６０は、動作の過程で種々のデータをデータメモリ１６２に記憶させる。車載カメラ１５１からインターフェース１６３を介して入力された画像の認識の結果、インターフェース１６３を介してスピーカ１５３とディスプレイ１５４が制御される。
　以下、情報処理装置１００で行われる動作を、図５を参照して説明する。
　図５は、実施の形態１に係る情報処理装置１００の動作を示すフローチャートである。
　図５に示されているフローチャートは、画像データ取得ステップ（Ｓ１０）と、顔検出ステップ（Ｓ１１）と、頭部座標検出ステップ（Ｓ１２）と、頭部座標分散算出ステップ（Ｓ１３）と、頭部傾斜角検出ステップ（Ｓ１４）と、頭部傾斜角分散算出ステップ（Ｓ１５）と、評価値算出ステップ（Ｓ１６）と、覚醒度推定ステップ（Ｓ１７）と、覚醒度低下通知ステップ（Ｓ１８）とを有する。
　画像データ取得ステップＳ１０では、入力Ｉ／Ｆ部１０１は、運転手の頭部を含む上半身を撮像した画像の画像データを取得する。
　顔検出ステップＳ１１では、頭部座標検出部１０３は、取得された画像データで示される画像から、運転手の顔を検出する。なお、頭部座標検出部１０３は、検出された顔を含む領域である顔検出枠を示す顔領域情報を頭部傾斜角検出部１０４に与える。
　頭部座標検出ステップＳ１２では、頭部座標検出部１０３は、顔検出ステップＳ１１で検出された顔を含む領域である顔検出枠から、頭部座標を検出する。
　頭部座標分散算出ステップＳ１３では、評価部１０５は、頭部座標の分散を算出する。
　頭部傾斜角検出ステップＳ１４では、頭部傾斜角検出部１０４は、顔検出ステップＳ１１で検出された顔を含む領域である顔検出枠から、頭部傾斜角を検出する。
　頭部傾斜角分散算出ステップＳ１５では、評価部１０５は、頭部傾斜角検出ステップＳ１４で検出された頭部傾斜角の分散を算出する。
　評価値算出ステップＳ１６では、評価部１０５は、頭部座標の分散と、頭部傾斜角の分散とから、姿勢保持機能の状態を示す評価値を算出する。
　覚醒度推定ステップＳ１７では、覚醒度推定部１０６は、評価値算出ステップＳ１６で算出された評価値から、覚醒度のレベルを推定する。
　覚醒度低下通知ステップＳ１８では、覚醒度推定部１０６は、覚醒度推定ステップＳ１７で推定された覚醒度のレベルが予め定められた閾値を下回った場合に、出力Ｉ／Ｆ部１０７を介して、覚醒度低下通知装置１４０に、運転手等へ覚醒度の低下を通知するように指示を行う。このような指示を受けた覚醒度低下通知装置１４０は、運転手及び同乗者等に対してスピーカ１５３及びディスプレイ１５４の少なくとも何れか一方を用いて、覚醒度の低下を通知し、休憩を促すか運転移譲不能状態であることを示す。
　以上のように、実施の形態１によれば、運転手の覚醒度のレベルを姿勢保持機能の状態より推定することができる。また、その推定結果に応じて、運転手及び同乗者等に通知を行うことができる。
　実施の形態１は、頭部の座標と、頭部の傾斜角とから頭部の姿勢保持機能の状態の評価を行うことで覚醒度のレベルを推定するため、眼が隠れている状態でも覚醒度のレベルを推定することができる。
　また、覚醒度の推定にカメラ以外のセンサを必要としないため、コスト削減かつ小型化が可能である。
　さらに、頭部の傾斜角を推定に用いているため、頭部の動きが、顔の振り向きに起因するものか、車両の振動によるものなのか分離することができる。これにより、安全確認時の振り向き等によって生じる頭部の動きによる誤検出を防ぐことができる。
実施の形態２．
　図６は、実施の形態２に係る覚醒度推定装置である情報処理装置２００の構成を概略的に示すブロック図である。
　図６に示されているように情報処理装置２００は、撮像装置１３０と、覚醒度低下通知装置１４０とに接続されている。実施の形態２における撮像装置１３０及び覚醒度低下通知装置１４０は、実施の形態１における撮像装置１３０及び覚醒度低下通知装置１４０と同様である。
　また、実施の形態２における情報処理装置２００は、ＣＡＮ２７０にも接続されている。「ＣＡＮ」は、Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋの略称であり、車載機器間の通信技術として開発された電子回路及び各装置を接続するための規格に対応したネットワークである。
　情報処理装置２００は、入力Ｉ／Ｆ部２０１と、姿勢保持機能評価部１０２と、覚醒度推定部２０６と、出力Ｉ／Ｆ部１０７と、ＰＥＲＣＬＯＳ算出部２０８と、あくび検出部２０９とを備える。
　姿勢保持機能評価部１０２は、頭部座標検出部１０３と、頭部傾斜角検出部１０４と、評価部１０５とを備える。
　実施の形態２における姿勢保持機能評価部１０２及び出力Ｉ／Ｆ部１０７は、実施の形態１における姿勢保持機能評価部１０２及び出力Ｉ／Ｆ部１０７と同様である。
　但し、姿勢保持機能評価部１０２の頭部座標検出部１０３は、検出された顔検出枠を示す顔領域情報を頭部傾斜角検出部１０４の他、ＰＥＲＣＬＯＳ算出部２０８及びあくび検出部２０９にも与える。
　入力Ｉ／Ｆ部２０１は、撮像装置１３０から画像データの入力を受ける。入力Ｉ／Ｆ部２０１は、入力された画像データを頭部座標検出部１０３、頭部傾斜角検出部１０４、ＰＥＲＣＬＯＳ算出部２０８及びあくび検出部２０９に与える。
　また、入力Ｉ／Ｆ部２０１は、ＣＡＮ２７０から、ステアリングの操舵角、ギアの位置又は車速等の、運転者が運転する車両の状態を示す車両情報の入力を受ける。入力Ｉ／Ｆ部２０１は、入力された車両情報を覚醒度推定部２０６に与える。
　ＰＥＲＣＬＯＳ算出部２０８は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像から、運転手の眼が開いている割合である開眼度を検出し、その開眼度に従って、一定時間において運転手が眼を閉じている時間の割合である閉眼割合を算出する閉眼割合算出部である。
　ここでは、ＰＥＲＣＬＯＳ算出部２０８は、運転者のＰＥＲＣＬＯＳを算出する。ＰＥＲＣＬＯＳは、ｐｅｒｃｅｎｔａｇｅ　ｏｆ　ｅｙｅ　ｃｌｏｓｕｒｅの略で、一定時間内における閉眼時間の割合である。ＰＥＲＣＬＯＳは、対象者（ここでは、運転者）の主観的な眠気と相関が高いことで知られており、眠気指標として用いることができる。
　例えば、ＰＥＲＣＬＯＳ算出部２０８は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像の内、頭部座標検出部１０３から与えられる顔領域情報で示される顔検出枠に対応する顔領域画像において、眼の開き度合いを上下の瞼間の距離から算出する。具体的には、ＰＥＲＣＬＯＳ算出部２０８は、上瞼及び下瞼の円弧上の目尻目頭間の中点をそれぞれ求め、最大開眼時の上下の瞼間の距離に対する上下の瞼間の距離の割合を開眼度とする。
　なお、最大開眼時の上下の瞼間の距離に対する上下の瞼間の距離は、予め定められているものとする。このため、開眼度の定義は、眼をつぶっているときの開眼度を０％、覚醒時の開眼度を１００％とし、フレーム毎に算出されるものとする。
　そして、ＰＥＲＣＬＯＳ算出部２０８は、算出された開眼度からＰＥＲＣＬＯＳを算出する。ＰＥＲＣＬＯＳ算出部２０８は、算出された開眼度に対して、フレーム毎に、予め定められた閾値で開眼又は閉眼の判定を実施し、閉眼であると判定された場合、閉眼フレームとして積算する。例えば、ＰＥＲＣＬＯＳ算出部２０８は、１分間のバッファを設けて、１０ｆｐｓの撮像装置１３０で撮影された画像からＰＥＲＣＬＯＳを算出する場合、１分間で積算された閉眼フレーム数を、６０００フレームで割ることで、ＰＥＲＣＬＯＳを算出することができる。
　あくび検出部２０９は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像から、運転手の口が開いている割合である開口度を検出し、その開口度に従って、運転手があくびをしているか否かを検出する。
　例えば、あくび検出部２０９は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像の内、頭部座標検出部１０３から与えられる顔領域情報で示される顔検出枠に対応する顔領域画像において、顔の特徴点から口の開き度合いを上下の唇間の距離から検出する。具体的には、あくび検出部２０９は、上唇、下唇の円弧上の左右口角間の中点をそれぞれ求め、最大開口時における上下中点間の距離に対する上下中点間の距離を開口度として算出する。
　そして、あくび検出部２０９は、算出した開口度をもとに、運転手のあくびを検出する。あくびの特徴として、口が一定時間連続して開く、鼻の穴が広がる、涙が出る、又は、あくび発生前に吸気を行う等の特長があるが、ここでは口が一定時間連続して開く特徴を利用した場合について説明する。
　具体的には、あくび検出部２０９は、算出された開口度が予め定められた閾値以上となった場合に、対応するフレームをあくびフレームと判断する。そして、あくび検出部２０９は、あくびフレームが予め定められた時間である閾値以上継続したときに、あくびであると判定する。また、あくびは短時間で連続して発生しないため、あくび検出部２０９は、一度あくびを検出した後は、一定時間あくびを検出しない。これにより誤検出を防止することができる。
　覚醒度推定部２０６は、入力Ｉ／Ｆ部２０１から与えられる車両情報と、評価部１０５から与えられる評価値と、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳと、あくび検出部２０９から与えられるあくびの有無とから、運転手の覚醒度のレベルを推定する。
　例えば、覚醒度推定部２０６は、車両状態情報で示される車両状態を参照し、車両状態が予め定められた条件に該当しない場合に、運転手の覚醒度のレベルを推定する。
　ここで、予め定められた条件は、ギアとしてバック又はパーキングが選択されているとき、車速が予め定められた閾値を下回っているとき、又は、操舵角が予め定められた閾値を上回っているときである。これらの条件の何れにも該当しない場合に、覚醒度推定部２０６は、覚醒度のレベルを推定する。
　以上の予め定められた条件を考慮することで、実施の形態２においては、覚醒度推定部２０６は、車両状態情報で示される車両状態が、予め定められた車速以上で、前方に向かって直進している場合に、運転手の覚醒度のレベルを推定する。
　そして、覚醒度推定部２０６は、運転手の覚醒度のレベルを推定すると判断した場合に、入力Ｉ／Ｆ部２０１から与えられる車両情報と、評価部１０５から与えられる評価値と、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳと、あくび検出部２０９から与えられるあくびの有無とから、運転手の覚醒度のレベルを推定する。
　なお、覚醒度推定部２０６は、入力Ｉ／Ｆ部２０１から与えられる車両情報、評価部１０５から与えられる評価値、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳ、及び、あくび検出部２０９から与えられるあくびの有無の各々から、各々に対応する覚醒度のレベルを推定する。そして、覚醒度推定部２０６は、同じタイミングで最も低い覚醒度のレベルをそのタイミングにおける覚醒度のレベルとして採用する。
　ここでは、車両情報として、ステアリングの操舵角の経時変化が用いられる。覚醒度のレベルが低下すると、ステアリングの操舵角は細かく変化すると知られており、この指標を利用する。即ち、操舵角の経時変化の大きさに応じて、覚醒度のレベルが予め対応付けられていればよい。
　また、ＰＥＲＣＬＯＳについては、それぞれの値に覚醒度のレベルが予め対応付けられていればよく、あくびの有無についても、それぞれに覚醒度のレベルが予め対応付けられていればよい。
　ここで、評価値に対応する覚醒度のレベルを第１のレベル、車両情報で示される車両の状態に対応する覚醒度のレベルを第２のレベル、ＰＥＲＣＬＯＳに対応する覚醒度のレベルを第３のレベル、及び、あくびをしているか否かに対応する覚醒度のレベルを第４のレベルとすると、覚醒度推定部２０６は、第１のレベル、第２のレベル、第３のレベル及び第４のレベルから最終的な覚醒度のレベルを特定する。但し、サングラスを着用している等の理由で、第３のレベルが取得できない場合には、第１のレベル、第２のレベル及び第３のレベルから最終的な覚醒度のレベルが特定される。ここでは、これらのレベルの内、最も覚醒度が低いものが最終的な覚醒度のレベルとして特定される。
　なお、覚醒度のレベルは、実施の形態１と同様に、ＮＥＤＯの評価法が用いられればよいが、任意の覚醒度のレベルが用いられてもよい。覚醒度のレベルは、指標毎に信頼度とともに算出しておくことが望ましい。信頼度とは、出力される値が尤もらしい値であるかを示す指標である。信頼度が高い時に出力される値は尤もらしい値であり、信頼度が低い時に出力される値は誤りであることが多くなるように調整しておく。
　覚醒度の推定方法としては、各指標のうち信頼度が予め定められた閾値を上回っているものの中から最も低いレベルが採用されればよい。これにより開閉眼に特徴の出ない運転手でもあくび又は操舵角のばらつき等によって覚醒度のレベルを正しく判定することができる。
　即ち、運転者の覚醒度のレベルの推定には、瞼の開き度合いから推定する方式が有効であり、ドライバーの覚醒度のレベルが低下すると、ＰＥＲＣＬＯＳが高くなることが知られている。赤外線に感度のある撮像装置１３０を用いて開閉眼を検出する手法が一般的であるが、赤外線の透過率の低いサングラス着用時には眼の状態を検出できない。しかしながら、上述の方法であれば、サングラス着用時等には、ＰＥＲＣＬＯＳによる覚醒度のレベルは推定されないが、他の方法で推定されたレベルを適用することができる。
　図７は、実施の形態２に係る情報処理装置２００の車両１５０への配置例を示す概略図である。
　車両１５０の内部には、撮像装置１３０として機能する車載カメラ１５１と、情報処理装置２００と、記憶装置１５２と、覚醒度低下通知装置１４０として機能するスピーカ１５３及びディスプレイ１５４と、車速センサ２５５と、ギアボックス２５６と、ステアリング２５７とが配置されている。
　実施の形態２における車載カメラ１５１、記憶装置１５２、スピーカ１５３及びディスプレイ１５４は、実施の形態１における車載カメラ１５１、記憶装置１５２、スピーカ１５３及びディスプレイ１５４と同様である。
　実施の形態２では、車速センサ２５５、ギアボックス２５６及びステアリング２５７から取得できる情報が、車両情報として、ＣＡＮ２７０を介して、情報処理装置２００に送られる。
　図４に示されているように、実施の形態２に係る情報処理装置２００も、ＣＰＵ１６０と、プログラムメモリ１６１と、データメモリ１６２と、インターフェース１６３と、これらを接続するバス１６４とを備える。
　インターフェース１６３には、車載カメラ１５１と、スピーカ１５３と、ディスプレイ１５４とが接続される。
　なお、実施の形態２においては、インターフェース１６３は、ＣＡＮ２７０にも接続されている。
　図８は、実施の形態２に係る情報処理装置２００の動作を示すフローチャートである。
　図８に示されているフローチャートは、画像データ取得ステップ（Ｓ２０）と、顔検出ステップ（Ｓ２１）と、頭部座標検出ステップ（Ｓ２２）と、頭部座標分散算出ステップ（Ｓ２３）と、頭部傾斜角検出ステップ（Ｓ２４）と、頭部傾斜角分散算出ステップ（Ｓ２５）と、開眼度検出ステップ（Ｓ２６）と、ＰＥＲＣＬＯＳ算出ステップ（Ｓ２７）と、開口度検出ステップ（Ｓ２８）と、あくび検出ステップ（Ｓ２９）と、評価値算出ステップ（Ｓ３０）と、覚醒度推定ステップ（Ｓ３１）と、覚醒度低下通知ステップ（Ｓ３２）とを有する。
　画像データ取得ステップＳ２０では、入力Ｉ／Ｆ部２０１は、運転手の頭部を含む上半身を撮像した画像の画像データを取得する。画像データで示される画像は、後段の処理で実施する頭部座標の算出と、頭部傾斜角の算出と、ＰＥＲＣＬＯＳの算出と、あくびの検出とが可能であれば、ＲＧＢ画像、ＩＲ画像又は距離画像等のどのような画像であってもよい。
　顔検出ステップＳ２１では、頭部座標検出部１０３は、取得された画像データで示される画像から、運転手の顔を検出する。なお、頭部座標検出部１０３は、検出された顔を含む領域である検出枠を示す顔領域情報を頭部傾斜角検出部１０４、ＰＥＲＣＬＯＳ算出部２０８及びあくび検出部２０９に与える。
　頭部座標検出ステップＳ２２では、頭部座標検出部１０３は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、頭部座標を検出する。
　頭部座標分散算出ステップＳ２３では、評価部１０５は、頭部座標の分散を算出する。
　頭部傾斜角検出ステップＳ２４では、頭部傾斜角検出部１０４は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、頭部傾斜角を検出する。
　頭部傾斜角分散算出ステップＳ２５では、評価部１０５は、頭部傾斜角検出ステップＳ２４で検出された頭部傾斜角の分散を算出する。
　開眼度検出ステップＳ２６では、ＰＥＲＣＬＯＳ算出部２０８は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、運転手の顔の特徴点を用いて眼の開き度合いである開眼度を検出する。
　ＰＥＲＣＬＯＳ算出ステップＳ２７では、ＰＥＲＣＬＯＳ算出部２０８は、開眼度検出ステップＳ２６で検出された開眼度からＰＥＲＣＬＯＳを算出する。
　開口度検出ステップＳ２８では、あくび検出部２０９は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、運転手の顔の特徴点を用いて、口の開き度合いである開口度を検出する。
　あくび検出ステップＳ２９では、あくび検出部２０９は、開口度検出ステップＳ２８で検出された開口度を用いて、あくびの有無を検出する。
　評価値算出ステップＳ３０では、評価部１０５は、頭部座標の分散と、頭部傾斜角の分散とから、姿勢保持機能の状態を示す評価値を算出する。
　覚醒度推定ステップＳ３１では、覚醒度推定部２０６は、車両状態情報で示される車両状態を参照し、車両状態が予め定められた条件に該当しない場合に、運転手の覚醒度のレベルを推定する。例えば、覚醒度推定部２０６は、入力Ｉ／Ｆ部２０１から与えられる車両情報と、評価部１０５から与えられる評価値と、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳと、あくび検出部２０９から与えられるあくびの有無とから、運転手の覚醒度のレベルを推定する。
　覚醒度低下通知ステップＳ３２では、覚醒度推定部２０６は、覚醒度推定ステップＳ３１で推定された覚醒度のレベルが予め定められた閾値を下回った場合に、出力Ｉ／Ｆ部１０７を介して、覚醒度低下通知装置１４０に、運転手等へ覚醒度の低下を通知するように指示を行う。このような指示を受けた覚醒度低下通知装置１４０は、運転手及び同乗者等に対してスピーカ１５３及びディスプレイ１５４の少なくとも何れか一方を用いて、覚醒度の低下を通知し、休憩を促すか運転移譲不能状態であることを示す。
　以上のように、実施の形態２によれば、運転手の覚醒度のレベルを評価するに適した指標でその評価を行うことができる。
　また、その評価の結果に応じてスピーカ１５３及びディスプレイ１５４の制御を行うことで、運転手及び同乗者に覚醒度を通知することができる。
　１００，２００　情報処理装置、　１０１，２０１　入力Ｉ／Ｆ部、　１０３　頭部座標検出部、　１０４　頭部傾斜角検出部、　１０５　評価部、　１０６，２０６　覚醒度推定部、　１０７　出力Ｉ／Ｆ部、　２０８　ＰＥＲＣＬＯＳ算出部、　２０９　あくび検出部、　１３０　撮像装置、　１４０　覚醒度低下通知装置、　１５０　車両、　１５１　車載カメラ、　１５２　記憶装置、　１５３　スピーカ、　１５４　ディスプレイ、　１６０　ＣＰＵ、　１６１　プログラムメモリ、　１６２　データメモリ、　１６３　インターフェース、　１６４　バス。

Claims (9)

  1. 　運転手の頭部を含む画像から、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う姿勢保持機能評価部と、
    　前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部と、を備えること
    　を特徴とする情報処理装置。
  2. 　前記姿勢保持機能評価部は、
    　前記画像から、前記運転手の頭部の座標である頭部座標を検出する頭部座標検出部と、
    　前記画像から、前記運転手の頭部の傾斜角である頭部傾斜角を検出する頭部傾斜角検出部と、
    　予め定められた期間における前記頭部座標及び前記頭部傾斜角のばらつきから、前記評価を行う評価部と、を備えること
    　を特徴とする請求項１に記載の情報処理装置。
  3. 　前記評価部は、前記予め定められた期間における前記頭部座標の分散を前記予め定められた期間における前記頭部傾斜角の分散で割った値、又は、前記予め定められた期間における前記頭部傾斜角の分散を前記予め定められた期間における前記頭部座標の分散で割った値を評価値として算出すること
    　を特徴とする請求項２に記載の情報処理装置。
  4. 　前記評価値に対応する前記レベルが予め特定されていること
    　を特徴とする請求項３に記載の情報処理装置。
  5. 　前記運転手が運転する車両の状態である車両状態を示す車両状態情報の入力を受ける入力部と、
    　前記画像から、前記運転手の眼が開いている割合である開眼度を検出し、前記開眼度に従って、一定時間において前記運転手が眼を閉じている時間の割合である閉眼割合を算出する閉眼割合算出部と、
    　前記画像から、前記運転手の口が開いている割合である開口度を検出し、前記開口度に従って、前記運転手があくびをしているか否かを検出するあくび検出部と、をさらに備え、
    　前記評価に対応する前記覚醒度の第１のレベル、前記車両状態に対応する第２のレベル、前記閉眼割合に対応する前記覚醒度の第３のレベル、及び、前記あくびをしているか否かに対応する前記覚醒度の第３のレベルが予め定められており、
    　前記覚醒度推定部は、前記第１のレベル、前記第２のレベル、前記第３のレベル、及び、第４のレベルから、前記レベルを特定すること
    　を特徴とする請求項１から３の何れか一項に記載の情報処理装置。
  6. 　前記覚醒度推定部は、前記第１のレベル、前記第２のレベル、前記第３のレベル、及び、第４のレベルの内、前記覚醒度が最も低いものを前記レベルとして特定すること
    　を特徴とする請求項５に記載の情報処理装置。
  7. 　前記覚醒度推定部は、前記車両状態が、予め定められた車速以上で、前方に向かって直進していることを示している場合に、前記レベルを特定すること
    　を特徴とする請求項５又は６に記載の情報処理装置。
  8. 　コンピュータを、
    　運転手の頭部を含む画像から、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う姿勢保持機能評価部、及び、
    　前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部、として機能させること
    　を特徴とするプログラム。
  9. 　姿勢保持機能評価部が、運転手の頭部を含む画像から、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行い、
    　覚醒度推定部が、前記評価を用いて、前記運転手の覚醒度のレベルを推定すること
    　を特徴とする情報処理方法。
PCT/JP2019/024021 2019-06-18 2019-06-18 情報処理装置、プログラム及び情報処理方法 WO2020255238A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112019007484.9T DE112019007484T5 (de) 2019-06-18 2019-06-18 Informationsverarbeitungsvorrichtung, programm und informationsverarbeitungsverfahren
PCT/JP2019/024021 WO2020255238A1 (ja) 2019-06-18 2019-06-18 情報処理装置、プログラム及び情報処理方法
JP2019557640A JP6689470B1 (ja) 2019-06-18 2019-06-18 情報処理装置、プログラム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024021 WO2020255238A1 (ja) 2019-06-18 2019-06-18 情報処理装置、プログラム及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2020255238A1 true WO2020255238A1 (ja) 2020-12-24

Family

ID=70413776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024021 WO2020255238A1 (ja) 2019-06-18 2019-06-18 情報処理装置、プログラム及び情報処理方法

Country Status (3)

Country Link
JP (1) JP6689470B1 (ja)
DE (1) DE112019007484T5 (ja)
WO (1) WO2020255238A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7389078B2 (ja) * 2021-03-26 2023-11-29 矢崎総業株式会社 ドライバ評価装置及びドライバ評価システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000515829A (ja) * 1995-09-28 2000-11-28 アドバンスト セイフティ コンセプツ インク． 異常運転輸送車両対処システム
JP2018127112A (ja) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61175129A (ja) 1985-01-29 1986-08-06 Nissan Motor Co Ltd 居眠り運転防止装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000515829A (ja) * 1995-09-28 2000-11-28 アドバンスト セイフティ コンセプツ インク． 異常運転輸送車両対処システム
JP2018127112A (ja) * 2017-02-08 2018-08-16 パナソニックＩｐマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法

Also Published As

Publication number Publication date
DE112019007484T5 (de) 2022-05-05
JPWO2020255238A1 (ja) 2021-09-13
JP6689470B1 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
CN107665330B (zh) 在车辆中检测头部姿势的***、方法和计算机可读介质
EP2860664B1 (en) Face detection apparatus
US10369926B2 (en) Driver state sensing system, driver state sensing method, and vehicle including the same
US9526448B2 (en) State estimation device and state estimation program
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
JP5790762B2 (ja) 瞼検出装置
US9105172B2 (en) Drowsiness-estimating device and drowsiness-estimating method
JP7118136B2 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
US11453401B2 (en) Closed eye determination device
JP2009294753A (ja) 画像処理装置および画像処理方法
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
EP3440592B1 (en) Method and system of distinguishing between a glance event and an eye closure event
JP2009166783A (ja) 症状推定装置
KR20190134909A (ko) 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
WO2020255238A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2019087018A (ja) ドライバモニタシステム
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
CN115299948A (zh) 一种驾驶员疲劳检测方法及检测***
US10945651B2 (en) Arousal level determination device
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
Srivastava Driver's drowsiness identification using eye aspect ratio with adaptive thresholding
JP2019079285A (ja) 安全運転促進装置及び安全運転促進方法
US20230196797A1 (en) Non-contact depth sensing monitoring in vehicles
Kaur et al. Driver’s Drowsiness Detection System Using Machine Learning

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019557640

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933802

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19933802

Country of ref document: EP

Kind code of ref document: A1