WO2023119763A1 - 運転者状態推定装置 - Google Patents
運転者状態推定装置 Download PDFInfo
- Publication number
- WO2023119763A1 WO2023119763A1 PCT/JP2022/035029 JP2022035029W WO2023119763A1 WO 2023119763 A1 WO2023119763 A1 WO 2023119763A1 JP 2022035029 W JP2022035029 W JP 2022035029W WO 2023119763 A1 WO2023119763 A1 WO 2023119763A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- driver
- degree
- driving
- thinking
- thought
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present disclosure relates to a driver's state estimation device.
- microsaccade information including changes in line-of-sight angle when a microsaccade occurs is acquired, the state of a person to be monitored is estimated based on the microsaccade information, and the state of the driver is estimated.
- An attentiveness estimation system is disclosed that alerts in the event of an inattentive state.
- the number of TPs in the reference section is counted with a section of 3 minutes in which the vehicle is stable after entering the expressway as the reference section, and the normal state and the careless state are calculated based on the number of TPs. is set, and if the number of TPs in the past 3 minutes is smaller than the threshold, the driver's state is determined to be inattentive and an inattentive state determination device is disclosed.
- Patent Document 1 if the estimated state of the monitored person is in a state of lack of attention, the monitored person may be thinking about driving. Also, in Patent Document 2, if the subject is in a careless state, the subject may be thinking about driving.
- Patent Documents 1 and 2 even if the driver is thinking about driving, there are cases where a warning is given to the monitored person and the driver who is the test subject. Therefore, there is a problem that the driver's feeling of anxiety and discomfort is increased.
- an object of the present disclosure is to provide a driver's state estimation device capable of suppressing an increase in driver's anxiety and discomfort.
- a driver state estimating device is based on driver information, which is information indicating physical characteristics of the driver's appearance and/or the internal body state of the driver. and an idea estimation value holding unit that holds transition information that is information indicating the transition of the degree of the thought during a predetermined period in the past, wherein the thought estimation unit is based on the transition information and estimating the degree of thinking about driving and the degree of thinking other than driving in the driver from the degree of thinking.
- the driver state estimation device of the present disclosure it is possible to suppress an increase in driver anxiety and discomfort.
- FIG. 1 is a diagram showing the degree of thoughts related to driving and the degree of thoughts other than driving included in the thoughts of the driver.
- FIG. 2 is a block diagram showing the driver's state estimation device according to the first embodiment.
- FIG. 3 is a graph showing the relationship between the standard deviation of the line-of-sight angle and the degree of thinking of the driver.
- FIG. 4 is a diagram showing specific numerical values of the standard deviation of the line-of-sight angle and the degree of thinking.
- FIG. 5 is a graph showing the relationship between the standard deviation of the line-of-sight angle and the degree of thinking.
- FIG. 6 is a diagram showing the degree of thoughtfulness of the driver over the past three days.
- FIG. 1 is a diagram showing the degree of thoughts related to driving and the degree of thoughts other than driving included in the thoughts of the driver.
- FIG. 2 is a block diagram showing the driver's state estimation device according to the first embodiment.
- FIG. 3 is a graph showing the relationship between the standard deviation of the line-of
- FIG. 7 is a flowchart showing processing operations when the driver's state estimation device according to Embodiment 1 calculates a reference value.
- FIG. 8 is a flow chart showing processing operations when the driver's state estimation device according to Embodiment 1 determines whether or not to output a warning signal.
- FIG. 9 is a block diagram showing a driver's state estimation device according to Embodiment 2. As shown in FIG. FIG. 10 is a flowchart showing the processing operation when the driver's state estimation device according to Embodiment 2 calculates the reference value.
- FIG. 11 is a block diagram showing a driver's state estimation device according to the third embodiment.
- FIG. 12 is a flowchart showing processing operations when the driver's state estimation device according to the third embodiment determines whether or not to output a warning signal.
- FIG. 13 is a correlation diagram showing the amount of change in the reference value when the driving environment is road conditions in the third embodiment.
- FIG. 14 is a correlation diagram showing the amount of change in the reference value when the driving environment is the current weather according to the third embodiment.
- FIG. 15 is a correlation diagram showing the amount of change in the reference value when the driving environment is time in the third embodiment.
- FIG. 16 is a correlation diagram showing the amount of change in the reference value when the driving environment is automatic driving in the third embodiment.
- FIG. 17 is a time-dependent change diagram of the degree of thinking when the reference value is low according to the fourth embodiment.
- FIG. 18 is a time-dependent change diagram of the degree of thinking when the reference value is high in the fourth embodiment.
- a driver state estimating device is based on driver information, which is information indicating physical characteristics of the driver's appearance and/or the internal body state of the driver. and an idea estimation value holding unit that holds transition information that is information indicating the transition of the degree of the thought during a predetermined period in the past, wherein the thought estimation unit is based on the transition information and estimating the degree of thinking about driving and the degree of thinking other than driving in the driver from the degree of thinking.
- the degree of thinking about driving and the degree of thinking about things other than driving can be estimated from the degree of thinking of the driver. For example, when the degree of thinking about driving is large, it is possible not to output a warning to the driver.
- a warning can be output to the driver when the degree of thinking other than driving is large. In this way, it is possible to determine whether or not to issue a warning to the driver, and to ensure safety when the driver drives the vehicle.
- the thinking estimation unit calculates a reference value based on the transition information, and determines whether the degree of thinking is in the range from 0 to the reference value. and the range in which the degree of thinking is greater than the reference value is estimated to be the degree of thinking other than driving.
- the reference value is calculated based on the transition information, it is possible to estimate the degree of thoughts related to driving and the degree of thoughts other than driving. If this is used to determine whether or not to issue a warning to the driver, it is possible to prevent an excessive warning from being issued. can.
- the thought estimating unit determines a threshold that is greater than the reference value by a predetermined value, and if the degree of thoughts other than driving exceeds the threshold, a warning signal to output
- the driver realizes that he/she has been driving the vehicle in a careless state, and thus tries to concentrate on driving the vehicle.
- the driver's state estimation device can improve the safety of the vehicle driven by the driver.
- the thinking estimating unit estimates the degree of thinking other than driving by subtracting the reference value from the degree of thinking, and estimates the degree of thinking other than driving. If the degree of thought exceeds a predetermined threshold, output a warning signal.
- the driver information includes line-of-sight angle, line-of-sight dwell time, gaze area, posture, pupil diameter, pulse, heartbeat, and skin electrode, which are obtained from the driver information acquisition unit.
- At least one of activity, blood hemoglobin concentration, and electroencephalogram, and the thought estimating unit calculates the line-of-sight angle, the line-of-sight dwell time, the gaze area, the posture, the pupil diameter, the pulse, the heartbeat,
- the level of thought is estimated based on variations in at least one of the electrodermal activity, the blood hemoglobin concentration, and the electroencephalogram over a past predetermined period.
- equipment such as a camera sensor for detecting pupils, a steering grip sensor, a sensor for detecting the contact of the driver's torso with the seat cover, and a hemoglobin measuring device, which are pre-installed in the vehicle, can be used.
- the driver information can be easily obtained.
- the degree of thinking is estimated, so that the accuracy of estimation can be further improved.
- the driver information acquisition unit outputs the personal identification information of the driver together with the driver information
- the thought estimation unit outputs the personal identification information Based on the transition information corresponding to , the degree of thinking about driving and the degree of thinking other than driving of the driver are estimated from the degree of thinking held by the thought estimated value holding unit.
- the thought estimated value holding unit holds the degree of thought for each driver, even when a plurality of drivers individually drive the same vehicle, the degree of thought related to driving according to the driver can be determined.
- the degree of thinking other than driving can be automatically estimated. Therefore, it is possible to estimate the degree of thinking about driving and the degree of thinking about things other than driving according to the driver. As a result, it is possible to further suppress an increase in each driver's sense of anxiety and discomfort.
- a driver state estimation device further includes a vehicle information acquisition unit that acquires predetermined driving information that is information indicating that the driver has performed predetermined driving, and holds the thought estimated value.
- the unit retains the transition information when the predetermined driving information is not obtained from the vehicle information obtaining unit, and does not retain the transition information when the predetermined driving information is obtained from the vehicle information obtaining unit.
- transition information it is possible to maintain high-precision transition information by not storing, as transition information, an outlier, such as a brake reaction time of a predetermined time or longer, as predetermined driving information. Therefore, it is possible to accurately estimate the degree of thinking about driving and the degree of thinking other than driving. As a result, it is possible to further suppress an increase in each driver's sense of anxiety and discomfort.
- a driver state estimation device further includes a driving environment acquisition unit that acquires a driving environment of a vehicle driven by the driver, wherein the thought estimation unit acquires the driving environment from the driving environment acquisition unit. is obtained, and the reference value is adjusted such that if the obtained driving environment is simple, the reference value is decreased, and if the obtained driving environment is complicated, the reference value is increased.
- the reference value can be raised or lowered according to the driving environment, so that the degree of thinking about driving and the degree of thinking about things other than driving can be estimated with higher accuracy. Therefore, even if the driving environment becomes simpler, the reference value is lowered, so that it is possible to suppress the problem that the warning is not output to the driver. Moreover, since the reference value is raised even if the driving environment becomes complicated, it is possible to prevent an excessive warning from being output to the driver.
- the driving environment is at least one of road conditions that are conditions of the road on which the vehicle travels, current weather, time, and automatic driving state of the vehicle. is.
- the reference value can be adjusted multilaterally according to at least one of the driving environment such as the road conditions, the current weather, the time of day, and the state of automatic driving. An alarm can be issued.
- the predetermined value increases as the reference value decreases, and decreases as the reference value increases.
- the reference value when the reference value is low, there is a tendency to concentrate on driving, so increasing the predetermined value reduces the possibility of false alarms. In addition, when the reference value is high, there is a tendency to think about things other than driving.
- the threshold increases as the reference value decreases, and decreases as the reference value increases.
- the thought estimation unit outputs the degree of thought to the display unit over time.
- each figure is a schematic diagram and is not necessarily strictly illustrated. Therefore, for example, scales and the like do not necessarily match in each drawing. Moreover, in each figure, the same code
- FIG. 1 is a diagram showing the degree of thoughts related to driving and the degree of thoughts other than driving included in the thoughts of the driver.
- the degree of thinking about driving is indicated by hatching with oblique lines
- the degree of thinking about things other than driving is indicated by hatching with diagonal grids.
- the case where the driver thinks about driving is, for example, the case where the driver drives the vehicle while paying attention.
- the driver drives the vehicle carefully for example, when the road is narrow, when the structure of the road is complicated, or when there are many obstacles such as people and equipment around the road.
- the driver drives the vehicle with caution in a driving environment in which it is difficult for the driver to drive the vehicle.
- the driver thinks about things other than driving, for example, when the driver can drive the vehicle without paying attention.
- the driver can drive the vehicle without paying attention, for example, when the road is wide, when the structure of the road is simple, and when there are no obstacles such as people and equipment around the road. That is, in a driving environment in which it is easy for the driver to drive the vehicle, the driver drives the vehicle with a reduced degree of attention (thinking) regarding driving.
- driver A is a normal driver, and when driving a vehicle, the degree of thinking about driving and the degree of thinking about things other than driving are, for example, the same.
- driver B In the case of driver B, driver B is a good driver, and when driving a vehicle, the degree of thoughts other than driving tends to be greater than the degree of thoughts related to driving. In this case, the driver B is thinking about something other than driving and can be said to be in a careless state.
- the driver state estimation device of the present embodiment estimates the degree of thoughts related to driving and the degree of thoughts other than driving from the degree of thoughts due to driving.
- FIG. 2 is a block diagram showing the driver's state estimation device 2 according to Embodiment 1. As shown in FIG.
- the driver's state estimation device 2 is a system that is used in a moving object such as the vehicle 1 and can estimate the degree of thinking of the driver who drives the vehicle 1 .
- the driver's state estimation device 2 includes a driver information acquisition unit 10, a thought estimation unit 22, and a thought estimated value storage unit 23.
- the driver information acquisition unit 10 acquires driver information and personal identification information.
- the driver information acquisition unit 10 has a sensor 11, an image analysis unit 12, and an estimated index calculation unit 13.
- the sensor 11 is a camera sensor capable of capturing an image of the driver per unit time.
- FIG. 2 exemplifies the case where the sensor 11 is a camera sensor, it is not limited to a camera sensor.
- the sensor 11 outputs the captured image of the driver to the image analysis unit 12 .
- the image analysis unit 12 analyzes the acquired image of the driver and extracts driver information such as the line-of-sight angle of the driver from the image for each unit time.
- the image analysis unit 12 outputs the extracted driver information to the estimated index calculation unit 13 .
- the estimated index calculator 13 calculates the average value and standard deviation of the driver information.
- the estimated index calculator 13 outputs the calculated result to the idea estimator 22 . That is, the driver information acquisition unit 10 outputs the personal identification information of the driver to the thought estimation unit 22 together with the driver information.
- the driver information is information indicating the external physical characteristics of the driver and/or the state of the driver's internal body.
- the driver information includes the line-of-sight angle, line-of-sight retention time, gaze area, posture, pupil diameter, pulse, heart rate, electrodermal activity, blood hemoglobin concentration, and electroencephalogram obtained from the driver information acquisition unit 10. including at least one of
- the driver information acquisition unit 10 when the driver information acquisition unit 10 acquires at least one of the line-of-sight angle, the line-of-sight retention time, the gaze region, and the pupil diameter, the driver information acquisition unit 10 captures the driver's eyes. includes camera sensors, etc., capable of
- the driver information acquiring unit 10 uses a camera sensor capable of capturing an image of the driver and the contact of the driver's torso with the seat cover. It includes a sensor or the like that detects the
- the driver information acquisition unit 10 when the driver information acquisition unit 10 acquires at least one of the driver's pulse and heartbeat, the driver information acquisition unit 10 includes a grip sensor that detects the driver's grip on the steering wheel, and It includes a sensor or the like that detects contact of the driver's torso with the seat cover.
- the driver information acquisition unit 10 when the driver information acquisition unit 10 acquires the driver's electrodermal activity, the driver information acquisition unit 10 includes an electrodermal activity sensor or the like that detects the driver's skin resistance, skin impedance, or skin potential.
- the driver information acquisition unit 10 when the driver information acquisition unit 10 acquires the hemoglobin concentration in the driver's blood, the driver information acquisition unit 10 includes a hemoglobin measuring device or the like that detects the hemoglobin concentration in the driver's blood.
- the driver information acquisition unit 10 when the driver information acquisition unit 10 acquires the brain waves of the driver, the driver information acquisition unit 10 includes an electroencephalograph or the like that detects the brain waves of the driver.
- the driver information may include at least one of the number of times the driver speaks, the movement of the face and head, the number of breaths, the body temperature, and the driving operation.
- personal identification information is information that can identify the driver.
- the driver information acquisition unit 10 may identify the driver by capturing physical features of the driver using a camera sensor or the like. Further, the driver information acquisition unit 10 may identify the driver by acquiring information that can identify the driver from a terminal device possessed by the driver.
- the thought estimation unit 22 estimates the degree of thought of the driver. Specifically, the thoughts estimating unit 22 acquires driver information from the driver information acquiring unit 10, and based on the acquired driver information, thinks of the driver while the driver is driving the vehicle 1. Estimate the degree of Specifically, the thought estimating unit 22 determines the past predetermined values of at least one of line-of-sight angle, line-of-sight dwell time, gaze area, posture, pupil diameter, pulse, heart rate, electrodermal activity, blood hemoglobin concentration, and electroencephalogram. Estimate the degree of thought based on the variation of the period. In addition, the degree of thoughts of the driver includes the degree of thoughts related to driving and the degree of thoughts other than driving.
- the past predetermined period is, for example, several minutes, several hours, and several days.
- the predetermined period of time in the past may be, for example, one minute, one hour, or one day.
- the past predetermined period was exemplified as one minute, one hour, or one day, these are only examples, and the past predetermined period is not limited to one minute, one hour, or one day.
- the thought estimation unit 22 acquires the personal identification information from the driver information acquisition unit 10, and estimates the degree of thoughts corresponding to the driver indicated by the personal identification information based on the acquired driver information. .
- heart rate when the degree of thinking increases, the heart rate increases and the RRI (RR Interval) variation decreases (heart rate variability decreases).
- the case where the degree of thinking increases is the case where the hemoglobin concentration increases.
- brain waves when the degree of thinking increases, the amplitude of brain waves decreases, the power spectrum ratio of ⁇ waves and ⁇ waves increases, and ⁇ waves decrease.
- the interval between utterances by the driver increases when the driver is talking, the movement of the driver's face decreases, and the position of the driver's head increases.
- the amount of change decreases, the driver's breathing becomes shallower, the breathing becomes faster, the temperature under the nose of the driver decreases, the change in the steering angle of the vehicle 1 being driven becomes smaller, and the speed at which the vehicle 1 is driven increases. This is the case when there is a downward trend.
- the driver's line of sight tends to stagnate when there are many things to think about.
- the retention of the line of sight is defined by the degree of change in the angle of the line of sight.
- the degree of consideration the standard deviation of the line-of-sight angle, the difference between the maximum and the minimum line-of-sight angle, the average speed of line-of-sight angle transition, or the ratio of the line-of-sight angle speed within a certain range can be used.
- the line-of-sight angle is the angle of the line-of-sight of the driver with respect to the direction of travel of the vehicle 1 with reference to the direction of the line of sight of the driver.
- the degree of thoughtfulness of the current driver can be calculated by the following formula (1).
- the current degree of thoughtfulness of the driver is regarded as 1 when it exceeds 1, and is regarded as 0 when it is less than 0.
- the maximum standard deviation (stddev_max) of the line-of-sight angle is 0.1
- the minimum standard deviation (stddev_min) of the line-of-sight angle is 0.02.
- the line-of-sight angle may be sampled every second to obtain the standard deviation from 60 line-of-sight angles. If the past predetermined period is 1 minute and 60 frames are captured in 1 second, the standard deviation may be obtained from 3600 line-of-sight angles in 1 minute.
- FIG. 3 is a diagram showing the relationship between the standard deviation of the line-of-sight angle, the degree of thinking of the driver, and the degree of stagnation of the line of sight.
- FIG. 4 is a diagram showing specific numerical values of the standard deviation of the line-of-sight angle and the degree of thinking.
- FIG. 5 is a graph showing the relationship between the standard deviation of the line-of-sight angle and the degree of thinking.
- FIG. 5 is a diagram based on the numerical values of FIG.
- the standard deviation of the viewing angles in FIGS. 4 and 5 ranges from 0.02 to 0.1.
- the thought estimating unit 22 associates the degree of thinking with the driver indicated in the personal identification information and outputs it to the thought estimated value holding unit 23 .
- the thought estimated value holding unit 23 can hold the degree of thought associated with the driver indicated in the personal identification information.
- the thought estimation unit 22 outputs the degree of thought during the past predetermined period to the thought estimated value holding unit 23 . Therefore, the thought estimating unit 22 has a function of measuring time, and by using the function, the thought estimated value holding unit 23 holds the degree of thinking during a predetermined period in the past.
- a function that measures time is, for example, Real Time Clock.
- the thought estimating unit 22 based on the transition information corresponding to the personal identification information, which is the transition information held in the thought estimated value holding unit 23, determines the degree of the driver's thinking about driving from the degree of thinking. and the degree of thoughts other than driving.
- the transition information is information indicating the transition of the degree of thinking during a predetermined period in the past.
- the thought estimation unit 22 calculates the reference value based on the transition information.
- the reference value is calculated, for example, as shown in FIG. FIG. 6 is a diagram showing the degree of thoughtfulness of the driver over the past three days. Note that FIG. 6 illustrates the degree of thinking for the past three days, but this is only an example, and the degree of thinking is not limited to the past three days.
- the reference value is calculated based on transition information held in the thought estimated value holding unit 23, that is, the degree of thought during a predetermined period in the past.
- the reference value is calculated by setting a predetermined percentile value as the reference value from the minimum value when the degree of thinking of the driver is rearranged in ascending order.
- the predetermined percentile value is specifically the 5th percentile value.
- the predetermined percentile value may be several percentile values and is not limited to the 5th percentile value.
- the thought estimation unit 22 estimates that the range of the degree of thought from 0 to the reference value is the degree of thought related to driving. Further, the thinking estimation unit 22 estimates a range in which the degree of thinking is greater than the reference value as the degree of thinking other than driving. In other words, the thinking estimation unit 22 estimates the degree of thinking other than driving by subtracting the reference value from the degree of thinking.
- the reference value is calculated for each driver by the thought estimation unit 22 . Therefore, the thoughts estimating unit 22 can estimate the degree of thoughts, the degree of thoughts about driving, and the degree of thoughts other than driving for each driver.
- the thinking estimating unit 22 Based on the estimated degree of thinking of the driver, the thinking estimating unit 22 generates transition information, which is information indicating the transition of the degree of thinking of the driver during a predetermined period in the past, and stores the transition information in the thought estimated value holding unit 23. Update the persisted transition information.
- the thought estimation unit 22 outputs a warning signal to the presentation device 30 when the estimated degree of thoughts other than driving exceeds the threshold.
- the presentation device 30 is, for example, a sound device such as a speaker, a display device for displaying characters, images, or the like, a lighting device for lighting or blinking light, or the like. This makes it possible to issue a warning to the driver who is thinking a lot about things other than driving. In other words, even if the number of thoughts about driving exceeds the threshold, it is possible not to issue a warning to the driver who thinks a lot about driving.
- the threshold may be a predetermined value. Also, the threshold value may be determined as a value that is greater than the reference value by a predetermined value.
- the thought estimated value holding unit 23 holds transition information, which is information indicating the transition of the degree of thinking of the driver during a predetermined period in the past.
- the thought estimated value holding unit 23 holds the driver indicated by the personal identification information and the transition information in a state of being associated with each other.
- the thought estimated value holding unit 23 can update the transition information generated by the thought estimation unit 22 in the past predetermined period to new transition information.
- the thought estimated value holding unit 23 includes, for example, primary storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory).
- the thought estimated value holding unit 23 may include a secondary storage device such as an SSD (Solid State Drive) and a tertiary storage device such as an SD card.
- FIG. 7 is a flowchart showing processing operations when the driver's state estimation device 2 according to Embodiment 1 calculates the reference value.
- the driver information acquisition unit 10 acquires driver information and personal identification information (S11).
- the driver information acquisition unit 10 outputs the acquired driver information and personal identification information to the thought estimation unit 22 .
- the thought estimating unit 22 determines whether or not a predetermined period of time has elapsed since acquisition of driver information was started, that is, determines whether or not driver information for a predetermined period of time in the past has been acquired ( S12).
- the past predetermined period of step S12 is, for example, about several minutes.
- the driver's state estimating device 2 returns the processing operation to step S11.
- the thought estimating unit 22 determines whether the driver is a driver based on the driver information for the predetermined period. (S13).
- the thought estimation unit 22 associates the estimated degree of thinking of the driver with the driver indicated by the personal identification information, and outputs the degree of thought and the personal identification information to the thought estimated value holding unit 23 .
- the thought estimated value holding unit 23 acquires the degree of thought and the personal identification information, and holds the degree of thought and the personal identification information in a state in which the degree of thought and the personal identification information are linked (S14 ). As a result, the degree of thinking and personal identification information for each driver are stored in the thought estimated value holding unit 23 .
- the thought estimation unit 22 determines whether or not the degree of thought is held in the thought estimated value holding unit 23 for the past predetermined period (S15).
- the past predetermined period of step S15 is, for example, several days.
- the driver state estimation device 2 performs a processing operation in step S11. return.
- thought estimated value holding unit 23 stores It is saved as transition information that is information indicating the transition of the degree of thinking in .
- the thought estimation unit 22 calculates a reference value based on the transition information, and updates the reference value held by the thought estimated value holding unit 23 to the new calculated reference value (S16).
- the update frequency of the reference value may be performed each time the degree of thinking is calculated, or may be performed every predetermined time or every predetermined number of days.
- the driver's state estimation device 2 ends the processing operations of the flowchart in FIG.
- FIG. 8 is a flowchart showing processing operations when the driver's state estimation device 2 according to Embodiment 1 determines whether or not to output a warning signal.
- the driver information acquisition unit 10 acquires driver information and personal identification information (S21).
- the driver information acquisition unit 10 outputs the acquired driver information and personal identification information to the thought estimation unit 22 .
- the thought estimating unit 22 determines whether or not a predetermined period of time has elapsed since acquisition of the driver information was started (S22).
- the past predetermined period of step S22 is, for example, about several minutes.
- the driver state estimating device 2 returns the processing operation to step S21.
- the thought estimating unit 22 determines whether the driver based on the driver information for the predetermined period. (S23).
- the thought estimation unit 22 associates the estimated degree of thinking of the driver with the driver indicated by the personal identification information, and outputs the degree of thought and the personal identification information to the thought estimated value holding unit 23 .
- the thought estimating unit 22 estimates the degree of the driver's thinking about driving and the degree of thinking other than driving from the degree of thinking based on the transition information held in the thought estimated value holding unit 23. (S24). Specifically, since it can be said that the driver is thinking about driving in the range of the degree of thinking from 0 to the reference value, the thinking estimating unit 22 regards this range as the degree of thinking about driving. presume. In addition, since it can be said that the driver is thinking about something other than driving in the range where the degree of thinking is greater than the reference value, the thinking estimating unit 22 estimates that it is the degree of thinking other than driving. In other words, the thought estimation unit 22 estimates the degree of thoughts other than driving by subtracting the reference value from the degree of thoughts.
- the thought estimation unit 22 determines whether or not the estimated degree of thoughts other than driving exceeds a threshold (S25).
- the thought estimation unit 22 determines that the estimated degree of thoughts other than driving exceeds the threshold (YES in S25)
- the thought estimation unit 22 outputs a warning signal to the presentation device 30 (S26).
- the presentation device 30 presents a warning to the driver indicating that he or she is thinking about things other than driving.
- the driver notices that he or she is thinking about things other than driving, so that the driver can concentrate on driving.
- the driver's state estimation device 2 ends the processing operation of the flowchart in FIG.
- the driver state estimation device does not output a warning signal to the presentation device 30. 2 ends the processing operation of the flowchart in FIG.
- the driver state estimating device 2 of the present embodiment is based on the driver information, which is information indicating the physical features of the driver's appearance and/or the state of the driver's internal body.
- the thoughts estimating unit 22 estimates the degree of the driver's thoughts about driving and the degree of thoughts other than driving from the degree of thoughts.
- the degree of thinking about driving and the degree of thinking about things other than driving can be estimated from the degree of thinking of the driver. For example, when the degree of thinking about driving is large, it is possible not to output a warning to the driver.
- the driver's state estimation device 2 can suppress an increase in the driver's anxiety and discomfort. As a result, the driver can drive the vehicle 1 with peace of mind.
- a warning can be output to the driver when the degree of thinking other than driving is large.
- the information can be used to determine whether or not to issue a warning to the driver, and the safety of the driver driving the vehicle 1 can be ensured.
- the thinking estimator 22 calculates the reference value based on the transition information, and the degree of thinking about driving ranges from 0 to the reference value. It is estimated that there is, and the range in which the degree of thinking is greater than the reference value is estimated to be the degree of thinking other than driving.
- the reference value is calculated based on the transition information, it is possible to estimate the degree of thoughts related to driving and the degree of thoughts other than driving. If this is used to determine whether or not to issue a warning to the driver, it is possible to prevent an excessive warning from being issued. can.
- the thinking estimating unit 22 determines a threshold that is greater than the reference value by a predetermined value, and outputs a warning signal when the degree of thinking other than driving exceeds the threshold. do.
- the driver's state estimation device 2 can improve the safety of the vehicle 1 driven by the driver.
- the thoughts estimating unit 22 estimates the degree of thoughts other than driving by subtracting a reference value from the degree of thoughts, and estimates the degree of thoughts other than driving. exceeds a predetermined threshold, output a warning signal.
- the driver information includes the line-of-sight angle, line-of-sight retention time, gaze area, posture, pupil diameter, pulse, heart rate, skin At least one of electrical activity, hemoglobin concentration in blood, and electroencephalograms is included, and thought estimating unit 22 calculates gaze angle, gaze retention time, gaze area, posture, pupil diameter, pulse, heart rate, electrodermal activity, blood estimating the degree of thinking based on changes in at least one of hemoglobin concentration and electroencephalogram in the past predetermined period of time.
- equipment such as a camera sensor for detecting pupils, a steering grip sensor, a sensor for detecting contact of the driver's torso with the seat cover, a hemoglobin measuring device, etc., which are pre-installed in the vehicle 1, are used.
- driver information can be easily obtained.
- the degree of thinking is estimated, so that the accuracy of estimation can be further improved.
- the driver information acquisition unit 10 outputs the personal identification information of the driver together with the driver information. Then, based on the transition information corresponding to the personal identification information, the thought estimating unit 22 determines the degree of the driver's thinking about driving and the degree of thinking other than driving from the degree of thought held by the thought estimated value holding unit 23. to estimate
- the thought estimated value holding unit 23 holds the degree of thoughts of each driver, even when a plurality of drivers individually drive the same vehicle 1, the thoughts related to driving can be changed according to the driver.
- the degree and the degree of thoughts other than driving can be automatically estimated. Therefore, it is possible to estimate the degree of thinking about driving and the degree of thinking about things other than driving according to the driver. As a result, it is possible to further suppress an increase in each driver's sense of anxiety and discomfort.
- FIG. 9 is a block diagram showing a driver's state estimation device 2a according to the second embodiment.
- Driver state estimation device 2 a further includes vehicle information acquisition section 24 in addition to driver information acquisition section 10 , thought estimation section 22 , and thought estimated value storage section 23 .
- the vehicle information acquisition unit 24 of the present embodiment acquires predetermined driving information of the vehicle 1 driven by the driver.
- the vehicle information acquisition unit 24 outputs the acquired predetermined driving information to the thought estimation unit 22 .
- Predetermined driving information is information indicating that a predetermined driving has been performed by the driver.
- the predetermined driving is dangerous driving unlike normal driving.
- the predetermined driving includes driving such as sudden braking, sudden steering, meandering driving, and braking operation in which the brake reaction time is longer than a predetermined time.
- the vehicle information acquisition unit 24 includes, for example, a brake sensor capable of detecting sudden braking. Further, if the predetermined driving is a sharp turn and meandering driving, the vehicle information acquisition unit 24 may include, for example, a steering angle sensor of the steering wheel that can detect the sharp turning and meandering driving. In addition, in the case of a brake operation or the like in which the brake reaction time is equal to or longer than a predetermined time for a predetermined driving, the vehicle information acquisition unit 24 may include, for example, a brake sensor capable of detecting the brake reaction time. The brake reaction time is the period from when the TTC (Time to Collision) becomes equal to or less than a predetermined value until the driver steps on the brake.
- TTC Time to Collision
- TTC is the time until the preceding vehicle collides with the own vehicle when the vehicle continues to run at the current relative speed between the preceding vehicle and the own vehicle without depressing the brake.
- TTC is calculated by dividing the distance between the own vehicle and the preceding vehicle by the relative speed between the preceding vehicle and the own vehicle.
- the thought estimated value holding unit 23 of the present embodiment holds the degree of thought when the predetermined driving information is not acquired from the vehicle information acquisition unit 24 .
- the thinking estimated value holding unit 23 does not hold the degree of thinking corresponding to the predetermined driving information.
- the predetermined driving information is used to determine whether or not to sample the degree of thinking about driving. Therefore, if the predetermined driving information is an outlier, the thought estimated value holding unit 23 does not store the sampling data.
- the degree of thinking corresponding to the predetermined driving information is the degree of thinking estimated based on the driver information corresponding to the predetermined driving information.
- the driver information corresponding to the predetermined driving information is the driver information during the period when the predetermined driving is being performed.
- the thought estimation unit 22 no longer calculates the reference value from the degree of thought estimated based on the driver information corresponding to the predetermined driving information.
- FIG. 10 is a flowchart showing processing operations when the driver's state estimation device 2a according to Embodiment 2 calculates the reference value.
- the driver information acquisition unit 10 acquires driver information and personal identification information (S11).
- the driver information acquisition unit 10 outputs the acquired driver information and personal identification information to the thought estimation unit 22 .
- the thought estimating unit 22 determines whether or not a predetermined period of time has elapsed since acquisition of the driver information was started (S12).
- the driver state estimation device 2a When the thought estimating unit 22 determines that the predetermined period has not elapsed since the acquisition of the driver information started (NO in S12), the driver state estimation device 2a returns the processing operation to step S11.
- the thought estimating unit 22 determines that a predetermined period of time has elapsed since acquisition of the driver information was started (YES in S12), the thought estimating unit 22 drives based on the driver information for the predetermined period of time.
- the degree of thinking in the person is estimated (S13).
- the thought estimation unit 22 determines whether or not the predetermined driving information has been acquired (S13a).
- step S15 When the thought estimation unit 22 determines that the vehicle information acquisition unit 24 outputs the predetermined driving information and that the thought estimation unit 22 acquires the predetermined driving information (YES in S13a), the driver state estimation device 2a , the process proceeds to step S15.
- the thinking estimating unit 22 determines that the predetermined driving information has not been acquired (NO in S13a)
- the thinking estimating unit 22 calculates the estimated degree of thinking of the driver as the driving indicated by the personal identification information.
- the degree of thinking and the personal identification information are output to the thought estimated value holding unit 23 in association with the person.
- the thought estimated value holding unit 23 acquires the degree of thought and the personal identification information, and holds the degree of thought and the personal identification information in a linked state (S14). Then, the thought estimated value holding unit 23 stores the degree of thought and personal identification information for each driver.
- the thought estimation unit 22 determines whether or not the degree of thought is held in the thought estimated value holding unit 23 for the past predetermined period (S15).
- the driver state estimation device 2a performs the processing operation in step S11. return.
- thought estimated value holding unit 23 stores It is saved as transition information that is information indicating the transition of the degree of thinking in .
- the thought estimation unit 22 calculates a reference value based on the transition information, and updates the reference value held by the thought estimated value holding unit 23 to the new calculated reference value (S16).
- driver's state estimation device 2a ends the processing operations of the flowchart in FIG.
- the driver's state estimation device 2a of the present embodiment further includes the vehicle information acquisition unit 24 that acquires predetermined driving information, which is information indicating that the driver has performed predetermined driving.
- the thought estimated value holding unit 23 holds transition information when predetermined driving information is not obtained from the vehicle information obtaining unit 24, and does not retain transition information when predetermined driving information is obtained from the vehicle information obtaining unit 24.
- transition information it is possible to maintain high-precision transition information by not storing, as transition information, an outlier, such as a brake reaction time of a predetermined time or longer, as predetermined driving information. Therefore, it is possible to accurately estimate the degree of thinking about driving and the degree of thinking other than driving. As a result, it is possible to further suppress an increase in each driver's sense of anxiety and discomfort.
- FIG. 11 is a block diagram showing a driver's state estimation device 2b according to the third embodiment.
- Driver state estimation device 2 b further includes driving environment acquisition section 25 in addition to driver information acquisition section 10 , thought estimation section 22 , and thought estimated value storage section 23 .
- the driving environment acquisition unit 25 acquires the driving environment of the vehicle 1.
- the driving environment includes at least one of road conditions, current weather, time of day, and autonomous driving status. Although these operating environments are described in the present embodiment, other operating environments may be included. In the following description, the case where the driving environment is road conditions will be mainly explained, and then the case where the driving environment is the current weather, the time of day, and the state of automatic driving will be explained in order.
- the driving environment acquisition unit 25 is, for example, a camera sensor mounted on the vehicle 1, and can image the surroundings of the vehicle 1 traveling on the road as the driving environment.
- the driving environment acquisition unit 25 outputs the acquired driving environment (here, road conditions) to the thought estimation unit 22 .
- the road condition is the condition of the road on which the vehicle 1 driven by the driver travels.
- the road conditions are the intersections and junctions displayed on the display device of the vehicle 1, the degree of proximity to other vehicles around the own vehicle, and the like.
- the driving environment acquisition unit 25 also acquires whether the current road is an expressway or a general road from a navigation system (not shown) mounted on the vehicle 1 as road conditions.
- the thought estimation unit 22 adjusts the reference value according to the driving environment acquired from the driving environment acquisition unit 25. Specifically, the thought estimating unit 22 acquires the driving environment (road conditions) from the driving environment acquiring unit 25, and sets the reference value so that if the acquired driving environment (road condition) is simple, the reference value is lowered. adjust.
- a case where the road conditions are simple means, for example, a case where the vehicle 1 driven by the driver is traveling on a highway or a straight road, and there are no other vehicles around the own vehicle. etc.
- the thought estimation unit 22 acquires the driving environment (road conditions) from the driving environment acquisition unit 25, and adjusts the reference value so as to raise the reference value if the acquired driving environment (road condition) is complicated.
- the vehicle 1 driven by the driver is traveling on a general road, traveling on a curved road, or when a plurality of other vehicles are present around the own vehicle.
- the reference value so as to raise the reference value if the acquired driving environment (road condition) is complicated.
- the vehicle 1 driven by the driver is traveling on a general road, traveling on a curved road, or when a plurality of other vehicles are present around the own vehicle.
- the thought estimating unit 22 does not adjust the reference value.
- the road conditions are neither simple nor complicated, for example, the vehicle 1 driven by the driver is traveling on both an expressway and a general road such as an interchange, traveling on a gently curved road, This is the case, for example, when only one other vehicle exists around the own vehicle.
- the thoughts estimation unit 22 estimates the degree of thoughts other than driving based on the adjusted reference value.
- ⁇ Processing operation> The processing operation of the driver's state estimation device 2b in this embodiment will be described below. Specifically, a processing operation when determining whether or not to output a warning signal by calculating the degree of thoughts other than driving will be described.
- FIG. 12 is a flow chart showing processing operations when the driver's state estimation device 2b according to Embodiment 3 determines whether or not to output a warning signal.
- the driver information acquisition unit 10 acquires driver information and personal identification information (S21).
- the driver information acquisition unit 10 outputs the acquired driver information and personal identification information to the thought estimation unit 22 .
- the thought estimating unit 22 determines whether or not a predetermined period of time has elapsed since acquisition of the driver information was started (S22).
- the driver state estimating device 2b returns the processing operation to step S21.
- the thought estimating unit 22 determines whether the driver based on the driver information for the predetermined period. (S23).
- the thought estimation unit 22 associates the estimated degree of thinking of the driver with the driver indicated by the personal identification information, and outputs the degree of thought and the personal identification information to the thought estimated value holding unit 23 .
- the driving environment acquisition unit 25 acquires the driving environment (road conditions) around the running vehicle 1 (S23a).
- the driving environment acquisition unit 25 outputs the acquired driving environment (road conditions) to the thought estimation unit 22 .
- the thought estimation unit 22 acquires the driving environment (road conditions) from the driving environment acquisition unit 25, and determines whether the acquired driving environment (road conditions) is simple (S23b).
- the consideration estimation unit 22 determines that the acquired driving environment (road conditions) is simple (YES in S23b)
- the consideration estimation unit 22 reduces the reference value (S23c). Then, the driver's state estimation device 2b advances the process to step S24.
- thinking estimating unit 22 determines that the acquired driving environment (road conditions) is not simple (NO in S23b), thinking estimating unit 22 determines whether the acquired driving environment (road conditions) is complicated. (S23d).
- the consideration estimation unit 22 determines that the acquired driving environment (road conditions) is complicated (YES in S23d)
- the consideration estimation unit 22 raises the reference value (S23e). Then, the driver's state estimation device 2b advances the process to step S24.
- the thought estimating unit 22 determines that the acquired driving environment (road conditions) is not complicated (NO in S23c), the acquired driving environment (road conditions) is neither simple nor complicated. returns the reference value to the original value (S23f), and advances the process to step S24.
- the thought estimating unit 22 estimates the degree of the driver's thinking about driving and the degree of thinking other than driving from the degree of thinking based on the transition information held in the thought estimated value holding unit 23. (S24). Specifically, since it can be said that the driver is thinking about driving in the range of the degree of thinking from 0 to the reference value, the thinking estimating unit 22 regards this range as the degree of thinking about driving. presume. In addition, since it can be said that the driver is thinking about something other than driving in the range where the degree of thinking is greater than the reference value, the thinking estimating unit 22 estimates that it is the degree of thinking other than driving. In other words, the thinking estimation unit 22 estimates the degree of thinking other than driving by subtracting the reference value from the degree of thinking.
- the driving environment acquisition unit 25 acquires the driving environment (road conditions) around the running vehicle 1 (S24a).
- the driving environment acquisition unit 25 outputs the acquired driving environment (road conditions) to the thought estimation unit 22 .
- the thought estimation unit 22 acquires the driving environment (road conditions) from the driving environment acquisition unit 25, and determines whether the acquired driving environment (road conditions) is simple (S24b).
- the thought estimation unit 22 determines that the acquired driving environment (road conditions) is simple (YES in S24b)
- the thought estimation unit 22 lowers the threshold (S24c). Then, the driver's state estimation device 2b advances the process to step S25.
- thinking estimating unit 22 determines that the acquired driving environment (road conditions) is not simple (NO in S24b), thinking estimating unit 22 determines whether the acquired driving environment (road conditions) is complicated. (S24d).
- the thought estimation unit 22 determines that the acquired driving environment (road conditions) is complicated (YES in S24d)
- the thought estimation unit 22 raises the threshold (S24e). Then, the driver's state estimation device 2b advances the process to step S25.
- the thinking estimating unit 22 determines that the acquired driving environment (road conditions) is not complicated (NO in S24d), the acquired driving environment (road conditions) is neither simple nor complicated, so the thinking estimating unit 22 returns the threshold to the original value (S24f), and advances the process to step S25.
- the thought estimation unit 22 determines whether or not the estimated degree of thoughts other than driving exceeds a threshold (S25).
- the thought estimation unit 22 determines that the estimated degree of thoughts other than driving exceeds the threshold (YES in S25)
- the thought estimation unit 22 outputs a warning signal to the presentation device 30.
- the presentation device 30 presents a warning to the driver indicating that he or she is thinking about things other than driving.
- the driver notices that he or she is thinking about things other than driving, so that the driver can concentrate on driving.
- the driver's state estimation device 2b ends the processing operation of the flowchart in FIG.
- the driver state estimation device does not output a warning signal to the presentation device 30. 2b ends the processing operation of the flowchart in FIG.
- steps S23a to S23f or steps S24a to S24f in FIG. 12 may be omitted from the processing operations of the flowchart in FIG. That is, one of the processing operations of steps S23a to S23f and steps S24a to S24f is not essential.
- FIG. 13 shows a specific example of the amount of change in the reference value when the reference value is raised, lowered, or returned to the original value depending on the road conditions as the driving environment.
- FIG. 13 is a correlation diagram showing the amount of change in the reference value when the driving environment is road conditions in the third embodiment.
- the road condition is defined as the expressway ratio (%), which is the ratio of the period of traveling on the expressway to the period required to travel the entire route.
- the road condition may be defined as the ratio (%) of expressways, which is the ratio of the distance traveled on expressways to the distance required to travel all routes.
- the reference value is simply adjusted depending on whether the current road is an expressway, a general road, or whether it straddles both at an interchange, etc., but in the example of FIG.
- the percentage of expressways in all routes is defined as the road condition, and the reference value is changed according to the percentage.
- the percentage of expressways is based on the route search results of the navigation system installed in vehicle 1. From FIG. 13, according to the ratio of expressways, in the case of a route that does not use expressways (the ratio of expressways is 0%), the road conditions are complicated, so the reference value is the maximum value of the change width +0. 01 (pulled up). On the other hand, in the case of a route consisting only of expressways (the ratio of expressways being 100%), the road conditions are simple, so the reference value is reduced by -0.01, which is the minimum change width. When the ratio of expressways is greater than 0% and less than 100%, the adjustment value of the reference value is determined according to the ratio as shown in FIG.
- the ratio of expressways is 10%, +0.008 to the reference value, if the ratio of expressways is 20%, +0.006 to the reference value, and if the ratio of expressways is 30%, +0.004 with respect to the reference value, and +0.002 with respect to the reference value when the ratio of expressways is 40% (raised). Also, when the percentage of expressways is 50%, the road conditions are neither complicated nor simple, so the reference value is not changed (since the amount of change in the reference value is 0, it is returned to the original value).
- the ratio of expressways is 60%, -0.002 against the reference value
- the ratio of expressways is 70%, -0.004 against the reference value
- the ratio of expressways is 80% -0.006 to the reference value in the case where the ratio of expressways is 90%, -0.008 to the reference value (reduced).
- the amount of change in the reference value of ratios close to the numerical values shown in FIG. 13 may be used.
- the driving environment is at least one of the road conditions on which the vehicle 1 travels, the current weather, the time of day, and the automatic driving state of the vehicle 1. It becomes the structure which changes a value.
- the maximum value of the change width of the reference value is set to ⁇ 0.1
- the maximum change width of the reference value is ⁇ 0.4 because there are four types of driving environments.
- the degree of thinking is a numerical value from 0 to 1
- the reference value is also within the range from 0 to 1.
- the reference value is set as a predetermined percentile value from the minimum value when the degree of thinking of the driver based on the standard deviation of the line-of-sight angle is rearranged in ascending order.
- the maximum value of the change width (adjustment width) of the reference value is determined to be ⁇ 0.01, that is, within ⁇ 1% of the numerical range from 0 to 1 that the reference value can take.
- FIG. 13 is an example, and as explained with reference to FIG. 12, when only three types of road conditions are currently defined: an expressway, a general road, and an interchange that straddles both, the expressway
- the change width may be set to ⁇ 0.01 in the case of a normal road, +0.01 in the case of a general road, and 0 in the case of crossing both.
- FIG. 14 shows a specific example of the amount of change in the reference value for the current weather as the driving environment.
- FIG. 14 is a correlation diagram showing the amount of change in the reference value when the driving environment is the current weather according to the third embodiment. From FIG. 14, the amount of change in the reference value is changed according to the current amount of precipitation (mm/h). Specifically, as shown in FIG. 14, when the rainfall amount is 20 (mm/h) or more, the driver pays attention to driving, and the degree of thinking about driving increases.
- the reference value is the maximum +0.01.
- the reference value is the minimum -0.01. Then, in the case of an intermediate amount of precipitation, the reference value is adjusted with a change range as shown in FIG. 14 according to the amount of precipitation.
- the precipitation is 18 or more and less than 20 (mm/h), +0.008 with respect to the reference value, if the precipitation is 16 or more and less than 18 (mm/h), +0.006 with respect to the reference value, If the precipitation is 14 or more and 16 (mm/h), +0.004 to the standard value, if the precipitation is 12 or more and less than 14 (mm/h), +0.002 to the standard value (raise be done). Moreover, when the amount of precipitation is 10 or more and less than 12 (mm/h), the reference value is not changed.
- the amount of precipitation is 8 or more and less than 10 (mm/h), -0.002 to the reference value, and if the amount of precipitation is 6 or more to less than 8 (mm/h), -0.0 to the reference value.
- -0.006 against the reference value if the precipitation is 4 or more and less than 6 (mm/h), -0.00 against the reference value if the precipitation is 2 or more and less than 4 (mm/h) 008 (pulled down).
- the current amount of precipitation is obtained, for example, from the weather forecast and/or meteorological satellite information at the current location based on the location information of the navigation system. If the vehicle 1 is equipped with a rain sensor, the amount of precipitation may be estimated based on the output of the sensor, or the amount of precipitation may be corrected based on weather forecast and/or weather satellite information.
- FIG. 15 shows a specific example of the amount of change in the reference value with respect to time as the driving environment.
- FIG. 15 is a correlation diagram showing the amount of change in the reference value when the driving environment is time in the third embodiment.
- the amount of change in the reference value is changed according to the time before or after the time of sunrise and the time of sunset. Specifically, as shown in FIG. 15, at night (25 minutes or more before sunrise or 25 minutes or more after sunset), the degree of attention to driving increases, so the degree of thinking about driving increases, the reference value is the maximum +0.01. In the daytime (25 minutes or more after sunrise or 25 minutes or more before sunset), the degree of attention to driving is lower than at night, so the minimum reference value is -0.01.
- the change width of the reference value is changed approximately every five minutes. For example, 20 to 25 minutes before sunrise and 20 to 25 minutes after sunset +0.008 to the reference value, 15 to 20 minutes before sunrise and sunset +0.006 to the reference value if 15 minutes or more and less than 20 minutes after the time of , and the reference value if 10 minutes or more and less than 15 minutes before sunrise and 10 minutes or more and less than 15 minutes after sunset +0.004 to the reference value, and 5 minutes or more and less than 10 minutes before the sunrise time and 5 minutes or more and less than 10 minutes after the sunset time are increased by +0.002 to the reference value. Also, if the time is less than 5 minutes before or after the time of sunrise or sunset, the reference value is not changed.
- -0.002 against the reference value if 5 minutes or more and less than 10 minutes after sunrise and 5 minutes or more and less than 10 minutes before sunset, and 10 minutes or more and less than 15 minutes after sunrise -0.004 against the reference value if 10 minutes or more and less than 15 minutes before sunset, and if it is 15 minutes or more and less than 20 minutes after sunrise and 15 minutes or more and less than 20 minutes before sunset -0.006 to the reference value, and -0.008 to the reference value in the case of 20 minutes or more and less than 25 minutes after the sunrise time and 20 minutes or more and less than 25 minutes before the sunset time (reduced ).
- the time of sunrise and the time of sunset are obtained from the current position and date information based on the position information of the navigation system, for example.
- the range of change in the reference value may be changed according to the output from the solar radiation sensor, or the sunrise time and sunset time obtained from the positional information and date information. may be corrected.
- the range of change in the reference value is adjusted 25 minutes before and after the time of sunrise and sunset, but is not limited to this. When the height changes differently, it may be shorter in winter than 25 minutes before and after the time of sunrise or sunset, and may be longer in summer than 25 minutes before and after the time of sunrise or sunset.
- the reference values in Fig. 15 may be used as they are. However, when the weather is rainy, the driver pays more attention to driving, and the degree of thinking about driving in the driver increases.
- the change width of the reference value in FIG. 14 may be added to the width.
- a specified value may be added to the standard value depending on the combination with the time of day. Specifically, in the early morning hours and the evening hours when the weather is fine, the sun is close to the horizon, and the driver may feel dazzled by the sun's light. On the other hand, in a time zone other than the early morning time zone and the evening time zone when the weather is fine, such as the daytime time zone, the driver is less likely to feel dazzled by the sunlight. Therefore, when the weather is fine, a specified value (for example, 0.01) may be added to the change range of the reference value in FIG. In the time period of , the change width of the reference value in FIG. 15 may be used as it is. In addition, since the early morning time zone and the evening time zone change depending on the season, if the weather is fine, depending on the combination of the time and season, the above stipulations for the variation range of the reference value in FIG. values can be added.
- FIG. 16 shows a specific example of the amount of change in the reference value for the automatic driving state as the driving environment.
- FIG. 16 is a correlation diagram showing the amount of change in the reference value when the driving environment is automatic driving in the third embodiment. From FIG. 16, the amount of change in the reference value is changed according to the automatic driving level. Specifically, as shown in FIG. 16, when the automatic driving level is low such as 0 or 1, little or no automatic driving is performed, and the degree of attention to driving increases, so the degree of thinking about driving increases, the reference value is the maximum +0.01. In addition, when the automatic driving level is completely automatic driving, such as level 5, the degree of paying attention to driving decreases, so the minimum reference value is -0.01. At an automatic driving level intermediate between them, as shown in FIG.
- the change width of the reference value is changed according to the automatic driving level. For example, when the automatic driving level is 2, the reference value is increased by +0.005. Also, when the automatic driving level is 3, the reference value is not changed. When the automatic driving level is 4, the reference value is reduced by -0.005.
- the width of change of the reference value in the four driving environments is fixed at ⁇ 0.01, but this may be changed according to the driving environment. For example, for the current weather and time when the driver is more susceptible to changes in the driving environment compared to road conditions and autonomous driving conditions, weighting may be performed by doubling the variation range of the reference value to ⁇ 0.02. .
- the driver's state estimation device 2b of the present embodiment further includes the driving environment acquisition unit 25 that acquires the driving environment of the vehicle 1 driven by the driver. Then, the thought estimating unit 22 acquires the driving environment from the driving environment acquiring unit 25, and if the acquired driving environment is simple, the reference value is lowered, and if the acquired driving environment is complicated, the reference value is raised. Adjust the reference value.
- the reference value can be raised or lowered according to the driving environment, so that the degree of thinking about driving and the degree of thinking about things other than driving can be estimated with higher accuracy. Therefore, even if the driving environment becomes simpler, the reference value is lowered, so that it is possible to suppress the problem that the warning is not output to the driver. Moreover, since the reference value is raised even if the driving environment becomes complicated, it is possible to prevent an excessive warning from being output to the driver.
- the driving environment is at least one of the road conditions that are the conditions of the road on which the vehicle 1 travels, the current weather, the time, and the automatic driving state of the vehicle 1. is.
- the reference value can be adjusted multilaterally according to at least one of the driving environment such as the road conditions, the current weather, the time of day, and the state of automatic driving. An alarm can be issued.
- the driver's state estimation device has the same configuration as the driver's state estimation device 2 described in Embodiment 1, so the same components are denoted by the same reference numerals, and detailed description thereof will be omitted. . That is, the feature of the present embodiment is that the thought estimation unit 22 determines the predetermined value and the threshold according to the reference value. This will be described in detail below.
- FIG. 17 is a time-dependent change diagram of the degree of thinking when the reference value is low according to the fourth embodiment.
- FIG. 18 is a time-dependent change diagram of the degree of thinking when the reference value is high in the fourth embodiment.
- the horizontal axis indicates the time after the driver started driving
- the vertical axis indicates the degree of thinking obtained from the formula (1).
- the predetermined percentile value 5th percentile value
- This 0.2 is a reference value.
- the consideration estimating unit 22 determines a threshold that is greater than this reference value by a predetermined value, for example, if the consideration estimating unit 22 sets the predetermined value to 0.2, the threshold is set to 0.4 as shown in FIG. Become.
- FIG. 18 The vertical and horizontal axes in FIG. 18 have the same meanings as in FIG. Also in FIG. 18, it is assumed that the result of obtaining the reference value in the same manner as in FIG. 17 is 0.6. Thought estimating unit 22 determines a threshold larger than this reference value by a predetermined value. Here, this reference value (0.6) is different from FIG. Since it is a higher value, the thought estimation part 22 sets a predetermined value small. Specifically, the thought estimation unit 22 sets the predetermined value to 0.1. Therefore, as shown in FIG. 18, the threshold is 0.7.
- the thought estimating unit 22 sets the predetermined value to be larger as the reference value is lower and smaller as the reference value is higher. The reason for this is as follows.
- the current driver's degree of thinking is based on the standard deviation of the line-of-sight angle, and both show an inverse correlation as shown in FIG. Therefore, in general, a low standard value of the degree of thinking as shown in FIG. 17 indicates a large standard deviation of the line-of-sight angle, which means that the line-of-sight moves well. Therefore, drivers tend to concentrate on driving. On the other hand, a high standard value of the degree of thinking as shown in FIG. 18 indicates that the standard deviation of the line-of-sight angle is small, and the line-of-sight does not move much. Therefore, drivers tend to have many thoughts other than driving.
- the threshold is set to be significantly higher than the reference value. This reduces the possibility of false alarms.
- the predetermined value is made smaller than the reference value (0.1, which is about 0.17 times the reference value in the example of FIG. 18).
- the threshold becomes 0.7. Therefore, in the example of FIG. 18, the threshold is set slightly higher than the reference value compared to the example of FIG. As a result, the possibility that the warning will not be issued is reduced, and the warning can be issued at an early timing.
- the thought estimation unit 22 sets the predetermined value to be larger as the reference value is lower and smaller as the reference value is higher.
- the thoughts estimating unit 22 determines a threshold value that is greater than the reference value by a predetermined value. may be applied when determining a threshold for the degree of
- the threshold since the reference value is 0.2 in the example of FIG. 17, the threshold may be set to 0.2 with respect to the degree of thought after subtracting the reference value. This numerical value of 0.2 corresponds to the predetermined value in FIG.
- the reference value is 0.6, so the threshold may be set to 0.1 with respect to the degree of thought after subtracting the reference value. This numerical value of 0.1 corresponds to the predetermined value in FIG.
- the threshold is determined so that the lower the reference value, the larger the threshold, and the higher the reference value, the smaller the threshold.
- the predetermined value increases as the reference value decreases, and decreases as the reference value increases.
- the reference value when the reference value is low, there is a tendency to concentrate on driving, so increasing the predetermined value reduces the possibility of false alarms. In addition, when the reference value is high, there is a tendency to think about things other than driving.
- the threshold increases as the reference value decreases, and decreases as the reference value increases.
- the driver's state estimation device has the same configuration as the driver's state estimation device 2 described in FIG. 2 of the first embodiment. omitted.
- the feature of the present embodiment is that thought estimating section 22 outputs the degree of thought to the display section over time. This will be described in detail below.
- thought estimating section 22 is electrically connected to a display section (not shown) mounted on vehicle 1 .
- the thought estimation unit 22 has a configuration for outputting the estimated degree of thought to the display unit.
- the display unit is, for example, a liquid crystal screen of a navigation system or the like.
- the thought estimating section 22 After estimating the degree of thinking of the driver in step S13 of FIG. 7, the thought estimating section 22 outputs the result to the display section.
- the display unit displays graphs as shown in FIGS. 17 and 18 each time the degree of thought is output from the thought estimation unit 22 .
- the display unit is not limited to the configuration for displaying the graphs shown in FIGS. 17 and 18, and may be configured to display, for example, the degree of current thinking as a numerical value on the screen.
- the thought estimation unit 22 may also include a configuration for outputting the reference value and the threshold value to the display unit, and may display the reference value and the threshold value together on the screen.
- the thinking estimation unit 22 outputs the degree of thinking to the display unit over time.
- the driver state estimating devices exemplify the cases in which the driver information acquiring unit is provided in FIGS. It does not have to be provided with an acquisition unit. In other words, the driver information acquisition unit does not have to be included in the component of the driver state estimation device.
- the thought estimating unit, the driver information acquiring unit, and the like included in the driver state estimating devices according to the first to fifth embodiments are typically realized as an LSI, which is an integrated circuit. These may be made into one chip individually, or may be made into one chip so as to include part or all of them.
- circuit integration is not limited to LSIs, and may be realized with dedicated circuits or general-purpose processors.
- An FPGA Field Programmable Gate Array
- a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.
- the components such as the driver's state estimation device may be configured with dedicated hardware, or may be realized by executing a software program suitable for the components.
- the components may be implemented by a program execution unit such as a CPU or processor reading and executing a software program recorded in a recording medium such as a hard disk or semiconductor memory.
- the division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be moved to other functional blocks.
- single hardware or software may process the functions of a plurality of functional blocks having similar functions in parallel or in a time-sharing manner.
- each step in the flowchart is executed is for illustrative purposes in order to specifically describe the present disclosure, and orders other than the above may be used. Also, some of the above steps may be executed concurrently (in parallel) with other steps.
- the thought estimation unit Estimate the degree of thinking other than the driving by subtracting the reference value from the degree of thinking, outputting a warning signal if the estimated degree of non-driving thoughts exceeds a predetermined threshold;
- the driver state estimation device according to technique 2.
- the threshold increases as the reference value decreases, and decreases as the reference value increases.
- the driver information includes at least one of the line-of-sight angle, line-of-sight retention time, gaze area, posture, pupil diameter, pulse, heartbeat, electrodermal activity, blood hemoglobin concentration, and electroencephalogram obtained from the driver information acquisition unit.
- the thought estimating unit selects at least the line-of-sight angle, the line-of-sight dwell time, the gaze area, the posture, the pupil diameter, the pulse, the heartbeat, the electrodermal activity, the blood hemoglobin concentration, and the electroencephalogram. estimating the degree of thought based on a past period of variation in one;
- the driver state estimation device according to any one of Techniques 1 to 6.
- the driver information acquisition unit outputs personal identification information of the driver together with the driver information, Based on the transition information corresponding to the personal identification information, the thought estimating unit determines the degree of thoughts related to driving and the degree of thoughts other than driving of the driver from the degree of thoughts held by the thought estimated value holding unit. Estimate the degree and The driver state estimation device according to Technique 7.
- ⁇ Technology 9> further comprising a vehicle information acquisition unit that acquires predetermined driving information that is information indicating that the driver has performed predetermined driving,
- the thinking estimated value holding unit holds the degree of thinking when the predetermined driving information is not acquired from the vehicle information acquiring unit, and the predetermined driving information when the predetermined driving information is acquired from the vehicle information acquiring unit. does not retain the degree of thought corresponding to The driver state estimation device according to any one of Techniques 1 to 8.
- ⁇ Technology 10> further comprising a driving environment acquisition unit that acquires the driving environment of the vehicle driven by the driver;
- the thought estimating unit acquires the driving environment from the driving environment acquiring unit, and if the acquired driving environment is simple, lowers the reference value, and if the acquired driving environment is complicated, raises the reference value.
- the driving environment is at least one of road conditions, which are conditions of the road on which the vehicle travels, current weather, time, and an automatic driving state of the vehicle.
- the thought estimation unit outputs the degree of thought to the display unit over time, The driver state estimation device according to any one of Techniques 1 to 11.
- the present disclosure can be used for vehicles, for example.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- General Physics & Mathematics (AREA)
- Developmental Disabilities (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Traffic Control Systems (AREA)
Abstract
運転者状態推定装置(2)は、運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である運転者情報に基づいて運転者における考え事の度合いを推定する考え事推定部(22)と、過去所定期間における考え事の度合いの推移を示す情報である推移情報を保持する考え事推定値保持部(23)と、を備える。そして、考え事推定部(22)は、推移情報に基づいて、考え事の度合いから、運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する。
Description
本開示は、運転者状態推定装置に関する。
特許文献1には、マイクロサッカードが発生したときの視線角度の変化状況を含むマイクロサッカード情報を取得し、マイクロサッカード情報に基づいて監視対象者の状態を推定し、運転者の状態が注意力を欠いた状態である場合に警報を行う注意力推定システムが開示されている。
また、特許文献2には、車両が高速道路進入後の走行が安定している3分間の区間を基準区間として、基準区間のTPの個数を計数し、その個数に基づいて平常状態と漫然状態とを区分する閾値を設定し、過去3分間のTPの個数が閾値より小さい場合に、運転者の状態が漫然状態であるとして、漫然状態の告知を行う漫然状態判定装置が開示されている。
特許文献1において、推定された監視対象者の状態が注意力を欠いた状態であれば、監視対象者は運転に関する考え事をしている場合がある。また、特許文献2においても、被験者の状態が漫然状態であれば、被験者は運転に関する考え事をしている場合がある。
しかしながら、特許文献1、2では、運転に関する考え事をしていても、監視対象者及び被験者である運転者に対して警告を行ってしまうことがある。このため、運転者の不安感及び不快感を増大させてしまうという課題がある。
そこで、本開示は、運転者の不安感及び不快感の増大を抑制することができる運転者状態推定装置を提供することを目的とする。
本開示の一態様に係る運転者状態推定装置は、運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である運転者情報に基づいて前記運転者における考え事の度合いを推定する考え事推定部と、過去所定期間における前記考え事の度合いの推移を示す情報である推移情報を保持する考え事推定値保持部と、を備え、前記考え事推定部は、前記推移情報に基づいて、前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する。
本開示の運転者状態推定装置によれば、運転者の不安感及び不快感の増大を抑制することができる。
本開示の一態様に係る運転者状態推定装置は、運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である運転者情報に基づいて前記運転者における考え事の度合いを推定する考え事推定部と、過去所定期間における前記考え事の度合いの推移を示す情報である推移情報を保持する考え事推定値保持部と、を備え、前記考え事推定部は、前記推移情報に基づいて、前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する。
これによれば、推移情報に基づいて、運転者における考え事の度合いから、運転に関する考え事の度合いと運転以外の考え事の度合いとを推定することができる。例えば、運転に関する考え事の度合いが大きいときに、運転者に対して警告を出力しないようにすることができる。
したがって、この運転者状態推定装置では、運転者の不安感及び不快感の増大を抑制することができる。その結果、運転者は、安心して車両を運転することができるようになる。
特に、運転以外の考え事の度合いが大きいときに、運転者に対して警告を出力することができる。このように、運転者に対して警告を発するか否かの判断に用いることができるとともに、運転者が車両を運転するときの安全性を確保することができる。
本開示の一態様に係る運転者状態推定装置において、前記考え事推定部は、前記推移情報に基づいて基準値を算出し、前記考え事の度合いが0から前記基準値までの範囲を前記運転に関する考え事の度合いであると推定し、前記考え事の度合いが前記基準値より大きい範囲を前記運転以外の考え事の度合いであると推定する。
これによれば、推移情報に基づいて基準値を算出するため、運転に関する考え事の度合いと、運転以外の考え事の度合いとを推定することができる。これにより、運転者に対して警告を発するか否かの判断に用いれば、過剰な警告を発しないようにすることができるため、運転者の不安感及び不快感の増大をより抑制することができる。
本開示の一態様に係る運転者状態推定装置において、前記考え事推定部は、前記基準値より所定値だけ大きい閾値を決定し、前記運転以外の考え事の度合いが前記閾値を超えた場合、警告信号を出力する。
これによれば、運転以外の考え事の度合いが閾値を超えた場合、警告信号を出力するため、運転者に対して警告することができる。このため、運転者は、自身が不注意な状態で運転していたことに気付くため、集中して車両を運転するように心掛けるようになる。その結果、運転者状態推定装置は、運転者が運転する車両の安全性を高めることができる。
また、考え事の度合いが大きくても、運転以外の考え事の度合いが閾値以下の場合、つまり運転に関する考え事の度合いが大きい場合、運転者に対して警告しないため、運転者の不安感及び不快感の増大をより抑制することができる。
本開示の一態様に係る運転者状態推定装置において、前記考え事推定部は、前記考え事の度合いから前記基準値を減算することで前記運転以外の考え事の度合いを推定し、推定した前記運転以外の考え事の度合いが予め決定された閾値を超えた場合、警告信号を出力する。
この場合でも、上述と同様の作用効果を奏する。
本開示の一態様に係る運転者状態推定装置において、前記運転者情報は、運転者情報取得部より得られた視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つを含み、前記考え事推定部は、前記視線角度、前記視線滞留時間、前記注視領域、前記姿勢、前記瞳孔径、前記脈拍、前記心拍、前記皮膚電気活動、前記血中のヘモグロビン濃度及び前記脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて前記考え事の度合いを推定する。
これによれば、車両に予め搭載されている、瞳孔等を検知するカメラセンサ、ステアリングのグリップセンサ、シートカバーへの運転者の胴体の接触を検出するセンサ、ヘモグロビン測定器等の設備を用いることで、運転者情報を容易に取得することができる。
また、運転者における視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて、考え事の度合いを推定するため、推定の精度のさらなる向上を図ることができる。
本開示の一態様に係る運転者状態推定装置において、前記運転者情報取得部は、前記運転者の個人識別情報を前記運転者情報と併せて出力し、前記考え事推定部は、前記個人識別情報に対応した前記推移情報に基づいて、前記考え事推定値保持部が保持する前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する。
これによれば、運転者ごとの考え事の度合いを考え事推定値保持部が保持するため、複数の運転者が同一の車両を個別に運転する場合でも、運転者に応じた運転に関する考え事の度合いと運転以外の考え事の度合いとを自動的に推定することができる。このため、運転者に応じて、運転に関する考え事の度合いと運転以外の考え事の度合いとを推定することができる。その結果、それぞれの運転者の不安感及び不快感の増大をより抑制することができる。
本開示の一態様に係る運転者状態推定装置は、前記運転者によって所定の運転が行われたことを示す情報である所定運転情報を取得する車両情報取得部をさらに備え、前記考え事推定値保持部は、前記車両情報取得部から前記所定運転情報を取得しない場合、前記推移情報を保持し、前記車両情報取得部から前記所定運転情報を取得した場合、前記推移情報を保持しない。
これによれば、所定運転情報として例えばブレーキ反応時間が所定時間以上となる外れ値を推移情報として保持しないようにすることで、高い精度の推移情報を維持することができる。このため、運転に関する考え事の度合いと、運転以外の考え事の度合いとを精度よく推定することができる。その結果、それぞれの運転者の不安感及び不快感の増大をより抑制することができる。
本開示の一態様に係る運転者状態推定装置は、前記運転者が運転する車両の運転環境を取得する運転環境取得部をさらに備え、前記考え事推定部は、前記運転環境取得部から前記運転環境を取得し、取得した前記運転環境が単純であれば前記基準値を引き下げ、取得した前記運転環境が複雑であれば前記基準値を引き上げるように、前記基準値を調整する。
例えば、運転者において、運転環境が単純になれば運転者における運転に関する考え事の度合いが小さくなり、運転環境が複雑になれば運転者における運転に関する考え事の度合いが大きくなる傾向になる。これにより、本開示では、運転環境に応じて基準値を引き上げたり、引き下げたりすることができるため、運転に関する考え事の度合いと、運転以外の考え事の度合いとをより精度よく推定することができる。このため、運転環境が簡単になっても基準値が引き下げられるため、運転者に対して警告が出力されなくなるという不具合を抑制することができる。また、運転環境が複雑になっても基準値が引き上げられるため、運転者に対して過度に警告を出力しないようにすることができる。
本開示の一態様に係る運転者状態推定装置において、前記運転環境は、前記車両が走行する道路の状況である道路状況、現在の天気、時刻、前記車両の自動運転状態のうちの少なくともいずれかである。
これによれば、運転環境として、道路状況、現在の天気、時刻、自動運転状態の少なくとも1つにより多面的に基準値を調整できるので、基準値の精度が上がり、運転環境に応じて適切に警報を発することができる。
本開示の一態様に係る運転者状態推定装置において、前記所定値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる。
これによれば、基準値が低い状態は、運転に集中する傾向があるので、所定値を大きくすることで、警報の誤報可能性が低減される。また、基準値が高い状態は運転以外の考え事が多い傾向にあるため、所定値を小さくすることで警告されなくなる可能性を低減し、早いタイミングで警報できる。
本開示の一態様に係る運転者状態推定装置において、前記閾値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる。
これによれば、基準値が低い状態は、運転に集中する傾向なので、閾値を大きくすることで、警報の誤報可能性が低減される。また、基準値が高い状態は運転以外の考え事が多い傾向のため、閾値を小さくすることで警告されなくなる可能性を低減し、早いタイミングで警報できる。
本開示の一態様に係る運転者状態推定装置において、前記考え事推定部は、表示部へ前記考え事の度合いを経時的に出力する。
これによれば、現在の考え事度合いをリアルタイムに運転者に知らせることができるので、運転者の運転への意識を高めることができる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
(実施の形態1)
<概要>
運転者が車両を運転している場合、運転者は、何らかの考え事をするときがある。運転者における考え事は、様々であるが、運転に関する考え事と、運転以外の考え事とに分けることができる。運転者における考え事、運転に関する考え事、及び、運転以外の考え事について、図1のように度合いで示した。図1は、運転者における考え事に含まれる運転に関する考え事の度合いと運転以外の考え事の度合いとを示す図である。図1では、運転に関する考え事の度合いを斜線のハッチングで示し、運転以外の考え事の度合いを斜め格子のハッチングで示している。
<概要>
運転者が車両を運転している場合、運転者は、何らかの考え事をするときがある。運転者における考え事は、様々であるが、運転に関する考え事と、運転以外の考え事とに分けることができる。運転者における考え事、運転に関する考え事、及び、運転以外の考え事について、図1のように度合いで示した。図1は、運転者における考え事に含まれる運転に関する考え事の度合いと運転以外の考え事の度合いとを示す図である。図1では、運転に関する考え事の度合いを斜線のハッチングで示し、運転以外の考え事の度合いを斜め格子のハッチングで示している。
図1に示すように、運転者が運転に関する考え事をする場合は、例えば、運転者が注意しながら車両を運転する場合である。運転者が注意しながら車両を運転する場合は、例えば、走行する道路が狭い場合、道路の構造が複雑な場合、道路の周囲に人及び設備等の障害物が多い場合等である。つまり、運転者にとって車両を運転し難い運転環境であれば、運転者は、注意しながら車両を運転する。
運転者が運転以外の考え事をする場合は、例えば、運転者が注意せずに車両を運転できる場合である。運転者が注意せずに車両を運転できる場合は、例えば、走行する道路が広い場合、道路の構造が簡単な場合、道路の周囲に人及び設備等の障害物が存在しない場合等である。つまり、運転者にとって車両を運転し易い運転環境であれば、運転者は、運転に関する注意(考え事)の度合いが低下した状態で車両を運転する。
また、運転者Aの場合、運転者Aは、通常の運転者であり、車両を運転する場合、運転に関する考え事の度合いと、運転以外の考え事の度合いとが例えば同等である。
運転者Bの場合、運転者Bは、運転が得意な運転者であり、車両を運転する場合、運転以外の考え事の度合いが運転に関する考え事の度合いよりも大きくなる傾向にある。この場合、運転者Bは、運転以外の考え事をしており、不注意な状態と言える。
運転者Cの場合、運転者Cは、運転が苦手であるため、運転に関する考え事の度合いが運転以外の考え事の度合いに比べて大きくなる傾向にある。この場合、運転者Cは、結果的に運転者における考え事の度合いが大きくなるが、運転に集中している状態と言える。
このように、運転者の運転の習熟度によっては運転に関する考え事の度合いが異なってくる。
本実施の形態の運転者状態推定装置では、運転による考え事の度合いから運転に関する考え事の度合いと、運転以外の考え事の度合いとを推定する。
<構成と機能>
図2は、実施の形態1における運転者状態推定装置2を示すブロック図である。
図2は、実施の形態1における運転者状態推定装置2を示すブロック図である。
図2に示すように、運転者状態推定装置2は、例えば車両1等の移動体に用いられ、車両1を運転する運転者における考え事の度合いを推定することができるシステムである。
運転者状態推定装置2は、運転者情報取得部10と、考え事推定部22と、考え事推定値保持部23とを備える。
[運転者情報取得部10]
運転者情報取得部10は、運転者情報と個人識別情報とを取得する。
運転者情報取得部10は、運転者情報と個人識別情報とを取得する。
具体的には、運転者情報取得部10は、センサ11と、画像解析部12と、推定指標算出部13とを有している。センサ11は、運転者を単位時間ごとに撮像することが可能なカメラセンサである。図2では、センサ11がカメラセンサの場合を例示しているが、カメラセンサには限定されない。センサ11は、撮像した運転者の画像を画像解析部12に出力する。画像解析部12は、取得した運転者の画像を解析し、単位時間ごとの当該画像から運転者の視線角度等の運転者情報を抽出する。画像解析部12は、抽出した運転者情報を推定指標算出部13に出力する。推定指標算出部13は、運転者情報の平均値と標準偏差とを算出する。推定指標算出部13は、算出した結果を考え事推定部22に出力する。つまり、運転者情報取得部10は、運転者の個人識別情報を運転者情報と併せて考え事推定部22に出力する。
ここで、運転者情報は、運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である。具体的には、運転者情報は、運転者情報取得部10より得られた視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つを含む。
例えば、運転者情報取得部10が視線角度、視線滞留時間、注視領域、及び、瞳孔径のうちの少なくとも一つを取得する場合、運転者情報取得部10は、運転者の目を撮像することが可能なカメラセンサ等を含んでいる。
また、運転者情報取得部10が運転者の姿勢を取得する場合、運転者情報取得部10は、運転者を撮像することが可能なカメラセンサ、及び、シートカバーへの運転者の胴体の接触を検出するセンサ等を含んでいる。
また、運転者情報取得部10が運転者の脈拍、及び、心拍のうちの少なくとも一つを取得する場合、運転者情報取得部10は、運転者によるステアリングの把持を検出するグリップセンサ、及び、シートカバーへの運転者の胴体の接触を検出するセンサ等を含んでいる。
また、運転者情報取得部10が運転者の皮膚電気活動を取得する場合、運転者情報取得部10は、運転者の皮膚抵抗、皮膚インピーダンス又は皮膚電位を検出する皮膚電気活動センサ等を含んでいる。
また、運転者情報取得部10が運転者の血中のヘモグロビン濃度を取得する場合、運転者情報取得部10は、運転者の血中のヘモグロビン濃度を検出するヘモグロビン測定器等を含んでいる。
また、運転者情報取得部10が運転者の脳波を取得する場合、運転者情報取得部10は、運転者の脳波を検出する脳波計等を含んでいる。
さらに、運転者情報は、運転者の発話の回数、顔、頭部の動き、呼吸回数、体温、及び、運転操作のうちの少なくとも1つを含んでいてもよい。
また、個人識別情報は、運転者を特定することができる情報である。例えば、運転者情報取得部10は、カメラセンサ等によって運転者の身体的特徴を撮像することで、運転者を特定してもよい。また、運転者情報取得部10は、運転者が所持する端末装置から運転者を識別することが可能な情報を取得することで運転者を特定してもよい。
[考え事推定部22]
考え事推定部22は、運転者における考え事の度合いを推定する。具体的には、考え事推定部22は、運転者情報取得部10から運転者情報を取得し、取得した運転者情報に基づいて、運転者が車両1を運転しているときの運転者における考え事の度合いを推定する。具体的には、考え事推定部22は、視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて考え事の度合いを推定する。また、運転者における考え事の度合いには、運転者における運転に関する考え事の度合いと、運転者における運転以外の考え事の度合いとが含まれている。
考え事推定部22は、運転者における考え事の度合いを推定する。具体的には、考え事推定部22は、運転者情報取得部10から運転者情報を取得し、取得した運転者情報に基づいて、運転者が車両1を運転しているときの運転者における考え事の度合いを推定する。具体的には、考え事推定部22は、視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて考え事の度合いを推定する。また、運転者における考え事の度合いには、運転者における運転に関する考え事の度合いと、運転者における運転以外の考え事の度合いとが含まれている。
ここで、過去所定期間は、例えば、数分間、数時間、数日である。過去所定期間は、例えば1分間、1時間又は1日であってもよい。なお、過去所定期間を1分間、1時間又は1日として例示したが、あくまでも一例であり、過去所定期間が1分間、1時間又は1日に限定されない。
また、考え事推定部22は、運転者情報取得部10から個人識別情報を取得することで、取得した運転者情報に基づいて、個人識別情報に示される運転者に対応した考え事の度合いを推定する。
まず、考え事の度合いが大きくなる場合について、例示する。
例えば、眼球運動について、考え事の度合いが大きくなる場合とは、マイクロサッカードの頻度が増加する、瞳孔径が拡大する、視線固視が狭範囲に集中して持続時間が増大する、視線移動の大きさが減少する、視線移動の速度が減少する、顔向き相対視線変動が減少する、輻輳角が小さくなる、瞬き回数が減少する、瞬き速度が減少する、滑動性眼球運動の軌道分散が増大する場合である。
また、心拍について、考え事の度合いが大きくなる場合とは、心拍数が増加する、RRI(R-R Interval)のばらつきが減少(心拍変動が減少)する場合である。
また、皮膚電気活動について、考え事の度合いが大きくなる場合とは、皮膚コンダクタンスの増加する場合である。
また、血中のヘモグロビン濃度について、考え事の度合いが大きくなる場合とは、ヘモグロビン濃度が増加する場合である。
また、脳波について、考え事の度合いが大きくなる場合とは、脳波の振幅の減少、θ波とα波のパワースペクトルの比としてθ波が増大する、α波が減少する場合である。
他に、考え事の度合いが大きくなる場合は、運転者が会話している場合において運転者が発話する間隔が増加する、運転者の顔向きの動きが減少する、運転者における頭部の位置の変化量が減少する、運転者の呼吸が浅くなる、呼吸が速くなる、運転者の鼻下の温度が低下する、運転する車両1の操舵角の変化が小さくなる、車両1を走行させる速度が低下傾向にある場合である。
次に、考え事の度合いを推定する方法について、図3を用いて説明する。
一般的に、考え事が多くなると運転者の視線が滞留することが知られている。視線の滞留は、視線角度の変化度合いで定義される。考え事の度合いは、視線角度の標準偏差、視線角度の最大と最小の差、視線角度遷移の平均速度、又は、視線角度速度が一定範囲以内の割合等を用いることができる。ここで、視線角度とは、運転者の視線の方向が車両1の進行方向を見た場合を基準として、進行方向に対する運転者の視線の角度である。
例えば、過去所定期間における視線角度の標準偏差を用いて考え事の度合いを計算する場合、以下の式(1)により現在の運転者における考え事の度合いを計算することができる。
なお、現在の運転者における考え事の度合いは、1を超えた場合に1とみなし、0を下回った場合に0とみなす。また、視線角度の標準偏差の最大値(stddev_max)は0.1であり、視線角度の標準偏差の最小値(stddev_min)は0.02である。
例えば、過去所定期間を1分間とした場合、1秒ごとに視線角度をサンプリングして60個の視線角度から標準偏差を求めてもよい。また、過去所定期間を1分間とし、1秒間に60フレーム撮像する場合、1分間で3600個の視線角度から標準偏差を求めてもよい。
視線角度の標準偏差は、図3のように示される。図3は、視線角度の標準偏差と運転者における考え事の度合いと、視線滞留の度合いとの関係を示した図である。
図3に示すように、運転者における考え事の度合いが大きければ、視線角度の標準偏差が小さくなることが判る。また、運転者における考え事の度合いが大きければ、視線滞留する、つまり視線がほとんど動かなくなる。
一方、運転者における考え事の度合いが小さければ、視線角度の標準偏差が大きくなることが判る。また、運転者における考え事の度合いが小さければ、視線滞留しない、つまり活発に視線が動く。
次に、視線角度の標準偏差が0.02~0.1における考え事の度合いを例示する。
図4は、視線角度の標準偏差と考え事の度合いとの具体的な数値を示す図である。図5は、視線角度の標準偏差と考え事の度合いとの関係をグラフで示した図である。図5は、図4の数値に基づいて示された図である。図4及び図5の視線角度の標準偏差は、0.02~0.1の範囲である。
これにより、現在の運転者における考え事の度合いを計算することができる。
図2の説明に戻る。
図2に示すように、考え事推定部22は、個人識別情報に示される運転者と考え事の度合いとを紐付けて考え事推定値保持部23に出力する。これにより、考え事推定値保持部23は、個人識別情報に示される運転者と考え事の度合いとを紐付けた状態で保持することができる。
また、考え事推定部22は、過去所定期間における考え事の度合いを考え事推定値保持部23に出力する。このため、考え事推定部22は、時間を計測する機能を有し、当該機能を用いることで、考え事推定値保持部23に過去所定期間における考え事の度合いを保持させる。時間を計測する機能は、例えばReal Time Clockである。
また、考え事推定部22は、考え事推定値保持部23に保持されている推移情報であって、個人識別情報に対応した推移情報に基づいて、考え事の度合いから、運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する。ここで、推移情報とは、過去所定期間における考え事の度合いの推移を示す情報である。
具体的には、考え事推定部22は、推移情報に基づいて基準値を算出する。基準値は、例えば図6に示すように算出される。図6は、運転者における過去3日間の考え事の度合いを示す図である。なお、図6では、過去3日間の考え事の度合いを例示しているが、あくまでも一例であり、考え事の度合いは過去3日間に限定されない。
図2及び図6に示すように、基準値は、考え事推定値保持部23に保持されている推移情報、つまり、過去所定期間における考え事の度合いに基づいて算出される。例えば、基準値は、運転者における考え事の度合いを昇順通りに並べ替えたときの最小値から所定のパーセンタイル値を基準値として設定されることで算出される。所定のパーセンタイル値は、具体的には、5パーセンタイル値である。所定のパーセンタイル値は、数パーセンタイル値であればよく、5パーセンタイル値に限定されない。
これにより、考え事推定部22は、考え事の度合いが0から基準値までの範囲を運転に関する考え事の度合いであると推定する。また、考え事推定部22は、考え事の度合いが基準値より大きい範囲を運転以外の考え事の度合いであると推定する。言い換えれば、考え事推定部22は、考え事の度合いから基準値を減算することで運転以外の考え事の度合いを推定する。
また、基準値は、考え事推定部22によって運転者ごとに算出される。このため、考え事推定部22は、運転者ごとに考え事の度合い、運転に関する考え事の度合い、及び、運転以外の考え事の度合いを推定することができる。
また、考え事推定部22は、推定した運転者における考え事の度合いに基づいて、過去所定期間における運転者における考え事の度合いの推移を示す情報である推移情報を生成し、考え事推定値保持部23に保持されている推移情報を更新する。
また、考え事推定部22は、推定した運転以外の考え事の度合いが閾値を超えた場合、警告信号を提示装置30に出力する。ここで、提示装置30は、例えば、スピーカ等の音響装置、文字及び映像等を表示する表示装置、光を点灯又は点滅させる点灯装置等である。これにより、運転以外の考え事を沢山している運転者に対して警告を出すことができる。言い換えれば、運転に関する考え事が閾値を超えても、運転に関する考え事を沢山している運転者に対して警告を出さないようにすることができる。
ここで、閾値は、予め決定された値であってもよい。また、閾値は、基準値より所定値だけ大きい値として決定してもよい。
[考え事推定値保持部23]
考え事推定値保持部23は、運転者における過去所定期間の考え事の度合いの推移を示す情報である推移情報を保持する。また、考え事推定値保持部23は、個人識別情報に示される運転者と推移情報とを紐付けた状態で保持している。
考え事推定値保持部23は、運転者における過去所定期間の考え事の度合いの推移を示す情報である推移情報を保持する。また、考え事推定値保持部23は、個人識別情報に示される運転者と推移情報とを紐付けた状態で保持している。
また、考え事推定値保持部23は、考え事推定部22が生成した過去所定期間における推移情報を新しい推移情報に更新することができる。
考え事推定値保持部23は、例えば、RAM(Random Access Memory)及びROM(Read Only Memory)等の一次記憶装置を含む。また、考え事推定値保持部23は、SSD(Solid State Drive)等の二次記憶装置、SDカード等の三次記憶装置を含んでいてもよい。
<処理動作>
以下、本実施の形態における運転者状態推定装置2の処理動作について説明する。具体的には、運転者状態推定装置2における基準値の算出する場合の処理動作、運転以外の考え事の度合いを算出して警告信号を出力するか否か決定する場合の処理動作について説明する。
以下、本実施の形態における運転者状態推定装置2の処理動作について説明する。具体的には、運転者状態推定装置2における基準値の算出する場合の処理動作、運転以外の考え事の度合いを算出して警告信号を出力するか否か決定する場合の処理動作について説明する。
[動作例1]
まず、運転者状態推定装置2における基準値を算出する処理動作について説明する。図7は、実施の形態1における運転者状態推定装置2が基準値を算出した場合の処理動作を示すフローチャートである。
まず、運転者状態推定装置2における基準値を算出する処理動作について説明する。図7は、実施の形態1における運転者状態推定装置2が基準値を算出した場合の処理動作を示すフローチャートである。
図7に示すように、運転者情報取得部10は、運転者情報と個人識別情報とを取得する(S11)。運転者情報取得部10は、取得した運転者情報及び個人識別情報を、考え事推定部22に出力する。
次に、考え事推定部22は、運転者情報の取得を開始してから所定期間が経過したか否かを判定する、つまり、過去所定期間の運転者情報を取得したか否かを判定する(S12)。ステップS12の過去所定期間は、例えば、数分程度である。
運転者情報の取得を開始してから所定期間が経過していないことを、考え事推定部22が判定した場合(S12でNO)、運転者状態推定装置2は、ステップS11に処理動作を戻す。
一方、運転者情報の取得を開始してから所定期間が経過したことを、考え事推定部22が判定すると(S12でYES)、考え事推定部22は、所定期間の運転者情報に基づいて運転者における考え事の度合いを推定する(S13)。考え事推定部22は、推定した運転者における考え事の度合いを、個人識別情報に示される運転者に紐付けて、考え事の度合いと個人識別情報とを考え事推定値保持部23に出力する。
次に、考え事推定値保持部23は、考え事の度合いと個人識別情報とを取得し、考え事の度合いと個人識別情報とを紐付けた状態で、考え事の度合い及び個人識別情報を保持する(S14)。これにより、考え事推定値保持部23には、運転者ごとの考え事の度合い及び個人識別情報が記憶されることとなる。
次に、考え事推定部22は、考え事の度合いが過去所定期間分、考え事推定値保持部23に保持されているか否かを判定する(S15)。ステップS15の過去所定期間は、例えば、数日程度である。
考え事の度合いが過去所定期間分、考え事推定値保持部23に保持されていないことを、考え事推定部22が判定した場合(S15でNO)、運転者状態推定装置2は、ステップS11に処理動作を戻す。
一方、考え事の度合いが過去所定期間分、考え事推定値保持部23に保持されたことを、考え事推定部22が判定した場合(S15でYES)、考え事推定値保持部23には、過去所定期間における考え事の度合いの推移を示す情報である推移情報として保存される。
次に、考え事推定部22は、推移情報に基づいて基準値を算出し、考え事推定値保持部23が保持している基準値を、算出した新しい基準値に更新する(S16)。なお、基準値の更新頻度は、考え事の度合いの算出ごとに行ってもよく、所定時間又は所定日数ごとに行ってもよい。
そして、運転者状態推定装置2は、図7におけるフローチャートの処理動作を終了する。
[動作例2]
次に、運転以外の考え事の度合いを算出して警告信号を出力するか否か決定する場合の処理動作について説明する。図8は、実施の形態1における運転者状態推定装置2が警告信号を出力するか否か決定する場合の処理動作を示すフローチャートである。
次に、運転以外の考え事の度合いを算出して警告信号を出力するか否か決定する場合の処理動作について説明する。図8は、実施の形態1における運転者状態推定装置2が警告信号を出力するか否か決定する場合の処理動作を示すフローチャートである。
図8に示すように、運転者情報取得部10は、運転者情報と個人識別情報とを取得する(S21)。運転者情報取得部10は、取得した運転者情報及び個人識別情報を、考え事推定部22に出力する。
次に、考え事推定部22は、運転者情報の取得を開始してから所定期間が経過したか否かを判定する(S22)。ステップS22の過去所定期間は、例えば、数分程度である。
運転者情報の取得を開始してから所定期間が経過していないことを、考え事推定部22が判定した場合(S22でNO)、運転者状態推定装置2は、ステップS21に処理動作を戻す。
一方、運転者情報の取得を開始してから所定期間が経過したことを、考え事推定部22が判定すると(S22でYES)、考え事推定部22は、所定期間の運転者情報に基づいて運転者における考え事の度合いを推定する(S23)。考え事推定部22は、推定した運転者における考え事の度合いを、個人識別情報に示される運転者に紐付けて、考え事の度合いと個人識別情報とを考え事推定値保持部23に出力する。
次に、考え事推定部22は、考え事推定値保持部23に保持されている推移情報に基づいて、考え事の度合いから、運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する(S24)。具体的には、考え事の度合いが0から基準値までの範囲について、運転者が運転に関する何らかの考え事をしていると言えるため、考え事推定部22は、当該範囲を運転に関する考え事の度合いであると推定する。また、考え事の度合いが基準値より大きい範囲について、運転者が運転以外の考え事をしていると言えるため、考え事推定部22は、運転以外の考え事の度合いであると推定する。言い換えれば、考え事推定部22は、考え事の度合いから基準値を減算することで運転以外の考え事の度合いを推定する。
次に、考え事推定部22は、推定した運転以外の考え事の度合いが閾値を超えたか否かを判定する(S25)。
推定した運転以外の考え事の度合いが閾値を超えたことを、考え事推定部22が判定した場合(S25でYES)、考え事推定部22は、警告信号を提示装置30に出力する(S26)。これにより、提示装置30は、運転以外の考え事をしていることを示す警告を運転者に対して提示する。これにより、運転者は、運転以外の考え事をしていることに気付くため、運転に集中することができる。そして、運転者状態推定装置2は、図8におけるフローチャートの処理動作を終了する。
一方、推定した運転以外の考え事の度合いが閾値を超えていないことを、考え事推定部22が判定した場合(S25でNO)、警告信号を提示装置30に出力せずに、運転者状態推定装置2は、図8におけるフローチャートの処理動作を終了する。
<作用効果>
次に、本実施の形態における運転者状態推定装置2の作用効果について説明する。
次に、本実施の形態における運転者状態推定装置2の作用効果について説明する。
上述したように、本実施の形態の運転者状態推定装置2は、運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である運転者情報に基づいて運転者における考え事の度合いを推定する考え事推定部22と、過去所定期間における考え事の度合いの推移を示す情報である推移情報を保持する考え事推定値保持部23と、を備える。そして、考え事推定部22は、推移情報に基づいて、考え事の度合いから、運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する。
これによれば、推移情報に基づいて、運転者における考え事の度合いから、運転に関する考え事の度合いと運転以外の考え事の度合いとを推定することができる。例えば、運転に関する考え事の度合いが大きいときに、運転者に対して警告を出力しないようにすることができる。
したがって、この運転者状態推定装置2では、運転者の不安感及び不快感の増大を抑制することができる。その結果、運転者は、安心して車両1を運転することができるようになる。
特に、運転以外の考え事の度合いが大きいときに、運転者に対して警告を出力することができる。このように、運転者に対して警告を発するか否かの判断に用いることができるとともに、運転者が車両1を運転するときの安全性を確保することができる。
本開示の一態様に係る運転者状態推定装置2において、考え事推定部22は、推移情報に基づいて基準値を算出し、考え事の度合いが0から基準値までの範囲を運転に関する考え事の度合いであると推定し、考え事の度合いが基準値より大きい範囲を運転以外の考え事の度合いであると推定する。
これによれば、推移情報に基づいて基準値を算出するため、運転に関する考え事の度合いと、運転以外の考え事の度合いとを推定することができる。これにより、運転者に対して警告を発するか否かの判断に用いれば、過剰な警告を発しないようにすることができるため、運転者の不安感及び不快感の増大をより抑制することができる。
本開示の一態様に係る運転者状態推定装置2において、考え事推定部22は、基準値より所定値だけ大きい閾値を決定し、運転以外の考え事の度合いが閾値を超えた場合、警告信号を出力する。
これによれば、運転以外の考え事の度合いが閾値を超えた場合、警告信号を出力するため、運転者に対して警告することができる。このため、運転者は、自身が不注意な状態で運転していたことに気付くため、集中して車両1を運転するように心掛けるようになる。その結果、運転者状態推定装置2は、運転者が運転する車両1の安全性を高めることができる。
また、考え事の度合いが大きくても、運転以外の考え事の度合いが閾値以下の場合、つまり運転に関する考え事の度合いが大きい場合、運転者に対して警告しないため、運転者の不安感及び不快感の増大をより抑制することができる。
本開示の一態様に係る運転者状態推定装置2において、考え事推定部22は、考え事の度合いから基準値を減算することで運転以外の考え事の度合いを推定し、推定した運転以外の考え事の度合いが予め決定された閾値を超えた場合、警告信号を出力する。
この場合でも、上述と同様の作用効果を奏する。
本開示の一態様に係る運転者状態推定装置2において、運転者情報は、運転者情報取得部10より得られた視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つを含み、考え事推定部22は、視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて考え事の度合いを推定する。
これによれば、車両1に予め搭載されている、瞳孔等を検知するカメラセンサ、ステアリングのグリップセンサ、シートカバーへの運転者の胴体の接触を検出するセンサ、ヘモグロビン測定器等の設備を用いることで、運転者情報を容易に取得することができる。
また、運転者における視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて、考え事の度合いを推定するため、推定の精度のさらなる向上を図ることができる。
本開示の一態様に係る運転者状態推定装置2において、運転者情報取得部10は、運転者の個人識別情報を運転者情報と併せて出力する。そして、考え事推定部22は、個人識別情報に対応した推移情報に基づいて、考え事推定値保持部23が保持する考え事の度合いから、運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する。
これによれば、運転者ごとの考え事の度合いを考え事推定値保持部23が保持するため、複数の運転者が同一の車両1を個別に運転する場合でも、運転者に応じた運転に関する考え事の度合いと運転以外の考え事の度合いとを自動的に推定することができる。このため、運転者に応じて、運転に関する考え事の度合いと運転以外の考え事の度合いとを推定することができる。その結果、それぞれの運転者の不安感及び不快感の増大をより抑制することができる。
(実施の形態2)
本実施の形態では、図9に示すように、運転者状態推定装置2aが車両情報取得部24をさらに備える点で実施の形態1の運転者状態推定装置と相違する。本実施の形態おける他の構成は、特に明記しない場合は、実施の形態1と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。図9は、実施の形態2における運転者状態推定装置2aを示すブロック図である。
本実施の形態では、図9に示すように、運転者状態推定装置2aが車両情報取得部24をさらに備える点で実施の形態1の運転者状態推定装置と相違する。本実施の形態おける他の構成は、特に明記しない場合は、実施の形態1と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。図9は、実施の形態2における運転者状態推定装置2aを示すブロック図である。
<構成と機能>
運転者状態推定装置2aは、運転者情報取得部10、考え事推定部22、及び、考え事推定値保持部23の他に、車両情報取得部24をさらに備える。
運転者状態推定装置2aは、運転者情報取得部10、考え事推定部22、及び、考え事推定値保持部23の他に、車両情報取得部24をさらに備える。
本実施の形態の車両情報取得部24は、運転者が運転する車両1の所定運転情報を取得する。車両情報取得部24は、取得した所定運転情報を考え事推定部22に出力する。
所定運転情報とは、運転者によって所定の運転が行われたことを示す情報である。ここで、所定の運転とは、通常の運転とは異なり、危険を伴う運転である。例えば、所定の運転とは、急ブレーキ、急ハンドル、蛇行運転、ブレーキ反応時間が所定時間以上となるブレーキ操作等の運転である。
所定の運転が急ブレーキである場合、車両情報取得部24は、例えば、急ブレーキを検知することができるブレーキセンサを含んでいる。また、所定の運転が急ハンドル及び蛇行運転の場合、車両情報取得部24は、例えば、急ハンドル及び蛇行運転を検知することができるハンドルの操舵角センサを含んでいてもよい。また、所定の運転についてブレーキ反応時間が所定時間以上となるブレーキ操作等である場合、車両情報取得部24は、例えば、ブレーキ反応時間を検知することができるブレーキセンサを含んでいてもよい。ブレーキ反応時間は、TTC(Time to Collision)が所定値以下になってから運転者がブレーキを踏むまでの期間である。TTCとは、先行車両と自車両との現在の相対速度でブレーキを踏むことなく走行し続けたときに先行車両と自車両とが衝突するまでの時間である。TTCは、自車両と先行車両との距離を先行車両と自車両との相対速度で割ることで算出される。
本実施の形態の考え事推定値保持部23は、車両情報取得部24から所定運転情報を取得しない場合、考え事の度合いを保持する。一方、考え事推定値保持部23は、車両情報取得部24から所定運転情報を取得した場合、つまり所定の運転が行われた場合、所定運転情報に対応する考え事の度合いを保持しない。所定運転情報は、運転に関する考え事の度合いをサンプリングするか否かの判断に用いる。このため、所定運転情報が外れ値であれば、考え事推定値保持部23は、サンプリングデータを保存しない。
ここで、所定運転情報に対応する考え事の度合いとは、所定運転情報に対応する運転者情報に基づいて推定した考え事の度合いである。また、所定運転情報に対応する運転者情報とは、所定の運転が行われている期間の運転者情報である。
このため、考え事推定部22は、所定運転情報に対応する運転者情報に基づいて推定した考え事の度合いから基準値を算出しなくなる。
<処理動作>
以下、本実施の形態における運転者状態推定装置2aの処理動作について説明する。具体的には、運転者状態推定装置2aにおける基準値の算出する場合の処理動作について説明する。なお、図10において、図7と同一の処理については、同一の符号を付し、適宜説明を省略する。
以下、本実施の形態における運転者状態推定装置2aの処理動作について説明する。具体的には、運転者状態推定装置2aにおける基準値の算出する場合の処理動作について説明する。なお、図10において、図7と同一の処理については、同一の符号を付し、適宜説明を省略する。
図10は、実施の形態2における運転者状態推定装置2aが基準値を算出した場合の処理動作を示すフローチャートである。
図10に示すように、運転者情報取得部10は、運転者情報と個人識別情報とを取得する(S11)。運転者情報取得部10は、取得した運転者情報及び個人識別情報を、考え事推定部22に出力する。
次に、考え事推定部22は、運転者情報の取得を開始してから所定期間が経過したか否かを判定する(S12)。
運転者情報の取得を開始してから所定期間が経過していないことを、考え事推定部22が判定した場合(S12でNO)、運転者状態推定装置2aは、ステップS11に処理動作を戻す。
一方、運転者情報の取得を開始してから所定期間が経過したことを、考え事推定部22が判定した場合(S12でYES)、考え事推定部22は、所定期間の運転者情報に基づいて運転者における考え事の度合いを推定する(S13)。
次に、考え事推定部22は、所定運転情報を取得したか否かを判定する(S13a)。
車両情報取得部24が所定運転情報を出力することで、考え事推定部22が所定運転情報を取得したことを、考え事推定部22が判定した場合(S13aでYES)、運転者状態推定装置2aは、ステップS15に処理を進める。
一方、所定運転情報を取得していないことを、考え事推定部22が判定した場合(S13aでNO)、考え事推定部22は、推定した運転者における考え事の度合いを、個人識別情報に示される運転者に紐付けて、考え事の度合いと個人識別情報とを考え事推定値保持部23に出力する。これにより、考え事推定値保持部23は、考え事の度合いと個人識別情報とを取得し、考え事の度合いと個人識別情報とを紐付けた状態で保持する(S14)。そして、考え事推定値保持部23には、運転者ごとの考え事の度合い及び個人識別情報が記憶されることとなる。
考え事推定部22は、考え事の度合いが過去所定期間分、考え事推定値保持部23に保持されているか否かを判定する(S15)。
考え事の度合いが過去所定期間分、考え事推定値保持部23に保持されていないことを、考え事推定部22が判定した場合(S15でNO)、運転者状態推定装置2aは、ステップS11に処理動作を戻す。
一方、考え事の度合いが過去所定期間分、考え事推定値保持部23に保持されたことを、考え事推定部22が判定した場合(S15でYES)、考え事推定値保持部23には、過去所定期間における考え事の度合いの推移を示す情報である推移情報として保存される。
次に、考え事推定部22は、推移情報に基づいて基準値を算出し、考え事推定値保持部23が保持している基準値を、算出した新しい基準値に更新する(S16)。
そして、運転者状態推定装置2aは、図10におけるフローチャートの処理動作を終了する。
<作用効果>
次に、本実施の形態における運転者状態推定装置2aの作用効果について説明する。
次に、本実施の形態における運転者状態推定装置2aの作用効果について説明する。
上述したように、本実施の形態の運転者状態推定装置2aは、運転者によって所定の運転が行われたことを示す情報である所定運転情報を取得する車両情報取得部24をさらに備える。そして、考え事推定値保持部23は、車両情報取得部24から所定運転情報を取得しない場合、推移情報を保持し、車両情報取得部24から所定運転情報を取得した場合、推移情報を保持しない。
これによれば、所定運転情報として例えばブレーキ反応時間が所定時間以上となる外れ値を推移情報として保持しないようにすることで、高い精度の推移情報を維持することができる。このため、運転に関する考え事の度合いと、運転以外の考え事の度合いとを精度よく推定することができる。その結果、それぞれの運転者の不安感及び不快感の増大をより抑制することができる。
(実施の形態3)
本実施の形態では、図11に示すように、運転者状態推定装置2bが運転環境取得部25をさらに備える点で実施の形態1等の運転者状態推定装置と相違する。本実施の形態おける他の構成は、特に明記しない場合は、実施の形態1等と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。図11は、実施の形態3における運転者状態推定装置2bを示すブロック図である。
本実施の形態では、図11に示すように、運転者状態推定装置2bが運転環境取得部25をさらに備える点で実施の形態1等の運転者状態推定装置と相違する。本実施の形態おける他の構成は、特に明記しない場合は、実施の形態1等と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。図11は、実施の形態3における運転者状態推定装置2bを示すブロック図である。
<構成と機能>
運転者状態推定装置2bは、運転者情報取得部10、考え事推定部22、及び、考え事推定値保持部23の他に、運転環境取得部25をさらに備える。
運転者状態推定装置2bは、運転者情報取得部10、考え事推定部22、及び、考え事推定値保持部23の他に、運転環境取得部25をさらに備える。
運転環境取得部25は、車両1の運転環境を取得する。運転環境には、道路状況、現在の天気、時刻、自動運転状態のうちの少なくともいずれかが挙げられる。本実施の形態では、これらの運転環境について説明するが、それ以外の運転環境が含まれていてもよい。また、以下の説明では、運転環境が道路状況である場合について主に説明を行い、次に、運転環境が現在の天気、時刻、自動運転状態の場合について順に説明する。
運転環境取得部25は、例えば車両1に搭載されたカメラセンサであり、運転環境として、道路を走行する車両1の周囲を撮像することができる。運転環境取得部25は、取得した運転環境(ここでは道路状況)を考え事推定部22に出力する。ここで、道路状況とは、運転者が運転する車両1が走行する道路の状況である。例えば、道路状況とは、車両1の表示装置に表示された交差点及び合流地点、自車両の周辺に存在する他車両との近接度合い等を示す状況である。また、運転環境取得部25は、道路状況として、車両1に搭載されているナビゲーションシステム(図示せず)から現在の道路が高速道路であるか一般道であるかを取得する。
考え事推定部22は、運転環境取得部25から取得した運転環境に応じて基準値を調節する。具体的には、考え事推定部22は、運転環境取得部25から運転環境(道路状況)を取得し、取得した運転環境(道路状況)が単純であれば基準値を引き下げるように、基準値を調整する。道路状況が単純な場合とは、例えば、運転者の運転する車両1が高速道路を走行していたり、直線道路を走行しており、自車両の周囲に他車両が存在していなかったりする場合等である。
また、考え事推定部22は、運転環境取得部25から運転環境(道路状況)を取得し、取得した運転環境(道路状況)が複雑であれば基準値を引き上げるように、基準値を調整する。道路状況が複雑な場合とは、例えば、運転者の運転する車両1が一般道路を走行していたり、曲線状の道路を走行していたり、自車両の周囲に複数台の他車両が存在していたりする場合等である。
また、考え事推定部22は、運転環境取得部25から取得した運転環境(道路状況)が単純でも複雑でもない場合、基準値を調節しない。道路状況が単純でも複雑でもない場合とは、例えば、運転者の運転する車両1がインターチェンジなど高速道路と一般道路を両方に跨って走行していたり、緩い曲線状の道路を走行していたり、自車両の周囲に1台の他車両だけが存在していたりする場合等である。
このように、考え事推定部22は、調節した基準値に基づいて運転以外の考え事の度合いを推定する。
<処理動作>
以下、本実施の形態における運転者状態推定装置2bの処理動作について説明する。具体的には、運転以外の考え事の度合いを算出して警告信号を出力するか否か決定する場合の処理動作について説明する。
以下、本実施の形態における運転者状態推定装置2bの処理動作について説明する。具体的には、運転以外の考え事の度合いを算出して警告信号を出力するか否か決定する場合の処理動作について説明する。
図12は、実施の形態3における運転者状態推定装置2bが警告信号を出力するか否か決定する場合の処理動作を示すフローチャートである。
図12に示すように、運転者情報取得部10は、運転者情報と個人識別情報とを取得する(S21)。運転者情報取得部10は、取得した運転者情報及び個人識別情報を、考え事推定部22に出力する。
次に、考え事推定部22は、運転者情報の取得を開始してから所定期間が経過したか否かを判定する(S22)。
運転者情報の取得を開始してから所定期間が経過していないことを、考え事推定部22が判定した場合(S22でNO)、運転者状態推定装置2bは、ステップS21に処理動作を戻す。
一方、運転者情報の取得を開始してから所定期間が経過したことを、考え事推定部22が判定すると(S22でYES)、考え事推定部22は、所定期間の運転者情報に基づいて運転者における考え事の度合いを推定する(S23)。考え事推定部22は、推定した運転者における考え事の度合いを、個人識別情報に示される運転者に紐付けて、考え事の度合いと個人識別情報とを考え事推定値保持部23に出力する。
次に、運転環境取得部25は、走行する車両1の周囲における運転環境(道路状況)を取得する(S23a)。運転環境取得部25は、取得した運転環境(道路状況)を考え事推定部22に出力する。
次に、考え事推定部22は、運転環境取得部25から運転環境(道路状況)を取得し、取得した運転環境(道路状況)が単純であるか否かを判定する(S23b)。
取得した運転環境(道路状況)が単純であることを、考え事推定部22が判定した場合(S23bでYES)、考え事推定部22は、基準値を引き下げる(S23c)。そして、運転者状態推定装置2bは、ステップS24に処理を進める。
一方、取得した運転環境(道路状況)が単純でないことを、考え事推定部22が判定した場合(S23bでNO)、考え事推定部22は、取得した運転環境(道路状況)が複雑であるか否かを判定する(S23d)。
取得した運転環境(道路状況)が複雑であることを、考え事推定部22が判定した場合(S23dでYES)、考え事推定部22は、基準値を引き上げる(S23e)。そして、運転者状態推定装置2bは、ステップS24に処理を進める。
一方、取得した運転環境(道路状況)が複雑でないことを、考え事推定部22が判定した場合(S23cでNO)、取得した運転環境(道路状況)は単純でも複雑でもないため、考え事推定部22は、基準値を元の値に戻し(S23f)、ステップS24に処理を進める。
次に、考え事推定部22は、考え事推定値保持部23に保持されている推移情報に基づいて、考え事の度合いから、運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する(S24)。具体的には、考え事の度合いが0から基準値までの範囲について、運転者が運転に関する何らかの考え事をしていると言えるため、考え事推定部22は、当該範囲を運転に関する考え事の度合いであると推定する。また、考え事の度合いが基準値より大きい範囲について、運転者が運転以外の考え事をしていると言えるため、考え事推定部22は、運転以外の考え事の度合いであると推定する。言い換えれば、考え事推定部22は、考え事の度合いから基準値を減算することで運転以外の考え事の度合いを推定する。
次に、運転環境取得部25は、走行する車両1の周囲における運転環境(道路状況)を取得する(S24a)。運転環境取得部25は、取得した運転環境(道路状況)を考え事推定部22に出力する。
次に、考え事推定部22は、運転環境取得部25から運転環境(道路状況)を取得し、取得した運転環境(道路状況)が単純であるか否かを判定する(S24b)。
取得した運転環境(道路状況)が単純であることを、考え事推定部22が判定した場合(S24bでYES)、考え事推定部22は、閾値を引き下げる(S24c)。そして、運転者状態推定装置2bは、ステップS25に処理を進める。
一方、取得した運転環境(道路状況)が単純でないことを、考え事推定部22が判定した場合(S24bでNO)、考え事推定部22は、取得した運転環境(道路状況)が複雑であるか否かを判定する(S24d)。
取得した運転環境(道路状況)が複雑であることを、考え事推定部22が判定した場合(S24dでYES)、考え事推定部22は、閾値を引き上げる(S24e)。そして、運転者状態推定装置2bは、ステップS25に処理を進める。
一方、取得した運転環境(道路状況)が複雑でないことを、考え事推定部22が判定した場合(S24dでNO)、取得した運転環境(道路状況)は単純でも複雑でもないため、考え事推定部22は、閾値を元の値に戻し(S24f)、ステップS25に処理を進める。
次に、考え事推定部22は、推定した運転以外の考え事の度合いが閾値を超えたか否かを判定する(S25)。
推定した運転以外の考え事の度合いが閾値を超えたことを、考え事推定部22が判定した場合(S25でYES)、考え事推定部22は、警告信号を提示装置30に出力する。これにより、提示装置30は、運転以外の考え事をしていることを示す警告を運転者に対して提示する。これにより、運転者は、運転以外の考え事をしていることに気付くため、運転に集中することができる。そして、運転者状態推定装置2bは、図12におけるフローチャートの処理動作を終了する。
一方、推定した運転以外の考え事の度合いが閾値を超えていないことを、考え事推定部22が判定した場合(S25でNO)、警告信号を提示装置30に出力せずに、運転者状態推定装置2bは、図12におけるフローチャートの処理動作を終了する。
なお、図12におけるステップS23a~S23f又はステップS24a~S24fは、図12におけるフローチャートの処理動作から省略されてもよい。つまり、ステップS23a~S23f及びステップS24a~S24fのうちの何れか一方の処理動作は、必須ではない。
ここで、運転環境としての道路状況に応じて、基準値を引き上げたり、基準値を引き下げたり、基準値を元に戻したりする場合の、基準値の変化量の具体例を図13に示す。図13は、実施の形態3における運転環境が道路状況である際の基準値の変化量を示す相関図である。図13において、道路状況は、全経路の走行に要する期間において高速道路を走行する期間が占める割合である高速道路の割合(%)であると定義する。または、道路状況は、全経路の走行に要する距離において高速道路を走行する距離が占める割合である高速道路の割合(%)であると定義してもよい。つまり、図12では単に現在の道路が高速道路であるか、一般道であるか、あるいは、インターチェンジなどで両方に跨っているかに応じて基準値を調整していたが、図13の例では、全経路における高速道路の割合を道路状況と定義し、当該割合に応じて基準値を変化させている。
高速道路の割合は、車両1に搭載されているナビゲーションシステムの経路検索の結果に基づく。図13より、高速道路の割合に応じ、高速道路を使わない経路(高速道路の割合が0%)の場合は、道路状況が複雑であるので、基準値は変化幅の最大値である+0.01される(引き上げられる)。一方、高速道路だけの経路(高速道路の割合が100%)の場合は、道路状況が単純であるので、基準値は変化幅の最小値である-0.01される(引き下げられる)。高速道路の割合が0%より大きく100%未満の場合は、割合に応じて図13に示すように基準値の加減値が決まる。例えば、高速道路の割合が10%の場合は基準値に対して+0.008、高速道路の割合が20%の場合は基準値に対して+0.006、高速道路の割合が30%の場合は基準値に対して+0.004、高速道路の割合が40%の場合は基準値に対して+0.002される(引き上げられる)。また、高速道路の割合が50%の場合は、道路状況が複雑でも単純でもないため、基準値は変化させない(基準値の変化量は0のため、元に戻すことになる)。また、高速道路の割合が60%の場合は基準値に対して-0.002、高速道路の割合が70%の場合は基準値に対して-0.004、高速道路の割合が80%の場合は基準値に対して-0.006、高速道路の割合が90%の場合は基準値に対して-0.008される(引き下げられる)。また、図13に記載のない高速道路の割合の場合は、図13に記載される数値に近い割合の基準値の変化量を用いればよい。
なお、基準値の変化幅の最大値として±0.01としたのは、以下の理由による。
本実施の形態では、運転環境として、車両1が走行する道路の状況である道路状況、現在の天気、時刻、車両1の自動運転状態のうちの少なくともいずれかとしており、それらに対してそれぞれ基準値を変化させる構成となる。この場合、例えば基準値の変化幅の最大値をそれぞれ±0.1に設定したとすると、運転環境が4種類あるので、基準値が最大で±0.4の変化幅となる。一方、考え事の度合いは0から1までの数値であるので、基準値も0から1の範囲内にあることとなる。基準値は、上述したように、視線角度の標準偏差に基づく運転者における考え事の度合いを昇順通りに並べ替えたときの最小値からの所定のパーセンタイル値として設定されるが、この基準値に対して±0.4も変化幅があると、せっかく求めた基準値に対して無視できないくらいに変化してしまい、基準値の精度が低下する可能性がある。そこで、本実施の形態では、基準値の変化幅(調整幅)の最大値を±0.01、つまり、基準値が取り得る0から1の数値範囲の±1%以内と決定した。
なお、図13は一例であり、図12で説明したように道路状況として、現在、高速道路か、一般道か、両方に跨るインターチェンジかの3種類のみが定義されているときは、高速道路の場合は変化幅を-0.01に、一般道の場合は変化幅を+0.01に、両方に跨る場合は変化幅を0に決定するようにしてもよい。
次に、運転環境として現在の天気に対する基準値の変化量の具体例を図14に示す。図14は、実施の形態3における運転環境が現在の天気である際の基準値の変化量を示す相関図である。図14より、基準値の変化量は現在の降水量(mm/h)により変化させている。具体的には、図14に示すように、降水量が20(mm/h)以上の強い雨である場合、運転者が運転に注意するため、運転者における運転に関する考え事の度合いが増すので、基準値は最大の+0.01される。また、降水量が0以上2(mm/h)未満等のように、ほとんど雨が降っていない、もしくは、全く雨が降っていない場合、降水時に比べ運転に注意する度合い(運転に関する考え事の度合い)は下がるので、基準値は最小の-0.01される。そして、それらの中間の降水量の場合は、降水量に応じて図14に示すような変化幅で基準値が調整される。例えば、降水量が18以上20(mm/h)未満の場合は基準値に対して+0.008、降水量が16以上18(mm/h)未満の場合は基準値に対して+0.006、降水量が14以上16(mm/h)の場合は基準値に対して+0.004、降水量が12以上14(mm/h)未満の場合は基準値に対して+0.002される(引き上げられる)。また、降水量が10以上12(mm/h)未満の場合は、基準値は変化させない。また、降水量が8以上10(mm/h)未満の場合は基準値に対して-0.002、降水量が6以上8(mm/h)未満の場合は基準値に対して-0.004、降水量が4以上6(mm/h)未満の場合は基準値に対して-0.006、降水量が2以上4(mm/h)未満の場合は基準値に対して-0.008される(引き下げられる)。
なお、現在の降水量は、例えばナビゲーションシステムの位置情報に基づく現在の位置における天気予報及び/又は気象衛星の情報により求める。車両1にレインセンサが付いている場合は、その出力により降水量を推定してもよいし、天気予報及び/又は気象衛星の情報による降水量を補正してもよい。
また、降雪又は濃霧の場合は、より一層、運転者が運転に注意するため、運転者における運転に関する考え事の度合いが増すので、例えば図14の基準値の変化幅にそれぞれ一律0.01を加算してもよい。
次に、運転環境として時刻に対する基準値の変化量の具体例を図15に示す。図15は、実施の形態3における運転環境が時刻である際の基準値の変化量を示す相関図である。図15より、基準値の変化量は、日の出の時刻、および、日の入りの時刻に対して前後した時刻に応じて変化させている。具体的には、図15に示すように、夜間(日の出の時刻よりも25分以上前、または日の入りの時刻よりも25分以上後)は運転に注意する度合いが増すため、運転に関する考え事の度合いが増すので、基準値は最大の+0.01される。また、昼間(日の出の時刻よりも25分以上後、または日の入りの時刻の25分以上前)は夜間に比べ運転に注意する度合いが下がるので、基準値は最小の-0.01される。そして、それらの中間の時刻では、図15に示すように、およそ5分毎に基準値の変化幅が変更される。例えば、日の出の時刻の20分以上25分未満前および日の入りの時刻の20分以上25分未満後の場合は基準値に対して+0.008、日の出の時刻の15分以上20分未満前および日の入りの時刻の15分以上20分未満後の場合は基準値に対して+0.006、日の出の時刻の10分以上15分未満前および日の入りの時刻の10分以上15分未満後の場合は基準値に対して+0.004、日の出の時刻の5分以上10分未満前および日の入りの時刻の5分以上10分未満後の場合は基準値に対して+0.002される(引き上げられる)。また、日の出の時刻および日の入りの時刻の前後5分未満の場合は、基準値は変化させない。また、日の出の時刻の5分以上10分未満後および日の入りの時刻の5分以上10分未満前の場合は基準値に対して-0.002、日の出の時刻の10分以上15分未満後および日の入りの時刻の10分以上15分未満前の場合は基準値に対して-0.004、日の出の時刻の15分以上20分未満後および日の入りの時刻の15分以上20分未満前の場合は基準値に対して-0.006、日の出の時刻の20分以上25分未満後および日の入りの時刻の20分以上25分未満前の場合は基準値に対して-0.008される(引き下げられる)。
なお、日の出の時刻、および、日の入りの時刻は、例えばナビゲーションシステムの位置情報に基づく現在の位置、および日付情報から求める。車両1に日射センサが付いている場合は、日射センサからの出力に応じて基準値の変化幅を変更してもよいし、位置情報および日付情報から求めた日の出の時刻、および、日の入りの時刻を補正してもよい。また、時刻については、日の出の時刻、日の入りの時刻の前後25分で基準値の変化幅を調整しているが、これに限定されず、例えば季節により日の出の時刻、日の入りの時刻の前後の明るさの変化が異なる際には、季節に応じて日の出の時刻、日の入りの時刻の前後25分よりも冬の場合では短くしてもよいし、夏の場合では長くしてもよい。
なお、天候が曇りの場合は、図15の基準値をそのまま用いてもよい。しかし、天候が雨の場合は、より一層、運転者が運転に注意するため、運転者における運転に関する考え事の度合いが増すので、天候が曇りの場合に比べて、例えば図15の基準値の変化幅に図14の基準値の変化幅をさらに加算してもよい。
また、天候が晴れの場合は、時刻との組み合わせによって、基準値に対して規定値を加算してもよい。具体的には、天候が晴れの場合における早朝の時間帯、および夕方の時間帯では、太陽が地平線に近い位置に存在しているため、運転者は太陽の光によって眩しく感じることがある。一方、天候が晴れの場合における早朝の時間帯、および夕方の時間帯以外の時間帯、例えば昼間の時間帯では、運転者は太陽の光によって眩しく感じ難い。このため、天候が晴れの場合において、早朝の時間帯、および夕方の時間帯では図15の基準値の変化幅に対してさらに規定値(例えば0.01)を加算してもよく、これら以外の時間帯では、図15の基準値の変化幅をそのまま用いてもよい。また、早朝の時間帯、および夕方の時間帯は、季節によって変化するため、天候が晴れの場合は、時刻と季節との組み合わせによって、図15の基準値の変化幅に対してさらに上記の規定値を加算してもよい。
次に、運転環境として自動運転状態に対する基準値の変化量の具体例を図16に示す。図16は、実施の形態3における運転環境が自動運転状態である際の基準値の変化量を示す相関図である。図16より、基準値の変化量は自動運転レベルにより変化させている。具体的には、図16に示すように、自動運転レベルが0,1のように低い場合は、ほとんど、もしくは全く自動運転がなされず、運転に注意する度合いが増すため、運転に関する考え事の度合いが増すので、基準値は最大の+0.01される。また、自動運転レベルが5のように完全に自動運転される場合は、運転に注意する度合いが下がるので、基準値は最小の-0.01される。そして、それらの中間の自動運転レベルでは、図16に示すように、自動運転レベルに応じて基準値の変化幅が変更される。例えば、自動運転レベルが2の場合は基準値に対して+0.005される(引き上げられる)。また、自動運転レベルが3の場合は、基準値は変化させない。自動運転レベルが4の場合は基準値に対して-0.005される(引き下げられる)。
なお、自動運転レベルが5の場合は、完全に自動運転されるが、その際に運転者が全く運転について考え事をしていないとは言い切れないため、本実施の形態では、基準値を0にすることなく、最小の変化幅(-0.01)で調整している。
以上、運転環境の4つの具体例について説明したが、これら以外の運転環境を定義し、上記と同様にして基準値の変化幅を調整するようにしてもよい。
また、4つの運転環境における基準値の変化幅は、いずれも±0.01と固定しているが、これは運転環境に応じて変えてもよい。例えば、道路状況や自動運転状態に比べ、運転者が運転環境の変化を受けやすい現在の天気と時刻については、基準値の変化幅を±0.02と倍にして重みづけを行ってもよい。
<作用効果>
次に、本実施の形態における運転者状態推定装置2bの作用効果について説明する。
次に、本実施の形態における運転者状態推定装置2bの作用効果について説明する。
上述したように、本実施の形態の運転者状態推定装置2bは、運転者が運転する車両1の運転環境を取得する運転環境取得部25をさらに備える。そして、考え事推定部22は、運転環境取得部25から運転環境を取得し、取得した運転環境が単純であれば基準値を引き下げ、取得した運転環境が複雑であれば基準値を引き上げるように、基準値を調整する。
例えば、運転者において、運転環境が単純になれば運転者における運転に関する考え事の度合いが小さくなり、運転環境が複雑になれば運転者における運転に関する考え事の度合いが大きくなる傾向になる。これにより、本開示では、運転環境に応じて基準値を引き上げたり、引き下げたりすることができるため、運転に関する考え事の度合いと、運転以外の考え事の度合いとをより精度よく推定することができる。このため、運転環境が簡単になっても基準値が引き下げられるため、運転者に対して警告が出力されなくなるという不具合を抑制することができる。また、運転環境が複雑になっても基準値が引き上げられるため、運転者に対して過度に警告を出力しないようにすることができる。
本開示の一態様に係る運転者状態推定装置2bにおいて、運転環境は、車両1が走行する道路の状況である道路状況、現在の天気、時刻、車両1の自動運転状態のうちの少なくともいずれかである。
これによれば、運転環境として、道路状況、現在の天気、時刻、自動運転状態の少なくとも1つにより多面的に基準値を調整できるので、基準値の精度が上がり、運転環境に応じて適切に警報を発することができる。
(実施の形態4)
本実施の形態において、運転者状態推定装置は、実施の形態1で述べた運転者状態推定装置2と同じ構成であるので、同じ構成要素には同じ符号を付して詳細な説明を省略する。すなわち、本実施の形態の特徴は、考え事推定部22において、所定値、および、閾値が基準値に応じて決定される点である。これについて、以下、詳細に説明する。
本実施の形態において、運転者状態推定装置は、実施の形態1で述べた運転者状態推定装置2と同じ構成であるので、同じ構成要素には同じ符号を付して詳細な説明を省略する。すなわち、本実施の形態の特徴は、考え事推定部22において、所定値、および、閾値が基準値に応じて決定される点である。これについて、以下、詳細に説明する。
<処理動作>
図17は、実施の形態4における基準値が低い場合の考え事の度合いの経時変化図である。図18は、実施の形態4における基準値が高い場合の考え事の度合いの経時変化図である。
図17は、実施の形態4における基準値が低い場合の考え事の度合いの経時変化図である。図18は、実施の形態4における基準値が高い場合の考え事の度合いの経時変化図である。
まず、図17において、横軸は運転者が運転を開始してからの時刻、縦軸は式(1)より求めた考え事の度合いを示す。例えば考え事の度合いが図17のように変化した時、考え事の度合いを昇順通りに並べ替えたときの最小値からの所定パーセンタイル値(5パーセンタイル値)が0.2であったとする。この0.2は基準値となる。この基準値に対して、考え事推定部22が所定値だけ大きい閾値を決定する際、例えば考え事推定部22が所定値を0.2と設定すると、図17に示すように閾値は0.4となる。
次に、図18を参照する。図18の縦軸と横軸の意味は図17と同じである。図18においても図17と同様にして基準値を求めた結果、0.6であったとする。この基準値に対し、考え事推定部22が所定値だけ大きい閾値を決定するのであるが、ここでは、この基準値(0.6)は図17と異なり、図17における基準値(0.2)より高い値であるので、考え事推定部22が所定値を小さく設定する。具体的には考え事推定部22が所定値を0.1と設定する。したがって、図18に示すように、閾値は0.7となる。
このように、本実施の形態では、考え事推定部22は、所定値を、基準値が低いほど大きく、基準値が高いほど小さく設定する。この理由は以下による。
式(1)で述べたように、現在の運転者における考え事の度合いは視線角度の標準偏差に基づき、両者は図5に示すように逆の相関を示す。したがって、一般的には、図17のように考え事の度合いの基準値が低いということは、視線角度の標準偏差が大きいことを示し、視線が良く動いていることになる。したがって、運転者は運転に集中している傾向にある。一方、図18のように考え事の度合いの基準値が高いということは、視線角度の標準偏差が小さいことを示し、視線があまり動いていないことになる。したがって、運転者は運転以外の考え事が多い傾向にある。
これらのことから、基準値が低い場合は、運転に集中している傾向なので、基準値に対し所定値を大きくし(図17の例では基準値と等しい0.2)、その結果、閾値が0.4となる。したがって、閾値は基準値から大きく上げるように設定される。これにより、警告の誤報の可能性を低減できる。一方、基準値が高い場合は、運転以外の考え事が多い傾向のため、基準値に対し所定値を小さくし(図18の例では基準値の約0.17倍の0.1)、その結果、閾値が0.7となる。したがって、図18の例では閾値は、図17の例に比べ、基準値から小さく上げるように設定される。これにより、警告されなくなる可能性が低減し、早いタイミングで警告できる。
以上の理由により、考え事推定部22は、所定値を、基準値が低いほど大きく、基準値が高いほど小さく設定している。
なお、ここでは考え事推定部22が基準値より所定値だけ大きい閾値を決定する場合について述べたが、これは、考え事推定部22が考え事の度合いから基準値を減算し、それによる運転以外の考え事の度合いに対して閾値を決定する場合に適用してもよい。この場合、図17の例では、基準値が0.2なので、それを差し引いた考え事の度合いに対し、閾値を0.2とすればよい。この0.2という数値は図17の所定値に相当する。また、図18の例では、基準値が0.6なので、それを差し引いた考え事の度合いに対し、閾値を0.1とすればよい。この0.1という数値は図18の所定値に相当する。これらをまとめると、閾値は、基準値が低いほど大きくなり、基準値が高いほど小さくなるように決定される。
<作用効果>
次に、本実施の形態における運転者状態推定装置2の作用効果について説明する。
次に、本実施の形態における運転者状態推定装置2の作用効果について説明する。
上述したように、本実施の形態の運転者状態推定装置2において、所定値は、基準値が低いほど大きくなり、基準値が高いほど小さくなる。
これによれば、基準値が低い状態は、運転に集中する傾向があるので、所定値を大きくすることで、警報の誤報可能性が低減される。また、基準値が高い状態は運転以外の考え事が多い傾向にあるため、所定値を小さくすることで警告されなくなる可能性を低減し、早いタイミングで警報できる。
本開示の一態様に係る運転者状態推定装置2において、閾値は、基準値が低いほど大きくなり、基準値が高いほど小さくなる。
これによれば、基準値が低い状態は、運転に集中する傾向があるので、閾値を大きくすることで、警報の誤報可能性が低減される。また、基準値が高い状態は運転以外の考え事が多い傾向にあるため、閾値を小さくすることで警告されなくなる可能性を低減し、早いタイミングで警報できる。
(実施の形態5)
本実施の形態において、運転者状態推定装置は、実施の形態1の図2で述べた運転者状態推定装置2と同じ構成であるので、同じ構成要素には同じ符号を付して詳細な説明を省略する。すなわち、本実施の形態の特徴は、考え事推定部22が、表示部へ考え事の度合いを経時的に出力する点である。これについて、以下、詳細に説明する。
本実施の形態において、運転者状態推定装置は、実施の形態1の図2で述べた運転者状態推定装置2と同じ構成であるので、同じ構成要素には同じ符号を付して詳細な説明を省略する。すなわち、本実施の形態の特徴は、考え事推定部22が、表示部へ考え事の度合いを経時的に出力する点である。これについて、以下、詳細に説明する。
<構成と機能>
本実施の形態では、図2の構成に対し、考え事推定部22は車両1に搭載された図示しない表示部と電気的に接続されている。考え事推定部22は、推定した考え事の度合いを表示部に出力する構成を備える。表示部は、例えばナビゲーションシステムなどの液晶画面である。
本実施の形態では、図2の構成に対し、考え事推定部22は車両1に搭載された図示しない表示部と電気的に接続されている。考え事推定部22は、推定した考え事の度合いを表示部に出力する構成を備える。表示部は、例えばナビゲーションシステムなどの液晶画面である。
<処理動作>
考え事推定部22は、図7のステップS13で運転者における考え事の度合いを推定すると、その結果を表示部に出力する。表示部は、考え事の度合いが考え事推定部22より出力されるごとに、図17および図18に示すようなグラフを表示する。なお、表示部は図17および図18に示すグラフを表示する構成に限定されるものではなく、例えば現在の考え事の度合いを数値として画面に表示する構成であってもよい。また、考え事推定部22は表示部に基準値および閾値を出力する構成も備えるようにし、画面には基準値および閾値を併せて表示するようにしてもよい。
考え事推定部22は、図7のステップS13で運転者における考え事の度合いを推定すると、その結果を表示部に出力する。表示部は、考え事の度合いが考え事推定部22より出力されるごとに、図17および図18に示すようなグラフを表示する。なお、表示部は図17および図18に示すグラフを表示する構成に限定されるものではなく、例えば現在の考え事の度合いを数値として画面に表示する構成であってもよい。また、考え事推定部22は表示部に基準値および閾値を出力する構成も備えるようにし、画面には基準値および閾値を併せて表示するようにしてもよい。
<作用効果>
次に、本実施の形態における運転者状態推定装置2の作用効果について説明する。
次に、本実施の形態における運転者状態推定装置2の作用効果について説明する。
上述したように、本実施の形態の運転者状態推定装置2において、考え事推定部22は、表示部へ考え事の度合いを経時的に出力する。
これによれば、現在の考え事度合いをリアルタイムに運転者に知らせることができるので、運転者の運転への意識を高めることができる。
(その他変形例等)
以上、本開示について、実施の形態1~5に基づいて説明したが、本開示は、これら実施の形態1~5等に限定されるものではない。
以上、本開示について、実施の形態1~5に基づいて説明したが、本開示は、これら実施の形態1~5等に限定されるものではない。
例えば、上記各実施の形態1~5に係る運転者状態推定装置は、図2、図9、及び、図11において運転者情報取得部を備えている場合を例示しているが、運転者情報取得部を備えていなくてもよい。つまり、運転者情報取得部は運転者状態推定装置の構成要素に含まれていなくてもよい。
また、上記各実施の形態1~5に係る運転者状態推定装置に含まれる考え事推定部及び運転者情報取得部等は、典型的に集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記各実施の形態1~5において、運転者状態推定装置等の構成要素は、専用のハードウェアで構成されるか、構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本記各実施の形態1~5は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以下に、上記各実施の形態1~5に基づいて説明した運転者状態推定装置の特徴を示す。
<技術1>
運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である運転者情報に基づいて前記運転者における考え事の度合いを推定する考え事推定部と、
過去所定期間における前記考え事の度合いの推移を示す情報である推移情報を保持する考え事推定値保持部と、を備え、
前記考え事推定部は、前記推移情報に基づいて、前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する、
運転者状態推定装置。
<技術2>
前記考え事推定部は、
前記推移情報に基づいて基準値を算出し、
前記考え事の度合いが0から前記基準値までの範囲を前記運転に関する考え事の度合いであると推定し、
前記考え事の度合いが前記基準値より大きい範囲を前記運転以外の考え事の度合いであると推定する、
技術1に記載の運転者状態推定装置。
<技術3>
前記考え事推定部は、
前記基準値より所定値だけ大きい閾値を決定し、
前記運転以外の考え事の度合いが前記閾値を超えた場合、警告信号を出力する、
技術2に記載の運転者状態推定装置。
<技術4>
前記所定値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる、
技術3に記載の運転者状態推定装置。
<技術5>
前記考え事推定部は、
前記考え事の度合いから前記基準値を減算することで前記運転以外の考え事の度合いを推定し、
推定した前記運転以外の考え事の度合いが予め決定された閾値を超えた場合、警告信号を出力する、
技術2に記載の運転者状態推定装置。
<技術6>
前記閾値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる、
技術5に記載の運転者状態推定装置。
<技術7>
前記運転者情報は、運転者情報取得部より得られた視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つを含み、
前記考え事推定部は、前記視線角度、前記視線滞留時間、前記注視領域、前記姿勢、前記瞳孔径、前記脈拍、前記心拍、前記皮膚電気活動、前記血中のヘモグロビン濃度及び前記脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて前記考え事の度合いを推定する、
技術1~6の何れか1に記載の運転者状態推定装置。
<技術8>
前記運転者情報取得部は、前記運転者の個人識別情報を前記運転者情報と併せて出力し、
前記考え事推定部は、前記個人識別情報に対応した前記推移情報に基づいて、前記考え事推定値保持部が保持する前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する、
技術7に記載の運転者状態推定装置。
<技術9>
前記運転者によって所定の運転が行われたことを示す情報である所定運転情報を取得する車両情報取得部をさらに備え、
前記考え事推定値保持部は、前記車両情報取得部から前記所定運転情報を取得しない場合、前記考え事の度合いを保持し、前記車両情報取得部から前記所定運転情報を取得した場合、前記所定運転情報に対応する考え事の度合いを保持しない、
技術1~8の何れか1に記載の運転者状態推定装置。
<技術10>
前記運転者が運転する車両の運転環境を取得する運転環境取得部をさらに備え、
前記考え事推定部は、前記運転環境取得部から前記運転環境を取得し、取得した前記運転環境が単純であれば前記基準値を引き下げ、取得した前記運転環境が複雑であれば前記基準値を引き上げるように、前記基準値を調整する、
技術2~8の何れか1に記載の運転者状態推定装置。
<技術11>
前記運転環境は、前記車両が走行する道路の状況である道路状況、現在の天気、時刻、前記車両の自動運転状態のうちの少なくともいずれかである、
技術10に記載の運転者状態推定装置。
<技術12>
前記考え事推定部は、表示部へ前記考え事の度合いを経時的に出力する、
技術1~11の何れか1に記載の運転者状態推定装置。
<技術1>
運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である運転者情報に基づいて前記運転者における考え事の度合いを推定する考え事推定部と、
過去所定期間における前記考え事の度合いの推移を示す情報である推移情報を保持する考え事推定値保持部と、を備え、
前記考え事推定部は、前記推移情報に基づいて、前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する、
運転者状態推定装置。
<技術2>
前記考え事推定部は、
前記推移情報に基づいて基準値を算出し、
前記考え事の度合いが0から前記基準値までの範囲を前記運転に関する考え事の度合いであると推定し、
前記考え事の度合いが前記基準値より大きい範囲を前記運転以外の考え事の度合いであると推定する、
技術1に記載の運転者状態推定装置。
<技術3>
前記考え事推定部は、
前記基準値より所定値だけ大きい閾値を決定し、
前記運転以外の考え事の度合いが前記閾値を超えた場合、警告信号を出力する、
技術2に記載の運転者状態推定装置。
<技術4>
前記所定値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる、
技術3に記載の運転者状態推定装置。
<技術5>
前記考え事推定部は、
前記考え事の度合いから前記基準値を減算することで前記運転以外の考え事の度合いを推定し、
推定した前記運転以外の考え事の度合いが予め決定された閾値を超えた場合、警告信号を出力する、
技術2に記載の運転者状態推定装置。
<技術6>
前記閾値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる、
技術5に記載の運転者状態推定装置。
<技術7>
前記運転者情報は、運転者情報取得部より得られた視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つを含み、
前記考え事推定部は、前記視線角度、前記視線滞留時間、前記注視領域、前記姿勢、前記瞳孔径、前記脈拍、前記心拍、前記皮膚電気活動、前記血中のヘモグロビン濃度及び前記脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて前記考え事の度合いを推定する、
技術1~6の何れか1に記載の運転者状態推定装置。
<技術8>
前記運転者情報取得部は、前記運転者の個人識別情報を前記運転者情報と併せて出力し、
前記考え事推定部は、前記個人識別情報に対応した前記推移情報に基づいて、前記考え事推定値保持部が保持する前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する、
技術7に記載の運転者状態推定装置。
<技術9>
前記運転者によって所定の運転が行われたことを示す情報である所定運転情報を取得する車両情報取得部をさらに備え、
前記考え事推定値保持部は、前記車両情報取得部から前記所定運転情報を取得しない場合、前記考え事の度合いを保持し、前記車両情報取得部から前記所定運転情報を取得した場合、前記所定運転情報に対応する考え事の度合いを保持しない、
技術1~8の何れか1に記載の運転者状態推定装置。
<技術10>
前記運転者が運転する車両の運転環境を取得する運転環境取得部をさらに備え、
前記考え事推定部は、前記運転環境取得部から前記運転環境を取得し、取得した前記運転環境が単純であれば前記基準値を引き下げ、取得した前記運転環境が複雑であれば前記基準値を引き上げるように、前記基準値を調整する、
技術2~8の何れか1に記載の運転者状態推定装置。
<技術11>
前記運転環境は、前記車両が走行する道路の状況である道路状況、現在の天気、時刻、前記車両の自動運転状態のうちの少なくともいずれかである、
技術10に記載の運転者状態推定装置。
<技術12>
前記考え事推定部は、表示部へ前記考え事の度合いを経時的に出力する、
技術1~11の何れか1に記載の運転者状態推定装置。
その他、実施の形態1~5に対して当業者が思いつく各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態1~5における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、例えば車両等に利用可能である。
1 車両
2、2a、2b 運転者状態推定装置
22 考え事推定部
23 考え事推定値保持部
24 車両情報取得部
25 運転環境取得部
2、2a、2b 運転者状態推定装置
22 考え事推定部
23 考え事推定値保持部
24 車両情報取得部
25 運転環境取得部
Claims (12)
- 運転者における外見の身体的特徴及び/又は運転者における身体内部の状態を示す情報である運転者情報に基づいて前記運転者における考え事の度合いを推定する考え事推定部と、
過去所定期間における前記考え事の度合いの推移を示す情報である推移情報を保持する考え事推定値保持部と、を備え、
前記考え事推定部は、前記推移情報に基づいて、前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する、
運転者状態推定装置。 - 前記考え事推定部は、
前記推移情報に基づいて基準値を算出し、
前記考え事の度合いが0から前記基準値までの範囲を前記運転に関する考え事の度合いであると推定し、
前記考え事の度合いが前記基準値より大きい範囲を前記運転以外の考え事の度合いであると推定する、
請求項1に記載の運転者状態推定装置。 - 前記考え事推定部は、
前記基準値より所定値だけ大きい閾値を決定し、
前記運転以外の考え事の度合いが前記閾値を超えた場合、警告信号を出力する、
請求項2に記載の運転者状態推定装置。 - 前記考え事推定部は、
前記考え事の度合いから前記基準値を減算することで前記運転以外の考え事の度合いを推定し、
推定した前記運転以外の考え事の度合いが予め決定された閾値を超えた場合、警告信号を出力する、
請求項2に記載の運転者状態推定装置。 - 前記運転者情報は、運転者情報取得部より得られた視線角度、視線滞留時間、注視領域、姿勢、瞳孔径、脈拍、心拍、皮膚電気活動、血中のヘモグロビン濃度及び脳波のうちの少なくとも一つを含み、
前記考え事推定部は、前記視線角度、前記視線滞留時間、前記注視領域、前記姿勢、前記瞳孔径、前記脈拍、前記心拍、前記皮膚電気活動、前記血中のヘモグロビン濃度及び前記脳波のうちの少なくとも一つにおける過去所定期間の変動に基づいて前記考え事の度合いを推定する、
請求項1~4の何れか1項に記載の運転者状態推定装置。 - 前記運転者情報取得部は、前記運転者の個人識別情報を前記運転者情報と併せて出力し、
前記考え事推定部は、前記個人識別情報に対応した前記推移情報に基づいて、前記考え事推定値保持部が保持する前記考え事の度合いから、前記運転者における運転に関する考え事の度合いと運転以外の考え事の度合いとを推定する、
請求項5に記載の運転者状態推定装置。 - 前記運転者によって所定の運転が行われたことを示す情報である所定運転情報を取得する車両情報取得部をさらに備え、
前記考え事推定値保持部は、前記車両情報取得部から前記所定運転情報を取得しない場合、前記考え事の度合いを保持し、前記車両情報取得部から前記所定運転情報を取得した場合、前記所定運転情報に対応する考え事の度合いを保持しない、
請求項1~4の何れか1項に記載の運転者状態推定装置。 - 前記運転者が運転する車両の運転環境を取得する運転環境取得部をさらに備え、
前記考え事推定部は、前記運転環境取得部から前記運転環境を取得し、取得した前記運転環境が単純であれば前記基準値を引き下げ、取得した前記運転環境が複雑であれば前記基準値を引き上げるように、前記基準値を調整する、
請求項2~4の何れか1項に記載の運転者状態推定装置。 - 前記運転環境は、前記車両が走行する道路の状況である道路状況、現在の天気、時刻、前記車両の自動運転状態のうちの少なくともいずれかである、
請求項8に記載の運転者状態推定装置。 - 前記所定値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる、
請求項3に記載の運転者状態推定装置。 - 前記閾値は、前記基準値が低いほど大きくなり、前記基準値が高いほど小さくなる、
請求項4に記載の運転者状態推定装置。 - 前記考え事推定部は、表示部へ前記考え事の度合いを経時的に出力する、
請求項1~4の何れか1項に記載の運転者状態推定装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021206905 | 2021-12-21 | ||
JP2021-206905 | 2021-12-21 | ||
JP2022-084717 | 2022-05-24 | ||
JP2022084717A JP2023092426A (ja) | 2021-12-21 | 2022-05-24 | 運転者状態推定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023119763A1 true WO2023119763A1 (ja) | 2023-06-29 |
Family
ID=86901890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2022/035029 WO2023119763A1 (ja) | 2021-12-21 | 2022-09-20 | 運転者状態推定装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2023119763A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022738A (ja) * | 2009-07-15 | 2011-02-03 | Nissan Motor Co Ltd | 運転者状態推定装置及び方法 |
JP2015033457A (ja) * | 2013-08-08 | 2015-02-19 | 日産自動車株式会社 | 運転状態推定装置及び運転状態推定方法 |
WO2018135318A1 (ja) * | 2017-01-19 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | 車両制御装置及び車両制御方法 |
WO2018159276A1 (ja) * | 2017-02-28 | 2018-09-07 | パナソニックIpマネジメント株式会社 | 作業適正度判定システム |
JP2019512780A (ja) * | 2016-03-01 | 2019-05-16 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance | 自動車両のドライバーを監視するための装置及び方法 |
JP2021130389A (ja) * | 2020-02-19 | 2021-09-09 | マツダ株式会社 | 運転者状態推定装置 |
-
2022
- 2022-09-20 WO PCT/JP2022/035029 patent/WO2023119763A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022738A (ja) * | 2009-07-15 | 2011-02-03 | Nissan Motor Co Ltd | 運転者状態推定装置及び方法 |
JP2015033457A (ja) * | 2013-08-08 | 2015-02-19 | 日産自動車株式会社 | 運転状態推定装置及び運転状態推定方法 |
JP2019512780A (ja) * | 2016-03-01 | 2019-05-16 | ヴァレオ、コンフォート、アンド、ドライビング、アシスタンスValeo Comfort And Driving Assistance | 自動車両のドライバーを監視するための装置及び方法 |
WO2018135318A1 (ja) * | 2017-01-19 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | 車両制御装置及び車両制御方法 |
WO2018159276A1 (ja) * | 2017-02-28 | 2018-09-07 | パナソニックIpマネジメント株式会社 | 作業適正度判定システム |
JP2021130389A (ja) * | 2020-02-19 | 2021-09-09 | マツダ株式会社 | 運転者状態推定装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pratama et al. | A review on driver drowsiness based on image, bio-signal, and driver behavior | |
US20220095975A1 (en) | Detection of cognitive state of a driver | |
Wang et al. | Driver fatigue detection: a survey | |
Dong et al. | Driver inattention monitoring system for intelligent vehicles: A review | |
JP4727688B2 (ja) | 覚醒度推定装置 | |
US8487775B2 (en) | Method and apparatus for determining and analyzing a location of visual interest | |
EP3264211A1 (en) | Driving assistance apparatus and driving assistance method | |
CN105741494B (zh) | 一种基于线下数据匹配的驾驶员疲劳监测方法 | |
EP3482678A1 (en) | Physiological condition assessing device, physiological condition assessing method, program for physiological condition assessing device, and physiological condition assessing system | |
CN202142160U (zh) | 一种疲劳驾驶预警*** | |
Lee et al. | Wristband-type driver vigilance monitoring system using smartwatch | |
JP2008217274A (ja) | 運転者状態判定装置、及び運転支援装置 | |
Mavely et al. | Eye gaze tracking based driver monitoring system | |
US11447140B2 (en) | Cognitive tunneling mitigation device for driving | |
Varma et al. | Accident prevention using eye blinking and head movement | |
Ma et al. | Real time drowsiness detection based on lateral distance using wavelet transform and neural network | |
JP7331728B2 (ja) | 運転者状態推定装置 | |
Ahmed et al. | Solar powered smart wearable health monitoring and tracking device based on GPS and GSM technology for children with autism | |
JP2007293587A (ja) | 覚醒状態の変化を早期発見する方法および検知装置 | |
Coetzer et al. | Driver fatigue detection: A survey | |
WO2023119763A1 (ja) | 運転者状態推定装置 | |
Čolić et al. | Driver drowsiness detection and measurement methods | |
JP2023092426A (ja) | 運転者状態推定装置 | |
Hyder et al. | The smart automobile (SAM): an application based on drowsiness detection, alcohol detection, vital sign monitoring and lane based auto drive to avoid accidents | |
JPH08332871A (ja) | 覚醒度検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22910489 Country of ref document: EP Kind code of ref document: A1 |