WO2016027411A1 - 車載制御装置 - Google Patents

車載制御装置 Download PDF

Info

Publication number
WO2016027411A1
WO2016027411A1 PCT/JP2015/003600 JP2015003600W WO2016027411A1 WO 2016027411 A1 WO2016027411 A1 WO 2016027411A1 JP 2015003600 W JP2015003600 W JP 2015003600W WO 2016027411 A1 WO2016027411 A1 WO 2016027411A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
alarm
state
control unit
Prior art date
Application number
PCT/JP2015/003600
Other languages
English (en)
French (fr)
Inventor
豊 宗岡
大翔 坂野
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/325,749 priority Critical patent/US10569649B2/en
Priority to DE112015003856.6T priority patent/DE112015003856T5/de
Publication of WO2016027411A1 publication Critical patent/WO2016027411A1/ja
Priority to US16/433,262 priority patent/US20190283579A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0027—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part
    • B60N2/0028—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part of a body part, e.g. of an arm or a leg
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/003—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat
    • B60N2/0034—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat in, under or on the seat cover
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G08B5/38—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources using flashing light
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/40—Force or pressure sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/4825—Sensing means arrangements therefor for sensing amount of belt winded on retractor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options

Definitions

  • This disclosure relates to an in-vehicle control apparatus (In-Vehicle Control Apparatus).
  • the system side checks whether or not the driver is in an abnormal state, and if there is no response from the driver, measures to avoid danger are implemented. Specifically, when a driver abnormality is detected, a notification is given by voice or display in the passenger compartment, and if there is no response from the driver even after a predetermined time, the hazard lamp blinks and is displayed outside the vehicle (mounted vehicle). The possibility of the occurrence of danger is communicated to the surrounding area, and risk avoidance processing such as vehicle deceleration, stop, and shoulder retreat is performed.
  • the present disclosure is intended to provide an in-vehicle control device capable of performing appropriate safety measures when a driver becomes inoperable.
  • the in-vehicle control device monitors the state of the driver of the vehicle, and controls the behavior of the vehicle based on the monitoring result to perform the risk avoidance process.
  • the on-vehicle control device also includes an abnormality determination unit that determines that the driver is in an inoperable state in which the vehicle cannot be operated based on the driver monitoring information while the vehicle is running, and the abnormality determination unit drives the driver.
  • the alarm control unit that issues an alarm to the outside of the vehicle by driving the alarm device, and the alarm is stopped by the operation of the driver after the alarm is started to the outside of the vehicle by the alarm device.
  • a risk avoidance control unit that performs the risk avoidance process after a predetermined time has elapsed since the start of the alarm when the alarm is not stopped.
  • the in-vehicle control device of the above example determines that the driver has become inoperable, such as when the driver is suddenly ill while driving the vehicle, and it is determined that the driver has become inoperable.
  • an alarm for the outside of the vehicle is performed by driving the alarm device. If the alarm is stopped by the driver's operation after the alarm is started outside the vehicle, the danger avoidance process is not performed, and if the alarm is not stopped, a predetermined time has elapsed from the start of the alarm. A risk avoidance process is performed later.
  • This system is mounted on a vehicle and includes an in-vehicle control device, a driver state recognition device 20, a vehicle behavior recognition device 30, a traveling environment recognition device 40, and an HMI (Human Machine Interface) 80.
  • the in-vehicle control device includes a driver monitoring device 50 and a behavior control device 90.
  • the mounted vehicle is also referred to as a host vehicle or a subject vehicle.
  • the driver monitoring device 50 determines whether or not the driver is in an inoperable state based on information from each of the recognition devices 20, 30, and 40.
  • the behavior control device 90 is notified.
  • the behavior control device 90 When the driver is in an inoperable state, the behavior control device 90 performs an alarm for the inside and outside of the host vehicle and performs a risk avoidance process such as stopping the vehicle safely.
  • “information” is used not only as a countable noun but also as a countable noun.
  • the driver state recognition device 20 includes a plurality of driver cameras 21, a seat belt sensor 22, and a seating surface sensor 23.
  • the driver camera 21 is a CCD camera, for example, and images the driver's seat illuminated by an illumination device such as a near infrared LED. As shown in FIGS. 2 and 3, the driver camera 21 is mounted on the meter panel 14, the substantially center of the lower end of the rearview mirror 16, and the left and right A pillars 17 toward the driver.
  • the driver camera 21 may be installed on the dashboard 13 or on the steering column instead of the meter panel 14. Further, instead of the lower end of the rearview mirror 16, it may be installed at the left end or the right end of the rearview mirror 16.
  • These four driver cameras 21 constitute a driver status monitor, which captures several tens of images per second from the front side of the driver sitting on the driver's seat 11.
  • the seat belt sensor 22 is a sensor that detects the amount by which the seat belt 12 is pulled out. Specifically, the seat belt sensor 22 is an encoder that detects a rotation angle of a motor that feeds and winds the seat belt 12.
  • the seat surface sensor 23 is a sensor that detects the pressure distribution of the seat portion 11a of the seat 11 of the driver's seat.
  • the vehicle behavior recognition device 30 (also referred to as a vehicle travel recognition device or a vehicle information recognition device) includes a vehicle speed sensor 31, a steering angle sensor 32, an accelerator sensor 33, and a brake sensor 34.
  • the vehicle speed sensor 31 is a sensor that detects the speed of the vehicle 10.
  • the steering angle sensor 32 is a sensor that detects the steering angle of the handle 15 (steering wheel).
  • the accelerator sensor 33 is a sensor that detects an accelerator opening, that is, an operation amount of an accelerator pedal.
  • the brake sensor 34 is a sensor that detects an operation amount of a brake pedal.
  • the traveling environment recognition device 40 includes a front / rear camera 41, a front / rear sensor 42, a car navigation device 43, and a G sensor 44.
  • the front / rear camera 41 is a camera that images the front of the vehicle 10 including the white line of the road, and a camera that images the rear and rear sides of the vehicle 10.
  • the front / rear sensor 42 is a sensor such as an ultrasonic sensor, a laser radar, or a millimeter wave radar, detects an object in front of or behind the vehicle 10 and acquires a distance between the vehicle 10 and an object in front or behind. Based on the distance between the vehicle 10 acquired by the front / rear sensor 42 and the front or rear vehicle, the relative speed between the front vehicle and the rear vehicle can be calculated.
  • the car navigation device 43 calculates the current position of the vehicle 10 by using the GPS signal received by the GPS receiver and information acquired by various sensors including the G sensor, and guide routes from the current position to the destination Is calculated.
  • the G sensor 44 is, for example, a sensor that is installed on the seat 11 and detects three-dimensional acceleration in the front-rear, left-right, and upper-lower direction of the vehicle 10.
  • the driver monitoring device 50 includes a microcomputer having a CPU, ROM, RAM, I / O, and the like. From the driver state recognition device 20, the vehicle behavior recognition device 30, the travel environment recognition device 40, the HMI 80, and the storage device 52. Acquire various information.
  • the driver monitoring device 50 and the various devices are connected by wired communication such as CAN or wireless communication such as LAN or Bluetooth (registered trademark).
  • the driver monitoring device 50 realizes the functions of the image analysis unit 60, the learning unit 51, and the state determination unit 70 when the CPU executes various programs stored in the ROM, and whether or not the driver is in an inoperable state. Determine whether or not.
  • the driver's inoperable state includes a state in which the driver develops sudden illness and becomes unconscious and cannot perform driving operation, and a driver develops a sudden illness such as a heart attack and is conscious but cannot move the body. Therefore, it includes a state in which the driving operation cannot be performed.
  • the HMI 80 includes a display 81, a speaker 82, and a cancel switch 83.
  • the display 81 is a display of the car navigation device 43 or an in-vehicle display provided in the meter panel 14.
  • the display 81 may be a touch display including a liquid crystal panel or an organic EL panel.
  • the display 81 reports the degree of the driver's posture collapse based on the driver's posture detected from the image. Specifically, the display 81 displays the status of the driver's posture in five stages.
  • the posture collapse level 5 with the highest degree of collapse is a level at which it is determined that the driver has developed a sudden illness and is unable to maintain the driving posture, that is, a driving impossible state. Since the driver can check his / her driving posture by looking at the posture status displayed on the display 81, when the posture collapse level approaches 5, the driving posture can be corrected before being determined as being incapable of driving. .
  • the speaker 82 is an in-vehicle speaker that is shared with the car navigation device 43, the audio device, and the like. When it is determined that the driver is in an inoperable state, the speaker 82 confirms by voice whether or not the driver is in an inoperable state.
  • the display 81 may display a screen for confirming the inoperable state. Further, the speaker 82 may notify the driver of the posture collapse level by voice.
  • the cancel switch 83 is a switch for canceling the determination of the inoperable state.
  • the cancel switch 83 When the cancel switch 83 is operated once, the determination of the inoperable state may be stopped for one trip.
  • the cancel switch 83 when the cancel switch 83 is operated regardless of the determination result of the inoperable state during the trip, the inoperable state is not possible while the cancel switch 83 is operated or for a certain time (about several seconds) after the operation.
  • the status determination is canceled. Therefore, if the driver operates the cancel switch 83 in advance when performing an action of taking an object, there is no possibility of erroneously determining that the driver is in an inoperable state even if the driver's posture collapses.
  • the behavior control device 90 is also referred to as a vehicle control device or a vehicle travel control device, and controls the travel or behavior of the vehicle 10 when the driver monitoring device 50 determines that the driver is in an inoperable state.
  • the vehicle 10 is decelerated or stopped by the control of the engine 91, the transmission 92, and the brake actuator 93 in the vehicle 10.
  • the steering angle of the steering wheel 15 is controlled by the steering actuator 94 to retract the vehicle 10 to the road shoulder.
  • the behavior control device 90 has a function of controlling the blinking of the hazard lamp 95 (emergency blinking indicator lamp) as an alarm device, and the hazard lamp 95 is determined when it is determined that the driver is inoperable. Blinks, thereby warning the outside of the vehicle.
  • the hazard lamp 95 is a display that is also used as a winker (direction indicator) provided in front of and behind the vehicle, as is well known. As shown in FIG. 4, a hazard switch 96 is provided in the dashboard 13 in the passenger compartment. By pressing the hazard switch 96, the hazard lamp 95 can be switched between a blinking state and an unlit state. ing. The meter panel 14 is provided with a hazard display mark 97 indicating that the hazard lamp 95 is blinking.
  • the image analysis unit 60 includes a head detection unit 61, an inclination detection unit 62, a face orientation detection unit 63, and a white eye detection unit 64.
  • the head detection unit 61 sequentially detects the head above the driver's neck based on the driver's seat image captured by the driver camera 21. Specifically, the head detection unit 61 extracts an edge representing the outline of the driver's head from the driver's seat image each time a driver's seat image is captured by the driver camera 21, and a region surrounded by the extracted edges Is detected as the head.
  • the inclination detector 62 detects the inclination ⁇ of the head relative to the driver's torso based on the driver's seat image. Specifically, the tilt detection unit 62 detects the regions surrounded by the edges representing the outlines of the head and the body as the head and the body, respectively, and detects the central axes of the head and the body. Then, the inclination detection unit 62 sets the inclination of the central axis of the head relative to the central axis of the body part as the inclination ⁇ of the head. The center axis of the body part is detected from the body part in which the direction of the body part is determined by matching the prepared body direction pattern with the detected body part direction to determine the body part direction.
  • the feature axis such as the eyes, nose and mouth of the face included in the head is extracted from the central axis of the head, and is detected from the three-dimensional arrangement of the feature points of the face.
  • the distance between the facial feature point and the front of the vehicle approaches, and when the head turns back, the distance between the facial feature point and the front of the vehicle increases.
  • the distance between facial feature points in the front-rear direction of the vehicle may be used.
  • the tilt detection unit 62 detects the seat belt 12 of the driver's seat from the image of the driver's seat, and detects the tilt ⁇ of the head with respect to the trunk from the positional relationship between the seat belt 12 and the head. Since the body part of the driver is restrained by the seat belt 12, the position of the body part can be estimated from the position of the seat belt 12.
  • the face orientation detection unit 63 detects the orientation of the driver's face relative to the front of the vehicle 10 based on the driver's seat image.
  • the face direction detection unit 63 detects the inclination of the face with respect to the vertical plane facing the front surface of the vehicle 10 as the face direction.
  • the white eye detection unit 64 includes a facial expression detection unit 65 and a white eye degree calculation unit 66, and detects a state in which the driver has white eyes.
  • the state where the white of the eye is removed is not limited to the state where the white of the eye is completely removed, but also includes a state where the black eye area is smaller than a predetermined amount. That is, the state where the whites are peeled is a state where the visual field is narrower than a predetermined range due to the biased black eyes.
  • the facial expression detection unit 65 detects the driver's eye contour and black eye area based on the driver's seat image.
  • the outline of the eyes of the driver is a boundary line between the eyelids and the eyes.
  • the black eye region is a region having lightness lower than that of the white eye in a region inside the outline of the eye, and is not limited to black, but is a region having a color such as blue, brown, or gray.
  • the facial expression detection unit 65 detects the opening of the driver's mouth from the edge representing the extracted mouth outline.
  • the white eye degree calculation unit 66 calculates the white eye degree of the driver's eyes based on the eye contour and the black eye region detected by the facial expression detection unit 65. Specifically, the white eye degree calculation unit 66 The vertical length of the black eye area, ⁇ The area of the black eye area, The ratio of the vertical length of the area enclosed by the eye contour to the vertical length of the black eye area, ⁇ Black eye area flatness, The degree of white eye is calculated based on one of the above.
  • the learning unit 51 learns the head inclination ⁇ detected by the inclination detection unit 62 when the driver is not in an inoperable state. Further, the learning unit 51 learns the face orientation detected by the face orientation detection unit 63 when the driver is not in an inoperable state. Further, the learning unit 51 learns the amplitude of the head shake detected by the head detection unit 61 when the driver is not in an inoperable state. That is, the learning unit 51 learns a driver's driving posture habit. When there are a plurality of drivers who drive the vehicle 10, the driver learns the habit of driving posture for each driver.
  • the state determination unit 70 is based on various driver monitoring information obtained by the image analysis unit 60. (1) Frame out determination, (2) posture collapse determination, (3) Judgment of direction collapse, (4) Judgment judgment, (5) White eye determination, And the determination that the driver has become inoperable is performed based on any of these.
  • the state determination unit 70 includes a frame-out determination unit 71, a posture collapse determination unit 72, a direction collapse determination unit 73, a shake determination unit 74, and a white-eye determination unit 75, which will be described in order below.
  • the frame-out determination unit 71 determines that the driver's head is out of frame while the vehicle 10 is traveling, and determines that the driver is in an inoperable state when out of frame. To do. Specifically, the frame-out determination unit 71 detects that the driver's head detected by the head detection unit 61 is out of the image range FA (see FIG. 2), and that state continues for a predetermined time T1 or more. It is determined that the driver is in an inoperable state.
  • the range FA is a predetermined range in an image captured by the driver camera 21. During normal driving, the driver's head does not deviate from the range FA.
  • the range FA may be the entire captured image.
  • the range FA may be set to a range recognized through the windshield as viewed from the front of the vehicle.
  • the frame-out determination unit 71 determines that the driver is in an inoperable state when the driver's head is out of the image range FA. It is also possible to determine the inoperable state by using past head position information and taking into account the trajectory until the driver's head is out of range FA.
  • the frame-out determination uses information of the seat belt sensor 22 and the seating surface sensor 23. Specifically, in a state where the driver's head is out of the frame, the amount of withdrawal of the seat belt 12 is greater than the amount of withdrawal detected when the seat belt 12 is worn and exceeds the first amount of withdrawal. When the high pressure portion is biased toward the end of the seat 11a in the pressure distribution of the portion 11a, it is determined that the driver is in an inoperable state.
  • the posture collapse determination unit 72 determines the driver's posture collapse while the vehicle 10 is traveling, and determines that the driver is in an inoperable state when the posture is collapsed. . Specifically, the posture collapse determination unit 72 determines that the head tilt ⁇ detected by the tilt detection unit 62 is greater than the threshold Th1 (relative tilt threshold), and the state continues for a predetermined time T2 or more. It is determined that the driver is in an inoperable state.
  • Th1 relative tilt threshold
  • the body of the driver is restrained by the seat 11 and the seat belt 12 of the driver's seat, so the body is relatively difficult to move even if the driver's consciousness is lost.
  • the driver's head is often not restrained, it is necessary to maintain the position of the head with the driver's intention. Therefore, when sudden illness develops and the driver's consciousness disappears, the driver cannot maintain the position of the head, and the head often tilts greatly in any direction with respect to the trunk.
  • the posture collapse determination unit 72 determines that the driver is in an inoperable state when the head inclination ⁇ is larger than the threshold Th1. At this time, if the posture collapse determination unit 72 further determines that the driver is in an inoperable state on the condition that the driver's face is not facing the front of the vehicle 10, erroneous determination of the inoperable state can be suppressed.
  • the direction change determination unit 73 determines the driver's face direction change while the vehicle 10 is traveling, and the driver is in an inoperable state when the face direction is changed. Is determined. Specifically, the direction change determination unit 73 detects that the face direction relative to the front of the vehicle 10 detected by the face direction detection unit 63 is larger than a threshold Th2 (face direction threshold), and the state is equal to or longer than a predetermined time T3. When continuing, it determines with the driver being in an operation impossible state.
  • Th2 face direction threshold
  • the direction change determination unit 73 determines that the driver is in an inoperable state when the face direction relative to the front of the vehicle is greater than the threshold Th2.
  • the direction change determination unit 73 When the face direction with respect to the front of the vehicle 10 detected by the face direction detection unit 63 is larger than the threshold Th2 and the driver releases the handle 15, -When the face orientation detected by the face orientation detector 63 is greater than the threshold Th2 and the accelerator opening is greater than the predetermined opening, When the face direction detected by the face direction detection unit 63 is larger than the threshold Th2 and the accelerator operation and the brake operation are not performed for a longer time than the predetermined time, In either case, it may be determined that the driver is in an inoperable state.
  • the sway judgment unit 74 determines the swaying state of the driver's head accompanying the external force while the vehicle 10 is traveling, and the driver is driving when the head sways differently from normal. It is determined that it is disabled. Specifically, the shaking determination unit 74 determines whether the amplitude of the shaking of the head detected by the head detecting unit 61 when an external force is applied to the vehicle 10 is smaller than the amplitude Am1 (first amplitude) or the amplitude Am2. If it is greater than (second amplitude) and the state continues for a predetermined time T4 or more, it is determined that the driver is in an inoperable state. The amplitude Am2 is larger than the amplitude Am1.
  • the white eye determination unit 75 determines the white of the eye while the vehicle 10 is running, and the white eye detection unit 64 detects that the white of the eye has been removed, and the driver becomes inoperable. It is determined that Specifically, the white eye determination unit 75 determines that the driver operates when the white eye degree calculated by the white eye degree calculation unit 66 is larger than the threshold Th3 (white eye threshold) and the state continues for a predetermined time T5 or more. It is determined that it is disabled.
  • Th3 white eye threshold
  • the white-eye determination unit 75 determines that the driver is in an inoperable state when a state in which white eyes are peeled is detected.
  • the storage device 52 stores each threshold value and each determination value used in each determination unit. Further, the storage device 52 stores the head inclination ⁇ , the face orientation, and the amplitude of the head shake learned by the learning unit 51. In the storage device 52, personal information including the medical history and age of the driver is registered. When there are a plurality of drivers, personal information of each driver is registered. Further, the storage device 52 is registered with the posture of the driver that is not determined as being incapable of driving and the posture of the driver that is determined as being incapable of driving. The posture of the driver who is not determined to be incapable of driving is, for example, a normal driving posture or a posture improved during driving.
  • the posture of the driver that is determined as being incapable of driving is, for example, the posture that a driver who has illness makes during an attack.
  • the driver captures the posture desired to be registered in the driver's seat in advance with the driver camera 21 and registers it in the storage device 52.
  • the times T1 to T5 in each of the above determinations are about several seconds (for example, about 1 to 5 seconds), and may be set as times having different lengths, or may be set as the same time. Further, each of the times T1 to T5 may be variably set according to various conditions. Specifically, each of the times T1 to T5 may be set based on personal information registered in the storage device 52. For example, time T1 to T5 is shorter for older people than for younger people. In addition, a person with a specific medical history makes the time T1 to T5 shorter than a person without a specific medical history. Further, the times T1 to T5 are changed according to the driver's condition and the driving environment.
  • the time T1 to T5 is shortened as the vehicle speed of the host vehicle increases. Further, in order to avoid a collision, the time T1 to T5 is shortened as the TTC (collision margin time) obtained by dividing the inter-vehicle distance from the preceding vehicle by the relative speed with the preceding vehicle is shorter. Also, when driving support control such as ACC (Adaptive Cruise ⁇ Control) or LKA (Lane Keep ⁇ ⁇ ⁇ ⁇ Assist) is executed in the host vehicle, the driver may lose his posture for a long time, so the time T1 to T5 is extended. To do.
  • ACC Adaptive Cruise ⁇ Control
  • LKA Lia Keep ⁇ ⁇ ⁇ ⁇ Assist
  • an alarm to the outside of the vehicle is immediately implemented by blinking the hazard lamp 95.
  • the warning is stopped by the driver's operation after the hazard lamp 95 starts to alarm the vehicle, the warning is stopped without performing the risk avoidance processing such as deceleration, stop, and road shoulder evacuation of the host vehicle. If not, risk avoidance processing is performed after a predetermined time has elapsed from the start of hazard blinking.
  • each section is expressed as, for example, S11. Further, each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section. Further, each section can be referred to as a device, a module.
  • S1 it is determined whether or not an execution condition for determining the inoperable state is satisfied. In this case, for example, if the vehicle speed of the host vehicle is greater than a predetermined value (for example, 0 km / h) and the host vehicle is in a traveling state, it is determined that the execution condition is satisfied. If the execution condition is satisfied, the process proceeds to the subsequent S12. If the execution condition is not satisfied, the present process is terminated.
  • a predetermined value for example, 0 km / h
  • various parameters used for determining the inoperable state are acquired.
  • -Information on the driver's head and trunk detected from the driver's seat image ⁇ Information on the inclination ⁇ of the head relative to the body of the driver, -Information on the direction of the driver's face relative to the front of the vehicle, Driver white eye detection information, Etc.
  • various determination processes for determining that the driver is in an inoperable state are performed using the various parameters acquired in S12.
  • the determination processes (1) to (5) described above are performed as the determination process for determining the inoperable state.
  • the frame-out determination process it is determined whether or not the head position is out of the image range FA continuously for time T1 or more.
  • the posture collapse determination process it is determined whether or not the inclination ⁇ of the head with respect to the torso of the driver is larger than the threshold Th1 continuously for a time T2 or more.
  • the direction collapse determination process it is determined whether or not the driver's face direction with respect to the front of the vehicle is greater than a threshold value Th2 continuously for a time T3 or more.
  • the shaking determination process it is determined whether or not the driver's head is shaking differently than usual for an external force continuously for time T4 or more.
  • the white eye determination process it is determined whether or not the driver's white eye degree is greater than the threshold value Th3 continuously for a time T5 or more.
  • the priority order of execution is determined for each of the determination processes (1) to (5), and when it is determined that there is an abnormality in any of the determination processes, other determination processes are not performed. You may do it.
  • S14 it is determined whether or not the driver is in an inoperable state based on the result of each determination process in S13. In this case, if it is determined that an abnormality has occurred in at least one of the determination processes in S13, S14 is affirmed and the process proceeds to S15.
  • S14 is also referred to as an abnormality determination unit that determines, based on the driver monitoring information, that the driver has entered an inoperable state in which the vehicle cannot be operated.
  • a command to blink the hazard lamp 95 is issued.
  • the driver monitoring device 50 outputs a hazard blink command signal to the behavior control device 90, and the behavior control device 90 performs blink display of the hazard lamp 95 based on the command signal.
  • the hazard lamps 95 before and after the vehicle 10 are blinked and the hazard display mark 97 on the meter panel 14 is blinked.
  • An out-of-vehicle warning may be implemented by the operation of.
  • S15 is also referred to as an alarm control unit that issues an alarm to the outside of the vehicle by driving a hazard lamp 95 (functioning as an alarm device).
  • the response confirmation counter is incremented by one.
  • the response confirmation counter is a time measuring unit that measures an elapsed time (elapsed time after S14 becomes YES) after it is determined that the driver has become inoperable.
  • S17 it is determined whether or not there is a response from the driver after it is determined that the driver has become inoperable. Specifically, the driver notices that the hazard lamp 95 (hazard display mark 97) is blinking, and determines whether or not the hazard switch 96 has been pressed. In this case, if there is a response from the driver, the process proceeds to S18 on the assumption that the driver is not in an inoperable state or the state is resolved, and if there is no response from the driver, the process proceeds to S20 because the inoperable state is continued. .
  • the response confirmation counter is cleared to zero.
  • the driver monitoring device 50 outputs a command signal to the behavior control device 90 to stop hazard blinking and horn operation.
  • a predetermined time has elapsed since it was determined that the driver has become inoperable. Specifically, it is determined whether or not the response confirmation counter has reached a predetermined value.
  • the predetermined value is, for example, about several seconds (for example, about 3 to 5 seconds).
  • S21 it is instructed to execute risk avoidance processing such as deceleration, stop, and shoulder retraction of the vehicle 10.
  • the driver monitoring device 50 outputs a command signal for risk avoidance processing to the behavior control device 90, and the behavior control device 90, based on the command signal, the engine 91, the transmission 92, the brake actuator 93, the steering.
  • the actuator 94 is appropriately controlled to stop the vehicle 10 safely. At this time, an alarm may be given to other occupants of the vehicle 10 by sound from a speaker or the like.
  • S17-S21 does not perform the danger avoidance process when the alarm is stopped by the driver's operation after the alarm is started outside the vehicle, while the alarm is stopped. If not, it is also referred to as a risk avoidance control unit that performs risk avoidance processing after a predetermined time has elapsed from the start of the alarm.
  • the sound from the speaker 82 or display on the display 81 is performed as an in-vehicle alarm (alarm for the driver), and the in-vehicle
  • the structure which determines the presence or absence of the response with respect to an alarm may be sufficient.
  • the driver responds. Determination is made (S17: YES).
  • FIG. 7 is a time chart specifically showing treatments when the driver becomes inoperable.
  • the abnormality counter is incremented. Is started.
  • the counter value reaches a predetermined threshold value X (corresponding to times T1 to T5) at timing t12, it is determined that the driver has become inoperable.
  • the blinking display of the hazard lamp 95 is started in order to perform an out-of-vehicle alarm, and the response confirmation counter is incremented.
  • risk avoidance processing such as deceleration, stop, and shoulder retraction of the vehicle 10 is performed.
  • risk avoidance processing such as deceleration, stop, and shoulder retraction of the vehicle 10 is performed.
  • illustration is omitted, the danger avoidance process is not performed when the hazard blinking is canceled by the driver's operation before the timing t13 (when there is a response).
  • the vehicle 10 while the vehicle 10 is traveling, it is determined that the driver is in an inoperable state such as a sudden illness while driving the vehicle, and when it is determined that the driver is in an inoperable state, Immediately, that is, prior to the execution of the danger avoidance process, an alarm is given to the outside of the vehicle by driving the hazard lamp 95 (alarm). Then, after the warning to the outside of the vehicle by the hazard lamp 95 is started, if the hazard blinking is stopped by the driver's operation, the danger avoidance process is not performed, and if the hazard blinking is not stopped, the predetermined time has elapsed since the hazard blinking. A risk avoidance process was implemented later.
  • the danger avoidance process is to forcibly operate the traveling state of the vehicle 10 by shifting the operation authority of the vehicle 10 from the driver to the vehicle side. Unlike flashing, the configuration is performed after the driver response is confirmed, so that the forced operation of the vehicle against the intention can be suppressed.
  • the warning lamp outside the vehicle by the hazard lamp 95 is limited to making a right / left turn, turning, slowing down, stopping, retreating, or changing the course according to the regulations. Since it is assumed that the driver has entered an inoperable state, the hazard lamp 95 can be blinked on the assumption that risk avoidance processing such as deceleration, stop, and shoulder evacuation is performed. .
  • the hazard lamp 95 When the hazard lamp 95 is used as an alarm device, it is possible to cause the hazard display mark 97 on the meter panel 14 to blink as an alarm for the driver in the vehicle interior, and to use the hazard switch 96 as a reset button for confirming the response.
  • the function of the HMI can be provided by the hazard lamp 95 and the configuration accompanying the hazard lamp 95, and the configuration can be simplified by eliminating the need to change the HMI 80.
  • the first warning to the outside of the vehicle by the hazard lamp 95 is immediately performed, and there is no driver response for a predetermined time from the start of the first warning.
  • the second warning to the outside by the hazard lamp 95 is carried out in a mode in which the degree of recognition around the host vehicle is higher than the first warning.
  • FIG. 8 is a flowchart showing the processing in this embodiment, and this processing is performed by the driver monitoring apparatus 50 in place of the processing in FIG.
  • S31 and S32 are new processes.
  • the blinking cycle differs between the hazard flashing in the first mode (first alarm) and the hazard flashing in the second mode (second alarm), and the second mode flashes more than the first mode.
  • the cycle is shortened.
  • the hazard lamp 95 may be constantly lit without blinking. In this case, it is considered that the shorter the blinking cycle, the higher the degree of recognition of hazard blinking around the host vehicle. Therefore, at the time immediately after the determination of the inoperable state, the hazard blink recognition is relatively low, and if there is no driver response thereafter, the hazard blink recognition is increased.
  • the hazard blinking (also referred to as the first alarm) is performed in a mode in which the degree of recognition of the surrounding area is relatively low. It was set as the structure which makes a hazard blink (it is also mentioned a 2nd alarm) in a mode with higher periphery recognition.
  • the first alarm promptly gives a sense of vigilance to the vicinity of the host vehicle
  • the second alarm causes the vehicle around the host vehicle to grasp that the degree of danger is high and take a risk avoidance action. It becomes possible. Further, by switching the alarm form in two stages, it is possible to expect an effect that it is possible to suppress surprise of a vehicle around the host vehicle by a sudden alarm and an effect that it is easy to recognize that the degree of danger is high.
  • the embodiment of the first alarm and the second alarm may be as follows. For example, at the time immediately after the determination of the inoperable state, the hazard lamp 95 is blinked as the first alarm process, and the horn device is deactivated. After that, if there is no driver response, the hazard lamp 95 is blinked and the horn device is activated as the second alarm process.
  • the hazard lamp 95 when it is determined that the driver has become unable to drive, the hazard lamp 95 is immediately blinked to perform an outside alarm, or after confirming that there is no driver response for a predetermined time, the hazard lamp 95 It is configured to switch whether to perform an outside alarm by blinking. Specifically, when it is determined that the driver has become inoperable, it is determined which of the plurality of determination processes is based on the result of the determination, and if the risk is relatively high Immediately, the hazard lamp 95 is blinked to perform an outside alarm, and if the degree of danger is relatively low, the hazard lamp 95 is blinked after the predetermined response confirmation period has elapsed, and the outside alarm is performed.
  • FIG. 9 is a flowchart showing a processing procedure in the present embodiment. This processing is performed by the driver monitoring apparatus 50 in place of the processing in FIG.
  • S41 to S43 are new processes.
  • S11 to S14 it is determined in S11 to S14 whether or not the driver is in an inoperable state. If it is determined that the driver is in an inoperable state, the process proceeds to S41.
  • S41 it is determined whether or not the driving risk is relatively high in a situation where it is determined that the driving is impossible. In this case, it is determined whether the reason why it is determined that the vehicle is incapable of driving is due to any of the above five determination processes (out-of-frame determination, posture collapse determination, direction collapse determination, shake determination, and white eye determination). It is determined whether it corresponds to a high driving risk.
  • the five determination processes indicate that the driver has become unable to drive due to different criteria based on the driver's state and behavior. This is a judgment.
  • the driver when it is determined that the driving is impossible by the frame-out determination and when it is determined that the driving is impossible by the white eye determination, the driver is in a state where the driver cannot visually recognize the front of the vehicle. Can be considered. In this case, it can be determined that the driver is in a serious state and the driving risk is high.
  • S41 when S41 is YES, it progresses to S15 and commands to make the hazard blink. In the case of NO in S41, the hazard blinking is not performed by skipping S15.
  • the driving risk is compared in S42 under the situation where it is determined that the driver is incapable of driving. It is determined whether or not the target is large (similar to S41). And when S42 is NO, it progresses to S43 and instruct
  • an alarm process that immediately causes a hazard blink (S15 after YES in S41, also referred to as the first control unit), and after no driver response has been confirmed (S17: NO) It is configured to switch and execute an alarm process (S43 after NO in S42, also referred to as a second control unit) that causes hazard blinking.
  • S41 or S42 is also referred to as a switching unit that switches between the first control unit and the second control unit.
  • the determination process based on frame-out determination and the determination process based on white-eye determination are such that the driver cannot visually recognize the front of the host vehicle. It is also a process of determining whether or not In this case, it is difficult to imagine that the front of the host vehicle is not visible in normal driving, and the driver's symptoms are considered to be severe (high severity). Therefore, it is desirable to perform hazard blinking at the time of abnormality determination by frame-out determination or abnormality determination by white-eye determination in order to avoid danger.
  • the condition for switching whether the hazard lamp 95 is immediately blinked or whether the hazard lamp 95 is blinked after confirming the driver response when it is determined that the driver has become inoperable may be as follows.
  • the hazard lamp 95 may be blinked immediately or the hazard lamp 95 may blink after confirming the driver response.
  • a threshold value of the vehicle speed for example, a predetermined speed within 40 to 80 km / h
  • S41 and S42 in FIG. Determine whether. If the vehicle speed is equal to or higher than the threshold, the hazard lamp 95 is immediately blinked when it is determined that the vehicle is in an inoperable state (S15). If the vehicle speed is less than the threshold, the hazard response 95 is blinked after confirming the driver response. (S43).
  • the degree (severity) of the driver's symptom is determined in each determination process, and the hazard lamp 95 is blinked immediately based on the degree of the symptom, or the hazard lamp 95 is blinked after confirming the driver response. May be switched.
  • the level of severity (severity) of the symptom can be determined based on the angle of the posture of the driver, the magnitude of shaking, the degree of white eye, etc., and in S41 and S42 in FIG. It is determined whether or not the symptom when it is determined to be in a disabled state is a severe level. If it is a severe level, the hazard lamp 95 is immediately blinked when it is determined that the vehicle is in an inoperable state (S15). If it is not a severe level, the hazard response 95 is blinked after confirming the driver response (S43). .
  • ⁇ make it possible to set modes related to risk-avoidance driving, and define a mode for setting the danger response level to high and a mode for setting it to low. If the setting mode is the high mode, the hazard lamp 95 is immediately flashed when it is determined that the driver has become inoperable. If the setting mode is the low mode, the hazard response is confirmed after confirming the driver response. Flash 95.
  • the mode setting may be automatically set on the vehicle side in addition to the driver's self setting. For example, it is preferable to recognize who the driver is and automatically set the mode according to the recognition result.
  • the determination processes (1) to (5) are performed as the determination process for determining whether or not the driver is in an inoperable state.
  • a configuration in which a part of determination processing including at least one is performed may be employed.
  • a configuration in which the hazard lamp 95 is not used as an alarm device may be used.
  • the hazard lamp 95 any one of a horn device, a sound device, and an outside display panel may be used.
  • a horn device instead of the hazard lamp 95, any one of a horn device, a sound device, and an outside display panel may be used.
  • driver monitoring apparatus 50 implements the process (drive process of an alarm device) which blinks and displays the hazard lamp 95 instead of the behavior control apparatus 90.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Emergency Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

　車載制御装置（Ｉｎ－ｖｅｈｉｃｌｅ　Ｃｏｎｔｒｏｌ　Ａｐｐａｒａｔｕｓ）（５０、９０）の一部として機能するドライバ監視装置（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ａｐｐａｒａｔｕｓ）（５０）は、車両の走行中において、ドライバ監視情報に基づいてドライバが車両運転が不能な運転不能状態になったか否かを判定し、ドライバが運転不能状態になったと判定された場合に、ハザードランプ（９５）の駆動による車外警報の実施を指令する。また、ドライバ監視装置は、ハザードランプによる車外警報の開始後において、ドライバの操作により警報が停止された場合に危険回避処理を実施せず、警報が停止されない場合に警報の開始から所定時間の経過後に危険回避処理を実施する旨を指令する。

Description

車載制御装置 関連出願の相互参照
　本開示は、２０１４年８月２２日に出願された日本出願番号２０１４－１６９５４１号に基づくもので、ここにその記載内容を援用する。
　本開示は、車載制御装置（Ｉｎ－Ｖｅｈｉｃｌｅ　Ｃｏｎｔｒｏｌ　Ａｐｐａｒａｔｕｓ）に関するものである。
　車両の運転中に、急病により運転に必要な認知・判断・操作ができなくなり、事故に至ることが問題となっている。そこで、姿勢崩れ等のドライバ異常を判定する技術が提案されており、例えば特許文献１に記載の運転制御装置では、運転席の座部に対する臀部の押圧力、背凭れ部に対する背部の押圧力、床部に対する左足の押圧力を検出し、押圧力の分布に基づいて、ドライバの姿勢が、正常な姿勢、前のめり姿勢及び仰向け姿勢のいずれの状態であるかを判定している。そして、ドライバの姿勢が前のめり姿勢又は仰向け姿勢の状態のときに、ドライバの体調に異常が生じたと判定している。
　また現状では、姿勢崩れ等のドライバ異常を検出した後、システム側がドライバに対して異常状態か否かを確認し、ドライバからの応答がない場合に危険回避の処置を実施することとしている。具体的には、ドライバ異常を検出した場合に、車室内における音声や表示による通知を行い、所定時間が経ってもドライバからの応答が無ければ、ハザードランプを点滅表示させることで車外（搭載車両の周辺）に対して危険発生の可能性を伝えたり、車両の減速、停止、路肩退避等の危険回避処理を実施したりしている。
ＪＰ　２０１２－２５４７４５ Ａ
　上記従来技術は、異常発生したとの判定後において、ドライバの応答確認のための所定時間が経過したタイミングで車外への警報が行われるものである。そのため、ドライバが急病等により運転不能な状態に陥った場合を想定すると、車両の周辺に対する対応の遅れが生じる可能性ある。
　本開示は、ドライバが運転不能状態になった場合において安全上適正な処置を実施することができる車載制御装置を提供することを目的とするものである。
　本開示の一つの例によれば、車載制御装置は、車両のドライバの状態を監視し、その監視結果に基づいて、車両の挙動を制御して危険回避処理を実施するものである。また、車載制御装置は、車両の走行中において、ドライバ監視情報に基づいて、ドライバが車両運転が不能な運転不能状態になったことを判定する異常判定部と、前記異常判定部によりドライバが運転不能状態になったと判定された場合に、警報器の駆動により車外への警報を実施する警報制御部と、前記警報器による車外への警報開始後において、ドライバの操作により当該警報が停止された場合に前記危険回避処理を実施せず、当該警報が停止されない場合に前記警報の開始から所定時間の経過後に前記危険回避処理を実施する危険回避制御部と、を備える。
　既存の技術では、ドライバの異常判定がなされた場合に、それをドライバ自身に確認して応答が無ければ、車外に対して警報が出されるとともに、車両の減速、停止、路肩退避といった危険回避処理が実施される構成となっている。つまり、車外への警報は、異常発生したとの判定から確認のための所定時間が経過した後になっている。こうした既存の技術は、音声や表示等による応答確認でドライバが異常状態から復帰することがあるとの想定をしたもの（居眠りなど、正常復帰の可能性が比較的高いと想定したもの）であり、正常復帰の可能性を考慮しつつ車外への警報が実施されるようになっている。
　これに対し、上記例の車載制御装置は、ドライバが車両運転中に急病になる等、運転不能状態になったことを判定するものであって、ドライバが運転不能状態になったと判定された場合に、危険回避処理の実施よりも前に、警報器の駆動により車外に対する警報が実施される。そして、警報器による車外への警報開始後において、ドライバの操作により当該警報が停止された場合には危険回避処理が実施されず、当該警報が停止されない場合には警報の開始から所定時間の経過後に危険回避処理が実施される。かかる場合、ドライバが運転不能状態になった場合には正常復帰への可能性が低く、その運転不能状態になったことに起因する事故の発生等を未然に防ぐことが重要となる。この点、上記構成では、車外への警報が先行実施されるため、車両周囲に対する警報を迅速に行わせることができる。その結果、ドライバが運転不能状態になった場合において安全上適正な処置を実施できる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
車載システムの構成を示すブロック図 車室内の構成を示す図 車両の運転席を示す図 車両のダッシュボード付近の構成を示す図 ドライバ監視装置の機能を示すブロック図 ドライバの運転不能判定に関する処理を示すフローチャート 運転不能状態での処置を具体的に示すタイムチャート 第２実施形態においてドライバの運転不能判定に関する処理を示すフローチャート 第３実施形態においてドライバの運転不能判定に関する処理を示すフローチャート
　（第１実施形態）
　以下、本開示を具体化した実施形態について図面を参照しつつ説明する。まず、本実施形態に係る車載システムの構成について、図１～図３を参照して説明する。本システムは、車両に搭載され、車載制御装置、ドライバ状態認識装置２０、車両挙動認識装置３０、走行環境認識装置４０、ＨＭＩ（Human Machine Interface）８０を備えている。車載制御装置は、ドライバ監視装置５０と挙動制御装置９０を備えている。搭載する車両は、ホスト車両あるいはサブジェクト車両とも言及される。ドライバ監視装置５０は、各認識装置２０，３０，４０からの情報に基づいて、ドライバが運転不能状態であるか否かを判定し、運転不能状態であると判定した場合にその旨をＨＭＩ８０や挙動制御装置９０に通知する。挙動制御装置９０は、ドライバが運転不能状態である場合に、ホスト車両の内外に対する警報を実施するとともに、車両を安全に停止させる等の危険回避処理を実施する。尚、本願では、「情報」は不可算名詞のみならず可算名詞としても使用される。
　ドライバ状態認識装置２０は、複数のドライバカメラ２１、シートベルトセンサ２２、座面センサ２３を備える。ドライバカメラ２１は、例えばＣＣＤカメラであり、近赤外ＬＥＤ等の照明装置により照らされた運転席を撮像する。ドライバカメラ２１は、図２及び図３に示すように、メータパネル１４と、バックミラー１６の下端の略中央と、左右のＡピラー１７とにそれぞれドライバに向けて搭載されている。ドライバカメラ２１は、メータパネル１４に代えて、ダッシュボード１３の上やステアリングコラムに設置されていてもよい。また、バックミラー１６の下端に代えて、バックミラー１６の左端や右端に設置されていてもよい。これら４つのドライバカメラ２１はドライバステータスモニタを構成し、運転席のシート１１に座ったドライバの上半身を正面側から１秒に数十画像分撮像する。
　シートベルトセンサ２２は、シートベルト１２の引き出し量を検出するセンサである。具体的には、シートベルトセンサ２２は、シートベルト１２の送り出し及び巻き取りを行うモータの回転角度を検出するエンコーダである。座面センサ２３は、運転席のシート１１の座部１１ａの圧力分布を検出するセンサである。
　車両挙動認識装置３０（車両走行認識装置あるいは、車両情報認識装置とも言及される）は、車速センサ３１、舵角センサ３２、アクセルセンサ３３、及びブレーキセンサ３４を備える。車速センサ３１は、車両１０の速度を検出するセンサである。舵角センサ３２は、ハンドル１５（ステアリングホイール）の操舵角を検出するセンサである。アクセルセンサ３３は、アクセル開度すなわちアクセルペダルの操作量を検出するセンサである。ブレーキセンサ３４は、ブレーキペダルの操作量を検出するセンサである。
　走行環境認識装置４０は、前方・後方カメラ４１、前方・後方センサ４２、カーナビゲーション装置４３、及びＧセンサ４４を備える。前方・後方カメラ４１は、道路の白線を含む車両１０の前方を撮像するカメラや、車両１０の後方及び後側方を撮像するカメラである。前方・後方センサ４２は、超音波センサ、レーザレーダ、ミリ波レーダ等のセンサであり、車両１０の前方や後方の物体を検出し、車両１０と前方や後方の物体との距離を取得する。前方・後方センサ４２により取得された車両１０と前方車両や後方車両との距離に基づいて、前方車両や後方車両との相対速度が算出できる。
　カーナビゲーション装置４３は、ＧＰＳ受信機により受信されたＧＰＳ信号や、Ｇセンサを含む各種センサにより取得された情報を用いて、車両１０の現在位置を算出し、現在位置から目的地までの誘導経路を算出する。Ｇセンサ４４は、例えばシート１１に設置され、車両１０の前後、左右、上下の３次元の加速度を検出するセンサである。
　ドライバ監視装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えるマイクロコンピュータにより構成されており、ドライバ状態認識装置２０、車両挙動認識装置３０、走行環境認識装置４０、ＨＭＩ８０、記憶装置５２から各種情報を取得する。ドライバ監視装置５０と各種装置とは、ＣＡＮ等の有線通信や、ＬＡＮ、Bluetooth（登録商標）等の無線通信で接続されている。また、ドライバ監視装置５０は、ＲＯＭに記憶されている各種プログラムをＣＰＵが実行することにより、画像解析部６０、学習部５１、状態判定部７０の機能を実現し、ドライバが運転不能状態か否かの判定を実施する。画像解析部６０、学習部５１、状態判定部７０の各々の機能は、１つあるいは複数のＩＣのようなハードウエア構成として実現してもよい。なお、本実施形態では、ドライバの運転不能状態は、ドライバが急病を発症して意識がなくなり運転操作できない状態と、ドライバが心臓発作等の急病を発症して、意識はあるが体を動かせないために運転操作できない状態とを含む。
　ＨＭＩ８０は、ディスプレイ８１、スピーカ８２、キャンセルスイッチ８３を備える。ディスプレイ８１は、カーナビゲーション装置４３のディスプレイや、メータパネル１４内に設けられている車載ディスプレイである。ディスプレイ８１は、液晶パネルや有機ＥＬパネルを備えたタッチディスプレイでもよい。ディスプレイ８１は、画像から検出されたドライバの姿勢に基づいて、ドライバの姿勢の崩れ度合を報知する。詳しくは、ディスプレイ８１は、ドライバの姿勢のステータスを５段階で表示する。最も崩れ度合の高い姿勢崩れレベル５は、ドライバが急病を発症して運転姿勢を維持できなくなった状態、すなわち運転不能状態と判定されるレベルである。ドライバは、ディスプレイ８１に表示された姿勢のステータスを見て自分の運転姿勢を確認できるので、姿勢崩れレベルが５に近づいた場合には、運転不能状態と判定される前に運転姿勢を修正できる。
　スピーカ８２は、カーナビゲーション装置４３やオーディオ装置等と共用される車載スピーカである。スピーカ８２は、ドライバが運転不能状態であると判定された場合に、ドライバに対して運転不能状態であるか否かを音声で確認する。なお、ディスプレイ８１が、運転不能状態を確認する画面を表示してもよい。また、スピーカ８２が、ドライバの姿勢崩れレベルを音声で報知してもよい。
　キャンセルスイッチ８３は、運転不能状態の判定を中止するスイッチである。キャンセルスイッチ８３が１回操作されると、１トリップの間、運転不能状態の判定が中止されるようにしてもよい。また、トリップ中に、運転不能状態の判定結果に関係なくキャンセルスイッチ８３が操作された場合には、キャンセルスイッチ８３が操作されている間、又は操作されてから一定時間（数秒程度）、運転不能状態の判定が中止される。よって、ドライバが物を取る動作を行う際に、予めキャンセルスイッチ８３を操作すれば、ドライバの姿勢が崩れても運転不能状態であると誤判定されるおそれがない。
　また、挙動制御装置９０は、車両制御装置あるいは車両走行制御装置とも言及され、ドライバ監視装置５０においてドライバが運転不能状態であると判定された場合に、車両１０の走行あるいは挙動を制御して危険回避処理を実施する。例えば、車両１０においてエンジン９１や変速機９２、ブレーキアクチュエータ９３の制御により、車両１０を減速又は停止させる。また、ステアリングアクチュエータ９４によるハンドル１５の操舵角制御を併せて実施することで、車両１０を路肩に退避させる。
　また、挙動制御装置９０は、警報器としてのハザードランプ９５（非常点滅表示灯）の点滅を制御する機能を有しており、ドライバが運転不能状態であると判定された場合に、ハザードランプ９５を点滅させ、それにより車外への警報を実施する。
　ハザードランプ９５は、周知のとおり車両の前後に設けられたウィンカ（方向指示器）と兼用の表示器である。図４に示すように、車室内においてダッシュボード１３にはハザードスイッチ９６が設けられており、そのハザードスイッチ９６を押し操作することで、ハザードランプ９５の点滅状態、消灯状態が切り替えられるようになっている。また、メータパネル１４には、ハザードランプ９５が点滅されていることを示すハザード表示マーク９７が設けられている。
　次に、ドライバ監視装置５０が実現する各種機能について、図５を参照して説明する。画像解析部６０は、頭部検出部６１、傾き検出部６２、顔向き検出部６３、白目検出部６４を含む。
　頭部検出部６１は、ドライバカメラ２１により撮像された運転席の画像に基づいて、ドライバの首よりも上の頭部を逐次検出する。詳しくは、頭部検出部６１は、ドライバカメラ２１により運転席の画像が撮像される都度、運転席の画像からドライバの頭部の輪郭を表すエッジを抽出し、抽出したエッジで囲まれた領域を頭部として検出する。
　傾き検出部６２は、運転席の画像に基づいて、ドライバの胴体部に対する頭部の傾きθを検出する。詳しくは、傾き検出部６２は、頭部及び胴体部の輪郭を表すエッジに囲まれた領域を、それぞれ頭部及び胴体部として検出するとともに、頭部及び胴体部の中心軸線を検出する。そして、傾き検出部６２は、胴体部の中心軸線に対する頭部の中心軸線の傾きを頭部の傾きθとする。胴体部の中心軸線は、予め用意されている胴体部の向きのパターンと、検出した胴体部の向きとのマッチングを行って胴体部の向きを決め、向きを決めた胴体部から検出する。また、頭部の中心軸線は、頭部に含まれる顔の目、鼻、口等の特徴点を抽出し、顔の特徴点の３次元的な配置から検出する。頭部が前方に傾いた場合は、顔の特徴点と車両前方との距離が近づき、頭部が仰け反った場合は、顔の特徴点と車両前方との距離が遠ざかる。頭部の中心軸線を検出する際に、車両の前後方向における顔の特徴点の距離を用いてもよい。
　あるいは、傾き検出部６２は、運転席の画像から運転席のシートベルト１２を検出し、シートベルト１２と頭部との位置関係から、胴体部に対する頭部の傾きθを検出する。ドライバの胴体部はシートベルト１２により拘束されているため、シートベルト１２の位置から胴体部の位置を推定できる。
　顔向き検出部６３は、運転席の画像に基づいて、車両１０の前方に対するドライバの顔の向きを検出する。顔向き検出部６３は、車両１０の前面に対向する垂直平面に対する顔面の傾きを、顔向きとして検出する。
　白目検出部６４は、表情検出部６５及び白目度合算出部６６を含み、ドライバが白目をむいた状態を検出する。ここで、白目をむいた状態とは、完全に白目をむいた状態に限らず、黒目領域が所定量よりも小さくなった状態も含む。すなわち、白目をむいた状態は、黒目が偏ることにより視野が所定範囲よりも狭くなっている状態をいう。
　表情検出部６５は、運転席の画像に基づいて、ドライバの目の輪郭及び黒目領域を検出する。ここで、ドライバの目の輪郭は、瞼と目との境界線である。また、黒目領域は、目の輪郭の内側の領域において、白目よりも明度の低い領域であり、黒色に限らず、青色、茶色、灰色等の色がついた領域である。また、表情検出部６５は、抽出された口の輪郭を表すエッジから、ドライバの口の開きを検出する。
　白目度合算出部６６は、表情検出部６５により検出された目の輪郭及び黒目領域に基づいて、ドライバの目の白目度合を算出する。具体的には、白目度合算出部６６は、
・黒目領域の縦方向の長さ、
・黒目領域の面積、
・目の輪郭で囲まれた領域の縦方向の長さと黒目領域の縦方向の長さとの比、
・黒目領域の偏平率、
等のいずれかに基づいて白目度合を算出する。
　学習部５１は、ドライバが運転不能状態でない場合において、傾き検出部６２により検出された頭部の傾きθを学習する。また、学習部５１は、ドライバが運転不能状態でない場合において、顔向き検出部６３により検出された顔の向きを学習する。さらに、学習部５１は、ドライバが運転不能状態でない場合において、頭部検出部６１により検出された頭部の揺れの振幅を学習する。すなわち、学習部５１は、ドライバの運転姿勢の癖を学習する。車両１０を運転するドライバが複数いる場合には、ドライバごとに運転姿勢の癖を学習する。
　状態判定部７０は、画像解析部６０により得られる各種のドライバ監視情報に基づいて、
（１）フレームアウト判定、
（２）姿勢崩れ判定、
（３）向き崩れ判定、
（４）揺れ判定、
（５）白目判定、
を実施し、これらのいずれかにより、ドライバが運転不能状態になったことの判定を実施する。状態判定部７０は、フレームアウト判定部７１、姿勢崩れ判定部７２、向き崩れ判定部７３、揺れ判定部７４、及び白目判定部７５を含んでおり、以下これらを順に説明する。
　（１）フレームアウト判定
　フレームアウト判定部７１は、車両１０の走行中に、ドライバ頭部のフレームアウトを判定して、フレームアウトしている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、フレームアウト判定部７１は、頭部検出部６１により検出されたドライバの頭部が画像の範囲ＦＡ（図２参照）から外れており、その状態が所定の時間Ｔ１以上継続する場合に、ドライバが運転不能状態になっていると判定する。ここで、範囲ＦＡは、ドライバカメラ２１により撮像された画像における所定の範囲である。通常の運転時には、ドライバの頭部が範囲ＦＡから外れることはない。範囲ＦＡを、撮像された画像の全体としてもよい。範囲ＦＡは、車両前方から見てフロントガラスを通じて認識される範囲に定められているとよい。
　ドライバが車両１０を正常に運転している場合は、ドライバが物を取る動作をしても、ドライバの頭部は画像の範囲ＦＡに収まることが多い。これに対して、急病を発症してドライバの意識がなくなると、ドライバの頭部が範囲ＦＡから外れることがある。よって、フレームアウト判定部７１は、ドライバの頭部が画像の範囲ＦＡから外れている場合に、ドライバが運転不能状態になっていると判定する。なお、過去の頭部位置情報を用い、ドライバの頭部が範囲ＦＡから外れるまでの軌跡を考慮して、運転不能状態の判定を実施することも可能である。
　シートベルトセンサ２２及び座面センサ２３の情報を用いてフレームアウト判定を実施することも可能である。具体的には、ドライバの頭部がフレームアウトしている状態で、シートベルト１２の引き出し量が、シートベルト１２の装着時に検出された引き出し量よりも第１引き出し量を超えて多く、且つ座部１１ａの圧力分布において高圧部分が座部１１ａの端部に偏っている場合に、ドライバが運転不能状態になっていると判定する。
　（２）姿勢崩れ判定
　姿勢崩れ判定部７２は、車両１０の走行中に、ドライバの姿勢崩れの判定をして、姿勢崩れしている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、姿勢崩れ判定部７２は、傾き検出部６２により検出された頭部の傾きθが閾値Ｔｈ１（相対傾き閾値）よりも大きくなっており、その状態が所定の時間Ｔ２以上継続する場合に、ドライバが運転不能状態になっていると判定する。
　通常、ドライバの胴体部は運転席のシート１１やシートベルト１２により拘束されているため、ドライバの意識がなくなっても胴体部は比較的動きにくい。一方、ドライバの頭部は拘束されていないことが多いため、ドライバの意思で頭部の位置を維持する必要がある。そのため、急病を発症してドライバの意識がなくなると、ドライバは頭部の位置を維持できなくなり、頭部は胴体部に対していずれかの方向に大きく傾くことが多い。
　これに対して、走行中にドライバが脇見をするときは、一般的にドライバは首を回転させて見るため、胴体部に対する頭部の傾きは小さくなることが多い。また、ドライバが運転席から離れた位置の物を取るときは、一般的にドライバは意識して胴体部を傾けるため、胴体部に対する頭部の傾きθは小さくなることが多い。よって、姿勢崩れ判定部７２は、頭部の傾きθが閾値Ｔｈ１よりも大きい場合に、ドライバが運転不能状態になっていると判定する。このとき、姿勢崩れ判定部７２は、更にドライバの顔が車両１０の前方を向いていないことを条件として運転不能状態であることを判定すると、運転不能状態の誤判定を抑制できる。
　（３）向き崩れ判定
　向き崩れ判定部７３は、車両１０の走行中に、ドライバの顔向きの崩れの判定をして、顔向きが崩れている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、向き崩れ判定部７３は、顔向き検出部６３により検出された車両１０の前方に対する顔の向きが閾値Ｔｈ２（顔向き閾値）よりも大きくなっており、その状態が所定の時間Ｔ３以上継続する場合に、ドライバが運転不能状態になっていると判定する。
　一般的に、急病を発症すると、ドライバは顔の向きを維持できなくなり、車両１０の前方に対する顔の向きが崩れたままの状態になる。これに対して、走行中にドライバが脇見をするときは、一般的にドライバは顔の向きを変えてもすぐに戻すことが多い。よって、向き崩れ判定部７３は、車両前方に対する顔の向きが閾値Ｔｈ２よりも大きい場合に、ドライバが運転不能状態になっていると判定する。
　また、向き崩れ判定部７３は、
・顔向き検出部６３により検出された車両１０の前方に対する顔の向きが、閾値Ｔｈ２よりも大きく、且つドライバがハンドル１５を放している場合、
・顔向き検出部６３により検出された顔の向きが閾値Ｔｈ２よりも大きく、且つアクセル開度が所定開度よりも大きい場合、
・顔向き検出部６３により検出された顔の向きが閾値Ｔｈ２よりも大きく、且つ所定時間よりも長い時間アクセル操作及びブレーキ操作が行われていない場合、
のいずれかにおいて、ドライバが運転不能状態になっていると判定してもよい。
　（４）揺れ判定
　揺れ判定部７４は、車両１０の走行中において、外力に伴うドライバの頭部の揺れ状態を判定して、頭部が通常と異なる揺れをしている場合に、ドライバが運転不能状態になっていると判定する。詳しくは、揺れ判定部７４は、車両１０に外力が加わった際において頭部検出部６１により検出された頭部の揺れの振幅が、振幅Ａｍ１（第１振幅）よりも小さいか、又は振幅Ａｍ２（第２振幅）よりも大きくなっており、その状態が所定の時間Ｔ４以上継続する場合に、ドライバが運転不能状態になっていると判定する。振幅Ａｍ２は振幅Ａｍ１よりも大きい値である。
　車両１０に外力が加わると、所定の時間差の後、ドライバに振動が伝わる。通常、ドライバの意識がある場合、車両１０に外力（詳しくは上下方向の外力）が加わった際に、ドライバの頭部は振幅Ａｍ１から振幅Ａｍ２の範囲内の振幅で揺れる。これに対して、ドライバが急病を発症して体が硬直していると、正常時よりも頭部の揺れの振幅が小さくなる。また、ドライバが急病を発症して体が弛緩していると、正常時よりも頭部の揺れの振幅が大きくなる。よって、揺れ判定部７４は、上述した場合にドライバの運転不能状態を判定する。
　（５）白目判定
　白目判定部７５は、車両１０の走行中に、白目の判定をして、白目検出部６４により白目をむいた状態が検出された場合に、ドライバが運転不能状態になっていると判定する。詳しくは、白目判定部７５は、白目度合算出部６６により算出された白目度合が閾値Ｔｈ３（白目閾値）よりも大きくなっており、その状態が所定の時間Ｔ５以上継続する場合に、ドライバが運転不能状態になっていると判定する。
　通常、ドライバが運転可能な状態の場合は、ドライバが白目をむくことはない。これに対して、ドライバが急病を発症すると、ドライバが白目をむくことがある。よって、白目判定部７５は、白目をむいた状態が検出された場合に、ドライバが運転不能状態になっていると判定する。
　記憶装置５２には、各判定部にて用いられる各閾値及び各判定値が記憶されている。さらに、記憶装置５２には、学習部５１により学習された頭部の傾きθ、顔の向き及び頭部の揺れの振幅が記憶される。また、記憶装置５２には、ドライバの病歴及び年齢を含む個人情報が登録されている。ドライバが複数いる場合には、各ドライバの個人情報が登録されている。また、記憶装置５２には、運転不能状態と判定しないドライバの姿勢、及び運転不能状態と判定するドライバの姿勢が登録されている。運転不能状態と判定しないドライバの姿勢は、例えば通常の運転姿勢や運転中によくする姿勢である。運転不能状態と判定するドライバの姿勢は、例えば持病があるドライバが発作時にする姿勢である。ドライバは、予め運転席で登録したい姿勢をドライバカメラ２１で撮像して、記憶装置５２に登録する。
　上記各判定における時間Ｔ１～Ｔ５は数秒程度（例えば１～５秒程度）であり、各々に長さの異なる時間として設定されていてもよいし、同じ時間として設定されていてもよい。また、各時間Ｔ１～Ｔ５は、種々の条件に応じて可変に設定されてもよい。具体的には、各時間Ｔ１～Ｔ５は、記憶装置５２に登録されている個人情報に基づいて設定されるとよい。例えば、年齢が高い人は低い人よりも時間Ｔ１～Ｔ５を短くする。また、特定の病歴がある人は、特定の病歴がない人よりも時間Ｔ１～Ｔ５を短くする。さらに、時間Ｔ１～Ｔ５を、ドライバの状態や走行環境に応じて変更する。ドライバが運転不能状態になる兆候を示している状態や、ドライバが運転不能状態である可能性が高い状態や、ドライバが運転不能状態となった場合に衝突の危険性が高い走行環境では、時間Ｔ１～Ｔ５を短縮してドライバの運転不能状態が判定されやすくする。
　また、衝突を回避するために、車速が速いほど早く適切な車両制御を開始する必要があるので、ホスト車両の車速が高いほど時間Ｔ１～Ｔ５を短くする。また、衝突を回避するために、先行車両との車間距離を先行車両との相対速度で除したＴＴＣ（衝突余裕時間）が短いほど時間Ｔ１～Ｔ５を短くする。また、ホスト車両においてＡＣＣ（Adaptive Cruise Control）やＬＫＡ（Lane Keep Assist）等の運転支援制御が実行されている場合には、ドライバは長い時間姿勢を崩すことがあるので、時間Ｔ１～Ｔ５を延長する。
　また、本車載システムでは、車両走行中において、ドライバが運転不能状態になっていると判定された場合に、直ちにハザードランプ９５の点滅表示により車外への警報を実施するようにしている。そして、ハザードランプ９５による車外への警報開始後において、ドライバの操作により当該警報が停止された場合には、ホスト車両の減速、停止、路肩退避といった危険回避処理を実施せず、当該警報が停止されない場合にハザード点滅の開始から所定時間の経過後に危険回避処理を実施するようにしている。
　次に、ドライバの運転不能状態を判定する処理手順について、図６のフローチャートを参照して説明する。本処理は、ドライバ監視装置５０により所定周期で繰り返し実施される。
　ここで、本開示の複数の実施形態に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）を含み、各セクションは、たとえば、Ｓ１１と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、各セクションは、デバイス、モジュールとして言及されることができる。
　まず、Ｓ１では、運転不能状態の判定を実施する実施条件が成立しているか否かを判定する。この場合、例えばホスト車両の車速が所定値（例えば０ｋｍ／ｈ）よりも大きくホスト車両が走行状態にあれば、実施条件が成立していると判定する。実施条件が成立していれば後続のＳ１２に進み、実施条件が成立していなければそのまま本処理を終了する。
　Ｓ１２では、運転不能状態の判定に用いる各種パラメータを取得する。具体的には、
・運転席の画像から検出したドライバの頭部及び胴体部の情報、
・ドライバの胴体部に対する頭部の傾きθの情報、
・車両の前方に対するドライバの顔の向きの情報、
・ドライバの白目検出の情報、
等を取得する。
　次に、Ｓ１３では、Ｓ１２で取得した各種パラメータを用い、ドライバが運転不能状態になっていることを判定するための各種の判定処理を実施する。本実施形態では、運転不能状態を判定する判定処理として、上述した（１）～（５）の各判定処理を実施する。
　具体的には、フレームアウト判定処理として、時間Ｔ１以上継続して頭部位置が画像の範囲ＦＡから外れているか否かを判定する。姿勢崩れ判定処理として、時間Ｔ２以上継続してドライバの胴体部に対する頭部の傾きθが閾値Ｔｈ１よりも大きいか否かを判定する。向き崩れ判定処理として、時間Ｔ３以上継続して車両前方に対するドライバの顔向きが閾値Ｔｈ２よりも大きいか否かを判定する。揺れ判定処理として、時間Ｔ４以上継続して外力に対してドライバの頭部が通常とは異なる揺れをしているか否かを判定する。白目判定処理として、時間Ｔ５以上継続してドライバの白目度合が閾値Ｔｈ３よりも大きいか否かを判定する。
　なお、（１）～（５）の各判定処理について実施の優先順序を定めておき、その上で、いずれかの判定処理で異常有りと判定された場合には、他の判定処理を実施しないようにしてもよい。
　その後、Ｓ１４では、Ｓ１３の各判定処理の結果に基づいて、ドライバが運転不能状態になっているか否かを判定する。この場合、Ｓ１３の各判定処理のうち少なくとも１つで異常発生の旨が判定されていれば、Ｓ１４を肯定し、Ｓ１５に進む。Ｓ１４は、ドライバ監視情報に基づいて、ドライバが車両運転が不能な運転不能状態になったことを判定する異常判定部とも言及される。
　Ｓ１５では、ハザードランプ９５を点滅表示させる旨を指令する。この場合、ドライバ監視装置５０が挙動制御装置９０に対してハザード点滅の指令信号を出力し、挙動制御装置９０は、その指令信号に基づいてハザードランプ９５の点滅表示を実施する。これにより、車両１０の前後のハザードランプ９５が点滅表示されるとともに、メータパネル１４のハザード表示マーク９７が点滅表示される。なお、ホスト車両周辺に対する車外警報を想定した場合、ホスト車両の前を走行する先行車両についてはハザードランプ９５を点滅させてもそれに気づきにくいと考えられるため、ハザードランプ９５の点滅に加え、ホーン装置の作動による車外警報を実施してもよい。Ｓ１５は、ハザードランプ９５（警報器として機能する）の駆動により車外への警報を実施する警報制御部とも言及される。
　その後、Ｓ１６では、応答確認カウンタを１インクリメントする。応答確認カウンタは、ドライバが運転不能状態になったと判定されてからの経過時間（Ｓ１４がＹＥＳになってからの経過時間）を計測する計時部である。
　Ｓ１７では、ドライバが運転不能状態になったと判定された後におけるドライバの応答の有無を判定する。具体的には、ドライバがハザードランプ９５（ハザード表示マーク９７）が点滅表示されていることに気づいて、ハザードスイッチ９６を押し操作したか否かを判定する。この場合、ドライバの応答があれば、ドライバが運転不能状態になっていない又は当該状態が解消されたとしてＳ１８に進み、ドライバの応答がなければ、運転不能状態が継続されているとしてＳ２０に進む。
　Ｓ１８では、応答確認カウンタを０にクリアする。続くＳ１９では、ドライバによる運転が可能であると認識したことを、スピーカ８２からの音声、又はディスプレイ８１上での表示等で通知する。またこのとき、ドライバ監視装置５０は、挙動制御装置９０に対してハザード点滅やホーン作動を停止する旨の指令信号を出力する。
　また、Ｓ２０では、ドライバが運転不能状態になったと判定されてから所定時間が経過したか否かを判定する。具体的には、応答確認カウンタが所定値に到達したか否かを判定する。所定値は例えば数秒程度（例えば３～５秒程度）である。
　そして、ドライバの応答がないまま所定時間が経過した場合（Ｓ２０：ＹＥＳ）には、Ｓ２１に進む。Ｓ２１では、車両１０の減速、停止、路肩退避といった危険回避処理を実施する旨を指令する。この場合、ドライバ監視装置５０が挙動制御装置９０に対して危険回避処理の指令信号を出力し、挙動制御装置９０は、その指令信号に基づいて、エンジン９１や変速機９２、ブレーキアクチュエータ９３、ステアリングアクチュエータ９４を適宜制御して、車両１０を安全に停車させる。またこのとき、車両１０の他の搭乗者に対してもスピーカの音声等により警報を行うとよい。以上の説明のように、Ｓ１７－Ｓ２１は、警報器による車外への警報開始後において、ドライバの操作により当該警報が停止された場合に前記危険回避処理を実施せず、一方、当該警報が停止されない場合に警報の開始から所定時間の経過後に危険回避処理を実施する危険回避制御部とも言及される。
　なお、ドライバが運転不能状態になったと判定された場合（Ｓ１４：ＹＥＳ）に、車内警報（対ドライバの警報）として、スピーカ８２からの音声、又はディスプレイ８１上での表示を実施し、その車内警報に対する応答の有無を判定する構成であってもよい。この場合、所定時間内に、ドライバのタッチディスプレイへの接触、ドライバの音声、ハンドル１５やブレーキ等によるホスト車両操作、キャンセルスイッチ８３の操作等のいずれかが検出されれば、ドライバから応答ありと判定する（Ｓ１７:ＹＥＳ）。
　図７は、ドライバが運転不能状態になった場合の処置を具体的に示すタイムチャートである。
　タイミングｔ１１では、車両走行中において、急病等によりドライバが何らかの異常状態（フレームアウト異常、姿勢崩れ異常、向き崩れ異常、揺れ異常、白目異常のいずれか）になり始めたと判定され、異常カウンタのインクリメントが開始される。そして、タイミングｔ１２でカウンタ値が所定の閾値Ｘ（時間Ｔ１～Ｔ５に相当）に達すると、ドライバが運転不能状態になった旨が判定される。このとき、車外警報を行うべくハザードランプ９５の点滅表示が開始されるとともに、応答確認カウンタのインクリメントが開始される。
　そして、ドライバの応答がないまま所定時間が経過してタイミングｔ１３になると、車両１０の減速、停止、路肩退避といった危険回避処理が実施される。なお図示は省略するが、タイミングｔ１３になる前にドライバの操作によりハザード点滅が解除された場合（応答があった場合）には危険回避処理は実施されない。
　以上詳述した本実施形態によれば、以下の優れた効果が得られる。
　本実施形態では、車両１０の走行中において、ドライバが車両運転中に急病になる等、運転不能状態になったことを判定するものとし、ドライバが運転不能状態になったと判定された場合に、直ちに、すなわち危険回避処理の実施よりも前に、ハザードランプ９５（警報器）の駆動により車外に対する警報を実施するようにした。そして、ハザードランプ９５による車外への警報開始後において、ドライバの操作によりハザード点滅が停止された場合には危険回避処理を実施せず、ハザード点滅が停止されない場合にはハザード点滅から所定時間の経過後に危険回避処理を実施するようにした。かかる場合、ドライバが運転不能状態になった場合には正常復帰への可能性が低く、その運転不能状態になったことに起因する事故の発生等を未然に防ぐことが重要となる。この点、本実施形態では、車外への警報が先行実施されるため、車両周囲に対する警報を迅速に行わせることができる。その結果、ドライバが運転不能状態になった場合において安全上適正な処置を実施できる。
　また、危険回避処理は、言うなれば、車両１０の操作権限をドライバから車両側に移行させて車両１０の走行状態を強制操作するものであるが、その操作権限の移行を、ハザードランプ９５の点滅とは異なり、ドライバ応答の確認後に行う構成としたため、意に反した車両の強制操作を抑制できる。
　ハザードランプ９５による車外への警報の実施は、法規によれば右左折、転回、徐行、停止、後退、進路変更の合図をする場合に限られるが、本実施形態では、急病で意識がなくなる場合等、ドライバが運転不能状態に陥ったことを想定しているため、減速、停止、路肩退避等の危険回避処理が実施されることを前提にしてハザードランプ９５の点滅表示を実施させることができる。
　ハザードランプ９５を警報器として用いる場合、車室内の対ドライバの警報としてメータパネル１４のハザード表示マーク９７の点滅を行わせ、さらに応答確認のリセットボタンとしてハザードスイッチ９６を用いることが可能となる。この場合、ＨＭＩの機能をハザードランプ９５及びそれに付随する構成で賄うことができ、ＨＭＩ８０の変更が不要となることによる構成の簡素化を実現できる。
　次に、上記第１実施形態の一部を変更した別の実施形態について、第１実施形態との相違点を中心に説明する。
　（第２実施形態）
　本実施形態では、ドライバが運転不能状態になったと判定された場合に、直ちにハザードランプ９５による車外への第１警報を実施するとともに、その第１警報の開始から所定時間、ドライバ応答が無いことを確認した上で、第１警報よりもホスト車両周辺の認知度の高い態様でハザードランプ９５による車外への第２警報を実施する。
　図８は、本実施形態における処理を示すフローチャートであり、本処理は図６の処理に置き換えてドライバ監視装置５０により実施される。説明の便宜上、図８では、図６と同じ処理については同じ参照符号を付して説明を簡略する。図８では、Ｓ３１，Ｓ３２が新規の処理である。
　図８では、Ｓ１１～Ｓ１４においてドライバが運転不能状態になっているか否かを判定し、運転不能状態になっていると判定された場合にＳ３１に進む。Ｓ３１では、ハザードランプ９５を第１態様で点滅表示させる旨を指令する。また一方で、ドライバが運転不能状態になった後において、応答が無いまま所定時間が経過した場合にＳ３２に進む。Ｓ３２では、ハザードランプ９５を第２態様で点滅表示させる旨を指令する。
　ここで、第１態様でのハザード点滅（第１警報）と第２態様でのハザード点滅（第２警報）とでは、点滅の周期が相違しており、第２態様では第１態様よりも点滅周期が短くなっている。第１態様では、ハザードランプ９５を点滅させず常時点灯させるようにしてもよい。この場合、点滅周期が短いほど、ホスト車両周辺に対するハザード点滅の認知度が高くなると考えられる。そのため、運転不能状態の判定直後の時点では、ハザード点滅の認知度が比較的低く、その後、ドライバ応答が無ければ、ハザード点滅の認知度が高められるようになっている。
　要するに、ドライバが急病等により運転不能状態に陥ったことを想定する場合、その運転不能状態の判定後においては減速、停止、路肩退避等の危険回避処理が実施される蓋然性が高いが、その反面、ドライバの正常復帰により危険回避処理が実施されないこともあると考えられる。この点、運転不能状態の判定直後には、周辺認知度が比較的低い態様でハザード点滅（第１警報とも言及される）を行わせる一方、ドライバ応答無しが確認された後には、第１警報よりも周辺認知度の高い態様でハザード点滅（第２警報とも言及される）を行わせる構成とした。この場合、第１警報により、ホスト車両周辺に対していち早く警戒感を持たせるととともに、第２警報により、ホスト車両周辺の車両等に危険度の高いことを把握させて危険回避行動をとらせることが可能となる。また、警報の形態が２段階で切り替えられることで、いきなりの警報によりホスト車両周辺の車両等を驚かせることを抑制できるといった効果や、危険度が高いことを認知させやすいといった効果を期待できる。
　第１警報と第２警報との実施態様を以下のようにしてもよい。例えば、運転不能状態の判定直後の時点では、第１警報の処理としてハザードランプ９５を点滅表示させ、かつホーン装置を非作動とする。そしてその後、ドライバ応答が無ければ、第２警報の処理として、ハザードランプ９５を点滅表示させ、かつホーン装置を作動させる。
　（第３実施形態）
　本実施形態では、ドライバが運転不能状態になったと判定された場合に、直ちにハザードランプ９５を点滅させて車外警報を実施するか、所定時間、ドライバ応答が無いことを確認した上でハザードランプ９５を点滅させて車外警報を実施するかを切り替える構成としている。具体的には、ドライバが運転不能状態になったと判定された場合に、それが複数の判定処理のうちどの判定処理の結果に基づくものかを判定し、危険度の比較的高いものであれば、直ちにハザードランプ９５を点滅させて車外警報を実施し、危険度の比較的低いものであれば、所定の応答確認期間の経過を待ってハザードランプ９５を点滅させて車外警報を実施する。
　図９は、本実施形態における処理手順を示すフローチャートであり、本処理は図６の処理に置き換えてドライバ監視装置５０により実施される。説明の便宜上、図９では、図６と同じ処理については同じ参照符号を付して説明を簡略する。図９では、Ｓ４１～Ｓ４３が新規の処理である。
　図９では、Ｓ１１～Ｓ１４においてドライバが運転不能状態になっているか否かを判定し、運転不能状態になっていると判定された場合にＳ４１に進む。Ｓ４１では、運転不能状態であると判定された状況下においてその運転危険度が比較的大きいものか否かを判定する。この場合、運転不能状態であると判定された理由が、上記５つの判定処理（フレームアウト判定、姿勢崩れ判定、向き崩れ判定、揺れ判定、白目判定）のいずれによるものかを判定し、それが運転危険度の高いものに相当するか否かを判定する。
　詳細には、５つの判定処理（フレームアウト判定、姿勢崩れ判定、向き崩れ判定、揺れ判定、白目判定）は、ドライバの状態及び挙動に基づいて各々異なる判定基準によりドライバが運転不能状態になったことを判定するものである。そして、これら各判定処理のうち、フレームアウト判定により運転不能状態と判定された場合と、白目判定により運転不能状態と判定された場合には、ドライバが、車両前方に対する視認不可の状態になっているとみなすことができる。この場合、ドライバが重篤な状態にあり、運転危険度が高いと判断できる。
　そして、Ｓ４１がＹＥＳの場合にＳ１５に進み、ハザード点滅させる旨を指令する。Ｓ４１のＮＯの場合は、Ｓ１５を読み飛ばすことで、ハザード点滅を実施しない。
　また、ドライバが運転不能状態になった後において、応答が無いまま所定時間が経過してＳ４２に進んだ場合、Ｓ４２では、運転不能状態であると判定された状況下においてその運転危険度が比較的大きいものか否かを判定する（Ｓ４１と同様）。そして、Ｓ４２がＮＯの場合にＳ４３に進み、ハザード点滅させる旨を指令する。
　既述のとおり、ドライバが急病等により運転不能状態に陥ったことを想定する場合、その運転不能状態の判定後においては減速、停止、路肩退避等の危険回避処理が実施される蓋然性が高いが、その反面、ドライバの正常復帰により危険回避処理が実施されないこともあると考えられる。この点、運転不能状態の判定後（Ｓ１４：ＹＥＳ）に直ちにハザード点滅を行わせる警報処理（Ｓ４１でＹＥＳ後のＳ１５、第１制御部とも言及される）と、ドライバ応答無しが確認された後（Ｓ１７：ＮＯ）にハザード点滅を行わせる警報処理（Ｓ４２でＮＯ後のＳ４３、第２制御部とも言及される）とを切り替えて実施する構成とした。この場合、ホスト車両周辺に対する危険度（緊急度）に応じて適正な警報処理を実施できる。Ｓ４１あるいはＳ４２は、第１制御部か第２制御部かの切替えを行う切替部とも言及される。
　ドライバが運転不能状態になる場合、ドライバの状態及び挙動は種々のものが想定されるため、判定処理としても複数の判定処理を定めておくことが望ましい。ただし、その複数の判定処理のいずれで異常判定がなされたかによっては、ドライバの病状（重篤度）が異なり、ドライバの正常復帰の可能性に差違があると考えられる。したがって、複数の判定処理のいずれでドライバの運転不能状態が判定されたかに応じて、直ちにハザード点滅を行わせるか、ドライバ応答無しが確認された後にハザード点滅を行わせるかを切り替えることで、適正な警報処理を実施できる。
　複数の判定処理（上記（１）～（５）の判定処理）のうちフレームアウト判定による判定処理と白目判定による判定処理とは、ドライバが、ホスト車両の前方に対する視認が不可能な状態になっていることを判定する処理でもある。この場合、ホスト車両の前方に対する視認が不可能な状態になっていることは、通常運転では考えにくく、ドライバの症状が重い（重篤度が大きい）と考えられる。ゆえに、フレームアウト判定による異常判定時や白目判定による異常判定時に、直ちにハザード点滅させることは危険回避を行う上で望ましい。
　（第３実施形態の別例）
　・ドライバが運転不能状態になったと判定された場合に、直ちにハザードランプ９５を点滅させるか、ドライバ応答を確認した上でハザードランプ９５を点滅させるかを切り替える条件は、以下であってもよい。
　車両１０の車速に基づいて、直ちにハザードランプ９５を点滅させるか、ドライバ応答を確認した上でハザードランプ９５を点滅させるかを切り替えてもよい。具体的には、車速の閾値（例えば、４０～８０ｋｍ／ｈ内の所定速度）を定めておき、図９のＳ４１，Ｓ４２ではそれぞれ、運転不能状態と判定された時の車速が閾値以上か否かを判定する。そして、車速が閾値以上であれば、運転不能状態であるとの判定時に直ちにハザードランプ９５を点滅させ（Ｓ１５）、車速が閾値未満であれば、ドライバ応答を確認した上でハザードランプ９５を点滅させる（Ｓ４３）。
　また、各判定処理においてドライバの症状の程度（重篤度）を判定し、その症状の程度に基づいて、直ちにハザードランプ９５を点滅させるか、ドライバ応答を確認した上でハザードランプ９５を点滅させるかを切り替えてもよい。具体的には、ドライバの姿勢崩れの角度や、揺れの大きさ、白目度合等に基づいて、症状の程度（重篤度）をレベル判定できる構成とし、図９のＳ４１，Ｓ４２ではそれぞれ、運転不能状態と判定された時の症状が重症レベルであるか否かを判定する。そして、重症レベルであれば、運転不能状態であるとの判定時に直ちにハザードランプ９５を点滅させ（Ｓ１５）、重症レベルでなければ、ドライバ応答を確認した上でハザードランプ９５を点滅させる（Ｓ４３）。
　・危険回避走行に関するモード設定を可能にしておき、危険対応レベルをハイにするモードとローにするモードとを定めておく。そして、設定モードがハイモードであれば、ドライバが運転不能状態になったと判定された場合に直ちにハザードランプ９５を点滅させ、設定モードがローモードであれば、ドライバ応答を確認した上でハザードランプ９５を点滅させる。なお、モード設定は、ドライバが自己設定する以外に、車両側で自動設定されてもよい。例えば、ドライバが誰であるかを認識し、その認識結果に応じてモードを自動設定するとよい。
　（他の実施形態）
　上記実施形態を例えば次のように変更してもよい。
　・上記実施形態では、ドライバが運転不能状態になったか否かを判定する判定処理として、上記（１）～（５）の各判定処理を実施する構成としたが、これらを全て実施する以外に、少なくとも１つを含む一部の判定処理を実施する構成であってもよい。
　・警報器としてハザードランプ９５を用いない構成であってもよい。例えばハザードランプ９５に代えて、ホーン装置、音声装置、車外表示パネルのいずれかを用いるとよい。いずれにしろ、ドライバが運転不能状態になったと判定された場合に、直ちに車外警報を実施する構成を有するものであればよい。
　・ハザードランプ９５を点滅表示させる処理（警報器の駆動処理）を、挙動制御装置９０でなくドライバ監視装置５０が実施する構成としてもよい。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

 

Claims (7)

  1. 　車両（１０）のドライバの状態を監視し、その監視結果に基づいて、前記車両の挙動を制御して危険回避処理を実施する車載制御装置（５０，９０）であって、
    　前記車両の走行中において、ドライバ監視情報に基づいて、ドライバが車両運転が不能な運転不能状態になったことを判定する異常判定部（Ｓ１４）と、
    　前記異常判定部によりドライバが運転不能状態になったと判定された場合に、警報器（９５）の駆動により車外への警報を実施する警報制御部（Ｓ１５）と、
    　前記警報器による車外への警報開始後において、ドライバの操作により当該警報が停止された場合に前記危険回避処理を実施せず、当該警報が停止されない場合に前記警報の開始から所定時間の経過後に前記危険回避処理を実施する危険回避制御部（Ｓ１７－Ｓ２１）と、
    を備える
    　車載制御装置。
  2. 　前記警報器は、車両外側に設けられた非常点滅表示灯（９５）を含み、
    　前記警報制御部は、前記異常判定部によりドライバが運転不能状態になったと判定された場合に、前記非常点滅表示灯を点滅表示させる請求項１に記載の車載制御装置。
  3. 　前記警報制御部は、前記異常判定部によりドライバが運転不能状態になったと判定された場合に、直ちに前記警報器による車外への第１警報を実施するとともに、その第1警報の開始から所定時間、ドライバの応答が無いことを確認した上で、前記第１警報よりも前記車両周辺の認知度の高い態様で前記警報器による車外への第２警報を実施する請求項１又は２に記載の車載制御装置。
  4. 　前記警報制御部は、
    　前記異常判定部によりドライバが運転不能状態になったと判定された場合に、直ちに前記警報器による車外への警報を実施する第１制御部と、
    　前記異常判定部によりドライバが運転不能状態になったと判定された場合に、所定時間、ドライバの応答が無いことを確認した上で前記警報器による車外への警報を実施する第２制御部と、
    　前記第１制御部により警報を実施するか前記第２制御部により警報を実施するかを切り替える切替部と、
    を有する請求項１又は２に記載の車載制御装置。
  5. 　前記異常判定部は、ドライバの状態及び挙動に基づいて各々異なる判定基準によりドライバが運転不能状態になったことを判定する複数の判定部を有しており、
    　前記切替部は、前記複数の判定部のいずれでドライバの運転不能状態が判定されたかに応じて、前記第１制御部により警報を実施するか前記第２制御部により警報を実施するかの切り替えを実施する請求項４に記載の車載制御装置。
  6. 　前記複数の判定部は、ドライバが前記車両の前方に対する視認不可の状態であることを判定するものを含み、
    　前記切替部は、前記複数の判定部のうち前記視認不可の状態であることに基づいて前記運転不能状態が判定された場合に、前記第１制御部により警報を実施する状態とする請求項５に記載の車載制御装置。
  7. 　前記切替部は、前記車両の車速に基づいて、前記第１制御部により警報を実施するか前記第２制御部により警報を実施するかの切り替えを実施する請求項４乃至６のいずれか1項に記載の車載制御装置。

     
PCT/JP2015/003600 2014-08-22 2015-07-16 車載制御装置 WO2016027411A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/325,749 US10569649B2 (en) 2014-08-22 2015-07-16 In-vehicle control apparatus
DE112015003856.6T DE112015003856T5 (de) 2014-08-22 2015-07-16 Fahrzeuggebundene Steuervorrichtung
US16/433,262 US20190283579A1 (en) 2014-08-22 2019-06-06 In-Vehicle Control Apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014169541A JP6331875B2 (ja) 2014-08-22 2014-08-22 車載制御装置
JP2014-169541 2014-08-22

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/325,749 A-371-Of-International US10569649B2 (en) 2014-08-22 2015-07-16 In-vehicle control apparatus
US16/433,262 Continuation US20190283579A1 (en) 2014-08-22 2019-06-06 In-Vehicle Control Apparatus

Publications (1)

Publication Number Publication Date
WO2016027411A1 true WO2016027411A1 (ja) 2016-02-25

Family

ID=55350384

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003600 WO2016027411A1 (ja) 2014-08-22 2015-07-16 車載制御装置

Country Status (4)

Country Link
US (2) US10569649B2 (ja)
JP (1) JP6331875B2 (ja)
DE (1) DE112015003856T5 (ja)
WO (1) WO2016027411A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019170623A (ja) * 2018-03-28 2019-10-10 マツダ株式会社 ドライバ状態判定装置
US10474914B2 (en) 2014-06-23 2019-11-12 Denso Corporation Apparatus detecting driving incapability state of driver
CN110696824A (zh) * 2019-10-25 2020-01-17 北京海纳川汽车部件股份有限公司 车辆及其控制方法
US10909399B2 (en) 2014-06-23 2021-02-02 Denso Corporation Apparatus detecting driving incapability state of driver
CN112906515A (zh) * 2021-02-03 2021-06-04 珠海研果科技有限公司 车内异常行为识别方法、***、电子设备及存储介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6515888B2 (ja) 2016-07-27 2019-05-22 トヨタ自動車株式会社 車両の走行制御装置
JP6520859B2 (ja) * 2016-08-08 2019-05-29 トヨタ自動車株式会社 車両走行制御装置
JP6895731B2 (ja) * 2016-10-11 2021-06-30 株式会社東海理化電機製作所 運転者状態推定装置
JP6787027B2 (ja) 2016-10-14 2020-11-18 トヨタ自動車株式会社 車両の走行制御装置
EP3372465B1 (en) * 2017-03-10 2022-08-24 The Hi-Tech Robotic Systemz Ltd Method and system for vehicle status based advanced driver assistance
JP6737213B2 (ja) * 2017-03-14 2020-08-05 オムロン株式会社 運転者状態推定装置、及び運転者状態推定方法
JP6737212B2 (ja) * 2017-03-14 2020-08-05 オムロン株式会社 運転者状態推定装置、及び運転者状態推定方法
JP6655036B2 (ja) * 2017-03-15 2020-02-26 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
US10268903B2 (en) * 2017-06-11 2019-04-23 Jungo Connectivity Ltd. Method and system for automatic calibration of an operator monitor
JP2019073104A (ja) * 2017-10-13 2019-05-16 いすゞ自動車株式会社 車両制御装置及び車両制御方法
JP6926957B2 (ja) * 2017-11-02 2021-08-25 トヨタ自動車株式会社 車線変更支援装置
KR20190050633A (ko) * 2017-11-03 2019-05-13 주식회사 만도 운전자 상태 기반 차량 제어 시스템 및 방법
TWI656050B (zh) * 2017-11-29 2019-04-11 財團法人金屬工業研究發展中心 以生理監測結合車輛控制之方法
US10275670B1 (en) 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
US10776644B1 (en) * 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
JP6848912B2 (ja) * 2018-03-23 2021-03-24 株式会社デンソー 状態判定装置、状態判定プログラム及びコンピュータ読み出し可能持続的有形記録媒体
JP7133337B2 (ja) * 2018-04-10 2022-09-08 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11254270B1 (en) 2018-05-02 2022-02-22 State Farm Mutual Automobile Insurance Company Technologies for using image analysis to facilitate adjustments of vehicle components
GB2577484B (en) * 2018-09-19 2021-08-11 Jaguar Land Rover Ltd A control system for a vehicle
DE102018218154A1 (de) * 2018-10-24 2020-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern einer Route und/oder Fahrweise eines Fahrzeugs in Abhängigkeit von einer Innenraumsituation
JP7226160B2 (ja) * 2019-07-16 2023-02-21 トヨタ自動車株式会社 車両走行制御装置
DE102019210979A1 (de) * 2019-07-24 2021-01-28 Volkswagen Aktiengesellschaft Notfallassistenzsystem mit akustischer Außenwarnung
DE102019006122A1 (de) * 2019-08-30 2021-03-04 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges
JP7470510B2 (ja) * 2019-12-02 2024-04-18 ダイムラー トラック エージー 車両制御装置、車両制御方法、及び車両制御プログラム
US11851080B2 (en) * 2021-02-03 2023-12-26 Magna Mirrors Of America, Inc. Vehicular driver monitoring system with posture detection and alert
JP7381545B2 (ja) * 2021-11-05 2023-11-15 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US20240034332A1 (en) * 2022-07-29 2024-02-01 Motorola Mobility Llc Driving condition detection and indication to a remote device during a communication session
DE102022211510A1 (de) 2022-10-31 2024-05-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln eines Zustandes eines Fahrzeuginsassen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014016911A1 (ja) * 2012-07-24 2014-01-30 トヨタ自動車株式会社 運転支援装置
JP2014021767A (ja) * 2012-07-19 2014-02-03 Toyota Motor Corp 緊急退避装置
JP2014044707A (ja) * 2012-08-01 2014-03-13 Nissan Motor Co Ltd 運転者異常時支援装置及び運転者異常時支援方法
JP2014091380A (ja) * 2012-11-01 2014-05-19 Toyota Motor Corp 運転走行支援装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
JP3372810B2 (ja) 1997-01-31 2003-02-04 本田技研工業株式会社 車両用運転状況監視装置
JP2003081038A (ja) 2001-09-12 2003-03-19 Nissan Motor Co Ltd 車両用警報装置
JP4075345B2 (ja) 2001-10-11 2008-04-16 日産自動車株式会社 自動巡航制御装置
JP2004017889A (ja) * 2002-06-19 2004-01-22 Advics:Kk 自動ブレーキ装置
US8068036B2 (en) * 2002-07-22 2011-11-29 Ohanes Ghazarian Intersection vehicle collision avoidance system
JP3997142B2 (ja) * 2002-10-23 2007-10-24 富士重工業株式会社 車両用の覚醒度推定装置および覚醒度推定方法
JP2005190082A (ja) * 2003-12-25 2005-07-14 Fuji Photo Film Co Ltd 居眠り運転警告装置及びカーナビゲーション装置
JP2010066817A (ja) * 2008-09-08 2010-03-25 Nissan Motor Co Ltd 覚醒度低下車両報知装置および車車間通信システム
US20100295707A1 (en) * 2009-05-19 2010-11-25 Brian Bennie System and method for lane departure warning
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US20120286957A1 (en) * 2011-05-13 2012-11-15 Stephen Frechette Mobile Sleep Detection Method and System
JP5644684B2 (ja) 2011-06-09 2014-12-24 トヨタ自動車株式会社 異常時対応運転制御の要否判定方法および異常時対応運転制御の要否判定に基づく運転制御装置
KR20130061901A (ko) 2011-12-02 2013-06-12 현대자동차주식회사 운전자의 생체 신호를 이용한 가변형 운전자-차량 인터페이스 제공방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021767A (ja) * 2012-07-19 2014-02-03 Toyota Motor Corp 緊急退避装置
WO2014016911A1 (ja) * 2012-07-24 2014-01-30 トヨタ自動車株式会社 運転支援装置
JP2014044707A (ja) * 2012-08-01 2014-03-13 Nissan Motor Co Ltd 運転者異常時支援装置及び運転者異常時支援方法
JP2014091380A (ja) * 2012-11-01 2014-05-19 Toyota Motor Corp 運転走行支援装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474914B2 (en) 2014-06-23 2019-11-12 Denso Corporation Apparatus detecting driving incapability state of driver
US10909399B2 (en) 2014-06-23 2021-02-02 Denso Corporation Apparatus detecting driving incapability state of driver
US10936888B2 (en) 2014-06-23 2021-03-02 Denso Corporation Apparatus detecting driving incapability state of driver
US11820383B2 (en) 2014-06-23 2023-11-21 Denso Corporation Apparatus detecting driving incapability state of driver
JP2019170623A (ja) * 2018-03-28 2019-10-10 マツダ株式会社 ドライバ状態判定装置
JP7102850B2 (ja) 2018-03-28 2022-07-20 マツダ株式会社 ドライバ状態判定装置
CN110696824A (zh) * 2019-10-25 2020-01-17 北京海纳川汽车部件股份有限公司 车辆及其控制方法
CN112906515A (zh) * 2021-02-03 2021-06-04 珠海研果科技有限公司 车内异常行为识别方法、***、电子设备及存储介质

Also Published As

Publication number Publication date
US10569649B2 (en) 2020-02-25
US20170158054A1 (en) 2017-06-08
JP2016045713A (ja) 2016-04-04
US20190283579A1 (en) 2019-09-19
DE112015003856T5 (de) 2017-05-04
JP6331875B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6331875B2 (ja) 車載制御装置
WO2016027412A1 (ja) 車載制御装置
JP6341055B2 (ja) 車載制御装置
WO2015198540A1 (ja) ドライバの運転不能状態検出装置
JP6372388B2 (ja) ドライバの運転不能状態検出装置
WO2015198542A1 (ja) ドライバの運転不能状態検出装置
US20140121927A1 (en) Vehicle emergency evacuation device
JP6540663B2 (ja) 車両システム
JP6593486B2 (ja) 車載制御装置及び車載システム
JP6379720B2 (ja) ドライバの運転不能状態検出装置
JP6364997B2 (ja) ドライバの運転不能状態検出装置
US8954238B2 (en) Vehicle emergency evacuation device
JP5803832B2 (ja) 緊急退避支援装置
JP6361312B2 (ja) ドライバの運転不能状態検出装置
JP6331751B2 (ja) ドライバの運転不能状態検出装置
US20200062246A1 (en) Emergency braking device for vehicle
JP2009018625A (ja) 走行制御装置
JP2008305190A (ja) 居眠り警告装置及び自動車
JP6614286B2 (ja) ドライバの運転不能状態検出装置
JP2014026332A (ja) 緊急退避支援装置
JP6607287B2 (ja) ドライバの運転不能状態検出装置
JP7144351B2 (ja) 車両制御システム
JP2023072272A (ja) 車両の乗員支援方法及びその装置
KR20230159774A (ko) 응급 상황 대응 방법 및 장치
JP2023072270A (ja) 運転者状態判定方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15834069

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15325749

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015003856

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15834069

Country of ref document: EP

Kind code of ref document: A1