WO2021156989A1 - 予兆検知装置、運転支援制御装置及び予兆検知方法 - Google Patents

予兆検知装置、運転支援制御装置及び予兆検知方法 Download PDF

Info

Publication number
WO2021156989A1
WO2021156989A1 PCT/JP2020/004459 JP2020004459W WO2021156989A1 WO 2021156989 A1 WO2021156989 A1 WO 2021156989A1 JP 2020004459 W JP2020004459 W JP 2020004459W WO 2021156989 A1 WO2021156989 A1 WO 2021156989A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
moving body
sign detection
sign
detection device
Prior art date
Application number
PCT/JP2020/004459
Other languages
English (en)
French (fr)
Inventor
元太郎 鷲尾
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021575171A priority Critical patent/JPWO2021156989A1/ja
Priority to PCT/JP2020/004459 priority patent/WO2021156989A1/ja
Priority to CN202080095167.4A priority patent/CN115038629A/zh
Priority to US17/796,045 priority patent/US20230105891A1/en
Priority to DE112020006682.7T priority patent/DE112020006682T5/de
Publication of WO2021156989A1 publication Critical patent/WO2021156989A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/40—Transportation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle

Definitions

  • This disclosure relates to a sign detection device, a driving support control device, and a sign detection method.
  • a technology for detecting an abnormal state of a driver has been developed by using an image captured by a camera for in-vehicle imaging. Specifically, for example, a technique for detecting a driver's dozing state has been developed. Further, a technique for outputting a warning when an abnormal state of the driver is detected has been developed (see, for example, Patent Document 1).
  • the warning for dozing is output before the dozing state occurs. That is, it is preferable that the warning for dozing is output at the timing when the sign of dozing occurs.
  • the prior art detects an abnormal state including a dozing state, and does not detect a sign of dozing. Therefore, there is a problem that the warning for dozing cannot be output at the timing when the sign of dozing occurs.
  • This disclosure is made to solve the above-mentioned problems, and aims to detect a sign of falling asleep by the driver.
  • the sign detection device includes an information acquisition unit that acquires eye opening degree information indicating the driver's eye opening degree in the moving body, surrounding information indicating the surrounding state with respect to the moving body, and moving body information indicating the state of the moving body. By determining whether or not the degree of eye opening satisfies the first condition according to the threshold value and whether or not the state of the moving body satisfies the second condition according to the surrounding state, the driver falls asleep. It is provided with a sign detection unit that detects the sign of the above.
  • FIG. 1 It is a block diagram which shows the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. 2 is a block diagram which shows the hardware composition of the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other hardware configuration of the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other hardware configuration of the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. 1 It is a block diagram which shows the hardware composition of the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the other hardware configuration of the main part of the driving support control device including the sign detection device which
  • FIG. 1 It is a flowchart which shows the operation of the sign detection part in the sign detection device which concerns on Embodiment 1.
  • FIG. 1 It is a block diagram which shows the other system configuration of the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. 2 is a block diagram which shows the other system configuration of the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. 2 is a block diagram which shows the other system configuration of the main part of the driving support control device including the sign detection device which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the system configuration of the main part of the sign detection device which concerns on Embodiment 1.
  • FIG. 1 shows the system configuration of the main part of the sign detection device which concerns on Embodiment 1.
  • FIG. 2 It is a block diagram which shows the main part of the driving support control device including the sign detection device which concerns on Embodiment 2.
  • FIG. 2 is a block diagram which shows the main part of the learning apparatus for the sign detection apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the hardware configuration of the main part of the learning apparatus for the sign detection apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the other hardware configuration of the main part of the learning apparatus for the sign detection apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which shows the other hardware configuration of the main part of the learning apparatus for the sign detection apparatus which concerns on Embodiment 2.
  • FIG. It is a flowchart which shows the operation of the driving support control device including the sign detection device which concerns on Embodiment 2. It is a flowchart which shows the operation of the learning device for the sign detection device which concerns on Embodiment 2.
  • FIG. 1 is a block diagram showing a main part of a driving support control device including a sign detection device according to the first embodiment.
  • a driving support control device including a sign detection device according to the first embodiment will be described with reference to FIG.
  • the moving body 1 has a first camera 2, a second camera 3, sensors 4, and an output device 5.
  • the moving body 1 is composed of an arbitrary moving body. Specifically, for example, the moving body 1 is composed of a vehicle, a ship, or an aircraft. Hereinafter, an example in which the moving body 1 is composed of a vehicle will be mainly described. Hereinafter, such a vehicle may be referred to as a "own vehicle”. In addition, a vehicle different from the own vehicle may be referred to as an "other vehicle”.
  • the first camera 2 is composed of a camera for in-vehicle imaging and a camera for moving image imaging.
  • each still image constituting the moving image captured by the first camera 2 may be referred to as a “first captured image”.
  • the first camera 2 is provided, for example, on the dashboard of the own vehicle.
  • the range imaged by the first camera 2 includes the driver's seat of the own vehicle. Therefore, when the driver is seated in the driver's seat of the own vehicle, the first captured image may include the driver's face.
  • the second camera 3 is composed of a camera for capturing the outside of the vehicle and a camera for capturing a moving image.
  • each still image constituting the moving image captured by the second camera 3 may be referred to as a “second captured image”.
  • the range imaged by the second camera 3 includes a region in front of the own vehicle (hereinafter referred to as “front region”). Therefore, when a white line is drawn on the road in the front region, the second captured image may include such a white line. Further, when an obstacle (for example, another vehicle or a pedestrian) is present in the front region, the second captured image may include such an obstacle. Further, when a traffic light is installed in the front region, the second captured image may include such a traffic light.
  • Sensors 4 include a plurality of types of sensors. Specifically, for example, the sensors 4 include a sensor for detecting the traveling speed of the own vehicle, a sensor for detecting the shift position in the own vehicle, a sensor for detecting the steering angle in the own vehicle, and a throttle opening in the own vehicle. It includes a sensor to detect. Further, for example, the sensors 4 include a sensor for detecting the operation amount of the accelerator pedal in the own vehicle and a sensor for detecting the operation amount of the brake pedal in the own vehicle.
  • the output device 5 includes at least one of a display, a speaker, a vibrator, and a wireless communication device.
  • the display is composed of, for example, a liquid crystal display, an organic EL (Electro-Luminence) display, or a HUD (Head-Up Display).
  • the display is provided, for example, on the dashboard of the own vehicle.
  • the speaker is provided, for example, on the dashboard of the own vehicle.
  • the vibrator is provided, for example, on the steering wheel of the own vehicle or the driver's seat of the own vehicle.
  • the wireless communication device is composed of a transmitter and a receiver.
  • the moving body 1 has a driving support control device 100.
  • the driving support control device 100 includes an information acquisition unit 11, a sign detection unit 12, and a driving support control unit 13.
  • the information acquisition unit 11 has a first information acquisition unit 21, a second information acquisition unit 22, and a third information acquisition unit 23.
  • the sign detection unit 12 includes a first determination unit 31, a second determination unit 32, a third determination unit 33, and a detection result output unit 34.
  • the driving support control unit 13 has a warning output control unit 41 and a moving body control unit 42.
  • the information acquisition unit 11 and the sign detection unit 12 constitute a main part of the sign detection device 200.
  • the first information acquisition unit 21 uses the first camera 2 to acquire information indicating the state of the driver of the moving body 1 (hereinafter referred to as "driver information").
  • the driver information includes, for example, information indicating the driver's face orientation (hereinafter referred to as “face orientation information”), information indicating the driver's line-of-sight direction (hereinafter referred to as “line-of-sight information”), and the driver's eye opening degree. It includes information indicating D (hereinafter referred to as "eye opening degree information").
  • the first information acquisition unit 21 estimates the driver's face orientation by executing image processing for face orientation estimation on the first captured image. As a result, face orientation information is acquired.
  • image processing for face orientation estimation on the first captured image.
  • face orientation information is acquired.
  • Various known techniques can be used for such image processing. Detailed description of these techniques will be omitted.
  • the first information acquisition unit 21 detects the driver's line-of-sight direction by executing image processing for line-of-sight detection on the first captured image. As a result, the line-of-sight information is acquired.
  • image processing for line-of-sight detection on the first captured image.
  • the line-of-sight information is acquired.
  • Various known techniques can be used for such image processing. Detailed description of these techniques will be omitted.
  • the first information acquisition unit 21 calculates the driver's eye opening degree D by executing image processing for calculating the eye opening degree on the first captured image. As a result, the eye opening degree information is acquired.
  • image processing for calculating the eye opening degree on the first captured image.
  • the eye opening degree information is acquired.
  • Various known techniques can be used for such image processing. Detailed description of these techniques will be omitted.
  • the "eye opening degree” is a value indicating the degree of opening of the human eye.
  • the degree of eye opening is calculated to be a value in the range of 0 to 100%.
  • the degree of eye opening is calculated by measuring the features (distance between the lower eyelid and the upper eyelid, the shape of the upper eyelid, the shape of the iris, etc.) in the image including the human eye. As a result, the degree of eye opening becomes a value indicating the degree of eye opening without being affected by individual differences.
  • the second information acquisition unit 22 uses the second camera 3 to acquire information indicating the surrounding state of the moving body 1 (hereinafter referred to as “surrounding information”).
  • the surrounding information includes, for example, information indicating the white line when a white line is drawn on the road in the front region (hereinafter referred to as “white line information"). Further, the surrounding information includes, for example, information indicating an obstacle (hereinafter referred to as "obstacle information") when an obstacle exists in the front area. Further, the surrounding information includes, for example, information indicating that when the brake lamp of another vehicle in the front region is lit (hereinafter referred to as "brake lamp information"). Further, the surrounding information includes, for example, information indicating that when the traffic light in the front region is lit in red (hereinafter referred to as "red signal information").
  • the second information acquisition unit 22 detects the white line drawn on the road in the front region by executing the image recognition process for the second captured image. As a result, white line information is acquired.
  • image recognition processing Various known techniques can be used for such image recognition processing. Detailed description of these techniques will be omitted.
  • the second information acquisition unit 22 detects an obstacle in the front region by executing an image recognition process for the second captured image. As a result, obstacle information is acquired.
  • image recognition processing Various known techniques can be used for such image recognition processing. Detailed description of these techniques will be omitted.
  • the second information acquisition unit 22 detects another vehicle in the front region by executing the image recognition process for the second captured image, and whether the detected brake lamp of the other vehicle is lit. Judge whether or not. As a result, the brake lamp information is acquired.
  • image recognition processing Detailed description of these techniques will be omitted.
  • the second information acquisition unit 22 detects a traffic light in the front region by executing an image recognition process for the second captured image, and determines whether or not the detected traffic light is lit in red. do. As a result, red light information is acquired.
  • image recognition processing Various known techniques can be used for such image recognition processing. Detailed description of these techniques will be omitted.
  • the third information acquisition unit 23 uses the sensors 4 to acquire information indicating the state of the moving body 1 (hereinafter referred to as “moving body information”). More specifically, the moving body information indicates the state of the moving body 1 according to the operation by the driver. In other words, the moving body information indicates the state of operation of the moving body 1 by the driver.
  • the moving body information is, for example, information indicating an accelerator operation state in the moving body 1 (hereinafter referred to as "accelerator operation information”) and information indicating a braking operation state in the moving body 1 (hereinafter referred to as “brake operation information").
  • brake operation information information indicating the state of the handle operation in the moving body 1
  • handle operation information information indicating the state of the handle operation in the moving body 1
  • the third information acquisition unit 23 uses the sensors 4 to detect the presence or absence of an accelerator operation by the driver of the own vehicle, and also detects the operation amount and the operation direction in the accelerator operation. As a result, the accelerator operation information is acquired.
  • detection includes a sensor that detects the traveling speed of the own vehicle, a sensor that detects the shift position in the own vehicle, a sensor that detects the throttle opening in the own vehicle, a sensor that detects the amount of operation of the accelerator pedal in the own vehicle, and the like. Is used.
  • the third information acquisition unit 23 uses the sensors 4 to detect the presence or absence of a brake operation by the driver of the own vehicle, and also detects the operation amount and the operation direction in the brake operation. As a result, the brake operation information is acquired.
  • detection includes a sensor that detects the traveling speed of the own vehicle, a sensor that detects the shift position in the own vehicle, a sensor that detects the throttle opening in the own vehicle, a sensor that detects the operation amount of the brake pedal in the own vehicle, and the like. Is used.
  • the third information acquisition unit 23 uses the sensors 4 to detect the presence or absence of steering wheel operation by the driver of the own vehicle, and also detects the operation amount and operation direction in such steering wheel operation. As a result, the steering wheel operation information is acquired.
  • a sensor or the like that detects the steering angle of the own vehicle is used.
  • the first determination unit 31 detects whether or not the eye opening degree D satisfies a predetermined condition (hereinafter referred to as “first condition”) by using the eye opening degree information acquired by the first information acquisition unit 21. It is a thing.
  • the first condition uses a predetermined threshold value Dth.
  • the first condition is set to the condition that the eye opening degree D is lower than the threshold value Dth.
  • the threshold value Dth in this case is preferably set to a value smaller than 100% as well as a value larger than 0%. Therefore, the threshold value Dth is set to, for example, a value of 20% or more and less than 80%.
  • the second determination unit 32 uses the surrounding information acquired by the second information acquisition unit 22 and the mobile body information acquired by the third information acquisition unit 23 to determine the state of the mobile body 1 under a predetermined condition (hereinafter, “third”. 2 Condition ”) is satisfied or not.
  • the second condition includes one or more conditions depending on the surrounding state with respect to the moving body 1.
  • the second condition includes a plurality of conditions as follows.
  • the second condition is that when the white line of the road in the front area is detected, the corresponding steering wheel operation is not performed within the predetermined time (hereinafter referred to as "first reference time” or “reference time”) T1. It includes conditions. That is, when the white line information is acquired by the second information acquisition unit 22, the second determination unit 32 uses the handle operation information acquired by the third information acquisition unit 23 to perform an operation according to the white line (for example, the white line). It is determined whether or not the operation of turning the steering wheel in the direction corresponding to the above is performed within the first reference time T1. If such an operation is not performed within the first reference time T1, the second determination unit 32 determines that the second condition is satisfied.
  • first reference time for example, the white line
  • the second condition is that when an obstacle in the front region is detected, the corresponding brake operation or steering wheel operation is performed within a predetermined time (hereinafter referred to as "second reference time” or “reference time”) T2. It includes the condition that it is not done. That is, when the obstacle information is acquired by the second information acquisition unit 22, the second determination unit 32 uses the brake operation information and the handle operation information acquired by the third information acquisition unit 23 to reach the obstacle. It is determined whether or not the corresponding operation (for example, the operation of decelerating the own vehicle, the operation of stopping the own vehicle, or the operation of turning the steering wheel in the direction of avoiding an obstacle) is performed within the second reference time T2. If such an operation is not performed within the second reference time T2, the second determination unit 32 determines that the second condition is satisfied.
  • second reference time for example, the operation of decelerating the own vehicle, the operation of stopping the own vehicle, or the operation of turning the steering wheel in the direction of avoiding an obstacle
  • the second condition is that when the lighting of the brake lamp of another vehicle in the front region is detected, the corresponding brake operation is performed within the predetermined time (hereinafter referred to as "third reference time” or “reference time”) T3. It includes the condition that it is not done. That is, when the second information acquisition unit 22 acquires the brake lamp information, the second determination unit 32 uses the brake operation information acquired by the third information acquisition unit 23 to perform an operation corresponding to the lighting (for example,). It is determined whether or not the operation of decelerating the own vehicle or the operation of stopping the own vehicle) is performed within the third reference time T3.
  • the second determination unit 32 determines whether or not the operation is performed before the inter-vehicle distance between the own vehicle and the other vehicle becomes a predetermined distance or less. If such an operation is not performed within the third reference time T3, the second determination unit 32 determines that the second condition is satisfied.
  • the second condition is that when the lighting of the red light in the front region is detected, the corresponding braking operation is not performed within the predetermined time (hereinafter referred to as "fourth reference time” or “reference time”) T4. It includes the condition. That is, when the second information acquisition unit 22 acquires the red light information, the second determination unit 32 uses the brake operation information acquired by the third information acquisition unit 23 to perform an operation corresponding to the lighting (for example,). It is determined whether or not the operation of decelerating the own vehicle or the operation of stopping the own vehicle) is performed within the fourth reference time T4. If such an operation is not performed within the fourth reference time T4, the second determination unit 32 determines that the second condition is satisfied.
  • the reference times T1, T2, T3, and T4 may be set to the same time, or may be set to different times.
  • the third determination unit 33 determines whether or not there is a sign of falling asleep by the driver of the moving body 1 based on the determination result by the first determination unit 31 and the determination result by the second determination unit 32.
  • the second determination unit 32 determines whether the state of the moving body 1 satisfies the second condition. It is designed to determine whether or not it is.
  • the third determination unit 33 when the first determination unit 31 determines that the eye opening degree D satisfies the first condition, the second determination unit 32 changes the state of the moving body 1 to the second.
  • the sign detection unit 12 detects the sign of falling asleep by the driver of the moving body 1.
  • the presence or absence of a sign of dozing is determined based on whether or not the eye opening degree D is a value less than the threshold value Dth.
  • the eye opening degree D becomes less than the threshold value Dth, and it is considered that there is a sign of falling asleep.
  • the driver of the moving body 1 temporarily squints for some reason (for example, when the driver of the moving body 1 temporarily squints due to feeling glare), he / she falls asleep. There is a possibility that it will be misjudged that there is a sign of falling asleep even though there is no sign.
  • the sign detection unit 12 has a second determination unit 32 in addition to the first determination unit 31. That is, when the driver of the moving body 1 is drowsy, it is highly probable that the operation according to the surrounding state will be delayed as compared with the case where the driver is drowsy. In other words, it is highly probable that such an operation will not be performed within the reference time (T1, T2, T3 or T4). Therefore, the sign detection unit 12 suppresses the occurrence of the above-mentioned erroneous determination by using the determination result related to the eye opening degree D and the determination result related to the operation state in the moving body 1 as the AND condition.
  • the detection result output unit 34 outputs a signal indicating a determination result by the third determination unit. That is, the detection result output unit 34 outputs a signal indicating the detection result by the sign detection unit 12. Hereinafter, such a signal is referred to as a “detection result signal”.
  • the warning output control unit 41 determines the necessity of outputting a warning by using the detection result signal output by the detection result output unit 34. Specifically, for example, when the detection result signal indicates a sign of falling asleep “presence”, the warning output control unit 41 determines that a warning output is necessary. On the other hand, when the detection result signal indicates "none", which is a sign of falling asleep, the warning output control unit 41 determines that the warning output is unnecessary.
  • the warning output control unit 41 executes control for outputting a warning (hereinafter referred to as "warning output control") using the output device 5 when it is determined that the output of the warning is necessary.
  • the warning output control includes control to display a warning image using a display, control to output a warning sound using a speaker, control to vibrate the handle of the moving body 1 using a vibrator, and movement using a vibrator. It includes at least one of a control for vibrating the driver's seat of the body 1, a control for transmitting a warning signal using a wireless communication device, and a control for transmitting a warning e-mail using a wireless communication device. ..
  • the warning e-mail is sent to, for example, the manager of the mobile body 1 or the manager of the driver of the mobile body 1.
  • the mobile body control unit 42 determines the necessity of control for operating the mobile body 1 (hereinafter referred to as “mobile body control”) by using the detection result signal output by the detection result output unit 34. Specifically, for example, when the detection result signal indicates a sign of falling asleep “presence”, the mobile body control unit 42 determines that it is necessary to execute the mobile body control. On the other hand, when the detection result signal indicates "none", which is a sign of falling asleep, the moving body control unit 42 determines that the execution of the moving body control is unnecessary.
  • the moving body control unit 42 executes the moving body control when it is determined that the execution of the moving body control is necessary.
  • the moving body control includes, for example, a control for guiding the own vehicle to the shoulder by operating the steering of the own vehicle, and a control for stopping the own vehicle by operating the brake in the own vehicle.
  • Various known techniques can be used for moving body control. Detailed description of these techniques will be omitted.
  • the driving support control unit 13 may have only one of the warning output control unit 41 and the mobile control unit 42. That is, the driving support control unit 13 may execute only one of the warning output control and the moving body control.
  • the driving support control unit 13 may have only the warning output control unit 41 of the warning output control unit 41 and the moving body control unit 42. That is, the driving support control unit 13 may execute only the warning output control of the warning output control and the moving body control.
  • the functions of the information acquisition unit 11 may be collectively referred to as an "information acquisition function".
  • the code "F1" may be used for such an information acquisition function.
  • the processes executed by the information acquisition unit 11 may be collectively referred to as "information acquisition process”.
  • the functions of the sign detection unit 12 may be collectively referred to as "predict detection function”. Further, the code of "F2" may be used for such a sign detection function. Further, the processes executed by the sign detection unit 12 may be collectively referred to as “predict detection process”.
  • driving support control unit 13 may be collectively referred to as “driving support function”. Further, the reference numeral “F3" may be used for such a driving support function. Further, the processing and control executed by the driving support control unit 13 may be collectively referred to as “driving support control”.
  • the driving support control device 100 has a processor 51 and a memory 52.
  • the memory 52 stores programs corresponding to a plurality of functions F1 to F3.
  • the processor 51 reads and executes the program stored in the memory 52. As a result, a plurality of functions F1 to F3 are realized.
  • the driving support control device 100 has a processing circuit 53.
  • the processing circuit 53 executes processing corresponding to a plurality of functions F1 to F3. As a result, a plurality of functions F1 to F3 are realized.
  • the driving support control device 100 includes a processor 51, a memory 52, and a processing circuit 53.
  • the memory 52 stores programs corresponding to some of the plurality of functions F1 to F3.
  • the processor 51 reads and executes the program stored in the memory 52. As a result, some of these functions are realized.
  • the processing circuit 53 executes processing corresponding to the remaining functions of the plurality of functions F1 to F3. As a result, such a residual function is realized.
  • the processor 51 is composed of one or more processors.
  • processors for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor) is used.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • DSP Digital Signal Processor
  • the memory 52 is composed of one or more non-volatile memories.
  • the memory 52 is composed of one or more non-volatile memories and one or more volatile memories. That is, the memory 52 is composed of one or more memories.
  • Each memory uses, for example, a semiconductor memory or a magnetic disk. More specifically, each volatile memory uses, for example, a RAM (Random Access Memory).
  • the individual non-volatile memory is, for example, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmory), an EEPROM (Electrically Erasable Programmory) drive, or a hard disk drive that uses a hard disk drive, a hard disk, or a drive solid state drive.
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Programmory), an EEPROM (Electrically Erasable Programmory) drive
  • EEPROM Electrically Erasable Programmory
  • the processing circuit 53 is composed of one or more digital circuits.
  • the processing circuit 53 is composed of one or more digital circuits and one or more analog circuits. That is, the processing circuit 53 is composed of one or more processing circuits.
  • the individual processing circuits are, for example, ASIC (Application Special Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), FPGA (Field Program Is.
  • the processor 51 is composed of a plurality of processors
  • the correspondence between the plurality of functions F1 to F3 and the plurality of processors is arbitrary. That is, each of the plurality of processors may read and execute a program corresponding to one or more corresponding functions among the plurality of functions F1 to F3.
  • each of the plurality of memories may store a program corresponding to one or more corresponding functions among the plurality of functions F1 to F3.
  • the processing circuit 53 is composed of a plurality of processing circuits
  • the correspondence between the plurality of functions F1 to F3 and the plurality of processing circuits is arbitrary. That is, each of the plurality of processing circuits may execute processing corresponding to one or more corresponding functions among the plurality of functions F1 to F3.
  • the information acquisition unit 11 executes the information acquisition process (step ST1). As a result, the driver information, the surrounding information, and the moving body information for the latest predetermined time T are acquired. From the viewpoint of realizing the determination in the second determination unit 32, it is preferable that T is set to a value larger than the maximum value among T1, T2, T3 and T4.
  • the process of step ST1 is repeatedly executed when a predetermined condition is satisfied (for example, when the ignition power supply in the own vehicle is turned on).
  • step ST2 When the process of step ST1 is executed, the sign detection unit 12 executes the sign detection process (step ST2). As a result, a sign of falling asleep by the driver of the moving body 1 is detected. In other words, the presence or absence of such a sign is determined.
  • the driver information, surrounding information, and moving object information acquired in step ST1 are used for the sign detection process. If the driver information is not acquired in step ST1 (that is, if the first information acquisition unit 21 fails to acquire the driver information), even if the execution of the process in step ST2 is cancelled. good.
  • step ST3 the driving support control unit 13 executes the driving support control (step ST3). That is, the driving support control unit 13 determines the necessity of at least one of the warning output control and the moving body control according to the detection result in step ST2. The driving support control unit 13 executes at least one of the warning output control and the moving body control according to the result of the determination.
  • step ST2 the process executed in step ST2 will be described.
  • the first determination unit 31 determines whether or not the eye opening degree D satisfies the first condition by using the eye opening degree information acquired in step ST1 (step ST11). Specifically, for example, the first determination unit 31 determines whether or not the eye opening degree D is a value less than the threshold value Dth.
  • the second determination unit 32 uses the surrounding information and the moving body information acquired in step ST1 to move the moving body. It is determined whether or not the state of 1 satisfies the second condition (step ST12). Details of such determination will be described later with reference to the flowchart of FIG. 7.
  • step ST11 “YES” When it is determined that the eye opening degree D satisfies the first condition (step ST11 “YES”), and when it is determined that the state of the moving body 1 satisfies the second condition (step ST12 “YES”). , The third determination unit 33 determines that there is a sign of falling asleep by the driver of the moving body 1 (step ST13). On the other hand, when it is determined that the eye opening degree D does not satisfy the first condition (step ST11 “NO”), or when it is determined that the state of the moving body 1 does not satisfy the second condition (step ST12 “NO”). "), The third determination unit 33 determines that there is no sign of falling asleep by the driver of the moving body 1 (step ST14).
  • the detection result output unit 34 outputs the detection result signal (step ST15). That is, the detection result signal indicates the determination result in step ST13 or step ST14.
  • step ST12 the operation of the second determination unit 32 will be described with reference to the flowchart of FIG. 7. That is, the process executed in step ST12 will be described.
  • step ST21 “YES” When the white line information is acquired in step ST1 (step ST21 “YES”), the second determination unit 32 uses the handle operation information acquired in step ST1 to perform the corresponding handle operation in the first reference time T1. It is determined whether or not it has been done within (step ST22). When the corresponding steering wheel operation is not performed within the first reference time T1 (step ST22 “NO”), the second determination unit 32 determines that the second condition is satisfied (step ST30).
  • the second determination unit 32 uses the brake operation information and the handle operation information acquired in step ST1 to correspond to the brake. It is determined whether or not the operation or the handle operation is performed within the second reference time T2 (step ST24). When the corresponding brake operation or steering wheel operation is not performed within the second reference time T2 (step ST24 “NO”), the second determination unit 32 determines that the second condition is satisfied (step ST30).
  • step ST25 “YES” When the brake lamp information is acquired in step ST1 (step ST25 “YES”), the second determination unit 32 uses the brake operation information acquired in step ST1 to perform the corresponding brake operation. It is determined whether or not the time has been set within the reference time T3 (step ST26). When the corresponding brake operation is not performed within the third reference time T3 (step ST26 “NO”), the second determination unit 32 determines that the second condition is satisfied (step ST30).
  • step ST27 “YES” When the red light information is acquired in step ST1 (step ST27 “YES”), the second determination unit 32 uses the brake operation information acquired in step ST1 to perform the corresponding brake operation. It is determined whether or not it was done within the reference time T4 (step ST28). When the corresponding brake operation is not performed within the fourth reference time T4 (step ST28 “NO”), the second determination unit 32 determines that the second condition is satisfied (step ST30).
  • the second determination unit 32 determines that the second condition is not satisfied (step ST29).
  • the sign detection device 200 it is possible to detect the sign of falling asleep by the driver of the moving body 1. As a result, it is possible to output a warning or control the moving body 1 at the timing when a sign of dozing occurs before the dozing state occurs.
  • the sign detection device 200 it is possible to inexpensively detect the sign of falling asleep.
  • the sign detection device 200 uses the first camera 2, the second camera 3, and the sensors 4 in detecting the sign of falling asleep.
  • the sensors 4 are pre-mounted in the own vehicle.
  • the first camera 2 may be pre-mounted in the own vehicle, or may not be pre-mounted in the own vehicle.
  • the second camera 3 may be pre-mounted in the own vehicle, or may not be pre-mounted in the own vehicle.
  • the hardware resources required to be added to the own vehicle are only 0 cameras, 1 camera, or 2 cameras. As a result, it is possible to inexpensively detect a sign of falling asleep.
  • the in-vehicle information device 6 may be mounted on the mobile body 1.
  • the in-vehicle information device 6 is composed of, for example, an ECU (Electronic Control Unit). Further, the mobile information terminal 7 may be brought into the mobile body 1.
  • the mobile information terminal 7 is composed of, for example, a smartphone.
  • the in-vehicle information device 6 and the mobile information terminal 7 may be capable of communicating with each other.
  • the in-vehicle information device 6 may be capable of communicating with the server 8 provided outside the mobile body 1.
  • the mobile information terminal 7 may be capable of communicating with a server 8 provided outside the mobile body 1. That is, the server 8 may be capable of communicating with at least one of the in-vehicle information device 6 and the mobile information terminal 7. As a result, the server 8 may be capable of communicating with the mobile body 1.
  • Each of the plurality of functions F1 and F2 may be realized by the in-vehicle information device 6, may be realized by the portable information terminal 7, and may be realized by the server 8. It may be the one that is realized by the cooperation of the in-vehicle information device 6 and the mobile information terminal 7, and is realized by the cooperation of the in-vehicle information device 6 and the server 8. It may be realized by the cooperation of the mobile information terminal 7 and the server 8. Further, the function F3 may be realized by the in-vehicle information device 6, may be realized by linking the in-vehicle information device 6 and the mobile information terminal 7, or may be realized by the in-vehicle information device 6. It may be realized by the cooperation of 6 and the server 8.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6 and the mobile information terminal 7.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6 and the server 8.
  • the main part of the driving support control device 100 may be configured by the in-vehicle information device 6, the mobile information terminal 7, and the server 8.
  • the main part of the sign detection device 200 may be configured by the server 8.
  • the server 8 receives the driver information, the surrounding information, and the moving body information from the moving body 1, the function F1 of the information acquisition unit 11 is realized in the server 8. Further, for example, when the server 8 transmits the detection result signal to the mobile body 1, the detection result by the sign detection unit 12 is notified to the mobile body 1.
  • the threshold value Dth may include a plurality of threshold values Dth_1 and Dth_2.
  • the threshold value Dth_1 may correspond to an upper limit value in a predetermined range R.
  • the threshold value Dth_2 may correspond to the lower limit value in the range R.
  • the first condition may be based on the range R. Specifically, for example, the first condition may be set to the condition that the eye opening degree D is a value within the range R. Alternatively, for example, the first condition may be set to the condition that the eye opening degree D is a value outside the range R.
  • the second information acquisition unit 22 may acquire information indicating the brightness B in the surroundings with respect to the moving body 1 (hereinafter referred to as “brightness information”) in addition to acquiring the surrounding information. Specifically, for example, the second information acquisition unit 22 detects the brightness B by detecting the brightness in the second captured image. As a result, brightness information is acquired. Various known techniques can be used to detect the brightness B. Detailed description of these techniques will be omitted.
  • the first determination unit 31 may compare the brightness B with a predetermined reference value Blef by using the brightness information acquired by the second information acquisition unit 22.
  • the first determination unit 31 when the brightness B indicated by the brightness information is a value equal to or higher than the reference value Blef and the eye opening degree D indicated by the eye opening degree information is a value less than the threshold value Dth, the eye opening degree D is a threshold value. It may be considered that the value is Dth or more and the determination according to the first condition is executed. Thereby, the occurrence of the above-mentioned erroneous determination can be further suppressed.
  • the first condition is not limited to the above specific example.
  • the first condition may be based on the degree of eye opening D of the latest predetermined time T5 minutes.
  • T is preferably set to a value larger than the maximum value among T1, T2, T3, T4 and T5.
  • the first condition is set to the condition that the number of times N_1 exceeds the predetermined threshold value Nth with respect to the number of times N_1 in which the eye opening degree D changes from a value equal to or more than the threshold value Dth to a value less than the threshold value Dth within a predetermined time T5. It may be a thing.
  • the first condition is set to the condition that the number of times N_2 exceeds the threshold value Nth with respect to the number of times N_2 in which the degree of eye opening D changes from a value less than the threshold value Dth to a value equal to or more than the threshold value Dth within a predetermined time T5. It may be a thing.
  • the first condition may be set to a condition that the total value Nsum exceeds the threshold value Nth with respect to the total value Nsum according to the number of times N_1 and N_2.
  • each of N_1, N_2, and Nsum corresponds to the number of times the driver of the moving body 1 blinks his eyes within T5 for a predetermined time.
  • the second condition is not limited to the above specific example.
  • the second condition includes conditions related to white line information and handle operation information, obstacle information, conditions related to brake operation information and handle operation information, conditions related to brake lamp information and brake operation information, and red light information and brake operation. It may include at least one of the conditions relating to the information.
  • the information that is not used for the determination related to the second condition among the white line information, the obstacle information, the brake lamp information, and the red light information is excluded from the acquisition target by the second information acquisition unit 22. Is also good.
  • the second information acquisition unit 22 may acquire at least one of white line information, obstacle information, brake lamp information, and red light information.
  • the information that is not used for the determination related to the second condition among the accelerator operation information, the brake operation information, and the steering wheel operation information is excluded from the acquisition target by the third information acquisition unit 23.
  • the third information acquisition unit 23 may acquire at least one of the accelerator operation information, the brake operation information, and the steering wheel operation information.
  • the first condition may be set to, for example, a condition that the degree of eye opening D exceeds the threshold value Dth.
  • the third determination unit 33 determines that there is a sign of falling asleep when it is determined that the first condition is not satisfied and the second condition is satisfied. You may.
  • the second condition is, for example, that the reference time (accelerator operation, brake operation, steering wheel operation, etc.) is the operation (accelerator operation, brake operation, steering wheel operation, etc.) according to the surrounding conditions (white line, obstacle, lighting of the brake lamp, lighting of the red light, etc.) with respect to the moving body 1. It may be set to the condition that it is done within T1, T2, T3 or T4). In this case, the third determination unit 33 determines that there is a sign of falling asleep when it is determined that the first condition is satisfied and the second condition is not satisfied. You may.
  • the first condition and the second condition may be used in combination.
  • the third determination unit 33 determines that there is a sign of falling asleep when it is determined that the first condition is not satisfied and the second condition is not satisfied. You may.
  • the driving support control device 100 may have an abnormal state detection unit (not shown) in addition to the sign detection unit 12.
  • the abnormal state detection unit determines whether or not the state of the driver of the moving body 1 is an abnormal state by using the driver information acquired by the first information acquisition unit 21. As a result, the abnormal state detection unit detects the abnormal state.
  • the driving support control unit 13 may execute at least one of the warning output control and the moving body control according to the detection result by the abnormal state detection unit.
  • the abnormal state includes, for example, a dozing state. Eye opening degree information and the like are used to detect a dozing state. Further, the abnormal state includes, for example, an inattentive state. Line-of-sight information or the like is used to detect the inattentive state. Further, the abnormal state includes, for example, an inoperable state (so-called "deadman state"). Face orientation information and the like are used to detect the deadman state.
  • the first information acquisition unit 21 may not acquire the face orientation information and the line-of-sight information. That is, the first information acquisition unit 21 may acquire only the eye opening degree information among the face orientation information, the line of sight information, and the eye opening degree information.
  • the sign detection device 200 has eye-opening degree information indicating the driver's eye-opening degree D in the moving body 1, surrounding information indicating the surrounding state with respect to the moving body 1, and the state of the moving body 1.
  • the information acquisition unit 11 that acquires the moving body information indicating the above, determines whether or not the eye opening degree D satisfies the first condition according to the threshold Dth, and the second condition that the state of the moving body 1 corresponds to the surrounding state.
  • the driving support control device 100 is a control (warning output control) that outputs a warning according to the detection result by the sign detection device 200 and the sign detection unit 12, and the moving body 1 according to the detection result.
  • a driving support control unit 13 that executes at least one of the controls (moving body control) for operating the above is provided. As a result, it is possible to output a warning or control the moving body 1 at the timing when a sign of dozing is detected before the dozing state occurs.
  • the information acquisition unit 11 determines the eye opening degree information indicating the driver's eye opening degree D in the moving body 1, the surrounding information indicating the surrounding state with respect to the moving body 1, and the moving body 1.
  • the step ST1 for acquiring the moving body information indicating the state of the moving body 1 and the sign detection unit 12 determine whether or not the eye opening degree D satisfies the first condition according to the threshold Dth, and the state of the moving body 1 is the surrounding state. It is provided with step ST2 of detecting a sign of falling asleep by the driver by determining whether or not the second condition is satisfied according to the above. As a result, it is possible to detect a sign of falling asleep by the driver of the moving body 1.
  • FIG. 15 is a block diagram showing a main part of the driving support control device including the sign detection device according to the second embodiment.
  • FIG. 16 is a block diagram showing a main part of the learning device for the sign detection device according to the second embodiment.
  • a driving support control device including a sign detection device according to the second embodiment will be described with reference to FIG. Further, with reference to FIG. 16, the learning device for the sign detection device according to the second embodiment will be described.
  • FIG. 15 the same blocks as those shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the moving body 1 has a driving support control device 100a.
  • the driving support control device 100a includes an information acquisition unit 11, a sign detection unit 12a, and a driving support control unit 13.
  • the information acquisition unit 11 and the sign detection unit 12a constitute a main part of the sign detection device 200a.
  • the sign detection unit 12a uses the eye opening degree information acquired by the first information acquisition unit 21, the surrounding information acquired by the second information acquisition unit 22, and the moving object information acquired by the third information acquisition unit 23. It detects a sign of falling asleep by the driver of the moving body 1.
  • the sign detection unit 12a uses the trained model M by machine learning.
  • the trained model M is composed of, for example, a neural network.
  • the trained model M accepts inputs of eye opening degree information, surrounding information, and moving object information.
  • the trained model M outputs a value (hereinafter referred to as “predictive value”) P corresponding to a sign of falling asleep by the driver of the moving body 1 in response to these inputs.
  • the sign value P indicates, for example, the presence or absence of a sign of falling asleep.
  • the sign detection unit 12a outputs a signal including the sign value P (that is, a detection result signal).
  • the storage device 9 has a learning information storage unit 61.
  • the storage device 9 is composed of a memory.
  • the learning device 300 has a learning information acquisition unit 71, a sign detection unit 72, and a learning unit 73.
  • the learning information storage unit 61 stores information used for learning the model M in the sign detection unit 72 (hereinafter referred to as “learning information”).
  • the learning information is collected using, for example, a mobile body similar to the mobile body 1.
  • the learning information includes a plurality of data sets (hereinafter referred to as "learning data sets").
  • Each learning data set includes, for example, learning data corresponding to eye opening degree information, learning data corresponding to surrounding information, and learning data corresponding to moving object information.
  • the learning data corresponding to the surrounding information is, for example, the learning data corresponding to the white line information, the learning data corresponding to the obstacle information, the learning data corresponding to the brake lamp information, and the learning data corresponding to the red light information. It contains at least one of the data.
  • the learning data corresponding to the moving body information includes at least one of the learning data corresponding to the accelerator operation information, the learning data corresponding to the brake operation information, and the learning data corresponding to the handle operation information. ..
  • the learning information acquisition unit 71 acquires learning information. More specifically, the learning information acquisition unit 71 acquires individual learning data sets. The individual learning data sets are acquired from the learning information storage unit 61.
  • the sign detection unit 72 is the same as the sign detection unit 12a. That is, the sign detection unit 72 has a model M that can be freely learned by machine learning.
  • the model M accepts the input of the learning data set acquired by the learning information acquisition unit 71.
  • the model M outputs a predictive value P for such an input.
  • the learning unit 73 learns the model M by machine learning. Specifically, for example, the learning unit 73 learns the model M by supervised learning.
  • the learning unit 73 acquires data indicating the correct answer related to the detection of the sign of falling asleep (hereinafter referred to as "correct answer data"). More specifically, the learning unit 73 acquires correct answer data corresponding to the learning data set acquired by the learning information acquisition unit 71. In other words, the learning unit 73 acquires the correct answer data corresponding to the learning data set used for the detection of the omen by the omen detection unit 72.
  • the correct answer data corresponding to each learning data set includes a value (hereinafter referred to as "correct answer value") C indicating a correct answer to the predictive value P.
  • the correct answer data corresponding to each learning data set is, for example, collected at the same time as the learning information is collected. That is, the correct answer value C indicated by each correct answer data is set according to, for example, the drowsiness felt by the driver when the corresponding learning data set is collected.
  • the learning unit 73 compares the detection result by the sign detection unit 72 with the acquired correct answer data. That is, the learning unit 73 compares the predictive value P output by the model M with the correct answer value C indicated by the acquired correct answer data. The learning unit 73 selects one or more of the plurality of parameters in the model M according to the result of the comparison, and updates the value of the selected parameter.
  • the individual parameters correspond to the weight values between the layers in the neural network, for example, when the model M is composed of a neural network.
  • the degree of eye opening D is considered to have a correlation with the sign of falling asleep (see the explanation relating to the first condition in the first embodiment). Further, it is considered that the correspondence between the surrounding state with respect to the moving body 1 and the operating state of the moving body 1 by the driver also has a correlation with the sign of falling asleep (explanation of the second condition in the first embodiment). reference.). Therefore, the learned model M as described above is generated by executing the learning by the learning unit 73 a plurality of times (that is, by sequentially executing the learning using the plurality of learning data sets). That is, a trained model M is generated that accepts inputs of eye opening degree information, surrounding information, and moving object information, and outputs a predictive value P related to a sign of falling asleep. The generated trained model M is used in the sign detection device 200a.
  • the functions of the sign detection unit 12a may be collectively referred to as "predict detection function". Further, the reference numeral of "F2a” may be used for such a sign detection function. Further, the processes executed by the sign detection unit 12a may be collectively referred to as “predict detection process”.
  • the functions of the learning information acquisition unit 71 may be collectively referred to as the "learning information acquisition function”. Further, the reference numeral “F11" may be used for the learning information acquisition function. Further, the processes executed by the learning information acquisition unit 71 may be collectively referred to as "learning information acquisition processing”.
  • the functions of the sign detection unit 72 may be collectively referred to as "predict detection function". Further, the reference numeral of "F12" may be used for such a sign detection function. Further, the processes executed by the sign detection unit 72 may be collectively referred to as "predict detection process”.
  • the functions of the learning unit 73 may be collectively referred to as “learning functions”. Further, the reference numeral “F13" may be used for such a learning function. Further, the processes executed by the learning unit 73 may be collectively referred to as “learning processes”.
  • the hardware configuration of the main part of the driving support control device 100a is the same as that described with reference to FIGS. 2 to 4 in the first embodiment. Therefore, detailed description thereof will be omitted. That is, the driving support control device 100a has a plurality of functions F1, F2a, and F3. Each of the plurality of functions F1, F2a, and F3 may be realized by the processor 51 and the memory 52, or may be realized by the processing circuit 53.
  • the learning device 300 has a processor 81 and a memory 82.
  • the memory 82 stores programs corresponding to a plurality of functions F11 to F13.
  • the processor 81 reads and executes the program stored in the memory 82. As a result, a plurality of functions F11 to F13 are realized.
  • the learning device 300 has a processing circuit 83.
  • the processing circuit 83 executes processing corresponding to the plurality of functions F11 to F13. As a result, a plurality of functions F11 to F13 are realized.
  • the learning device 300 includes a processor 81, a memory 82, and a processing circuit 83.
  • the memory 82 stores programs corresponding to some of the plurality of functions F11 to F13.
  • the processor 81 reads and executes the program stored in the memory 82. As a result, some of these functions are realized.
  • the processing circuit 83 executes processing corresponding to the remaining functions of the plurality of functions F11 to F13. As a result, such a residual function is realized.
  • the specific example of the processor 81 is the same as the specific example of the processor 51.
  • the specific example of the memory 82 is the same as the specific example of the memory 52.
  • the specific example of the processing circuit 83 is the same as the specific example of the processing circuit 53. Detailed description of these specific examples will be omitted.
  • step ST2a executes the sign detection process (step ST2a). That is, the eye opening degree information, the surrounding information, and the moving body information acquired in step ST1 are input to the trained model M, and the trained model M outputs the predictive value P.
  • step ST2a executes the sign detection process
  • step ST3 is executed.
  • the learning information acquisition unit 71 executes the learning information acquisition process (step ST41).
  • step ST42 executes the sign detection process (step ST42). That is, the learning data set acquired in step ST41 is input to the model M, and the model M outputs the predictive value P.
  • the learning unit 73 executes the learning process (step ST43). That is, the learning unit 73 acquires the correct answer data corresponding to the learning data set acquired in step ST1. The learning unit 73 compares the correct answer indicated by the acquired correct answer data with the detection result in step ST42. The learning unit 73 selects one or more of the plurality of parameters in the model M according to the result of the comparison, and updates the value of the selected parameter.
  • the learning information may be prepared for each individual.
  • the learning of the model M by the learning unit 73 may be executed for each individual.
  • a trained model M corresponding to each individual is generated. That is, a plurality of trained models M are generated.
  • the sign detection unit 12a selects the trained model M corresponding to the current driver of the moving body 1 among the plurality of generated trained models M, and uses the selected trained model M. It may be a thing.
  • the correspondence between the degree of eye opening D and the sign of falling asleep can differ from person to person. Further, the correspondence relationship between the surrounding state with respect to the moving body 1 and the state of operation of the moving body 1 by the driver and the correspondence relationship with the sign of falling asleep can also differ from person to person. On the other hand, by using the trained model M for each individual, it is possible to accurately detect the sign of falling asleep regardless of such a difference.
  • the learning information may be prepared for each person's attributes.
  • learning information may be prepared for each gender.
  • the learning of the model M by the learning unit 73 may be executed for each gender.
  • a trained model M corresponding to each gender is generated. That is, a plurality of trained models M are generated.
  • the sign detection unit 12a selects the trained model M corresponding to the gender of the current driver of the moving body 1 among the plurality of generated trained models M, and the selected trained model M. May be used.
  • learning information may be prepared for each age group.
  • the learning of the model M by the learning unit 73 may be executed for each age group.
  • a trained model M corresponding to each age group is generated. That is, a plurality of trained models M are generated.
  • the sign detection unit 12a selects the trained model M corresponding to the age of the current driver of the moving body 1 among the plurality of generated trained models M, and selects the trained model M of the selected trained model M. May be used.
  • the correspondence between the degree of eye opening D and the sign of falling asleep can differ depending on the attributes of the driver. Further, the correspondence between the surrounding state with respect to the moving body 1 and the state of operation of the moving body 1 by the driver and the correspondence with the sign of falling asleep can also differ depending on the attributes of the driver. On the other hand, by using the trained model M for each attribute, it is possible to accurately detect the sign of falling asleep regardless of such a difference.
  • the surrounding information may not include obstacle information, brake lamp information, and red light information.
  • the moving body information may not include the accelerator operation information and the brake operation information.
  • the individual learning data set may not include the learning data corresponding to this information.
  • the surrounding information may include the white line information
  • the moving body information may include the steering wheel operation information.
  • the individual learning data set may include learning data corresponding to this information. That is, the correspondence between the white line and the steering wheel operation in the front region is considered to have a correlation with the sign of falling asleep (see the explanation relating to the second condition in the first embodiment). Therefore, by using this information, it is possible to detect a sign of falling asleep.
  • the surrounding information may not include white line information, brake lamp information, and red light information.
  • the moving body information may not include the accelerator operation information.
  • the individual learning data set may not include the learning data corresponding to this information.
  • the surrounding information may include obstacle information, and the moving body information may include brake operation information and steering wheel operation information.
  • the individual learning data set may include learning data corresponding to this information. That is, the correspondence between the obstacle and the brake operation or the steering wheel operation in the front region is considered to have a correlation with the sign of falling asleep (see the explanation relating to the second condition in the first embodiment). Therefore, by using this information, it is possible to detect a sign of falling asleep.
  • the surrounding information may not include white line information, obstacle information, and red light information.
  • the moving body information may not include the accelerator operation information and the steering wheel operation information.
  • the individual learning data set may not include the learning data corresponding to this information.
  • the surrounding information may include the brake lamp information, and the moving body information may include the brake operation information.
  • the individual learning data set may include learning data corresponding to this information. That is, it is considered that the correspondence between the lighting of the brake lamp of the other vehicle and the brake operation in the front region has a correlation with the sign of falling asleep (see the explanation relating to the second condition in the first embodiment). Therefore, by using this information, it is possible to detect a sign of falling asleep.
  • the surrounding information may not include white line information, obstacle information, and brake lamp information.
  • the moving body information may not include the accelerator operation information and the steering wheel operation information.
  • the individual learning data set may not include the learning data corresponding to this information.
  • the surrounding information may include red light information
  • the moving body information may include brake operation information.
  • the individual learning data set may include learning data corresponding to this information. That is, it is considered that the correspondence between the lighting of the red light and the braking operation in the front region has a correlation with the sign of falling asleep (see the explanation relating to the second condition in the first embodiment). Therefore, by using this information, it is possible to detect a sign of falling asleep.
  • the trained model M may accept input of eye opening degree information indicating the eye opening degree D for the latest predetermined time T5 minutes. Further, each learning data set may include learning data corresponding to the eye opening degree information. Thereby, learning and inference considering the time change of the eye opening degree D can be realized. As a result, the detection accuracy of the sign detection unit 12a can be improved.
  • the second information acquisition unit 22 may acquire ambient information and brightness information.
  • the trained model M may accept inputs of eye opening degree information, ambient information, brightness information, and moving object information, and output a predictive value P.
  • Each learning data set includes learning data corresponding to eye opening degree information, learning data corresponding to surrounding information, learning data corresponding to brightness information, and learning data corresponding to moving object information. There may be. This makes it possible to realize learning and inference in consideration of the brightness of the surroundings. As a result, the detection accuracy of the sign detection unit 12a can be improved.
  • the driving support control device 100a various modifications similar to those described in the first embodiment can be adopted. Further, as the sign detection device 200a, various modifications similar to those described in the first embodiment can be adopted.
  • the main part of the driving support control device 100a may be configured by the in-vehicle information device 6.
  • the main part of the driving support control device 100a may be configured by the in-vehicle information device 6 and the mobile information terminal 7.
  • the main part of the driving support control device 100a may be configured by the in-vehicle information device 6 and the server 8.
  • the main part of the driving support control device 100a may be configured by the in-vehicle information device 6, the mobile information terminal 7, and the server 8.
  • the main part of the sign detection device 200a may be configured by the server 8.
  • the server 8 receives the driver information, the surrounding information, and the moving body information from the moving body 1, the function F1 of the information acquisition unit 11 is realized in the server 8. Further, for example, when the server 8 transmits the detection result signal to the mobile body 1, the detection result by the sign detection unit 12a is notified to the mobile body 1.
  • the learning of model M by the learning unit 73 is not limited to supervised learning.
  • the learning unit 73 may learn the model M by unsupervised learning.
  • the learning unit 73 may learn the model M by reinforcement learning.
  • the sign detection device 200a may have a learning unit 73. That is, the sign detection unit 12a may have a model M that can be learned by machine learning.
  • the learning unit 73 in the sign detection device 200a uses the information acquired by the information acquisition unit 11 (for example, eye opening degree information, surrounding information, and moving object information) as learning information to learn the model M in the sign detection unit 12a. It may be something to do.
  • the sign detection device 200a has eye-opening degree information indicating the driver's eye-opening degree D in the moving body 1, surrounding information indicating the surrounding state with respect to the moving body 1, and the state of the moving body 1.
  • the sign detection unit 12a includes an information acquisition unit 11 for acquiring mobile information indicating the above, and a sign detection unit 12a for detecting a sign of falling asleep by the driver using eye opening degree information, surrounding information, and mobile information.
  • the trained model M by machine learning is used, and the trained model M accepts the input of the eye opening degree information, the surrounding information, and the moving object information, and outputs the predictive value P corresponding to the precursor. As a result, it is possible to detect a sign of falling asleep by the driver of the moving body 1.
  • the driving support control device 100a includes a sign detection device 200a, a control for outputting a warning according to a detection result by the sign detection unit 12a (warning output control), and a moving body 1 according to the detection result.
  • a driving support control unit 13 that executes at least one of the controls (moving body control) for operating the above is provided. As a result, it is possible to output a warning or control the moving body 1 at the timing when a sign of dozing is detected before the dozing state occurs.
  • the sign detection device and the sign detection method according to the present disclosure can be used, for example, in a driving support control device.
  • the driving support control device according to the present disclosure can be used, for example, in a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Traffic Control Systems (AREA)

Abstract

予兆検知装置（２００）は、移動体（１）における運転者の開眼度（Ｄ）を示す開眼度情報、移動体（１）に対する周囲の状態を示す周囲情報及び移動体（１）の状態を示す移動体情報を取得する情報取得部（１１）と、開眼度（Ｄ）が閾値（Ｄｔｈ）による第１条件を満たしているか否かを判定するとともに、移動体（１）の状態が周囲の状態に応じた第２条件を満たしているか否かを判定することにより、運転者による居眠りの予兆を検知する予兆検知部（１２）と、を備える。

Description

予兆検知装置、運転支援制御装置及び予兆検知方法
　本開示は、予兆検知装置、運転支援制御装置及び予兆検知方法に関する。
　従来、車内撮像用のカメラにより撮像された画像を用いて、運転者の異常状態を検知する技術が開発されている。具体的には、例えば、運転者の居眠り状態を検知する技術が開発されている。また、運転者の異常状態が検知されたとき、警告を出力する技術が開発されている（例えば、特許文献１参照。）。
国際公開第２０１５／１０６６９０号
　居眠りに対する警告は、居眠り状態が発生するよりも先に出力されるのが好適である。すなわち、居眠りに対する警告は、居眠りの予兆が発生したタイミングにて出力されるのが好適である。しかしながら、従来技術は、居眠り状態を含む異常状態を検知するものであり、居眠りの予兆を検知するものではない。このため、居眠りに対する警告を居眠りの予兆が発生したタイミングにて出力することができない問題があった。
　本開示は、上記のような課題を解決するためになされたものであり、運転者による居眠りの予兆を検知することを目的とする。
　本開示に係る予兆検知装置は、移動体における運転者の開眼度を示す開眼度情報、移動体に対する周囲の状態を示す周囲情報及び移動体の状態を示す移動体情報を取得する情報取得部と、開眼度が閾値による第１条件を満たしているか否かを判定するとともに、移動体の状態が周囲の状態に応じた第２条件を満たしているか否かを判定することにより、運転者による居眠りの予兆を検知する予兆検知部と、を備えるものである。
　本開示によれば、上記のように構成したので、運転者による居眠りの予兆を検知することができる。
実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部のハードウェア構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の動作を示すフローチャートである。 実施の形態１に係る予兆検知装置における予兆検知部の動作を示すフローチャートである。 実施の形態１に係る予兆検知装置における予兆検知部のうちの第２判定部の動作を示すフローチャートである。 実施の形態１に係る予兆検知装置における予兆検知部のうちの第２判定部の動作を示すフローチャートである。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部のシステム構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部の他のシステム構成を示すブロック図である。 実施の形態１に係る予兆検知装置の要部のシステム構成を示すブロック図である。 実施の形態２に係る予兆検知装置を含む運転支援制御装置の要部を示すブロック図である。 実施の形態２に係る予兆検知装置用の学習装置の要部を示すブロック図である。 実施の形態２に係る予兆検知装置用の学習装置の要部のハードウェア構成を示すブロック図である。 実施の形態２に係る予兆検知装置用の学習装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態２に係る予兆検知装置用の学習装置の要部の他のハードウェア構成を示すブロック図である。 実施の形態２に係る予兆検知装置を含む運転支援制御装置の動作を示すフローチャートである。 実施の形態２に係る予兆検知装置用の学習装置の動作を示すフローチャートである。
　以下、この開示をより詳細に説明するために、この開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る予兆検知装置を含む運転支援制御装置の要部を示すブロック図である。図１を参照して、実施の形態１に係る予兆検知装置を含む運転支援制御装置について説明する。
　図１に示す如く、移動体１は、第１カメラ２、第２カメラ３、センサ類４及び出力装置５を有している。
　移動体１は、任意の移動体により構成されている。具体的には、例えば、移動体１は、車両、船舶又は航空機により構成されている。以下、移動体１が車両により構成されている場合の例を中心に説明する。以下、かかる車両を「自車両」ということがある。また、自車両と異なる車両を「他車両」ということがある。
　第１カメラ２は、車内撮像用のカメラにより構成されており、かつ、動画撮像用のカメラにより構成されている。以下、第１カメラ２により撮像された動画を構成する個々の静止画を「第１撮像画像」ということがある。第１カメラ２は、例えば、自車両のダッシュボードに設けられている。第１カメラ２により撮像される範囲は、自車両の運転席を含むものである。したがって、自車両の運転席に運転者が着座しているとき、第１撮像画像は、運転者の顔を含み得るものである。
　第２カメラ３は、車外撮像用のカメラにより構成されており、かつ、動画撮像用のカメラにより構成されている。以下、第２カメラ３により撮像された動画を構成する個々の静止画を「第２撮像画像」ということがある。第２カメラ３により撮像される範囲は、自車両に対する前方の領域（以下「前方領域」という。）を含むものである。したがって、前方領域における道路に白線が引かれているとき、第２撮像画像は、かかる白線を含み得るものである。また、前方領域に障害物（例えば他車両又は歩行者）が存在するとき、第２撮像画像は、かかる障害物を含み得るものである。また、前方領域に信号機が設置されているとき、第２撮像画像は、かかる信号機を含み得るものである。
　センサ類４は、複数種類のセンサを含むものである。具体的には、例えば、センサ類４は、自車両の走行速度を検出するセンサ、自車両におけるシフトポジションを検出するセンサ、自車両における操舵角を検出するセンサ、及び自車両におけるスロットル開度を検出するセンサを含むものである。また、例えば、センサ類４は、自車両におけるアクセルペダルの操作量を検出するセンサ、及び自車両におけるブレーキペダルの操作量を検出するセンサを含むものである。
　出力装置５は、ディスプレイ、スピーカ、バイブレータ及び無線通信装置のうちの少なくとも一つを含むものである。ディスプレイは、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ又はＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）により構成されている。ディスプレイは、例えば、自車両のダッシュボードに設けられている。スピーカは、例えば、自車両のダッシュボードに設けられている。バイブレータは、例えば、自車両のハンドル又は自車両の運転席に設けられている。無線通信装置は、送信機及び受信機により構成されている。
　図１に示す如く、移動体１は、運転支援制御装置１００を有している。運転支援制御装置１００は、情報取得部１１、予兆検知部１２及び運転支援制御部１３を有している。情報取得部１１は、第１情報取得部２１、第２情報取得部２２及び第３情報取得部２３を有している。予兆検知部１２は、第１判定部３１、第２判定部３２、第３判定部３３及び検知結果出力部３４を有している。運転支援制御部１３は、警告出力制御部４１及び移動体制御部４２を有している。情報取得部１１及び予兆検知部１２により、予兆検知装置２００の要部が構成されている。
　第１情報取得部２１は、第１カメラ２を用いて、移動体１の運転者の状態を示す情報（以下「運転者情報」という。）を取得するものである。運転者情報は、例えば、運転者の顔向きを示す情報（以下「顔向き情報」という。）、運転者の視線方向を示す情報（以下「視線情報」という。）、及び運転者の開眼度Ｄを示す情報（以下「開眼度情報」という。）を含むものである。
　すなわち、例えば、第１情報取得部２１は、第１撮像画像に対して顔向き推定用の画像処理を実行することにより、運転者の顔向きを推定する。これにより、顔向き情報が取得される。かかる画像処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　また、例えば、第１情報取得部２１は、第１撮像画像に対して視線検出用の画像処理を実行することにより、運転者の視線方向を検出する。これにより、視線情報が取得される。かかる画像処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　また、例えば、第１情報取得部２１は、第１撮像画像に対して開眼度算出用の画像処理を実行することにより、運転者の開眼度Ｄを算出する。これにより、開眼度情報が取得される。かかる画像処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　ここで、「開眼度」とは、人の目の開き具合を示す値である。開眼度は、０～１００％の範囲内の値に算出される。開眼度は、人の目を含む画像における特徴（下瞼と上瞼間の距離、上瞼の形状、虹彩の形状等）を計測することにより算出される。これにより、開眼度は、個人差による影響を受けることなく目の開き具合を示す値となる。
　第２情報取得部２２は、第２カメラ３を用いて、移動体１に対する周囲の状態を示す情報（以下「周囲情報」という。）を取得するものである。周囲情報は、例えば、前方領域における道路に白線が引かれているとき、かかる白線を示す情報（以下「白線情報」という。）を含むものである。また、周囲情報は、例えば、前方領域に障害物が存在するとき、かかる障害物を示す情報（以下「障害物情報」という。）を含むものである。また、周囲情報は、例えば、前方領域における他車両のブレーキランプが点灯しているとき、その旨を示す情報（以下「ブレーキランプ情報」という。）を含むものである。また、周囲情報は、例えば、前方領域における信号機が赤に点灯しているとき、その旨を示す情報（以下「赤信号情報」という。）を含むものである。
　すなわち、例えば、第２情報取得部２２は、第２撮像画像に対する画像認識処理を実行することにより、前方領域における道路に引かれた白線を検出する。これにより、白線情報が取得される。かかる画像認識処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　また、例えば、第２情報取得部２２は、第２撮像画像に対する画像認識処理を実行することにより、前方領域における障害物を検出する。これにより、障害物情報が取得される。かかる画像認識処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　また、例えば、第２情報取得部２２は、第２撮像画像に対する画像認識処理を実行することにより、前方領域における他車両を検出するとともに、当該検出された他車両のブレーキランプが点灯しているか否かを判定する。これにより、ブレーキランプ情報が取得される。かかる画像認識処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　また、例えば、第２情報取得部２２は、第２撮像画像に対する画像認識処理を実行することにより、前方領域における信号機を検出するとともに、当該検出された信号機が赤に点灯しているか否を判定する。これにより、赤信号情報が取得される。かかる画像認識処理には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第３情報取得部２３は、センサ類４を用いて、移動体１の状態を示す情報（以下「移動体情報」という。）を取得するものである。より具体的には、移動体情報は、運転者による操作に応じた移動体１の状態を示すものである。換言すれば、移動体情報は、運転者による移動体１の操作の状態を示すものである。移動体情報は、例えば、移動体１におけるアクセル操作の状態を示す情報（以下「アクセル操作情報」という。）、移動体１におけるブレーキ操作の状態を示す情報（以下「ブレーキ操作情報」という。）、及び移動体１におけるハンドル操作の状態を示す情報（以下「ハンドル操作情報」という。）を含むものである。
　すなわち、例えば、第３情報取得部２３は、センサ類４を用いて、自車両の運転者によるアクセル操作の有無を検出するとともに、かかるアクセル操作における操作量及び操作方向を検出する。これにより、アクセル操作情報が取得される。かかる検出には、自車両の走行速度を検出するセンサ、自車両におけるシフトポジションを検出するセンサ、自車両におけるスロットル開度を検出するセンサ、及び自車両におけるアクセルペダルの操作量を検出するセンサなどが用いられる。
　また、例えば、第３情報取得部２３は、センサ類４を用いて、自車両の運転者によるブレーキ操作の有無を検出するとともに、かかるブレーキ操作における操作量及び操作方向を検出する。これにより、ブレーキ操作情報が取得される。かかる検出には、自車両の走行速度を検出するセンサ、自車両におけるシフトポジションを検出するセンサ、自車両におけるスロットル開度を検出するセンサ、及び自車両におけるブレーキペダルの操作量を検出するセンサなどが用いられる。
　また、例えば、第３情報取得部２３は、センサ類４を用いて、自車両の運転者によるハンドル操作の有無を検出するとともに、かかるハンドル操作における操作量及び操作方向を検出する。これにより、ハンドル操作情報が取得される。かかる検出には、自車両における操舵角を検出するセンサなどが用いられる。
　第１判定部３１は、第１情報取得部２１により取得された開眼度情報を用いて、開眼度Ｄが所定の条件（以下「第１条件」という。）を満たしているか否かを検出するものである。ここで、第１条件は、所定の閾値Ｄｔｈを用いたものである。
　具体的には、例えば、第１条件は、開眼度Ｄが閾値Ｄｔｈを下回るという条件に設定されている。この場合における閾値Ｄｔｈは、居眠りの予兆を検知する観点から、１００％よりも小さい値に設定されるのはもちろんのこと、０％よりも大きい値に設定されるのが好適である。そこで、閾値Ｄｔｈは、例えば、２０％以上かつ８０％未満の値に設定されている。
　第２判定部３２は、第２情報取得部２２により取得された周囲情報及び第３情報取得部２３により取得された移動体情報を用いて、移動体１の状態が所定の条件（以下「第２条件」という。）を満たしているか否かを判定するものである。ここで、第２条件は、移動体１に対する周囲の状態に応じた１個以上の条件を含むものである。
　具体的には、例えば、第２条件は、以下のような複数個の条件を含むものである。
　第一に、第２条件は、前方領域における道路の白線が検出されたとき、対応するハンドル操作が所定時間（以下「第１基準時間」又は「基準時間」という。）Ｔ１内になされないという条件を含むものである。すなわち、第２判定部３２は、第２情報取得部２２により白線情報が取得されたとき、第３情報取得部２３により取得されたハンドル操作情報を用いて、かかる白線に応じた操作（例えば白線に応じた方向にハンドルを切る操作）が第１基準時間Ｔ１内になされるか否かを判定する。かかる操作が第１基準時間Ｔ１内になされない場合、第２判定部３２は、第２条件が満たされていると判定する。
　第二に、第２条件は、前方領域における障害物が検出されたとき、対応するブレーキ操作又はハンドル操作が所定時間（以下「第２基準時間」又は「基準時間」という。）Ｔ２内になされないという条件を含むものである。すなわち、第２判定部３２は、第２情報取得部２２により障害物情報が取得されたとき、第３情報取得部２３により取得されたブレーキ操作情報及びハンドル操作情報を用いて、かかる障害物に応じた操作（例えば自車両を減速させる操作、自車両を停止させる操作又は障害物を回避する方向にハンドルを切る操作）が第２基準時間Ｔ２内になされるか否かを判定する。かかる操作が第２基準時間Ｔ２内になされない場合、第２判定部３２は、第２条件が満たされていると判定する。
　第三に、第２条件は、前方領域における他車両のブレーキランプの点灯が検出されたとき、対応するブレーキ操作が所定時間（以下「第３基準時間」又は「基準時間」という。）Ｔ３内になされないという条件を含むものである。すなわち、第２判定部３２は、第２情報取得部２２によりブレーキランプ情報が取得されたとき、第３情報取得部２３により取得されたブレーキ操作情報を用いて、かかる点灯に応じた操作（例えば自車両を減速させる操作又は自車両を停止させる操作）が第３基準時間Ｔ３内になされるか否かを判定する。換言すれば、第２判定部３２は、自車両及び他車両による車間距離が所定距離以下になるよりも先に当該操作がなされるか否かを判定する。かかる操作が第３基準時間Ｔ３内になされない場合、第２判定部３２は、第２条件が満たされていると判定する。
　第四に、第２条件は、前方領域における赤信号の点灯が検出されたとき、対応するブレーキ操作が所定時間（以下「第４基準時間」又は「基準時間」という。）Ｔ４内になされないという条件を含むものである。すなわち、第２判定部３２は、第２情報取得部２２により赤信号情報が取得されたとき、第３情報取得部２３により取得されたブレーキ操作情報を用いて、かかる点灯に応じた操作（例えば自車両を減速させる操作又は自車両を停止させる操作）が第４基準時間Ｔ４内になされるか否かを判定する。かかる操作が第４基準時間Ｔ４内になされない場合、第２判定部３２は、第２条件が満たされていると判定する。
　なお、基準時間Ｔ１，Ｔ２，Ｔ３，Ｔ４は、同一の時間に設定されているものであっても良く、又は互いに異なる時間に設定されているものであっても良い。
　第３判定部３３は、第１判定部３１よる判定結果及び第２判定部３２による判定結果に基づき、移動体１の運転者による居眠りの予兆の有無を判定するものである。
　具体的には、例えば、第２判定部３２は、第１判定部３１により開眼度Ｄが第１条件を満たしていると判定された場合、移動体１の状態が第２条件を満たしているか否かを判定するようになっている。これに対して、第３判定部３３は、第１判定部３１により開眼度Ｄが第１条件を満たしていると判定された場合において、第２判定部３２により移動体１の状態が第２条件を満たしていると判定されたとき、移動体１の運転者による居眠りの予兆があると判定する。かかる判定により、移動体１の運転者による居眠りの予兆が検知される。すなわち、予兆検知部１２は、移動体１の運転者による居眠りの予兆を検知するものである。
　仮に、開眼度Ｄが閾値Ｄｔｈ未満の値であるか否かに基づき居眠りの予兆の有無が判定されるものとする。この場合、移動体１の運転者が眠気によりうとうとしているとき、開眼度Ｄが閾値Ｄｔｈ未満となり、居眠りの予兆があると判定されると考えられる。しかしながら、この場合、移動体１の運転者が何らかの理由により一時的に目を細めたとき（例えば移動体１の運転者が眩しさを感じることにより一時的に目を細めたとき）、居眠りの予兆がないにもかかわらず居眠りの予兆があると誤判定される可能性がある。
　かかる誤判定の発生を抑制する観点から、予兆検知部１２は、第１判定部３１に加えて第２判定部３２を有している。すなわち、移動体１の運転者が眠気によりうとうとしているときは、そうでないときに比して、周囲の状態に応じた操作がなされるのが遅れる蓋然性が高いと考えられる。換言すれば、かかる操作が基準時間（Ｔ１、Ｔ２、Ｔ３又はＴ４）内になされない蓋然性が高いと考えられる。そこで、予兆検知部１２は、開眼度Ｄに係る判定結果と移動体１における操作の状態に係る判定結果とをアンド条件に用いることにより、上記のような誤判定の発生を抑制するのである。
　検知結果出力部３４は、第３判定部による判定結果を示す信号を出力するものである。すなわち、検知結果出力部３４は、予兆検知部１２による検知結果を示す信号を出力するものである。以下、かかる信号を「検知結果信号」という。
　警告出力制御部４１は、検知結果出力部３４により出力された検知結果信号を用いて、警告の出力の要否を判定するものである。具体的には、例えば、検知結果信号が居眠りの予兆「あり」を示している場合、警告出力制御部４１は、警告の出力が要であると判定する。他方、検知結果信号が居眠りの予兆「なし」を示している場合、警告出力制御部４１は、警告の出力が不要であると判定する。
　警告出力制御部４１は、警告の出力が要であると判定された場合、出力装置５を用いて警告を出力する制御（以下「警告出力制御」という。）を実行するものである。警告出力制御は、ディスプレイを用いて警告用の画像を表示する制御、スピーカを用いて警告用の音声を出力する制御、バイブレータを用いて移動体１のハンドルを振動させる制御、バイブレータを用いて移動体１の運転席を振動させる制御、無線通信装置を用いて警告用の信号を送信する制御、及び無線通信装置を用いて警告用の電子メールを送信する制御のうちの少なくとも一つを含むものである。警告用の電子メールは、例えば、移動体１の管理者又は移動体１の運転者の管理者に送信される。
　移動体制御部４２は、検知結果出力部３４により出力された検知結果信号を用いて、移動体１を操作する制御（以下「移動体制御」という。）の要否を判定するものである。具体的には、例えば、検知結果信号が居眠りの予兆「あり」を示している場合、移動体制御部４２は、移動体制御の実行が要であると判定する。他方、検知結果信号が居眠りの予兆「なし」を示している場合、移動体制御部４２は、移動体制御の実行が不要であると判定する。
　移動体制御部４２は、移動体制御の実行が要であると判定された場合、移動体制御を実行するものである。移動体制御は、例えば、自車両におけるステアリングを操作することにより自車両を路肩に誘導する制御、及び自車両におけるブレーキを操作することにより自車両を停止させる制御を含むものである。移動体制御には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　なお、運転支援制御部１３は、警告出力制御部４１及び移動体制御部４２のうちのいずれか一方のみを有するものであっても良い。すなわち、運転支援制御部１３は、警告出力制御及び移動体制御のうちのいずれか一方のみを実行するものであっても良い。例えば、運転支援制御部１３は、警告出力制御部４１及び移動体制御部４２のうちの警告出力制御部４１のみを有するものであっても良い。すなわち、運転支援制御部１３は、警告出力制御及び移動体制御のうちの警告出力制御のみを実行するものであっても良い。
　以下、情報取得部１１の機能を総称して「情報取得機能」ということがある。また、かかる情報取得機能に「Ｆ１」の符号を用いることがある。また、情報取得部１１により実行される処理を総称して「情報取得処理」ということがある。
　以下、予兆検知部１２の機能を総称して「予兆検知機能」ということがある。また、かかる予兆検知機能に「Ｆ２」の符号を用いることがある。また、予兆検知部１２により実行される処理を総称して「予兆検知処理」ということがある。
　以下、運転支援制御部１３の機能を総称して「運転支援機能」ということがある。また、かかる運転支援機能に「Ｆ３」の符号を用いることがある。また、運転支援制御部１３により実行される処理及び制御を総称して「運転支援制御」ということがある。
　次に、図２～図４を参照して、運転支援制御装置１００の要部のハードウェア構成について説明する。
　図２に示す如く、運転支援制御装置１００は、プロセッサ５１及びメモリ５２を有している。メモリ５２には、複数個の機能Ｆ１～Ｆ３に対応するプログラムが記憶されている。プロセッサ５１は、メモリ５２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１～Ｆ３が実現される。
　または、図３に示す如く、運転支援制御装置１００は、処理回路５３を有している。処理回路５３は、複数個の機能Ｆ１～Ｆ３に対応する処理を実行する。これにより、複数個の機能Ｆ１～Ｆ３が実現される。
　または、図４に示す如く、運転支援制御装置１００は、プロセッサ５１、メモリ５２及び処理回路５３を有している。メモリ５２には、複数個の機能Ｆ１～Ｆ３のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ５１は、メモリ５２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路５３は、複数個の機能Ｆ１～Ｆ３のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。
　プロセッサ５１は、１個以上のプロセッサにより構成されている。個々のプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
　メモリ５２は、１個以上の不揮発性メモリにより構成されている。または、メモリ５２は、１個以上の不揮発性メモリ及び１個以上の揮発性メモリにより構成されている。すなわち、メモリ５２は、１個以上のメモリにより構成されている。個々のメモリは、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、個々の揮発性メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を用いたものである。また、個々の不揮発性メモリは、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ソリッドステートドライブ又はハードディスクドライブを用いたものである。
　処理回路５３は、１個以上のデジタル回路により構成されている。または、処理回路５３は、１個以上のデジタル回路及び１個以上のアナログ回路により構成されている。すなわち、処理回路５３は、１個以上の処理回路により構成されている。個々の処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　ａ　Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
　ここで、プロセッサ５１が複数個のプロセッサにより構成されているとき、複数個の機能Ｆ１～Ｆ３と複数個のプロセッサとの対応関係は任意である。すなわち、複数個のプロセッサの各々は、複数個の機能Ｆ１～Ｆ３のうちの対応する１個以上の機能に対応するプログラムを読み出して実行するものであっても良い。
　また、メモリ５２が複数個のメモリにより構成されているとき、複数個の機能Ｆ１～Ｆ３と複数個のメモリとの対応関係は任意である。すなわち、複数個のメモリの各々は、複数個の機能Ｆ１～Ｆ３のうちの対応する１個以上の機能に対応するプログラムを記憶するものであっても良い。
　また、処理回路５３が複数個の処理回路により構成されているとき、複数個の機能Ｆ１～Ｆ３と複数個の処理回路との対応関係は任意である。すなわち、複数個の処理回路の各々は、複数個の機能Ｆ１～Ｆ３のうちの対応する１個以上の機能に対応する処理を実行するものであっても良い。
　次に、図５のフローチャートを参照して、運転支援制御装置１００の動作について説明する。
　まず、情報取得部１１が情報取得処理を実行する（ステップＳＴ１）。これにより、直近の所定時間Ｔ分の運転者情報、周囲情報及び移動体情報が取得される。なお、第２判定部３２における判定を実現する観点から、Ｔは、Ｔ１、Ｔ２、Ｔ３及びＴ４のうちの最大値よりも大きい値に設定されるのが好適である。ステップＳＴ１の処理は、所定の条件が満たされているとき（例えば自車両におけるイグニッション電源がオンされているとき）、繰り返し実行される。
　ステップＳＴ１の処理が実行されたとき、予兆検知部１２が予兆検知処理を実行する（ステップＳＴ２）。これにより、移動体１の運転者による居眠りの予兆が検知される。換言すれば、かかる予兆の有無が判定される。予兆検知処理には、ステップＳＴ１にて取得された運転者情報、周囲情報及び移動体情報が用いられる。なお、ステップＳＴ１にて運転者情報が取得されなかった場合（すなわち第１情報取得部２１が運転者情報の取得に失敗した場合）、ステップＳＴ２の処理の実行がキャンセルされるものであっても良い。
　ステップＳＴ２の処理が実行されたとき、運転支援制御部１３が運転支援制御を実行する（ステップＳＴ３）。すなわち、運転支援制御部１３は、警告出力制御及び移動体制御のうちの少なくとも一方について、ステップＳＴ２における検知結果に応じて要否を判定する。運転支援制御部１３は、かかる判定の結果に応じて、警告出力制御及び移動体制御のうちの少なくとも一方を実行する。
　次に、図６のフローチャートを参照して、予兆検知部１２の動作について説明する。すなわち、ステップＳＴ２にて実行される処理について説明する。
　まず、第１判定部３１は、ステップＳＴ１にて取得された開眼度情報を用いて、開眼度Ｄが第１条件を満たしているか否かを判定する（ステップＳＴ１１）。具体的には、例えば、第１判定部３１は、開眼度Ｄが閾値Ｄｔｈ未満の値であるか否かを判定する。
　開眼度Ｄが第１条件を満たしていると判定された場合（ステップＳＴ１１“ＹＥＳ”）、第２判定部３２は、ステップＳＴ１にて取得された周囲情報及び移動体情報を用いて、移動体１の状態が第２条件を満たしているか否かを判定する（ステップＳＴ１２）。かかる判定の詳細については、図７のフローチャートを参照して後述する。
　開眼度Ｄが第１条件を満たしていると判定された場合において（ステップＳＴ１１“ＹＥＳ”）、移動体１の状態が第２条件を満たしていると判定されたとき（ステップＳＴ１２“ＹＥＳ”）、第３判定部３３は、移動体１の運転者による居眠りの予兆があると判定する（ステップＳＴ１３）。他方、開眼度Ｄが第１条件を満たしていないと判定された場合（ステップＳＴ１１“ＮＯ”）、又は移動体１の状態が第２条件を満たしていないと判定された場合（ステップＳＴ１２“ＮＯ”）、第３判定部３３は、移動体１の運転者による居眠りの予兆がないと判定する（ステップＳＴ１４）。
　次いで、検知結果出力部３４が検知結果信号を出力する（ステップＳＴ１５）。すなわち、検知結果信号は、ステップＳＴ１３又はステップＳＴ１４における判定結果を示すものである。
　次に、図７のフローチャートを参照して、第２判定部３２の動作について説明する。すなわち、ステップＳＴ１２にて実行される処理について説明する。
　ステップＳＴ１にて白線情報が取得された場合（ステップＳＴ２１“ＹＥＳ”）、第２判定部３２は、ステップＳＴ１にて取得されたハンドル操作情報を用いて、対応するハンドル操作が第１基準時間Ｔ１内になされたか否かを判定する（ステップＳＴ２２）。対応するハンドル操作が第１基準時間Ｔ１内になされていない場合（ステップＳＴ２２“ＮＯ”）、第２判定部３２は、第２条件が満たされていると判定する（ステップＳＴ３０）。
　また、ステップＳＴ１にて障害物情報が取得された場合（ステップＳＴ２３“ＹＥＳ”）、第２判定部３２は、ステップＳＴ１にて取得されたブレーキ操作情報及びハンドル操作情報を用いて、対応するブレーキ操作又はハンドル操作が第２基準時間Ｔ２内になされたか否かを判定する（ステップＳＴ２４）。対応するブレーキ操作又はハンドル操作が第２基準時間Ｔ２内になされていない場合（ステップＳＴ２４“ＮＯ”）、第２判定部３２は、第２条件が満たされていると判定する（ステップＳＴ３０）。
　また、ステップＳＴ１にてブレーキランプ情報が取得された場合（ステップＳＴ２５“ＹＥＳ”）、第２判定部３２は、ステップＳＴ１にて取得されたブレーキ操作情報を用いて、対応するブレーキ操作が第３基準時間Ｔ３内になされたか否かを判定する（ステップＳＴ２６）。対応するブレーキ操作が第３基準時間Ｔ３内になされていない場合（ステップＳＴ２６“ＮＯ”）、第２判定部３２は、第２条件が満たされていると判定する（ステップＳＴ３０）。
　また、ステップＳＴ１にて赤信号情報が取得された場合（ステップＳＴ２７“ＹＥＳ”）、第２判定部３２は、ステップＳＴ１にて取得されたブレーキ操作情報を用いて、対応するブレーキ操作が第４基準時間Ｔ４内になされたか否かを判定する（ステップＳＴ２８）。対応するブレーキ操作が第４基準時間Ｔ４内になされていない場合（ステップＳＴ２８“ＮＯ”）、第２判定部３２は、第２条件が満たされていると判定する（ステップＳＴ３０）。
　これら以外の場合、第２判定部３２は、第２条件が満たされていないと判定する（ステップＳＴ２９）。
　次に、予兆検知装置２００の効果について説明する。
　第一に、予兆検知装置２００を用いることにより、移動体１の運転者による居眠りの予兆を検知することができる。これにより、居眠り状態が発生するよりも先に、居眠りの予兆が発生したタイミングにて、警告の出力又は移動体１の制御を実現することができる。
　第二に、予兆検知装置２００を用いることにより、居眠りの予兆の検知を安価に実現することができる。
　すなわち、予兆検知装置２００は、居眠りの予兆を検知するにあたり、第１カメラ２、第２カメラ３及びセンサ類４を用いるものである。通常、センサ類４は、自車両に予め搭載されている。これに対して、第１カメラ２は、自車両に予め搭載されていることもあるし、又は自車両に予め搭載されていないこともある。また、第２カメラ３は、自車両に予め搭載されていることもあるし、又は自車両に予め搭載されていないこともある。
　したがって、予兆検知装置２００を用いて居眠りの予兆を検知するにあたり、自車両に追加することが要求されるハードウェア資源は、０個のカメラ、１個のカメラ又は２個のカメラのみである。これにより、居眠りの予兆の検知を安価に実現することができる。
　次に、図８～図１３を参照して、運転支援制御装置１００の変形例について説明する。また、図１４を参照して、予兆検知装置２００の変形例について説明する。
　移動体１に車載情報機器６が搭載されるものであっても良い。車載情報機器６は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）により構成されている。また、移動体１に携帯情報端末７が持ち込まれるものであっても良い。携帯情報端末７は、例えば、スマートフォンにより構成されている。
　車載情報機器６及び携帯情報端末７は、相互に通信自在なものであっても良い。車載情報機器６は、移動体１外に設けられたサーバ８と通信自在なものであっても良い。携帯情報端末７は、移動体１外に設けられたサーバ８と通信自在なものであっても良い。すなわち、サーバ８は、車載情報機器６及び携帯情報端末７のうちの少なくとも一方と通信自在なものであっても良い。これにより、サーバ８は、移動体１と通信自在なものであっても良い。
　複数個の機能Ｆ１，Ｆ２の各々は、車載情報機器６にて実現されるものであっても良く、携帯情報端末７にて実現されるものであっても良く、サーバ８にて実現されるものであっても良く、車載情報機器６及び携帯情報端末７が連携することにより実現されるものであっても良く、車載情報機器６及びサーバ８が連携することにより実現されるものであっても良く、又は携帯情報端末７及びサーバ８が連携することにより実現されるものであっても良い。また、機能Ｆ３は、車載情報機器６にて実現されるものであっても良く、車載情報機器６及び携帯情報端末７が連携することにより実現されるものであっても良く、又は車載情報機器６及びサーバ８が連携することにより実現されるものであっても良い。
　すなわち、図８に示す如く、車載情報機器６により運転支援制御装置１００の要部が構成されているものであっても良い。または、図９に示す如く、車載情報機器６及び携帯情報端末７により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１０に示す如く、車載情報機器６及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。または、図１１、図１２又は図１３に示す如く、車載情報機器６、携帯情報端末７及びサーバ８により運転支援制御装置１００の要部が構成されているものであっても良い。
　また、図１４に示す如く、サーバ８により予兆検知装置２００の要部が構成されているものであっても良い。この場合、例えば、サーバ８が運転者情報、周囲情報及び移動体情報を移動体１から受信することにより、サーバ８にて情報取得部１１の機能Ｆ１が実現される。また、例えば、サーバ８が検知結果信号を移動体１に送信することにより、予兆検知部１２による検知結果が移動体１に通知される。
　次に、予兆検知装置２００の他の変形例について説明する。
　閾値Ｄｔｈは、複数個の閾値Ｄｔｈ＿１，Ｄｔｈ＿２を含むものであっても良い。ここで、閾値Ｄｔｈ＿１は、所定の範囲Ｒにおける上限値に対応するものであっても良い。また、閾値Ｄｔｈ＿２は、範囲Ｒにおける下限値に対応するものであっても良い。
　すなわち、第１条件は、範囲Ｒによるものであっても良い。具体的には、例えば、第１条件は、開眼度Ｄが範囲Ｒ内の値であるという条件に設定されているものであっても良い。または、例えば、第１条件は、開眼度Ｄが範囲Ｒ外の値であるという条件に設定されているものであっても良い。
　次に、予兆検知装置２００の他の変形例について説明する。
　第２情報取得部２２は、周囲情報を取得するのに加えて、移動体１に対する周囲における明るさＢを示す情報（以下「明るさ情報」という。）を取得するものであっても良い。具体的には、例えば、第２情報取得部２２は、第２撮像画像における輝度を検出することにより、明るさＢを検出する。これにより、明るさ情報が取得される。明るさＢの検出には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　第１判定部３１は、第２情報取得部２２により取得された明るさ情報を用いて、明るさＢを所定の基準値Ｂｒｅｆと比較するものであっても良い。第１判定部３１は、明るさ情報が示す明るさＢが基準値Ｂｒｅｆ以上の値である場合において、開眼度情報が示す開眼度Ｄが閾値Ｄｔｈ未満の値であるとき、開眼度Ｄが閾値Ｄｔｈ以上の値であるとみなして第１条件に係る判定を実行するものであっても良い。これにより、上記のような誤判定の発生を更に抑制することができる。
　次に、予兆検知装置２００の他の変形例について説明する。
　第１条件は、上記の具体例に限定されるものではない。第１条件は、直近の所定時間Ｔ５分の開眼度Ｄに基づくものであっても良い。この場合、Ｔは、Ｔ１、Ｔ２、Ｔ３、Ｔ４及びＴ５のうちの最大値よりも大きい値に設定されるのが好適である。
　例えば、第１条件は、所定時間Ｔ５内に開眼度Ｄが閾値Ｄｔｈ以上の値から閾値Ｄｔｈ未満の値に変化した回数Ｎ＿１について、回数Ｎ＿１が所定の閾値Ｎｔｈを上回るという条件に設定されているものであっても良い。または、例えば、第１条件は、所定時間Ｔ５内に開眼度Ｄが閾値Ｄｔｈ未満の値から閾値Ｄｔｈ以上の値に変化した回数Ｎ＿２について、回数Ｎ＿２が閾値Ｎｔｈを上回るという条件に設定されているものであっても良い。または、例えば、第１条件は、回数Ｎ＿１，Ｎ＿２による合計値Ｎｓｕｍについて、合計値Ｎｓｕｍが閾値Ｎｔｈを上回るという条件に設定されているものであっても良い。
　すなわち、Ｎ＿１、Ｎ＿２及びＮｓｕｍの各々は、移動体１の運転者が所定時間Ｔ５内に目を瞬かせた回数に対応している。かかる回数に基づく第１条件を用いることにより、居眠りの予兆をより確実に検知することができる。
　次に、予兆検知装置２００の他の変形例について説明する。
　第２条件は、上記の具体例に限定されるものではない。例えば、第２条件は、白線情報及びハンドル操作情報に係る条件、障害物情報、ブレーキ操作情報及びハンドル操作情報に係る条件、ブレーキランプ情報及びブレーキ操作情報に係る条件、並びに赤信号情報及びブレーキ操作情報に係る条件のうちの少なくとも一つを含むものであっても良い。
　この場合、白線情報、障害物情報、ブレーキランプ情報及び赤信号情報のうちの第２条件に係る判定に用いられない情報は、第２情報取得部２２による取得対象から除外されるものであっても良い。換言すれば、第２情報取得部２２は、白線情報、障害物情報、ブレーキランプ情報及び赤信号情報のうちの少なくとも一つを取得するものであっても良い。
　また、この場合、アクセル操作情報、ブレーキ操作情報及びハンドル操作情報のうちの第２条件に係る判定に用いられない情報は、第３情報取得部２３による取得対象から除外されるものであっても良い。換言すれば、第３情報取得部２３は、アクセル操作情報、ブレーキ操作情報及びハンドル操作情報のうちの少なくとも一つを取得するものであっても良い。
　次に、予兆検知装置２００の他の変形例について説明する。
　第１条件は、例えば、開眼度Ｄが閾値Ｄｔｈを上回るという条件に設定されているものであっても良い。この場合、第３判定部３３は、第１条件が満たされていないと判定された場合において、第２条件が満たされていると判定されたとき、居眠りの予兆があると判定するものであっても良い。
　第２条件は、例えば、移動体１に対する周囲の状態（白線、障害物、ブレーキランプの点灯、赤信号の点灯等）に応じた操作（アクセル操作、ブレーキ操作、ハンドル操作等）が基準時間（Ｔ１、Ｔ２、Ｔ３又はＴ４）内になされたという条件に設定されているものであっても良い。この場合、第３判定部３３は、第１条件が満たされていると判定された場合において、第２条件が満たされていないと判定されたとき、居眠りの予兆があると判定するものであっても良い。
　また、予兆検知部１２において、かかる第１条件とかかる第２条件とが組み合わせて用いられるものであっても良い。この場合、第３判定部３３は、第１条件が満たされていないと判定された場合において、第２条件が満たされていないと判定されたとき、居眠りの予兆があると判定するものであっても良い。
　次に、運転支援制御装置１００の他の変形例について説明する。
　運転支援制御装置１００は、予兆検知部１２に加えて、異常状態検知部（不図示）を有するものであっても良い。異常状態検知部は、第１情報取得部２１により取得された運転者情報を用いて、移動体１の運転者の状態が異常状態であるか否かを判定するものである。これにより、異常状態検知部は、異常状態を検知するものである。運転支援制御部１３は、異常状態検知部による検知結果に応じて、警告出力制御及び移動体制御のうちの少なくとも一方を実行するものであっても良い。
　異常状態は、例えば、居眠り状態を含むものである。居眠り状態の検知には、開眼度情報などが用いられる。また、異常状態は、例えば、脇見状態を含むものである。脇見状態の検知には、視線情報などが用いられる。また、異常状態は、例えば、運転不能状態（いわゆる「デッドマン状態」）を含むものである。デッドマン状態の検知には、顔向き情報などが用いられる。
　異常状態の検知には、公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　ここで、運転支援制御装置１００が異常状態検知部を有していない場合、第１情報取得部２１は、顔向き情報及び視線情報を取得しないものであっても良い。すなわち、第１情報取得部２１は、顔向き情報、視線情報及び開眼度情報のうちの開眼度情報のみを取得するものであっても良い。
　以上のように、実施の形態１に係る予兆検知装置２００は、移動体１における運転者の開眼度Ｄを示す開眼度情報、移動体１に対する周囲の状態を示す周囲情報及び移動体１の状態を示す移動体情報を取得する情報取得部１１と、開眼度Ｄが閾値Ｄｔｈによる第１条件を満たしているか否かを判定するとともに、移動体１の状態が周囲の状態に応じた第２条件を満たしているか否かを判定することにより、運転者による居眠りの予兆を検知する予兆検知部１２と、を備える。これにより、移動体１の運転者による居眠りの予兆を検知することができる。
　また、実施の形態１に係る運転支援制御装置１００は、予兆検知装置２００と、予兆検知部１２による検知結果に応じて警告を出力する制御（警告出力制御）及び検知結果に応じて移動体１を操作する制御（移動体制御）のうちの少なくとも一方を実行する運転支援制御部１３と、を備える。これにより、居眠り状態が発生するよりも先に、居眠りの予兆が検知されたタイミングにて、警告の出力又は移動体１の制御を実現することができる。
　また、実施の形態１に係る予兆検知方法は、情報取得部１１が、移動体１における運転者の開眼度Ｄを示す開眼度情報、移動体１に対する周囲の状態を示す周囲情報及び移動体１の状態を示す移動体情報を取得するステップＳＴ１と、予兆検知部１２が、開眼度Ｄが閾値Ｄｔｈによる第１条件を満たしているか否かを判定するとともに、移動体１の状態が周囲の状態に応じた第２条件を満たしているか否かを判定することにより、運転者による居眠りの予兆を検知するステップＳＴ２と、を備える。これにより、移動体１の運転者による居眠りの予兆を検知することができる。
実施の形態２．
　図１５は、実施の形態２に係る予兆検知装置を含む運転支援制御装置の要部を示すブロック図である。図１６は、実施の形態２に係る予兆検知装置用の学習装置の要部を示すブロック図である。図１５を参照して、実施の形態２に係る予兆検知装置を含む運転支援制御装置について説明する。また、図１６を参照して、実施の形態２に係る予兆検知装置用の学習装置について説明する。なお、図１５において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
　図１５に示す如く、移動体１は、運転支援制御装置１００ａを有している。運転支援制御装置１００ａは、情報取得部１１、予兆検知部１２ａ及び運転支援制御部１３を有している。情報取得部１１及び予兆検知部１２ａにより、予兆検知装置２００ａの要部が構成されている。
　予兆検知部１２ａは、第１情報取得部２１により取得された開眼度情報、第２情報取得部２２により取得された周囲情報及び第３情報取得部２３により取得された移動体情報を用いて、移動体１の運転者による居眠りの予兆を検知するものである。
　ここで、予兆検知部１２ａは、機械学習による学習済みモデルＭを用いるものである。学習済みモデルＭは、例えば、ニューラルネットワークにより構成されている。学習済みモデルＭは、開眼度情報、周囲情報及び移動体情報の入力を受け付けるものである。学習済みモデルＭは、これらの入力に対して、移動体１の運転者による居眠りの予兆に対応する値（以下「予兆値」という。）Ｐを出力するものである。予兆値Ｐは、例えば、居眠りの予兆の有無を示すものである。
　このようにして、移動体１の運転者による居眠りの予兆が検知される。予兆検知部１２ａは、予兆値Ｐを含む信号（すなわち検知結果信号）を出力するものである。
　図１６に示す如く、記憶装置９は、学習用情報記憶部６１を有している。記憶装置９は、メモリにより構成されている。また、学習装置３００は、学習用情報取得部７１、予兆検知部７２及び学習部７３を有している。
　学習用情報記憶部６１は、予兆検知部７２におけるモデルＭの学習に用いられる情報（以下「学習用情報」という。）を記憶するものである。学習用情報は、例えば、移動体１と同様の移動体を用いて収集されたものである。
　すなわち、学習用情報は、複数個のデータセット（以下「学習用データセット」という。）を含むものである。個々の学習用データセットは、例えば、開眼度情報に相当する学習用データ、周囲情報に相当する学習用データ、及び移動体情報に相当する学習用データを含むものである。周囲情報に相当する学習用データは、例えば、白線情報に相当する学習用データ、障害物情報に相当する学習用データ、ブレーキランプ情報に相当する学習用データ、及び赤信号情報に相当する学習用データのうちの少なくとも一つを含むものである。移動体情報に相当する学習用データは、アクセル操作情報に相当する学習用データ、ブレーキ操作情報に相当する学習用データ、及びハンドル操作情報に相当する学習用データのうちの少なくとも一つを含むものである。
　学習用情報取得部７１は、学習用情報を取得するものである。より具体的には、学習用情報取得部７１は、個々の学習用データセットを取得するものである。個々の学習用データセットは、学習用情報記憶部６１から取得される。
　予兆検知部７２は、予兆検知部１２ａと同様のものである。すなわち、予兆検知部７２は、機械学習により学習自在なモデルＭを有している。モデルＭは、学習用情報取得部７１により取得された学習用データセットの入力を受け付けるものである。モデルＭは、かかる入力に対して、予兆値Ｐを出力するものである。
　学習部７３は、機械学習によるモデルＭの学習をするものである。具体的には、例えば、学習部７３は、教師あり学習によるモデルＭの学習をするものである。
　すなわち、学習部７３は、居眠りの予兆の検知に係る正解を示すデータ（以下「正解データ」という。）を取得する。より具体的には、学習部７３は、学習用情報取得部７１により取得された学習用データセットに対応する正解データを取得する。換言すれば、学習部７３は、予兆検知部７２による予兆の検知に用いられた学習用データセットに対応する正解データを取得する。
　ここで、個々の学習用データセットに対応する正解データは、予兆値Ｐに対する正解を示す値（以下「正解値」という。）Ｃを含むものである。個々の学習用データセットに対応する正解データは、例えば、学習用情報が収集されるときに併せて収集されたものである。すなわち、個々の正解データが示す正解値Ｃは、例えば、対応する学習用データセットが収集されたときに運転者が感じていた眠気に応じて設定されたものである。
　次いで、学習部７３は、予兆検知部７２による検知結果と上記取得された正解データとを比較する。すなわち、学習部７３は、モデルＭにより出力された予兆値Ｐと上記取得された正解データが示す正解値Ｃとを比較する。学習部７３は、かかる比較の結果に応じて、モデルＭにおける複数個のパラメータのうちの１個以上のパラメータを選択して、当該選択されたパラメータの値を更新する。個々のパラメータは、例えば、モデルＭがニューラルネットワークにより構成されている場合、かかるニューラルネットワークにおける層間の重み値に対応するものである。
　開眼度Ｄは、居眠りの予兆に対して相関を有すると考えられる（実施の形態１における第１条件に係る説明参照。）。また、移動体１に対する周囲の状態と運転者による移動体１の操作の状態との対応関係も、居眠りの予兆に対して相関を有すると考えられる（実施の形態１における第２条件に係る説明参照。）。したがって、学習部７３による学習が複数回実行されることにより（すなわち複数個の学習用データセットを用いた学習が順次実行されることにより）、上記のような学習済みモデルＭが生成される。すなわち、開眼度情報、周囲情報及び移動体情報の入力を受け付けて、居眠りの予兆に係る予兆値Ｐを出力するような学習済みモデルＭが生成される。当該生成された学習済みモデルＭが予兆検知装置２００ａに用いられる。
　このほか、モデルＭの学習には、教師あり学習に係る公知の種々の技術を用いることができる。これらの技術についての詳細な説明は省略する。
　以下、予兆検知部１２ａの機能を総称して「予兆検知機能」ということがある。また、かかる予兆検知機能に「Ｆ２ａ」の符号を用いることがある。また、予兆検知部１２ａにより実行される処理を総称して「予兆検知処理」ということがある。
　以下、学習用情報取得部７１の機能を総称して「学習用情報取得機能」ということがある。また、かかる学習用情報取得機能に「Ｆ１１」の符号を用いることがある。また、学習用情報取得部７１により実行される処理を総称して「学習用情報取得処理」ということがある。
　以下、予兆検知部７２の機能を総称して「予兆検知機能」ということがある。また、かかる予兆検知機能に「Ｆ１２」の符号を用いることがある。また、予兆検知部７２により実行される処理を総称して「予兆検知処理」ということがある。
　以下、学習部７３の機能を総称して「学習機能」ということがある。また、かかる学習機能に「Ｆ１３」の符号を用いることがある。また、学習部７３により実行される処理を総称して「学習処理」ということがある。
　運転支援制御装置１００ａの要部のハードウェア構成は、実施の形態１にて図２～図４を参照して説明したものと同様である。このため、詳細な説明は省略する。すなわち、運転支援制御装置１００ａは、複数個の機能Ｆ１，Ｆ２ａ，Ｆ３を有している。複数個の機能Ｆ１，Ｆ２ａ，Ｆ３の各々は、プロセッサ５１及びメモリ５２により実現されるものであっても良く、又は処理回路５３により実現されるものであっても良い。
　次に、図１７～図１９を参照して、学習装置３００の要部のハードウェア構成について説明する。
　図１７に示す如く、学習装置３００は、プロセッサ８１及びメモリ８２を有している。メモリ８２には、複数個の機能Ｆ１１～Ｆ１３に対応するプログラムが記憶されている。プロセッサ８１は、メモリ８２に記憶されているプログラムを読み出して実行する。これにより、複数個の機能Ｆ１１～Ｆ１３が実現される。
　または、図１８に示す如く、学習装置３００は、処理回路８３を有している。処理回路８３は、複数個の機能Ｆ１１～Ｆ１３に対応する処理を実行する。これにより、複数個の機能Ｆ１１～Ｆ１３が実現される。
　または、図１９に示す如く、学習装置３００は、プロセッサ８１、メモリ８２及び処理回路８３を有している。メモリ８２には、複数個の機能Ｆ１１～Ｆ１３のうちの一部の機能に対応するプログラムが記憶されている。プロセッサ８１は、メモリ８２に記憶されているプログラムを読み出して実行する。これにより、かかる一部の機能が実現される。また、処理回路８３は、複数個の機能Ｆ１１～Ｆ１３のうちの残余の機能に対応する処理を実行する。これにより、かかる残余の機能が実現される。
　プロセッサ８１の具体例は、プロセッサ５１の具体例と同様である。メモリ８２の具体例は、メモリ５２の具体例と同様である。処理回路８３の具体例は、処理回路５３の具体例と同様である。これらの具体例についての詳細な説明は省略する。
　次に、図２０のフローチャートを参照して、運転支援制御装置１００ａの動作について説明する。なお、図２０において、図５に示すステップと同様のステップには同一符号を付して説明を省略する。
　ステップＳＴ１の処理が実行されたとき、予兆検知部１２ａが予兆検知処理を実行する（ステップＳＴ２ａ）。すなわち、ステップＳＴ１にて取得された開眼度情報、周囲情報及び移動体情報が学習済みモデルＭに入力されて、学習済みモデルＭが予兆値Ｐを出力する。ステップＳＴ２ａの処理が実行されたとき、ステップＳＴ３の処理が実行される。
　次に、図２１のフローチャートを参照して、学習装置３００の動作について説明する。
　まず、学習用情報取得部７１が学習用情報取得処理を実行する（ステップＳＴ４１）。
　次いで、予兆検知部７２が予兆検知処理を実行する（ステップＳＴ４２）。すなわち、ステップＳＴ４１にて取得された学習用データセットがモデルＭに入力されて、モデルＭが予兆値Ｐを出力する。
　次いで、学習部７３が学習処理を実行する（ステップＳＴ４３）。すなわち、学習部７３は、ステップＳＴ１にて取得された学習用データセットに対応する正解データを取得する。学習部７３は、当該取得された正解データが示す正解と、ステップＳＴ４２における検知結果とを比較する。学習部７３は、かかる比較の結果に応じて、モデルＭにおける複数個のパラメータのうちの１個以上のパラメータを選択して、当該選択されたパラメータの値を更新する。
　次に、予兆検知装置２００ａの変形例について説明する。また、学習装置３００の変形例について説明する。
　学習用情報は、個人毎に用意されるものであっても良い。これにより、学習部７３によるモデルＭの学習は、個人毎に実行されるものであっても良い。この結果、各個人に対応する学習済みモデルＭが生成される。すなわち、複数個の学習済みモデルＭが生成される。予兆検知部１２ａは、当該生成された複数個の学習済みモデルＭのうちの移動体１の現在の運転者に対応する学習済みモデルＭを選択して、当該選択された学習済みモデルＭを用いるものであっても良い。
　開眼度Ｄと居眠りの予兆との対応関係は、個人毎に相違し得るものである。また、移動体１に対する周囲の状態と運転者による移動体１の操作の状態との対応関係と、居眠りの予兆との対応関係も、個人毎に相違し得るものである。これに対して、個人毎の学習済みモデルＭを用いることにより、かかる相違にかかわらず、居眠りの予兆を正確に検知することができる。
　または、学習用情報は、人の属性毎に用意されるものであっても良い。
　例えば、学習用情報は、性別毎に用意されるものであっても良い。これにより、学習部７３によるモデルＭの学習は、性別毎に実行されるものであっても良い。この結果、各性別に対応する学習済みモデルＭが生成される。すなわち、複数個の学習済みモデルＭが生成される。予兆検知部１２ａは、当該生成された複数個の学習済みモデルＭのうちの移動体１の現在の運転者の性別に対応する学習済みモデルＭを選択して、当該選択された学習済みモデルＭを用いるものであっても良い。
　また、例えば、学習用情報は、年齢層毎に用意されるものであっても良い。これにより、学習部７３によるモデルＭの学習は、年齢層毎に実行されるものであっても良い。この結果、各年齢層に対応する学習済みモデルＭが生成される。すなわち、複数個の学習済みモデルＭが生成される。予兆検知部１２ａは、当該生成された複数個の学習済みモデルＭのうちの移動体１の現在の運転者の年齢に対応する学習済みモデルＭを選択して、当該選択された学習済みモデルＭを用いるものであっても良い。
　開眼度Ｄと居眠りの予兆との対応関係は、運転者の属性に応じて相違し得るものである。また、移動体１に対する周囲の状態と運転者による移動体１の操作の状態との対応関係と、居眠りの予兆との対応関係も、運転者の属性に応じて相違し得るものである。これに対して、属性毎の学習済みモデルＭを用いることにより、かかる相違にかかわらず、居眠りの予兆を正確に検知することができる。
　次に、予兆検知装置２００ａの他の変形例について説明する。また、学習装置３００の他の変形例について説明する。
　第一に、周囲情報は、障害物情報、ブレーキランプ情報及び赤信号情報を含まないものであっても良い。移動体情報は、アクセル操作情報及びブレーキ操作情報を含まないものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含まないものであっても良い。換言すれば、周囲情報が白線情報を含み、かつ、移動体情報がハンドル操作情報を含むものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含むものであっても良い。すなわち、前方領域における白線とハンドル操作との対応関係は、居眠りの予兆に対して相関を有すると考えられる（実施の形態１における第２条件に係る説明参照。）。したがって、これらの情報を用いることにより、居眠りの予兆の検知を実現することができる。
　第二に、周囲情報は、白線情報、ブレーキランプ情報及び赤信号情報を含まないものであっても良い。移動体情報は、アクセル操作情報を含まないものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含まないものであっても良い。換言すれば、周囲情報が障害物情報を含み、かつ、移動体情報がブレーキ操作情報及びハンドル操作情報を含むものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含むものであっても良い。すなわち、前方領域における障害物とブレーキ操作又はハンドル操作との対応関係は、居眠りの予兆に対して相関を有すると考えられる（実施の形態１における第２条件に係る説明参照。）。したがって、これらの情報を用いることにより、居眠りの予兆の検知を実現することができる。
　第三に、周囲情報は、白線情報、障害物情報及び赤信号情報を含まないものであっても良い。移動体情報は、アクセル操作情報及びハンドル操作情報を含まないものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含まないものであっても良い。換言すれば、周囲情報がブレーキランプ情報を含み、かつ、移動体情報がブレーキ操作情報を含むものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含むものであっても良い。すなわち、前方領域における他車両のブレーキランプの点灯とブレーキ操作との対応関係は、居眠りの予兆に対して相関を有すると考えられる（実施の形態１における第２条件に係る説明参照。）。したがって、これらの情報を用いることにより、居眠りの予兆の検知を実現することができる。
　第四に、周囲情報は、白線情報、障害物情報及びブレーキランプ情報を含まないものであっても良い。移動体情報は、アクセル操作情報及びハンドル操作情報を含まないものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含まないものであっても良い。換言すれば、周囲情報が赤信号情報を含み、かつ、移動体情報がブレーキ操作情報を含むものであっても良い。個々の学習用データセットは、これらの情報に相当する学習用データを含むものであっても良い。すなわち、前方領域における赤信号の点灯とブレーキ操作との対応関係は、居眠りの予兆に対して相関を有すると考えられる（実施の形態１における第２条件に係る説明参照。）。したがって、これらの情報を用いることにより、居眠りの予兆の検知を実現することができる。
　次に、予兆検知装置２００ａの他の変形例について説明する。また、学習装置３００の他の変形例について説明する。
　学習済みモデルＭは、直近の所定時間Ｔ５分の開眼度Ｄを示す開眼度情報の入力を受け付けるものであっても良い。また、個々の学習用データセットは、かかる開眼度情報に相当する学習用データを含むものであっても良い。これにより、開眼度Ｄの時間変化を考慮した学習及び推論を実現することができる。この結果、予兆検知部１２ａによる検知精度の向上を図ることができる。
　また、第２情報取得部２２は、周囲情報及び明るさ情報を取得するものであっても良い。学習済みモデルＭは、開眼度情報、周囲情報、明るさ情報及び移動体情報の入力を受け付けて、予兆値Ｐを出力するものであっても良い。個々の学習用データセットは、開眼度情報に相当する学習用データ、周囲情報に相当する学習用データ、明るさ情報に相当する学習用データ及び移動体情報に相当する学習用データを含むものであっても良い。これにより、周囲の明るさを考慮した学習及び推論を実現することができる。この結果、予兆検知部１２ａによる検知精度の向上を図ることができる。
　次に、運転支援制御装置１００ａの変形例について説明する。また、予兆検知装置２００ａの他の変形例について説明する。
　運転支援制御装置１００ａは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。また、予兆検知装置２００ａのは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
　例えば、車載情報機器６により運転支援制御装置１００ａの要部が構成されているものであっても良い。または、車載情報機器６及び携帯情報端末７により運転支援制御装置１００ａの要部が構成されているものであっても良い。または、車載情報機器６及びサーバ８により運転支援制御装置１００ａの要部が構成されているものであっても良い。または、車載情報機器６、携帯情報端末７及びサーバ８により運転支援制御装置１００ａの要部が構成されているものであっても良い。
　また、例えば、サーバ８により予兆検知装置２００ａの要部が構成されているものであっても良い。この場合、例えば、サーバ８が運転者情報、周囲情報及び移動体情報を移動体１から受信することにより、サーバ８にて情報取得部１１の機能Ｆ１が実現される。また、例えば、サーバ８が検知結果信号を移動体１に送信することにより、予兆検知部１２ａによる検知結果が移動体１に通知される。
　次に、学習装置３００の他の変形例について説明する。
　学習部７３によるモデルＭの学習は、教師あり学習に限定されるものではない。例えば、学習部７３は、教師なし学習によるモデルＭの学習をするものであっても良い。または、例えば、学習部７３は、強化学習によるモデルＭの学習をするものであっても良い。
　次に、予兆検知装置２００ａの他の変形例について説明する。
　予兆検知装置２００ａは、学習部７３を有するものであっても良い。すなわち、予兆検知部１２ａは、機械学習により学習自在なモデルＭを有するものであっても良い。予兆検知装置２００ａにおける学習部７３は、情報取得部１１により取得された情報（例えば開眼度情報、周囲情報及び移動体情報）を学習用情報に用いて、予兆検知部１２ａにおけるモデルＭの学習をするものであっても良い。
　以上のように、実施の形態２に係る予兆検知装置２００ａは、移動体１における運転者の開眼度Ｄを示す開眼度情報、移動体１に対する周囲の状態を示す周囲情報及び移動体１の状態を示す移動体情報を取得する情報取得部１１と、開眼度情報、周囲情報及び移動体情報を用いて運転者による居眠りの予兆を検知する予兆検知部１２ａと、を備え、予兆検知部１２ａは、機械学習による学習済みモデルＭを用いるものであり、学習済みモデルＭは、開眼度情報、周囲情報及び移動体情報の入力を受け付けて、予兆に対応する予兆値Ｐを出力するものである。これにより、移動体１の運転者による居眠りの予兆を検知することができる。
　また、実施の形態２に係る運転支援制御装置１００ａは、予兆検知装置２００ａと、予兆検知部１２ａによる検知結果に応じて警告を出力する制御（警告出力制御）及び検知結果に応じて移動体１を操作する制御（移動体制御）のうちの少なくとも一方を実行する運転支援制御部１３と、を備える。これにより、居眠り状態が発生するよりも先に、居眠りの予兆が検知されたタイミングにて、警告の出力又は移動体１の制御を実現することができる。
　なお、本願開示はその開示の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示に係る予兆検知装置及び予兆検知方法は、例えば、運転支援制御装置に用いることができる。本開示に係る運転支援制御装置は、例えば、車両に用いることができる。
　１　移動体、２　第１カメラ、３　第２カメラ、４　センサ類、５　出力装置、６　車載情報機器、７　携帯情報端末、８　サーバ、９　記憶装置、１１　情報取得部、１２，１２ａ　予兆検知部、１３　運転支援制御部、２１　第１情報取得部、２２　第２情報取得部、２３　第３情報取得部、３１　第１判定部、３２　第２判定部、３３　第３判定部、３４　検知結果出力部、４１　警告出力制御部、４２　移動体制御部、５１　プロセッサ、５２　メモリ、５３　処理回路、６１　学習用情報記憶部、７１　学習用情報取得部、７２　予兆検知部、７３　学習部、８１　プロセッサ、８２　メモリ、８３　処理回路、１００，１００ａ　運転支援制御装置、２００，２００ａ　予兆検知装置、３００　学習装置。

Claims (26)

  1. 　移動体における運転者の開眼度を示す開眼度情報、前記移動体に対する周囲の状態を示す周囲情報及び前記移動体の状態を示す移動体情報を取得する情報取得部と、
    　前記開眼度が閾値による第１条件を満たしているか否かを判定するとともに、前記移動体の状態が前記周囲の状態に応じた第２条件を満たしているか否かを判定することにより、前記運転者による居眠りの予兆を検知する予兆検知部と、
    　を備える予兆検知装置。
  2. 　前記予兆検知部は、前記開眼度が前記第１条件を満たしていると判定された場合、前記移動体の状態が前記第２条件を満たしているか否かを判定することを特徴とする請求項１記載の予兆検知装置。
  3. 　前記予兆検知部は、前記開眼度が前記第１条件を満たしていると判定された場合において、前記移動体の状態が前記第２条件を満たしていると判定されたとき、前記予兆があると判定することを特徴とする請求項２記載の予兆検知装置。
  4. 　前記移動体が車両であることを特徴とする請求項１記載の予兆検知装置。
  5. 　前記移動体情報は、前記移動体におけるアクセル操作の状態を示すアクセル操作情報、前記移動体におけるブレーキ操作の状態を示すブレーキ操作情報及び前記移動体におけるハンドル操作の状態を示すハンドル操作情報のうちの少なくとも一つを含むことを特徴とする請求項１記載の予兆検知装置。
  6. 　前記移動体情報は、前記ハンドル操作情報を含み、
    　前記周囲情報は、前方領域における道路の白線を示す情報を含み、
    　前記第２条件は、前記白線に応じたハンドル操作が第１基準時間内になされないという条件を含む
    　ことを特徴とする請求項５記載の予兆検知装置。
  7. 　前記移動体情報は、前記ブレーキ操作情報及び前記ハンドル操作情報を含み、
    　前記周囲情報は、前方領域における障害物を示す情報を含み、
    　前記第２条件は、前記障害物に応じたブレーキ操作又は前記障害物に応じたハンドル操作が第２基準時間内になされないという条件を含む
    　ことを特徴とする請求項５記載の予兆検知装置。
  8. 　前記移動体情報は、前記ブレーキ操作情報を含み、
    　前記周囲情報は、前方領域における他車両のブレーキランプの点灯を示す情報を含み、
    　前記第２条件は、前記ブレーキランプの点灯に応じたブレーキ操作が第３基準時間内になされないという条件を含む
    　ことを特徴とする請求項５記載の予兆検知装置。
  9. 　前記移動体情報は、前記ブレーキ操作情報を含み、
    　前記周囲情報は、前方領域における赤信号の点灯を示す情報を含み、
    　前記第２条件は、前記赤信号の点灯に応じたブレーキ操作が第４基準時間内になされないという条件を含む
    　ことを特徴とする請求項５記載の予兆検知装置。
  10. 　前記第１条件は、前記開眼度が前記閾値を下回るという条件に設定されていることを特徴とする請求項１記載の予兆検知装置。
  11. 　前記第１条件は、前記開眼度が所定時間内に前記閾値以上の値から前記閾値未満の値に変化した回数及び前記開眼度が前記所定時間内に前記閾値未満の値から前記閾値以上の値に変化した回数のうちの少なくとも一方に基づく条件に設定されていることを特徴とする請求項１記載の予兆検知装置。
  12. 　前記情報取得部は、前記周囲における明るさを示す明るさ情報を取得して、
    　前記予兆検知部は、前記明るさが基準値以上の値である場合において、前記開眼度が前記閾値未満の値であるとき、前記開眼度が前記閾値以上の値であると擬制する
    　ことを特徴とする請求項１０記載の予兆検知装置。
  13. 　当該予兆検知装置は、前記移動体と通信自在なサーバにより構成されており、
    　前記予兆検知部による検知結果が前記サーバにより前記移動体に通知されるものである
    　ことを特徴とする請求項１記載の予兆検知装置。
  14. 　請求項１記載の予兆検知装置と、
    　前記予兆検知部による検知結果に応じて警告を出力する制御及び前記検知結果に応じて前記移動体を操作する制御のうちの少なくとも一方を実行する運転支援制御部と、
    　を備える運転支援制御装置。
  15. 　情報取得部が、移動体における運転者の開眼度を示す開眼度情報、前記移動体に対する周囲の状態を示す周囲情報及び前記移動体の状態を示す移動体情報を取得するステップと、
    　予兆検知部が、前記開眼度が閾値による第１条件を満たしているか否かを判定するとともに、前記移動体の状態が前記周囲の状態に応じた第２条件を満たしているか否かを判定することにより、前記運転者による居眠りの予兆を検知するステップと、
    　を備える予兆検知方法。
  16. 　移動体における運転者の開眼度を示す開眼度情報、前記移動体に対する周囲の状態を示す周囲情報及び前記移動体の状態を示す移動体情報を取得する情報取得部と、
    　前記開眼度情報、前記周囲情報及び前記移動体情報を用いて前記運転者による居眠りの予兆を検知する予兆検知部と、を備え、
    　前記予兆検知部は、機械学習による学習済みモデルを用いるものであり、
    　前記学習済みモデルは、前記開眼度情報、前記周囲情報及び前記移動体情報の入力を受け付けて、前記予兆に対応する予兆値を出力するものである
    　ことを特徴とする予兆検知装置。
  17. 　前記移動体が車両であることを特徴とする請求項１６記載の予兆検知装置。
  18. 　前記移動体情報は、前記移動体におけるアクセル操作の状態を示すアクセル操作情報、前記移動体におけるブレーキ操作の状態を示すブレーキ操作情報及び前記移動体におけるハンドル操作の状態を示すハンドル操作情報のうちの少なくとも一つを含むことを特徴とする請求項１６記載の予兆検知装置。
  19. 　前記移動体情報は、前記ハンドル操作情報を含み、
    　前記周囲情報は、前方領域における道路の白線を示す情報を含む
    　ことを特徴とする請求項１８記載の予兆検知装置。
  20. 　前記移動体情報は、前記ブレーキ操作情報及び前記ハンドル操作情報を含み、
    　前記周囲情報は、前方領域における障害物を示す情報を含む
    　ことを特徴とする請求項１８記載の予兆検知装置。
  21. 　前記移動体情報は、前記ブレーキ操作情報を含み、
    　前記周囲情報は、前方領域における他車両のブレーキランプの点灯を示す情報を含む
    　ことを特徴とする請求項１８記載の予兆検知装置。
  22. 　前記移動体情報は、前記ブレーキ操作情報を含み、
    　前記周囲情報は、前方領域における赤信号の点灯を示す情報を含む
    　ことを特徴とする請求項１８記載の予兆検知装置。
  23. 　前記学習済みモデルは、直近の所定時間分の前記開眼度を示す前記開眼度情報の入力を受け付けるものであることを特徴とする請求項１６記載の予兆検知装置。
  24. 　前記情報取得部は、前記移動体に対する周囲の明るさを示す明るさ情報を取得して、
    　前記学習済みモデルは、前記開眼度情報、前記周囲情報、前記明るさ情報及び前記移動体情報の入力を受け付けて、前記予兆値を出力するものである
    　ことを特徴とする請求項１６記載の予兆検知装置。
  25. 　当該予兆検知装置は、前記移動体と通信自在なサーバにより構成されており、
    　前記予兆検知部による検知結果が前記サーバにより前記移動体に通知されるものである
    　ことを特徴とする請求項１６記載の予兆検知装置。
  26. 　請求項１６記載の予兆検知装置と、
    　前記予兆検知部による検知結果に応じて警告を出力する制御及び前記検知結果に応じて前記移動体を操作する制御のうちの少なくとも一方を実行する運転支援制御部と、
    　を備える運転支援制御装置。
PCT/JP2020/004459 2020-02-06 2020-02-06 予兆検知装置、運転支援制御装置及び予兆検知方法 WO2021156989A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021575171A JPWO2021156989A1 (ja) 2020-02-06 2020-02-06
PCT/JP2020/004459 WO2021156989A1 (ja) 2020-02-06 2020-02-06 予兆検知装置、運転支援制御装置及び予兆検知方法
CN202080095167.4A CN115038629A (zh) 2020-02-06 2020-02-06 预兆检测装置、驾驶辅助控制装置以及预兆检测方法
US17/796,045 US20230105891A1 (en) 2020-02-06 2020-02-06 Sign detection device, driving assistance control device, and sign detection method
DE112020006682.7T DE112020006682T5 (de) 2020-02-06 2020-02-06 Anzeichen-Erfassungsvorrichtung, Fahrassistenz-Steuereinheit und Verfahren zur Anzeichen-Erfassung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/004459 WO2021156989A1 (ja) 2020-02-06 2020-02-06 予兆検知装置、運転支援制御装置及び予兆検知方法

Publications (1)

Publication Number Publication Date
WO2021156989A1 true WO2021156989A1 (ja) 2021-08-12

Family

ID=77200010

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004459 WO2021156989A1 (ja) 2020-02-06 2020-02-06 予兆検知装置、運転支援制御装置及び予兆検知方法

Country Status (5)

Country Link
US (1) US20230105891A1 (ja)
JP (1) JPWO2021156989A1 (ja)
CN (1) CN115038629A (ja)
DE (1) DE112020006682T5 (ja)
WO (1) WO2021156989A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06156262A (ja) * 1992-11-18 1994-06-03 Nissan Motor Co Ltd 車両の予防安全装置
JP2000198369A (ja) * 1998-12-28 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
JP2007257043A (ja) * 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2009208739A (ja) * 2008-03-06 2009-09-17 Clarion Co Ltd 眠気覚醒装置
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2017117096A (ja) * 2015-12-22 2017-06-29 三菱自動車工業株式会社 車両の運転操作監視装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH081385B2 (ja) * 1989-12-18 1996-01-10 トヨタ自動車株式会社 異常運転検出装置
JP6035806B2 (ja) * 2012-03-23 2016-11-30 富士通株式会社 居眠り判別装置、および居眠り判別方法
JP2019108943A (ja) * 2017-12-19 2019-07-04 株式会社Ｓｕｂａｒｕ 居眠り運転防止装置
JP7099037B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06156262A (ja) * 1992-11-18 1994-06-03 Nissan Motor Co Ltd 車両の予防安全装置
JP2000198369A (ja) * 1998-12-28 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
JP2007257043A (ja) * 2006-03-20 2007-10-04 Nissan Motor Co Ltd 乗員状態推定装置および乗員状態推定方法
JP2009208739A (ja) * 2008-03-06 2009-09-17 Clarion Co Ltd 眠気覚醒装置
JP2017073107A (ja) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提示装置の制御方法、及び、情報提示装置
JP2017117096A (ja) * 2015-12-22 2017-06-29 三菱自動車工業株式会社 車両の運転操作監視装置

Also Published As

Publication number Publication date
JPWO2021156989A1 (ja) 2021-08-12
CN115038629A (zh) 2022-09-09
DE112020006682T5 (de) 2022-12-08
US20230105891A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
JP6575818B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援システム、プログラム
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
US11685390B2 (en) Assistance method and assistance system and assistance device using assistance method that execute processing relating to a behavior model
CN111133448A (zh) 使用安全到达时间控制自动驾驶车辆
CN113815561A (zh) 使用基准标记的基于机器学习的安全带检测和使用识别
CN112699721B (zh) 离开道路扫视时间的情境相关调整
CN110371018B (zh) 使用其他车辆车灯的信息改善车辆行为
WO2018193765A1 (ja) 提示制御装置、自動運転制御装置、提示制御方法及び自動運転制御方法
CN112989914A (zh) 具有自适应加权输入的注视确定机器学习***
US10882536B2 (en) Autonomous driving control apparatus and method for notifying departure of front vehicle
CN114270294A (zh) 使用眩光作为输入的注视确定
US11780466B1 (en) Vehicle fleet remote ride comfort tuning management system
US11279373B2 (en) Automated driving system
US11721089B2 (en) Using temporal filters for automated real-time classification
US12033397B2 (en) Controller, method, and computer program for controlling vehicle
KR20190134862A (ko) 전자 장치 및 그 동작 방법
JP2018165692A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、提示システム
CN114684062A (zh) 约束设备定位
KR20150066308A (ko) 운전자 운행 상태 판단 장치 및 그 방법
WO2021010213A1 (ja) 車両用通知制御装置及び車両用通知制御方法
WO2021156989A1 (ja) 予兆検知装置、運転支援制御装置及び予兆検知方法
KR20190104472A (ko) 차량용 심전도 측정 장치 및 방법
CN113307192B (zh) 处理装置、处理方法、通报***及存储介质
JP7447853B2 (ja) 覚醒状態判定システム及び自動運転装置
JP2018165693A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、提示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20917891

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575171

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20917891

Country of ref document: EP

Kind code of ref document: A1