WO2021182483A1 - 安全運転判定装置 - Google Patents

安全運転判定装置 Download PDF

Info

Publication number
WO2021182483A1
WO2021182483A1 PCT/JP2021/009367 JP2021009367W WO2021182483A1 WO 2021182483 A1 WO2021182483 A1 WO 2021182483A1 JP 2021009367 W JP2021009367 W JP 2021009367W WO 2021182483 A1 WO2021182483 A1 WO 2021182483A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
angle
value
determination
threshold value
Prior art date
Application number
PCT/JP2021/009367
Other languages
English (en)
French (fr)
Inventor
和彦 山口
Original Assignee
いすゞ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by いすゞ自動車株式会社 filed Critical いすゞ自動車株式会社
Priority to CN202180018923.8A priority Critical patent/CN115398507A/zh
Priority to US17/908,911 priority patent/US20230100810A1/en
Priority to DE112021001537.0T priority patent/DE112021001537T5/de
Publication of WO2021182483A1 publication Critical patent/WO2021182483A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a safe driving determination device.
  • the conventional non-gaze state determination device By using the integral value of the driver's face orientation for a certain period of time in the past, the conventional non-gaze state determination device erroneously determines that an operation similar to forward non-gaze, such as mirror confirmation, is forward non-gaze. Suppress. However, the conventional non-gaze state determination device determines that the driver is not gaze forward even if the driver is not gaze forward at the current time when the integrated value in the past exceeds the reference value. There was a problem of doing it.
  • the present invention has been made in view of these points, and even if the driver has been in a forward inattentive state within a certain period in the past, an alarm is issued if the driver is not in a forward invisible state at the present time.
  • the purpose is to prevent it from being emitted.
  • the safe driving determination device acquires and acquires an angle value indicating the face-facing angle of the driver when the driver of the vehicle is imaged by an imaging device and the traveling direction of the vehicle is used as a reference. It is a safe driving determination device that determines whether or not the driver is in a forward inattentive state based on the angle value, and is a face-facing angle of the driver in the yaw direction with respect to the traveling direction and the traveling direction.
  • the integrated value of the angle value within the predetermined first determination period in the past is equal to or greater than the threshold value with the angle value calculation unit that calculates an angle value indicating at least one face direction angle with respect to the driver's face direction angle in the pitch direction.
  • the determination unit includes a determination unit for determining whether or not the driver is in a forward inattentive state based on whether or not the driver is in a forward inattentive state, and the determination unit has an angle value within a predetermined first determination period in the past.
  • the integrated value of is equal to or greater than the first threshold value and the angle value of the driver is greater than or equal to the second threshold value at the present time, it is determined that the driver is in a forward inattentive state, and the predetermined first value in the past is determined. Even if the integrated value of the angle values within the determination period is equal to or greater than the first threshold value, it is not determined that the driver is in a forward inattentive state when the angle value of the driver is less than the second threshold value at this time. ..
  • the determination unit determines whether or not the driver is in a forward inattentive state based on the result of comparing the statistical values of a plurality of the angle values within the second determination period including the present time with the third threshold value. You may.
  • the determination unit is based on the result of comparing the statistical values of a plurality of the angle values in the second determination period shorter than the first determination period, including the present time, with the third threshold value. It may be determined whether or not the person is in a forward inattentive state.
  • the determination unit moves the driver forward even if the angle value is equal to or more than the first threshold value. It may not be determined that the person is in a non-gaze state.
  • the determination unit may determine the length of the second determination period based on the current speed of the vehicle.
  • the determination unit may determine the length of the second determination period to be shorter than when the speed of the vehicle is slow.
  • the determination unit may determine the third threshold value based on the current speed of the vehicle.
  • the determination unit may set the third threshold value smaller when the speed of the vehicle is high than when the speed of the vehicle is slow.
  • the present invention even if the driver has been in a forward inattentive state within a certain period of time in the past, it is possible to prevent the driver from issuing an alarm if the driver is not in the forward invisible state at the present time. Play.
  • FIG. 1 is a diagram showing a configuration of a vehicle S according to the present invention.
  • the vehicle S has an image pickup device 1, an alarm device 3, and a safe driving determination device 4.
  • the image pickup device 1 is provided in the driver's seat of the vehicle S, and includes, for example, a CCD camera.
  • the image pickup device 1 takes an image of the driver sitting in the driver's seat from the front and generates an captured image.
  • the image pickup device 1 captures the face of the driver while the vehicle S is traveling, and generates an captured image capable of specifying the face orientation angle of the driver with respect to the traveling direction of the vehicle S.
  • the image pickup device 1 outputs the generated captured image to the safe operation determination device 4.
  • FIG. 2 is a diagram showing the relationship between the image pickup device 1 and the driver's face orientation angle.
  • FIG. 2A shows a view seen from the side surface of the driver D
  • FIG. 2B shows a view seen from above the driver D.
  • the image pickup apparatus 1 is provided, for example, diagonally downward with respect to the face of the driver D, not in front of the face of the driver D.
  • the alarm device 3 is a device that issues an alarm to the driver based on the notification from the safe driving determination device 4 that the driver who is driving is not looking forward (for example, looking aside).
  • the alarm device 3 includes, for example, a speaker that sounds an alarm, a display unit that displays an alarm screen, and a vibration generating unit that generates vibration.
  • the alarm device 3 may issue an alarm by combining at least two of sound, display, and vibration.
  • the safe driving determination device 4 has a storage unit 41 and a control unit 42.
  • the safe driving determination device 4 acquires an angle value indicating the face orientation angle of the driver when the driver of the vehicle S is imaged by the image pickup device 1 and the traveling direction of the vehicle S is used as a reference.
  • the safe driving determination device 4 determines whether or not the driver is in a forward inattentive state based on the acquired angle value. When the driver determines that the driver is not looking forward, the safe driving determination device 4 notifies the alarm device 3 to issue an alarm.
  • the storage unit 41 has a storage medium such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk.
  • the storage unit 41 stores a program executed by the control unit 42, which will be described later.
  • the storage unit 41 stores, for example, information related to the driver's face-facing angle.
  • the control unit 42 is, for example, a CPU (Central Processing Unit).
  • the control unit 42 functions as an angle value calculation unit 421, a determination unit 422, and an alarm unit 423 by executing a program stored in the storage unit 41.
  • the control unit 42 specifies the face-facing angle of the driver and determines whether or not the driver is in a forward inattentive state.
  • the angle value calculation unit 421 calculates the angle value based on the captured image captured by the imaging device 1.
  • the angle value calculation unit 421 has at least a face orientation angle of the driver in the yaw direction (FIG. 2 (b)) with respect to the traveling direction and a face orientation angle of the driver in the pitch direction (FIG. 2 (a)) with respect to the traveling direction.
  • the angle value indicating one of the face facing angles is calculated.
  • the angle value calculation unit 421 notifies the determination unit 422 of the calculated angle value.
  • the determination unit 422 determines whether or not the driver is in a forward inattentive state based on whether or not the integrated value of the angle values within the predetermined first determination period in the past is equal to or greater than the first threshold value.
  • the determination unit 422 determines at a predetermined time interval (for example, 1 second interval).
  • the first determination period is a predetermined period starting from each time point determined by the determination unit 422.
  • the first threshold value is, for example, a value predetermined by an experiment as the maximum value of the integrated value during the first determination period corresponding to how the driver moves the face at a level that does not cause a safety problem.
  • the determination unit 422 when the integrated value of the angle values within the predetermined first determination period in the past is equal to or greater than the first threshold value and the angle value of the driver is equal to or greater than the second threshold value at the present time, the driver is unable to move forward. Judge that it is in the gaze state.
  • the determination unit 422 is a driver when the angle value of the driver is less than the second threshold value at the present time even if the integrated value of the angle values within the predetermined first determination period in the past is equal to or more than the first threshold value. Does not determine that is in a forward inattentive state.
  • the second threshold value is, for example, a value predetermined by an experiment as the maximum value of the angle value at a level at which there is no safety problem.
  • FIG. 3 is a diagram showing the relationship between the time at which the determination unit 422 determines whether or not the driver is in a forward inattentive state and the angle value and the integrated value indicating the driver's face orientation.
  • FIG. 3A shows the angle value for each time.
  • the horizontal axis of FIG. 3A shows the time, and the vertical axis of FIG. 3A shows the angle value indicating the driver's face orientation for each time.
  • the time T1 indicates the start time of the predetermined first determination period in the past at the time T2.
  • Time T2 indicates the current time.
  • the time T1 to the time T2 indicating the predetermined first determination period in the past is, for example, 10 seconds.
  • FIG. 3B shows the integrated value of the angle value after the time T1.
  • the horizontal axis of FIG. 3B shows the time, and the vertical axis of FIG. 3B shows the integrated value of the angle values after the time T1.
  • the time T3 indicates the time when the integrated value of the angle values becomes equal to the first threshold value Th1.
  • the integrated value of the angle value at the time T3 is the integrated value of the angle value in the period from the time T1 to the time T3.
  • the determination unit 422 determines whether or not the driver is in a forward inattentive state based on the angle value at the time T2. judge.
  • FIG. 4 is a diagram for explaining a process of determining whether or not the determination unit 422 is in the forward inattention state.
  • the horizontal axis of FIG. 4 indicates the time, and the vertical axis of FIG. 4 indicates the angle value of the driver's face for each time.
  • the integrated value of the angle values from the time T1 to the time T3 is the first threshold value. Equal to Th1.
  • FIG. 4A shows a change in the angle value when the angle value at the time T2 is equal to or greater than the second threshold value Th2 after the integrated value reaches the first threshold value Th1 at the time T3.
  • FIG. 4B shows a change in the angle value when the angle value at the time T2 is less than the second threshold value Th2 after the integrated value reaches the first threshold value Th1 at the time T3.
  • the determination unit 422 has an integrated value of the angle values of the first threshold value Th1 or more in the predetermined first determination period (time T1 to time T2) in the past at the time T2. Moreover, since the angle value at the time T2 is equal to or greater than the second threshold value Th2, it is determined that the driver is in a forward inattentive state.
  • the determination unit 422 shows that the integrated value of the angle values within the predetermined first determination period in the past is the first threshold value Th1 or more, but the angle of the driver at the present time. Since the value is less than the second threshold value Th2, it is determined that the driver is not in a forward inattentive state.
  • the determination unit 422 determines that the driver is not in a forward inattentive state regardless of the angle value at the present time (time T2). do.
  • the determination unit 422 may determine the second threshold value Th2 based on the speed of the vehicle S. Specifically, the determination unit 422 may set the second threshold value Th2 smaller when the speed of the vehicle is high than when the speed of the vehicle is slow. When the determination unit 422 determines the second threshold value Th2 in this way, the safe driving determination device 4 increases the risk of the driver. When the speed of the vehicle is high, the forward speed is higher than when the speed of the vehicle is slow. It is possible to make the judgment of gaze strict.
  • the determination unit 422 determines that the driver of the vehicle S is in the forward inattention state
  • the determination unit 422 notifies the alarm unit 423 that the driver is in the forward inattention state.
  • the alarm unit 423 receives a notification from the determination unit 422 that the driver is in a forward inattentive state
  • the alarm unit 423 notifies the alarm device 3 to issue an alarm.
  • the determination unit 422 By operating the determination unit 422 and the alarm unit 423 in this way, the determination unit 422 operates at the present time even if the integrated value of the angle values within the predetermined first determination period in the past is the first threshold value Th1 or more.
  • the angle value of the person's face is less than the second threshold value Th2
  • the safe driving determination device 4 can prevent the alarm device 3 from issuing an alarm even though the driver is currently gazing ahead.
  • the determination unit 422 is based on the result of comparing the statistical values (determination values) of a plurality of angle values in the second determination period shorter than the first determination period, including the present time, with the third threshold value, and the driver is unable to move forward. It may be determined whether or not it is in the gaze state.
  • the statistical value is, for example, a value obtained by statistically processing a plurality of angle values within the second determination period, and is a value indicating a tendency of the angle values within the second determination period.
  • the value obtained by statistical processing is, for example, the average value or the median value of a plurality of angle values within the second determination period.
  • the third threshold value is, for example, a value predetermined by an experiment.
  • FIG. 5 is a diagram showing the relationship between the second determination period including the current time and the angle value.
  • the second determination period (the period from time T4 to time T2, for example, 1 second) including the present time is shown.
  • the horizontal axis of FIG. 5 indicates the time, and the vertical axis of FIG. 5 indicates an angle value indicating the driver's face orientation for each time.
  • the determination unit 422 may, for example, when the statistical value based on a plurality of angle values within the second determination period is less than the third threshold value, even if the angle value at time T2 is greater than or equal to the second threshold value Th2.
  • the driver does not determine that he / she is not looking forward. By operating in this way, the determination unit 422 can prevent the alarm device 3 from issuing an alarm when the driver changes his / her face for a moment at the time T3.
  • the determination unit 422 may determine the length of the second determination period including the current time based on the current speed of the vehicle. Specifically, the determination unit 422 may determine, for example, when the speed of the vehicle is high, the second determination period is shorter than when the speed of the vehicle is slow. When the determination unit 422 determines the second determination period to be short in this way, the safe driving determination device 4 operates when the speed of the vehicle, which increases the risk of the driver, is higher than when the speed of the vehicle is slow. Can react sensitively to changes in a person's face orientation.
  • the determination unit 422 may determine the third threshold value based on the current speed of the vehicle. Specifically, the determination unit 422 may set the third threshold value smaller when the speed of the vehicle is high than when the speed of the vehicle is slow. When the determination unit 422 determines the third threshold value in this way, the safe driving determination device 4 does not look forward when the speed of the vehicle, which increases the risk of the driver, is higher than when the speed of the vehicle is slow. Judgment can be made strict.
  • the control unit 42 determines whether or not the driver is in a forward non-gaze state based on the angle value calculation unit 421 that calculates the angle value in the face direction of the driver of the vehicle S and the calculated angle value. It has a determination unit 422 and a determination unit 422. When the integrated value of a plurality of angle values in a predetermined past period calculated by the angle value calculation unit 421 is equal to or more than the first threshold value and the current angle value is less than the second threshold value, the determination unit 422 is used. , Do not judge that the driver is in a forward inattentive state.
  • the alarm device 3 does not issue an alarm even if the driver is in the forward invisible state for a certain period in the past. Therefore, the safe driving determination device 4 can suppress the issuance of an alarm when the driver is not driving forward inattentively at the present time.
  • Imaging device 3 Alarm device 4 Safe driving judgment device 41 Storage unit 42 Control unit 421 Angle value calculation unit 422 Judgment unit 423 Alarm unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Biomedical Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

安全運転判定装置４は、進行方向に対する運転者の顔向き角度を示す角度値を算出する角度値算出部４２１と、過去の所定の第１判定期間内の角度値の積算値が閾値以上であるか否かに基づいて、運転者が前方不注視状態であるか否かを判定する判定部４２２と、を有し、判定部は、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であり、かつ現時点で運転者の角度値が第２閾値以上である場合に運転者が前方不注視状態であると判定し、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であっても、現時点で運転者の角度値が第２閾値未満である場合に運転者が前方不注視状態であると判定しない。

Description

安全運転判定装置
　本発明は、安全運転判定装置に関する。
　従来、車両を運転する運転者の顔向き方向によって運転者の前方不注意（脇見）を判定し、運転者が前方不注視であると判定した場合に運転者に警報を発する装置が知られている。特許文献１には、過去の一定期間における、運転者の顔向き及び車両の進行方向の差を時間積分した積分値と基準値との差に基づいて運転者の前方不注意を判定する不注視状態判定装置が開示されている。
特許第６５６５３０５号公報
　従来の不注視状態判定装置は、過去一定期間の運転者の顔向きの積分値を使用することにより、例えばミラー確認のように前方不注視に類似する動作を前方不注視と誤判定することを抑制する。しかしながら、従来の不注視状態判定装置は、過去の積分値が基準値を超えてしまっていると、現在の時刻において運転者が前方不注視ではない場合であっても前方不注視であると判定してしまうという問題が生じていた。
　そこで、本発明はこれらの点に鑑みてなされたものであり、過去の一定期間内に運転者が前方不注視状態だったとしても、運転者が現時点で前方不注視状態でない場合には警報を発しないようにすることを目的とする。
　本発明の態様に係る安全運転判定装置は、車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する角度値算出部と、過去の所定の第１判定期間内の角度値の積算値が閾値以上であるか否かに基づいて、前記運転者が前方不注視状態であるか否かを判定する判定部と、を有し、前記判定部は、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であり、かつ現時点で前記運転者の前記角度値が第２閾値以上である場合に前記運転者が前方不注視状態であると判定し、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であっても、現時点で前記運転者の前記角度値が第２閾値未満である場合に前記運転者が前方不注視状態であると判定しない。
　前記判定部は、現時点を含む第２判定期間内の複数の前記角度値の統計値を第３閾値と比較した結果に基づいて、前記運転者が前方不注視状態であるか否かを判定してもよい。
　前記判定部は、現時点を含む、前記第１判定期間よりも短い前記第２判定期間内の複数の前記角度値の前記統計値を前記第３閾値と比較した結果に基づいて、前記運転者が前方不注視状態であるか否かを判定してもよい。
　前記判定部は、前記第２判定期間内の複数の前記角度値の前記統計値が前記第３閾値未満である場合は、前記角度値が前記第１閾値以上であっても前記運転者が前方不注視状態であると判定しないでもよい。
　前記判定部は、前記車両の前記現時点の速度に基づいて前記第２判定期間の長さを決定してもよい。
　前記判定部は、前記車両の速度が速い場合は、前記車両の速度が遅い場合よりも前記第２判定期間の長さを短く決定してもよい。
　前記判定部は、前記車両の前記現時点の速度に基づいて前記第３閾値を決定してもよい。
　前記判定部は、前記車両の速度が速い場合は、前記車両の速度が遅い場合よりも前記第３閾値を小さく設定してもよい。
　本発明によれば、過去の一定期間内に運転者が前方不注視状態だったとしても、運転者が現時点で前方不注視状態でない場合には警報を発しないようにすることができるという効果を奏する。
本発明に係る車両Ｓの構成を示す図である。 撮像装置１と運転者の顔向き角度との関係を示す図である。 判定部４２２が、運転者が前方不注視状態であるか否かを判定する時刻と運転者の顔向きを示す角度値及び積分値との関係を示す図である。 判定部４２２が前方不注視状態であるか否かを判定する処理について説明するための図である。 現時点を含む第２判定期間と角度値との関係を示す図である。
＜車両Ｓの構成＞
　図１は、本発明に係る車両Ｓの構成を示す図である。車両Ｓは、撮像装置１と、警報装置３と、安全運転判定装置４とを有する。
　撮像装置１は、車両Ｓの運転席に設けられており、例えばＣＣＤカメラを含む。撮像装置１は、運転席に座っている運転者を前方から撮像して、撮像画像を生成する。例えば、撮像装置１は、車両Ｓが走行中の運転者の顔を撮像して、車両Ｓの進行方向に対する運転者の顔向き角度を特定できる撮像画像を生成する。撮像装置１は、生成した撮像画像を安全運転判定装置４に出力する。
　図２は、撮像装置１と運転者の顔向き角度との関係を示す図である。図２（ａ）には運転者Ｄの側面から見た図が示され、図２（ｂ）には運転者Ｄの上方から見た図が示されている。撮像装置１は、図２（ａ）及び図２（ｂ）に示すように、運転者Ｄの顔の正面ではなく、運転者Ｄの顔に対して、例えば斜め下方に設けられている。
　警報装置３は、運転中の運転者が前方不注視（例えば脇見）であることを安全運転判定装置４から通知されたことに基づいて、運転者に対して警報を発する装置である。警報装置３は、例えば、アラームの音を鳴らすスピーカ、警報画面を表示する表示部、及び振動を発生する振動発生部を含む。なお、警報装置３は、音、表示、及び振動の少なくとも２つを組み合わせて、警報を発してもよい。
　安全運転判定装置４は、記憶部４１と制御部４２とを有する。安全運転判定装置４は、車両Ｓの運転者を撮像装置１によって撮像して車両Ｓの進行方向を基準にしたときの運転者の顔向き角度を示す角度値を取得する。安全運転判定装置４は、取得した角度値に基づいて運転者が前方不注視状態であるか否かを判定する。安全運転判定装置４は、運転者が前方不注視状態であると判定した場合は、警報装置３に警報を発するように通知する。
　記憶部４１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部４１は、後述する制御部４２が実行するプログラムを記憶している。記憶部４１は、例えば運転者の顔向き角度に係る情報が記憶されている。
　制御部４２は、例えばＣＰＵ（Central Processing Unit）である。制御部４２は、記憶部４１に記憶されているプログラムを実行することにより、角度値算出部４２１、判定部４２２、及び警報部４２３として機能する。制御部４２は、運転者の顔向き角度を特定するとともに、運転者が前方不注視状態であるか否かを判定する。
　角度値算出部４２１は、撮像装置１が撮像した撮像画像に基づいて角度値を算出する。角度値算出部４２１は、進行方向に対する運転者のヨー方向（図２（ｂ））の顔向き角度と、進行方向に対する運転者のピッチ方向（図２（ａ））の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する。角度値算出部４２１は、算出した角度値を判定部４２２に通知する。
　判定部４２２は、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であるか否かに基づいて、運転者が前方不注視状態であるか否かを判定する。判定部４２２は、所定の時間間隔（例えば１秒間隔）で判定する。第１判定期間は、判定部４２２が判定する各時点を起点とする所定の期間である。第１閾値は、例えば安全上問題ないレベルの運転者による顔の動かし方に対応する第１判定期間中の積算値の最大値として実験によって予め定められた値である。
　判定部４２２は、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であり、かつ現時点で運転者の角度値が第２閾値以上である場合に運転者が前方不注視状態であると判定する。一方、判定部４２２は、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であっても、現時点で運転者の角度値が第２閾値未満である場合に運転者が前方不注視状態であると判定しない。第２閾値は、例えば安全上問題がないレベルの角度値の最大値として実験によって予め定められた値である。
　図３は、判定部４２２が、運転者が前方不注視状態であるか否かを判定する時刻と運転者の顔向きを示す角度値及び積分値との関係を示す図である。図３（ａ）は、時刻ごとの角度値を示している。図３（ａ）の横軸は時刻を示し、図３（ａ）の縦軸は時刻ごとの運転者の顔向きを示す角度値を示す。時刻Ｔ１は、時刻Ｔ２における過去の所定の第１判定期間の開始時刻を示す。時刻Ｔ２は、現時点の時刻を示す。過去の所定の第１判定期間を示す時刻Ｔ１から時刻Ｔ２は、例えば１０秒である。
　図３（ｂ）は、時刻Ｔ１以降の角度値の積算値を示している。図３（ｂ）の横軸は時刻を示し、図３（ｂ）の縦軸は時刻Ｔ１以降の角度値の積算値を示す。時刻Ｔ３は、角度値の積算値が第１閾値Ｔｈ１に等しくなった時刻を示す。時刻Ｔ３における角度値の積算値は、時刻Ｔ１から時刻Ｔ３の期間における角度値の積算値である。
　このように、第１判定期間の途中で積算値が第１閾値Ｔｈ１以上になっている場合、判定部４２２は、時刻Ｔ２における角度値に基づいて、運転者が前方不注視状態か否かを判定する。
　図４は、判定部４２２が前方不注視状態であるか否かを判定する処理について説明するための図である。図４の横軸は時刻を示し、図４の縦軸は時刻ごとの運転者の顔向きの角度値を示す。図４に示す例においては、図３（ｂ）に示したように、時刻Ｔ１から時刻Ｔ３における角度値の積算値（図４（ａ）及び図４（ｂ）の斜線部分）が第１閾値Ｔｈ１に等しい。
　図４（ａ）は、時刻Ｔ３の時点で積算値が第１閾値Ｔｈ１に達した後、時刻Ｔ２における角度値が第２閾値Ｔｈ２以上である場合の角度値の変化を示している。図４（ｂ）は、時刻Ｔ３の時点で積算値が第１閾値Ｔｈ１に達した後、時刻Ｔ２における角度値が第２閾値Ｔｈ２未満である場合の角度値の変化を示している。
　図４（ａ）に示す例の場合、判定部４２２は、時刻Ｔ２において、過去の所定の第１判定期間（時刻Ｔ１から時刻Ｔ２）において角度値の積算値が第１閾値Ｔｈ１以上であり、かつ時刻Ｔ２における角度値が第２閾値Ｔｈ２以上であるため、運転者が前方不注視状態であると判定する。
　一方、図４（ｂ）に示す例の場合、判定部４２２は、過去の所定の第１判定期間内の角度値の積算値は第１閾値Ｔｈ１以上であるが、現時点での運転者の角度値が第２閾値Ｔｈ２未満であるため、運転者が前方不注視状態ではないと判定する。なお、判定部４２２は、第１判定期間の角度値の積算値が第１閾値Ｔｈ１未満である場合、現時点（時刻Ｔ２）における角度値によらず、運転者が前方不注視状態ではないと判定する。
　判定部４２２は、第２閾値Ｔｈ２を車両Ｓの速度に基づいて決定してもよい。具体的には、判定部４２２は、車両の速度が速い場合は、車両の速度が遅い場合よりも第２閾値Ｔｈ２を小さく設定してもよい。判定部４２２がこのように第２閾値Ｔｈ２を決定することで、安全運転判定装置４は、運転者の危険性が高くなる車両の速度が速い場合において、車両の速度が遅い場合よりも前方不注視の判定を厳しくすることができる。
　判定部４２２は、車両Ｓの運転者が前方不注視状態であると判定した場合、運転者が前方不注視状態であることを警報部４２３に通知する。警報部４２３は、運転者が前方不注視状態であるという通知を判定部４２２から受けると、警報装置３に警報を発するように通知する。
　判定部４２２及び警報部４２３がこのように動作することで、判定部４２２は、過去の所定の第１判定期間内の角度値の積算値が第１閾値Ｔｈ１以上であっても、現時点で運転者の顔向きの角度値が第２閾値Ｔｈ２未満である場合は、運転者が前方不注視状態ではないと判定する。その結果、安全運転判定装置４は、運転者が現時点で前方を注視しているにもかかわらず警報装置３が警報を発してしまうことを抑制できる。
　判定部４２２は、現時点を含む、第１判定期間よりも短い第２判定期間内の複数の角度値の統計値（判定値）を第３閾値と比較した結果に基づいて、運転者が前方不注視状態であるか否かを判定してもよい。統計値は、例えば第２判定期間内の複数の角度値を統計処理して得られる値であり、第２判定期間内の角度値の傾向を示す値である。統計処理して得られる値は、例えば第２判定期間内の複数の角度値の平均値又は中央値である。第３閾値は、例えば実験によって予め定められた値である。
　図５は、現時点を含む第２判定期間と角度値との関係を示す図である。図５においては、現時点を含む第２判定期間（時刻Ｔ４から時刻Ｔ２の期間であり、例えば１秒）が示されている。図５の横軸は時刻を示し、図５の縦軸は、時刻ごとの運転者の顔向きを示す角度値を示す。
　時刻Ｔ２において、判定部４２２は、例えば第２判定期間内の複数の角度値に基づく統計値が第３閾値未満である場合は、時刻Ｔ２の角度値が第２閾値Ｔｈ２以上であっても、運転者が前方不注視状態であると判定しない。このように動作することで、判定部４２２は、時刻Ｔ３の時点で運転者が一瞬だけ顔向きを変えたことにより警報装置３が警報を発することを防げる。
　また、判定部４２２は、車両の現時点の速度に基づいて、現時点を含む第２判定期間の長さを決定してもよい。具体的には、判定部４２２は、例えば車両の速度が速い場合は、車両の速度が遅い場合よりも第２判定期間を短く決定してもよい。判定部４２２がこのように第２判定期間を短く決定することで安全運転判定装置４は、運転者の危険性が高くなる車両の速度が速い場合において、車両の速度が遅い場合よりも、運転者の顔向きの変化に敏感に反応することができる。
　さらに、判定部４２２は、車両の現時点の速度に基づいて第３閾値を決定してもよい。具体的には、判定部４２２は、車両の速度が速い場合は、車両の速度が遅い場合よりも第３閾値を小さく設定してもよい。判定部４２２がこのように第３閾値を決定することで、安全運転判定装置４は、運転者の危険性が高くなる車両の速度が速い場合において、車両の速度が遅い場合よりも前方不注視の判定を厳しくすることができる。
＜安全運転判定装置４による効果＞
　以上のとおり、制御部４２は、車両Ｓの運転者の顔向き方向の角度値を算出する角度値算出部４２１と、算出した角度値に基づいて運転者が前方不注視状態か否かを判定する判定部４２２とを有する。判定部４２２は、角度値算出部４２１が算出した所定の過去の期間における複数の角度値の積算値が第１閾値以上である場合、且つ、現時点の角度値が第２閾値未満である場合は、運転者が前方不注視状態であると判定しない。
　したがって、現時点において運転者が前方不注視状態ではない場合、過去の一定期間において運転者が前方不注視状態であっても、警報装置３は警報を発しない。よって、安全運転判定装置４は、現時点で運転者が前方不注視運転ではない場合に、警報を発することを抑制できる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
１　撮像装置
３　警報装置
４　安全運転判定装置
４１　記憶部
４２　制御部
４２１　角度値算出部
４２２　判定部
４２３　警報部

Claims (8)

  1. 　車両の運転者を撮像装置によって撮像して前記車両の進行方向を基準にしたときの前記運転者の顔向き角度を示す角度値を取得し、取得した前記角度値に基づいて前記運転者が前方不注視状態であるか否かを判定する安全運転判定装置であって、
    　前記進行方向に対する前記運転者のヨー方向の顔向き角度と、前記進行方向に対する前記運転者のピッチ方向の顔向き角度との少なくとも一方の顔向き角度を示す角度値を算出する角度値算出部と、
    　過去の所定の第１判定期間内の角度値の積算値が閾値以上であるか否かに基づいて、前記運転者が前方不注視状態であるか否かを判定する判定部と、
    　を有し、
    　前記判定部は、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であり、かつ現時点で前記運転者の前記角度値が第２閾値以上である場合に前記運転者が前方不注視状態であると判定し、過去の所定の第１判定期間内の角度値の積算値が第１閾値以上であっても、現時点で前記運転者の前記角度値が第２閾値未満である場合に前記運転者が前方不注視状態であると判定しない、
    　安全運転判定装置。
  2. 　前記判定部は、現時点を含む第２判定期間内の複数の前記角度値の統計値を第３閾値と比較した結果に基づいて、前記運転者が前方不注視状態であるか否かを判定する、
    　請求項１に記載の安全運転判定装置。
  3. 　前記判定部は、現時点を含む、前記第１判定期間よりも短い前記第２判定期間内の複数の前記角度値の前記統計値を前記第３閾値と比較した結果に基づいて、前記運転者が前方不注視状態であるか否かを判定する、
    　請求項２に記載の安全運転判定装置。
  4. 　前記判定部は、前記第２判定期間内の複数の前記角度値の前記統計値が前記第３閾値未満である場合は、前記角度値が前記第１閾値以上であっても前記運転者が前方不注視状態であると判定しない、
    　請求項２又は３に記載の安全運転判定装置。
  5. 　前記判定部は、前記車両の前記現時点の速度に基づいて前記第２判定期間の長さを決定する、
    　請求項２から４のいずれか一項に記載の安全運転判定装置。
  6. 　前記判定部は、前記車両の速度が速い場合は、前記車両の速度が遅い場合よりも前記第２判定期間の長さを短く決定する、
    　請求項２から５のいずれか一項に記載の安全運転判定装置。
  7. 　前記判定部は、前記車両の前記現時点の速度に基づいて前記第３閾値を決定する、
    　請求項２から６のいずれか一項に記載の安全運転判定装置。
  8. 　前記判定部は、前記車両の速度が速い場合は、前記車両の速度が遅い場合よりも前記第３閾値を小さく設定する、
    　請求項２から７のいずれか一項に記載の安全運転判定装置。
PCT/JP2021/009367 2020-03-11 2021-03-09 安全運転判定装置 WO2021182483A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180018923.8A CN115398507A (zh) 2020-03-11 2021-03-09 安全驾驶判定装置
US17/908,911 US20230100810A1 (en) 2020-03-11 2021-03-09 Safe driving determination apparatus
DE112021001537.0T DE112021001537T5 (de) 2020-03-11 2021-03-09 Sicherfahrbestimmungsgerät

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-042077 2020-03-11
JP2020042077A JP2021144419A (ja) 2020-03-11 2020-03-11 安全運転判定装置

Publications (1)

Publication Number Publication Date
WO2021182483A1 true WO2021182483A1 (ja) 2021-09-16

Family

ID=77672343

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009367 WO2021182483A1 (ja) 2020-03-11 2021-03-09 安全運転判定装置

Country Status (5)

Country Link
US (1) US20230100810A1 (ja)
JP (1) JP2021144419A (ja)
CN (1) CN115398507A (ja)
DE (1) DE112021001537T5 (ja)
WO (1) WO2021182483A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012084068A (ja) * 2010-10-14 2012-04-26 Denso Corp 画像解析装置
JP2016018304A (ja) * 2014-07-07 2016-02-01 株式会社デンソーアイティーラボラトリ 安全確認判定装置、及び運転支援装置
JP2016081087A (ja) * 2014-10-09 2016-05-16 株式会社日立製作所 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5353416B2 (ja) * 2009-04-27 2013-11-27 トヨタ自動車株式会社 ドライバ状態監視装置及び車両制御装置
JP6683185B2 (ja) * 2017-11-15 2020-04-15 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012084068A (ja) * 2010-10-14 2012-04-26 Denso Corp 画像解析装置
JP2016018304A (ja) * 2014-07-07 2016-02-01 株式会社デンソーアイティーラボラトリ 安全確認判定装置、及び運転支援装置
JP2016081087A (ja) * 2014-10-09 2016-05-16 株式会社日立製作所 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置

Also Published As

Publication number Publication date
JP2021144419A (ja) 2021-09-24
US20230100810A1 (en) 2023-03-30
DE112021001537T5 (de) 2023-01-05
CN115398507A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
JP4375420B2 (ja) 眠気警報装置、及びプログラム
JP5177011B2 (ja) 開眼度特定装置
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
US10002300B2 (en) Apparatus and method for monitoring driver's concentrativeness using eye tracing
JP2006308375A (ja) 赤外線利用型目位置検出装置
KR20220082422A (ko) 운전자 감시 장치, 차량 및 그 제어 방법
CN111492420B (zh) 瞌睡报警装置
JP5163440B2 (ja) 眠気判定装置、プログラム
JP2017054457A (ja) 情報処理装置、表示制御方法、及び表示制御プログラム
JP2018133007A (ja) 警報装置
JP6971582B2 (ja) 状態検出装置、状態検出方法、及びプログラム
WO2021182483A1 (ja) 安全運転判定装置
KR102433668B1 (ko) 운전자 모니터링 시스템 및 그 방법
WO2020161768A1 (ja) 感情推定装置及び感情推定方法
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
WO2021182482A1 (ja) 安全運転判定装置
JP6945775B2 (ja) 車載用画像処理装置、および、車載用画像処理方法
JP2018169656A (ja) 安全運転促進装置及び安全運転促進方法
JP6638213B2 (ja) 車両の安全運転促進方法及び車両の安全運転促進装置
WO2021182481A1 (ja) 安全運転判定装置
KR101786579B1 (ko) 정면 얼굴 판단 방법 및 장치
JP6984294B2 (ja) 安全運転判定装置及び安全運転判定方法
WO2021182484A1 (ja) 安全運転判定装置
JP2019114118A (ja) 警告装置、自動車、警告方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768788

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21768788

Country of ref document: EP

Kind code of ref document: A1