JP2021018665A - Driving assistance device - Google Patents
Driving assistance device Download PDFInfo
- Publication number
- JP2021018665A JP2021018665A JP2019134739A JP2019134739A JP2021018665A JP 2021018665 A JP2021018665 A JP 2021018665A JP 2019134739 A JP2019134739 A JP 2019134739A JP 2019134739 A JP2019134739 A JP 2019134739A JP 2021018665 A JP2021018665 A JP 2021018665A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- steering
- state
- time
- driving operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 48
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000014759 maintenance of location Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 5
- 230000036626 alertness Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004399 eye closure Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000037007 arousal Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、運転者の運転を支援する運転支援装置に関する。 The present invention relates to a driving support device that assists a driver in driving.
車両のドライバの監視システムにおいて、顔検出カメラを備えるシステムが知られている。このようなシステムにおいて、顔検出カメラの前に障害物が置かれており、運転者を検出することができない状態が所定時間以上継続した場合に、検出異常状態と判定し、顔検出カメラ以外の検出手段を用いて運転者の姿勢を検出する技術がある（例えば、特許文献１を参照）。 A system including a face detection camera is known as a monitoring system for a vehicle driver. In such a system, when an obstacle is placed in front of the face detection camera and the state in which the driver cannot be detected continues for a predetermined time or longer, it is determined as a detection abnormality state, and the state other than the face detection camera is determined. There is a technique for detecting a driver's posture using a detection means (see, for example, Patent Document 1).
ドライバモニタカメラを用いたドライバの監視システムにおいて、カーブ走行時あるいは右左折時に、舵角に応じてステアリングがドライバを隠すことで、ドライバモニタカメラがドライバを撮影できなくなることがある。 In a driver monitoring system using a driver monitor camera, the driver monitor camera may not be able to take a picture of the driver because the steering hides the driver according to the steering angle when driving a curve or turning left or right.
特に、カーブが連続する道路を車両が走行する場合のように、ステアリングの操舵角がある程度以上大きくなることが頻発する場合、ステアリングが頻繁にドライバを隠すことになる。 In particular, when the steering angle of the steering wheel frequently increases to a certain extent or more, such as when the vehicle travels on a road with continuous curves, the steering wheel frequently hides the driver.
しかしながら、特許文献１に記載された技術は、操舵に伴ってステアリング自体がドライバモニタカメラを隠すことによる弊害を何ら想定していない。 However, the technique described in Patent Document 1 does not assume any adverse effect due to the steering itself hiding the driver monitor camera during steering.
そこで、本発明は、ステアリングがドライバを隠すことに起因する利便性の低下を抑えることが可能な運転支援装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a driving support device capable of suppressing a decrease in convenience due to the steering hiding the driver.
一つの実施形態によれば、運転支援装置が提供される。この運転支援装置は、車両に設けられたドライバモニタカメラをステアリングが遮って前記ドライバモニタカメラが前記車両のドライバを撮影不能となるか否か判定する撮影可否判定部と、前記ドライバの状態を表すセンサ情報に基づいて、前記ドライバが前記車両の運転操作に不適な状態となっているか否かを判定する状態判定部と、前記ドライバモニタカメラが前記ドライバを撮影できなくなったと判定された撮影不能時点において、前記ドライバが前記車両の前記運転操作に適した状態である場合、前記撮影不能時点から所定の第１の遅延時間が経過すると前記ステアリングを保持する保持要求を通知部を介して前記ドライバに対して通知し、一方、前記撮影不能時点において、前記ドライバが前記車両の前記運転操作に不適な状態である場合、その不適な状態の開始時点から所定の第２の遅延時間が経過すると前記保持要求を前記通知部を介して前記ドライバに対して通知する通知制御部と、を有する。 According to one embodiment, a driving assistance device is provided. This driving support device represents a shooting possibility determination unit for determining whether or not the driver monitor camera provided in the vehicle is obstructed by the steering wheel and the driver monitor camera cannot shoot the driver of the vehicle, and the state of the driver. Based on the sensor information, a state determination unit that determines whether or not the driver is in an unsuitable state for driving the vehicle, and a time when the driver monitor camera determines that the driver cannot photograph the driver. In the case where the driver is in a state suitable for the driving operation of the vehicle, a holding request for holding the steering wheel is sent to the driver via the notification unit when a predetermined first delay time elapses from the time when the image cannot be taken. On the other hand, when the driver is in a state unsuitable for the driving operation of the vehicle at the time when the image cannot be taken, the holding is performed when a predetermined second delay time elapses from the start time of the unsuitable state. It has a notification control unit that notifies the driver of a request via the notification unit.
この運転支援装置において、前記ドライバの前記運転操作に不適なレベルを示す運転操作不適レベルを判定する運転操作不適レベル判定部を更に有し、前記第１の遅延時間又は前記第２の遅延時間は、前記撮影不能時点よりも以前における前記運転操作不適レベルに基づいて、前記ドライバが運転操作に不適なほど短い時間に設定されることが好ましい。 The driving support device further includes a driving operation unsuitable level determining unit for determining a driving operation unsuitable level indicating a level unsuitable for the driving operation of the driver, and the first delay time or the second delay time is It is preferable that the driver is set to a time short enough to be unsuitable for driving operation based on the driving operation unsuitable level before the time when the image cannot be taken.
本発明に係る運転支援装置は、ステアリングがドライバを隠すことに起因する利便性の低下を抑えることができるという効果を奏する。 The driving support device according to the present invention has an effect that it is possible to suppress a decrease in convenience due to the steering hiding the driver.
１．第１の実施形態
以下、図を参照しつつ、運転支援システム４０について説明する。この運転支援システム４０は、例えば、ドライバがステアリングの手放しをした状態での走行（ハンズオフ走行）が可能な車両に搭載される。運転支援システム４０は、このような走行として、例えば、米国自動車技術会（ＳＡＥ）が定めるレベル２またはレベル３程度の走行を想定する。
1. 1. First Embodiment Hereinafter, the driving support system 40 will be described with reference to the drawings. The driving support system 40 is mounted on, for example, a vehicle capable of traveling (hands-off traveling) in a state where the driver releases the steering wheel. The driving support system 40 assumes, for example, level 2 or level 3 driving defined by the American Society of Automotive Engineers of Japan (SAE) as such driving.
車両走行中に、ドライバが車両を運転するのに不適切な状態となる場合がある。このような不適切な状態として、例えば、ドライバが居眠りをしている状態、ドライバが前方を注視せずに脇見をしている状態などが挙げられる。このため、運転支援システム４０は、ドライバモニタカメラによってドライバの状態をモニタリングし、ドライバが運転に不適切な状態となっていることを検知すると、ドライバがステアリングを保持（保舵）するようにステアリング保持要求を行う。ステアリング保持要求は、ドライバモニタカメラによりドライバの状態が検出できない場合においても、安全上の観点から行われる。 While the vehicle is running, the driver may be in an inappropriate state to drive the vehicle. Examples of such an inappropriate state include a state in which the driver is dozing and a state in which the driver is looking aside without looking ahead. Therefore, the driving support system 40 monitors the driver's condition with a driver monitor camera, and when the driver detects that the driver is in an inappropriate state for driving, the steering is steered so that the driver holds (maintains) the steering. Make a retention request. The steering holding request is made from the viewpoint of safety even when the driver's state cannot be detected by the driver monitor camera.
運転支援システム４０が行う上述のようなドライバのモニタリングにおいて、カーブ走行時あるいは右左折時等において、ステアリングがドライバモニタカメラの撮影方向を遮るためにドライバモニタカメラがドライバを撮影できなくなることがある。このような場合にステアリング保持要求を行うと、カーブが連続する道路を車両が走行する場合のようにステアリングの操舵角がある程度以上大きくなることが頻発する場合、ステアリング保持要求が多発してドライバの利便性を損なう可能性がある。 In the above-mentioned driver monitoring performed by the driving support system 40, the driver monitor camera may not be able to shoot the driver because the steering obstructs the shooting direction of the driver monitor camera when traveling on a curve or turning left or right. When a steering holding request is made in such a case, when the steering angle of the steering is frequently increased to a certain extent or more as in the case where the vehicle is traveling on a road with continuous curves, the steering holding request is frequently made by the driver. It may impair convenience.
本実施形態の運転支援システム４０は、ドライバの状態を検知できない状態が、ステアリングがドライバモニタカメラの撮影方向を遮ることに起因する場合は、その旨を検知し、ステアリング保持要求が頻発しないようにドライバへの通知を制御する。このような制御を行うことにより、ステアリング保持要求が多発することによるドライバの利便性の低下が抑えられる。 When the driver's state cannot be detected due to the steering obstructing the shooting direction of the driver monitor camera, the driving support system 40 of the present embodiment detects that fact so that the steering holding request does not occur frequently. Control notifications to the driver. By performing such control, it is possible to suppress a decrease in the convenience of the driver due to frequent occurrence of steering holding requests.
図１は、一つの実施形態による運転支援システム４０の概略構成図である。運転支援システム４０は、ドライバモニタカメラ１、タッチセンサ２、スピーカ３、ＧＵＩ（Graphical User Interface）４、ステアリング５、ステアリングトルクセンサ６、舵角センサ７、制御部（Electronic Control Unit (ECU)）１００、を有する。ドライバモニタカメラ１、タッチセンサ２、スピーカ３、ＧＵＩ４、ステアリング５、ステアリングトルクセンサ６、舵角センサ７、制御部１００のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）といった規格に準拠した車内ネットワークを介して通信可能に接続される。 FIG. 1 is a schematic configuration diagram of a driving support system 40 according to one embodiment. The driving support system 40 includes a driver monitor camera 1, a touch sensor 2, a speaker 3, a GUI (Graphical User Interface) 4, a steering 5, a steering torque sensor 6, a steering angle sensor 7, and a control unit (Electronic Control Unit (ECU)) 100. Has. The driver monitor camera 1, touch sensor 2, speaker 3, GUI 4, steering 5, steering torque sensor 6, steering angle sensor 7, and control unit 100 each comply with standards such as the controller area network (CAN). It is connected so that it can communicate via the in-vehicle network.
なお、制御部１００は、自動運転ＥＣＵを含む複数のＥＣＵから構成されていてもよい。例えばステアリングトルクセンサ６は、操舵のアシストトルクを制御するＥＰＳ ＥＣＵ(Electric Power Steering ECU)に含まれていてもよい。また、舵角センサ７は舵取り装置の入出力を制御するＳＴＲ ＥＣＵ(Steering ECU)に含まれていてもよい。また、タッチセンサ２は、ステアリングタッチＥＣＵ(Steering Touch ECU)に含まれていてもよい。この場合、ステアリングトルクセンサ６が検出したトルク、舵角センサ７が検出したステアリング５の舵角、タッチセンサ２によるステアリング５へのドライバの接触の判定結果は、各ＥＣＵから自動運転ＥＣＵに送られる。 The control unit 100 may be composed of a plurality of ECUs including an automatic operation ECU. For example, the steering torque sensor 6 may be included in an EPS ECU (Electric Power Steering ECU) that controls steering assist torque. Further, the steering angle sensor 7 may be included in the STR ECU (Steering ECU) that controls the input / output of the steering device. Further, the touch sensor 2 may be included in the steering touch ECU (Steering Touch ECU). In this case, the torque detected by the steering torque sensor 6, the steering angle of the steering 5 detected by the steering angle sensor 7, and the determination result of the driver's contact with the steering 5 by the touch sensor 2 are sent from each ECU to the automatic operation ECU. ..
ドライバモニタカメラ１は、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１は、車両内部のダッシュボード、またはフロントガラスの近辺等に設けられ、ドライバの顔を撮影する。ドライバモニタカメラ１は、所定の撮影周期（例えば１／３０秒〜１／１０秒）ごとにドライバを撮影し、ドライバが写った画像を生成する。なお、ドライバモニタカメラ１により得られた画像は、カラー画像であることが好ましい。ドライバモニタカメラ１は、画像を生成する度に、その生成した画像を、車内ネットワークを介して制御部１００へ出力する。 The driver monitor camera 1 forms a two-dimensional detector composed of an array of photoelectric conversion elements having sensitivity to visible light, such as a CCD or C-MOS, and an image of an area to be imaged on the two-dimensional detector. It has an imaging optical system to image. The driver monitor camera 1 is provided on the dashboard inside the vehicle, near the windshield, or the like, and photographs the driver's face. The driver monitor camera 1 shoots the driver at predetermined shooting cycles (for example, 1/30 second to 1/10 second) and generates an image in which the driver is captured. The image obtained by the driver monitor camera 1 is preferably a color image. Each time the driver monitor camera 1 generates an image, the driver monitor camera 1 outputs the generated image to the control unit 100 via the in-vehicle network.
タッチセンサ２は、静電容量式、感圧式等のセンサから構成され、ステアリング５に設けられている。タッチセンサ２は、ドライバがステアリング５を触れているか否かを検出する。 The touch sensor 2 is composed of a capacitance type sensor, a pressure sensitive type sensor, or the like, and is provided on the steering wheel 5. The touch sensor 2 detects whether or not the driver is touching the steering wheel 5.
スピーカ３は、通知部の一例であり、ダッシュボードの近辺等に設けられ、ドライバに対してステアリング保持要求を通知するため、音声を出力する。ＧＵＩ４は、通知部の他の一例であり、メーターパネル、またはダッシュボードの近辺等に設けられ、ドライバに対してステアリング保持要求を通知するため、表示を出力する。ＧＵＩ４は、例えば液晶表示装置（ＬＣＤ）等から構成される。 The speaker 3 is an example of a notification unit, and is provided near the dashboard or the like to output a voice in order to notify the driver of the steering holding request. The GUI 4 is another example of the notification unit, which is provided near the instrument panel or the dashboard, and outputs a display in order to notify the driver of the steering holding request. The GUI 4 is composed of, for example, a liquid crystal display (LCD) or the like.
ステアリングトルクセンサ６は、ステアリング５のトルクを検出するセンサである。ステアリング５をドライバが握って操作している場合は、その操作に応じて、ステアリング５のトルク（反力）が変化する。したがって、制御部１００は、ステアリング５のトルクの検出値に基づいて、ドライバがステアリング５を操作しているか否かを判定することができる。 The steering torque sensor 6 is a sensor that detects the torque of the steering 5. When the driver grips and operates the steering 5, the torque (reaction force) of the steering 5 changes according to the operation. Therefore, the control unit 100 can determine whether or not the driver is operating the steering wheel 5 based on the detected value of the torque of the steering wheel 5.
制御部１００は、運転支援システム４０の全体を制御する構成要素であり、運転支援装置の一態様である。制御部１００は、プロセッサ１０と、メモリ２０と、通信インターフェース３０とを有する。プロセッサ１０は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ２０は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。通信インターフェース３０は、通信部の一例であり、制御部１００を車内ネットワークに接続するためのインターフェース回路を有する。 The control unit 100 is a component that controls the entire driving support system 40, and is an aspect of the driving support device. The control unit 100 includes a processor 10, a memory 20, and a communication interface 30. The processor 10 has one or a plurality of CPUs (Central Processing Units) and peripheral circuits thereof. The processor 10 may further include other arithmetic circuits such as a logical operation unit, a numerical operation unit, and a graphic processing unit. The memory 20 is an example of a storage unit, and includes, for example, a volatile semiconductor memory and a non-volatile semiconductor memory. The communication interface 30 is an example of a communication unit, and has an interface circuit for connecting the control unit 100 to the in-vehicle network.
以上のように構成された運転支援システム４０は、ドライバモニタカメラ１から得られるドライバの状態を表す情報に基づいて、ドライバが運転操作に不適切な状態となっているか否かを検知する。そして、運転支援システム４０は、ドライバが運転操作に不適切な状態となっていることが検知された場合は、所定の遅延時間の経過後にドライバに対して運転操作に適した状態を取るよう通知する。具体的には、運転支援システム４０は、ドライバが運転操作に不適切な状態となっていることが検知された場合に、ドライバにステアリング５を保持させるためにステアリング保持要求を通知する。なお、運転操作に不適切な状態としては、例えば、ドライバの脇見状態、居眠りの状態（閉眼状態）、覚醒度低下状態、離席状態、姿勢崩れ状態、漫然運転状態、顔ロスト状態（顔が検出できない状態）、その他の異常状態が挙げられる。 The driving support system 40 configured as described above detects whether or not the driver is in an inappropriate state for the driving operation based on the information indicating the state of the driver obtained from the driver monitor camera 1. Then, when it is detected that the driver is in an inappropriate state for driving operation, the driving support system 40 notifies the driver to take a state suitable for driving operation after a predetermined delay time has elapsed. To do. Specifically, the driving support system 40 notifies the driver of a steering holding request in order to hold the steering 5 when it is detected that the driver is in an inappropriate state for the driving operation. Examples of states that are inappropriate for driving operations include a driver's inattentive state, a dozing state (eye closed state), arousal level decreased state, absentee state, posture collapse state, loose driving state, and face lost state (face is lost). Undetectable condition) and other abnormal conditions.
運転操作に不適切な状態の検出は、顔検出、顔向き角度推定、開閉眼推定、視線情報推定等により行われる。顔検出で未検出が継続した場合、または、顔向き角度がある閾値を超えたかどうかを判定し、開閉眼が閉眼状態であるということを判定、または、視線方向が正面の範囲内に含まれるかどうかを判定して、不適切かどうかの度合いを算出する。これらのいずれかの判定により、運転操作に不適切である時間を測定し、例えば３秒経過後にステアリング保持要求を通知する。なお、脇見状態の検出の詳細については後述する。 Detection of a state inappropriate for driving operation is performed by face detection, face orientation angle estimation, open / closed eye estimation, line-of-sight information estimation, and the like. If undetected continues in face detection, or if the face orientation angle exceeds a certain threshold, it is determined that the open / closed eyes are closed, or the line-of-sight direction is included in the front range. Determine if it is, and calculate the degree of inappropriateness. Based on any of these determinations, the time inappropriate for the driving operation is measured, and for example, a steering holding request is notified after 3 seconds have elapsed. The details of detecting the inattentive state will be described later.
ステアリング保持要求の通知は、スピーカ３からの音声出力、またはＧＵＩ４への表示により行われる。ステアリング保持要求の通知は、例えば「ステアリングを保持してください！」などの通知をメーターパネルに表示し、また音声で同様の通知を発することによって行われる。 The notification of the steering holding request is performed by voice output from the speaker 3 or display on the GUI 4. The notification of the steering holding request is performed by displaying a notification such as "Hold the steering wheel!" On the instrument panel and issuing a similar notification by voice.
ステアリング保持要求を通知することで、ドライバがステアリング５を保持するようになり、運転操作に適した状態を取るようになる。したがって、ドライバが脇見を止めて車両前方を直視する、居眠りから覚醒する、運転席に戻る、姿勢を正すなど、ドライバが運転操作に適した状態となる。ドライバがステアリング５を一定時間保持すると、ステアリング保持要求の通知は解除される。 By notifying the steering holding request, the driver comes to hold the steering 5 and takes a state suitable for the driving operation. Therefore, the driver is in a state suitable for driving operations, such as stopping looking aside and looking directly at the front of the vehicle, waking up from a doze, returning to the driver's seat, and correcting the posture. When the driver holds the steering wheel 5 for a certain period of time, the notification of the steering wheel holding request is canceled.
一方、ドライバが運転操作に適切な状態であり、ドライバが安全な状態であることを確認できれば、ステアリング保持要求を通知する必要はない。換言すれば、ドライバが安全であることを確認できない状態では、安全面を考慮すると、ステアリング保持要求を通知することが好ましい。 On the other hand, if it can be confirmed that the driver is in an appropriate state for driving operation and the driver is in a safe state, it is not necessary to notify the steering holding request. In other words, in a state where it cannot be confirmed that the driver is safe, it is preferable to notify the steering holding request in consideration of safety.
例えば、カーブ走行時あるいは右左折時等において、ステアリング５が回転すると、ステアリング５がドライバを遮る場合がある。このような場合、ドライバモニタカメラ１がドライバを撮影できなくなるため、ドライバが安全であることを確認できなくなる。 For example, when the steering wheel 5 rotates when traveling on a curve or turning left or right, the steering wheel 5 may block the driver. In such a case, the driver monitor camera 1 cannot take a picture of the driver, so that it cannot be confirmed that the driver is safe.
しかし、このような場合にドライバに対してステアリング保持要求を通知すると、ステアリング５がドライバモニタカメラ１の撮影方向を遮る度にステアリング保持要求が出されてしまう。このため、カーブが連続する道路を車両が走行する場合などにおいては、ステアリング保持要求が頻発する可能性があり、ドライバの利便性が損なわれてしまう。 However, if the driver is notified of the steering holding request in such a case, the steering holding request is issued every time the steering 5 blocks the shooting direction of the driver monitor camera 1. Therefore, when the vehicle travels on a road having continuous curves, the steering holding request may occur frequently, and the convenience of the driver is impaired.
図２は、ドライバモニタカメラ１の設置状態の一例を示す模式図であって、ドライバモニタカメラ１が設置された状態をドライバ側から見た正面図である。図２に示すように、車両の進行方向が直進の場合、ステアリング５の上側の半円領域を通してドライバモニタカメラ１とメータ（ＧＵＩ４）がドライバの視界に存在する。ドライバモニタカメラ１は、ステアリング５の上側の半円領域の空洞部分を通して、遮蔽物に遮られること無くドライバの顔を撮影できる位置に設けられている。好適には、ドライバモニタカメラ１は、例えばステアリングコラムカバーの上面等、運転者の顔を正面から撮像できる位置に設けられる。 FIG. 2 is a schematic view showing an example of the installed state of the driver monitor camera 1, and is a front view of the state in which the driver monitor camera 1 is installed as viewed from the driver side. As shown in FIG. 2, when the traveling direction of the vehicle is straight, the driver monitor camera 1 and the meter (GUI4) are in the driver's field of view through the upper semicircular region of the steering wheel 5. The driver monitor camera 1 is provided at a position where the driver's face can be photographed without being obstructed by a shield through the hollow portion of the upper semicircular region of the steering wheel 5. Preferably, the driver monitor camera 1 is provided at a position such as the upper surface of the steering column cover where the driver's face can be imaged from the front.
また、ドライバからは、ＧＵＩ４により表示されるメータを視認することができ、ステアリング保持要求がＧＵＩ４のいずれかの位置に表示されれば、ドライバがステアリング保持要求を認識可能であることが分かる。 Further, the driver can visually recognize the meter displayed by the GUI 4, and if the steering holding request is displayed at any position of the GUI 4, it is understood that the driver can recognize the steering holding request.
図３は、図２に示す状態から、ステアリング５が反時計回りに９０度回転した状態を示す模式図である。図３に示す状態では、ステアリング５によってドライバが遮られ、ドライバの視界にドライバモニタカメラ１が入っていない。このため、図３に示す状態では、ドライバモニタカメラ１がドライバを撮影することはできない。カーブが連続する道路を走行するような場合に、ステアリング５が図３に示す状態となる度にステアリング保持要求が通知されると、上述のようにドライバの利便性が低下する。 FIG. 3 is a schematic view showing a state in which the steering wheel 5 is rotated 90 degrees counterclockwise from the state shown in FIG. In the state shown in FIG. 3, the driver is blocked by the steering wheel 5, and the driver monitor camera 1 is not in the driver's field of view. Therefore, in the state shown in FIG. 3, the driver monitor camera 1 cannot take a picture of the driver. When traveling on a road with continuous curves, if the steering holding request is notified each time the steering 5 is in the state shown in FIG. 3, the convenience of the driver is reduced as described above.
本実施形態では、図３のようにステアリング５がドライバモニタカメラ１を遮ったタイミングと、ドライバが車両の運転操作に不適な状態と判定されたタイミングとに基づいて、ステアリング保持要求を出すタイミングを設定する。なお、以下では、図３のようにステアリング５がドライバモニタカメラ１の撮影方向を遮ったタイミングを撮影不能時点と称することとする。また、ドライバが車両の運転操作に不適な状態と判定された時点を運転不適状態判定時点と称することとする。 In the present embodiment, as shown in FIG. 3, the timing of issuing the steering holding request is determined based on the timing at which the steering 5 blocks the driver monitor camera 1 and the timing at which the driver is determined to be in an unsuitable state for driving the vehicle. Set. In the following, the timing at which the steering wheel 5 blocks the shooting direction of the driver monitor camera 1 as shown in FIG. 3 will be referred to as a shooting impossible time point. Further, the time point at which the driver is determined to be in an unsuitable state for driving the vehicle is referred to as a driving unsuitable state determination time point.
先ず、ドライバが車両の運転操作に不適な状態と判定されておらず、ステアリング保持要求を通知することが予定されていない場合は、撮影不能時点から所定の遅延時間の経過後にステアリング保持要求がドライバへ通知される。これにより、遅延時間の間にステアリング５が図３の状態から図２の状態に戻れば、ステアリング保持要求が通知されないため、ステアリング保持要求が頻発することを抑えることができ、ドライバの利便性を向上することができる。 First, if the driver has not been determined to be unsuitable for driving the vehicle and is not scheduled to notify the steering hold request, the steering hold request will be sent to the driver after a predetermined delay time has elapsed from the time when shooting was not possible. Will be notified to. As a result, if the steering 5 returns from the state of FIG. 3 to the state of FIG. 2 during the delay time, the steering holding request is not notified, so that it is possible to suppress the frequent occurrence of the steering holding request, which improves the convenience of the driver. Can be improved.
一方、ドライバが車両の運転操作に不適な状態と判定された場合は、運転不適状態判定時点から所定の遅延時間の経過後にステアリング保持要求がドライバへ通知される。撮影不能時点が遅延時間の経過前に到来する場合も、遅延時間の経過後にステアリング保持要求がドライバへ通知される。つまり、運転不適状態判定時点から撮影不能時点までの時間を遅延時間から差し引いて得られる時間が撮影不能時点から経過した後にステアリング保持要求がドライバへ通知される。 On the other hand, when the driver is determined to be in an unsuitable state for driving the vehicle, the driver is notified of the steering holding request after a predetermined delay time has elapsed from the time of determining the unsuitable driving state. Even if the time when shooting is not possible arrives before the delay time elapses, the driver is notified of the steering holding request after the delay time elapses. That is, the steering holding request is notified to the driver after the time obtained by subtracting the time from the time of determining the unsuitable driving condition to the time when shooting is not possible from the delay time has elapsed from the time when shooting is not possible.
図４は、制御部１００のプロセッサ１０の機能ブロックを示す模式図である。制御部１００のプロセッサ１０は、撮影可否判定部１２、状態判定部１４、通知制御部１６、保持期間測定部１８、運転操作不適レベル判定部１９を有している。プロセッサ１０が有するこれらの各部は、例えば、プロセッサ１０上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１０の機能ブロックは、プロセッサ１０とこれを機能させるためのプログラム（ソフトウェア）から構成される。また、そのプログラムは、制御部１００が備えるメモリ２０または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１０が有するこれらの各部は、プロセッサ１０に設けられる専用の演算回路であってもよい。 FIG. 4 is a schematic view showing a functional block of the processor 10 of the control unit 100. The processor 10 of the control unit 100 includes a shooting possibility determination unit 12, a state determination unit 14, a notification control unit 16, a holding period measurement unit 18, and a driving operation inappropriate level determination unit 19. Each of these parts of the processor 10 is, for example, a functional module realized by a computer program running on the processor 10. That is, the functional block of the processor 10 is composed of the processor 10 and a program (software) for operating the processor 10. Further, the program may be recorded in the memory 20 included in the control unit 100 or a recording medium connected from the outside. Alternatively, each of these parts included in the processor 10 may be a dedicated arithmetic circuit provided in the processor 10.
撮影可否判定部１２は、車両に設けられたドライバモニタカメラ１の撮影方向をステアリング５が遮ってドライバモニタカメラ１が車両のドライバを撮影不能となるか否か判定する。状態判定部１４は、ドライバの状態を表すセンサ情報に基づいて、ドライバが車両の運転操作に不適な状態となっているか否かを判定する。 The shooting possibility determination unit 12 determines whether or not the steering 5 blocks the shooting direction of the driver monitor camera 1 provided in the vehicle and the driver monitor camera 1 cannot shoot the driver of the vehicle. The state determination unit 14 determines whether or not the driver is in an unsuitable state for driving the vehicle based on the sensor information indicating the driver's state.
通知制御部１６は、ドライバモニタカメラ１がドライバを撮影できなくなったと判定された撮影不能時点において、ドライバが車両の運転操作に適した状態である場合、撮影不能時点から所定の遅延時間が経過するとステアリング保持要求をドライバに対して通知する。また、撮影不能時点において、ドライバが車両の運転操作に不適な状態である場合、通知制御部１６は、その不適な状態の開始時点（運転不適状態判定時点）から所定の遅延時間が経過するとステアリング保持要求をドライバに対して通知する。運転操作不適レベル判定部１９は、ドライバの運転操作不適レベルを判定する。 When the driver monitor camera 1 determines that the driver cannot shoot the driver and the driver is in a state suitable for driving the vehicle, the notification control unit 16 determines that a predetermined delay time elapses from the time when the driver cannot shoot. Notify the driver of the steering hold request. Further, when the driver is in an unsuitable state for driving the vehicle at the time when shooting is not possible, the notification control unit 16 steers when a predetermined delay time elapses from the start time of the unsuitable state (time of determining the unsuitable state for driving). Notify the driver of the retention request. The driving operation unsuitable level determination unit 19 determines the driving operation unsuitable level of the driver.
図５は、ドライバを撮影不能な場合に、ドライバが車両の運転操作に適した状態であるか否かに応じてステアリング保持要求を通知するタイミングを変更する処理の流れを示すフローチャートである。図５の処理は、制御部１００のプロセッサ１０により所定の制御周期毎に実行される。先ず、撮影可否判定部１２が、ドライバモニタカメラ１がドライバを撮影可能であるか否かを判定する（ステップＳ１０１）。 FIG. 5 is a flowchart showing a flow of processing for changing the timing of notifying the steering holding request depending on whether or not the driver is in a state suitable for driving the vehicle when the driver cannot be photographed. The process of FIG. 5 is executed by the processor 10 of the control unit 100 at predetermined control cycles. First, the shooting possibility determination unit 12 determines whether or not the driver monitor camera 1 can shoot the driver (step S101).
ステップＳ１０１の判定は、ステアリング５の舵角と、ドライバモニタカメラ１により得られた画像からドライバの顔を検知できるか否かの組み合わせに基づいて実施される。例えば、撮影可否判定部１２は、ステアリング５の舵角に基づくドライバ撮影の可否と、画像認識によるドライバの顔検知状態とのアンド条件をとり、双方の条件が成立する場合にドライバモニタカメラ１がドライバを撮影可能であると判定してもよい。 The determination in step S101 is performed based on the combination of the steering angle of the steering wheel 5 and whether or not the driver's face can be detected from the image obtained by the driver monitor camera 1. For example, the shooting availability determination unit 12 takes an AND condition of whether or not the driver can shoot based on the steering angle of the steering wheel 5 and the driver's face detection state by image recognition, and when both conditions are satisfied, the driver monitor camera 1 determines. It may be determined that the driver can shoot.
具体的には、撮影可否判定部１２は、ドライバモニタカメラ１が撮影した画像と顔のテンプレート画像（後述する顔辞書５１に相当）とのテンプレートマッチングを行い、その画像中に、顔のテンプレート画像に対応する顔画像が存在するか否かによってドライバの顔が検出されるか否かを判定する。撮影可否判定部１２は、撮影画像中にテンプレート画像に対応する顔画像が存在する場合は、ドライバの顔を検知できると判定する。 Specifically, the shooting possibility determination unit 12 performs template matching between the image taken by the driver monitor camera 1 and the face template image (corresponding to the face dictionary 51 described later), and the face template image is included in the image. It is determined whether or not the driver's face is detected depending on whether or not the face image corresponding to is present. The shooting possibility determination unit 12 determines that the driver's face can be detected when the face image corresponding to the template image is present in the shooting image.
また、撮影可否判定部１２は、ドライバモニタカメラ１の設置位置と、ステアリング５の形状と、ステアリング５の舵角とから、ドライバモニタカメラ１の撮影方向をステアリング５が遮るか否かを判定する。このため、ドライバモニタカメラ１がドライバを撮影可能なステアリング５の舵角の角度範囲が予めメモリ２０に記憶されている。撮影可否判定部１２は、ステアリング５の舵角がその角度範囲に含まれていると、ドライバを撮影可能と判定する。図２及び図３に示す例では、ステアリング５の舵角が９０°のときにドライバモニタカメラ１がドライバを撮影できなくなるため、舵角が９０°のときはドライバが撮影不能と判定される。なお、ステアリング５の舵角は、舵角センサ７の検出値より得られる。以上のようにして、撮影可否判定部１２は、ステアリング５の舵角に基づくドライバ撮影の可否判定と、画像認識によるドライバの顔検知状態の双方の条件が成立する場合に、ドライバモニタカメラ１がドライバを撮影可能であると判定することができる。 Further, the shooting possibility determination unit 12 determines whether or not the steering 5 blocks the shooting direction of the driver monitor camera 1 from the installation position of the driver monitor camera 1, the shape of the steering 5, and the steering angle of the steering 5. .. Therefore, the angle range of the steering angle of the steering wheel 5 on which the driver monitor camera 1 can shoot the driver is stored in the memory 20 in advance. When the steering angle of the steering wheel 5 is included in the angle range, the shooting possibility determination unit 12 determines that the driver can shoot. In the examples shown in FIGS. 2 and 3, the driver monitor camera 1 cannot shoot the driver when the steering angle of the steering wheel 5 is 90 °. Therefore, it is determined that the driver cannot shoot when the steering angle is 90 °. The steering angle of the steering wheel 5 is obtained from the detection value of the steering angle sensor 7. As described above, the driver monitor camera 1 determines whether or not the driver can take a picture based on the steering angle of the steering wheel 5 and the driver's face is detected by image recognition. It can be determined that the driver can shoot.
ステップＳ１０１において、ドライバモニタカメラ１がドライバを撮影可能でないと判定された場合は、判定された時点が撮影不能時点とされる。そして、状態判定部１４が、ドライバモニタカメラ１から得られる画像情報に基づいて、ドライバが運転操作に不適切な状態となっているか否かについての情報を取得し、ドライバが運転操作に不適切な状態となっているかどうかを判定する（ステップＳ１０２）。ドライバが運転操作に不適切な状態となっているか否かは、例えば後述する図９の処理により常時判定されており、ドライバが運転操作に不適切な状態となっているか否かについての情報は常時得られている。ステップＳ１０２では、撮影不能時点の直前におけるこの情報を取得し、ドライバが運転操作に不適切な状態となっているか判定する。状態判定部１４は、ドライバモニタカメラ１から得られる画像に基づいて、ドライバが脇見状態、居眠りの状態、離席の状態、姿勢崩れ状態等であるか否かを判定する。一方、ステップＳ１０１において、ドライバモニタカメラ１がドライバを撮影可能な場合は、処理を終了する。 If it is determined in step S101 that the driver monitor camera 1 is not capable of photographing the driver, the determined time point is set as the time point at which photography is not possible. Then, the state determination unit 14 acquires information about whether or not the driver is in an inappropriate state for driving operation based on the image information obtained from the driver monitor camera 1, and the driver is inappropriate for driving operation. It is determined whether or not the state is in (step S102). Whether or not the driver is in an inappropriate state for driving operation is constantly determined by, for example, the process of FIG. 9 described later, and information on whether or not the driver is in an inappropriate state for driving operation is available. It is always obtained. In step S102, this information immediately before the time when the image cannot be taken is acquired, and it is determined whether the driver is in an inappropriate state for the driving operation. Based on the image obtained from the driver monitor camera 1, the state determination unit 14 determines whether or not the driver is in an inattentive state, a dozing state, an absentee state, a posture collapse state, or the like. On the other hand, in step S101, if the driver monitor camera 1 can shoot the driver, the process ends.
次に、通知制御部１４が、ステップＳ１０２の判定の結果に基づき、ドライバが運転操作に適切な状態であれば、撮影不能時点から所定の遅延時間が経過するとドライバへステアリング保持要求を通知する（ステップＳ１０３）。ステップＳ１０３の後は処理を終了する。 Next, based on the result of the determination in step S102, the notification control unit 14 notifies the driver of the steering holding request when a predetermined delay time elapses from the time when the image cannot be taken, if the driver is in an appropriate state for the driving operation ( Step S103). After step S103, the process ends.
また、通知制御部１４は、ドライバが運転操作に不適切な状態であれば、過去のステップＳ１０２の判定を遡って確認し、不適切な状態が開始した時点（運転不適状態判定時点）から所定の遅延時間が経過するとステアリング保持要求を通知する（ステップＳ１０４）。ステップＳ１０４の後は処理を終了する。 Further, if the driver is in an inappropriate state for driving operation, the notification control unit 14 retroactively confirms the determination in step S102 in the past, and determines from the time when the inappropriate state starts (the time when the driving inappropriate state is determined). When the delay time has elapsed, the steering holding request is notified (step S104). After step S104, the process ends.
図６は、図５のステップＳ１０２からステップＳ１０３へ進んだ場合と、ステップＳ１０２からステップＳ１０４へ進んだ場合のそれぞれについて、撮影不能時点、ステアリング保持要求の通知、運転不適状態判定時点の時系列的な関係を示す模式図である。図６に示すように、ステップＳ１０２からステップＳ１０３へ進んだ場合は、撮影不能時点から所定の遅延時間の経過後にステアリング保持要求が通知される。また、ステップＳ１０２からステップＳ１０４へ進んだ場合は、運転不適状態判定時点から所定の遅延時間の経過後にステアリング保持要求が通知される。なお、図６において、ステップＳ１０２からステップＳ１０３へ進んだ場合と、ステップＳ１０２からステップＳ１０４へ進んだ場合とで、遅延時間が異なるようにしてもよい。但し、ステップＳ１０２からステップＳ１０３へ進んだ場合と、ステップＳ１０２からステップＳ１０４へ進んだ場合とで、遅延時間を同一にすると、処理をより簡素にすることができる。 FIG. 6 shows a time series of a time when shooting is not possible, a notification of a steering holding request, and a time when a driving unsuitable state is determined for each of the case where the process proceeds from step S102 to step S103 and the case where the process proceeds from step S102 to step S104. It is a schematic diagram which shows the relationship. As shown in FIG. 6, when the process proceeds from step S102 to step S103, the steering holding request is notified after a predetermined delay time has elapsed from the time when shooting is not possible. Further, when the process proceeds from step S102 to step S104, the steering holding request is notified after a predetermined delay time has elapsed from the time of determining the unsuitable driving condition. In FIG. 6, the delay time may be different depending on whether the process proceeds from step S102 to step S103 or from step S102 to step S104. However, if the delay time is the same between the case where the process proceeds from step S102 to step S103 and the case where the process proceeds from step S102 to step S104, the process can be further simplified.
以上のように、図５の処理によれば、ドライバモニタカメラ１がドライバを撮影不能の場合、ドライバが運転操作に適切な状態であるか否かに応じてステアリング保持要求を通知するタイミングが設定される。ドライバが運転操作に適切な状態であれば、撮影不能時点から所定の遅延時間の経過後に保持要求が通知される。したがって、撮影不能時点で保持要求が出されることがなく、また、遅延時間内にドライバを撮影可能な状態に復帰すればステアリング保持要求が通知されることはない。したがって、カーブが連続する道路を走行するような場合に、ステアリング保持要求が頻発することによるドライバの利便性の低下を確実に抑えることができる。 As described above, according to the process of FIG. 5, when the driver monitor camera 1 cannot take a picture of the driver, the timing of notifying the steering holding request is set according to whether or not the driver is in an appropriate state for the driving operation. Will be done. If the driver is in an appropriate state for driving operation, a retention request is notified after a predetermined delay time has elapsed from the time when shooting is not possible. Therefore, the holding request is not issued at the time when shooting is not possible, and the steering holding request is not notified if the driver returns to the shooting capable state within the delay time. Therefore, when the vehicle travels on a road with continuous curves, it is possible to reliably suppress a decrease in convenience of the driver due to frequent occurrence of steering holding requests.
また、ドライバが運転操作に不適切な状態であれば、運転操作に不適切な状態となってから所定の遅延時間が経過するとステアリング保持要求が通知される。したがって、撮影不能時点よりも以前にドライバが運転操作に不適切な状態となった場合に、運転操作に不適切となった時点から起算してステアリング保持要求を通知することができる。 Further, if the driver is in an inappropriate state for driving operation, a steering holding request is notified when a predetermined delay time elapses after the driver is in an inappropriate state for driving operation. Therefore, if the driver becomes inappropriate for the driving operation before the time when the image cannot be taken, the steering holding request can be notified from the time when the driver becomes inappropriate for the driving operation.
ステップＳ１０３、ステップＳ１０４における遅延時間は、撮影不能時点以前における、ドライバが運転に不適な状態のレベルに基づいて設定してもよい。例えば、運転に不適なレベルが高いほど遅延時間が短く設定される。このため、運転操作不適レベル判定部１９がドライバの運転操作不適レベル（ドライバの安全度合い）を判定し、通知制御部１４は、運転操作不適レベルに基づいてステアリング保持要求の通知タイミングを変更する。 The delay time in steps S103 and S104 may be set based on the level of the state unsuitable for driving by the driver before the time when the image cannot be taken. For example, the higher the level unsuitable for driving, the shorter the delay time is set. Therefore, the driving operation unsuitable level determination unit 19 determines the driving operation unsuitable level (driver safety degree) of the driver, and the notification control unit 14 changes the notification timing of the steering holding request based on the driving operation unsuitable level.
運転操作不適レベルは、ドライバの過去の運転における脇見の頻度、覚醒度が低下する頻度、ハンズオン要求などの警告の回数、等に応じて判定される。脇見の頻度が高いほど、覚醒度が低下する頻度が高いほど、または警告の回数が多いほど、運転操作不適レベルは高くなる。例えば、ドライバの過去の運転の所定期間内において、脇見と判定された回数、覚醒度が低下したと判定された回数、または警告の回数に応じて、運転操作レベルが判定される。これらの回数について閾値処理を行い、運転操作レベルを判定してもよい。脇見の頻度、覚醒度が低下する頻度、警告の回数等の情報は、メモリ２０に記憶されている。これにより、運転操作不適レベルが高いほど頻繁にステアリング保持要求が通知されるため、ドライバを早期に正常な状態に戻すことが可能となる。 The unsuitable level of driving operation is determined according to the frequency of inattentiveness in the driver's past driving, the frequency of decrease in alertness, the number of warnings such as hands-on requests, and the like. The higher the frequency of inattentiveness, the higher the frequency of alertness, or the higher the number of warnings, the higher the level of inappropriate driving operation. For example, the driving operation level is determined according to the number of times the driver is determined to be inattentive, the number of times the arousal level is determined to be reduced, or the number of warnings within a predetermined period of the driver's past driving. Threshold processing may be performed on these times to determine the driving operation level. Information such as the frequency of inattentiveness, the frequency of decrease in alertness, and the number of warnings is stored in the memory 20. As a result, the higher the level of unsuitable driving operation, the more frequently the steering holding request is notified, so that the driver can be returned to the normal state at an early stage.
以上のように、ドライバモニタカメラ１の撮影方向がステアリング５によって遮られた場合に、ドライバが運転に適した状態であると、ステアリング保持要求の通知がなされる頻度を減らすことができるので、安全性を確保しつつドライバの利便性を向上することができる。 As described above, when the shooting direction of the driver monitor camera 1 is obstructed by the steering wheel 5, if the driver is in a state suitable for driving, the frequency of notification of the steering wheel holding request can be reduced, so that it is safe. It is possible to improve the convenience of the driver while ensuring the property.
２．第２の実施形態
次に、撮影不能時点の直前のドライバのステアリング保持期間に応じて、ステアリング保持要求を通知する実施形態について説明する。なお、第２の実施形態に係る運転支援システム４０の基本的な構成は、第１の実施形態と同様である。以下では、撮影不能時点でステアリング保持要求を通知する場合において、所定の条件が成立する場合は、撮影不能時点でのステアリング保持要求の通知を免除する例について説明する。
2. 2. Second Embodiment Next, an embodiment of notifying a steering holding request according to the steering holding period of the driver immediately before the time when shooting is impossible will be described. The basic configuration of the driving support system 40 according to the second embodiment is the same as that of the first embodiment. In the following, in the case of notifying the steering holding request at the time when shooting is impossible, an example of exempting the notification of the steering holding request at the time when shooting is impossible will be described if a predetermined condition is satisfied.
ステアリング保持要求を通知し、これに応じてドライバがステアリング５を一定時間保持すると、ステアリング保持要求の通知は解除される。撮影不能時点でステアリング保持要求を通知する例では、その後、ドライバモニタカメラ１の撮影方向をステアリング５が遮ると、再度ステアリング保持要求が通知される。この際、直前にドライバがステアリング５を長く保持していたにも関わらず、ステアリング保持要求が再度通知されると、ドライバにとっては煩わしく、利便性が低下する。 When the driver notifies the steering holding request and the driver holds the steering 5 for a certain period of time in response to the notification, the notification of the steering holding request is canceled. In the example of notifying the steering holding request at the time when shooting is impossible, when the steering 5 blocks the shooting direction of the driver monitor camera 1, the steering holding request is notified again. At this time, if the steering holding request is notified again even though the driver has held the steering wheel 5 for a long time immediately before, it is troublesome for the driver and the convenience is lowered.
このため、撮影不能時点より前のステアリング保持要求に対するドライバのステアリング保持期間を測定し、保持期間が比較的長い場合は、保持を終了してから所定の免除期間の間は、撮影不能時点に達したとしてもステアリング保持要求が通知されないようにする。これにより、ステアリング５を比較的長く保持しており、安全運転を行っていたドライバに対してステアリング保持要求が頻繁に出されることがなく、ドライバの利便性を高めることができる。なお、免除期間は、例えば１分程度とする。 Therefore, the driver's steering holding period for the steering holding request before the shooting impossible time is measured, and if the holding period is relatively long, the shooting impossible time is reached during the predetermined exemption period after the holding is completed. Even if it does, the steering holding request is not notified. As a result, the steering wheel 5 is held for a relatively long time, and the driver who has been driving safely is not frequently requested to hold the steering wheel, so that the convenience of the driver can be improved. The exemption period is, for example, about 1 minute.
一方、撮影不能時点より前の直前のステアリング保持要求に対するドライバのステアリング保持期間が比較的短い場合は、撮影不能時点でドライバにステアリング保持要求が通知される。これにより、ステアリング５の保持期間が短いドライバに対して、安全性を確保することができる。 On the other hand, if the driver's steering holding period is relatively short with respect to the steering holding request immediately before the time when shooting is not possible, the driver is notified of the steering holding request at the time when shooting is not possible. As a result, safety can be ensured for the driver having a short holding period of the steering 5.
以上のような制御を行うため、制御部１００のプロセッサ１０は、保持期間測定部１８を有している。保持期間測定部１８は、ステアリング保持要求をドライバに対して通知してからドライバがステアリング５を継続して保持した保持期間を測定する。撮影可否判定部１２は、車両に設けられたドライバモニタカメラ１をステアリング５が遮ってドライバモニタカメラ１がドライバを撮影不能となるか否か判定する。 In order to perform the above control, the processor 10 of the control unit 100 has a retention period measuring unit 18. The holding period measuring unit 18 measures the holding period in which the driver continuously holds the steering 5 after notifying the driver of the steering holding request. The shooting possibility determination unit 12 determines whether or not the steering 5 blocks the driver monitor camera 1 provided in the vehicle and the driver monitor camera 1 cannot shoot the driver.
通知制御部１６は、ドライバモニタカメラ１がドライバを撮影できなくなったと判定された撮影不能時点において、直前の保持期間が所定期間未満であるか、または、撮影不能時点が直前の保持期間が終了してから所定の免除期間を経過した後である場合、ステアリング保持要求を通知部を介してドライバに対して再通知する。 At the time when the driver monitor camera 1 determines that the driver cannot shoot the driver, the notification control unit 16 has a holding period immediately before the predetermined period, or the holding period immediately before the time when the driver cannot shoot ends. If the predetermined exemption period has elapsed since then, the steering holding request is re-notified to the driver via the notification unit.
また、通知制御部１６は、撮影不能時点において、直前の保持期間が所定期間以上であり、かつ、撮影不能時点が直前の保持期間が終了してから所定の免除期間を経過する前である場合、保持要求を再通知しない。 In addition, when the notification control unit 16 has a holding period immediately before the shooting impossible time is equal to or longer than a predetermined period, and the shooting impossible time is before the predetermined exemption period elapses after the last holding period ends. , Do not re-notify retention request.
図７は、ステアリング保持期間と免除期間に応じて、ステアリング保持要求を行う処理の流れを示すフローチャートである。図７の処理は、制御部１００のプロセッサ１０により所定の制御周期毎に実行される。先ず、保持期間測定部１８が、直前に行われたステアリング保持要求に対するステアリング５の保持期間を測定する（ステップＳ２０１）。なお、ステップＳ２０１よりも以前には、ドライバモニタカメラ１がドライバを撮影できないことに起因してステアリング保持要求が通知され、通知に応じてドライバがステアリング５を一定時間保持しているものとする。保持期間測定部１８は、タッチセンサ２の検出信号に基づき、ドライバがステアリング５を保持している保持期間を測定する。保持期間測定部１８は、ステアリングトルクセンサ６の検出信号に基づいてドライバがステアリング５を保持している保持期間を測定してもよい。 FIG. 7 is a flowchart showing a flow of processing for making a steering holding request according to the steering holding period and the exemption period. The process of FIG. 7 is executed by the processor 10 of the control unit 100 at predetermined control cycles. First, the holding period measuring unit 18 measures the holding period of the steering 5 with respect to the steering holding request made immediately before (step S201). Prior to step S201, it is assumed that the driver monitor camera 1 is notified of the steering holding request due to the inability to photograph the driver, and the driver holds the steering 5 for a certain period of time in response to the notification. The holding period measuring unit 18 measures the holding period in which the driver holds the steering wheel 5 based on the detection signal of the touch sensor 2. The holding period measuring unit 18 may measure the holding period in which the driver holds the steering wheel 5 based on the detection signal of the steering torque sensor 6.
次に、撮影可否判定部１２が、ドライバモニタカメラ１がドライバを撮影可能であるか否かを判定する（ステップＳ２０２）。 Next, the shooting possibility determination unit 12 determines whether or not the driver monitor camera 1 can shoot the driver (step S202).
ステップＳ２０２において、ドライバモニタカメラ１がドライバを撮影可能でないと判定された場合は、ステップＳ２０１で測定したステアリング５の保持期間が所定期間以上であるか否かが判定される（ステップＳ２０３）。そして、ステアリング５の保持期間が所定期間以上でない場合、通知制御部１６は、ステアリング保持要求をドライバへ通知する（ステップＳ２０５）。ステップＳ２０５の後は処理を終了する。 When it is determined in step S202 that the driver monitor camera 1 cannot shoot the driver, it is determined whether or not the holding period of the steering wheel 5 measured in step S201 is equal to or longer than a predetermined period (step S203). Then, when the holding period of the steering 5 is not longer than the predetermined period, the notification control unit 16 notifies the driver of the steering holding request (step S205). After step S205, the process ends.
また、ステップＳ２０３において、ステアリング５の保持期間が所定期間以上の場合はステップＳ２０４へ進み、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であるか否かが判定される（ステップＳ２０４）。そして、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内である場合、通知制御部１６は、ステアリング保持要求の通知を免除する（ステップＳ２０６）。この場合、ステアリング保持要求はドライバに通知されない。ステップＳ２０６の後は処理を終了する。 Further, in step S203, if the holding period of the steering 5 is longer than a predetermined period, the process proceeds to step S204, and it is determined whether or not the time from the expiration of the immediately preceding holding period to the time when shooting is not possible is within the exemption period. (Step S204). Then, when the time from the expiration of the immediately preceding holding period to the time when shooting is not possible is within the exemption period, the notification control unit 16 exempts the notification of the steering holding request (step S206). In this case, the steering hold request is not notified to the driver. After step S206, the process ends.
また、ステップＳ２０４において、直前の保持期間が満了してから撮影不能時点までの時間が免除期間を超えている場合、通知制御部１６は、ステアリング保持要求を通知する（ステップＳ２０５）。ステップＳ２０５の後は処理を終了する。 Further, in step S204, when the time from the expiration of the immediately preceding holding period to the time when shooting is not possible exceeds the exemption period, the notification control unit 16 notifies the steering holding request (step S205). After step S205, the process ends.
図８は、図７のステップＳ２０４からステップＳ２０６へ進んだ場合と、ステップＳ２０４からステップＳ２０５へ進んだ場合と、ステップＳ２０３からステップＳ２０５へ進んだ場合のそれぞれについて、撮影不能時点、ステアリング保持要求の通知、保持期間、免除期間の時系列的な関係を示す模式図である。図８に示すように、ステップＳ２０４からステップＳ２０６へ進んだ場合は、保持期間が所定期間以上であり、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であるため、撮影不能時点でのステアリング保持要求は免除される。また、ステップＳ２０４からステップＳ２０５へ進んだ場合は、保持期間が所定期間以上であり、直前の保持期間が満了してから撮影不能時点までの時間が免除期間を超えているため、撮影不能時点でステアリング保持要求が通知される。また、ステップＳ２０３からステップＳ２０５へ進んだ場合は、保持期間が所定期間未満であるため、撮影不能時点でステアリング保持要求が通知される。 FIG. 8 shows the steering holding request at the time when shooting is not possible, in the case of proceeding from step S204 to step S206 in FIG. 7, the case of proceeding from step S204 to step S205, and the case of proceeding from step S203 to step S205. It is a schematic diagram which shows the time-series relationship of notification, retention period, and exemption period. As shown in FIG. 8, when the process proceeds from step S204 to step S206, the retention period is equal to or longer than the predetermined period, and the time from the expiration of the immediately preceding retention period to the time when shooting is not possible is within the exemption period. The request to hold the steering wheel when shooting is not possible is exempted. Further, when the process proceeds from step S204 to step S205, the retention period is longer than the predetermined period, and the time from the expiration of the immediately preceding retention period to the time when shooting is not possible exceeds the exemption period. The steering hold request is notified. Further, when the process proceeds from step S203 to step S205, since the holding period is less than the predetermined period, the steering holding request is notified when the image cannot be taken.
以上のように、図７の処理によれば、ドライバモニタカメラ１がドライバを撮影不能であり、ステアリング５の保持期間が所定期間以上の場合は、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であれば、ステアリング保持要求が免除される。したがって、ステアリング５の保持期間が長く、安全運転を心がけているドライバに対しては、過度なステアリング保持要求を抑え、ステアリング保持要求が頻発することによる利便性の低下を抑えることができる。 As described above, according to the process of FIG. 7, when the driver monitor camera 1 cannot shoot the driver and the holding period of the steering wheel 5 is longer than a predetermined period, the time when the driver cannot shoot after the immediately preceding holding period expires. If the time until is within the exemption period, the steering holding request is exempted. Therefore, for a driver who has a long holding period of the steering wheel 5 and is trying to drive safely, it is possible to suppress an excessive steering holding request and to suppress a decrease in convenience due to frequent occurrence of the steering holding request.
なお、ステップＳ２０４において、直前の保持期間が満了してから撮影不能時点までの時間が免除期間内であっても、特定の条件が満たされる場合に免除期間を中断して、ステアリング保持要求をドライバに通知してもよい。特定の条件が満たされる場合として、例えば、ドライバが運転に不適な状態と判定された場合、車両に速度超過または横Ｇ超過などが発生した場合、車両周辺に故障車が存在する場合または車両周辺に車線規制が生じている場合など車両周辺の状況が通常と異なる場合、車両に不具合が生じた場合（自動運転に関連するセンサの不調が生じた場合等）、などを挙げることができる。 In step S204, even if the time from the expiration of the immediately preceding retention period to the time when shooting is not possible is within the exemption period, the exemption period is interrupted when a specific condition is satisfied, and the steering holding request is issued by the driver. May be notified to. When certain conditions are met, for example, the driver is determined to be unsuitable for driving, the vehicle is overspeeded or laterally G is exceeded, there is a broken vehicle around the vehicle, or around the vehicle. When the situation around the vehicle is different from normal, such as when lane restrictions are imposed on the vehicle, or when a problem occurs in the vehicle (such as when a malfunction of a sensor related to automatic driving occurs).
以上説明したように、ステアリング５を保持する期間が長く、安全運転をするドライバに対しては、ステアリング保持要求に対してドライバがステアリング５を保持する回数、およびステアリング５の保持時間を減らすことができる。また、ステアリングを保持する期間が短いドライバに対しては、通常のステアリング保持要求を通知することができる。したがって、ドライバの利便性を向上することができ、運転支援システムの商品性を向上することが可能となる。 As described above, for a driver who holds the steering wheel 5 for a long time and drives safely, it is possible to reduce the number of times the driver holds the steering wheel 5 and the holding time of the steering wheel 5 in response to the steering holding request. it can. Further, a normal steering holding request can be notified to a driver who holds the steering for a short period of time. Therefore, the convenience of the driver can be improved, and the commercial value of the driving support system can be improved.
次に、図９のフローチャート、および図１０〜図１２に基づいて、上述した各実施形態において、ドライバが運転操作に不適切な状態となっているかどうかを判定する処理の例として、ドライバの脇見状態を判定する処理について説明する。 Next, based on the flowchart of FIG. 9 and FIGS. 10 to 12, as an example of the process of determining whether or not the driver is in an inappropriate state for the driving operation in each of the above-described embodiments, the driver looks aside. The process of determining the state will be described.
図９は、ドライバの脇見状態を判定する処理を示すフローチャートである。先ず、ドライバモニタカメラ１から、着目するフレームの映像が取得される（ステップＳ３０１）。次に、取得した映像の中に顔らしいものがあるか否かが判定される（ステップＳ３０２）。図１０は、ステップＳ３０２において、映像中に顔らしいものがあるか否かを判定する手法を示す模式図である。図１０に示すように、ドライバモニタカメラ１が取得したフレームの映像５０と顔辞書５１の画像との比較が行われ、映像５０中に顔らしいものがあるか否かが判定される。なお、比較は公知のテンプレートマッチング等の手法により行うことができる。 FIG. 9 is a flowchart showing a process of determining the inattentive state of the driver. First, the image of the frame of interest is acquired from the driver monitor camera 1 (step S301). Next, it is determined whether or not there is something like a face in the acquired video (step S302). FIG. 10 is a schematic diagram showing a method for determining whether or not there is something like a face in the image in step S302. As shown in FIG. 10, the image 50 of the frame acquired by the driver monitor camera 1 and the image of the face dictionary 51 are compared, and it is determined whether or not there is something like a face in the image 50. The comparison can be performed by a known method such as template matching.
映像５０中に顔らしいものがある場合は、映像５０の中から目尻、口角、鼻などの顔特徴点が、例えばこれらのテンプレート画像に基づいて抽出され（ステップＳ３０３）、特徴点間の距離から顔向き角度が算出される（ステップＳ３０４）。図１１は、ステップＳ３０３、ステップＳ３０４において、顔特徴点間の距離から顔向き角度を算出する手法を示す模式図である。図１１に示すように、顔特徴点ｐ１〜ｐ９が抽出されると、特徴点間の距離に応じて顔向き角度が算出される。 If there is something like a face in the image 50, facial feature points such as the outer corners of the eyes, corners of the mouth, and nose are extracted from the image 50 based on, for example, these template images (step S303), and from the distance between the feature points. The face orientation angle is calculated (step S304). FIG. 11 is a schematic diagram showing a method of calculating the face orientation angle from the distance between the face feature points in steps S303 and S304. As shown in FIG. 11, when the face feature points p1 to p9 are extracted, the face orientation angle is calculated according to the distance between the feature points.
一例として、顔向き角度の算出は、ドライバが正面を向いている場合の特徴点間の距離を基準として行われる。図１２は、顔向き角度の定義を示す模式図である。ドライバの水平方向の顔向き角度をヨー（Ｙａｗ）角、上下方向の顔向き角度をピッチ（Ｐｉｔｃｈ）角と定義する。ドライバが正面を向いている場合の特徴点間の距離として、制御部１００のメモリ２０に予め記憶した値を用いることができる。例えば、ドライバが正面を向いている場合のｐ１−ｐ２間の距離を基準として、ドライバが任意の方向を向いた場合にｐ１−ｐ２間の距離が基準よりも短くなった場合は、ヨー角が変化したことを判定できる。ヨー角の変化量はｐ１−ｐ２間の距離の変化量から求めることができる。 As an example, the calculation of the face orientation angle is performed based on the distance between the feature points when the driver is facing the front. FIG. 12 is a schematic view showing the definition of the face orientation angle. The horizontal face-facing angle of the driver is defined as the yaw angle, and the vertical face-facing angle is defined as the pitch angle. As the distance between the feature points when the driver is facing the front, a value stored in advance in the memory 20 of the control unit 100 can be used. For example, if the distance between p1-p2 is shorter than the reference when the driver is facing in any direction based on the distance between p1-p2 when the driver is facing the front, the yaw angle is It can be determined that it has changed. The amount of change in yaw angle can be obtained from the amount of change in the distance between p1-p2.
同様に、ドライバが正面を向いている場合のｐ１−ｐ５間の距離を基準として、ドライバが任意の方向を向いた場合にｐ１−ｐ５間の距離が基準よりも短くなった場合は、ピッチ角が変化したことを判定できる。そして、ピッチ角の変化量はｐ１−ｐ５間の距離の変化量から求めることができる。なお、ロール（Ｒｏｌｌ）角の変化は、脇見の判定に直接的には使用されないが、各特徴点の移動軌跡からドライバの顔（頭部）のモデルの回転中心を求め、回転中心に対する各特徴点の回転角から求めることができる。 Similarly, the pitch angle is based on the distance between p1-p5 when the driver is facing the front, and when the distance between p1-p5 is shorter than the reference when the driver is facing in any direction. Can be determined to have changed. The amount of change in the pitch angle can be obtained from the amount of change in the distance between p1-p5. The change in the Roll angle is not directly used to determine inattentiveness, but the center of rotation of the driver's face (head) model is obtained from the movement locus of each feature point, and each feature with respect to the center of rotation is obtained. It can be obtained from the rotation angle of the point.
次に、顔向き角度が脇見角度閾値を超えているか否かが判定される（ステップＳ３０５）。顔向き角度が脇見角度閾値を超えている場合は、脇見継続時間がｔ秒を経過したか否かが判定される（ステップＳ３０６）。そして、脇見継続時間がｔ秒を経過した場合は、脇見であることが判定される（ステップＳ３０７）。ステップＳ３０５で顔向き角度が脇見角度閾値を超えていない場合、またはステップＳ３０６で脇見継続時間がｔ秒を経過していない場合は、ステップＳ３０１へ戻る。 Next, it is determined whether or not the face orientation angle exceeds the inattentive angle threshold value (step S305). When the face-facing angle exceeds the inattentive angle threshold value, it is determined whether or not the inattentive duration has elapsed t seconds (step S306). Then, when the inattentive duration elapses t seconds, it is determined that the inattentiveness is inattentive (step S307). If the face orientation angle does not exceed the inattentive angle threshold value in step S305, or if the inattentive duration does not elapse t seconds in step S306, the process returns to step S301.
例えば、ヨー角の変化量が脇見角度閾値を超えており、脇見継続時間がｔ秒を経過した場合は、ドライバが水平方向に顔を回転させて脇見をしていることが判定される。また、ピッチ角の変化量が所定の閾値を超えており、脇見継続時間がｔ秒を経過した場合は、ドライバが上下方向に顔を回転させて脇見をしていることが判定される。このように、ステップＳ３０７へ進んだ場合は、ドライバが脇見状態であり、運転操作に不適切な状態であることが判定される。ステップＳ３０７の後は、処理を終了する。 For example, when the amount of change in the yaw angle exceeds the inattentive angle threshold value and the inattentiveness duration elapses for t seconds, it is determined that the driver is inattentive by rotating his face in the horizontal direction. Further, when the amount of change in the pitch angle exceeds a predetermined threshold value and the inattentive duration elapses t seconds, it is determined that the driver rotates his face in the vertical direction to inattentively. In this way, when the process proceeds to step S307, it is determined that the driver is in an inattentive state and is in an inappropriate state for the driving operation. After step S307, the process ends.
以上のように図９の処理によれば、映像中の顔の特徴点間の距離に基づいて、ドライバが脇見状態であるか否かを判定することができる。 As described above, according to the process of FIG. 9, it is possible to determine whether or not the driver is in the inattentive state based on the distance between the feature points of the face in the image.
図９では、ドライバが運転操作に不適切な状態であるか否かを判定する処理として、ドライバが脇見状態であるか否かを判定する処理を例示したが、運転操作に不適切な他の状態についても、ドライバモニタカメラ１が撮影した画像に基づいて判定することができる。例えば、ドライバが居眠り状態であるか否かは、ドライバの眼の閉眼率に基づいて求めることができる。閉眼率は、ドライバの顔画像から眼の開閉を捉えて、所定時間内で目を閉じている時間の割合を算出することで求まる。この際、例えばテンプレートマッチングまたは眼検出用の識別器に画像を入力することにより、ドライバの眼を検出し、眼の縦横比に閾値を設けて眼の開閉を判定し、閉眼率を算出する。閉眼率が所定値以上の場合は、ドライバが居眠り状態（覚醒度低下状態）であると判定し、ドライバが運転操作に不適切な状態であると判定する。 In FIG. 9, as a process of determining whether or not the driver is in an inappropriate state for driving operation, a process of determining whether or not the driver is in an inattentive state is illustrated, but other processes that are inappropriate for driving operation are illustrated. The state can also be determined based on the image captured by the driver monitor camera 1. For example, whether or not the driver is in a dozing state can be determined based on the eye closure rate of the driver's eyes. The eye closure rate can be obtained by capturing the opening and closing of the eyes from the driver's face image and calculating the ratio of the time that the eyes are closed within a predetermined time. At this time, for example, by inputting an image into a classifier for template matching or eye detection, the driver's eye is detected, a threshold value is set for the aspect ratio of the eye, the opening / closing of the eye is determined, and the eye closure rate is calculated. When the eye closure rate is equal to or higher than a predetermined value, it is determined that the driver is in a dozing state (a state of decreased alertness), and that the driver is in an inappropriate state for driving operation.
また、ドライバの離席の状態、姿勢崩れ状態等についても、ドライバモニタカメラ１から得られるドライバの画像情報と、基準となるテンプレート画像とを比較することによって検出することができる。ドライバの離席の状態については、ドライバモニタカメラ１で撮影した画像中にドライバの顔が存在しない場合に、離席と判断することもできる。 In addition, the driver's absentee state, posture collapse state, and the like can also be detected by comparing the driver image information obtained from the driver monitor camera 1 with the reference template image. Regarding the state of leaving the driver, it can be determined that the driver is away from the seat when the driver's face does not exist in the image taken by the driver monitor camera 1.
更に、図９では、ドライバが運転操作に不適切な状態であるか否かを判定する処理として、ドライバの顔の向きに基づいてドライバが脇見状態であるか否かを判定する処理を例示したが、公知の手法によりドライバの視線の方向を検知するようにしてもよい。そして、視線の方向に基づいてドライバが運転操作に不適切な状態であるか否かを判定してもよい。 Further, FIG. 9 illustrates a process of determining whether or not the driver is in an inattentive state based on the orientation of the driver's face as a process of determining whether or not the driver is in an inappropriate state for driving operation. However, the direction of the driver's line of sight may be detected by a known method. Then, it may be determined whether or not the driver is in an inappropriate state for the driving operation based on the direction of the line of sight.
また、ドライバモニタカメラ１が撮影した画像以外のセンサ情報に基づいてドライバが運転操作に不適切な状態であるか否かを判定してもよい。例えば、シートに設けられた着座センサから得られる情報に基づいて、ドライバが着座していない（離席している）と判定される場合は、ドライバが運転操作に不適切な状態であることが判定される。また、シートベルトに設けたセンサにより、シートベルトの引き出し量またはシートベルトのトルクが所定値を超えている場合は、ドライバがうつ伏せになっていることが想定されるため、ドライバが運転操作に不適切な状態であることが判定される。 Further, it may be determined whether or not the driver is in an inappropriate state for the driving operation based on the sensor information other than the image captured by the driver monitor camera 1. For example, if it is determined that the driver is not seated (away from the seat) based on the information obtained from the seating sensor provided on the seat, the driver may be in an inappropriate state for driving operation. It is judged. In addition, if the seatbelt pull-out amount or seatbelt torque exceeds a predetermined value by the sensor provided on the seatbelt, it is assumed that the driver is lying down, and the driver is unable to operate. It is determined that the condition is appropriate.
また、心拍センサ等から得られるドライバの生体情報に基づいて、ドライバが運転操作に不適切な状態であること判定してもよい。例えば、ドライバの心拍数が所定値を超えている場合は、ドライバが運転操作に不適切な状態であることが判定される。 Further, it may be determined that the driver is in an inappropriate state for driving operation based on the biological information of the driver obtained from the heart rate sensor or the like. For example, when the heart rate of the driver exceeds a predetermined value, it is determined that the driver is in an inappropriate state for driving operation.
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことが可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the claims.
１ ドライバモニタカメラ
２ タッチセンサ
３ スピーカ
４ ＧＵＩ
５ ステアリング
６ ステアリングトルクセンサ
７ 舵角センサ
１０ プロセッサ
１２ 撮影可否判定部
１４ 状態判定部
１６ 通知制御部
１８ 保持期間測定部
１９ 運転操作不適レベル判定部
２０ メモリ
３０ 通信インターフェース
４０ 運転支援システム
５０ 映像
５１ 顔辞書
１００ 制御部（ＥＣＵ）
1 Driver monitor camera 2 Touch sensor 3 Speaker 4 GUI
5 Steering 6 Steering torque sensor 7 Steering angle sensor 10 Processor 12 Shooting availability judgment unit 14 Status judgment unit 16 Notification control unit 18 Retention period measurement unit 19 Driving operation inappropriate level judgment unit 20 Memory 30 Communication interface 40 Driving support system 50 Video 51 Face Dictionary 100 Control unit (ECU)
Claims (2)
前記ドライバの状態を表すセンサ情報に基づいて、前記ドライバが前記車両の運転操作に不適な状態となっているか否かを判定する状態判定部と、
前記ドライバモニタカメラが前記ドライバを撮影できなくなったと判定された撮影不能時点において、前記ドライバが前記車両の前記運転操作に適した状態である場合、前記撮影不能時点から所定の第１の遅延時間が経過すると前記ステアリングを保持する保持要求を通知部を介して前記ドライバに対して通知し、一方、前記撮影不能時点において、前記ドライバが前記車両の前記運転操作に不適な状態である場合、その不適な状態の開始時点から所定の第２の遅延時間が経過すると前記保持要求を前記通知部を介して前記ドライバに対して通知する通知制御部と、
を有する運転支援装置。 A shooting possibility determination unit that determines whether or not the driver monitor camera provided in the vehicle is obstructed by the steering wheel and the driver monitor camera cannot shoot the driver of the vehicle.
A state determination unit that determines whether or not the driver is in an unsuitable state for the driving operation of the vehicle based on the sensor information indicating the state of the driver.
If the driver is in a state suitable for the driving operation of the vehicle at the time when the driver monitor camera determines that the driver cannot take a picture, a predetermined first delay time from the time when the driver cannot take a picture is determined. After a lapse of time, a holding request for holding the steering wheel is notified to the driver via the notification unit, and on the other hand, if the driver is in an unsuitable state for the driving operation of the vehicle at the time when the shooting is impossible, the driver is unsuitable. A notification control unit that notifies the driver of the holding request via the notification unit when a predetermined second delay time elapses from the start time of the state.
Driving support device with.
前記第１の遅延時間又は前記第２の遅延時間は、前記撮影不能時点よりも以前における前記運転操作不適レベルに基づいて、前記ドライバが運転操作に不適なほど短い時間に設定される、請求項１に記載の運転支援装置。 Further having a driving operation unsuitable level determination unit for determining a driving operation unsuitable level indicating a level unsuitable for the driving operation of the driver.
The first delay time or the second delay time is set to a time short enough for the driver to be unsuitable for driving operation based on the driving operation unsuitable level before the time when the image cannot be taken. The driving support device according to 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019134739A JP7346969B2 (en) | 2019-07-22 | 2019-07-22 | Driving support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019134739A JP7346969B2 (en) | 2019-07-22 | 2019-07-22 | Driving support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021018665A true JP2021018665A (en) | 2021-02-15 |
| JP7346969B2 JP7346969B2 (en) | 2023-09-20 |
Family
ID=74564306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019134739A Active JP7346969B2 (en) | 2019-07-22 | 2019-07-22 | Driving support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7346969B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11688185B2 (en) | 2021-03-22 | 2023-06-27 | Toyota Jidosha Kabushiki Kaisha | Consciousness state determination system and autonomous driving apparatus |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000172966A (en) * | 1998-12-11 | 2000-06-23 | Nissan Motor Co Ltd | Alarm device |
| JP2009201756A (en) * | 2008-02-28 | 2009-09-10 | Omron Corp | Information processor and information processing method, and program |
| JP2016038768A (en) * | 2014-08-08 | 2016-03-22 | トヨタ自動車株式会社 | Vehicle controller |
| JP2016057839A (en) * | 2014-09-09 | 2016-04-21 | 株式会社デンソーアイティーラボラトリ | Facial direction detection device and warning system for vehicle |
| JP2018114804A (en) * | 2017-01-17 | 2018-07-26 | トヨタ自動車株式会社 | Vehicular control device |
| JP2018116429A (en) * | 2017-01-17 | 2018-07-26 | トヨタ自動車株式会社 | Vehicle control device |
| JP2018128834A (en) * | 2017-02-08 | 2018-08-16 | トヨタ自動車株式会社 | Driver state detection device |
| JP2018127084A (en) * | 2017-02-08 | 2018-08-16 | トヨタ自動車株式会社 | Automatic drive vehicle |
| JP2018149821A (en) * | 2017-03-09 | 2018-09-27 | オムロン株式会社 | Operation mode changeover control device, method and program |
| JP2018202918A (en) * | 2017-05-31 | 2018-12-27 | 株式会社東海理化電機製作所 | Driver's hold detection system |
-
2019
- 2019-07-22 JP JP2019134739A patent/JP7346969B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000172966A (en) * | 1998-12-11 | 2000-06-23 | Nissan Motor Co Ltd | Alarm device |
| JP2009201756A (en) * | 2008-02-28 | 2009-09-10 | Omron Corp | Information processor and information processing method, and program |
| JP2016038768A (en) * | 2014-08-08 | 2016-03-22 | トヨタ自動車株式会社 | Vehicle controller |
| JP2016057839A (en) * | 2014-09-09 | 2016-04-21 | 株式会社デンソーアイティーラボラトリ | Facial direction detection device and warning system for vehicle |
| JP2018114804A (en) * | 2017-01-17 | 2018-07-26 | トヨタ自動車株式会社 | Vehicular control device |
| JP2018116429A (en) * | 2017-01-17 | 2018-07-26 | トヨタ自動車株式会社 | Vehicle control device |
| JP2018128834A (en) * | 2017-02-08 | 2018-08-16 | トヨタ自動車株式会社 | Driver state detection device |
| JP2018127084A (en) * | 2017-02-08 | 2018-08-16 | トヨタ自動車株式会社 | Automatic drive vehicle |
| JP2018149821A (en) * | 2017-03-09 | 2018-09-27 | オムロン株式会社 | Operation mode changeover control device, method and program |
| JP2018202918A (en) * | 2017-05-31 | 2018-12-27 | 株式会社東海理化電機製作所 | Driver's hold detection system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11688185B2 (en) | 2021-03-22 | 2023-06-27 | Toyota Jidosha Kabushiki Kaisha | Consciousness state determination system and autonomous driving apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7346969B2 (en) | 2023-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7047821B2 (en) | Driving support device | |
| JP5790762B2 (en) | 瞼 Detection device | |
| JP2016103249A (en) | Driving support device and driving support method | |
| JP2010033106A (en) | Driver support device, driver support method, and driver support processing program | |
| KR20150043659A (en) | Method for alarming status of vehicle and Apparatus for the same | |
| JP2018128974A (en) | Driver state monitoring device | |
| JP2017182776A (en) | Vehicle periphery monitoring apparatus and computer program | |
| JP2007207274A (en) | Start annunciation device | |
| JP5644414B2 (en) | Awakening level determination device, awakening level determination method, and program | |
| JP5402047B2 (en) | Blind spot display device | |
| JP6971582B2 (en) | Status detector, status detection method, and program | |
| JP4858516B2 (en) | Face orientation detection device | |
| JP2021018665A (en) | Driving assistance device | |
| JP4173083B2 (en) | Arousal state determination device and arousal state determination method | |
| JP2011159214A (en) | Action detection device | |
| US11661108B2 (en) | Driving assistance device and method | |
| JP2017191367A (en) | Safe driving support device and safe driving support program | |
| JP2008250859A (en) | Arousal determining device | |
| JP2014115859A (en) | Inattentive driving determination device | |
| JP6579496B2 (en) | Driver state estimation device | |
| WO2013114871A1 (en) | Driving assistance device and driving assistance method | |
| JP6281238B2 (en) | Recognition degree estimation device and recognition degree estimation method | |
| WO2024071298A1 (en) | Driving assistance device | |
| JP2021033872A (en) | Display control device for vehicle, display control method for vehicle, and program | |
| WO2024122309A1 (en) | Driver monitoring device and monitoring program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7346969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |