JP2023072271A - Driver state determination method and device - Google Patents

Abstract

To provide a driver state determination method and a device that can determine an abnormal state of a driver with high accuracy.SOLUTION: A driver state determination method includes an open or closed eye determination step S2, S3 of detecting an open or closed state of both left and right eyes of a driver, a driving operation amount acquisition step S1 of acquiring at least one of amounts of driving operation for an operation device of a vehicle performed by the driver at predetermined timing, and a driver abnormal state determination step S5, S10, S11 of determining whether the driver is in an abnormal state. The driver abnormal state determination step S10, S11 determines that the driver is in the abnormal state when both the left and right eyes of the driver are in a closed eye state and the driver's non-driving operation state continues for a first predetermined time T1, and determines that the driver is in the abnormal state when one eye of the driver is in the closed eye state and specific operation to an extent not hindering the driving is not detected within a second predetermined time T2 despite a request for the specific operation to the driver.SELECTED DRAWING: Figure 5

Description

本発明は、車両を運転する運転者の異常状態を検出する運転者状態判定方法及びその装置に関する。 The present invention relates to a driver condition determination method and device for detecting an abnormal condition of a driver driving a vehicle.

従来より、運転者の意識状態、特に運転者の覚醒状態を的確に把握し、この覚醒状態に応じて車両に対する運転操作を支援する運転者支援装置が知られている。
眠気レベルや覚醒不良状態を含めた運転者の異常状態は、通常、カメラ等の撮像手段によって取得された運転者の頭部姿勢や顔状態等の頭部関連情報を介して判定される。
頭部関連情報のうち頭部姿勢は、例えば、運転者の顔向きや頭部位置（三次元座標）等を介して検出され、顔状態は、例えば、運転者の表情や目の開度状態（瞼状態）等を介して検出されている。 2. Description of the Related Art Conventionally, there has been known a driver assistance device that accurately grasps the state of consciousness of a driver, particularly the arousal state of the driver, and assists the driving operation of a vehicle according to the arousal state.
A driver's abnormal state including drowsiness level and poor wakefulness is usually determined through head-related information such as the driver's head posture and face state obtained by imaging means such as a camera.
Among the head-related information, the head posture is detected via, for example, the driver's face orientation and head position (three-dimensional coordinates). (eyelid state) and the like.

特許文献１のドライバ監視装置は、運転者の撮像画像を取得する撮像画像取得手段と、この撮像画像取得手段による認識安定性を判定する認識安定性判定手段と、運転者に注意を喚起する注意喚起手段と、運転者に所定動作を要求する動作要求手段とを有し、認識安定性判定手段は、認識安定性が高く且つ開眼度が低いとき、注意喚起手段を作動させ、認識安定性が低いとき、運転者に対して画像処理によらずに動作を検出するための非画像動作を要求し、この非画像動作の有無によって運転者の覚醒度を判定している。 The driver monitoring device of Patent Document 1 includes captured image acquisition means for acquiring a captured image of a driver, recognition stability determination means for determining recognition stability by the captured image acquisition means, and attention alerting to the driver. and an action requesting means for requesting the driver to perform a predetermined action. The recognition stability determining means activates the attention calling means when the recognition stability is high and the degree of eye opening is low, and the recognition stability is improved. When it is low, the driver is requested to perform a non-image motion to detect the motion without relying on image processing, and the arousal level of the driver is determined based on the presence or absence of this non-image motion.

特開２０１５－０９５１６２号公報JP 2015-095162 A

特許文献１のドライバ監視装置は、運転者が撮像されている車内撮像環境や撮像画像取得手段の動作性能等の撮像条件が成立してない撮像条件不成立時、運転者による非画像動作に基づき運転者の異常状態（覚醒不良状態）を判定することが可能である。
しかし、特許文献１のドライバ監視装置では、撮像条件が成立した撮像条件成立時であるにも拘らず、運転者の異常状態を判定することができない虞がある。 In the driver monitoring device of Patent Document 1, when the imaging conditions such as the in-vehicle imaging environment in which the driver is imaged and the operation performance of the captured image acquisition means are not satisfied, the driving is performed based on the non-image operation by the driver. It is possible to determine the abnormal state (defective state of alertness) of a person.
However, in the driver monitoring device of Patent Document 1, there is a possibility that the abnormal state of the driver cannot be determined even when the image capturing condition is satisfied.

特許文献１の技術は、運転者を撮像するに当たり撮像条件が成立している場合、運転者の開眼度に基づき運転者の異常状態を判定している。それ故、運転者の片目閉眼状態が撮像画像取得手段に撮像された場合、他方の目は開眼されているため、開眼判定される。
しかし、運転者が、脳疾患（脳梗塞や脳卒中等）に起因した眼瞼痙攣等の顔面神経麻痺を発症した場合、一方の目が開眼で他方の目が閉眼とされる状態が発生し得る。 The technique disclosed in Patent Literature 1 determines whether the driver is in an abnormal state based on the driver's degree of eye opening when the imaging conditions are satisfied in imaging the driver. Therefore, when an image of the driver with one eye closed is captured by the captured image acquisition means, the other eye is open, so it is determined that the other eye is open.
However, when a driver develops facial nerve paralysis such as blepharospasm caused by a brain disease (cerebral infarction, stroke, etc.), a state in which one eye is open and the other eye is closed may occur.

他方、夏季の日中のように進行方向前方が高照度の場合や、運転者の目にごみ等が入った場合、運転者が覚醒良好状態であっても、片目のみが閉眼状態になる状況が発生する。
それ故、運転者の片目閉眼状態が撮像手段によって撮像されたうえで正確に検出されたとしても、この検知された片目閉眼状態の取得を運転者の疾患の徴候であると一義的に見做すことはできない。即ち、運転者の異常状態を高精度に判定することは容易ではない。 On the other hand, when there is high illumination in front of the vehicle in the direction of travel, such as during the daytime in summer, or when dust or the like enters the eyes of the driver, even if the driver is well awake, only one eye is closed. occurs.
Therefore, even if the one-eye-closed state of the driver is captured by the imaging means and accurately detected, the acquisition of the detected one-eye-closed state is unambiguously regarded as a symptom of the driver's disease. can't That is, it is not easy to determine the abnormal state of the driver with high accuracy.

本発明の目的は、運転者の異常状態を高精度に判定可能な運転者状態判定方法及びその装置等を提供することである。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a driver's condition determination method, apparatus, etc., capable of determining an abnormal condition of a driver with high accuracy.

請求項１の運転者状態判定方法は、車両の運転者の異常状態を検出する運転者状態判定方法において、前記運転者の左右両目の開閉状態を検出する開閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定することを特徴としている。 According to a first aspect of the present invention, there is provided a driver state determination method for detecting an abnormal state of a driver of a vehicle, comprising: an open/closed eye determination step of detecting whether the left and right eyes of the driver are open or closed; a driving operation amount acquiring step of acquiring at least one amount of driving operation by a driver with respect to the operating device of the vehicle; and a driver abnormal state determining step of determining whether the driver is in an abnormal state, The driver's abnormal state determination step determines that the driver is in an abnormal state when the driver's left and right eyes are closed and the driver's non-operating state continues for a first predetermined time. When the driver is in an abnormal state when one eye of the driver is closed and the specific operation is not detected within the second predetermined time even if the driver is requested to perform a specific operation that does not interfere with driving. It is characterized by determining that there is

この運転者状態判定方法では、前記運転者の左右両目の開閉状態を検出する開閉眼判定工程と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程と、前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有するため、異常時の運転者の徴候（以下、異常時徴候）である閉眼と異常時の運転者の動作（以下、異常時動作）である運転不操作とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。前記運転者異常状態判定工程は、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を運転者の実際の操作に基づき確実に判定することができる。 In this driver state determination method, at least one of an open/closed eye determination step of detecting whether the left and right eyes of the driver are open or closed, and a driving operation amount of acquiring at least one of a driving operation amount of the operation device of the vehicle by the driver at a predetermined timing. Since the operation amount acquisition step and the driver abnormal state determination step for determining whether the driver is in an abnormal state are included, the driver's symptoms in an abnormal state (hereinafter referred to as abnormal symptoms) such as closed eyes and an abnormal state are included. A driver's operation (hereinafter referred to as an abnormal operation), that is, no driving operation, can be used as a condition for determining whether the driver is in an abnormal state.
The driver's abnormal state determination step is for determining that the driver is in an abnormal state when both the left and right eyes of the driver are closed and the driver's non-operating state continues for a first predetermined time. , the abnormal state of the driver can be determined with high accuracy by the two abnormality determination conditions of the abnormal symptom and the abnormal operation. In the driver's abnormal state determination step, the specific operation is detected within a second predetermined time even if the driver is in a state where one eye is closed and the driver is requested to perform a specific operation that does not hinder driving. If not, it is determined that the driver is in an abnormal state. Therefore, it is possible to reliably determine the abnormal state of the driver with one eye closed based on the actual operation of the driver without hindering the driving of the vehicle. .

請求項２の発明は、請求項１の発明において、前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態である場合及び片目が閉眼状態である場合に報知することを特徴としている。
この構成によれば、左右両目が開眼状態ではない状況において、運転者の異常状態を一層確実に判定することができる。 The invention according to claim 2 is characterized in that, in the invention according to claim 1, the driver's abnormal state determination step provides notification when both the left and right eyes of the driver are closed and when one eye is closed. there is
According to this configuration, it is possible to more reliably determine whether the driver is in an abnormal state in a situation where both the left and right eyes are not open.

請求項３の発明は、請求項１又は２の発明において、前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程を有し、前記運転者異常状態判定工程は、前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転者の片目が閉眼状態であって、前記運転者による運転不操作状態が第１所定時間よりも短い第３所定時間継続した場合、前記運転者が異常状態であると判定することを特徴としている。
この構成によれば、異常姿勢をパラメータとして運転者の異常状態を確実且つ早期に判定することができる。 The invention of claim 3 is the invention of claim 1 or 2, further comprising a head posture acquiring step of acquiring the face orientation and the head position of the driver, and the driver abnormal state determining step includes: The driver's head posture acquired in the posture acquisition step is an abnormal posture, the driver has one eye closed, and the driver has not operated the vehicle for a third predetermined time period shorter than the first predetermined time period. It is characterized by determining that the driver is in an abnormal state when the condition continues for a long period of time.
According to this configuration, the abnormal state of the driver can be reliably and quickly determined using the abnormal posture as a parameter.

請求項４の運転者状態判定装置は、車両の運転者の異常状態を検出する運転者状態判定装置において、前記運転者の左右両目の開閉状態を検出する開閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、前記運転者異常状態判定手段は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定することを特徴としている。 According to a fourth aspect of the present invention, there is provided a driver state determination device for detecting an abnormal state of a driver of a vehicle, wherein an open/closed eye determination means detects whether the left and right eyes of the driver are open or closed; Driving operation amount acquisition means for acquiring at least one amount of driving operation of the operation device of the vehicle by the driver; and driver abnormal state determination means for determining whether the driver is in an abnormal state, The driver's abnormal state determination means determines that the driver is in an abnormal state when the left and right eyes of the driver are closed and the driver's non-operating state continues for a first predetermined time. When the driver is in an abnormal state when one eye of the driver is closed and the specific operation is not detected within the second predetermined time even if the driver is requested to perform a specific operation that does not interfere with driving. It is characterized by determining that there is

この運転者状態判定装置では、前記運転者の左右両目の開閉状態を検出する開閉眼判定手段と、所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得手段と、前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有するため、異常時徴候である閉眼と異常時動作である運転不操作とを運転者の異常状態の判定条件にすることができる。
前記運転者異常状態判定手段は、前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。前記運転者異常状態判定手段は、前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を確実に判定することができる。 In this driver state determination device, an open/closed eye determining means for detecting whether the left and right eyes of the driver are open or closed; Since the operation amount acquisition means and the driver abnormality determination means for determining whether or not the driver is in an abnormal state are provided, it is possible to detect whether the driver is abnormally closing his/her eyes, which is an abnormality symptom, and not driving, which is an abnormal operation. It can be used as a condition for judging the state.
The driver's abnormal condition determination means determines that the driver is in an abnormal condition when the driver's left and right eyes are closed and the driver's non-operating state continues for a first predetermined time. , the abnormal state of the driver can be determined with high accuracy by the two abnormality determination conditions of the abnormal symptom and the abnormal action. The driver's abnormal state determination means detects the specific operation within a second predetermined time even if the driver is in a closed eye state and the specific operation is requested to the extent that the driver does not hinder driving. If not, it is determined that the driver is in an abnormal state. Therefore, it is possible to reliably determine the abnormal state of the driver with one eye closed without hindering the driving of the vehicle.

本発明の運転者状態判定方法及びその装置によれば、片目閉眼状態における運転者の疾患徴候を判断することにより、運転者の異常状態を高精度に判定することができる。 According to the driver condition determination method and apparatus of the present invention, the abnormal condition of the driver can be determined with high accuracy by determining the symptoms of the driver's disease when one eye is closed.

実施例１に係る運転者状態判定装置のブロック図である。1 is a block diagram of a driver's state determination device according to Embodiment 1; FIG. 監視支援装置に係る説明図である。It is an explanatory view concerning a monitoring support device. 制動支援装置に係る説明図である。It is an explanatory view concerning a braking assistance device. 停車支援装置に係る説明図である。It is explanatory drawing which concerns on a stop assistance apparatus. 閉眼判定制御処理を示すフローチャートである。7 is a flowchart showing closed-eye determination control processing. 頭部姿勢判定制御処理を示すフローチャートである。9 is a flowchart showing head posture determination control processing;

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両の運転者状態判定装置に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail based on the drawings.
The following description exemplifies the application of the present invention to a vehicle driver state determination device, and does not limit the present invention, its application, or its use.

以下、本発明の実施例１について図１～図６に基づいて説明する。
運転者状態判定装置Ｍは、運転者の意識状態、特に運転者が運転する車両（以下、自車両ともいう）の運転操作が困難な異常状態を判定すると共に、運転者の異常状態が判定された場合、自律的に緊急停車可能な運転支援装置である。
以下、運転者の異常状態とは、運転者が意識的に覚醒しておらず且つ身体的に姿勢が崩れて運転操作が不可能な覚醒不良状態（疾患発症や居眠を含む）として説明する。
また、以下の説明は、運転者状態判定方法の説明を含むものである。 Embodiment 1 of the present invention will be described below with reference to FIGS. 1 to 6. FIG.
The driver state determination device M determines the state of consciousness of the driver, in particular, the abnormal state in which the driving operation of the vehicle driven by the driver (hereinafter also referred to as own vehicle) is difficult, and determines the abnormal state of the driver. It is a driving support device that can autonomously make an emergency stop.
Hereinafter, the abnormal state of the driver will be described as a state of poor wakefulness (including the onset of a disease and falling asleep) in which the driver is not consciously awake and is physically disoriented and unable to drive. .
Also, the following description includes the description of the driver state determination method.

図１に示すように、運転者状態判定装置Ｍは、運転者の操作挙動及び車両の走行挙動等を検出可能な複数の検出手段１と、運転者に対して車両側から自律的に車両の運転支援を行う運転者支援装置２と、検出手段１から入力される入力信号に基づき各種演算を行うと共に運転者支援装置２に各種指令信号を出力するＥＣＵ（Electronic Control Unit）３等を主な構成要素としている。 As shown in FIG. 1, the driver state determination device M includes a plurality of detection means 1 capable of detecting the operation behavior of the driver, the running behavior of the vehicle, etc. A driver assistance device 2 that assists driving and an ECU (Electronic Control Unit) 3 that performs various calculations based on input signals input from the detection means 1 and outputs various command signals to the driver assistance device 2, etc. It is a component.

まず、検出手段１について説明する。
図１に示すように、検出手段１は、運転者を撮像するカメラ１１と、車両の速度を検出する車速センサ１２と、ステアリングホイール（図示略）の操作による操舵角度を検出する舵角センサ１３と、運転者によるステアリングホイールの把持を検出する把持センサ１４と、アクセルペダル（図示略）の踏込量を検出するアクセルセンサ１５と、ブレーキペダル（図示略）の踏込量を検出するブレーキセンサ１６と、ハザードランプ（図示略）を作動させるハザードスイッチ１７等を備えている。各センサ１２～１６が、所定タイミング、所謂判定時直前である現時点の運転操作量を取得する運転操作量取得手段に相当している。 First, the detection means 1 will be explained.
As shown in FIG. 1, the detection means 1 includes a camera 11 that captures an image of the driver, a vehicle speed sensor 12 that detects the speed of the vehicle, and a steering angle sensor 13 that detects the steering angle by operating a steering wheel (not shown). , a gripping sensor 14 for detecting gripping of the steering wheel by the driver, an accelerator sensor 15 for detecting the amount of depression of an accelerator pedal (not shown), and a brake sensor 16 for detecting the amount of depression of a brake pedal (not shown). , and a hazard switch 17 for operating a hazard lamp (not shown). Each of the sensors 12 to 16 corresponds to a driving operation amount acquiring means for acquiring the driving operation amount at a predetermined timing, that is, just before the so-called determination time.

カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）カメラによって構成され、インスツルメントパネル（図示略）上部中央において運転者対向位置に装着されている。
このカメラ１１は、運転席に着座してシートベルトを着用した運転者の顔面を含む頭部を前方正面から撮像可能に形成されている。撮像された頭部画像は、運転者の顔面部分の画像を切り出して、顔面の指向方向（顔向方向）、運転者の表情の特定、目のアイリス（虹彩）を拡大検出して視線向方向、瞼部分を拡大検出して運転者の左右の目の眼開度や開閉状態、運転者の頭部（重心）の三次元座標位置等を検出可能に構成されている。
カメラ１１は、少なくとも、必要な撮像画像を取得できれば良く、前方正面カメラと運転席の真上に設置した上方カメラの２つのカメラ、或いは３以上のカメラを搭載しても良い。 The camera 11 is composed of, for example, a CCD (Charge Coupled Device) camera, and is mounted at a position facing the driver in the upper center of an instrument panel (not shown).
The camera 11 is formed so as to be able to image the head including the face of the driver seated in the driver's seat and wearing the seat belt from the front. The image of the driver's head is extracted from the image of the driver's face, and the orientation direction of the face (face direction), the facial expression of the driver is identified, and the eye iris (iris) is enlarged and detected to determine the line-of-sight direction. , the eyelid portion is enlarged and detected to detect the opening degree and open/closed state of the left and right eyes of the driver, the three-dimensional coordinate position of the driver's head (center of gravity), and the like.
The camera 11 is sufficient as long as it can acquire at least a necessary captured image, and may be equipped with two cameras, a front camera and an upper camera installed directly above the driver's seat, or three or more cameras.

次に、運転者支援装置２について説明する。
図１に示すように、運転者支援装置２は、運転者に対して警戒状態を報知する監視支援装置２１と、車両に対して制動動作を行わせる制動支援装置２２と、車両に対して緊急停車動作を行わせる停車支援装置２３等から構成されている。 Next, the driver assistance device 2 will be described.
As shown in FIG. 1, the driver support device 2 includes a monitoring support device 21 that notifies the driver of a warning state, a braking support device 22 that performs a braking operation on the vehicle, and an emergency warning device for the vehicle. It is composed of a stop support device 23 and the like that cause the vehicle to stop.

監視支援装置２１は、意識状態、所謂運転者の覚醒状態を認知して回復が必要と判断した場合、運転者に報知することにより運転者の意識の回復を促すように構成されている。
この監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、車室内に設けた１又は複数のスピーカ（図示略）から運転者に対して警報を発生する。
図２に示すように、インスツルメントパネルに配置された速度メータ部２１ａには、警報を表示可能な表示部２１ｂが設けられている。監視支援装置２１は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、表示部２１ｂに、例えば「前方注意」の警報を表示する。 When the monitoring support device 21 recognizes the state of consciousness, that is, the so-called arousal state of the driver, and determines that recovery is necessary, the monitoring support device 21 notifies the driver to encourage recovery of the driver's consciousness.
When the monitoring support device 21 receives a distraction signal or a doze estimation signal from the ECU 3, it issues an alarm to the driver from one or a plurality of speakers (not shown) provided in the vehicle compartment.
As shown in FIG. 2, the speedometer section 21a arranged on the instrument panel is provided with a display section 21b capable of displaying an alarm. When the monitoring support device 21 receives the inattentive signal or the dozing estimation signal from the ECU 3, the display unit 21b displays, for example, a warning of "Caution ahead".

制動支援装置２２は、走行中の自車両が先行する他車両に接近したとき、警報を行い、衝突を回避可能な制動限界距離になった場合、緊急制動するように構成されている。
図３に示すように、制動支援装置２２は、自車両が先行する他車両Ｂに対して自車両Ａ１の位置まで接近したとき、スピーカから運転者に対して警報を発生する。
他車両Ｂと自車両Ａ１との離隔距離は、通常であれば運転者が自身の運転操作（手動操作）で衝突を回避することができる時間（例えば、０．８ｓｅｃ）に対応した距離である。
制動支援装置２２は、自車両が先行する他車両Ｂに対して更に自車両Ａ２の位置まで接近したとき、自動的に緊急制動する。他車両Ｂと自車両Ａ２との離隔距離は、最大制動力相当の緊急制動により衝突を回避することができる限界距離である。 The braking support device 22 is configured to issue an alarm when the own vehicle is approaching another preceding vehicle, and to perform emergency braking when the braking limit distance at which collision can be avoided is reached.
As shown in FIG. 3, the braking support device 22 issues an alarm to the driver from the speaker when the own vehicle approaches the preceding other vehicle B to the position of the own vehicle A1.
The separation distance between the other vehicle B and the own vehicle A1 is a distance corresponding to the time (for example, 0.8 sec) in which the driver can normally avoid a collision by his/her own driving operation (manual operation). .
The braking support device 22 automatically performs emergency braking when the own vehicle approaches the preceding other vehicle B to the position of the own vehicle A2. The separation distance between the other vehicle B and the own vehicle A2 is the limit distance at which a collision can be avoided by emergency braking corresponding to the maximum braking force.

また、図３に示すように、制動支援装置２２は、ＥＣＵ３から脇見信号又は居眠推定信号を受信した場合、走行中の自車両が先行する他車両Ｂに対して自車両Ａ１の位置よりも離隔した自車両Ａ３の位置まで接近したとき、スピーカから運転者に対して警報を発生する。ここで、他車両Ｂと自車両Ａ３との離隔距離は、運転者が注意散漫状態であっても運転者が自身の運転操作で衝突を回避することができる時間（例えば、１．２ｓｅｃ）に対応した距離である。 Further, as shown in FIG. 3 , when the braking support device 22 receives the inattentive signal or the drowsiness estimation signal from the ECU 3 , the vehicle A1 is positioned closer to the other vehicle B in which the own vehicle is running than the position of the own vehicle A1. When the host vehicle A3 approaches the distant position, the speaker issues an alarm to the driver. Here, the separation distance between the other vehicle B and the own vehicle A3 is set to the time (for example, 1.2 seconds) during which the driver can avoid the collision by his/her own driving operation even if the driver is in a distracted state. corresponding distance.

停車支援装置２３は、ＥＣＵ３から居眠推定信号を受信した場合、スピーカから運転者に対して警報を発生し、居眠確定信号を受信後、自車両を自律的に緊急停車させる。
図４に示すように、停車支援装置２３は、自車両Ｘ１の位置で両目閉眼状態に対応した居眠推定信号を受信したとき、スピーカを作動させて警報を発生し、自車両Ｘ２の位置で運転不操作状態等に対応した居眠確定信号を受信している。以下、特に説明がない場合、両目閉眼状態のとき、単に閉眼状態とし、片目のみ閉眼状態のとき、片目閉眼状態とする。
次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。 When receiving the dozing presumed signal from the ECU 3, the stop support device 23 issues an alarm to the driver from the speaker, and autonomously makes an emergency stop of the own vehicle after receiving the dozing confirmation signal.
As shown in FIG. 4, when the stop assistance device 23 receives the drowsiness presumed signal corresponding to the state of both eyes closed at the position of the own vehicle X1, it activates the speaker to issue an alarm, and at the position of the own vehicle X2. A doze confirmation signal corresponding to the driving inactivity state or the like is received. In the following description, when both eyes are closed, the eye is simply closed, and when only one eye is closed, the one eye is closed, unless otherwise specified.
Next, in the case of the own vehicle X3, automatic driving is started even if manual driving by the driver has been carried out until then. After the own vehicle that has started automatic driving moves to a safe zone such as the shoulder of the road, it is autonomously stopped at the position of the own vehicle X4.

また、停車支援装置２３は、ＥＣＵ３から異常信号を受信した場合、自車両を自律的に緊急停車する。図４に示すように、停車支援装置２３は、自車両Ｘ２の位置で運転者の異常信号を受信する。次に、自車両Ｘ３のとき、それまで運転者によるマニュアル運転であっても自動運転を開始する。自動運転を開始した自車両は、路肩等の安全地帯に移動した後、自車両Ｘ４の位置において自律緊急停車される。その後、停車支援装置２３は、例えば、停車保持期間が所定時間経過した後、救急センタ等に緊急通報を行う。以下、これら自律緊急停車制御を異常時シーケンス制御という。 In addition, when receiving an abnormal signal from the ECU 3, the stop support device 23 autonomously stops the host vehicle in an emergency. As shown in FIG. 4, the stop assistance device 23 receives the driver's abnormality signal at the position of the own vehicle X2. Next, in the case of the own vehicle X3, automatic driving is started even if manual driving by the driver has been carried out until then. After the own vehicle that has started automatic driving moves to a safe zone such as the shoulder of the road, it is autonomously stopped at the position of the own vehicle X4. Thereafter, the stop support device 23 makes an emergency call to an emergency center or the like, for example, after the vehicle stop holding period has elapsed for a predetermined period of time. These autonomous emergency stop controls are hereinafter referred to as abnormal sequence control.

次に、ＥＣＵ３について説明する。
ＥＣＵ３は、異常時の運転者の徴候（以下、異常時徴候）と、異常時の運転者の身体的状態（以下、異常時状態）と、異常時の運転者の動作（以下、異常時動作）とを用いて夫々の判定を行っている。このＥＣＵ３は、ＣＰＵ（Central Processing Unit）と、ＲＯＭと、ＲＡＭと、イン側インタフェイスと、アウト側インタフェイス等によって構成されている。ＲＯＭには、ブレーキ制御や表示制御等種々のプログラムやデータが格納され、ＲＡＭには、ＣＰＵが一連の処理を行う際に使用される処理領域が設けられている。 Next, ECU3 is demonstrated.
The ECU 3 recognizes signs of the driver when there is an abnormality (hereinafter referred to as signs of abnormality), physical conditions of the driver when there is an abnormality (hereinafter referred to as abnormal conditions), and actions of the driver when there is an abnormality (hereafter referred to as abnormal actions). ) are used to make each judgment. The ECU 3 includes a CPU (Central Processing Unit), a ROM, a RAM, an in-side interface, an out-side interface, and the like. Various programs and data such as brake control and display control are stored in the ROM, and a processing area used when the CPU performs a series of processes is provided in the RAM.

図１に示すように、ＥＣＵ３は、運転者の頭部姿勢状態を判定する頭部姿勢判定部３１と、運転者の左右両目について開眼度に基づき各々の開閉状態を判定する眼状態判定部３２（開閉眼判定手段）と、車両の運転に対して阻害要因に成り得る運転者状態を判定する運転者状態判定部３３等を備えている。 As shown in FIG. 1, the ECU 3 includes a head posture determination unit 31 that determines the state of the driver's head posture, and an eye state determination unit 32 that determines the open/closed state of each of the left and right eyes of the driver based on the degree of eye opening. (open/closed eye determination means), and a driver state determination unit 33 for determining a driver state that may be a hindrance to driving the vehicle.

頭部姿勢判定部３１は、カメラ１１が撮像した撮像画像情報に基づき運転者の頭部姿勢状態を判定している。この頭部姿勢判定部３１は、運転者の頭部姿勢状態が俯き、横倒れ、突っ伏し、後傾のうち何れかであることを検出した場合、頭部姿勢崩れを判定する。
頭部姿勢崩れが判定されたとき、第１カウンタＣ１のカウント値に１が代入される。第１カウンタＣ１の初期値は０である。 The head posture determination unit 31 determines the head posture state of the driver based on the captured image information captured by the camera 11 . When the head posture determination unit 31 detects that the head posture state of the driver is one of downward, sideways, prostrate, and backward tilt, the head posture determination unit 31 determines that the head posture has collapsed.
When the head posture collapse is determined, 1 is substituted for the count value of the first counter C1. The initial value of the first counter C1 is zero.

頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上の場合、俯き判定信号を出力し、ロール方向の顔向角度の絶対値が所定閾値以上の場合、横倒れ（横凭れ）判定信号を出力する。また、頭部姿勢判定部３１は、例えば、ピッチ方向の顔向角度の絶対値が所定閾値以上で且つ現在の頭部位置が基準頭部位置に頭部位置閾値を減算した値以上の場合、突っ伏し判定信号を出力し、ピッチ方向の顔向角度が、所定閾値以上且つ基準頭部位置に頭部位置閾値を加算した値に対して現在の頭部位置よりも小さい場合、後傾判定信号を出力する。俯き、横倒れ、突っ伏し、後傾を判定するための角度や頭部位置に夫々関連する各閾値が、運転者の頭部姿勢異常を判定するための頭部姿勢判定閾値に夫々相当する。 For example, when the absolute value of the face angle in the pitch direction is equal to or greater than a predetermined threshold, the head posture determination unit 31 outputs a downward determination signal. Outputs a fall (lateral lean) determination signal. Further, for example, when the absolute value of the face angle in the pitch direction is equal to or greater than a predetermined threshold and the current head position is equal to or greater than a value obtained by subtracting the head position threshold from the reference head position, A lunge determination signal is output, and if the face angle in the pitch direction is equal to or greater than a predetermined threshold and is smaller than the current head position with respect to the value obtained by adding the head position threshold to the reference head position, the backward tilt determination signal is output. Output. Each threshold associated with the angle and head position for determining whether the driver is lying down, lying down, lying down, or tilting backward corresponds to the head posture determination threshold for determining whether the driver's head posture is abnormal.

眼状態判定部３２は、運転者の左右両目の状態が閉眼状態か否か、及び左右両目のうち片目のみが閉眼状態か否かについて判定している。
この眼状態判定部３２は、例えば、カメラ１１によって撮像した運転者の上下の瞼を夫々検出し、両瞼の縁間の画素数に基づいて運転者の左右夫々の目の開眼度を検出する。
検出された左右夫々の目の開眼度が、何れも所定の判定閾値以上の場合、開眼状態であると判定され、検出された左右夫々の目の開眼度が、何れも所定の判定閾値未満の場合、閉眼状態であると判定される。 The eye state determination unit 32 determines whether the left and right eyes of the driver are in the closed state, and whether only one of the left and right eyes is in the closed state.
The eye condition determination unit 32 detects, for example, the upper and lower eyelids of the driver captured by the camera 11, and detects the degree of opening of the left and right eyes of the driver based on the number of pixels between the edges of the eyelids. .
When the degree of openness of each of the detected left and right eyes is equal to or greater than a predetermined determination threshold value, it is determined that the eyes are open, and the degree of openness of each of the detected left and right eyes is less than the predetermined threshold value. In this case, it is determined that the eyes are closed.

また、眼状態判定部３２は、一方の目の開眼度が、所定の判定閾値以上で且つ他方の目の開眼度が、所定の判定閾値未満の場合、片目閉眼状態であると判定している。
運転者の左右両目について閉眼状態が判定されたとき、第２カウンタＣ２のカウント値に１が代入される。第２カウンタＣ２の初期値は０である。 In addition, the eye state determination unit 32 determines that the one eye is closed when the degree of openness of one eye is equal to or greater than a predetermined determination threshold value and the degree of openness of the other eye is less than a predetermined determination threshold value. .
When it is determined that both the left and right eyes of the driver are closed, 1 is substituted for the count value of the second counter C2. The initial value of the second counter C2 is zero.

運転者状態判定部３３は、運転者が進行方向前方以外に対して視線を向けているか否か判定する脇見判定部３３ａと、運転者の居眠りが推定される居眠推定状態及び高い確率で運転者の居眠りが検出された居眠確定状態を判定する居眠判定部３３ｂと、車両の運転が困難である運転者の異常状態を判定する異常判定部３３ｃ（運転者異常状態判定手段）とを備えている。 The driver state determination unit 33 includes a driver state determination unit 33a that determines whether or not the driver is directing his or her line of sight in a direction other than forward in the direction of travel, and an inattentive state determination unit 33a that determines whether or not the driver is drowsy. a doze determination unit 33b for determining the confirmed state of doze in which the driver is detected as dozing off; I have.

脇見判定部３３ａについて説明する。
脇見判定部３３ａは、運転者の顔向方向情報、視線向方向情報及び車両情報から運転者が脇見であるか否かを判定すると共に、運転者が脇見であると判定された場合、監視支援装置２１と制動支援装置２２に脇見信号を出力する。
運転者のヨー方向視線向のカウント値がヨー方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ヨー方向閾値は、車速或いは車両走行時の曲率半径に応じて変更される。また、運転者のピッチ方向視線向のカウント値がピッチ方向閾値の範囲外になったとき、運転者が脇見であることを判定する。ピッチ方向閾値は、車速に応じて変更される。 The inattentiveness determination unit 33a will be described.
The inattentive determination unit 33a determines whether or not the driver is looking aside from the face direction information, line-of-sight direction information, and vehicle information of the driver. A distraction signal is output to the device 21 and the braking support device 22 .
When the count value of the yaw direction line-of-sight direction of the driver is outside the range of the yaw direction threshold value, it is determined that the driver is looking aside. The yaw direction threshold is changed according to the vehicle speed or the radius of curvature during vehicle travel. Further, when the count value of the line-of-sight direction in the pitch direction of the driver is outside the range of the pitch direction threshold value, it is determined that the driver is looking aside. The pitch direction threshold is changed according to the vehicle speed.

ヨー方向視線向のカウント値及びピッチ方向視線向のカウント値は、長時間の脇見継続カウント又は短時間の脇見累計カウントにより演算される。長時間の脇見継続カウントは、処理周期毎の判定結果が時系列で連続する回数のことである。また、短時間の脇見累計カウントは、処理周期毎の判定結果がそれ以前の所定時間のうち条件が一致している状態でのカウント累計のことである。 The yaw direction line-of-sight direction count value and the pitch direction line-of-sight direction count value are calculated by a long-time inattentive continuation count or a short-time inattentive cumulative count. The long-time inattentive continuation count is the number of times the determination results for each processing cycle continue in time series. In addition, the cumulative count of inattentiveness for a short period of time is the cumulative count in a state in which the determination result for each processing cycle satisfies the conditions within a predetermined time period before that.

ヨー方向及びピッチ方向の視線向方向情報は、その信頼度が予め設定された信頼度閾値を用いて判定されている。各視線向方向情報の信頼度は、運転者を撮像した撮像画像の鮮明度（顔、瞼、黒目等の輪郭の鮮明度）に基づき設定される。
各視線向方向情報の信頼度が低く、各視線向が無効の場合には、ヨー方向及びピッチ方向の顔向方向情報で夫々補間される。ヨー方向及びピッチ方向の顔向方向情報の信頼度が低く、各顔向が無効の場合には、有効な前回の視線向で補間している。 The line-of-sight direction information in the yaw direction and the pitch direction is determined using a reliability threshold whose reliability is set in advance. The reliability of each item of line-of-sight direction information is set based on the definition of the captured image of the driver (definition of the contours of the face, eyelids, black eyes, etc.).
When the reliability of each line-of-sight direction information is low and each line-of-sight direction is invalid, the face direction information in the yaw direction and the pitch direction are interpolated, respectively. When the reliability of the face direction information in the yaw direction and the pitch direction is low and each face direction is invalid, interpolation is performed using the previous effective line-of-sight direction.

次に、居眠判定部３３ｂについて説明する。
居眠判定部３３ｂは、閉眼継続時間及び車両情報等から運転者が居眠りであるか否かを判定すると共に、運転者が居眠りであると推定された場合、居眠推定信号を監視支援装置２１と制動支援装置２２と停車支援装置２３に出力し、運転者が居眠りであると確定された場合、居眠確定信号を停車支援装置２３に出力する。尚、この居眠判定では、両目が閉眼された閉眼状態を用いて判定している。 Next, the doze determination unit 33b will be described.
The dozing determination unit 33b determines whether or not the driver is dozing off from the duration of eye closure, vehicle information, etc., and if it is estimated that the driver is dozing off, the dozing estimation signal is sent to the monitoring support device 21. , and output to the braking support device 22 and the stop support device 23 , and when it is determined that the driver is dozing off, a doze confirmation signal is output to the stop support device 23 . Note that this doze determination is performed using the eye-closed state in which both eyes are closed.

居眠判定部３３ｂは、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は短時間の閉眼時間が一定時間内に所定の時間閾値を超えて繰り返す場合、居眠状態を推定する。
また、居眠判定部３３ｂは、居眠警報後に車両が一定車速以上で走行している状況において、運転者の連続閉眼時間が所定の時間閾値を超えた場合、又は連続閉眼且つ運転不操作状態が時間閾値を超えた場合、居眠状態を確定する。 The drowsiness determination unit 33b estimates the drowsiness state when the continuous eye-closed time of the driver exceeds a predetermined time threshold, or when the short eye-closed time repeatedly exceeds the predetermined time threshold within a predetermined time. .
In addition, the dozing determination unit 33b determines whether the driver's continuous eye closure time exceeds a predetermined time threshold in a situation where the vehicle is traveling at a constant speed or higher after the doze warning, or the continuous eye closure and driving non-operating state. is greater than the time threshold, establish the doze state.

運転不操作状態は、走行時における運転不適切操作として、検出手段１の検出信号に基づき判定閾値との比較により判定されている。具体的には、ステアリングホイールの不操舵、ステアリングホイールの非把持、アクセル、ブレーキの不操作のうち少なくとも１の操作状態により判定されている。尚、運転不適切操作判定用として、各操作部材に対して極めて小さい判定閾値を設定し、不適切操作を判定しても良い。 The driving non-operation state is judged as improper driving operation during running by comparing the detection signal of the detection means 1 with a judgment threshold value. Specifically, it is determined based on at least one operation state among non-steering of the steering wheel, non-gripping of the steering wheel, non-operation of accelerator and brake. It should be noted that an extremely small determination threshold value may be set for each operating member to determine an inappropriate driving operation.

次に、異常判定部３３ｃについて説明する。
異常判定部３３ｃは、運転者が閉眼状態且つ頭部姿勢崩れである場合、又は運転者が頭部姿勢崩れ且つ運転不操作状態である場合、運転者による車両の運転操作が困難である異常状態であると判定している。 Next, the abnormality determination section 33c will be described.
The abnormality determination unit 33c detects an abnormal state in which it is difficult for the driver to operate the vehicle when the driver is in a closed-eyes state and the head posture is disturbed, or when the driver is in a state where the head posture is disturbed and the driver does not operate the vehicle. It is determined that

本発明者は、異常時の運転者の徴候は、閉眼をパラメータとして検出することができ、異常時の運転者の身体的状態は、頭部姿勢崩れをパラメータとして検出することができ、異常時の運転者の動作は、運転不操作をパラメータとして検出することができるという知見を得た。この知見に基づき、本実施形態では、閉眼と頭部姿勢崩れの検出と、頭部姿勢崩れと運転不操作の検出とを判定条件としている。 The inventor of the present invention has found that the symptoms of the driver in an abnormal situation can be detected using closed eyes as a parameter, and the physical state of the driver in an abnormal situation can be detected using head posture collapse as a parameter. It was found that the driver's behavior can be detected as a parameter of driving inaction. Based on this knowledge, in the present embodiment, detection of eye closure and head posture collapse and detection of head posture deformation and driving inactivity are used as determination conditions.

また、異常判定部３３ｃは、左右両目が閉眼状態であって運転不操作状態が第１所定時間Ｔ１継続した場合、運転者が異常状態であると判定すると共に、片目閉眼状態であって運転者に対して運転を阻害しない程度の特定操作の実行が要求されても第２所定時間Ｔ２内に特定操作の実行が検出されない場合、運転者が異常状態であると判定する。
これにより、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を判定している。 Further, the abnormality determination unit 33c determines that the driver is in an abnormal state when the left and right eyes are closed and the driving non-operation state continues for the first predetermined time T1, and the driver is in the one-eye-closed state. If the execution of the specific operation is not detected within the second predetermined time T2 even if the execution of the specific operation that does not hinder driving is requested, it is determined that the driver is in an abnormal state.
As a result, the abnormal state of the driver with one eye closed is determined without interfering with the driving of the vehicle.

ここで、運転を阻害しない程度の特定操作とは、例えば、ステアリングホイールの遊び相当（約±５°）の舵角操作や、０．１Ｇ相当のブレーキペダルの踏込操作等である。
また、このような特定操作は、例えば、スピーカによる音声指示や、表示部２１ｂの表示、例えば、「ハザードスイッチ１７を押してください」或いは「ハンドルを僅かに右に操作してください」等、によって車両側から運転者に対して要求される。 Here, the specific operation to the extent that it does not interfere with driving is, for example, a steering angle operation corresponding to play of the steering wheel (approximately ±5°), a brake pedal depression operation corresponding to 0.1 G, and the like.
Further, such a specific operation can be performed by, for example, an audio instruction from a speaker or a display on the display unit 21b, such as "press the hazard switch 17" or "steer the steering wheel slightly to the right". Requested by the driver from the side.

次に、図５のフローチャートに基づいて、閉眼判定制御処理について説明する。
尚、Ｓｉ（ｉ＝１，２…）は、各処理のためのステップを示す。 Next, based on the flowchart of FIG. 5, the closed-eye determination control process will be described.
Note that Si (i=1, 2, . . . ) indicates steps for each process.

まず、図５に示すように、ＥＣＵ３は、カメラ１１等の各種検出手段１からの出力及び第２カウンタＣ２等の各種情報を入力し（Ｓ１）、Ｓ２に移行する。
Ｓ２では、少なくとも運転者の片目が閉眼であるか否かについて判定する。
Ｓ２の判定の結果、少なくとも運転者の片目が閉眼である場合、何らかの理由で運転者が目を閉じた状態であるため、Ｓ３に移行する。Ｓ２の判定の結果、少なくとも運転者の片目が閉眼ではない場合、左右両目共に開眼状態であるため、リターンする。 First, as shown in FIG. 5, the ECU 3 receives outputs from various detection means 1 such as the camera 11 and various information such as the second counter C2 (S1), and proceeds to S2.
In S2, it is determined whether or not at least one eye of the driver is closed.
If the result of the determination in S2 is that at least one eye of the driver is closed, the driver has his or her eyes closed for some reason, so the process proceeds to S3. As a result of the determination in S2, if at least one eye of the driver is not closed, both the left and right eyes are open, so the process returns.

Ｓ３では、運転者が片目閉眼状態か否かについて判定する。
Ｓ３の判定の結果、運転者が片目閉眼状態の場合、覚醒良好状態と覚醒不良状態の何れの状態における片目閉眼状態なのか識別ができていないため、Ｓ４に移行する。
Ｓ３の判定の結果、運転者が片目閉眼状態ではない場合、左右両目が閉眼状態であるため、Ｓ７に移行する。 In S3, it is determined whether or not the driver has one eye closed.
If the result of determination in S3 is that the driver has one eye closed, it is not possible to identify whether the driver is in a good wakefulness state or a poor wakefulness state with one eye closed, so the process proceeds to S4.
If the result of determination in S3 is that the driver does not have one eye closed, both the left and right eyes are closed, so the process proceeds to S7.

Ｓ４では、車両が運転者に対して運転を阻害しない特定操作の実行を要求した後、Ｓ５に移行する。Ｓ４における特定操作の実行要求と同時に、タイマ（図示略）が起動される。
Ｓ５では、特定操作の実行要求後、第２所定時間Ｔ２内に運転者により特定操作が実行されたか否かについて判定する。 In S4, after the vehicle requests the driver to perform a specific operation that does not hinder driving, the process proceeds to S5. Simultaneously with the execution request for the specific operation in S4, a timer (not shown) is started.
In S5, it is determined whether or not the driver has performed the specific operation within the second predetermined time T2 after requesting the execution of the specific operation.

Ｓ５の判定の結果、特定操作の実行要求後、第２所定時間Ｔ２内に運転者により特定操作が実行された場合、運転者の意識は覚醒良好状態であるため、タイマをリセットしてリターンする。Ｓ５の判定の結果、特定操作の実行要求後、第２所定時間Ｔ２内に運転者により特定操作が実行されない場合、運転者の意識は覚醒不良状態であるため、タイマをリセットしてＳ６に移行する。Ｓ６では、異常時シーケンス制御を実行した後、リターンする。このＳ６では、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入する。 As a result of the determination in S5, if the specific operation is executed by the driver within the second predetermined time T2 after the execution request for the specific operation is made, the driver is in a well-awakened state, so the timer is reset and the process returns. . As a result of the determination in S5, if the driver does not perform the specific operation within the second predetermined time T2 after requesting the execution of the specific operation, the driver is in a poorly awakened state, so the timer is reset and the process proceeds to S6. do. In S6, after executing the sequence control at the time of abnormality, the process returns. In S6, 0 is substituted for the count values of the first and second counters C1 and C2.

Ｓ７では、現在の第２カウンタＣ２のカウント値に１を追加した後、Ｓ８に移行する。
Ｓ８では、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上か否かについて判定する。Ｓ８の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２以上の場合、左右両目共に閉眼状態であり、疾患発症や居眠が推定されるため、Ｓ９に移行する。
Ｓ８の判定の結果、第２カウンタＣ２のカウント値が第２判定閾値Ｌ２未満の場合、現状では疾患発症や居眠を推定することができないため、リターンする。
Ｓ９では、警報を発生した後、Ｓ１０に移行する。 In S7, 1 is added to the current count value of the second counter C2, and then the process proceeds to S8.
In S8, it is determined whether or not the count value of the second counter C2 is greater than or equal to the second determination threshold value L2. As a result of the determination in S8, if the count value of the second counter C2 is equal to or greater than the second determination threshold value L2, both the right and left eyes are closed, and the onset of a disease or drowsiness is presumed, so the process proceeds to S9.
If the result of determination in S8 is that the count value of the second counter C2 is less than the second determination threshold value L2, it is impossible to estimate the onset of a disease or doze under the present circumstances, so the process returns.
In S9, after issuing an alarm, the process proceeds to S10.

Ｓ１０では、第１判定条件が成立したか否かについて判定する。
第１判定条件は、以下の３条件である。
（１）運転者の頭部姿勢が異常状態である
（２）運転者による運転不操作が第１所定時間Ｔ１継続している
（３）運転者の閉眼が一定時間継続している
これらの３条件が全て成立したとき、第１判定条件が成立する。 In S10, it is determined whether or not the first determination condition is satisfied.
The first determination conditions are the following three conditions.
(1) The driver's head posture is in an abnormal state. (2) The driver has not operated the vehicle for the first predetermined time period T1. (3) The driver has closed his eyes for a certain period of time. When all the conditions are met, the first determination condition is met.

Ｓ１０の判定の結果、第１判定条件が成立している場合、警報が発生しても運転者が運転動作を開始しないため、Ｓ１１に移行する。Ｓ１０の判定の結果、第１判定条件が成立していない場合、（１）～（３）のうち何れかの条件が不成立であり、異常状態を判定することができないため、リターンする。 As a result of the determination in S10, if the first determination condition is satisfied, the driver does not start driving even if an alarm is issued, so the process proceeds to S11. As a result of the determination in S10, if the first determination condition is not satisfied, one of the conditions (1) to (3) is not satisfied and an abnormal state cannot be determined, so the process returns.

Ｓ１１では、警報を停止するためのキャンセル信号が発生したか否かについて判定する。
Ｓ１１の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号発生操作を行ったため、第１，第２カウンタＣ１，Ｃ２のカウント値に０を夫々代入した後（Ｓ１２）、リターンする。Ｓ１１の判定の結果、キャンセル信号が発生しない場合、運転者が警報をキャンセル信号発生操作をできないため、Ｓ６に移行する。
本実施形態では、ハザードスイッチ１７がオン操作された場合、キャンセル信号が出力される。キャンセル信号の出力より、警報が停止され、異常状態判定を停止する。 In S11, it is determined whether or not a cancel signal for stopping the alarm has been generated.
As a result of the determination in S11, if a cancel signal has been generated, the driver has performed a cancel signal generating operation, so 0 is assigned to the count values of the first and second counters C1 and C2 (S12), and the process returns. As a result of the determination in S11, if the cancel signal is not generated, the driver cannot operate to generate the signal to cancel the warning, so the process proceeds to S6.
In this embodiment, when the hazard switch 17 is turned on, a cancel signal is output. By outputting the cancel signal, the alarm is stopped, and the abnormality determination is stopped.

次に、図６のフローチャートに基づいて、頭部姿勢判定制御処理について説明する。この頭部姿勢判定制御処理は、閉眼判定制御処理とは独立して並列的に制御されている。
Ｓｉ（ｉ＝２１，２２…）は、各処理のためのステップを示す。 Next, head posture determination control processing will be described based on the flowchart of FIG. This head posture determination control process is controlled in parallel independently of the closed eye determination control process.
Si (i=21, 22...) indicates the steps for each process.

まず、図６に示すように、ＥＣＵ３は、カメラ１１やハザードスイッチ１７等の検出手段１からの出力を入力し（Ｓ２１）、Ｓ２２に移行する。
Ｓ２２では、運転者の頭部姿勢が崩れているか否か判定する。
Ｓ２２の判定の結果、運転者の頭部姿勢が崩れている場合、異常時状態であるため、Ｓ２３に移行する。Ｓ２２の判定の結果、運転者の頭部姿勢が崩れていない場合、異常時状態ではないため、リターンする。 First, as shown in FIG. 6, the ECU 3 receives the output from the detection means 1 such as the camera 11 and the hazard switch 17 (S21), and proceeds to S22.
In S22, it is determined whether or not the driver's head posture is broken.
If the result of the determination in S22 is that the driver's head posture is unsteady, it is in an abnormal state, so the process proceeds to S23. If the result of determination in S22 is that the driver's head posture has not collapsed, the process returns because the state is not abnormal.

Ｓ２３では、運転操作が適切か否か判定する。
Ｓ２３の判定の結果、運転操作が適切である場合、運転者が意図的に崩れた姿勢で運転しているため、リターンする。Ｓ２３の判定の結果、運転操作が不適切（運転不操作状態）である場合、Ｓ２４に移行する。運転操作の判定は、ステアリングホイール、アクセル、ブレーキのうち少なくとも１以上で検出する。本実施形態では、ステアリングホイールの操作を用いて判定している。 In S23, it is determined whether or not the driving operation is appropriate.
If the result of the determination in S23 is that the driving operation is appropriate, the driver is intentionally driving with an unsteady posture, and the process returns. If the result of determination in S23 is that the driving operation is inappropriate (driving non-operating state), the process proceeds to S24. Determination of the driving operation is detected by at least one of the steering wheel, accelerator, and brake. In this embodiment, the determination is made using the operation of the steering wheel.

Ｓ２４では、車両が所定の判定閾値以上の速度で走行しているか否か判定する。
Ｓ２４の判定の結果、車両速度が判定閾値以上の場合、車両は走行しているにも拘らず運転者による運転操作がないため、現在の第１カウンタＣ１のカウント値に１を追加した後（Ｓ２５）、Ｓ２６に移行する。Ｓ２４の判定の結果、車両速度が判定閾値未満の場合、車両が既に停車又は徐行しているため、リターンする。 In S24, it is determined whether or not the vehicle is traveling at a speed equal to or higher than a predetermined determination threshold.
As a result of the determination in S24, if the vehicle speed is equal to or greater than the determination threshold value, the driver does not operate the vehicle even though the vehicle is running. S25), and shift to S26. If the vehicle speed is less than the determination threshold as a result of the determination in S24, the vehicle is already stopped or slowing down, so the process returns.

Ｓ２６では、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１以上か否か判定する。
Ｓ２６の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１以上の場合、運転者の目の状態に拘らず異常状態が推定されているため、Ｓ２７に移行する。
Ｓ２６の判定の結果、第１カウンタＣ１のカウント値が第１判定閾値Ｌ１未満の場合、現状では異常状態が推定できないため、リターンする。 In S26, it is determined whether or not the count value of the first counter C1 is greater than or equal to the first determination threshold value L1.
If the result of determination in S26 is that the count value of the first counter C1 is equal to or greater than the first determination threshold value L1, an abnormal condition is estimated regardless of the condition of the driver's eyes, so the process proceeds to S27.
If the result of determination in S26 is that the count value of the first counter C1 is less than the first determination threshold value L1, the abnormal state cannot be estimated at present, so the process returns.

Ｓ２７では、警報を発生させた後、Ｓ２８に移行する。
Ｓ２８では、警報を停止するためのキャンセル信号が発生したか否か判定する。
Ｓ２８の判定の結果、キャンセル信号が発生した場合、運転者がキャンセル信号の発生操作を行ったため、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入した後（Ｓ２９）、リターンする。Ｓ２８の判定の結果、キャンセル信号が発生しない場合、運転者がハザードスイッチ１７によってキャンセル信号の発生操作をできないため、Ｓ３０に移行する。Ｓ３０では、異常時シーケンス制御を実行した後、リターンする。このＳ３０では、第１，第２カウンタＣ１，Ｃ２のカウント値に夫々０を代入する。 In S27, after generating an alarm, the process proceeds to S28.
In S28, it is determined whether or not a cancel signal for stopping the alarm has been generated.
As a result of the determination in S28, if a cancel signal has been generated, the driver has performed an operation to generate the cancel signal, so 0 is assigned to the count values of the first and second counters C1 and C2 (S29), and the process returns. . As a result of the determination in S28, if the cancel signal is not generated, the driver cannot operate the hazard switch 17 to generate the cancel signal, so the process proceeds to S30. In S30, after executing the sequence control at the time of abnormality, the process returns. In S30, 0 is substituted for the count values of the first and second counters C1 and C2.

次に、上記運転者状態判定方法及びその装置Ｍの作用、効果について説明する。
本運転者状態判定方法によれば、運転者の左右両目の開閉状態を検出する開閉眼判定工程Ｓ２，Ｓ３と、所定タイミングにおける運転者による車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程Ｓ１と、運転者が異常状態か否かを判定する運転者異常状態判定工程Ｓ５，Ｓ１０，Ｓ１１とを有するため、異常時徴候である閉眼と異常時動作である運転不操作とを運転者の異常状態の判定条件にすることができる。
運転者異常状態判定工程Ｓ１０，Ｓ１１は、運転者の左右両目が閉眼状態であって運転者による運転不操作状態が第１所定時間継続Ｔ１した場合、運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。運転者異常状態判定工程Ｓ５は、運転者の片目が閉眼状態であって運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間Ｔ２内に特定操作が検出されない場合、運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を運転者の実際の操作に基づき確実に判定することができる。 Next, the operation and effect of the driver condition determination method and the device M will be described.
According to this driver state determination method, at least one of the open/closed eye determination steps S2 and S3 for detecting the open/closed state of the left and right eyes of the driver and the operation amount of the vehicle operation device by the driver at a predetermined timing is acquired. and the driver's abnormal state determination steps S5, S10, and S11 for determining whether or not the driver is in an abnormal state. Operation can be used as a condition for judging an abnormal state of the driver.
The driver's abnormal state determination steps S10 and S11 are performed to determine that the driver is in an abnormal state when the left and right eyes of the driver are closed and the driver has not operated the vehicle for a first predetermined time period T1. , the abnormal state of the driver can be determined with high accuracy by the two abnormality determination conditions of the abnormal symptom and the abnormal action. The driver's abnormal state determination step S5 is performed when the driver has one eye closed and the specific operation is not detected within the second predetermined time T2 even if the driver is requested to perform a specific operation that does not hinder driving. Since it is determined that the driver is in an abnormal state, the abnormal state of the driver with one eye closed can be reliably determined based on the actual operation of the driver without hindering the driving of the vehicle.

運転者異常状態判定工程Ｓ４，Ｓ２７は、運転者の左右両目が閉眼状態である場合及び片目が閉眼状態である場合に報知するため、左右両目が開眼状態ではない状況において、運転者の異常状態を一層確実に判定することができる。 In the driver's abnormal state determination steps S4 and S27, in order to notify when both the left and right eyes of the driver are closed and when one eye is closed, the abnormal state of the driver is detected when both the left and right eyes are not open. can be determined more reliably.

本運転者状態判定装置Ｍによれば、運転者の左右両目の開閉状態を検出する眼状態判定部３２と、所定タイミングにおける運転者による車両の操作機器に対する運転操作量の少なくとも１つを取得する検出手段１と、運転者が異常状態か否かを判定する異常判定部３３ｃとを有するため、異常時徴候である閉眼と異常時動作である運転不操作とを運転者の異常状態の判定条件にすることができる。
異常判定部３３ｃは、運転者の左右両目が閉眼状態であって運転者による運転不操作状態が第１所定時間Ｔ１継続した場合、運転者が異常状態であると判定するため、異常時徴候と異常時動作の２つの異常判定条件によって運転者の異常状態を高精度に判定することができる。異常判定部３３ｃは、運転者の片目が閉眼状態であって運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間Ｔ２内に特定操作が検出されない場合、運転者が異常状態であると判定するため、車両の運転に支障を与えることなく片目閉眼状態における運転者の異常状態を運転者の実際の操作に基づき確実に判定することができる。 According to the driver state determination device M, at least one of the eye state determination unit 32 that detects the open/closed state of the left and right eyes of the driver and the amount of driving operation of the vehicle by the driver on the operation device of the vehicle at a predetermined timing is acquired. Since the detection means 1 and the abnormality determination unit 33c for determining whether or not the driver is in an abnormal state are included, the condition for determining the abnormal state of the driver is the closing of the eyes, which is a symptom at the time of abnormality, and the non-driving operation, which is the action at the time of abnormality. can be
The abnormality determining unit 33c determines that the driver is in an abnormal state when the left and right eyes of the driver are closed and the driver does not operate the vehicle for the first predetermined time period T1. The abnormal state of the driver can be determined with high accuracy by the two abnormality determination conditions of the operation in the event of an abnormality. The abnormality determination unit 33c detects the specific operation within the second predetermined time T2 even if the driver has one eye closed and the specific operation that does not hinder driving is requested to the driver. is an abnormal state, it is possible to reliably determine the abnormal state of the driver with one eye closed based on the driver's actual operation without hindering the driving of the vehicle.

次に、前記実施形態を部分的に変更した変形例について説明する。
１〕前記実施形態においては、運転者の片目が閉眼状態の際、第２所定時間Ｔ２内に特定操作が検出されない場合、運転者が異常状態であると判定する例を説明したが、上記判定条件の他に、カメラ１１で取得された運転者の頭部姿勢が異常姿勢で且つ運転者の片目が閉眼状態であって、運転者による運転不操作状態が第１所定時間Ｔ１よりも短い第３所定時間Ｔ３継続した場合、運転者が異常状態であると判定する判定条件を追加しても良い。
これにより、異常姿勢をパラメータとして運転者の異常状態を確実且つ早期に判定することができる。 Next, a modified example in which the above embodiment is partially changed will be described.
1) In the above embodiment, an example was described in which it is determined that the driver is in an abnormal state when the specific operation is not detected within the second predetermined time T2 when one eye of the driver is closed. In addition to the conditions, the driver's head posture acquired by the camera 11 is an abnormal posture, one eye of the driver is closed, and the driver's non-operating state is shorter than the first predetermined time T1. A determination condition may be added to determine that the driver is in an abnormal state when the three predetermined time T3 continues.
As a result, the abnormal state of the driver can be reliably and quickly determined using the abnormal posture as a parameter.

２〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。 2) In addition, those skilled in the art can implement various modifications to the above embodiment without departing from the scope of the present invention, and the present invention includes such modifications. be.

１ 検出手段
１１ カメラ
３２ 眼状態判定部
３３ｃ 異常判定部
Ｍ 運転者状態判定装置 1 detection means 11 camera 32 eye condition determination unit 33c abnormality determination unit M driver condition determination device

Claims (4)

車両の運転者の異常状態を検出する運転者状態判定方法において、
前記運転者の左右両目の開閉状態を検出する開閉眼判定工程と、
所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得工程と、
前記運転者が異常状態か否かを判定する運転者異常状態判定工程とを有し、
前記運転者異常状態判定工程は、
前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、
前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定する
ことを特徴とする運転者状態判定方法。 In a driver state determination method for detecting an abnormal state of a vehicle driver,
an open/closed eye determination step of detecting the open/closed state of both left and right eyes of the driver;
a driving operation amount acquiring step of acquiring at least one amount of driving operation of the operation device of the vehicle by the driver at a predetermined timing;
a driver abnormal state determination step of determining whether the driver is in an abnormal state;
The driver's abnormal state determination step includes:
determining that the driver is in an abnormal state when both the left and right eyes of the driver are closed and the driver has not operated the vehicle for a first predetermined period of time;
When the driver is in an abnormal state when one eye of the driver is closed and the specific operation is not detected within a second predetermined time even if the driver is requested to perform a specific operation that does not hinder driving. A driver state determination method characterized by determining that 前記運転者異常状態判定工程は、前記運転者の左右両目が閉眼状態である場合及び片目が閉眼状態である場合に報知することを特徴とする請求項１に記載の運転者状態判定方法。 2. The driver's state determination method according to claim 1, wherein, in the driver's abnormal state determination step, notification is given when both the left and right eyes of the driver are closed and when one eye is closed. 前記運転者の顔向きと頭部位置を取得する頭部姿勢取得工程を有し、
前記運転者異常状態判定工程は、
前記頭部姿勢取得工程で取得された前記運転者の頭部姿勢が異常姿勢で且つ前記運転者の片目が閉眼状態であって、前記運転者による運転不操作状態が第１所定時間よりも短い第３所定時間継続した場合、前記運転者が異常状態であると判定することを特徴とする請求項１又は２に記載の運転者状態判定方法。 a head posture acquiring step of acquiring the driver's face orientation and head position;
The driver's abnormal state determination step includes:
The head posture of the driver acquired in the head posture acquiring step is an abnormal posture, one eye of the driver is closed, and the driver's non-operating state is shorter than a first predetermined time. 3. The method for judging a driver's condition according to claim 1, further comprising the step of judging that the driver is in an abnormal condition if the condition continues for a third predetermined time. 車両の運転者の異常状態を検出する運転者状態判定装置において、
前記運転者の左右両目の開閉状態を検出する開閉眼判定手段と、
所定タイミングにおける前記運転者による前記車両の操作機器に対する運転操作量の少なくとも１つを取得する運転操作量取得手段と、
前記運転者が異常状態か否かを判定する運転者異常状態判定手段とを有し、
前記運転者異常状態判定手段は、
前記運転者の左右両目が閉眼状態であって前記運転者による運転不操作状態が第１所定時間継続した場合、前記運転者が異常状態であると判定し、
前記運転者の片目が閉眼状態であって前記運転者に対して運転を阻害しない程度の特定操作が要求されても第２所定時間内に前記特定操作が検出されない場合、前記運転者が異常状態であると判定することを特徴とする運転者状態判定装置。 In a driver state determination device for detecting an abnormal state of a vehicle driver,
open/closed eye determination means for detecting the open/closed state of both left and right eyes of the driver;
a driving operation amount acquiring means for acquiring at least one amount of driving operation of the operating device of the vehicle by the driver at a predetermined timing;
a driver abnormal state determination means for determining whether the driver is in an abnormal state,
The driver's abnormal state determination means includes:
determining that the driver is in an abnormal state when both the left and right eyes of the driver are closed and the driver has not operated the vehicle for a first predetermined period of time;
When the driver is in an abnormal state when one eye of the driver is closed and the specific operation is not detected within a second predetermined time even if the driver is requested to perform a specific operation that does not hinder driving. A driver's state determination device characterized by determining that

Images