JP2007233475A - Doze determination device and drowsy driving warning device - Google Patents

Doze determination device and drowsy driving warning device Download PDF

Info

Publication number
JP2007233475A
JP2007233475A JP2006051189A JP2006051189A JP2007233475A JP 2007233475 A JP2007233475 A JP 2007233475A JP 2006051189 A JP2006051189 A JP 2006051189A JP 2006051189 A JP2006051189 A JP 2006051189A JP 2007233475 A JP2007233475 A JP 2007233475A
Authority
JP
Japan
Prior art keywords
driver
face
dozing
road
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006051189A
Other languages
Japanese (ja)
Other versions
JP4702100B2 (en
Inventor
Shigeyasu Uozumi
重康 魚住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006051189A priority Critical patent/JP4702100B2/en
Publication of JP2007233475A publication Critical patent/JP2007233475A/en
Application granted granted Critical
Publication of JP4702100B2 publication Critical patent/JP4702100B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a doze determination device, capable of appropriately performing doze determination for a driver based on position change of a face internal portion according to a traveling state of a vehicle. <P>SOLUTION: Moving amounts of face left and right end positions and face upper and lower positions of the driver are detected from image data of the driver's face taken by a face camera, respectively. Whether a road in which the own vehicle is traveling is a straight or curved is determined based on information from a navigation ECU. When the vehicle is traveling in a curved road, threshold a for calculating doze probability PA for the face left and right end positions of the driver is set large, compared with when the vehicle is traveling in a straight road, and weighting coefficient A for the face left and right end positions is set large. Reliability T of doze determination is calculated using the threshold a and the weighting coefficient A, and the driver's doze is determined based on the reliability T. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、居眠り判定装置および居眠り運転警告装置に係り、特に、運転者の顔を撮影する撮影手段により撮影された顔画像から運転者の居眠りを判定する居眠り判定装置、および、居眠りを行う運転者に対して居眠りからの覚醒を促す居眠り運転警告装置に関する。   The present invention relates to a snoozing determination device and a snoozing driving warning device, and in particular, a snoozing determination device for determining a driver's dozing from a face image photographed by a photographing means for photographing a driver's face, and a driving for snoozing The present invention relates to a snooze driving warning device that prompts a person to awaken from a snooze.

従来から、車両運転者の顔を撮影する撮影部を備え、その撮影部により撮影された顔の状態に基づいてその運転者の居眠りを判定する装置が知られている（例えば、特許文献１参照）。この装置においては、まず、運転者の顔を撮影する撮影手段により撮影された画像から運転者の眼の位置を検出し、その位置の移動状態を把握する。そして、その眼の移動状態に基づいて運転者が居眠りを行っているか否かを判定する。
特開２００５−１８６５６号公報 2. Description of the Related Art Conventionally, there has been known an apparatus that includes a photographing unit that photographs a vehicle driver's face and determines the driver's sleep based on the state of the face photographed by the photographing unit (see, for example, Patent Document 1). ). In this apparatus, first, the position of the driver's eyes is detected from an image taken by the photographing means for photographing the driver's face, and the movement state of the position is grasped. And it is determined whether the driver is dozing based on the movement state of the eyes.
Japanese Patent Laid-Open No. 2005-18656

ところで、運転者の眼の位置やその移動状態は、車両の走行状態に応じて変化する。例えば、運転者は、覚醒しているときにも、車両がカーブ路を走行する状況では眼を左右に移動させる機会や量が多い一方、車両が直進路を走行する状況では眼を左右に移動させる機会や量は少ない。また、車両が歩道や信号機のある一般道を走行する状況では眼を左右上下に移動させる機会や量が多い一方、車両が歩道や信号機のない高速道路を走行する状況では眼を左右上下に移動させる機会や量は少ない。従って、カーブ路と直進路との区別なく或いは一般道と高速道路との区別なく眼の移動状態のみから運転者の居眠り判定を行うシステムでは、運転者がカーブ路や一般道での走行時に覚醒状態にあるにもかかわらず居眠りが行われているとの誤判定がなされないように、眼の移動状態に関する閾値を予め高くしておくことが必要となる。しかし、かかる構成では、車両が直進路や高速道路を走行する状況で運転者が居眠りしているときに、その居眠りが行われていると判定され難いものとなるおそれがある。   By the way, the position of the driver's eyes and the moving state thereof change according to the traveling state of the vehicle. For example, even when the driver is awake, there are many opportunities and amounts to move the eyes to the left and right when the vehicle is traveling on a curved road, while the driver moves the eyes to the left and right when the vehicle is traveling on a straight road There are few opportunities and quantity to make. In addition, there are many opportunities and amounts to move the eyes left and right and up and down in situations where the vehicle is traveling on a general road with sidewalks and traffic lights. There are few opportunities and quantity to make. Therefore, in a system that determines the driver's doze based on the state of eye movement without distinguishing between a curved road and a straight road or between a general road and a highway, the driver awakens when driving on a curved road or a general road. In order to prevent an erroneous determination that the patient is falling asleep despite being in a state, it is necessary to increase the threshold relating to the eye movement state in advance. However, in such a configuration, when the driver is falling asleep while the vehicle is traveling on a straight road or an expressway, it may be difficult to determine that the sleeping is being performed.

本発明は、上述の点に鑑みてなされたものであり、運転者の居眠り判定を車両の走行状態に対応させて適切に行う居眠り判定装置、および、その居眠りする運転者を覚醒させる居眠り運転警告装置を提供することを目的とする。   The present invention has been made in view of the above points, and a dozing determination device that appropriately performs a driver's dozing determination in accordance with the traveling state of the vehicle, and a dozing operation warning that awakens the sleeping driver. An object is to provide an apparatus.

上記の目的は、運転者の顔を撮影する撮影手段により撮影された顔の画像データに基づいて該運転者の居眠りを判定する居眠り判定装置であって、前記撮影手段により撮影される顔の画像データから該運転者の顔内部位の位置変化を検出する顔位置変化検出手段と、車両の走行状態を検出する走行状態検出手段と、前記顔移動検出手段により検出される顔内部位の位置変化と前記走行状態検出手段により検出される車両の走行状態とに基づいて、運転者の居眠りを判定する居眠り判定手段と、を備える居眠り判定装置により達成される。   The above-described object is a doze determination device for determining a driver's doze based on image data of a face photographed by a photographing means for photographing a driver's face, and an image of a face photographed by the photographing means Face position change detecting means for detecting a change in position of the driver's face part from the data, running state detecting means for detecting the running state of the vehicle, and position change of the face part detected by the face movement detecting means And a drowsiness determining unit that determines a driver's drowsiness based on the vehicle driving state detected by the driving state detecting unit.

この態様の発明において、運転者の居眠りの判定は、撮影手段により撮影された運転者の顔の画像データから検出した顔内部位の位置変化と車両の走行状態とに基づいて行われる。このため、顔内部位の位置変化に基づく運転者の居眠り判定を車両の走行状態に対応させて適切に行うことが可能となる。   In this aspect of the invention, the determination of the driver's doze is made based on the position change of the intra-facial part detected from the image data of the driver's face imaged by the imaging means and the running state of the vehicle. For this reason, it becomes possible to appropriately perform the driver's doze determination based on the position change of the part in the face in correspondence with the traveling state of the vehicle.

この場合、上記した居眠り判定装置において、前記走行状態検出手段は、車両の走行する道路が直進路であるかカーブ路であるかを判定すると共に、前記居眠り判定手段は、前記走行状態検出手段により車両の走行する道路がカーブ路であると判定する状況では、道路が直進路であると判定する状況に比べて、顔内部位の左右位置変化に関する運転者の居眠りを判定するための閾値を上げる左右閾値変更手段を有することとすれば、カーブ路走行時に運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、直進路走行時に運転者が居眠りしているときに確実に居眠りが生じていると判定することができる。   In this case, in the dozing determination device described above, the traveling state detection unit determines whether the road on which the vehicle travels is a straight road or a curved road, and the dozing determination unit is In situations where it is determined that the road on which the vehicle is traveling is a curved road, the threshold for determining the driver's doze relating to a change in the left-right position of the part in the face is increased compared to a situation where the road is determined to be a straight road. If left-right threshold changing means is provided, it is possible to prevent the driver from being erroneously determined to be asleep while driving on a curved road, while driving on a straight road. It can be determined that doze is surely occurring when the person is dozing.

また、上記した居眠り判定装置において、前記居眠り判定手段は、また、前記左右閾値変更手段により前記閾値を上げるときには、運転者の居眠りを判定するために必要なパラメータである顔内部位の全位置変化要素のうち左右位置変化の重み付けを大きくする重み付け変更手段を有することとすれば、カーブ路走行時に居眠りする運転者の頭や顔は左右に移動し易くかつその量も多い傾向となるので、カーブ路走行時に運転者が居眠りする際に居眠りが生じていると判定し易くすることができる。   Further, in the dozing determination device described above, when the dozing determination means raises the threshold value by the left and right threshold changing means, the change in all positions of the intra-facial part that is a parameter necessary for determining the driver's dozing If there is a weight changing means that increases the weight of the change in the left and right position among the elements, the driver's head and face that fall asleep when driving on a curved road tend to move left and right and the amount tends to be large, so the curve It is possible to easily determine that the driver is falling asleep when the driver is falling asleep when traveling on the road.

また、上記した居眠り判定装置において、前記走行状態検出手段は、車両の走行する道路が一般道であるか高速道路であるかを判定すると共に、前記居眠り判定手段は、前記走行状態検出手段により車両の走行する道路が高速道路であると判定する状況では、道路が一般道であると判定する状況に比べて、顔内部位の位置変化に関する運転者の居眠りを判定するための閾値を下げる閾値変更手段を有することとすれば、一般道走行時に運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、高速道路走行時に運転者が居眠りしているときに確実に居眠りが生じていると判定することができる。   Further, in the above-described dozing determination device, the traveling state detection unit determines whether the road on which the vehicle travels is a general road or an expressway, and the dozing determination unit is configured to detect the vehicle by the traveling state detection unit. Threshold change to lower the threshold for determining the driver's doze related to the position change of the part in the face compared to the situation where the road is determined to be a general road This means that it is possible to prevent a driver from being mistakenly determined to be asleep while driving on a general road, and to be asleep when driving on a highway. It is possible to reliably determine that a dozing has occurred.

ところで、上記した居眠り判定装置において、顔内部位は、顔の左右両端位置、顔の上下位置、又は眉上と目下との間の領域であることとすればよい。   By the way, in the dozing determination apparatus described above, the intra-facial site may be the left and right end positions of the face, the vertical position of the face, or the region between the upper and lower eyebrows.

尚、上記した居眠り判定装置の備える前記居眠り判定手段により運転者が居眠りを行っていると判定される場合に、該運転者に対して居眠りからの覚醒を促す警告を行う警告手段を備える居眠り運転警告装置は、居眠りを行う運転者に対して覚醒を促すうえで好適である。   In addition, when it is determined that the driver is dozing by the dozing determination unit provided in the above-described dozing determination device, the dozing operation is provided with a warning unit that warns the driver to wake up from dozing. The warning device is suitable for urging the driver who takes a nap to wake up.

本発明によれば、顔内部位の位置変化に基づく運転者の居眠り判定を車両の走行状態に対応させて適切に行うことができる。また、居眠りする運転者に対して覚醒を促すことができる。   ADVANTAGE OF THE INVENTION According to this invention, a driver | operator's doze determination based on the position change of the part in a face can be performed appropriately according to the driving | running | working state of a vehicle. In addition, it is possible to wake up the driver who falls asleep.

以下、図面を用いて、本発明の具体的な実施の形態について説明する。   Hereinafter, specific embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の第１実施例である車両に搭載されるシステムの構成図を示す。また、図２は、本実施例のシステムの有する車載カメラの搭載構造を示す。尚、図２（Ａ）には車両横方向から見た際の図を、また、図２（Ｂ）には図２（Ａ）に示す矢視IIIの方向へ見た際の図を、それぞれ示す。本実施例のシステムは、車載カメラを用いて車両シートに着座する車両運転者の顔を撮影してその顔の位置変化を検出し、主にその位置変化に基づいて運転者の居眠りを判定すると共に、運転者が居眠りしているときにはその覚醒を促す居眠り判定システムである。   FIG. 1 shows a configuration diagram of a system mounted on a vehicle according to a first embodiment of the present invention. FIG. 2 shows a mounting structure of an in-vehicle camera included in the system of this embodiment. 2A shows a view when viewed from the side of the vehicle, and FIG. 2B shows a view when viewed in the direction of arrow III shown in FIG. 2A. Show. The system of the present embodiment captures a face of a vehicle driver sitting on a vehicle seat using an in-vehicle camera, detects a change in the position of the face, and determines a driver's doze mainly based on the change in position. At the same time, it is a dozing determination system that prompts the driver to wake up when the driver is dozing.

図１に示す如く、本実施例の居眠り判定システムは、車両シートに着座する運転者の顔を撮影するために設けられた顔向きカメラ１０を備えている。顔向きカメラ１０は、例えばステアリングコラムアッパカバーの上面又はコンビネーションメータ内に配置されており、ステアリングホイールの表面に運転者がそのステアリングホイールを握るためかつコンビネーションメータを視認するために開口する開口部を通して、車両進行方向と正対する方向かつ車両運転者の頭部が存在する方向へ指向されており、車両運転者の顔をほぼ正面から撮影することが可能である。尚、夜間撮影のため、車両運転者の顔へ向けて赤外線を投光するランプを設けることとしてもよい。   As shown in FIG. 1, the dozing determination system according to the present embodiment includes a face-facing camera 10 provided for photographing a driver's face seated on a vehicle seat. The face-facing camera 10 is disposed, for example, on the upper surface of the steering column upper cover or in a combination meter, and through an opening that opens on the surface of the steering wheel so that the driver can grasp the steering wheel and visually recognize the combination meter. It is directed in a direction that faces the vehicle traveling direction and in the direction in which the head of the vehicle driver is present, and the face of the vehicle driver can be photographed almost from the front. For night photography, a lamp that projects infrared rays toward the face of the vehicle driver may be provided.

顔向きカメラ１０は、顔向きＥＣＵ１２に接続されている。顔向きカメラ１０の撮影した映像信号は、顔向きＥＣＵ１２に供給される。顔向きＥＣＵ１２は、コンピュータを主体に構成されており、顔向きカメラ１０から供給される映像信号を処理して、後に詳述する如く運転者の顔の状態を検知する。   The face orientation camera 10 is connected to the face orientation ECU 12. The video signal captured by the face orientation camera 10 is supplied to the face orientation ECU 12. The face-facing ECU 12 is mainly configured by a computer, and processes a video signal supplied from the face-facing camera 10 to detect the face state of the driver as will be described in detail later.

本実施例の居眠り判定システムは、また、心拍数センサ１４を備えている。心拍数センサ１４は、例えば運転者の握るステアリングホイールに配設されており、ステアリングホイールを手で握る運転者の心拍数を検知してその心拍数に応じた信号を出力する。   The dozing determination system of this embodiment also includes a heart rate sensor 14. The heart rate sensor 14 is disposed, for example, on a steering wheel held by the driver, detects the heart rate of the driver holding the steering wheel with his hand, and outputs a signal corresponding to the heart rate.

本実施例の居眠り判定システムは、また、ナビゲーションＥＣＵ１６を備えている。ナビゲーションＥＣＵ１６には、ＨＤＤやＤＶＤなどの記録媒体からなる地図データベース１８が接続されている。地図データベース１８には、地図データとして、道路のリンク情報と共に、道路リンクが所定距離以上の直進路であるか、所定曲率以上のカーブ路であるか、国道や県道などの一般道であるか、自動車専用道路や首都高速などの高速道路であるかなどの道路種別データが格納されている。ナビゲーションＥＣＵ１６は、ＧＰＳ受信機や方位センサ，速度センサなどからの信号に基づいて、地図データベース１８に格納されている地図データを参照して、自車両の現在位置を検出する。   The dozing determination system of this embodiment also includes a navigation ECU 16. Connected to the navigation ECU 16 is a map database 18 made of a recording medium such as an HDD or a DVD. The map database 18 includes, as map data, along with road link information, whether the road link is a straight road over a predetermined distance, a curved road over a predetermined curvature, or a general road such as a national road or prefectural road, Stores road type data such as whether it is a motorway or a highway such as Tokyo Metropolitan Expressway. The navigation ECU 16 refers to map data stored in the map database 18 based on signals from a GPS receiver, a direction sensor, a speed sensor, and the like, and detects the current position of the host vehicle.

顔向きＥＣＵ１２、心拍数センサ１４、及びナビゲーションＥＣＵ１６には、ＣＡＮバス２０を介して、居眠り検知ＥＣＵ２２が接続されている。顔向きＥＣＵ１２の検知した運転者の顔の情報、心拍数センサ１４の検知した運転者の心拍数の情報、及びナビゲーションＥＣＵ１６の検知した自車位置の情報は、居眠り検知ＥＣＵ２２に供給される。居眠り検知ＥＣＵ２２は、コンピュータを主体に構成されており、各種センサやＥＣＵ１２〜１６から供給される情報に基づいて、運転者が居眠りしているか否かを判定する。   A dozing detection ECU 22 is connected to the face-facing ECU 12, the heart rate sensor 14, and the navigation ECU 16 via a CAN bus 20. Information on the driver's face detected by the face direction ECU 12, information on the driver's heart rate detected by the heart rate sensor 14, and information on the vehicle position detected by the navigation ECU 16 are supplied to the dozing detection ECU 22. The dozing detection ECU 22 is mainly configured by a computer, and determines whether or not the driver is dozing based on various sensors and information supplied from the ECUs 12 to 16.

居眠り検知ＥＣＵ２２には、ＣＡＮバス２０を介して、コンピュータを主体に構成された、メータＥＣＵ２４、シートベルトＥＣＵ２６、及びブレーキＥＣＵ２８が接続されている。居眠り検知ＥＣＵ２２は、運転者が居眠りを行っていると判定するときは、その情報を各ＥＣＵ２４〜２８に供給する。   The doze detection ECU 22 is connected to a meter ECU 24, a seat belt ECU 26, and a brake ECU 28, which are mainly configured by a computer, via a CAN bus 20. When the dozing detection ECU 22 determines that the driver is dozing, the dozing detection ECU 22 supplies the information to the ECUs 24 to 28.

メータＥＣＵ２４には、車室内に設けられた警報ブザー３０が接続されている。メータＥＣＵ２４は、運転者が居眠りしている旨の情報を受信した場合、警報ブザー３０に対して駆動を指令する信号を供給する。警報ブザー３０は、メータＥＣＵ２４からの指令に従ってブザー吹鳴を行うことで運転者に対する注意喚起を行う。シートベルトＥＣＵ２６には、運転者のシートベルトを巻き取るモータ３２が接続されている。シートベルトＥＣＵ２６は、運転者が居眠りしている旨の情報を受信した場合、モータ３２に対して間欠駆動を指令する信号を供給する。モータ３２は、シートベルトＥＣＵ２６からの指令に従って運転席シートベルトを断続的に巻き取ることで運転者に対する注意喚起を行う。また、ブレーキＥＣＵ２８には、車両を制動させるブレーキアクチュエータ３４が接続されている。ブレーキＥＣＵ２８は、運転者が居眠りしている旨の情報を受信した場合、ブレーキアクチュエータ３４に対して間欠駆動を指令する信号を供給する。ブレーキアクチュエータ３４は、ブレーキＥＣＵ２８からの指令に従って断続的に車両制動を行うことで運転者に対する注意喚起を行う。   An alarm buzzer 30 provided in the vehicle compartment is connected to the meter ECU 24. When the meter ECU 24 receives information indicating that the driver is falling asleep, the meter ECU 24 supplies a signal for instructing driving to the alarm buzzer 30. The alarm buzzer 30 alerts the driver by sounding a buzzer according to a command from the meter ECU 24. The seat belt ECU 26 is connected to a motor 32 that winds up the driver's seat belt. When the seat belt ECU 26 receives information indicating that the driver is falling asleep, the seat belt ECU 26 supplies a signal for instructing the motor 32 to perform intermittent driving. The motor 32 alerts the driver by intermittently winding the driver's seat belt in accordance with a command from the seat belt ECU 26. A brake actuator 34 that brakes the vehicle is connected to the brake ECU 28. When the brake ECU 28 receives information indicating that the driver is asleep, the brake ECU 28 supplies a signal for instructing the brake actuator 34 to perform intermittent driving. The brake actuator 34 alerts the driver by intermittently braking the vehicle in accordance with a command from the brake ECU 28.

尚、本実施例において、上記した居眠り判定システムを搭載する車両には、走行する道路に描かれた白線や黄線などの車線と自車両との相対位置を検知して、自車両をその車線に沿って走行するように自動操舵させるレーンキープシステムが搭載されている。かかるレーンキープシステムによれば、車両を運転者のステアリング操作によることなく車線に沿って走行させることが可能となる。   In the present embodiment, a vehicle equipped with the above-described doze determination system detects a relative position between a lane such as a white line or a yellow line drawn on a traveling road and the own vehicle, and the own vehicle is detected as the lane. A lane-keeping system that automatically steers the car to travel along According to such a lane keeping system, it is possible to drive the vehicle along the lane without depending on the driver's steering operation.

次に、本実施例のシステムにおける具体的な動作を説明する。図３は、運転者の覚醒時と居眠り時とでカメラ撮像画像に写る状態の違いを説明するための図を示す。   Next, a specific operation in the system of this embodiment will be described. FIG. 3 is a diagram for explaining a difference in a state captured in the camera-captured image when the driver is awakened and when he is asleep.

一般に、運転者が居眠りするとき、その眼はある程度長い時間継続して閉じられると共に、その頭は左右或いは上下に位置移動する傾向にある（図３参照）。従って、運転者の眉上と目下との間の距離（Ｙ１−Ｙ２間の距離）が比較的長い状態から比較的短い状態へ移行した後にその状態が長時間継続するときは、眼の閉じられた状態が長時間継続していると判断し、運転者が居眠りしている可能性は高いと判断できる。また、運転者の顔の輪郭について左右両端位置（Ｘ１，Ｘ２）或いは上下位置（Ｙ１，Ｙ２，Ｙ３）が通常時に比べて大きく移動するときは、運転者が居眠りしている可能性は高いと判断できる。また、人は落ち着いているときに居眠りするものであるので、居眠りが生ずると、その心拍数は低い値で安定したものとなる。従って、運転者の心拍数が低い値で安定すれば、運転者が居眠りしている可能性は高いと判断できる。   In general, when a driver falls asleep, his eyes continue to be closed for a relatively long time, and his head tends to move from side to side or up and down (see FIG. 3). Therefore, when the distance between the eyebrows above and below the eyes (distance between Y1 and Y2) changes from a relatively long state to a relatively short state and the state continues for a long time, the eyes are closed. Therefore, it can be determined that the driver is likely to fall asleep. Further, when the left and right end positions (X1, X2) or the vertical positions (Y1, Y2, Y3) of the driver's face outline move more than usual, the possibility that the driver is dozing is high. I can judge. In addition, since a person falls asleep when he / she is calm, when a doze occurs, the heart rate becomes stable at a low value. Therefore, if the driver's heart rate is stabilized at a low value, it can be determined that the driver is likely to fall asleep.

そこで、本実施例においては、顔向きカメラ１０の撮像画像からその画像をエッジ処理することによりその画像内での運転者の（ａ）顔左右両端位置（Ｘ１，Ｘ２）、（ｂ）顔上下位置（Ｙ１，Ｙ２，Ｙ３）、及び（ｃ）眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）をそれぞれ検出すると共に、心拍数センサ１４を用いて（ｄ）運転者の心拍数Ｎを検出して、それらの検出値を総合して運転者の居眠り判定を行う。具体的には、上記（ａ）〜（ｄ）の運転者の居眠り判定を行うために必要な各項目についてそれぞれ重み付け係数Ａ〜Ｄ（０≦Ａ〜Ｄ≦１；Ａ＋Ｂ＋Ｃ＋Ｄ＝１）を設定し、かつ、各項目についてその検出値に対応した居眠り確度Ｐａ〜Ｐｄ（％）をそれぞれ算出して、下記（１）式に従って運転者が居眠りしている可能性（信頼度）Ｔを計算する。そして、その信頼度Ｔが所定の閾値Ｔ０以上であるときに運転者が居眠りをしていると判定する。   Therefore, in the present embodiment, by performing edge processing on the captured image of the face-facing camera 10, the driver's (a) left and right end positions (X1, X2) and (b) face up and down in the image The position (Y1, Y2, Y3) and (c) the region between the upper and lower eyebrows (the region surrounded by X1-X2 and Y1-Y2) are detected, and the heart rate sensor 14 is used (d) The driver's heart rate N is detected, and the detected values are combined to determine whether the driver is falling asleep. Specifically, weighting coefficients A to D (0 ≦ A to D ≦ 1; A + B + C + D = 1) are set for each item necessary for performing the driver's doze determination of (a) to (d) above. And the dozing accuracy Pa to Pd (%) corresponding to the detected value is calculated for each item, and the possibility (reliability) T that the driver is dozing is calculated according to the following equation (1). And when the reliability T is more than predetermined threshold value T0, it determines with the driver | operator sleeping.

Ｔ＝Ａ・Ｐａ＋Ｂ・Ｐｂ＋Ｃ・Ｐｃ＋Ｄ・Ｐｄ ・・・（１）
例えば、Ａ＝０．１、Ｂ＝０．２、Ｃ＝０．５、及びＤ＝０．２と設定する。また、顔左右両端位置についてその移動量ΔＸ１，ΔＸ２が所定量ａ未満であるときは居眠り確度Ｐａをゼロとする一方でその移動量ΔＸ１，ΔＸ２が所定量ａ以上であるときは居眠り確度Ｐａを１００とする。また、顔上下位置についてその移動量ΔＹ１，ΔＹ２，ΔＹ３が所定量ｂ未満であるときは居眠り確度Ｐｂをゼロとする一方でその移動量ΔＹ１，ΔＹ２，ΔＹ３が所定量ｂ以上であるときは居眠り確度Ｐｂを１００とする。また、眉上−目下間の領域についてその領域内におけるエッジ数がイグニションオン後の初期値に比べてあまり減少していないとき或いはその初期値に比べて所定量ｃ以上減少しているがその状態が所定時間継続しないときは居眠り確度Ｐｃをゼロとする一方でそのエッジ数が初期値に比べて所定量ｃ以上減少している状態が所定時間継続するときは居眠り確度Ｐｃを１００とする。更に、運転者の心拍数についてその心拍数Ｎが所定数ｄ以上であるときは居眠り確度Ｐｄをゼロとする一方でその心拍数Ｎが所定量ｄ未満であるときは居眠り確度Ｐｄを１００とする。そして、設定されている重み付け係数Ａ〜Ｄと上記の各条件に従って算出した居眠り確度Ｐａ〜Ｐｄとに基づいて上記の信頼度Ｔを計算し、その計算した信頼度Ｔが所定の閾値Ｔ０以上であるときに運転者が居眠りをしていると判定する。 T = A.Pa + B.Pb + C.Pc + D.Pd (1)
For example, A = 0.1, B = 0.2, C = 0.5, and D = 0.2 are set. Further, when the movement amounts ΔX1, ΔX2 are less than the predetermined amount a for the left and right end positions of the face, the dozing accuracy Pa is set to zero, while when the movement amounts ΔX1, ΔX2 are the predetermined amount a or more, the dozing accuracy Pa is set. 100. In addition, when the movement amounts ΔY1, ΔY2, and ΔY3 of the face vertical position are less than the predetermined amount b, the dozing accuracy Pb is set to zero, while when the movement amounts ΔY1, ΔY2, and ΔY3 are the predetermined amount b or more, they are dozing. The accuracy Pb is set to 100. In addition, when the number of edges in the region between the upper and lower eyebrows does not decrease much compared to the initial value after the ignition is turned on or decreases by a predetermined amount c or more compared to the initial value. When the period does not continue for a predetermined time, the dozing accuracy Pc is set to zero. On the other hand, when the state in which the number of edges has decreased by a predetermined amount c or more compared to the initial value continues for the predetermined time, the dozing accuracy Pc is set to 100. Further, when the heart rate N of the driver is equal to or greater than the predetermined number d, the dozing accuracy Pd is zero, while when the heart rate N is less than the predetermined amount d, the dozing accuracy Pd is set to 100. . Then, the reliability T is calculated based on the set weighting factors A to D and the dozing accuracy Pa to Pd calculated according to each of the above conditions, and the calculated reliability T is greater than or equal to a predetermined threshold T0. It is determined that the driver is dozing at some time.

このように、本実施例のシステムにおいては、顔向きカメラ１０の撮像画像の処理に基づいて検出される、運転者の顔左右両端位置の移動量、顔上下位置の移動量、及び眉上−目下間の領域縮小の継続時間、並びに、心拍数センサ１４からの信号に基づいて検出される心拍数の安定度から、各項目についての居眠り確度Ｐａ〜Ｐｄを算出し、そして、それらの居眠り確度Ｐａ〜Ｐｄに基づいて総合的に運転者が居眠りしている信頼度Ｔを計算する。従って、本実施例のシステムによれば、運転者の居眠り時に生ずる眼の閉じや顔の移動など各種の状況を総合的に判断して、その居眠りの有無を適切に判定することが可能となっている。   Thus, in the system of the present embodiment, the movement amount of the left and right ends of the driver's face, the movement amount of the vertical position of the face, and the upper eyebrow − detected based on the processing of the captured image of the face-facing camera 10 The dozing accuracy Pa to Pd for each item is calculated from the duration of the current area reduction and the stability of the heart rate detected based on the signal from the heart rate sensor 14, and the dozing accuracy thereof. Based on Pa to Pd, the reliability T that the driver is asleep is calculated comprehensively. Therefore, according to the system of the present embodiment, it is possible to comprehensively determine various situations such as eye closure and face movement that occur when the driver falls asleep, and appropriately determine the presence or absence of the sleep. ing.

ところで、運転者の眼や顔の位置やその移動状態は、車両の走行状態に応じて変化する。具体的には、運転者は、覚醒時、車両がカーブ路を走行する状況では顔を左右に移動させる機会や量が多い一方、車両が直進路を走行する状況では顔を左右に移動させる機会や量は少ない。従って、カーブ路と直進路との区別なく上記の手法に従って運転者の居眠り判定を行うときには、運転者がカーブ路走行時に覚醒状態にあるにもかかわらず居眠りが行われているとの誤判定がなされないように、眼の移動状態に関する閾値を予め高くしておくことが必要となる。しかし、かかる構成では、車両が直進路を走行する状況で運転者が居眠りしているときに、その居眠りが行われていると判定され難いものとなるおそれがある。   By the way, the position of the driver's eyes and face and the moving state thereof change according to the traveling state of the vehicle. Specifically, when the driver wakes up, the driver has an opportunity to move his face to the left and right in situations where the vehicle is driving on a curved road, while the driver has an opportunity to move his face to the left and right in situations where the vehicle is driving on a straight road. And the amount is small. Therefore, when performing a driver's doze determination according to the above method without distinguishing between a curved road and a straight road, an erroneous determination that the driver is dozing despite being awake when driving on a curved road In order not to be done, it is necessary to increase the threshold regarding the movement state of the eye in advance. However, in such a configuration, when the driver is falling asleep while the vehicle is traveling on a straight road, it may be difficult to determine that the driver is falling asleep.

そこで、本実施例のシステムにおいては、運転者の居眠り判定を直進路走行時とカーブ路走行時とでそれぞれ対応させて適切に行うことに特徴を有している。以下、図４乃至図６を参照して、本実施例の特徴部について説明する。図４は、本実施例の居眠り判定システムにおいて居眠り検知ＥＣＵ２２が実行する制御ルーチンの一例のフローチャートを示す。   Therefore, the system of the present embodiment is characterized in that the driver's doze determination is appropriately performed in correspondence with each other when traveling on a straight road and when traveling on a curved road. Hereinafter, the characteristic part of the present embodiment will be described with reference to FIGS. FIG. 4 shows a flowchart of an example of a control routine executed by the dozing detection ECU 22 in the dozing determination system of the present embodiment.

本実施例のシステムにおいて、顔向きＥＣＵ１２は、所定時間ごとに、顔向きカメラ１０から入力される映像信号としての撮像画像について２値化処理や特徴点抽出処理を行ってそのエッジ情報を抽出する。そして、そのエッジ情報から運転者の顔の左右両端位置（Ｘ１，Ｘ２）、上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び顔中心位置（鼻の位置；Ｘ３）をそれぞれ算出し、それらの各情報をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。   In the system of the present embodiment, the face direction ECU 12 performs binarization processing and feature point extraction processing on the captured image as a video signal input from the face direction camera 10 and extracts edge information at predetermined time intervals. . Then, from the edge information, the left and right end positions (X1, X2), the vertical positions (Y1, Y2, Y3) of the driver's face, and the area between the upper and lower eyebrows (the area surrounded by X1-X2 and Y1-Y2) ) And the face center position (nose position; X3), respectively, and each piece of information is transmitted to the dozing detection ECU 22 via the CAN bus 20.

居眠り検知ＥＣＵ２２は、顔向きＥＣＵ１２から供給される情報に基づいて、運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び顔中心位置（鼻の位置；Ｘ３）をそれぞれ検出する（ステップ１００）。そして次に、特に顔左右両端位置（Ｘ１，Ｘ２）と顔中心位置Ｘ３とに基づいて、撮像画像に写し出された運転者の顔の左右間隔比率を算出して、円筒形モデルを参照して運転者の顔が向く方向すなわち正面からの顔向き角度θ（尚、運転者が車両真正面に顔を向けたときを０°とする。）を検出する。   The dozing detection ECU 22 is based on the information supplied from the face direction ECU 12, and both the left and right positions (X1, X2) of the driver's face, the vertical positions of the face (Y1, Y2, Y3), and the region between the upper and lower eyebrows (X1) -A region surrounded by X2 and Y1-Y2) and a face center position (nose position; X3) are detected (step 100). Then, based on the left and right end positions (X1, X2) of the face and the face center position X3, the ratio between the left and right sides of the driver's face shown in the captured image is calculated, and the cylindrical model is referred to. The direction in which the driver's face faces, that is, the face orientation angle θ from the front (note that the angle when the driver turns his face directly in front of the vehicle is 0 °) is detected.

居眠り検知ＥＣＵ２２は、予め、カメラ撮像画像から運転者の居眠りを判定することが可能な顔向き角度の許容値θ０（例えば、±１５°）を格納している。居眠り検知ＥＣＵ２２は、運転者の顔向き角度θを検出するごとに、その顔向き角度θをしきい値θ０と比較する（ステップ１０２）。その結果、｜θ｜≦｜θ０｜が成立しないときは、以後、運転者の居眠り判定を適切に行うことができないとして、処理を終了する。一方、｜θ｜≦｜θ０｜が成立するときは、運転者の顔がほぼ正面方向に向いているとして、次にステップ１０４の処理を実行する。   The dozing detection ECU 22 stores in advance a face orientation angle allowable value θ0 (for example, ± 15 °) that can determine the driver's dozing from the camera image. Each time the dozing detection ECU 22 detects the driver's face angle θ, it compares the face angle θ with a threshold value θ0 (step 102). As a result, when | θ | ≦ | θ0 | is not satisfied, the process is terminated on the assumption that the driver's drowsiness cannot be properly determined. On the other hand, when | θ | ≦ | θ0 | is satisfied, it is assumed that the driver's face is substantially in the front direction, and the process of step 104 is executed next.

すなわち、心拍数センサ１４は、所定時間ごとに、運転者の心拍数を検知して、その心拍数に応じた信号をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。居眠り検知ＥＣＵ２２は、心拍数センサ１４から供給される情報に基づいて、運転者の心拍数Ｎを検出する（ステップ１０４）。   That is, the heart rate sensor 14 detects the driver's heart rate every predetermined time, and transmits a signal corresponding to the heart rate to the dozing detection ECU 22 via the CAN bus 20. The dozing detection ECU 22 detects the heart rate N of the driver based on the information supplied from the heart rate sensor 14 (step 104).

また、ナビゲーションＥＣＵ１６は、ＧＰＳ受信機や方位センサ，速度センサなどからの信号に基づいて、地図データベース１８の地図データを参照して、自車位置を検出すると共に、その自車位置における道路或いはその自車位置から所定時間経過後に走行する予定の道路の道路種別（具体的には、自車両が走行する或いは走行する予定の道路が直進路であるかカーブ路であるか）を地図データベース１８から読み出す。そして、それらの情報をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。   Further, the navigation ECU 16 refers to the map data in the map database 18 based on signals from a GPS receiver, a direction sensor, a speed sensor, etc., and detects the vehicle position, and the road at the vehicle position or the road From the map database 18, the road type of the road scheduled to travel after a predetermined time has elapsed from the host vehicle position (specifically, whether the host vehicle is traveling or the road scheduled to travel is a straight road or a curved road) from the map database 18. read out. Then, the information is transmitted to the dozing detection ECU 22 via the CAN bus 20.

居眠り検知ＥＣＵ２２は、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両が走行する或いは走行する予定の道路が直進路であるかカーブ路であるかを判定する（ステップ１０６）。   Based on the information supplied from the navigation ECU 16, the dozing detection ECU 22 determines whether the road on which the host vehicle travels or is scheduled to travel is a straight road or a curved road (step 106).

図５は、本実施例における顔左右両端位置の位置変化（前回からの移動量）ΔＸ１，ΔＸ２と居眠り確度Ｐａとの関係を表したマップを直進路とカーブ路とで比較した図を示す。また、図６は、本実施例において居眠りの信頼度Ｔを算出するうえで必要な顔左右両端位置に関する重み付け係数Ａを直進路とカーブ路とで比較した図を示す。   FIG. 5 is a diagram comparing a map representing a relationship between position changes (movement amounts from the previous time) ΔX1 and ΔX2 of the left and right end positions of the face and a dozing accuracy Pa in the present embodiment on a straight road and a curved road. FIG. 6 shows a comparison of the weighting coefficient A related to the left and right end positions of the face necessary for calculating the dozing reliability T in the present embodiment for the straight road and the curve road.

本実施例において、居眠り検知ＥＣＵ２２には、居眠り確度Ｐａ〜Ｐｄをそれぞれ算出するための閾値である所定量ａ〜ｄの情報が予め記憶格納されているが、顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａとしては、直進路に対応するａ１と、カーブ路に対応するａ２とが設けられている。このカーブ路に対応する所定量ａ２は、カーブ路走行時に運転者が顔を車幅方向（左右方向）に移動させる機会や量が直進路走行時よりも多いことを考慮して、居眠り確度Ｐａの誤算出が生じないように、直進路に対応する所定量ａ１に比べて大きな値に設定されている（図５参照）。   In this embodiment, the dozing detection ECU 22 stores in advance information of predetermined amounts a to d which are threshold values for calculating the dozing accuracy Pa to Pd, respectively, but the dozing accuracy Pa for the left and right end positions of the face is stored. As a predetermined amount a which is a threshold value of the movement amounts ΔX1 and ΔX2 necessary for calculating the distance a1, a1 corresponding to the straight road and a2 corresponding to the curve road are provided. The predetermined amount a2 corresponding to the curved road is determined based on the fact that the driver has more opportunities and amount of moving his / her face in the vehicle width direction (left / right direction) when traveling on a curved road than when traveling on a straight road. Is set to a value larger than the predetermined amount a1 corresponding to the straight path (see FIG. 5).

また、居眠り検知ＥＣＵ２２には、運転者の居眠り判定を行うために必要な上記の各項目に対してそれぞれ設定された重み付け係数Ａ〜Ｄが記憶格納されているが、これらの重み付け係数Ａ〜Ｄにはそれぞれ、直進路に対応するＡ１〜Ｄ１と、カーブ路に対応するＡ２〜Ｄ２とが設けられている。具体的には、顔左右両端位置についての重み付け係数Ａは、直進路に対応するＡ１よりもカーブ路に対応するＡ２の方を全体に対する重み付けが大きくなるように設定されており（例えば、Ａ１＝０．１、Ａ２＝０．２；図６参照）、他の重み付け係数Ｂ〜Ｄの少なくとも何れか一つは、直進路に対応するＢ１〜Ｄ１よりもカーブ路に対応するＢ２〜Ｄ２の方を全体に対する重み付けが小さくなるように設定されている（例えば、Ｂ１＝０．２、Ｂ２＝０．１）。   Further, the dozing detection ECU 22 stores and stores the weighting coefficients A to D set for each of the above items necessary for determining the driver's dozing, but these weighting coefficients A to D are stored. Are respectively provided with A1 to D1 corresponding to the straight road and A2 to D2 corresponding to the curved road. Specifically, the weighting coefficient A for the left and right end positions of the face is set so that the weight on the whole of A2 corresponding to the curved road is larger than A1 corresponding to the straight path (for example, A1 = 0.1, A2 = 0.2; see FIG. 6), and at least one of the other weighting factors B to D is B2 to D2 corresponding to a curved road rather than B1 to D1 corresponding to a straight path Is set so that the weighting of the whole is small (for example, B1 = 0.2, B2 = 0.1).

居眠り検知ＥＣＵ２２は、上記ナビゲーションＥＣＵ１６からの情報に基づく判定の結果、自車両の走行する道路が直進路であるときは、顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａを比較的少なめのａ１に設定し、かつ、その重み付け係数Ａを直進路に対応した比較的小さめのＡ１に設定すると共に、他の項目の重み付け係数Ｂ〜Ｄを適宜直進路に対応したものに設定する（ステップ１０８）。一方、自車両の走行する道路がカーブ路であるときは、顔左右両端位置についての居眠り確度Ｐａを算出するうえでの所定量ａを比較的多めのａ２に設定し、かつ、その重み付け係数Ａをカーブ路に対応した比較的大きめのＡ２に設定すると共に、他の項目の重み付け係数Ｂ〜Ｄを適宜カーブ路に対応したものに設定する（ステップ１１０）。   As a result of the determination based on the information from the navigation ECU 16, the dozing detection ECU 22 determines the amount of movement necessary for calculating the dozing accuracy Pa for the left and right end positions of the face when the road on which the vehicle is traveling is a straight road. The predetermined amount a which is the threshold value of ΔX1 and ΔX2 is set to a relatively small a1, and the weighting coefficient A is set to a relatively small A1 corresponding to the straight path, and the weighting coefficients B˜ of other items are set. D is appropriately set to correspond to the straight path (step 108). On the other hand, when the road on which the host vehicle is traveling is a curved road, the predetermined amount a for calculating the dozing accuracy Pa for the left and right end positions of the face is set to a relatively large a2 and the weighting coefficient A Is set to a relatively large A2 corresponding to the curved road, and the weighting factors B to D of other items are appropriately set to those corresponding to the curved road (step 110).

そして、各項目の重み付け係数Ａ〜Ｄ及び居眠り確度判定閾値の設定後、検出した運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び心拍数Ｎから、各項目ごとに設けられた図５に示す如きマップを参照して、各検出値に応じた居眠り確度Ｐａ〜Ｐｄをそれぞれ算出したうえで、上記（１）式に従って運転者が居眠りしている可能性である信頼度Ｔを算出する（ステップ１１２）。   Then, after setting the weighting coefficients A to D and the dozing accuracy determination threshold for each item, the detected driver's face left and right end positions (X1, X2), the face vertical position (Y1, Y2, Y3), and between the upper eyebrow and the current eyebrows 5 (region surrounded by X1-X2 and Y1-Y2) and heart rate N, referring to a map as shown in FIG. 5 provided for each item, a dozing accuracy Pa corresponding to each detected value After calculating .about.Pd, the reliability T, which is the possibility that the driver is dozing, is calculated according to the above equation (1) (step 112).

居眠り検知ＥＣＵ２２は、上記の如く算出した信頼度Ｔを、運転者の居眠り判定のための閾値である所定値Ｔ０と比較する（ステップ１１４）。尚、この所定値Ｔ０は、予め運転者が居眠りしている状態と覚醒している状態との境界値に設定されている。その結果、Ｔ≧Ｔ０が成立しないと判別された場合は、運転者が覚醒していると判定する（ステップ１１６）。   The dozing detection ECU 22 compares the reliability T calculated as described above with a predetermined value T0 that is a threshold value for determining the driver's dozing (step 114). The predetermined value T0 is set in advance as a boundary value between a state where the driver is asleep and a state where the driver is awake. As a result, when it is determined that T ≧ T0 is not established, it is determined that the driver is awake (step 116).

一方、Ｔ≧Ｔ０が成立すると判別された場合は、運転者が居眠りしていると判定し（ステップ１１８）、運転者の居眠り情報をメータＥＣＵ２４、シートベルトＥＣＵ２６、及びブレーキＥＣＵ２８に対して供給する。各ＥＣＵ２４〜２８はそれぞれ、居眠り検知ＥＣＵ２２から運転者が居眠りしている旨の情報を受信した場合、アクチュエータ３０〜３４に対して駆動を指令する信号を供給する。そして、各アクチュエータ３０〜３４はそれぞれ、ＥＣＵ２４〜２８からの指令に従って、運転者に対して居眠りの注意喚起を行うべくすなわちその居眠りからの覚醒を促すべく、ブザー吹鳴を行い、シートベルトを断続的に巻き取り、また、車両を断続的に制動させる。   On the other hand, when it is determined that T ≧ T0 is established, it is determined that the driver is dozing (step 118), and the driver's dozing information is supplied to the meter ECU 24, the seat belt ECU 26, and the brake ECU 28. . When receiving information indicating that the driver is falling asleep from the dozing detection ECU 22, the ECUs 24 to 28 supply signals to the actuators 30 to 34 for driving. Each of the actuators 30 to 34 performs a buzzer sound in order to alert the driver to doze, that is, to wake up from the doze in accordance with commands from the ECUs 24 to 28, and intermittently disengage the seat belt. And the vehicle is intermittently braked.

このように、本実施例のシステムにおいては、運転者の居眠り時に生ずる眼の閉じや顔の移動など各種の状況を総合的に判断してその居眠りの有無を判定するうえで、その居眠り判定の基準となる閾値を、車両が直進路を走行しているときとカーブ路を走行しているときとで異ならせることができる。具体的には、運転者の顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａを、直進路走行時は比較的少なめのａ１に設定し、また、カーブ路走行時は比較的多めのａ２に設定することで、その居眠り確度Ｐａの算出のためひいては居眠り判定のための閾値をカーブ路走行時は直進路走行時に比べて上げることができる。   As described above, in the system of the present embodiment, in order to determine whether or not there is a doze by comprehensively judging various situations such as eye closure and face movement that occur when the driver falls asleep, The reference threshold value can be made different between when the vehicle is traveling on a straight road and when the vehicle is traveling on a curved road. Specifically, the predetermined amount a which is a threshold value of the movement amounts ΔX1 and ΔX2 necessary for calculating the dozing accuracy Pa for the left and right end positions of the driver's face is set to a relatively small a1 when traveling on a straight road. Set a relatively large value a2 when traveling on a curved road, so that the threshold value for determining the snoozing accuracy Pa is increased compared to when traveling on a straight road compared to driving on a straight road. Can do.

上記の如く、運転者が覚醒していても、カーブ路走行時は、直進路走行時に比べて、その顔を左右に移動させる機会やその量が多い。これに対して、本実施例においては、上述の如く、運転者の顔左右両端位置についての居眠り確度Ｐａを算出するうえでの閾値である所定量ａを、カーブ路走行時は直進路走行時に比べて多めに設定する。このため、本実施例のシステムによれば、顔などを左右に移動させる量の比較的多いカーブ路走行時に、運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、また、顔などを左右に移動させる量の比較的少ない直進路走行時に、運転者が居眠りしているときに確実に居眠りしていると判定することができる。   As described above, even when the driver is awake, there are more opportunities and amounts of moving the face to the left and right when traveling on a curved road than when traveling on a straight road. In contrast, in the present embodiment, as described above, the predetermined amount a, which is a threshold for calculating the dozing accuracy Pa for the left and right end positions of the driver's face, Set a larger number. For this reason, according to the system of the present embodiment, it is erroneously determined that the driver is dozing even though the driver is in an awake state when traveling on a curved road with a relatively large amount of moving the face to the left or right. In addition, it is possible to determine that the driver is asleep when the driver is asleep when traveling on a straight path with a relatively small amount of moving the face to the left or right.

また、本実施例のシステムにおいては、運転者の居眠りを判定するために必要な各項目の重み付け係数Ａ〜Ｄのうち顔左右両端位置についての重み付け係数Ａを、車両が直進路を走行しているときとカーブ路を走行しているときとで異ならせることができる。具体的には、その顔左右両端位置についての重み付け係数Ａを、直進路走行時は比較的小さめのＡ１に設定し、また、カーブ路走行時は比較的大きめのＡ２に設定することができる。   Further, in the system of the present embodiment, the vehicle travels on the straight path using the weighting coefficient A for the left and right end positions of the face among the weighting coefficients A to D of each item necessary for determining the driver's sleep. And when driving on a curved road. Specifically, the weighting coefficient A for the left and right end positions of the face can be set to a relatively small A1 when traveling on a straight road, and can be set to a relatively large A2 when traveling on a curved road.

運転者は居眠りすると、カーブ路走行時は車両に作用する横方向の力によって、直進路走行時に比べてその頭や顔が左右方向に移動し易くなりかつその量も多くなる傾向がある。これに対して、本実施例においては、上述の如く、全項目のうちの顔左右両端位置についての重み付け係数Ａを、カーブ路走行時は直進路走行時に比べて大きめに設定する。このため、本実施例のシステムによれば、カーブ路走行時に運転者が居眠りする際に居眠りしていると判定し易くすることができる。   When the driver falls asleep, the lateral force acting on the vehicle when traveling on a curved road tends to make the head and face move more easily in the left-right direction and increase the amount compared to traveling on a straight road. On the other hand, in the present embodiment, as described above, the weighting coefficient A for the left and right face positions of all items is set larger when traveling on a curved road than when traveling on a straight road. For this reason, according to the system of the present embodiment, it is possible to easily determine that the driver is dozing when driving on a curved road.

従って、本実施例のシステムによれば、運転者の居眠り判定を、車両の走行状態具体的には道路が直進路であるかカーブ路であるかに対応させて適切に行うことが可能となっている。   Therefore, according to the system of the present embodiment, it is possible to appropriately determine the driver's doze according to the traveling state of the vehicle, specifically whether the road is a straight road or a curved road. ing.

本実施例のシステムにおいて、運転者が居眠りしていると判定されると、警報ブザー３０を用いてブザー吹鳴がなされ、モータ３２を用いて運転者のシートベルトが断続的に巻き取られ、また、ブレーキアクチュエータ３４を用いて車両が断続的に制動される。この点、本実施例では、居眠りしている運転者に対して居眠りの注意喚起を行うことができ、これにより、その居眠りからの覚醒を促すことが可能となっている。   In the system of the present embodiment, when it is determined that the driver is asleep, the buzzer sounds using the alarm buzzer 30, the driver's seat belt is intermittently wound using the motor 32, and The vehicle is braked intermittently using the brake actuator 34. In this regard, in the present embodiment, it is possible to alert the driver who is asleep to doze, so that the driver can be awakened from the sleep.

尚、上記の第１実施例においては、顔向きカメラ１０が特許請求の範囲に記載した「撮影手段」に、運転者の顔左右両端位置、顔上下位置、眉上−目下間の領域が特許請求の範囲に記載した「顔内部位」に、それぞれ相当している。   In the first embodiment described above, the face-facing camera 10 includes the “photographing means” described in the claims in the areas of the left and right ends of the driver's face, the vertical position of the face, and the area between the upper and lower eyebrows. It corresponds to the “intra-facial region” described in the claims.

また、上記の第１実施例においては、居眠り検知ＥＣＵ２２が、顔向きカメラ１０の撮像画像の処理に基づいて、運転者の顔左右両端位置の移動量、顔上下位置の移動量、及び眉上−目下間の領域縮小を検出することにより特許請求の範囲に記載した「顔位置変化検出手段」が、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両が走行する或いは走行する予定の道路が直進路であるかカーブ路であるかを判定することにより特許請求の範囲に記載した「走行状態検出手段」が、図４に示すルーチン中ステップ１０６〜１１８の処理を実行することにより特許請求の範囲に記載した「居眠り判定手段」が、ステップ１０８の処理を実行することにより特許請求の範囲に記載した「左右閾値変更手段」及び「重み付け変更手段」が、ステップ１２０の処理を実行することにより特許請求の範囲に記載した「警告手段」が、それぞれ実現されている。   Further, in the first embodiment, the doze detection ECU 22 performs the movement amount of the left and right end positions of the driver, the movement amount of the face vertical position, and the upper eyebrow based on the processing of the captured image of the face-facing camera 10. -By detecting the current area reduction, the "face position change detecting means" described in the claims is based on the information supplied from the navigation ECU 16, and the road on which the host vehicle is or is scheduled to travel By determining whether the road is a straight road or a curved road, the “running state detection means” described in the claims executes the processing of steps 106 to 118 in the routine shown in FIG. The “drowsiness determining means” described in the range executes the processing of step 108 to thereby execute the “left / right threshold value changing means” and “weighting change means” described in the claims. , The claimed by executing the process of step 120 "warning means" are realized respectively.

ところで、上記の第１実施例においては、顔左右両端位置についての居眠り確度Ｐａを算出するうえで必要となる移動量ΔＸ１，ΔＸ２の閾値である所定量ａを、直進路用とカーブ路用とで２つに切り替えることとしているが、本発明はこれに限定されるものではなく、車両の走行する道路の曲率に応じて段階的に或いはリニアに変化させるものであってもよい。かかる構成によれば、運転者の居眠り判定を、カーブ路の状況に対応させて適切に行うことが可能となる。   By the way, in the first embodiment described above, the predetermined amount a which is the threshold value of the movement amounts ΔX1, ΔX2 required for calculating the dozing accuracy Pa for the left and right ends of the face is set for the straight road and the curve road. However, the present invention is not limited to this, and may be changed stepwise or linearly according to the curvature of the road on which the vehicle travels. According to such a configuration, the driver's doze determination can be appropriately performed in accordance with the condition of the curved road.

また、同様に、運転者の居眠り判定を行うために必要な顔左右両端位置についての重み付け係数Ａを、直進路用とカーブ路用とで２つに切り替えることとしているが、本発明はこれに限定されるものではなく、車両の走行する道路の曲率に応じて段階的に或いはリニアに変化させるものであってもよい。かかる構成によれば、運転者の居眠り判定を、カーブ路の状況に対応させて適切に行うことが可能となる。   Similarly, the weighting coefficient A for the left and right end positions of the face necessary for determining whether the driver is falling asleep is switched between two for the straight road and for the curved road. It is not limited, and may be changed stepwise or linearly according to the curvature of the road on which the vehicle travels. According to such a configuration, the driver's doze determination can be appropriately performed in accordance with the condition of the curved road.

上記した第１実施例では、ナビゲーションＥＣＵ１６から供給される情報に基づいて自車両の走行する道路が直進路であるかカーブ路であるかを判定して、その判定結果に応じて適切に運転者の居眠り判定を行う。これに対して、本実施例の第２実施例においては、ナビゲーションＥＣＵ１６から供給される情報に基づいて自車両の走行する道路が一般道であるか高速道路であるかを判定して、その判定結果に応じて適切に運転者の居眠り判定を行うこととしている。尚、本実施例において、上記の第１実施例で用いられた符号については、同一の符号を付して、その説明を省略または簡略する。   In the first embodiment described above, it is determined based on the information supplied from the navigation ECU 16 whether the road on which the host vehicle is traveling is a straight road or a curved road, and the driver is appropriately selected according to the determination result. Make a doze check. On the other hand, in the second embodiment of the present embodiment, it is determined whether the road on which the vehicle travels is a general road or a highway based on information supplied from the navigation ECU 16, and the determination is made. According to the result, the driver's doze determination is appropriately performed. In addition, in a present Example, about the code | symbol used in said 1st Example, the same code | symbol is attached | subjected and the description is abbreviate | omitted or simplified.

ところで、運転者は、覚醒時、車両が特に歩道や信号機のある一般道を走行する状況では顔を左右上下に移動させる機会や量が多い一方、車両が特に歩道や信号機のない高速道路を走行する状況では顔を左右上下に移動させる機会や量は少ない。従って、一般道と高速道路との区別なく運転者の居眠り判定を行うときには、運転者が一般道走行時に覚醒状態にあるにもかかわらず居眠りが行われているとの誤判定がなされないように、眼の移動状態に関する閾値を予め高くしておくことが必要となる。しかし、かかる構成では、車両が高速道路を走行する状況で運転者が居眠りしているときに、その居眠りが行われていると判定され難いものとなるおそれがある。   By the way, when the driver is awake, there are many opportunities and amount to move his face left and right and up and down, especially when the vehicle is traveling on a general road with sidewalks and traffic lights. There are few opportunities and amount to move the face left and right and up and down in the situation. Therefore, when determining whether a driver falls asleep without distinguishing between a general road and an expressway, the driver should not make a false determination that the driver is falling asleep while driving on a general road. Therefore, it is necessary to increase the threshold value relating to the eye movement state in advance. However, in such a configuration, when the driver is falling asleep while the vehicle is traveling on an expressway, it may be difficult to determine that the driver is falling asleep.

そこで、本実施例の運転者の居眠り判定を一般道走行時と高速道路走行時とでそれぞれ対応させて適切に行うことに特徴を有している。以下、図７を参照して、本実施例の特徴部について説明する。図７は、本実施例の居眠り判定システムにおいて居眠り検知ＥＣＵ２２が実行する制御ルーチンの一例のフローチャートを示す。   Therefore, the present embodiment is characterized in that the determination of the driver's dozing according to the present embodiment is appropriately performed in correspondence with the traveling on the general road and the traveling on the highway. Hereinafter, with reference to FIG. 7, the characteristic part of a present Example is demonstrated. FIG. 7 shows a flowchart of an example of a control routine executed by the dozing detection ECU 22 in the dozing determination system of the present embodiment.

すなわち、本実施例のシステムにおいて、ナビゲーションＥＣＵ１６は、ＧＰＳ受信機や方位センサ，速度センサなどからの信号に基づいて、地図データベース１８の地図データを参照して、自車位置を検出すると共に、その自車位置における道路の種別（具体的には、自車両が走行する道路が一般道であるか高速道路であるか）を地図データベース１８から読み出す。そして、それらの情報をＣＡＮバス２０を介して居眠り検知ＥＣＵ２２へ送信する。   That is, in the system of the present embodiment, the navigation ECU 16 refers to the map data in the map database 18 based on signals from a GPS receiver, a direction sensor, a speed sensor, etc. The type of road at the vehicle position (specifically, whether the road on which the vehicle is traveling is a general road or a highway) is read from the map database 18. Then, the information is transmitted to the dozing detection ECU 22 via the CAN bus 20.

居眠り検知ＥＣＵ２２は、ステップ１０４の処理後、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両が走行する道路が一般道であるか高速道路であるかを判定する（ステップ２００）。   The dozing detection ECU 22 determines whether the road on which the vehicle travels is a general road or a highway based on the information supplied from the navigation ECU 16 after the processing of step 104 (step 200).

本実施例において、居眠り検知ＥＣＵ２２には、居眠り確度Ｐａ〜Ｐｄをそれぞれ算出するための閾値である一定の所定量ａ〜ｄの情報が予め記憶されていると共に、運転者の居眠り判定を行うために必要な上記の各項目に対してそれぞれ設定された一定の重み付け係数Ａ〜Ｄが記憶格納されている。また、居眠り検知ＥＣＵ２２には、運転者が居眠りしている可能性としての総合的な信頼度Ｔに関する閾値が記憶格納されているが、この閾値としては、一般道に対応するＴ１０と、高速道路に対応するＴ１１とが設けられている。この一般道に対応する閾値Ｔ１０は、一般道走行時に運転者が顔を左右上下に移動させる機会や量が高速道路走行時よりも多いことを考慮して、居眠りの誤判定が生じないように、高速道路に対応する閾値Ｔ１１に比べて大きな値に設定されている。   In the present embodiment, the dozing detection ECU 22 stores in advance information of certain predetermined amounts a to d, which are threshold values for calculating the dozing accuracy Pa to Pd, respectively, and performs the driver's dozing determination. A predetermined weighting coefficient A to D respectively set for each of the items necessary for the above is stored and stored. In addition, the doze detection ECU 22 stores and stores a threshold value related to the total reliability T as a possibility that the driver is dozing. As the threshold value, T10 corresponding to a general road and a highway T11 corresponding to is provided. The threshold value T10 corresponding to the general road is set so that the driver does not make a false determination of dozing in consideration of the fact that the driver has more opportunities and amount to move his / her face left / right / up / down than when driving on the highway. The threshold value T11 corresponding to the expressway is set to a larger value.

居眠り検知ＥＣＵ２２は、上記ナビゲーションＥＣＵ１６からの情報に基づく判定の結果、自車両の走行する道路が一般道であるときは、信頼度Ｔの閾値を比較的大きめのＴ１０に設定する。また、検出した運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び心拍数Ｎから、各検出値に応じた居眠り確度Ｐａ〜Ｐｄをそれぞれ算出したうえで、上記（１）式に従って運転者が居眠りしている可能性である信頼度Ｔを算出する（ステップ２０２）。そして、その算出した信頼度Ｔを、運転者の居眠り判定のための閾値Ｔ１０と比較する（ステップ２０４）。   As a result of the determination based on the information from the navigation ECU 16, the dozing detection ECU 22 sets the threshold value of the reliability T to a relatively large T10 when the road on which the vehicle travels is a general road. Further, the detected driver's left and right end positions (X1, X2), the face vertical position (Y1, Y2, Y3), the area between the upper and lower eyebrows (the area surrounded by X1-X2 and Y1-Y2), Further, after calculating the dozing accuracy Pa to Pd corresponding to each detected value from the heart rate N, the reliability T that is the possibility that the driver is dozing is calculated according to the above equation (1) (step 202). ). Then, the calculated reliability T is compared with a threshold value T10 for determining the driver's dozing (step 204).

一方、自車両の走行する道路が高速道路であるときは、信頼度Ｔの閾値を比較的小さめのＴ１１に設定する。また、検出した運転者の顔左右両端位置（Ｘ１，Ｘ２）、顔上下位置（Ｙ１，Ｙ２，Ｙ３）、眉上−目下間の領域（Ｘ１−Ｘ２とＹ１−Ｙ２とで囲まれる領域）、及び心拍数Ｎから、各検出値に応じた居眠り確度Ｐａ〜Ｐｄをそれぞれ算出したうえで、上記（１）式に従って運転者が居眠りしている可能性である信頼度Ｔを算出する（ステップ２０６）。そして、その算出した信頼度Ｔを、運転者の居眠り判定のための閾値Ｔ１１と比較する（ステップ２０８）。   On the other hand, when the road on which the vehicle travels is an expressway, the threshold value of reliability T is set to a relatively small T11. Further, the detected driver's left and right end positions (X1, X2), the face vertical position (Y1, Y2, Y3), the area between the upper and lower eyebrows (the area surrounded by X1-X2 and Y1-Y2), Further, after calculating the dozing accuracy Pa to Pd corresponding to each detection value from the heart rate N, the reliability T which is the possibility that the driver is dozing is calculated according to the above equation (1) (step 206). ). Then, the calculated reliability T is compared with a threshold value T11 for determining the driver's drowsiness (step 208).

ステップ２０４及びステップ２０８の処理の結果、Ｔ≧Ｔ１０が成立しない場合或いはＴ≧Ｔ１１が成立しない場合は、運転者が覚醒していると判定する（ステップ１１６）。一方、Ｔ≧Ｔ１０が成立する場合或いはＴ≧Ｔ１１が成立する場合は、運転者が居眠りしていると判定し（ステップ１１８）、運転者の居眠り情報をメータＥＣＵ２４、シートベルトＥＣＵ２６、及びブレーキＥＣＵ２８に対して供給することにより、各アクチュエータ３０〜３４を用いて、運転者に対して居眠りの注意喚起を行うべくすなわちその居眠りからの覚醒を促すべく、ブザー吹鳴を行い、シートベルトを断続的に巻き取り、また、車両を断続的に制動させる。   If T ≧ T10 is not satisfied or T ≧ T11 is not satisfied as a result of the processing of step 204 and step 208, it is determined that the driver is awake (step 116). On the other hand, when T ≧ T10 is satisfied or when T ≧ T11 is satisfied, it is determined that the driver is dozing (step 118), and the driver's dozing information is obtained from the meter ECU 24, the seat belt ECU 26, and the brake ECU 28. In order to alert the driver to doze, that is, to wake up from the doze, the actuator 30 to 34 is used, and the seat belt is intermittently used. Take up and brake the vehicle intermittently.

このように、本実施例のシステムにおいては、運転者の居眠り時に生ずる眼の閉じや顔の移動など各種の状況を総合的に判断してその居眠り判定を行ううえで、その居眠り判定のための閾値を、車両が一般道を走行しているときと高速道路を走行しているときとで異ならせることができる。具体的には、居眠り判定のために必要な信頼度Ｔの閾値を、一般道走行時は比較的大きめのＴ１０に設定し、また、高速道路走行時は比較的小さめのＴ１１に設定することで、高速道路走行時は一般道走行時に比べて下げることができる。   As described above, in the system of the present embodiment, when making a doze determination by comprehensively judging various situations such as eye closure and face movement that occur when the driver falls asleep, The threshold value can be made different between when the vehicle is traveling on a general road and when the vehicle is traveling on a highway. Specifically, by setting the threshold value of the reliability T necessary for the determination of snoozing to a relatively large T10 when traveling on a general road, and to a relatively small T11 when traveling on a highway. When traveling on a highway, it can be lowered compared to traveling on a general road.

上記の如く、運転者が覚醒していても、一般道走行時は、高速道路走行時に比べて、その顔を左右上下に移動させる機会や量が多い。これに対して、本実施例においては、上述の如く、居眠り判定のための信頼度Ｔの閾値を、高速道路走行時は一般道走行時に比べて下げる。このため、本実施例のシステムによれば、顔などを左右上下に移動させる量の比較的多い一般道走行時に、運転者が覚醒状態にあるにもかかわらず居眠りしていると誤判定されるのを防止することができると共に、また、顔などを左右上下に移動させる量の比較的少ない高速道路走行時に、運転者が居眠りしているときに確実に居眠りしていると判定することができる。従って、運転者の居眠り判定を、車両の走行状態具体的には道路が一般道であるか高速道路であるかに対応させて適切に行うことが可能となっている。   As described above, even when the driver is awake, when driving on a general road, there are more opportunities and amounts to move the face left and right and up and down than when driving on a highway. On the other hand, in the present embodiment, as described above, the threshold value of the reliability T for determining doze is lowered when traveling on a highway compared to traveling on a general road. For this reason, according to the system of the present embodiment, it is erroneously determined that the driver is dozing even though the driver is in an awake state when traveling on a general road with a relatively large amount of moving his / her face to the left / right / up / down. In addition, it is possible to determine that the driver is asleep when the driver is asleep when driving on a highway with a relatively small amount of moving the face, etc. left and right and up and down. . Accordingly, it is possible to appropriately determine whether the driver is falling asleep according to the traveling state of the vehicle, specifically, whether the road is a general road or an expressway.

尚、上記の第２実施例においては、居眠り検知ＥＣＵ２２が、ナビゲーションＥＣＵ１６から供給される情報に基づいて、自車両の走行する道路が一般道であるか高速道路であるかを判定することにより特許請求の範囲に記載した「走行状態検出手段」が、図７に示すルーチン中ステップ２００〜２０８、１１６、及び１１８の処理を実行することにより特許請求の範囲に記載した「居眠り判定手段」が、居眠り判定のために必要な信頼度Ｔの閾値をＴ１０からＴ１１へ下げることにより特許請求の範囲に記載した「閾値変更手段」が、それぞれ実現されている。   In the second embodiment, the dozing detection ECU 22 determines whether the road on which the vehicle travels is a general road or a highway based on information supplied from the navigation ECU 16. The “running state detection unit” described in the claims executes the processing of steps 200 to 208, 116, and 118 in the routine shown in FIG. The “threshold value changing means” described in the claims is realized by lowering the threshold value of the reliability T necessary for dozing determination from T10 to T11.

ところで、上記の第１及び第２実施例においては、居眠りしている運転者の覚醒を促す警告の手法として、ブザー吹鳴やシートベルトの断続的な巻き取り，車両の断続的な制動を行うこととしているが、本発明はこれに限定されるものではなく、オーディオボリュームの増大や車両シートの振動などを行うこととしてもよい。   By the way, in the first and second embodiments described above, as a warning method for encouraging the driver who is asleep to sleep, a buzzer is blown, the seat belt is intermittently wound, and the vehicle is intermittently braked. However, the present invention is not limited to this, and the audio volume may be increased or the vehicle seat may be vibrated.

また、上記の第１及び第２実施例においては、居眠り判定に用いる車両の走行状態として、道路の直進路とカーブ路との別及び一般道と高速道路との別を用いることとしたが、道路の平坦と勾配との別に適用することとしてもよい。   In the first and second embodiments described above, as the running state of the vehicle used for the doze determination, a straight road and a curved road and a general road and a highway are used. It may be applied separately for road flatness and slope.

本発明の第１実施例である車両に搭載されるシステムの構成図である。It is a block diagram of the system mounted in the vehicle which is 1st Example of this invention. 本実施例の有する車載カメラの搭載構造を示す図である。It is a figure which shows the mounting structure of the vehicle-mounted camera which a present Example has. 運転者の覚醒時と居眠り時とでカメラ撮像画像に写る状態の違いを説明するための図である。It is a figure for demonstrating the difference in the state reflected on a camera picked-up image at the time of a driver | operator's awakening, and dozing. 本実施例の居眠り判定装置において実行される制御ルーチンの一例のフローチャートである。It is a flowchart of an example of the control routine performed in the dozing determination apparatus of the present embodiment. 本実施例における顔左右両端位置の位置変化と居眠り確度との関係を表したマップを直進路とカーブ路とで比較した図である。It is the figure which compared the map showing the relationship between the position change of the face right and left both-ends position in this example, and dozing accuracy with the straight road and the curve road. 本実施例において居眠りの信頼度を算出するうえで必要な顔左右両端位置に関する重み付け係数を直進路とカーブ路とで比較した図である。It is the figure which compared the weighting coefficient regarding the right-and-left both-ends position required in calculating a dozing reliability in a present Example by the straight path and the curve path. 本発明の第２実施例の居眠り判定装置において実行される制御ルーチンの一例のフローチャートである。It is a flowchart of an example of the control routine performed in the dozing determination apparatus of 2nd Example of this invention.

符号の説明Explanation of symbols

１０ 顔向きカメラ
１２ 顔向きＥＣＵ
１６ ナビゲーションＥＣＵ
１８ 地図データベース
２２ 居眠り判定ＥＣＵ
３０ 警報ブザー
３２ モータ
３４ ブレーキアクチュエータ 10 Face-facing camera 12 Face-facing ECU
16 Navigation ECU
18 Map database 22 Doze determination ECU
30 Alarm buzzer 32 Motor 34 Brake actuator

Claims (6)

運転者の顔を撮影する撮影手段により撮影された顔の画像データに基づいて該運転者の居眠りを判定する居眠り判定装置であって、
前記撮影手段により撮影される顔の画像データから該運転者の顔内部位の位置変化を検出する顔位置変化検出手段と、
車両の走行状態を検出する走行状態検出手段と、
前記顔移動検出手段により検出される顔内部位の位置変化と前記走行状態検出手段により検出される車両の走行状態とに基づいて、運転者の居眠りを判定する居眠り判定手段と、
を備えることを特徴とする居眠り判定装置。 A doze determination device for determining a driver's doze based on image data of a face photographed by a photographing means for photographing a driver's face,
Face position change detecting means for detecting a position change of a part of the driver's face from the face image data photographed by the photographing means;
Traveling state detecting means for detecting the traveling state of the vehicle;
A doze determination unit for determining a driver's doze based on a change in position of a part in the face detected by the face movement detection unit and a running state of the vehicle detected by the running state detection unit;
A dozing determination device comprising: 前記走行状態検出手段は、車両の走行する道路が直進路であるかカーブ路であるかを判定すると共に、
前記居眠り判定手段は、前記走行状態検出手段により車両の走行する道路がカーブ路であると判定する状況では、道路が直進路であると判定する状況に比べて、顔内部位の左右位置変化に関する運転者の居眠りを判定するための閾値を上げる左右閾値変更手段を有することを特徴とする請求項１記載の居眠り判定装置。 The travel state detection means determines whether the road on which the vehicle travels is a straight road or a curved road,
In the situation where the dozing determination means determines that the road on which the vehicle travels is a curved road by the traveling state detection means, the doze determination means relates to a change in the left-right position of the intra-facial part compared to a situation where the road is determined to be a straight road. The dozing determination apparatus according to claim 1, further comprising a left / right threshold value changing means for increasing a threshold value for determining a driver's dozing. 前記居眠り判定手段は、また、前記左右閾値変更手段により前記閾値を上げるときには、運転者の居眠りを判定するために必要なパラメータである顔内部位の全位置変化要素のうち左右位置変化の重み付けを大きくする重み付け変更手段を有することを特徴とする請求項２記載の居眠り判定装置。   When the threshold value is increased by the left / right threshold value changing means, the dozing determination means weights the right / left position change among all the position change elements of the intra-facial part, which is a parameter necessary for determining the driver's dozing. The dozing determination apparatus according to claim 2, further comprising a weight changing unit that increases the weight. 前記走行状態検出手段は、車両の走行する道路が一般道であるか高速道路であるかを判定すると共に、
前記居眠り判定手段は、前記走行状態検出手段により車両の走行する道路が高速道路であると判定する状況では、道路が一般道であると判定する状況に比べて、顔内部位の位置変化に関する運転者の居眠りを判定するための閾値を下げる閾値変更手段を有することを特徴とする請求項１記載の居眠り判定装置。 The travel state detection means determines whether the road on which the vehicle travels is a general road or a highway,
In the situation where the dozing determination means determines that the road on which the vehicle travels is a highway by the driving state detection means, the driving related to the position change of the intra-facial part is compared to the situation where the road is determined to be a general road. The dozing determination apparatus according to claim 1, further comprising a threshold changing unit that lowers a threshold for determining a person's dozing. 顔内部位は、顔の左右両端位置、顔の上下位置、又は眉上と目下との間の領域であることを特徴とする請求項１乃至４の何れか一項記載の居眠り判定装置。   The doze determination device according to any one of claims 1 to 4, wherein the part in the face is a position between the left and right ends of the face, a vertical position of the face, or an area between the upper and lower eyebrows. 請求項１乃至５の何れか一項記載の居眠り判定装置の備える前記居眠り判定手段により運転者が居眠りを行っていると判定される場合に、該運転者に対して居眠りからの覚醒を促す警告を行う警告手段を備えることを特徴とする居眠り運転警告装置。   A warning that prompts the driver to wake up from dozing when the dozing determination unit included in the dozing determination device according to any one of claims 1 to 5 determines that the driver is dozing. A drowsiness driving warning device characterized by comprising warning means for
JP2006051189A 2006-02-27 2006-02-27 Dozing determination device and dozing operation warning device Expired - Fee Related JP4702100B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006051189A JP4702100B2 (en) 2006-02-27 2006-02-27 Dozing determination device and dozing operation warning device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006051189A JP4702100B2 (en) 2006-02-27 2006-02-27 Dozing determination device and dozing operation warning device

Publications (2)

Publication Number Publication Date
JP2007233475A true JP2007233475A (en) 2007-09-13
JP4702100B2 JP4702100B2 (en) 2011-06-15

Family

ID=38554042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006051189A Expired - Fee Related JP4702100B2 (en) 2006-02-27 2006-02-27 Dozing determination device and dozing operation warning device

Country Status (1)

Country Link
JP (1) JP4702100B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010067058A (en) * 2008-09-11 2010-03-25 Toyota Motor Corp Face direction detection device
KR100980489B1 (en) 2008-05-29 2010-09-07 주식회사 마이폰 Method and apparatus for alarming driving in sleep responsive to vehicle motion and speed
JP2011018240A (en) * 2009-07-09 2011-01-27 Aisin Seiki Co Ltd Device and method for detecting state and program
JP2011141821A (en) * 2010-01-08 2011-07-21 Denso Corp Arousal supporting device
US8094883B2 (en) 2007-10-11 2012-01-10 Denso Corporation Sleepiness level determination device for driver
JP2017004043A (en) * 2015-06-04 2017-01-05 マツダ株式会社 Driver state determination method and driver state determination device
JP2017151693A (en) * 2016-02-24 2017-08-31 株式会社デンソー Careless driving detection system and careless driving detection method
WO2017195807A1 (en) * 2016-05-10 2017-11-16 勇 大森 Driver abnormality occurrence detector and safety device using same
CN108389053A (en) * 2018-03-19 2018-08-10 广州逗号智能零售有限公司 Method of payment, device, electronic equipment and readable storage medium storing program for executing
JP2019070876A (en) * 2017-10-05 2019-05-09 いすゞ自動車株式会社 Safe driving support device and safe driving support method
US10558875B2 (en) 2017-05-11 2020-02-11 Hyundai Motor Company System and method for determining state of driver
JP2022530605A (en) * 2020-03-30 2022-06-30 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 Child state detection method and device, electronic device, storage medium
WO2023112073A1 (en) * 2021-12-13 2023-06-22 三菱電機株式会社 Reference value creation device, alertness level estimation device, and reference value creation method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160100654A (en) 2015-02-16 2016-08-24 주식회사 바이브라시스템 method and apparatus for detecting drowsiness by physiological signal by using video
KR101692532B1 (en) * 2015-04-30 2017-01-18 주식회사 엔알피시스템 Drowsiness detection apparatus and method
JP6907920B2 (en) 2017-12-15 2021-07-21 株式会社デンソー Automatic driving support device
CN112365680A (en) * 2020-10-29 2021-02-12 福信富通科技股份有限公司 Active safety early warning method and system based on AI identification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6057435U (en) * 1983-09-28 1985-04-22 トヨタ自動車株式会社 Drowsy driving alarm device
JPH05262161A (en) * 1992-03-17 1993-10-12 Tamotsu Kawamata Drowse preventing device
JPH08147582A (en) * 1994-11-17 1996-06-07 Toyota Motor Corp Doze alarming device
JPH11195200A (en) * 1997-12-26 1999-07-21 Nissan Motor Co Ltd Operating state detecting device
JP2004090724A (en) * 2002-08-30 2004-03-25 Pioneer Electronic Corp Play back control system for moving body, its method, and its program and recording medium recording it

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6057435U (en) * 1983-09-28 1985-04-22 トヨタ自動車株式会社 Drowsy driving alarm device
JPH05262161A (en) * 1992-03-17 1993-10-12 Tamotsu Kawamata Drowse preventing device
JPH08147582A (en) * 1994-11-17 1996-06-07 Toyota Motor Corp Doze alarming device
JPH11195200A (en) * 1997-12-26 1999-07-21 Nissan Motor Co Ltd Operating state detecting device
JP2004090724A (en) * 2002-08-30 2004-03-25 Pioneer Electronic Corp Play back control system for moving body, its method, and its program and recording medium recording it

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094883B2 (en) 2007-10-11 2012-01-10 Denso Corporation Sleepiness level determination device for driver
KR100980489B1 (en) 2008-05-29 2010-09-07 주식회사 마이폰 Method and apparatus for alarming driving in sleep responsive to vehicle motion and speed
JP2010067058A (en) * 2008-09-11 2010-03-25 Toyota Motor Corp Face direction detection device
JP2011018240A (en) * 2009-07-09 2011-01-27 Aisin Seiki Co Ltd Device and method for detecting state and program
KR101311552B1 (en) 2009-07-09 2013-09-26 아이신세이끼가부시끼가이샤 State detecting device, state detecting method, and recording media
US8786448B2 (en) 2009-07-09 2014-07-22 Aisin Seiki Kabushiki Kaisha State detecting device, state detecting method, and non-transitory computer-readable medium
JP2011141821A (en) * 2010-01-08 2011-07-21 Denso Corp Arousal supporting device
JP2017004043A (en) * 2015-06-04 2017-01-05 マツダ株式会社 Driver state determination method and driver state determination device
JP2017151693A (en) * 2016-02-24 2017-08-31 株式会社デンソー Careless driving detection system and careless driving detection method
WO2017195807A1 (en) * 2016-05-10 2017-11-16 勇 大森 Driver abnormality occurrence detector and safety device using same
US10558875B2 (en) 2017-05-11 2020-02-11 Hyundai Motor Company System and method for determining state of driver
JP2019070876A (en) * 2017-10-05 2019-05-09 いすゞ自動車株式会社 Safe driving support device and safe driving support method
CN108389053A (en) * 2018-03-19 2018-08-10 广州逗号智能零售有限公司 Method of payment, device, electronic equipment and readable storage medium storing program for executing
JP2022530605A (en) * 2020-03-30 2022-06-30 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 Child state detection method and device, electronic device, storage medium
JP7259078B2 (en) 2020-03-30 2023-04-17 上▲海▼商▲湯▼▲臨▼▲港▼智能科技有限公司 CHILD STATE DETECTION METHOD AND DEVICE, ELECTRONIC DEVICE, STORAGE MEDIUM
WO2023112073A1 (en) * 2021-12-13 2023-06-22 三菱電機株式会社 Reference value creation device, alertness level estimation device, and reference value creation method

Also Published As

Publication number Publication date
JP4702100B2 (en) 2011-06-15

Similar Documents

Publication Publication Date Title
JP4702100B2 (en) Dozing determination device and dozing operation warning device
US9694680B2 (en) System and method for determining drowsy state of driver
US9542847B2 (en) Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
CN101968917B (en) Vehicle-mounted warning apparatus
US20080186154A1 (en) Method and Device for Driver Support
US20130135092A1 (en) Driving behavior analysis and warning system and method thereof
US20120206252A1 (en) Lane departure warning system
JP6627811B2 (en) Concentration determination device, concentration determination method, and program for concentration determination
JP4182131B2 (en) Arousal level determination device and arousal level determination method
US20100007479A1 (en) Adaptive driver warning methodology
JP5830944B2 (en) Vehicle driving support apparatus and vehicle driving support method
JP2010125923A (en) Emergency refuge device
JP2007122579A (en) Vehicle controller
CN104246848A (en) Driving assistance device
JP2001138767A (en) Alarm device for vehicle
JP2009213768A (en) Driver&#39;s biological condition-determining device
JP2003327009A (en) Attention attracting device
KR101124948B1 (en) Alarm system for informing start of front vehicle
JP3455627B2 (en) Awakening degree decrease detection device for vehicles
CN103569084B (en) Drive arrangement for detecting and method thereof
JP2008084219A (en) Alarm device for curve in front
JP2010100088A (en) Drive assist system
JP2008065380A (en) Drive support device
JP2010102538A (en) Drowse determining device
JP2008250859A (en) Arousal determining device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110221

R151 Written notification of patent or utility model registration

Ref document number: 4702100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees