JP6747493B2 - Driver status determination device - Google Patents
Driver status determination device Download PDFInfo
- Publication number
- JP6747493B2 JP6747493B2 JP2018222792A JP2018222792A JP6747493B2 JP 6747493 B2 JP6747493 B2 JP 6747493B2 JP 2018222792 A JP2018222792 A JP 2018222792A JP 2018222792 A JP2018222792 A JP 2018222792A JP 6747493 B2 JP6747493 B2 JP 6747493B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- state
- far
- infrared image
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、ドライバの異常状態を判定するドライバ状態判定装置に関する。 The present invention relates to a driver state determination device that determines an abnormal state of a driver.
車両を運転中に、ドライバの状態が漫然、居眠り、発作等の異常状態にあると、事故を引き起こす可能性が高まる。そこで、事故を未然防止するために、ドライバの状態を監視する装置が提案されている。 If the driver is in a state of dullness, dozing, seizures, or the like while driving a vehicle, the possibility of causing an accident increases. Therefore, in order to prevent an accident, a device for monitoring the driver's condition has been proposed.
例えば、特許文献１に記載の眠気検出装置は、カメラにより撮影されたドライバの顔画像から、目、口等の顔の部品を検出し、顔の部品の形状等に基づいて、ドライバの眠気を検出している。また、生体センサによりドライバの脈拍を測定して、ドライバの状態を監視するものも提案されている。
For example, the drowsiness detection device described in
顔画像から検出した顔の部品の形状を用いる場合、日射や対向車のヘッドライト等の外乱光の影響で、ドライバの顔の部品の検出精度が低下し、ドライバの異常状態の判定精度が低下するという問題がある。また、生体センサを用いる場合、ドライバを拘束する必要があり、ドライバの異常状態の判定を安定して行うには不向きである。さらに、生体センサは微弱電気信号を扱うため車両ノイズに弱いという問題もある。 When using the shape of a face part detected from a face image, the accuracy of the driver's face part detection decreases due to the effects of ambient light such as sunlight and headlights of oncoming vehicles, and the accuracy of the driver's abnormal state determination decreases. There is a problem to do. Further, when the biometric sensor is used, it is necessary to restrain the driver, which is not suitable for stably determining the abnormal state of the driver. Further, since the biosensor handles weak electric signals, it has a problem of being vulnerable to vehicle noise.
本発明は、上記実情に鑑み、高精度に安定してドライバの異常状態を判定できるドライバ状態判定装置を提供することを主たる目的とする。 In view of the above situation, it is a main object of the present invention to provide a driver state determination device capable of highly accurately and stably determining an abnormal state of a driver.
本発明は、上記実情に鑑み、ドライバ状態判定装置であって、車両のドライバの顔画像であって、前記ドライバの顔表面の温度分布を表す遠赤外画像を撮影する遠赤外カメラと、前記遠赤外カメラにより所定期間に逐次撮影された前記遠赤外画像に基づいて、前記ドライバの異常状態を判定する状態判定手段と、前記ドライバの鼻及び口を覆うマスクを検出するマスク検出手段と、前記マスク検出手段によりマスクが検出されていない場合、前記遠赤外画像における前記ドライバの鼻腔部又は口内部を呼吸部とし、前記呼吸部の温度変動情報から前記ドライバの呼吸状態を検出する一方で、前記マスク検出手段によりマスクが検出されている場合、前記遠赤外画像における前記マスクに対応する領域の温度変動情報から前記ドライバの呼吸状態を検出する呼吸状態検出手段と、を備える。前記状態判定手段は、前記呼吸状態検出手段により検出された前記呼吸状態に基づいて、前記ドライバの異常状態を判定する。 In view of the above situation, the present invention is a driver state determination device, which is a face image of a driver of a vehicle, and a far-infrared camera that captures a far-infrared image representing a temperature distribution on the face surface of the driver, A state determination unit that determines an abnormal state of the driver, and a mask detection unit that detects a mask covering the nose and mouth of the driver, based on the far infrared image sequentially captured by the far infrared camera in a predetermined period. When the mask is not detected by the mask detection means, the nasal cavity or the inside of the mouth of the driver in the far-infrared image is used as the breathing section, and the breathing state of the driver is detected from the temperature variation information of the breathing section. On the other hand, when the mask is detected by the mask detecting unit, the respiratory state detecting unit detects the respiratory state of the driver from the temperature variation information of the region corresponding to the mask in the far infrared image. The state determining means determines an abnormal state of the driver based on the respiratory state detected by the respiratory state detecting means.
本発明によれば、遠赤外カメラにより、ドライバの顔表面の温度分布を表す遠赤外画像が撮影される。ドライバが漫然状態や急病状態等の異常状態になると、ドライバの呼吸や瞬目の状態は正常時と異なる状態に変化する。ドライバの呼吸や瞬目の状態が正常時と異なる状態に変化すると、ドライバの顔表面の温度分布の変動が正常時と異なる変動となる。よって、所定期間に逐次撮影された遠赤外画像が表す温度分布に基づいて、ドライバの異常状態が判定できる。また、遠赤外カメラは外乱光の影響を受けにくい。さらに、遠赤外カメラは非接触センサであるため、安定してドライバの顔画像を撮影できる。したがって、ドライバの顔の遠赤外画像から、高精度に安定してドライバの異常状態を判定できる。さらに、本発明によれば、呼吸状態検出手段は、マスク検出手段によりマスクが検出されていない場合、遠赤外画像におけるドライバの鼻腔部又は口内部を呼吸部とし、呼吸部の温度変動情報からドライバの呼吸状態を検出する一方で、マスク検出手段によりマスクが検出されている場合、遠赤外画像におけるマスクに対応する領域の温度変動情報からドライバの呼吸状態を検出することができ、状態判定手段は、呼吸状態検出手段により検出された呼吸状態に基づいて、ドライバの異常状態を判定することができる。 According to the present invention, the far-infrared camera captures a far-infrared image representing the temperature distribution on the face surface of the driver. When the driver is in an abnormal state such as a dull state or a sudden illness, the breathing or blinking state of the driver changes to a state different from the normal state. When the driver's breathing or blinking state changes to a state different from the normal state, the temperature distribution on the driver's face surface changes differently from the normal state. Therefore, the abnormal state of the driver can be determined based on the temperature distribution represented by the far-infrared images sequentially captured during the predetermined period. Further, the far-infrared camera is not easily affected by ambient light. Further, since the far-infrared camera is a non-contact sensor, it is possible to stably capture the face image of the driver. Therefore, the abnormal state of the driver can be accurately and stably determined from the far-infrared image of the driver's face. Furthermore, according to the present invention, when the mask is not detected by the mask detection means, the respiratory state detection means uses the nasal cavity or the inside of the mouth of the driver in the far-infrared image as the breathing part, and from the temperature variation information of the breathing part. While detecting the breathing state of the driver, when the mask is detected by the mask detecting means, the breathing state of the driver can be detected from the temperature variation information of the region corresponding to the mask in the far-infrared image. The means can determine the abnormal state of the driver based on the respiratory state detected by the respiratory state detecting means.
以下、ドライバ状態判定装置を具現化した実施形態について、図面を参照しつつ説明する。 Hereinafter, an embodiment that embodies a driver state determination device will be described with reference to the drawings.
まず、本実施形態に係るドライバ状態判定装置１０の構成について、図１及び２を参照して説明する。ドライバ状態判定装置１０は、ＥＣＵ２０、遠赤外カメラ１１、及び近赤外カメラ１２を備えて、ドライバの異常状態を判定する。本実施形態において、ドライバの異常状態とは、ドライバが運転に必要な適切な認識、判断及び操作を実施することができない状態であり、例えば漫然状態、居眠り状態、体調異常状態、脇見状態等である。
First, the configuration of the driver
遠赤外カメラ１１は、遠赤外線領域に感度を有するカメラであり、撮影範囲内の物質が発する遠赤外線の強度を画素値に変換して、遠赤外画像を生成する。よって、遠赤外画像は撮影対象の温度分布を表し、画素値が大きいほど温度は高い。近赤外カメラ１２は、近赤外線領域に感度を有するカメラであり、投光器１４により照らされた領域を含む撮影対象を撮影して、近赤外画像を生成する。投光器１４は、近赤外光を照射する照明装置であり、駆動部１３により駆動される。駆動部１３は、後述するＥＣＵ２０の画像処理部３０により制御される。なお、投光器１４はＬＥＤ（発光ダイオード）の他、フィラメントなどを有する別の光源であっても良いが、ここではＬＥＤを代表例として説明する。
The far-infrared camera 11 is a camera having sensitivity in the far-infrared region, and converts the intensity of far-infrared rays emitted by a substance within the shooting range into a pixel value to generate a far-infrared image. Therefore, the far-infrared image represents the temperature distribution of the shooting target, and the higher the pixel value, the higher the temperature. The near-
遠赤外カメラ１１及び近赤外カメラ１２は、運転シートに着座した際のドライバの顔領域を含む領域の画像を、１秒間に数枚から数百枚分撮影する。遠赤外カメラ１１及び近赤外カメラ１２は、図２に示すように、メータパネル１５上の近い位置に斜め上向きに仰角を有するように搭載されている。遠赤外カメラ１１および近赤外カメラ１２はドライバのアイリプス部を含む領域を視野角に含めるように設定されており、近赤外カメラ１２は遠赤外カメラ１１が撮像するアイリプスよりも広視野となっている。アイリプス部は、車種ごとに決まっている領域であり、通常の運転時に、体格の異なる様々なドライバの眼位置が分布する楕円の領域である。
The far-infrared camera 11 and the near-
なお、遠赤外カメラ１１及び近赤外カメラ１２の搭載位置は、メータパネル１５上に限らず、例えば、ステアリングコラム上でもよい。遠赤外カメラ１１及び近赤外カメラ１２の搭載位置は、ドライバがシートに着座して正面を向いたときに、ドライバの鼻腔部を撮影できる位置であればよい。
The far-infrared camera 11 and the near-
ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えるマイクロコンピュータであり、ＣＰＵがＲＯＭに記憶されている各種プログラムを実行することにより、画像処理部３０、状態判定部４０及びアクチュエーション判定部５０の機能を実現する。
The
画像処理部３０は、近赤外カメラ１２の露光タイミングや露光時間、投光器１４の発光タイミングや発光時間、光量等を設定して、近赤外カメラ１２及び投光器１４の駆動部１３へ制御指令を送信する。また、画像処理部３０は、遠赤外カメラ１１により撮影された遠赤外画像、及び近赤外カメラ１２により撮影された近赤外画像を取得する。
The
状態判定部４０は、位置取得手段４１、領域抽出手段４２、マスク検出手段４３、眼鏡検出手段４４、呼吸状態検出手段４５、瞬目状態検出手段４６、状態判定手段４７及び顔向き検出手段４８を備え、ドライバの異常状態を判定する。各手段の詳細は後述する。
The
アクチュエーション判定部５０は、状態判定部４０によりドライバが異常状態であると判定された場合には、ドライバに覚醒を促したり、注意を喚起したりするように、アクチュエーション部６０の各装置６１〜６３へ制御信号を送信するとともに、異常状態が継続する場合には、緊急車両停止装置６４へ制御信号を送信する。詳しくは、アクチュエーション判定部５０は、警告音や警告メッセージを出力するように、スピーカ６１へ制御指令を送信する。また、アクチュエーション判定部５０は、運転席のシートを振動させるように、運転席のシートに設置されたシート振動装置６２へ制御指令を送信する。また、アクチュエーション判定部５０は、冷たい風をドライバに吹き付けるように、空調装置６３へ制御指令を送信する。アクチュエーション判定部５０は、ドライバの状態が異常状態から正常状態に復帰しない場合に、車両を緊急停止させるように、車両緊急停止装置６４へ制御指令を送信する。
When the
アクチュエーション判定部５０は、スピーカ６１、シート振動装置６２及び空調装置６３のうちの２つ以上を駆動させるようにしてもよい。また、アクチュエーション判定部５０は、異常状態の継続に伴い、順次駆動させる装置を変化させたり増やしたりするようにしてもよい。また、ドライバの覚醒を促す装置は、スピーカ６１、シート振動装置６２、空調装置６３に限らず、他の装置でもよい。アクチュエーション部６０には、ドライバの覚醒を促す少なくとも１つの装置と、車両緊急停止装置６４とが含まれていればよい。
The
次に、状態判定部４０の各手段について、図３〜９を参照して説明する。位置取得手段４１は、近赤外画像から顔の部品を認識し、認識した顔の部品の位置情報を取得する。認識する顔の部品は、眼、鼻、口などである。詳しくは、位置取得手段４１は、近赤外画像において、眼、鼻、口をテンプレートマッチングなど公知の手法で処理を行い、認識する。そして、位置取得手段４１は、認識した眼、鼻、口の位置情報、すなわち画像の座標情報を取得する。
Next, each means of the
領域抽出手段４２は、位置取得手段４１により取得された位置情報、及び近赤外画像と遠赤外画像の座標の対応関係を用いて、図３（ａ）及び図４（ａ）に示すように、遠赤外画像において、眼領域Ｅｒ，Ｅｌ、鼻領域Ｎ及び口領域Ｍを抽出する。図では便宜上、眼領域Ｅｒ，Ｅｌを一体的に記載しているが、実際には２つの領域である。眼領域Ｅｒ，Ｅｌは、眼球が存在する部分である眼部を探索する探索領域である。鼻領域Ｎは鼻腔部を探索する探索領域であり、口領域Ｍは口内部を探索する探索領域である。領域抽出手段４２は、眼、鼻、口の位置情報を中心とした一定の領域を、それぞれ眼領域Ｅｒ，Ｅｌ、鼻領域Ｎ、口領域Ｍとして抽出する。なお、ドライバが鼻呼吸をしている場合は鼻腔部が呼吸部となり、口呼吸をしている場合は口内部が呼吸部となる。
The
遠赤外画像は通常の可視光画像と異なり形状のエッジ部分が明瞭ではないため、遠赤外画像を用いて顔全体から、顔の部品を認識することは困難である。そこで、領域抽出手段４２は、近赤外画像から取得された位置情報を用いて、探索領域の抽出を行う。このように探索領域の抽出を行うことにより、遠赤外画像において、眼部、鼻腔部及び口内部の探索処理の負荷を軽減できるとともに、眼部、鼻腔部及び口内部を高精度に検出できる。 Unlike a normal visible light image, the far infrared image is not clear in the edge portion of the shape. Therefore, it is difficult to recognize facial parts from the entire face using the far infrared image. Therefore, the area extracting means 42 extracts the search area using the position information acquired from the near-infrared image. By performing the extraction of the search region in this manner, it is possible to reduce the load of the search processing of the eye, the nasal cavity and the inside of the mouth in the far infrared image, and to detect the eye, the nasal cavity and the inside of the mouth with high accuracy. ..
呼吸状態検出手段４５は、鼻腔部又は口内部の温度変動情報から呼吸状態を検出する。鼻又は口から息を吸うと、鼻腔部又は口内部に比較的低温の空気が流入する。そのため、ドライバが鼻から息を吸っている状態又は息を止めている状態では、図３（ａ）に示すように、遠赤外画像の鼻腔部の輝度は低くなり暗く映る。ドライバの鼻が詰まっている場合は、詰まっている鼻腔部に流入する空気が少なくなるため、図３（ｂ）に示すように、遠赤外画像において、詰まっている方の鼻腔部は、詰まっていない方の鼻腔部よりも輝度が高くなる。また、ドライバが口から息を吸っている状態又は息を止めている状態では、図３（ｃ）に示すように、遠赤外画像の口内部の輝度は低くなり暗く映る。 The breathing state detecting means 45 detects the breathing state from the temperature variation information of the nasal cavity or the inside of the mouth. When breathing in through the nose or mouth, relatively cool air flows into the nasal cavity or inside the mouth. Therefore, when the driver is breathing through the nose or holding the breath, as shown in FIG. 3A, the brightness of the nasal cavity portion in the far-infrared image is low and appears dark. If the driver's nose is clogged, less air will flow into the clogged nasal cavity, so as shown in FIG. 3B, the clogged nasal cavity is clogged in the far-infrared image. The brightness is higher than that of the nostrils. Further, when the driver is breathing in through his mouth or holding his breath, as shown in FIG. 3C, the brightness inside the mouth of the far-infrared image becomes low and appears dark.
一方、鼻又は口から息を吐くと、鼻腔部又は口内部から比較的高温の空気が流出する。そのため、ドライバが鼻から息を吐いている状態では、図４（ａ）に示すように、遠赤外画像の鼻腔部の輝度は高くなり明るく映る。ドライバの鼻が詰まっている場合は、図４（ｂ）に示すように、遠赤外画像において、詰まっている方の鼻腔部は、詰まっていない方の鼻腔部よりも輝度が低くなる。また、ドライバが口から息を吸っている状態又は息を止めている状態では、図４（ｃ）に示すように、遠赤外画像の口内部の輝度は高くなり明るく映る。 On the other hand, when breathing out through the nose or mouth, relatively hot air flows out from the nasal cavity or inside the mouth. Therefore, when the driver is exhaling through the nose, as shown in FIG. 4A, the brightness of the nasal cavity portion of the far-infrared image becomes high and appears bright. When the driver's nose is clogged, as shown in FIG. 4B, in the far infrared image, the clogged nasal cavity has lower brightness than the unoccluded nasal cavity. Further, when the driver is breathing in through his mouth or holding his breath, as shown in FIG. 4C, the brightness inside the mouth of the far-infrared image becomes high and appears bright.
よって、所定期間（例えば数十秒）に撮影された遠赤外画像における呼吸部の温度は、呼吸に伴い変動する。呼吸状態検出手段４５は、呼吸部の温度変動情報すなわち遠赤外画像における呼吸部の輝度変動情報から、ドライバの呼吸周期、呼吸の深さ、呼吸速度等の呼吸状態を検出する。呼吸周期は、図８に示すような呼吸部の輝度の変化曲線において、例えば山と山との間隔又は谷と谷との間隔とする。また、呼吸の深さは、図８に示すような呼吸部の輝度の変化曲線において、例えば山と谷との輝度の差分量Ｄとする。 Therefore, the temperature of the breathing part in the far-infrared image captured during a predetermined period (for example, several tens of seconds) changes with breathing. The breathing state detecting means 45 detects the breathing state such as the breathing cycle, the depth of breathing, and the breathing speed of the driver from the temperature variation information of the breathing section, that is, the luminance variation information of the breathing section in the far infrared image. The breathing cycle is, for example, the interval between peaks or the interval between valleys in the change curve of the luminance of the respiratory part as shown in FIG. Further, the depth of respiration is, for example, the difference amount D of the luminance between the peak and the valley in the change curve of the luminance of the breathing part as shown in FIG.
ただし、マスク検出手段４３によりドライバの鼻及び口を覆うマスクが検出された場合には、呼吸状態検出手段４５は、検出されたマスクを呼吸部として、マスクの温度変動情報から呼吸状態を検出する。
However, when the
マスク検出手段４３は、所定期間に撮影された遠赤外画像からマスクを検出する。近赤外画像では、マスクと肌と境界線を抽出してマスクを検出することは困難である。これに対して、遠赤外画像では、図５に示すように、呼吸に伴いマスクにおいて鼻や口を覆う部分の温度が全体的に変動するため、所定期間における遠赤外画像からマスクを検出することができる。マスク検出手段４３は、顔の下部において、通常の鼻領域Ｎや口領域Ｍよりも広い領域で温度が変動している場合に、温度の変動領域をマスクとして検出する。
The mask detection means 43 detects a mask from the far-infrared image taken in a predetermined period. In the near infrared image, it is difficult to detect the mask by extracting the boundary line between the mask, the skin and the skin. On the other hand, in the far-infrared image, as shown in FIG. 5, the temperature of the part of the mask covering the nose and mouth changes with breathing, so the mask is detected from the far-infrared image in a predetermined period. can do. The
さらに、呼吸状態検出手段４５は、顔向き検出手段４８により検出されたドライバの顔向きが、遠赤外カメラ１１に対して鼻腔部の見えない向きであった場合に、誤検出を防止するため呼吸状態の検出を停止する。例えば、顔が大きく下又は上に傾いている場合には鼻腔部が見えないため、呼吸状態検出手段４５は、このような場合には呼吸状態の検出を停止する。顔向き検出手段４８は、近赤外画像からドライバの顔向きを検出する。詳しくは、顔向き検出手段４８は、近赤外画像において認識した顔の部品の配置に基づいて顔向きを検出する。
Furthermore, the breathing state detection means 45 prevents erroneous detection when the face direction of the driver detected by the face direction detection means 48 is a direction in which the nasal cavity is invisible to the far infrared camera 11. Stop detection of respiratory status. For example, when the face is greatly tilted downward or upward, the nasal cavity cannot be seen, so the respiratory state detecting means 45 stops the detection of the respiratory state in such a case. The face
瞬目状態検出手段４６は、眼部の温度変動情報から瞬目状態を検出する。眼球の表面温度は、瞼の表面温度よりも低い。そのため、ドライバが眼を開いている場合は、遠赤外画像の眼球部の輝度は低くなり暗く映る。また、ドライバが眼を閉じている場合は、遠赤外画像の眼球部の輝度は高くなり明るく映る。 The nictation state detecting means 46 detects the nictation state from the temperature variation information of the eye part. The surface temperature of the eyeball is lower than the surface temperature of the eyelid. Therefore, when the driver has his/her eyes open, the brightness of the eyeball portion of the far-infrared image becomes low and the image appears dark. Further, when the driver has his eyes closed, the brightness of the eyeball portion of the far-infrared image becomes high and appears bright.
よって、所定期間に撮影された遠赤外画像における眼領域Ｅｒ，Ｅｌの温度は、瞬きに伴い変動する。瞬目状態検出手段４６は、眼領域Ｅｒ，Ｅｌの温度変動情報すなわち遠赤外画像における眼領域Ｅｒ，Ｅｌの輝度変動情報から、ドライバの瞬目周期、継続閉眼時間等の瞬目状態を検出する。瞬目周期は、眼領域Ｅｒ，Ｅｌの輝度の変化曲線において、例えば山と山との間隔又は谷と谷との間隔とする。 Therefore, the temperatures of the eye regions Er and El in the far-infrared image captured during the predetermined period change with blinking. The blink state detecting means 46 detects the blink state of the driver's blink cycle, continuous eye closing time, etc. from the temperature variation information of the eye regions Er, El, that is, the luminance variation information of the eye regions Er, El in the far infrared image. To do. The blink cycle is, for example, the interval between peaks or the interval between valleys in the change curve of the luminance of the eye regions Er and El.
ただし、眼鏡検出手段４４によりドライバの眼鏡が検出された場合には、瞬目状態検出手段４６は、図７に示すように、近赤外画像からドライバの眼の開度である開眼度を検出し、検出した開眼度の変動から瞬目状態を検出する。詳しくは、瞬目状態検出手段４６は、近赤外画像から上下瞼の輪郭を抽出し、抽出した上瞼の輪郭と下瞼の輪郭との間隔や輪郭の形状から開眼度を検出する。
However, when the
眼鏡検出手段４４は、遠赤外画像からドライバの眼鏡を検出する。遠赤外画像では、図６に示すように、眼鏡部分はその他の顔部分よりも常に暗く映る。よって、眼鏡検出手段４４は、遠赤外画像において、顔の上部で、常に低温部分が存在する場合に、低温部分を眼鏡として検出する。
The glasses detection means 44 detects the glasses of the driver from the far infrared image. In the far-infrared image, as shown in FIG. 6, the spectacle portion always appears darker than the other face portions. Therefore, in the far-infrared image, the
状態判定手段４７は、遠赤外カメラ１１により所定期間に撮影された遠赤外画像に基づいて、ドライバの異常状態を判定する。詳しくは、状態判定手段４７は、ドライバの呼吸状態及び瞬目状態に基づいて、ドライバの異常状態を判定する。 The state determination means 47 determines an abnormal state of the driver based on the far infrared image taken by the far infrared camera 11 in a predetermined period. Specifically, the state determination means 47 determines the abnormal state of the driver based on the breathing state and blinking state of the driver.
図８に示すように、ドライバが正常状態の場合には、呼吸の周期や深さは安定した略一定値となる。一方、ドライバが異常状態の場合には、呼吸の周期や深さは正常状態から変化して不安定に変動するものとなる。状態判定手段４７は、呼吸周期の変動や呼吸の深さの変動に基づいて、ドライバの異常状態を判定する。 As shown in FIG. 8, when the driver is in a normal state, the breathing cycle and depth have stable and substantially constant values. On the other hand, when the driver is in an abnormal state, the breathing cycle and depth change from the normal state and fluctuate in an unstable manner. The state determination means 47 determines an abnormal state of the driver based on the variation of the breathing cycle and the variation of the breathing depth.
また、図９に示すように、ドライバが正常状態の場合には、瞬目の周期や平均閉眼時間は安定した略一定値となる。一方、ドライバが異常状態の場合には、瞬目周期や平均閉眼時間は正常状態から変化して不安定に変動するものとなる。状態判定手段４７は、瞬目周期の変動や平均閉眼時間の変動や半眼状態の継続など開眼度の変動に基づいて、ドライバの異常状態を判定する。半眼の検出は、眼探索領域内の明暗の内、暗い部分の領域の面積変動から求められる。 Further, as shown in FIG. 9, when the driver is in a normal state, the blink cycle and the average eye-closing time are stable and substantially constant values. On the other hand, when the driver is in an abnormal state, the blink cycle and the average eye-closing time change from the normal state and fluctuate in an unstable manner. The state determination means 47 determines an abnormal state of the driver based on a change in the degree of eye opening such as a change in the blinking cycle, a change in the average eye closing time, or a continuous half-eye state. The detection of the hemi-eye is obtained from the area variation of the dark part of the light and dark in the eye search area.
次に、ドライバの異常状態を判定する処理手順について、図１０のフローチャートを参照して説明する。本処理手順は、ＥＣＵ２０が繰り返し実行する。
Next, the processing procedure for determining the abnormal state of the driver will be described with reference to the flowchart in FIG. The
まず、近赤外カメラ１２により撮影された近赤外画像を取得するとともに（Ｓ１０）、遠赤外カメラ１１により撮影された遠赤外画像を取得する（Ｓ１１）。Ｓ１０とＳ１１はほぼ同じタイミングであればよく順番は逆となっても問題ない。また、遠赤外カメラ１１はその性格上、撮像毎ではないが時々はシャッタによりリセットする必要があるため、フレーム抜けが発生する可能性があるが、そこは適宜適切な処理をする。
First, the near infrared image captured by the near
続いて、Ｓ１０で取得した近赤外画像から、顔の部品すなわち眼、鼻、口を検出する。詳しくは、近赤外画像において顔の部品を認識し、顔の部品の位置情報を取得する（Ｓ１２）。続いて、Ｓ１２で検出した顔の部品の配置に基づいて、顔の位置及び顔向きを検出する（Ｓ１３）。検出した顔の位置が遠赤外画像内に入らない位置の場合は、遠赤外画像に基づいた処理（Ｓ１４〜Ｓ１７）は実行しない。 Subsequently, face parts, that is, eyes, nose, and mouth are detected from the near-infrared image acquired in S10. Specifically, the facial part is recognized in the near infrared image, and the positional information of the facial part is acquired (S12). Then, the face position and face orientation are detected based on the arrangement of the face parts detected in S12 (S13). If the detected face position is a position that does not fall within the far infrared image, the processing (S14 to S17) based on the far infrared image is not executed.
続いて、Ｓ１３で検出した顔向きが、鼻腔部が見える顔向きか否か判定する（Ｓ１４）。鼻腔部が見える顔向きの場合は（Ｓ１４：ＹＥＳ）、Ｓ１１で取得した遠赤外画像に基づいて呼吸状態検出を行う（Ｓ１５）。呼吸状態検出の処理手順の詳細は後述する。一方、鼻腔部が見えない顔向きの場合は（Ｓ１４：ＮＯ）、呼吸状態検出を行わないで、眼鏡検出に進む。 Then, it is determined whether the face orientation detected in S13 is the face orientation in which the nasal cavity is visible (S14). In the case of the face direction in which the nasal cavity is visible (S14: YES), the respiratory state is detected based on the far infrared image acquired in S11 (S15). The details of the processing procedure for detecting the respiratory state will be described later. On the other hand, in the case of the face direction in which the nasal cavity cannot be seen (S14: NO), the breathing state detection is not performed, and the process proceeds to eyeglass detection.
続いて、Ｓ１１で取得した遠赤外線画像から眼鏡を検出したか否か判定する（Ｓ１６）。眼鏡を検出していない場合は（Ｓ１６：ＮＯ）、Ｓ１１で取得した遠赤外画像に基づいて瞬目状態検出を行う（Ｓ１７）。瞬目状態検出の処理手順の詳細は後述する。Ｓ１７の処理の後、Ｓ１０で取得した近赤外画像から、ドライバの眼の開眼度を検出する（Ｓ１８）。一方、眼鏡を検出した場合は（Ｓ１６：ＹＥＳ）、Ｓ１１で取得した遠赤外画像に基づいた瞬目状態検出を行わないで、Ｓ１０で取得した近赤外画像から、ドライバの眼の開眼度の検出を行う（Ｓ１８）。 Then, it is determined whether or not the glasses have been detected from the far infrared image acquired in S11 (S16). When the glasses are not detected (S16: NO), the blink state is detected based on the far infrared image acquired in S11 (S17). The details of the processing procedure of the blinking state detection will be described later. After the processing of S17, the degree of eye opening of the driver's eyes is detected from the near-infrared image acquired in S10 (S18). On the other hand, when the eyeglasses are detected (S16: YES), the degree of eye opening of the driver's eye is determined from the near-infrared image acquired in S10 without performing the blinking state detection based on the far-infrared image acquired in S11. Is detected (S18).
Ｓ１０で取得した近赤外画像から、ドライバの眼の開眼度を検出するとき、Ｓ１６で眼鏡を検出している場合は、Ｓ１６で検出された眼鏡の有無および位置情報を用いることで、眼鏡のフレームを眼の輪郭として誤検出することを防止する。続いて、開眼度の履歴及びＳ１８で検出した開眼度を用いて、所定期間における開眼度の変動を算出し、算出した開眼度の変動から瞬目周期を検出する（Ｓ１９）。 When detecting the degree of eye opening of the driver's eyes from the near-infrared image acquired in S10, if eyeglasses are detected in S16, by using the presence/absence of eyeglasses and position information detected in S16, Prevents erroneous detection of a frame as the contour of the eye. Subsequently, using the history of the degree of eye opening and the degree of eye opening detected in S18, the change in the degree of eye opening in a predetermined period is calculated, and the blink cycle is detected from the calculated change in the degree of eye opening (S19).
続いて、Ｓ１５で検出した呼吸周期、及び／又は、Ｓ１７及び／又はＳ１９で検出した瞬目周期に基づいて、ドライバが異常状態か否か判定する（Ｓ２０）。例えば、検出した呼吸周期及び瞬目周期を学習しておき、検出した呼吸周期と呼吸周期の学習値との差が呼吸閾値よりも大きい場合、又は検出した瞬目周期と瞬目周期の学習値との差が瞬目閾値よりも大きい場合に、ドライバが異常状態と判定する。あるいは、検出した呼吸周期の分散値が呼吸分散閾値よりも大きい場合、又は検出した瞬目周期の分散値が瞬目分散閾値よりも大きい場合に、ドライバが異常状態と判定してもよい。また、検出した呼吸周期及び瞬目周期からそれぞれ異常度合を算出するとともに、それぞれ算出した異常度合を統合し、統合した異常度合と異常閾値とを比較して、ドライバの異常状態を判定してもよい。なお、Ｓ１５で呼吸状態を検出していない場合は、瞬目状態のみに基づいてドライバの異常状態を判定する。 Then, it is determined whether the driver is in an abnormal state based on the breathing cycle detected in S15 and/or the blink cycle detected in S17 and/or S19 (S20). For example, if the detected respiratory cycle and blink cycle are learned, and the difference between the detected respiratory cycle and the learned value of the respiratory cycle is greater than the respiratory threshold, or the detected blink cycle and the learned value of the blink cycle. And the difference is larger than the blink threshold, the driver determines that the state is abnormal. Alternatively, the driver may be determined to be in an abnormal state when the detected variance value of the respiratory cycle is greater than the breath variance threshold value or when the detected variance value of the blink cycle is greater than the blink variance threshold value. Further, the abnormality degree is calculated from the detected breathing cycle and blink cycle, and the calculated abnormality degree is integrated, and the integrated abnormality degree and the abnormality threshold value are compared to determine the abnormal state of the driver. Good. If the breathing state is not detected in S15, the abnormal state of the driver is determined based on only the blinking state.
さらに、Ｓ１３で検出した顔向きに基づいて、ドライバが異常状態か否か判定する（Ｓ２０）。ドライバの顔向きが脇見をしている向きの場合は、ドライバが異常状態と判定する。 Further, it is determined whether or not the driver is in an abnormal state based on the face orientation detected in S13 (S20). If the driver's face is looking aside, it is determined that the driver is in an abnormal state.
Ｓ２０でドライバが正常状態と判定した場合は（Ｓ２０：ＮＯ）、本処理を終了する。Ｓ２０でドライバが異常状態と判定した場合は（Ｓ２０：ＹＥＳ）、アクチュエーション部６０の各装置６１〜６３に制御信号を送信して、各装置６１〜６３を駆動させる（Ｓ２１）。
If the driver is determined to be in the normal state in S20 (S20: NO), this process ends. When it is determined that the driver is in an abnormal state in S20 (S20: YES), a control signal is transmitted to each of the
続いて、Ｓ１１〜Ｓ２０の処理を繰り返して、ドライバが正常状態に復帰したか否か判定する（Ｓ２２）。ドライバが正常状態に復帰した場合は（Ｓ２２：ＹＥＳ）、本処理を終了する。ドライバが異常状態のままである場合は（Ｓ２２：ＮＯ）、車両緊急停止装置６４へ制御信号を送信して、車両を緊急停止させる（Ｓ２３）。以上で本処理を終了する。
Then, the processes of S11 to S20 are repeated to determine whether the driver has returned to the normal state (S22). If the driver has returned to the normal state (S22: YES), this processing ends. When the driver is still in the abnormal state (S22: NO), a control signal is transmitted to the vehicle
次に、呼吸状態検出の処理手順について、図１１のサブルーチンを参照して説明する。まず、Ｓ１１で取得した遠赤外画像からマスクを検出したか否か判定する（Ｓ１５１）。 Next, the processing procedure for detecting a respiratory state will be described with reference to the subroutine of FIG. First, it is determined whether a mask is detected from the far infrared image acquired in S11 (S151).
マスクを検出していない場合は（Ｓ１５１：ＮＯ）、Ｓ１２で取得した鼻の位置情報を用いて、Ｓ１１で取得した遠赤外画像から鼻腔部の探索領域である鼻領域Ｎを抽出する（Ｓ１５２）。続いて、Ｓ１５２で抽出した鼻領域Ｎを探索して、鼻腔部の輪郭を検出する（Ｓ１５３）。２つの鼻腔部のうちの一方が鼻詰まりになっている場合もあるため、鼻腔部は左右それぞれ検出する。続いて、Ｓ１５３で検出した左右の鼻腔部の輪郭内である鼻腔部の画素値を平均して、画素値の平均値を左右それぞれ算出する（Ｓ１５４）。続いて、左右の画素平均値の履歴、及びＳ１５４で算出した左右の画素平均値を用いて、所定期間における左右の画素平均値の変動を算出し、呼吸周期を検出する。左右の鼻腔部それぞれにつて呼吸周期を検出するため、一方の鼻腔部が鼻詰まりになっていても、呼吸周期を検出できる。この後、Ｓ１６の処理に進む。 When the mask is not detected (S151: NO), the nose area N which is the search area of the nasal cavity is extracted from the far infrared image acquired in S11 using the position information of the nose acquired in S12 (S152). ). Subsequently, the nose region N extracted in S152 is searched to detect the contour of the nasal cavity (S153). Since one of the two nasal cavity parts may have a nasal congestion, the nasal cavity parts are detected respectively on the left and right sides. Subsequently, the pixel values of the nasal cavity portions within the contours of the left and right nasal cavity portions detected in S153 are averaged, and the average value of the pixel values is calculated for each of the left and right sides (S154). Subsequently, using the history of the left and right pixel average values and the left and right pixel average values calculated in S154, the change in the left and right pixel average values in a predetermined period is calculated, and the respiratory cycle is detected. Since the respiratory cycle is detected for each of the left and right nasal cavity portions, the respiratory cycle can be detected even if one of the nasal cavity portions has a nasal congestion. Then, the process proceeds to S16.
なお、所定期間における左右の画素平均値がほとんど変動していない場合は、ドライバが鼻呼吸ではなく口呼吸をしていると判断する。この場合、Ｓ１１で取得した遠赤外画像から口領域Ｍを抽出し、口領域Ｍを探索して、口の輪郭を検出する。そして、口内部の画素平均値を算出するとともに、所定期間における口内部の画素平均値の変動を算出し、呼吸周期を検出する。 It should be noted that if the left and right pixel average values during the predetermined period have hardly changed, it is determined that the driver is breathing in the mouth instead of breathing in the nose. In this case, the mouth area M is extracted from the far-infrared image acquired in S11, the mouth area M is searched, and the contour of the mouth is detected. Then, the average pixel value inside the mouth is calculated, and the fluctuation of the average pixel value inside the mouth during a predetermined period is calculated to detect the respiratory cycle.
また、マスクを検出している場合は（Ｓ１５１：ＹＥＳ）は、検出したマスクの鼻や口を覆っている部分について画素値の平均値を算出する（Ｓ１５５）。続いて、マスクの輝度平均値の履歴、及びＳ１５５で算出したマスク全体または、マスク内で鼻や口が存在すると推定される領域の画素値の平均値を用いて、所定時間における画素平均値の変動を算出し、呼吸周期を検出する。この後、Ｓ１６の処理に進む。 If the mask is detected (S151: YES), the average value of the pixel values is calculated for the part of the detected mask covering the nose and mouth (S155). Next, using the history of the average luminance value of the mask and the average value of the pixel values of the entire mask calculated in S155 or the area in which the nose or mouth is estimated to exist in the mask, the average pixel value of the pixel at a predetermined time is calculated. The fluctuation is calculated and the respiratory cycle is detected. Then, the process proceeds to S16.
次に、瞬目状態検出の処理手順について、図１２のサブルーチンを参照して説明する。まず、Ｓ１２で取得した眼の位置情報を用いて、Ｓ１１で取得した遠赤外画像から眼部の探索領域である眼領域Ｅｌ，Ｅｒを抽出する（Ｓ１７１）。続いて、Ｓ１７１で抽出した眼領域Ｅｌ，Ｅｒを探索して、左右の眼の輪郭を検出する（Ｓ１７２）。続いて、Ｓ１７２で検出した左右の眼の輪郭内である左右の眼部の画素値の平均値をそれぞれ算出する（Ｓ１７３）。続いて、眼部の画素平均値の履歴、及びＳ１７３で算出した眼部の画素平均値を用いて、所定期間における眼部の画素平均値の変動を算出し、瞬目周期を検出する（Ｓ１７４）。この後、Ｓ２０の処理に進む。 Next, the processing procedure of the blinking state detection will be described with reference to the subroutine of FIG. First, the eye position information acquired in S12 is used to extract the eye regions El and Er which are the search regions of the eye part from the far infrared image acquired in S11 (S171). Subsequently, the eye regions El and Er extracted in S171 are searched to detect the contours of the left and right eyes (S172). Then, the average value of the pixel values of the left and right eye portions within the contours of the left and right eyes detected in S172 is calculated (S173). Subsequently, using the history of the average pixel value of the eye part and the average pixel value of the eye part calculated in S173, the variation of the average pixel value of the eye part in a predetermined period is calculated, and the blink cycle is detected (S174). ). Then, the process proceeds to S20.
以上説明した本実施形態によれば、以下の効果を奏する。 According to this embodiment described above, the following effects are exhibited.
・遠赤外カメラ１１により、ドライバの顔表面の温度分布を表す遠赤外画像が撮影される。ドライバが異常状態になると、ドライバの顔の温度分布はドライバが正常状態のときとは局所的には異なる変動をする。よって、所定期間に逐次撮影された遠赤外画像に基づいて、ドライバの異常状態が判定できる。また、遠赤外カメラ１１は外乱光の影響を受けにくい。さらに、遠赤外カメラ１１は非接触センサであるため、安定してドライバの顔画像を撮影できる。したがって、所定期間におけるドライバの顔の遠赤外画像から、高精度に安定してドライバの異常状態を判定できる。 The far-infrared camera 11 captures a far-infrared image representing the temperature distribution on the driver's face surface. When the driver is in an abnormal state, the temperature distribution on the driver's face changes locally differently from when the driver is in a normal state. Therefore, the abnormal state of the driver can be determined based on the far-infrared images that are sequentially captured during the predetermined period. Further, the far infrared camera 11 is less likely to be affected by ambient light. Further, since the far-infrared camera 11 is a non-contact sensor, it is possible to stably capture the face image of the driver. Therefore, the abnormal state of the driver can be accurately and stably determined from the far-infrared image of the driver's face in a predetermined period.
・呼吸の周期に対応して鼻腔部又は口内部の温度は変動する。よって、ドライバの鼻腔部又は口内部の温度変動情報からドライバの呼吸状態を検出できる。そして、検出したドライバの呼吸状態からドライバの異常状態を判定できる。 -The temperature of the nasal cavity or the inside of the mouth changes according to the breathing cycle. Therefore, the breathing state of the driver can be detected from the temperature variation information of the driver's nose or mouth. Then, the abnormal state of the driver can be determined from the detected breathing state of the driver.
・瞬目周期に対応して眼部の温度は変動する。よって、ドライバの眼部の温度変動情報からドライバの瞬目状態を検出できる。そして、検出したドライバの瞬目状態からドライバの異常状態を判定できる。 -The temperature of the eye fluctuates according to the blink cycle. Therefore, the blinking state of the driver can be detected from the temperature variation information of the eye portion of the driver. Then, the abnormal state of the driver can be determined from the detected blinking state of the driver.
・ドライバが異常状態になると、呼吸周期が正常時の周期から変化したり、呼吸周期がばらついたりする。よって、呼吸周期の変動に基づいて、ドライバの異常状態を判定することができる。 -When the driver is in an abnormal state, the respiratory cycle changes from the normal cycle or the respiratory cycle fluctuates. Therefore, the abnormal state of the driver can be determined based on the change in the breathing cycle.
・ドライバが異常状態となると、瞬目周期が正常時の周期から変化したり、瞬目周期がばらついたりする。よって、瞬目周期の変動に基づいて、ドライバの異常状態を判定することができる。 -When the driver enters an abnormal state, the blink cycle changes from the normal cycle or the blink cycle fluctuates. Therefore, the abnormal state of the driver can be determined based on the change in the blink cycle.
・遠赤外画像は画像としては明瞭ではないため、通常の画像処理にて顔の部品を認識することは困難である。一方、近赤外画像は、顔の部品のエッジ点を抽出して顔の部品を認識しやすい。そこで、近赤外カメラ１２により撮影された近赤外画像から顔の部品が認識されて、顔の部品の位置情報が取得される。そして、近赤外画像から取得された顔の部品の位置情報を用いて、遠赤外画像における眼領域Ｅｌ，Ｅｒ、鼻領域Ｎ、及び口領域Ｍが抽出される。このように、遠赤外カメラ１１と近赤外カメラ１２を組み合わせたマルチモーダルな検出方法を用いることにより、遠赤外カメラ１１のみを用いた場合よりも高精度にドライバの呼吸状態及び瞬目状態を検出できる。
Since the far infrared image is not clear as an image, it is difficult to recognize facial parts by normal image processing. On the other hand, in the near infrared image, it is easy to recognize the face parts by extracting the edge points of the face parts. Therefore, the facial part is recognized from the near-infrared image taken by the near-
・一般的に近赤外画像からマスクを検出することは困難であるが、遠赤外画像では呼吸に伴いマスクの鼻や口を覆う部分の温度が全体的に変動するため、マスクを高精度に検出することができる。 ・In general, it is difficult to detect the mask from the near-infrared image, but in the far-infrared image, the temperature of the part covering the nose and mouth of the mask fluctuates with breathing. Can be detected.
・遠赤外画像では、眼鏡はその他の顔部分よりも常に暗くなる。そのため、遠赤外画像から眼鏡を高精度に検出することができる。 -In the far infrared image, the glasses are always darker than the other face parts. Therefore, the spectacles can be detected with high accuracy from the far infrared image.
・ドライバがマスクを着用している場合は、鼻領域Ｎ又は口領域Ｍを抽出できないが、呼吸に伴いマスクが全体的に温度変動する。そこで、マスクが検出された場合は、マスクを呼吸部とすることで、マスクの温度変動から呼吸状態を検出できる。 When the driver wears the mask, the nose area N or the mouth area M cannot be extracted, but the temperature of the mask fluctuates overall with breathing. Therefore, when the mask is detected, the respiratory state can be detected from the temperature fluctuation of the mask by using the mask as the breathing unit.
・ドライバが眼鏡を着用している場合は、遠赤外画像を用いて眼部の温度変動から瞬目状態を検出することができない。そこで、この場合は、近赤外画像から開眼度を検出することにより、開眼度の変動から瞬目状態を検出できる。 -When the driver wears eyeglasses, the far-infrared image cannot be used to detect the blinking state from the temperature variation of the eye. Therefore, in this case, by detecting the degree of eye opening from the near-infrared image, the blinking state can be detected from the change in the degree of eye opening.
・遠赤外画像から検出された眼鏡の位置情報を用いて、近赤外画像からドライバの眼の開眼度を検出することにより、眼鏡のフレームを眼の輪郭と誤検出することを防止できる。 By using the position information of the glasses detected from the far-infrared image to detect the degree of eye opening of the driver's eyes from the near-infrared image, it is possible to prevent the frame of the glasses from being erroneously detected as the contour of the eye.
（他の実施形態）
・呼吸状態検出手段４５は、ドライバの異常判定に用いる指標として、呼吸の深さや呼吸速度等の呼吸周期以外の呼吸状態を検出してもよい。
(Other embodiments)
The breathing state detecting means 45 may detect a breathing state other than the breathing cycle, such as the depth of breathing or the breathing rate, as an index used for the abnormality determination of the driver.
・瞬目状態検出手段４６は、ドライバの異常判定に用いる指標として、継続閉眼時間や平均開眼時間等の瞬目状態を検出してもよい。 The blink state detecting means 46 may detect a blink state such as a continuous eye-closing time or an average eye-opening time as an index used for the abnormality determination of the driver.
・呼吸状態及び瞬目状態のいずれか一方のみを検出し、いずれか一方のみに基づいて、ドライバの異常状態を判定するようにしてもよい。 It is also possible to detect only one of the breathing state and the blinking state and determine the abnormal state of the driver based on only one of them.
・ＥＣＵ２０の状態判定部４０は、遠赤外画像において、所定期間における温度の変動量が閾値よりも大きい温度変動領域を検出する変動領域検出手段を備えていてもよい。そして、位置取得手段４１は、近赤外画像において、変動領域検出手段により検出された温度変動領域を用いて認識領域を抽出し、抽出した認識領域において顔の部品の認識処理を行ってもよい。このようにすると、認識処理の負荷を軽減できる。
The
・ドライバ状態判定装置１０は、近赤外カメラ１２を備えていなくてもよい。遠赤外カメラ１１により撮影された遠赤外画像のみを用いて、ドライバの異常状態を判定してもよい。この場合、遠赤外画像の時間変化をみて、温度が高低を繰り返している左右一対の部分を、眼部及び鼻腔部として検出する。また、ドライバが口呼吸をしているときには、眼よりも下で温度が高低を繰り返している部分を口内部として検出する。
（付記１）
車両のドライバの顔画像であって、前記ドライバの顔表面の温度分布を表す遠赤外画像を撮影する遠赤外カメラ（１１）と、
前記遠赤外カメラにより所定期間に逐次撮影された前記遠赤外画像に基づいて、前記ドライバの異常状態を判定する状態判定手段（４７）と、
前記遠赤外画像における前記ドライバの眼部の温度変動情報から前記ドライバの瞬目状態を検出する瞬目状態検出手段（４６）と、
前記遠赤外画像から前記ドライバの眼鏡を検出する眼鏡検出手段（４４）と、
前記ドライバの顔の近赤外画像を撮影する近赤外カメラと、を備え、
前記瞬目状態検出手段は、前記瞬目状態として瞬目周期を検出し、前記眼鏡検出手段により前記遠赤外画像から前記眼鏡が検出された場合に、前記近赤外画像から前記ドライバの開眼度を検出し、検出した前記開眼度の変動から前記瞬目周期を検出し、
前記状態判定手段は、前記瞬目状態検出手段により検出された前記瞬目周期の変動に基づいて、前記ドライバの異常状態を判定するドライバ状態判定装置。
（付記２）
前記遠赤外画像における前記ドライバの鼻腔部又は口内部を呼吸部とし、前記呼吸部の温度変動情報から前記ドライバの呼吸状態を検出する呼吸状態検出手段（４５）を備え、
前記状態判定手段は、前記呼吸状態検出手段により検出された前記呼吸状態に基づいて、前記ドライバの異常状態を判定する付記１に記載のドライバ状態判定装置。
（付記３）
前記呼吸状態検出手段は、前記呼吸状態として呼吸周期を検出し、
前記状態判定手段は、前記呼吸周期の変動に基づいて、前記ドライバの異常状態を判定する付記２に記載のドライバ状態判定装置。
（付記４）
前記ドライバの顔の近赤外画像を撮影する近赤外カメラ（１２）と、
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの鼻又は口を認識して、認識した前記鼻又は口の位置情報を取得する位置取得手段（４１）と、
前記位置取得手段により取得された前記位置情報を用いて、前記遠赤外画像において前記呼吸部を探索する探索領域（Ｎ，Ｍ）を抽出する領域抽出手段（４２）と、を備える付記２又は３に記載のドライバ状態判定装置。
（付記５）
前記遠赤外画像から前記ドライバの鼻及び口を覆うマスクを検出するマスク検出手段（４３）を備える付記２又は３に記載のドライバ状態判定装置。
（付記６）
前記マスク検出手段により前記マスクが検出された場合に、検出された前記マスクを前記呼吸部とする付記５に記載のドライバ状態判定装置。
（付記７）
前記ドライバの顔の近赤外画像を撮影する近赤外カメラと、
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの顔向きを検出する顔向き検出手段（４８）と、を備え、
前記呼吸状態検出手段は、前記顔向き検出手段により検出された前記ドライバの顔向きが、前記遠赤外カメラに対して前記鼻腔部の見えない向きである場合に、前記呼吸状態の検出を停止する付記２〜６のいずれかに記載のドライバ状態判定装置。
（付記８）
前記ドライバの顔の近赤外画像を撮影する近赤外カメラ（１２）と、
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの眼を認識して、認識した前記眼の位置情報を取得する位置取得手段（４１）と、
前記位置取得手段により取得された前記位置情報に基づいて、前記遠赤外画像において前記眼部を探索する探索領域（Ｅｌ，Ｅｒ）を抽出する領域抽出手段と、を備える付記１〜７のいずれかに記載のドライバ状態判定装置。
（付記９）
前記瞬目状態検出手段は、前記眼鏡検出手段により検出された前記眼鏡の位置情報を用いて、前記ドライバの開眼度を検出する付記１〜８のいずれかに記載のドライバ状態判定装置。
（付記１０）
前記遠赤外画像において、前記所定期間における温度の変動量が閾値よりも大きい温度変動領域を検出する変動領域検出手段と、
前記位置取得手段は、前記変動領域検出手段により検出された前記温度変動領域を用いて認識処理を行う付記４又は８に記載のドライバ状態判定装置。
The driver
(Appendix 1)
A far-infrared camera (11) that captures a far-infrared image representing a temperature distribution on the face surface of the driver of the vehicle,
State determination means (47) for determining an abnormal state of the driver based on the far infrared images sequentially captured by the far infrared camera in a predetermined period;
Blinking state detection means (46) for detecting the blinking state of the driver from the temperature variation information of the eye portion of the driver in the far infrared image,
Eyeglasses detection means (44) for detecting the eyeglasses of the driver from the far-infrared image,
A near-infrared camera that captures a near-infrared image of the driver's face;
The nictation state detection means detects a nictation cycle as the nictation state, and when the spectacles are detected by the spectacles detection means from the far-infrared image, the driver's eyes are opened from the near-infrared image. Degree is detected, and the blink cycle is detected from the fluctuation of the detected eye opening degree,
The driver state determination device, wherein the state determination unit determines an abnormal state of the driver based on the variation of the blink cycle detected by the blink state detection unit.
(Appendix 2)
The nose or the inside of the mouth of the driver in the far-infrared image is used as a breathing part, and a breathing state detecting means (45) for detecting the breathing state of the driver from temperature variation information of the breathing part is provided,
The driver state determination device according to
(Appendix 3)
The respiratory state detecting means detects a respiratory cycle as the respiratory state,
3. The driver state determination device according to appendix 2, wherein the state determination means determines an abnormal state of the driver based on the change in the breathing cycle.
(Appendix 4)
A near-infrared camera (12) for taking a near-infrared image of the driver's face;
Position acquisition means (41) for recognizing the driver's nose or mouth from the near-infrared image taken by the near-infrared camera and acquiring position information of the recognized nose or mouth.
Supplementary note 2 comprising: a region extraction unit (42) that extracts a search region (N, M) in the far-infrared image to search for the respiratory part using the position information acquired by the position acquisition unit. 3. The driver state determination device described in 3.
(Appendix 5)
4. The driver state determination device according to appendix 2 or 3, further comprising a mask detection unit (43) that detects a mask covering the driver's nose and mouth from the far infrared image.
(Appendix 6)
6. The driver state determination device according to appendix 5, wherein when the mask is detected by the mask detection means, the detected mask is the breathing unit.
(Appendix 7)
A near-infrared camera that captures a near-infrared image of the driver's face;
A face orientation detecting means (48) for detecting the face orientation of the driver from the near infrared image captured by the near infrared camera,
The respiratory state detecting means stops the detection of the respiratory state when the face orientation of the driver detected by the face orientation detecting means is a direction in which the nasal cavity cannot be seen with respect to the far infrared camera. 7. The driver state determination device according to any one of appendices 2 to 6.
(Appendix 8)
A near-infrared camera (12) for taking a near-infrared image of the driver's face;
Position acquisition means (41) for recognizing the driver's eye from the near-infrared image taken by the near-infrared camera and acquiring position information of the recognized eye.
Any one of
(Appendix 9)
9. The driver state determination device according to any one of
(Appendix 10)
In the far-infrared image, a fluctuation region detection unit that detects a temperature fluctuation region in which the fluctuation amount of the temperature in the predetermined period is larger than a threshold value,
9. The driver state determination device according to appendix 4 or 8, wherein the position acquisition unit performs recognition processing using the temperature fluctuation region detected by the fluctuation region detection unit.
１０…ドライバ状態判定装置、１１…遠赤外カメラ、２０…ＥＣＵ、４７…状態判定手段。 10... Driver status determination device, 11... Far infrared camera, 20... ECU, 47... Status determination means.
Claims (12)
前記遠赤外カメラにより所定期間に逐次撮影された前記遠赤外画像に基づいて、前記ドライバの異常状態を判定する状態判定手段（４７）と、
前記ドライバの鼻及び口を覆うマスクを検出するマスク検出手段（４３）と、
前記マスク検出手段によりマスクが検出されていない場合、前記遠赤外画像における前記ドライバの鼻腔部又は口内部を呼吸部とし、前記呼吸部の温度変動情報から前記ドライバの呼吸状態を検出する一方で、前記マスク検出手段によりマスクが検出されている場合、前記遠赤外画像における前記マスクに対応する領域の温度変動情報から前記ドライバの呼吸状態を検出する呼吸状態検出手段（４５）と、
を備え、
前記呼吸状態検出手段は、前記マスク検出手段によりマスクとして検出された領域の温度変動情報から前記ドライバの呼吸状態を検出し、
前記状態判定手段は、前記呼吸状態検出手段により検出された前記呼吸状態に基づいて、前記ドライバの異常状態を判定するドライバ状態判定装置。 A far-infrared camera (11) that captures a far-infrared image representing a temperature distribution on the face surface of the driver of the vehicle,
State determination means (47) for determining an abnormal state of the driver based on the far infrared images sequentially captured by the far infrared camera in a predetermined period;
A mask detecting means (43) for detecting a mask covering the driver's nose and mouth,
When the mask is not detected by the mask detection means, the nose or the inside of the mouth of the driver in the far-infrared image is used as the breathing part, and while the breathing state of the driver is detected from the temperature variation information of the breathing part, A respiratory state detecting means (45) for detecting a respiratory state of the driver from temperature variation information of a region corresponding to the mask in the far infrared image when the mask is detected by the mask detecting means;
Equipped with
The breathing state detecting means detects the breathing state of the driver from the temperature variation information of the area detected as a mask by the mask detecting means,
The state determination means is a driver state determination device that determines an abnormal state of the driver based on the respiratory state detected by the respiratory state detection means.
前記遠赤外カメラにより所定期間に逐次撮影された前記遠赤外画像に基づいて、前記ドライバの異常状態を判定する状態判定手段（４７）と、
前記ドライバの鼻及び口を覆うマスクを検出するマスク検出手段（４３）と、
前記マスク検出手段によりマスクが検出されていない場合、前記遠赤外画像における前記ドライバの鼻腔部又は口内部を呼吸部とし、前記呼吸部の温度変動情報から前記ドライバの呼吸状態を検出する一方で、前記マスク検出手段によりマスクが検出されている場合、前記遠赤外画像における前記マスクに対応する領域の温度変動情報から前記ドライバの呼吸状態を検出する呼吸状態検出手段（４５）と、
を備え、
前記呼吸状態検出手段は、前記マスク検出手段によりマスクが検出されている場合、マスク内で鼻や口が存在すると推定される領域の温度変動情報から前記ドライバの呼吸状態を検出し、
前記状態判定手段は、前記呼吸状態検出手段により検出された前記呼吸状態に基づいて、前記ドライバの異常状態を判定するドライバ状態判定装置。 A far-infrared camera (11) that captures a far-infrared image representing a temperature distribution on the face surface of the driver of the vehicle,
State determination means (47) for determining an abnormal state of the driver based on the far infrared images sequentially captured by the far infrared camera in a predetermined period;
A mask detecting means (43) for detecting a mask covering the driver's nose and mouth,
When the mask is not detected by the mask detection means, the nose or the inside of the mouth of the driver in the far-infrared image is used as the breathing part, and while the breathing state of the driver is detected from the temperature variation information of the breathing part, A respiratory state detecting means (45) for detecting a respiratory state of the driver from temperature variation information of a region corresponding to the mask in the far infrared image when the mask is detected by the mask detecting means;
Equipped with
The respiratory state detecting means, when the mask is detected by the mask detecting means, detects the respiratory state of the driver from the temperature variation information of the region in which the nose or mouth is estimated to be present in the mask,
The state determination means is a driver state determination device that determines an abnormal state of the driver based on the respiratory state detected by the respiratory state detection means.
前記状態判定手段は、前記呼吸周期の変動に基づいて、前記ドライバの異常状態を判定する請求項１又は２に記載のドライバ状態判定装置。 The respiratory state detecting means detects a respiratory cycle as the respiratory state,
The driver state determination device according to claim 1 or 2 , wherein the state determination means determines an abnormal state of the driver based on a change in the respiratory cycle.
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの鼻又は口を認識して、認識した前記鼻又は口の位置情報を取得する位置取得手段（４１）と、
前記位置取得手段により取得された前記位置情報を用いて、前記遠赤外画像において前記呼吸部を探索する探索領域（Ｎ，Ｍ）を抽出する領域抽出手段（４２）と、を備える請求項１〜３のいずれかに記載のドライバ状態判定装置。 A near-infrared camera (12) for taking a near-infrared image of the driver's face;
Position acquisition means (41) for recognizing the driver's nose or mouth from the near-infrared image taken by the near-infrared camera, and acquiring position information of the recognized nose or mouth.
Area extraction means (42) for extracting a search area (N, M) in the far-infrared image for searching the respiration part using the position information acquired by the position acquisition means. The driver state determination device according to any one of to 3 .
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの顔向きを検出する顔向き検出手段（４８）と、を備え、
前記呼吸状態検出手段は、前記顔向き検出手段により検出された前記ドライバの顔向きが、前記遠赤外カメラに対して前記鼻腔部の見えない向きである場合に、前記呼吸状態の検出を停止する請求項１〜４のいずれかに記載のドライバ状態判定装置。 A near-infrared camera that captures a near-infrared image of the driver's face;
A face orientation detecting means (48) for detecting the face orientation of the driver from the near infrared image captured by the near infrared camera,
The respiratory state detecting means stops the detection of the respiratory state when the face orientation of the driver detected by the face orientation detecting means is a direction in which the nasal cavity cannot be seen with respect to the far infrared camera. driver condition determination apparatus according to any one of claims 1 to 4.
前記状態判定手段は、前記瞬目状態検出手段により検出された前記瞬目状態に基づいて、前記ドライバの異常状態を判定する請求項１〜５のいずれかに記載のドライバ状態判定装置。 A nictation state detection means (46) for detecting the nictation state of the driver from the temperature variation information of the eye part of the driver in the far-infrared image,
It said state determining means, based on the blink state detected by the blink state detecting means, driver condition determination apparatus according to any one of determining claims 1-5 an abnormal condition of the driver.
前記状態判定手段は、前記瞬目周期の変動に基づいて、前記ドライバの異常状態を判定する請求項６に記載のドライバ状態判定装置。 The blinking state detecting means detects a blinking cycle as the blinking state,
7. The driver state determination device according to claim 6 , wherein the state determination unit determines an abnormal state of the driver based on the fluctuation of the blink cycle.
前記近赤外カメラにより撮影された前記近赤外画像から前記ドライバの眼を認識して、認識した前記眼の位置情報を取得する位置取得手段（４１）と、
前記位置取得手段により取得された前記位置情報に基づいて、前記遠赤外画像において前記眼部を探索する探索領域（Ｅｌ，Ｅｒ）を抽出する領域抽出手段と、を備える請求項６又は７に記載のドライバ状態判定装置。 A near-infrared camera (12) for taking a near-infrared image of the driver's face;
Position acquisition means (41) for recognizing the driver's eye from the near-infrared image captured by the near-infrared camera and acquiring position information of the recognized eye.
On the basis of the positional information acquired by the position acquiring means, the search region for searching for the eye at the far-infrared image (El, Er) and region extraction means for extracting, in claim 6 or 7 comprising a The driver state determination device described.
前記瞬目状態検出手段は、前記眼鏡検出手段により前記眼鏡が検出された場合に、前記近赤外画像から前記ドライバの開眼度を検出し、検出した前記開眼度の変動から前記瞬目状態を検出する請求項９に記載のドライバ状態判定装置。 A near-infrared camera for taking a near-infrared image of the driver's face,
The eyeblink state detection means, when the eyeglasses are detected by the eyeglasses detection means, detects the degree of eye opening of the driver from the near-infrared image, the blinking state from the fluctuation of the detected degree of eye opening. The driver condition determination device according to claim 9, which detects the driver condition.
前記位置取得手段は、前記変動領域検出手段により検出された前記温度変動領域を用いて認識処理を行う請求項４又は８に記載のドライバ状態判定装置。 In the far-infrared image, a fluctuation region detection unit for detecting a temperature fluctuation region in which the temperature fluctuation amount in the predetermined period is larger than a threshold value is provided,
The driver state determination device according to claim 4 or 8 , wherein the position acquisition unit performs recognition processing using the temperature variation region detected by the variation region detection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018222792A JP6747493B2 (en) | 2018-11-28 | 2018-11-28 | Driver status determination device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018222792A JP6747493B2 (en) | 2018-11-28 | 2018-11-28 | Driver status determination device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014184906A Division JP6442942B2 (en) | 2014-09-11 | 2014-09-11 | Driver status determination device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019083019A JP2019083019A (en) | 2019-05-30 |
| JP6747493B2 true JP6747493B2 (en) | 2020-08-26 |
Family
ID=66670501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018222792A Active JP6747493B2 (en) | 2018-11-28 | 2018-11-28 | Driver status determination device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6747493B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7359087B2 (en) | 2020-07-02 | 2023-10-11 | トヨタ自動車株式会社 | Driver monitoring device and driver monitoring method |
| US20230297655A1 (en) | 2020-09-30 | 2023-09-21 | Nec Corporation | Biometric determination system, biometric determination method, and computer program |
| WO2022070429A1 (en) * | 2020-10-02 | 2022-04-07 | 日本電信電話株式会社 | Estimation device, estimation method, and program |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5689241A (en) * | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
| JP4103495B2 (en) * | 2002-08-21 | 2008-06-18 | 日産自動車株式会社 | Facial feature detection device |
| JP4325271B2 (en) * | 2003-05-12 | 2009-09-02 | 日産自動車株式会社 | Status detection device and status detection system |
| JP2005237861A (en) * | 2004-02-27 | 2005-09-08 | Omron Corp | Automatic thermometric device and automatic thermometric method |
| JP4284538B2 (en) * | 2004-10-19 | 2009-06-24 | ソニー株式会社 | Playback apparatus and playback method |
| JP4677940B2 (en) * | 2006-03-27 | 2011-04-27 | トヨタ自動車株式会社 | Sleepiness detection device |
| JP2009183560A (en) * | 2008-02-07 | 2009-08-20 | Kumamoto Technology & Industry Foundation | Apnea detection system |
| JP4727688B2 (en) * | 2008-04-23 | 2011-07-20 | トヨタ自動車株式会社 | Awakening level estimation device |
| JP4962917B2 (en) * | 2008-05-12 | 2012-06-27 | トヨタ自動車株式会社 | Driving state estimation device and driving state estimation method |
| JP5359266B2 (en) * | 2008-12-26 | 2013-12-04 | 富士通株式会社 | Face recognition device, face recognition method, and face recognition program |
| JP5407742B2 (en) * | 2009-10-21 | 2014-02-05 | 株式会社Ｊｖｃケンウッド | Shape recognition method and shape recognition device |
| JP2012083886A (en) * | 2010-10-08 | 2012-04-26 | Isuzu Motors Ltd | Careless state determination device |
| US8790269B2 (en) * | 2011-05-09 | 2014-07-29 | Xerox Corporation | Monitoring respiration with a thermal imaging system |
-
2018
- 2018-11-28 JP JP2018222792A patent/JP6747493B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019083019A (en) | 2019-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6442942B2 (en) | Driver status determination device | |
| JP5109922B2 (en) | Driver monitoring device and program for driver monitoring device | |
| JP6338701B2 (en) | Device, method and computer program for detecting instantaneous sleep | |
| Yan et al. | Real-time driver drowsiness detection system based on PERCLOS and grayscale image processing | |
| US8823792B2 (en) | Wakefulness level estimation apparatus | |
| JP6747493B2 (en) | Driver status determination device | |
| JP5177011B2 (en) | Eye opening degree identification device | |
| CN110399767A (en) | Occupant's dangerous play recognition methods and device, electronic equipment, storage medium | |
| JP4793269B2 (en) | Sleepiness detection device | |
| Ghosh et al. | Real time eye detection and tracking method for driver assistance system | |
| Anjali et al. | Real-time nonintrusive monitoring and detection of eye blinking in view of accident prevention due to drowsiness | |
| JP6973928B2 (en) | Eyelid open / close judgment device and drowsiness detection device | |
| KR20190083155A (en) | Apparatus and method for detecting state of vehicle driver | |
| JP2008171065A (en) | Sleepiness detection device | |
| JP2009219555A (en) | Drowsiness detector, driving support apparatus, drowsiness detecting method | |
| Hasan et al. | State-of-the-art analysis of modern drowsiness detection algorithms based on computer vision | |
| RU2413632C2 (en) | Method to prevent driver falling asleep | |
| JP4895874B2 (en) | Eye state determination device, eye state determination method, and eye state determination program | |
| JP2002279410A (en) | Detector for dozing | |
| JP2004192552A (en) | Eye opening/closing determining apparatus | |
| JP7240910B2 (en) | Passenger observation device | |
| JP5050794B2 (en) | Sleepiness detection device, sleepiness detection method | |
| KR200392762Y1 (en) | Apparatus for sensing drowsiness based on infrared facial image | |
| KR20060022935A (en) | Drowsiness detection method and apparatus based on eye image | |
| JP2022100538A (en) | Biological information acquisition apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6747493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |