JP3815842B2

JP3815842B2 - 居眠り警報装置

Info

Publication number: JP3815842B2
Application number: JP8153497A
Authority: JP
Inventors: 祐範小林
Original assignee: UD Trucks Corp
Current assignee: UD Trucks Corp
Priority date: 1997-03-31
Filing date: 1997-03-31
Publication date: 2006-08-30
Anticipated expiration: 2017-03-31
Also published as: JPH10272961A

Description

【０００１】
【発明の属する技術分野】
この発明は、運転者の居眠りを検出して警報する装置の改良に関する。
【０００２】
【従来の技術】
運転者の居眠りによる事故を未然に防止する目的から、運転者の顔を撮影する手段（ＣＣＤカメラやＴＶカメラなど）をインストルパネルに配置し、その画像から得られる目情報をもとに運転者の覚醒度を推定し、覚醒度が閾値以下になると警報などを作動させるようにしたものが知られている（特開平７ー３２９０７号公報，特開平７ー１５６６８２号公報，三菱電機技報 Vol.70 No.9 1996『居眠り検出技術』）。
【０００３】
【発明が解決しようとする課題】
このような従来装置において、運転者の覚醒度を適確に推定するのに最も重要なことは、いかに運転者の目情報を精密に捕らえるかに係っている。従来の方法では、運転者がシートポジション（運転席の前後方向や上下方向の位置）を変更したり、運転者が交替したりすると、カメラの捕らえる画像（視野）から運転者の顔が外れてしまうような可能性があり、その対策としてカメラの撮影範囲を広角度に設定することが要求される。しかし、そのようにカメラの視野を広角度に設定すると、カメラの画像中に占める運転者の顔部分が小さくなり、そこから得られる目情報も減少してしまう。つまり、覚醒度の高い推定精度を確保するのが難しいという不具合があった。
【０００４】
この発明は、このような問題点の有効な対策手段の提供を目的とする。
【０００５】
【課題を解決するための手段】
第１の発明では、図５のように運転者の顔をズームレンズを通して撮影する手段ａと、その画像を特殊な画像フイルタを用いてその出力を２値化する画像処理から目を抽出する手段ｂと、画像処理で抽出される目をもとに一定時間あたりの閉じ目時間を計測する手段ｃと、所定の閉じ時間を覚醒度の閾値として設定する手段ｄと、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段ｅと、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段ｆと、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段ｍと、画像処理で抽出される左右の目を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段ｋと、同じく抽出される目の画像上の座標位置を計測する手段ｈと、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段ｉと、目の計測座標位置と基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段ｊと、を備える。
【０００６】
第２の発明では、図６のように運転者の顔に向けて赤外光を照射する手段ｎと、運転者の顔をズームレンズを通して撮影する手段ａと、その画像処理を行う手段ｂと、網膜反射像をもとに一定時間あたりの閉じ目時間を計測する手段ｅと、所定の閉じ時間を覚醒度の閾値として設定する手段ｄと、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段ｅと、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段ｆと、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段ｍと、２点の網膜反射光を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段ｋと、網膜反射光の画像上の座標位置を計測する手段ｈと、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段ｉと、網膜反射光の計測座標位置と目の基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段ｊと、を備える。
【０００７】
第３の発明では、図５または図６において、覚醒度の低下判定時に車両を停止させるよう制御する手段ｇを設ける。
【０００８】
【発明の効果】
第１の発明では、運転者の顔はズームレンズを通して撮影され、画像処理により目が抽出される。その目をもとに運転者の覚醒度が判定され、覚醒度の低下時に居眠り警報が作動する。覚醒度は一定時間あたりの閉じ目時間から、これが閾値を越えると、意識レベルの低下として判定される。運転者の着座開始時はズームレンズがワイド側にセットされ、その撮影位置は画像処理で抽出される左右の目を結ぶ中心が画像の中心にくるよう調整される。そのため、運転者がシートポジションを変更したり、交替したりすることにより、顔の位置が変わっても、広い視野の中で画像の中心に左右の目の中心がくるよう運転者の顔を適確に捕らえられる。そして、両目の画像上の座標位置が計測され、所定のズーム画像上における基準座標位置および偏差の許容値に基づいて、目の計測位置と基準位置との偏差が許容値内に納まるようズームレンズの焦点距離が調整される。これにより、運転者の撮影される画像は、両目を中心にしてズームアップされるため、覚醒度の推定精度を大幅に高めることができる。
【０００９】
第２の発明では、運転者の顔に赤外光が照射され、目の網膜反射光がズームレンズを通して撮影される。その画像上の網膜反射光をもとに運転者の覚醒度が判定され、覚醒度の低下時に居眠り警報が作動する。覚醒度は一定時間あたりの閉じ目時間から、これが閾値を越えると、意識レベルの低下として判定される。運転者の着座開始時はズームレンズがワイド側にセットされ、その撮影位置は画像上の左右の網膜反射光を結ぶ中心が画像の中心にくるよう調整される。そのため、運転者がシートポジションを変更したり、交替したりすることにより、顔の位置が変わっても、広い視野の中で画像の中心に左右の網膜反射光の中心がくるよう運転者の顔を適確に捕らえられる。そして、網膜反射光の画像上の座標位置が計測され、所定のズーム画像上における基準座標位置および偏差の許容値に基づいて、網膜反射光の計測位置と基準位置との偏差が許容値内に納まるようズームレンズの焦点距離が調整される。これにより、運転者の撮影される画像は、両目を中心にしてズームアップされるため、覚醒度の推定精度を大幅に高めることができる。
【００１０】
第３の発明では、覚醒度の低下時は車両が停止するよう制御される。そのため、警報の作動に運転者が反応しない場合においても、車両は停止状態（停車）へと至るから、運転者の居眠りに対する安全性の向上が得られる。
【００１１】
【発明の実施の形態】
図１において、運転室のインストルメントパネル１に運転者の顔を撮影するＣＣＤカメラ２と、運転者の覚醒度低下時に作動する警報器３が設置される。ＣＣＤカメラ２は図２のようにズームレンズ４が取り付けられ、その回りに近赤外ＬＥＤ５が配設される。また、ＣＣＤカメラ２はインストルパネル２に図示しない支持機構を介して運転者に対向する撮影位置（この例では支持角度）が調整可能に取り付けられる。
【００１２】
コントローラ１０は、近赤外ＬＥＤ５の照射を制御する光源制御部１１と、ＣＣＤカメラ２の支持角度およびズームレンズ４の焦点距離を制御するカメラ制御部１２と、ＣＣＤカメラ２の画像処理部１３と、運転者の覚醒度を推定する居眠り検出部１４と、警報器３の作動を制御する警報部１５と、から構成される。光源制御部１１は夜間など暗い状態のときにのみ、運転者の顔へ向けて低照度の近赤外ＬＥＤ５を作動させるよう制御する。
【００１３】
画像処理部１２に特殊な画像フィルタを備える。画像フィルタは昼間など明るい状態において、ＣＣＤカメラ２の画像から目を精度よく抽出するために採用したものであり、カメラで撮影された画像と顔の縦方向の長さが短い黒領域（目など）を除去した画像との差を出力する。その出力画像は２値化され、目などを抽出する２値画像になる。
【００１４】
居眠り検出部１３は２値画像をもとに目尻の傾きの変化から瞬きを検出する。そして、一定時間あたりの閉じ目（目尻の傾きが開き目の傾きよりも緩やか）時間を計測し、その計測時間を覚醒度の閾値と比較して閾値を越えるときに覚醒度の低下を判定する。
【００１５】
夜間など暗い状態では、近赤外ＬＥＤ５の作動により、ＣＣＤカメラ２に目の網膜反射像が撮影される。居眠り検出部１４は画像処理部１３を介してその画像上に明るく光っている網膜反射の有無を検出する。そして、一定時間あたりの閉じ目（網膜反射のない）時間を計測し、その計測時間を覚醒度の閾値と比較して閾値を越えるときに覚醒度の低下を判定する。
【００１６】
警報部１５は居眠り検出部１４において、覚醒度の低下が判定されると、運転室の警報器３を作動させる。なお、居眠り運転を有効に回避するため、運転者の覚醒度低下時に車両の停止を制御するようにすると良い。その停車制御の起動に警報器３への作動信号が利用できる。
【００１７】
カメラ制御部１２は運転者の着座開始時にＣＣＤカメラ２のズームレンズをワイド側にセットする。運転者の顔はそのときＣＣＤカメラ２のワイドな画像の中で小さく捕らえられる。そして、画像処理部１３の出力データに基づいて、昼間など明るい状態のときは、２値画像の両目を結ぶ中心が画像の中心にくるよう、ＣＣＤカメラ２の支持角度を調整する。
【００１８】
カメラ制御部１２のメモリに所定のズーム画像上における目の基準座標位置および偏差の許容値などが設定される。そして、２値画像上の両目の座標位置を計測し、その計測座標位置と基準座標位置との偏差が許容値内に納まるよう、ズームレンズ４の焦点距離を調整する。
【００１９】
夜間など暗い状態のときは、網膜反射像に基づいて、同じく両目の中心が画像の中心にくるよう、ＣＣＤカメラ２の支持角度を調整する一方、網膜反射像上の両目の座標位置を計測し、基準座標位置との偏差が許容値内に納まるよう、ズームレンズ４の焦点距離を調整する。
【００２０】
このような構成により、運転者の顔はＣＣＤカメラ２で撮影される。２値画像または網膜反射像の目をもとに運転者の覚醒度が判定され、覚醒度の低下時に居眠り警報が作動する。運転者の着座開始時はズームレンズ４がワイド側にセットされ、ＣＣＤカメラ２の支持角度は２値画像または網膜反射像上の両目を結ぶ中心が画像の中心にくるよう調整される。そのため、運転者がシートポジションを変更したり、交替したりすることにより、顔の位置が変わっても、広い視野の中で画像の中心に両目の中心がくるよう運転者の顔を適確に捕らえられる。
【００２１】
また、両目の画像上の座標位置が計測され、所定のズーム画像上における基準座標位置および偏差の許容値に基づいて、目の計測位置と基準位置との偏差が許容値内に納まるようズームレンズ４の焦点距離が調整される。運転者の撮影される画像は、両目を中心にしてズームアップされるため、覚醒度の推定精度を大幅に高めることができる。
【００２２】
図３は明るい状態での制御内容を説明するフローチャートであり、ステップ１では、運転者の着座時にＣＣＤカメラ２の焦点距離をワイド側（短め）にセットする。ステップ２では、運転者の顔をＣＣＤカメラ２で撮影する。ステップ３では、ＣＣＤカメラ２の画像Ｇ０（原画）から、縦方向の長さが短い黒領域を除去する画像Ｇ１を得る。ステップ４では、原画Ｇ０と黒領域を除去した画像Ｇ１との差Ｇ２を得る。ステップ５では、この画像差Ｇ２から原画Ｇ０を引き去る画像Ｇ３を得る。ステップ６では画像Ｇ３を２値化することにより目を抽出する。
【００２３】
ステップ７，ステップ８において、この２値画像上の両目を結ぶ中心がが画像の中心にくるよう、ＣＣＤカメラ２の支持角度を調整する。ステップ９では、画像上の両目の座標位置を計測し、基準座標位置との偏差を求める。ステップ１０，ステップ１１において、この偏差が許容値内に納まるよう、ＣＣＤカメラ２の焦点距離をズーム側（長め）に調整する。なお、左右の偏差はｅｌ，ｅｒの絶対値は、（ｅｌｘ²＋ｅｌｙ²）^1/2，（ｅｒｘ²＋ｅｒｙ²）^1/2で与えられる。
【００２４】
ステップ１２では、目尻の傾きαを計測する。ステップ１３では、αが閾値（閉じ目を判定するための基準値であり、メモリに予め設定される）未満かどうかを判定する。ｙｅｓのときは、ステップ１４で閉じ目フラグｆ₁を１にする。ｎｏのときは、ステップ１５で閉じ目フラグｆ₁を０にする。ステップ１６では、閉じ目フラグｆ₁＝１かどうかを判定し、ｙｅｓのときはステップ１７に進み、ｎｏのときはステップ１８へ飛ぶ。
【００２５】
ステップ１７では、閉じ目の持続時間を計測し、その時間の累計を行う。ステップ１８，ステップ１９において、一定時間が経過すると、閉じ目の累計時間Ｓ_-ｆ₁が覚醒度の閾値を越えるかどうかを判定する。ｙｅｓのときは、ステップ２０で覚醒度低下フラグｆ₂を１にする。ｎｏのときは、ステップ２１で覚醒度低下フラグｆ₂を０にする。
【００２６】
ステップ２２では、閉じ目の累計時間Ｓ_-ｆ₁を０にすると同時に一定時間のカウントを開始する。そして、ステップ２３，ステップ２４において、覚醒度低下フラグｆ₂＝１のときは警報器３（および車両の停車制御）を作動させる。ステップ２〜ステップ２４は所定の制御周期で繰り返し実行される。
【００２７】
図４は暗い状態での制御内容を説明するフローチャトであり、ステップ１では、運転者の着座時にＣＣＤカメラ２の焦点距離をワイド側（短め）にセットする。ステップ２では、近赤外ＬＥＤ５を作動させる。ステップ３では運転者の顔をＣＣＤカメラ２で撮影する。ステップ４では、ＣＣＤカメラ２の網膜反射像Ｇ０（原画）から、明るく光っている点を目として抽出する。
【００２８】
ステップ５，ステップ６において、この網膜反射像上の両目を結ぶ中心がが画像の中心にくるよう、ＣＣＤカメラ２の支持角度を調整する。ステップ７では、画像上の両目の座標位置を計測し、基準座標位置との偏差を求める。ステップ８，ステップ９において、この偏差が許容値内に納まるよう、ＣＣＤカメラ２の焦点距離をズーム側（長め）に調整する。なお、左右の偏差はｅｌ，ｅｒの絶対値は、（ｅｌｘ²＋ｅｌｙ²）^1/2，（ｅｒｘ²＋ｅｒｙ²）^1/2で与えられる。
【００２９】
ステップ１０では、網膜反射の有かどうかを判定する。ｙｅｓのときは、ステップ１１で閉じ目フラグｆ₁を１にする。ｎｏのときは、ステップ１２で閉じ目フラグｆ₁を０にする。ステップ１３では、閉じ目フラグｆ₁＝１かどうかを判定し、ｙｅｓのときはステップ１４に進み、ｎｏのときはステップ１５へ飛ぶ。
【００３０】
ステップ１４では、閉じ目の持続時間を計測し、その時間の累計を行う。ステップ１５，ステップ１６において、一定時間が経過すると、閉じ目の累計時間Ｓ_-ｆ₁が覚醒度の閾値を越えるかどうかを判定する。ｙｅｓのときは、ステップ１７で覚醒度低下フラグｆ₂を１にする。ｎｏのときは、ステップ１８で覚醒度低下フラグｆ₂を０にする。
【００３１】
ステップ１９では、閉じ目の累計時間Ｓ_-ｆ₁を０にすると同時に一定時間のカウントを開始する。そして、ステップ２０，ステップ２１において、覚醒度低下フラグｆ₂＝１のときは、警報器３（および車両の停車制御）を作動させる。ステップ２〜ステップ２１は所定の制御周期で繰り返し実行される。
【図面の簡単な説明】
【図１】この発明の実施形態を説明する概要図である。
【図２】同じくＣＣＤカメラの構成図である。
【図３】同じく制御内容を説明するフローチャートである。
【図４】同じく制御内容を説明するフローチャートである。
【図５】この発明のクレーム対応図である。
【図６】この発明のクレーム対応図である。
【符号の説明】
２ＣＣＤカメラ
３警報器
４ズームレンズ
５近赤外ＬＥＤ
１０コントローラ
１１光源制御部
１２カメラ制御部
１３画像処理部
１４居眠り検出部
１５警報部

Claims

運転者の顔をズームレンズを通して撮影する手段と、その画像を特殊な画像フイルタを用いてその出力を２値化する画像処理から目を抽出する手段と、画像処理で抽出される目をもとに一定時間あたりの閉じ目時間を計測する手段と、所定の閉じ時間を覚醒度の閾値として設定する手段と、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段と、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段と、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段と、画像処理で抽出される左右の目を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段と、同じく抽出される目の画像上の座標位置を計測する手段と、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段と、目の計測座標位置と基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段と、を備えたことを特徴とする居眠り警報装置。
運転者の顔に向けて赤外光を照射する手段と、運転者の顔をズームレンズを通して撮影する手段と、その画像処理を行う手段と、網膜反射像をもとに一定時間あたりの閉じ目時間を計測する手段と、所定の閉じ時間を覚醒度の閾値として設定する手段と、閉じ時間の計測値が閾値を越えると運転者の覚醒度の低下を判定する手段と、その覚醒度の低下判定時に運転室の警報器を作動するよう制御する手段と、運転者の着座開始時にズームレンジの焦点距離をワイド側にセットする手段と、２点の網膜反射光を結ぶ中心が画像の中心にくるよう撮影位置を調整する手段と、網膜反射光の画像上の座標位置を計測する手段と、所定のズーム画像上における目の基準座標位置および偏差の許容値を設定する手段と、網膜反射光の計測座標位置と目の基準座標位置との偏差がその許容値内に納まるようズームレンズの焦点距離を調整する手段と、を備えたことを特徴とする居眠り警報装置。
覚醒度の低下判定時に車両を停止させるよう制御する手段を設けたことを特徴とする請求項１または請求項２に記載の居眠り警報装置。