JP2004041485A

JP2004041485A - Closed/open eye monitoring device

Info

Publication number: JP2004041485A
Application number: JP2002204066A
Authority: JP
Inventors: Michimasa Ito; 井東　道昌; Hiromitsu Mizuno; 水野　博光
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2002-07-12
Filing date: 2002-07-12
Publication date: 2004-02-12
Anticipated expiration: 2022-07-12
Also published as: JP3898586B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a closed/open eye monitoring device highly precisely and stably setting a threshold for determining a closed eye without being affected by individual variation and environment. <P>SOLUTION: In a blink detecting program 22 of a drowse detecting/alarming device having this closed/open eye monitoring device, when a closed eye threshold C as a blink determination reference is unset, an opening detecting program 24 outputs an opening P detected from image data of a CCD camera to a threshold set program 28. The threshold set program 28 extracts a plurality of minimum values from time-series data of the opening P, rearranges them in the order of the opening dimension, divides the plurality of minimum values into an open eye candidate group and a closed eye candidate group in a part where the opening difference between adjacent minimum values is the maximum after the rearrangement, and sets a difference between the minimum opening of the open eye candidate group and a standard deviation of the open eye candidate group or the sum of the maximum opening of the closed eye candidate and the standard deviation of the open eye candidate group as the closed eye threshold. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両の運転者等の意識状態を推定し該運転者等に対し必要に応じて警報を発する居眠り検出装置等に適用される開閉眼モニタ装置に関する。
【０００２】
【従来の技術】
例えば、自動車等の車両の安全性を向上させるため、運転者の居眠りを検知して警報装置を作動させる居眠り検出装置が考えられている。一方、運転者の居眠り（意識低下）状態は、単位時間あたりの瞬きの回数や瞬きの長さと強い相関関係があることが知られてきている。
【０００３】
そこで、居眠りを検知するために、画像処理技術を利用して乗員の眼の開閉状態を検出する技術が考えられている。このような技術としては、例えば、特開２０００−１９９７０３号公報に記載された眼の状態検出装置がある。この公報には、精度良く開閉眼（瞬き）を検出するために、学習により開閉眼判定基準値を設定する方法が記載されている。以下、この眼の状態検出装置による開閉眼判定基準値の設定方法について説明する。
【０００４】
上記公報記載の眼の状態検出装置では、先ず、所定時間内における眼の開度の時経列データから開度値の最小値を検出し、その後、この最小値に所定開度値をプラスした範囲内の開度値の出力回数を積算する。そして、積算回数が最初に所定回数に達した開度を閉眼基準値として設定し、この閉眼基準値にさらに所定開度値をプラスした値を開閉眼判定基準値（閾値）として設定する。これにより、単に開度の最大値と最小値とを用いる場合に懸念されるノイズの影響を排除しつつ、閉眼時の開度のみで学習することで短時間で開閉眼判定基準値を設定可能である。
【０００５】
また、上記公報には、開眼基準値をも学習して開閉眼判定基準値を設定する方法が記載されている。この方法では、先ず、上記閉眼基準値に所定開度値をプラスした開閉眼判定基準値を仮置きで設定する。そして、この仮置き値以上の範囲内の開度値の出力回数を積算し、この積算回数が最初に所定回数に達した開度を開眼基準値として設定する。次いで、この開眼基準と上記閉眼基準値とから開閉眼判定基準値を設定する。これにより、より精度の良い開閉眼判定基準値を得ることができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、前者の方法を用いた従来の眼の状態検出装置では、開度値の最小値に所定開度値をプラスした範囲内の開度値（上記時系列データにおける開度の谷）を抽出し、この開度値の積算回数に基づいて閉眼基準値を決めるが、所定開度値が個人差や環境の影響（日射の有無等）を考慮して決められていないため、運転者の交替や環境の変化に対応した安定した閉眼基準値を得ることができなかった。そして、このように得られた閉眼基準値に対し個人差等を考慮しない所定開度値を再度プラスすることで開閉眼判定基準値を設定するため、該開閉眼判定基準値（閾値）の安定性（信頼性）が低いという問題があった。
【０００７】
すなわち例えば、ある運転者に対し所定の開度値が大き過ぎる場合、通常開眼時間の方が閉眼時間よりも長いため、開眼状態における開度値が最初に所定の積算回数に達する可能性が高い。この場合、開眼状態であるにも拘わらず閉眼であると判定される回数が増え、上記ある運転者に不要な警報を発し不快感を与える恐れがある。逆に、別の運転者に対しては所定の開度値が小さ過ぎる場合があり、この場合においてさらにノイズ等により小さい最小値が得られた場合には、閉眼状態であるにも拘わらず開眼であると判定される恐れもある。
【０００８】
一方、後者の方法を用いた従来の眼の状態検出装置でも、前者の場合と同様に個人差等を考慮しない所定の開度値を用いて開眼基準値を決めるため、運転者の交替や環境の変化に対応した安定した開眼基準値を得ることができないという問題があった。そして、後者の場合は開閉眼判定基準値の設定のために所定の開度値を再度プラスすることはないが、開眼基準値は常に上記仮置き値（前者における開閉眼判定基準値）よりも大きいため、例えば上記のように所定開度値が大き過ぎ閉眼基準値が現実の開眼状態における開度を含んで設定されてしまった場合には開閉眼判定基準値の精度向上には寄与しない。
【０００９】
このように、上記のような従来の眼の状態検出装置では、開閉眼の各開度基準値の学習に用いる所定の開度値が学習によって変更されることがなく、安定した開閉眼判定基準値（閾値）を得ることができなかった。
【００１０】
本発明は、上記事実を考慮して、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる開閉眼モニタ装置を得ることが目的である。
【００１１】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係る開閉眼モニタ装置は、少なくとも眼を含む顔の部分を撮像する撮像手段と、前記撮像手段にて撮像した画像データにおける前記眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部間の画素数に基づいて前記眼の開度を検出する開度検出手段と、前記開度検出手段から出力された前記開度の所定時間の経時変化データから該開度の極小値を複数抽出すると共に、該複数の極小値を開眼候補群と閉眼候補群とに分離し、前記開眼候補群の最小開度から該開眼候補群の標準偏差を差し引いた値以下の開度または前記閉眼候補群の最大開度に該閉眼候補群の標準偏差を加えた値以上の開度を閉眼閾値として設定する閾値設定手段と、を備えている。
【００１２】
請求項１記載の開閉眼モニタ装置では、撮像手段が撮像した眼を含む顔の画像が画像データとして開度検出手段に出力される。画像データが入力された開度検出手段では、画像データ上における眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部（例えば、濃度変化点の軌跡として抽出される瞼に対応する部分）間の画素数に基づいて前記眼の開度を検出し、閾値設定手段に出力する。
【００１３】
この閾値設定手段では、開度の所定時間の経時変化データから該開度の極小値（開度変化の谷となる部分）を複数抽出し、これらの極小値（開度）を開眼候補群と閉眼候補群とに分離する。さらに、閾値設定手段では、開眼候補群及び閉眼候補群の少なくとも一方の標準偏差を算出する。
【００１４】
さらに、閾値設定手段では、開眼候補群に含まれる複数の極小値（開度）のうち最小開度である極小値から該開眼候補群の標準偏差（ばらつき）を差し引いた値以上の開度、または、閉眼候補群に含まれる複数の極小値のうち最大開度である極小値に該閉眼候補群の標準偏差（ばらつき）を加えた値以上の開度を、閉眼閾値として設定する。
【００１５】
ここで、所定時間の開度の経時変化データから得られる標準偏差は、眼の開度の個人差や該所定時間における環境の影響を反映しているため、この個人差等に対応した精度の良い閉眼閾値が安定して得られる。また、閾値設定に標準偏差を用いることで、顔のわずかな動きの影響（例えば、撮像手段に対する眼の距離変化等）を排除することも可能である。
【００１６】
このように、請求項１記載の開閉眼モニタ装置では、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる。
【００１７】
請求項２記載の発明に係る開閉眼モニタ装置は、請求項１記載の開閉眼モニタ装置において、前記閾値設定手段は、前記極小値を開度の大きさ順に並べ替え、該並べ替え後に隣り合う前記極小値間の開度差が最大となる部分で前記開眼候補群と閉眼候補群とを分離する、ことを特徴としている。
【００１８】
開眼候補群と閉眼候補群とは、それぞれ所定の誤差範囲内に分布しており、これらの間の最小開度差は、開眼候補群または閉眼候補群内における開度差（並べ替え後に隣り合う前記極小値間の開度差）よりも大きい。請求項２記載の開閉眼モニタ装置では、この最小開度差の部分、すなわち並べ替え後に隣り合う前記極小値間の開度差が最大となる部分において、開眼候補群と閉眼候補群とを分離する。換言すれば、上記隣り合う極小値の一方を開眼候補群の最小値とし、他方を閉眼候補群の最大値とする。
【００１９】
これにより、開眼候補群と閉眼候補群とが実際の眼の開閉に対応して分離される確率が高くなり（分離の精度が向上し）、かつ上記標準偏差も実際の開眼または閉眼のばらつきを確実に反映するので、一層精度良く案定した閉眼閾値を得ることができる。
【００２０】
請求項３記載の発明に係る開閉眼モニタ装置は、請求項１または請求項２記載の開閉眼モニタ装置において、車両に搭載され、該車両室内の後方視認用インナミラーに設けられた前記撮像手段が該車両の運転者の顔を撮像する、ことを特徴としている。
【００２１】
請求項３記載の開閉眼モニタ装置では、撮像手段が車両のインナミラーに設けられているため、例えばステアリングホイールやモニタ対象となる乗員の腕等の影響、運転姿勢変化の影響が小さく、該乗員の眼を含む顔の部分を確実に撮像することができる。
【００２２】
【発明の実施の形態】
本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置１０について、図１乃至図７に基づいて説明する。
【００２３】
図１には、本発明の実施の形態に係る居眠り検知警報装置１０を搭載した車両Ｓの一部が斜視図及びブロック図によって示されている。居眠り検知警報装置１０は、車両Ｓの運転席上における運転者（図示省略）の意識状態を推定し、該運転者が居眠り（意識低下）状態であると判断すると警報を発する構成となっている。
【００２４】
この居眠り検知警報装置１０は、撮像手段としてのＣＣＤカメラ１２を備えている。ＣＣＤカメラ１２は、車両Ｓのルーフ１４の前端部（近傍）の左右方向中央部に設けられた後方視認用のインナミラー１６に一体に組み込まれている。すなわち、インナミラー１６は、カメラ内臓インナミラーであり、全体としてコンパクトに形成されて運転者を含む乗員に違和感を与えないようになっている。これにより、ＣＣＤカメラ１２は運転席（図１におけるステアリングホイール１８が設けられた側の前席）を斜め上方から撮像するようになっている。そして、ＣＣＤカメラ１２の画角は、少なくとも運転者の一方の眼（本実施の形態では左眼）を含む運転者の顔（の一部）が撮像範囲内に収まるように決められている。
【００２５】
また、ＣＣＤカメラ１２は、開度検出手段及び閾値設定手段を含んで構成された居眠り検知コンピュータ２０と電気的に接続されている。これにより、ＣＣＤカメラ１２で撮像された画像が画像データとして居眠り検知コンピュータ２０へ伝送される構成となっている。
【００２６】
この居眠り検知コンピュータ２０は、車両Ｓの適宜位置に配置され、図示しない記憶装置（ＲＯＭ）を有している。このＲＯＭには、瞬き検知プログラム２２（図２参照）が記憶されている。
【００２７】
瞬き検知プログラム２２は、ＣＣＤカメラ１２を制御する（作動させる）と共に画像データから眼に相当する部分を抽出し眼の開度を検出する開度検出プログラム２４と、後述する閉眼閾値Ｃに基づいて開閉眼を判定し該判定結果を意識状態推定プログラム（図示省略）に出力する判定プログラム２６と、閉眼閾値Ｃを設定する閾値設定プログラム２８とを含んで構成されている。
【００２８】
そして、居眠り検知コンピュータ２０は、瞬き検知プログラム２２を実行するＣＰＵ（図示省略）を備えている。なお、瞬き検知プログラム２２の機能については、後述する居眠り検知警報装置１０の作用と共に説明する。
【００２９】
また、居眠り検知警報装置１０は、警報装置３０を備えている。警報装置３０は、車両Ｓの適宜位置に配置され、居眠り検知コンピュータ２０と電気的に接続されている。そして、警報装置３０は、居眠り検知コンピュータ２０の意識状態推定プログラムから作動信号が入力されると、警報音や音声、表示装置への文字等の表示によって運転者に注意を促す（一時的に覚醒させたり、休憩や仮眠の勧告等を行う）ようになっている。
【００３０】
次に本実施の形態の作用について図２に示される瞬き検知プログラム２２のフローチャートを用いて説明する。
【００３１】
上記構成の居眠り検知警報装置１０では、例えば、イグニッションキーをキーシリンダへ挿入し、車両Ｓのアクセサリ（例えば、オーディオやパワーウインド）が作動可能な状態、若しくは、エンジンが始動した状態となると、居眠り検知コンピュータ２０が起動して居眠り検知コンピュータ２０に予め記憶された瞬き検知プログラム２２が起動されると共に居眠り検知コンピュータ２０がＣＣＤカメラ１２を作動させる。
【００３２】
瞬き検知プログラム２２が起動している居眠り検知コンピュータ２０では、先ず、開度検出プログラム２４のステップ３２でＣＣＤカメラ１２に運転者の眼を含む顔画像を撮像させる。ＣＣＤカメラ１２が撮像した画像は画像データとして検知コンピュータ２０に読み込まれ、ステップ３４で該画像データから眼に相当する部分を抽出する。
【００３３】
具体的には、画像データから眼を含む検出領域を切り出し、眼の重心が次のフレームの中央に位置するように検出領域の位置を更新する。なお、検出領域のサイズは、顔位置が急激に変化した場合にも追従可能（検出領域から外れないよう）に眼のサイズに比して大きく設定する。そして、画像データの垂直方向の濃度変化が大きな部位の複数の組み合わせ（濃度変化点の軌跡）を、それぞれ上下の瞼として抽出する。
【００３４】
さらに、抽出した上下の瞼から眼の重心位置を求め、ステップ３６で該重心位置付近における上下瞼間の垂直画素数の平均を算出し、該平均値を運転者の眼の開度（開度値）Ｐとする。以上で、ＣＣＤカメラ１２から伝送された一画像データにおける運転者の眼の開度Ｐが得られ、開度検出プログラム２４が終了する。
【００３５】
次いで、判定プログラム２６のステップ３８で開閉眼を判断するための閉眼閾値Ｃが設定されているか否かが判断される。閉眼閾値Ｃが設定されている場合には、ステップ４０へ進み、該ステップ４０で瞬きの有無が判定される。具体的には、閉眼閾値Ｃに対する開度Ｐの大小に基づいて、開度Ｐが閉眼閾値Ｃよりも大きい（Ｐ＞Ｃの）場合は開眼状態であると、開度Ｐ閉眼閾値Ｃよりも小さい（Ｐ＜Ｃの）場合は閉眼すなわち瞬きであると判定される。
【００３６】
さらに、ステップ４２へ進み、上記判定のエラーの有無が判断される。例えば、開度Ｐと閉眼閾値Ｃとの差が所定のエラー判定値よりも小さい場合に上記開閉眼の判定がエラーとされる。この場合、ステップ４４へ進み、設定されていた閉眼閾値Ｃをクリアする。一方、上記開閉眼の判定にエラーがない場合は、ステップ４６へ進み、開閉眼判定結果が意識状態推定プログラムへ出力される。
【００３７】
意識状態推定プログラムでは、逐次入力される開閉眼判定結果（瞬きの有無）の経時変化等によって、運転者の意識状態を推定する。そして、意識状態推定プログラムは、所定時間内の閉眼時間が増加したり、長い瞬きの比率が増加したりすると、意識低下状態すなわち居眠り状態であると推定し、警報装置３０へ作動信号を出力して該警報装置３０を作動させる。
【００３８】
また、ステップ４４またはステップ４６の実行後、すなわち判定プログラム２６の終了後は、ステップ４８へ進み、故障の有無が判断される。そして、故障と判断されると、例えば該故障を（故障の形態に応じた表示を）インジケータ等に表示させて瞬き検知プログラム２２は終了する。一方、故障がない場合は、ステップ３２へ戻る。
【００３９】
なお、故障の形態としては、例えば、以下に示すものがある。第１に、一定時間画像データ（映像信号）が居眠り検知コンピュータ２０に入力されなかった場合に故障と判断される。これは、主にＣＣＤカメラ自体の故障である。第２に、画像データ上にノイズが多数発生するか、画像データに特徴点が全く得られなかった場合（例えば、ＣＣＤ１２にカバーが取り付けられていた場合等）に、故障と判断される。第３に、居眠り検知コンピュータ２０の入出力ポートが一定時間一定の状態を保った場合（回路が開放若しくは短絡し、または入力ポートの信号変化がなかった場合等）に故障と判断される。これは、主にＣＣＤカメラ１２や警報装置３０と居眠り検知コンピュータ２０との間の断線が原因である。
【００４０】
一方、ステップ３８で閉眼閾値Ｃが設定されていないと判断されると、判定プログラム２６は実行されず、閾値設定プログラム２８のステップ５０へ進む。ステップ５０では、逐次入力されるステップ３６の開度Ｐの経時変化データ（以下、瞬き波形という）における開度Ｐが大きく変化する開度変化の谷を抽出する。すなわち、瞬き波形の時間微分波形から開度変化の谷を検出し、該検出した各谷における図３に○で囲んで示される如き開度Ｐの極小値を抽出する。
【００４１】
また、谷（極小値）の抽出の有無に関わらず、ステップ５２へ進む。ステップ５２では、ステップ５０で得られた極小値を開度Ｐの大きさ順に並べ替える。ステップ５０及びステップ５２は、ステップ５４で所定時間が経過したと判断されるまで、ステップ４８を経由して開度検出プログラム２４を実行しつつ（ステップ３６の開度Ｐを入力しつつ）実行される。
【００４２】
そして、所定時間（本実施の形態では、２０秒）が経過すると、例えば図４に示される如き運転者の瞬き波形Ｂ１（ｔ）の各開度変化の谷における極小値が、図５（Ａ）に示される如く開度Ｐの大きい順に並べ替えられている。この極小値には、開眼状態における極小値及び閉眼状態における極小値の双方が含まれている。なお、図５（Ａ）では、同じ大きさの極小値についてはプロットを省略している。
【００４３】
次いで、ステップ５６へ進み、瞬き波形Ｂ１（ｔ）の極小値を開眼候補群と閉眼候補群とに分離する。具体的には、各極小値を開度Ｐの大きい順に並べ替えた図５（Ａ）において隣り合う極小値間の開度差ΔＰが最大となる部分（順位ｎ及び順位ｎ＋１）を見つける。そして、順位１から順位ｎまでの極小値を開眼候補群とし、順位ｎ＋１から順位ｋ（最小開度）までの極小値を閉眼候補群とする。なお、図５（Ａ）に示される例では、ｎ＝８、ｋ＝１４となっている。
【００４４】
開眼候補群と閉眼候補群とが分離されると、ステップ５８へ進み、開眼候補群における開度Ｐ（極小値）のばらつき及び閉眼候補群における開度Ｐ（極小値）のばらつきがそれぞれ（何れか一方でも良い）算出される。すなわち、閉眼候補群の標準偏差σｏ１及び閉眼候補群の標準偏差σｃ１が算出される。なお、瞬き波形Ｂ１（ｔ）における各順位（各大きさの開度Ｐ）の極小値の頻度は、図５（Ｂ）に示されるようになっている。
【００４５】
このときの開眼候補群の平均開度Ｐｏａ１は略１６．４５画素（ｐｉｘｅｌ、以下単位省略）、標準偏差σｏ１は略０．２０となっている。一方、閉眼候補群の平均開度Ｐｃａ１は略１４．５２、標準偏差σｃ１は０．３５となっている。平均開度Ｐｏａ１、Ｐｃａ１は数値として算出しなくても良いが、例えばそれぞれ開眼基準値、閉眼基準値として用いても良い。
【００４６】
開眼候補群及び閉眼候補群のばらつきを算出すると、ステップ６０へ進み、閉眼閾値Ｃを設定する。閉眼閾値Ｃは、順位ｎにおける極小値すなわち開眼候補群のうち最小の開度Ｐから標準偏差σｏを差し引いた値、または、順位ｎ＋１における極小値すなわち閉眼候補群の最大の開度Ｐに標準偏差σｃを加えた値の何れか一方とする。瞬き波形Ｂ１（ｔ）の例における閉眼閾値Ｃ１は、順位８における開度１５．８０から標準偏差σｏ１を差し引いた略１５．６０、または、順位９における開度１５．３０に標準偏差σｃ１を加えた略１５．６５となり、両者はほぼ一致している。
【００４７】
閉眼閾値Ｃが設定されると、ステップ６２へ進み、閉眼閾値Ｃを用いた瞬き検出（ステップ４０の瞬き判定）の信頼性を評価する。具体的には、順位ｎと順位ｎ＋１との間の最大開度差ΔＰと標準偏差σｏまたは標準偏差σｃ（閉眼閾値Ｃの設定に用いた方）との比ｒ（＝σ／ΔＰ）を算出する。この比ｒが大きいほど、開閉眼の区別が確実に為される。このため、ステップ６２で算出した比ｒを所定の値と比較することで、瞬き検出の信頼性を評価することができる。そして、この評価を以下の例のように用いることができる。例えば、比ｒが所定値よりも小さい場合、閉眼閾値Ｃを用いた瞬き判定が不可能であると判断し、故障とする（瞬き検知プログラム２２を終了する）ようにしても良い。また例えば、比ｒが１（所定値）よりも小さくなる場合は、例えばステップ４４へ進んで閉眼閾値Ｃをクリアしても良い。
【００４８】
ステップ６２で信頼性を評価すると、閾値設定プログラム２８が終了し、ステップ４８を経由して開度検出プログラム２４へ戻る。そして、開度検出プログラム２４で得られた開度Ｐが判定プログラム２６において閾値設定プログラム２８で設定された閉眼閾値Ｃと比較され、運転者の瞬きの有無が判定される。
【００４９】
なお、この閉眼閾値Ｃは、ステップ４４でクリアされる（例えば、日射の有無等の周囲環境が変化することで、現実の開眼状態における平均開度が閉眼閾値Ｃ設定時に対し変化し、ステップ４２でエラーと判断される）まで、繰り返し使用される。
【００５０】
また、図６及び図７を用いて別の運転者に対する閉眼閾値Ｃの設定例を説明する。図６は、図４とは別の運転者の所定時間（ステップ５４の期間）経過後における瞬き波形Ｂ２（ｔ）である。瞬き波形Ｂ２（ｔ）は、瞬き波形Ｂ１（ｔ）と比較して開度Ｐの変化幅が大きいが、上記瞬き波形Ｂ１（ｔ）の場合と全く同様に閉眼閾値Ｃを得ることができる。
【００５１】
ステップ５０で瞬き波形Ｂ２（ｔ）の開度変化の谷における極小値を抽出し、ステップ５２で開度Ｐの大きい順に並べ替えると、所定時間の経過後には図７（Ａ）に示すようになる。そして、ステップ５６で、図７（Ａ）において隣り合う極小値間の開度差ΔＰが最大となる部分（順位ｎ及び順位ｎ＋１）において、瞬き波形Ｂ２（ｔ）の各極小値を開眼候補群と閉眼候補群とに分離する。なお、図７（Ａ）に示される例では、ｎ＝１０、ｋ＝１４となっている。また、瞬き波形Ｂ２（ｔ）における各順位（各大きさの開度Ｐ）の極小値の頻度は、図７（Ｂ）に示されるようになっている。
【００５２】
次いで、ステップ５８で、閉眼候補群の標準偏差σｏ及び閉眼候補群の標準偏差σｃが算出される。図７（Ｂ）に示される如く、瞬き波形Ｂ２（ｔ）における開眼候補群の平均開度Ｐｏａ２は略１０．３８、標準偏差σｏ２は略０．３９となっている。一方、閉眼候補群の平均開度Ｐｃａ２は略６．５３、標準偏差σｃ２は０．２８となっている。
【００５３】
そして、ステップ６０で閉眼閾値Ｃを設定する。瞬き波形Ｂ２（ｔ）における閉眼閾値Ｃ２は、順位１０における開度８．４０から標準偏差σｏ２を差し引いた略８．０１、または、順位１１における開度７．００に標準偏差σｃ２を加えた略７．２８となる。このように、瞬き波形Ｂ２（ｔ）のように開度Ｐの変化幅が大きく、閉眼候補群が正規分布に略従って分布しないような場合でも、標準偏差σｏ２またはσｃ２を用いて閉眼閾値Ｃ２を得ることができる。
【００５４】
ここで、ある運転者の所定時間における瞬き波形Ｂ（ｔ）から得られる標準偏差σｏまたはσｃは、眼の開度Ｐの個人差や所定時間（ステップ５４の期間）における環境の影響を反映しているため、この個人差や環境変化等に対応した精度の良い閉眼閾値Ｃが安定して得られる。また、閉眼閾値Ｃの設定に標準偏差を用いることで、顔のわずかな動きに伴って生じるＣＣＤカメラ１２に対する眼の距離変化等の影響を排除することも可能である。
【００５５】
従って、瞬き検知プログラム２２（居眠り検知警報装置１０）では、閉眼閾値Ｃを用いることで、個人差等の影響を受けることなく瞬きを検知することができる。すなわち、瞬き波形Ｂ１（ｔ）とＢ２（ｔ）のように開閉眼時におけるそれぞれの平均開度や開度変化幅が個人差等によって大きく異なる場合でも、瞬き検知プログラム２２では、それぞれに適正な閉眼閾値Ｃを設定することで、個人差等の影響を受けることなく瞬きを検知することができる。
【００５６】
さらに、閾値設定プログラム２８では、上記並べ替え後（図５（Ａ）の状態）における最大開度差ΔＰを与える順位ｎと順位ｎ＋１との間で開眼候補群と閉眼候補群とを分離するため、換言すれば、開眼候補群内または閉眼候補群内における開度差よりも開眼と閉眼との間の開度差が通常大きくなることに基づいて開眼候補群と閉眼候補群とを分離しているため、該分離は実際の開閉眼に対応している確率（すなわち、分離の精度）が高い。このため、開眼候補群と閉眼候補群とを実際の眼の開閉に略対応して分離することができ、かつ標準偏差σｏまたはσｃも実際の開眼または閉眼のばらつきを確実に反映するので、一層精度良く案定した閉眼閾値Ｃを得ることができる。
【００５７】
このように、本実施の形態に係る居眠り検知警報装置１０では、閉眼を判断するための閉眼閾値Ｃを、運転者の個人差や環境の影響に依らず精度良く安定して設定することができる。
【００５８】
また、居眠り検知警報装置１０では、ＣＣＤカメラ１２が車両Ｓのインナミラー１６に内蔵して設けられているため、例えばステアリングホイール１８や運転者の腕等の影響、運転姿勢変化の影響によって該運転者の眼を含む顔の部分が撮像できなくなる可能性が低く、該眼を含む顔の部分を確実に撮像することができる。そして、ＣＣＤカメラ１２の撮像した画像データが乗員の眼を捉えなかった時間は、全撮像時間の１．７％とわずかであった。
【００５９】
なお、上記の実施の形態では、本発明に係る開閉眼モニタ装置が車両Ｓの居眠り検知警報装置１０に適用された例を示したが、本発明はこれに限定されず、例えば、プラントのオペレータや航空機・船舶等の操縦者等の意識状態を監視する監視装置等に適用されても良い。また、本発明に係る開閉眼モニタ装置は、警報装置３０と接続されて居眠り検知警報装置１０を構成するのに限定されることはない。
【００６０】
また、上記の実施の形態では、瞬き検知プログラム２２が居眠り検知コンピュータ２０に記憶された構成としたが、本発明はこれに限定されず、例えば、車両Ｓを総合的に制御する運転支援システムの一部を構成するコンピュータに瞬き検知プログラム２２を記憶、実行させても良い。
【００６１】
さらに、上記の実施の形態では、閉眼閾値Ｃは、順位ｎの極小値から標準偏差σｏを差し引いた値または順位ｎ＋１の極小値に標準偏差σｃを加えた値として設定したが、本発明はこれに限定されず、例えば、閉眼閾値Ｃは、順位ｎ＋１の極小値を下回らない範囲で、順位ｎの極小値から標準偏差σｏを差し引いた値よりも小さく設定しても良く、順位ｎの極小値を上回らない範囲で順位ｎ＋１の極小値に標準偏差σｃを加えた値よりも大きく設定しても良い。
【００６２】
さらにまた、上記の実施の形態では、ＣＣＤカメラ１２がインナミラー１６に内蔵された好ましい構成としたが、本発明はこれに限定されず、例えば、ＣＣＤカメラ１２がルーフ１４に設けられたマップランプ装置７０（図１参照）に内蔵されたりインストルメントパネル上等に配置されたりしても良い。また、本発明における撮像手段がＣＣＤカメラ１２に限定されないことは言うまでもない。
【００６３】
【発明の効果】
以上説明したように本発明に係る開閉眼モニタ装置は、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置の概略構成及びＣＣＤカメラの配置を示す斜視図及びブロック図である。
【図２】本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置に記憶された瞬き検知プログラムのフローチャートである。
【図３】ステップ５０で抽出する瞬き波形における開度変化の谷を示す線図である。
【図４】ステップ５４の期間経過後の瞬き波形を示す線図である。
【図５】（Ａ）は開眼候補群と閉眼候補群との分離位置を示す線図、（Ｂ）は閉眼閾値を示す線図である。
【図６】図４とは別の運転者におけるステップ５４の期間経過後の瞬き波形を示す線図である。
【図７】（Ａ）は図５（Ａ）とは別の運転者における開眼候補群と閉眼候補群との分離位置を示す線図、（Ｂ）は図５（Ｂ）とは別の運転者における閉眼閾値を示す線図である。
【符号の説明】
１０　　居眠り検知警報装置（開閉眼モニタ装置）
１２　　ＣＣＤカメラ（撮像手段）
１６　　インナミラー
２０　　居眠り検知コンピュータ（開度検出手段、閾値設定手段）
２２　　瞬き検知プログラム（開度検出手段、閾値設定手段）
２４　　開度検出プログラム（開度検出手段）
２８　　閾値設定プログラム（閾値設定手段）
Ｓ　　車両[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an open / closed eye monitor device that is applied to, for example, a dozing detection device that estimates a driver's consciousness state of a vehicle and issues an alarm to the driver or the like as necessary.
[0002]
[Prior art]
For example, in order to improve the safety of vehicles such as automobiles, a dozing detection device that detects a driver's dozing and activates an alarm device has been considered. On the other hand, it has been known that the driver's dozing (decreased consciousness) state has a strong correlation with the number of blinks per unit time and the blink length.
[0003]
Therefore, in order to detect a drowsiness, a technology for detecting the open / closed state of an occupant's eye using image processing technology has been considered. As such a technique, for example, there is an eye state detecting device described in Japanese Patent Application Laid-Open No. 2000-199703. This publication describes a method of setting an open / closed eye determination reference value by learning in order to accurately detect the open / closed eye (blink). Hereinafter, a method of setting the open / closed eye determination reference value by the eye state detection device will be described.
[0004]
In the eye state detecting device described in the above publication, first, the minimum value of the opening value is detected from the time series data of the opening degree of the eye within a predetermined time, and then the predetermined opening value is added to this minimum value. The output count of the opening value within the range is integrated. Then, an opening degree at which the number of integrations reaches a predetermined number of times first is set as a reference value for closing the eye, and a value obtained by adding a predetermined opening degree value to the reference value for closing the eye is set as a reference value for opening / closing eyes (threshold). With this, it is possible to set the open / closed eye determination reference value in a short time by learning only with the degree of opening when the eyes are closed, while eliminating the influence of noise that is a concern when simply using the maximum and minimum values of the degree of opening. It is.
[0005]
Further, the above publication describes a method of setting an open / closed eye determination reference value by also learning an eye opening reference value. In this method, first, an eye open / closed eye determination reference value obtained by adding a predetermined opening degree value to the eye closed eye reference value is temporarily set. Then, the number of output times of the opening value within the range equal to or more than the temporary placement value is integrated, and the opening at which the integrated number first reaches a predetermined number is set as the eye opening reference value. Next, an open / closed eye determination reference value is set based on the eye open reference and the closed eye reference value. Thereby, a more accurate open / closed eye determination reference value can be obtained.
[0006]
[Problems to be solved by the invention]
However, in the conventional eye state detection device using the former method, an opening value (a valley of the opening in the time-series data) within a range obtained by adding a predetermined opening to the minimum value of the opening is extracted. The eye-closing reference value is determined based on the number of times the opening value is integrated. However, since the predetermined opening value is not determined in consideration of individual differences and environmental influences (such as the presence or absence of solar radiation), driver replacement is performed. It was not possible to obtain a stable closed eye reference value corresponding to changes in the environment and the environment. Then, the open / closed eye determination reference value is set by adding again a predetermined opening value that does not consider individual differences or the like to the obtained eye closed reference value, so that the open / closed eye determination reference value (threshold) is stabilized. There is a problem that the reliability (reliability) is low.
[0007]
That is, for example, when the predetermined opening value is too large for a certain driver, the normal eye opening time is longer than the eye closing time, and thus the opening value in the open state is likely to first reach the predetermined integration number. . In this case, the number of times that the eyes are determined to be closed even though the eyes are open is increased, and there is a possibility that an unnecessary warning is issued to the certain driver to cause discomfort. Conversely, the predetermined opening value may be too small for another driver, and in this case, if a smaller minimum value is obtained for noise or the like, the eye may be opened despite the closed state. May be determined.
[0008]
On the other hand, even in the conventional eye state detection device using the latter method, the eye opening reference value is determined using a predetermined opening value that does not consider individual differences and the like as in the former method, so that driver replacement and environmental There is a problem that it is not possible to obtain a stable eye opening reference value corresponding to the change of the eye. In the latter case, the predetermined opening value is not added again to set the open / closed eye determination reference value, but the eye openness reference value is always greater than the temporary setting value (the open / closed eye determination reference value in the former). For example, if the predetermined opening value is too large as described above, and the eye-closing reference value is set to include the opening in the actual eye-open state, it does not contribute to improving the accuracy of the opening / closing eye determination reference value.
[0009]
As described above, in the conventional eye state detection device as described above, the predetermined opening value used for learning each opening degree reference value of the opening and closing eyes is not changed by learning, and the stable opening / closing eye determination reference No value (threshold) could be obtained.
[0010]
An object of the present invention is to provide an open / closed eye monitor device that can accurately and stably set a threshold value for judging whether or not the eye is closed without depending on individual differences or the influence of the environment in consideration of the above fact.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, an open / closed eye monitor device according to the invention according to claim 1 corresponds to an image pickup means for picking up an image of a part of a face including at least an eye, and corresponds to the eye in image data imaged by the image pickup means An opening detection unit that extracts a portion, and detects an opening of the eye based on the number of pixels between upper and lower edges of a portion corresponding to the eye, and an opening detection unit that outputs the opening output from the opening detection unit. A plurality of minimum values of the opening degree are extracted from the temporal change data for a predetermined time, and the plurality of minimum values are separated into a candidate group of open eyes and a candidate group of closed eyes. Threshold setting means for setting an opening degree equal to or less than a value obtained by subtracting the standard deviation of the opening degree or a value equal to or greater than the maximum opening degree of the eye-closing candidate group plus the standard deviation of the eye-closing candidate group as an eye-closing threshold value. I have.
[0012]
According to the first aspect of the present invention, the image of the face including the eyes captured by the imaging unit is output to the opening detection unit as image data. The opening degree detection means to which the image data is input extracts a portion corresponding to the eye on the image data, and the upper and lower edges of the portion corresponding to the eye (for example, the eyelids extracted as the locus of the density change point). The opening degree of the eye is detected based on the number of pixels between (corresponding portions) and output to the threshold setting means.
[0013]
In this threshold setting means, a plurality of minimum values of the opening (portions that become valleys of the change in the opening) are extracted from the temporal change data of the opening for a predetermined period of time, and these minimum values (opening) are defined as an eye opening candidate group. It is separated into a closed eye candidate group. Further, the threshold setting means calculates a standard deviation of at least one of the eye open candidate group and the eye closed candidate group.
[0014]
Further, in the threshold setting means, an opening degree equal to or more than a value obtained by subtracting a standard deviation (variation) of the eye opening candidate group from a minimum value which is a minimum opening degree among a plurality of minimum values (opening degrees) included in the eye opening candidate group; Alternatively, an opening degree that is equal to or greater than a value obtained by adding the standard deviation (variation) of the eye closing candidate group to the minimum value that is the maximum opening degree among a plurality of minimum values included in the eye closing candidate group is set as the eye closing threshold.
[0015]
Here, the standard deviation obtained from the temporal change data of the opening degree at the predetermined time reflects the individual difference in the eye opening degree and the influence of the environment at the predetermined time. A good eye closing threshold can be obtained stably. Further, by using the standard deviation for setting the threshold value, it is also possible to eliminate the influence of a slight movement of the face (for example, a change in the distance of the eye to the imaging means).
[0016]
As described above, in the open / closed eye monitor device according to the first aspect, the threshold value for determining whether the eye is closed can be set accurately and stably regardless of the individual difference or the influence of the environment.
[0017]
According to a second aspect of the present invention, there is provided the open / closed eye monitor device according to the first aspect, wherein the threshold value setting unit rearranges the local minimum values in the order of opening degree, and becomes adjacent after the rearrangement. The eye-opening candidate group and the eye-closing candidate group are separated at a portion where the opening degree difference between the minimum values is maximum.
[0018]
The eye-opening candidate group and the eye-closing candidate group are each distributed within a predetermined error range, and the minimum opening degree difference between them is the opening degree difference in the eye-opening candidate group or the eye-closing candidate group (adjacent after rearrangement. (The difference in the opening degree between the minimum values). In the eye opening / closing eye monitor device according to claim 2, the eye opening candidate group and the eye closing candidate group are separated from each other at the minimum opening difference portion, that is, at the portion where the opening difference between the adjacent minimum values after sorting is the largest. I do. In other words, one of the adjacent minimum values is set as the minimum value of the eye-opening candidate group, and the other is set as the maximum value of the eye-opening candidate group.
[0019]
As a result, the probability that the open-eye candidate group and the closed-eye candidate group are separated in accordance with the actual opening / closing of the eye increases (the accuracy of separation is improved), and the standard deviation also reduces the dispersion of the actual open or closed eye. Since the reflection is reliably reflected, it is possible to obtain a more precisely defined eye closing threshold value.
[0020]
According to a third aspect of the present invention, there is provided the open / closed eye monitoring device according to the first or second aspect, wherein the imaging means is mounted on a vehicle and provided on a rear-viewing inner mirror in the vehicle interior. Captures an image of the driver's face of the vehicle.
[0021]
According to the third aspect of the present invention, since the imaging means is provided on the inner mirror of the vehicle, for example, the influence of the steering wheel, the arm of the occupant to be monitored, and the influence of the change in the driving posture are small. It is possible to reliably image the face portion including the eyes.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
A dozing detection / warning device 10 to which the open / closed eye monitoring device according to the embodiment of the present invention is applied will be described with reference to FIGS. 1 to 7.
[0023]
FIG. 1 is a perspective view and a block diagram showing a part of a vehicle S equipped with a dozing detection / warning device 10 according to an embodiment of the present invention. The drowsiness detection and warning device 10 is configured to estimate a consciousness state of a driver (not shown) on the driver's seat of the vehicle S, and to issue an alarm when it is determined that the driver is in a drowsiness (decreased consciousness) state. .
[0024]
This drowsiness detection and warning device 10 includes a CCD camera 12 as an imaging means. The CCD camera 12 is integrated with a rear-viewing inner mirror 16 provided at the center in the left-right direction at the front end (near) of the roof 14 of the vehicle S. That is, the inner mirror 16 is a camera built-in inner mirror, and is formed to be compact as a whole so as not to give an uncomfortable feeling to the occupant including the driver. Thus, the CCD camera 12 captures an image of the driver's seat (the front seat on the side where the steering wheel 18 is provided in FIG. 1) from obliquely above. The angle of view of the CCD camera 12 is determined so that (part of) the driver's face including at least one eye of the driver (the left eye in the present embodiment) falls within the imaging range.
[0025]
The CCD camera 12 is electrically connected to a drowsiness detection computer 20 including an opening detection unit and a threshold setting unit. Thus, the image captured by the CCD camera 12 is transmitted to the drowsiness detection computer 20 as image data.
[0026]
The dozing detection computer 20 is arranged at an appropriate position of the vehicle S and has a storage device (ROM) (not shown). In this ROM, a blink detection program 22 (see FIG. 2) is stored.
[0027]
The blink detection program 22 controls (actuates) the CCD camera 12, extracts a portion corresponding to the eye from the image data, and detects the degree of opening of the eye. It is configured to include a determination program 26 for determining whether the eye is open or closed and outputting the determination result to a consciousness estimation program (not shown), and a threshold setting program 28 for setting an eye closing threshold C.
[0028]
The dozing detection computer 20 includes a CPU (not shown) that executes the blink detection program 22. The function of the blink detection program 22 will be described together with the operation of the dozing detection alarm device 10 described later.
[0029]
The dozing detection alarm device 10 includes an alarm device 30. The alarm device 30 is arranged at an appropriate position of the vehicle S and is electrically connected to the dozing detection computer 20. When an operation signal is input from the consciousness estimation program of the dozing detection computer 20, the alarm device 30 alerts the driver by an alarm sound, a voice, or the display of characters on a display device (temporary awakening). Or make recommendations for breaks or naps).
[0030]
Next, the operation of the present embodiment will be described with reference to the flowchart of the blink detection program 22 shown in FIG.
[0031]
In the dozing detection alarm device 10 having the above-described configuration, for example, when an ignition key is inserted into a key cylinder and an accessory (for example, an audio or a power window) of the vehicle S is operable or the engine is started, the dozing detection is performed. The detection computer 20 is activated to activate the blink detection program 22 stored in the drows detection computer 20 in advance, and the drows detection computer 20 activates the CCD camera 12.
[0032]
In the dozing detection computer 20 running the blink detection program 22, first, in step 32 of the opening detection program 24, the CCD camera 12 causes the CCD camera 12 to capture a face image including the driver's eyes. The image captured by the CCD camera 12 is read into the detection computer 20 as image data, and at step 34, a portion corresponding to the eye is extracted from the image data.
[0033]
Specifically, a detection area including the eye is cut out from the image data, and the position of the detection area is updated so that the center of gravity of the eye is located at the center of the next frame. The size of the detection area is set to be larger than the size of the eyes so that the detection area can follow even if the face position changes suddenly (so as not to deviate from the detection area). Then, a plurality of combinations (trajectories of the density change points) of portions where the density change in the vertical direction of the image data is large are respectively extracted as upper and lower eyelids.
[0034]
Further, the position of the center of gravity of the eye is obtained from the extracted upper and lower eyelids, the average of the number of vertical pixels between the upper and lower eyelids near the position of the center of gravity is calculated in step 36, and the average value is used as the opening (opening) of the driver's eye. Value) P. As described above, the opening degree P of the driver's eye in one image data transmitted from the CCD camera 12 is obtained, and the opening degree detection program 24 ends.
[0035]
Next, in step 38 of the determination program 26, it is determined whether or not the eye-closing threshold C for determining whether the eye is open or closed is set. If the eye-closing threshold C has been set, the process proceeds to step 40, where the presence or absence of blinking is determined. Specifically, based on the magnitude of the opening degree P with respect to the eye closing threshold value C, if the opening degree P is larger than the eye closing threshold value C (P> C), and the eye is in the open state, the opening degree P is larger than the eye closing threshold value C. If smaller (P <C), it is determined that the eyes are closed, that is, blinking.
[0036]
Further, the process proceeds to step 42, where it is determined whether there is an error in the above determination. For example, when the difference between the opening degree P and the eye closing threshold value C is smaller than a predetermined error determination value, the determination of the open / closed eye is regarded as an error. In this case, the process proceeds to step 44, where the set eye closing threshold C is cleared. On the other hand, if there is no error in the determination of the open / closed eye, the process proceeds to step 46, and the result of the open / closed eye determination is output to the consciousness estimation program.
[0037]
In the consciousness state estimation program, the driver's consciousness state is estimated based on, for example, a temporal change of the sequentially opened / closed eye determination result (the presence or absence of blinking). The consciousness state estimating program estimates that the consciousness is in a reduced consciousness state, that is, a dozing state, when the eye closing time within a predetermined time increases or the ratio of long blinks increases, and outputs an activation signal to the alarm device 30. To activate the alarm device 30.
[0038]
After the execution of step 44 or 46, that is, after the end of the determination program 26, the process proceeds to step 48, where it is determined whether or not there is a failure. When it is determined that a failure has occurred, the blink detection program 22 terminates, for example, by displaying the failure on an indicator or the like (display according to the type of failure). On the other hand, if there is no failure, the process returns to step 32.
[0039]
Note that, for example, there are the following failure modes. First, when image data (video signal) has not been input to the dozing detection computer 20 for a certain period of time, it is determined that a failure has occurred. This is mainly a failure of the CCD camera itself. Second, when a large number of noises occur in the image data or when no characteristic points are obtained in the image data (for example, when a cover is attached to the CCD 12), it is determined that a failure has occurred. Third, when the input / output port of the dozing detection computer 20 keeps a fixed state for a certain period of time (for example, when the circuit is opened or short-circuited or there is no change in the signal of the input port), it is determined that a failure has occurred. This is mainly due to the disconnection between the CCD camera 12 or the alarm device 30 and the dozing detection computer 20.
[0040]
On the other hand, if it is determined in step 38 that the eye closing threshold C has not been set, the determination program 26 is not executed, and the process proceeds to step 50 of the threshold setting program 28. In step 50, a valley of the change in the opening degree at which the opening degree P greatly changes in the time-dependent change data (hereinafter, referred to as a blink waveform) of the opening degree P in the step 36 is sequentially extracted. That is, the valleys of the opening change are detected from the time derivative waveform of the blinking waveform, and the minimum value of the opening P at each detected valley, as indicated by a circle in FIG. 3, is extracted.
[0041]
In addition, the process proceeds to step 52 regardless of whether or not a valley (minimum value) is extracted. In step 52, the minimum values obtained in step 50 are rearranged in the order of the opening degree P. Steps 50 and 52 are executed while executing the opening detection program 24 via step 48 (inputting the opening P of step 36) until it is determined in step 54 that the predetermined time has elapsed. You.
[0042]
When a predetermined time (20 seconds in the present embodiment) elapses, for example, the minimum value at the valley of each opening change of the driver's blink waveform B1 (t) as shown in FIG. ), The rearrangement is performed in descending order of the opening degree P. The minimum value includes both the minimum value in the opened state and the minimum value in the closed state. Note that in FIG. 5A, plots are omitted for local minima of the same size.
[0043]
Then, the process proceeds to a step 56, wherein the minimum value of the blink waveform B1 (t) is separated into an open eye candidate group and an eye closed candidate group. Specifically, in FIG. 5A in which the minimum values are rearranged in the order of the opening degree P, a portion (order n and order n + 1) where the opening difference ΔP between the adjacent minimum values is maximum is found. Then, the minimum value from rank 1 to rank n is set as an eye opening candidate group, and the minimum value from rank n + 1 to rank k (minimum opening degree) is set as a closed eye candidate group. In the example shown in FIG. 5A, n = 8 and k = 14.
[0044]
When the open-eye candidate group and the closed-eye candidate group are separated, the process proceeds to step 58, where the variation of the opening degree P (minimum value) in the open-eye candidate group and the variation of the opening degree P (minimum value) of the closed-eye candidate group are respectively determined. Or may be calculated). That is, the standard deviation σo1 of the candidate group of closed eyes and the standard deviation σc1 of the candidate group of closed eyes are calculated. The frequency of the minimum value of each rank (opening P of each size) in the blinking waveform B1 (t) is as shown in FIG. 5B.
[0045]
At this time, the average opening degree Poa1 of the eye-opening candidate group is approximately 16.45 pixels (pixel, hereinafter unit omitted), and the standard deviation σo1 is approximately 0.20. On the other hand, the average opening degree Pca1 of the closed eye candidate group is approximately 14.52, and the standard deviation σc1 is 0.35. The average opening degrees Poa1 and Pca1 do not need to be calculated as numerical values, but may be used as, for example, an eye opening reference value and an eye closing reference value, respectively.
[0046]
After calculating the variation between the open eye candidate group and the closed eye candidate group, the process proceeds to step 60, where the eye closed threshold C is set. The eye-closure threshold C is a minimum value at the rank n, that is, a value obtained by subtracting the standard deviation σo from the minimum opening degree P of the eye-opening candidate group, or a minimum value at the rank n + 1, that is, the maximum opening degree P of the eye-opening candidate group. One of the values obtained by adding σc. The eye closing threshold C1 in the example of the blink waveform B1 (t) is approximately 15.60 obtained by subtracting the standard deviation σo1 from the opening 15.80 at rank 8, or the standard deviation σc1 is added to the opening 15.30 at rank 9. 15.65, which are almost the same.
[0047]
When the eye-closing threshold C is set, the process proceeds to step 62, where the reliability of blink detection using the eye-closing threshold C (blink determination in step 40) is evaluated. Specifically, a ratio r (= σ / ΔP) between the maximum opening difference ΔP between the rank n and the rank n + 1 and the standard deviation σo or the standard deviation σc (the one used for setting the eye closing threshold C) is calculated. I do. The larger the ratio r, the more surely the eyes can be distinguished. For this reason, the reliability of blink detection can be evaluated by comparing the ratio r calculated in step 62 with a predetermined value. This evaluation can then be used as in the following example. For example, when the ratio r is smaller than a predetermined value, it may be determined that blink determination using the eye closing threshold C is impossible, and a failure may be determined (the blink detection program 22 ends). Further, for example, when the ratio r is smaller than 1 (predetermined value), the process may proceed to step 44 to clear the eye closing threshold C, for example.
[0048]
When the reliability is evaluated in step 62, the threshold setting program 28 ends, and the process returns to the opening detection program 24 via step 48. Then, the opening degree P obtained by the opening degree detection program 24 is compared with the eye closing threshold value C set by the threshold value setting program 28 in the judgment program 26, and it is judged whether or not the driver has blinked.
[0049]
The eye-closing threshold C is cleared in step 44 (for example, by changing the surrounding environment such as the presence or absence of insolation, the average opening degree in the actual eye-open state changes from the setting when the eye-closing threshold C is set, and step 42 is performed. Until it is determined to be an error).
[0050]
An example of setting the eye-closing threshold C for another driver will be described with reference to FIGS. FIG. 6 shows a blink waveform B2 (t) after a predetermined time (period of step 54) of a driver different from that of FIG. 4 has elapsed. Although the blinking waveform B2 (t) has a larger variation in the opening P than the blinking waveform B1 (t), the eye closing threshold C can be obtained in exactly the same manner as in the case of the blinking waveform B1 (t).
[0051]
At step 50, the minimum value at the valley of the opening change of the blinking waveform B2 (t) is extracted, and rearranged at step 52 in descending order of the opening P. After the elapse of a predetermined time, as shown in FIG. Become. Then, in step 56, in the portion where the opening difference ΔP between the adjacent minimum values in FIG. 7A is the maximum (order n and order n + 1), each minimum value of the blinking waveform B2 (t) is set to the eye opening candidate group. And a closed eye candidate group. In the example shown in FIG. 7A, n = 10 and k = 14. The frequency of the minimum value of each rank (the degree of opening P of each size) in the blinking waveform B2 (t) is as shown in FIG. 7B.
[0052]
Next, in step 58, the standard deviation σo of the candidate group of closed eyes and the standard deviation σc of the candidate group of closed eyes are calculated. As shown in FIG. 7B, the average opening Poa2 of the eye-opening candidate group in the blink waveform B2 (t) is approximately 10.38, and the standard deviation σo2 is approximately 0.39. On the other hand, the average opening degree Pca2 of the closed eye candidate group is approximately 6.53, and the standard deviation σc2 is 0.28.
[0053]
Then, in step 60, the eye closing threshold C is set. The eye-closing threshold C2 in the blink waveform B2 (t) is approximately 8.01 obtained by subtracting the standard deviation σo2 from the opening 8.40 at the rank 10, or approximately the standard opening σc2 added to the opening 7.00 at the rank 11. 7.28. As described above, even when the variation range of the opening degree P is large as in the blink waveform B2 (t) and the eye-closing candidate group does not substantially follow the normal distribution, the eye-closing threshold C2 is determined using the standard deviation σo2 or σc2. Obtainable.
[0054]
Here, the standard deviation σo or σc obtained from the blink waveform B (t) of a certain driver at a predetermined time reflects the individual difference of the eye opening degree P and the influence of the environment at the predetermined time (period of step 54). Therefore, an accurate eye-closing threshold value C corresponding to the individual difference and the environmental change can be stably obtained. In addition, by using the standard deviation for setting the eye-closing threshold C, it is possible to eliminate the influence of a change in the distance of the eyes to the CCD camera 12 caused by a slight movement of the face.
[0055]
Therefore, the blink detection program 22 (the dozing detection alarm device 10) can detect a blink without being affected by individual differences or the like by using the closed eye threshold value C. That is, even when the average opening degree and the opening change width at the time of opening and closing the eyes are greatly different due to individual differences and the like as in the blinking waveforms B1 (t) and B2 (t), the blinking detection program 22 uses the appropriate By setting the eye-closing threshold C, blinking can be detected without being affected by individual differences or the like.
[0056]
Further, the threshold value setting program 28 separates the eye-opening candidate group and the eye-closing candidate group between the order n and the order n + 1 that give the maximum opening difference ΔP after the rearrangement (the state of FIG. 5A). In other words, the eye-opening candidate group and the eye-closing candidate group are separated based on the fact that the opening degree difference between the eye opening and the eye closing is usually larger than the opening degree difference in the eye opening candidate group or the eye closing candidate group. Therefore, there is a high probability that the separation corresponds to an actual open / closed eye (ie, the accuracy of the separation). For this reason, the open eye candidate group and the closed eye candidate group can be separated substantially corresponding to the actual opening / closing of the eye, and the standard deviation σo or σc also reflects the variation of the actual eye open or closed eye without fail. It is possible to obtain the eye closing threshold value C that is accurately determined.
[0057]
As described above, in the dozing detection / warning apparatus 10 according to the present embodiment, the eye-closing threshold C for determining whether the eyes are closed can be accurately and stably set irrespective of individual differences between drivers and influences of the environment. .
[0058]
Further, in the dozing detection alarm device 10, since the CCD camera 12 is provided so as to be built in the inner mirror 16 of the vehicle S, for example, the driving is affected by the influence of the steering wheel 18, the arm of the driver, and the change in the driving posture. It is less likely that the face portion including the eyes of the subject will not be imaged, and the face portion including the eyes can be reliably imaged. The time during which the image data captured by the CCD camera 12 did not catch the eyes of the occupant was only 1.7% of the total imaging time.
[0059]
In the above-described embodiment, an example is shown in which the open / closed eye monitor device according to the present invention is applied to the drowsiness detection and warning device 10 of the vehicle S. However, the present invention is not limited to this. It may be applied to a monitoring device or the like that monitors the state of consciousness of an operator such as an aircraft or a ship. Further, the open / closed eye monitor device according to the present invention is not limited to the configuration in which the dozing detection / warning device 10 is connected to the warning device 30.
[0060]
Further, in the above-described embodiment, the blink detection program 22 is stored in the dozing detection computer 20. However, the present invention is not limited to this, and for example, a driving support system that comprehensively controls the vehicle S The blink detection program 22 may be stored and executed by a computer constituting a part thereof.
[0061]
Further, in the above embodiment, the eye-closure threshold C is set as a value obtained by subtracting the standard deviation σo from the minimum value of the rank n or a value obtained by adding the standard deviation σc to the minimum value of the rank n + 1. For example, the eye-closing threshold C may be set to be smaller than a value obtained by subtracting the standard deviation σo from the minimum value of the order n within a range not smaller than the minimum value of the order n + 1. May be set to be larger than a value obtained by adding the standard deviation σc to the minimum value of the order n + 1 within a range not exceeding the value.
[0062]
Furthermore, in the above-described embodiment, the CCD camera 12 has a preferable configuration in which the CCD camera 12 is built in the inner mirror 16, but the present invention is not limited to this. For example, a map lamp in which the CCD camera 12 is provided on the roof 14 It may be built in the device 70 (see FIG. 1) or arranged on an instrument panel or the like. Further, it goes without saying that the imaging means in the present invention is not limited to the CCD camera 12.
[0063]
【The invention's effect】
As described above, the open / closed eye monitor device according to the present invention has an excellent effect that the threshold value for determining whether the eye is closed can be accurately and stably set regardless of the individual difference or the influence of the environment.
[Brief description of the drawings]
FIG. 1 is a perspective view and a block diagram showing a schematic configuration of a dozing detection / warning device to which an open / closed eye monitoring device according to an embodiment of the present invention is applied, and an arrangement of a CCD camera;
FIG. 2 is a flowchart of a blink detection program stored in a dozing detection alarm device to which the open / closed eye monitoring device according to the embodiment of the present invention is applied.
FIG. 3 is a diagram illustrating a valley of an opening change in a blink waveform extracted in step 50;
FIG. 4 is a diagram showing a blinking waveform after a lapse of a period of step 54;
5A is a diagram illustrating a separation position between a candidate group of open eyes and a candidate group of closed eyes, and FIG. 5B is a diagram illustrating a threshold value of closed eyes.
FIG. 6 is a diagram showing a blinking waveform after a period of step 54 in a different driver from that of FIG. 4;
7 (A) is a diagram showing a separated position of a group of open-eye candidates and a group of candidates for closed eyes of a driver different from that of FIG. 5 (A), and FIG. 7 (B) is a driving different from that of FIG. 5 (B). FIG. 4 is a diagram showing an eye closing threshold value for a person.
[Explanation of symbols]
10 Drowsiness detection alarm device (open / closed eye monitor device)
12 CCD camera (imaging means)
16 Inner mirror
20 Drowsiness detection computer (opening degree detecting means, threshold setting means)
22 Blink detection program (opening detection means, threshold setting means)
24 Opening degree detection program (opening degree detecting means)
28 threshold setting program (threshold setting means)
S vehicle

Claims

少なくとも眼を含む顔の部分を撮像する撮像手段と、
前記撮像手段にて撮像した画像データにおける前記眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部間の画素数に基づいて前記眼の開度を検出する開度検出手段と、
前記開度検出手段から出力された前記開度の所定時間の経時変化データから該開度の極小値を複数抽出すると共に、該複数の極小値を開眼候補群と閉眼候補群とに分離し、前記開眼候補群内の最小開度から該開眼候補群の標準偏差を差し引いた値以下の開度または前記閉眼候補群内の最大開度に該閉眼候補群の標準偏差を加えた値以上の開度を閉眼閾値として設定する閾値設定手段と、
を備えた開閉眼モニタ装置。Imaging means for imaging a face part including at least eyes;
An opening detection unit that extracts a portion corresponding to the eye in the image data captured by the imaging unit and detects the opening of the eye based on the number of pixels between upper and lower edges of the portion corresponding to the eye; When,
Extracting a plurality of minimum values of the opening degree from the time-dependent change data of the opening degree for a predetermined time outputted from the opening degree detection means, and separating the plurality of minimum values into an eye opening candidate group and an eye closing candidate group, An opening that is equal to or less than a value obtained by subtracting the standard deviation of the eye-opening candidate group from the minimum opening degree in the eye-opening candidate group or an opening that is equal to or greater than a value obtained by adding the standard deviation of the eye-closing candidate group to the maximum opening in the eye-closing candidate group. Threshold setting means for setting the degree as a closed eye threshold,
Opening / closing eye monitor device comprising:

前記閾値設定手段は、前記極小値を開度の大きさ順に並べ替え、該並べ替え後に隣り合う前記極小値間の開度差が最大となる部分で前記開眼候補群と閉眼候補群とを分離する、ことを特徴とする請求項１記載の開閉眼モニタ装置。The threshold setting unit rearranges the minimum values in the order of the opening degree, and separates the eye-opening candidate group and the eye-closing candidate group at a portion where the opening degree difference between the adjacent minimum values becomes maximum after the rearrangement. The open / closed eye monitor device according to claim 1, wherein

車両に搭載され、該車両室内の後方視認用インナミラーに設けられた前記撮像手段が該車両の運転者の顔を撮像する、ことを特徴とする請求項１または請求項２記載の開閉眼モニタ装置。The open / closed eye monitor according to claim 1 or 2, wherein the image pickup means mounted on the vehicle and provided on an inner rearview mirror in the vehicle interior picks up an image of a driver's face of the vehicle. apparatus.