JP3855790B2

JP3855790B2 - 運転者の状態検出装置

Info

Publication number: JP3855790B2
Application number: JP2002034243A
Authority: JP
Inventors: 雅之金田; 欣也岩本; 裕史上野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-02-12
Filing date: 2002-02-12
Publication date: 2006-12-13
Anticipated expiration: 2022-02-12
Also published as: JP2003233803A

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者の顔を撮影した画像に基づいて脇見運転を判断する運転者の状態検出装置に関する。
【０００２】
【従来の技術】
従来の運転者の状態検出装置には、例えば特開平７−６９１３９号公報に記載されたようなものがある。この従来技術では、カメラで撮影した運転者の顔画像から、左右両眼の間隔である基準眼距離を算出し、この基準眼距離に対して今回撮影した画像から求めた眼距離が所定値以上小さくなった時に脇見状態にあると判定し、脇見警報を発することにより脇見運転を防止するとしていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術ではメーターやセンターコンソールなど運転者が下方向に視線を逸らしている時は、眼の左右間隔の変化はなく、撮像された画像上での眼の移動量も少ないので、視線を下方向に逸らしているという脇見状態を検出できないという問題点があった。
【０００４】
【課題を解決するための手段】
請求項１記載の発明は、運転者の顔の画像を撮影する画像撮影手段と、前記画像から眼の位置を検出する眼の位置検出手段と、前記撮影した画像により眼の開閉状態を検出する眼の開閉状態検出手段と、前記眼の位置検出手段による眼の位置情報と前記眼の開閉状態検出手段による眼の開閉情報とに基づいて運転者の左右方向と下方向の脇見を検出する脇見運転検出手段と、先行車や道路落下物への接近状態を検知する前方障害物検知手段と、前記前方障害物検知手段により前方障害物への接近状態を検知し、かつ前記脇見運転検出手段が左右方向または下方向の脇見を検出した時に、第１脇見警報により注意を促す第１脇見警報手段と、前記前方障害物検知手段により前方障害物への接近状態を検知せず、かつ前記脇見運転検出手段が下方向の脇見を検出した時に、前記第１脇見警報手段による第１脇見警報よりも緊急度の低い第２脇見警報により注意を促す第２脇見警報手段と、を備えたことを要旨とする運転者の状態検出装置である。
【０００５】
請求項２記載の発明は、請求項１に記載の運転者の状態検出装置において、前記眼の位置検出手段が検出した眼の位置を基準に前記画像上で眼を含む所定領域を設定し、眼の位置を追跡する眼の追跡手段を備え、前記眼の開閉状態検出手段は、前記所定領域内の前記画像を処理することにより眼の開閉状態を検出する手段であることを要旨とする運転者の状態検出装置である。
【０００６】
請求項３記載の発明は、請求項１または請求項２に記載の運転者の状態検出装置において、前記第２脇見警報手段は、下方向への視線移動が発生する状態を検知する手段を備え、前記下方向への視線移動が発生する状態が検知され、かつ前記脇見運転検出手段が下方向の脇見を検出した時に、前記第２脇見警報を行うことを要旨とする。
【０００７】
請求項４記載の発明は、請求項３に記載の運転者の状態検出装置において、前記下方向への視線移動が発生する状態を検知する手段は、車両の走行状態を検出する車両走行状態検出手段と、運転者の運転操作状態を検知する運転操作状態検出手段とを備え、車両走行状態と運転操作状態により下方向への視線移動が発生する状態を検知することを要旨とする。
【０００８】
請求項５記載の発明は、請求項４に記載の運転者の状態検出装置において、前記車両走行状態検出手段は、走行距離や燃料残量などのメーター内に表示される情報が所定条件になったことを検出するメーター情報検出手段を備えたことを要旨とする。
【０００９】
請求項６記載の発明は、請求項４に記載の運転者の状態検出装置において、前記車両走行状態検出手段は、車両の位置を検出する位置検出手段を備えたことを要旨とする。
【００１０】
請求項７記載の発明は、請求項４に記載の運転者の状態検出装置において、前記運転操作状態検出手段は、カーオーディオやナビゲーションシステムなどのスイッチ操作を検出するスイッチ操作状態検出手段を備えたことを要旨とする。
【００１３】
【発明の効果】
請求項１または請求項２記載の発明によれば、画像撮影手段が撮影した画像に基づいて、左右方向の脇見検出に加え、メーターやセンターコンソールなど運転者が下方向に視線を移動させる脇見についても確実に検出し、前方障害物へ接近したときの緊急度の高い第１脇見警報と、前方障害物へ接近していない時の下方向の脇見状態に対して注意を促すことを目的とした第２脇見警報に分けて警報できるので、運転者にとって違和感のない警報を実現できるという効果がある。
【００１５】
請求項３記載の発明によれば、請求項１または請求項２に記載の発明の効果に加えて、車両の走行状態が表示されるメータ部を確認する為の下方向への視線移動や、車載機器操作のための下方向への視線移動が発生する状態を確実に検知することができるという効果がある。
【００１６】
請求項４記載の発明によれば、請求項３に記載の発明の効果に加えて、車両の走行状態と運転操作状態とに基づいて、下方向への視線移動が発生する状態を検知することができるという効果がある。
【００１７】
請求項５記載の発明によれば、請求項４に記載の発明の効果に加えて、車両走行状態検出手段でのセンシング内容を、走行距離や燃料残量などのメーター内に表示される情報が所定条件になったこととすることで、距離計が区切りの良い値やゾロ目の値になる時、或いは燃料残量が少なくなったり燃料残量警告灯が点灯した時など、運転者の注意が必要以上にメーター部に向けられる状態が検出できるようにしたので、運転者の注意散漫による脇見検出ができるという効果がある。
【００１８】
請求項６記載の発明によれば、請求項４に記載の発明の効果に加えて、車両走行状態検出手段でのセンシング内容を、車両位置とし、制限速度取締り区間など、運転者の注意が必要以上にメーター部に向けられる状態が検出できるようにしたので、運転者の注意散漫による脇見検出ができるという効果がある。
【００１９】
請求項７記載の発明によれば、請求項４に記載の発明の効果に加えて、運転操作状態検出手段でのセンシング内容を、カーオーディオやナビゲーションシステムなどのスイッチ操作としたので、該操作に伴い運転者が必要以上に前方から眼を放していることが検出でき運転者の注意散漫による脇見検出ができるという効果がある。
【００２２】
【発明の実施の形態】
次に、図面を参照して、本発明の実施の形態を詳細に説明する。
〔第１実施形態〕
図１は、本発明に係る運転者の状態検出装置の第１実施形態を説明する基本構成図である。
【００２３】
図１において、第１実施形態の運転者の状態検出装置は、運転者の顔の画像を撮影する画像撮影手段１０１と、画像撮影手段１０１が撮影した画像から眼の位置を検出する眼の位置検出手段１０２と、眼の位置検出手段１０２が検出した眼の位置を基準に眼を含む所定領域（以下、眼の追跡領域と呼ぶ）を設定し、眼の位置を追跡する眼の追跡手段１０３と、眼の追跡領域内の画像データの濃度情報を処理することにより眼の開閉状態を検出する眼の開閉状態検出手段１０４と、眼の追跡手段１０３による眼の位置情報と眼の開閉状態検出手段１０４による眼の開閉情報とに基づいて運転者の脇見状態を検出する脇見運転検出手段１０５とを備えて構成されている。
【００２４】
具体的なハードウェアの構成としては、画像撮影手段１０１は、車両のインストメントパネル等に設けられ、運転者の顔を略正面から撮影してＴＶ信号として出力するＴＶカメラである。眼の位置検出手段１０２と、眼の追跡手段１０３と、眼の開閉状態検出手段１０４と、脇見運転検出手段１０５とは、マイクロコンピュータで構成されている。このマイクロコンピュータは、ＴＶ信号を入力するビデオキャプチャー回路、画像信号を一時記憶する画像メモリ、画像メモリに記憶された画像に対して処理操作を行う演算処理装置を備えている。
【００２５】
次に、上記構成における動作の流れを、図２のフローチャートと図３〜図５を用いて説明する。まず、ステップ（以下、ステップをＳと略す）２０１で画像入力を行い、Ｓ２０２で画像メモリに格納された画像データの前処理を行いコンピュータ処理に適した状態にデータ変換を行う。
【００２６】
その後、Ｓ２０３で眼の位置を含む小さな矩形領域である眼の追跡領域が存在するか否かの判定を行う。眼の追跡領域は、毎回の画像全体からの眼の位置検出処理を簡素化するために設定しているもので、一旦眼の位置が検出できれば、その位置を基準に眼を含むに必要十分な小さな領域を設定し、その領域内で検出した眼の位置座標で領域基準を更新することで眼を追跡しながら処理を続ける。
【００２７】
プログラムのスタート直後にこのステップでの処理を行う場合は、眼の追跡領域はまだ設定されていないのでＳ２０４に移行して画像全体からの眼の位置検出を行う。また、該処理によって一旦眼の位置検出ができ眼の追跡領域が設定できれば、Ｓ２０５で眼の追跡領域内での眼の位置検出処理を行う。その後は、Ｓ２０６で眼の座標位置を記憶し、Ｓ２０７で眼の開度検出を行う。Ｓ２０８では、眼の位置座標や眼の開度値などから眼が正しく検出できているかどうかを確認し、眼が正しく追跡できている場合はＳ２１０以降の脇見検出ステップに移行する。
【００２８】
また、Ｓ２０８で眼が正しく追跡できていないと判定された場合はＳ２０９に移り、眼の追跡領域をクリアしＳ２０１に戻り、再度画像全体からの眼の位置検出を行う。
【００２９】
脇見検出判定を行うＳ２１０は、まず、画像上の眼の座標位置と両眼の間隔変化から運転者が左右方向の脇見をしているかどうかを判定する。
【００３０】
図３（ａ）は、運転者が前方を見ている場合の画像であり、このときの右目の座標を（ｒｘ１，ｙ１）、左目の座標を（ｌｘ１，ｙ１）とする。図３（ｂ）は、運転者が左方向の脇見をしている場合の画像であり、右目のＸ座標をｒｘ２、左目のＸ座標をｌｘ２とする。図３（ａ）、（ｂ）ともに画像の座標原点は画像左上とし、Ｘ軸は原点から右方向、Ｙ軸は原点から下方とする。
【００３１】
運転者が左方向の脇見をしている場合は、右及び左の眼のＸ座標ｒｘ２，ｌｘ２が、車両前方を見ている時の座標ｒｘ１，ｌｘ１よりも大きくなる。このとき両眼の間隔は、前方を見ている場合より脇見をしている場合が小さくなり、次の式（１）の関係が成り立つ。
【００３２】
【数１】
ｌｘ１−ｒｘ１＞ｌｘ２−ｒｘ２ …（１）
運転者が右方向の脇見をしている場合は、右及び左の眼のＸ座標ｒｘ２，ｌｘ２が、車両前方を見ている時の座標ｒｘ１，ｌｘ１よりも小さくなる。このとき両眼の間隔も前方を見ている場合より脇見をしている場合が小さくなり、同様に式（１）の関係が成り立つ。
【００３３】
従って、左右方向の脇見をしているかどうかの判定条件としては、Ｓ２０６で記憶した左眼のＸ座標をｌｘ、右目のＸ座標をｒｘとすれば、次の式（２）による。
【００３４】
【数２】
（ｌｘ１−ｒｘ１）−ｋ＞ｌｘ−ｒｘ …（２）
ここで、ｌｘ１−ｒｘ１は、平均的な日本人の顔を撮影した場合の画像上の左右両眼の距離を記憶しておいてもよいし、走行前に運転者が前方注視状態の画像を入力し、この画像から前方注視状態の両眼Ｘ方向距離（ｌｘ１−ｒｘ１）を算出するようにしてもよい。
【００３５】
また、定数ｋは、フロントウインドウ内の視線移動においては、脇見と誤判断しないためのものである。
【００３６】
よって式（２）の判定条件がＳ２１０で満たされた時は、Ｓ２１４で運転者が左右方向の脇見をしていると認定する。Ｓ２１０で前記条件が満たされない時は、Ｓ２１１に移行する。
【００３７】
尚、左右脇見判定条件として、式（２）の両眼間隔に加えて、左右両眼のＸ座標がそれぞれ前方注視状態より一定以上増減変化した場合を加えても良い。
【００３８】
運転者が下方向の脇見をしている場合は、図４に示すように眼の位置は、車両前方を見ている時（ａ）の座標ｒｘ１，ｌｘ１，ｙ１に対し、下方向を見ている時（ｂ）の座標ｒｘ３，ｌｘ３，ｙ３と殆ど変化しない。よって、運転者が下方向を見ているかどうかは、眼の開度変化、すなわち上瞼と下瞼との距離が所定値以下になっているかどうかで判定する。
【００３９】
図４の（ａ）のように運転者が車両前方を見ている時の眼の開度値ｈ１は所定値以上となるのでＳ２１３で運転者は前方注視状態にあるとする。また、図４の（ｂ）のように運転者が下方向を見ている時の眼の開度値ｈ２は所定値未満となるのでＳ２１２で運転者が下方向の脇見をしているとする。
【００４０】
このように眼の位置状態の変化に加え、眼の開度値判定を行うことにより、下方向への視線移動も含めた更に精度の高い脇見検出が可能となる。脇見判定後にＳ２１５で眼の追跡領域の基準座標の更新後Ｓ２０１に戻り、次に取り込まれる画像データの判定に移る。
【００４１】
図２のフローチャートでは、その構成を出来るだけ簡素化したもので説明したので記述しなかったが、Ｓ２１０とＳ２１４の間に、Ｓ２１１と同じ眼の開度値変化を判定するステップを設けることで、図５の（ｂ）に示すような斜め下方向を見ていることも判定できる。
【００４２】
ところで、左右方向への視線移動は、左右のドアミラーを見るなど、安全確認の必要上、運転者が行っているものもある。よって、前方を見ていないこと、イコール脇見、即警報というロジックを組み立ててしまうと違和感のあるものになってしまう恐れがある。そこで、左右方向の脇見と左右下方向の脇見を区別することで、左右の脇見は、安全確認であるかも知れないことを前提とした脇見警報判定を行い、左右下方向については安全確認でないことを前提とした脇見警報を行うことでより違和感のないものにできる。
【００４３】
〔第２実施形態〕
次に、本発明に係る運転者の状態検出装置の第２の実施形態を図６、図７、図８を用いて説明する。図６は、本発明に係る運転者の状態検出装置の第２実施形態を説明する基本構成図である。
【００４４】
図６において、第２実施形態の運転者の状態検出装置は、運転者の顔の画像を撮影する画像撮影手段１０１と、画像撮影手段１０１が撮影した画像から眼の位置を検出する眼の位置検出手段１０２と、眼の位置検出手段１０２が検出した眼の位置を基準に眼を含む所定領域である眼の追跡領域を設定し、眼の位置を追跡する眼の追跡手段１０３と、眼の追跡領域内の画像データの濃度情報を処理することにより眼の開閉状態を検出する眼の開閉状態検出手段１０４と、眼の追跡手段１０３による眼の位置情報と眼の開閉状態検出手段１０４による眼の開閉情報とに基づいて運転者の脇見状態を検出する脇見運転検出手段６０５と、車両の走行状態を検出する車両走行状態検出手段６０６と、運転者の運転操作状態を検出する運転操作状態検出手段６０７と、車両走行状態検出手段６０６からの情報により、運転者の単発的な脇見行為に対して注意を促す第１脇見警報手段６０８と、車両走行状態検出手段６０６及び運転操作状態検出手段６０７からの情報により、運転者の注意散漫状態に対して注意を促す第２脇見警報手段６０９とを備えて構成されている。
【００４５】
尚、画像撮影手段１０１と、眼の位置検出手段１０２と、眼の追跡手段１０３と、眼の開閉状態検出手段１０４とは、図１に示した第１実施形態と同様の構成要素である。
【００４６】
具体的なハードウェアの構成としては、画像撮影手段１０１は、車両のインストメントパネル等に設けられ、運転者の顔を略正面から撮影してＴＶ信号として出力するＴＶカメラである。眼の位置検出手段１０２と、眼の追跡手段１０３と、眼の開閉状態検出手段１０４と、脇見運転検出手段６０５と、第１脇見警報手段６０８と、第２脇見警報手段６０９とは、マイクロコンピュータとその出力装置としてのスピーカとで構成されている。このマイクロコンピュータは、ＴＶ信号を入力するビデオキャプチャー回路、画像信号を一時記憶する画像メモリ、画像メモリに記憶された画像に対して処理操作を行う演算処理装置と、スピーカを駆動するためのＤ／Ａ変換回路及び低周波増幅回路を備えている。
【００４７】
また、車両走行状態検出手段６０６は、超音波やレーダを用いて先行車や道路落下物への接近状態を検知する前方障害物検知手段、走行距離や燃料残量などのメーター内に表示される情報が所定値になったことを検出するメーター情報検出手段、車両の現在位置を検出して制限速度取締区間の走行中であるか否かの判定結果を出力する手段を備えている。
【００４８】
運転操作状態検出手段６０７は、エアコンディショナーの操作信号、オーディオ装置の操作信号、ナビゲーションシステムの操作信号がある。
【００４９】
本実施形態は、車両走行状態と運転操作状態の情報を用いて、緊急度が高い第１脇見警報と、運転者の注意散漫状態に対して注意を促す第２脇見警報を、適切なタイミングで出力することを目的としたものである。
【００５０】
第１脇見警報、第２脇見警報は、共にマイクロコンピュータからスピーカを鳴動させることにより運転者に伝えられる。第１脇見警報は、第２脇見警報より緊急度が高い警報であるので、第１脇見警報の警報音を第２脇見警報の警報音より、音を大きくするか、高くするか、断続周期を短くするか、或いはこれらを組み合わせることにより、第１脇見警報と第２脇見警報を区別可能とすることができる。
【００５１】
次に、図７、図８のフローチャートを参照して、本実施形態の動作を説明する。尚、第１実施形態の処理内容と同じ処理内容のステップには、同じステップ番号を付与して、重複する説明を省略する。図７において、Ｓ２０１からＳ２０９までは、図２に示した第１実施形態と同じ処理である。
【００５２】
図７のＳ７１０で第１の実施形態と同様に眼の座標位置と両眼の間隔変化があるかどうかを判定し、変化があった場合はＳ７１４へと移行して左右方向の脇見があったとする。その後、Ｓ７１７で左右方向脇見カウンタのカウントアップを行い、もう一つのループで下方向脇見カウンタがカウントアップされている場合はそのカウンタをクリアする。
【００５３】
ここでカウントアップする実際の値は、対象と取り込み画像に対する処理結果の回数であり、複数回同じループを回っている回数で脇見時間として判定する。つまり、画像撮影手段から取り込んだ１画像当たりの処理時間が０．１秒だとすると、同じループを続けて１０回処理した場合、１秒間脇見をしていることになる。
【００５４】
Ｓ７１０で眼の座標位置と両眼の間隔変化がなかった場合はＳ７１１に移行する。Ｓ７１１では、第１実施形態と同様に眼の開度値の状態を判定する。眼の開度値が所定値以上となる場合は、Ｓ７１３に移行し前方注視状態にあるとする。
【００５５】
その後、Ｓ７１６で他のループの左右方向脇見カウンタか下方向脇見カウンタがカウントアップされている場合はそのカウンタをクリアする。Ｓ７１１で眼の開度値が所定値未満の場合はＳ７１２に移行し下方向の脇見があったとする。その後、Ｓ７１５で下方向脇見カウンタのカウントアップを行い、もう一つのループで左右方向脇見カウンタがカウントアップされている場合はそのカウンタをクリアする。Ｓ７１５，７１６，７１７の処理後、図８のＳ８０１に移行する。
【００５６】
Ｓ８０１では、脇見カウンタが所定数に達したかどうかを判定しており、所定数に達していない場合は、Ｓ８１１に移行し、眼の追跡領域の基準座標を更新して、図７のＳ７０１に戻り、次の画像取り込みを行う。Ｓ８０１で、脇見カウンタが所定数に達した場合は、Ｓ８０２に移行する。Ｓ８０１での処理は前述したが、左右または下方向の脇見が所定時間以上であるかどうかを判定している。
【００５７】
Ｓ８０２では、前方障害物検知手段が前方障害物を検知し、その障害物に接近状態であるかどうかを判定している。つまり、前方障害物に接近している時に、運転者が前方以外を見ていると判定された場合は、緊急度の高い、第１脇見警報をＳ８０３で出力する。
【００５８】
次いでＳ８０４以降の処理で、運転者の注意散漫状態に対して注意を促す第２脇見警報の出力方法について説明する。Ｓ８０４では、下方向脇見カウンタが所定数に達したかどうかを判定し、所定数に達していない場合は、Ｓ８１１に移行して、次の画像取り込みを行う。Ｓ８０４で下方向だけの脇見カウンタを対象としている理由は、下方向への運転者の視線移動は、その行為そのものが安全確認など、車を運転する上で必要不可欠なものでないのに対し、左右方向への視線移動は、脇見行為に含めて、安全確認も含まれるからである。
【００５９】
また、第１脇見警報に関して、左右と下方向の両方を脇見警報の対象としているのは、前方障害物への接近という目前の危険状態に対して、例えその行為が安全確認であってもその時点では許される行為ではないからである。Ｓ８０４で、下方向脇見カウンタが所定数に達した場合は、Ｓ８０５に移行する。
【００６０】
Ｓ８０５では、車両走行状態又は運転操作状態が所定条件となっているかどうかを判定する。このステップでは、車両走行状態と運転操作状態から下方向を見ていると判定された眼の開度値の変化が、本当に下方向を見ることによって起こっているのか、また単に眼を閉じたから発生したのかを選別している。
【００６１】
つまり、下方向に頻繁に視線を移動させる状況を、メーター情報検出手段がメーターの距離計や燃料残量が運転者にとって必要以上に気になる状態になっているかどうを検出したり、車両の現在位置が速度取締り区間であり、走行速度を普通の状態以上に気にしていないかなどを車両走行状態検出手段で検出する。
【００６２】
また、カーオーディオやナビゲーションシステムのスイッチ操作が頻繁に行われていないかなどを運転操作状態検出手段で検出する。
【００６３】
Ｓ８０５で車両走行状態や運転操作状態が所定条件になっていないと判定された場合は、下方向への視線移動ではなく閉眼が発生したものとしてＳ８１１に移行する。Ｓ８０５で所定条件であると判定された場合は、Ｓ８０６に移行して、下方向脇見頻度カウンタのカウントアップ、初期カウントアップ時間の記憶、下方向脇見カウンタをクリアする。下方向脇見頻度カウンタと該カウンタの初期カウントアップ時間をメモリすることによって、所定時間内に下方向に視線を移動させる頻度を計測している。
【００６４】
次いで、Ｓ８０７で初期カウントアップ開始から所定時間経過したかどうかを判定し、所定時間経過していない場合は、Ｓ８１１に移行する。Ｓ８０７で初期カウントアップ開始から所定時間経過したと判定された場合は、Ｓ８０８に移行する。Ｓ８０８では、下方向脇見頻度カウンタが所定数に達したかどうかを判定しており、下方向脇見頻度カウンタが所定数に達した時は、Ｓ８０９へ進み、必要以上に運転者が下方向を見る注意散漫状態であるとして、第２脇見警報を出力し、Ｓ８１０で下方向脇見頻度カウンタと初期カウントアップ時間のメモリをクリアする。
【００６５】
Ｓ８０８で下方向脇見頻度カウンタが所定数に達していない時は、Ｓ８０９をパスして直接、Ｓ８１０に移行する。その後、Ｓ８１１で眼の追跡領域の基準座標を更新して、次の画像の取り込みを行う。
【００６６】
以上説明した第２実施形態によれば、車両走行状態と運転操作状態を脇見運転検出判定に用い、緊急度の高い第１脇見警報と、注意散漫状態を検出して注意を促すことを目的とした第２脇見警報に分けたので、運転者にとってより違和感のない警報を実現できるという効果がある。
【００６７】
〔第３実施形態〕
次に、図９、図１０、図１１を参照して、本発明に係る運転者の状態検出装置の第３の実施形態を説明する。図９は、第３実施形態の構成を説明する基本構成図である。
【００６８】
図９において、第３実施形態の運転者の状態検出装置は、運転者の顔の画像を撮影する画像撮影手段１０１と、画像撮影手段１０１が撮影した画像から眼の位置を検出する眼の位置検出手段１０２と、眼の位置検出手段１０２が検出した眼の位置を基準に眼を含む所定領域である眼の追跡領域を設定し、眼の位置を追跡する眼の追跡手段１０３と、眼の追跡領域内の画像データの濃度情報を処理することにより眼の開閉状態を検出する眼の開閉状態検出手段１０４と、眼の開閉状態検出手段１０４による眼の開閉情報から運転者の居眠り状態を検出する居眠り運転検出手段９０８と、眼の追跡手段１０３による眼の位置情報と眼の開閉状態検出手段１０４による眼の開閉情報から運転者の脇見状態を検出する脇見運転検出手段９０９と、車両の走行状態を検出する車両走行状態検出手段９０６と、運転者の運転操作状態を検出する運転操作状態検出手段９０７と、車両走行状態検出手段９０６と運転操作状態検出手段９０７と眼の追跡手段１０３から少なくとも一つの情報により、眼の開閉状態検出手段１０４によって検出される閉眼情報を居眠り検出主導で用いるか、脇見検出主導で用いるかを切り替える眼の開度情報の判定用途切り替え手段９０５とを備えて構成されている。
【００６９】
具体的なハードウェアの構成としては、画像撮影手段１０１は、車両のインストメントパネル等に設けられ、運転者の顔を略正面から撮影してＴＶ信号として出力するＴＶカメラである。眼の位置検出手段１０２と、眼の追跡手段１０３と、眼の開閉状態検出手段１０４と、眼の開度情報の判定用途切り替え手段９０５と、居眠り運転検出手段９０８と、脇見運転検出手段９０９とは、マイクロコンピュータで構成されている。このマイクロコンピュータは、ＴＶ信号を入力するビデオキャプチャー回路、画像信号を一時記憶する画像メモリ、画像メモリに記憶された画像に対して処理操作を行う演算処理装置を備えている。
【００７０】
また、車両走行状態検出手段９０６としては、車両速度を検出する車速センサや車体加速度を検出する加速度計、エンジンの回転速度を検出するエンジン回転計（電気自動車であれば駆動モータ回転計）がある。この車両走行状態検出手段９０６の検出結果により、眼の開度情報の判定用途切り替え手段は、車両が巡航走行、または渋滞走行であると判断した場合、居眠り運転検出主導に切り替える。
【００７１】
運転操作状態検出手段９０７としては、エアコンディショナーの操作信号、オーディオ装置の操作信号、ナビゲーションシステムの操作信号がある。
【００７２】
上記構成により本実施形態は、車両走行状態と運転操作状態により眼の開度値が小さくなっている情報の用途を居眠り検出と脇見検出を切り替えられるようにしたので、より的確な居眠り運転警報と、脇見運転警報が実現できる。
【００７３】
次に、第３の実施形態の動作を図１０のフローチャートと、図１１を用いて説明する。本実施形態は、車両走行状態と運転操作状態の情報を用いて、出力される眼の開度値が小さくなっていることの確認結果を、閉眼であるとして居眠り検出に用いるか、下方向を見ることによって眼の開度が小さくなっているとして脇見検出に用いるかを切り替えることによって居眠り検出と脇見検出の両方で精度向上を行うことを目的としている。
【００７４】
本実施形態のフローチャートを用いての処理内容の説明についても、第１の実施形態と異なる箇所のみとする。Ｓ１０１０で眼の開度値が所定値未満であると判定された場合は、Ｓ１０１１に移行する。Ｓ１０１０で眼の開度値が所定値未満になる場合は、図１１の（ａ）に示すようにメーターなど運転者が下方向を見ている場合と、図１１の（ｂ）に示すように眠くて眼を閉じている場合がある。Ｓ１０１１では、車両走行状態や運転操作状態の情報を用いることにより小さくなった眼の開度値が、下方向を見たことによって発生しているか、眼を閉じたことによって発生したのかを区別する処理を行っている。
【００７５】
つまり、Ｓ１０１０で眼の開度値が所定値未満となった場合、居眠りにより眼を閉じているのか、下方脇見により眼の開度値が小さくなったかを判断するため、Ｓ１０１１で車両走行状態、又は運転操作状態が所定条件となっているかを判定する。
【００７６】
車両走行状態の所定条件は、車速センサ検出値が居眠り運転が起こりやすい一定速度が継続する巡航走行状態又は低速度が継続する渋滞走行状態である。尚、車速センサに代えて、車両加速度計、エンジン回転計の検出値を用いても上記車両走行状態を判定できる。
【００７７】
また、運転操作状態の所定条件は、ハンドル、アクセル、ブレーキ、シフトレバー等の操作頻度が少なくなっている状態である。
【００７８】
Ｓ１０１１で所定条件になっていると判定された場合は、Ｓ１０１３に移行し小さい眼の開度値を閉眼が発生しているとして、その出力タイミングにより居眠り検出を行い、所定条件になっていないと判定された場合は、Ｓ１０１２に移行し下方向の脇見であるとする。Ｓ１０１０で眼の開度値が所定値以上であると判定された場合は、Ｓ１０１４に移行して運転者が左右方向の脇見をしているかどうかの判定を行う。
【００７９】
以上説明した第３実施形態によれば、車両走行状態と運転操作状態により眼の開度値が小さくなっている情報の用途を居眠り検出と脇見検出を切り替えられるようにしたので、より的確な居眠り運転警報と、脇見運転警報が実現できるという効果がある。
【図面の簡単な説明】
【図１】本発明の運転者の状態検出装置の第１実施形態の基本構成図である。
【図２】本発明の運転者の状態検出装置の第１実施形態の動作を示すフローチャートである。
【図３】脇見検出方法に関する説明図である。
【図４】脇見検出方法に関する説明図である。
【図５】脇見検出方法に関する説明図である。
【図６】本発明の運転者の状態検出装置の第２実施形態の基本構成図である。
【図７】本発明の運転者の状態検出装置の第２実施形態の動作を示すフローチャートである。
【図８】本発明の運転者の状態検出装置の第２実施形態の動作を示すフローチャートである。
【図９】本発明の運転者の状態検出装置の第３実施形態の基本構成図である。
【図１０】本発明の運転者の状態検出装置の第３実施形態の動作を示すフローチャートである。
【図１１】閉眼情報の判定用途切り替え方法に関する説明図である。
【符号の説明】
１０１…画像撮影手段
１０２…眼の位置検出手段
１０３…眼の追跡手段
１０４…眼の開閉状態検出手段
１０５…脇見運転検出手段

Claims

運転者の顔の画像を撮影する画像撮影手段と、
前記画像から眼の位置を検出する眼の位置検出手段と、
前記撮影した画像により眼の開閉状態を検出する眼の開閉状態検出手段と、
前記眼の位置検出手段による眼の位置情報と前記眼の開閉状態検出手段による眼の開閉情報とに基づいて運転者の左右方向と下方向の脇見を検出する脇見運転検出手段と、
先行車や道路落下物への接近状態を検知する前方障害物検知手段と、
前記前方障害物検知手段により前方障害物への接近状態を検知し、かつ前記脇見運転検出手段が左右方向または下方向の脇見を検出した時に、第１脇見警報により注意を促す第１脇見警報手段と、
前記前方障害物検知手段により前方障害物への接近状態を検知せず、かつ前記脇見運転検出手段が下方向の脇見を検出した時に、前記第１脇見警報よりも緊急度の低い第２脇見警報により注意を促す第２脇見警報手段と、
を備えたことを特徴とする運転者の状態検出装置。
前記眼の位置検出手段が検出した眼の位置を基準に前記画像上で眼を含む所定領域を設定し、眼の位置を追跡する眼の追跡手段を備え、
前記眼の開閉状態検出手段は、前記所定領域内の前記画像を処理することにより眼の開閉状態を検出する手段であることを特徴とする請求項１に記載の運転者の状態検出装置。
前記第２脇見警報手段は、下方向への視線移動が発生する状態を検知する手段を備え、
前記下方向への視線移動が発生する状態が検知され、かつ前記脇見運転検出手段が下方向の脇見を検出した時に、前記第２脇見警報を行うことを特徴とする請求項１または請求項２に記載の運転者の状態検出装置。
前記下方向への視線移動が発生する状態を検知する手段は、車両の走行状態を検出する車両走行状態検出手段と、運転者の運転操作状態を検知する運転操作状態検出手段とを備え、車両走行状態と運転操作状態により下方向への視線移動が発生する状態を検知することを特徴とする請求項３に記載の運転者の状態検出装置。
前記車両走行状態検出手段は、走行距離や燃料残量などのメーター内に表示される情報が所定条件になったことを検出するメーター情報検出手段を備えたことを特徴とする請求項４に記載の運転者の状態検出装置。
前記車両走行状態検出手段は、車両の位置を検出する位置検出手段を備えたことを特徴とする請求項４に記載の運転者の状態検出装置。
前記運転操作状態検出手段は、カーオーディオやナビゲーションシステムなどのスイッチ操作を検出するスイッチ操作状態検出手段を備えたことを特徴とする請求項４に記載の運転者の状態検出装置。