JP2003233803A - 運転者の状態検出装置 - Google Patents
運転者の状態検出装置Info
- Publication number
- JP2003233803A JP2003233803A JP2002034243A JP2002034243A JP2003233803A JP 2003233803 A JP2003233803 A JP 2003233803A JP 2002034243 A JP2002034243 A JP 2002034243A JP 2002034243 A JP2002034243 A JP 2002034243A JP 2003233803 A JP2003233803 A JP 2003233803A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- state
- driver
- detecting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
態も確実に検出することができる運転者の状態検出装置
を提供する。 【解決手段】 画像撮影手段101が撮影した運転者の
顔の画像から、眼の位置検出手段102が眼の位置を検
出する。眼の追跡手段103は、この眼の位置を基準に
眼を含む所定領域を設定し、眼の位置を追跡する。眼の
開閉状態検出手段104は、眼の追跡領域内の画像デー
タの濃度情報を処理することにより眼の開閉状態を検出
する。脇見運転検出手段105は、眼の追跡手段103
による眼の位置情報と眼の開閉状態検出手段104によ
る眼の開閉情報とに基づいて運転者の脇見状態を検出す
る。
Description
した画像に基づいて脇見運転を判断する運転者の状態検
出装置に関する。
ば特開平7−69139号公報に記載されたようなもの
がある。この従来技術では、カメラで撮影した運転者の
顔画像から、左右両眼の間隔である基準眼距離を算出
し、この基準眼距離に対して今回撮影した画像から求め
た眼距離が所定値以上小さくなった時に脇見状態にある
と判定し、脇見警報を発することにより脇見運転を防止
するとしていた。
来技術ではメーターやセンターコンソールなど運転者が
下方向に視線を逸らしている時は、眼の左右間隔の変化
はなく、撮像された画像上での眼の移動量も少ないの
で、視線を下方向に逸らしているという脇見状態を検出
できないという問題点があった。
運転者の顔の画像を撮影する画像撮影手段と、前記画像
から眼の位置を検出する眼の位置検出手段と、前記眼の
位置検出手段が検出した眼の位置を基準に前記画像上で
眼を含む所定領域を設定し、眼の位置を追跡する眼の追
跡手段と、前記所定領域内の画像データの濃度情報を処
理することにより眼の開閉状態を検出する眼の開閉状態
検出手段と、前記眼の追跡手段による眼の位置情報と前
記眼の開閉状態検出手段による眼の開閉情報とに基づい
て運転者の脇見状態を検出する脇見運転検出手段と、を
備えたことを要旨とする運転者の状態検出装置である。
を撮影する画像撮影手段と、前記画像から眼の位置を検
出する眼の位置検出手段と、前記眼の位置検出手段が検
出した眼の位置を基準に前記画像上で眼を含む所定領域
を設定し、眼の位置を追跡する眼の追跡手段と、前記所
定領域内の画像データの濃度情報を処理することにより
眼の開閉状態を検出する眼の開閉状態検出手段と、前記
眼の追跡手段による眼の位置情報と前記眼の開閉状態検
出手段による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段と、車両の走行状態を検
出する車両走行状態検出手段と、運転者の運転操作状態
を検出する運転操作状態検出手段と、前記車両走行状態
検出手段からの情報により、運転者の単発的な脇見行為
に対して注意を促す第1脇見警報手段と、前記車両走行
状態検出手段と運転操作状態検出手段からの情報によ
り、運転者の注意散漫状態に対して注意を促す第2脇見
警報手段と、を備えたことを要旨とする運転者の状態検
出装置である。
を撮影する画像撮影手段と、前記画像から眼の位置を検
出する眼の位置検出手段と、前記眼の位置検出手段が検
出した眼の位置を基準に前記画像上で眼を含む所定領域
を設定し、眼の位置を追跡する眼の追跡手段と、前記所
定領域内の画像データの濃度情報を処理することにより
眼の開閉状態を検出する眼の開閉状態検出手段と、前記
眼の追跡手段による眼の位置情報と前記眼の開閉状態検
出手段による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段と、前記眼の開閉状態検
出手段による眼の開閉情報から運転者の居眠り状態を検
出する居眠り運転検出手段と、車両の走行状態を検出す
る車両走行状態検出手段と、運転者の運転操作状態を検
出する運転操作状態検出手段と、前記車両走行状態検出
手段と運転操作状態検出手段と眼の追跡手段から少なく
とも一つの情報により、前記眼の開閉状態検出手段によ
って検出される閉眼情報を居眠り検出主導で用いるか、
脇見検出主導で用いるかを切り替える眼の開度情報の判
定用途切り替え手段と、を備えたことを要旨とする運転
者の状態検出装置である。
項3に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、先行車や道路落下物への接近状態
を検知する前方障害物検知手段を備えたことを要旨とす
る。
項3に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、走行距離や燃料残量などのメータ
ー内に表示される情報が所定条件になったことを検出す
るメーター情報検出手段を備えたことを要旨とする。
項3に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、車両の位置を検出する位置検出手
段を備えたことを要旨とする。
項3に記載の運転者の状態検出装置において、前記運転
操作状態検出手段は、カーオーディオやナビゲーション
システムなどのスイッチ操作を検出するスイッチ操作状
態検出手段を備えたことを要旨とする。
運転者の状態検出装置において、前記車両走行状態検出
手段は、車両の速度を検出する車速センサであり、前記
眼の開度情報の判定用途切り替え手段は、車両速度に基
づいて巡航走行又は渋滞走行であるとを判定した場合、
居眠り検出主導に切り替えることを要旨とする。
運転者の状態検出装置において、前記運転操作状態検出
手段は、ハンドル、アクセル、ブレーキ、シフトレバー
のうちの少なくとも一つの操作を検出する操作状態検出
手段からなることを要旨とする。
の移動量と両眼の間隔変化に加えて、画像撮影手段から
見た見かけの眼の開度変化に基づいて脇見状態を検出で
きるようになり、左右方向の脇見検出に加え、メーター
やセンターコンソールなど運転者が下方向に視線を移動
させる脇見についても確実に検出することができるとい
う効果がある。
態と運転操作状態を脇見運転検出判定に用い、緊急度の
高い第1脇見警報と、注意散漫状態の検出し注意を促す
ことを目的とした第2脇見警報に分けたので、運転者に
とってより違和感のない警報を実現できるという効果が
ある。
態と運転操作状態により眼の開度値が小さくなっている
情報の用途を居眠り検出と脇見検出を切り替えられるよ
うにしたので、より的確な居眠り運転警報と、脇見運転
警報が実現できるという効果がある。
は請求項3記載の発明において、車両走行状態検出手段
でのセンシング内容を、先行車や道路落下物への接近状
態を検知する前方障害物検知手段としたので、緊急度を
要する脇見警報を的確に出力することができるという効
果がある。
は請求項3記載の発明において、車両走行状態検出手段
でのセンシング内容を、走行距離や燃料残量などのメー
ター内に表示される情報が所定条件になったこととする
ことで、距離計が区切りの良い値やゾロ目の値になる
時、或いは燃料残量が少なくなったり燃料残量警告灯が
点灯した時など、運転者の注意が必要以上にメーター部
に向けられる状態が検出できるようにしたので、運転者
の注意散漫による脇見検出ができるという効果がある。
は請求項3記載の発明において、車両走行状態検出手段
でのセンシング内容を、車両位置とし、制限速度取締り
区間など、運転者の注意が必要以上にメーター部に向け
られる状態が検出できるようにしたので、運転者の注意
散漫による脇見検出ができるという効果がある。
は請求項3記載の発明において、運転操作状態検出手段
でのセンシング内容を、カーオーディオやナビゲーショ
ンシステムなどのスイッチ操作としたので、該操作に伴
い運転者が必要以上に前方から眼を放していることが検
出でき運転者の注意散漫による脇見検出ができるという
効果がある。
載の発明において、車両走行状態検出手段でのセンシン
グ内容を、車速センサによる巡航走行状態や渋滞走行状
態としたので、前記眼の開閉状態検出手段によって検出
される閉眼情報を居眠り検出主導で用いるか、脇見検出
主導で用いるかを的確に切り替えることができ居眠り検
出、脇見検出の両検出精度を向上させることができると
いう効果がある。
載の発明において、運転操作状態検出手段でのセンシン
グ内容を、ハンドル、アクセル、ブレーキ、シフトレバ
ーのうちの少なくとも一つの操作としたので、前記眼の
開閉状態検出手段によって検出される閉眼情報を居眠り
検出主導で用いるか、脇見検出主導で用いるかを的確に
切り替えることができるようになり、居眠り検出及び脇
見検出の検出精度を向上させることができるという効果
がある。
実施の形態を詳細に説明する。 〔第1実施形態〕図1は、本発明に係る運転者の状態検
出装置の第1実施形態を説明する基本構成図であり、請
求項1に対応する。
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段101と、画像撮影手段101が撮影した画像から眼
の位置を検出する眼の位置検出手段102と、眼の位置
検出手段102が検出した眼の位置を基準に眼を含む所
定領域(以下、眼の追跡領域と呼ぶ)を設定し、眼の位
置を追跡する眼の追跡手段103と、眼の追跡領域内の
画像データの濃度情報を処理することにより眼の開閉状
態を検出する眼の開閉状態検出手段104と、眼の追跡
手段103による眼の位置情報と眼の開閉状態検出手段
104による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段105とを備えて構成さ
れている。
像撮影手段101は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してTV信号と
して出力するTVカメラである。眼の位置検出手段10
2と、眼の追跡手段103と、眼の開閉状態検出手段1
04と、脇見運転検出手段105とは、マイクロコンピ
ュータで構成されている。このマイクロコンピュータ
は、TV信号を入力するビデオキャプチャー回路、画像
信号を一時記憶する画像メモリ、画像メモリに記憶され
た画像に対して処理操作を行う演算処理装置を備えてい
る。
2のフローチャートと図3〜図5を用いて説明する。ま
ず、ステップ(以下、ステップをSと略す)201で画
像入力を行い、S202で画像メモリに格納された画像
データの前処理を行いコンピュータ処理に適した状態に
データ変換を行う。
矩形領域である眼の追跡領域が存在するか否かの判定を
行う。眼の追跡領域は、毎回の画像全体からの眼の位置
検出処理を簡素化するために設定しているもので、一旦
眼の位置が検出できれば、その位置を基準に眼を含むに
必要十分な小さな領域を設定し、その領域内で検出した
眼の位置座標で領域基準を更新することで眼を追跡しな
がら処理を続ける。
での処理を行う場合は、眼の追跡領域はまだ設定されて
いないのでS204に移行して画像全体からの眼の位置
検出を行う。また、該処理によって一旦眼の位置検出が
でき眼の追跡領域が設定できれば、S205で眼の追跡
領域内での眼の位置検出処理を行う。その後は、S20
6で眼の座標位置を記憶し、S207で眼の開度検出を
行う。S208では、眼の位置座標や眼の開度値などか
ら眼が正しく検出できているかどうかを確認し、眼が正
しく追跡できている場合はS210以降の脇見検出ステ
ップに移行する。
ないと判定された場合はS209に移り、眼の追跡領域
をクリアしS201に戻り、再度画像全体からの眼の位
置検出を行う。
像上の眼の座標位置と両眼の間隔変化から運転者が左右
方向の脇見をしているかどうかを判定する。
合の画像であり、このときの右目の座標を(rx1,y
1)、左目の座標を(lx1,y1)とする。図3
(b)は、運転者が左方向の脇見をしている場合の画像
であり、右目のX座標をrx2、左目のX座標をlx2
とする。図3(a)、(b)ともに画像の座標原点は画
像左上とし、X軸は原点から右方向、Y軸は原点から下
方とする。
右及び左の眼のX座標rx2,lx2が、車両前方を見
ている時の座標rx1,lx1よりも大きくなる。この
とき両眼の間隔は、前方を見ている場合より脇見をして
いる場合が小さくなり、次の式(1)の関係が成り立
つ。
のX座標rx2,lx2が、車両前方を見ている時の座
標rx1,lx1よりも小さくなる。このとき両眼の間
隔も前方を見ている場合より脇見をしている場合が小さ
くなり、同様に式(1)の関係が成り立つ。
かの判定条件としては、S206で記憶した左眼のX座
標をlx、右目のX座標をrxとすれば、次の式(2)
による。
した場合の画像上の左右両眼の距離を記憶しておいても
よいし、走行前に運転者が前方注視状態の画像を入力
し、この画像から前方注視状態の両眼X方向距離(lx
1−rx1)を算出するようにしてもよい。
視線移動においては、脇見と誤判断しないためのもので
ある。
たされた時は、S214で運転者が左右方向の脇見をし
ていると認定する。S210で前記条件が満たされない
時は、S211に移行する。
両眼間隔に加えて、左右両眼のX座標がそれぞれ前方注
視状態より一定以上増減変化した場合を加えても良い。
図4に示すように眼の位置は、車両前方を見ている時
(a)の座標rx1,lx1,y1に対し、下方向を見
ている時(b)の座標rx3,lx3,y3と殆ど変化
しない。よって、運転者が下方向を見ているかどうか
は、眼の開度変化、すなわち上瞼と下瞼との距離が所定
値以下になっているかどうかで判定する。
見ている時の眼の開度値h1は所定値以上となるのでS
213で運転者は前方注視状態にあるとする。また、図
4の(b)のように運転者が下方向を見ている時の眼の
開度値h2は所定値未満となるのでS212で運転者が
下方向の脇見をしているとする。
の開度値判定を行うことにより、下方向への視線移動も
含めた更に精度の高い脇見検出が可能となる。脇見判定
後にS215で眼の追跡領域の基準座標の更新後S20
1に戻り、次に取り込まれる画像データの判定に移る。
来るだけ簡素化したもので説明したので記述しなかった
が、S210とS214の間に、S211と同じ眼の開
度値変化を判定するステップを設けることで、図5の
(b)に示すような斜め下方向を見ていることも判定で
きる。
のドアミラーを見るなど、安全確認の必要上、運転者が
行っているものもある。よって、前方を見ていないこ
と、イコール脇見、即警報というロジックを組み立てて
しまうと違和感のあるものになってしまう恐れがある。
そこで、左右方向の脇見と左右下方向の脇見を区別する
ことで、左右の脇見は、安全確認であるかも知れないこ
とを前提とした脇見警報判定を行い、左右下方向につい
ては安全確認でないことを前提とした脇見警報を行うこ
とでより違和感のないものにできる。
者の状態検出装置の第2の実施形態を図6、図7、図8
を用いて説明する。図6は、本発明に係る運転者の状態
検出装置の第2実施形態を説明する基本構成図であり、
請求項2に対応する。
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段101と、画像撮影手段101が撮影した画像から眼
の位置を検出する眼の位置検出手段102と、眼の位置
検出手段102が検出した眼の位置を基準に眼を含む所
定領域である眼の追跡領域を設定し、眼の位置を追跡す
る眼の追跡手段103と、眼の追跡領域内の画像データ
の濃度情報を処理することにより眼の開閉状態を検出す
る眼の開閉状態検出手段104と、眼の追跡手段103
による眼の位置情報と眼の開閉状態検出手段104によ
る眼の開閉情報とに基づいて運転者の脇見状態を検出す
る脇見運転検出手段605と、車両の走行状態を検出す
る車両走行状態検出手段606と、運転者の運転操作状
態を検出する運転操作状態検出手段607と、車両走行
状態検出手段606からの情報により、運転者の単発的
な脇見行為に対して注意を促す第1脇見警報手段608
と、車両走行状態検出手段606及び運転操作状態検出
手段607からの情報により、運転者の注意散漫状態に
対して注意を促す第2脇見警報手段609とを備えて構
成されている。
手段102と、眼の追跡手段103と、眼の開閉状態検
出手段104とは、図1に示した第1実施形態と同様の
構成要素である。
像撮影手段101は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してTV信号と
して出力するTVカメラである。眼の位置検出手段10
2と、眼の追跡手段103と、眼の開閉状態検出手段1
04と、脇見運転検出手段605と、第1脇見警報手段
608と、第2脇見警報手段609とは、マイクロコン
ピュータとその出力装置としてのスピーカとで構成され
ている。このマイクロコンピュータは、TV信号を入力
するビデオキャプチャー回路、画像信号を一時記憶する
画像メモリ、画像メモリに記憶された画像に対して処理
操作を行う演算処理装置と、スピーカを駆動するための
D/A変換回路及び低周波増幅回路を備えている。
音波やレーダを用いて先行車や道路落下物への接近状態
を検知する前方障害物検知手段、走行距離や燃料残量な
どのメーター内に表示される情報が所定値になったこと
を検出するメーター情報検出手段、車両の現在位置を検
出して制限速度取締区間の走行中であるか否かの判定結
果を出力する手段を備えている。
ディショナーの操作信号、オーディオ装置の操作信号、
ナビゲーションシステムの操作信号がある。
態の情報を用いて、緊急度が高い第1脇見警報と、運転
者の注意散漫状態に対して注意を促す第2脇見警報を、
適切なタイミングで出力することを目的としたものであ
る。
クロコンピュータからスピーカを鳴動させることにより
運転者に伝えられる。第1脇見警報は、第2脇見警報よ
り緊急度が高い警報であるので、第1脇見警報の警報音
を第2脇見警報の警報音より、音を大きくするか、高く
するか、断続周期を短くするか、或いはこれらを組み合
わせることにより、第1脇見警報と第2脇見警報を区別
可能とすることができる。
して、本実施形態の動作を説明する。尚、第1実施形態
の処理内容と同じ処理内容のステップには、同じステッ
プ番号を付与して、重複する説明を省略する。図7にお
いて、S201からS209までは、図2に示した第1
実施形態と同じ処理である。
眼の座標位置と両眼の間隔変化があるかどうかを判定
し、変化があった場合はS714へと移行して左右方向
の脇見があったとする。その後、S717で左右方向脇
見カウンタのカウントアップを行い、もう一つのループ
で下方向脇見カウンタがカウントアップされている場合
はそのカウンタをクリアする。
象と取り込み画像に対する処理結果の回数であり、複数
回同じループを回っている回数で脇見時間として判定す
る。つまり、画像撮影手段から取り込んだ1画像当たり
の処理時間が0.1秒だとすると、同じループを続けて
10回処理した場合、1秒間脇見をしていることにな
る。
がなかった場合はS711に移行する。S711では、
第1実施形態と同様に眼の開度値の状態を判定する。眼
の開度値が所定値以上となる場合は、S713に移行し
前方注視状態にあるとする。
脇見カウンタか下方向脇見カウンタがカウントアップさ
れている場合はそのカウンタをクリアする。S711で
眼の開度値が所定値未満の場合はS712に移行し下方
向の脇見があったとする。その後、S715で下方向脇
見カウンタのカウントアップを行い、もう一つのループ
で左右方向脇見カウンタがカウントアップされている場
合はそのカウンタをクリアする。S715,716,7
17の処理後、図8のS801に移行する。
したかどうかを判定しており、所定数に達していない場
合は、S811に移行し、眼の追跡領域の基準座標を更
新して、図7のS701に戻り、次の画像取り込みを行
う。S801で、脇見カウンタが所定数に達した場合
は、S802に移行する。S801での処理は前述した
が、左右または下方向の脇見が所定時間以上であるかど
うかを判定している。
障害物を検知し、その障害物に接近状態であるかどうか
を判定している。つまり、前方障害物に接近している時
に、運転者が前方以外を見ていると判定された場合は、
緊急度の高い、第1脇見警報をS803で出力する(請
求項4)。
意散漫状態に対して注意を促す第2脇見警報の出力方法
について説明する。S804では、下方向脇見カウンタ
が所定数に達したかどうかを判定し、所定数に達してい
ない場合は、S811に移行して、次の画像取り込みを
行う。S804で下方向だけの脇見カウンタを対象とし
ている理由は、下方向への運転者の視線移動は、その行
為そのものが安全確認など、車を運転する上で必要不可
欠なものでないのに対し、左右方向への視線移動は、脇
見行為に含めて、安全確認も含まれるからである。
向の両方を脇見警報の対象としているのは、前方障害物
への接近という目前の危険状態に対して、例えその行為
が安全確認であってもその時点では許される行為ではな
いからである。S804で、下方向脇見カウンタが所定
数に達した場合は、S805に移行する。
状態が所定条件となっているかどうかを判定する。この
ステップでは、車両走行状態と運転操作状態から下方向
を見ていると判定された眼の開度値の変化が、本当に下
方向を見ることによって起こっているのか、また単に眼
を閉じたから発生したのかを選別している。
状況を、メーター情報検出手段がメーターの距離計や燃
料残量が運転者にとって必要以上に気になる状態になっ
ているかどうを検出したり、車両の現在位置が速度取締
り区間であり、走行速度を普通の状態以上に気にしてい
ないかなどを車両走行状態検出手段で検出する。
ステムのスイッチ操作が頻繁に行われていないかなどを
運転操作状態検出手段で検出する。
所定条件になっていないと判定された場合は、下方向へ
の視線移動ではなく閉眼が発生したものとしてS811
に移行する。S805で所定条件であると判定された場
合は、S806に移行して、下方向脇見頻度カウンタの
カウントアップ、初期カウントアップ時間の記憶、下方
向脇見カウンタをクリアする。下方向脇見頻度カウンタ
と該カウンタの初期カウントアップ時間をメモリするこ
とによって、所定時間内に下方向に視線を移動させる頻
度を計測している。
始から所定時間経過したかどうかを判定し、所定時間経
過していない場合は、S811に移行する。S807で
初期カウントアップ開始から所定時間経過したと判定さ
れた場合は、S808に移行する。S808では、下方
向脇見頻度カウンタが所定数に達したかどうかを判定し
ており、下方向脇見頻度カウンタが所定数に達した時
は、必要以上に運転者が下方向を見る注意散漫状態であ
るとして、第2脇見警報を出力し、S810で下方向脇
見頻度カウンタと初期カウントアップ時間のメモリをク
リアする。
数に達していない時は、S809をパスして直接、S8
10に移行する。その後、S811で眼の追跡領域の基
準座標を更新して、次の画像の取り込みを行う。
走行状態と運転操作状態を脇見運転検出判定に用い、緊
急度の高い第1脇見警報と、注意散漫状態の検出し注意
を促すことを目的とした第2脇見警報に分けたので、運
転者にとってより違和感のない警報を実現できるという
効果がある。
11を参照して、本発明に係る運転者の状態検出装置の
第3の実施形態を説明する。図9は、第3実施形態の構
成を説明する基本構成図であり、請求項3に対応する。
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段101と、画像撮影手段101が撮影した画像から眼
の位置を検出する眼の位置検出手段102と、眼の位置
検出手段102が検出した眼の位置を基準に眼を含む所
定領域である眼の追跡領域を設定し、眼の位置を追跡す
る眼の追跡手段103と、眼の追跡領域内の画像データ
の濃度情報を処理することにより眼の開閉状態を検出す
る眼の開閉状態検出手段104と、眼の開閉状態検出手
段104による眼の開閉情報から運転者の居眠り状態を
検出する居眠り運転検出手段908と、眼の追跡手段1
03による眼の位置情報と眼の開閉状態検出手段104
による眼の開閉情報から運転者の脇見状態を検出する脇
見運転検出手段909と、車両の走行状態を検出する車
両走行状態検出手段906と、運転者の運転操作状態を
検出する運転操作状態検出手段907と、車両走行状態
検出手段906と運転操作状態検出手段907と眼の追
跡手段103から少なくとも一つの情報により、眼の開
閉状態検出手段104によって検出される閉眼情報を居
眠り検出主導で用いるか、脇見検出主導で用いるかを切
り替える眼の開度情報の判定用途切り替え手段905と
を備えて構成されている。
像撮影手段101は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してTV信号と
して出力するTVカメラである。眼の位置検出手段10
2と、眼の追跡手段103と、眼の開閉状態検出手段1
04と、眼の開度情報の判定用途切り替え手段905
と、居眠り運転検出手段908と、脇見運転検出手段9
09とは、マイクロコンピュータで構成されている。こ
のマイクロコンピュータは、TV信号を入力するビデオ
キャプチャー回路、画像信号を一時記憶する画像メモ
リ、画像メモリに記憶された画像に対して処理操作を行
う演算処理装置を備えている。
は、車両速度を検出する車速センサや車体加速度を検出
する加速度計、エンジンの回転速度を検出するエンジン
回転計(電気自動車であれば駆動モータ回転計)があ
る。この車両走行状態検出手段906の検出結果によ
り、眼の開度情報の判定用途切り替え手段は、車両が巡
航走行、または渋滞走行であると判断した場合、居眠り
運転検出主導に切り替える。
アコンディショナーの操作信号、オーディオ装置の操作
信号、ナビゲーションシステムの操作信号がある。
態と運転操作状態により眼の開度値が小さくなっている
情報の用途を居眠り検出と脇見検出を切り替えられるよ
うにしたので、より的確な居眠り運転警報と、脇見運転
警報が実現できる。
ローチャートと、図11を用いて説明する。本実施形態
は、車両走行状態と運転操作状態の情報を用いて、出力
される眼の開度値が小さくなっていることの確認結果
を、閉眼であるとして居眠り検出に用いるか、下方向を
見ることによって眼の開度が小さくなっているとして脇
見検出に用いるかを切り替えることによって居眠り検出
と脇見検出の両方で精度向上を行うことを目的としてい
る。
理内容の説明についても、第1の実施形態と異なる箇所
のみとする。S1010で眼の開度値が所定値未満であ
ると判定された場合は、S1011に移行する。S10
10で眼の開度値が所定値未満になる場合は、図11の
(a)に示すようにメーターなど運転者が下方向を見て
いる場合と、図11の(b)に示すように眠くて眼を閉
じている場合がある。S1011では、車両走行状態や
運転操作状態の情報を用いることにより小さくなった眼
の開度値が、下方向を見たことによって発生している
か、眼を閉じたことによって発生したのかを区別する処
理を行っている。
未満となった場合、居眠りにより眼を閉じているのか、
下方脇見により眼の開度値が小さくなったかを判断する
ため、S1011で車両走行状態、又は運転操作状態が
所定条件となっているかを判定する。
出値が居眠り運転が起こりやすい一定速度が継続する巡
航走行状態又は低速度が継続する渋滞走行状態である。
尚、車速センサに代えて、車両加速度計、エンジン回転
計の検出値を用いても上記車両走行状態を判定できる。
ル、アクセル、ブレーキ、シフトレバー等の操作頻度が
少なくなっている状態である。
された場合は、S1013に移行し小さい眼の開度値を
閉眼が発生しているとして、その出力タイミングにより
居眠り検出を行い、所定条件になっていないと判定され
た場合は、S1012に移行し下方向の脇見であるとす
る。S1010で眼の開度値が所定値以上であると判定
された場合は、S1014に移行して運転者が左右方向
の脇見をしているかどうかの判定を行う。
走行状態と運転操作状態により眼の開度値が小さくなっ
ている情報の用途を居眠り検出と脇見検出を切り替えら
れるようにしたので、より的確な居眠り運転警報と、脇
見運転警報が実現できるという効果がある。
の基本構成図である。
の動作を示すフローチャートである。
の基本構成図である。
の動作を示すフローチャートである。
の動作を示すフローチャートである。
の基本構成図である。
態の動作を示すフローチャートである。
明図である。
Claims (9)
- 【請求項1】 運転者の顔の画像を撮影する画像撮影手
段と、 前記画像から眼の位置を検出する眼の位置検出手段と、 前記眼の位置検出手段が検出した眼の位置を基準に前記
画像上で眼を含む所定領域を設定し、眼の位置を追跡す
る眼の追跡手段と、 前記所定領域内の画像データの濃度情報を処理すること
により眼の開閉状態を検出する眼の開閉状態検出手段
と、 前記眼の追跡手段による眼の位置情報と前記眼の開閉状
態検出手段による眼の開閉情報とに基づいて運転者の脇
見状態を検出する脇見運転検出手段と、 を備えたことを特徴とする運転者の状態検出装置。 - 【請求項2】 運転者の顔の画像を撮影する画像撮影手
段と、 前記画像から眼の位置を検出する眼の位置検出手段と、 前記眼の位置検出手段が検出した眼の位置を基準に前記
画像上で眼を含む所定領域を設定し、眼の位置を追跡す
る眼の追跡手段と、 前記所定領域内の画像データの濃度情報を処理すること
により眼の開閉状態を検出する眼の開閉状態検出手段
と、 前記眼の追跡手段による眼の位置情報と前記眼の開閉状
態検出手段による眼の開閉情報とに基づいて運転者の脇
見状態を検出する脇見運転検出手段と、 車両の走行状態を検出する車両走行状態検出手段と、 運転者の運転操作状態を検出する運転操作状態検出手段
と、 前記車両走行状態検出手段からの情報により、運転者の
単発的な脇見行為に対して注意を促す第1脇見警報手段
と、 前記車両走行状態検出手段と運転操作状態検出手段から
の情報により、運転者の注意散漫状態に対して注意を促
す第2脇見警報手段と、 を備えたことを特徴とする運転者の状態検出装置。 - 【請求項3】 運転者の顔の画像を撮影する画像撮影手
段と、 前記画像から眼の位置を検出する眼の位置検出手段と、 前記眼の位置検出手段が検出した眼の位置を基準に前記
画像上で眼を含む所定領域を設定し、眼の位置を追跡す
る眼の追跡手段と、 前記所定領域内の画像データの濃度情報を処理すること
により眼の開閉状態を検出する眼の開閉状態検出手段
と、 前記眼の追跡手段による眼の位置情報と前記眼の開閉状
態検出手段による眼の開閉情報とに基づいて運転者の脇
見状態を検出する脇見運転検出手段と、 前記眼の開閉状態検出手段による眼の開閉情報から運転
者の居眠り状態を検出する居眠り運転検出手段と、 車両の走行状態を検出する車両走行状態検出手段と、 運転者の運転操作状態を検出する運転操作状態検出手段
と、 前記車両走行状態検出手段と運転操作状態検出手段と眼
の追跡手段から少なくとも一つの情報により、前記眼の
開閉状態検出手段によって検出される閉眼情報を居眠り
検出主導で用いるか、脇見検出主導で用いるかを切り替
える眼の開度情報の判定用途切り替え手段と、 を備えたことを特徴とする運転者の状態検出装置。 - 【請求項4】 前記車両走行状態検出手段は、先行車や
道路落下物への接近状態を検知する前方障害物検知手段
を備えたことを特徴とする請求項2又は請求項3に記載
の運転者の状態検出装置。 - 【請求項5】 前記車両走行状態検出手段は、走行距離
や燃料残量などのメーター内に表示される情報が所定条
件になったことを検出するメーター情報検出手段を備え
たことを特徴とする請求項2又は請求項3に記載の運転
者の状態検出装置。 - 【請求項6】 前記車両走行状態検出手段は、車両の位
置を検出する位置検出手段を備えたことを特徴とする請
求項2又は請求項3に記載の運転者の状態検出装置。 - 【請求項7】 前記運転操作状態検出手段は、カーオー
ディオやナビゲーションシステムなどのスイッチ操作を
検出するスイッチ操作状態検出手段を備えたことを特徴
とする請求項2又は請求項3記載の運転者の状態検出装
置。 - 【請求項8】 前記車両走行状態検出手段は、車両の速
度を検出する車速センサであり、 前記眼の開度情報の判定用途切り替え手段は、車両速度
に基づいて巡航走行又は渋滞走行であるとを判定した場
合、居眠り検出主導に切り替えることを特徴とする請求
項3に記載の運転者の状態検出装置。 - 【請求項9】 前記運転操作状態検出手段は、ハンド
ル、アクセル、ブレーキ、シフトレバーのうちの少なく
とも一つの操作を検出する操作状態検出手段からなるこ
とを特徴とする請求項3に記載の運転者の状態検出装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002034243A JP3855790B2 (ja) | 2002-02-12 | 2002-02-12 | 運転者の状態検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002034243A JP3855790B2 (ja) | 2002-02-12 | 2002-02-12 | 運転者の状態検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003233803A true JP2003233803A (ja) | 2003-08-22 |
JP3855790B2 JP3855790B2 (ja) | 2006-12-13 |
Family
ID=27776809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002034243A Expired - Fee Related JP3855790B2 (ja) | 2002-02-12 | 2002-02-12 | 運転者の状態検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3855790B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100373400C (zh) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | 基于识别模型的多神经网络结合的睁眼检测方法 |
EP1721782A3 (en) * | 2005-05-10 | 2009-07-29 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
JP2016115118A (ja) * | 2014-12-15 | 2016-06-23 | アイシン精機株式会社 | 下方視判定装置および下方視判定方法 |
JP2018526045A (ja) * | 2015-06-22 | 2018-09-13 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 |
JP2018149942A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5082834B2 (ja) * | 2007-12-27 | 2012-11-28 | オムロン株式会社 | 脇見検出装置および方法、並びに、プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03194661A (ja) * | 1989-12-25 | 1991-08-26 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
JPH0796768A (ja) * | 1993-09-27 | 1995-04-11 | Nissan Motor Co Ltd | 前方注視度検知装置 |
JPH07195961A (ja) * | 1993-12-29 | 1995-08-01 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2000326758A (ja) * | 1999-05-21 | 2000-11-28 | Nissan Motor Co Ltd | 予防安全装置 |
-
2002
- 2002-02-12 JP JP2002034243A patent/JP3855790B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03194661A (ja) * | 1989-12-25 | 1991-08-26 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
JPH0796768A (ja) * | 1993-09-27 | 1995-04-11 | Nissan Motor Co Ltd | 前方注視度検知装置 |
JPH07195961A (ja) * | 1993-12-29 | 1995-08-01 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2000326758A (ja) * | 1999-05-21 | 2000-11-28 | Nissan Motor Co Ltd | 予防安全装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1721782A3 (en) * | 2005-05-10 | 2009-07-29 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
EP2535224A1 (en) * | 2005-05-10 | 2012-12-19 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
CN100373400C (zh) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | 基于识别模型的多神经网络结合的睁眼检测方法 |
JP2016115118A (ja) * | 2014-12-15 | 2016-06-23 | アイシン精機株式会社 | 下方視判定装置および下方視判定方法 |
JP2018526045A (ja) * | 2015-06-22 | 2018-09-13 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 |
JP2018149942A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3855790B2 (ja) | 2006-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111361552B (zh) | 自动驾驶*** | |
JP4720386B2 (ja) | 運転支援装置 | |
US10166918B2 (en) | Drive assisting apparatus | |
US7209833B2 (en) | Collision possibility determination device | |
JP6103383B2 (ja) | 車両運転評価システム | |
CN111443708B (zh) | 自动驾驶*** | |
JP2018062321A (ja) | 車両制御システム | |
EP1377948A1 (en) | System for monitoring a driver's attention to driving | |
JP5601930B2 (ja) | 車両用表示装置 | |
JP2007082594A (ja) | 疲労検出装置 | |
US10984658B2 (en) | Vehicle display device for displaying an obstacle warning | |
WO2008114839A1 (ja) | 覚醒度判定装置及び覚醒度判定方法 | |
JPH07117593A (ja) | 車両用警報装置 | |
JP2005135025A (ja) | 衝突可能性判定装置 | |
JP2007207274A (ja) | 発進報知装置 | |
JP2021049893A (ja) | 車両制御システム | |
JP2007038911A (ja) | 車両用警報装置 | |
JP4211501B2 (ja) | 車両用運転支援装置 | |
JP2003233803A (ja) | 運転者の状態検出装置 | |
JP6778941B1 (ja) | あおり運転検知システム | |
WO2018168097A1 (ja) | 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム | |
JP3984863B2 (ja) | 発進報知装置 | |
WO2020148957A1 (ja) | 車両制御装置及び方法 | |
JP2004051006A (ja) | 交差点事故防止装置及びプログラム | |
WO2021145367A1 (ja) | あおり運転検知システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060705 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |