JP2003233803A - 運転者の状態検出装置 - Google Patents
運転者の状態検出装置Info
- Publication number
- JP2003233803A JP2003233803A JP2002034243A JP2002034243A JP2003233803A JP 2003233803 A JP2003233803 A JP 2003233803A JP 2002034243 A JP2002034243 A JP 2002034243A JP 2002034243 A JP2002034243 A JP 2002034243A JP 2003233803 A JP2003233803 A JP 2003233803A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- state
- driver
- detecting
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】 運転者が下方に視線を逸らしたような脇見状
態も確実に検出することができる運転者の状態検出装置
を提供する。 【解決手段】 画像撮影手段１０１が撮影した運転者の
顔の画像から、眼の位置検出手段１０２が眼の位置を検
出する。眼の追跡手段１０３は、この眼の位置を基準に
眼を含む所定領域を設定し、眼の位置を追跡する。眼の
開閉状態検出手段１０４は、眼の追跡領域内の画像デー
タの濃度情報を処理することにより眼の開閉状態を検出
する。脇見運転検出手段１０５は、眼の追跡手段１０３
による眼の位置情報と眼の開閉状態検出手段１０４によ
る眼の開閉情報とに基づいて運転者の脇見状態を検出す
る。
態も確実に検出することができる運転者の状態検出装置
を提供する。 【解決手段】 画像撮影手段１０１が撮影した運転者の
顔の画像から、眼の位置検出手段１０２が眼の位置を検
出する。眼の追跡手段１０３は、この眼の位置を基準に
眼を含む所定領域を設定し、眼の位置を追跡する。眼の
開閉状態検出手段１０４は、眼の追跡領域内の画像デー
タの濃度情報を処理することにより眼の開閉状態を検出
する。脇見運転検出手段１０５は、眼の追跡手段１０３
による眼の位置情報と眼の開閉状態検出手段１０４によ
る眼の開閉情報とに基づいて運転者の脇見状態を検出す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、運転者の顔を撮影
した画像に基づいて脇見運転を判断する運転者の状態検
出装置に関する。
した画像に基づいて脇見運転を判断する運転者の状態検
出装置に関する。
【０００２】
【従来の技術】従来の運転者の状態検出装置には、例え
ば特開平７−６９１３９号公報に記載されたようなもの
がある。この従来技術では、カメラで撮影した運転者の
顔画像から、左右両眼の間隔である基準眼距離を算出
し、この基準眼距離に対して今回撮影した画像から求め
た眼距離が所定値以上小さくなった時に脇見状態にある
と判定し、脇見警報を発することにより脇見運転を防止
するとしていた。
ば特開平７−６９１３９号公報に記載されたようなもの
がある。この従来技術では、カメラで撮影した運転者の
顔画像から、左右両眼の間隔である基準眼距離を算出
し、この基準眼距離に対して今回撮影した画像から求め
た眼距離が所定値以上小さくなった時に脇見状態にある
と判定し、脇見警報を発することにより脇見運転を防止
するとしていた。
【０００３】
【発明が解決しようとする課題】しかしながら、上記従
来技術ではメーターやセンターコンソールなど運転者が
下方向に視線を逸らしている時は、眼の左右間隔の変化
はなく、撮像された画像上での眼の移動量も少ないの
で、視線を下方向に逸らしているという脇見状態を検出
できないという問題点があった。
来技術ではメーターやセンターコンソールなど運転者が
下方向に視線を逸らしている時は、眼の左右間隔の変化
はなく、撮像された画像上での眼の移動量も少ないの
で、視線を下方向に逸らしているという脇見状態を検出
できないという問題点があった。
【０００４】
【課題を解決するための手段】請求項１記載の発明は、
運転者の顔の画像を撮影する画像撮影手段と、前記画像
から眼の位置を検出する眼の位置検出手段と、前記眼の
位置検出手段が検出した眼の位置を基準に前記画像上で
眼を含む所定領域を設定し、眼の位置を追跡する眼の追
跡手段と、前記所定領域内の画像データの濃度情報を処
理することにより眼の開閉状態を検出する眼の開閉状態
検出手段と、前記眼の追跡手段による眼の位置情報と前
記眼の開閉状態検出手段による眼の開閉情報とに基づい
て運転者の脇見状態を検出する脇見運転検出手段と、を
備えたことを要旨とする運転者の状態検出装置である。
運転者の顔の画像を撮影する画像撮影手段と、前記画像
から眼の位置を検出する眼の位置検出手段と、前記眼の
位置検出手段が検出した眼の位置を基準に前記画像上で
眼を含む所定領域を設定し、眼の位置を追跡する眼の追
跡手段と、前記所定領域内の画像データの濃度情報を処
理することにより眼の開閉状態を検出する眼の開閉状態
検出手段と、前記眼の追跡手段による眼の位置情報と前
記眼の開閉状態検出手段による眼の開閉情報とに基づい
て運転者の脇見状態を検出する脇見運転検出手段と、を
備えたことを要旨とする運転者の状態検出装置である。
【０００５】請求項２記載の発明は、運転者の顔の画像
を撮影する画像撮影手段と、前記画像から眼の位置を検
出する眼の位置検出手段と、前記眼の位置検出手段が検
出した眼の位置を基準に前記画像上で眼を含む所定領域
を設定し、眼の位置を追跡する眼の追跡手段と、前記所
定領域内の画像データの濃度情報を処理することにより
眼の開閉状態を検出する眼の開閉状態検出手段と、前記
眼の追跡手段による眼の位置情報と前記眼の開閉状態検
出手段による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段と、車両の走行状態を検
出する車両走行状態検出手段と、運転者の運転操作状態
を検出する運転操作状態検出手段と、前記車両走行状態
検出手段からの情報により、運転者の単発的な脇見行為
に対して注意を促す第１脇見警報手段と、前記車両走行
状態検出手段と運転操作状態検出手段からの情報によ
り、運転者の注意散漫状態に対して注意を促す第２脇見
警報手段と、を備えたことを要旨とする運転者の状態検
出装置である。
を撮影する画像撮影手段と、前記画像から眼の位置を検
出する眼の位置検出手段と、前記眼の位置検出手段が検
出した眼の位置を基準に前記画像上で眼を含む所定領域
を設定し、眼の位置を追跡する眼の追跡手段と、前記所
定領域内の画像データの濃度情報を処理することにより
眼の開閉状態を検出する眼の開閉状態検出手段と、前記
眼の追跡手段による眼の位置情報と前記眼の開閉状態検
出手段による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段と、車両の走行状態を検
出する車両走行状態検出手段と、運転者の運転操作状態
を検出する運転操作状態検出手段と、前記車両走行状態
検出手段からの情報により、運転者の単発的な脇見行為
に対して注意を促す第１脇見警報手段と、前記車両走行
状態検出手段と運転操作状態検出手段からの情報によ
り、運転者の注意散漫状態に対して注意を促す第２脇見
警報手段と、を備えたことを要旨とする運転者の状態検
出装置である。
【０００６】請求項３記載の発明は、運転者の顔の画像
を撮影する画像撮影手段と、前記画像から眼の位置を検
出する眼の位置検出手段と、前記眼の位置検出手段が検
出した眼の位置を基準に前記画像上で眼を含む所定領域
を設定し、眼の位置を追跡する眼の追跡手段と、前記所
定領域内の画像データの濃度情報を処理することにより
眼の開閉状態を検出する眼の開閉状態検出手段と、前記
眼の追跡手段による眼の位置情報と前記眼の開閉状態検
出手段による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段と、前記眼の開閉状態検
出手段による眼の開閉情報から運転者の居眠り状態を検
出する居眠り運転検出手段と、車両の走行状態を検出す
る車両走行状態検出手段と、運転者の運転操作状態を検
出する運転操作状態検出手段と、前記車両走行状態検出
手段と運転操作状態検出手段と眼の追跡手段から少なく
とも一つの情報により、前記眼の開閉状態検出手段によ
って検出される閉眼情報を居眠り検出主導で用いるか、
脇見検出主導で用いるかを切り替える眼の開度情報の判
定用途切り替え手段と、を備えたことを要旨とする運転
者の状態検出装置である。
を撮影する画像撮影手段と、前記画像から眼の位置を検
出する眼の位置検出手段と、前記眼の位置検出手段が検
出した眼の位置を基準に前記画像上で眼を含む所定領域
を設定し、眼の位置を追跡する眼の追跡手段と、前記所
定領域内の画像データの濃度情報を処理することにより
眼の開閉状態を検出する眼の開閉状態検出手段と、前記
眼の追跡手段による眼の位置情報と前記眼の開閉状態検
出手段による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段と、前記眼の開閉状態検
出手段による眼の開閉情報から運転者の居眠り状態を検
出する居眠り運転検出手段と、車両の走行状態を検出す
る車両走行状態検出手段と、運転者の運転操作状態を検
出する運転操作状態検出手段と、前記車両走行状態検出
手段と運転操作状態検出手段と眼の追跡手段から少なく
とも一つの情報により、前記眼の開閉状態検出手段によ
って検出される閉眼情報を居眠り検出主導で用いるか、
脇見検出主導で用いるかを切り替える眼の開度情報の判
定用途切り替え手段と、を備えたことを要旨とする運転
者の状態検出装置である。
【０００７】請求項４記載の発明は、請求項２又は請求
項３に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、先行車や道路落下物への接近状態
を検知する前方障害物検知手段を備えたことを要旨とす
る。
項３に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、先行車や道路落下物への接近状態
を検知する前方障害物検知手段を備えたことを要旨とす
る。
【０００８】請求項５記載の発明は、請求項２又は請求
項３に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、走行距離や燃料残量などのメータ
ー内に表示される情報が所定条件になったことを検出す
るメーター情報検出手段を備えたことを要旨とする。
項３に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、走行距離や燃料残量などのメータ
ー内に表示される情報が所定条件になったことを検出す
るメーター情報検出手段を備えたことを要旨とする。
【０００９】請求項６記載の発明は、請求項２又は請求
項３に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、車両の位置を検出する位置検出手
段を備えたことを要旨とする。
項３に記載の運転者の状態検出装置において、前記車両
走行状態検出手段は、車両の位置を検出する位置検出手
段を備えたことを要旨とする。
【００１０】請求項７記載の発明は、請求項２又は請求
項３に記載の運転者の状態検出装置において、前記運転
操作状態検出手段は、カーオーディオやナビゲーション
システムなどのスイッチ操作を検出するスイッチ操作状
態検出手段を備えたことを要旨とする。
項３に記載の運転者の状態検出装置において、前記運転
操作状態検出手段は、カーオーディオやナビゲーション
システムなどのスイッチ操作を検出するスイッチ操作状
態検出手段を備えたことを要旨とする。
【００１１】請求項８記載の発明は、請求項３に記載の
運転者の状態検出装置において、前記車両走行状態検出
手段は、車両の速度を検出する車速センサであり、前記
眼の開度情報の判定用途切り替え手段は、車両速度に基
づいて巡航走行又は渋滞走行であるとを判定した場合、
居眠り検出主導に切り替えることを要旨とする。
運転者の状態検出装置において、前記車両走行状態検出
手段は、車両の速度を検出する車速センサであり、前記
眼の開度情報の判定用途切り替え手段は、車両速度に基
づいて巡航走行又は渋滞走行であるとを判定した場合、
居眠り検出主導に切り替えることを要旨とする。
【００１２】請求項９記載の発明は、請求項３に記載の
運転者の状態検出装置において、前記運転操作状態検出
手段は、ハンドル、アクセル、ブレーキ、シフトレバー
のうちの少なくとも一つの操作を検出する操作状態検出
手段からなることを要旨とする。
運転者の状態検出装置において、前記運転操作状態検出
手段は、ハンドル、アクセル、ブレーキ、シフトレバー
のうちの少なくとも一つの操作を検出する操作状態検出
手段からなることを要旨とする。
【００１３】
【発明の効果】請求項１記載の発明によれば、眼の位置
の移動量と両眼の間隔変化に加えて、画像撮影手段から
見た見かけの眼の開度変化に基づいて脇見状態を検出で
きるようになり、左右方向の脇見検出に加え、メーター
やセンターコンソールなど運転者が下方向に視線を移動
させる脇見についても確実に検出することができるとい
う効果がある。
の移動量と両眼の間隔変化に加えて、画像撮影手段から
見た見かけの眼の開度変化に基づいて脇見状態を検出で
きるようになり、左右方向の脇見検出に加え、メーター
やセンターコンソールなど運転者が下方向に視線を移動
させる脇見についても確実に検出することができるとい
う効果がある。
【００１４】請求項２記載の発明によれば、車両走行状
態と運転操作状態を脇見運転検出判定に用い、緊急度の
高い第１脇見警報と、注意散漫状態の検出し注意を促す
ことを目的とした第２脇見警報に分けたので、運転者に
とってより違和感のない警報を実現できるという効果が
ある。
態と運転操作状態を脇見運転検出判定に用い、緊急度の
高い第１脇見警報と、注意散漫状態の検出し注意を促す
ことを目的とした第２脇見警報に分けたので、運転者に
とってより違和感のない警報を実現できるという効果が
ある。
【００１５】請求項３記載の発明によれば、車両走行状
態と運転操作状態により眼の開度値が小さくなっている
情報の用途を居眠り検出と脇見検出を切り替えられるよ
うにしたので、より的確な居眠り運転警報と、脇見運転
警報が実現できるという効果がある。
態と運転操作状態により眼の開度値が小さくなっている
情報の用途を居眠り検出と脇見検出を切り替えられるよ
うにしたので、より的確な居眠り運転警報と、脇見運転
警報が実現できるという効果がある。
【００１６】請求項４記載の発明によれば、請求項２又
は請求項３記載の発明において、車両走行状態検出手段
でのセンシング内容を、先行車や道路落下物への接近状
態を検知する前方障害物検知手段としたので、緊急度を
要する脇見警報を的確に出力することができるという効
果がある。
は請求項３記載の発明において、車両走行状態検出手段
でのセンシング内容を、先行車や道路落下物への接近状
態を検知する前方障害物検知手段としたので、緊急度を
要する脇見警報を的確に出力することができるという効
果がある。
【００１７】請求項５記載の発明によれば、請求項２又
は請求項３記載の発明において、車両走行状態検出手段
でのセンシング内容を、走行距離や燃料残量などのメー
ター内に表示される情報が所定条件になったこととする
ことで、距離計が区切りの良い値やゾロ目の値になる
時、或いは燃料残量が少なくなったり燃料残量警告灯が
点灯した時など、運転者の注意が必要以上にメーター部
に向けられる状態が検出できるようにしたので、運転者
の注意散漫による脇見検出ができるという効果がある。
は請求項３記載の発明において、車両走行状態検出手段
でのセンシング内容を、走行距離や燃料残量などのメー
ター内に表示される情報が所定条件になったこととする
ことで、距離計が区切りの良い値やゾロ目の値になる
時、或いは燃料残量が少なくなったり燃料残量警告灯が
点灯した時など、運転者の注意が必要以上にメーター部
に向けられる状態が検出できるようにしたので、運転者
の注意散漫による脇見検出ができるという効果がある。
【００１８】請求項６記載の発明によれば、請求項２又
は請求項３記載の発明において、車両走行状態検出手段
でのセンシング内容を、車両位置とし、制限速度取締り
区間など、運転者の注意が必要以上にメーター部に向け
られる状態が検出できるようにしたので、運転者の注意
散漫による脇見検出ができるという効果がある。
は請求項３記載の発明において、車両走行状態検出手段
でのセンシング内容を、車両位置とし、制限速度取締り
区間など、運転者の注意が必要以上にメーター部に向け
られる状態が検出できるようにしたので、運転者の注意
散漫による脇見検出ができるという効果がある。
【００１９】請求項７記載の発明によれば、請求項２又
は請求項３記載の発明において、運転操作状態検出手段
でのセンシング内容を、カーオーディオやナビゲーショ
ンシステムなどのスイッチ操作としたので、該操作に伴
い運転者が必要以上に前方から眼を放していることが検
出でき運転者の注意散漫による脇見検出ができるという
効果がある。
は請求項３記載の発明において、運転操作状態検出手段
でのセンシング内容を、カーオーディオやナビゲーショ
ンシステムなどのスイッチ操作としたので、該操作に伴
い運転者が必要以上に前方から眼を放していることが検
出でき運転者の注意散漫による脇見検出ができるという
効果がある。
【００２０】請求項８記載の発明によれば、請求項３記
載の発明において、車両走行状態検出手段でのセンシン
グ内容を、車速センサによる巡航走行状態や渋滞走行状
態としたので、前記眼の開閉状態検出手段によって検出
される閉眼情報を居眠り検出主導で用いるか、脇見検出
主導で用いるかを的確に切り替えることができ居眠り検
出、脇見検出の両検出精度を向上させることができると
いう効果がある。
載の発明において、車両走行状態検出手段でのセンシン
グ内容を、車速センサによる巡航走行状態や渋滞走行状
態としたので、前記眼の開閉状態検出手段によって検出
される閉眼情報を居眠り検出主導で用いるか、脇見検出
主導で用いるかを的確に切り替えることができ居眠り検
出、脇見検出の両検出精度を向上させることができると
いう効果がある。
【００２１】請求項９記載の発明によれば、請求項３記
載の発明において、運転操作状態検出手段でのセンシン
グ内容を、ハンドル、アクセル、ブレーキ、シフトレバ
ーのうちの少なくとも一つの操作としたので、前記眼の
開閉状態検出手段によって検出される閉眼情報を居眠り
検出主導で用いるか、脇見検出主導で用いるかを的確に
切り替えることができるようになり、居眠り検出及び脇
見検出の検出精度を向上させることができるという効果
がある。
載の発明において、運転操作状態検出手段でのセンシン
グ内容を、ハンドル、アクセル、ブレーキ、シフトレバ
ーのうちの少なくとも一つの操作としたので、前記眼の
開閉状態検出手段によって検出される閉眼情報を居眠り
検出主導で用いるか、脇見検出主導で用いるかを的確に
切り替えることができるようになり、居眠り検出及び脇
見検出の検出精度を向上させることができるという効果
がある。
【００２２】
【発明の実施の形態】次に、図面を参照して、本発明の
実施の形態を詳細に説明する。 〔第１実施形態〕図１は、本発明に係る運転者の状態検
出装置の第１実施形態を説明する基本構成図であり、請
求項１に対応する。
実施の形態を詳細に説明する。 〔第１実施形態〕図１は、本発明に係る運転者の状態検
出装置の第１実施形態を説明する基本構成図であり、請
求項１に対応する。
【００２３】図１において、第１実施形態の運転者の状
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段１０１と、画像撮影手段１０１が撮影した画像から眼
の位置を検出する眼の位置検出手段１０２と、眼の位置
検出手段１０２が検出した眼の位置を基準に眼を含む所
定領域（以下、眼の追跡領域と呼ぶ）を設定し、眼の位
置を追跡する眼の追跡手段１０３と、眼の追跡領域内の
画像データの濃度情報を処理することにより眼の開閉状
態を検出する眼の開閉状態検出手段１０４と、眼の追跡
手段１０３による眼の位置情報と眼の開閉状態検出手段
１０４による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段１０５とを備えて構成さ
れている。
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段１０１と、画像撮影手段１０１が撮影した画像から眼
の位置を検出する眼の位置検出手段１０２と、眼の位置
検出手段１０２が検出した眼の位置を基準に眼を含む所
定領域（以下、眼の追跡領域と呼ぶ）を設定し、眼の位
置を追跡する眼の追跡手段１０３と、眼の追跡領域内の
画像データの濃度情報を処理することにより眼の開閉状
態を検出する眼の開閉状態検出手段１０４と、眼の追跡
手段１０３による眼の位置情報と眼の開閉状態検出手段
１０４による眼の開閉情報とに基づいて運転者の脇見状
態を検出する脇見運転検出手段１０５とを備えて構成さ
れている。
【００２４】具体的なハードウェアの構成としては、画
像撮影手段１０１は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してＴＶ信号と
して出力するＴＶカメラである。眼の位置検出手段１０
２と、眼の追跡手段１０３と、眼の開閉状態検出手段１
０４と、脇見運転検出手段１０５とは、マイクロコンピ
ュータで構成されている。このマイクロコンピュータ
は、ＴＶ信号を入力するビデオキャプチャー回路、画像
信号を一時記憶する画像メモリ、画像メモリに記憶され
た画像に対して処理操作を行う演算処理装置を備えてい
る。
像撮影手段１０１は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してＴＶ信号と
して出力するＴＶカメラである。眼の位置検出手段１０
２と、眼の追跡手段１０３と、眼の開閉状態検出手段１
０４と、脇見運転検出手段１０５とは、マイクロコンピ
ュータで構成されている。このマイクロコンピュータ
は、ＴＶ信号を入力するビデオキャプチャー回路、画像
信号を一時記憶する画像メモリ、画像メモリに記憶され
た画像に対して処理操作を行う演算処理装置を備えてい
る。
【００２５】次に、上記構成における動作の流れを、図
２のフローチャートと図３〜図５を用いて説明する。ま
ず、ステップ（以下、ステップをＳと略す）２０１で画
像入力を行い、Ｓ２０２で画像メモリに格納された画像
データの前処理を行いコンピュータ処理に適した状態に
データ変換を行う。
２のフローチャートと図３〜図５を用いて説明する。ま
ず、ステップ（以下、ステップをＳと略す）２０１で画
像入力を行い、Ｓ２０２で画像メモリに格納された画像
データの前処理を行いコンピュータ処理に適した状態に
データ変換を行う。
【００２６】その後、Ｓ２０３で眼の位置を含む小さな
矩形領域である眼の追跡領域が存在するか否かの判定を
行う。眼の追跡領域は、毎回の画像全体からの眼の位置
検出処理を簡素化するために設定しているもので、一旦
眼の位置が検出できれば、その位置を基準に眼を含むに
必要十分な小さな領域を設定し、その領域内で検出した
眼の位置座標で領域基準を更新することで眼を追跡しな
がら処理を続ける。
矩形領域である眼の追跡領域が存在するか否かの判定を
行う。眼の追跡領域は、毎回の画像全体からの眼の位置
検出処理を簡素化するために設定しているもので、一旦
眼の位置が検出できれば、その位置を基準に眼を含むに
必要十分な小さな領域を設定し、その領域内で検出した
眼の位置座標で領域基準を更新することで眼を追跡しな
がら処理を続ける。
【００２７】プログラムのスタート直後にこのステップ
での処理を行う場合は、眼の追跡領域はまだ設定されて
いないのでＳ２０４に移行して画像全体からの眼の位置
検出を行う。また、該処理によって一旦眼の位置検出が
でき眼の追跡領域が設定できれば、Ｓ２０５で眼の追跡
領域内での眼の位置検出処理を行う。その後は、Ｓ２０
６で眼の座標位置を記憶し、Ｓ２０７で眼の開度検出を
行う。Ｓ２０８では、眼の位置座標や眼の開度値などか
ら眼が正しく検出できているかどうかを確認し、眼が正
しく追跡できている場合はＳ２１０以降の脇見検出ステ
ップに移行する。
での処理を行う場合は、眼の追跡領域はまだ設定されて
いないのでＳ２０４に移行して画像全体からの眼の位置
検出を行う。また、該処理によって一旦眼の位置検出が
でき眼の追跡領域が設定できれば、Ｓ２０５で眼の追跡
領域内での眼の位置検出処理を行う。その後は、Ｓ２０
６で眼の座標位置を記憶し、Ｓ２０７で眼の開度検出を
行う。Ｓ２０８では、眼の位置座標や眼の開度値などか
ら眼が正しく検出できているかどうかを確認し、眼が正
しく追跡できている場合はＳ２１０以降の脇見検出ステ
ップに移行する。
【００２８】また、Ｓ２０８で眼が正しく追跡できてい
ないと判定された場合はＳ２０９に移り、眼の追跡領域
をクリアしＳ２０１に戻り、再度画像全体からの眼の位
置検出を行う。
ないと判定された場合はＳ２０９に移り、眼の追跡領域
をクリアしＳ２０１に戻り、再度画像全体からの眼の位
置検出を行う。
【００２９】脇見検出判定を行うＳ２１０は、まず、画
像上の眼の座標位置と両眼の間隔変化から運転者が左右
方向の脇見をしているかどうかを判定する。
像上の眼の座標位置と両眼の間隔変化から運転者が左右
方向の脇見をしているかどうかを判定する。
【００３０】図３（ａ）は、運転者が前方を見ている場
合の画像であり、このときの右目の座標を（ｒｘ１，ｙ
１）、左目の座標を（ｌｘ１，ｙ１）とする。図３
（ｂ）は、運転者が左方向の脇見をしている場合の画像
であり、右目のＸ座標をｒｘ２、左目のＸ座標をｌｘ２
とする。図３（ａ）、（ｂ）ともに画像の座標原点は画
像左上とし、Ｘ軸は原点から右方向、Ｙ軸は原点から下
方とする。
合の画像であり、このときの右目の座標を（ｒｘ１，ｙ
１）、左目の座標を（ｌｘ１，ｙ１）とする。図３
（ｂ）は、運転者が左方向の脇見をしている場合の画像
であり、右目のＸ座標をｒｘ２、左目のＸ座標をｌｘ２
とする。図３（ａ）、（ｂ）ともに画像の座標原点は画
像左上とし、Ｘ軸は原点から右方向、Ｙ軸は原点から下
方とする。
【００３１】運転者が左方向の脇見をしている場合は、
右及び左の眼のＸ座標ｒｘ２，ｌｘ２が、車両前方を見
ている時の座標ｒｘ１，ｌｘ１よりも大きくなる。この
とき両眼の間隔は、前方を見ている場合より脇見をして
いる場合が小さくなり、次の式（１）の関係が成り立
つ。
右及び左の眼のＸ座標ｒｘ２，ｌｘ２が、車両前方を見
ている時の座標ｒｘ１，ｌｘ１よりも大きくなる。この
とき両眼の間隔は、前方を見ている場合より脇見をして
いる場合が小さくなり、次の式（１）の関係が成り立
つ。
【００３２】
【数１】
ｌｘ１−ｒｘ１＞ｌｘ２−ｒｘ２ …（１）
運転者が右方向の脇見をしている場合は、右及び左の眼
のＸ座標ｒｘ２，ｌｘ２が、車両前方を見ている時の座
標ｒｘ１，ｌｘ１よりも小さくなる。このとき両眼の間
隔も前方を見ている場合より脇見をしている場合が小さ
くなり、同様に式（１）の関係が成り立つ。
のＸ座標ｒｘ２，ｌｘ２が、車両前方を見ている時の座
標ｒｘ１，ｌｘ１よりも小さくなる。このとき両眼の間
隔も前方を見ている場合より脇見をしている場合が小さ
くなり、同様に式（１）の関係が成り立つ。
【００３３】従って、左右方向の脇見をしているかどう
かの判定条件としては、Ｓ２０６で記憶した左眼のＸ座
標をｌｘ、右目のＸ座標をｒｘとすれば、次の式（２）
による。
かの判定条件としては、Ｓ２０６で記憶した左眼のＸ座
標をｌｘ、右目のＸ座標をｒｘとすれば、次の式（２）
による。
【００３４】
【数２】
（ｌｘ１−ｒｘ１）−ｋ＞ｌｘ−ｒｘ …（２）
ここで、ｌｘ１−ｒｘ１は、平均的な日本人の顔を撮影
した場合の画像上の左右両眼の距離を記憶しておいても
よいし、走行前に運転者が前方注視状態の画像を入力
し、この画像から前方注視状態の両眼Ｘ方向距離（ｌｘ
１−ｒｘ１）を算出するようにしてもよい。
した場合の画像上の左右両眼の距離を記憶しておいても
よいし、走行前に運転者が前方注視状態の画像を入力
し、この画像から前方注視状態の両眼Ｘ方向距離（ｌｘ
１−ｒｘ１）を算出するようにしてもよい。
【００３５】また、定数ｋは、フロントウインドウ内の
視線移動においては、脇見と誤判断しないためのもので
ある。
視線移動においては、脇見と誤判断しないためのもので
ある。
【００３６】よって式（２）の判定条件がＳ２１０で満
たされた時は、Ｓ２１４で運転者が左右方向の脇見をし
ていると認定する。Ｓ２１０で前記条件が満たされない
時は、Ｓ２１１に移行する。
たされた時は、Ｓ２１４で運転者が左右方向の脇見をし
ていると認定する。Ｓ２１０で前記条件が満たされない
時は、Ｓ２１１に移行する。
【００３７】尚、左右脇見判定条件として、式（２）の
両眼間隔に加えて、左右両眼のＸ座標がそれぞれ前方注
視状態より一定以上増減変化した場合を加えても良い。
両眼間隔に加えて、左右両眼のＸ座標がそれぞれ前方注
視状態より一定以上増減変化した場合を加えても良い。
【００３８】運転者が下方向の脇見をしている場合は、
図４に示すように眼の位置は、車両前方を見ている時
（ａ）の座標ｒｘ１，ｌｘ１，ｙ１に対し、下方向を見
ている時（ｂ）の座標ｒｘ３，ｌｘ３，ｙ３と殆ど変化
しない。よって、運転者が下方向を見ているかどうか
は、眼の開度変化、すなわち上瞼と下瞼との距離が所定
値以下になっているかどうかで判定する。
図４に示すように眼の位置は、車両前方を見ている時
（ａ）の座標ｒｘ１，ｌｘ１，ｙ１に対し、下方向を見
ている時（ｂ）の座標ｒｘ３，ｌｘ３，ｙ３と殆ど変化
しない。よって、運転者が下方向を見ているかどうか
は、眼の開度変化、すなわち上瞼と下瞼との距離が所定
値以下になっているかどうかで判定する。
【００３９】図４の（ａ）のように運転者が車両前方を
見ている時の眼の開度値ｈ１は所定値以上となるのでＳ
２１３で運転者は前方注視状態にあるとする。また、図
４の（ｂ）のように運転者が下方向を見ている時の眼の
開度値ｈ２は所定値未満となるのでＳ２１２で運転者が
下方向の脇見をしているとする。
見ている時の眼の開度値ｈ１は所定値以上となるのでＳ
２１３で運転者は前方注視状態にあるとする。また、図
４の（ｂ）のように運転者が下方向を見ている時の眼の
開度値ｈ２は所定値未満となるのでＳ２１２で運転者が
下方向の脇見をしているとする。
【００４０】このように眼の位置状態の変化に加え、眼
の開度値判定を行うことにより、下方向への視線移動も
含めた更に精度の高い脇見検出が可能となる。脇見判定
後にＳ２１５で眼の追跡領域の基準座標の更新後Ｓ２０
１に戻り、次に取り込まれる画像データの判定に移る。
の開度値判定を行うことにより、下方向への視線移動も
含めた更に精度の高い脇見検出が可能となる。脇見判定
後にＳ２１５で眼の追跡領域の基準座標の更新後Ｓ２０
１に戻り、次に取り込まれる画像データの判定に移る。
【００４１】図２のフローチャートでは、その構成を出
来るだけ簡素化したもので説明したので記述しなかった
が、Ｓ２１０とＳ２１４の間に、Ｓ２１１と同じ眼の開
度値変化を判定するステップを設けることで、図５の
（ｂ）に示すような斜め下方向を見ていることも判定で
きる。
来るだけ簡素化したもので説明したので記述しなかった
が、Ｓ２１０とＳ２１４の間に、Ｓ２１１と同じ眼の開
度値変化を判定するステップを設けることで、図５の
（ｂ）に示すような斜め下方向を見ていることも判定で
きる。
【００４２】ところで、左右方向への視線移動は、左右
のドアミラーを見るなど、安全確認の必要上、運転者が
行っているものもある。よって、前方を見ていないこ
と、イコール脇見、即警報というロジックを組み立てて
しまうと違和感のあるものになってしまう恐れがある。
そこで、左右方向の脇見と左右下方向の脇見を区別する
ことで、左右の脇見は、安全確認であるかも知れないこ
とを前提とした脇見警報判定を行い、左右下方向につい
ては安全確認でないことを前提とした脇見警報を行うこ
とでより違和感のないものにできる。
のドアミラーを見るなど、安全確認の必要上、運転者が
行っているものもある。よって、前方を見ていないこ
と、イコール脇見、即警報というロジックを組み立てて
しまうと違和感のあるものになってしまう恐れがある。
そこで、左右方向の脇見と左右下方向の脇見を区別する
ことで、左右の脇見は、安全確認であるかも知れないこ
とを前提とした脇見警報判定を行い、左右下方向につい
ては安全確認でないことを前提とした脇見警報を行うこ
とでより違和感のないものにできる。
【００４３】〔第２実施形態〕次に、本発明に係る運転
者の状態検出装置の第２の実施形態を図６、図７、図８
を用いて説明する。図６は、本発明に係る運転者の状態
検出装置の第２実施形態を説明する基本構成図であり、
請求項２に対応する。
者の状態検出装置の第２の実施形態を図６、図７、図８
を用いて説明する。図６は、本発明に係る運転者の状態
検出装置の第２実施形態を説明する基本構成図であり、
請求項２に対応する。
【００４４】図６において、第２実施形態の運転者の状
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段１０１と、画像撮影手段１０１が撮影した画像から眼
の位置を検出する眼の位置検出手段１０２と、眼の位置
検出手段１０２が検出した眼の位置を基準に眼を含む所
定領域である眼の追跡領域を設定し、眼の位置を追跡す
る眼の追跡手段１０３と、眼の追跡領域内の画像データ
の濃度情報を処理することにより眼の開閉状態を検出す
る眼の開閉状態検出手段１０４と、眼の追跡手段１０３
による眼の位置情報と眼の開閉状態検出手段１０４によ
る眼の開閉情報とに基づいて運転者の脇見状態を検出す
る脇見運転検出手段６０５と、車両の走行状態を検出す
る車両走行状態検出手段６０６と、運転者の運転操作状
態を検出する運転操作状態検出手段６０７と、車両走行
状態検出手段６０６からの情報により、運転者の単発的
な脇見行為に対して注意を促す第１脇見警報手段６０８
と、車両走行状態検出手段６０６及び運転操作状態検出
手段６０７からの情報により、運転者の注意散漫状態に
対して注意を促す第２脇見警報手段６０９とを備えて構
成されている。
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段１０１と、画像撮影手段１０１が撮影した画像から眼
の位置を検出する眼の位置検出手段１０２と、眼の位置
検出手段１０２が検出した眼の位置を基準に眼を含む所
定領域である眼の追跡領域を設定し、眼の位置を追跡す
る眼の追跡手段１０３と、眼の追跡領域内の画像データ
の濃度情報を処理することにより眼の開閉状態を検出す
る眼の開閉状態検出手段１０４と、眼の追跡手段１０３
による眼の位置情報と眼の開閉状態検出手段１０４によ
る眼の開閉情報とに基づいて運転者の脇見状態を検出す
る脇見運転検出手段６０５と、車両の走行状態を検出す
る車両走行状態検出手段６０６と、運転者の運転操作状
態を検出する運転操作状態検出手段６０７と、車両走行
状態検出手段６０６からの情報により、運転者の単発的
な脇見行為に対して注意を促す第１脇見警報手段６０８
と、車両走行状態検出手段６０６及び運転操作状態検出
手段６０７からの情報により、運転者の注意散漫状態に
対して注意を促す第２脇見警報手段６０９とを備えて構
成されている。
【００４５】尚、画像撮影手段１０１と、眼の位置検出
手段１０２と、眼の追跡手段１０３と、眼の開閉状態検
出手段１０４とは、図１に示した第１実施形態と同様の
構成要素である。
手段１０２と、眼の追跡手段１０３と、眼の開閉状態検
出手段１０４とは、図１に示した第１実施形態と同様の
構成要素である。
【００４６】具体的なハードウェアの構成としては、画
像撮影手段１０１は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してＴＶ信号と
して出力するＴＶカメラである。眼の位置検出手段１０
２と、眼の追跡手段１０３と、眼の開閉状態検出手段１
０４と、脇見運転検出手段６０５と、第１脇見警報手段
６０８と、第２脇見警報手段６０９とは、マイクロコン
ピュータとその出力装置としてのスピーカとで構成され
ている。このマイクロコンピュータは、ＴＶ信号を入力
するビデオキャプチャー回路、画像信号を一時記憶する
画像メモリ、画像メモリに記憶された画像に対して処理
操作を行う演算処理装置と、スピーカを駆動するための
Ｄ／Ａ変換回路及び低周波増幅回路を備えている。
像撮影手段１０１は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してＴＶ信号と
して出力するＴＶカメラである。眼の位置検出手段１０
２と、眼の追跡手段１０３と、眼の開閉状態検出手段１
０４と、脇見運転検出手段６０５と、第１脇見警報手段
６０８と、第２脇見警報手段６０９とは、マイクロコン
ピュータとその出力装置としてのスピーカとで構成され
ている。このマイクロコンピュータは、ＴＶ信号を入力
するビデオキャプチャー回路、画像信号を一時記憶する
画像メモリ、画像メモリに記憶された画像に対して処理
操作を行う演算処理装置と、スピーカを駆動するための
Ｄ／Ａ変換回路及び低周波増幅回路を備えている。
【００４７】また、車両走行状態検出手段６０６は、超
音波やレーダを用いて先行車や道路落下物への接近状態
を検知する前方障害物検知手段、走行距離や燃料残量な
どのメーター内に表示される情報が所定値になったこと
を検出するメーター情報検出手段、車両の現在位置を検
出して制限速度取締区間の走行中であるか否かの判定結
果を出力する手段を備えている。
音波やレーダを用いて先行車や道路落下物への接近状態
を検知する前方障害物検知手段、走行距離や燃料残量な
どのメーター内に表示される情報が所定値になったこと
を検出するメーター情報検出手段、車両の現在位置を検
出して制限速度取締区間の走行中であるか否かの判定結
果を出力する手段を備えている。
【００４８】運転操作状態検出手段６０７は、エアコン
ディショナーの操作信号、オーディオ装置の操作信号、
ナビゲーションシステムの操作信号がある。
ディショナーの操作信号、オーディオ装置の操作信号、
ナビゲーションシステムの操作信号がある。
【００４９】本実施形態は、車両走行状態と運転操作状
態の情報を用いて、緊急度が高い第１脇見警報と、運転
者の注意散漫状態に対して注意を促す第２脇見警報を、
適切なタイミングで出力することを目的としたものであ
る。
態の情報を用いて、緊急度が高い第１脇見警報と、運転
者の注意散漫状態に対して注意を促す第２脇見警報を、
適切なタイミングで出力することを目的としたものであ
る。
【００５０】第１脇見警報、第２脇見警報は、共にマイ
クロコンピュータからスピーカを鳴動させることにより
運転者に伝えられる。第１脇見警報は、第２脇見警報よ
り緊急度が高い警報であるので、第１脇見警報の警報音
を第２脇見警報の警報音より、音を大きくするか、高く
するか、断続周期を短くするか、或いはこれらを組み合
わせることにより、第１脇見警報と第２脇見警報を区別
可能とすることができる。
クロコンピュータからスピーカを鳴動させることにより
運転者に伝えられる。第１脇見警報は、第２脇見警報よ
り緊急度が高い警報であるので、第１脇見警報の警報音
を第２脇見警報の警報音より、音を大きくするか、高く
するか、断続周期を短くするか、或いはこれらを組み合
わせることにより、第１脇見警報と第２脇見警報を区別
可能とすることができる。
【００５１】次に、図７、図８のフローチャートを参照
して、本実施形態の動作を説明する。尚、第１実施形態
の処理内容と同じ処理内容のステップには、同じステッ
プ番号を付与して、重複する説明を省略する。図７にお
いて、Ｓ２０１からＳ２０９までは、図２に示した第１
実施形態と同じ処理である。
して、本実施形態の動作を説明する。尚、第１実施形態
の処理内容と同じ処理内容のステップには、同じステッ
プ番号を付与して、重複する説明を省略する。図７にお
いて、Ｓ２０１からＳ２０９までは、図２に示した第１
実施形態と同じ処理である。
【００５２】図７のＳ７１０で第１の実施形態と同様に
眼の座標位置と両眼の間隔変化があるかどうかを判定
し、変化があった場合はＳ７１４へと移行して左右方向
の脇見があったとする。その後、Ｓ７１７で左右方向脇
見カウンタのカウントアップを行い、もう一つのループ
で下方向脇見カウンタがカウントアップされている場合
はそのカウンタをクリアする。
眼の座標位置と両眼の間隔変化があるかどうかを判定
し、変化があった場合はＳ７１４へと移行して左右方向
の脇見があったとする。その後、Ｓ７１７で左右方向脇
見カウンタのカウントアップを行い、もう一つのループ
で下方向脇見カウンタがカウントアップされている場合
はそのカウンタをクリアする。
【００５３】ここでカウントアップする実際の値は、対
象と取り込み画像に対する処理結果の回数であり、複数
回同じループを回っている回数で脇見時間として判定す
る。つまり、画像撮影手段から取り込んだ１画像当たり
の処理時間が０．１秒だとすると、同じループを続けて
１０回処理した場合、１秒間脇見をしていることにな
る。
象と取り込み画像に対する処理結果の回数であり、複数
回同じループを回っている回数で脇見時間として判定す
る。つまり、画像撮影手段から取り込んだ１画像当たり
の処理時間が０．１秒だとすると、同じループを続けて
１０回処理した場合、１秒間脇見をしていることにな
る。
【００５４】Ｓ７１０で眼の座標位置と両眼の間隔変化
がなかった場合はＳ７１１に移行する。Ｓ７１１では、
第１実施形態と同様に眼の開度値の状態を判定する。眼
の開度値が所定値以上となる場合は、Ｓ７１３に移行し
前方注視状態にあるとする。
がなかった場合はＳ７１１に移行する。Ｓ７１１では、
第１実施形態と同様に眼の開度値の状態を判定する。眼
の開度値が所定値以上となる場合は、Ｓ７１３に移行し
前方注視状態にあるとする。
【００５５】その後、Ｓ７１６で他のループの左右方向
脇見カウンタか下方向脇見カウンタがカウントアップさ
れている場合はそのカウンタをクリアする。Ｓ７１１で
眼の開度値が所定値未満の場合はＳ７１２に移行し下方
向の脇見があったとする。その後、Ｓ７１５で下方向脇
見カウンタのカウントアップを行い、もう一つのループ
で左右方向脇見カウンタがカウントアップされている場
合はそのカウンタをクリアする。Ｓ７１５，７１６，７
１７の処理後、図８のＳ８０１に移行する。
脇見カウンタか下方向脇見カウンタがカウントアップさ
れている場合はそのカウンタをクリアする。Ｓ７１１で
眼の開度値が所定値未満の場合はＳ７１２に移行し下方
向の脇見があったとする。その後、Ｓ７１５で下方向脇
見カウンタのカウントアップを行い、もう一つのループ
で左右方向脇見カウンタがカウントアップされている場
合はそのカウンタをクリアする。Ｓ７１５，７１６，７
１７の処理後、図８のＳ８０１に移行する。
【００５６】Ｓ８０１では、脇見カウンタが所定数に達
したかどうかを判定しており、所定数に達していない場
合は、Ｓ８１１に移行し、眼の追跡領域の基準座標を更
新して、図７のＳ７０１に戻り、次の画像取り込みを行
う。Ｓ８０１で、脇見カウンタが所定数に達した場合
は、Ｓ８０２に移行する。Ｓ８０１での処理は前述した
が、左右または下方向の脇見が所定時間以上であるかど
うかを判定している。
したかどうかを判定しており、所定数に達していない場
合は、Ｓ８１１に移行し、眼の追跡領域の基準座標を更
新して、図７のＳ７０１に戻り、次の画像取り込みを行
う。Ｓ８０１で、脇見カウンタが所定数に達した場合
は、Ｓ８０２に移行する。Ｓ８０１での処理は前述した
が、左右または下方向の脇見が所定時間以上であるかど
うかを判定している。
【００５７】Ｓ８０２では、前方障害物検知手段が前方
障害物を検知し、その障害物に接近状態であるかどうか
を判定している。つまり、前方障害物に接近している時
に、運転者が前方以外を見ていると判定された場合は、
緊急度の高い、第１脇見警報をＳ８０３で出力する（請
求項４）。
障害物を検知し、その障害物に接近状態であるかどうか
を判定している。つまり、前方障害物に接近している時
に、運転者が前方以外を見ていると判定された場合は、
緊急度の高い、第１脇見警報をＳ８０３で出力する（請
求項４）。
【００５８】次いでＳ８０４以降の処理で、運転者の注
意散漫状態に対して注意を促す第２脇見警報の出力方法
について説明する。Ｓ８０４では、下方向脇見カウンタ
が所定数に達したかどうかを判定し、所定数に達してい
ない場合は、Ｓ８１１に移行して、次の画像取り込みを
行う。Ｓ８０４で下方向だけの脇見カウンタを対象とし
ている理由は、下方向への運転者の視線移動は、その行
為そのものが安全確認など、車を運転する上で必要不可
欠なものでないのに対し、左右方向への視線移動は、脇
見行為に含めて、安全確認も含まれるからである。
意散漫状態に対して注意を促す第２脇見警報の出力方法
について説明する。Ｓ８０４では、下方向脇見カウンタ
が所定数に達したかどうかを判定し、所定数に達してい
ない場合は、Ｓ８１１に移行して、次の画像取り込みを
行う。Ｓ８０４で下方向だけの脇見カウンタを対象とし
ている理由は、下方向への運転者の視線移動は、その行
為そのものが安全確認など、車を運転する上で必要不可
欠なものでないのに対し、左右方向への視線移動は、脇
見行為に含めて、安全確認も含まれるからである。
【００５９】また、第１脇見警報に関して、左右と下方
向の両方を脇見警報の対象としているのは、前方障害物
への接近という目前の危険状態に対して、例えその行為
が安全確認であってもその時点では許される行為ではな
いからである。Ｓ８０４で、下方向脇見カウンタが所定
数に達した場合は、Ｓ８０５に移行する。
向の両方を脇見警報の対象としているのは、前方障害物
への接近という目前の危険状態に対して、例えその行為
が安全確認であってもその時点では許される行為ではな
いからである。Ｓ８０４で、下方向脇見カウンタが所定
数に達した場合は、Ｓ８０５に移行する。
【００６０】Ｓ８０５では、車両走行状態又は運転操作
状態が所定条件となっているかどうかを判定する。この
ステップでは、車両走行状態と運転操作状態から下方向
を見ていると判定された眼の開度値の変化が、本当に下
方向を見ることによって起こっているのか、また単に眼
を閉じたから発生したのかを選別している。
状態が所定条件となっているかどうかを判定する。この
ステップでは、車両走行状態と運転操作状態から下方向
を見ていると判定された眼の開度値の変化が、本当に下
方向を見ることによって起こっているのか、また単に眼
を閉じたから発生したのかを選別している。
【００６１】つまり、下方向に頻繁に視線を移動させる
状況を、メーター情報検出手段がメーターの距離計や燃
料残量が運転者にとって必要以上に気になる状態になっ
ているかどうを検出したり、車両の現在位置が速度取締
り区間であり、走行速度を普通の状態以上に気にしてい
ないかなどを車両走行状態検出手段で検出する。
状況を、メーター情報検出手段がメーターの距離計や燃
料残量が運転者にとって必要以上に気になる状態になっ
ているかどうを検出したり、車両の現在位置が速度取締
り区間であり、走行速度を普通の状態以上に気にしてい
ないかなどを車両走行状態検出手段で検出する。
【００６２】また、カーオーディオやナビゲーションシ
ステムのスイッチ操作が頻繁に行われていないかなどを
運転操作状態検出手段で検出する。
ステムのスイッチ操作が頻繁に行われていないかなどを
運転操作状態検出手段で検出する。
【００６３】Ｓ８０５で車両走行状態や運転操作状態が
所定条件になっていないと判定された場合は、下方向へ
の視線移動ではなく閉眼が発生したものとしてＳ８１１
に移行する。Ｓ８０５で所定条件であると判定された場
合は、Ｓ８０６に移行して、下方向脇見頻度カウンタの
カウントアップ、初期カウントアップ時間の記憶、下方
向脇見カウンタをクリアする。下方向脇見頻度カウンタ
と該カウンタの初期カウントアップ時間をメモリするこ
とによって、所定時間内に下方向に視線を移動させる頻
度を計測している。
所定条件になっていないと判定された場合は、下方向へ
の視線移動ではなく閉眼が発生したものとしてＳ８１１
に移行する。Ｓ８０５で所定条件であると判定された場
合は、Ｓ８０６に移行して、下方向脇見頻度カウンタの
カウントアップ、初期カウントアップ時間の記憶、下方
向脇見カウンタをクリアする。下方向脇見頻度カウンタ
と該カウンタの初期カウントアップ時間をメモリするこ
とによって、所定時間内に下方向に視線を移動させる頻
度を計測している。
【００６４】次いで、Ｓ８０７で初期カウントアップ開
始から所定時間経過したかどうかを判定し、所定時間経
過していない場合は、Ｓ８１１に移行する。Ｓ８０７で
初期カウントアップ開始から所定時間経過したと判定さ
れた場合は、Ｓ８０８に移行する。Ｓ８０８では、下方
向脇見頻度カウンタが所定数に達したかどうかを判定し
ており、下方向脇見頻度カウンタが所定数に達した時
は、必要以上に運転者が下方向を見る注意散漫状態であ
るとして、第２脇見警報を出力し、Ｓ８１０で下方向脇
見頻度カウンタと初期カウントアップ時間のメモリをク
リアする。
始から所定時間経過したかどうかを判定し、所定時間経
過していない場合は、Ｓ８１１に移行する。Ｓ８０７で
初期カウントアップ開始から所定時間経過したと判定さ
れた場合は、Ｓ８０８に移行する。Ｓ８０８では、下方
向脇見頻度カウンタが所定数に達したかどうかを判定し
ており、下方向脇見頻度カウンタが所定数に達した時
は、必要以上に運転者が下方向を見る注意散漫状態であ
るとして、第２脇見警報を出力し、Ｓ８１０で下方向脇
見頻度カウンタと初期カウントアップ時間のメモリをク
リアする。
【００６５】Ｓ８０８で下方向脇見頻度カウンタが所定
数に達していない時は、Ｓ８０９をパスして直接、Ｓ８
１０に移行する。その後、Ｓ８１１で眼の追跡領域の基
準座標を更新して、次の画像の取り込みを行う。
数に達していない時は、Ｓ８０９をパスして直接、Ｓ８
１０に移行する。その後、Ｓ８１１で眼の追跡領域の基
準座標を更新して、次の画像の取り込みを行う。
【００６６】以上説明した第２実施形態によれば、車両
走行状態と運転操作状態を脇見運転検出判定に用い、緊
急度の高い第１脇見警報と、注意散漫状態の検出し注意
を促すことを目的とした第２脇見警報に分けたので、運
転者にとってより違和感のない警報を実現できるという
効果がある。
走行状態と運転操作状態を脇見運転検出判定に用い、緊
急度の高い第１脇見警報と、注意散漫状態の検出し注意
を促すことを目的とした第２脇見警報に分けたので、運
転者にとってより違和感のない警報を実現できるという
効果がある。
【００６７】〔第３実施形態〕次に、図９、図１０、図
１１を参照して、本発明に係る運転者の状態検出装置の
第３の実施形態を説明する。図９は、第３実施形態の構
成を説明する基本構成図であり、請求項３に対応する。
１１を参照して、本発明に係る運転者の状態検出装置の
第３の実施形態を説明する。図９は、第３実施形態の構
成を説明する基本構成図であり、請求項３に対応する。
【００６８】図９において、第３実施形態の運転者の状
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段１０１と、画像撮影手段１０１が撮影した画像から眼
の位置を検出する眼の位置検出手段１０２と、眼の位置
検出手段１０２が検出した眼の位置を基準に眼を含む所
定領域である眼の追跡領域を設定し、眼の位置を追跡す
る眼の追跡手段１０３と、眼の追跡領域内の画像データ
の濃度情報を処理することにより眼の開閉状態を検出す
る眼の開閉状態検出手段１０４と、眼の開閉状態検出手
段１０４による眼の開閉情報から運転者の居眠り状態を
検出する居眠り運転検出手段９０８と、眼の追跡手段１
０３による眼の位置情報と眼の開閉状態検出手段１０４
による眼の開閉情報から運転者の脇見状態を検出する脇
見運転検出手段９０９と、車両の走行状態を検出する車
両走行状態検出手段９０６と、運転者の運転操作状態を
検出する運転操作状態検出手段９０７と、車両走行状態
検出手段９０６と運転操作状態検出手段９０７と眼の追
跡手段１０３から少なくとも一つの情報により、眼の開
閉状態検出手段１０４によって検出される閉眼情報を居
眠り検出主導で用いるか、脇見検出主導で用いるかを切
り替える眼の開度情報の判定用途切り替え手段９０５と
を備えて構成されている。
態検出装置は、運転者の顔の画像を撮影する画像撮影手
段１０１と、画像撮影手段１０１が撮影した画像から眼
の位置を検出する眼の位置検出手段１０２と、眼の位置
検出手段１０２が検出した眼の位置を基準に眼を含む所
定領域である眼の追跡領域を設定し、眼の位置を追跡す
る眼の追跡手段１０３と、眼の追跡領域内の画像データ
の濃度情報を処理することにより眼の開閉状態を検出す
る眼の開閉状態検出手段１０４と、眼の開閉状態検出手
段１０４による眼の開閉情報から運転者の居眠り状態を
検出する居眠り運転検出手段９０８と、眼の追跡手段１
０３による眼の位置情報と眼の開閉状態検出手段１０４
による眼の開閉情報から運転者の脇見状態を検出する脇
見運転検出手段９０９と、車両の走行状態を検出する車
両走行状態検出手段９０６と、運転者の運転操作状態を
検出する運転操作状態検出手段９０７と、車両走行状態
検出手段９０６と運転操作状態検出手段９０７と眼の追
跡手段１０３から少なくとも一つの情報により、眼の開
閉状態検出手段１０４によって検出される閉眼情報を居
眠り検出主導で用いるか、脇見検出主導で用いるかを切
り替える眼の開度情報の判定用途切り替え手段９０５と
を備えて構成されている。
【００６９】具体的なハードウェアの構成としては、画
像撮影手段１０１は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してＴＶ信号と
して出力するＴＶカメラである。眼の位置検出手段１０
２と、眼の追跡手段１０３と、眼の開閉状態検出手段１
０４と、眼の開度情報の判定用途切り替え手段９０５
と、居眠り運転検出手段９０８と、脇見運転検出手段９
０９とは、マイクロコンピュータで構成されている。こ
のマイクロコンピュータは、ＴＶ信号を入力するビデオ
キャプチャー回路、画像信号を一時記憶する画像メモ
リ、画像メモリに記憶された画像に対して処理操作を行
う演算処理装置を備えている。
像撮影手段１０１は、車両のインストメントパネル等に
設けられ、運転者の顔を略正面から撮影してＴＶ信号と
して出力するＴＶカメラである。眼の位置検出手段１０
２と、眼の追跡手段１０３と、眼の開閉状態検出手段１
０４と、眼の開度情報の判定用途切り替え手段９０５
と、居眠り運転検出手段９０８と、脇見運転検出手段９
０９とは、マイクロコンピュータで構成されている。こ
のマイクロコンピュータは、ＴＶ信号を入力するビデオ
キャプチャー回路、画像信号を一時記憶する画像メモ
リ、画像メモリに記憶された画像に対して処理操作を行
う演算処理装置を備えている。
【００７０】また、車両走行状態検出手段９０６として
は、車両速度を検出する車速センサや車体加速度を検出
する加速度計、エンジンの回転速度を検出するエンジン
回転計（電気自動車であれば駆動モータ回転計）があ
る。この車両走行状態検出手段９０６の検出結果によ
り、眼の開度情報の判定用途切り替え手段は、車両が巡
航走行、または渋滞走行であると判断した場合、居眠り
運転検出主導に切り替える。
は、車両速度を検出する車速センサや車体加速度を検出
する加速度計、エンジンの回転速度を検出するエンジン
回転計（電気自動車であれば駆動モータ回転計）があ
る。この車両走行状態検出手段９０６の検出結果によ
り、眼の開度情報の判定用途切り替え手段は、車両が巡
航走行、または渋滞走行であると判断した場合、居眠り
運転検出主導に切り替える。
【００７１】運転操作状態検出手段９０７としては、エ
アコンディショナーの操作信号、オーディオ装置の操作
信号、ナビゲーションシステムの操作信号がある。
アコンディショナーの操作信号、オーディオ装置の操作
信号、ナビゲーションシステムの操作信号がある。
【００７２】上記構成により本実施形態は、車両走行状
態と運転操作状態により眼の開度値が小さくなっている
情報の用途を居眠り検出と脇見検出を切り替えられるよ
うにしたので、より的確な居眠り運転警報と、脇見運転
警報が実現できる。
態と運転操作状態により眼の開度値が小さくなっている
情報の用途を居眠り検出と脇見検出を切り替えられるよ
うにしたので、より的確な居眠り運転警報と、脇見運転
警報が実現できる。
【００７３】次に、第３の実施形態の動作を図１０のフ
ローチャートと、図１１を用いて説明する。本実施形態
は、車両走行状態と運転操作状態の情報を用いて、出力
される眼の開度値が小さくなっていることの確認結果
を、閉眼であるとして居眠り検出に用いるか、下方向を
見ることによって眼の開度が小さくなっているとして脇
見検出に用いるかを切り替えることによって居眠り検出
と脇見検出の両方で精度向上を行うことを目的としてい
る。
ローチャートと、図１１を用いて説明する。本実施形態
は、車両走行状態と運転操作状態の情報を用いて、出力
される眼の開度値が小さくなっていることの確認結果
を、閉眼であるとして居眠り検出に用いるか、下方向を
見ることによって眼の開度が小さくなっているとして脇
見検出に用いるかを切り替えることによって居眠り検出
と脇見検出の両方で精度向上を行うことを目的としてい
る。
【００７４】本実施形態のフローチャートを用いての処
理内容の説明についても、第１の実施形態と異なる箇所
のみとする。Ｓ１０１０で眼の開度値が所定値未満であ
ると判定された場合は、Ｓ１０１１に移行する。Ｓ１０
１０で眼の開度値が所定値未満になる場合は、図１１の
（ａ）に示すようにメーターなど運転者が下方向を見て
いる場合と、図１１の（ｂ）に示すように眠くて眼を閉
じている場合がある。Ｓ１０１１では、車両走行状態や
運転操作状態の情報を用いることにより小さくなった眼
の開度値が、下方向を見たことによって発生している
か、眼を閉じたことによって発生したのかを区別する処
理を行っている。
理内容の説明についても、第１の実施形態と異なる箇所
のみとする。Ｓ１０１０で眼の開度値が所定値未満であ
ると判定された場合は、Ｓ１０１１に移行する。Ｓ１０
１０で眼の開度値が所定値未満になる場合は、図１１の
（ａ）に示すようにメーターなど運転者が下方向を見て
いる場合と、図１１の（ｂ）に示すように眠くて眼を閉
じている場合がある。Ｓ１０１１では、車両走行状態や
運転操作状態の情報を用いることにより小さくなった眼
の開度値が、下方向を見たことによって発生している
か、眼を閉じたことによって発生したのかを区別する処
理を行っている。
【００７５】つまり、Ｓ１０１０で眼の開度値が所定値
未満となった場合、居眠りにより眼を閉じているのか、
下方脇見により眼の開度値が小さくなったかを判断する
ため、Ｓ１０１１で車両走行状態、又は運転操作状態が
所定条件となっているかを判定する。
未満となった場合、居眠りにより眼を閉じているのか、
下方脇見により眼の開度値が小さくなったかを判断する
ため、Ｓ１０１１で車両走行状態、又は運転操作状態が
所定条件となっているかを判定する。
【００７６】車両走行状態の所定条件は、車速センサ検
出値が居眠り運転が起こりやすい一定速度が継続する巡
航走行状態又は低速度が継続する渋滞走行状態である。
尚、車速センサに代えて、車両加速度計、エンジン回転
計の検出値を用いても上記車両走行状態を判定できる。
出値が居眠り運転が起こりやすい一定速度が継続する巡
航走行状態又は低速度が継続する渋滞走行状態である。
尚、車速センサに代えて、車両加速度計、エンジン回転
計の検出値を用いても上記車両走行状態を判定できる。
【００７７】また、運転操作状態の所定条件は、ハンド
ル、アクセル、ブレーキ、シフトレバー等の操作頻度が
少なくなっている状態である。
ル、アクセル、ブレーキ、シフトレバー等の操作頻度が
少なくなっている状態である。
【００７８】Ｓ１０１１で所定条件になっていると判定
された場合は、Ｓ１０１３に移行し小さい眼の開度値を
閉眼が発生しているとして、その出力タイミングにより
居眠り検出を行い、所定条件になっていないと判定され
た場合は、Ｓ１０１２に移行し下方向の脇見であるとす
る。Ｓ１０１０で眼の開度値が所定値以上であると判定
された場合は、Ｓ１０１４に移行して運転者が左右方向
の脇見をしているかどうかの判定を行う。
された場合は、Ｓ１０１３に移行し小さい眼の開度値を
閉眼が発生しているとして、その出力タイミングにより
居眠り検出を行い、所定条件になっていないと判定され
た場合は、Ｓ１０１２に移行し下方向の脇見であるとす
る。Ｓ１０１０で眼の開度値が所定値以上であると判定
された場合は、Ｓ１０１４に移行して運転者が左右方向
の脇見をしているかどうかの判定を行う。
【００７９】以上説明した第３実施形態によれば、車両
走行状態と運転操作状態により眼の開度値が小さくなっ
ている情報の用途を居眠り検出と脇見検出を切り替えら
れるようにしたので、より的確な居眠り運転警報と、脇
見運転警報が実現できるという効果がある。
走行状態と運転操作状態により眼の開度値が小さくなっ
ている情報の用途を居眠り検出と脇見検出を切り替えら
れるようにしたので、より的確な居眠り運転警報と、脇
見運転警報が実現できるという効果がある。
【図１】本発明の運転者の状態検出装置の第１実施形態
の基本構成図である。
の基本構成図である。
【図２】本発明の運転者の状態検出装置の第１実施形態
の動作を示すフローチャートである。
の動作を示すフローチャートである。
【図３】脇見検出方法に関する説明図である。
【図４】脇見検出方法に関する説明図である。
【図５】脇見検出方法に関する説明図である。
【図６】本発明の運転者の状態検出装置の第２実施形態
の基本構成図である。
の基本構成図である。
【図７】本発明の運転者の状態検出装置の第２実施形態
の動作を示すフローチャートである。
の動作を示すフローチャートである。
【図８】本発明の運転者の状態検出装置の第２実施形態
の動作を示すフローチャートである。
の動作を示すフローチャートである。
【図９】本発明の運転者の状態検出装置の第３実施形態
の基本構成図である。
の基本構成図である。
【図１０】本発明の運転者の状態検出装置の第３実施形
態の動作を示すフローチャートである。
態の動作を示すフローチャートである。
【図１１】閉眼情報の判定用途切り替え方法に関する説
明図である。
明図である。
１０１…画像撮影手段
１０２…眼の位置検出手段
１０３…眼の追跡手段
１０４…眼の開閉状態検出手段
１０５…脇見運転検出手段
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ
(72)発明者 上野 裕史
神奈川県横浜市神奈川区宝町２番地 日産
自動車株式会社内
Ｆターム(参考） 3D037 FA05 FB09
5B057 AA19 BA02 CA12 CA16 DA06
DB02 DC08 DC36
5C054 AA01 CH01 EA01 EA05 EA07
ED07 FC03 FC15 FF06 GB15
HA30
5L096 BA02 BA04 CA02 FA66 FA69
HA02 JA11
Claims (9)
- 【請求項１】 運転者の顔の画像を撮影する画像撮影手
段と、 前記画像から眼の位置を検出する眼の位置検出手段と、 前記眼の位置検出手段が検出した眼の位置を基準に前記
画像上で眼を含む所定領域を設定し、眼の位置を追跡す
る眼の追跡手段と、 前記所定領域内の画像データの濃度情報を処理すること
により眼の開閉状態を検出する眼の開閉状態検出手段
と、 前記眼の追跡手段による眼の位置情報と前記眼の開閉状
態検出手段による眼の開閉情報とに基づいて運転者の脇
見状態を検出する脇見運転検出手段と、 を備えたことを特徴とする運転者の状態検出装置。 - 【請求項２】 運転者の顔の画像を撮影する画像撮影手
段と、 前記画像から眼の位置を検出する眼の位置検出手段と、 前記眼の位置検出手段が検出した眼の位置を基準に前記
画像上で眼を含む所定領域を設定し、眼の位置を追跡す
る眼の追跡手段と、 前記所定領域内の画像データの濃度情報を処理すること
により眼の開閉状態を検出する眼の開閉状態検出手段
と、 前記眼の追跡手段による眼の位置情報と前記眼の開閉状
態検出手段による眼の開閉情報とに基づいて運転者の脇
見状態を検出する脇見運転検出手段と、 車両の走行状態を検出する車両走行状態検出手段と、 運転者の運転操作状態を検出する運転操作状態検出手段
と、 前記車両走行状態検出手段からの情報により、運転者の
単発的な脇見行為に対して注意を促す第１脇見警報手段
と、 前記車両走行状態検出手段と運転操作状態検出手段から
の情報により、運転者の注意散漫状態に対して注意を促
す第２脇見警報手段と、 を備えたことを特徴とする運転者の状態検出装置。 - 【請求項３】 運転者の顔の画像を撮影する画像撮影手
段と、 前記画像から眼の位置を検出する眼の位置検出手段と、 前記眼の位置検出手段が検出した眼の位置を基準に前記
画像上で眼を含む所定領域を設定し、眼の位置を追跡す
る眼の追跡手段と、 前記所定領域内の画像データの濃度情報を処理すること
により眼の開閉状態を検出する眼の開閉状態検出手段
と、 前記眼の追跡手段による眼の位置情報と前記眼の開閉状
態検出手段による眼の開閉情報とに基づいて運転者の脇
見状態を検出する脇見運転検出手段と、 前記眼の開閉状態検出手段による眼の開閉情報から運転
者の居眠り状態を検出する居眠り運転検出手段と、 車両の走行状態を検出する車両走行状態検出手段と、 運転者の運転操作状態を検出する運転操作状態検出手段
と、 前記車両走行状態検出手段と運転操作状態検出手段と眼
の追跡手段から少なくとも一つの情報により、前記眼の
開閉状態検出手段によって検出される閉眼情報を居眠り
検出主導で用いるか、脇見検出主導で用いるかを切り替
える眼の開度情報の判定用途切り替え手段と、 を備えたことを特徴とする運転者の状態検出装置。 - 【請求項４】 前記車両走行状態検出手段は、先行車や
道路落下物への接近状態を検知する前方障害物検知手段
を備えたことを特徴とする請求項２又は請求項３に記載
の運転者の状態検出装置。 - 【請求項５】 前記車両走行状態検出手段は、走行距離
や燃料残量などのメーター内に表示される情報が所定条
件になったことを検出するメーター情報検出手段を備え
たことを特徴とする請求項２又は請求項３に記載の運転
者の状態検出装置。 - 【請求項６】 前記車両走行状態検出手段は、車両の位
置を検出する位置検出手段を備えたことを特徴とする請
求項２又は請求項３に記載の運転者の状態検出装置。 - 【請求項７】 前記運転操作状態検出手段は、カーオー
ディオやナビゲーションシステムなどのスイッチ操作を
検出するスイッチ操作状態検出手段を備えたことを特徴
とする請求項２又は請求項３記載の運転者の状態検出装
置。 - 【請求項８】 前記車両走行状態検出手段は、車両の速
度を検出する車速センサであり、 前記眼の開度情報の判定用途切り替え手段は、車両速度
に基づいて巡航走行又は渋滞走行であるとを判定した場
合、居眠り検出主導に切り替えることを特徴とする請求
項３に記載の運転者の状態検出装置。 - 【請求項９】 前記運転操作状態検出手段は、ハンド
ル、アクセル、ブレーキ、シフトレバーのうちの少なく
とも一つの操作を検出する操作状態検出手段からなるこ
とを特徴とする請求項３に記載の運転者の状態検出装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002034243A JP3855790B2 (ja) | 2002-02-12 | 2002-02-12 | 運転者の状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002034243A JP3855790B2 (ja) | 2002-02-12 | 2002-02-12 | 運転者の状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003233803A true JP2003233803A (ja) | 2003-08-22 |
| JP3855790B2 JP3855790B2 (ja) | 2006-12-13 |
Family
ID=27776809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002034243A Expired - Fee Related JP3855790B2 (ja) | 2002-02-12 | 2002-02-12 | 運転者の状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3855790B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100373400C (zh) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | 基于识别模型的多神经网络结合的睁眼检测方法 |
| EP1721782A3 (en) * | 2005-05-10 | 2009-07-29 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
| JP2016115118A (ja) * | 2014-12-15 | 2016-06-23 | アイシン精機株式会社 | 下方視判定装置および下方視判定方法 |
| JP2018526045A (ja) * | 2015-06-22 | 2018-09-13 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 |
| JP2018149942A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5082834B2 (ja) * | 2007-12-27 | 2012-11-28 | オムロン株式会社 | 脇見検出装置および方法、並びに、プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03194661A (ja) * | 1989-12-25 | 1991-08-26 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
| JPH0796768A (ja) * | 1993-09-27 | 1995-04-11 | Nissan Motor Co Ltd | 前方注視度検知装置 |
| JPH07195961A (ja) * | 1993-12-29 | 1995-08-01 | Nissan Motor Co Ltd | 車両用表示装置 |
| JP2000326758A (ja) * | 1999-05-21 | 2000-11-28 | Nissan Motor Co Ltd | 予防安全装置 |
-
2002
- 2002-02-12 JP JP2002034243A patent/JP3855790B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03194661A (ja) * | 1989-12-25 | 1991-08-26 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
| JPH0796768A (ja) * | 1993-09-27 | 1995-04-11 | Nissan Motor Co Ltd | 前方注視度検知装置 |
| JPH07195961A (ja) * | 1993-12-29 | 1995-08-01 | Nissan Motor Co Ltd | 車両用表示装置 |
| JP2000326758A (ja) * | 1999-05-21 | 2000-11-28 | Nissan Motor Co Ltd | 予防安全装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1721782A3 (en) * | 2005-05-10 | 2009-07-29 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
| EP2535224A1 (en) * | 2005-05-10 | 2012-12-19 | Fuji Jukogyo Kabushiki Kaisha | Driving support equipment for vehicles |
| CN100373400C (zh) * | 2006-03-23 | 2008-03-05 | 上海交通大学 | 基于识别模型的多神经网络结合的睁眼检测方法 |
| JP2016115118A (ja) * | 2014-12-15 | 2016-06-23 | アイシン精機株式会社 | 下方視判定装置および下方視判定方法 |
| JP2018526045A (ja) * | 2015-06-22 | 2018-09-13 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 |
| JP2018149942A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3855790B2 (ja) | 2006-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111361552B (zh) | 自动驾驶*** | |
| JP4720386B2 (ja) | 運転支援装置 | |
| US10166918B2 (en) | Drive assisting apparatus | |
| US7209833B2 (en) | Collision possibility determination device | |
| JP6103383B2 (ja) | 車両運転評価システム | |
| CN111443708B (zh) | 自动驾驶*** | |
| JP2018062321A (ja) | 車両制御システム | |
| EP1377948A1 (en) | System for monitoring a driver's attention to driving | |
| JP5601930B2 (ja) | 車両用表示装置 | |
| JP2007082594A (ja) | 疲労検出装置 | |
| US10984658B2 (en) | Vehicle display device for displaying an obstacle warning | |
| WO2008114839A1 (ja) | 覚醒度判定装置及び覚醒度判定方法 | |
| JPH07117593A (ja) | 車両用警報装置 | |
| JP2005135025A (ja) | 衝突可能性判定装置 | |
| JP2007207274A (ja) | 発進報知装置 | |
| JP2021049893A (ja) | 車両制御システム | |
| JP2007038911A (ja) | 車両用警報装置 | |
| JP4211501B2 (ja) | 車両用運転支援装置 | |
| JP2003233803A (ja) | 運転者の状態検出装置 | |
| JP6778941B1 (ja) | あおり運転検知システム | |
| WO2018168097A1 (ja) | 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム | |
| JP3984863B2 (ja) | 発進報知装置 | |
| WO2020148957A1 (ja) | 車両制御装置及び方法 | |
| JP2004051006A (ja) | 交差点事故防止装置及びプログラム | |
| WO2021145367A1 (ja) | あおり運転検知システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060210 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060705 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060904 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090922 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100922 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110922 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120922 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130922 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |