JP4793269B2 - 眠気検知装置 - Google Patents

眠気検知装置 Download PDF

Info

Publication number
JP4793269B2
JP4793269B2 JP2007001410A JP2007001410A JP4793269B2 JP 4793269 B2 JP4793269 B2 JP 4793269B2 JP 2007001410 A JP2007001410 A JP 2007001410A JP 2007001410 A JP2007001410 A JP 2007001410A JP 4793269 B2 JP4793269 B2 JP 4793269B2
Authority
JP
Japan
Prior art keywords
driver
detection device
drowsiness detection
drowsiness
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007001410A
Other languages
English (en)
Other versions
JP2008167806A (ja
Inventor
禎祐 木村
健二 石田
敏之 森下
剛 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2007001410A priority Critical patent/JP4793269B2/ja
Publication of JP2008167806A publication Critical patent/JP2008167806A/ja
Application granted granted Critical
Publication of JP4793269B2 publication Critical patent/JP4793269B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の運転者の眠気を検知する眠気検知装置に関する。
従来より、運転者の顔面を撮影する撮影手段と、撮影手段で撮影された画像から運転者の眠気を検知する画像処理回路と、画像処理回路で眠気が検知されると警告を発する警告手段とを備えた眠気検知装置が知られている。
この種の眠気検知装置では、撮影された画像から運転者の目の開度(即ち、上まぶたと下まぶたとの距離)、及び瞬き時の閉じ時間を算出し、それらを予め設定された閾値と比較することにより眠気を検出すること(例えば、特許文献1参照)や、覚醒時の運転者に固有な瞬き時の閉じ時間から設定される瞬きの評価時間に基づき、評価時間よりも閉じ時間が長い瞬き(以下、長瞬き)を検出し、所定時間内における瞬きの総数と長瞬きとの比率から眠気を検知すること(例えば、特許文献2参照)が提案されている。
特開平6−266981号公報 特開平10−272960号公報
ところで、車両を運転する場合、運転者は、車両の前方に設定される注視点(即ち、運転者が注視すべき位置)の他に、車両に備えられたメータ等も見る必要があり、注視点への視線よりも下方へと視線を向ける(以下、下方へと視線を向けることを下方視とする)必要がある。
しかしながら、従来の眠気検知装置では、下方視の際の目の開度と、眠気が発生した際の目の開度とが酷似しているため、下方視であるにも関わらず、運転者に眠気が発生したと誤認識する可能性が高かった。
また、従来の眠気検知装置では、撮影画像中における下方視の際の目の開度が小さくなるため、実際には目を開いていても画像処理回路が目を閉じているものと判定してしまい、下方視の際の瞬き時の閉じ時間と、眠気が発生した際の瞬きの閉じ時間とがほぼ同じ時間となることで、下方視を眠気の発生と誤認識する可能性があった
これらの問題を解決するために、下方視の際の運転者のまぶたの形状と、眠気が発生した際の運転者のまぶたの形状とが異なることに基づき、下方視を検知する方法についての研究が進められている。そして、この方法では、運転者のまぶたの形状を正確に認識する必要がある。
しかしながら、従来の眠気検知装置では、目の開度等を認識するための画像を撮影しているため、撮影手段で撮影された画像から、運転者のまぶたの形状を正確に認識することは困難であった。
そこで、本発明は、運転者のまぶたの形状を正確に認識し、下方視であることを精度良く検知可能な眠気検知装置を提供することを目的とする。
上記目的を達成するためになされた本発明の眠気検知装置は、撮影手段で撮影した車両の運転者の顔面を含む撮影画像に基づき、輪郭形状抽出手段が運転者の下まぶたの輪郭形状を抽出し、下方視検知手段が、輪郭形状抽出手段で抽出された輪郭形状に基づき、車両の前方に予め設定された注視点への視線よりも下方に運転者が視線を向ける下方視を検知し、眠気検知手段が、撮影手段で撮影した撮影画像から推定される運転者の覚醒度に基づき、下方視検知手段で下方視が検知された場合、下方視であることによる覚醒度の低下分が相殺されるように覚醒度を補正し、その覚醒度に基づき運転者の眠気を検知するものであり、撮影手段が、運転者の下まぶたと眼球との境界により形成され、運転者の眼球内に映り込んだ影を撮影可能な第一配置位置に配置されたものである。
本発明の眠気検知装置では、第一配置位置に配置された撮影手段が、運転者の下まぶたと眼球との境界により形成され、運転者の眼球内に映り込んだ影を撮影するため、その撮影された撮影画像は、運転者の下まぶたと眼球との境界における輝度差、即ち、運転者の下まぶたの輪郭形状が鮮明なものとなる。
したがって、本発明の眠気検知装置によれば、運転者の下まぶたの輪郭形状を撮影画像から精度良く抽出することができる。この結果、本発明の眠気検知装置によれば、運転者が下方視であることの検知精度を向上させることができ、ひいては、運転者の眠気の検知精度を向上させることができる。
また、本発明の眠気検知装置における第一配置位置は、請求項2に記載のように、注視点への運転者の視線の方向である運転視線軸と、運転者が注視点へと視線を向けている時の運転者の目じり、及び下まぶたの最も低い位置を、車両の全長方向及び高さ方向を含む断面上で結んだ直線である下方軸とに挟まれた車両内の領域である規定領域内の位置であることが望ましい。
このような規定領域内に撮影手段が配置された眠気検知装置によれば、運転者の下まぶたの輪郭形状が、より鮮明となるような撮影画像が撮影される可能性を高めることができる。
特に、本発明の眠気検知装置における第一配置位置が、請求項3に記載のように、車両のインストルメントパネル、もしくはメータの内部であれば、輪郭形状の鮮明な撮影画像が撮影される可能性をより高めることができる。
なお、請求項4に記載のように、本発明の眠気検知装置は、運転者の顔面に向けて照射光を照射する照射手段を備え、その照射手段が、照射光を照射することで、運転者の下まぶたと眼球との境界により形成される影が眼球内に投影されるような第二配置位置に配置されることが望ましい。
眼球内に投影された影を撮影画像として撮影する本発明の眠気検知装置によれば、運転者の下まぶたと眼球との境界における輝度差、即ち、運転者の下まぶたの輪郭形状がより鮮明となるように撮影画像を撮影することができる。
したがって、本発明の眠気検知装置によれば、運転者が下方視であることの検知精度をより向上させることができ、ひいては、運転者の眠気の検知精度をより向上させることができる。
そして、本発明の眠気検知装置における第二配置位置は、請求項5に記載のように、撮影手段が配置される第一配置位置よりも下方であることが望ましい。
このような本発明の眠気検知装置によれば、照射手段から照射光が照射されることで、運転者の眼球内に投影された下まぶたと眼球との境界における影、即ち、運転者の下まぶたの輪郭形状がより鮮明となった状態の運転者の顔面を撮影画像として撮影することができる。
したがって、本発明の眠気検知装置によれば、運転者が下方視であることの検知精度をより向上させることができ、ひいては、運転者の眠気の検知精度をより向上させることができる。
また、本発明の眠気検知装置は、請求項6に記載のように、照射手段から運転者の顔面に向けて照射された照射光が運転者の顔面で反射された光に基づき、輪郭形状抽出手段が運転者の下まぶたの輪郭形状を抽出し、下方視検知手段が、輪郭形状抽出手段で抽出された輪郭形状に基づき、車両の前方に予め設定された注視点への視線よりも下方に運転者が視線を向ける下方視を検知し、眠気検知手段が、撮影手段で撮影した撮影画像から推定される運転者の覚醒度に基づき、下方視検知手段で下方視が検知された場合、下方視であることによる覚醒度の低下分が相殺されるように覚醒度を補正し、その覚醒度に基づき運転者の眠気を検知するものであり、照射手段が、照射光を照射することで、運転者の下まぶたと眼球との境界に形成される影が眼球内に投影されるような第二配置位置に配置されたものでも良い。
このような眠気検知装置では、レーザ光等を照射することにより下まぶたの輪郭形状を認識する方法が考えられる。
また、本発明の眠気検知装置における第二配置位置は、請求項7に記載のように、運転者が注視点へと視線を向けている時の運転者の目じり、及び下まぶたの最も低い位置を、車両の全長方向及び高さ方向を含む断面上で結んだ直線である下方軸よりも下方であることが望ましい。
このような第二配置位置に照射手段が配置された眠気検知装置によれば、運転者の下まぶたの輪郭形状がより鮮明となるような撮影画像を撮影する可能性を高めることができる。
特に、本発明の眠気検知装置における第二配置位置が、請求項8に記載のように、車両に備えられたステアリングホイールにおけるステアリングコラムの延長線上であれば、輪郭形状の鮮明な撮影画像が撮影される可能性をより高めることができる。
以下に本発明の実施形態を図面と共に説明する。
図1は、本発明が適用され、車両に搭載される眠気検知装置の概略構成を示すブロック図である。なお、以下では、眠気検知装置が搭載された車両を搭載車両とする。
〈装置構成〉
眠気検知装置1は、搭載車両の運転者の顔面を含む照射領域に照射光を照射する光源13と、光源13からの照射光が照射された運転者の顔面を含む画像を撮影するカメラ12と、カメラ12で撮影された画像に基づき、運転者の眠気を検知する画像処理プロセッサ10と、画像処理プロセッサ10からの音声信号により音声を出力するスピーカ11とを備えている。
ここで、図5は、カメラ12、及び光源13が配置された位置を説明するための説明図であり、図6は、運転者の目の周辺領域における縦断面を示した説明図である。
光源13は、画像処理プロセッサ10からの発光信号に従って発光する発光ダイオードを中心に構成され、予め規定された広がり角で照射光を照射するものである。
また、光源13は、図5に示すように、搭載車両のシートに着座した状態(以下、着座状態とする)の運転者の眼球内に、運転者の下まぶたと眼球との境界に形成される影を投影させる位置であり、運転者の目から延伸する軸として予め設定された下方軸よりも下方(即ち、路面に近い位置)に配置されている。具体的に、本実施形態では、ステアリングホイールにおけるステアリングコラムの延長線上に配置されており、この位置を第二配置位置とする。
ただし、下方軸とは、図6に示すように、着座状態の運転者が、搭載車両の前方に予め設定された注視点へと視線を向けている時に、搭載車両の全長方向及び車高方向を含む断面上にて、運転者の目尻と下まぶたの最も低い位置(即ち、路面に近い位置、以下、最下点とする)とを結んだ直線である。
次に、カメラ12は、CCD素子からなる受光部を有し、画像処理プロセッサ10からの撮像信号に従って、レンズを介して受光部が受光し、デジタル画像を撮像(以下、撮像されたデジタル画像を撮影画像とする)するものである。
また、カメラ12は、図5に示すように、第二配置位置よりも上方で、さらに着座状態の運転者が搭載車両の前方に予め設定された注視点へと視線を向けている時の視線の方向を示す注視軸と、下方軸とに挟まれた位置であり、運転者の下まぶたと眼球との境界に形成される影を撮影可能な位置に配置されている。具体的に、本実施形態では、速度計、もしくは回転速度計が備えられている位置に配置されており、この位置を第一配置位置とする。
ただし、注視軸とは、着座状態における運転者の目の位置から水平方向に伸びた水平軸(即ち、路面と平行な軸)よりも下方となる軸である。
また、画像処理プロセッサ10は、各種処理を実行するためのプログラムや、データを記憶するROM10aと、データを一時的に記憶するRAM10bと、ROM10aに記憶されたプログラム等に従って処理を実行するCPU10cとを備えている。
なお、ROM10aには、撮影画像に対して各種処理を実行する際に必要なテンプレートとして、人の目、鼻、口等を模擬し、撮影画像から運転者の顔面を抽出するための顔面抽出用テンプレートや、人の目を模擬し、撮影画像から運転者の目を抽出するための目抽出用テンプレート等が格納されている。
つまり、画像処理プロセッサ10は、カメラ12で撮影した撮影画像に基づき、運転者の眠気のレベルを推定し、運転者に対して警告を発する眠気警告処理を実行可能に構成されている。
〈眠気警告処理〉
次に、画像処理プロセッサ10のCPU10cが実行する眠気警告処理について説明する。
ここで、図2は、眠気警告処理の処理手順を示す説明図である。
この眠気警告処理は、搭載搭載車両の運転が開始された時(本実施形態では、エンジンが始動された時)に起動されるものである。
そして、眠気警告処理は、起動されるとまず、S110にて、光源13に対して発光信号を出力すると共に、カメラ12に対して撮像信号を出力し、カメラ12に撮影画像を撮影させ、その撮影された撮影画像を取得する。
続くS120では、カメラ12から取得された撮影画像に基づき、運転者の顔面が撮影されている顔面領域を抽出する。具体的に、本実施形態では、カメラ12から取得された撮影画像の予め規定された規定画素から規定の方向へと顔面抽出用テンプレートをパターンマッチングし、顔面抽出用テンプレートと予め規定された規定割合以上で一致する撮影画像の領域を顔面領域として抽出する。
さらに、S130では、S120で抽出された顔面領域から、運転者の上まぶた、及び下まぶたを含む目の周辺領域を抽出する。具体的に、本実施形態では、顔面領域の予め規定された規定画素から規定の方向へと目抽出用テンプレートをパターンマッチングし、目抽出用テンプレートと予め規定された規定割合以上で一致する顔面領域内での一部の領域を運転者の目と認識する。そして、その運転者の目と認識された領域から、その領域を含むように予め規定された大きさの領域を目の周辺領域として抽出する。
続くS140では、S130で抽出された目の周辺領域に基づき、運転者の瞬きを検出する。
具体的に、本実施形態では、S130で目の周辺領域が抽出される毎に、図7(A)に示すように、目の周辺領域中(即ち、撮影画像中)の眼球とまぶたとの輝度差に基づき、上まぶた(即ち、上まぶたの最高点(頭頂部に最も近い位置))と下まぶた(即ち、下まぶたの最下点(路面に最も近い位置))との距離(以下、この距離を目の開度とする)を算出する。そして、その算出された目の開度を、運転開始からの経過時間と共にRAM10bに記憶する。
なお、目の開度と運転開始からの経過時間との関係(以下、瞬き検出関係とする)は、図7(B)に示すようなグラフとして表される。ただし、本実施形態における瞬き検出関係では、目の開度を、運転者が覚醒している運転開始直後の予め規定された規定時間内での最大の距離との比率に置き換えた上で取り扱っている。
つまり、S140では、運転者の目の開度の時間変化、即ち、運転者の瞬きの状態を求める。
続くS150では、S140でRAM10bに記憶された目の開度の時間変化に基づき、運転者の眠気を推定、即ち、運転者の覚醒状態を表す覚醒度を算出する。
具体的には、一回の瞬きにおける目の開度が予め規定された比率以下となっている瞬き時間(即ち、目が閉じられている時間)に応じて、覚醒度を算出する。特に、その瞬き時間が短ければ、運転者が覚醒しているものとして、値が大きくなるように覚醒度を算出し、瞬き時間が長ければ、運転者が眠気を感じているものとして、値が低くなるように覚醒度を算出する。そして、算出された覚醒度の大きさにより、後述する警告処理での覚醒状態の判定指標としての覚醒レベルを五つの段階に分けて設定する。
さらに、S160では、撮影画像のうち、S130で抽出された目の周辺領域を眼球とまぶたとの輝度差が明確となるように二値化する。
続くS170では、S160で二値化された目の周辺領域に基づき、運転者の視線の方
向を検出する下方視検出処理を実行する。
その後、S180では、先のS170で実施された下方視検出処理での検出結果が、運転者がメータ等を視認する、即ち、注視軸よりも下方へと運転者が視線を向けている下方視であるか否かが判定される。そして、判定の結果、運転者の視線が下方視であるものと判断された場合、S190へと進む。
具体的に、本実施形態では、後述する下方視フラグ(もしくは、通常視フラグ)が設定されている否かにより、下方視であるか否かを判定する。
そのS190では、先のS150にて、運転者が下方視であることにより低下した状態で算出された覚醒度を、その低下分が相殺されるように補正(以下、補正された覚醒度を補正覚醒度とする)し、S200へと進む。具体的に、本実施形態では、S150で算出された覚醒レベルを二段階上昇させる(即ち、覚醒度が高くなるように補正する)。
また、S180での判定の結果、運転者の視線が下方視以外(例えば、注視点へと視線を向けている場合や、搭載車両内のミラーを視認しているような場合)であるものと判断された場合には、S150で算出された運転者の覚醒度(即ち、覚醒レベル)を補正することなく、S200へと進む(以下、補正されていない覚醒度を非補正覚醒度とする)。
そして、S200では、S190で補正された補正覚醒度、もしくはS180で運転者の視線が下方視以外であるものと判断された時の非補正覚醒度に基づき、スピーカ11が警告等を発するように音声信号をスピーカ11に出力する警告処理を実行する。具体的に、本実施形態では、覚醒レベルが予め規定された第一閾値よりも大きければ、運転者に休息を促すようにスピーカ11から注意を発し、覚醒レベルが第一閾値よりも大きなものとして予め設定された第二閾値よりも大きければ、運転者に運転を止めるようにスピーカ11から警告を発する。なお、ここで言う警告は、注意よりも大きな音等、運転者に対して注意よりも強いメッセージを与えるものである。
その後、S110へと戻る。
〈下方視検出処理〉
次に、先の眠気警告処理にて実行される下方視検出処理について説明する。
ここで、図3は、下方視検出処理の処理手順を示すフローチャートである。
下方視検出処理は、先の眠気警告処理におけるS170で起動されると、まず、S310にて、先のS160で二値化された目の周辺領域から、運転者の下まぶたと眼球との境界における下まぶたの輪郭形状を示す近似曲線(fd)を算出する。
具体的に、本実施形態では、図8に示すように、目じりと目頭との間における下まぶたと眼球との境界に位置する画素を通過するように近似曲線(fd)を算出し、算出された近似曲線(fd)に対して周知のスムージング処理を実行する。
続くS320では、S310で算出された近似曲線(fd)が下に凸であるか否かを判定し、判定の結果、近似曲線(fd)が下に凸であるものと判断された場合、S330へと進む。
そのS330では、運転者の視線が、注視軸よりも下方へと運転者が視線を向けている下方視であることを示す下方視フラグを設定し、眠気警告処理のS180へと戻る。
また、S320での判定の結果、S310で算出された近似曲線(fd)が下に凸以外(即ち、直線、もしくは上に凸)であるものと判断された場合、S340へと進み、そのS340では、運転者の視線の方向が、下方視以外の通常視(即ち、注視点へと視線を向けている場合や、搭載車両内のミラーを視認している場合等)であることを示す通常視フラグを設定し、眠気警告処理のS180へと戻る。
つまり、眠気検知装置1では、運転者の下まぶたと眼球との境界に形成される影が眼球内に投影されるように照射光を照射可能な第二配置位置に配置された光源13から、運転者の顔面に照射光を照射すると共に、運転者の下まぶたと眼球との境界に形成される影を、第一配置位置に配置されたカメラ12で撮影画像を撮影させている。
[実施形態の効果]
以上説明したように、運転者の下まぶたと眼球との境界により形成され、運転者の眼球内に映り込んだ影を、第一配置位置に配置されたカメラ12により撮影する本実施形態の眠気検知装置1によれば、カメラ12で撮影した撮影画像を、運転者の下まぶたと眼球との境界における輝度差、即ち、運転者の下まぶたの輪郭形状が鮮明なものとすることができる。
特に、本実施形態の眠気検知装置1によれば、光源13がカメラ12よりも下方に配置されているため、照射光が照射されることにより、運転者の下まぶたと眼球との境界に形成され、運転者の眼球内に投影された影(即ち、運転者の下まぶたの輪郭形状を表す影)を、より鮮明に撮影画像に収めることができる。
したがって、眠気検知装置1によれば、運転者の下まぶたの輪郭形状を撮影画像から精度良く抽出することができる。
ここで、図4は、眠気が発生した時の目(即ち、上まぶた、及び下まぶたに囲まれた領域)の形状と、下方視の時の目(まぶた)の形状との違いを示した実験結果である。本発明の発明者らは、図4に示すように、下方視である場合には、眠気が発生した場合に比べて、下まぶたの輪郭形状が下向き(即ち、近似曲線(fd)が下に凸)になるという結果を得た。
このため、眠気検知装置1によれば、近似曲線(fd)が下に凸である場合には、下方視であるものと判定することにより、運転者が下方視であることの検出精度を向上させることができる。
そして、眠気検知装置1によれば、下方視である場合には、下方視であることに起因する覚醒度の低下分が相殺されるように覚醒度を補正して、運転者の眠気レベルを判断するため、運転者の眠気(即ち、覚醒度)の検知精度を向上させることができる。
なお、眠気検知装置1によれば、カメラ12が速度計等のメータ類が配置されている位置、光源13がステアリングホイールにおけるステアリングコラムの延長線上に配置されているため、運転者の運転操作に不都合を生じさせることなく、運転者の眠気を検知することができる。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。
例えば、上記実施形態の眠気検知装置1における第一配置位置は、速度計、もしくは回転速度計が備えられている位置としたが、インストルメントパネル内であってもよいし、
インストルメントパネル上であっても良い。つまり、第一配置位置は、運転者の下まぶたと眼球との境界に形成される影を撮影可能な位置であり、かつ注視軸と下方軸とに挟まれた範囲内であればどのような位置であっても良い。
さらに、上記実施形態におけるカメラ12の受光部は、CCD素子から構成されていたが、受光部は、CMOS素子から構成されていても良い。
また、上記実施形態におけるカメラ12は、画像処理プロセッサ10から撮像信号を受信して撮影画像を撮影していたが、撮像信号を受信することなく撮影画像を撮影しても良い。ただし、この場合、カメラ12内に撮影画像を蓄積し、その蓄積された撮影画像を画像処理プロセッサ10が取得する必要がある。
そして、上記実施形態の眠気検知装置1における第二配置位置は、ステアリングホイールにおけるステアリングコラムの延長線上としたが、これに限るものではない。例えば、速度計、もしくは回転速度計が備えられている位置であっても良いし、インストルメントパネル内であっても良い。つまり、第二配置位置は、運転者の眼球内に、運転者の下まぶたと眼球との境界に形成される影を投影可能な位置であり、かつ下方軸よりも下方であればどのような位置であっても良い。
また、上記実施形態における光源13は、画像処理プロセッサ10からの発光信号を受けて照射光を照射していたが、発光信号を受けることなく照射光を照射しても良い。ただし、この場合、スイッチの操作等により照射光が照射されるようにすることが望ましい。
なお、上記実施形態の眠気検知装置1では、カメラ12により撮影した撮影画像に基づき、運転者の下まぶたの輪郭形状を抽出していたが、レーザ光を照射し、その反射光により、下まぶたの輪郭形状を認識するようにしても良い。この場合、カメラ12は、眠気検知装置1に備えられていなくとも良い。
眠気検知装置の概略構成を示すブロック図である。 眠気警告処理の処理手順を示すフローチャートである。 下方視検出処理の処理手順を示すフローチャートである。 眠気が発生した時と、下方視である時との下まぶたの輪郭形状の違いを判別するために実験で撮影した目の画像である。 カメラ、及び光源の配置位置を説明するための説明図である。 下方軸の概要を説明するための説明図である。 瞬きの検出、即ち、覚醒度の算出を説明するための説明図である。 下まぶたの近似曲線を示す説明図である。
符号の説明
1…眠気検知装置 10…画像処理プロセッサ 10a…ROM 10b…RAM 10c…CPU 11…スピーカ 12…カメラ 13…光源

Claims (8)

  1. 車両の運転者の顔面を含む撮影画像を撮影する撮影手段と、
    前記撮影手段で撮影した撮影画像に基づき、前記運転者の下まぶたの輪郭形状を抽出する輪郭形状抽出手段と、
    前記輪郭形状抽出手段で抽出された輪郭形状に基づき、前記車両の前方に予め設定された注視点への視線よりも下方に前記運転者が視線を向ける下方視を検知する下方視検知手段と、
    前記撮影手段で撮影した撮影画像から推定される前記運転者の覚醒度に基づき、前記下方視検知手段で下方視が検知された場合、前記下方視であることによる覚醒度の低下分が相殺されるように前記覚醒度を補正し、その覚醒度に基づき前記運転者の眠気を検知する眠気検知手段と
    を備えた眠気検知装置であって、
    前記撮影手段は、
    前記運転者の下まぶたと眼球との境界により形成され、前記運転者の眼球内に映り込んだ影を撮影可能な第一配置位置に配置されることを特徴とする眠気検知装置。
  2. 前記撮影手段が配置される第一配置位置は、
    前記注視点への前記運転者の視線の方向である運転視線軸と、前記運転者が前記注視点へと視線を向けている時の前記運転者の目じり、及び下まぶたの最も低い位置を、前記車両の全長方向及び高さ方向を含む断面上で結んだ直線である下方軸とに挟まれた前記車両内の領域である規定領域内に位置することを特徴とする請求項1に記載の眠気検知装置。
  3. 前記撮影手段が配置される第一配置位置は、
    前記車両のインストルメントパネル、もしくはメータの内部であることを特徴とする請求項1または請求項2に記載の眠気検知装置。
  4. 前記運転者の顔面に向けて照射光を照射する照射手段を備え、
    前記照射手段は、
    前記照射光を照射することで、前記運転者の下まぶたと眼球との境界により形成される影が前記眼球内に投影されるような第二配置位置に配置されることを特徴とする請求項1ないし請求項3に記載の眠気検知装置。
  5. 前記照射手段が配置される第二配置位置は、前記撮影手段が配置される第一配置位置よりも下方であることを特徴とする請求項4に記載の眠気検知装置。
  6. 前記運転者の顔面に向けて照射光を照射する照射手段と、
    前記運転者の顔面で反射された光に基づき、前記運転者の下まぶたの輪郭形状を抽出する輪郭形状抽出手段と、
    前記輪郭形状抽出手段で抽出された輪郭形状に基づき、前記車両の前方に予め設定された注視点への視線よりも下方に前記運転者が視線を向ける下方視を検知する下方視検知手段と、
    前記撮影手段で撮影した撮影画像から推定される前記運転者の覚醒度に基づき、前記下方視検知手段で下方視が検知された場合、前記下方視であることによる覚醒度の低下分が相殺されるように前記覚醒度を補正し、その覚醒度に基づき前記運転者の眠気を検知する眠気検知手段と
    を備えた眠気検知装置であって、
    前記照射手段は、
    前記照射光を照射することで、前記運転者の下まぶたと眼球との境界に形成される影が前記眼球内に投影されるような第二配置位置に配置されることを特徴とする眠気検知装置
  7. 前記照射手段が配置される第二配置位置は、
    前記運転者が前記注視点へと視線を向けている時の前記運転者の目じり、及び下まぶたの最も低い位置を、前記車両の全長方向及び高さ方向を含む断面上で結んだ直線である下方軸よりも下方であることを特徴とする請求項4ないし請求項6のいずれかに記載の眠気検知装置。
  8. 前記照射手段が配置される第二配置位置は、
    前記車両に備えられたステアリングホイールにおけるステアリングコラムの延長線上であることを特徴とする請求項4ないし請求項7のいずれかに記載の眠気検知装置。
JP2007001410A 2007-01-09 2007-01-09 眠気検知装置 Expired - Fee Related JP4793269B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007001410A JP4793269B2 (ja) 2007-01-09 2007-01-09 眠気検知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007001410A JP4793269B2 (ja) 2007-01-09 2007-01-09 眠気検知装置

Publications (2)

Publication Number Publication Date
JP2008167806A JP2008167806A (ja) 2008-07-24
JP4793269B2 true JP4793269B2 (ja) 2011-10-12

Family

ID=39696466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007001410A Expired - Fee Related JP4793269B2 (ja) 2007-01-09 2007-01-09 眠気検知装置

Country Status (1)

Country Link
JP (1) JP4793269B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5493593B2 (ja) * 2009-08-26 2014-05-14 アイシン精機株式会社 眠気検出装置、眠気検出方法、及びプログラム
JP5644414B2 (ja) * 2010-11-22 2014-12-24 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム
WO2012144020A1 (ja) 2011-04-19 2012-10-26 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP5573820B2 (ja) * 2011-11-10 2014-08-20 株式会社デンソー 状態監視装置
WO2013183144A1 (ja) * 2012-06-07 2013-12-12 パイオニア株式会社 乗り物用発光装置
JP6047318B2 (ja) 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
JP6572538B2 (ja) * 2014-12-15 2019-09-11 アイシン精機株式会社 下方視判定装置および下方視判定方法
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
US9786189B2 (en) * 2016-01-25 2017-10-10 Sikorsky Aircraft Corp. Aircraft control systems
JP6825903B2 (ja) 2016-12-27 2021-02-03 矢崎総業株式会社 ドライバー撮像装置
JP2019104450A (ja) 2017-12-14 2019-06-27 矢崎総業株式会社 車載撮影装置、及び車載撮影方法
DE112019006953T5 (de) * 2019-02-27 2021-12-16 Mitsubishi Electric Corporation Wachsamkeits-Einschätzungsvorrichtung, Vorrichtung zur Unterstützung eines automatischen Fahrens und Wachsamkeits-Einschätzungsverfahren

Also Published As

Publication number Publication date
JP2008167806A (ja) 2008-07-24

Similar Documents

Publication Publication Date Title
JP4793269B2 (ja) 眠気検知装置
JP4840146B2 (ja) 眠気検知装置
JP4882766B2 (ja) 覚醒度算出装置
WO2016038784A1 (ja) ドライバ状態判定装置
US8538044B2 (en) Line-of-sight direction determination device and line-of-sight direction determination method
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP4888838B2 (ja) 運転者撮像装置および運転者撮像方法
JP5109922B2 (ja) ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
WO2013157466A1 (ja) 喫煙検出装置、方法及びプログラム
JP2007004448A (ja) 視線検出装置
JP6651911B2 (ja) 顔画像処理装置
WO2018051681A1 (ja) 視線計測装置
JP2009219555A (ja) 眠気検知装置、運転支援装置、眠気検知方法
JP4313717B2 (ja) 視線検出装置
JP6747493B2 (ja) ドライバ状態判定装置
JP4623172B2 (ja) 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
JP2009125518A (ja) ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置
JP2019028640A (ja) 視線検出装置
JP7240910B2 (ja) 乗員観察装置
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP4623171B2 (ja) 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法
JP2022100538A (ja) 生体情報取得装置
JP2010026657A (ja) 運転者状態検出装置
JP2018143285A (ja) 生体状態判定装置、生体状態判定システム、及び、生体状態判定方法
JP2021152729A (ja) あくび検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110711

R151 Written notification of patent or utility model registration

Ref document number: 4793269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees