JP2005066023A - 運転者状態検出装置 - Google Patents
運転者状態検出装置 Download PDFInfo
- Publication number
- JP2005066023A JP2005066023A JP2003300055A JP2003300055A JP2005066023A JP 2005066023 A JP2005066023 A JP 2005066023A JP 2003300055 A JP2003300055 A JP 2003300055A JP 2003300055 A JP2003300055 A JP 2003300055A JP 2005066023 A JP2005066023 A JP 2005066023A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- eye
- face
- detection unit
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】 運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることが可能な運転者状態検出装置を提供する。
【解決手段】 車両運転者の顔を撮影して得られた撮影画像から、運転者の視線領域を検出する運転者状態検出装置であって、基準位置検出部22は基準となる運転者の眼の基準位置を検出する。また、顔位置検出部23は、前後方向の運転者の顔位置を検出する。これにより、運転者の顔を3次元的にとらえることができるため、運転者の体格等を考慮して、正確に運転者の視認領域を検出することができる。
【選択図】 図2
【解決手段】 車両運転者の顔を撮影して得られた撮影画像から、運転者の視線領域を検出する運転者状態検出装置であって、基準位置検出部22は基準となる運転者の眼の基準位置を検出する。また、顔位置検出部23は、前後方向の運転者の顔位置を検出する。これにより、運転者の顔を3次元的にとらえることができるため、運転者の体格等を考慮して、正確に運転者の視認領域を検出することができる。
【選択図】 図2
Description
本発明は、運転者状態検出装置に関する。
従来、運転者の顔を撮影し、撮影された画像上の眼の位置から、運転者の視線方向を推定する運転者状態検出装置が知られている。この装置は、運転者の視線方向が車両のルームミラーやサイドミラーなど特定の対象物等を視認するものであるかを推定し、当該対象物等の視認回数が減少したことにより、運転者の漫然運転を検出している(例えば特許文献1)。
特開平8−178712号公報
しかし、上記運転者状態検出装置では、体格の異なる運転者が同じ対象物等を視認していたとしても、体格の相違により画像上の眼の位置が異なることとなり、運転者が見ている対象物を正確に検出することが困難である。すなわち、従来の運転者状態検出装置では、運転者の体格の相違により運転者の視線がどの視認領域に向いているのかを判断することが困難となっている。
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることが可能な運転者状態検出装置を提供することにある。
本発明によれば、撮影手段は車両運転者の顔を撮影し、眼位置データ取得手段は、撮影手段により得られた運転者の顔を含む撮影画像から、運転者の眼の位置データを取得する。基準位置検出手段は、眼位置データ取得手段によって時系列的に取得された眼の位置データから、基準となる運転者の眼の基準位置を検出し、顔位置検出手段は、撮影手段の撮影光軸方向の運転者の顔位置を検出する。そして、視認領域検出手段は、上記の眼位置データ取得手段によって取得された眼の位置データ、基準位置検出手段により検出された運転者の眼の基準位置、及び、顔位置検出手段により検出された撮影光軸方向の運転者の顔位置に基づいて、運転者の視認領域を検出する。
本発明によれば、眼の位置データと基準位置と撮影光軸方向の運転者の顔位置とに基づいて、運転者の視認領域を検出している。このため、運転者の体格等によって左右される基準位置と撮影光軸方向の運転者の顔位置とが考慮された上で、眼の位置データに基づいて、運転者の視認領域を検出することとなる。これにより、運転者の体格等に関係なく視認領域を検出することができる。
従って、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることができる。
以下、本発明の好適な実施形態を図面に基づいて説明する。
図1は、本発明の第1実施形態に係る運転者状態検出装置の構成図である。同図に示すように、本実施形態の運転者状態検出装置1は、車両の運転者の顔を撮影する撮影部(撮影手段)10を備えている。この撮影部10は、例えば可視光を撮影するためのCCDカメラなどであり、運転席の正面側、具体的に正面下方に設置されている。
また、上記運転者状態検出装置1は、撮影部10により撮影された撮影画像に基づき、運転者の脇見行為を検出する処理装置20と、処理装置20が運転者の脇見行為を検出した場合に、その旨を運転者に報知する報知器30とを備えている。
次に、処理装置20の詳細構成を図2を参照して説明する。図2は、本発明の第1実施形態に係る処理装置20の機能ブロック図である。なお、図2では、接続関係を明確にすべく、撮影部10についても図示するものとする。
上記処理装置20は、撮影部10により撮影された運転者の顔を含む撮影画像から、運転者の眼の位置データを取得する眼位置データ取得部(眼位置データ取得手段)21を備えている。この眼位置データ取得部21は、眼位置検出部(眼位置検出手段)21aと、眼追跡部(眼追跡手段)21bとを具備している。
眼位置検出部21aは、撮影部10により撮影された画像の全体から眼の位置を検出するものである。また、眼位置検出部21aは、眼の位置を検出すると、例えば眼の座標データを眼の位置データとして取得するものである。
眼追跡部21bは、眼位置検出部21aにより検出された運転者の眼の位置を基準にして、眼の位置を含む追跡領域を画像上に定め、新たに撮影された画像から眼の位置を検出する場合、追跡領域内から運転者の眼を検出するものである。また、眼追跡部21bは、自己が検出した眼の位置に基づき追跡領域を随時更新し、眼を追跡していくものである。さらに、眼追跡部21bは、眼の位置を検出・追跡すると、例えば眼の座標データを眼の位置データとして取得するものである。
また、上記処理装置20は、眼位置データ取得部21によって時系列的に取得された眼の位置のデータから、基準となる運転者の眼の基準位置を検出する基準位置検出部(基準位置検出手段)22を有している。この基準位置検出部22は、例えば、運転者個々人の体格やシート位置の要因により異なってくる車両前方視認時の眼の位置を、基準にとして検出するものである。
また、上記処理装置20は、撮影部10の撮影光軸方向の運転者の顔位置を検出する顔位置検出部(顔位置検出手段)23を備えている。この顔位置検出部23は、撮影光軸方向、すなわち奥行き方向について運転者の顔位置を検出するものである。なお、本実施形態において、撮影部10は運転席の正面側に設置されている。このため、顔位置検出部23は、撮影光軸方向の運転者の顔位置として、車両前後方向の運転者の顔位置を検出することとなる。
また、上記処理装置20は、運転者が視認している視認領域を検出する視認領域検出部(視認領域検出手段)24を備えている。この視認領域検出部24は、眼位置データ取得部21により取得された眼の位置データと、基準位置検出部22にて検出された運転者の眼の基準位置と、顔位置検出部23にて検出された撮影光軸方向の運転者の顔位置とに基づいて、運転者の視線領域を検出するものである。
より詳しくは、視認領域検出部24は、眼の基準位置と、撮影光軸方向の運転者の顔位置とに基づいて、画像上に所定個数の画像領域を設定し、その後、現在の眼の位置データがいずれの画像領域に属するかを判断して、運転者の視線領域を検出するものである。ここで、画像領域とは、運転者の視認領域を検出するために撮影画像上に設定されるものである。また、画像領域には、それぞれ異なる時間のデータが割り振られる。すなわち、視認領域検出部24は、これら所定個数の画像領域それぞれに異なる時間データを割り振る。
上記処理装置20は、視認領域検出部24により検出された視認領域に基づいて、脇見検出を行う脇見状態検出部(脇見状態検出手段)25を具備している。具体的に脇見状態検出部25は、運転者が同一の視認領域を視認している時間と、上記画像領域に割り振られた時間のデータに基づいて脇見検出を行うものである。すなわち、脇見状態検出部25は、運転者が同一の視認領域を視認している時間が、上記画像領域に割り振られた時間を超える場合に、脇見状態を検出するものである。また、脇見状態検出部25は、運転者の脇見状態が検出された場合、その旨を報知器30に伝え、報知器30に報知動作を行わせる。これにより、脇見状態検出部25は、運転者に脇見状態にあることを知覚させることとなる。
なお、視認領域検出部24が画像領域それぞれに異なる時間データを割り振る理由は以下による。すなわち、運転者が見ている領域が本来視認すべき領域から遠く離れている場合は、運転者の視界には本来視認すべき領域が極めて入りにくくなっており、早期に運転者に注意を促す必要がある。このため、運転者が見ている領域が本来視認すべき領域から遠く離れている場合、上記の時間データは短く設定されるべきである。
一方、運転者が見ている領域が本来視認すべき領域に比較的近い場合は、運転者の視界には本来視認すべき領域が入り易くなっており、或る程度の余裕をもって運転者に注意を促せばよい。このため、運転者が見ている領域が本来視認すべき領域に比較的近い場合、上記の時間データは長く設定されてもよいこととなる。
このように、運転者の見ている領域によって適切な時間がある。よって、視認領域検出部24は画像領域それぞれに異なる時間データを割り振っている。
ここで、以下、運転者が同一の視認領域を視認している時間を滞留時間と称し、上記時間データを脇見許容時間と称する。
次に、上記運転者状態検出装置1の動作の概略を説明する。まず、撮影部10は、運転者の顔を含む領域を撮影し、得られた撮影画像のデータを処理装置20に送出する。処理装置20の眼位置検出部21aは、撮影画像データの入力し、運転者の眼の位置を検出する。眼の位置の検出は、例えば以下のように行う。図3は、眼位置検出部21aが眼の位置の検出に際して行う初期処理の説明図である。なお、図3においては、縦480画素、横512画素の撮影画像を例に説明する。
まず、眼位置検出部21aは、画像縦方向(図3のY方向)にすべての画素について、濃度値のデータを取得する。すなわち、眼位置検出部21aは、図3に示す座標(0,0)から(0、479)に向かって濃度値データを取得する。次に、眼位置検出部21aは、座標(1,0)から(1、479)に向かって濃度値データを取得する。そして、眼位置検出部21aは、図3に示すX座標値Xa及びXbのラインを経て、最終的に座標(511,0)から(511、479)のラインについて濃度値データを取得する。
その後、眼位置検出部21aは、濃度値の変化が所定の条件を満たす画素を抽出して、図4に示すような画素群を得る。図4は、眼位置検出部21aが所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。
詳細に説明すると、Xcラインについては、2つの画素A1,A2が抽出されている。また、Xdラインについては、4つの画素A1〜A4が抽出されている。これらの画素A1〜A4は、例えば、それぞれ濃度値の変化量によって区別されている。そして、画素の抽出後、眼位置検出部21aは、画像横方向に近接する画素をグループ化する。
図5は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、眼位置検出部21aは、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データG1〜G6を形成する。
その後、眼位置検出部21aは、ゾーン化の処理を行う。図6は、眼位置検出部21aによるゾーン化後の様子を示す説明図である。眼位置検出部21aは、連続データG1〜G6の存在位置について画像縦方向にゾーン化する。この際、眼位置検出部21aは、3つのゾーン(ZONE:L、ZONE:C、ZONE:R)を形成する。そして、眼位置検出部21aは、相対位置関係を判断して眼の位置を検出する。
眼の位置の検出後、眼追跡部21bは、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも狭くされた追跡領域を設定する。その後、眼追跡部21bは、撮影画像が入力される毎に、追跡領域内において眼の位置を検出する。
図7は、眼追跡部21bによる眼の位置の追跡の様子を示す説明図であり、(a)は初期の追跡領域を示しており、(b)は初期の追跡領域の設定後に、検出した眼の位置を示しており、(c)は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、(d)は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図7において、破線で示す眼は前回検出されたものとし、実線で示す眼は今回検出されたものとする。
眼位置検出部21aにより眼の位置が検出された場合、眼追跡部21bは、検出された眼の位置を中心として追跡領域を設定する(図7(a))。このときの眼の座標位置を(xk1,yk1)とする。その後、撮影画像が入力された場合、眼追跡部21bは、(xk1,yk1)を中心とする追跡領域内から眼の位置を検出する(図7(b))。このとき検出された眼の座標位置を(xk2,yk2)とする。
そして、眼追跡部21bは、新たに検出された眼の座標位置(xk2,yk2)を中心とする追跡領域を設定する(図7(c))。その後、再度撮影画像が入力された場合、眼追跡部21bは、(xk2,yk2)を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を(xk3,yk3)とする(図7(c))。
そして、眼追跡部21bは、再度、新たな眼の座標位置(xk3,yk3)を中心とする追跡領域を設定する(図7(d))。その後、同様に、眼追跡部21bは、追跡領域内から眼の位置を検出していく。
眼追跡部21bは、図7に示すように時系列的に検出した眼の位置のデータを基準位置検出部22に送出する。基準位置検出部22は、時系列的に入力される眼の位置のデータから基準位置を求める。
基準位置を求める方法としては種々のものが考えられるが、本実施形態では以下の方法を行う。まず、運転しているときの運転者の視線方向は、図8に示すように或る程度限られている。
図8は、運転者の視線方向の説明図である。同図に示すように、通常、車両運転中の運転者は、前方を視認していることから、視線方向は、車両前方方向を中心とした領域となる。また、車両前方方向を視認しているとき、運転者の視線方向は、図8に示す「前方注視時の眼の滞留領域」に集中するが、運転者は左右や後方の確認を行う場合には、ルームミラーや左右のドアミラー等を視認する。このため、運転者の視線方向は、車両前方やミラー設置個所など、或る程度限られた箇所に集中するようになっている。
ここで、運転者は、特に車両前方に視線方向を向けていることが多い。これは、約6時間半におよぶ一般道路の走行実験からも明らかになっている。具体的に、この実験において、運転者の視線方向は、90%以上の時間、車両前方方向に向いていることがわかっている。
このことから、基準位置検出部22は、時系列的に入力される眼の位置のデータから、眼の位置が滞留する箇所を学習することで、基準位置を検出することができる。ここで、基準位置検出部22は、車両前方方向を基準位置とすることで、基準位置の検出を短時間で行うことができる。これは、運転者の視線が車両前方方向に約90%以上の時間向くためである。すなわち、最も多く運転者の視線が向くことから、基準位置検出部22は、早期に基準位置のデータを収集できるためである。
基準位置検出部22が基準位置を検出した後、顔位置検出部23は、顔の前後方向の位置を検出する。ここで、顔の前後方向の位置を検出する必要性について説明する。図9は、体格の異なる運転者がルームミラーを見たときの様子を示す説明図であり、(a)は運転者上方からの様子を示し、(b)は運転者側方からの様子を示している。なお、図9では、体格が小さい運転者D1と体格の大きい運転者D2とを比較して図示している。
まず、図9(a)及び(b)に示すように、通常、体格が小さい運転者D1は、体格が大きい運転者D2よりも比較的前方にシートを移動させている傾向にある。また、体格が小さい運転者D1は、体格が大きい運転者D2よりも鉛直方向下側に顔が位置する。このように、両者は視点位置が異なっており、同じ対象物、例えばルームミラーを視認する場合であっても、顔の移動量が異なる。
図9(a)に示すように、運転者D1が車両前方位置を視認している状態からルームミラーを視認する場合、水平方向の顔の移動角度はθ1である。これに対し、運転者D2が車両前方位置を視認している状態からルームミラーを視認する場合、水平方向の顔の移動角度はθ2であり、運転者D1がルームミラーを視認するときの角度θ1よりも小さくなっている。
また、図9(a)に示すように、運転者D1が車両前方位置を視認している状態からルームミラーを視認する場合、垂直方向の顔の移動角度はθ3である。これに対し、運転者D2が車両前方位置を視認している状態からルームミラーを視認する場合、垂直方向の顔の移動角度はθ4であり、運転者D1がルームミラーを視認するときの角度θ3よりも小さくなっている。
このように、顔の移動角度が異なることから、撮影された2次元平面の画像からだけでは、運転者の視認領域を正確に検出することは困難である。特に、図9(b)に示すように、画像上端からの眼の位置と画像下端からの眼の位置の比率が運転者D1と運転者D2とで同じである場合、すなわち、「hu1:hd1=hu2:hd2」である場合、眼の大きさは異なるものの、画像上の眼の座標位置はほぼ等しくなり、運転者の視認領域を正確に検出することが一層困難となる。従って、運転者の前後方向の顔位置を検出することは、運転者の視認領域を正確に検出するうえで、重要となってくる。
ここで、顔位置検出部23は、顔の前後方向の位置を検出するに当たり、ヘッドレストの左端及び右端の一方又は双方のエッジラインを利用する。例えば、左端及び右端の双方を利用する例としては、図10に示すものがある。
図10は、顔位置検出部23が顔の前後方向の位置を検出する場合の一例を示す説明図であり、(a)は図9に示す運転者D1を撮影したときの撮影画像例を示し、(b)図9に示す運転者D2を撮影したときの撮影画像例を示している。
図10(a)に示すように、運転者D1がシート位置を車両前方方向に移動させているため、運転者D1の顔101の後方に映るヘッドレスト102の横幅は、HRW1となる。一方、図10(b)に示すように、運転者D2のシート位置は運転者D1よりも車両後方側に位置しているため、運転者D2の顔101の後方に映るヘッドレスト102の横幅は、HRW2となり、運転者D1のときよりも小さくなっている。このように、顔位置検出部23は、ヘッドレスト102の両端を利用して、顔の前後方向の位置を検出する。
また、顔位置検出部23は、顔の前後方向の位置を検出するに当たり、ヘッドレストの左端及び右端の一方のみを利用する。例えば、左端及び右端の一方を利用する例としては、以下のものがある。
例えば、図10(a)及び(b)に示すように、予めヘッドレスト102の中心ライン103と、撮影部10の中心とを合わせておく。そして、中心ライン103とヘッドレスト102の左端又は右端との距離を求める。このようにすることで、顔位置検出部23は、ヘッドレスト102の左端又は右端のみを利用して、顔の前後方向の位置を検出する。なお、ヘッドレスト102の左端又は右端のみを利用する場合、運転者の顔がズレて、一方のエッジラインが見えなくなったとしても、顔位置検出部23は、何ら支障無く顔の前後方向の位置を検出することができる。
さらに、顔位置検出部23は、顔の前後方向の位置を検出するに当たり、シート状態やルームミラーの角度などを利用してもよい。図11は、顔位置検出部23が顔の前後方向の位置を検出する場合の他の例を示す説明図である。
図11に示す例において、顔位置検出部23は、ルームミラー104に取り付けられたセンサ等からの信号を読み取り、ルームミラー104の角度を求める。そして、顔位置検出部23は、ルームミラー104の角度から運転者の顔の前後方向の位置を検出する。
通常、ルームミラーは、運転者の視点位置から、車両後方側を視認しやすいように調整される。このため、運転者の顔の位置によってルームミラー104の角度は異なってくる。故に、顔位置検出部23は、ルームミラー104の角度から、運転者の顔の前後方向の位置を検出することができる。
また、顔位置検出部23は、シート状態を検出するシート状態検出センサ105の信号に基づいて、運転者の顔位置を検出する。ここで、シート状態とは、例えば、シートのスライド位置Xやシートバックの角度θを指すものである。通常、運転者は、車両前方等が視認しやすいように、顔位置を移動させるべく、シート状態を適切なものとする。すなわち、シート状態は、運転者の顔位置を直接的に示すものともいえる。このため、顔位置検出部23は、シート状態検出センサ105からの信号を読み取り、解析等することで運転者の顔位置を検出することができる。
また、顔位置検出部23は、シートベルトの引き出し量に基づいて、運転者の顔位置を検出する。通常、シートベルトの引き出し量は、シート位置や運転者の体格によって異なってくるものである。すなわち、シートベルトの引き出し量は、上記のものと同様に、運転者の顔位置を示す基準となる。このため、顔位置検出部23は、例えば、リトラクタ106に設けられたセンサからの信号を読み取り、解析等することでシートベルトの引き出し量を求め、運転者の顔位置を検出することができる。
以上のようにして、顔位置検出部23は、車両前後方向の運転者の顔位置を検出する。その後、視認領域検出部24は、上記基準位置と、運転者の顔位置とに基づいて、画像上に所定個数の画像領域を設定する。図12は、視認領域検出部24による画像領域の設定方法を示す説明図であり、(a)は基準位置の眼の位置を示している。また、(b)は基準位置から得られる特定対象物視認時の眼の位置を表す予測座標値運転者を示している。また、(c)はルームミラーを視認しているときの運転者の顔の予測画像例を示し、(d)は右ドアミラーを視認しているときの運転者の顔の予測画像例を示し、(e)は左ドアミラーを視認しているときの運転者の顔の予測画像例を示している。なお、図12(b)においては、X方向に640画素、Y方向に480画素の画像を例に説明する。
まず、図12(a)に示す車両前方方向を視認しているときの座標値から、基準位置が求められている。視認領域検出部24は、この基準位置から、ルームミラー、左ドアミラー、及び右ドアミラーを視認したときの座標値を求める。ここで、座標値を求める際には、基準位置の他に、顔位置検出部23により検出された顔の前後方向の位置、及び予め記憶された各ミラーの位置データが利用される。
例えば、視認領域検出部24は、予め設定される各ミラーの位置データと基準位置とに基づいて、基準位置からどれだけX方向及びY方向に移動した位置に両眼の中心が存すれば、各ミラーを視認しているかを求める。これにより、運転者の体格や着座位置等を考慮していない状態で、運転者が各ミラーを視認したときの両眼の中心座標値が求められる。
その後、視認領域検出部24は、例えば、体格等が考慮されていないときの座標値を、顔の前後方向位置に基づいて補正等する。すなわち、視認領域検出部24は、顔の前後方向の位置により、顔の移動量が相違するため、この相違分を補正する。そして、図12(b)に示す座標データを取得する。
図12(b)に示すように、基準位置(x,y)は、(260,220)〜(285,240)となっている。なお、ここでは両眼の中心位置を眼の座標位置としている。この表において、演算により得られた運転者が右ドアミラーを視認している場合の予測座標値(x,y)は、(175,245)付近となっている。また、左ドアミラーを視認している場合の予測座標値(x,y)は、(395,245)付近となっている。さらに、運転者がルームミラーを視認している場合の予測座標値(x,y)は、(380,220)付近となっている。
すなわち、これらの座標値を求めることにより、図12(c)〜(e)の画像を取得して、座標データを採取したときと同様の座標値を求めることができる。
以上のようにして座標値を求めると、視認領域検出部24は、これらの座標値に基づいて画像領域を設定する。すなわち、視認領域検出部24は、左右ドアミラー、ルームミラーを視認しているときの予測座標値に基づいて、撮影画像上に画像領域を設定する。
図13は、図12にて得られた座標値に基づいて設定される画像領域の例を示す説明図である。なお、画像領域は、本来撮影画像上に設定されるものであるが、図13においては説明の便宜上、運転者の視界に基づいた画像領域を説明することとする。さらに、以下の説明において、基準位置が属する車両前方の領域を前方注視領域とする。
視認領域検出部24は、図13に示すように、例えば5つの画像領域A〜Eを設定する。まず、視認領域検出部24は、ルームミラー視認時の眼の予測座標値に基づいて、画像領域Aの右端を決定する。また、視認領域検出部24は、右ドアミラー視認時の眼の予測座標値に基づいて、画像領域Bの左端及び下端を決定し、左ドアミラー視認時の眼の予測座標値に基づいて、画像領域Cの右端及び下端を決定する。また、画像領域Eについて、左右ドアミラー視認時の眼の予測座標値に基づいて、上端を決定する。
また、視認領域検出部24は、画像領域Dの左端を右方向の追跡限界位置に基づいて決定する。ここで、追跡限界位置とは、演算により求められるものであり、例えば、X方向について左ドアミラーと対象の位置などである。
このように、視認領域検出部24は、各画像領域の端部を決定して、画像領域を設定する。その後、視認領域検出部24は、画像領域A〜Eのそれぞれに異なる脇見許容時間を設定する。例えば、画像領域Dの脇見許容時間は、画像領域Bの脇見許容時間よりも小さい。これは、画像領域Dの方が画像領域Bよりも顔を向けたときの角度が大きくなるからである。また、同様に、画像領域Cの脇見許容時間は、画像領域Aの脇見許容時間よりも小さくなる。
さらに、画像領域Bの脇見許容時間は、画像領域Aの脇見許容時間よりも小さくなる。両領域A,Bを視認した場合、運転者が顔を向けたときの角度はほぼ同じである。ところが、画像領域Bと前方注視領域の間にはピラーが設けられている。そして、このピラーにより運転者が画像領域Bを視認している場合には、前方注視領域が見えにくくなってしまう。このため、運転者が両領域A,Bに顔を向けたときの角度はほぼ同じであっても、画像領域Bの脇見許容時間は、画像領域Aの脇見許容時間よりも小さくなる。
また、画像領域Dの脇見許容時間は、画像領域Cの脇見許容時間よりも小さくなる。これら両領域C,Dについても顔を向けたときの角度はほぼ同じである。そして、画像領域Bと前方注視領域の間には、画像領域Bを介してピラーが設置されている。同様に、画像領域Cと前方注視領域の間にもピラーが設置されている。ところが、左側のピラーは運転者に対して右側のピラーよりも遠い位置に設置されている。このため、運転者からの見かけ上のピラーの太さは、異なることとなる。そして、運転者にとっては、見かけ上のピラーの太さが太い方が、前方注視領域の視認の障害となる。故に、画像領域Dの脇見許容時間は、画像領域Cの脇見許容時間よりも小さくなる。
さらに、画像領域Eの脇見許容時間は、画像領域Dの脇見許容時間とほぼ同じである。例えば運転者がオーディオ装置等の設置位置を視認する場合、瞼が下がるために前方注視領域が殆ど見えなくなってしまう。このため、画像領域Eは、脇見許容時間が短くなり、前述までに最も脇見許容時間が最も短かった画像領域Dとほぼ同等となってしまう。以上をまとめると、脇見許容時間は、「D=E<C<B<A」とされることとなる。
このように、脇見許容時間を割り付けた後、視認領域検出部24は、運転者の現在の眼の位置データから、運転者の視認領域を検出する。図14は、撮影画像上に設定された画像領域を運転者の視点から示した説明図である。図13に示す画像領域を撮影画像上に置き換えると、図14に示すようになる。
ここで、例えば、撮影部10が新たに取得した画像から、眼位置データ取得部21が点P1を示す運転者の眼の位置データを取得したとする。このとき、視認領域検出部24は、図14に示す画像領域のデータに基づいて、運転者の視認領域が画像領域Aであると検出する。また、同様に、眼位置データ取得部21が点P2を示す運転者の眼の位置データを取得したとすると、視認領域検出部24は、図14に示す画像領域のデータに基づいて、視認領域が前方注視領域であると検出する。さらに、眼位置データ取得部21が点P3を示す運転者の眼の位置データを取得したとすると、視認領域検出部24は、視認領域が画像領域Eであると検出する。
このように、画像領域の設定を終えた後、視認領域検出部24は、現在の眼の位置データがいずれの画像領域に属するかを判断して、運転者の視線領域を検出する。
その後、脇見状態検出部25は、視認領域とその視認領域に割り振られた脇見許容時間に基づいて、運転者が脇見状態であると検出する。すなわち、視認領域に眼の位置が納まったまま、脇見許容時間が経過した場合に、脇見状態検出部25は、運転者が脇見状態であると検出する。
検出後、脇見状態検出部25は、脇見状態である旨を報知器30に出力する。そして、報知器30は、警報音等により運転者に注意喚起を行う。
次に、本実施形態に係る運転者状態検出装置1の動作の一例を説明する。まず、運転者状態検出装置1の撮影部10は、運転者の顔を含む領域を撮影し、得られた撮影画像のデータを処理装置20に送出する。
そして、処理装置20は、図15に従う処理を実行する。図15は、図2に示した処理装置20の詳細動作を示すフローチャートである。
同図に示すように、まず、眼位置データ取得部21は、撮影画像のデータを入力する(ST10)。その後、眼位置データ取得部21は、眼の追跡領域が設定されているか否かを判断する(ST11)。眼の追跡領域が設定されていると判断した場合(ST11:YES)、処理はステップST14に移行する。
一方、眼の追跡領域が設定されていないと判断した場合(ST11:NO)、眼位置検出部21aは、画像全体から眼の位置を検出する(ST12)。ここでは、図3〜図6を参照して説明したように、眼の位置を検出する。そして、眼位置検出部21aは、眼の位置のデータを眼追跡部21bに送出する。
その後、眼追跡部21bは、眼位置検出部21aからの眼の位置のデータに基づいて、追跡領域を設定する(ST13)。そして、眼追跡部21bは、新たに入力される撮影画像のデータに基づいて、追跡領域内から眼を検出する(ST14)。ここでは、図7を参照して説明したようにして、追跡領域内から眼を検出する。
その後、眼追跡部21bは、眼の追跡が正しく行われているか否かを判断する(ST15)。眼の追跡が正しく行われていないと判断した場合(ST15:NO)、眼追跡部21bは、眼の追跡領域をクリアし(ST16)、処理はステップST10に戻る。この場合、再度追跡領域の設定が行われることとなる。
一方、眼の追跡が正しく行われていると判断した場合(ST15:YES)、眼追跡部21bは、目の追跡領域を更新する(ST17)。すなわち、図7を参照して説明したように、眼の位置に基づき追跡領域を更新することとなる。
その後、基準位置検出部22は、時系列的な眼の位置データに基づいて、基準位置を検出する(ST18)。ここで、基準位置検出部22は、運転者が車両前方に視線方向を多く向ける傾向から、車両前方方向を基準位置として検出する。
そして、顔位置検出部23は、前後方向の運転者顔位置を検出する(ST19)。ここで、顔位置検出部23は、図10及び図11に示した方法のうち、少なくとも1つの方法により前後方向の運転者顔位置を検出する。
その後、視認領域検出部24は、画像領域を設定する(ST20)。ここで、視認領域検出部24は、図12〜図14に示したようにして、画像領域を設定する。なお、この設定の際に、視認領域検出部24は脇見許容時間についても設定する。設定後、視認領域検出部24及び脇見状態検出部25は、脇見判定処理を実行する(ST21)。
図16は、図15に示した脇見判定処理(ST21)の詳細を示す説明図である。まず、視認領域検出部24は、現在の運転者の眼の位置が画像領域A内に存在するか否かを判断する(ST30)。眼が画像領域A内に存在すると判断した場合(ST30:YES)、視認領域検出部24は、タイマーが作動中か否かを判断する(ST31)。なお、視認領域検出部24は、ステップST30の時点で、運転者の視認領域を検出したこととなる。
タイマーが作動中であると判断した場合(ST31:YES)、処理はステップST33に移行する。一方、タイマーが作動中でないと判断した場合(ST31:NO)、視認領域検出部24は、タイマーをスタートさせる(ST32)。
その後、脇見状態検出部25は、タイマーにて計時される時間(即ち滞留時間)が、画像領域Aに設定される脇見許容時間を超えたか否かを判断する(ST33)。脇見許容時間を超えていないと判断した場合(ST33:NO)、図16に示す処理は終了する。
一方、脇見許容時間を超えたと判断した場合(ST33:YES)、脇見状態検出部25は、警報出力を行うと共に、タイマーをリセットする(ST34)。そして、図16に示す処理は終了する。
また、ステップST30において、眼が画像領域A内に存在しないと判断した場合(ST30:NO)、視認領域検出部24は、タイマーをリセットし(ST35)、その後、視認領域検出部24及び脇見状態検出部25は、画像領域B〜E、及び前方注視領域についても同様の処理を行っていく。その後、処理は、図15のステップST22に戻る。
そして、報知器30は、図16のステップST34等の処理により脇見状態検出部25が警報出力していた場合、警報音等により運転者に注意喚起を行う(ST22)。そして、処理は終了する。
このようにして、本実施形態に係る運転者状態検出装置1によれば、眼の位置データと基準位置と撮影光軸方向の運転者の顔位置とに基づいて、運転者の視認領域を検出している。このため、運転者の体格等によって左右される基準位置と撮影光軸方向の運転者の顔位置とが考慮された上で、眼の位置データに基づいて、運転者の視認領域を検出することとなる。これにより、運転者の体格等に関係なく視認領域を検出することができる。
従って、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることができる。
また、検出された視認領域に基づいて脇見状態の検出を行うので、精度良く検出された視認領域に基づいて脇見検出を行うこととなり、脇見検出の検出精度の向上を図ることができる。
また、初期的な画像に対しては眼位置検出部21aが画像全体から眼を検出して、眼の位置データを取得し、眼の位置が検出された後には、眼追跡部21bが画像全体よりも狭くされた追跡領域から眼を検出して、眼の位置データを取得している。すなわち、一度、画像全体から眼の位置を検出するものの、その後は、画像全体から眼の位置を検出する必要がなく、眼の検出精度及び検出速度の向上を図ることができる。
また、運転者が車両前方方向を視認しているときの眼の位置を基準位置としている。ここで、運転者は、車両前方を最も多く視認することから、車両前方視認時のデータは他の視認箇所よりも早くに収集される。このため、基準位置の検出に必要なデータが早くに収集できることとなり、基準位置の検出を短時間で行うことができる。
また、撮影部10は運転席の正面側に設置されている。このため、撮影部10は運転者の顔を撮影しやすい位置に設置されているといえる。また、顔位置検出部23は、車両前後方向の顔位置を検出している。このため、撮影部10のみでは検出できない方向について、略垂直に検出することとなる。そして、撮影部10と顔位置検出部23とにより、効果的に運転者の三次元的な顔位置を検出することとなる。従って、眼の位置を検出しやすく、且つ効果的に顔位置を検出することとができる。
また、ヘッドレスト102の左端及び右端の少なくとも一方により検出するので、新たな構成物を付加する必要がなく、処理内容を変更するだけでよく、シンプルなシステム構成にて顔位置の検出を実現することができる。
また、シート状態検出センサからの信号に基づいて運転者の顔位置を検出している。ここで、運転者は、車両前方等が視認しやすいように、顔位置を移動させるべく、シート状態を適切なものとする。すなわち、シート状態は、運転者の顔位置を直接的に示すものである。このため、直接的に運転者の顔位置を示す信号から、運転者の顔位置を検出することとなり、精度良く顔位置を検出することができる。
また、ルームミラー104の角度に基づいて運転者の顔位置を検出している。ここで、ルームミラー104は、運転者の視点位置から、車両後方側を視認しやすいように調整される。また、ルームミラー104は、上下左右に動くものであり、ミラー角度に基づくことで、3次元的に精度良く運転者の顔位置を検出することとなる。従って、精度良く顔位置を検出することができる。
また、シートベルトの引き出し量に基づいて運転者の顔位置を検出している。ここで、シートベルトの引き出し量は、シート位置や運転者の体格によって異なってくるものである。すなわち、シートベルトの引き出し量は、シート位置、運転者の体格などの様々な要因により異なってくるものである。シートベルトの引き出し量に基づいて運転者の顔位置を検出することで、多くの要因を考慮した顔位置の検出を行っているといえる。従って、精度良く顔位置を検出することができる。
次に、本発明の第2実施形態を説明する。第2実施形態に係る運転者状態検出装置2は、第1実施形態のものと同様であるが、車両走行状態検出センサ(車速センサ)40を備える点で、第1実施形態のものと異なっている。また、処理装置20の処理内容についても一部異なっている。
以下、第2実施形態に係る運転者状態検出装置2について説明する。図17は、本発明の第2実施形態に係る運転者状態検出装置2の構成図である。車両走行状態検出センサ40は、車両の車速を検出するものである。また、車両走行状態検出センサ40は、処理装置20に接続されており、検出した車速の情報を処理装置20に送信する構成とされている。
図18は、本発明の第2実施形態に係る処理装置20の機能ブロック図である。なお、図18では、接続関係を明確にするために、撮影部10及び車両走行状態検出センサ40についても図示するものとする。
同図に示すように、処理装置20の構成は、第1実施形態と同様である。但し、基準位置検出部22が車両走行状態検出センサ40に接続され、車速の情報を入力するようになっている。
また、処理装置20にて実行される処理は、第1実施形態と同様であるが、第2実施形態では、車速の情報を受けた基準位置検出部22は、車両走行状態検出センサ40からの車速の情報等に基づいて、実行する処理内容を変更するようになっている。
図19は、図18に示した基準位置検出部22及び車両走行状態検出センサ40の動作の一例を示すフローチャートである。このフローは、図15のステップST18〜ST20の処理に代えて行われる処理である。
まず、車両走行状態検出センサ40は、車両の車速を検出する(ST40)。そして、車両走行状態検出センサ40は、車速の情報を基準位置検出部22に送信する。送信後、基準位置検出部22は、車速が予め記憶される所定値以上であるか否かを判断する(ST41)。
車速が所定値以上であると判断した場合(ST41:YES)、基準位置検出部22は、基準位置の検出を行うべく、ステップST42以下の処理を行っていく。一方、車速が所定値以上でないと判断した場合(ST41:NO)、基準位置検出部22は、基準位置の検出を行うことなく、処理は図15のステップST21に移行する。ここで、基準位置が求められていない場合、運転者が脇見状態であると判断されることなく、処理はステップST10に戻ることとなる。
このように、第2実施形態では、車速が所定値以上のときのみに基準位置を検出することとなる。これは以下の理由による。すなわち、車速が所定値以下の場合、例えば車速が「0」の場合、運転者は、車両前方方向を多く見るとは限らない。例えば、ナビゲーション装置の操作を行っていたり、道路マップ等を見ていたりすることがある。このような場合に、基準位置の検出を行ってしまうと、正確に基準位置を検出できなくなる可能性がある。このため、第2実施形態では、正確に基準位置を検出すべく、車速が所定値以上のときのみに基準位置を検出することとしている。
ステップST42において、基準位置検出部22は、眼の位置データ(座標データ)を所定数(2以上)メモリしたか否かを判断する(ST42)。所定数メモリしていないと判断した場合(ST42:NO)、基準位置検出部22は、眼位置データ取得部21にて取得された眼の座標データをメモリする(ST43)。そして、処理は図15のステップST21に移行する。
一方、所定数メモリしていたと判断した場合(ST42:YES)、基準位置検出部22は、所定数メモリした座標データの分散値を算出する(ST44)。そして、基準位置検出部22は、分散値が所定値以下か否かを判断する(ST45)。
分散値が所定値以下でないと判断した場合(ST45:NO)、処理はステップST49に移行する。一方、分散値が所定値以下であると判断した場合(ST45:YES)、所定数メモリした座標データを基に眼の基準位置を検出する(ST46)。ここで、基準位置検出部22は、前回処理等により既に基準位置が求められている場合には、基準位置の更新を行い、求められていない場合には、新たに基準位置を設定することとなる。
ここで、分散値を所定値と比較する理由は以下による。すなわち、分散値が所定値以下でない場合、眼の座標データがばらついていることから、基準位置検出部22は、基準位置を求めてしまうと不正確になる可能性が高いと判断し、基準位置の検出を行わないようにしている。一方、分散値が所定値以下である場合、眼の座標データが比較的同じ座標位置に集中していることから、基準位置検出部22は、正確な基準位置を求めることができると判断し、基準位置の検出を行うようにしている。
基準位置の検出後、顔位置検出部23は、第1実施形態と同様にして運転者の前後方向の顔位置を検出する(ST47)。そして、視認領域検出部24は、第1実施形態と同様に画像領域を設定する(ST48)。その後、基準位置検出部22はメモリした所定数の座標データをクリアする(ST49)。そして、処理は図15のステップST21に移行する。
このようにして、本実施形態に係る運転者状態検出装置2によれば、第1実施形態と同様に、運転者が視認している視認領域を検出するに当たり検出精度の向上を図ることができ、脇見検出するに当たり検出精度の向上を図ることができる。
また、眼の検出精度及び検出速度の向上を図ることができ、基準位置の検出を短時間で行うことができ、眼の位置を検出しやすく、且つ効果的に顔位置を検出することとができる。
また、シンプルなシステム構成にて顔位置の検出を実現することができ、精度良く顔位置を検出することができる。
さらに、本実施形態に係る運転者状態検出装置2によれば、車速が所定値以上のときに基準位置を検出している。ここで、車速が所定値以下の場合、例えば車速が「0」の場合、運転者は、車両前方方向を多く見るとは限らない。例えば、ナビゲーション装置の操作を行っていたり、道路マップ等を見ていたりすることがある。このような場合に、基準位置の検出を行ってしまうと、正確に基準位置を検出できなくなる可能性がある。そこで、本実施形態では、車速が所定値以上の場合に基準位置を検出している。このため、正確な基準位置を検出することができる。
また、所定数(2以上)の眼の位置データに基づいて分散値を求め、分散値が所定値以下であるときに、基準位置を検出している。ここで、分散値が所定値以下でない場合、眼の座標データがばらついていることから、基準位置を求めてしまうと不正確になる可能性が高い。一方、分散値が所定値以下である場合、眼の座標データが比較的同じ座標位置に集中していることから、正確な基準位置を求めるやすくなっている。そこで、本実施形態では、分散値が所定値以下であるときに基準位置を検出している。このため、正確に基準位置を検出することができる。
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではない。例えば、上記実施形態では、基準位置と顔の前後位置から、画像領域を設定して視認領域を検出するようにしている。しかし、この構成に限られず、以下のようなものであってもよい。
すなわち、現在の眼の位置データと基準位置とに基づいて、基準位置から現在の眼の位置までの移動ベクトルを求め、この移動ベクトルと顔の前後位置に基づいて、実際の眼の動きを推定し、この動きと予め記憶されるマップ等に基づいて視認領域を検出するようにしてもよい。
1,2…運転者状態検出装置
10…撮影部(撮影手段)
20…処理装置
21…眼位置データ取得部(眼位置データ取得手段)
21a…眼位置検出部(眼位置検出手段)
21b…眼追跡部(眼追跡手段)
22…基準位置検出部(基準位置検出手段)
23…顔位置検出部(顔位置検出手段)
24…視認領域検出部(視線領域検出手段)
25…脇見状態検出部(脇見状態検出手段)
30…報知器
40…車両走行状態検出センサ(車速センサ)
102…ヘッドレスト
104…ルームミラー
105…シート状態検出センサ
10…撮影部(撮影手段)
20…処理装置
21…眼位置データ取得部(眼位置データ取得手段)
21a…眼位置検出部(眼位置検出手段)
21b…眼追跡部(眼追跡手段)
22…基準位置検出部(基準位置検出手段)
23…顔位置検出部(顔位置検出手段)
24…視認領域検出部(視線領域検出手段)
25…脇見状態検出部(脇見状態検出手段)
30…報知器
40…車両走行状態検出センサ(車速センサ)
102…ヘッドレスト
104…ルームミラー
105…シート状態検出センサ
Claims (12)
- 車両運転者の顔を撮影する撮影手段と、
前記撮影手段により撮影された運転者の顔を含む撮影画像から、運転者の眼の位置データを取得する眼位置データ取得手段と、
前記眼位置データ取得手段によって時系列的に取得された眼の位置データから、基準となる運転者の眼の基準位置を検出する基準位置検出手段と、
前記撮影手段の撮影光軸方向の運転者の顔位置を検出する顔位置検出手段と、
前記眼位置データ取得手段によって取得された眼の位置データ、前記基準位置検出手段により検出された運転者の眼の基準位置、及び、顔位置検出手段により検出された撮影光軸方向の運転者の顔位置に基づいて、運転者の視認領域を検出する視認領域検出手段と、
を備えることを特徴とする運転者状態検出装置。 - 前記視認領域検出手段により検出された運転者の視認領域に基づいて、運転者が脇見状態であることを検出する脇見状態検出手段と更に備えることを特徴とする請求項1に記載の運転者状態検出装置。
- 前記眼位置データ取得手段は、
撮影手段により撮影された画像全体から眼の位置を検出する眼位置検出手段と、
前記眼位置検出手段により検出された運転者の眼の位置を基準にして、眼の位置を含む追跡領域を画像上に定め、新たに撮影された画像から眼の位置を検出する場合、追跡領域内から運転者の眼を検出し、追跡していく眼追跡手段と、
を有することを特徴とする請求項1又は請求項2のいずれかに記載の運転者状態検出装置。 - 前記基準位置検出手段は、運転者が車両前方方向を視認しているときの眼の位置を前記基準位置として検出する
ことを特徴とする請求項1〜請求項3のいずれか1項に記載の運転者状態検出装置。 - 車両の車速を検出する車速センサを更に備え、
前記基準位置検出手段は、前記車速センサにより検出された車速が所定値以上である場合に、前記基準位置を検出する
ことを特徴とする請求項1〜請求項4のいずれか1項に記載の運転者状態検出装置。 - 前記基準位置検出手段は、車速が所定値以上である場合に、前記眼位置データ取得手段によって取得された複数個の眼の位置データについて分散値を求め、この分散値が所定値以下であるときに、前記基準位置を検出することを特徴とする請求項5に記載の運転者状態検出装置。
- 前記撮影手段は、運転席の正面側に設置され、
前記顔位置検出手段は、撮影光軸方向の運転者の顔位置として、車両前後方向の運転者の顔位置を検出する
ことを特徴とする請求項1〜請求項6のいずれか1項に記載の運転者状態検出装置。 - 前記顔位置検出手段は、前記撮影手段により撮影されるヘッドレスト左端及び右端の少なくとも一方のエッジラインに基づいて運転者の顔位置を検出することを特徴とする請求項1〜請求項7のいずれか1項に記載の運転者状態検出装置。
- 前記顔位置検出手段は、運転席の状態を検出するシート状態検出センサからの信号に基づいて運転者の顔位置を検出することを特徴とする請求項1〜請求項7のいずれか1項に記載の運転者状態検出装置。
- 前記顔位置検出手段は、ルームミラーの角度に基づいて運転者の顔位置を検出することを特徴とする請求項1〜請求項7のいずれか1項に記載の運転者状態検出装置。
- 前記顔位置検出手段は、シートベルトの引き出し量に基づいて運転者の顔位置を検出することを特徴とする請求項1〜請求項7のいずれか1項に記載の運転者状態検出装置。
- 車両運転者の顔を撮影して得られた撮影画像から、運転者の眼の位置データを取得し、取得した眼の位置データから、基準となる運転者の眼の基準位置を検出する一方、撮影光軸方向の運転者の顔位置を検出し、これら基準位置、及び撮影光軸方向の運転者の顔位置に加えて、前記眼の位置データに基づいて、運転者の視認領域を検出することを特徴とする運転者状態検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003300055A JP2005066023A (ja) | 2003-08-25 | 2003-08-25 | 運転者状態検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003300055A JP2005066023A (ja) | 2003-08-25 | 2003-08-25 | 運転者状態検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005066023A true JP2005066023A (ja) | 2005-03-17 |
Family
ID=34405104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003300055A Pending JP2005066023A (ja) | 2003-08-25 | 2003-08-25 | 運転者状態検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005066023A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072570A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 脇見判定装置 |
JP2009214835A (ja) * | 2008-03-12 | 2009-09-24 | Toyota Motor Corp | シートベルトのねじれ判定装置、及びベルト巻取り力制御装置 |
JP2010061608A (ja) * | 2008-09-08 | 2010-03-18 | Denso Corp | 物体検出装置 |
JP2011528242A (ja) * | 2008-07-18 | 2011-11-17 | オプタラート・プロプライアタリー・リミテッド | 覚醒状態の感知装置 |
DE102012112625A1 (de) | 2011-12-26 | 2013-06-27 | Denso Corporation | Spiegelsteuerung und computerlesbares Speichermedium |
US8538044B2 (en) | 2008-09-26 | 2013-09-17 | Panasonic Corporation | Line-of-sight direction determination device and line-of-sight direction determination method |
WO2014181510A1 (ja) * | 2013-05-07 | 2014-11-13 | 株式会社デンソー | 運転者状態監視装置、および運転者状態監視方法 |
US9654740B2 (en) | 2013-05-28 | 2017-05-16 | International Business Machines Corporation | Controlling automotive rear-view mirror based on eye movement |
JP2017191367A (ja) * | 2016-04-11 | 2017-10-19 | 株式会社デンソー | 安全運転支援装置及び安全運転支援プログラム |
CN110088761A (zh) * | 2016-12-20 | 2019-08-02 | 三菱电机株式会社 | 车载图像认证装置 |
WO2020075215A1 (ja) * | 2018-10-09 | 2020-04-16 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
JP2021077139A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 運転者状態推定装置 |
CN114779470A (zh) * | 2022-03-16 | 2022-07-22 | 青岛虚拟现实研究院有限公司 | 一种增强现实抬头显示***的显示方法 |
-
2003
- 2003-08-25 JP JP2003300055A patent/JP2005066023A/ja active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072570A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 脇見判定装置 |
JP4725254B2 (ja) * | 2005-09-05 | 2011-07-13 | トヨタ自動車株式会社 | 脇見判定装置 |
JP2009214835A (ja) * | 2008-03-12 | 2009-09-24 | Toyota Motor Corp | シートベルトのねじれ判定装置、及びベルト巻取り力制御装置 |
JP2011528242A (ja) * | 2008-07-18 | 2011-11-17 | オプタラート・プロプライアタリー・リミテッド | 覚醒状態の感知装置 |
JP2010061608A (ja) * | 2008-09-08 | 2010-03-18 | Denso Corp | 物体検出装置 |
US8538044B2 (en) | 2008-09-26 | 2013-09-17 | Panasonic Corporation | Line-of-sight direction determination device and line-of-sight direction determination method |
DE102012112625A1 (de) | 2011-12-26 | 2013-06-27 | Denso Corporation | Spiegelsteuerung und computerlesbares Speichermedium |
WO2014181510A1 (ja) * | 2013-05-07 | 2014-11-13 | 株式会社デンソー | 運転者状態監視装置、および運転者状態監視方法 |
US9654740B2 (en) | 2013-05-28 | 2017-05-16 | International Business Machines Corporation | Controlling automotive rear-view mirror based on eye movement |
JP2017191367A (ja) * | 2016-04-11 | 2017-10-19 | 株式会社デンソー | 安全運転支援装置及び安全運転支援プログラム |
CN110088761A (zh) * | 2016-12-20 | 2019-08-02 | 三菱电机株式会社 | 车载图像认证装置 |
CN110088761B (zh) * | 2016-12-20 | 2023-11-14 | 三菱电机株式会社 | 图像认证装置、图像认证方法及汽车 |
WO2020075215A1 (ja) * | 2018-10-09 | 2020-04-16 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
JP6847323B2 (ja) * | 2018-10-09 | 2021-03-24 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
JPWO2020075215A1 (ja) * | 2018-10-09 | 2021-04-30 | 三菱電機株式会社 | 視線検出装置および視線検出方法 |
US11983896B2 (en) | 2018-10-09 | 2024-05-14 | Mitsubishi Electric Corporation | Line-of-sight detection apparatus and line-of-sight detection method |
JP2021077139A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 運転者状態推定装置 |
CN114779470A (zh) * | 2022-03-16 | 2022-07-22 | 青岛虚拟现实研究院有限公司 | 一种增强现实抬头显示***的显示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6647423B2 (ja) | 運転支援装置および運転支援方法 | |
JP4926437B2 (ja) | 車両の運転支援装置 | |
JP6350145B2 (ja) | 顔向き検出装置及び車両用警告システム | |
EP1878618B1 (en) | Driving support method and apparatus | |
EP1721782B1 (en) | Driving support equipment for vehicles | |
KR101692628B1 (ko) | 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 | |
JP2005066023A (ja) | 運転者状態検出装置 | |
CN104210424A (zh) | 增强的前方路缘观察*** | |
KR101103526B1 (ko) | 스테레오 카메라를 이용한 충돌회피 방법 | |
EP3113073A1 (en) | Determination device, determination method, and non-transitory storage medium | |
JP2008219063A (ja) | 車両周辺監視装置及び方法 | |
US20180208115A1 (en) | Vehicle display device and vehicle display method for displaying images | |
KR20060021922A (ko) | 두 개의 카메라를 이용한 장애물 감지 기술 및 장치 | |
CN109165629A (zh) | 多焦距视觉障碍物感知方法、装置、设备及存储介质 | |
EP3633619A1 (en) | Position detection apparatus and position detection method | |
JP2007232593A (ja) | 物体検出装置 | |
JP4840638B2 (ja) | 車両の乗員監視装置 | |
JP2009140305A (ja) | 車両用情報提示装置 | |
JP2008226163A (ja) | 車両の安全装置 | |
JP2011103058A (ja) | 誤認識防止装置 | |
JP2009251761A (ja) | 運転支援システム | |
JP2006027481A (ja) | 物体警告装置及び物体警告方法 | |
KR101295618B1 (ko) | 사각 지대 표시 장치 및 방법 | |
JP4305057B2 (ja) | 脇見検出装置 | |
JP2006231962A (ja) | 車両用運転支援装置 |