JP2005018655A - 運転者行動推定装置 - Google Patents
運転者行動推定装置 Download PDFInfo
- Publication number
- JP2005018655A JP2005018655A JP2003185924A JP2003185924A JP2005018655A JP 2005018655 A JP2005018655 A JP 2005018655A JP 2003185924 A JP2003185924 A JP 2003185924A JP 2003185924 A JP2003185924 A JP 2003185924A JP 2005018655 A JP2005018655 A JP 2005018655A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- behavior
- motion vector
- behavior estimation
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像処理部22は、運転者の頭部を含む顔画像から動きベクトルを求める。そして、動き検出部23は、この動きベクトルに基づいて、顔画像上に設定された領域グループ毎に代表ベクトルを求める。その後、運転者行動推定部24は、求めた代表ベクトルの向き、及び大きさに基づいて、運転者の行動及び運転者以外のものの行動の少なくとも一方を推定する。
【選択図】 図2
Description
【発明の属する技術分野】
本発明は、運転者行動推定装置に関する。
【0002】
【従来の技術】
従来、運転者の行動を推定する装置の1つとして、顔の画像を動画像として撮影し、画像処理にて眼の座標を順次検出し、眼の動きから脇見を推定する装置が知られている(特許文献1参照)。また、運転者の視線方向を検出する方法(特許文献2参照)に眼の瞳孔の反射を利用し、眼の座標を検出して脇見を推定する装置が知られている(特許文献3参照)。
【0003】
このように、上記装置では、眼という特定の顔部位を顔画像中から検出して運転者の脇見行為を推定するようにしている。
【0004】
【特許文献1】
特開平06−262959号公報
【0005】
【特許文献2】
特開2002−83400号公報
【0006】
【特許文献3】
特開平07−61257号公報
【0007】
【発明が解決しようとする課題】
しかしながら、運転者は、交差点等の確認動作をする際、顔を速く動かして確認動作をする傾向にある。特に車両の運転中では、運転者は素早く確認動作を行うことから、顔を速く動かしやすい傾向がある。そして、このように顔を速く動かした場合、従来装置では、追跡精度の限界を超え、顔の特定部位を追跡しきれずに、顔の向き等を検出できなくなってしまう可能性がある。
【0008】
また、従来装置は、運転者が助手席に身を乗り出すなど、運転者の顔部位を含む顔画像が得られない場合、顔の向き等を検出できなくなってしまう。そして、上記のように顔の向き等が検出できなくなった場合には、運転者の脇見を推定することができなくなってしまう。
【0009】
なお、これは、運転者の脇見に限らず、運転者の行動を推定する他の装置において共通する問題点である。
【0010】
【課題を解決するための手段】
本発明によれば、顔画像取得手段は、撮像された運転者の顔の画像を取得し、画像処理手段は、顔画像取得手段により取得された2枚以上の連続する顔画像から1つ以上の動きベクトルを求め、動き検出手段は、画像処理手段により求められた動きベクトルが1つ以上属する領域グループそれぞれから、代表となる動きベクトルを検出し、運転者行動推定手段は、動き検出手段により検出された領域グループ毎の代表となる動きベクトルの向き及び大きさに基づいて、運転者の行動及び運転者以外のものの行動のうち、少なくとも一方を推定し、信号出力手段は、運転者行動推定手段にて推定された行動に従って報知信号を出力する。
【0011】
【発明の効果】
本発明によれば、領域グループそれぞれから得られる代表となる動きベクトルの向き及び大きさに基づいて、運転者の行動を推定している。この代表となる動きベクトルは、画像中における物体等の動きを表すものであり、特定の部位を追跡するものではない。このため、例えば運転者が顔を速く動かした場合であっても、すなわち、特定の顔部位を追跡できない状況下にあっても、顔の動きを捕らえることができる。さらには、運転者の顔が画角外に出てしまっても、画角外に出ていく行動を画像中における動きから得ることができる。このように、動きを捕らえることができるため、この動きに基づいて、運転者行動の推定を容易にすることができる。従って、的確に運転者の行動を推定することができる。
【0012】
また、運転者以外のものの行動を推定対象としている場合には、同様に、的確に運転者以外のものの行動を推定することができる。
【0013】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。図1は、本発明の第1実施形態に係る運転者行動推定装置を含む運転者行動推定システムの構成を示すブロック図である。同図に示すように、運転者行動推定システム1は、運転者の行動を推定して、報知動作等を行うものであって、撮像装置10と運転者行動推定装置20と報知装置30とを備えている。さらに、本システム1は、車両状態検出手段40と環境情報検出手段50とを備えている。
【0014】
撮像装置10は、運転者の顔を含んだ撮像範囲を時系列的に撮像するものである。具体的に撮像装置10は、可視光を撮像するためのカメラ、近赤外光にて撮像するカメラ、及び人等の発する熱を遠赤外にて撮像するカメラ等の光学的受光素子を有するカメラのうち少なくとも1つから構成されている。
【0015】
また、撮像装置10は、例えば運転者の正面下方に設置され、運転者の顔を含む画像(以下顔画像という)を取得し、得られた顔画像のデータをビデオ信号Saとして運転者行動推定装置20に送出するものである。なお、撮像装置10は、運転者の正面下方に設置される場合に限らず、運転者の頭部を撮像範囲に含む位置であれば、他の位置に設置されてもよい。
【0016】
運転者行動推定装置20は、撮像装置10からのビデオ信号Saに基づいて、所定の処理を実行し、運転者の行動を推定するものである。ここで、運転者の行動としては、運転者が下を覗き込んだり、窓から身を乗り出したりする異常行動などである。さらに、運転者が運転席に着座しているかなどの運転者の有無に関するものや、運転者が正常な姿勢で運転しているなども運転者の行動として含まれる。さらには、居眠や脇見などに関する行動も含まれる。
【0017】
報知装置30は、運転者行動推定装置20にて推定された行動に従って、報知動作を行うものである。具体的に報知装置30は、運転者行動推定装置20にて運転者の異常行動が検出された場合に、音、光及び振動のいずれか1つ以上を用いて運転者に注意喚起するものである。
【0018】
また、報知装置30は、他の機器等を制御する機能を有している。すなわち、報知装置30は、報知動作を行うと共に、例えば、車速制御や、ブレーキ制動による緊急制御などの車両制御に介入する動作を行うものである。また、報知装置30は、車両制御に限らず、シートベルトの巻上制御を行ったり、アクセル開度に対する燃料の供給量を示すマップを変更したりしてもよい。
【0019】
車両状態検出手段40は、車両の状態を検出するものであって、具体的に、車速や、ブレーキスイッチのオン/オフ情報、アクセルスイッチのオン/オフ情報、操舵角、シフトレンジ情報等の車両に関する状態を1つ以上検出するものである。また、車両状態検出手段40は、ウインカースイッチのオン/オフ情報を検出するものであってもよい。
【0020】
環境情報検出手段50は、車両の周囲環境を検出するものであって、GPSやジャイロを利用したナビゲーションシステムによる位置情報を取得し、例えば、走行中の道路の種別や交差点の有無等を検出するものである。
【0021】
また、環境情報検出手段50は、可視光カメラ、遠赤外線検出素子、レーザーレーダー及び超音波センサの1つ以上から構成され、例えば、先行車や障害物の有無・接近、歩行者の横断、後続車の接近、側後方からの接近車両等を検出するものでもある。さらに、環境情報検出手段50は、気象情報や、天候、照度計による外の明るさや昼夜の区別等の情報を得るものであってもよい。
【0022】
次に、運転者行動推定装置20の詳細を図2に示す。図2は、図1に示した運転者行動推定装置20の詳細構成を示すブロック図である。
【0023】
運転者行動推定装置20は、顔画像取得部(顔画像取得手段)21、画像処理部(画像処理手段)22、及び動き検出部(動き検出手段)23を備えている。さらに、運転者行動推定装置20は、運転者行動推定部(運転者行動推定手段)24、及び報知信号出力部(信号出力手段)25を具備している。
【0024】
顔画像取得部21は、撮像装置10により撮像された顔画像データであるビデオ信号Saを取得するものであり、内部に記憶領域を備えている。そして、取得した顔画像のデータを横幅160画素、縦幅120画素、1画素あたり256階調の濃淡データを示すディジタルデータに変換して記憶領域に格納する。
【0025】
画像処理部22は、顔画像取得部21により取得された2枚以上の連続する顔画像から1つ以上の動きベクトルを求めるものである。ここで、動きベクトルとは、画像内における所定物体の移動等を表すものである。より具体的に、動きベクトルは、画像の所定箇所に存在した顔部位等が、後の画像においてどの方向にどれだけ速度で移動したかを表すものである。すなわち、動きベクトルは、大きさ及び向きの情報を含むものである。
【0026】
また、動きベクトルは、1つの参照領域(演算領域)につき1つずつ求められるものである。ここで、参照領域とは、予め画像上に所定の大きさで1又は複数設定されるものである。参照領域について説明する。
【0027】
図3は、参照領域の説明図である。なお、図3では、顔画像上に参照領域が複数設定される場合を例に説明する。
【0028】
同図に示すように、参照領域は顔画像上に5行7列に配置されている。この参照領域のそれぞれは、特定の点Oを中心として幅tw画素,高さth画素の大きさで設定される領域である。また、参照領域の周囲それぞれには、当該領域を取り囲むように探索領域が設定されるが、この探索領域については、後述することとする。
【0029】
なお、上記参照領域は、カメラの位置、カメラの画角、及び顔画像のサイズ等に基づいて、目、鼻又は口等の顔の部位の大きさ程度に固定的に設定されることが望ましい。
【0030】
動き検出部23は、領域グループそれぞれから、代表となる動きベクトルを検出するものである。ここで、領域グループとは、画像処理部22により求められた動きベクトルが1つ以上属するものである。すなわち、領域グループは、上記参照領域を1又は複数包含するようにして画像上に設定されているものである。
【0031】
また、代表となる動きベクトル(以下代表ベクトルという)とは、1つの領域グループに包含される動きベクトルの代表となるものである。例えば、1つの領域グループに複数の動きベクトルが属している場合(参照領域を複数含む場合)、代表ベクトルは、それら複数の動きベクトルを平均化して得られたものなどである。
【0032】
領域グループについて説明する。図4は、領域グループの一例を示す説明図である。なお、図4では、領域グループが複数の参照領域を包含する場合を例に説明する。
【0033】
まず、参照領域が顔画像上に5行7列に配置されているとした場合、領域グループは、これら参照領域のうち少なくとも1つを包含するものである。
【0034】
例えば、図4に示すように、領域グループは、顔画像上の5行7列すべての参照領域を包含するようにされている。また、すべてに限らず、例えば、5行7列の参照領域のうち、1〜5行目で3〜5列目の参照領域などのように一部を含むようにされていてもよい。さらに、領域グループは、複数設けられていてもよい。複数設けられる場合、各領域グループは、それぞれ重複部分を有するようにされていてもよい。
【0035】
すなわち、各領域グループは、それぞれ1つ以上の参照領域を含んでいればよい。ここで、上記動きベクトルは、1つの参照領域につき1つ検出されるものである。故に、領域グループは、前述したように、動きベクトルが1つ以上属するものといえる。
【0036】
再度、図1及び図2を参照する。運転者行動推定部24は、動き検出部23により検出された領域グループそれぞれの代表ベクトルの向き及び大きさに基づいて、運転者の行動を推定するものである。さらに、運転者行動推定部24は、代表となる動きベクトルを求める際に用いられた各領域グループ毎の動きベクトルの数に基づいて運転者の行動を推定するようにされていてもよい。推定される行動は、上記した異常行動、及び正常な姿勢で運転していることなどである。
【0037】
なお、運転者行動推定部24は、領域グループそれぞれの代表ベクトルの向き及び大きさに加え、領域グループ毎の代表となる動きベクトルの位置に基づいて、推定するようにされていてもよい。すなわち、運転者行動推定部24が何に基づいて推定するかは、推定すべき対象としている行動によって変更されることとなる。
【0038】
報知信号出力部25は、運転者行動推定部24にて推定された行動に従って、報知信号を出力するものである。例えば、報知信号出力部25は、推定された行動が所定のものである場合に、報知信号Sbを生成して報知装置30に出力するものである。
【0039】
図5は、図1に示した運転者行動推定装置20の詳細構成、及び接続関係を示す説明図である。同図に示すように、車両状態検出手段40及び環境情報検出手段50は、運転者行動推定装置20の運転者行動推定部24に接続されている。このため、運転者行動推定部24は、車両状態検出手段40からの信号Scと、環境情報検出手段50からの信号Sdとの少なくとも一方を入力し、推定すべき対象を変更することができる。
【0040】
例えば、運転者行動推定部24は、ナビゲーションによる地図情報から、見通しの悪い交差点や信号のない交差点に差し掛かっているという環境信号Sdに基づいて、運転者の顔の向き、すなわち安全確認を行ったか否かを推定対象とする。
【0041】
また、運転者行動推定部24は、車速が設定速度以下であるという車両の状態信号Scに基づいて、渋滞を判断し、運転者が眠気を感じているかなど、居眠状態を推定対象とする。
【0042】
以上、本システム1の構成である。次に、本システム1の動作の概略について説明する。まず、撮像装置10により運転者の顔を含む画像が撮像され、その画像がビデオ信号Saとして顔画像取得部21に入力される。
【0043】
ここで、撮像される画像の具体例を図6に示す。図6は、撮像される画像の一例を示す説明図であり、(a)は時刻tにおける画像を示し、(b)は時刻(t+1)における画像を示し、(a)は時刻(t+2)における画像を示している。なお、図6においては、運転者は異常行動をした場合の撮像画像例を示している。
【0044】
まず、図6(a)に示すように、時刻tにおいては、運転者が前方を視認する状態、すなわち正常な運転姿勢にあるときの画像が撮像される。ここで、運転者が助手席にあるものを取るなどの行動をした場合、図6(b)に示すように、時刻(t+1)において運転者が助手席に身を乗り出し始めたときの画像が撮像される。
【0045】
その後、図6(c)に示すように、運転者は、時刻(t+2)において助手席に完全に身を乗り出した状態、すなわち、異常姿勢となったときの画像が撮像される。
【0046】
このような画像の取得の後、顔画像取得部21は、撮像装置10からのビデオ信号Saを入力して、データを記憶領域に格納すると共に、格納した顔画像データを画像処理部22に出力する。画像処理部22は、顔画像取得部21からの顔画像のデータに基づいて、動きベクトルを求める。この際、画像処理部22は、参照領域毎に動きベクトルを求める。そして、画像処理部22は、求めた各領域毎の動きベクトルのデータを動き検出部23に送出する。
【0047】
動き検出部23は、画像処理部22により求められた各領域毎の動きベクトルに基づいて、領域グループそれぞれの代表ベクトルを検出する。そして、動き検出部23は、求めた代表ベクトルのデータを運転者行動推定部24に送出する。
【0048】
運転者行動推定部24は、動き検出部23により検出された領域グループそれぞれの代表ベクトルの向き及び大きさ、並びに代表ベクトルを求めるに当たり用いられた動きベクトルの数に基づいて、行動を推定する。そして、運転者行動推定部24は、推定結果を報知信号出力部25に出力する。なお、運転者行動推定部24は、場合によっては、領域グループそれぞれの顔画像上における位置に基づいて行動を推定してもよい。
【0049】
その後、報知信号出力部25は、運転者行動推定部24からの検出結果を電気信号Sbに変換して外部に出力する。そして、電気信号Sbを受けた報知装置30は、その信号に基づいて報知動作を行うこととなる。
【0050】
次に、図3及び図7〜図16を参照して、本実施形態に係る運転者行動推定装置20の動作を詳細に説明する。
【0051】
図7は、図2に示した画像処理部22の動作を示すフローチャートである。まず、画像処理部22は、顔画像取得部21から顔画像のデータであるビデオ信号Saを入力する。そして、画像処理部22は、顔画像取得部21からの顔画像にスムージングフィルタを適応し、所定の式にて画素値を変換する(ST10)。ここで、スムージングフィルタは、以下に示す5行5列からなるフィルタである。
【0052】
【数1】
所定の式は、以下に示すものである。
【0053】
【数2】
なお、d(x,y)は、顔画像内の任意位置の画素値であり、d’(x,y)は変換後の画素値である。
【0054】
画素値変換後、画像処理部22は、ある時刻tのフィルタをかけた顔画像(前顔画像)に対して少なくとも1つ以上の参照領域を設定し、時刻t+1のフィルタをかけた顔画像(現顔画像)に対して探索領域(幅sw画素,高さsh画素)を設定する。
【0055】
ここで、再度図3を参照して、探索領域を説明する。同図に示すように、探索領域は、点Oを中心として設定される幅sw画素,高さsh画素の領域である。この探索領域は、各参照領域を取り囲んで設定されるものであり、参照領域と同じ数だけ設定される。
【0056】
すなわち、参照領域と探索領域とは中心を等しくし、sw>tw且つsh>swの関係となるように設定される。なお、ここでの参照領域及び探索領域は、運転者の顔の位置等に依存せず、予め定められた位置及び大きさで設定される。
【0057】
領域設定後、画像処理部22は、現顔画像の探索領域内から、前顔画像内の参照領域に最も類似する位置を求めて、動きベクトル(xd,yd)を算出する(ST11)。具体的には、画像処理部22は、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部22は、求められた最も類似する領域の中心点と、探索領域の中心点とから動きベクトル(xd,yd)を算出する。
【0058】
ここで、ステップST11について詳細に説明する。図8は、図7に示すステップST11における動きベクトル(xd,yd)の算出方法の説明図である。ステップST11の処理において、画像処理部22は、まず、候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。具体的には、探索領域内の任意の位置を(α,β)とした場合、−(sw−tw)/2<α<(sw−tw)/2、且つ、−(sh−th)/2<β<(sh−th)の範囲から切り出した領域である。
【0059】
画像処理部22は、探索領域内の所定箇所に上記のような候補領域を設定し、設定した候補領域と参照領域とを比較等して、類似度を求める。次に、画像処理部22は、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【0060】
その後、画像処理部22は、候補領域を順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をcosθとすると、類似度は以下の式にて表される。
【0061】
【数3】
上式においては、参照領域の濃淡データをTとし、候補領域の濃淡データをSとしている。また、xdは、探索領域内のX座標値を示し、ydは、探索領域内のY座標値を示している。
【0062】
以上から、画像処理部22は、類似度が最大となる位置Sを定め、点Sと点Oとの座標値の差を動きベクトル(xd,yd)として取得する。
【0063】
再度、図7を参照して説明する。動きベクトル(xd,yd)の算出後、画像処理部22は、類似度の範囲(特徴量)が閾値以上か否かを判断する(ST12)。すなわち、画像処理部22は、まず、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。その後、画像処理部22は、得られた類似度の分散を求め、この分散により類似度の範囲が閾値以上か否かを判断する。
【0064】
ここで、類似度の範囲が小さい場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Sの検出が不正確になりやすい。このため、図7のステップST12の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【0065】
ステップST12において、類似度の範囲が閾値以上であると判断した場合(ST12:YES)、画像処理部22は、参照領域を有効な領域とし、fdに「1」を代入する(ST13)。そして、処理はステップST15に移行する。なお、後述するが、運転者行動推定部24は、ここで有効とされた領域の数を有効な動きベクトルとし、その数に基づいて行動の推定処理に用いる。
【0066】
一方、類似度の範囲が閾値以上でないと判断した場合(ST12:NO)、画像処理部22は、参照領域を無効な領域とし、fdに「0」を代入する(ST14)。そして、処理はステップST15に移行する。このように、画像処理部22は、類似度の範囲と、予め設定される閾値とを比較することにより、後の計算に用いるか否かを判断している。
【0067】
ステップST15において、画像処理部22は、領域の数だけ上記のステップST11〜ST14を行ったか否かを判断する(ST15)。すなわち、画像処理部22は、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【0068】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合(ST15:NO)、処理はステップST11に戻り、類似する位置を特定していない参照領域について、上記ステップST11〜ST14の処理を繰り返すこととなる。
【0069】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合(ST15:YES)、画像処理部22は、各参照領域毎の動きベクトルのデータを動き検出部23に送信する。その後、画像処理部22による処理は終了する。
【0070】
なお、上記ステップST12〜ST14の処理は、運転者行動推定部24が位置や動きベクトルの数に基づいて行動を推定する場合に、影響を与えるものとなるが、この点については後述することとする。
【0071】
また、動きベクトルの計算方法は本実施形態の他に、八木信行監修, ”ディジタル映像処理”, 映像情報メディア学会編, pp.129−139, 2000, オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【0072】
次に、動き検出部23の処理を説明する。図9は、図2に示した動き検出部23の動作を示すフローチャートである。
【0073】
まず、動き検出部23は、領域グループが複数存在する場合には、複数の領域グループのうち処理の対象となるものを選択し、その領域グループの積算動きベクトルに関する数値x,y,cを「0」に初期化する(ST20)。その後、動き検出部23は、選択し領域グループ内の参照領域のうちいずれか1つを選択する。
【0074】
そして、動き検出部23は、選択した参照領域が有効領域であるか否か、すなわちfdが「1」であるか否かを判断する(ST21)。fdが「1」であると判断した場合(ST21:YES)、動き検出部23は、動きベクトルを積算する(ST22)。具体的に、動き検出部23は、「x」を「x+xd」とし、「y」を「y+yd」とし、「c」を「c+1」とする。そして、処理はステップST23に移行する。
【0075】
一方、fdが「1」でないと判断した場合(ST21:NO)、動き検出部23は、動きベクトルを積算することなく、処理はステップST23に移行する。
【0076】
ステップST23において、動き検出部23は、選択した領域グループ内のすべての参照領域について処理したか否かを判断する(ST23)。いずれかの参照領域について処理をしてないと判断した場合(ST23:NO)、処理はステップST21に戻り、上記ステップST21,ST22を繰り返すこととなる。すなわち、動き検出部23は、すべての参照領域について有効領域か否かを判断し、有効領域である場合には、動きベクトルを積算するという処理を行っていく。
【0077】
そして、順次動きベクトルの積算等が行われ、すべての参照領域について処理した場合(ST23:YES)、動き検出部23は、cが「0」であるか否かを判断する(ST24)。
【0078】
「c」が「0」であると判断した場合(ST24:YES)、処理はステップST26に移行する。一方、「c」が「0」でないと判断した場合(ST24:NO)、動き検出部23は、積算した「x」「y」についての平均を求める(ST25)。すなわち、動き検出部23は、「x=x/c」及び「y=y/c」を実行し、動きベクトルの平均を求める。この動きベクトルの平均が上述した代表ベクトルとなる。
【0079】
ここで、「c」の値が「0」である場合とは、有効とされる領域が1つもない場合である。そして、有効とされる領域が1つもない場合には、代表ベクトルは算出されないこととなる。つまり、代表ベクトルの算出処理は、参照領域のうち有効とされた領域数に依存するものである。言い換えれば、代表ベクトルの算出処理は、有効領域から求められた動きベクトルの数に依存するといえる。
【0080】
また、運転者行動推定部24は、行動の推定の際に代表ベクトルを用いる。従って、運転者行動推定部24は、代表ベクトルを求める際に必要とされる動きベクトルの数(有効なもの)を用いているといえる。このため、運転者行動推定部24は、動きベクトルの数に基づいて行動を推定するといえる。
【0081】
さらに、「c」の値が「0」である場合、代表ベクトルが算出されないことから、代表ベクトルの位置という概念が生じ得ない。すなわち、行動の推定の際に代表ベクトルを用いる運転者行動推定部24は、代表ベクトルの位置に基づいて、行動を推定しているともいえる。なお、代表ベクトルが算出されない場合には、以下に説明する推定を行わず、誤った推定結果を得てしまうことを防止することができる。
【0082】
さらに、ステップST26の平均化処理は、以下の理由により行っている。まず、前顔画像と現顔画像の間で求めた参照領域の動きベクトルは、時間微分した単位時間の動きベクトル、つまり速度ベクトルを表しているといえる。そして、理論上、速度ベクトルを順次積算していくと、移動した後の顔部位等の位置を示すことができる。
【0083】
しかし、動きベクトルは揺らぎやノイズ等を含むことが多く、1つの参照領域の動きベクトルを順次積算しても、移動後の位置を正確に求めることはできない。例えば、運転者の顔が中央から右を向いて中央に戻る場合、動きベクトルの積算値を求めると、右を向くときの動きベクトルの積算値と、中央に戻る時のときの動きベクトルの積算値とはノイズ等の影響により一致しない。このため、右を向き始めるとき(動作開始時)と、顔が正面に戻ったとき(動作終了時)とで顔部位等の位置がずれて検出されることがわかっている。そこで、動き検出部23は、領域グループ毎に動きベクトルの平均を求めてノイズ等の影響を低減するようにしている。
【0084】
ここで、上述した動き検出部23は、この代表ベクトルのデータを運転者行動推定部24に送出しているが、検出等の精度を図るべく、以降の処理を実行し、代表ベクトルに基づく移動量(後述する)を検出して送出するようにしてもよい。以下にその手法を示す。
【0085】
上記代表ベクトルである動きベクトルの平均の算出後、動き検出部23は、求めた動きベクトルの平均について、移動平均値を求め、領域グループの単位時間当たりの動きベクトル(ax,ay)を求める(ST26)。なお、移動平均を求める範囲は任意に定められている。また、領域グループの単位時間当たりの動きベクトル(ax,ay)を求めるのは、上記動きベクトルの平均であっても、未だノイズ等を含んでいるため、さらにノイズ等の影響を低減するためである。
【0086】
その後、動き検出部23は、ステップST26にて求めた領域グループの単位時間当たりの動きベクトル(ax,ay)を積算する(ST27)。具体的に、動き検出部23は、「sx」を「sx+ax」とし、「sy」を「sy+ay」とする。ここで、領域グループの単位時間当たりの動きベクトルを積算するため、得られる(sx、sy)は、領域グループにおいて顔部位等が動いた量を積算したもの、すなわち現在位置を示すものとなる。
【0087】
その後、動き検出部23は、現在位置(sx,sy)の移動平均により基準位置(cx,cy)を求める(ST28)。この移動平均を求める範囲についても任意に定められている。
【0088】
そして、動き検出部23は、現在位置(sx,sy)と基準位置(cx,cy)の差から移動量(vx,vy)を得る(ST29)。具体的に、動き検出部23は、「vx」を「sx−cx」とし、「vy」を「sy−cy」とする。
【0089】
図10は、移動量(vx,vy)の説明図であり、(a)は或る時刻における移動量(vx,vy)を示しており、(b)は移動量(vx,vy)を時系列的に示している。
【0090】
図10(a)から、移動量(vx,vy)が現在位置(sx,sy)と基準位置(cx,cy)の差であることが明らかである。図10(b)では、現在位置(sx,sy)と基準位置(cx,cy)とが推移している様子が明らかとなっている。前述のように現在位置(sx,sy)は、運転者の顔の動作ににより変動し、基準位置(cx,cy)は、現在位置(sx,sy)の移動平均であるため、変動する。
【0091】
このため、或る時刻における現在位置(sx,sy)と他の時刻における現在位置(sx,sy)とが同じであったとしても、基準位置(cx,cy)が異なっている場合、移動量(vx,vy)は異なったものとなる。
【0092】
再度、図9を参照する。動き検出部23は、基準位置(cx,cy)が閾値以上であるか否かを判断する(ST30)。基準位置(cx,cy)が閾値以上でないと判断した場合(ST30:NO)、動き検出部23は、移動量(vx,vy)のデータを運転者行動推定部24に送出し、処理はステップST34に移行する。
【0093】
一方、移動量(vx,vy)が閾値以上であると判断した場合(ST30:YES)、動き検出部23は、移動量(vx,vy)の標準偏差が閾値以下であるか否かを判断する(ST31)。移動量(vx,vy)の標準偏差が閾値以下でないと判断した場合(ST31:NO)、動き検出部23は、移動量(vx,vy)のデータを運転者行動推定部24に送出し、処理はステップST34に移行する。
【0094】
一方、移動量(vx,vy)の標準偏差が閾値以下であると判断した場合(ST32:YES)、動き検出部23は、領域グループの単位時間当たりの動きベクトル(ax,ay)が閾値以下であるか否かを判断する(ST32)。領域グループの単位時間当たりの動きベクトル(ax,ay)が閾値以下でないと判断した場合(ST32:NO)、動き検出部23は、移動量(vx,vy)のデータを運転者行動推定部24に送出し、処理はステップST34に移行する。
【0095】
一方、領域グループの単位時間当たりの動きベクトル(ax,ay)が閾値以下であると判断した場合(ST32:YES)、動き検出部23は、現在位置(sx,sy)を「0」に初期化する(ST33)。そして、動き検出部23は、移動量(vx,vy)のデータを運転者行動推定部24に送出し、処理はステップST34に移行する。
【0096】
ステップST34では、すべての領域グループについて処理したか否かが判断される(ST34)。いずれかの領域グループについて処理をしてないと判断した場合(ST34:NO)、処理は再度ステップST20に戻り、同様の処理を行っていくこととなる。一方、すべての領域グループについて処理したと判断した場合(ST34:YES)、動き検出部23は移動量(vx,vy)のデータを運転者行動推定部24に送出する。その後、動き検出部23による処理は終了する。
【0097】
なお、上記ステップST31〜ST33の処理は、ノイズが現在位置(sx,sy)として累積されてしまうことを防止すべく行っている。まず、現在位置(sx,sy)は、ステップST27にて求められている。ここで、現在位置(sx,sy)を求める際に用いられる領域グループの単位時間当たりの動きベクトル(ax,ay)は、ステップST25の平均化、及びステップST26の移動平均の算出によりノイズ等が低減されたものとなっている。ところが、領域グループの単位時間当たりの動きベクトル(ax,ay)は、ノイズ等を含んでいないとは言えない。
【0098】
このため、ノイズ等が徐々に現在位置(sx,sy)に蓄積されてしまう可能性があると言える。そして、ノイズ等が現在位置(sx,sy)に蓄積されてしまうと、現在位置(sx,sy)の移動平均である基準位置(cx,cy)にも当然にノイズ等が累積されて、基準を示す役割を果たさなくなってしまう。そこで、顔の向きの検出や顔以外のものの撮像範囲内への出入の検出に支障をきたことがないように、まず、上記ステップST31にて、基準位置(cx,cy)が閾値以上か否かを判断している。そして、閾値以上の場合に現在位置(sx,sy)を「0」に初期化するようにしている。このように、所定の条件に基づいて現在位置(sx,sy)を初期化することにより、好適に検出対象を検出するようにしている。
【0099】
ただし、現に運転者が顔の向きを変えている段階や顔以外のものが撮像範囲内への出入している段階において現在位置(sx,sy)を「0」に初期化してしまうと、初期化することによって逆に検出対象の検出に支障をきたしてしまう。そこで、ステップST32及びST33において、顔が動いていない状態や顔以外のものが撮像範囲内に出入していない状態であることを検出している。すなわち、動き検出部23は、基準位置(cx,cy)の標準偏差が閾値以下であり、且つ領域グループの単位時間当たりの動きベクトル(ax,ay)が閾値以下であるという条件に基づいて、現在位置(sx,sy)を「0」に初期化するようにしている。
【0100】
そして、図9に示した処理の終了後、運転者行動推定部24は、運転者の行動を推定する。ここで、運転者の行動を推定する処理を説明する。
【0101】
図11は、運転者行動推定部24による運転者行動の推定処理を示すフローチャートである。まず、運転者行動推定部24は、領域グループが複数ある場合、複数のうちの1つを選択する。そして、選択した領域グループについて図11に示す処理を実行する。
【0102】
すなわち、運転者行動推定部24は、処理の対象としている領域グループの有効領域数cが設定最大値(上限値)以上か否かを判断する(ST40)。領域グループの有効領域数cが設定最大値以上であると判断した場合(ST40:YES)、運転者行動推定部24は、運転者行動有りと判定し、変数fcに「01」を代入する(ST41)。そして、処理はステップST45に移行する。
【0103】
一方、領域グループの有効領域数cが設定最大値以上でないと判断した場合(ST40:NO)、運転者行動推定部24は、領域グループの有効領域数cが設定最小値(下限値)以下か否かを判断する(ST42)。
【0104】
領域グループの有効領域数cが設定最小値以下であると判断した場合(ST41:YES)、運転者行動推定部24は、姿勢変化中と判定し、変数fcに「10」を代入する(ST43)。そして、処理はステップST45に移行する。
【0105】
一方、領域グループの有効領域数cが設定最小値以下でないと判断した場合(ST41:NO)、運転者行動推定部24は、運転者行動無しと判定し、変数fcに「00」を代入する(ST44)。そして、処理はステップST45に移行する。
【0106】
ステップST45において、運転者行動推定部24は、顔の横方向の移動量vxが設定最大値(上限値)以上か否かを判断する(ST45)。移動量vxが設定最大値以上であると判断した場合(ST45:YES)、運転者行動推定部24は、右へ移動中と判定し、変数fxに「01」を代入する(ST46)。そして、処理はステップST50に移行する。
【0107】
一方、移動量vxが設定最大値以上でないと判断した場合(ST45:NO)、運転者行動推定部24は、移動量vxが設定最小値(下限値)以下か否かを判断する(ST47)。
【0108】
移動量vxが設定最小値以下であると判断した場合(ST47:YES)、運転者行動推定部24は、左へ移動中と判定し、変数fxに「10」を代入する(ST48)。そして、処理はステップST50に移行する。
【0109】
一方、移動量vxが設定最小値以下でないと判断した場合(ST47:NO)、運転者行動推定部24は、運転者行動無しと判定し、変数fxに「00」を代入する(ST49)。そして、処理はステップST50に移行する。
【0110】
ステップST50において、運転者行動推定部24は、顔の縦方向の移動量vyが設定最大値(上限値)以上か否かを判断する(ST50)。移動量vxが設定最大値以上であると判断した場合(ST50:YES)、運転者行動推定部24は、下へ移動中と判定し、変数fyに「01」を代入する(ST51)。そして、処理はステップST55に移行する。
【0111】
一方、移動量vyが設定最大値以上でないと判断した場合(ST50:NO)、運転者行動推定部24は、移動量vyが設定最小値(下限値)以下か否かを判断する(ST52)。
【0112】
移動量vyが設定最小値以下であると判断した場合(ST52:YES)、運転者行動推定部24は、左へ移動中と判定し、変数fyに「10」を代入する(ST53)。そして、処理はステップST55に移行する。
【0113】
一方、移動量vyが設定最小値以下でないと判断した場合(ST52:NO)、運転者行動推定部24は、運転者行動無しと判定し、変数fyに「00」を代入する(ST54)。そして、処理はステップST55に移行する。
【0114】
ステップST55において、運転者行動推定部24は、上記にようにして求められたfc、fx、fyから想定される運転者行動を推定結果として得る(ST55)。そして、処理は終了する。なお、有効領域数が「0」である場合には、代表ベクトルが得られず、移動量も得られないことから、図11に示す処理は中止される。
【0115】
次に、図11に示したステップST55にて、得られる運転者行動の推定結果について説明する。まず、運転者行動推定部24は、求められたfcに基づいて、運転者の有無を推定する。
【0116】
図12は、運転者の有無を推定する場合の動きベクトルの例を示す説明図であり、(a)は乗車前における動きベクトルの例を示し、(b)は乗車最中における動きベクトルの例を示し、(c)は乗車完了後における動きベクトルの例を示している。なお、図12中において、参照領域を示す四角枠が実線にて図示されているものは、図9のステップST12にて「NO」と判断され、無効領域とされた参照領域であり、四角枠が破線にて図示されているものは、図9のステップST12にて「YES」と判断され、有効領域とされた参照領域である。
【0117】
まず、運転者の乗車前の状態において画像内の物体等には当然に動きが見られず、動きベクトルは検出されない。このため、参照領域の多くが無効領域となっている(図12(a))。その後、運転者が乗車し始めると、運転者の動きが検出されて動きベクトルが検出される。このため、参照領域の一部が有効領域となる(図12(b))。その後、運転者は乗車を完了する。このとき、運転者は一端静止状態となるため、動きベクトルの大きさは小さいものとなるが、運転者は完全には停止することができず僅かながら動くため、参照領域の殆どが有効領域となる(図12(c))。
【0118】
このときの有効領域数の推移を説明する。図13は、図12に示した有効領域の数の推移を示す説明図である。なお、図13において、縦軸は有効領域数を示し、横軸は時刻を示している。また、図13では、図11のステップST40の処理に用いられた上限値を「15」とし、ステップST42の処理に用いられた下限値を「6」とする。
【0119】
まず、図12(a)に示した乗車前などの状態(時刻35140〜35164の期間)において、有効領域数は6以下となっている。すなわち、有効領域数は下限値以下となっている。その後、図12(b)のように、運転者が乗車し始めると、有効領域数は増加し始める(時刻35164〜35204の期間)。このとき、有効領域数は、6を超え且つ15未満となり、下限値を超えるものの上限値を下回っている。そして、図12(c)のように、乗車完了の状態(時刻35204〜35250の期間)では、有効領域数はさらに増加し、15以上となる。
【0120】
このように、有効領域数は、運転者の有無によって変化する。このため、運転者行動推定部24は、有効領域の数に基づいて得られた変数fcから、運転者行動の1つである運転者の有無を推定することができる。
【0121】
なお、乗車前の状態では、有効領域がほぼ全て無効領域となっているが、乗車前の状態に限らず、運転者が乗車しているが身体を大きく動かして画角外に出てしまった状態であっても有効領域がほぼ全て無効領域となる。
【0122】
また、運転者行動推定部24は、ステップST55において求められた変数fc,fx,fyに基づいて、運転者の行動を推定する。
【0123】
図14は、求められた変数fc,fx,fyから推定される運転者の行動についての説明図であり、(a)は変数fcが「00」である場合の運転者の行動を示し、(b)は変数fcが「01」である場合の運転者の行動を示し、(c)は変数fcが「10」である場合の運転者の行動を示している。
【0124】
まず、変数fcが「00」である場合、すなわち、運転者が画像内から検出されない場合、運転者の行動は図14(a)に示すように推定される。具体的には、fxが「01」であり、運転者が右へ移動中であると判定した場合に、fyが「01」ときは、運転者行動として、運転者が下を覗き込んだと推定する。また、fyが「00」「10」ときは、ドア(窓)から身を乗り出した降車時に行う行動であると推定する。
【0125】
また、fxが「00」であり、運転者の画像横方向への移動がないと判定した場合に、fyが「01」ときは、運転者行動として、運転者が下を覗き込んだと推定する。また、fyが「10」ときは、身を前方に乗り出したと推定する。
【0126】
なお、fx及びfyが「00」である場合とは、そもそも運転者が乗車していないといえる。まず、運転者がいない状態(fc=「00」)には、運転者が何らかの行動をして画角外に出た場合と、そもそも運転者が乗車していない場合とがある。ここで、運転者が何らかの行動をして画角外に出た場合には、運転者の動きを示すfx,fyの少なくとも一方に動作を示す値「01」又は「10」が得られているはずである。従って、fx,fyの双方が「00」である場合は、運転者が何らかの行動をして画角外に出た場合には該当せず、そもそも運転者が乗車していないといえる。
【0127】
上記図12及び図13に示す例にあっては、有効領域数が下限値以下の場合に運転者が乗車していないと推定している。しかし、好適には、変数fc,fx,fyのすべてが「00」であるときに、運転者が乗車していないと推定することが望ましい。
【0128】
また、変数fcが「01」である場合、すなわち、運転者が画像内から検出される場合、運転者の行動は図14(b)に示すように推定される。具体的には、fxが「01」であり、運転者が右へ移動中であると判定した場合に、fyが「01」ときは、運転者行動として、右下方への小さなズレであると推定する。また、fyが「00」ときは右方向への小さなズレと推定し、fyが「10」ときは、右上方への小さなズレであると推定する。ここで、ズレとは、例えば、車両が凹凸のある道路を走行しているときに、振動等により運転者の身体が移動することをいう。
【0129】
また、fxが「00」であり、運転者の画像横方向への移動がないと判定した場合に、fyが「01」ときは、運転者行動として、下方への小さなズレであると推定する。また、fyが「10」ときは、上方への小さなズレであると推定する。また、fyが「00」である場合には、運転者が何ら行動をしていないので、正面を向いていると推定する。
【0130】
また、fxが「10」であり、運転者が左へ移動中であると判定した場合に、fyが「01」ときは、運転者行動として、左下方への小さなズレであると推定する。また、fyが「00」ときは左方向への小さなズレと推定し、fyが「10」ときは、左上方への小さなズレであると推定する。
【0131】
また、変数fcが「10」である場合、すなわち、運転者が移動中であると検出される場合、運転者の行動は図14(c)に示すように推定される。具体的には、fxが「01」であり、運転者が右へ移動中であると判定した場合に、fyが「01」ときは、運転者行動として、右下方への大きなズレであると推定する。また、fyが「00」ときは右方向への大きなズレと推定し、fyが「10」ときは、右上方への大きなズレであると推定する。
【0132】
また、fxが「00」であり、運転者の画像横方向への移動がないと判定した場合に、fyが「01」ときは、運転者行動として、下方への大きなズレであると推定する。また、fyが「10」ときは、上方への大きなズレであると推定する。なお、fx及びfyの双方が「00」である場合には、そもそも運転者が何ら行動をしていないので、変数fcが「10」である運転者移動中に該当することがない。
【0133】
また、fxが「10」であり、運転者が左へ移動中であると判定した場合に、fyが「01」ときは、運転者行動として、左下方への大きなズレであると推定する。また、fyが「00」ときは左方向への大きなズレと推定し、fyが「10」ときは、左上方への大きなズレであると推定する。
【0134】
また、図14に示す例以外にも表1のように異常行動のみを推定するようにしてもよい。
【0135】
【表1】
表1を用いる場合には、運転中に下に落ちた物を拾おうとした、助手席もしくは後席の物を取ろうとした等の異常行動の検出が容易となり、異常時において報知装置30からその旨をいち早く促すことができる。すなわち、前方を全く視認していない異常時に車線逸脱等してしまっても、迅速に車線内を走行するように促すことができる。さらには、シートベルト、エアバック及びヘッドレスト等の装置の効果を充分に発揮させる姿勢にいち早く戻すように促すことができる。
【0136】
また、異常行動に特化して推定する場合、運転者が異常行動をし、その状態が継続する時間等も容易に推定することができる。さらに、この場合、車両状態検出手段40により車両走行中であることを示す信号が入力されたときにのみに、異常行動の推定するようにしてもよい。すなわち、車両停車時には異常行動があったとしても何ら問題ないため、運転者の有無のみを推定対象とし、走行中においてのみ異常行動の推定するようにしてもよい。
【0137】
このように、推定すべき対象を切り換えることにより、一層好適に運転者の行動を推定することができる。なお、この切換は、車速の有無により行われる場合に限らず、他の情報に基づいて行われてもよい。例えば、環境情報検出手段50から車両が交差点に差し掛かっているという情報を得た場合などに、切換が行われてもよい。
【0138】
次に、運転者の行動が変数fc,fx,fyから推定される様子をより詳細に説明する。図15は、運転者の行動を推定する場合の動きベクトルの例を示す説明図であり、(a)は正常な運転姿勢における動きベクトルの例を示し、(b)は画角外への移動中における動きベクトルの例を示し、(c)は異常姿勢における動きベクトルの例を示している。なお、図15中において、参照領域を示す四角枠が実線にて図示されているものは、図9のステップST12にて「NO」と判断され、無効領域とされた参照領域であり、四角枠が破線にて図示されているものは、図9のステップST12にて「YES」と判断され、有効領域とされた参照領域である。
【0139】
まず、運転者が正常な運転姿勢である場合において、画像内の参照領域の多くが有効領域となる(図15(a))。その後、運転者が画角外に移動し始めると、運転者の動きが検出されて動きベクトルが検出される。このため、参照領域の一部は有効領域のままであるが、運転者がいなくなった箇所の参照領域は一部無効領域となる(図15(b))。その後、運転者は異常姿勢となる。このとき、運転者がいなくなることから、動きベクトルが検出されず、参照領域の殆どが無効領域となる(図15(c))。
【0140】
図16は、図15に示した場合における有効領域の数及び移動量の推移を示す説明図である。なお、図16において、縦軸は有効領域数を示し、横軸は時刻を示している。
【0141】
図16に示すように、移動量は右方向及び下方向への移動を示している。すなわち、fx,fyは双方とも「01」となることがわかる。また、有効領域数は減少を示している。そして、有効領域数は最終的に「5」付近まで減少している。このため、fcは「00」となることがわかる。
【0142】
ここで、図14を参照すると、fc,fx,fyが「00」「01」「01」である場合、運転者が下を覗き込んだ動作を行ったと推定される。図15にも示す例では、運転者は下側を覗き込んでいる。よって、運転者の行動は的確に推定されたと言える。
【0143】
そして、推定した結果を報知信号出力部25が報知装置30に伝え、報知装置30は、報知が必要な場合に報知動作を行うこととなる。
【0144】
なお、上記したように、有効領域数は、有効な動きベクトルの数とも言える。従って、動きベクトルの数は、直接有効領域の数として、推定処理に用いられると共に、代表ベクトルを求める際にも用いられる。代表ベクトルを求めた場合、上記したように移動量(vx,vy)が求められることとなることから、動きベクトルの数は、直接的且つ間接的の双方で推定処理に必要とされることとなる。
【0145】
このようにして、本実施形態に係る運転者行動推定装置20では、領域グループそれぞれから得られる代表となる動きベクトルの向き及び大きさに基づいて、運転者の行動を推定している。この代表となる動きベクトルは、画像中における物体等の動きを表すものであり、特定の部位を追跡するものではない。このため、例えば運転者が顔を速く動かした場合であっても、すなわち、特定の顔部位を追跡できない状況下にあっても、顔の動きを捕らえることができる。さらには、運転者の顔が画角外に出てしまっても、画角外に出ていく行動を画像中における動きから得ることができる。このように、動きを捕らえることができるため、この動きに基づいて、運転者行動の推定を容易にすることができる。従って、的確に運転者の行動を推定することができる。
【0146】
また、顔画像のサイズに基づいて、参照領域を顔部位程度の大きさに設定している。このため、大き過ぎる参照領域を設定して計算量が増大していしまうことを防止すると共に、1つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。さらに、小さ過ぎる領域を設定して特徴的な部位がない領域となることを防ぐことができる。
【0147】
また、領域グループ毎の代表となる動きベクトルの向き及び大きさに加え、領域グループ毎の動きベクトルの数に基づいて、運転者の行動を推定するので、より詳細に推定処理を行うことができる。従って、一層的確に運転者の行動を推定することができる。
【0148】
また、1又は複数の演算領域それぞれは、各探索領域内にて算出された特徴量(類似度)の変化量(分散値)と予め設定した閾値とが比較されることにより、各領域を動きベクトルの計算に用いるか否かが判断される。このため、特徴のない参照領域が設定されたことにより、不正確な検出してしまうことを防止することができる。さらには、後の処理において運転者の行動を推定するためのパラメータとすることができる。
【0149】
また、領域グループ毎の代表となる動きベクトルの向き及び大きさ、並びに前記領域グループ毎の動きベクトルの数のそれぞれと、予め設定される上限値及び下限値との比較する。そして、運転者が画角内に入ってくる行動、運転者が画角外に出ていく行動、運転姿勢から逸脱した状態を継続する行動のうち、少なくとも1つを推定する。ここで、動きベクトルの向きは運転者の移動方向を示すことができ、動きベクトルの大きさは運転者の移動速度を示すことができる。また、動きベクトルの数は有効領域数を示し、この有効領域数は、運転者の有無を示すことができる。そして、予め設定された上限値及び下限値と比較して、動きベクトルの向き、大きさ、及び数を総合的に判断することにより、運転者が画角内に入ってくる行動、運転者が画角外に出ていく行動及び運転姿勢から逸脱した状態を継続する行動を推定することができる。
【0150】
また、車両の状態を検出する車両状態検出手段40からの信号と、車両の周囲環境を検出する環境情報検出手段50からの信号との少なくとも一方に基づいて、推定すべき行動を変更している。このため、状況に応じて適切に運転者の行動を推定することができる。特に、状況に応じて行われる可能性が高い運転者の行動を対象とすることにより、一層効果的な推定を行うことができる。
【0151】
また、領域グループ毎の代表となる動きベクトルの位置に基づいて、運転者の行動を推定する。すなわち、代表ベクトルが算出され得る状態であるかを判別することとなり、代表ベクトルが算出されない状態に基づいて、推定処理を行うことを防止でき、より精度良く運転者の行動を推定することができる。
【0152】
また、本実施形態では、コスト低減を図ることができる。すなわち、従来の装置では、顔の動きが速いような場合、特定の顔部位を追跡するようにするために、高フレームレートのカメラを撮像装置に使用する必要がある。例えば、1秒間に約30枚の顔画像を撮像できる一般的なビデオカメラを使用せず、これよりも高フレームレートのカメラ使用することとなる。この場合、従来の装置では、高価なカメラを使用することとなってしまう。また、カメラの撮像速度が速いことから、装置の処理速度を速くする必要がある。ところが、本実施形態では、特定の顔部位を追跡できない状況下にあっても、顔の動きを捕らえることができるので、上記問題が発生せず、コスト低減を図ることができる。
【0153】
また、一般的に、運転者は、一時停止が必要な交差点に進入する際や駐車場から公道に出る際などに、確認を行うため体を前方に乗り出す動作を行う。また、左折時の左後方確認等を行う場合には、運転者は体を左後方に大きくひねる動作を行う。
【0154】
通常、運転者の頭部は、撮像範囲内に納まるようになっている。ところが、確認を行うため運転者が動作した場合には、頭部の一部が撮像範囲外に出てしまうことがある。そして、運転者の顔が撮像範囲外にまで移動してしまった場合、従来装置では運転者の特定の顔部位を追跡することができなくなってしまう。
【0155】
これに対し、特開2000−113164号公報記載の装置では、今回及び前回に撮像された画像の差分画像を形成し、差分から求まる運転者の動きを検出することにより、運転者の姿勢を検出するようにしている。
【0156】
しかし、この装置では、姿勢を検出するのみであり、実際に顔の特定部位を撮像できるわけではない。このため、顔の特定部位が撮像範囲外に出てしまわないように追従手段等を設ける必要がある。ところが、確認動作時の顔の動きは速いため、追従手段等を設けたとしても、顔の特定部位を追跡しきれず、顔の特定部位を追跡できなくなってしまう。
【0157】
このように、従来の装置では、確認動作時に運転者が体を動かした場合の対応が不十分である。しかし、本実施形態においては、特定の顔部位を追跡できない状況下にあっても、運転者の動き自体を捕らえているので、確認動作時に運転者が体を動かして特定部位が撮像範囲外に移動しても、行動の推定に支障をきたすことがない。
【0158】
次に、本発明の第2実施形態を説明する。なお、第2実施形態では、主に第1実施形態との相違点について説明することとする。
【0159】
第2実施形態に係る運転者行動推定システム1a及び運転者行動推定装置20の構成は、第1実施形態に示すものと同じであるが、運転者行動推定装置20が推定対象を運転者以外のものの行動としている点で相違する。また、運転者行動推定部24aが行う処理が異なっている点で相違する。さらに、領域グループの設定についても異なっている。
【0160】
ここで、運転者以外のものの行動としては、助手席側の乗員が運転者に対して行う行動や、運転者自身が雑誌等を持ち上げたときに撮像範囲内に進入してくる雑誌などの異物に関する行動が含まれる。
【0161】
以下、相違する内容について説明する。図17は、第2実施形態における領域グループの設定の様子を示す説明図である。同図に示すように、領域グループは、8つ設定されている。これら8つの領域グループは、画像の周辺部に設定され、画像中央部に動きベクトルが検出された場合に、動きベクトルの向きを負方向とし、画像外側に動きベクトルが検出された場合に、動きベクトルの向きを正方向とするようにされている。
【0162】
図18は、第2実施形態に係る運転者行動推定部24aによる処理内容を示すフローチャートである。まず、運転者行動推定部24は、領域グループ毎の動きベクトル(vx,vy)から、移動量を求める(ST60)。この際、運転者行動推定部24は、画像中央側を負方向として画像外側を正方向して移動量を求める。
【0163】
その後、運転者行動推定部24は、移動量が下限値(負の値)以下か否かを判断する(ST61)。移動量が下限値以下でないと判断した場合(ST61:NO)、処理はステップST63に移行する。一方、移動量が下限値以下であると判断した場合(ST61:YES)、異物が画角内に進入したと判断し、flagを「1」とする(ST62)。そして、処理はステップST63に移行する。
【0164】
ここで、移動量が下限値以下である場合とは、動きベクトルは画像中央側に向いており、何らかの物体等が画角内に進入してきたと言える。そこで、物体等の進入の有無を示すflagを「1」とする。
【0165】
ステップST63において、運転者行動推定部24は、移動量が上限値(正の値)以上か否かを判断する(ST63)。移動量が上限値以上でないと判断した場合(ST63:NO)、処理は終了する。一方、移動量が上限値以上であると判断した場合(ST63:YES)、異物が画角内から出ていったと判断し、flagを「0」とする(ST64)。そして、処理は終了する。
【0166】
ここで、移動量が上限値(正の値)以上である場合とは、動きベクトルは画像外側に向いており、何らかの物体等が画角内から出ていったと言える。そこで、物体等の進入の有無を示すflagを「0」とする。
【0167】
次に、運転者が雑誌等を見ようとして、画角内に雑誌等を進入させた場合を例に説明する。図19は、画角内に雑誌等を進入させたときの動きベクトルの例を示す説明図であり、(a)は進入前を示し、(b)は進入中を示し、(c)は進入後を示す。
【0168】
まず、図19(a)に示すように、運転者は正常な運転姿勢にあり、雑誌等を進入させていない。その後、図19(b)に示すように、運転者が雑誌等を持ち上げたとする。このとき、画角内に異物が進入してくる。その後、運転者は、図19(c)に示すように、完全に雑誌等を持ち上げる。
【0169】
図20は、運転者が画角内に雑誌等を進入させ、その後雑誌等を画角外へ移動させたときの移動量を示す説明図である。まず、雑誌等の進入前において(時刻350〜422)、移動量は検出されているものの上限値と下限値との範囲内にある。
【0170】
その後、運転者が雑誌等を画角内に進入させようとする(時刻422〜435)。このとき、移動量は下限値以下となる。すなわち、図18のステップST61にて「YES」と判断され、異物の進入状態を示すflagが「1」とされる。このため、運転者行動推定部24は、運転者以外のものの行動として、異物の進入を推定する。その後、異物が進入している状態が継続する(時刻435〜523)。
【0171】
進入状態が継続した後、運転者が雑誌等を画角内から退出させようとする(時刻523〜534)。このとき、移動量は上限値以上となる。すなわち、図18のステップST63にて「YES」と判断され、異物の進入状態を示すflagを「0」とし、進入状態を解除する。このため、運転者行動推定部24は、運転者以外のものの行動して、異物の退出を推定する。その後、移動量は上限値と下限値との範囲内となり、異物が退出した状態が継続する(時刻534〜600)。
【0172】
ここで、推定結果は、随時、報知信号出力部25により報知装置30に伝えられており、報知装置30は、報知が必要な場合に報知動作を行うこととなる。
【0173】
なお、上記異物については、雑誌等に限らず、助手席の乗員の手などについても該当する。また、ハンドルが画面内に進入するときには、画面下の左右いずれかの端から中央に向かって動きベクトルが得られ、周辺に向かって広がっていくことが知られている。このため、上記特徴を考慮して、画面内に進入したものがハンドルなのか、その他のものなのかを判断でき、運転者のハンドルを切る操作を推定することができる。
【0174】
このようにして、本実施形態に係る運転者行動推定装置20aでは、的確に運転者の行動を推定することができ、大き過ぎる参照領域を設定して計算量が増大していしまうことを防止すると共に、1つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。さらに、小さ過ぎる領域を設定して特徴的な部位がない領域となることを防ぐことができる。
【0175】
また、状況に応じて適切に運転者の行動を推定することができ、代表ベクトルが算出されない状態に基づいて、推定処理が行なわれることを防止でき、より精度良く運転者の行動を推定することができる。
【0176】
さらに、領域グループ毎の代表となる動きベクトルの向き及び大きさのそれぞれと、予め設定される上限値及び下限値との比較する。そして、運転者以外のものが画角内に入ってくる行動、及び運転者以外のものが画角外に出ていく行動のうち、少なくとも1つを推定する。ここで、動きベクトルの向きは運転者以外のものの移動方向を示すことができ、動きベクトルの大きさはその移動速度を示すことができる。そして、予め設定された上限値及び下限値と比較して、動きベクトルの向き及び大きさを総合的に判断することにより、運転者以外のものが画角内に入ってくる行動、運転者以外のものが画角外に出ていく行動を推定することができる。
【0177】
なお、本発明は上記実施形態に限られるものではない。例えば、第1及び第2実施形態の装置20,20aを組み合わせて、運転者の行動と運転者以外のものの行動の双方を推定するようにしてもよい。この場合、推定することができる対象の数が多くなり、より利便性の高い装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る運転者行動推定装置を含む運転者行動推定システムの構成を示すブロック図である。
【図2】図1に示した運転者行動推定装置の詳細構成を示すブロック図である。
【図3】参照領域の説明図である。
【図4】領域グループの一例を示す説明図である。
【図5】図1に示した運転者行動推定装置の詳細構成、及び接続関係を示す説明図である。
【図6】撮像される画像の一例を示す説明図であり、(a)は時刻tにおける画像を示し、(b)は時刻(t+1)における画像を示し、(a)は時刻(t+2)における画像を示している。
【図7】図2に示した画像処理部の動作を示すフローチャートである。
【図8】図7に示すステップST11における動きベクトル(xd,yd)の算出方法の説明図である。
【図9】図2に示した動き検出部の動作を示すフローチャートである。
【図10】移動量(vx,vy)の説明図であり、(a)は或る時刻における移動量(vx,vy)を示しており、(b)は移動量(vx,vy)を時系列的に示している。
【図11】運転者行動推定部による運転者行動の推定処理を示すフローチャートである。
【図12】運転者の有無を推定する場合の動きベクトルの例を示す説明図であり、(a)は乗車前における動きベクトルの例を示し、(b)は乗車最中における動きベクトルの例を示し、(c)は乗車完了後における動きベクトルの例を示している。
【図13】図12に示した有効領域の数の推移を示す説明図である。
【図14】求められた変数fc,fx,fyから推定される運転者の行動についての説明図であり、(a)は変数fcが「00」である場合の運転者の行動を示し、(b)は変数fcが「01」である場合の運転者の行動を示し、(c)は変数fcが「10」である場合の運転者の行動を示している。
【図15】運転者の行動を推定する場合の動きベクトルの例を示す説明図であり、(a)は正常な運転姿勢における動きベクトルの例を示し、(b)は画角外への移動中における動きベクトルの例を示し、(c)は異常姿勢における動きベクトルの例を示している。
【図16】図15に示した場合における有効領域の数及び移動量の推移を示す説明図である。
【図17】第2実施形態における領域グループの設定の様子を示す説明図である。
【図18】第2実施形態に係る運転者行動推定部による処理内容を示すフローチャートである。
【図19】画角内に雑誌等を進入させたときの動きベクトルの例を示す説明図であり、(a)は進入前を示し、(b)は進入中を示し、(c)は進入後を示す。
【図20】運転者が画角内に雑誌等を進入させ、その後雑誌等を画角外へ移動させたときの移動量を示す説明図である。
【符号の説明】
1,1a…運転者行動推定システム
10…撮像装置
20,20a…運転者行動推定装置
21…顔画像取得部(顔画像取得手段)
22…画像処理部(画像処理手段)
23…動き検出部(動き検出手段)
24,24a…運転者行動推定部(運転者行動推定手段)
25…報知信号出力部(信号出力手段)
30…報知装置
40…車両状態検出手段
50…環境情報検出手段
Claims (10)
- 撮像された運転者の顔の画像を取得する顔画像取得手段と、
前記顔画像取得手段により取得された2枚以上の連続する顔画像から1つ以上の動きベクトルを求める画像処理手段と、
前記画像処理手段により求められた前記動きベクトルが1つ以上属する領域グループそれぞれから、代表となる動きベクトルを検出する動き検出手段と、
前記動き検出手段により検出された前記領域グループ毎の代表となる動きベクトルの向き及び大きさに基づいて、運転者の行動及び運転者以外のものの行動のうち、少なくとも一方を推定する運転者行動推定手段と、
前記運転者行動推定手段にて推定された行動に従って報知信号を出力する信号出力手段と、
を備えることを特徴とする運転者行動推定装置。 - 動きベクトルは、顔画像上に設定された少なくとも2つの演算領域それぞれから前記画像処理手段により検出され、
この演算領域それぞれは、前記顔画像取得手段により取得される顔画像のサイズに基づいて、予め顔部位程度の大きさで設定される
ことを特徴とする請求項1に記載の運転者行動推定装置。 - 前記運転者行動推定手段は、前記領域グループ毎の代表となる動きベクトルの向き及び大きさに加え、前記領域グループ毎の動きベクトルの数に基づいて、運転者の行動及び運転者以外のものの行動のうち、少なくとも一方を推定することを特徴とする請求項1又は請求項2のいずれかに記載の運転者行動推定装置。
- 前記画像処理手段は、顔画像上に設定された演算領域から動きベクトルを求めると共に、演算領域にて算出された特徴量の変化量と予め設定される閾値とを比較することにより、求めた動きベクトルが有効なものであるか否かを判断し、
前記運転者行動推定手段は、前記領域グループそれぞれの動きベクトルの数として、有効であると判断された動きベクトルの数を用いる
ことを特徴とする請求項3に記載の運転者行動推定装置。 - 前記運転者行動推定手段は、前記領域グループ毎の代表となる動きベクトルの向き及び大きさ、並びに前記領域グループ毎の動きベクトルの数のそれぞれと、予め設定される上限値及び下限値との比較により、運転者が画角内に入ってくる行動、運転者が画角外に出ていく行動、正常な運転姿勢から逸脱した状態を継続する行動のうち、少なくとも1つを推定することを特徴とする請求項3又は請求項4のいずれかに記載の運転者行動推定装置。
- 前記運転者行動推定手段は、前記領域グループ毎の代表となる動きベクトルの向き及び大きさと、予め設定される上限値及び下限値との比較により、運転者以外のものが画角内に入ってくる行動、運転者以外のものが画角外に出ていく行動のうち、少なくとも1つを推定することを特徴とする請求項1又は請求項2のいずれかに記載の運転者行動推定装置。
- 前記運転者行動推定手段は、車両の状態を検出する車両状態検出手段からの信号と、車両の周囲環境を検出する環境情報検出手段からの信号との少なくとも一方に基づいて、推定すべき行動を変更することを特徴とする請求項1〜請求項6のいずれか1項に記載の運転者行動推定装置。
- 前記運転者行動推定手段は、前記領域グループ毎の代表となる動きベクトルの向き及び大きさに加え、前記領域グループ毎の代表となる動きベクトルの位置に基づいて、運転者の行動及び運転者以外のものの行動のうち、少なくとも一方を推定することを特徴とする請求項1〜請求項7のいずれか1項に記載の運転者行動推定装置。
- 前記運転者行動推定手段は、運転者の行動及び運転者以外のものの行動の双方を推定することを特徴とする請求項1〜請求項8のいずれか1項に記載の運転者行動推定装置。
- 撮像された運転者の顔の画像を連続して2枚以上取得し、この連続する顔画像から少なくとも1つ以上の動きベクトルを求め、求めた動きベクトルが少なくとも1つ以上属する領域グループそれぞれから、代表となる動きベクトルを検出し、前記領域グループ毎の代表となる動きベクトルの向き及び大きさに基づいて、運転者の行動及び運転者以外のものの行動のうち、少なくとも一方を推定することを特徴とする運転者行動推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003185924A JP2005018655A (ja) | 2003-06-27 | 2003-06-27 | 運転者行動推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003185924A JP2005018655A (ja) | 2003-06-27 | 2003-06-27 | 運転者行動推定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005018655A true JP2005018655A (ja) | 2005-01-20 |
Family
ID=34185194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003185924A Pending JP2005018655A (ja) | 2003-06-27 | 2003-06-27 | 運転者行動推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005018655A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006079594A (ja) * | 2004-08-13 | 2006-03-23 | Sony Corp | 移動物体検出装置及び方法 |
JP2006293644A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理装置、情報処理方法 |
JP2010036762A (ja) * | 2008-08-06 | 2010-02-18 | Denso Corp | 行動推定装置、プログラム |
JP2010214990A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 車両用制御装置および方法、並びにプログラム |
CN103479367A (zh) * | 2013-09-09 | 2014-01-01 | 广东工业大学 | 一种基于面部运动单元识别的驾驶员疲劳检测方法 |
KR101526557B1 (ko) * | 2012-01-31 | 2015-06-10 | 한국전자통신연구원 | 다중 카메라 기반 시선 추적 장치 및 방법 |
JP2016136989A (ja) * | 2015-01-26 | 2016-08-04 | アイシン精機株式会社 | 生体情報検出装置 |
CN110298238A (zh) * | 2019-05-20 | 2019-10-01 | 平安科技(深圳)有限公司 | 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质 |
KR20200068047A (ko) * | 2018-11-26 | 2020-06-15 | 한국전자통신연구원 | 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 |
CN113766152A (zh) * | 2020-06-05 | 2021-12-07 | 原相科技股份有限公司 | 使用时间差分像素的动作传感器及导航装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197810A (ja) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | 映像によるコマンド入力処理方法 |
JPH10334247A (ja) * | 1997-06-04 | 1998-12-18 | Sanyo Electric Co Ltd | 意図判定装置 |
JP2001138767A (ja) * | 1999-11-17 | 2001-05-22 | Nissan Motor Co Ltd | 車両用警報装置 |
JP2002008041A (ja) * | 2000-06-22 | 2002-01-11 | Namco Ltd | 動作検出装置、動作検出方法および情報記憶媒体 |
JP2003141513A (ja) * | 2001-10-31 | 2003-05-16 | Denso Corp | 車両用乗員頭部検出装置 |
-
2003
- 2003-06-27 JP JP2003185924A patent/JP2005018655A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05197810A (ja) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | 映像によるコマンド入力処理方法 |
JPH10334247A (ja) * | 1997-06-04 | 1998-12-18 | Sanyo Electric Co Ltd | 意図判定装置 |
JP2001138767A (ja) * | 1999-11-17 | 2001-05-22 | Nissan Motor Co Ltd | 車両用警報装置 |
JP2002008041A (ja) * | 2000-06-22 | 2002-01-11 | Namco Ltd | 動作検出装置、動作検出方法および情報記憶媒体 |
JP2003141513A (ja) * | 2001-10-31 | 2003-05-16 | Denso Corp | 車両用乗員頭部検出装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006079594A (ja) * | 2004-08-13 | 2006-03-23 | Sony Corp | 移動物体検出装置及び方法 |
JP4662142B2 (ja) * | 2004-08-13 | 2011-03-30 | ソニー株式会社 | 移動物体検出装置及び方法 |
JP2006293644A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理装置、情報処理方法 |
JP2010036762A (ja) * | 2008-08-06 | 2010-02-18 | Denso Corp | 行動推定装置、プログラム |
JP2010214990A (ja) * | 2009-03-13 | 2010-09-30 | Omron Corp | 車両用制御装置および方法、並びにプログラム |
KR101526557B1 (ko) * | 2012-01-31 | 2015-06-10 | 한국전자통신연구원 | 다중 카메라 기반 시선 추적 장치 및 방법 |
CN103479367A (zh) * | 2013-09-09 | 2014-01-01 | 广东工业大学 | 一种基于面部运动单元识别的驾驶员疲劳检测方法 |
JP2016136989A (ja) * | 2015-01-26 | 2016-08-04 | アイシン精機株式会社 | 生体情報検出装置 |
KR20200068047A (ko) * | 2018-11-26 | 2020-06-15 | 한국전자통신연구원 | 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 |
KR102322863B1 (ko) * | 2018-11-26 | 2021-11-10 | 한국전자통신연구원 | 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 |
CN110298238A (zh) * | 2019-05-20 | 2019-10-01 | 平安科技(深圳)有限公司 | 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质 |
CN110298238B (zh) * | 2019-05-20 | 2023-06-30 | 平安科技(深圳)有限公司 | 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质 |
CN113766152A (zh) * | 2020-06-05 | 2021-12-07 | 原相科技股份有限公司 | 使用时间差分像素的动作传感器及导航装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210114613A1 (en) | Alert control apparatus and alert control method | |
CN114512030B (zh) | 驾驶员的驾驶不能状态检测装置 | |
CN104573623B (zh) | 人脸检测装置、方法 | |
JP4173896B2 (ja) | 車両周辺監視装置 | |
JP6350145B2 (ja) | 顔向き検出装置及び車両用警告システム | |
EP2908726B1 (en) | Method and device for detecting decreased attentiveness of vehicle driver | |
JP6960995B2 (ja) | 状態判定装置および状態判定方法 | |
JP2005309797A (ja) | 歩行者警報装置 | |
JP2017182776A (ja) | 車両周辺監視装置及びコンピュータプログラム | |
JP2005018655A (ja) | 運転者行動推定装置 | |
EP3868621B1 (en) | Driver state estimation device and movable body | |
JP4325271B2 (ja) | 状態検出装置及び状態検出システム | |
JP2019091255A (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
JPH1062162A (ja) | 障害物検出装置 | |
KR101500016B1 (ko) | 차선 이탈 경보 방법 | |
EP3868622B1 (en) | Driver state estimation device and movable body | |
JP4123077B2 (ja) | 運転者状態検出装置 | |
US20110228986A1 (en) | Process for the Automatic Longitudinal Guidance of a Motor Vehicle | |
JP2022047580A (ja) | 情報処理装置 | |
KR102471006B1 (ko) | 카메라를 활용한 차량 도어부 승객 안전 장치 및 방법 | |
JP4281405B2 (ja) | 確認動作検出装置及び警報システム | |
JP4305057B2 (ja) | 脇見検出装置 | |
JP2005014853A (ja) | 運転者三次元挙動検出装置 | |
JP4692447B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
JP7342635B2 (ja) | 運転者状態推定装置および運転者状態推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080509 |