JP2014115859A - 脇見判定装置 - Google Patents

Abstract

【課題】コストを抑制しつつ脇見の有無を正確に判定する。
【解決手段】顔向き角度算出手段１４Ａは、顔撮像部１２で撮像された運転者の顔画像データに基いて顔向き角度Ａを算出する。顔向き角度算出手段１４Ａは、顔画像データから正常に顔部品を抽出することができないと、顔向き角度Ａの算出が不能である旨の情報を脇見判定手段１４Ｂに供給する。脇見判定手段１４Ｂは、顔向き角度Ａが正常範囲外となったときに脇見状態にあると判定し、その判定結果を出力する。脇見判定手段１４Ｂは、範囲外可能性フラグＦが立った状態で、かつ、顔向き角度算出手段１４Ａによる運転者の顔向き角度Ａの算出が不能となった場合に、運転者が脇見状態にあると判定する。フラグ制御手段１４Ｄは、顔画像データに基いて顔向き角度Ａが顔向き角度検知限界範囲外となる可能性が有ると判定した場合に範囲外可能性フラグＦを立てる。
【選択図】図１

Description

本発明は、車両を運転する運転者が脇見をしているかどうかを判定する脇見判定装置に関する。

従来より運転者の顔を撮影するカメラにより得られた顔画像から右目、左目、鼻の顔部品を抽出し、これら顔部品の相対的な位置関係から運転者が正面を向いているか否か、すなわち、脇見をしているか否かを判定する技術が提案されている（特許文献１参照）。
このような脇見の判定結果に応じて運転支援装置が警告音の発生や警告表示を行なうことにより運転者の注意を喚起するようにしている。

特開２００３−３０８５３３号公報

しかしながら、上記従来技術では、運転者の顔の向きが正面から左右の何れか一方に大きくずれ、カメラによって撮影された顔画像において顔部品の一部が欠けるような状態となり、顔画像が正常に撮影できない場合、顔部品の相対的な位置関係を正しく把握することができない。そのため、運転者が脇見をしているのにも拘わらず、脇見無しと判定されるといった誤判定が生じ、脇見の判定精度が低下することが懸念される。
このような問題を解消するためには、運転者の顔を互いに異なる角度から撮影する複数のカメラを設置することが考えられるが、複数のカメラを用いることからコスト面で不利となる。
また、カメラによって顔画像が正常に撮影できず顔部品の相対的な位置関係を正しく把握することができない場合は、脇見判定動作を無効とし誤判定を回避することも考えられる。しかしながら、この場合には、脇見判定が可能な顔の向きの範囲が制限されてしまうため、脇見の有無を正確に判定する上で不利となる。
本発明は、このような事情に鑑みてなされたものであり、その目的は、コストを抑制しつつ脇見の有無を正確に判定する上で有利な装置を提供することにある。

上記目的を達成するために、本発明は、撮像手段によって撮像された自動車の運転者の顔画像データに基いて前記運転者の顔向き角度を算出する顔向き角度算出手段と、前記顔向き角度が予め定められた正常範囲外となったときに前記運転者が脇見状態にあると判定する脇見判定手段とを備える脇見判定装置であって、前記顔向き角度算出手段が算出可能な前記顔向き角度の限界範囲を顔向き角度検知限界範囲としたとき、前記顔画像データに基いて前記顔向き角度が前記顔向き角度検知限界範囲外となる可能性が有ると判定した場合に範囲外可能性フラグを立てるフラグ制御手段が設けられ、前記脇見判定手段は、前記範囲外可能性フラグが立った状態で、かつ、前記顔向き角度算出手段による前記運転者の顔向き角度の算出が不能となった場合に、前記運転者が脇見状態にあると判定することを特徴とする。

請求項１記載の発明によれば、顔向き角度算出手段による運転者の顔向き角度の算出が不能な状態であっても、運転者の脇見状態を正確に判定する上で有利となる。また、複数の顔撮像部を設ける必要がないため、コストを抑制する上でも有利となる。
請求項２記載の発明によれば、顔向き角度が、顔向き角度検知限界範囲内で第１の判定基準範囲外となったときにフラグ制御手段による可能性有りの判定がなされるので、顔向き角度に応じて範囲外可能性フラグを的確に立てることができ、運転者の脇見状態を正確に判定する上で有利となる。
請求項３記載の発明によれば、顔向き角度が、顔向き角度検知限界範囲内で第２の判定基準範囲外となり、かつ、推定手段により推定された顔向き角度が顔向き角度検知限界範囲外となったときにフラグ制御手段による可能性有りの判定がなされるので、顔向き角度に応じて範囲外可能性フラグを的確に立てることができ、運転者の脇見状態を正確に判定する上で有利となる。
請求項４記載の発明によれば、顔向き角度が、顔向き角度検知限界範囲内で第１の判定基準範囲外となったときにフラグ制御手段による可能性有りの判定がなされることに加えて、顔向き角度が、顔向き角度検知限界範囲内で第２の判定基準範囲外となり、かつ、推定手段により推定された顔向き角度が顔向き角度検知限界範囲外となったときにもフラグ制御手段による可能性有りの判定がなされるので、顔向き角度の推定に応じて範囲外可能性フラグをより的確に立てることができ、運転者の脇見状態を正確に判定する上でより一層有利となる。
請求項５記載の発明によれば、推定手段による顔向き角度の推定は、時系列に沿った複数の顔画像データから算出される顔の特定部位の位置データの速度成分に基いて行なうので、顔向き角度の推定を正確に行なう上で有利となる。
請求項６記載の発明によれば、推定手段による顔向き角度の推定は、時系列に沿った複数の顔画像データから算出される顔向き角度の速度成分に基いて行なうようにしたので、顔向き角度の推定を正確に行なう上で有利となる。

実施の形態に係る脇見判定装置１０の構成を示すブロック図である。 実施の形態に係る脇見判定装置１０の動作を示すフローチャートである。 顔向き角度Ａが第１の判定基準範囲外となった場合に範囲外可能性フラグＦを立てて脇見判定を行なう際の動作説明図である。 顔向き角度Ａの速度成分に基いて範囲外可能性フラグＦを立てて脇見判定を行なう際の動作説明図である。

次に、本発明の実施の形態について図面を参照して説明する。
図１は第１の実施の形態に係る脇見判定装置１０の構成を示すブロック図である。
図１に示すように、脇見判定装置１０は、車両に搭載されており、顔撮像部１２と、脇見判定ＥＣＵ１４とを含んで構成されている。
なお、本実施の形態では、脇見判定装置１０が運転支援装置２０に接続されている場合について説明する。
運転支援装置２０は、運転支援ＥＣＵ２２、スピーカ２４、表示装置２６を備えている。
運転支援ＥＣＵ２２は、脇見判定装置１０から供給される脇見判定結果に基いてスピーカ２４から運転者に対して警報音あるいは警報アナウンスを発生させ、あるいは、表示装置２６によって運転者に対して警報表示を表示させることにより、運転者に注意を喚起する。

顔撮像部１２（撮像手段）は、単一のカメラで構成され、車両の運転席に着座した運転者の顔を撮像して顔画像データを生成するものである。
顔撮像部１２は、運転者の顔を撮像することができればよく、ステアリングコラム、あるいは、メータフードの上部などの車室内の適宜箇所に設置されている。

脇見判定ＥＣＵ１４は、顔撮像部１２から顔画像データを受け付けると共に、脇見の有無を判定しその判定結果を運転支援ＥＣＵ２２に供給する。
脇見判定ＥＣＵ１４は、ＣＰＵ、制御プログラム等を格納・記憶するＲＯＭ、制御プログラムの作動領域としてのＲＡＭ、各種データを書き換え可能に保持するＥＥＰＲＯＭ、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成される。
そして、図１に示すように、ＣＰＵが前記の制御プログラムを実行することにより、顔向き角度算出手段１４Ａ、脇見判定手段１４Ｂ、推定手段１４Ｃ、フラグ制御手段１４Ｄが実現されている。

顔向き角度算出手段１４Ａは、顔撮像部１２によって撮像された自動車の運転者の顔画像データに基いて運転者の顔向き角度Ａを算出するものである。
顔向き角度算出手段１４Ａは、例えば、顔画像データから右目、左目、鼻などの顔部品を抽出し、これら顔部品の相対的な位置関係から運転者の顔向き角度Ａを算出するものである。なお、顔向き角度算出手段１４Ａによる運転者の顔向き角度Ａの算出方法として従来公知の様々な方法が使用可能である。
本実施の形態では、顔向き角度Ａは、運転者の顔が正面を向いた状態を０°とし、運転者の顔が正面よりも右側を向いた状態を正の角度とし、運転者の顔が正面よりも左側を向いた状態を負の角度として表記する。
また、顔向き角度算出手段１４Ａが算出可能な顔向き角度Ａの限界範囲を顔向き角度検知限界範囲とする。顔向き角度検知限界範囲は、顔撮像部１２によって撮像された顔画像が正常に撮像でき、顔部品の相対的な位置関係を正しく把握することができる限界の顔向き角度Ａである。
例えば、顔向き角度検知限界範囲は−４５°＜Ａ＜＋４５°であり、この範囲以内であれば顔向き角度算出手段１４Ａが算出可能であり、この範囲外であると顔向き角度算出手段１４Ａは顔画像データから正常に顔部品を抽出することができず、正確な顔向き角度Ａの算出が不能であるとして、顔部位検出が不能である旨（顔向き角度Ａが検出不能である旨）の情報を脇見判定手段１４Ｂに供給する。すなわち、本明細書において、「顔向き角度算出手段１４Ａによる運転者の顔向き角度Ａの算出が不能である」とは、「顔向き角度Ａの算出自体が不能である場合」と、「顔向き角度Ａの算出は可能であるものの正確な顔向き角度Ａの算出が不能である場合」とを含むものとする。

脇見判定手段１４Ｂは、顔向き角度Ａが予め定められた正常範囲外となったときに運転者が脇見状態にあると判定し、その判定結果を出力するものである。
上記正常範囲は、例えば、−２０°＜Ａ＜＋２０°である。この正常範囲は、前記の顔向き角度検知限界範囲、後述する第１の判定基準範囲、第２の判定基準範囲よりも狭い範囲として設定される。
また、脇見判定手段１４Ｂは、後述する範囲外可能性フラグＦが立った状態で、かつ、顔向き角度算出手段１４Ａによる運転者の顔向き角度Ａの算出が不能となった場合に、運転者が脇見状態にあると判定するものである。

推定手段１４Ｃは、顔撮像部１２から供給される時系列に沿った複数の顔画像データに基いて所定時間経過後の顔向き角度Ａを推定するものである。
推定手段１４Ｃは、時系列に沿った複数の顔画像データから算出される顔の特定部位の位置データの速度成分に基いて所定時間経過後の顔向き角度Ａの推定を行なう。
あるいは、推定手段１４Ｃは、時系列に沿った複数の顔画像データから算出される顔向き角度Ａの速度成分に基いて所定時間経過後の顔向き角度Ａの推定を行なう。

フラグ制御手段１４Ｄは、顔画像データに基いて顔向き角度Ａが顔向き角度検知限界範囲外となる可能性が有ると判定した場合に範囲外可能性フラグＦを立てるものである。
本実施の形態では、フラグ制御手段１４Ｄは、顔向き角度Ａが顔向き角度検知限界範囲外となる可能性が有るという判定を以下の２つの方法によって行なう。
（１）顔向き角度検知限界範囲内で顔向き角度検知限界範囲よりも狭い範囲の第１の判定基準範囲が設定されている。
第１の判定基準範囲は、例えば、−４０°＜Ａ＜＋４０°である。
フラグ制御手段１４Ｄは、顔向き角度Ａが、顔向き角度検知限界範囲内で第１の判定基準範囲外となったときに顔向き角度Ａが顔向き角度検知限界範囲外となる可能性が有るという判定を行なう。
（２）第１の判定基準範囲内で第１の判定基準範囲よりも狭い範囲の第２の判定基準範囲が設定されている。
第２の判定基準範囲は、例えば、−３０°＜Ａ＜＋３０°である。
フラグ制御手段１４Ｄは、顔向き角度Ａが、顔向き角度検知限界範囲内で第２の判定基準範囲外となり、かつ、推定手段１４Ｃにより推定された顔向き角度Ａが顔向き角度検知限界範囲外となったときにも顔向き角度Ａが顔向き角度検知限界範囲外となる可能性が有るという判定を行なう。

次に、脇見判定装置１０の動作について図２のフローチャートを参照して説明する。
脇見判定ＥＣＵ１４は、図２の処理ルーチンを繰り返して実行する。
まず、脇見判定ＥＣＵ１４は、顔撮像部１２から顔画像データを入力する（ステップＳ１０）。
次に、脇見判定ＥＣＵ１４は、顔向き角度算出が不能か否か（顔部位検出が不能であるか否か）を判定する（ステップＳ１２：顔向き角度算出手段１４Ａ）。
脇見判定ＥＣＵ１４は、顔向き角度算出が不能でなければ（顔向き角度算出が可能であれば）、顔向き角度Ａを算出する（ステップＳ１４：顔向き角度算出手段１４Ａ）。
次に、脇見判定ＥＣＵ１４は、顔向き角度Ａが、顔向き角度検知限界範囲内で第１の判定基準範囲外であるか否かを判定する（ステップＳ１６：フラグ制御手段１４Ｄ）。
顔向き角度Ａが第１の判定基準範囲外であれば（Ａの絶対値≧４０°）、脇見判定ＥＣＵ１４は、範囲外可能性フラグＦを立てる（Ｆ＝１）（ステップＳ１８：フラグ制御手段１４Ｄ）。
次に、脇見判定ＥＣＵ１４は、脇見状態判定を行ない顔向き角度Ａが正常範囲外（Ａの絶対値Ａ≧２０°）であるか否かを判定する（ステップＳ２０：脇見判定手段１４Ｂ）。
そして、脇見判定の結果を出力する（ステップＳ２２：脇見判定手段１４Ｂ）。
本実施の形態では、脇見状態であると判定されたならば、その判定情報を運転支援ＥＣＵ２２に供給することで運転支援ＥＣＵ２２がスピーカ２４あるいは表示装置２６を用いた警報動作を行なう。
脇見状態であると判定されなければ、脇見判定ＥＣＵ１４は運転支援ＥＣＵ２２に対して判定情報の供給は行わず、運転支援ＥＣＵ２２は警報動作を行わない。
ステップＳ２２が実行されたならば、ステップＳ１０に戻る。

また、ステップＳ１６において、顔向き角度Ａが第１の判定基準範囲外でないと判定されると（顔向き角度Ａが第１の判定基準範囲内と判定されると）、脇見判定ＥＣＵ１４は、顔向き角度Ａが、顔向き角度検知限界範囲内で第２の判定基準範囲外であるか否かを判定する（ステップＳ２４：フラグ制御手段１４Ｄ）。
顔向き角度Ａが第２の判定基準範囲外であれば（Ａの絶対値≧３０°）、脇見判定ＥＣＵ１４は、時系列に沿った複数の顔画像データに基いて所定時間経過後の顔向き角度Ａを推定する（ステップＳ２６：推定手段１４Ｃ）。
なお、図２の処理ルーチンを１度実行することを１工程とした場合、本実施の形態では、所定時間は１工程分の時間となる。
次いで、脇見判定ＥＣＵ１４は、推定された顔向き角度Ａが顔向き角度検知限界範囲外であるか否かを判定する（ステップＳ２８：フラグ制御手段１４Ｄ）。
推定された顔向き角度Ａが顔向き角度検知限界範囲外であれば、範囲外可能性フラグＦを立てる（Ｆ＝１）（ステップＳ３０：フラグ制御手段１４Ｄ）。
そして、ステップＳ２０、Ｓ２２に移行しステップＳ１０に戻る。

また、脇見判定ＥＣＵ１４は、ステップＳ２８で推定された顔向き角度Ａが顔向き角度検知限界範囲外でなければ、範囲外可能性フラグＦをリセットする（Ｆ＝０）（ステップＳ３２：フラグ制御手段１４Ｄ）。
また、脇見判定ＥＣＵ１４は、ステップＳ２４で顔向き角度Ａが第２の判定基準範囲外でない場合もステップＳ３２で範囲外可能性フラグＦをリセットする。
なお、ステップＳ３２以前に範囲外可能性フラグＦ＝０であれば、ステップＳ３２においては範囲外可能性フラグＦ＝０の状態が維持されることになる。
そして、ステップＳ２０、Ｓ２２に移行しステップＳ１０に戻る。

また、ステップＳ１２において、顔向き角度の算出が不能であると判定された場合、脇見判定ＥＣＵ１４は、範囲外可能性フラグＦが立っているか（Ｆ＝１であるか）否かを判定する（ステップＳ３４）。
範囲外可能性フラグＦが立っていなければ（Ｆ＝０であれば）、ステップＳ２０、Ｓ２２に移行しステップＳ１０に戻る。
範囲外可能性フラグＦが立っていれば（Ｆ＝１であれば）、顔向き角度Ａが顔向き角度検知限界範囲外である可能性が高いと判断して（推定して）、運転者が脇見状態にあると判定する（ステップＳ３６：脇見判定手段１４Ｂ）。
そして、ステップＳ２２に移行して、運転者が脇見状態にあるという判定情報を運転支援ＥＣＵ２２に供給することで運転支援ＥＣＵ２２がスピーカ２４あるいは表示装置２６を用いた警報動作を行なう。

次に、脇見判定装置１０の動作について図３、図４の動作説明図を参照してさらに説明する。
図３、図４において、１行目の欄には、前述したように図２の処理ルーチンの実行単位である工程を記載している。現時点で実行されている工程をＮとし、１回前の工程をＮ−１、２回前の工程をＮ−２、３回前の工程をＮ−３とした。
また、２行目の欄には、実際の顔向き角度を示す。
３行目の欄には、上方から見た顔撮像部１２と運転者の顔ｆ、鼻ｎとの位置関係を模式的に示す。なお、図中破線は顔撮像部１２の撮像範囲を示す。
４行目の欄には、範囲外可能性フラグＦの状態を示す。
５行目の欄には、顔向き角度算出手段１４Ａによる顔部位の検出の可否を示す。
６行目の欄には、顔向き角度算出手段１４Ａで算出された顔向き角度Ａを示す。

図３を参照して、図２のステップＳ１６、Ｓ１８について説明する。
工程Ｎ−３では、顔向き角度Ａが＋３５°であるため、ステップＳ１６の判定は否定となる。
次の工程Ｎ−２では、顔向き角度Ａが＋４０°であるため、ステップＳ１６の判定は肯定となり、ステップＳ１８により範囲外可能性フラグＦが立てられる。
さらに次の工程Ｎ−１では、顔向き角度Ａが＋４５°となっているが、顔向き角度Ａは顔向き角度検知限界範囲内であるため、顔向き角度算出手段１４Ａによる顔部位の検出は可能となっている。
そして、現時点の工程Ｎでは、ステップＳ３４、Ｓ３６により範囲外可能性フラグＦが立てられた状態で、かつ、実際の顔向き角度が５０°となることから顔向き角度算出手段１４Ａによる顔部位の検出が不可となるため、脇見判定手段１４Ｂにより顔向き角度Ａが顔向き角度検知限界範囲外にあるものと推定し、運転者が脇見状態にあると判定する。

図４を参照して、図２のステップＳ２４、Ｓ２６、Ｓ２８、Ｓ３０について説明する。
工程Ｎ−３では、顔向き角度Ａが０°であるため、ステップＳ２４の判定は否定となる。
次の工程Ｎ−２では、顔向き角度Ａが＋１０°であるため、ステップＳ２４の判定は否定となる。
さらに次の工程Ｎ−１では、顔向き角度Ａが＋３０°であるため、ステップＳ２４の判定は肯定となり、ステップＳ２６により工程Ｎにおける顔向き角度Ａが推定される。ステップＳ２８において、前記の推定された顔向き角度Ａが顔向き角度検知限界範囲外にあるものと判定されるとステップＳ３０により範囲外可能性フラグＦが立てられる。
そして、現時点の工程Ｎでは、ステップＳ３４、Ｓ３６により範囲外可能性フラグＦが立てられた状態で、かつ、実際の顔向き角度が５０°となることから顔向き角度算出手段１４Ａによる顔部位の検出が不可となるため、脇見判定手段１４Ｂにより顔向き角度Ａが顔向き角度検知限界範囲外にあるものと推定し、運転者が脇見状態にあると判定する。

以上説明したように、本実施の形態によれば、顔画像データに基いて顔向き角度Ａが顔向き角度検知限界範囲外となる可能性が有ると判定した場合に範囲外可能性フラグＦを立て、範囲外可能性フラグＦが立った状態で、かつ、顔向き角度算出手段１４Ａによる運転者の顔向き角度Ａの算出が不能となった場合に、運転者が脇見状態にあると判定するようにした。
したがって、顔向き角度算出手段１４Ａによる運転者の顔向き角度Ａの算出が不能な状態であっても、運転者の脇見状態を正確に判定する上で有利となる。すなわち、従来技術のように、運転者が脇見をしているのにも拘わらず、脇見無しと判定されるといった誤判定を回避でき、脇見の判定精度を確保する上で有利となる。
また、複数の顔撮像部１２を設ける必要がないため、コストを抑制する上でも有利となる。

また、本実施の形態によれば、顔向き角度Ａが、顔向き角度検知限界範囲内で第１の判定基準範囲外となったときにフラグ制御手段１４Ｄによる可能性有りの判定がなされるので、顔向き角度Ａに応じて範囲外可能性フラグＦを的確に立てることができ、運転者の脇見状態を正確に判定する上で有利となる。

また、本実施の形態によれば、時系列に沿った複数の顔画像データに基いて所定時間経過後の顔向き角度Ａを推定する推定手段１４Ｃが設けられ、顔向き角度Ａが、顔向き角度検知限界範囲内で第２の判定基準範囲外となり、かつ、推定手段１４Ｃにより推定された顔向き角度Ａが顔向き角度検知限界範囲外となったときにもフラグ制御手段１４Ｄによる可能性有りの判定がなされるので、顔向き角度Ａの推定に応じて範囲外可能性フラグＦを的確に立てることができ、運転者の脇見状態を正確に判定する上で有利となる。

また、本実施の形態によれば、推定手段１４Ｃによる顔向き角度Ａの推定は、時系列に沿った複数の顔画像データから算出される顔の特定部位の位置データの速度成分に基いて行なうか、あるいは、時系列に沿った複数の顔画像データから算出される顔向き角度Ａの速度成分に基いて行なうようにしたので、顔向き角度Ａの推定を正確に行なう上で有利となる。

なお、本実施の形態では、第１の判定基準範囲と、第１の判定基準範囲よりも狭い範囲の第２の判定基準範囲との双方を用いて顔向き角度Ａの判定を行ない、その判定結果に基いてフラグ制御手段１４Ｄによる範囲外可能性フラグＦを立てる、立てないの動作を行なうようにした。
しかしながら、第１の判定基準範囲と、第２の判定基準範囲と何れか一方のみを用いて顔向き角度Ａの判定を行ない、その判定結果に基いてフラグ制御手段１４Ｄによる範囲外可能性フラグＦを立てる、立てないの動作を行なうようにしてもよい。
しかしながら、本実施の形態のようにすると、顔向き角度Ａの判定をより正確に行なう上で有利となり、運転者の脇見状態を正確に判定する上でより一層有利となる。

１０……脇見判定装置、１２……顔撮像部、１４……脇見判定ＥＣＵ、１４Ａ……顔向き角度算出手段、１４Ｂ……脇見判定手段、１４Ｃ……推定手段、１４Ｄ……フラグ制御手段、Ａ……顔向き角度、Ｆ……範囲外可能性フラグ。

Claims (6)

1. 撮像手段によって撮像された自動車の運転者の顔画像データに基いて前記運転者の顔向き角度を算出する顔向き角度算出手段と、
   前記顔向き角度が予め定められた正常範囲外となったときに前記運転者が脇見状態にあると判定する脇見判定手段とを備える脇見判定装置であって、
   前記顔向き角度算出手段が算出可能な前記顔向き角度の限界範囲を顔向き角度検知限界範囲としたとき、
   前記顔画像データに基いて前記顔向き角度が前記顔向き角度検知限界範囲外となる可能性が有ると判定した場合に範囲外可能性フラグを立てるフラグ制御手段が設けられ、
   前記脇見判定手段は、前記範囲外可能性フラグが立った状態で、かつ、前記顔向き角度算出手段による前記運転者の顔向き角度の算出が不能となった場合に、前記運転者が脇見状態にあると判定する、
   ことを特徴とする脇見判定装置。
2. 前記顔向き角度検知限界範囲内で前記顔向き角度検知限界範囲よりも狭い範囲の第１の判定基準範囲が設定され、
   前記フラグ制御手段による前記可能性有りの判定は、前記顔向き角度が、前記顔向き角度検知限界範囲内で前記第１の判定基準範囲外となったときになされる、
   ことを特徴とする請求項１記載の脇見判定装置。
3. 前記顔向き角度検知限界範囲内で前記顔向き角度検知限界範囲よりも狭い範囲の第２の判定基準範囲が設定され、
   時系列に沿った複数の前記顔画像データに基いて所定時間経過後の前記顔向き角度を推定する推定手段が設けられ、
   前記フラグ制御手段による前記可能性有りの判定は、前記顔向き角度が、前記顔向き角度検知限界範囲内で前記第２の判定基準範囲外となり、かつ、前記推定手段により推定された前記顔向き角度が前記顔向き角度検知限界範囲外となったときになされる、
   ことを特徴とする請求項１記載の脇見判定装置。
4. 前記第１の判定基準範囲内で前記第１の判定基準範囲よりも狭い範囲の第２の判定基準範囲が設定され、
   時系列に沿った複数の前記顔画像データに基いて所定時間経過後の前記顔向き角度を推定する推定手段が設けられ、
   前記フラグ制御手段による前記可能性有りの判定は、前記顔向き角度が、前記顔向き角度検知限界範囲内で前記第２の判定基準範囲外となり、かつ、前記推定手段により推定された前記顔向き角度が前記顔向き角度検知限界範囲外となったときにもなされる、
   ことを特徴とする請求項２記載の脇見判定装置。
5. 前記推定手段による前記顔向き角度の推定は、時系列に沿った複数の前記顔画像データから算出される顔の特定部位の位置データの速度成分に基いてなされる、
   ことを特徴とする請求項３または４記載の脇見判定装置。
6. 前記推定手段による前記顔向き角度の推定は、時系列に沿った複数の前記顔画像データから算出される前記顔向き角度の速度成分に基いてなされる、
   ことを特徴とする請求項３または４記載の脇見判定装置。

Images