JP2009297321A - 視線方向認識エラー検出装置 - Google Patents

Abstract

【課題】 エラー認識精度を向上させた視線方向認識エラー検出装置を提供する。
【解決手段】 運転者の顔面画像を撮影する撮影手段と、前記顔面画像から前記運転者の顔の向きおよび視線の方向を求める認識手段と、前記視線の方向のエラーを判定する誤認識判定手段とを備え、前記誤認識判定手段は、前記顔の向きに基づき、前記視線の方向を予測する予測式を算出し、この予測式と前記視線の方向の認識結果を比較することにより、前記視線の方向の認識エラーを判定することとした。
【選択図】 図１２

Description

本発明は、車両に搭載される運転者の視線方向認識エラー検出装置に関する。

従来、運転者の視線方向認識エラー検出装置にあっては、カメラにより撮影された運転者の顔面画像に基づき顔の向きと視線方向を判断している（例えば、特許文献１参照）。この技術にあっては、顔面画像のうち目、鼻、口等の大まかな特徴点の領域を囲み領域として検出し、この囲み領域内の画像内部から、目の囲み領域内では黒目中心、目頭、目尻等の特徴点を検出し、鼻の囲み領域内では鼻口等の特徴点の位置を検出している。
特開平９−７６８１５号公報

しかしながら上記従来技術にあっては、顔面全体の画像のうち目の領域は相対的に小さいため、顔向き方向の検出精度と比べて視線方向の検出精度が低下し、視線方向の認識エラーが発生しやすいという問題があった。

本発明は上記問題に着目してなされたもので、その目的とするところは、エラー認識精度を向上させた視線方向認識エラー検出装置を提供することにある。

上述の目的を達成するため、本発明では、運転者の顔面画像を撮影する撮影手段と、前記顔面画像から前記運転者の顔の向きおよび視線の方向を求める認識手段と、前記視線の方向のエラーを判定する誤認識判定手段とを備え、前記誤認識判定手段は、前記顔の向きに基づき、前記視線の方向を予測する予測式を算出し、この予測式と前記視線の方向の認識結果を比較することにより、前記視線の方向の認識エラーを判定することとした。

よって、エラー認識精度を向上させた視線方向認識エラー検出装置を提供できる。

以下に、本発明の視線方向認識エラー検出装置の実施の形態を、実施例に基づいて説明する。

［システム構成］
実施例１につき説明する。図１は本願視線方向認識エラー検出装置１のシステム構成図である。視線方向認識エラー検出装置１は車両に搭載され、運転者撮影カメラ１１０に接続する。

運転者撮影カメラ１１０は車室内のインパネ２の上部に設けられ、運転者の顔面全体を撮影する。運転者撮影カメラ１１０をインパネ２の上部に設けることで、ステアリングホイール３によって遮られることなく運転者の顔面を撮影可能となっている。

［制御ブロック図］
図２は視線方向認識エラー検出装置１の制御ブロック図である。視線方向認識エラー検出装置１は認識処理部１２０、誤認識判定部１３０を有し、運転者撮影カメラ１１０からのビデオ映像に基づき視線方向の認識エラーを検出する。

認識処理部１２０は顔向き検知処理部１２１および視線検知処理部１２２を有し、それぞれビデオ映像に基づき顔向きの角度値（顔向き角度θ）と視線の角度値（視線方向角度φ）を検知する。なお、θおよびφはいずれも車両のヨー方向の角度である。

誤認識判定部１３０は予測式算出処理および視線向き予測値算出部１３１、誤認識判定部１３２を有する。予測式算出処理および視線向き予測値算出部１３１は顔向き方向角度θおよび視線方向角度φに基づき予測式を算出し、この予測式に基づき視線方向角度φの予測値φｉを算出する。誤認識判定部１３２は視線方向角度φおよび予測値φｉに基づき視線方向角度φの誤認識の有無を判定する。

［顔向きおよび視線向きの検出］
認識処理部１２０では、顔向き検知処理部１２１および視線検知処理部１２２において以下の方法で顔向きおよび視線向きを検出する。検出方法は従来例である特開平９−７６８１５と同様である。

まず、顔面画像中における目・鼻・口等の大まかな顔の特徴点の領域をそれぞれ目・鼻・口等の囲み領域として検出した後、各特徴点領域内の画像情報から黒目中心・目頭・目尻・鼻口等の特徴点位置をそれぞれ検出する。

その後、これらの各特徴点の、例えば車両空間を基準とする３次元空間上における座標位置を計算する。そして更に各特徴点の座標位置の時間的変化や各特徴点の相対的な位置関係等から顔の向き、および視線方向を算出する。上述のように、顔向き方向角度θおよび視線方向角度φはいずれも車両のヨー方向の角度である。

［認識エラー検出］
誤認識判定部１３０では、車速が一定値以上となった際に顔向き方向角度θおよび視線方向角度φのサンプリングを行い、データを蓄積する。ここで、車速の一定値とは、運転者の視線が車両進行方向正面に集中するようになる車速の値である。

車速がこの一定値以下での走行は、周宅地周辺での走行や駐停車動作、右左折時などの低速走行時であることが多く、運転者の視線は車両方向正面以外に注がれていることが多い。したがって顔向き方向角度θおよび視線方向角度φのサンプリングは車速一定値以上の場合に行うものとする。なお、本願では車速一定値＝３０ｋｍ／ｈとする。

［サンプリングデータ］
図３は車両のヨー方向と顔向き方向角度θおよび視線方向角度φの関係を示す図、図４はサンプリングデータ表である。図３で示すように、顔向き方向角度θおよび視線方向角度φは車両右向きヨー方向を正、車両左向きヨー方向を負とする。また、図４では顔向き方向角度θおよび視線方向角度φが正面から右方向へ向かった場合のデータを×、正面から左方向へ向かった場合のデータを■で示す

運転者が対象物を目で追う際は目と顔が同一方向に運動するため、視線方向角度φが右を向けば顔向き方向角度θも右向きとなり、φが左向きとなればθも左向きとなって、顔向き方向角度θ−視線方向角度φの関係は図４のように右上がりのグラフとなる。

［サンプリングデータ予測式算出の場合分け］
運転者が車両進行方向を見ている状態で左右の対象物を目で追う際、顔と目の動きには以下の２パターンがある。
パターン１．正面に近い範囲では目だけを動かし、正面から左右３０°付近を越えると目と顔を連動して動かす
パターン２．正面に近い範囲（正面から左右３０°以下の範囲内）であっても、目と顔を連動して動かす

したがって、パターン１の場合は顔向き方向角度θは視線方向角度φよりも遅れて増大し、パターン１のグラフ（予測式）は図５に示すシグモイド曲線で近似される。シグモイド曲線は顔向き方向角度θに基づき算出される。一方、パターン２では顔向き方向角度θと視線方向角度φとがほぼ同時に同じ角度動くため、パターン２のグラフ（予測式）は顔向き方向角度θに基づき直線で近似される。図６はパターン１の近似例、図７はパターン２の近似例である。なお、図６、図７のα、ｋはそれぞれ定数である。

［各パターンの予測式算出］
（パターン１）
・パターン１−１：シグモイド曲線近似による予測式算出
パターン１では、運転者は正面に近い範囲では目だけを動かし、正面から左右３０°付近を越えると目と顔を連動して動かすため、図４のサンプリングデータのうち正面から左右３０°以内の範囲では顔向き方向角度θが視線方向角度φに対して遅れ、左右３０°以上の範囲では顔向き方向角度θと視線方向角度φが一致する傾向にある。

したがって、パターン１では
・パターン１−１：顔向き方向角度θが±３０°の範囲内にある場合、シグモイド曲線で近似
・パターン１−２：顔向き方向角度θが±３０°の範囲外にある場合、直線で近似
の２パターンを設定し、顔向き方向角度θの値によってパターン１−１とパターン１−２を組み合わせる。この組み合わせ式に基づき、顔向き方向角度θから視線方向角度φを予測する。視線方向角度φの予測値φｉは、この予測式にしたがって算出される。

図８、図９はシグモイド曲線による近似の例である。図８はデータ選別、図９は予測式を示す。パターン１−１では、図８においてシグモイド曲線の領域外である左上側（θが負、φが正）の領域と、右下側（θが正、φが負）の領域におけるサンプリング値は使用しない。

通常では運転者の顔向き方向角度θと視線方向角度φの符号が逆転する状況はほとんど発生しないため、左上側（θが負、φが正）の領域と、右下側（θが正、φが負）の領域はエラー領域とし、予測式算出には使用しない。残りの領域のサンプリングデータに基づきシグモイド曲線で近似を行い、図９の予測式を得て顔向き方向角度θから視線方向角度φを予測する。

・パターン１−２：直線近似による予測式算出
図１０、図１１は直線による近似の例である。図１０はデータ選別、図１１は予測式を示す。パターン１−２では左上側、右下側領域に加えて中央部（−３０°≦θ≦３０°）の領域内のデータについても不使用とする（図１０参照）。残りの領域内のデータに基づき、原点を通る直線によって近似し、図１１の予測式を得る。

不使用領域を設定することで、明らかにエラーと考えられるサンプリング値を無視し、予測式の算出精度を向上させる。例えば、図８、図１０における領域Ｄのように、顔向き方向角度θが大きくなると、運転者撮影カメラから見て運転者の鼻に遮られて奥側の目が見えなくなるなどの影響により、視線φの検出に大きな誤差が発生することがある。このように明らかにエラーと考えられるサンプリング値を除外することで予測式の算出精度を向上させる。

（パターン１：シグモイド関数と直線の組み合わせによる予測式算出）
図１２はパターン１における予測式を示す図である。±３０°の範囲内ではシグモイド曲線を用いた近似を行い（パターン１−１）、それ以外の範囲では直線を用いた近似を行う（パターン１−２）。これによりパターン１の予測式は図１２のようになる。

したがって、正面に近い範囲では目だけを動かし、正面から左右３０°付近を越えると目と顔を連動して動かす運転者と、正面に近い範囲（正面から左右３０°以下の範囲内）であっても、目と顔を連動して動かす運転者の特性運転者の特性に合わせた予測式が得られる。

（パターン２）
パターン２では、上述のように運転者は正面に近い範囲（正面から左右３０°以下の範囲内）であっても目と顔を連動して動かすため、サンプリングデータの全領域で顔向き方向角度θと視線方向角度φが一致する傾向にある。そのため、パターン２では図４のサンプリングデータ全領域を直線で近似する（図７参照）。この直線は原点を通るものとする。

［運転者の視線特性パターン判定］
顔向き方向角度θが±３０°の範囲内をシグモイド関数で近似した場合（パターン１）と、全領域を直線近似した場合（パターン２）とで、予測式と実際のサンプリングデータ間の累積誤差を算出する。シグモイド関数（パターン１）のほうが累積誤差が少なければ運転者の視線特性はパターン１であると判定し、直線（パターン２）のほうが累積誤差が少なければ、パターン２であると判定する（後述のステップＳ１１０参照）。

［視線認識エラー判定］
図１３はパターン１における誤認識（エラー）判定範囲を示す図である。判定範囲は予測式から視線方向角度φ方向に±１０°の範囲である。顔向き方向角度θに基づき予測式を算出した後、この予測式によって予測される視線方向角度φと、検出された視線方向角度φの実際値との値の比較を行う。

視線方向角度φの認識結果である実際値と予測式とが大きく乖離せず、視線方向角度φの実際値がこの範囲内にあれば、視線方向角度φの認識は正常と判定して認識結果をそのまま出力する。乖離が大きく視線方向角度φの実際値が範囲外にあれば、視線認識エラーとしてＮＧ出力を行う（後述のステップＳ１１２〜Ｓ１１４参照）。

［視線エラー判定処理］
図１４は視線エラー判定フローである。

ステップＳ１０１では運転者を撮影した映像を入力し、ステップＳ１０２へ移行する。

ステップＳ１０２では顔向き方向角度θの認識および視線方向角度φの検知処理を行い、ステップＳ１０３へ移行する。

ステップＳ１０３では車速が一定値（３０ｋｍ／ｈ）であるかどうかが判断され、ＹＥＳであればステップＳ１０４へ移行し、ＮＯであればステップＳ１１３へ移行する。

ステップＳ１０４ではサンプリングデータ（図４参照）の予測式の算出が終了しているかどうかが判断され、ＹＥＳであればステップＳ１１１へ移行し、ＮＯであればステップＳ１０５へ移行する。

ステップＳ１０５では顔向き方向角度θと視線方向角度φのサンプリング値をデータログに記録し、ステップＳ１０６へ移行する。

ステップＳ１０６ではサンプリング値のデータログが予測式算出に必要な量に達したかどうかが判断され、ＹＥＳであればステップＳ１０７へ移行し、ＮＯであればステップＳ１１３へ移行する。

ステップＳ１０７では図８、図１０に基づき予測式算出用データを選別し、ステップＳ１０８へ移行する。

ステップＳ１０８ではシグモイド関数で近似を行い、ステップＳ１０９へ移行する。

ステップＳ１０９では直線で近似を行い、ステップＳ１１０へ移行する。

ステップＳ１１０では運転者の特性がパターン１であるかパターン２であるかを判定し、ステップＳ１１１へ移行する。

ステップＳ１１１では視線方向角度φと予測式出力の比較を行い、ステップＳ１１２へ移行する。

ステップＳ１１２では視線方向角度φの認識結果が予測式と大きく外れていないかどうかが判断され、ＹＥＳであればステップＳ１１５へ移行し、ＮＯであればステップＳ１１４へ移行する。

ステップＳ１１３では視線方向角度φの誤判断（エラー判断）を行わずに認識結果をそのまま出力し、制御を終了する。

ステップＳ１１４では視線方向角度φのＮＧ出力（エラー判断を）行い、制御を終了する。

ステップＳ１１５では視線方向角度φの誤認識結果（エラー判断）を行い、制御を終了する。

［実施例１の効果］
（１）運転者の顔面画像を撮影する撮影手段と、
顔面画像から運転者の顔向き方向角度θおよび視線の方向φを求める認識処理部１２０（認識手段）と、
視線の方向φのエラーを判定する誤認識判定部１３０を備え、
誤認識判定部１３０は、顔向き方向角度θに基づき、視線の方向φを予測する予測式を算出し、この予測式と視線の方向φの認識結果を比較することにより、視線の方向φの認識エラーを判定することとした。

これにより、エラー認識精度を向上させた視線方向認識エラー検出装置を提供することができる。

（２）予測式は、運転者の特性に基づき２つのパターンが設定され、
２つのパターンは、予測式をシグモイド曲線とするパターン１と、予測式を直線とするパターン２を有することとした。

これにより、正面に近い範囲では目だけを動かし、正面から左右３０°付近を越えると目と顔を連動して動かす運転者と、正面に近い範囲（正面から左右３０°以下の範囲内）であっても、目と顔を連動して動かす運転者の特性の違いに合わせて適切に予測式を算出し、エラー検出精度を向上させることができる。

（３）誤認識判定部１３０は、パターン１においては、シグモイド曲線と直線を組み合わせて予測式を算出することとした。

これにより、さらに運転者の特性に合わせた予測式を得ることができる。

（４）誤認識判定部１３０は、パターン１においては、顔向き方向角度θが車両進行方向正面から±３０°の範囲内（一定の範囲内）ではシグモイド曲線に基づき予測式を算出し、±３０°の範囲外（一定の範囲の外）では直線に基づき予測式を算出することとした。

これにより、さらに運転者の特性に合わせた予測式を得ることができる。

（５）誤認識判定部１３０は、パターン１においては、
顔向き方向角度θの検出値である顔向き方向角度θおよび視線の方向φの検出値である視線方向角度φのサンプリング値に基づき予測式を算出し、
サンプリング値のうち、一部のサンプリング値を用いて予測式を算出することとした。

これにより、明らかにエラーと考えられるサンプリング値を除外することが可能となり、予測値の算出精度を向上させることができる。

（他の実施例）
以上、実施例に基づいて説明してきたが、本発明の具体的な構成は実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても、本発明に含まれる。

本願は、車両用であるが、その他移動体への利用は容易である。

本願視線方向認識エラー検出装置のシステム構成図である。 視線方向認識エラー検出装置の制御ブロック図である。 車両のヨー方向と顔向き方向角度θおよび視線方向角度φの関係を示す図である。 サンプリングデータ表である。 シグモイド曲線を示す図である。 パターン１の近似例である。 パターン２の近似例である。 シグモイド曲線による近似の例である（データ選別）。 シグモイド曲線による近似の例である（予測式）。 直線による近似の例である（データ選別）。 直線による近似の例である（予測式）。 パターン１における予測式を示す図である。 パターン１における誤認識（エラー）判定範囲を示す図である。 視線エラー判定フローである。

符号の説明

１ 視線方向認識エラー検出装置
２ インパネ
３ ステアリングホイール
１１０ 運転者撮影カメラ
１２０ 認識処理部
１２１ 検知処理部
１２２ 視線検知処理部
１３０ 誤認識判定部
１３１ 予測値算出部
１３２ 誤認識判定部

Claims (5)

1. 運転者の顔面画像を撮影する撮影手段と、
   前記顔面画像から前記運転者の顔の向きおよび視線の方向を求める認識手段と、
   前記視線の方向のエラーを判定する誤認識判定手段と
   を備え、
   前記誤認識判定手段は、前記顔の向きに基づき、前記視線の方向を予測する予測式を算出し、この予測式と前記視線の方向の認識結果を比較することにより、前記視線の方向の認識エラーを判定すること
   を特徴とする視線方向認識エラー検出装置。
2. 請求項１に記載の視線方向認識エラー検出装置において、
   前記予測式は、運転者の特性に基づき２つのパターンが設定され、
   前記２つのパターンは、前記予測式を曲線とするパターン１と、前記予測式を直線とするパターン２を有すること
   を特徴とする視線方向認識エラー検出装置。
3. 請求項２に記載の視線方向認識エラー検出装置において、
   前記誤認識判定手段は、前記パターン１においては、曲線と直線を組み合わせて前記予測式を算出すること
   を特徴とする視線方向認識エラー検出装置。
4. 請求項３に記載の視線方向認識エラー検出装置において、
   前記誤認識判定手段は、前記パターン１においては、前記顔の向きが車両進行方向正面から一定の範囲内では前記曲線に基づき前記予測式を算出し、前記一定の範囲の外では前記直線に基づき前記予測式を算出すること
   を特徴とする視線方向認識エラー検出装置。
5. 請求項３または請求項４に記載の視線方向認識エラー検出装置において、
   前記誤認識判定手段は、前記パターン１においては、
   前記顔の向きの検出値である顔向き方向角度および前記視線の方向の検出値である視線方向角度のサンプリング値に基づき前記予測式を算出し、
   前記サンプリング値のうち、一部のサンプリング値を用いて前記予測式を算出すること
   を特徴とする視線方向認識エラー検出装置。

Images