JP2020013179A - 注視対象物検知装置、注視対象物検知方法、およびプログラム - Google Patents

Abstract

【課題】視線方向の検知精度が十分でなくても、運転者が注視している対象物を検知することができる注視対象物検知装置を提供する。【解決手段】注視対象物検知装置１は、車両の周辺にある対象物を検知する周辺監視センサ１０と、運転者を撮影する車内カメラ２０と、車内カメラ２０にて撮影した映像に基づいて求めた運転者の視線方向と、周辺監視センサ１０にて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求める演算処理部２１とを備える。【選択図】図１

Description

本発明は、運転者が注視している対象物を検知する注視対象物検知装置、注視対象物検知方法、及びプログラムに関する。

従来から、車両を運転中の運転者が注視している対象物を検知して、運転を支援する走行支援装置が知られていた。

例えば、特許文献１に記載された走行支援装置は、車両の走行状態と、運転者の運転操作と、運転者の視線方向の組合せのパターンを予め記憶しておき、検出した車両の走行状態、運転者の運転操作、運転者の視線方向が、予め記憶されたパターンと異なる場合には警告信号を出力する。これにより、脇見運転や誤操作などの危険な状況の発生を検知し、運転者に警告を与えることができる。

特開２０１８−６７１９８号公報

人間の視線を検知する方法として様々な方法が研究されているが、運転者の視線方向を検知するための装置としては、ダッシュボードに設けられたカメラが用いられることが多い。カメラから運転者まで一定の距離があるので、カメラで撮影した映像に基づいて検知できる運転者の視線方向には、数度〜１０度程度の誤差がある。

このため、例えば、４０ｍ前方を先行車が走行し、同じく４０ｍ前方の歩道に、横断歩道を渡ろうとする歩行者がいる状況では、運転者からみた先行車と歩行者の角度差は４°程度である。このように、運転者から見た対象物の角度差が小さいときには、運転者の視線が前方を向いていることが分かっても、先行車を注視しているのか、歩行者を注視しているのか、その注視対象物を区別することが困難な場合があった。

そこで、本発明は、視線方向の検知精度が十分でなくても、運転者が注視している対象物を検知することができる注視対象物検知装置、注視対象物検知方法、及びプログラムを提供することを目的とする。

本発明の注視対象物検知装置は、車両の周辺にある対象物を検知する周辺監視センサと、運転者を撮影するカメラと、前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求める演算処理部とを備える。

運転者は、運転中にはリスクの高い対象物を注視すると考えられる。そして、対象物のリスクは、自車両と各対象物との距離や相対速度と関係がある。本発明の構成により、運転者の視線方向に加えて、各対象物と自車両との距離又は相対速度に基づくことにより、運転者が注視している対象物を求めることができる。

本発明の注視対象物検知装置において、前記演算処理部は、運転者の視線方向に単一の対象物しか存在しない場合には、各対象物と自車両との距離又は相対速度のデータを用いることなく、運転者の視線方向にある対象物を注視対象物として求めてもよい。

このように視線方向に単一の対象物しか存在しない場合には、自車両と各対象物との距離や相対速度を用いることなく、容易に注視対象物を求めることができる。

本発明の別の態様の注視対象物検知装置は、車両の周辺にある対象物を撮影する周辺監視カメラと、運転者を撮影するカメラと、対象物の種類とその種類に対するリスクの大きさを記憶したリスク情報記憶部と、前記周辺監視カメラの映像に基づいて周辺にある対象物の種類を特定し、前記リスク情報記憶部に記憶された情報に基づいて、各対象物のリスクの大きさを求め、各対象物のリスクの大きさと前記カメラにて撮影した映像に基づいて求めた運転者の視線方向とに基づいて、運転者が注視している対象物を求める演算処理部とを備える。

この構成により、対象物の種類に応じてあらかじめ設定されたリスクの大きさに基づいて、運転者が注視している対象物を適切に求めることができる。

本発明の注視対象物検知装置は、自車両に対する操作情報を取得する車載センサを備え、前記演算処理部は、前記車載センサにて取得した操作情報に基づいて、運転者が注視している対象物を求めてもよい。

車両の運転は外部にある対象物等の状況に応じて行われるので、操作情報に基づいて、運転者が外部の対象物に対応した操作を行っているか否か、つまり、対象物を注視したか否かを判断することができる。本発明の構成により、運転者が注視している対象物を適切に求めることができる。

本発明の注視対象物検知装置において、前記演算処理部は、前記カメラにて撮影した映像に基づいて運転者の顔向きを求め、運転者の顔が所定の角度以上であるときには、脇見運転であると判定してもよい。

人間の特性として、正面から所定の角度範囲にある対象物を見るときには視線のみが動き、所定の角度範囲を超えると顔向きが変わることが知られている。この特性を利用して、運転者の顔が正面から所定の角度範囲を超えているときは、脇見運転であると判定することにより、無駄な計算処理を省くことができる。

本発明の注視対象物検知装置において、前記演算処理部は、運転席に座った運転者が前方を向いているときの顔向きに基づいて、顔向きの正面方向を設定してもよい。

運転者の顔向きは、座席の位置や座高等に起因する個人差があるが、運転席に座った運転者が前方を向いているときの顔向きに基づいて顔向きの正面方向を補正することにより、適切に顔向きを求めることができる。

本発明の注視対象物検知装置において、前記演算処理部は、運転者の視線の停留時間が所定の閾値以下の場合には、その視線方向にある対象物を注視していないと判定して、注視対象物を求めてもよい。

運転中における運転者の視線の動きには、停留と高速運動がある。本発明によれば、視線の停留時間が所定の閾値以下の場合には、対象物を注視していないと判定することにより、高速運動により視線が向かっただけの方向にある対象物を誤って注視対象物と判定しないようにできる。

本発明の注視対象物検知方法は、運転者が注視している対象物を検知するための方法であって、周辺監視センサにて車両の周辺にある対象物を検知するステップと、カメラにて運転者を撮影するステップと、前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求めるステップとを備える。

本発明のプログラムは、運転者が注視している対象物を検知するためのプログラムであって、コンピュータに、周辺監視センサにて検知した車両の周辺にある対象物のデータを取得するステップと、カメラにて撮影した運転者の映像を取得するステップと、前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求めるステップとを実行させる。

本発明の構成により、視線方向からだけでは注視対象物を識別することが困難な状況においても、対象物の情報から注視対象物を求めることができる。

第１の実施の形態の注視対象物検知装置の構成を示す図である。 視線と環境の情報に基づいて、注視対象物を求めるためのモデルの例を示す図である。 第１の実施の形態の注視対象物検知装置の動作を示す図である。 第２の実施の形態の注視対象物検知装置の構成を示す図である。 視線と環境と操作の情報に基づいて、注視対象物を求めるためのモデルの例を示す図である。 第２の実施の形態の注視対象物検知装置の動作を示す図である。 第３の実施の形態の注視対象物検知装置の構成を示す図である。 リスク情報記憶部に記憶された情報の例を示す図である。 第３の実施の形態の注視対象物検知装置の動作を示す図である。

以下、本発明の実施の形態の注視対象物検知装置について、図面を参照して説明する。本実施の形態の注視対象物検知装置は、車両に搭載して用いられ、運転者が注視している対象物（これを「注視対象物」という）を検知する機能を有する。ある対象物を注視している状態は、その対象物に対する注意配分が行われている状態である。注視対象物を検知することによって、運転者がリスクのある状況を正しく認知をしているかを判定し、車両周辺の対象物に対して適切な注意配分ができていない場合等には警報を発することにより、安全運転を支援することができる。また、注視対象物を検知することにより、運転者がすでに注意を払っている場合に、必要のない警報を出力してしまうことを避けることができる。

（第１の実施の形態）
図１は、第１の実施の形態の注視対象物検知装置１の構成を示す図である。注視対象物検知装置１は、注視対象物検知装置１は、車両の周辺にある対象物を検知する周辺監視センサ１０と、運転者を撮影する車内カメラ２０と、運転者の視線方向と各対象物の環境情報とに基づいて注視象物を求める演算処理部２１と、運転者に対して警報を発する警報出力部２２とを備える。

本実施の形態の周辺監視センサ１０には、車外カメラ１１と、ミリ波レーダ１２と、ＬＩＤＡＲ１３が含まれている。車外カメラ１１は、車両の周辺の様子を撮影するカメラである。車外カメラ１１としては、２台のカメラをステレオカメラとして用いてもよい。ミリ波レーダ１２は、ミリ波と呼ばれる非常に波長の短い電波を照射し、反射波を計測することにより、物体までの距離を計測する。ＬＩＤＡＲ１３は、赤外線のレーザ光をパルス状に照射して反射時間から距離を計測するセンサである。本実施の形態では、周辺監視センサ１０として３種類のセンサの例を挙げているが、周辺監視センサ１０はこれらのセンサに限定されるものではない。

車内カメラ２０は、ダッシュボードに設けられ、運転者を撮影するカメラである。夜間でも撮影が行えるように、車内カメラ２０には赤外線カメラを用いる。演算処理部２１は、運転者の視線と周辺監視センサ１０にて求めた周辺状況の情報とから、運転者が注視している注視対象物を検知する処理を行う。具体的には、演算処理部２１は、車内カメラ２０にて撮影した運転者の眼球の動きに基づいて、運転者の視線の方向を検知する。運転者の眼球の動きを精度良く求めるために、車内カメラ２０と隣接して、近赤外線点光源を設けてもよい。点光源からの光は、運転者の眼球の表面で反射するが、眼球が球状であるため、眼球の向きによって反射点の位置は変化しない。反射点が瞳孔のどの位置にくるかによって、眼球の方向を精度良く求めることができる。

車内カメラ２０によって求められる視線方向には、数度〜１０度程度の誤差がある。これは運転者から離れたところから撮影した車内カメラ２０の映像を利用しているためである。この誤差の範囲内に複数の対象物があるときには、運転者がどの対象物を特定することは困難である。

そこで、本実施の形態の演算処理部２１は、視線方向にある注視対象物を求めるために、環境の情報を用いる。環境の情報として、本実施の形態では、対象物までの距離と相対速度を用いる。環境情報は、周辺監視センサ１０から得たセンサ情報を用いて求める。すなわち、演算処理部２１は、ＬＩＤＡＲ１３及びミリ波レーダ１２のセンサ情報に基づいて、視線方向にある対象物との距離及び対象物と自車両との相対速度を求める。演算処理部２１は、対象物との距離と相対速度に基づいて、各対象物のリスクを計算する。

ここで、一例として、視線方向に歩行者と先行車の２つの対象物があり、いずれを注視しているか、視線方向のみからでは判別が困難であるときを想定する。例えば、歩行者と自車両との距離との距離が４０ｍ、先行車と自車両との距離が３０ｍのときには、自車両に近い先行車の方が危険であると判定する。例えば、先行車が自車両よりも速い速度で走行しているときには先行車は離れて行っているのに対し、歩行者が止まっているときには、歩行者には自車両の走行速度で相対的に近づいている。この場合には、歩行者の方が危険であると判定する。演算処理部２１は、このような処理を行うことにより、自車両にとってのリスクを対象物ごとに設定する。なお、ここでは、リスクを決める要素として、対象物との距離と相対速度を挙げたが、距離と相対速度の両方を用いてもよいし、いずれか一方だけを用いてもよい。

そして、演算処理部２１は、視線方向の情報と対象物のリスクの情報とに基づいて、注視対象物を検知する。一例として、演算処理部２１は、視線、環境のノードと注視対象物のノードとを所定の重み付けで接続した図２に示すようなモデルに対して、視線により求まる歩行者、先行車の可能性と、環境により求まる歩行者、先行車の可能性を入力して、注視対象物を求める。

図２に示す例では、視線による判定では、歩行者が「０．５」、先行車が「０．５」の可能性があり、視線だけでは注視対象物を特定することができない。環境による判定では、歩行者が「０．７５」、先行車が「０．２５」である。そして、両者の情報を用いることで、例えば、歩行者が「０．７５」、先行車が「０．２５」となり、注視対象物として歩行者が求められる。この例では、視線に基づく歩行者と先行車の確率分布には差がないので、環境に基づく歩行者と先行車の確率分布が結果に反映されている。

警報出力部２２は、演算処理部２１によって注視対象物が検知された結果、例えば、運転者が注視すべき対象物に注意を払っていないことがわかったときに、警報を出力し、運転者に注意を促す。警報の態様としては、音声でもよいし、注視すべき方向を示す表示であってもよい。

図３は、第１の実施の形態の注視対象物検知装置１の動作を示すフローチャートである。注視対象物検知装置１は、車内カメラ２０で運転者を撮影し（Ｓ１０）、撮影した映像に基づいて運転者の視線方向を検知する（Ｓ１１）。また、注視対象物検知装置１は、周辺監視センサ１０によって車両の周辺を監視し（Ｓ１２）、周辺にある対象物を検知する（Ｓ１３）。

続いて、注視対象物検知装置１は、検知した視線の方向にある対象物を検知し、視線方向にある対象物の数が１個であるか否かを判定する（Ｓ１４）。視線方向にある対象物が１個である場合には、当該対象物を注視対象物と判定する（Ｓ１５）。視線方向にある対象物の数が２個以上である場合には、注視対象物検知装置１は、各対象物までの距離と相対速度とを計算する（Ｓ１６）。そして、注視対象物検知装置１は、視線方向と環境の情報とに基づいて、注視対象物を検知する（Ｓ１７）。

本実施の形態の注視対象物検知装置１の構成及び動作について説明したが、上記した注視対象物検知装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、通信インターフェース等を備えたＥＣＵである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した注視対象物検知装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

次に、本実施の形態の注視対象物検知装置１の効果について述べる。上で背景技術として例示した特開２０１８−６７１９８号公報に記載された発明では、予め記憶された車両の走行状態、運転操作、視線方向のパターンの組合せに合致しない場合に警報を出力するが、運転者が何に注視しているかを検知しようとはしていない。この背景技術においても、視線検知の精度が十分でなければ、運転手が注視している対象物を検知することはできない。

本実施の形態の注視対象物検知装置１は、車内カメラ２０の情報からだけでは、視線方向の計測誤差や対象物の位置関係によって、運転者の視線のみからは注視対象物を特定できない場合にも、環境の情報（各対象物と自車両との距離又は相対速度）を用いることで、注視対象物を適切に検知することができる。

本実施の形態の注視対象物検知装置１は、車内カメラ２０にて運転者の映像から検知した視線方向に対象物が１個しかない場合には、その対象物を注視対象物として求めるので、環境情報に基づく処理を行うことなく、計算処理を軽減できる。なお、本実施の形態では、対象物が２個以上の場合に環境情報を使う例を示したが、視線方向にある対象物の数にかかわらず環境情報を用いて、注視対象物を求めてもよい。

（第２の実施の形態）
図４は、第２の実施の形態の注視対象物検知装置２の構成を示す図である。第２の実施の形態の注視対象物検知装置２は、車載センサ３０と接続されており、車載センサ３０から得られた操作情報にも基づいて、注視対象物を検知する。

図５は、第２の実施の形態の注視対象物検知装置２で用いられる、注視対象物を求めるためのモデルの例を示す図である。第２の実施の形態では、視線と環境のノードに加えて、操作情報のノードを有している。視線と環境のノードには、視線により求まる左右の歩行者及び先行車の可能性と、環境により求まる左右の歩行者及び先行車の可能性を入力する。操作情報のノードには、本実施の形態では、アクセルとブレーキのＯＮ／ＯＦＦの情報を入力する。この例では、視線による判定では、左の歩行者が「０．７」、先行車が「０．２」、右の歩行者が「０．１」であり、操作情報はアクセル、ブレーキが共に「ＯＦＦ」であり、環境による判定では、左の歩行者と右の歩行者が共に「０．５」、先行車とそれ以外は「０」である。環境に基づく確率分布では、左右の歩行者で差がなく、先行車とそれ以外は「０」であるから、注視対象物は、左歩行者が「０．８７５」、右歩行者が「０．１２５」となり、左歩行者を注視していると求められる。別の事例として、もし、操作情報でアクセルが「ＯＮ」の場合には、車両周辺への注意配分が半分と考えて、注視対象物は、左歩行者が「０．４３７５」、右歩行者が「０．０６２５」、それ以外が「０．５」というように求めることもできる。なお、ここで示した計算は一例であり、このモデルは、ベイジアンネットやＳＶＭ等の機械学習のモデルで表現してもよい。演算処理部２１は、入力された情報に基づいて注視対象物を求める。

図６は、第２の実施の形態の注視対象物検知装置２の動作を示すフローチャートである。注視対象物検知装置は、車内カメラ２０で運転者を撮影し（Ｓ２０）、撮影した映像に基づいて運転者の視線方向を検知する（Ｓ２１）。また、注視対象物検知装置２は、周辺監視センサ１０によって車両の周辺を監視し（Ｓ２２）、周辺にある対象物を検知する（Ｓ２３）。

続いて、注視対象物検知装置２は、検知した視線の方向にある対象物を検知し、視線方向にある対象物の数が１個であるか否かを判定する（Ｓ２４）。視線方向にある対象物が１個である場合には、当該対象物を注視対象物と判定する（Ｓ２５）。視線方向にある対象物の数が２個以上である場合には、注視対象物検知装置２は、各対象物までの距離と相対速度とを計算する（Ｓ２６）。また、注視対象物検知装置２は、車載センサ３０から操作情報を取得する（Ｓ２７）。そして、注視対象物検知装置２は、視線方向と環境と操作の情報とに基づいて、注視対象物を検知する（Ｓ２８）。

以上説明したように、第２の実施の形態の注視対象物検知装置２は、視線と環境の情報に加えて、操作情報を用いることにより、より精度良く注視対象物を検知できる。例えば、図５に示す例のように、ブレーキを踏んではいないもののアクセルをＯＦＦしているという操作情報が入力されれば、運転者が歩行者を認知し、危険があると判断して、アクセルから足を離して、いつでもブレーキを踏める操作状態にしていると考えられる。つまり、操作状態から、運転者の認知、判断を推測することが可能である。操作情報をノードとして含むモデルを用いることにより、注視対象物の検知精度が高まる。

（第３の実施の形態）
図７は、第３の実施の形態の注視対象物検知装置３の構成を示す図である。第３の実施の形態の注視対象物検知装置３の基本的な構成は、第１の実施の形態と同じであるが、演算処理部２１がアクセスすることができるリスク情報記憶部２３を備えている点が異なる。

図８は、リスク情報記憶部２３に記憶されたデータの例を示す図である。図８に示すように、リスク情報記憶部２３には、対象物の種類とそれに対応するリスクの大きさが記憶されている。対象物の種類は、道路上にいることが考えられる対象物を分類したものである。歩行者、自転車、先行車、対向車等がある。リスク情報記憶部２３は、それぞれの種類について、リスクの大きさのデータを有している。例えば、歩行者や自転車は「８」、先行車は「６」、対向車は「４」である。

演算処理部２１は、運転者の視線上に複数の対象物がある場合には、その対象物の種類に対応するリスクの大きさをリスク情報記憶部２３から読み出す。第１の実施の形態の注視対象物検知装置１では、対象物との距離と相対速度に基づいて、各対象物のリスクを計算したが、これに代えて、本実施の形態ではリスク情報記憶部２３から読み出したリスクの大きさを用いて、注視対象物を求める。

図９は、第３の実施の形態の注視対象物検知装置３の動作を示すフローチャートである。注視対象物検知装置３は、車内カメラ２０で運転者を撮影し（Ｓ３０）、撮影した映像に基づいて運転者の視線方向を検知する（Ｓ３１）。また、注視対象物検知装置３は、周辺監視センサ１０によって車両の周辺を監視し（Ｓ３２）、周辺にある対象物を検知する（Ｓ３３）。

続いて、注視対象物検知装置３は、検知した視線の方向にある対象物を検知し、視線方向にある対象物の数が１個であるか否かを判定する（Ｓ３４）。視線方向にある対象物が１個である場合には、当該対象物を注視対象物と判定する（Ｓ３５）。視線方向にある対象物の数が２個以上である場合には、注視対象物検知装置３は、各対象物の種類を特定し（Ｓ３６）、その種類に対応するリスクの大きさの情報をリスク情報記憶部２３から読み出す（Ｓ３７）。対象物の種類の特定は、車外カメラ１１に映る対象物をパターンマッチングして求めてもよいし、対象物の種類を分類する学習済みモデルを使って推定してもよい。そして、注視対象物検知装置３は、視線方向とリスクの大きさの情報とに基づいて、注視対象物を検知する（Ｓ３８）。

本実施の形態の注視対象物検知装置３は、車内カメラ２０にて運転者の映像から検知した視線方向と、対象物の種類とに基づいて、運転者が注視している注視対象物を適切に検知することができる。

以上、本発明の実施の形態の注視対象物検知装置について、実施の形態を挙げて詳細に説明したが、本発明は、上記した実施の形態に限定されるものではない。
本実施の形態の注視対象物検知装置１〜３の演算処理部２１は、車内カメラ２０の映像に基づいて、運転者の視線のみならず運転者の顔向きも求めることができる。人間の視覚特性によれば、人間が外側を見るときは、視線の方が顔向きよりも外側を向いていることが判明している。これによれば、顔向きが一定より大きく外側を見ているときは、視線はそれよりもさらに外側を向いているといえる。この特性を利用して、演算処理部２１は、車内カメラ２０の映像から運転者の顔向きを検出し、顔向きが所定の角度よりも外側を向いているときには、視線を検出するまでもなく、脇見と判定してもよい。

なお、顔向きは、視線方向とは異なり、運転者が座るシート位置や運転者の座高に起因する個人差がある。顔向きを判定する処理を行う場合には、顔向きの正面方向を補正する処理を行ってもよい。補正を行う具体的な方法としては、例えば、直線道路を走行している（すなわちステアリング角度が０°）ときの顔向きを正面方向とすることが考えられる。また、将来的に、自動車のエンジン起動時に虹彩認証を行う車両が登場したときには、虹彩認証を行うときの顔向きを正面方向とすることが考えられる。

また、人間の視覚特性によれば、人間が特定の対象を注視するには、一定の時間（１００ｍｓ〜３００ｍｓ程度）を要することが判明している。この特性を利用して、視線が停留して対象物を視認している時間が所定の時間（例えば１００ｍｓ）以下である場合には、対象物を注視していないと判定してもよい。また、対象物の注視判定に、高速または大きな視線移動（サッカード）がないという条件を用いてもよい。

本発明は、運転者が注視している対象物を検知する注視対象物検知装置等として有用である。

１〜３ 注視対象物検知部
１０ 周辺監視センサ
１１ 車外カメラ
１２ ミリ波レーダ
１３ ＬＩＤＡＲ
２０ 車内カメラ
２１ 演算処理部
２２ 警報出力部
２３ リスク情報記憶部
３０ 車載センサ

Claims (9)

1. 車両の周辺にある対象物を検知する周辺監視センサと、
   運転者を撮影するカメラと、
   前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求める演算処理部と、
   を備える注視対象物検知装置。
2. 前記演算処理部は、運転者の視線方向に単一の対象物しか存在しない場合には、各対象物と自車両との距離又は相対速度のデータを用いることなく、運転者の視線方向にある対象物を注視対象物として求める請求項１に記載の注視対象物検知装置。
3. 車両の周辺にある対象物を撮影する周辺監視カメラと、
   運転者を撮影するカメラと、
   対象物の種類とその種類に対するリスクの大きさを記憶したリスク情報記憶部と、
   前記周辺監視カメラの映像に基づいて周辺にある対象物の種類を特定し、前記リスク情報記憶部に記憶された情報に基づいて、各対象物のリスクの大きさを求め、各対象物のリスクの大きさと前記カメラにて撮影した映像に基づいて求めた運転者の視線方向とに基づいて、運転者が注視している対象物を求める演算処理部と、
   を備える注視対象物検知装置。
4. 自車両に対する操作情報を取得する車載センサを備え、
   前記演算処理部は、
   前記車載センサにて取得した操作情報に基づいて、運転者が注視している対象物を求める請求項１乃至３のいずれかに記載の注視対象物検知装置。
5. 前記演算処理部は、前記カメラにて撮影した映像に基づいて運転者の顔向きを求め、運転者の顔が所定の角度以上であるときには、脇見運転であると判定する請求項１乃至４のいずれかに記載の注視対象物検知装置。
6. 前記演算処理部は、運転席に座った運転者が前方を向いているときの顔向きに基づいて、顔向きの正面方向を決定する請求項４に記載の注視対象物検知装置。
7. 前記演算処理部は、運転者の視線の停留時間が所定の閾値以下の場合には、その視線方向にある対象物を注視していないと判定して、注視対象物を求める請求項１乃至６のいずれかに記載の注視対象物検知装置。
8. 運転者が注視している対象物を検知するための方法であって、
   周辺監視センサにて車両の周辺にある対象物を検知するステップと、
   カメラにて運転者を撮影するステップと、
   前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求めるステップと、
   を備える注視対象物検知方法。
9. 運転者が注視している対象物を検知するためのプログラムであって、コンピュータに、
   周辺監視センサにて検知した車両の周辺にある対象物のデータを取得するステップと、
   カメラにて撮影した運転者の映像を取得するステップと、
   前記カメラにて撮影した映像に基づいて求めた運転者の視線方向と、前記周辺監視センサにて検知した各対象物と自車両との距離又は相対速度とに基づいて、運転者が注視している対象物を求めるステップと、
   を実行させるプログラム。

Images