JP7228472B2 - 認識装置、認識方法、およびプログラム - Google Patents

Description

本発明は、認識装置、認識方法、およびプログラムに関する。

従来、ドライバカメラで撮像された撮像画像から運転者の視線位置、視線円及び視野領域を検出し、フロントカメラで撮像された撮像画像から車両の進行方向前方にある特徴物を検出し、特徴物と視線円との重複態様に基づいて、特徴物への運転者の視認態様を特定し、特定された視認態様に基づいて特徴物に関する案内を行う走行支援システムに関する技術が開示されている（例えば、特許文献１参照）。

特開２０１４－１２０１１４号公報

従来の技術では、特徴物の領域と運転者における視線円の領域との重複度合いを求めるための処理の負荷が高かった。

本発明は、上記の課題認識に基づいてなされたものであり、移動体の進行方向における物標を運転者が認識しているか否かを低負荷で判定することができる認識装置、認識方法、およびプログラムを提供することを目的としている。

この発明に係る認識装置は、以下の構成を採用した。
（１）：この発明の一態様に係る認識装置は、視線検知装置の検知結果を参照し、移動体の運転者の視点から視線方向に延出し、前記視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識する視野認識部と、前記移動体に配置された視覚センサにより前記移動体の周囲が撮像された画像データに基づいて、前記画像データ内に写された前記移動体の周囲の環境に存在する物標を認識し、前記認識した物標の領域を所定形状で設定する物標領域設定部と、前記物標の領域において複数の判定点を設定し、前記複数の判定点と前記視野範囲との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定する運転者認識判定部と、を備える認識装置である。

（２）：上記（１）の態様において、前記複数の判定点は、少なくとも、前記物標の領域の中心点と、前記視線方向上の直線または点と前記物標の領域との最近接点および最遠隔点とを含むものである。

（３）：上記（２）の態様において、前記所定形状は、前記物標を中心とした直方体形状である。

（４）：上記（３）の態様において、前記運転者認識判定部は、前記画像データが表す画像平面上に前記視野範囲を射影し、射影した前記視野範囲と前記複数の判定点との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定するものである。

（５）：上記（４）の態様において、前記運転者認識判定部は、前記物標の属性に基づいて、前記運転者が前記物標を認識していると判定する際の基準となる、前記視野範囲内に位置する前記判定点の数を変更するものである。

（６）：上記（５）の態様において、前記運転者認識判定部は、前記基準となる数の前記判定点が所定時間を超えて前記視野範囲内に位置している場合に、当該判定点を含む前記物標を前記運転者が認識している状態であると判定するものである。

（７）：上記（６）の態様において、前記所定時間は、前記基準となる数の前記判定点が所定期間内で前記視野範囲内に位置している複数の時間を積算した時間である。

（８）：上記（６）または（７）の態様において、前記運転者認識判定部は、前記物標の属性に基づいて、前記所定時間を変更するものである。

（９）：上記（８）の態様において、前記運転者認識判定部は、前記判定点が前記視野範囲内に位置している時間の長さに応じて、前記運転者が前記物標を認識している状態が、前記物標を部分的に認識している状態であるか、前記物標を認識している状態であるかを判定し、前記運転者が認識をしていないと判定した前記物標の存在を、第１の態様で報知装置に報知させ、前記運転者による認識が前記部分的に認識している状態であると判定した前記物標の存在を、第２の態様で前記報知装置に報知させるものである。

（１０）：上記（９）の態様において、前記運転者認識判定部は、存在を報知した前記物標に対する前記運転者による認識が前記認識している状態となった場合に、前記報知装置に当該前記物標に関する報知を終了させるものである。

（１１）：上記（１）から（１０）のうちいずれか一態様において、前記運転者認識判定部は、それぞれの前記物標に対する前記運転者の認識の状態を付与し、前記付与される状態は所定時間記録されるとともに、前記視野範囲に前記物標が複数存在する場合に、前記認識状態が付与された前記物標が認識中の対象であると判定するものである。

（１２）：また、この発明の一態様に係る認識方法は、コンピュータが、視線検知装置の検知結果を参照し、移動体の運転者の視点から視線方向に延出し、前記視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識し、前記移動体に配置された視覚センサにより前記移動体の周囲が撮像された画像データに基づいて、前記画像データ内に写された前記移動体の周囲の環境に存在する物標を認識し、前記認識した物標の領域を所定形状で設定し、前記物標の領域において複数の判定点を設定し、前記複数の判定点と前記視野範囲との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定する、認識方法である。

（１３）：また、この発明の一態様に係るプログラムは、コンピュータに、視線検知装置の検知結果を参照して、移動体の運転者の視点から視線方向に延出し、前記視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識させ、前記移動体に配置された視覚センサにより前記移動体の周囲が撮像された画像データに基づいて、前記画像データ内に写された前記移動体の周囲の環境に存在する物標を認識させ、前記認識した物標の領域を所定形状で設定させ、前記物標の領域において複数の判定点を設定させ、前記複数の判定点と前記視野範囲との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定させる、プログラムである。

上述した（１）～（１１）の態様によれば、移動体の進行方向における物標を運転者が認識しているか否かを低負荷で判定することができる。

実施形態に係る認識装置を備える認識システム１の概略構成図である。 視線検知装置２００の一例を示す図である。 視線検知装置２００が検知する視線の方向と、運転者認識判定部３５０が射影する視野範囲との関係の一例を示す図である。 運転者認識判定部３５０が運転者ＤＲによる物標に対する認識状態を判定する方法の一例を示す図である。 運転者認識判定部３５０が運転者ＤＲによる物標に対する認識状態を判定する具体例を示す図である。 運転者認識判定部３５０が運転者ＤＲによる物標に対する認識状態を判定する別の具体例を示す図である。 運転者認識判定部３５０が運転者ＤＲによる物標に対する認識状態を判定するより具体的な一例を示す図である。 認識装置３００により実行される処理の流れの一例を示すフローチャートである。 運転者認識判定部３５０が運転者ＤＲによる認識がされている物標を判定する一例の第１シーンを示す図である。 運転者認識判定部３５０が運転者ＤＲによる認識がされている物標を判定する一例の第２シーンを示す図である。

以下、図面を参照し、本発明の認識装置の実施形態について説明する。以下の説明においては、本発明の認識装置を含む認識システムの一例について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合には、左右を逆に読み替えればよい。

［認識システム１の全体構成例］
図１は、実施形態に係る認識装置を備える認識システム１の概略構成図である。認識システム１が搭載される車両は、例えば、四輪の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

認識システム１は、例えば、視覚センサ１００と、視線検知装置２００と、認識装置３００と、報知装置４００とを備える。

視覚センサ１００は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。視覚センサ１００は、認識システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、視覚センサ１００は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。視覚センサ１００は、例えば、周期的に繰り返し自車両Ｍの周囲を撮像する。視覚センサ１００は、自車両Ｍの周囲を撮像した画像の画像データを、認識装置３００に出力する。

なお、視覚センサ１００は、平面画像を撮像するものではなく、距離を含めた３次元画像を撮像するものであってもよい。例えば、視覚センサ１００は、ステレオカメラであってもよい。また、例えば、視覚センサ１００は、ＬＩＤＡＲ（Light Detection and Ranging）であってもよい。ＬＩＤＡＲである場合、視覚センサ１００は、自車両Ｍの周囲に光を照射し、散乱光を測定する。視覚センサ１００は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。視覚センサ１００が、自車両Ｍの周囲を３次元空間として撮像する構成である場合、撮像した画像に含まれるそれぞれの被写体（他車両や、歩行者、自転車、固定物など）との間の距離の情報が含まれる画像データを認識装置３００に出力してもよい。以下の説明においては、視覚センサ１００が平面画像を撮像し、画像データを認識装置３００に出力するものとする。

視線検知装置２００は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子とＬＥＤ（light emitting diode：発光ダイオード）を利用した視線計測（検知）カメラを含む。視線検知装置２００は、認識システム１が搭載される自車両Ｍの車室内において、自車両Ｍの運転席に着座している運転者の視線の方向を検知することができる任意の箇所に取り付けられる。視線検知装置２００は、画像解析装置を含み、例えば、人間の目における角膜の部分とその周囲の部分（いわゆる、強膜の部分）とで一定方向から照射された光に対する歪みに差があることを利用して、運転者の視線の方向を検知する。より具体的には、視線検知装置２００は、例えば、ＬＥＤに運転者の目の方向に近赤外光を照射させ、撮像した運転者の目の領域において照射した近赤外光の像が歪んでいる部分を検出することによって、運転者の視線の方向を検知する。視線検知装置２００は、検知した運転者の視線の方向を表す情報（以下、視線情報）を、検知結果として認識装置３００に出力する。

［視線検知装置２００の一例］
ここで、認識システム１を構成する視線検知装置２００の一例について説明する。図２は、視線検知装置２００の一例を示す図である。図２に示した視線検知装置２００は、２つの視線検知部２１０を備える。図２には、２つの視線検知部２１０のそれぞれを自車両Ｍの車室内に配置する一例を示している。

自車両Ｍの車室内には、例えば、ステアリングホイールＳＷが設けられた運転席ＤＳと、運転席ＤＳに対して車幅方向（図中Ｙ方向）に設けられた助手席ＡＳとが存在する。また、自車両Ｍの車室には、前方の窓枠にフロント窓ガラス１０が存在し、運転席ドアの窓枠にサイド窓ガラス１１Ｒが存在し、助手席ドアの窓枠にサイド窓ガラス１１Ｌが存在する。運転席ＤＳに着座している運転者は、フロント窓ガラス１０、サイド窓ガラス１１Ｒ、およびサイド窓ガラス１１Ｌを通して、自車両Ｍの車外の前方および側方の状況を認識することができる。また、自車両Ｍの車室には、前方の上部にルームミラー１２が存在し、運転席ドアの前方の車外にサイドミラー１３Ｒが存在し、助手席ドアの前方車外にサイドミラー１３Ｌが存在する。運転席ＤＳに着座している運転者は、ルームミラー１２、サイドミラー１３Ｒ、およびサイドミラー１３Ｌを介して、車外の後方の状況を認識することができる。

図２に示したような自車両Ｍの車室内において、視線検知装置２００が備える第１視線検知部２１０－１と第２視線検知部２１０－２とのそれぞれは、車幅方向において運転者を挟む異なる位置に配置される。より具体的には、第１視線検知部２１０－１は、フロント窓ガラス１０の右側とサイド窓ガラス１１Ｒの前方との間の右側のフロントピラー（いわゆる、Ａピラー）ＡＲに配置される。また、第２視線検知部２１０－２は、運転席ＤＳと助手席ＡＳとの間のダッシュボードに設けられた、例えば、ナビゲーション装置のディスプレイＤＰの上部に配置される。これにより、視線検知装置２００は、運転席ＤＳに着座している運転者の顔の向きに関係なく、運転者の視線の方向を検知することができる。例えば、視線検知装置２００は、運転者の顔の向きが変わることが想定されるサイドミラー１３Ｒからサイドミラー１３Ｌまでの間で、少なくともいずれかの視線検知部２１０によって、運転者の視線の方向を検知することができる。

なお、図２に示した第１視線検知部２１０－１と第２視線検知部２１０－２とのそれぞれの配置はあくまで一例であり、それぞれの視線検知部２１０を配置する位置は、自車両Ｍの車室内の構成に応じて適宜変更されてもよい。例えば、自車両Ｍが、フロント窓ガラス１０とサイド窓ガラス１１Ｒとの間や、フロント窓ガラス１０とサイド窓ガラス１１Ｌとの間にコーナ窓ガラスが設けられている場合、第１視線検知部２１０－１は、フロント窓ガラス１０とサイド窓ガラス１１Ｒとの間の右側のコーナ窓ガラスとの間のフロントピラーに配置されてもよい。また、第１視線検知部２１０－１と第２視線検知部２１０－２とのそれぞれを配置するための構成に関しては、車室内の構造物に埋め込む方法に限定されるものではなく、運転者が自車両Ｍの車外の状況を認識することができる、つまり、車外の様子を見る際に妨げとならない構成であれば、いかなる構成であってもよい。例えば、第１視線検知部２１０－１は、フロントピラーＡＲから運転者の方向に延びる支持部材の運転者側の端部に取り付けられる構成であってもよい。

図１に戻り、認識装置３００は、視覚センサ１００により出力された画像データと、視線検知装置２００により出力された視線情報とに基づいて、運転者が、自車両Ｍの周囲に存在する物標を認識しているか否かを判定する。また、認識装置３００は、運転者が認識していないと判定した物標、または認識度合いが低いと判定した物標が存在する方向を、報知装置４００に指示して運転者を含む乗員に報知させる。

認識装置３００は、例えば、物標領域設定部３１０と、視野認識部３３０と、運転者認識判定部３５０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサと、プログラム（ソフトウェア）を記憶した記憶装置（非一過性の記憶媒体を備える記憶装置）とを備え、プロセッサがプログラムを実行することによりそれぞれの構成要素の機能が実現される。また、認識装置３００が備える構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）などによって実現されてもよいし、ソフトウェアとハードウェアの協働によってそれぞれの構成要素の機能が実現されてもよい。また、認識装置３００が備える構成要素のうち一部または全部は、専用のＬＳＩによってそれぞれの構成要素の機能が実現されてもよい。ここで、プログラム（ソフトウェア）は、予めＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。また、プログラム（ソフトウェア）は、他のコンピュータ装置から近距離通信または広域通信によって予めダウンロードされて、記憶装置にインストールされてもよい。

物標領域設定部３１０は、視覚センサ１００により出力された画像データ内に写された物標を認識し、認識した物標の領域を所定の形状で表した物標領域を設定する。ここで、物標領域設定部３１０が画像データから認識する物標としては、例えば、自車両Ｍの周囲に存在する他車両、歩行者、自転車、静止物などがある。他車両には、同じ走行車線または隣接する走行車線を走行している他車両や、対向車線を走行する対向車両が含まれる。また、静止物には、信号機や駐車車両などが含まれる。物標領域設定部３１０は、認識したそれぞれの物標を中心としてその物標の周囲を直方体形状で囲んだ（部分的に物標の内部に入り込んでもよい）物標領域を設定する。例えば、物標領域設定部３１０は、認識した物標の特徴点を抽出し、抽出したそれぞれの特徴点を包含する、十分に小さい直方体形状を、物標領域として設定する。なお、物標領域設定部３１０は、認識する物標が画像データ内に写されている角度によっては、その物標に対して直方体形状の物標領域ではなく、矩形形状の物標領域を設定してもよい。このような物標の特徴点の抽出や、物標領域の設定は、例えば、既存の画像処理の技術においてバウンディングボックスを生成する処理を用いて行うことができる。このため、物標領域設定部３１０が設定した物標領域を、バウンディングボックスと称してもよい。

物標領域設定部３１０は、視覚センサ１００により出力された画像データと、設定した物標領域を表す情報とを、運転者認識判定部３５０に出力する。物標領域設定部３１０が運転者認識判定部３５０に出力する物標領域を表す情報には、物標領域設定部３１０が認識した物標の属性に関する情報を含む。物標領域設定部３１０は、認識した物標の属性を判定する属性判定機能を有する。ここで、属性とは、物標領域設定部３１０が認識した物標が、高速で移動する他車両などの移動体であるか、低速で移動する歩行者や自転車などの移動体であるか、道路に設置された信号機などの移動しない固定物であるか、走行経路上に存在する駐車車両などの移動物ではあるが現在は静止している静止物であるかを表すものである。

視野認識部３３０は、視線検知装置２００により出力された視線情報を参照して、運転者の視線の方向に広がる視野の範囲（視野範囲）を認識する。例えば、視野認識部３３０は、運転者の視点を頂点として視線の方向に延出し、視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識する。視野認識部３３０は、視線検知装置２００により出力された視線情報と、認識した視野範囲を表す情報とを、運転者認識判定部３５０に出力する。

運転者認識判定部３５０は、物標領域設定部３１０により出力された画像データおよび物標領域の情報と、視野認識部３３０により出力された視線情報および視野範囲の情報とに基づいて、自車両Ｍの周囲に存在する物標に対する運転者が物標を認識しているか否か（以下、認識状態）を判定する。例えば、運転者認識判定部３５０は、物標領域設定部３１０により出力された画像データ、つまり、視覚センサ１００が撮像した画像空間内で運転者の認識状態を判定する。このため、運転者認識判定部３５０は、まず、物標領域設定部３１０により出力された画像データ、つまり、視覚センサ１００が撮像した画像の画像データを仮想的なスクリーンに射影する。運転者認識判定部３５０が画像データを射影する仮想的なスクリーンとしては、例えば、フロント窓ガラスに相当するスクリーンが考えられる。以下の説明においては、運転者認識判定部３５０が画像データを射影するスクリーンが、フロント窓ガラスの面に沿って仮想的に存在するものとする。

そして、運転者認識判定部３５０は、仮想的に射影した画像データが表す画像平面上に、物標領域設定部３１０が設定した物標領域を射影する。さらに、運転者認識判定部３５０は、物標領域を射影した同じ画像平面上に、視野認識部３３０により出力された運転者の視野範囲を射影する。なお、物標領域を射影した同じ画像平面上に運転者の視野範囲を射影する際には、画像データ内に写された物標の３次元空間内の位置と、画像平面上での運転者ＤＲの視線の位置とが整合されるように射影する。この物標の３次元空間内の位置と画像平面上での運転者ＤＲの視線の位置との整合は、運転者認識判定部３５０が画像データ、物標領域、および視野範囲を射影する際に行ってもよいし、自車両Ｍにおいて視覚センサ１００が取り付けられた位置と視線検知装置２００が取り付けられた位置との差（例えば、角度の差）に応じて予め定められた位置に運転者認識判定部３５０が射影するようにしておいてもよい。また、視覚センサ１００と視線検知装置２００とのそれぞれにおける検出位置が同じ位置となるように、自車両Ｍに視覚センサ１００を取り付ける位置と、視線検知装置２００を取り付ける位置とが決められてもよい。

そして、運転者認識判定部３５０は、視野認識部３３０により出力された運転者の視線の方向を表す直線または視野範囲の中心点を運転者の注視点とし、この注視点と物標領域との位置関係に基づいて、物標領域に対して複数の判定点を設定する。ここで、運転者認識判定部３５０が設定する判定点には、少なくとも、物標領域の中心点、運転者の視線の方向を表す直線または注視点と物標領域との間の最近接点、および最遠隔点を含む。

運転者認識判定部３５０は、設定したそれぞれの判定点と視野範囲との重複度合いに基づいて、物標領域設定部３１０が認識した自車両Ｍの周囲に存在するそれぞれの物標に対する運転者の認識状態を判定する。このとき、運転者認識判定部３５０は、物標領域設定部３１０が認識したそれぞれの物標の属性に基づいて、それぞれの物標に対する運転者の認識状態を判定する際の基準となる、判定点と視野範囲との重複度合いを変更してもよい。例えば、運転者認識判定部３５０は、運転者が物標を認識していると判定する際の基準となる、視野範囲内に位置する判定点の数を、物標領域の属性に基づいて変更してもよい。

また、運転者認識判定部３５０は、それぞれの判定点が視野範囲に重複している時間の長さに応じて、それぞれの物標に対する運転者の認識状態を判定する。例えば、運転者認識判定部３５０は、それぞれの判定点が視野範囲に重複している時間が第１所定時間以下である場合に、この物標は自車両Ｍの走行を継続する際にリスクとなる可能性がある物標として運転者が認識をしていない状態（以下、未認識状態）であると判定する。また、例えば、運転者認識判定部３５０は、それぞれの判定点が視野範囲に重複している時間が第１所定時間を超えているが、第２所定時間以下である場合に、この物標は運転者の視野に入ってはいたが、自車両Ｍの走行を継続する際にリスクとなる可能性がある物標として運転者が十分な認識をしていない（認識度合いが低い）状態（以下、部分的な認識状態）であると判定する。また、例えば、運転者認識判定部３５０は、それぞれの判定点が視野範囲に重複している時間が第２所定時間を超えている場合に、この物標は運転者の視野に入り、さらに自車両Ｍの走行を継続する際にリスクとなる可能性がある物標として運転者が十分に認識をしている状態（以下、十分な認識状態）であると判定する。このとき、運転者認識判定部３５０は、物標領域設定部３１０が認識したそれぞれの物標の属性に基づいて、それぞれの物標に対する運転者の認識状態を判定する際の基準となる、判定点が視野範囲に重複している時間、例えば、第１所定時間や第２所定時間を変更してもよい。

なお、運転者認識判定部３５０は、所定期間内にそれぞれの判定点が視野範囲に重複している複数の時間を積算（累積）した時間の長さに応じて、それぞれの物標に対する運転者の認識状態を判定してもよい。これは、運転者が自車両Ｍを運転する際には、常に同じ方向を向いているわけではなく、様々な方向に視線の向きが変わるためである。そして、所定の短い期間以内に物標が運転者の視野に複数回入った場合には、運転者による認識状態が十分な認識状態であると判定することができる物標もあるからである。

また、運転者認識判定部３５０は、判定したそれぞれの物標に対する運転者の認識状態に基づいて、未認識状態または部分的な認識状態の物標（つまり、自車両Ｍの走行を継続する際にリスクとなる可能性がある物標として運転者が認識をしていないまたは認識度合いが低い物標）が存在する方向を、報知装置４００に報知させる。このとき、運転者認識判定部３５０は、物標の存在を報知させるための報知指示を、報知装置４００に出力する。運転者認識判定部３５０が報知装置４００に出力する報知指示には、運転者に報知する物標が存在する方向の情報が含まれる。

報知装置４００は、例えば、自車両Ｍの車室内の互いに異なる位置に配設された複数のスピーカ（音出力部）を含む。報知装置４００は、運転者認識判定部３５０からの報知指示に従って、複数のスピーカのうち一部または全部に音声を出力させる。このとき、報知装置４００は、運転者認識判定部３５０からの報知指示に含まれる運転者に報知する物標が存在する方向の情報が表す方向に、報知のための音像を定位させる制御を行う。なお、音像を定位させる制御とは、例えば、運転者の左右の耳に伝達される音の大きさを調節することにより、運転者が感じる音源の空間的な位置を定めることである。なお、本発明においては、音像を定位させる空間的な位置を制御する方法や構成に関しては特に規定しない。従って、音像の定位する位置は、音源が元々保有している音特性や、自車両Ｍの車室内環境の情報、頭部伝達関数（ＨＲＴＦ；Head-related transfer function）に基づいて定まるため、報知装置４００は、予め官能試験などで得られた最適な出力配分でそれぞれのスピーカを制御することで、音像を所定の位置に定位させてもよい。これにより、運転者は、自車両Ｍが走行を継続する際にリスクとして認識する必要がある、未認識状態または部分的な認識状態の物標が存在する方向を知ることができる。

なお、報知装置４００は、例えば、自車両Ｍのフロント窓ガラスの面内に画像や情報を表示させる表示装置（いわゆる、ヘッドアップディスプレイ装置）を含んでもよい。これにより、運転者は、自車両Ｍが走行を継続する際にリスクとして認識する必要がある物標の存在を、視覚的に知ることができる。

このように、認識システム１では、視覚センサ１００が撮像した物標と、視線検知装置２００により検出した運転者の視線の方向とに基づいて、自車両Ｍの周囲に存在する物標に対する運転者の認識状態を判定し、自車両Ｍの走行を継続する際にリスクとなる可能性がある物標の存在を、運転者に報知する。これにより、認識システム１が搭載される自車両Ｍでは、運転者が、報知された物標に対応する自車両Ｍの操作（運転）やその準備を事前に行うことができ、より安全に走行を継続することができる。

［視野範囲の一例］
次に、認識システム１において視線検知装置２００が検知する視線の方向と、認識装置３００における視野範囲との関係について説明する。図３は、視線検知装置２００が検知する視線の方向と、運転者認識判定部３５０が射影する視野範囲との関係の一例を示す図である。図３には、自車両Ｍの前方のフロント窓ガラス１０、サイド窓ガラス１１Ｒ、およびサイド窓ガラス１１Ｌを模式的に示し、自車両Ｍの運転者ＤＲが前方を見ている場合において、視線検知装置２００が検知した運転者ＤＲの視線の方向と、運転者認識判定部３５０が画像平面上に射影した視野認識部３３０が認識した視野範囲との関係を示している。なお、図３では、説明を容易にするため、フロントピラーＡＲおよびフロント窓ガラス１０の左側とサイド窓ガラス１１Ｌの前方との間の左側のフロントピラー（Ａピラー）ＡＬの図示を省略している。また、図３には、物標領域設定部３１０が物標として認識して設定した物標領域の一例も併せて示している。

運転者ＤＲの視野範囲ＶＲは、運転者ＤＲの視点ＶＰを頂点として運転者ＤＲの視線を表す視線ベクトルＧＶの方向（奥行き方向）に延出し、視点ＶＰから遠くなるのにつれて所定角度（頂角ＡＡ）で広がる円錐状の視線ビーム範囲ＧＲの範囲内にある。認識装置３００において視野範囲ＶＲは、視線ビーム範囲ＧＲの範囲内において、視線ベクトルＧＶ上で運転者ＤＲが注視している注視点ＡＰの位置を中心とした楕円形の範囲である。これは、認識装置３００（より具体的には、運転者認識判定部３５０）が、物標領域設定部３１０により出力された画像データをフロント窓ガラス１０の面に沿って仮想的に射影した場合であっても、運転者ＤＲが自車両Ｍの前方の路面を見ている、つまり、運転者ＤＲの注視点ＡＰが路面上に存在するものと仮定するためである。言い換えれば、フロント窓ガラス１０の面に沿って画像データを射影した場合でも、運転者ＤＲが物体を見ているときの視線ビームは、路面に対する距離が一定の距離ではないことを、画像平面に沿って射影する円錐状の視線ビーム範囲ＧＲの範囲内の視野範囲ＶＲに反映させるためである。

運転者認識判定部３５０は、フロント窓ガラス１０に沿って射影した画像データが表す画像平面上を注視点ＡＰおよび視野範囲ＶＲが移動する、例えば、フロント窓ガラス１０の面内を注視点ＡＰおよび視野範囲ＶＲが移動するものとして、それぞれの物標に対する運転者ＤＲの認識状態を判定する処理を行う。より具体的には、運転者認識判定部３５０は、フロント窓ガラス１０に沿って射影した画像データが表す画像平面上で、物標領域設定部３１０が認識して設定したそれぞれの物標の物標領域ＢＢ（より具体的には、それぞれの物標領域ＢＢに対して設定したそれぞれの判定点）と視野範囲ＶＲとの重複度合いに基づいて、それぞれの物標に対する運転者ＤＲの認識状態を判定する処理を行う。図３において運転者認識判定部３５０は、視線ビーム範囲ＧＲと重複していない物標領域ＢＢ３が設定された他車両を、運転者ＤＲによって認識されていない状態（未認識状態）であると判定する。また、図３において運転者認識判定部３５０は、視線ビーム範囲ＧＲと重複している物標領域ＢＢ１および物標領域ＢＢ２が設定されたそれぞれの他車両を、運転者ＤＲによって認識されている状態であると判定する。なお、運転者認識判定部３５０は、物標領域ＢＢ１が設定された他車両と物標領域ＢＢ２が設定された他車両とのそれぞれについて、部分的な認識状態であるか十分な認識状態であるかも判定する。

［認識状態の判定方法の一例］
次に、認識システム１において運転者認識判定部３５０が運転者ＤＲにおける物標の認識状態を判定する方法について説明する。図４は、運転者認識判定部３５０が運転者ＤＲによる物標に対する認識状態を判定する方法の一例を示す図である。図４には、運転者ＤＲの視線を表す視線ベクトルＧＶと、運転者認識判定部３５０が射影した物標領域ＢＢおよび視野範囲ＶＲとの関係を示している。運転者認識判定部３５０が、物標に対する運転者ＤＲの認識状態を判定する際、射影した物標領域ＢＢに対して、中心点ＣＰと、視線ベクトルＧＶまたは注視点ＡＰと物標領域ＢＢの間の最近接点ＮＰと、視線ベクトルＧＶまたは注視点ＡＰと物標領域ＢＢの間の最遠隔点ＦＰとのそれぞれの判定点を設定する。そして、運転者認識判定部３５０は、視野範囲ＶＲの範囲内にいくつの判定点が位置しているかに基づいて、物標領域ＢＢが設定された物標に対する運転者ＤＲの認識状態を判定する。図４においては、視野範囲ＶＲの範囲内に１つの判定点（最近接点ＮＰ）が位置している状態を示している。

ここで、運転者認識判定部３５０が射影した物標領域ＢＢと視野範囲ＶＲとの関係における具体的な一例について説明する。図５および図６は、運転者認識判定部３５０が運転者ＤＲによる物標に対する認識状態を判定する具体例を示す図である。なお、図５および図６では、説明を容易にするため、視覚センサ１００が撮像した１フレームの画像ＩＭの画像平面上に、物標領域設定部３１０が設定した物標領域ＢＢと、視野認識部３３０が認識した視野範囲ＶＲを射影した場合の一例を示している。また、図５および図６では、説明を容易にするため、注視点ＡＰに基づいてそれぞれの判定点を設定した場合の一例を示している。

まず、図５を用いて、運転者ＤＲにおける物標に対する認識状態を判定する具体例を説明する。図５は、例えば、自車両Ｍが走行している方向と同じ方向に走行している前方の他車両、いわゆる、先行車両に対する運転者ＤＲの認識状態を判定する場合の一例である。運転者ＤＲの認識状態を判定する対象が、先行車両のような場合、物標領域設定部３１０によって、図５に示すような直方体形状の物標領域ＢＢが設定される。

運転者認識判定部３５０は、画像ＩＭの画像平面上に射影した直方体形状の物標領域ＢＢに対して、中心点ＣＰと、最近接点ＮＰと、最遠隔点ＦＰとのそれぞれの判定点を設定する。また、運転者認識判定部３５０は、画像ＩＭの画像平面上に視野範囲ＶＲを射影する。そして、運転者認識判定部３５０は、それぞれの判定点が視野範囲ＶＲ内に位置するか否かを判定する。図５に示した一例において運転者認識判定部３５０は、最近接点ＮＰと中心点ＣＰとが視野範囲ＶＲ内に位置する、つまり、２つの判定点が視野範囲ＶＲ内に位置すると判定する。そして、運転者認識判定部３５０は、視野範囲ＶＲ内に位置すると判定した判定点の数と視野範囲ＶＲ内に位置している時間の長さに応じて、運転者ＤＲによる直方体形状の物標領域ＢＢ、つまり、直方体形状の物標領域ＢＢが設定された先行車両に対する運転者ＤＲの認識状態（部分的な認識状態または十分な認識状態）を判定する。

続いて、図６を用いて、運転者ＤＲにおける物標に対する認識状態を判定する別の具体例を説明する。図６は、例えば、交差点などにおいて自車両Ｍの前方を横切るように走行している他車両、いわゆる、交差車両に対する運転者ＤＲの認識状態を判定する場合の一例である。運転者ＤＲの認識状態を判定する対象が、交差車両のような場合、物標領域設定部３１０によって、図６に示すような矩形形状の物標領域ＢＢが設定される。

運転者認識判定部３５０は、画像ＩＭの画像平面上に射影した矩形形状の物標領域ＢＢに対して、中心点ＣＰと、最近接点ＮＰと、最遠隔点ＦＰとのそれぞれの判定点を設定する。また、運転者認識判定部３５０は、画像ＩＭの画像平面上に視野範囲ＶＲを射影する。そして、運転者認識判定部３５０は、それぞれの判定点が視野範囲ＶＲ内に位置するか否かを判定する。図６に示した一例において運転者認識判定部３５０は、最近接点ＮＰと中心点ＣＰとの２つの判定点が視野範囲ＶＲ内に位置すると判定する。そして、運転者認識判定部３５０は、視野範囲ＶＲ内に位置すると判定した判定点の数と視野範囲ＶＲ内に位置している時間の長さに応じて、矩形形状の物標領域ＢＢが設定された交差車両に対する運転者ＤＲの認識状態を判定する。

次に、運転者認識判定部３５０が射影した物標領域ＢＢと視野範囲ＶＲとの関係におけるより具体的な一例について説明する。図７は、運転者認識判定部３５０が運転者ＤＲによる物標に対する認識状態を判定するより具体的な一例を示す図である。なお、図７でも、説明を容易にするため、視覚センサ１００が撮像した１フレームの画像ＩＭの画像平面上に、物標領域設定部３１０が設定した物標領域ＢＢと、視野認識部３３０が認識した視野範囲ＶＲを射影した場合の一例を示している。また、図７でも、説明を容易にするため、注視点ＡＰに基づいてそれぞれの判定点を設定した場合の一例を示している。

図７には、画像ＩＭ内に、４つの物標が写されている場合を示している。より具体的には、自車両Ｍが走行している走行車線に隣接する走行車線（左側車線）を走行している他車両（以下、併走車両Ｖ１）と、同じ走行車線で前方を走行している他車両（以下、先行車両Ｖ２）と、隣接する反対側の走行車線を走行している他車両（以下、対向車両Ｖ３）と、歩道を通行している歩行者Ｈとが写されている場合を示している。この場合、物標領域設定部３１０は、認識したそれぞれの物標に対して物標領域ＢＢを設定する。

運転者認識判定部３５０は、画像ＩＭの画像平面上に物標領域設定部３１０によって設定されたそれぞれの物標領域ＢＢを射影し、それぞれの物標領域ＢＢに対して中心点ＣＰと、最近接点ＮＰと、最遠隔点ＦＰとのそれぞれの判定点を設定する。また、運転者認識判定部３５０は、画像ＩＭの画像平面上に、視野認識部３３０によって認識されたそれぞれの物標に対応する視野範囲ＶＲを射影する。なお、運転者認識判定部３５０は、自車両Ｍとそれぞれの物標との間の距離に応じた大きさの視野範囲ＶＲを、画像ＩＭの画像平面上に射影する。なお、視野範囲ＶＲの大きさは、円錐状の視線ビーム範囲ＧＲの範囲内にあるため、運転者ＤＲから近い位置ほど小さく、運転者ＤＲから遠くなるほど大きくなる。このため、画像ＩＭの画像平面上では、下端に近づくほど視野範囲ＶＲの大きさが小さくなり、上端に近づくほど視野範囲ＶＲの大きさが大きくなる。図７に示した一例において運転者認識判定部３５０は、併走車両Ｖ１に対応する視野範囲ＶＲ１を射影し、先行車両Ｖ２に対応する視野範囲ＶＲ２を射影し、対向車両Ｖ３に対応する視野範囲ＶＲ３を射影し、歩行者Ｈに対応する視野範囲ＶＲ４を射影している。

そして、運転者認識判定部３５０は、それぞれの物標領域ＢＢに対して設定したそれぞれの判定点が視野範囲ＶＲ内に位置するか否かを判定する。図７に示した一例において運転者認識判定部３５０は、先行車両Ｖ２に対応する物標領域ＢＢ２の中心点ＣＰ２、最近接点ＮＰ２、および最遠隔点ＦＰ２が視野範囲ＶＲ２内に位置する、つまり、全ての判定点が視野範囲ＶＲ２内に位置すると判定する。また、図７に示した一例において運転者認識判定部３５０は、対向車両Ｖ３に対応する物標領域ＢＢ３の中心点ＣＰ３と最近接点ＮＰ３との２つの判定点が視野範囲ＶＲ３内に位置すると判定する。また、図７に示した一例において運転者認識判定部３５０は、歩行者Ｈに対応する物標領域ＢＢ４の中心点ＣＰ４、最近接点ＮＰ４、および最遠隔点ＦＰ４の全ての判定点が視野範囲ＶＲ４内に位置すると判定する。

なお、図７に示した一例において運転者認識判定部３５０は、併走車両Ｖ１に対応する物標領域ＢＢ１に対して設定した中心点ＣＰ１、最近接点ＮＰ１、および最遠隔点ＦＰ１のいずれも、視野範囲ＶＲ１内に位置しないと判定する。しかし、視野範囲ＶＲ１は全て、物標領域ＢＢ１である。この場合、運転者認識判定部３５０は、例えば、中心点ＣＰ１が視野範囲ＶＲ１内に位置する、つまり、１つの判定点が視野範囲ＶＲ１内に位置するものとして判定する。なお、視野範囲ＶＲ１のように、運転者ＤＲに近い、つまり、自車両Ｍに近い位置の視野範囲ＶＲおける判定点の判定をする場合、運転者認識判定部３５０は、例えば、視野範囲ＶＲ１の範囲を仮想的に広げた仮想視野範囲ＶＶＲ１を設定し、仮想視野範囲ＶＶＲ１内に位置する物標領域ＢＢ１の判定点を、視野範囲ＶＲ１内に位置する物標領域ＢＢ１の判定点として判定するようにしてもよい。

そして、運転者認識判定部３５０は、それぞれの視野範囲ＶＲ内に位置すると判定した判定点の数に応じて、それぞれの物標に対する運転者ＤＲの認識状態を判定する。このとき、運転者認識判定部３５０は、物標領域設定部３１０が認識したそれぞれの物標の属性に基づいて、運転者ＤＲにおける認識状態を判定するための基準となる判定点の数を変更してもよい。

例えば、物標領域設定部３１０が認識した物標の属性が、高速で移動している状態の他車両などの移動体である場合や道路に設置された信号機や駐車車両などの移動しない静止物である場合、運転者認識判定部３５０は、物標と運転者ＤＲ（つまり、自車両Ｍ）との間の距離に基づいて、運転者ＤＲにおける認識状態を判定するための基準となる判定点の数を変更してもよい。例えば、運転者認識判定部３５０は、物標が運転者ＤＲに近い（自車両Ｍに近い）位置に存在している場合には、運転者ＤＲがこの物標を認識していると判定する際の基準となる視野範囲ＶＲ内に位置している判定点の数を１つとしてもよい。また、例えば、運転者認識判定部３５０は、物標が運転者ＤＲから遠い（自車両Ｍから遠い）位置に物標が存在している場合には、運転者ＤＲがこの物標を認識していると判定する際の基準となる視野範囲ＶＲ内に位置している判定点の数を３つとしてもよい。つまり、運転者認識判定部３５０は、視野範囲ＶＲ内に全ての判定点が位置していることを、運転者ＤＲがこの物標を認識していると判定する際の基準としてもよい。そして、運転者認識判定部３５０は、物標が中間付近の位置に物標が存在している場合には、運転者ＤＲがこの物標を認識していると判定する際の基準となる視野範囲ＶＲ内に位置している判定点の数を２つとしてもよい。

これにより、図７に示した一例において運転者認識判定部３５０は、１つの判定点（例えば、中心点ＣＰ１）のみが視野範囲ＶＲ１内に位置している併走車両Ｖ１を、基準を満足する物標として判定する。また、図７に示した一例において運転者認識判定部３５０は、全て（３つ）の判定点が視野範囲ＶＲ２内に位置している先行車両Ｖ２を、基準を満足する物標として判定する。また、図７に示した一例において運転者認識判定部３５０は、中間付近の位置に物標が存在し、２つの判定点（中心点ＣＰ３と最近接点ＮＰ３）が視野範囲ＶＲ３内に位置している対向車両Ｖ３を、基準を満足する物標として判定する。

なお、図７に示した一例のように、運転者認識判定部３５０が、先行車両Ｖ２に対応する視野範囲ＶＲ２を、画像ＩＭの画像平面上で視野範囲ＶＲ２－２の位置に射影した場合、物標領域ＢＢ２の中心点ＣＰ２と最近接点ＮＰ２との２つの判定点のみが視野範囲ＶＲ２－２内に位置する。このため、運転者認識判定部３５０は、先行車両Ｖ２を、基準を満足する物標として判定しない。

また、画像処理の手法として、例えば、画像を点群と捉えて処理をする方法や、画像内における輝度の差が大きい点をエッジ点として認識し、それらの点により物標を認識する手法がある。このような画像処理の手法を用いる場合、すべての点を判定点とするのでなく、それぞれの物標においてより特徴のある点（例えば、自動車のテールライト部やナンバー、バイクのヘッドライトなど）や、物標における最遠隔点もしくは中心点などを代表点として設定し、設定した代表点を判定点として、基準を満足する物標であるか否かの判定をしてもよい。この場合、物標に応じて、代表点の位置を変えてもよい。

また、例えば、物標領域設定部３１０が認識した物標の属性が低速で移動している状態の歩行者や自転車などの小さな移動体である場合、運転者認識判定部３５０は、物標と運転者ＤＲ（つまり、自車両Ｍ）との間の距離にかかわらず、運転者ＤＲがこの物標を認識していると判定する際の基準となる視野範囲ＶＲ内に位置している判定点の数を３つとしてもよい。つまり、運転者認識判定部３５０は、視野範囲ＶＲ内に全ての判定点が位置していることを、運転者ＤＲがこの物標を認識していると判定する際の基準としてもよい。これにより、図７に示した一例において運転者認識判定部３５０は、全て（３つ）の判定点が視野範囲ＶＲ４内に位置している歩行者Ｈを、基準を満足する物標として判定する。

そして、運転者認識判定部３５０は、それぞれの視野範囲ＶＲ内に基準とする数の判定点が位置している（基準を満足する）時間の長さに応じて、それぞれの物標に対する運転者ＤＲの認識状態（未認識状態、部分的な認識状態、または十分な認識状態）を判定する。言い換えれば、運転者認識判定部３５０は、運転者ＤＲの視線が物標の位置に停留している時間の長さに応じて、それぞれの物標に対する運転者ＤＲの認識状態を判定する。なお、運転者ＤＲの視線が物標の位置に停留している時間の長さは、視野範囲ＶＲ内に基準とする数の判定点が位置している（基準を満足する）状態が継続している時間を計測することによって判定してもよいが、基準を満足する状態が視覚センサ１００が撮像した何フレーム分にわたって継続しているかによって判定してもよい。

視野範囲ＶＲ内に基準とする数の判定点が位置している時間が、例えば、２００［ｍｓ］程度の第１所定時間以下である場合、運転者認識判定部３５０は、この物標に対する運転者ＤＲの認識状態が「未認識状態」であると判定する。また、視野範囲ＶＲ内に基準とする数の判定点が位置している時間が第１所定時間を超えているが、例えば、６００［ｍｓ］程度の第２所定時間以下である場合、運転者認識判定部３５０は、この物標に対する運転者ＤＲの認識状態が「部分的な認識状態」であると判定する。また、視野範囲ＶＲ内に基準とする数の判定点が位置している時間が第２所定時間を超えている場合、運転者認識判定部３５０は、この物標に対する運転者ＤＲの認識状態が「十分な認識状態」であると判定する。

なお、上述した第１所定時間および第２所定時間はあくまで一例であり、それぞれの所定時間は、運転者ＤＲにおける認識状態を複数段階に判定するために適宜変更されてもよい。また、運転者認識判定部３５０は、物標領域設定部３１０が認識したそれぞれの物標の属性に基づいて、第１所定時間および第２所定時間の長さを変更してもよい。例えば、物標領域設定部３１０が認識した物標の属性が高速で移動している状態の他車両などの移動体である場合、運転者認識判定部３５０は、第１所定時間や第２所定時間を長めの時間に変更してもよい。これにより、運転者認識判定部３５０は、運転者ＤＲが他車両をより確実に認識している状態を判定することができる。また、例えば、物標領域設定部３１０が認識した物標の属性が低速で移動している状態の歩行者や自転車などの移動体、道路に設置された信号機や駐車車両などの移動しない静止物である場合、運転者認識判定部３５０は、第１所定時間や第２所定時間を短めの時間に変更してもよい。そして、運転者認識判定部３５０は、視野範囲ＶＲ内に基準とする数の判定点が位置している複数の時間を積算した時間の長さによって、歩行者などの移動体や静止物に対する運転者ＤＲの認識状態を判定してもよい。これにより、運転者認識判定部３５０は、運転者ＤＲが歩行者や自転車などの移動体、信号機や駐車車両など静止物を複数回見ることによって認識している状態を判定することができる。

そして、運転者認識判定部３５０は、判定したそれぞれの物標に対する運転者ＤＲの認識状態に基づいて、運転者ＤＲの認識状態が「未認識状態」である、または運転者ＤＲの認識状態が「部分的な認識状態（認識度合いが低い）」である物標が存在する方向を報知させるための報知指示を、報知装置４００に出力して、報知装置４００に報知させる。

［認識装置３００の処理一例］
次に、認識システム１における認識装置３００の処理について説明する。図８は、認識装置３００により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、視覚センサ１００が１フレームの画像ＩＭを撮像する所定の時間間隔ごとに繰り返し実行される。また、認識装置３００が備える運転者認識判定部３５０は、視覚センサ１００が撮像した画像ＩＭの画像データ内に写されたそれぞれの物標に対する運転者ＤＲの認識状態を判定する。しかし、以下の説明においては、説明を容易にするため、視覚センサ１００が撮像した画像ＩＭには１つの物標のみが写されているものとする。例えば、図７に示した具体的な一例において、画像ＩＭの画像データ内に先行車両Ｖ２のみが写されているものとする。そして、運転者認識判定部３５０は、図７に示した先行車両Ｖ２に対する運転者ＤＲの認識状態を判定するものとする。

視覚センサ１００が１フレームの画像ＩＭを撮像すると、物標領域設定部３１０は、視覚センサ１００により出力された画像データを取得し、取得した画像データ内に写された物標（先行車両Ｖ２）を認識する（ステップＳ１００）。そして、物標領域設定部３１０は、認識した（先行車両Ｖ２）に対して物標領域ＢＢ（物標領域ＢＢ２）を設定する（ステップＳ１０１）。物標領域設定部３１０は、取得した画像データと設定した物標領域ＢＢ２を表す情報とを、運転者認識判定部３５０に出力する。

次に、視野認識部３３０は、視線検知装置２００により出力された視線情報を取得し、取得した視線情報を参照して、運転者ＤＲの視野範囲ＶＲ（視野範囲ＶＲ２）を認識する（ステップＳ１０２）。そして、視野認識部３３０は、取得した視線情報と認識した視野範囲ＶＲ２を表す情報とを、運転者認識判定部３５０に出力する。

次に、運転者認識判定部３５０は、物標領域設定部３１０により出力された画像データを、フロント窓ガラス１０の面に沿って仮想的に射影し、画像データが表す画像平面上に、物標領域設定部３１０が設定した物標領域ＢＢ２と、視野認識部３３０により出力された視野範囲ＶＲ２とのそれぞれを射影する。そして、運転者認識判定部３５０は、射影した物標領域ＢＢ２に対して判定点（中心点ＣＰ２、最近接点ＮＰ２、および最遠隔点ＦＰ２）を設定する（ステップＳ１０３）。

次に、運転者認識判定部３５０は、設定した物標領域ＢＢ２の判定点が視野範囲ＶＲ２内に位置する数を判定する（ステップＳ１０４）。そして、運転者認識判定部３５０は、視野範囲ＶＲ２内に位置する判定点の数が、射影した先行車両Ｖ２の位置における判定点の数の基準を満足するか否かを判定する（ステップＳ１０５）。つまり、運転者認識判定部３５０は、先行車両Ｖ２が基準を満足する物標であるか否かを判定する。

ステップＳ１０５において、先行車両Ｖ２が基準を満足する物標ではないと判定した場合、運転者認識判定部３５０は、先行車両Ｖ２が運転者ＤＲの認識状態が「未認識状態」であるとして、先行車両Ｖ２が存在する方向を第１の態様で報知させるための報知指示を、報知装置４００に出力する（ステップＳ１０６）。これにより、報知装置４００は、先行車両Ｖ２が存在する方向を、第１の態様で運転者ＤＲに報知する。そして、運転者認識判定部３５０は、視覚センサ１００が撮像した現在の画像ＩＭに対する本フローチャートの処理を終了する。

なお、報知装置４００における第１の態様による報知方法としては、例えば、複数のスピーカによって先行車両Ｖ２が存在する方向に音像を定位させる方法であってもよい。また、報知装置４００における第１の態様による報知方法としては、例えば、ヘッドアップディスプレイ装置によって先行車両Ｖ２が存在する方向を示す矢印や先行車両Ｖ２の位置を示す情報（例えば、物標領域ＢＢ）をフロント窓ガラス１０に表示させる方法であってもよい。また、報知装置４００における第１の態様による報知方法としては、音像の定位とフロント窓ガラス１０への表示とを合わせた方法であってもよい。なお、上述した第１の態様による報知方法はあくまで一例であり、第１の態様による報知方法は、報知装置４００の構成に応じて適宜変更されてもよい。

一方、ステップＳ１０５において、先行車両Ｖ２が基準を満足する物標であると判定した場合、運転者認識判定部３５０は、基準を満足する時間が第１所定時間（例えば、２００［ｍｓ］程度）を超えているか否かを判定する（ステップＳ１０７）。ステップＳ１０７において、基準を満足する時間が第１所定時間を超えていないと判定した場合、運転者認識判定部３５０は、処理をステップＳ１０６に戻す。つまり、運転者認識判定部３５０は、先行車両Ｖ２が運転者ＤＲの認識状態が「未認識状態」であるとして、報知装置４００に第１の態様で運転者ＤＲに報知させる。

一方、ステップＳ１０７において、基準を満足する時間が第１所定時間を超えていると判定した場合、運転者認識判定部３５０は、基準を満足する時間が第２所定時間（例えば、６００［ｍｓ］程度）を超えているか否かを判定する（ステップＳ１０８）。ステップＳ１０８において、基準を満足する時間が第２所定時間を超えていないと判定した場合、運転者認識判定部３５０は、先行車両Ｖ２が運転者ＤＲの認識状態が「部分的な認識状態」であるとして、先行車両Ｖ２が存在する方向を第２の態様で報知させるための報知指示を、報知装置４００に出力する（ステップＳ１０９）。これにより、報知装置４００は、先行車両Ｖ２が存在する方向を、第２の態様で運転者ＤＲに報知する。そして、運転者認識判定部３５０は、視覚センサ１００が撮像した現在の画像ＩＭに対する本フローチャートの処理を終了する。

なお、報知装置４００における第２の態様による報知方法は、第１の態様による報知方法よりは報知の度合いが低い方法である。例えば、第１の態様による報知方法が音像の定位とフロント窓ガラス１０への表示とを合わせた方法である場合、第２の態様による報知方法としては、音像の定位を行わず、フロント窓ガラス１０への表示のみを行う方法であってもよい。このとき、フロント窓ガラス１０に表示させる情報は、先行車両Ｖ２が存在する方向を示す矢印、または先行車両Ｖ２の位置を示す情報のいずれか一方であってもよい。なお、上述した第２の態様による報知方法はあくまで一例であり、第２の態様による報知方法は、報知装置４００の構成や第１の態様による報知方法との関係に応じて適宜変更されてもよい。

一方、ステップＳ１０８において、基準を満足する時間が第２所定時間を超えていると判定した場合、運転者認識判定部３５０は、先行車両Ｖ２が運転者ＤＲの認識状態が「十分な認識状態」であるとして、視覚センサ１００が撮像した現在の画像ＩＭに対する本フローチャートの処理を終了する。

運転者認識判定部３５０は、このような処理（より具体的には、ステップＳ１０４～ステップＳ１０９の処理）によって、視覚センサ１００が撮像した現在の画像ＩＭの画像データに含まれる全ての物標に対する運転者ＤＲの認識状態を判定する。なお、運転者認識判定部３５０は、それぞれの物標に対する運転者ＤＲの認識状態の判定結果を、所定時間（例えば、３～５［ｓ］程度）の間保持する。これは、視覚センサ１００が撮像したそれぞれの画像ＩＭごとの判定結果では、運転者ＤＲの視野、つまり視野範囲ＶＲに入っている同じ物標に対する判定結果が常に「未認識状態」となり、報知装置４００による報知が煩雑になるからである。運転者ＤＲの認識状態の判定結果を保持することにより、視覚センサ１００が撮像した画像ＩＭの画像データに継続的に写され、運転者ＤＲの視野に入っている同じ物標は、「未認識状態」→「部分的な認識状態」→「十分な認識状態」というように、運転者ＤＲの認識状態が遷移していく。そして、運転者ＤＲによる認識状態が「十分な認識状態」となった物標に対しては、報知装置４００による報知がされなくなる。例えば、時間の経過に伴って歩行者が併走車両の影に隠れて基準を満足しない状態になってしまったが、その後に併走車両の影から再び表れて基準を満足することができるようになった場合、運転者認識判定部３５０は、保持している判定結果に基づいて、歩行者を基準を満足する物標として再度判定することができる。これにより、歩行者に対する報知装置４００による再度の報知がされなくなる。

ただし、運転者認識判定部３５０は、運転者ＤＲの認識状態の判定結果を保持している時間が所定時間を経過した後は、保持している判定結果をクリア（破棄）する。そして、運転者認識判定部３５０は、同じ物標に対する運転者ＤＲの認識状態の判定を再度行うようにする。これは、例え運転者ＤＲが自車両Ｍの走行を継続する際にリスクとなる可能性がある物標として十分に認識した「十分な認識状態」であっても、自車両Ｍが走行を継続している間は、周囲に存在するそれぞれの物標の状況は変化するため、定常的に物標を認識（変化を監視）する必要があるからである。

上記に述べたとおり、認識装置３００では、視覚センサ１００により出力された画像データを仮想的なスクリーンに射影し、画像平面上に画像データ内に写された物標の物標領域ＢＢと、視線検知装置２００により出力された視線情報を参照して認識した視野範囲ＶＲとを射影して、自車両Ｍの周囲に存在する物標に対する運転者ＤＲの認識状態を判定する。また、認識装置３００では、運転者ＤＲが自車両Ｍの走行を継続する際にリスクとなる可能性がある未認識状態または認識度合いが低い部分的な認識状態の物標が存在する方向を、報知装置４００により運転者ＤＲに報知させる。これにより、認識装置３００を備える認識システム１が搭載される自車両Ｍでは、運転者ＤＲが、報知された物標に対応する自車両Ｍの操作（運転）やその準備を事前に行うことができ、より安全に走行を継続することができる。

なお、認識装置３００が備える運転者認識判定部３５０は、視覚センサ１００が撮像した複数フレームの画像ＩＭの画像データに基づいて、それぞれの物標に対する運転者ＤＲの認識状態を判定する。このため、運転者認識判定部３５０は、例えば、自車両Ｍが走行している走行車線に隣接する走行車線の後方から自車両Ｍを追い抜いてきた他車両など、視覚センサ１００が撮像した現在の画像ＩＭに新たに撮像されたが、運転者ＤＲはすでに十分な認識状態（以下、既認識状態）であると考えることができる他車両に関しては、運転者ＤＲに認識させるための報知装置４００による報知をしないようにすることもできる。

［既認識状態の判定方法の一例］
次に、認識システム１において運転者認識判定部３５０が、運転者ＤＲがすでに十分な認識状態であると考えることができる物標に対する認識状態の判定方法について説明する。図９および図１０は、運転者認識判定部３５０が運転者ＤＲによる認識がされている物標を判定する一例のシーンを示す図である。図９および図１０には、自車両Ｍの前方のフロント窓ガラス１０、サイド窓ガラス１１Ｒ、サイド窓ガラス１１Ｌ、サイドミラー１３Ｒ、サイドミラー１３Ｌ、フロントピラーＡＲ、およびフロントピラーＡＬを模式的に示し、運転者ＤＲにおけるそれぞれの物標に対する認識状態を判定している状態を示している。なお、図９に示したシーンが時間的に前の第１シーンであり、図１０に示したシーンが時間的に後の第２シーンである。

以下の説明においては、視覚センサ１００が、図９および図１０に示した自車両Ｍの左側のサイド窓ガラス１１Ｌ～右側のサイド窓ガラス１１Ｒまでの間の画像と、サイドミラー１３Ｌおよびサイドミラー１３Ｒに対応する画像とを撮像するものとする。また、視線検知装置２００が、図９および図１０に示したサイドミラー１３Ｌ～サイドミラー１３Ｒまでの間の運転者ＤＲの視線の方向を検知するものとする。そして、自車両Ｍが走行している走行車線に隣接する走行車線（左側車線）の後方を走行している自動二輪車が、自車両Ｍを追い抜いてきたものとする。

まず、図９を用いて、時間的に前の第１シーンにおける運転者ＤＲの認識状態について説明する。運転者ＤＲは、併走車両Ｖ１、先行車両Ｖ２、対向車両Ｖ３、および歩行者Ｈのそれぞれの物標を認識している状態である。なお、第１シーンにおいてそれぞれの物標を認識する際の物標領域ＢＢと視野範囲ＶＲとの関係に関する再度の説明は省略する。第１シーンにおいて、運転者ＤＲがサイドミラー１３Ｌにも視線を向けると、自動二輪車Ｃが左側車線の後方から自車両Ｍに近づいていることを認識することができる。このため、運転者認識判定部３５０は、第１シーンの画像平面上に、視野認識部３３０によって認識された、サイドミラー１３Ｌに向けた運転者ＤＲの視野範囲ＶＲ５を射影する。なお、物標領域設定部３１０は、サイドミラー１３Ｌの範囲の画像では、自動二輪車Ｃの領域が小さいため、自動二輪車Ｃに対応する物標領域ＢＢを設定できないことも考えられる。このため、第１シーンでは、運転者認識判定部３５０が、自動二輪車Ｃに対応する物標領域ＢＢを画像平面上に射影していない場合を示している。

続いて、図１０を用いて、第１シーンから時間が経過した後の第２シーンにおける運転者ＤＲの認識状態について説明する。第１シーンから第２シーンに遷移した場合、自車両Ｍと併走車両Ｖ１および対向車両Ｖ３との位置関係が変化する。これに伴って、運転者ＤＲにおけるそれぞれの物標の認識状態も変化する。第２シーンにおいて運転者ＤＲは、先行車両Ｖ２のみを継続して認識している。このとき、第２シーンのように、左側車線を走行している自動二輪車が自車両Ｍを追い抜いてくると、運転者認識判定部３５０は、第２シーンの画像平面上に、物標領域設定部３１０が新たに設定した物標領域ＢＢ６と、視野認識部３３０が新たに認識した視野範囲ＶＲ６とのそれぞれを射影する。また、運転者認識判定部３５０は、物標領域ＢＢ６に対して中心点ＣＰ６と、最近接点ＮＰ６と、最遠隔点ＦＰ６とのそれぞれの判定点を設定する。そして、運転者認識判定部３５０は、物標領域ＢＢ６に対して設定したそれぞれの判定点が視野範囲ＶＲ６内に位置するか否かを判定して、自動二輪車Ｃに対する運転者ＤＲの認識状態を判定する。

このとき、運転者認識判定部３５０は、第２シーンのみから自動二輪車Ｃに対する運転者ＤＲの認識状態を判定すると、自動二輪車Ｃに対応する物標領域ＢＢ６に対して設定した中心点ＣＰ６が視野範囲ＶＲ６内に位置する、つまり、１つの判定点が視野範囲ＶＲ６内に位置すると判定する。なお、物標領域ＢＢ６は、運転者ＤＲに近い（自車両Ｍに近い）位置に存在している物標領域ＢＢであるため、１つの判定点（中心点ＣＰ６）のみ視野範囲ＶＲ６内に位置している場合でも、運転者認識判定部３５０は、判定点の数の基準を満足する物標として判定する。なお、視野範囲ＶＲ６内にいずれの判定点が位置していない場合、運転者認識判定部３５０は、仮想視野範囲ＶＶＲ１と同様の考え方に基づいて視野範囲ＶＲ６の範囲を仮想的に広げた仮想視野範囲ＶＶＲ６を設定して、視野範囲ＶＲ６内に位置する物標領域ＢＢ６の判定点を判定するようにしてもよい。

ここで、自動二輪車Ｃは、第２シーンにおいて視覚センサ１００によって新たに撮像された物標である。このため、運転者認識判定部３５０は、視野範囲ＶＲ６内に判定点の数の基準数以上の判定点が位置している場合でも、少なくとも「十分な認識状態」であるとは自動二輪車Ｃを判定しない。このため、運転者認識判定部３５０は、自動二輪車Ｃが存在する方向を報知させるための報知指示を報知装置４００に出力する。これにより、報知装置４００は、自動二輪車Ｃが存在する方向を運転者ＤＲに報知することになる。

しかし、第１シーンにおいて説明したように、運転者ＤＲはサイドミラー１３Ｌにも視線を向けており、すでに自動二輪車Ｃを十分に認識している状態であると考えることができる。このため、運転者認識判定部３５０は、運転者ＤＲにおける物標の認識状態を所定時間だけ遡って判定する。これにより、運転者認識判定部３５０は、自動二輪車Ｃが存在する方向を報知させるための報知指示を、報知装置４００に出力しないようにすることもできる。これにより、運転者認識判定部３５０は、すでに運転者ＤＲの認識状態が十分な認識状態である物標に対して不必要な報知をしてしまうのを回避することができる。

なお、運転者認識判定部３５０が運転者ＤＲの認識状態を遡って判定する所定時間は、判定結果を保持する所定時間（例えば、３～５［ｓ］程度）以下の時間である。これは、運転者ＤＲが自車両Ｍの走行を継続する際にリスクとなる可能性がある物標として自動二輪車Ｃを十分に認識した「十分な認識状態」であっても、上述したようにそれぞれの物標の状況は変化するため、定常的に物標を認識（変化を監視）する必要があることに変わりはないからである。

上記に述べたとおり、認識装置３００では、すでに十分な認識状態であると考えることができる物標に対する運転者ＤＲの認識状態の判定を遡って行うことができる。これにより、認識装置３００を備える認識システム１が搭載される自車両Ｍでは、すでに運転者ＤＲの認識状態が十分な認識状態である物標が存在する方向を不必要に報知しないようにすることができる。

なお、既認識状態の判定方法の一例において、図９に示した第１シーンでは、サイドミラー１３Ｌの範囲の画像に基づいて物標領域設定部３１０が自動二輪車Ｃに対応する物標領域ＢＢを設定できないものとして説明した。しかし、物標領域設定部３１０は、サイドミラー１３Ｌの範囲の画像に基づいて自動二輪車Ｃのような小さい領域の物標に対応する物標領域ＢＢを設定することができる場合もある。この場合、運転者認識判定部３５０は、第１シーンにおいて射影した物標領域ＢＢ５と、第２シーンにおいて射影した物標領域ＢＢ６とが、同じ自動二輪車Ｃに対応する物標領域ＢＢであると判定することができた場合には、運転者ＤＲにおける自動二輪車Ｃの認識状態を所定時間だけ遡らなくても判定することができる。これにより、運転者認識判定部３５０は、同様に、自動二輪車Ｃが存在する方向を報知させるための報知指示を報知装置４００に出力せず、すでに運転者ＤＲの認識状態が十分な認識状態である自動二輪車Ｃに対する不必要な報知を回避することができる。

また、本実施形態では、認識装置３００が画像データを射影する仮想的なスクリーンが、フロント窓ガラス１０の面に沿って存在するものとして説明した。しかし、仮想的なスクリーンが存在する位置は、フロント窓ガラス１０の面に沿った位置に限定されない。例えば、仮想的なスクリーンが、自車両Ｍの車長方向の先端の位置に存在するものとしてもよい。

また、本実施形態では、視覚センサ１００が自車両Ｍの周囲を２次元空間として撮像した画像の画像データに基づいて、認識装置３００が運転者ＤＲにおける物標の認識状態を判定する場合について説明した。しかし、認識装置３００が運転者ＤＲにおける物標の認識状態の判定に用いる画像は、自車両Ｍの周囲を３次元空間として撮像した画像の画像データであってもよい。この場合、認識装置３００は、画像平面上ではなく、画像の３次元空間内で運転者ＤＲにおける物標の認識状態を判定することができる。しかしながら、この場合における認識装置３００の処理では、自車両Ｍから物標までの距離の情報を利用することができる以外は、上述した２次元空間の画像データに基づいて運転者ＤＲにおける物標の認識状態を判定する処理と同様に考えることができる。従って、認識装置３００が３次元空間の画像データに基づいて運転者ＤＲにおける物標の認識状態を判定する処理に関する説明は省略する。

以上説明した実施形態の認識装置３００によれば、視線検知装置２００の検知結果を参照し、自車両Ｍの運転者ＤＲの視点ＶＰから視線方向（視線ベクトルＧＶの方向：奥行き方向）に延出し、視点ＶＰから遠くなるのにつれて所定角度（頂角ＡＡ）で広がる範囲を視野範囲ＶＲとして認識する視野認識部３３０と、自車両Ｍに配置された視覚センサ１００により自車両Ｍの周囲が撮像された画像データに基づいて、画像データ内に写された自車両Ｍの周囲の環境に存在する物標（実施形態では、他車両や歩行者）を認識し、認識した物標の領域（物標領域ＢＢ）を所定形状で設定する物標領域設定部３１０と、物標の領域（物標領域ＢＢ）において複数の判定点（中心点ＣＰ、最近接点ＮＰ、最遠隔点ＦＰ）を設定し、複数の判定点と視野範囲ＶＲとの重複度合いに基づいて、運転者ＤＲが物標を認識しているか否かを判定する運転者認識判定部３５０と、を備えることにより、自車両Ｍの走行を継続する際にリスクとなる可能性がある物標の存在を、運転者ＤＲに報知することができる。これにより、認識装置３００を備える認識システム１が搭載される自車両Ｍでは、運転者ＤＲが、報知された物標に対応する自車両Ｍの操作（運転）やその準備を事前に行うことができ、より安全に走行を継続することができる。

上記説明した実施形態は、以下のように表現することができる。
ハードウェアプロセッサと、
プログラムを記憶した記憶装置と、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを読み出して実行することにより、
視線検知装置の検知結果を参照し、移動体の運転者の視点から視線方向に延出し、前記視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識し、
前記移動体に配置された視覚センサにより前記移動体の周囲が撮像された画像データに基づいて、前記画像データ内に写された前記移動体の周囲の環境に存在する物標を認識し、前記認識した物標の領域を所定形状で設定し、
前記物標の領域において複数の判定点を設定し、前記複数の判定点と前記視野範囲との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定する、
ように構成されている、認識装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１・・・認識システム
１０・・・フロント窓ガラス
１１Ｒ，１１Ｌ・・・サイド窓ガラス
１２・・・ルームミラー
１３Ｒ，１３Ｌ・・・サイドミラー
１００・・・視覚センサ
２００・・・視線検知装置
２１０・・・視線検知部
２１０－１・・・第１視線検知部
２１０－２・・・第２視線検知部
３００・・・認識装置
３１０・・・物標領域設定部
３３０・・・視野認識部
３５０・・・運転者認識判定部
４００・・・報知装置
Ｍ・・・自車両
ＤＲ・・・運転者
ＳＷ・・・ステアリングホイール
ＤＳ・・・運転席
ＡＳ・・・助手席
ＡＲ，ＡＬ・・・フロントピラー
ＤＰ・・・ディスプレイ
ＢＢ，ＢＢ１，ＢＢ２，ＢＢ３，ＢＢ４，ＢＢ６・・・物標領域
ＣＰ，ＣＰ１，ＣＰ２，ＣＰ３，ＣＰ４，ＣＰ６・・・中心点
ＮＰ，ＮＰ１，ＮＰ２，ＮＰ３，ＮＰ４，ＮＰ６・・・最近接点
ＦＰ，ＦＰ１，ＦＰ２，ＦＰ３，ＦＰ４，ＦＰ６・・・最遠隔点
ＶＲ，ＶＲ１，ＶＲ２，ＶＲ２－２，ＶＲ３，ＶＲ４，ＶＲ５，ＶＲ６・・・視野範囲
ＡＰ，ＡＰ１，ＡＰ２，ＡＰ３，ＡＰ４，ＡＰ５，ＡＰ６・・・注視点
ＶＶＲ１，ＶＶＲ６・・・仮想視野範囲
Ｖ１，Ｖ２，Ｖ３・・・他車両（物標）
Ｃ・・・自動二輪車（物標）
Ｈ・・・歩行者（物標）
ＶＰ・・・視点
ＧＶ・・・視線ベクトル
ＡＡ・・・頂角
ＧＲ・・・視線ビーム範囲
ＩＭ・・・画像

Claims (12)

1. 視線検知装置の検知結果を参照し、移動体の運転者の視点から視線方向に延出し、前記視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識する視野認識部と、
   前記移動体に配置された視覚センサにより前記移動体の周囲が撮像された画像データに基づいて、前記画像データ内に写された前記移動体の周囲の環境に存在する物標を認識し、前記認識した物標の領域を所定形状で設定する物標領域設定部と、
   前記物標の領域において複数の判定点を設定し、前記物標の属性に基づいて変更した前記複数の判定点と前記視野範囲との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定する運転者認識判定部と、
   を備え、
   前記運転者認識判定部は、前記物標の属性に基づいて、前記運転者が前記物標を認識していると判定する際の基準となる、前記視野範囲内に位置する前記判定点の数を変更する、
   認識装置。
2. 前記複数の判定点は、少なくとも、前記物標の領域の中心点と、前記視線方向上の直線または点と前記物標の領域との最近接点および最遠隔点とを含む、
   請求項１に記載の認識装置。
3. 前記所定形状は、前記物標を中心とした直方体形状である、
   請求項２に記載の認識装置。
4. 前記運転者認識判定部は、前記画像データが表す画像平面上に前記視野範囲を射影し、射影した前記視野範囲と前記複数の判定点との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定する、
   請求項３に記載の認識装置。
5. 前記運転者認識判定部は、前記基準となる数の前記判定点が所定時間を超えて前記視野範囲内に位置している場合に、当該判定点を含む前記物標を前記運転者が認識している状態であると判定する、
   請求項４に記載の認識装置。
6. 前記所定時間は、前記基準となる数の前記判定点が所定期間内で前記視野範囲内に位置している複数の時間を積算した時間である、
   請求項５に記載の認識装置。
7. 前記運転者認識判定部は、前記物標の属性に基づいて、前記所定時間を変更する、
   請求項５または請求項６に記載の認識装置。
8. 前記運転者認識判定部は、前記判定点が前記視野範囲内に位置している時間の長さに応じて、前記運転者が前記物標を認識している状態が、前記物標を部分的に認識している状態であるか、前記物標を認識している状態であるかを判定し、
   前記運転者が認識をしていないと判定した前記物標の存在を、第１の態様で報知装置に報知させ、
   前記運転者による認識が前記部分的に認識している状態であると判定した前記物標の存在を、第２の態様で前記報知装置に報知させる、
   請求項７に記載の認識装置。
9. 前記運転者認識判定部は、存在を報知した前記物標に対する前記運転者による認識が前記認識している状態となった場合に、前記報知装置に当該前記物標に関する報知を終了させる、
   請求項８に記載の認識装置。
10. 前記運転者認識判定部は、それぞれの前記物標に対する前記運転者の認識の状態を付与し、前記付与される状態は所定時間記録されるとともに、前記視野範囲に前記物標が複数存在する場合に、前記認識状態が付与された前記物標が認識中の対象であると判定する、
    請求項１から請求項９のうちいずれか１項に記載の認識装置。
11. コンピュータが、
    視線検知装置の検知結果を参照し、移動体の運転者の視点から視線方向に延出し、前記視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識し、
    前記移動体に配置された視覚センサにより前記移動体の周囲が撮像された画像データに基づいて、前記画像データ内に写された前記移動体の周囲の環境に存在する物標を認識し、前記認識した物標の領域を所定形状で設定し、
    前記物標の領域において複数の判定点を設定し、前記物標の属性に基づいて変更した前記複数の判定点と前記視野範囲との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定し、
    前記物標の属性に基づいて、前記運転者が前記物標を認識していると判定する際の基準となる、前記視野範囲内に位置する前記判定点の数を変更する、
    認識方法。
12. コンピュータに、
    視線検知装置の検知結果を参照して、移動体の運転者の視点から視線方向に延出し、前記視点から遠くなるのにつれて所定角度で広がる範囲を視野範囲として認識させ、
    前記移動体に配置された視覚センサにより前記移動体の周囲が撮像された画像データに基づいて、前記画像データ内に写された前記移動体の周囲の環境に存在する物標を認識させ、前記認識した物標の領域を所定形状で設定させ、
    前記物標の領域において複数の判定点を設定させ、前記物標の属性に基づいて変更させた前記複数の判定点と前記視野範囲との重複度合いに基づいて、前記運転者が前記物標を認識しているか否かを判定させ、
    前記物標の属性に基づいて、前記運転者が前記物標を認識していると判定させる際の基準となる、前記視野範囲内に位置する前記判定点の数を変更させる、
    プログラム。

Images