JP2020144731A - 見落し検知装置、見落し検知方法、およびプログラム - Google Patents

Abstract

【課題】運転者の見落としを適切に検知する見落とし検知装置を提供する。【解決手段】見落し検知装置１は、運転者を撮影する車内カメラ１２と、車内カメラにて撮影した映像に基づいて運転者の視線を検知する視線検知部１３と、車両周辺を撮影する可視光カメラ２１にて撮影された映像から物体を認識したときの確信度に基づいて、物体の認知に関する有効領域の大きさを設定する有効領域サイズ設定部１１と、視線と有効領域サイズ設定部にて設定された有効領域の大きさとに基づいて有効領域を設定し、有効領域の中に物体が入っているか否かに基づいて、運転者が物体を認知しているか否かを判定する判定部１４とを備える。【選択図】図１

Description

本発明は、見落し検知装置、見落し検知方法、およびプログラムに関する。

従来から、運転者を支援する様々な運転支援システムが研究・開発されている。特許文献１は、運転者が視認すべき視認対象物を確実に検出する視覚認知支援に関する発明を開示している。この文献に記載された発明では、カメラによって取得された周囲状況を示す画像に基づいて、運転者が見るべき視認対象物が決定される。そして、アイカメラによって検出される運転者の視線方向にはない視認対象物を、運転者が見落としている視認対象物と判定し、この見落としている視認対象物の方向へ運転者の視線を誘導する。

特開２０１７−１１１６４９号公報

上記した従来技術では、運転者が視認すべき視認対象物のほうを見ていないときに見落としと判定しているが、運転者の視線方向が視認対象物の方向を向いている場合にも見落としていることはある。本発明者らは、このような見落しの一つの要因として、視認対象物を認知しづらい状況があると考え、本発明をするに至った。本発明は、運転者の見落としを適切に検知する見落とし検知装置を提供することを目的とする。

本発明の見落し検知装置は、運転者を撮影するカメラと、前記カメラにて撮影した映像に基づいて運転者の視線を検知する視線検知部と、車両周辺を撮影する可視光カメラにて撮影された映像から物体を認識したときの確信度に基づいて、物体の認知に関する有効領域の大きさを設定する有効領域サイズ設定部と、前記視線と前記有効領域サイズ設定部にて設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に前記物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定する判定部とを備える。

本発明では、可視光カメラの映像に基づく物体認識の確信度に基づいて、物体の認知に関する有効領域の大きさを設定する。可視光カメラにて撮影した映像に基づく物体認識の精度は、人間が物体を認知できる精度に近いので、物体認識の確信度に基づいて設定された大きさの有効領域に物体が入っているか否かを判定することで、運転者が物体を認知しているか見落としているかを適切に検知できる。

本発明の見落し検知装置は、運転者を撮影するカメラと、前記カメラにて撮影した映像に基づいて運転者の視線を検知する視線検知部と、車両の外部環境に基づいて、物体の認知に関する有効領域の大きさを設定する有効領域サイズ設定部と、前記視線と前記有効領域サイズ設定部にて設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に、周辺監視センサにて検知された物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定する判定部とを備える。

このように車両の外部環境に基づいて物体の認知に関する有効領域の大きさを設定することにより、外部環境に起因して変わる物体の認知のしやすさを反映した有効領域を設定し、見落しの検知を適切に行うことができる。

本発明の見落し検知装置において、前記有効領域サイズ設定部は、現在時刻、照度センサにより検知した照度、車両の速度、ヘッドライトの点灯状態、フォグランプの点灯状態、ワイパーの動作状態、走行位置情報の少なくとも１つに基づいて外部環境を推定し、推定した外部環境に基づいて前記有効領域の大きさを設定してもよい。

この構成により、現在時刻によって日中か夜間かを判定し、例えば、日中は物体を認知しやすいので有効領域を大きく、夜間は物体を認知しにくいので有効領域を小さく設定することができる。また、照度センサによって検知した照度を用いることで、外部の明るさの状況を有効領域の大きさに反映できる。さらに、ヘッドライトやフォグランプの点灯状態、ワイパーなどの動作状態や車両の速度は、外部環境に反応して行われた運転者の操作であると考えられるので、これらの状態から外部環境を推定できる。さらに、走行位置情報に基づいて地図から外部環境を推定することも可能である。

本発明の見落し検知装置において、前記判定部は、前記物体が前記有効領域に入っている時間が所定の閾値以上である場合に運転者が前記物体を認知していると判定し、前記所定の閾値未満の場合に前記物体を見落していると判定してもよい。

運転者の視線の有効領域の中に物体が入っている場合であってもその時間があまりに短いと、物体を認知することができない。本発明によれば、物体が有効領域に入っている時間が所定の閾値以上である場合に物体を認知していると判定するので、有効領域内にある物体の見落しをも検知することができる。

本発明の見落し検知装置において、前記有効領域サイズ設定部は、運転者の年齢に基づいて前記有効領域の大きさを設定してもよい。

物体を認知することができる有効領域は年齢によって狭くなるので、有効領域の大きさを運転者の年齢に基づいて設定することにより、年齢に応じた適切な見落し検知を行える。

本発明の見落し検知装置において、前記有効領域サイズ設定部は、前記物体が止まっているときの方が前記物体が移動しているときよりも有効領域を小さく設定してもよい。

止まっている物体は移動している物体よりも認知しにくいが、本発明によれば、止まっている物体については有効領域を小さく設定することにより、見落しの検知精度を高く保持することができる。

本発明の見落し検知装置において、前記有効領域サイズ設定部は、車両周辺に物体が多いほど前記有効領域を小さく設定してもよい。

車両周辺に物体が多いと物体を認知しづらくなるが、本発明によれば、車両周辺の物体が多いほど有効領域を小さく設定することにより、見落しの検知精度を高く保持することができる。

本発明の見落し検知方法は、車両周辺の物体の運転者による見落しを検知する方法であって、運転者を撮影するカメラにて撮影した映像を取得するステップと、前記映像に基づいて運転者の視線を検知するステップと、車両周辺を撮影する可視光カメラにて撮影された映像から物体を認識したときの確信度に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に前記物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップとを備える。

本発明の見落し検知方法は、車両周辺の物体の運転者による見落しを検知する方法であって、運転者を撮影するカメラにて撮影した映像を取得するステップと、前記映像に基づいて運転者の視線を検知するステップと、車両の外部環境に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に、周辺監視センサにて検知された物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップとを備える。

本発明のプログラムは、車両周辺の物体の運転者による見落しを検知するためのプログラムであって、コンピュータに、運転者を撮影するカメラにて撮影した映像を取得するステップと、前記映像に基づいて運転者の視線を検知するステップと、車両周辺を撮影する可視光カメラにて撮影された映像から物体を認識したときの確信度に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に前記物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップとを実行させる。

本発明のプログラムは、車両周辺の物体の運転者による見落しを検知するためのプログラムであって、コンピュータに、運転者を撮影するカメラにて撮影した映像を取得するステップと、前記映像に基づいて運転者の視線を検知するステップと、車両の外部環境に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に、周辺監視センサにて検知された物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップとを実行させる。

本発明によれば、物体の認知のしやすさを考慮して、運転者の見落しを適切に検知することができる。

第１の実施の形態の見落し検知装置の構成を示す図である。 第１の実施の形態の見落し検知装置の動作を示すフローチャートである。 第２の実施の形態の見落し検知装置の構成を示す図である。 外部環境を検知する機器と各機器で検知できる環境の情報を示す図である。 第２の実施の形態の見落し検知装置の動作を示すフローチャートである。

以下、本発明の実施の形態の見落し検知装置について図面を参照して説明する。
（第１の実施の形態）
図１は、第１の実施の形態の見落し検知装置１の構成を示す図である。第１の実施の形態の見落し検知装置１は、通信部１０を備えており、車両周辺にある物体を検知するミリ波レーダ２０、および、車両周辺を撮影する可視光カメラ２１と通信を行う。ミリ波レーダ２０は、雨や霧などの影響を受けにくく、また、夜間でも物体を検知することができる。可視光カメラ２１は、広い視野を有し、歩行者や先行者を認識することができる。ミリ波レーダ２０および可視光カメラ２１は、車両の周辺の状況をセンシングする周辺監視センサである。

なお、本実施の形態では、車両周辺の物体を検出するのにミリ波レーダを用いる例を挙げたが、車両周辺にある他の車両や歩行者を検出する方法として、Ｖ２Ｘによる通信により周辺にある物体の情報を取得する方法を採用してもよい。Ｖ２Ｘは、車両（Ｖｅｈｉｃｌｅ）とモノとの通信の総称であり、車両とネットワーク（Ｖ２Ｎ）、車両と車両（車車間通信：Ｖ２Ｖ）、車両とインフラ（路車間通信：Ｖ２Ｉ）、車両とスマートホンを持った歩行者（Ｖ２Ｐ）を含む。

見落し検知装置１は、運転者を撮影する車内カメラ１２と、車内カメラ１２にて撮影した映像に基づいて運転者の視線を検知する視線検知部１３とを備えている。車内カメラ１２は、運転者の顔に近赤外線を照射し、撮影を行うカメラである。近赤外線を用いているので、夜間でも運転者を撮影することができる。視線検知部１３は、運転者の顔の動きと眼球の動きに基づいて運転者の視線が向いている方向を検知する。

また、見落し検知装置１は、物体の認知に関する有効領域の大きさを設定する有効領域サイズ設定部１１を備えている。ここで、「有効領域」について説明する。人間が物体を認知できるのは、人間の視線が認知対象の物体がある方向と一致する方向だけでなく、認知対象の物体が視線の方向に対して一定の幅を持った領域に入っていれば、その物体を認知することが可能である。本明細書では、このような物体の認知に関する領域を有効領域としている。

有効領域の大きさは常に一定というわけではなく、例えば、物体の色や輝度等と、背景の色や輝度等との関係によって変化する。例えば、晴れた日の昼間のように周囲が明るい場合には、物体を認知しやすい。このような状況では、周辺視で物体を認知することが可能であり、有効領域は大きい。これに対し、周囲が薄暗くなる夕方や雨天だと物体を認知しにくく、物体を直視すれば認知することができるものの、周辺視で物体を認知することは困難なので、有効領域は小さい。

有効領域サイズ設定部１１は、可視光カメラ２１にて撮影した映像に基づき物体認識をしたときの確信度に基づいて有効領域の大きさを設定する機能を有する。「確信度」とは、物体認識を行ったときに、その物体認識の結果の確からしさを示す度合いである。確信度は、例えば、歩行者などの物体とその背景との間のコントラスト比、明度差または色差を使って計算してもよい。有効領域は、例えば、視線方向を中心として周囲２０度の範囲、周囲３度の範囲、０の３段階で設定することができる。２０度は周辺視で物体を認知可能な状態、３度は直視すれば物体を認知可能な状態、０は見えていない状態である。

有効領域サイズ設定部１１は、可視光の映像に基づく物体認識の確信度が所定の閾値以上の場合には有効領域を２０度とし、確信度が所定の閾値未満の場合には有効領域を３度とし、物体認識が行えなかった場合には、有効領域を０とする。なお、物体認識が行えなかったことがわかるのは、ミリ波レーダ２０によって物体が存在していることがわかっているからである。つまり、ミリ波レーダ２０により物体が検知されているにもかかわらず、可視光カメラ２１の映像から物体を認識できない場合には、物体が存在しないのではなく、可視光の映像から物体が認識できなかったからと判定できる。

なお、本実施の形態においては、有効領域の大きさは、物体認識の確信度によって決まるので、それぞれの物体について有効領域の大きさが異なることがあり得る。例えば、夜間であっても、光っている物体については有効領域が大きく、黒い物体は有効領域が小さいか、または０となる。

判定部１４は、視線に基づいて有効領域を設定し、設定された有効領域の中に物体が入っているか否かに基づいて、運転者がその物体を認知しているか、見落としているかを判定する。有効領域は、運転者の視線を中心として、有効領域サイズ設定部１１で設定された大きさの領域（例えば、２０度の範囲や３度の範囲）である。

判定部１４は、物体が有効領域の中に所定時間以上入っているときに物体を認知したと判定し、所定時間に満たないときには物体を認知していない、つまり物体を見落としていると判定する。このように、物体が有効領域内に所定時間以上入っていることを条件としているのは、人間が物体を認知するのには一定の時間がかかるからである。

出力部１５は、判定部１４による見落しの判定結果を、例えば、警報装置などの他の機器に対して出力する機能を有する。これにより、警報装置などの他の機器は、見落しに応じた制御を行うことができる。例えば、警報装置であれば、運転者に対して注意喚起を行うことができる。なお、出力部１５は、見落しがあったと判定された場合のみ出力をし、見落しがなかった場合には出力しないこととしてもよい。

以上、本実施の形態の見落し検知装置１の構成について説明したが、上記した見落し検知装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、通信インターフェース等を備えたコンピュータである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した見落し検知装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

図２は、第１の実施の形態の見落し検知装置１の動作を示すフローチャートである。見落し検知装置１は、ミリ波レーダ２０により車両周辺にある物体を検知する（Ｓ１０）。また、見落し検知装置１は、可視光カメラ２１により車両周辺を撮影し（Ｓ１１）、撮影で得られた映像を用いて物体認識を行う（Ｓ１２）。このとき、見落し検知装置１は、物体認識の確信度を算出する（Ｓ１２）。続いて、見落し検知装置１は、物体認識の確信度に基づいて有効領域の大きさを設定する（Ｓ１３）。物体認識の確信度が所定の閾値以上の場合には有効領域の大きさを２０度の範囲とし、物体認識の確信度が所定の閾値未満の場合には有効領域の大きさを３度の範囲とし、物体認識が行えなかった場合には有効領域を０とする。物体認識の確信度は、車両周辺にある物体毎に求まり、有効領域の大きさは物体毎に定まる。

見落し検知装置１は、車内カメラ１２にて運転者を撮影した映像から運転者の視線を検知する（Ｓ１４）。続いて、見落し検知装置１は、ミリ波レーダ２０にて検知された物体を運転者が見落としていないか否か、すなわち、物体を認知しているかどうかを判定する（Ｓ１５）。具体的には、見落し検知装置１は、運転者の視線方向を中心とする有効領域の範囲内に、物体が所定時間にわたって入っているか否かを判定する。ここで用いられる有効領域の大きさは、判定の対象となる物体によって異なる。

見落し検知装置１は、見落しがあると判定した場合には、例えば、警報装置にその旨の情報を出力し（Ｓ１６）、運転者に対して警報を発して注意喚起を行う。

以上、第１の実施の形態の見落し検知装置１の構成および動作について説明した。第１の実施の形態の見落し検知装置１は、視線が物体のある方向を直視しているかではなく、有効領域を用いて見落しを判定するので、運転者の見落しを適切に検知できる。また、有効領域は、可視光カメラ２１の映像からの物体認識の確信度に基づいて物体毎に設定されるので、各物体の見つけやすさに応じた大きさとすることができる。

なお、本実施の形態では、ミリ波レーダ２０からのデータを用いる例を挙げたが、ミリ波レーダ２０からのデータを用いない構成とすることも可能である。この場合には、可視光カメラ２１にて撮影した映像から認識される物体を運転者が認知しているか否かを判定することになる。

（第２の実施の形態）
図３は、第２の実施の形態の見落し検知装置２の構成を示す図である。第１の実施の形態の見落し検知装置１は、可視光カメラ２１の映像による物体認識の確信度に基づいて有効領域を設定したが、第２の実施の形態の見落し検知装置２は、外部環境に基づいて有効領域の大きさを設定する。

第２の実施の形態の見落し検知装置２では、通信部１０は、外部環境に関する情報を取得する各種センサ２２や車両機器２３と通信を行う。有効領域サイズ設定部１１は、各種センサ２２や車両機器２３からの情報に基づいて車両の外部環境を推定し、外部環境に基づいて、物体の認知に関する有効領域の大きさを設定する。ここで「外部環境」とは、見通しの良さや、交通状況、走行中の道路など、運転者による物体の認知に関係する環境である。

図４は、外部環境を検知する機器と各機器で検知できる環境の情報を示す図である。見通しについての情報を取得するための機器としては、例えば、時計、照度センサ、ヘッドライト、フォグランプ、ワイパー、ＧＰＳ及び地図データベースがある。時計からの情報に基づいて昼間、夕方、夜間の別を判定でき、周囲の明るさを推定できる。照度センサによるセンシング結果により、直接に明るさを測定できる。

また、車両機器の動作状態に基づいて外部環境を推定することも可能である。例えば、ヘッドライトが点灯している場合には、周囲が暗いと推定することができる。フォグランプが点灯している場合には、霧が出ていて見通しが悪いと推定できる。ワイパーが動作している場合には、雨が降っていて見通しが悪いと推定できる。ワイパーが高速で動作している場合には、激しい雨でかなり見通しが悪いと推定できる。

また、外部環境は、走行位置情報からも推定できる。この例では、ＧＰＳ及び地図データベースを用いることで、現在走行中の道路の道路種別を判定でき、例えば、高速道路か一般道か、一般道の場合には２車線か１車線か等の情報から、見通しの良し悪しを推定できる。

交通状況についての情報を取得するための機器としては、例えば、車速センサがある。車速によって、道路が渋滞しているのか、混雑しているのか、あるいは閑散としているか推定できる。道路が渋滞または混雑している場合には、運転者が注意を払うべき対象となる物体が多く、各物体に対する認知量が小さくなるので、有効領域は狭くなる。

その他の情報として、ＧＰＳ及び地図データベースにより、トンネルあるいはトンネル付近を走行しているか否かの情報を取得できる。トンネルの中は暗いため見通しが悪く、また、トンネルの入口または出口を走行しているときには、眩しいところから急に暗いところに入る、あるいは、暗いところから急に眩しいところに出ることになり、急激に明るさが変わるため、目が慣れるまで有効領域は狭くなる。

有効領域サイズ設定部１１は、各種センサ２２または車両機器２３から取得した情報に基づいて、有効領域の大きさを設定する。なお、図４に示したのは一例であり、他のセンサや車両機器２３からの情報を用いて有効領域の大きさを設定することも可能である。また、図４に示した情報を組み合わせたり、運転者の習慣を考慮して、外部環境を推定して有効領域の大きさを設定してもよい。例えば、時刻が夜間なのにヘッドライトが点灯していないときには、有効領域の大きさを０としてもよい。また、普段はワイパーを使わない運転者がワイパーを使用しているときには、激しい雨が降っていてかなり見通しが悪いと判定してもよい。日頃使っていないフォグランプを使っていて、かつ走行速度が遅い場合には、視野が不良であると判定してもよい。

図５は、第２の実施の形態の見落し検知装置２の動作を示すフローチャートである。見落し検知装置２は、ミリ波レーダ２０により車両周辺にある物体を検知する（Ｓ２０）。また、見落し検知装置２は、各種センサ２２および車両機器２３から情報を取得し（Ｓ２１）、取得した情報に基づいて有効領域の大きさを設定する（Ｓ２２）。

見落し検知装置２は、運転者を撮影した映像から運転者の視線を検知する（Ｓ２３）。続いて、見落し検知装置２は、ミリ波レーダ２０にて検知された物体を運転者が認知しているかどうか、すなわち、物体を見落としていないか否かを判定する（Ｓ２４）。具体的には、見落し検知装置２は、運転者の視線方向を中心とする有効領域の範囲内に、物体が所定時間にわたって入っているか否かを判定する。ここで用いられる有効領域の大きさは、物体にかかわらず画一的に設定される。

見落し検知装置２は、見落しがあると判定した場合には、例えば、警報装置にその旨の情報を出力し（Ｓ２５）、運転者に対して警報を発して注意喚起を行う。

以上、第２の実施の形態の見落し検知装置２の構成および動作について説明した。第２の実施の形態の見落し検知装置２は、第１の実施の形態の見落し検知装置１と同様に、有効領域を用いて見落しを判定するので、運転者の見落しを適切に検知できる。有効領域の大きさは、各種センサ２２や車両機器２３からの情報を用いて、外部環境に基づいて設定される。

以上、本発明の見落し検知装置２について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。上記した実施の形態の見落し検知装置２は、有効領域の大きさを運転者の年齢に基づいて、運転者の年齢が高い場合には有効領域を小さく設定してもよい。運転者の認知能力は、年齢とともに低下すると考えられるので、有効領域を年齢に応じた大きさとすることにより、より適切に見落し検知を行える。

また、上記した実施の形態の見落し検知装置２において、有効領域サイズ設定部１１は、物体が止まっているときのほうが移動しているときよりも有効領域を小さく設定してもよい。物体が移動しているときに比べ、止まっているときいは認知しづらいので、物体が止まっているときに有効領域を小さく設定することにより、見落しの検知精度を高く保持できる。

また、上記した実施の形態の見落し検知装置２において、有効領域サイズ設定部１１は、車両周辺に物体が多いほど有効領域を小さく設定してもよい。移動物体が多いときのほうが、運転者の認知量は低下するので、移動物体が多いときに有効領域を小さくすることにより、見落しの検知精度を高く保持できる。また、移動物体が多いときには、見落し検知装置２は、運転者が物体を認知していると判定するまでの時間を長く設定してもよい。

本発明は、運転者の見落しを検知し、運転を支援する装置等として有用である。

１，２ 見落し検知装置
１０ 通信部
１１ 有効領域サイズ設定部
１２ 車内カメラ
１３ 視線検知部
１４ 判定部
１５ 出力部
２０ ミリ波レーダ
２１ 可視光カメラ
２２ 各種センサ
２３ 車両機器

Claims (11)

1. 運転者を撮影するカメラと、
   前記カメラにて撮影した映像に基づいて運転者の視線を検知する視線検知部と、
   車両周辺を撮影する可視光カメラにて撮影された映像から物体を認識したときの確信度に基づいて、物体の認知に関する有効領域の大きさを設定する有効領域サイズ設定部と、
   前記視線と前記有効領域サイズ設定部にて設定された大きさとに基づいて有効領域を設定し、前記有効領域の中に前記物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定する判定部と、
   を備える見落し検知装置。
2. 運転者を撮影するカメラと、
   前記カメラにて撮影した映像に基づいて運転者の視線を検知する視線検知部と、
   車両の外部環境に基づいて、物体の認知に関する有効領域の大きさを設定する有効領域サイズ設定部と、
   前記視線と前記有効領域サイズ設定部にて設定された大きさとに基づいて有効領域を設定し、前記有効領域の中に、周辺監視センサにて検知された物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定する判定部と、
   を備える見落し検知装置。
3. 前記有効領域サイズ設定部は、現在時刻、照度センサにより検知した照度、車両の速度、ヘッドライトの点灯状態、フォグランプの点灯状態、ワイパーの動作状態、走行位置情報の少なくとも１つに基づいて外部環境を推定し、推定した外部環境に基づいて前記有効領域の大きさを設定する請求項２に記載の見落し検知装置。
4. 前記判定部は、前記物体が前記有効領域に入っている時間が所定の閾値以上である場合に運転者が前記物体を認知していると判定し、前記所定の閾値未満の場合に前記物体を見落としていると判定する請求項１乃至３のいずれかに記載の見落し検知装置。
5. 前記有効領域サイズ設定部は、運転者の年齢に基づいて前記有効領域の大きさを設定する請求項１乃至４のいずれかに記載の見落し検知装置。
6. 前記有効領域サイズ設定部は、前記物体が止まっているときの方が前記物体が移動しているときよりも有効領域を小さく設定する請求項１乃至５のいずれかに記載の見落し検知装置。
7. 前記有効領域サイズ設定部は、車両周辺に物体が多いほど前記有効領域を小さく設定する請求項１乃至６のいずれかに記載の見落し検知装置。
8. 車両周辺の物体の運転者による見落しを検知する方法であって、
   運転者を撮影するカメラにて撮影した映像を取得するステップと、
   前記映像に基づいて運転者の視線を検知するステップと、
   車両周辺を撮影する可視光カメラにて撮影された映像から物体を認識したときの確信度に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、
   前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に前記物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップと、
   を備える見落し検知方法。
9. 車両周辺の物体の運転者による見落しを検知する方法であって、
   運転者を撮影するカメラにて撮影した映像を取得するステップと、
   前記映像に基づいて運転者の視線を検知するステップと、
   車両の外部環境に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、
   前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に、周辺監視センサにて検知された物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップと、
   を備える見落し検知方法。
10. 車両周辺の物体の運転者による見落しを検知するためのプログラムであって、コンピュータに、
    運転者を撮影するカメラにて撮影した映像を取得するステップと、
    前記映像に基づいて運転者の視線を検知するステップと、
    車両周辺を撮影する可視光カメラにて撮影された映像から物体を認識したときの確信度に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、
    前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に前記物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップと、
    を実行させるプログラム。
11. 車両周辺の物体の運転者による見落しを検知するためのプログラムであって、コンピュータに、
    運転者を撮影するカメラにて撮影した映像を取得するステップと、
    前記映像に基づいて運転者の視線を検知するステップと、
    車両の外部環境に基づいて、物体の認知に関する有効領域の大きさを設定するステップと、
    前記視線と設定された有効領域の大きさとに基づいて有効領域を設定し、前記有効領域の中に、周辺監視センサにて検知された物体が入っているか否かに基づいて、運転者が前記物体を認知しているか否かを判定するステップと、
    を実行させるプログラム。

Images