JPWO2019150552A1 - 落下物検知装置、車載システム、車両および落下物検知プログラム - Google Patents

Abstract

第１車両に搭載して使用される落下物検知装置（１１）の取得部（４１）は、荷物を載せて第１車両の前方を走行している第２車両および第２車両の周辺のデプス画像を取得する。落下物検知装置（１１）の判定部（４２）は、取得部（４１）により取得されたデプス画像を用いて、荷物が第２車両と異なる動きをしていないか判定する。落下物検知装置（１１）の検知部（４３）は、判定部（４２）による判定の結果をもとに、荷物の落下を検知する。

Description

本発明は、落下物検知装置、車載システム、車両および落下物検知プログラムに関するものである。

特許文献１には、ミリ波センサとカメラとを備えるＡＣＣ機能付き車両が、その車両と、ＡＣＣターゲットとなる前方車両との間にある荷物等の静止物をカメラで検知した場合に、ＡＣＣ機能による追従走行を停止または抑制する技術が開示されている。「ＡＣＣ」は、Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌの略語である。

特開２０１６−０１１０６１号公報

Ｃａｓｔｏｒｅｎａ， Ｊ．； Ｋａｍｉｌｏｖ， Ｕ．； Ｂｏｕｆｏｕｎｏｓ， Ｐ．Ｔ．， "Ａｕｔｏｃａｌｉｂｒａｔｉｏｎ ｏｆ ＬＩＤＡＲ ａｎｄ Ｏｐｔｉｃａｌ Ｃａｍｅｒａｓ ｖｉａ Ｅｄｇｅ Ａｌｉｇｎｍｅｎｔ"， Ｍｉｔｓｕｂｉｓｈｉ Ｅｌｅｃｔｒｉｃ Ｒｅｓｅａｒｃｈ Ｌａｂｏｒａｔｏｒｉｅｓ， ＴＲ２０１６−００９， Ｍａｒｃｈ ２０１６ 実吉敬二、「ステレオカメラによる自動車運転支援システム」、情報処理学会研究報告、Ｖｏｌ．２０１３−ＣＶＩＭ−１８５ Ｎｏ．２０、２０１３年１月２３日 Ｇｕｎｎａｒ Ｆａｒｎｅｂａｃｋ， "Ｔｗｏ−Ｆｒａｍｅ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｐｏｌｙｎｏｍｉａｌ Ｅｘｐａｎｓｉｏｎ"， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌａｂｏｒａｔｏｒｙ， Ｌｉｎｋｏｐｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， ２００３

従来技術では、落下後の荷物しか検知できない。すなわち、荷物の落下を即時に検知することができない。そのため、前方車両までの車間距離が短いと、回避走行が間に合わず、ＡＣＣ機能付き車両が荷物と衝突する可能性が高い。

本発明は、前方車両からの荷物の落下を即時に検知することを目的とする。

本発明の一態様に係る落下物検知装置は、
第１車両に搭載して使用され、
荷物を載せて前記第１車両の前方を走行している第２車両および前記第２車両の周辺のデプス画像を取得する取得部と、
前記取得部により取得されたデプス画像を用いて、前記荷物が前記第２車両と異なる動きをしていないか判定する判定部と、
前記判定部による判定の結果をもとに、前記荷物の落下を検知する検知部と
を備える。

本発明では、前方車両および前方車両の周辺のデプス画像を用いて、前方車両の荷物が前方車両と異なる動きをしていないか判定した結果をもとに、荷物の落下が検知される。そのため、前方車両からの荷物の落下を即時に検知することができる。

実施の形態１に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態１に係る落下物検知装置の動作を示すフローチャート。 実施の形態１に係るデプス画像の例を示す図。 実施の形態１に係るデプスセンサと距離センサとの距離計測結果を示す図。 実施の形態１の変形例に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態２に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態２に係る落下物検知装置の動作を示すフローチャート。 実施の形態２に係るデプス画像の画像領域の例を示す図。 実施の形態２の変形例に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態３に係る落下物検知装置を備える車載システムの構成を示すブロック図。 実施の形態３に係る落下物検知装置の動作を示すフローチャート。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３に係るカメラ画像および移動ベクトルの例を示す図。 実施の形態３の変形例に係る落下物検知装置を備える車載システムの構成を示すブロック図。

以下、本発明の実施の形態について、図を用いて説明する。各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。なお、本発明は、以下に説明する実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。例えば、以下に説明する実施の形態のうち、２つ以上の実施の形態が組み合わせられて実施されても構わない。あるいは、以下に説明する実施の形態のうち、１つの実施の形態または２つ以上の実施の形態の組み合わせが部分的に実施されても構わない。

実施の形態１．
本実施の形態について、図１から図４を用いて説明する。

＊＊＊構成の説明＊＊＊
図１を参照して、本実施の形態に係る落下物検知装置１１を備える車載システム１０の構成を説明する。

車載システム１０は、落下物検知装置１１と、センサデバイス２１と、車両制御ユニット３１とを備える。

落下物検知装置１１は、コンピュータである。落下物検知装置１１は、本実施の形態では、一般的なコンピュータであるが、組込機器でもよいし、ＥＣＵでもよい。「ＥＣＵ」は、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔの略語である。

落下物検知装置１１は、プロセッサ１３を備えるとともに、センサＩＯ１２、メモリ１４およびＲＯＭ１５といった他のハードウェアを備える。「ＩＯ」は、Ｉｎｐｕｔ／Ｏｕｔｐｕｔの略語である。プロセッサ１３は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

落下物検知装置１１は、機能要素として、取得部４１と、判定部４２と、検知部４３と、計測部４４とを備える。取得部４１、判定部４２、検知部４３および計測部４４の機能は、ソフトウェアにより実現される。

プロセッサ１３は、落下物検知プログラムを実行する装置である。落下物検知プログラムは、取得部４１、判定部４２、検知部４３および計測部４４の機能を実現するプログラムである。プロセッサ１３は、本実施の形態では、ＣＰＵであるが、ＧＰＵでもよいし、ＣＰＵとＧＰＵとの組み合わせでもよい。「ＣＰＵ」は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。「ＧＰＵ」は、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略語である。

メモリ１４およびＲＯＭ１５は、落下物検知プログラムを記憶する装置である。「ＲＯＭ」は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略語である。メモリ１４は、例えば、ＲＡＭ、フラッシュメモリまたはこれらの組み合わせである。「ＲＡＭ」は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略語である。

落下物検知装置１１は、ハードウェアとして、通信デバイス、入力機器およびディスプレイをさらに備えてもよい。

通信デバイスは、落下物検知プログラムに入力されるデータを受信するレシーバと、落下物検知プログラムから出力されるデータを送信するトランスミッタとを含む。通信デバイスは、例えば、通信チップまたはＮＩＣである。「ＮＩＣ」は、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略語である。

入力機器は、落下物検知プログラムへのデータの入力のためにユーザにより操作される機器である。入力機器は、例えば、タッチパネルである。

ディスプレイは、落下物検知プログラムから出力されるデータを画面に表示する機器である。ディスプレイは、例えば、ＬＣＤである。「ＬＣＤ」は、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略語である。

落下物検知プログラムは、ＲＯＭ１５からメモリ１４にロードされ、メモリ１４からプロセッサ１３に読み込まれ、プロセッサ１３によって実行される。

落下物検知装置１１は、プロセッサ１３を代替する複数のプロセッサを備えていてもよい。これら複数のプロセッサは、落下物検知プログラムの実行を分担する。それぞれのプロセッサは、例えば、ＣＰＵ、ＧＰＵ、ＤＳＰ、または、これらのうちいくつか、もしくは、すべての組み合わせである。

落下物検知プログラムにより利用、処理または出力されるデータ、情報、信号値および変数値は、メモリ１４、または、プロセッサ１３内のレジスタまたはキャッシュメモリに記憶される。

落下物検知プログラムは、取得部４１、判定部４２、検知部４３および計測部４４により行われる処理をそれぞれ取得処理、判定処理、検知処理および計測処理としてコンピュータに実行させるプログラムである。落下物検知プログラムは、コンピュータ読取可能な媒体に記録されて提供されてもよいし、記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。

落下物検知装置１１は、１台のコンピュータで構成されていてもよいし、複数台のコンピュータで構成されていてもよい。落下物検知装置１１が複数台のコンピュータで構成されている場合は、取得部４１、判定部４２、検知部４３および計測部４４の機能が、各コンピュータに分散されて実現されてもよい。

センサデバイス２１としては、少なくともデプスセンサ２２および距離センサ２３が備えられる。デプスセンサ２２は、例えば、ステレオカメラ、または、単眼カメラとＬｉＤＡＲセンサとの組み合わせである。「ＬｉＤＡＲ」は、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇの略語である。距離センサ２３は、本実施の形態では、ミリ波センサであるが、他の種類のレーダセンサでもよい。センサデバイス２１として、カメラおよびソナーといった他の車載デバイスがさらに備えられてもよい。

車両制御ユニット３１は、車両制御バスインタフェース３２と、センサＥＣＵ３３と、車両ＥＣＵ３４とを備える。

車両制御バスインタフェース３２は、落下物検知装置１１と、センサＥＣＵ３３および車両ＥＣＵ３４との間の通信のためのインタフェースである。

センサＥＣＵ３３は、センサデバイス２１から得られるデータを処理するＥＣＵである。

車両ＥＣＵ３４は、車両を制御するＥＣＵである。

＊＊＊動作の説明＊＊＊
図１のほかに、図２から図４を参照して、本実施の形態に係る落下物検知装置１１の動作を説明する。落下物検知装置１１の動作は、本実施の形態に係る落下物検知方法に相当する。

落下物検知装置１１は、第１車両５１に搭載して使用される。第１車両５１は、自動運転車両である。落下物検知装置１１を備える車載システム１０は、第１車両５１に搭載されたシステムである。車載システム１０の車両制御ユニット３１は、第１車両５１の運転を制御する。

落下物検知装置１１は、センサＩＯ１２を介して、車載センサであるセンサデバイス２１と接続する。これにより、センサデバイス２１で計測された第１車両５１の前方のセンシングデータが落下物検知装置１１に入力される。

落下物検知装置１１は、第１車両５１のデプスセンサ２２のセンシングデータからデプス画像６１を算出し、デプス画像６１と他センサ情報とを比較して、第２車両５２と荷物５３とを分離することで、第２車両５２から落下した荷物５３を即時に検知する。第２車両５２は、荷物５３を載せて第１車両５１の前方を走行している車両、すなわち、前方車両である。

落下物検知装置１１は、車両制御バスインタフェース３２を介して、車両制御ユニット３１と接続する。これにより、落下物検知装置１１で検知された落下物の位置情報および移動情報が車両制御ユニット３１へ出力される。

本実施の形態では、落下物検知装置１１は、デプス画像６１の変化とミリ波センサである距離センサ２３の距離情報とを参照して第２車両５２と荷物５３との分離を判別する。これにより、第２車両５２から荷物５３が落下した場合であっても、第１車両５１がこの落下物を回避するように、落下中または落下の可能性がある荷物５３を即時に検知可能である。

車両制御ユニット３１は、落下物検知装置１１で第１車両５１の前方を走行中の第２車両５２から荷物５３が落下したことが検出された場合には、第１車両５１のブレーキ制御を行い、落下した荷物５３との衝突を回避する。車両制御ユニット３１は、第１車両５１のブレーキ制御だけでなく、車線変更することで、荷物５３との衝突を回避してもよい。

落下物検知装置１１の動作の詳細を説明する。

図２のステップＳ１０１において、取得部４１は、第２車両５２および第２車両５２の周辺のデプス画像６１を取得する。

図２のステップＳ１０２からステップＳ１０６において、判定部４２は、取得部４１により取得されたデプス画像６１を用いて、荷物５３が第２車両５２と異なる動きをしていないか判定する。具体的には、ステップＳ１０２およびステップＳ１０３において、判定部４２は、デプス画像６１を参照して、道路を除き最も近い物体までの距離を算出する。ステップＳ１０４において、計測部４４は、距離センサ２３を用いて、第２車両５２までの距離を計測する。本実施の形態では、計測部４４は、距離センサ２３としてミリ波センサを用いて、第２車両５２までの距離を計測する。ステップＳ１０５およびステップＳ１０６において、判定部４２は、算出した距離と、計測部４４により計測された距離とを比較し、距離の差が閾値を超えている場合に、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定する。

図２のステップＳ１０７およびステップＳ１０８において、検知部４３は、判定部４２による判定の結果をもとに、荷物５３の落下を検知する。

落下物検知装置１１の動作をより具体的に説明する。

ステップＳ１０１において、取得部４１は、センサデバイス２１のうちデプスセンサ２２を使用して、第１車両５１の前方のデプス画像６１を算出する。

デプス画像６１の算出に使用されるデプスセンサ２２がステレオカメラの場合、取得部４１は、片方のカメラの撮影画像ともう片方のカメラの撮影画像とを比較して、撮影画像内の同一特徴がある点を探索し、特徴点同士の位置ズレを参照することで、特徴点の距離情報、すなわち、デプス値を算出する。取得部４１は、撮影画像の各画素に対してデプス値を算出することで、デプス画像６１を生成する。

デプス画像６１の算出に使用されるデプスセンサ２２が単眼カメラとＬｉＤＡＲセンサとの組み合わせの場合、取得部４１は、ＬｉＤＡＲセンサで計測した３Ｄ点群情報を基準にして、単眼カメラとＬｉＤＡＲセンサとのフュージョン結果からデプス画像６１を算出する。ＬｉＤＡＲセンサの３Ｄ点群情報は計測解像度が低いため、取得部４１は、単眼カメラの撮影画像内に写る物体の境界領域情報、すなわち、エッジ情報を参照して３Ｄ点群情報を補間する。取得部４１は、補間により計測解像度が向上した３Ｄ点群情報からデプス画像６１を算出する。具体的な手法としては、非特許文献１に記載の手法を用いることができる。

デプスセンサ２２は、計測解像度の高いＦｌａｓｈ ＬｉＤＡＲであってもよい。

ステップＳ１０２において、判定部４２は、ステップＳ１０１で算出されたデプス画像６１を参照して、立体物の画像領域と路面の画像領域とを分離して立体物を検出する。

ステップＳ１０３において、判定部４２は、ステップＳ１０２で検出した立体物のうち、第１車両５１に最も近距離にある立体物までの距離を計測する。

図３にデプス画像６１の例を示す。この例では、距離に応じて、デプス画像６１の各画素の色を変化させて表示する。色は、便宜上、ハッチングで示している。デプス画像６１の下部では、第１車両５１から近距離にある路面までの距離が計測されるため、画素の色は近距離を表す色となる。画像上部へ移動するのに伴い、第１車両５１から路面までの距離は遠くなるため、画素の色も上部へ移動するに伴って遠距離を表す色に変化する。デプス画像６１において、第２車両５２を表す画像領域内の各画素は、距離がほぼ等しくなるため、色も同じになる。なお、距離が計測できなかった画素は黒色で表示する。

図３の上図は、第２車両５２と荷物５３との分離前のデプス画像６１を示す。分離前は、第２車両５２と荷物５３との距離がほぼ等しいため、画素の色もほぼ等しくなる。図３の下図は、第２車両５２と荷物５３との分離後のデプス画像６１を示す。分離後は、第２車両５２と荷物５３との距離が異なるため、荷物５３の撮影領域に対応する画素の色は第２車両５２の画素の色と異なる。

第２車両５２を表す画像領域の検出処理では、デプス画像６１から立体物が検知されて、立体物と路面との画像領域が分離され、立体物の画像領域が第２車両５２の画像領域と判断される。なお、立体物の画像領域サイズが小さく、車両サイズと異なれば、第２車両５２ではないと判定されてもよい。

本実施の形態では、立体物と判定された画像領域の中で第１車両５１に最も近い画素の距離がデプス画像６１の距離として扱われる。第２車両５２と荷物５３とが分離すると荷物５３が第１車両５１に最も近くなるため、デプス画像６１の距離は荷物５３までの距離を表すようになる。デプス画像６１からの立体物検知方法としては、非特許文献２に記載の方法を用いることができる。

ステップＳ１０４において、計測部４４は、センサデバイス２１のうちミリ波センサを使用して、第１車両５１の前方にある第２車両５２までの距離を算出する。

ミリ波センサは、波長の短い電磁波であるミリ波を出力し、第２車両５２等の物体に当たって反射した電磁波を受信することで、物体までの距離を計測する。ミリ波は、金属を含む物体に強く反射する。そのため、ミリ波センサは、第２車両５２を検知するが、段ボール箱等の金属を含まない物体は検知しない。第２車両５２から荷物５３が突然落下してきても、荷物５３が段ボール箱等の金属を含まない物体であれば、ミリ波センサは、荷物５３を検知せずに、その先にある第２車両５２までの距離を計測する。

ステップＳ１０５において、判定部４２は、第２車両５２と荷物５３との分離判別処理を開始し、ステップＳ１０３で計測したデプス画像６１の距離と、ステップＳ１０４で計測されたミリ波センサの距離とを比較する。

デプス画像６１の距離は、第１車両５１から最も近い物体までの距離であるのに対して、ミリ波センサの距離は、金属を含む第２車両５２までの距離である。実際には、ミリ波センサのトラッキング処理の影響もあり、荷物５３が落下する前に第２車両５２が検知されていると、荷物５３の落下後も前の検知結果が参照されて、第２車両５２が検知され続ける可能性が高い。これにより、図４に示すように、第２車両５２と荷物５３とが分離していないときはデプス画像６１の距離とミリ波センサの距離とが等しくなるが、第２車両５２と荷物５３とが分離したときは、デプス画像６１の距離とミリ波センサの距離とに差が生じる。

ステップＳ１０６において、判定部４２は、ステップＳ１０５で比較した２つの距離の差が任意の閾値ΔＺ以上であれば、第２車両５２と荷物５３とが分離したと判定してステップＳ１０７へ進む。判定部４２は、距離差が閾値よりも小さければ、第２車両５２と荷物５３とが分離していないと判定してステップＳ１０１へ戻る。

閾値ΔＺは、任意の値でよいが、センサの距離計測精度から設定されることが望ましく、一例としては０．５ｍ程度に設定することができる。

ステップＳ１０７において、検知部４３は、ステップＳ１０６の分離判別結果を受けて、落下物となる荷物５３の位置および速度を算出する。荷物５３の位置は、ステップＳ１０１で取得されたデプス画像６１とステップＳ１０３で計測された立体物までの距離とから算出される。ステップＳ１０３の距離よりＺ軸方向の位置が、ステップＳ１０１のデプス画像６１と距離情報とからＸ軸方向およびＹ軸方向の位置が算出できる。Ｘ軸方向は車両横方向、Ｙ軸方向は車両高さ方向、Ｚ軸方向は車両進行方向に相当する。荷物５３の速度は、荷物５３の位置の時系列情報と第１車両５１の速度とから算出される。

ステップＳ１０８において、検知部４３は、ステップＳ１０７で算出した落下物となる荷物５３の位置および速度の情報を車両ＥＣＵ３４に送信する。

車両ＥＣＵ３４は、ステップＳ１０８で送信された落下物の位置および速度の情報を参照し、その落下物との衝突を回避するために、第１車両５１の速度を減速するか、または、車線変更等、操舵による進行方向の変更をする。なお、この車両ＥＣＵ３４の機能は、制御部の機能として落下物検知プログラムにより実現されてもよい。すなわち、落下物検知装置１１は、検知部４３により算出された荷物５３の位置および速度に応じて、第１車両５１の移動を制御する制御部をさらに備えてもよい。

以上の動作により、第２車両５２から荷物５３が落下した場合であっても、落下中の荷物５３を即時に検知可能となり、落下物との衝突を回避できる。

なお、ステップＳ１０７およびステップＳ１０８において、検知部４３は、荷物５３の位置および速度だけでなく、荷物５３のサイズおよび移動方向もデプス画像６１から算出し、荷物５３の位置、サイズ、移動速度および移動方向の情報を車両ＥＣＵ３４に送信してもよい。

検知部４３は、情報を車両ＥＣＵ３４に送信する際に、情報の確度を判定し、情報とあわせて確度判定の結果を送信してもよい。

＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、前方車両および前方車両の周辺のデプス画像６１を用いて、前方車両の荷物５３が前方車両と異なる動きをしていないか判定した結果をもとに、荷物５３の落下が検知される。そのため、前方車両からの荷物５３の落下を即時に検知することができる。

本実施の形態では、落下中または落下の可能性のある荷物５３を検知して、荷物の落下を即時に検知することにより、第１車両５１と第２車両５２との車間距離が短い場合であっても、第２車両５２から落下する荷物５３を回避した走行が可能となる。なお、落下の可能性の高い荷物５３を検知した場合には、第１車両５１の車速低下により、第２車両５２との車間距離を遠くにしてもよい。

本実施の形態では、判定部４２が、ミリ波センサの反射強度の特徴を用いて、第２車両５２と荷物５３との分離を判別する。ミリ波センサは、金属類に強く反応するため、第２車両５２から段ボール等の非金属の荷物５３が落下しても荷物５３には反応せずに第２車両５２を検知する。そのため、計測部４４は、第２車両５２までの距離を出力する。一方で、ステレオカメラ等のデプスセンサ２２は、第２車両５２から落下した荷物５３を検知するため、荷物５３までの距離を出力する。２種類のセンサの距離を比較することで、第２車両５２と荷物５３との分離判別をすることができる。

本実施の形態では、検知部４３が、判定部４２の分離判別結果を参照することで、荷物５３が落下後の衝撃で移動している状態であっても、荷物５３の落下を判定可能である。

本実施の形態によれば、前方車両から落下中の荷物５３、または、落下の可能性が高い荷物５３を即時に検知することで、前方車両から荷物５３が突然落下しても、荷物５３との衝突を回避可能な自動運転車両が提供できる。

＊＊＊他の構成＊＊＊
本実施の形態では、取得部４１、判定部４２、検知部４３および計測部４４の機能がソフトウェアにより実現されるが、変形例として、取得部４１、判定部４２、検知部４３および計測部４４の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。

図５を参照して、本実施の形態の変形例に係る落下物検知装置１１を備える車載システム１０の構成を説明する。

この例では、落下物検知装置１１は、電子回路１６およびセンサＩＯ１２といったハードウェアを備える。

電子回路１６は、取得部４１、判定部４２、検知部４３および計測部４４の機能を実現する専用のハードウェアである。電子回路１６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。「ＩＣ」は、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。「ＧＡ」は、Ｇａｔｅ Ａｒｒａｙの略語である。「ＦＰＧＡ」は、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略語である。「ＡＳＩＣ」は、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略語である。

落下物検知装置１１は、電子回路１６を代替する複数の電子回路を備えていてもよい。これら複数の電子回路は、全体として取得部４１、判定部４２、検知部４３および計測部４４の機能を実現する。それぞれの電子回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。

別の変形例として、取得部４１、判定部４２、検知部４３および計測部４４の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得部４１、判定部４２、検知部４３および計測部４４の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。

プロセッサ１３および電子回路１６は、いずれも処理回路である。すなわち、落下物検知装置１１の構成が図１および図５のいずれに示した構成であっても、取得部４１、判定部４２、検知部４３および計測部４４の動作は、処理回路により行われる。

実施の形態２．
本実施の形態について、主に実施の形態１との差異を、図６から図８を用いて説明する。

＊＊＊構成の説明＊＊＊
図６を参照して、本実施の形態に係る落下物検知装置１１を備える車載システム１０の構成を説明する。

本実施の形態では、落下物検知装置１１は、機能要素として、取得部４１と、判定部４２と、検知部４３とを備える。判定部４２は、算出部４５を備える。取得部４１、判定部４２および検知部４３の機能は、ソフトウェアにより実現される。

本実施の形態では、落下物検知プログラムは、取得部４１、判定部４２および検知部４３により行われる処理をそれぞれ取得処理、判定処理および検知処理としてコンピュータに実行させるプログラムである。すなわち、落下物検知プログラムは、取得部４１、判定部４２および検知部４３の機能を実現するプログラムである。落下物検知プログラムは、実施の形態１と同じように、ＲＯＭ１５からメモリ１４にロードされ、メモリ１４からプロセッサ１３に読み込まれ、プロセッサ１３によって実行される。

本実施の形態では、センサデバイス２１として、少なくともデプスセンサ２２が備えられる。

＊＊＊動作の説明＊＊＊
図６のほかに、図７および図８を参照して、本実施の形態に係る落下物検知装置１１の動作を説明する。落下物検知装置１１の動作は、本実施の形態に係る落下物検知方法に相当する。

本実施の形態では、落下物検知装置１１は、デプス画像６１の変化した画像領域の大きさを参照して第２車両５２と荷物５３との分離を判別する。これにより、実施の形態１と同様に、第２車両５２から荷物５３が落下した場合であっても、第１車両５１がこの落下物を回避するように、落下中または落下の可能性がある荷物５３を即時に検知可能である。

落下物検知装置１１の動作の詳細を説明する。

図７のステップＳ２０１において、取得部４１は、第２車両５２および第２車両５２の周辺のデプス画像６１を取得する。

図７のステップＳ２０２からステップＳ２０６において、判定部４２は、取得部４１により取得されたデプス画像６１を用いて、荷物５３が第２車両５２と異なる動きをしていないか判定する。具体的には、ステップＳ２０２からステップＳ２０４において、判定部４２は、取得部４１により取得された複数時点のデプス画像６１間でデプス値が変化している画像領域を算出する。ステップＳ２０５およびステップＳ２０６において、判定部４２は、算出した画像領域の大きさが第２車両５２に相当する大きさと異なっている場合に、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定する。

図７のステップＳ２０７およびステップＳ２０８において、検知部４３は、判定部４２による判定の結果をもとに、荷物５３の落下を検知する。

なお、第２車両５２の画像領域と荷物５３の画像領域とが判別可能であれば、ステップＳ２０２からステップＳ２０４において、判定部４２は、取得部４１により取得された複数時点のデプス画像６１における、第２車両５２の画像領域間でのデプス値の変化量と、荷物５３の画像領域間でのデプス値の変化量とを比較してもよい。ステップＳ２０５およびステップＳ２０６において、判定部４２は、変化量の差が閾値を超えている場合に、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定してもよい。

さらに、判定部４２は、変化量の差が閾値を下回っている場合でも、変化量の差によって、荷物５３が固定されていないと判定してもよい。ステップ２０７およびステップＳ２０８において、検知部４３は、荷物５３が固定されていないと判定部４２により判定された場合、第１車両５１と第２車両５２との間の距離を空ける制御を行ってもよい。

落下物検知装置１１の動作をより具体的に説明する。

ステップＳ２０１の処理については、実施の形態１におけるステップＳ１０１の処理と同じであるため、具体的な説明を省略する。

ステップＳ２０２の処理については、実施の形態１におけるステップＳ１０２の処理と同じであるため、具体的な説明を省略する。

ステップＳ２０３において、判定部４２は、ステップＳ２０２で検出した立体物の画像領域をデプス画像６１から切り出す。

ステップＳ２０４において、判定部４２が備える算出部４５は、ステップＳ２０３で切り出された画像領域に対して、時系列にデプス値が変化した画像領域を算出する。

ステップＳ２０５において、判定部４２は、第２車両５２と荷物５３との分離判別処理を開始し、ステップＳ２０４で算出した、デプス値が変化した画像領域とデプス値の距離情報とを参照して、画像領域に写る実際の物体のサイズを算出する。実際の物体のサイズ算出では、距離情報からＺ軸方向の位置が算出され、デプス画像６１と距離情報とからＸ軸方向およびＹ軸方向の位置が算出され、それらの位置から画像領域に対応する実際の物体のサイズが求められる。前述したように、Ｘ軸方向は車両横方向、Ｙ軸方向は車両高さ方向、Ｚ軸方向は車両進行方向に相当する。

ステップＳ２０６において、判定部４２は、ステップＳ２０５で算出したサイズが車両サイズに相当する閾値以下であれば、荷物５３が落下したことに起因してデプス値が変化したと推測し、第２車両５２と荷物５３とが分離したと判定してステップＳ２０７へ進む。判定部４２は、ステップＳ２０５で算出したサイズが車両サイズに相当する閾値よりも大きければ、単に第１車両５１と第２車両５２との車間距離が変化したことに起因してデプス値が変化したとみなし、第２車両５２と荷物５３とが分離していないと判定してステップＳ２０１へ戻る。

図８にデプス画像６１の画像領域の例を示す。この例では、図３と同様に、距離に応じて、デプス画像６１の各画素の色を変化させて表示する。色は、便宜上、ハッチングで示している。

図８の上図は、デプス画像６１を示す。図８の下図は、上図のデプス画像６１から切り出された立体物の画像領域を示す。第１車両５１と第２車両５２との車間距離が変化すれば、第２車両５２の画像領域のデプス値が変化する。第１車両５１と荷物５３との距離が変化すれば、荷物５３の画像領域のデプス値が変化する。よって、デプス値が変化した画像領域のサイズを参照して、第２車両５２と荷物５３との分離を判定することができる。

なお、判定部４２は、立体物の画像領域を切り出してからデプス値の変化を参照して第２車両５２と荷物５３との分離判別をする代わりに、立体物の画像領域を切り出さずにデプス画像６１の全体に対するデプス値の変化を参照して第２車両５２と荷物５３との分離判別をしてもよい。

ステップＳ２０７の処理については、実施の形態１におけるステップＳ１０７の処理と同じであるため、具体的な説明を省略する。

ステップＳ２０８の処理については、実施の形態１におけるステップＳ１０８の処理と同じであるため、具体的な説明を省略する。

以上の動作により、第２車両５２から荷物５３が落下した場合であっても、落下中の荷物５３を即時に検知可能となり、落下物との衝突を回避できる。

本実施の形態では、判定部４２は、デプス値が変化する画像領域のサイズのみから第２車両５２と荷物５３との分離を判定するため、第２車両５２と荷物５３との画像領域をあらかじめ分別しておく必要がない。

なお、判定部４２は、デプス画像６１を参照して第２車両５２と荷物５３との画像領域をあらかじめ分別しておいてもよい。判定部４２は、第２車両５２の画像領域と荷物５３の画像領域とのデプス値の変化量が同等であれば、第２車両５２と荷物５３とが分離していないと判定し、デプス値の変化量が任意の閾値以上異なれば、第２車両５２と荷物５３とが分離したと判定してもよい。

判定部４２は、デプス値の変化量の差が任意の閾値よりも小さくても、デプス値の変化量が異なる状態が継続すれば、第２車両５２に荷物５３が固定されていないと推測し、荷物５３が落下する可能性が高いと判定してもよい。落下の可能性が高い場合、検知部４３は、車両ＥＣＵ３４を介して、第２車両５２との車間距離を空けるように第１車両５１を制御してもよい。

＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、実施の形態１と同様に、前方車両および前方車両の周辺のデプス画像６１を用いて、前方車両の荷物５３が前方車両と異なる動きをしていないか判定した結果をもとに、荷物５３の落下が検知される。そのため、前方車両からの荷物５３の落下を即時に検知することができる。

本実施の形態では、実施の形態１と異なり、ミリ波センサ等の距離センサが不要である。

＊＊＊他の構成＊＊＊
本実施の形態では、取得部４１、判定部４２および検知部４３の機能がソフトウェアにより実現されるが、変形例として、取得部４１、判定部４２および検知部４３の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。

図９を参照して、本実施の形態の変形例に係る落下物検知装置１１を備える車載システム１０の構成を説明する。

この例では、落下物検知装置１１は、電子回路１６およびセンサＩＯ１２といったハードウェアを備える。

電子回路１６は、取得部４１、判定部４２および検知部４３の機能を実現する専用のハードウェアである。電子回路１６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。

別の変形例として、取得部４１、判定部４２および検知部４３の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得部４１、判定部４２および検知部４３の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。

プロセッサ１３および電子回路１６は、いずれも処理回路である。すなわち、落下物検知装置１１の構成が図６および図９のいずれに示した構成であっても、取得部４１、判定部４２および検知部４３の動作は、処理回路により行われる。

実施の形態３．
本実施の形態について、主に実施の形態１との差異を、図１０から図１５を用いて説明する。

＊＊＊構成の説明＊＊＊
図１０を参照して、本実施の形態に係る落下物検知装置１１を備える車載システム１０の構成を説明する。

本実施の形態では、落下物検知装置１１は、機能要素として、取得部４１と、判定部４２と、検知部４３と、算出部４６とを備える。取得部４１、判定部４２、検知部４３および算出部４６の機能は、ソフトウェアにより実現される。

本実施の形態では、落下物検知プログラムは、取得部４１、判定部４２、検知部４３および算出部４６により行われる処理をそれぞれ取得処理、判定処理、検知処理および算出処理としてコンピュータに実行させるプログラムである。すなわち、落下物検知プログラムは、取得部４１、判定部４２、検知部４３および算出部４６の機能を実現するプログラムである。落下物検知プログラムは、実施の形態１と同じように、ＲＯＭ１５からメモリ１４にロードされ、メモリ１４からプロセッサ１３に読み込まれ、プロセッサ１３によって実行される。

本実施の形態では、センサデバイス２１として、少なくともデプスセンサ２２およびカメラ２４が備えられる。

＊＊＊動作の説明＊＊＊
図１０のほかに、図１１から図１５を参照して、本実施の形態に係る落下物検知装置１１の動作を説明する。落下物検知装置１１の動作は、本実施の形態に係る落下物検知方法に相当する。

本実施の形態では、落下物検知装置１１は、デプス画像６１の変化とオプティカルフローとを参照して第２車両５２と荷物５３との分離を判別する。これにより、実施の形態１と同様に、第２車両５２から荷物５３が落下した場合であっても、第１車両５１がこの落下物を回避するように、落下中または落下の可能性がある荷物５３を即時に検知可能である。

落下物検知装置１１の動作の詳細を説明する。

図１１のステップＳ３０１において、取得部４１は、第２車両５２および第２車両５２の周辺のデプス画像６１を取得する。

図１１のステップＳ３０２からステップＳ３０６において、判定部４２は、取得部４１により取得されたデプス画像６１を用いて、荷物５３が第２車両５２と異なる動きをしていないか判定する。具体的には、ステップＳ３０４において、算出部４６は、第２車両５２および第２車両５２の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する。ステップＳ３０２、ステップＳ３０３、ステップＳ３０５およびステップＳ３０６において、判定部４２は、取得部４１により取得された複数時点のデプス画像６１を参照して、第２車両５２までの距離が長くなっているか判定する。判定部４２は、距離が長くなっている場合に、算出部４６により算出された移動ベクトルが下向きのベクトルであれば、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定する。

図１１のステップＳ３０７およびステップＳ３０８において、検知部４３は、判定部４２による判定の結果をもとに、荷物５３の落下を検知する。

なお、ステップＳ３０６において、判定部４２は、第２車両５２までの距離が短くなっている場合にも、算出部４６により算出された移動ベクトルが下向きのベクトルであり、ベクトルの大きさが閾値を超えていれば、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定してよい。

また、ステップＳ３０６において、判定部４２は、第２車両５２までの距離が短くなっている場合にも、算出部４６により算出された移動ベクトルが上向きのベクトルであれば、荷物５３が「第２車両５２と異なる動き」として第２車両５２から分離する動きをしたと判定してよい。

落下物検知装置１１の動作をより具体的に説明する。

ステップＳ３０１の処理については、実施の形態１におけるステップＳ１０１の処理と同じであるため、具体的な説明を省略する。

ステップＳ３０２の処理については、実施の形態１におけるステップＳ１０２の処理と同じであるため、具体的な説明を省略する。

ステップＳ３０３において、判定部４２は、ステップＳ３０２で検出した立体物の画像領域をデプス画像６１から切り出す。

ステップＳ３０４において、算出部４６は、センサデバイス２１のうちカメラ２４を使用して、第１車両５１の前方の２次元画像を撮影し、得られたカメラ画像の時系列データから移動ベクトルを算出する。すなわち、算出部４６は、カメラ２４で撮影された画像から画像の時系列変化を表す移動ベクトルを算出する。移動ベクトルは、オプティカルフローとも呼ばれる。

移動ベクトルの算出方法としては、疎のオプティカルフローを算出する方法を用いてもよいし、密なオプティカルフローを算出する方法を用いてもよい。疎のオプティカルフローを算出する方法では、カメラ画像から特徴点が検出され、時系列のカメラ画像内で特徴点が移動する移動方向と移動量とが算出される。特徴点とは、周囲の画像領域に輝度変化がある点のことである。特徴点は、コーナー検出等の手法を用いて検出される。疎のオプティカルフローを算出する方法の一例としては、ＫＬＴ法が挙げられる。「ＫＬＴ」は、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉの略語である。密なオプティカルフローを算出する方法では、カメラ画像の全画素の移動ベクトルが算出される。密なオプティカルフローを算出する方法の一例としては、非特許文献３に記載の方法が挙げられる。

ステップＳ３０５において、判定部４２は、第２車両５２と荷物５３との分離判別処理を開始し、ステップＳ３０４で算出された移動ベクトルを参照して下向きの移動ベクトルが発生しているか否かを判定する。下向きの移動ベクトルが発生している場合には、判定部４２は、ステップＳ３０１で算出されたデプス画像６１を参照して車間距離が短くなっているか否かを判定する。

ステップＳ３０６において、判定部４２は、ステップＳ３０５で下向きの移動ベクトルが発生しているが車間距離は短くなっていないと判定していれば、荷物５３が落下したことに起因して下向きの移動ベクトルが発生したと推定し、第２車両５２と荷物５３とが分離したと判定してステップＳ３０７へ進む。判定部４２は、ステップＳ３０５で下向きの移動ベクトルが発生していないと判定したか、下向きの移動ベクトルが発生しており、車間距離が短くなっていると判定していれば、第２車両５２と荷物５３とが分離していないと判定してステップＳ３０１へ戻る。

このように、判定部４２は、取得部４１で算出されたデプス画像６１の時系列変化と、算出部４６で算出された移動ベクトルとを参照して、第２車両５２と荷物５３との分離を判別する。移動ベクトルは、時系列のカメラ画像内に移動する物体があれば発生する。第２車両５２から荷物５３が落下して移動した場合にも移動ベクトルは発生するが、第１車両５１と第２車両５２との車間距離が変化した場合にも移動ベクトルは発生する。よって、移動ベクトルが荷物５３の落下によるものか、車間距離の変化によるものかを判定する必要がある。

図１２から図１５に時系列のカメラ画像およびカメラ画像から算出された移動ベクトルの例を示す。

第１車両５１と第２車両５２との車間距離が短くなると、通常は、図１２の例のように、第２車両５２の画像領域内に下向きの移動ベクトルが発生する。車間距離が長くなると、通常は、図１３の例のように、第２車両５２の画像領域内に上向きの移動ベクトルが発生する。車間距離の変化は、デプス画像６１からも算出可能である。よって、判定部４２は、デプス画像６１を参照して車間距離が短くなっていないと判定したのに、図１４の例のように、下向きの移動ベクトルが発生している場合は、第２車両５２と荷物５３とが分離したと判定する。判定部４２は、デプス画像６１を参照して車間距離が短くなっていると判定したときに、下向きの移動ベクトルが発生している場合は、下向きの移動ベクトルを車間距離の変化に起因するものと推定し、第２車両５２と荷物５３とが分離していないと判定する。

判定部４２は、車間距離の変化から下向きの移動ベクトルの変化量を算出し、その変化量よりも十分大きな下向きの移動ベクトルを検出した場合には、第２車両５２と荷物５３とが分離したと判定してもよい。

図１２から図１５の例を詳しく説明する。

図１２は、車間距離が短くなる際に通常発生する移動ベクトルを示す。図１２の左上図は、時刻Ｔ１のカメラ画像７１を示す。図１２の右上図は、時刻Ｔ１＋１のカメラ画像７２を示す。図１２の下図は、時刻Ｔ１のカメラ画像７１と時刻Ｔ１＋１のカメラ画像７２とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離が短くなると、第２車両５２の画像領域が撮影画像内を下向きに移動するので、下向きの移動ベクトルが発生する。

図１３は、車間距離が長くなる際に通常発生する移動ベクトルを示す。図１３の左上図は、時刻Ｔ２のカメラ画像７３を示す。図１３の右上図は、時刻Ｔ２＋１のカメラ画像７４を示す。図１３の下図は、時刻Ｔ２のカメラ画像７３と時刻Ｔ２＋１のカメラ画像７４とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離が長くなると、第２車両５２の画像領域が撮影画像内を上向きに移動するので、上向きの移動ベクトルが発生する。

図１４は、荷物５３の落下に伴う移動ベクトルを示す。図１４の左上図は、時刻Ｔ３のカメラ画像７５を示す。図１４の右上図は、時刻Ｔ３＋１のカメラ画像７６を示す。図１４の下図は、時刻Ｔ３のカメラ画像７５と時刻Ｔ３＋１のカメラ画像７６とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離は変化なしとする。第２車両５２から荷物５３が落下すると、荷物５３の画像領域が撮影画像内を下向きに移動するので、下向きの移動ベクトルが発生する。

このように、判定部４２は、車間距離をデプス画像６１から算出可能であるので、車間距離が長くなったか、または、変化がないときに下向きの移動ベクトルを検知した場合は、第２車両５２から荷物５３が落下したと判定する。

第２車両５２から落下した荷物５３は、路面と衝突して跳ね上がることがある。

図１５は、荷物５３の跳ね上がりに伴う移動ベクトルを示す。図１５の左上図は、時刻Ｔ４のカメラ画像７７を示す。図１５の右上図は、時刻Ｔ４＋１のカメラ画像７８を示す。図１５の下図は、時刻Ｔ４のカメラ画像７７と時刻Ｔ４＋１のカメラ画像７８とから算出された移動ベクトルを示す。第１車両５１と第２車両５２との車間距離は変化なしとする。荷物５３が跳ね上がると、荷物５３の画像領域が撮影画像内を上向きに移動するので、上向きの移動ベクトルが発生する。

このように、判定部４２は、車間距離をデプス画像６１から算出可能であるので、車間距離が短くなったか、または、変化がないときに上向きの移動ベクトルを検知した場合は、第２車両５２から荷物５３が落下し、その後に跳ね上がったと判定してもよい。すなわち、判定部４２は、車間距離の変化による移動ベクトルとは異なる方向の移動ベクトルを、第２車両５２の画像領域内から検出した場合には、第２車両５２から荷物５３が分離したと判定してもよい。

ステップＳ３０７の処理については、実施の形態１におけるステップＳ１０７の処理と同じであるため、具体的な説明を省略する。

ステップＳ３０８の処理については、実施の形態１におけるステップＳ１０８の処理と同じであるため、具体的な説明を省略する。

以上の動作により、第２車両５２から荷物５３が落下した場合であっても、落下中の荷物５３を即時に検知可能となり、落下物との衝突を回避できる。

＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、実施の形態１と同様に、前方車両および前方車両の周辺のデプス画像６１を用いて、前方車両の荷物５３が前方車両と異なる動きをしていないか判定した結果をもとに、荷物５３の落下が検知される。そのため、前方車両からの荷物５３の落下を即時に検知することができる。

本実施の形態では、実施の形態１と異なり、カメラ２４が必要であるものの、ミリ波センサ等の距離センサが不要である。なお、デプスセンサ２２とは別にカメラ２４が備えられる代わりに、デプスセンサ２２の構成要素を兼ねるようにカメラ２４が備えられてもよい。

＊＊＊他の構成＊＊＊
本実施の形態では、取得部４１、判定部４２、検知部４３および算出部４６の機能がソフトウェアにより実現されるが、変形例として、取得部４１、判定部４２、検知部４３および算出部４６の機能がハードウェアにより実現されてもよい。この変形例について、主に本実施の形態との差異を説明する。

図１６を参照して、本実施の形態の変形例に係る落下物検知装置１１を備える車載システム１０の構成を説明する。

この例では、落下物検知装置１１は、電子回路１６およびセンサＩＯ１２といったハードウェアを備える。

電子回路１６は、取得部４１、判定部４２、検知部４３および算出部４６の機能を実現する専用のハードウェアである。電子回路１６は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＦＰＧＡ、ＡＳＩＣ、または、これらのうちいくつか、もしくは、すべての組み合わせである。

別の変形例として、取得部４１、判定部４２、検知部４３および算出部４６の機能がソフトウェアとハードウェアとの組み合わせにより実現されてもよい。すなわち、取得部４１、判定部４２、検知部４３および算出部４６の機能の一部が専用のハードウェアにより実現され、残りがソフトウェアにより実現されてもよい。

プロセッサ１３および電子回路１６は、いずれも処理回路である。すなわち、落下物検知装置１１の構成が図１０および図１６のいずれに示した構成であっても、取得部４１、判定部４２、検知部４３および算出部４６の動作は、処理回路により行われる。

実施の形態１から実施の形態３のうち２つ以上の実施の形態を組み合わせて実施する場合、車間距離に応じて実施の形態を使い分けてもよい。一例として、車間距離が遠い場合には実施の形態１の動作を適用し、車間距離が短い場合には実施の形態２の動作を適用することで誤判定の発生を抑制しやすくなる。

１０ 車載システム、１１ 落下物検知装置、１２ センサＩＯ、１３ プロセッサ、１４ メモリ、１５ ＲＯＭ、１６ 電子回路、２１ センサデバイス、２２ デプスセンサ、２３ 距離センサ、２４ カメラ、３１ 車両制御ユニット、３２ 車両制御バスインタフェース、３３ センサＥＣＵ、３４ 車両ＥＣＵ、４１ 取得部、４２ 判定部、４３ 検知部、４４ 計測部、４５ 算出部、４６ 算出部、５１ 第１車両、５２ 第２車両、５３ 荷物、６１ デプス画像、７１ カメラ画像、７２ カメラ画像、７３ カメラ画像、７４ カメラ画像、７５ カメラ画像、７６ カメラ画像、７７ カメラ画像、７８ カメラ画像。

Claims (12)

1. 第１車両に搭載して使用される落下物検知装置であって、
   荷物を載せて前記第１車両の前方を走行している第２車両および前記第２車両の周辺のデプス画像を取得する取得部と、
   前記取得部により取得されたデプス画像を用いて、前記荷物が前記第２車両と異なる動きをしていないか判定する判定部と、
   前記判定部による判定の結果をもとに、前記荷物の落下を検知する検知部と
   を備える落下物検知装置。
2. 距離センサを用いて、前記第２車両までの距離を計測する計測部をさらに備え、
   前記判定部は、前記デプス画像を参照して、道路を除き最も近い物体までの距離を算出し、算出した距離と、前記計測部により計測された距離とを比較し、距離の差が閾値を超えている場合に、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
3. 前記計測部は、前記距離センサとしてミリ波センサを用いる請求項２に記載の落下物検知装置。
4. 前記判定部は、前記取得部により取得された複数時点のデプス画像間でデプス値が変化している画像領域を算出し、算出した画像領域の大きさが前記第２車両に相当する大きさと異なっている場合に、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
5. 前記判定部は、前記取得部により取得された複数時点のデプス画像における、前記第２車両の画像領域間でのデプス値の変化量と、前記荷物の画像領域間でのデプス値の変化量とを比較し、変化量の差が閾値を超えている場合に、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
6. 前記判定部は、前記変化量の差が前記閾値を下回っている場合でも、前記変化量の差によって、前記荷物が固定されていないと判定し、
   前記検知部は、前記荷物が固定されていないと前記判定部により判定された場合、前記第１車両と前記第２車両との間の距離を空ける制御を行う請求項５に記載の落下物検知装置。
7. 前記第２車両および前記第２車両の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する算出部をさらに備え、
   前記判定部は、前記取得部により取得された前記複数時点のデプス画像を参照して、前記第２車両までの距離が長くなっているか判定し、距離が長くなっている場合に、前記算出部により算出された移動ベクトルが下向きのベクトルであれば、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
8. 前記第２車両および前記第２車両の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する算出部をさらに備え、
   前記判定部は、前記取得部により取得された前記複数時点のデプス画像を参照して、前記第２車両までの距離が長くなっているか判定し、前記距離が短くなっている場合に、前記算出部により算出された移動ベクトルが下向きのベクトルであり、ベクトルの大きさが閾値を超えていれば、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
9. 前記第２車両および前記第２車両の周辺を撮影して得られた複数時点のカメラ画像間での物体の動きを表す移動ベクトルを算出する算出部をさらに備え、
   前記判定部は、前記取得部により取得された前記複数時点のデプス画像を参照して、前記第２車両までの距離が長くなっているか判定し、距離が短くなっている場合に、前記算出部により算出された移動ベクトルが上向きのベクトルであれば、前記荷物が前記第２車両と異なる動きとして前記第２車両から分離する動きをしたと判定する請求項１に記載の落下物検知装置。
10. 請求項１から９のいずれか１項に記載の落下物検知装置と、
    前記第１車両の運転を制御する車両制御ユニットと
    を備える車載システム。
11. 請求項１から９のいずれか１項に記載の落下物検知装置が搭載された車両。
12. 第１車両に搭載して使用されるコンピュータに、
    荷物を載せて前記第１車両の前方を走行している第２車両および前記第２車両の周辺のデプス画像を取得する取得処理と、
    前記取得処理により取得されたデプス画像を用いて、前記荷物が前記第２車両と異なる動きをしていないか判定する判定処理と、
    前記判定処理による判定の結果をもとに、前記荷物の落下を検知する検知処理と
    を実行させる落下物検知プログラム。

Images