JP2018097766A - 画像処理装置、外界認識装置 - Google Patents

Abstract

【課題】自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知する。
【解決手段】画像処理装置１０は、車両検出部１０３と、特徴マップ検証部１０４と、時系列検証部１０５と、検出結果修正部１０６とを備える。車両検出部１０３は、カメラ２０で撮影して得られた撮影画像に基づく入力画像に対して畳み込み演算を行い、対象物すなわち他車両を検出する。特徴マップ検証部１０４は、車両検出部１０３の畳み込み演算によって得られる特徴マップに基づいて、入力画像に他車両が含まれる確からしさを検証する特徴マップ検証を行う。時系列検証部１０５は、特徴マップ検証部１０４による特徴マップ検証の結果を時系列で検証する時系列検証を行う。検出結果修正部１０６は、時系列検証部１０５による時系列検証の結果に基づいて、車両検出部１０３による他車両の検出結果を修正する。
【選択図】図１

Description

本発明は、画像処理装置および外界認識装置に関する。

近年、車両同士の衝突や人と車両の衝突などの事故を未然に避けるため、自車両周辺の状況を車載カメラでモニタし、危険を感知した際はドライバーに警報を出力すると共に、自車両の挙動を自動で制御する技術が進展している。こうした自車両の予防安全や自動運転制御のためには、自車両の周辺に存在する車両を観測対象として、その接近を常に監視し続ける必要がある。このような技術において、車載カメラで撮影された画像には、観測対象とする車両以外にも、背景に周辺構造物などの様々なものが映り込んでいる。そのため、観測対象を正確に特定して検知するのは困難であり、誤検知が発生する要因となっていた。

上記のような画像中の背景に起因する誤検知を解決する手法として、画像において車両が走行可能な路面領域を認識し、その路面領域に対して車両検知を実行することが提案されている。これに関して、たとえば特許文献１には、ステレオカメラで撮影した視差画像から階調図を作成し、この階調図を用いて画像中の道路面を特定することで、車両が走行可能な領域か否かを判断する方法が開示されている。

特開２０１４−６７４０７号公報

特許文献１に記載されているような階調図は一般的に表現可能な情報のダイナミックレンジが狭く、また周囲の明るさの影響を受けやすい。したがって、特許文献１の手法では、画像中の道路面を正確に特定することが難しい場合があり、このような場合は、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知するのは困難である。

本発明による画像処理装置は、カメラで撮影して得られた撮影画像に基づく入力画像に対して畳み込み演算を行い、対象物を検出する対象物検出部と、前記畳み込み演算によって得られる特徴マップに基づいて、前記入力画像に前記対象物が含まれる確からしさを検証する特徴マップ検証を行う特徴マップ検証部と、前記特徴マップ検証部による前記特徴マップ検証の結果を時系列で検証する時系列検証を行う時系列検証部と、前記時系列検証部による前記時系列検証の結果に基づいて、前記対象物検出部による前記対象物の検出結果を修正する検出結果修正部と、を備える。
本発明による外界認識装置は、画像処理装置を備え、前記検出結果修正部により修正された前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。

本発明によれば、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知できる。

本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。 撮影画像の歪み補正処理を示す図である。 優先方向を設定する際に用いる設定テーブルの一例を示す図である。 検出器を生成する際に用いられる学習用画像の例を示す図である。 深層学習型の車両検知器の構成の一例を示す図である。 深層学習型の車両検知器において畳み込み層ごとに抽出される特徴マップの例を示す図である。 特徴マップ検証の一例を示す図である。 時系列検証の一例を示す図である。 本発明の第２の実施形態に係る外界認識装置の一例を示す図である。

−第１の実施形態−
以下、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理装置１０の機能構成を示すブロック図である。図１に示す画像処理装置１０は、車両に搭載されて用いられる。なお、以下の説明では、画像処理装置１０が搭載されている車両を「自車両」と称し、自車両の周囲に存在する他の車両を「他車両」と称する。

画像処理装置１０は、撮影領域に対応する自車両の所定の位置、たとえば自車両のボディに取り付けられたカメラ２０と接続されている。画像処理装置１０は、画像補正部１０１、優先方向選択部１０２、車両検出部１０３、特徴マップ検証部１０４、時系列検証部１０５および検出結果修正部１０６を備える。なお、図１に示す画像処理装置１０の各機能は、マイクロコンピュータ、メモリ等のハードウェアや、マイクロコンピュータ上で実行される各種プログラムなどを適宜組み合わせることにより、実現可能である。

カメラ２０は、自車両周辺に存在する他車両を動画で、または所定時間ごとに静止画で撮影し、取得した動画の各コマまたは各静止画を、所定時間ごとの撮影画像として画像補正部１０１へ出力する。なお、画像処理装置１０において他車両の認識を行いやすくするために、自車両の任意の箇所にカメラ２０を設置することができる。たとえば、自車両のフロントバンパー、リアバンパー、左右のサイドミラー等の部分に、カメラ２０が設置される。または、自車両の車内にカメラ２０を設置してもよい。さらに、自車両の周囲で特定の領域のみに存在する他車両の認識を目的として、カメラ２０を単独で設置してもよいし、あるいは、自車両の周囲の全ての領域について他車両を認識できるように、カメラ２０を複数設置してもよい。

本実施形態において、カメラ２０には魚眼カメラが用いられる。魚眼カメラとは、レンズ集光特性を通常のカメラで用いられるレンズよりも広角側に大きくずらした魚眼レンズを用いたカメラであり、撮影範囲が広いという利点がある。このように１個のカメラで広範囲を一度に撮影できることは、車両検知において画像処理の面で好ましい。一方、カメラ２０で得られる撮影画像はいわゆる魚眼画像となるため、自車両から遠方の位置に対応する撮影画像の上下左右端に近い領域になるほど歪みが大きく、解像度が低下する傾向がある。そのため、カメラ２０から入力される歪んだ撮影画像のままでは、車両検知に適さないという問題がある。

そこで、上記の問題点を解消するために、カメラ２０で得られた撮影画像は、画像処理装置１０において画像補正部１０１に入力される。画像補正部１０１は、カメラ２０から入力された撮影画像（魚眼画像）に対して歪み補正処理を行うことで、撮影画像を車両検知に適した歪みのない画像へと変換する。画像補正部１０１による歪み補正処理では、たとえば、既知の魚眼レンズの歪特性を用いて撮影画像を実際の空間写像に変換する非線形局部幾何補正法や、魚眼レンズの歪特性を簡易的に表現した歪係数を用いて撮影画像を補正する線形局部幾何補正法などを用いることができる。なお、歪み補正処理ではこれ以外のアルゴリズムを選択しても問題ない。

図２は、画像補正部１０１による撮影画像の歪み補正処理を示す図である。図２（ａ）は、自車両の右サイドミラーに設置したカメラ２０で撮影して得られた魚眼画像の一例である。この魚眼画像では、左側部分が前方すなわち自車両のフロント方向に相当し、右側部分が後方すなわち自車両のリア方向に相当する。図２（ａ）において、画像中央部には路面２０４が、画像上部には空などの背景２０５が、画像下部には自車両のボディ２０３がそれぞれ映り込んでおり、さらに、自車両後方から接近している他車両２０２が映り込んでいる。

画像補正部１０１は、図２（ａ）のような魚眼画像に対して、たとえば他車両２０２を含む領域を補正対象領域２０１として設定し、この補正対象領域２０１内の画像部分に対して歪み補正処理を行う。図２（ｂ）は、図２（ａ）の補正対象領域２０１に対して歪み補正処理を行って得られた補正画像の一例である。この補正画像では、他車両２０２、路面２０４、背景２０５がそれぞれ実際の空間写像と同等に見えるように補正されている。

なお、図２の例では、他車両２０２の周囲に補正対象領域２０１を設定して歪み補正処理を行う場合を説明したが、画像補正部１０１は、撮影画像内の任意の領域を補正対象領域として歪み補正処理を行うことができる。また、撮影画像内に複数の補正対象領域を設定し、それぞれに対して歪み補正処理を行うようにしてもよい。さらに、撮影画像内で歪みの小さな部分を用いて車両検知を行う場合や、カメラ２０を魚眼カメラではない通常のカメラとした場合などは、画像補正部１０１において歪み補正処理を行わないようにしてもよい。この場合、画像処理装置１０は画像補正部１０１を備えなくてもよい。

優先方向選択部１０２は、自車両の走行状態に基づいて、検知対象物である他車両を優先的に検知すべき方向である優先方向を設定する。自車両の走行状態を判断するために、優先方向選択部１０２には、自車両の走行モードを示す信号が入力されている。

図３は、優先方向選択部１０２が優先方向を設定する際に用いる設定テーブルの一例を示す図である。図３の設定テーブルにおいて、自車両の走行モードには、前進、後退、駐車支援が含まれる。また、図３の設定テーブルでは、一般道路と高速道路とでそれぞれ異なる優先方向が示されている。優先方向選択部１０２は、たとえば自車両に搭載されている車両制御用のＣＰＵから自車両の走行モードを示す信号を取得することで、自車両の走行モードがいずれであるかを判断すると共に、自車両が一般道路と高速道路のどちらの道路を走行しているかを判断することができる。

優先方向選択部１０２は、図３の設定テーブルに基づいて、自車両の走行モードおよび走行道路に応じた優先方向を設定する。たとえば自車両の走行モードが前進の場合、優先方向選択部１０２は、走行道路が一般道路と高速道路のどちらであっても、自車両の後方を優先方向に設定する。すなわち、自車両が前進しているときには、走行道路の種類に関わらず、自車両の後方から接近してくる他車両を優先的に検知できるように、自車両の後方を優先方向として設定する。

一方、自車両の走行モードが後退の場合、優先方向選択部１０２は、走行道路が一般道路であれば自車両の後方を優先方向に設定し、走行道路が高速道路であれば自車両周囲の全方向を優先方向に設定する。すなわち、自車両が一般道路上で後退しているときには、前進時と同様に、自車両の後方から接近してくる他車両を優先的に検知できるように、自車両の後方を優先方向として設定する。また、通常は自車両が高速道路上（パーキングエリアを除く）で後退することは想定されないが、万が一そのような事態が生じたときには危険度が十分高いため、自車両周囲の全方向を優先方向として設定することで、撮影画像全体を用いて他車両を検知できるようにする。

さらに、自車両の走行モードが駐車支援の場合、優先方向選択部１０２は、走行道路が一般道路であれば自車両の前方および後方を優先方向に設定し、走行道路が高速道路であれば自車両周囲の全方向を優先方向に設定する。すなわち、自車両が一般道路上で駐車支援を利用した縦列駐車発進を行うときには、自車両の前方や後方から接近してくる他車両を優先的に検知できるように、自車両の前方および後方を優先方向として設定する。また、通常は自車両が高速道路上（パーキングエリアを除く）で駐車することは想定されないが、万が一そのような事態が生じたときには危険度が十分高いため、後退時と同様に、自車両周囲の全方向を優先方向として設定することで、撮影画像全体を用いて他車両を検知できるようにする。

上記のように優先方向を設定したら、優先方向選択部１０２は、その設定結果に基づいて、検知対象物である他車両を検知するための車両検知領域を入力画像内に設定する。このとき優先方向選択部１０２は、自車両に対して設定された優先方向を考慮して車両検知領域を設定する。なお、優先方向が設定されていない場合は、入力画像内で予め定められた領域を車両検知領域に設定してもよいし、入力画像の全体を車両検知領域に設定してもよい。

車両検出部１０３は、カメラ２０で撮影されて画像補正部１０１により歪み補正処理が行われた画像が入力されると、この入力画像から自車両の周囲に存在する検出対象物である他車両を検知する。車両検出部１０３は、優先方向選択部１０２が入力画像内で車両検知領域に設定した部分に対して所定の車両検知処理を実行することにより、車両検知領域内に映り込んでいる他車両を検知する。具体的には、車両検出部１０３は、機械学習の一手法である深層学習（Deep Learning）の手法を適用した検出器を利用して、車両検知領域内の画像が車両としての特徴を有するか否かを判断する２クラス検出を実施することにより、他車両を検知することができる。

図４は、車両検出部１０３の検出器を生成する際に用いられる学習用画像の例を示す図である。図４（ａ）は、車両の学習用画像の例であり、図４（ｂ）〜図４（ｅ）は、非車両の学習用画像の例である。図４（ａ）の学習用画像では、車両３００が映り込んでいるのに対して、図４（ｂ）〜図４（ｅ）の学習用画像では、車両以外の被写体が映り込んでいる。具体的には、図４（ｂ）の学習用画像には路面３０１が、図４（ｃ）の学習用画像には樹木３０２が、図４（ｄ）の学習用画像には建物３０３が、図４（ｅ）の学習用画像には人物３０４がそれぞれ映り込んでいる。非車両の学習用画像では、上記の例に限らず、車両以外であればどのような被写体が映り込んでいてもよい。

なお、非車両の学習用画像では、実際の車両走行シーンで出現頻度の高い被写体が映り込んでいる画像を用いることが好ましい。また、車両の学習用画像も同様に、出現頻度の高い車両が映り込んでいる画像を用いることが好ましい。ただし、こうした学習用画像の収集が困難な場合は、出現頻度が低くても外観が似ている被写体が映り込んでいる画像を混在させても構わない。

ところで、車両検出部１０３において利用される深層学習とは、一般に、検知対象とする対象物の画像を複数枚入力して、そこから対象物を表現する画像特徴を抽出すると共に、未知の入力画像に対しては、学習した画像特徴を検出して識別できるように識別器のパラメータを自動設定する処理手法のことである。深層学習では、入力された複数画像が共通して持つ画像の特徴パラメータを細分して自動的に抽出することができる。また、特徴パラメータの抽出方法の一例としては、ニューラルネットワーク構造を用いた特徴抽出方法が知られている。ニューラルネットワーク構造では、入力画像群に共通な画像特徴に一致したときにのみ反応する、ニューロン・ユニットと呼ばれる入出力関数（活性化関数）が、小画像領域毎に多数組み合わされており、さらにこれが複数の層状に積み重ねられてピラミッド構造になっている。この方法によれば、検知対象とする対象物の位置や画像サイズを変えながら、段階的に対象物を識別できるようにニューロン・ユニットの各層毎に識別器パラメータを抽出して、最終的には、対象物全体を識別可能な識別器パラメータを得ることができる。

図５は、車両検出部１０３における深層学習型の車両検知器の構成の一例を示す図である。車両検出部１０３において他車両を検知するのに用いられる深層学習型の車両検知器は、畳み込み層とプーリング層の組み合わせを複数段、たとえば図５に示すように３段接続して構成される。図５において、１段目の畳み込み層５０１は、車両検出部１０３に入力された画像のうち優先方向選択部１０２により設定された車両検知領域内の部分に対応する画像データに対して畳み込み演算を実行し、１段目の特徴マップ５０９を抽出する。１段目のプーリング層５０２は、畳み込み層５０１が抽出した特徴マップ５０９を集約してデータサイズを縮小する。２段目の畳み込み層５０３は、プーリング層５０２が集約した特徴マップ５０９のデータに対して畳み込み演算を実行し、２段目の特徴マップ５１０を抽出する。２段目のプーリング層５０４は、畳み込み層５０３が抽出した特徴マップ５１０を集約してデータサイズを縮小する。３段目の畳み込み層５０５は、プーリング層５０４が集約した特徴マップ５１０のデータに対して畳み込み演算を実行し、３段目の特徴マップ５１１を抽出する。３段目のプーリング層５０６は、畳み込み層５０５が抽出した特徴マップ５１１を集約してデータサイズを縮小する。全体結合層５０７は、プーリング層５０６が集約した特徴マップ５１１のデータと、予め深層学習によって取得した識別器パラメータとを照合することで、入力画像が他車両であるか否かを識別し、その識別結果を出力する。これにより、車両検出部１０３において入力画像から検出対象物の他車両が検出される。

なお、図５では畳み込み層とプーリング層を３段接続した車両検知器の例を示したが、車両検出部１０３において車両検知器を構成する畳み込み層とプーリング層の段数はこれに限定されない。

図６は、図５に例示した深層学習型の車両検知器において畳み込み層ごとに抽出される特徴マップの例を示す図である。なお、深層学習型の車両検知器を構成する畳み込み層のフィルタサイズおよびフィルタ係数とプーリング層の集約係数とは、それぞれ任意に設計できるが、ここでは説明のために一例として、それぞれ以下のように設定する。

以下に説明する例では、車両検知器への入力画像６００のサイズが３２×３２画素であり、図５に示した１段目の畳み込み層５０１のフィルタ係数が、図６の符号６０１に示すように、Ｋ１〜Ｋ１６の１６個のフィルタ係数によって構成されているとする。また、２段目の畳み込み層５０３のフィルタ係数が、図６の符号６０２に示すように、Ｋ１７〜Ｋ２４の８個のフィルタ係数によって構成されているとする。さらに、３段目の畳み込み層５０５のフィルタ係数が、図６の符号６０３に示すように、Ｋ２５〜Ｋ２８の４個のフィルタ係数によって構成されているとする。そして、図５に示した１〜３段目のプーリング層５０２、５０４、５０６の集約係数が、それぞれ１／２に設定されているとする。

上記のパラメータ条件の場合、１段目の畳み込み層５０１において、入力画像６００に対して１６個のフィルタ係数Ｋ１〜Ｋ１６を用いた畳み込み演算が行われる。その結果、１段目の特徴マップ５０９として、３２×３２個の特徴データの集合ブロックを１６種類組み合わせたデータが得られる。次に、１段目のプーリング層５０２において、特徴マップ５０９について集約係数＝１／２のプーリングが行われると、データサイズが半分になり、１６×１６個の特徴データの集合ブロックを１６種類組み合わせたデータが得られる。これにより、特徴マップ５０９が、データサイズが半分の特徴マップ６０４に変換される。

続いて、２段目の畳み込み層５０３において、特徴マップ６０４に対して８個のフィルタ係数Ｋ１７〜Ｋ２４を用いた畳み込み演算が行われる。その結果、２段目の特徴マップ５１０として、１６×１６個の特徴データの集合ブロックを８種類組み合わせたデータが得られる。次に、２段目のプーリング層５０４において、特徴マップ５１０について集約係数＝１／２のプーリングが行われると、データサイズが半分になり、８×８個の特徴データの集合ブロックを８種類組み合わせたデータが得られる。これにより、特徴マップ５１０が、データサイズが半分の特徴マップ６０５に変換される。

さらに、３段目の畳み込み層５０５において、特徴マップ６０５に対して４個のフィルタ係数Ｋ２５〜Ｋ２８を用いた畳み込み演算が行われる。その結果、３段目の特徴マップ５１１として、８×８個の特徴データの集合ブロックを４種類組み合わせたデータが得られる。次に、３段目のプーリング層５０６において、特徴マップ５１１について集約係数＝１／２のプーリングが行われると、データサイズが半分になり、４×４個の特徴データの集合ブロックを４種類組み合わせたデータが得られる。これにより、特徴マップ５１１が、データサイズが半分の特徴マップ６０６に変換される。

車両検出部１０３では、以上説明したように、入力画像に対して複数回の畳み込み演算を行い、検知対象物である他車両を検出する。車両検出部１０３は、他車両の検出結果として、たとえば入力画像内に設定された車両検知領域において他車両の画像の有無を示す情報を、特徴マップ検証部１０４および検出結果修正部１０６に出力する。
ところで、各畳み込み層の畳み込み演算で使用するフィルタ係数とは、画像認識に重要な縦線、横線、斜め線または曲線などの画像特徴に強く反応して、その反応した画像特徴成分のみを抽出するように設定された画像特徴抽出のフィルタ数値群のことである。例えば、車両検知の例では入力画像に映る車両を構成する画像特徴成分（車両全体のアウトライン、ボンネット部分のライン、フロントウインドウ部分のライン、車両ボディーの濃淡状態など）を抽出できるようにフィルタ係数を設計する。機械学習を用いたフィルタ設計においては、入力した画像の大多数に含まれる共通な画像成分を獲得することができる。このため、準備段階である画像学習時に車両が映る複数の入力画像を学習させることで、車両を構成する代表的な画像特徴成分を自動的に抽出可能であり、これを畳み込み演算のフィルタ係数として用いる。

特徴マップ検証部１０４は、車両検出部１０３の畳み込み演算によってそれぞれ得られた特徴マップに基づいて、入力画像に他車両が含まれる確からしさを検証する特徴マップ検証を行う。特徴マップ検証部１０４は、特徴マップを構成する複数のブロックの各々について、検知対象物である他車両の特徴を示すか否かを判定し、その判定結果を予め記憶された配置パターンと比較することで、特徴マップ検証を行う。

車両検出部１０３において用いられる前述のような深層学習型の車両検知器によって得られる特徴マップでは、全てのブロックに検知対象物である他車両の特徴を示すデータが存在することが望ましい。しかし、入力画像によっては、他車両が検出された場合であっても、他車両の特徴を示すデータが存在しないか、または他車両の特徴を示す度合い（特徴レベル）の値が低いブロックが特徴マップ内に含まれる場合がある。また、このような場合には、他車両の特徴が出現しないブロックの特徴マップ内の配置が他車両の種類ごとに類似する傾向がある。そこで本発明では、特徴マップ検証部１０４において、こうした他車両の特徴が出現しないブロックの特徴マップ内の配置に基づき、入力画像に他車両が含まれる確からしさを検証する特徴マップ検証を行う。

図７は、特徴マップ検証部１０４による特徴マップ検証の一例を示す図である。以下では、図５および６で説明した深層学習型の車両検知器によって得られる特徴マップ５０９〜５１１が、それぞれ図７（ａ）、図７（ｂ）、図７（ｃ）に示すような状態であった場合を例として、特徴マップ検証の動作を説明する。

図７（ａ）の特徴マップ５０９において、斜線で示したブロック６０１に代表される各ブロックは、検知対象物である他車両の特徴を示す有効な特徴レベルが得られたブロック（有効ブロック）である。一方、それ以外のブロック６０２に代表される各ブロックは、他車両の特徴を示す有効な特徴レベルが得られなかったブロック（無効ブロック）である。図７（ａ）では、有効な特徴レベルが出現しなかった無効ブロックは、Ａ〜Ｈで示した８個のブロックである。

図７（ｂ）の特徴マップ５１０および図７（ｃ）の特徴マップ５１１についても同様に、斜線で示した各ブロックは有効ブロックを表し、それ以外の各ブロックは無効ブロックを表している。図７（ｂ）では、有効な特徴レベルが出現しなかった無効ブロックは、Ｉ、Ｊ、Ｋで示した３個のブロックである。図７（ｃ）では、有効な特徴レベルが出現しなかった無効ブロックは、Ｌで示した１個のブロックである。

特徴マップ検証部１０４は、車両検出部１０３における深層学習型の車両検知器を構成する図５の畳み込み層５０１、５０３、５０５のそれぞれに対応する特徴マップの配置パターンを予め記憶している。この特徴マップの配置パターンは、当該特徴マップにおいて他車両の特徴を示す有効ブロックとそうでない無効ブロックとがそれぞれ出現する位置のパターンを表している。特徴マップ検証部１０４は、車両検出部１０３によって上記の特徴マップ５０９〜５１１が抽出されたら、各特徴マップを予め記憶した配置パターンと比較し、その比較結果に基づいて、入力画像に他車両が含まれる確からしさを検証する。具体的には、特徴マップ５０９〜５１１における有効ブロックと無効ブロックの配置がそれぞれに対応する配置パターンと一致していれば、車両検出部１０３の畳み込み演算によって得られた特徴マップが他車両の存在を示す確率が高いと判断する。この場合、特徴マップ検証部１０４は信号値を「ＴＲＵＥ」とした特徴マップ検証信号を出力する。反対に、特徴マップ５０９〜５１１における有効ブロックと無効ブロックの配置がそれぞれに対応する配置パターンと一致しなければ、車両検出部１０３の畳み込み演算によって得られた特徴マップが他車両の存在を示す確率が低いと判断する。この場合、特徴マップ検証部１０４は信号値を「ＦＡＬＳＥ」とした特徴マップ検証信号を出力する。

なお、特徴マップ検証部１０４は、優先方向選択部１０２により設定された優先方向に基づいて、上記の特徴マップの比較に用いる配置パターンを決定することが好ましい。これは、優先方向に応じて車両検知領域が設定されるため、優先方向が異なると車両検知領域内に映り込む他車両の画像が変化し、それによって得られる特徴マップも変化する可能性があるからである。たとえば、特徴マップ検証部１０４は、優先方向ごとに配置パターンを予め記憶しており、設定された優先方向に対応する配置パターンを選択して特徴マップと比較する。これにより、優先方向に応じて車両検知領域が変化しても、特徴マップ検証を正確に行うことができる。

時系列検証部１０５は、特徴マップ検証部１０４による特徴マップ検証の結果を時系列で検証する時系列検証を行う。この時系列検証では、特徴マップ検証部１０４から出力される特徴マップ検証信号の値の履歴に基づき、特徴マップ検証部１０４が行った特徴マップ検証の結果を必要に応じて以下のように一次修正する。

図８は、時系列検証部１０５による時系列検証の一例を示す図である。図８（ａ）は、特徴マップ検証部１０４から出力された特徴マップ検証信号がＮ回以上連続して「ＴＲＵＥ」であることを条件として、特徴マップが他車両の存在を示す確率が高いという特徴マップ検証の結果を時系列検証部１０５が確定する例を示したタイムチャートである。この条件では、特徴マップ検証信号の値が「ＦＡＬＳＥ」である場合が重視されるため、他車両の誤検出を抑制する傾向を強めることができる。なお、図８（ａ）の例ではＮ＝３としているが、Ｎの値は任意に設定可能である。

図８（ａ）の例において、特徴マップ検証部１０４は、時刻ｔ１〜ｔ３のタイムスロットで連続して「ＴＲＵＥ」の特徴マップ検証信号を出力する。その結果、時系列検証部１０５は、上記の条件を満たした時刻ｔ３のタイムスロットにおいて、特徴マップが他車両である確率が高いと判断し、信号値を「ＴＲＵＥ」とした時系列検証信号を出力する。一方、条件を満たさない他のタイムスロットでは、特徴マップが他車両である確率が低いと判断し、信号値を「ＦＡＬＳＥ」とした時系列検証信号を出力する。なお、ｔ５、ｔ７、ｔ８の各タイムスロットでは、特徴マップ検証部１０４から出力される特徴マップ検証信号の値は「ＴＲＵＥ」であるが、上記の条件を満たしていない。そのため、時系列検証部１０５は、特徴マップ検証部１０４による特徴マップ検証の結果を修正して、信号値を「ＦＡＬＳＥ」とした時系列検証信号を出力する。

図８（ｂ）は、特徴マップ検証部１０４から出力された特徴マップ検証信号において、直近の連続するＮ回のうちＭ回以上が「ＴＲＵＥ」であることを条件として、特徴マップが他車両の存在を示す確率が高いという特徴マップ検証の結果を時系列検証部１０５が確定する例を示したタイムチャートである。この条件では、特徴マップ検証信号の値が「ＴＲＵＥ」である場合が重視されるため、他車両の不検出を抑制する傾向を強めることができる。なお、図８（ｂ）の例ではＮ＝３、Ｍ＝２としているが、Ｎ、Ｍの値はそれぞれ任意に設定可能である。

図８（ｂ）の例において、特徴マップ検証部１０４は、時刻ｔ１〜ｔ３、ｔ５、ｔ７〜ｔ８の各タイムスロットで「ＴＲＵＥ」の特徴マップ検証信号を出力する。その結果、時系列検証部１０５は、上記の条件を満たした時刻ｔ３〜ｔ５、ｔ７〜ｔ９の各タイムスロットにおいて、特徴マップが他車両である確率が高いと判断し、信号値を「ＴＲＵＥ」とした時系列検証信号を出力する。なお、ｔ４、ｔ９の各タイムスロットでは、特徴マップ検証部１０４から出力される特徴マップ検証信号は「ＦＡＬＳＥ」であるが、上記の条件を満たしている。そのため、時系列検証部１０５は、特徴マップ検証部１０４による特徴マップ検証の結果を修正して、信号値を「ＴＲＵＥ」とした時系列検証信号を出力する。一方、条件を満たさない時刻ｔ６のタイムスロットでは、特徴マップが他車両である確率が低いと判断して、信号値を「ＦＡＬＳＥ」とした時系列検証信号を出力する。

なお、時系列検証部１０５における時系列検証の条件は、上記の例に限定されない。特徴マップ検証部１０４による特徴マップ検証の結果を時系列で検証することができるものであれば、任意の条件を設定可能である。

検出結果修正部１０６は、時系列検証部１０５による時系列検証の結果に基づいて、車両検出部１０３による他車両の検出結果を修正する。具体的には、たとえば検出結果修正部１０６は、車両検出部１０３から出力される他車両の検出結果の確からしさを示す検出スコアと、時系列検証部１０５から出力される時系列検証結果の確からしさを示す検証スコアとを加算することで、他車両の検出結果に対する総合スコアを算出する。そして、算出した総合スコアを所定の閾値と比較することで、他車両の検出結果を修正する。なお、これ以外の方法で他車両の検出結果の修正を行ってもよい。このようにして他車両の検出結果の修正を行った後、車両検知領域内に他車両を検知したという検出結果が得られたら、検出結果修正部１０６は、他車両が接近していることを表す車両接近信号を出力する。また、たとえば車両検出部１０３による他車両の検出結果と時系列検証部１０５による時系列検証の結果とが矛盾する状況が一定期間連続した場合など、正常な処理結果が得られない場合には、画像処理装置１０の処理に対する信頼性が低下している状況と判断し、検知ＦＡＩＬ信号を出力する。

以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。

（１）画像処理装置１０は、車両検出部１０３と、特徴マップ検証部１０４と、時系列検証部１０５と、検出結果修正部１０６とを備える。車両検出部１０３は、カメラ２０で撮影して得られた撮影画像に基づく入力画像に対して畳み込み演算を行い、対象物すなわち他車両を検出する。特徴マップ検証部１０４は、車両検出部１０３の畳み込み演算によって得られる特徴マップに基づいて、入力画像に他車両が含まれる確からしさを検証する特徴マップ検証を行う。時系列検証部１０５は、特徴マップ検証部１０４による特徴マップ検証の結果を時系列で検証する時系列検証を行う。検出結果修正部１０６は、時系列検証部１０５による時系列検証の結果に基づいて、車両検出部１０３による他車両の検出結果を修正する。このようにしたので、自車両の周辺に存在する他車両を撮影画像から正確に検知できる。

（２）車両検出部１０３は、図５および図６に示したように、入力画像に対して畳み込み演算を複数回行う。特徴マップ検証部１０４は、この複数回の畳み込み演算によって得られる複数の特徴マップ、たとえば図５および図６の特徴マップ５０９、５１０、５１１の各々について特徴マップ検証を行う。このようにしたので、車両検出部１０３が行う畳み込み演算の回数に応じて、入力画像に他車両が含まれる確からしさを正確に検証することができる。

（３）特徴マップ検証部１０４は、特徴マップを構成する複数のブロックの各々について対象物である他車両の特徴を示すか否かを判定することで、特徴マップ検証を行う。具体的には、特徴マップ検証部１０４は、図７で説明したように、特徴マップにおいて対象物である他車両の特徴を示すと判定されたブロックと、特徴マップにおいて対象物である他車両の特徴を示さないと判定されたブロックとの配置に基づいて、特徴マップ検証を行う。このようにしたので、特徴マップ検証を正確かつ容易に行うことができる。

（４）画像処理装置１０は、自車両に搭載されており、自車両の走行状態に基づいて対象物である他車両を優先的に検知すべき方向を設定する優先方向選択部１０２をさらに備える。特徴マップ検証部１０４は、上記のブロックの配置と予め記憶された配置パターンとの比較による比較結果に基づいて、特徴マップ検証を行う。このとき特徴マップ検証部１０４は、優先方向選択部１０２により設定された方向に基づいて、比較に用いる配置パターンを決定することができる。このようにすれば、設定された方向に応じて車両検知領域が変化しても、特徴マップ検証を正確に行うことができる。

−第２の実施形態−
図９は、本発明の第２の実施形態に係る外界認識装置の一例を示す図である。図９に示すように、本実施形態の外界認識装置９００は、第１の実施形態で説明した画像処理装置１０と、周辺認識部９０１、信号処理部９０２およびドライバー通知部９０３とを備える。外界認識装置９００は、画像処理装置１０と同様に自車両に搭載されたカメラ２０に接続されると共に、自車両に搭載された制御部９１１、メモリ９１２、自車両制御部９１３、ＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６およびカーナビゲーション装置９１７にも接続されている。なお、画像処理装置１０と他の各機器とは、自車両内の信号バスを介して互いに接続されている。

カメラ２０は、自車両周辺の撮影画像を取得し、外界認識装置９００内の画像処理装置１０に出力する。メモリ９１２は、カメラ２０が取得した撮像画像を一時的に保持する。制御部９１１は、カメラ２０と外界認識装置９００の間における撮影画像の入出力や、外界認識装置９００と自車両制御部９１３の間における車両制御信号の入出力を制御する。

画像処理装置１０は、第１の実施形態で説明したように、自車両の周囲に存在する他車両を検知し、その検知結果に基づく車両接近信号を周辺認識部９０１に出力する。また、他車両を検知するのが困難な状況のときには、検知ＦＡＩＬ信号を周辺認識部９０１に出力する。

周辺認識部９０１は、画像処理装置１０から車両接近信号が出力されると、これに基づいて、自車両の周囲環境を認識するための周辺認識処理を実行する。たとえば、カメラ２０の撮影画像を用いて自車両の近傍および遠方の周辺空間を解析し、バイクや自転車を含む他車両および歩行者の有無を認識したり、自車両の走行や駐車の妨げになる障害物体の有無を認識したりする。また、他車両や歩行者が自車両に急接近している場合にはこれを検知して自車両との衝突を予測したり、自車両と障害物との衝突を予測したりする。さらに、自車両が走行中に車線逸脱した場合に警報を出す車線逸脱警報処理や、自車両のドライバーの死角に人や他車両が入り込んでいた場合に警報を出す死角警報処理などを、周辺認識処理に含めてもよい。周辺認識部９０１は、周辺認識処理の実行結果に基づく検知結果や警報情報を信号処理部９０２に出力すると共に、自車両のドライバーに対する通知情報を必要に応じてドライバー通知部９０３に出力する。

信号処理部９０２は、周辺認識部９０１から出力された検知結果および警報情報に基づいて、自車両の動作を制御するための車両制御信号を生成し、自車両制御部９１３に送信する。自車両制御部９１３は、信号処理部９０２から受信した車両制御信号に基づいて自車両の動作を制御することで、他車両や歩行者との衝突を回避するために自車両を停止させたり、障害物との衝突を回避するために自車両の進行方向を変化させたりする。

ドライバー通知部９０３は、周辺認識部９０１から出力された通知情報に基づいて、自車両のドライバーに対する警告を行うための警報信号を生成し、ＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６、カーナビゲーション装置９１７のいずれかに送信する。ＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６、カーナビゲーション装置９１７の各機器は、ドライバー通知部９０３から受信した警報信号を受信すると、これに基づいて所定の表示や音声出力を行うことで、自車両のドライバーに対して、自車両に接近している他車両や歩行者、障害物等の存在を警告する。

なお、画像処理装置１０から検知ＦＡＩＬ信号が出力されているときには、画像処理装置１０において他車両を検知するのが困難であると判断されるため、周辺認識部９０１は画像処理装置１０の動作を一時的または連続して停止させることが好ましい。周辺認識部９０１は、画像処理装置１０に対してＯＮ／ＯＦＦ制御信号を出力することで、画像処理装置１０の動作を開始または停止させることができる。さらにこのとき、周辺認識部９０１からドライバー通知部９０３へ通知情報を出力し、これに基づいてドライバー通知部９０３が警報信号を生成してＬＥＤ９１４、スピーカ９１５、ディスプレイ９１６、カーナビゲーション装置９１７のいずれかに送信することで、画像処理装置１０の動作が停止していることを自車両のドライバーに通知してもよい。

以上説明した本発明の第２の実施形態によれば、外界認識装置９００は、画像処理装置１０を備える。また、周辺認識部９０１、信号処理部９０２およびドライバー通知部９０３により、画像処理装置１０内の検出結果修正部１０６により修正された他車両の検知結果に基づいて、自車両の運転者に対する警告を行うための警報信号および自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。このようにしたので、自車両の周囲環境を正確に認識することができる。

なお、以上説明した各実施の形態では、撮影画像から検知する対象物を自車両周囲に存在する他車両としたが、対象物はこれに限定されず、他の物体を対象物としてもよい。また、車両に搭載されたカメラ２０で取得した撮影画像を用いて対象物を検知する例を説明したが、撮影画像を取得するカメラは車両に搭載されたものに限らない。たとえば、街頭監視等に用いられるカメラなど、車載以外の様々な用途のカメラで取得された撮影画像を用いて、対象物を検知することができる。

以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

１０ 画像処理装置
２０ カメラ
１０１ 画像補正部
１０２ 優先方向選択部
１０３ 車両検出部
１０４ 特徴マップ検証部
１０５ 時系列検証部
１０６ 検出結果修正部
９００ 外界認識装置
９０１ 周辺認識部
９０２ 信号処理部
９０３ ドライバー通知部

Claims (8)

1. カメラで撮影して得られた撮影画像に基づく入力画像に対して畳み込み演算を行い、対象物を検出する対象物検出部と、
   前記畳み込み演算によって得られる特徴マップに基づいて、前記入力画像に前記対象物が含まれる確からしさを検証する特徴マップ検証を行う特徴マップ検証部と、
   前記特徴マップ検証部による前記特徴マップ検証の結果を時系列で検証する時系列検証を行う時系列検証部と、
   前記時系列検証部による前記時系列検証の結果に基づいて、前記対象物検出部による前記対象物の検出結果を修正する検出結果修正部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記対象物検出部は、前記入力画像に対して前記畳み込み演算を複数回行い、
   前記特徴マップ検証部は、複数回の前記畳み込み演算によって得られる複数の前記特徴マップの各々について前記特徴マップ検証を行う画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記特徴マップは、複数のブロックで構成され、
   前記特徴マップ検証部は、前記特徴マップを構成する前記複数のブロックの各々について前記対象物の特徴を示すか否かを判定することで、前記特徴マップ検証を行う画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記特徴マップ検証部は、前記特徴マップにおいて前記対象物の特徴を示すと判定されたブロックと、前記特徴マップにおいて前記対象物の特徴を示さないと判定されたブロックとの配置に基づいて、前記特徴マップ検証を行う画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記画像処理装置は自車両に搭載されており、
   前記対象物は前記自車両の周囲に存在する他車両である画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記自車両の走行状態に基づいて前記対象物を優先的に検知すべき方向を設定する優先方向選択部をさらに備え、
   前記特徴マップ検証部は、前記配置と予め記憶された配置パターンとの比較による比較結果に基づいて前記特徴マップ検証を行い、
   前記特徴マップ検証部は、前記優先方向選択部により設定された方向に基づいて、前記比較に用いる前記配置パターンを決定する画像処理装置。
7. 請求項１から請求項３までのいずれか一項に記載の画像処理装置において、
   前記画像処理装置は自車両に搭載されており、
   前記対象物は前記自車両の周囲に存在する他車両である画像処理装置。
8. 請求項５から請求項７までのいずれか一項に記載の画像処理装置を備え、
   前記検出結果修正部により修正された前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する外界認識装置。

Images