JP2018022234A - 画像処理装置、外界認識装置 - Google Patents

Abstract

【課題】自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知する。【解決手段】画像処理装置１０は、路面検出部１０２と、時系列検証部１０５と、検知領域選択部１０３と、検知部１０４とを備える。路面検出部１０２は、カメラ２０で撮影して得られた撮影画像に基づく入力画像から路面領域を検出する。時系列検証部１０５は、入力画像における路面領域の検出結果を時系列で検証する時系列検証を行う。検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、時系列検証部１０５による時系列検証の結果とに基づいて、対象物を検知するための検知領域、すなわち他車両を検知するための車両検知領域を入力画像内に設定する。検知部１０４は、設定された車両検知領域において対象物である他車両を検知する。【選択図】図１

Description

本発明は、画像処理装置および外界認識装置に関する。

近年、車両同士の衝突や人と車両の衝突などの事故を未然に避けるため、自車両周辺の状況を車載カメラでモニタし、危険を感知した際はドライバーに警報を出力すると共に、自車両の挙動を自動で制御する技術が進展している。こうした自車両の予防安全や自動運転制御のためには、自車両の周辺に存在する車両を観測対象として、その接近を常に監視し続ける必要がある。このような技術において、車載カメラで撮影された画像には、観測対象とする車両以外にも、背景に周辺構造物などの様々なものが映り込んでいる。そのため、観測対象を正確に特定して検知するのは困難であり、誤検知が発生する要因となっていた。

上記のような画像中の背景に起因する誤検知を解決する手法として、画像において車両が走行可能な路面領域を認識し、その路面領域に対して車両検知を実行することが提案されている。これに関して、たとえば特許文献１には、ステレオカメラで撮影した視差画像から階調図を作成し、この階調図を用いて画像中の道路面を特定することで、車両が走行可能な領域か否かを判断する方法が開示されている。

特開２０１４−６７４０７号公報

特許文献１に記載された技術において、階調図は一般的に表現可能な情報のダイナミックレンジが狭く、また周囲の明るさの影響を受けやすい。したがって、特許文献１の手法では、画像中の道路面を正確に特定することが難しい場合があり、このような場合は、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知するのは困難である。

本発明による画像処理装置は、カメラで撮影して得られた撮影画像に基づく入力画像から路面領域を検出する路面検出部と、前記入力画像における前記路面領域の検出結果を時系列で検証する時系列検証を行う時系列検証部と、前記路面検出部による前記路面領域の検出結果と、前記時系列検証部による前記時系列検証の結果とに基づいて、対象物を検知するための検知領域を前記入力画像内に設定する検知領域選択部と、前記検知領域において前記対象物を検知する検知部と、を備える。
本発明による外界認識装置は、画像処理装置を備え、前記検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。

本発明によれば、自車両の周辺に存在する他車両等の対象物を撮影画像から正確に検知できる。

本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。 撮影画像の歪み補正処理を示す図である。 検出器を生成する際に用いられる学習用画像の例を示す図である。 路面検知結果の一例を示す図である。 優先方向を設定する際に用いる設定テーブルの一例を示す図である。 車両検知領域の一例を示す図である。 路面領域の一部が他車両で隠れている場合の時系列検証の手順の一例を説明する図である。 自車両が直線道路、カーブ道路、交差点をそれぞれ走行しているときの撮影画像の例を示す図である。 道路形状が直線からカーブに変化したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。 道路形状が直線から交差点に変化したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。 本発明の第２の実施形態に係る外界認識装置の一例を示す図である。

−第１の実施形態−
以下、本発明の第１の実施形態に係る画像処理装置について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理装置１０の機能構成を示すブロック図である。図１に示す画像処理装置１０は、車両に搭載されて用いられる。なお、以下の説明では、画像処理装置１０が搭載されている車両を「自車両」と称し、自車両の周囲に存在する他の車両を「他車両」と称する。

画像処理装置１０は、撮影領域に対応する自車両の所定の位置、たとえば自車両のボディに取り付けられたカメラ２０と接続されている。画像処理装置１０は、画像補正部１０１、路面検出部１０２、検知領域選択部１０３、検知部１０４、時系列検証部１０５、路面領域補間部１０６および優先方向選択部１０７を備える。なお、図１に示す画像処理装置１０の各機能は、マイクロコンピュータ、メモリ等のハードウェアや、マイクロコンピュータ上で実行される各種プログラムなどを適宜組み合わせることにより、実現可能である。

カメラ２０は、自車両周辺に存在する他車両を動画で、または所定時間ごとに静止画で撮影し、取得した動画の各コマまたは各静止画を、所定時間ごとの撮影画像として画像補正部１０１へ出力する。なお、画像処理装置１０において他車両の認識を行いやすくするために、自車両の任意の箇所にカメラ２０を設置することができる。たとえば、自車両のフロントバンパー、リアバンパー、左右のサイドミラー等の部分に、カメラ２０が設置される。または、自車両の車内にカメラ２０を設置してもよい。さらに、自車両の周囲で特定の領域のみに存在する他車両の認識を目的として、カメラ２０を単独で設置してもよいし、あるいは、自車両の周囲の全ての領域について他車両を認識できるように、カメラ２０を複数設置してもよい。

本実施形態において、カメラ２０には魚眼カメラが用いられる。魚眼カメラとは、レンズ集光特性を通常のカメラで用いられるレンズよりも広角側に大きくずらした魚眼レンズを用いたカメラであり、撮影範囲が広いという利点がある。このように１個のカメラで広範囲を一度に撮影できることは、車両検知において画像処理の面で好ましい。一方、カメラ２０で得られる撮影画像はいわゆる魚眼画像となるため、自車両から遠方の位置に対応する撮影画像の上下左右端に近い領域になるほど歪みが大きく、解像度が低下する傾向がある。そのため、カメラ２０から入力される歪んだ撮影画像のままでは、車両検知に適さないという問題がある。

そこで、上記の問題点を解消するために、カメラ２０で得られた撮影画像は、画像処理装置１０において画像補正部１０１に入力される。画像補正部１０１は、カメラ２０から入力された撮影画像（魚眼画像）に対して歪み補正処理を行うことで、撮影画像を車両検知に適した歪みのない画像へと変換する。画像補正部１０１による歪み補正処理では、たとえば、既知の魚眼レンズの歪特性を用いて撮影画像を実際の空間写像に変換する非線形局部幾何補正法や、魚眼レンズの歪特性を簡易的に表現した歪係数を用いて撮影画像を補正する線形局部幾何補正法などを用いることができる。なお、歪み補正処理ではこれ以外のアルゴリズムを選択しても問題ない。

図２は、画像補正部１０１による撮影画像の歪み補正処理を示す図である。図２（ａ）は、自車両の右サイドミラーに設置したカメラ２０で撮影して得られた魚眼画像の一例である。この魚眼画像では、左側部分が前方すなわち自車両のフロント方向に相当し、右側部分が後方すなわち自車両のリア方向に相当する。図２（ａ）において、画像中央部には路面２０４が、画像上部には空などの背景２０５が、画像下部には自車両のボディ２０３がそれぞれ映り込んでおり、さらに、自車両後方から接近している他車両２０２が映り込んでいる。

画像補正部１０１は、図２（ａ）のような魚眼画像に対して、たとえば他車両２０２を含む領域を補正対象領域２０１として設定し、この補正対象領域２０１内の画像部分に対して歪み補正処理を行う。図２（ｂ）は、図２（ａ）の補正対象領域２０１に対して歪み補正処理を行って得られた補正画像の一例である。この補正画像では、他車両２０２、路面２０４、背景２０５がそれぞれ実際の空間写像と同等に見えるように補正されている。

なお、図２の例では、他車両２０２の周囲に補正対象領域２０１を設定して歪み補正処理を行う場合を説明したが、画像補正部１０１は、撮影画像内の任意の領域を補正対象領域として歪み補正処理を行うことができる。また、撮影画像内に複数の補正対象領域を設定し、それぞれに対して歪み補正処理を行うようにしてもよい。さらに、撮影画像内で歪みの小さな部分を用いて車両検知を行う場合や、カメラ２０を魚眼カメラではない通常のカメラとした場合などは、画像補正部１０１において歪み補正処理を行わないようにしてもよい。

路面検出部１０２は、カメラ２０で撮影されて画像補正部１０１により歪み補正処理が行われた画像が入力されると、この入力画像から路面に相当する路面領域を検出する。路面検出部１０２は、たとえば入力画像を複数の観測ブロックに分割し、機械学習の手法を適用した検出器を利用して、各観測ブロックが路面領域または路面領域以外の非路面領域のどちらに対応するかを識別する２クラス検出を実施する。なお、以下では、路面領域に対応する観測ブロックを路面ブロック、非路面領域に対応する観測ブロックを非路面ブロックとそれぞれ称する。

図３は、路面検出部１０２の検出器を生成する際に用いられる学習用画像の例を示す図である。図３（ａ）は、路面領域の学習用画像の例であり、図３（ｂ）〜図３（ｅ）は、非路面領域の学習用画像の例である。図３（ａ）の学習用画像では、路面３００が映り込んでいるのに対して、図３（ｂ）〜図３（ｅ）の学習用画像では、路面以外の被写体が映り込んでいる。具体的には、図３（ｂ）の学習用画像には車両３０１が、図３（ｃ）の学習用画像には樹木３０２が、図３（ｄ）の学習用画像には建物３０３が、図３（ｅ）の学習用画像には人物３０４がそれぞれ映り込んでいる。非路面領域の学習用画像では、上記の例に限らず、路面以外であればどのような被写体が映り込んでいてもよい。

なお、非路面領域の学習用画像では、実際の車両走行シーンで出現頻度の高い被写体が映り込んでいる画像を用いることが好ましい。また、路面領域の学習用画像も同様に、出現頻度の高い路面が映り込んでいる画像を用いることが好ましい。ただし、こうした学習用画像の収集が困難な場合は、出現頻度の低い被写体が映り込んでいる画像を混在させても構わない。

ところで、路面検出部１０２において利用される機械学習とは、一般に、検知対象とする対象物の画像を複数枚入力して、そこから対象物を表現する画像特徴を抽出すると共に、未知の入力画像に対しては、学習した画像特徴を検出して識別できるように識別器のパラメータを自動設定する処理手法のことである。このような処理手法の具体例としては、たとえばDeep Learning（深層学習）が知られている。Deep learningでは、入力された複数画像が共通して持つ画像の特徴パラメータを細分して自動的に抽出することができる。また、特徴パラメータの抽出方法の一例としては、ニューラルネットワーク構造を用いた特徴抽出方法が知られている。ニューラルネットワーク構造では、入力画像群に共通な画像特徴に一致したときにのみ反応する、ニューロン・ユニットと呼ばれる入出力関数（活性化関数）が、小画像領域毎に多数組み合わされており、さらにこれが複数の層状に積み重ねられてピラミッド構造になっている。この方法によれば、検知対象とする対象物の位置や画像サイズを変えながら、段階的に対象物を識別できるようにニューロン・ユニットの各層毎に識別器パラメータを抽出して、最終的には、対象物全体を識別可能な識別器パラメータを得ることができる。

図４は、路面検出部１０２による路面検知結果の一例を示す図である。図４（ａ）は、カメラ２０で撮影して得られた魚眼画像の例を示している。この魚眼画像には図２（ａ）と同様に、画像中央部には路面４０１が、画像上部には空などの背景４０３が、画像下部には自車両のボディ４０２がそれぞれ映り込んでいる。図４（ｂ）は、図４（ａ）の画像に対して得られた路面検知結果の一例を示している。図４（ｂ）では、図４（ａ）の画像が複数の観測ブロックに分割され、そのうち図４（ａ）の路面４０１に対応した観測ブロックがそれぞれ路面ブロック４０５と認識されている一方で、図４（ａ）のボディ４０２や背景４０３に対応した観測ブロックがそれぞれ非路面ブロック４０６と認識されている様子を示している。なお、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像を用いて路面検出部１０２による路面検知結果を説明したが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対して、路面検出部１０２による路面検知が行われる。

時系列検証部１０５は、入力画像における前述の路面ブロックおよび非路面ブロックの時系列での配置の変化に基づいて、路面検出部１０２による路面領域の検出結果を時系列で検証する時系列検証を行う。この時系列検証では、カメラ２０で所定時間ごとに撮影された複数枚の撮影画像からそれぞれ生成された、時間的に連続する複数の入力画像を用いて、路面領域の一部が検知対象物である他車両によって隠れている状態や、路面領域に対応する道路形状が変化している状態であるかを検証する。なお、時系列検証部１０５が行う時系列検証の具体例については後述する。

路面領域補間部１０６は、時系列検証部１０５による時系列検証の結果に基づいて、路面検出部１０２により入力画像から検出された路面領域を必要に応じて補間する。たとえば、路面領域の一部が検知対象物である他車両によって隠れている状態であると時系列検証部１０５が判断した場合に、路面領域補間部１０６は、その部分を非路面領域から路面領域に置き換えることで、当該部分を路面領域として補間する。これにより、本来は路面領域である部分が他車両の陰に隠れることで誤って非路面領域と判断された場合に、当該部分を本来の路面領域とすることができる。

優先方向選択部１０７は、自車両の走行状態に基づいて、検知対象物である他車両を優先的に検知すべき方向である優先方向を設定する。自車両の走行状態を判断するために、優先方向選択部１０７には、自車両の走行モードを示す信号が入力されている。

図５は、優先方向選択部１０７が優先方向を設定する際に用いる設定テーブルの一例を示す図である。図５の設定テーブルにおいて、自車両の走行モードには、前進、後退、駐車支援が含まれる。また、図５の設定テーブルでは、一般道路と高速道路とでそれぞれ異なる優先方向が示されている。優先方向選択部１０７は、たとえば自車両に搭載されている車両制御用のＣＰＵから自車両の走行モードを示す信号を取得することで、自車両の走行モードがいずれであるかを判断すると共に、自車両が一般道路と高速道路のどちらの道路を走行しているかを判断することができる。

優先方向選択部１０７は、図５の設定テーブルに基づいて、自車両の走行モードおよび走行道路に応じた優先方向を設定する。たとえば自車両の走行モードが前進の場合、優先方向選択部１０７は、走行道路が一般道路と高速道路のどちらであっても、自車両の後方を優先方向に設定する。すなわち、自車両が前進しているときには、走行道路の種類に関わらず、自車両の後方から接近してくる他車両を優先的に検知できるように、自車両の後方を優先方向として設定する。

一方、自車両の走行モードが後退の場合、優先方向選択部１０７は、走行道路が一般道路であれば自車両の後方を優先方向に設定し、走行道路が高速道路であれば自車両周囲の全方向を優先方向に設定する。すなわち、自車両が一般道路上で後退しているときには、前進時と同様に、自車両の後方から接近してくる他車両を優先的に検知できるように、自車両の後方を優先方向として設定する。また、通常は自車両が高速道路上（パーキングエリアを除く）で後退することは想定されないが、万が一そのような事態が生じたときには危険度が十分高いため、自車両周囲の全方向を優先方向として設定することで、撮影画像全体を用いて他車両を検知できるようにする。

さらに、自車両の走行モードが駐車支援の場合、優先方向選択部１０７は、走行道路が一般道路であれば自車両の前方および後方を優先方向に設定し、走行道路が高速道路であれば自車両周囲の全方向を優先方向に設定する。すなわち、自車両が一般道路上で駐車支援を利用した縦列駐車発進を行うときには、自車両の前方や後方から接近してくる他車両を優先的に検知できるように、自車両の前方および後方を優先方向として設定する。また、通常は自車両が高速道路上（パーキングエリアを除く）で駐車することは想定されないが、万が一そのような事態が生じたときには危険度が十分高いため、後退時と同様に、自車両周囲の全方向を優先方向として設定することで、撮影画像全体を用いて他車両を検知できるようにする。

検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、時系列検証部１０５による時系列検証の結果とに基づいて、検知対象物である他車両を検知するための車両検知領域を入力画像内に設定する。このとき検知領域選択部１０３は、時系列検証部１０５による時系列検証の結果に基づいて路面領域補間部１０６が路面領域の補間を行った場合には、その補間結果を基に、補間された路面領域を含めて車両検知領域を設定する。また、時系列検証部１０５による時系列検証の結果、道路形状が変化していると判断された場合には、その道路形状の変化を考慮して車両検知領域を設定する。さらに、優先方向選択部１０７により自車両に対していずれかの方向が優先方向に設定されている場合には、その優先方向を考慮して車両検知領域を設定する。すなわち、検知領域選択部１０３は、路面検出部１０２の出力と路面領域補間部１０６の出力を統合して入力画像中の路面領域を決定し、さらに、時系列検証部１０５の出力や優先方向選択部１０７の指定に基づいて、決定した路面領域上に車両検知領域を設定する。

図６は、検知領域選択部１０３が設定した車両検知領域の一例を示す図である。図６（ａ）は、自車両の前方および後方が優先方向に設定されている場合の車両検知領域の例である。図６（ａ）において、カメラ２０で撮影して得られた魚眼画像内の路面領域６０１上にそれぞれ設定された車両検知領域６０２、６０３は、自車両の前方および後方にそれぞれ対応する。図６（ｂ）は、自車両の後方が優先方向に設定されている場合の車両検知領域の例である。図６（ｂ）において、魚眼画像内の路面領域６０１上に設定された車両検知領域６０４は、自車両の後方に対応する。図６（ｃ）は、自車両周囲の全方向を優先方向に設定した場合の車両検知領域の例である。図６（ｃ）において、魚眼画像内の路面領域６０１全体に設定された車両検知領域６０５は、自車両周囲の全方向に対応する。この他にも、たとえば自車両の前方を優先方向に設定した場合は、図６（ｂ）の例とは逆に、図６（ａ）の車両検知領域６０２と同様の車両検知領域を路面領域上に設定するようにしてもよい。なお、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像を用いて優先方向ごとに設定される車両検知領域を説明したが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対して、その路面領域上に車両検知領域が設定される。

検知部１０４は、検知領域選択部１０３により設定された車両検知領域に基づいて、入力画像から自車両の周囲に存在する他車両を検知する。検知部１０４は、入力画像内で車両検知領域に設定された部分に対して所定の車両検知処理を実行することにより、車両検知領域内に映り込んでいる他車両を検知する。具体的には、検知部１０４は、たとえば路面検出部１０２で説明したのと同様の機械学習型検出器を用いて、車両検知領域内に車両としての特徴を有する部分が存在するか否かを判断することにより、他車両を検知することができる。車両検知領域内に他車両を検知したら、検知部１０４は、他車両が接近していることを表す車両接近信号を出力する。また、たとえば路面検出部１０２において路面領域が検知されなかった場合など、入力画像内に有効な車両検知領域を設定できなかったときには、検知ＦＡＩＬ信号を出力する。

次に、時系列検証部１０５が行う時系列検証の具体例について、図７〜図１０を参照して説明する。

図７は、路面領域の一部が他車両で隠れている場合の時系列検証の手順の一例を説明する図である。入力画像内に他車両が映り込むことで路面の一部が隠れると、その部分は路面検知において非路面領域であると誤認識されるため、車両検知領域を設定する上で不都合が生じる。時系列検証部１０５では、この問題を解決するために、以下のような時系列検証により路面領域が他車両で隠れているか否かを判断する。

図７（ａ）、図７（ｂ）、図７（ｃ）は、カメラ２０で時系列的に撮影された撮影画像の例をそれぞれ示しており、この順で各撮影画像が取得されたものとする。なお、これらの図では、説明の都合上、魚眼画像である各撮影画像の右半分のみを図示している。また、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像に対する路面検知結果を用いて説明するが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対する路面検知結果に対して、時系列検証部１０５による時系列検証が行われる。

前述のように、路面検出部１０２は、入力画像を分割することで入力画像上に複数の観測ブロックを設定し、各観測ブロックを路面ブロックまたは非路面ブロックのいずれかと識別する。時系列検証部１０５が行う時系列検証処理では、入力画像における路面ブロックおよび非路面ブロックの時系列での配置の変化に基づいて、路面領域が他車両で隠れているか否かを判断する。なお、図７（ａ）〜（ｃ）に示すように、路面検出部１０２は、自車両におけるカメラ２０の設置位置、設置角度やカメラ２０の画角等を表す既知のカメラ設置幾何情報に基づいて、入力画像内で路面領域の出現頻度が高い部分、すなわち地平線と自車両ボディとの境界線に挟まれた部分を特定し、その部分に観察ブロックを設けることが好ましい。

図７（ａ）の画像では、路面上に何も映り込んでいないため、画像内の路面部分に対応する全ての観測ブロックが正しく路面ブロックと認識される。その後、図７（ｂ）の画像のように、自車両の後方から接近してきた他車両７００が路面上に映り込むと、他車両７００が映り込んだ部分は路面が隠れてしまうため、この部分に対応する観測ブロックは非路面ブロックと誤認識される。続いて図７（ｃ）の画像のように他車両７００が通り過ぎると、再び全ての観測ブロックが路面ブロックと認識されるようになる。

図７（ｄ）は、入力画像が図７（ａ）から図７（ｂ）を経由して図７（ｃ）のように遷移したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。ここでは、入力画像に設定された複数の観測ブロックのうち、図７（ａ）〜（ｃ）に示した４個の観測ブロックＡ、Ｂ、Ｃ、Ｄに注目している。図７（ｄ）に示すチャート図は、上から順に時刻ｔ１〜ｔ９の間の観測ブロックＡ、Ｂ、Ｃ、Ｄに対する認識結果をそれぞれ示しており、「Ｈ」が路面ブロック、「Ｌ」が非路面ブロックを表している。

観測ブロックＡ、Ｂ、Ｃ、Ｄはいずれも入力画像の路面部分に対応して設定されているため、本来は全ての時刻において路面ブロックと認識されなければならない。しかし、図７（ｂ）に示すように、自車両に接近してきた他車両７００が入力画像内に映り込むと、路面部分の一部が隠れてしまう。その結果、図７（ｄ）に示すように、時刻ｔ２〜ｔ７にかけて、互いに隣接する観測ブロックＡ、Ｂ、Ｃ、Ｄのいずれか少なくとも一つが非路面ブロックと認識され、この非路面ブロックの位置が時間の経過と共に移動する。このように、入力画像内で互いに隣接する複数の非路面ブロックの位置が時系列で移動している場合には、入力画像内に何らかの移動物体が映り込んでおり、その移動物体の影響で路面が隠れていると考えることができる。

さらに、入力画像における背景の移動速度をＳ１とし、複数の非路面ブロックの移動速度、すなわち他車両７００の移動速度をＳ２として、これらの移動速度Ｓ１、Ｓ２を比較することで、上記の移動物体の判断をより確実に行うことができる。すなわち、非路面ブロックの移動速度Ｓ２と背景の移動速度Ｓ１との差分が所定値以上であれば、入力画像内で路面上に映り込んでいるのは移動物体であり、たとえば建物の影などの静止物体ではないと、確証を持って判断することができる。なお、背景の移動速度Ｓ１は、たとえば、入力画像内で地平線より上部に映り込んでいる被写体をトラッキング処理などで追跡することにより求めることができる。また、前述のカメラ設置幾何情報から観測ブロック１個あたりの写像上の実距離を求めることで、背景の移動速度Ｓ１や非路面ブロックの移動速度Ｓ２を画像上の速度ではなく、実空間上の速度として求めてもよい。

時系列検証部１０５は、以上説明した手順に従って、路面領域の一部が他車両で隠れているかどうかの時系列検証を行う。これにより、入力画像内で互いに隣接する複数の非路面ブロックの位置が時系列で移動しており、かつ、該複数の非路面ブロックの移動速度と背景の移動速度との差分が所定値以上である場合に、路面領域が対象物である他車両によって隠れていると判断することができる。

図８〜図１０は、道路形状が直線からカーブや交差点に変化した場合の時系列検証の手順の一例を説明する図である。前述のようにカメラ２０は魚眼カメラであり、撮影画像の上下左右端に近い領域では解像度が低いという特性を有する。したがって、道路の延長線上にカーブが存在すると、その路面は撮影画像において解像度が低い左右端の領域に映り込むため、路面領域の検出において誤りが生じやすい。また、自車両が交差点を通過する際に自車両の走行道路と直交する道路の路面は、撮影画像に映り込む期間が短く、かつ撮影画像において解像度が低い上下端の領域に映り込むため、路面領域の検出において誤りが生じやすい。時系列検証部１０５では、これらの問題を解決するために、以下のような時系列検証により道路形状が直線からカーブや交差点に変化したか否かを判断する。

図８（ａ）、図８（ｂ）、図８（ｃ）は、カメラ２０で撮影された撮影画像の例をそれぞれ示している。図８（ａ）は、自車両が直線道路を走行しているときの撮影画像の例であり、図８（ｂ）は、自車両がカーブ道路を走行しているときの撮影画像の例であり、図８（ｃ）は、自車両が交差点を走行しているときの撮影画像の例である。なお、これらの図でも図７（ａ）〜（ｃ）と同様に、説明の都合上、魚眼画像である各撮影画像の右半分のみを図示している。また、ここでは理解を容易にするため、歪み補正処理を行う前の撮影画像に対する路面検知結果を用いて説明するが、実際には、画像補正部１０１により歪み補正処理が行われた入力画像に対する路面検知結果に対して、時系列検証部１０５による時系列検証が行われる。

図９は、道路形状が直線からカーブに変化し、それに応じて撮影画像が図８（ａ）から図８（ｂ）に遷移したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。ここでは、入力画像に設定された複数の観測ブロックのうち、図８（ａ）、（ｂ）に示した６個の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに注目している。図９に示すチャート図は、上から順に時刻ｔ１〜ｔ９の間の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対する認識結果をそれぞれ示しており、「Ｈ」が路面ブロック、「Ｌ」が非路面ブロックを表している。

入力画像が図８（ａ）から図８（ｂ）に遷移すると、図９のチャート図において、まず符号９０１の部分に示すように、時刻ｔ２〜ｔ４にかけて、入力画像内で互いに隣接する観測ブロックＢ、Ｃに対する認識結果が、路面ブロックから非路面ブロックに順次変化する。続いて符号９０２の部分に示すように、時刻ｔ５〜ｔ７にかけて、入力画像内で上記観測ブロックＢ、Ｃよりも下側の位置で互いに隣接する観測ブロックＥ、Ｆに対する認識結果が、観測ブロックＢ、Ｃとは反対に、非路面ブロックから路面ブロックに順次変化する。このように、入力画像内の上側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックに順次変化し、かつ、それとほぼ同じタイミングで、入力画像内の下側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が非路面ブロックから路面ブロックに順次変化した場合には、自車両の走行道路が直線道路からカーブ路面に遷移していると判断することができる。

なお、道路のカーブしている方向によっては、各観測ブロックに対する認識結果の変化が上記とは反対になる場合もある。すなわち、入力画像内の上側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が非路面ブロックから路面ブロックに順次変化し、かつ、それとほぼ同じタイミングで、入力画像内の下側の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックに順次変化した場合にも、上記と同様に、自車両の走行道路が直線道路からカーブ路面に遷移していると判断することができる。

時系列検証部１０５は、以上説明した手順に従って、道路形状が直線からカーブに変化したかどうかの時系列検証を行う。これにより、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックに、または非路面ブロックから路面ブロックに順次変化し、かつ、第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出結果が、第１の位置での観測ブロックに対する路面検出結果とは反対に順次変化した場合には、道路形状が直線からカーブに変化したと判断することができる。そのため、通常であれば入力画像内で解像度の低い部分に映り込みやすいカーブ道路の路面を、適切に路面領域として検出することが可能になる。

図１０は、道路形状が直線から交差点に変化し、それに応じて撮影画像が図８（ａ）から図８（ｃ）に遷移したときの観測ブロックに対する認識結果の変化の一例を示したチャート図である。ここでは、入力画像に設定された複数の観測ブロックのうち、図８（ａ）、（ｃ）に示した６個の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに注目している。図１０に示すチャート図は、上から順に時刻ｔ１〜ｔ９の間の観測ブロックＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対する認識結果をそれぞれ示しており、「Ｈ」が路面ブロック、「Ｌ」が非路面ブロックを表している。

入力画像が図８（ａ）から図８（ｃ）に遷移すると、図１０のチャート図において、まず符号１００１の部分に示すように、時刻ｔ２〜ｔ４にかけて、入力画像内で互いに隣接する観測ブロックＡ、Ｂに対する認識結果が、同時に路面ブロックから非路面ブロックに変化し、その後は再び路面ブロックに戻る。また、符号１００２の部分に示すように、時刻ｔ５〜ｔ８にかけて、入力画像内で上記観測ブロックＡ、Ｂよりも下側の位置で互いに隣接する観測ブロックＥ、Ｆに対する認識結果が、観測ブロックＡ、Ｂと同様に、同時に路面ブロックから非路面ブロックに変化し、その後は再び路面ブロックに戻る。なお、入力画像内で上部に位置する観測ブロックＡ、Ｂは、交差点奥方向に伸びる道路部分に該当し、入力画像内で下部に位置する観測ブロックＥ、Ｆは、交差点手前方向に伸びる道路部分に該当する。このように、入力画像内の上側の位置と下側の位置のそれぞれにおいて、互いに隣接する複数の観測ブロックに対する路面検出結果が路面ブロックから非路面ブロックを経て路面ブロックに順次変化した場合には、自車両の走行道路が直線道路から交差点に遷移していると判断することができる。

時系列検証部１０５は、以上説明した手順に従って、道路形状が直線から交差点に変化したかどうかの時系列検証を行う。これにより、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出結果と、第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出結果とが、路面ブロックから非路面ブロックを経て路面ブロックに順次変化した場合には、道路形状が直線から交差点に変化したと判断することができる。そのため、通常であれば入力画像内で解像度の低い部分に映り込みやすい交差道路の路面を、適切に路面領域として検出することが可能になる。

以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。

（１）画像処理装置１０は、路面検出部１０２と、時系列検証部１０５と、検知領域選択部１０３と、検知部１０４とを備える。路面検出部１０２は、カメラ２０で撮影して得られた撮影画像に基づく入力画像から路面領域を検出する。時系列検証部１０５は、入力画像における路面領域の検出結果を時系列で検証する時系列検証を行う。検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、時系列検証部１０５による時系列検証の結果とに基づいて、対象物を検知するための検知領域、すなわち他車両を検知するための車両検知領域を入力画像内に設定する。検知部１０４は、設定された車両検知領域において対象物である他車両を検知する。このようにしたので、自車両の周辺に存在する他車両を撮影画像から正確に検知できる。

（２）路面検出部１０２は、入力画像を複数の観測ブロックに分割して、複数の観測ブロックの各々が、路面領域に対応する路面ブロックまたは路面領域に対応しない非路面ブロックのいずれであるかを判定する。時系列検証部１０５は、入力画像における路面ブロックおよび非路面ブロックの時系列での配置の変化に基づいて、時系列検証を行う。具体的には、時系列検証部１０５は、時系列検証において、図７に示したように、入力画像内で互いに隣接する複数の非路面ブロックの位置が時系列で移動しており、かつ、該複数の非路面ブロックの移動速度と背景の移動速度との差分が所定値以上である場合に、路面領域が対象物で隠れていると判断する。このようにしたので、路面領域が対象物で隠れている場合に、これを確実に判断することができる。

（３）また、時系列検証部１０５は、時系列検証において、図８、９に示したように、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果が、路面ブロックから非路面ブロックに、または非路面ブロックから路面ブロックに順次変化し、かつ、入力画像内で第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果が、第１の位置での観測ブロックに対する判定結果とは反対に順次変化した場合に、路面領域に対応する道路形状が直線からカーブに変化したと判断する。このようにしたので、道路形状が直線からカーブに変化した場合に、これを確実に判断することができる。

（４）さらに、時系列検証部１０５は、時系列検証において、図８、１０に示したように、所定の期間内に、入力画像内の第１の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果と、入力画像内で第１の位置よりも下側の第２の位置で互いに隣接する複数の観測ブロックに対する路面検出部１０２の判定結果とが、路面ブロックから非路面ブロックを経て路面ブロックに順次変化した場合に、路面領域に対応する道路形状が直線から交差点に変化したと判断する。このようにしたので、道路形状が直線から交差点に変化した場合に、これを確実に判断することができる。

（５）画像処理装置１０は、時系列検証部１０５による時系列検証の結果に基づいて路面領域を補間する路面領域補間部１０６をさらに備える。検知領域選択部１０３は、路面検出部１０２による路面領域の検出結果と、路面領域補間部１０６による路面領域の補間結果とに基づいて、車両検知領域を設定する。このようにしたので、路面領域が非路面領域と誤って判断された場合でも、本来の路面領域に合わせて車両検知領域を正しく設定することができる。

（６）画像処理装置１０は、自車両に搭載されており、自車両の走行状態に基づいて対象物を優先的に検知すべき方向を設定する優先方向選択部１０７をさらに備える。検知領域選択部１０３は、優先方向選択部１０７により設定された方向に基づいて車両検知領域を設定する。このようにしたので、自車両の走行状態に応じて車両検知領域を適切に設定することができる。

−第２の実施形態−
図１１は、本発明の第２の実施形態に係る外界認識装置の一例を示す図である。図１１に示すように、本実施形態の外界認識装置１１００は、第１の実施形態で説明した画像処理装置１０と、周辺認識部１１０１、信号処理部１１０２およびドライバー通知部１１０３とを備える。外界認識装置１１００は、画像処理装置１０と同様に自車両に搭載されたカメラ２０に接続されると共に、自車両に搭載された制御部１１１１、メモリ１１１２、自車両制御部１１１３、ＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６およびカーナビゲーション装置１１１７にも接続されている。なお、画像処理装置１０と他の各機器とは、自車両内の信号バスを介して互いに接続されている。

カメラ２０は、自車両周辺の撮影画像を取得し、外界認識装置１１００内の画像処理装置１０に出力する。メモリ１１１２は、カメラ２０が取得した撮像画像を一時的に保持する。制御部１１１１は、カメラ２０と外界認識装置１１００の間における撮影画像の入出力や、外界認識装置１１００と自車両制御部１１１３の間における車両制御信号の入出力を制御する。

画像処理装置１０は、第１の実施形態で説明したように、自車両の周囲に存在する他車両を検知し、その検知結果に基づく車両接近信号を周辺認識部１１０１に出力する。また、他車両を検知するのが困難な状況のときには、検知ＦＡＩＬ信号を周辺認識部１１０１に出力する。

周辺認識部１１０１は、画像処理装置１０から車両接近信号が出力されると、これに基づいて、自車両の周囲環境を認識するための周辺認識処理を実行する。たとえば、カメラ２０の撮影画像を用いて自車両の近傍および遠方の周辺空間を解析し、バイクや自転車を含む他車両および歩行者の有無を認識したり、自車両の走行や駐車の妨げになる障害物体の有無を認識したりする。また、他車両や歩行者が自車両に急接近している場合にはこれを検知して自車両との衝突を予測したり、自車両と障害物との衝突を予測したりする。さらに、自車両が走行中に車線逸脱した場合に警報を出す車線逸脱警報処理や、自車両のドライバーの死角に人や他車両が入り込んでいた場合に警報を出す死角警報処理などを、周辺認識処理に含めてもよい。周辺認識部１１０１は、周辺認識処理の実行結果に基づく検知結果や警報情報を信号処理部１１０２に出力すると共に、自車両のドライバーに対する通知情報を必要に応じてドライバー通知部１１０３に出力する。

信号処理部１１０２は、周辺認識部１１０１から出力された検知結果および警報情報に基づいて、自車両の動作を制御するための車両制御信号を生成し、自車両制御部１１１３に送信する。自車両制御部１１１３は、信号処理部１１０２から受信した車両制御信号に基づいて自車両の動作を制御することで、他車両や歩行者との衝突を回避するために自車両を停止させたり、障害物との衝突を回避するために自車両の進行方向を変化させたりする。

ドライバー通知部１１０３は、周辺認識部１１０１から出力された通知情報に基づいて、自車両のドライバーに対する警告を行うための警報信号を生成し、ＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６、カーナビゲーション装置１１１７のいずれかに送信する。ＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６、カーナビゲーション装置１１１７の各機器は、ドライバー通知部１１０３から受信した警報信号を受信すると、これに基づいて所定の表示や音声出力を行うことで、自車両のドライバーに対して、自車両に接近している他車両や歩行者、障害物等の存在を警告する。

なお、画像処理装置１０から検知ＦＡＩＬ信号が出力されているときには、画像処理装置１０において他車両を検知するのが困難であると判断されるため、周辺認識部１１０１は画像処理装置１０の動作を一時的または連続して停止させることが好ましい。周辺認識部１１０１は、画像処理装置１０に対してＯＮ／ＯＦＦ制御信号を出力することで、画像処理装置１０の動作を開始または停止させることができる。さらにこのとき、周辺認識部１１０１からドライバー通知部１１０３へ通知情報を出力し、これに基づいてドライバー通知部１１０３が警報信号を生成してＬＥＤ１１１４、スピーカ１１１５、ディスプレイ１１１６、カーナビゲーション装置１１１７のいずれかに送信することで、画像処理装置１０の動作が停止していることを自車両のドライバーに通知してもよい。

以上説明した本発明の第２の実施形態によれば、外界認識装置１１００は、画像処理装置１０を備える。また、周辺認識部１１０１、信号処理部１１０２およびドライバー通知部１１０３により、画像処理装置１０内の検知部１０４による他車両の検知結果に基づいて、自車両の運転者に対する警告を行うための警報信号および自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する。このようにしたので、自車両の周囲環境を正確に認識することができる。

なお、以上説明した各実施の形態では、撮影画像から検知する対象物を自車両周囲に存在する他車両としたが、対象物はこれに限定されず、他の物体を対象物としてもよい。また、車両に搭載されたカメラ２０で取得した撮影画像を用いて対象物を検知する例を説明したが、撮影画像を取得するカメラは車両に搭載されたものに限らない。たとえば、街頭監視等に用いられるカメラなど、車載以外の様々な用途のカメラで取得された撮影画像を用いて、対象物を検知することができる。

以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

１０ 画像処理装置
２０ カメラ
１０１ 画像補正部
１０２ 路面検出部
１０３ 検知領域選択部
１０４ 検知部
１０５ 時系列検証部
１０６ 路面領域補間部
１０７ 優先方向選択部
１１００ 外界認識装置
１１０１ 周辺認識部
１１０２ 信号処理部
１１０３ ドライバー通知部

Claims (9)

1. カメラで撮影して得られた撮影画像に基づく入力画像から路面領域を検出する路面検出部と、
   前記入力画像における前記路面領域の検出結果を時系列で検証する時系列検証を行う時系列検証部と、
   前記路面検出部による前記路面領域の検出結果と、前記時系列検証部による前記時系列検証の結果とに基づいて、対象物を検知するための検知領域を前記入力画像内に設定する検知領域選択部と、
   前記検知領域において前記対象物を検知する検知部と、を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記路面検出部は、前記入力画像を複数の観測ブロックに分割して、前記複数の観測ブロックの各々が、前記路面領域に対応する路面ブロックまたは前記路面領域に対応しない非路面ブロックのいずれであるかを判定し、
   前記時系列検証部は、前記入力画像における前記路面ブロックおよび前記非路面ブロックの時系列での配置の変化に基づいて、前記時系列検証を行う画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記時系列検証部は、前記時系列検証において、前記入力画像内で互いに隣接する複数の前記非路面ブロックの位置が時系列で移動しており、かつ、該複数の非路面ブロックの移動速度と背景の移動速度との差分が所定値以上である場合に、前記路面領域が前記対象物で隠れていると判断する画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記時系列検証部は、前記時系列検証において、所定の期間内に、前記入力画像内の第１の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果が、前記路面ブロックから前記非路面ブロックに、または前記非路面ブロックから前記路面ブロックに順次変化し、かつ、前記入力画像内で前記第１の位置よりも下側の第２の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果が、前記第１の位置での前記観測ブロックに対する判定結果とは反対に順次変化した場合に、前記路面領域に対応する道路形状が直線からカーブに変化したと判断する画像処理装置。
5. 請求項２に記載の画像処理装置において、
   前記時系列検証部は、前記時系列検証において、所定の期間内に、前記入力画像内の第１の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果と、前記入力画像内で前記第１の位置よりも下側の第２の位置で互いに隣接する複数の前記観測ブロックに対する前記路面検出部の判定結果とが、前記路面ブロックから前記非路面ブロックを経て前記路面ブロックに順次変化した場合に、前記路面領域に対応する道路形状が直線から交差点に変化したと判断する画像処理装置。
6. 請求項１から請求項５までのいずれか一項に記載の画像処理装置において、
   前記時系列検証部による前記時系列検証の結果に基づいて前記路面領域を補間する路面領域補間部をさらに備え、
   前記検知領域選択部は、前記路面検出部による前記路面領域の検出結果と、前記路面領域補間部による前記路面領域の補間結果とに基づいて、前記検知領域を設定する画像処理装置。
7. 請求項１から請求項６までのいずれか一項に記載の画像処理装置において、
   前記画像処理装置は自車両に搭載されており、
   前記対象物は前記自車両の周囲に存在する他車両である画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記自車両の走行状態に基づいて前記対象物を優先的に検知すべき方向を設定する優先方向選択部をさらに備え、
   前記検知領域選択部は、前記優先方向選択部により設定された方向に基づいて前記検知領域を設定する画像処理装置。
9. 請求項７または８に記載の画像処理装置を備え、
   前記検知部による前記他車両の検知結果に基づいて、前記自車両の運転者に対する警告を行うための警報信号および前記自車両の動作を制御するための車両制御信号のいずれか少なくとも一つを出力する外界認識装置。

Images