JP7139431B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、車載カメラやレーダなどの外界認識センサを用いた、先進運転支援システムや自動運転システムが注目を集めている。

例えば、利便性・快適性を向上させる運転支援機能として、自車両の前方を走行している車両までの距離や相対速度を計測し、自動で追従走行制御を行うＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）などが挙げられ、そのような機能の性能向上のための車両検知技術の需要が高まっている。

特許文獻１に記載されている車載カメラによる車両検知技術においては、撮像画像中から先行車両を探索および追跡するためにテンプレートマッチングを実施している。

特開２０１３－１６１２４１号公報

テンプレートマッチングを行うときに、時間の経過とともに先行車までの車間距離や、車線変更や道路のカーブ半径の変化による自車と先行車の位置関係が変わることで徐々に外観が変化する。時間経過とともに発生する外観変化によりテンプレートとのマッチングのしやすさが低下するおそれがあり、これを抑制するためにテンプレートを更新する必要がある。

夜間における車両追跡処理におけるテンプレート更新処理においては、先行車のブレーキランプ点灯や対向車のヘッドライトによって先行車の車体の一部に強い光が当たると、その周辺部分の輝度が飽和し外観が大きく変化する。これによってテンプレートとの類似性が低下し、テンプレートの更新が困難となり、テンプレートマッチングを失敗する可能性がある。

特許文献１に記載の技術においては、先行する車両のブレーキランプ点灯等によりテンプテレートマッチングに失敗するという現象についての認識がなく、対応策が記載されていない。

したがって、従来技術においては、車両追跡精度のさらなる向上が困難であった。

本発明の目的は、夜間における先行対象物の光源状態変化に応じてテンプレートの切り替え処理を適切に行い、先行対象物追跡精度が向上可能な画像処理装置および画像処理方法を実現することである。

上記目的を達成するために、本発明は次のように構成される。

テンプレートマッチングにより追跡する車両を検知する画像処理装置であって、 物体を撮像する撮像部と、撮像部が撮像した画像から光点を検出する光点検出部と、複数の車両画像のテンプレート及び光点情報を保存するテンプレート保存部と、撮像部が撮像した画像の光点が変化したとき、変化した光点の情報を車両画像のテンプレートと対応付けてテンプレート保存部に保存する認識処理部と、を備え、認識処理部は、撮像部が撮像した画像の光点が変化した場合、複数の車両画像のテンプレートから光点の変化に応じたテンプレートをテンプレート保存部から選択するテンプレート選択部を備える。

また、撮像部と、画像信号処理部と、認識処理部と、テンプレート保存部と、を備え、テンプレートマッチングにより追跡する車両を検知する画像処理方法であって、画像信号処理部は、撮像部が撮像した画像から光点を検出し、認識処理部は、 複数の車両画像のテンプレート及び光点情報をテンプレート保存部に保存し、撮像部が撮像した画像の光点が変化したとき、変化した光点の情報を車両画像のテンプレートと対応付けてテンプレート保存部に保存し、撮像部が撮像した画像の光点が変化したとき、複数の車両画像のテンプレートから光点の変化に応じたテンプレートをテンプレート保存部から選択する。

本発明によれば、夜間における先行対象物の光源状態変化に応じてテンプレートの切り替え処理を適切に行い、先行対象物追跡精度が向上可能な画像処理装置および画像処理方法を実現することができる。

本発明の実施例１における画像処理装置の構成図である。 実施例１におけるテンプレート入れ替え処理の流れを示した図である。 実施例１におけるテンプレート入れ替え処理についての具体的な説明図である。 実施例２におけるテンプレート入れ替え処理についての具体的な説明図である。

以下、本発明を実施するための形態を、図面を参照して説明する。

（実施例１）
図１は、本発明の実施例１における画像処理装置１００の構成図である。

なお、本実施例１では、近方の車両検知手段としてステレオカメラを用いた立体物検知を挙げて説明しているが、例えば単眼カメラのみや、単眼カメラとレーダを組み合わせた立体物検知などによっても実施可能である。

図１において、撮像装置（物体を撮像する撮像部）であるカメラ１０１（カメラ１）およびカメラ１０２（カメラ２）は自車両の前方の視界を得られるように設置される。

本実施例１では、立体物検知処理に用いる視差情報を算出するために必要なステレオ画像および、光点検出処理に用いる光点情報を算出するために必要な光点検出用画像を撮像する。

ステレオ画像は、非自発光物体を検知するために自動露光調整によって露光時間を設定したカメラ１０１およびカメラ１０２によって撮像される。

光点検出用画像は、記憶領域１１５の露光時間保存部１１７に記録されている露光時間を設定したカメラ１０１もしくはカメラ１０２によって撮像される。光点検出用画像はカメラ１０１もしくはカメラ１０２のどちらかの画像を用いてもよいし、カメラ１０１およびカメラ１０２両方の画像を用いてもよい。

ステレオ画像と光点検出用画像とは異なるタイミングで撮像される。例えばステレオ画像を撮像した後に光点検出用画像を撮像する。

カメラ１０１およびカメラ１０２によって撮像された画像は画像信号処理部１０３に入力される。

画像信号処理部１０３は、カメラ１０１及びカメラ１０２から入力されたステレオ画像を用いて視差情報算出を行う。画像信号処理部１０３は、カメラ１０１及びカメラ１０２の露光時間を制御する露光時間制御部１０４と、カメラ１０１及びカメラ１０２により画像を撮像する画像撮像部１０５と、画像撮像部１０５により撮像された画像から視差を算出する視差算出部１０６と、画像撮像部１０５により撮像された画像から光点を検出する光点検出部１０７とを備える。

画像信号処理１０３は、記憶領域１１５に接続されている。

カメラ１０１及びカメラ１０２により撮像された画像および視差算出部１０６で算出された視差情報は記憶領域１１５に送られる。撮像された画像は、記憶領域１１５の画像情報保存部１１６に保存され、視差情報は記憶領域１１５の視差情報保存部１１８に保存される。

また、視差算出部１０６で算出された視差情報は、認識処理部１０８の車両探索部１０９に送られる。

また、光点検出部１０７は、光点検出用画像を用いて光点検出を行い、検出された光点は、認識処理部１０８の光点情報算出部１１０に送られる。光点情報算出部１１０は、光点検出部１０７から送られた光点情報に基づいて、光点の種類、位置等の光点情報を算出する。

光点検出部１０７における光点検出方法の例としては、光点検出用画像に対して輝度値で２値処理を行い、高輝度画素を抽出する。ヘッドライトの光点の場合は白色の高輝度画素、テールライトの光点の場合は赤色の高輝度画素を抽出する。抽出した高輝度画素に対してグルーピング処理を行い隣接した高輝度画素同士のまとまりを光点とする。さらに光点の形状やアスペクト比、面積によってフィルタリング処理を行い絞り込む。

認識処理部１０８の車両探索部１０９では、視差情報に基づいて車両探索を行い、車両候補情報を取得し、テンプレート選択部１１１に送る。また、光点情報算出部１１０は、算出した光点情報をテンプレート選択部１１１に送る。

テンプレート選択部１１１は、車両探索部１０９から送られた車両候補情報及び光点情報算出部１１０から送られた光点情報からテンプレートを選択する。新規に検知した車両については追跡対象（先行対象物）として新規に登録し、テンプレート生成部１１２でテンプレートを生成する。このとき、テンプレートとして用いる画像領域上に存在する光点情報を、車両のテンプレート画像と対応付けする。光点情報と対応付けたテンプレート画像を、記憶領域１１５におけるテンプレート保存部１２１のテンプレート画像保存部１２２に保存する。

過去に追跡対象として登録された車両が存在する場合は、その車両のテンプレート画像を用いてテンプレートマッチング探索を行う。

テンプレートマッチング探索で用いるテンプレート画像はテンプレート選択部１１１で選択し、テンプレート選択部１１１では、探索領域周辺の光点情報をテンプレート保存部１２１の光点情報保存部１２３から取得し、テンプレート画像と対応づいた光点情報と比較し、尤もらしいテンプレート画像を選択する。

光点情報が変化し、尤もらしいテンプレート画像が見つからなかった場合は、テンプレート生成部１１２で新たにテンプレート画像を生成しテンプレート画像保存部１２２に保存する。テンプレート画像保存部１２２には、複数の車両画像のテンプレートが保存される。

車両追跡処理部１１３では、テンプレート生成部１１２により生成されたテンプレート画像等の車両情報に対して追跡処理を行う。つまり、テンプレートマッチングにより追跡する車両を検知し、追跡処理を行う。

車両追跡処理部１１３が追跡処理を行った車両情報を制御処理に渡すため、この車両情報は制御信号出力部１１４に送られる。制御信号出力部１１４は、車両追跡処理部１１３からの車両情報に基づいて車両制御するための制御信号を出力する。

なお、記憶領域１１５は、立体物情報保存部１１９及び車両特徴情報保存部１２０を備えている。

図２は、本実施例１におけるテンプレート入れ替え処理の流れを示した図である。図２に示した処理は、認識処理部１０８により行われる。

図２において、車両探索部１０９は画像撮像部１０５からの視差情報（画像情報）に基づいて車両候補探索を行い、車両候補情報を取得する（ステップＳ２０１）。

光点情報算出部１１０は光点情報に基づいて光点情報を取得する（ステップＳ２０２）。

次に、車両探索部１０９からの車両候補情報および光点情報算出部１１０からの光点情報に基づいて車両追跡処理（ステップＳ２０３～Ｓ２１０）が行われる。

まず、ステップＳ２０３において、追跡中の車両が存在するか確認し、車両の追跡動作中ではない場合（車両の追跡開始前）、車両探索部１０９からの車両候補情報が示す車両を新規追跡対象として追跡を開始する。このとき、テンプレートとして使用する画像領域上に存在する光点情報を対応付けて車両画像のテンプレート画像を生成し（ステップＳ２０８）、テンプレート保存部１２１に登録（保存）する（ステップＳ２０９）。

ステップＳ２０３において、追跡中の車両が存在する場合、ステップＳ２０４に進み、追跡中の車両の光点が変化したかどうかを判定する。ステップＳ２０４において、追跡中の車両の光点情報が変化していなければ、テンプレート入れ替え処理は行わず、従来のテンプレート処理を行う（ステップＳ２１０）。

ステップＳ２０４において、光点情報が変化している場合、ステップＳ２０５に進み、現在の光点情報に対応するテンプレート画像がテンプレート保存部１２１内に存在するかどうかを確認する。

ステップＳ２０５において、対応するテンプレートが存在する場合は、テンプレート選択部１１１は、変化した光点に応じたテンプレート画像を選択し（ステップＳ２０６）、テンプレート画像の入れ替え（テンプレート入れ替え）を行う（ステップＳ２０７）。そして、追跡動作を続行する。

車両追跡処理部１１３は、車両探索部１０９からの探索した車両情報に基づいて、追跡車両の位置（追跡車両の追跡範囲）を予測している。上述のように、光点に応じたテンプレート画像を選択した場合、テンプレート画像の入れ替えが行われるが、車両追跡処理部１１３は、入れ替えた（選択した）テンプレートの画像と、上述した追跡車両の予測位置（予測範囲）との類似度を算出する。

そして、車両追跡処理部１１３は算出した類似度に基づいて、追跡車両の予測位置（追跡車両の追跡範囲）を補正する。補正した「追跡車両の予測位置（追跡車両の追跡予測範囲）を補正することにより、追跡車両の追跡位置ずれを抑制することができ、マッチング精度を向上することができる。

ステップＳ２０５において、光点と対応するテンプレートがテンプレート保存部１２１内に存在しない場合は、光点と対応するテンプレート画像を新規に生成し（ステップＳ２０８）、新規の車両画像テンプレートとして変化した光点情報と対応付けてテンプレート保存部１２１に登録（保存）する（ステップＳ２０９）。そして、追跡動作を続行する。

図３は、実施例１におけるテンプレート入れ替え処理についての具体的な説明図である。

図３において、時刻（ｔ－ｎ）フレームにおける撮像画像３０１で先行車両３０２を探索したとする。先行車両３０２が、この時点（時刻（ｔ－ｎ））でまだ追跡中車両として登録されていなかった場合（ステップＳ２０５においてＮｏの場合）、新規追跡対象として登録し、車両全体を囲む画像領域を、テンプレート画像３１４としてテンプレート保存部１２１のテンプレート画像保存部１２２に保存する（ステップＳ２０８、Ｓ２０９）。
この時、先行車のテールライト３０３および３０４を光点情報として取得できていたとする。テンプレート画像３１４をテンプレート画像保存部１２２に登録する際に、テンプレート画像と対応付けてテールライト３０３、３０４の光点情報を光点情報保存部１２３に保存する。

次に、時刻（ｔ）における撮像画像３０５で、先行車３０２と同じ先行車３０６を追跡していたとする。前回フレーム（時刻（ｔ－ｎ）のフレーム）における先行車両３０２の移動速度から今回フレーム（時刻ｔのフレーム）における車両３０６の追跡予測位置を算出し、その追跡予測位置周辺についてテンプレートマッチング探索を行う。

この時、追跡予測位置周辺に存在する先行車３０６のテールライト３０７および３０８の光点情報を取得し、光点情報の状態が、時刻（ｔ－ｎ）のときから変化していたかどうかを判定する（ステップＳ２０４）。テールライト３０７、３０８の状態に変化がなかった場合、光源変化による見た目の変化は小さいと考えられるため、（ｔ－ｎ）フレームで生成したテンプレート３１４は入れ替えを行わず、そのまま用いてテンプレートマッチングを行う。

時刻（ｔ＋ｎ）における撮像画像３０９（（ｔ＋ｎ）フレーム画像）で、先行車３０２、３０６と同じ先行車３１０を追跡していたとする。

この時、先行車３１０がブレーキをかけてブレーキランプ３１１、３１２、３１３が点灯したとする。先行車３１０の光点情報が、時刻（ｔ）における光点情報の状態から変化したかどうかを判定したとき（ステップＳ２０４）、時刻（ｔ）のときはテールライト３０７、３０８の光点情報が登録されているが、時刻（ｔ＋ｎ）ではブレーキランプ３１１、３１２、３１３が点灯し、光点の数や大きさに変化が生じている。

よって、この場合には光源変化による見た目の変化が大きいと考えられるため、光点に応じたテンプレートを選択し、テンプレートの入れ替えを行い、（ｔ＋ｎ）における車両を囲む画像領域をテンプレート画像３１８としてテンプレート画像保存部１２２に保存する。この時ブレーキランプ３１１、３１２、３１３の光点情報をテンプレート画像と対応付けて保存する。

以上のように、本発明の実施例１は、先行車両の光点情報を取得し、光点情報が変化した場合は、変化した光点情報に対応するテンプレートが存在する場合には、変化した光点情報に対応するテンプテレートに入れ替えて、追跡動作を行い、変化した光点情報に対応するテンプレートが存在しない場合には、変化した光点情報に対応するテンプテレートに入れ替えて、追跡動作を行うように構成されている。

したがって、夜間における先行対象物の光源状態変化に応じてテンプレートの切り替え処理を適切に行い、光源変化による急激な外観変化に対してのテンプレートマッチング精度低下を抑え、先行対象物追跡精度が向上可能な画像処理装置および画像処理方法を実現することができる。

（実施例２）
次に、本発明の実施例２について、説明する。

上述した実施例１では、先行車両の光点情報が変わるたびにテンプレートを入れ替えるという例であるが、実施例２は、光点の変化に応じた複数のテンプレートを保存し、光点情報に応じて適切なテンプレートを選択するという例である。

実施例２における画像処理装置は、図１に示した例と同様であるので、図示および詳細な説明は省略する。また、図２に示した処理も実施例２に適用可能であるので、図示および詳細な説明は省略する。

図４は、実施例２におけるテンプレート入れ替え処理についての具体的な説明図である。

図４において、時刻（ｔ－ｎ）フレームにおける撮像画像４０１で先行車両４０２を追跡中であるとする。この撮像画像４０１における車両４０２の画像をテンプレート画像４１５としてテンプレート画像保存部１２２に保存したとする。

このとき、テンプレート画像と対応付けて先行車両４０２のテールライト４０３、４０４の光点情報を保存する。テンプレート画像４１５の他にも、たとえばブレーキランプが点灯したときのテンプレート画像４１６や左ウィンカが点灯したときのテンプレート画像４１７が、テンプレート保存部１２１のテンプレート画像保存部１２２に保存されているとする。

時刻（ｔ）フレームにおける撮像画像４０５で、先行車４０２の同じ先行車４０６がウィンカ４０８を点灯させたとする。時刻（ｔ－ｎ）フレームのときはテールライト４０３、４０４の光点情報が登録されているが、時刻（ｔ）フレームでは先行車４０６のテールライト４０７、４０９とウィンカ４０８が点灯し光点の数や種類に変化が生じている。

そこで、テンプレート画像保存部１２２に登録されているテンプレートの中に、テールライト４０７、４０９とウィンカ４０８と同じような光点情報と対応づいているテンプレートが存在するか探索し（ステップＳ２０５）、該当するテンプレート画像４１７があったためテンプレート画像４１７を選択し、テンプレートマッチングを行う。

この時、たとえば、先行車両４０６にピッチングが起きた場合などには追跡予測位置がずれ、ずれた追跡予測位置周辺の光点情報を取得してしまう事で、誤った光点状態変化を観測してしまい、これによってテンプレートを誤選択してしまうことが考えられる。

光点情報に基づいてテンプレート選択するときに誤選択してしまう事を避けるため、ピッチングなどによる追跡予測位置の変化量に許容範囲を設定し許容範囲以上に追跡予測位置が変化していた場合テンプレート選択を実施しないようにする。

テンプレート画像保存部１２２に同じような光点情報と対応づいているテンプレートが存在しなかった場合は、新たなテンプレート画像としてテンプレート画像保存部１２２に登録する（ステップＳ２０８、Ｓ２０９）。

同様に、時刻（ｔ＋ｎ）フレームにおける撮像画像４１０で、先行車４１１に対し光点情報の変化の有無を判定する。撮像画像４１０では、先行車４１１がブレーキをかけてブレーキランプ４１３、４１２、４１３が点灯したとする。先行車４１１の光点情報が、時刻（ｔ）における光点情報の状態から変化したかどうかを判定したとき、時刻（ｔ）のときはテールライト４０７、４０８の光点情報が登録されているが、時刻（ｔ＋ｎ）ではブレーキランプ４１３、４１２、４１３が点灯し、光点の数や大きさに変化が生じている。

よって、この場合には光源変化による見た目の変化が大きいと考えられるため、光点に応じたテンプレート４１６を選択し、テンプレートマッチングを行う。

本発明の実施例２によれば、実施例１と同様な効果を得ることができる他、光点の変化に応じた複数のテンプレートを保存し、光点情報に応じて適切なテンプレートを選択するように構成したので、光点の状態変化により速く適切なテンプレートを適用することができる。

ここで、上述した本発明による実施例の自動運転技術への応用について記述する。

本発明ではテンプレートと光点情報とを対応付けて保存するため、先行車のブレーキやウィンカ点灯による車線変更意思などの挙動を把握することができる。

この情報を利用して、たとえば先行車の車線変更の意思を判断して割り込みを検知して自車両を減速することや、前方車両がいなくなったことを検知して自車両の加速といった制御が可能となる。

１００・・・画像処理装置、 １０１、１０２・・・カメラ、 １０３・・・画像信号処理部、 １０４・・・露光時間制御部、 １０５・・・画像撮像部、 １０６・・・視差演算部、 １０７・・・光点検出部、 １０８・・・認識処理部、 １０９・・・車両探索部、 １１０・・・光点情報算出部、 １１１・・・テンプレート選択部、 １１２・・・テンプレート生成部、 １１３・・・車両追跡処理部、 １１４・・・制御信号出力部、 １１５・・・記憶領域、 １１６・・・画像情報保存部、 １１７・・・露光時間保存部、 １１８・・・視差情報保存部、 １１９・・・立体物情報保存部、 １２０・・・車両特徴情報保存部、 １２１・・・テンプレート保存部、 １２２・・・テンプレート画像保存部、 １２３・・・光点情報保存部

Claims (10)

1. テンプレートマッチングにより追跡する車両を検知する画像処理装置であって、
   物体を撮像する撮像部と、
   前記撮像部が撮像した画像から光点を検出する光点検出部と、
   複数の車両画像のテンプレート及び光点情報を保存するテンプレート保存部と、
   前記撮像部が撮像した画像の光点が変化したとき、変化した光点の情報を前記車両画像のテンプレートと対応付けて前記テンプレート保存部に保存する認識処理部と、
   を備え、
   前記認識処理部は、前記撮像部が撮像した画像の光点が変化した場合、前記複数の車両画像のテンプレートから前記光点の変化に応じたテンプレートを前記テンプレート保存部から選択するテンプレート選択部を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記認識処理部は、前記撮像部が撮像した画像の光点が変化した場合であって、前記光点の変化に応じたテンプレートが前記テンプレート保存部に存在しないとき、画像の前記変化した光点の情報と前記画像をテンプレートとして前記テンプレート保存部に保存することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記認識処理部は、追跡車両の追跡範囲を予測する車両追跡処理部を備え、この車両追跡処理部は、前記テンプレート選択部が選択したテンプレートの画像と、予測した前記追跡車両の追跡範囲との類似度を算出することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記車両追跡処理部は、算出した前記類似度に基づいて、予測した追跡車両の追跡範囲を補正することを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記認識処理部は、前記撮像部からの画像情報に基づいて車両候補探索を行う車両探索部を備え、車両追跡開始前に、前記車両探索部からの車両画像情報に基づいて画像情報に存在する光点情報を対応付けて車両画像のテンプレート画像を生成し、前記テンプレート保存部に保存することを特徴とする画像処理装置。
6. 撮像部と、画像信号処理部と、認識処理部と、テンプレート保存部と、を備え、テンプレートマッチングにより追跡する車両を検知する画像処理方法であって、
   前記画像信号処理部は、前記撮像部が撮像した画像から光点を検出し、
   前記認識処理部は、
   複数の車両画像のテンプレート及び光点情報をテンプレート保存部に保存し、
   前記撮像部が撮像した画像の光点が変化したとき、変化した光点の情報を前記車両画像のテンプレートと対応付けてテンプレート保存部に保存し、
   前記撮像部が撮像した画像の光点が変化したとき、前記複数の車両画像のテンプレートから前記光点の変化に応じたテンプレートを前記テンプレート保存部から選択することを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法において、
   前記認識処理部は、前記撮像部が撮像した画像の光点が変化した場合であって、前記光点の変化に応じたテンプレートが前記テンプレート保存部に存在しないとき、画像の前記変化した光点の情報と前記画像をテンプレートとして前記テンプレート保存部に保存することを特徴とする画像処理方法。
8. 請求項６に記載の画像処理方法において、
   前記認識処理部は、追跡車両の追跡範囲を予測し、前記選択したテンプレートの画像と、予測した前記追跡車両の追跡範囲との類似度を算出することを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、
   前記認識処理部は、算出した前記類似度に基づいて、予測した追跡車両の追跡範囲を補正することを特徴とする画像処理方法。
10. 請求項６に記載の画像処理方法において、
    前記認識処理部は、車両追跡開始前に、前記撮像部からの画像情報に基づいて車両候補探索を行い、探索した車両の画像情報に基づいて、画像情報に存在する光点情報を対応付けて車両画像のテンプレート画像を生成し、前記テンプレート保存部に保存することを特徴とする画像処理方法。

Images