JP2016152027A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画像処理の負荷を低減することができる画像処理装置、画像処理方法およびプログラムを提供する。
【解決手段】２つの撮像手段のうち少なくとも一方の撮像手段により撮像された映像のフレームにおいて被写体の特徴点を抽出する抽出手段と、特徴点が写っているフレームの次のフレームで、その特徴点と一致する特徴点を検索するマッチング動作を行うマッチング手段と、マッチング動作の結果に基づいて、特徴点が次のフレームで消失したか否かを判定する判定手段と、判定手段によって特徴点が消失したと判定された場合、消失した特徴点を代替する代替点の動きに基づいて、消失した特徴点の位置を予測した予測点を求める予測手段と、予測点に基づく点と、消失する前の特徴点とが一致する場合、予測点に基づく点を、追跡対象である特徴点として復帰させる復帰手段と、を備える。
【選択図】図６

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、自動車またはロボット等を自律運転させるために必要となる地図を作成する手法として、未知の環境下で自律的に地図構築および自己位置の推定を行う技術（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）が知られている。ＳＬＡＭでは、カメラ画像またはレーザーレーダー等のセンサ情報から特徴点を抽出し、時系列で特徴点を追跡して、その結果を基に姿勢推定および三次元再構成を行うことで地図構築および自己位置の推定を行う。

しかし、例えばカメラ画像を利用した場合、カメラの前を動く物体が通り過ぎた場合に特徴点が消失してしまう、または、ステレオカメラ等の場合、視差によって一方のカメラでは特徴点が見えているが、他方のカメラではその特徴点が見えないというオクルージョンが発生し、特徴点の追跡に失敗することがある。このような、特徴点の追跡の失敗に対応するために、オクルージョンが発生した場合に、パラメータを変更することによって、特徴点の追跡範囲を小さくし、再度、特徴点を追跡することにより、特徴点の追跡の失敗を低減する技術が提案されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術は、特徴点の追跡の失敗を低減するために、オクルージョンが発生している部分であって特徴点が追跡できない複数の過去の画像を使う必要性があり、かつ、再度追跡を行う必要性があるため、画像処理の負荷につながるという問題点があった。

本発明は、上記に鑑みてなされたものであって、画像処理の負荷を低減することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、２つの撮像手段のうち少なくとも一方の撮像手段により撮像された映像のフレームにおいて被写体の特徴点を抽出する抽出手段と、前記特徴点が写っているフレームの次のフレームで、該特徴点と一致する特徴点を検索するマッチング動作を行うマッチング手段と、前記マッチング動作の結果に基づいて、前記特徴点が前記次のフレームで消失したか否かを判定する判定手段と、前記判定手段によって前記特徴点が消失したと判定された場合、消失した前記特徴点を代替する代替点の動きに基づいて、消失した該特徴点の位置を予測した予測点を求める予測手段と、前記予測点に基づく点と、消失する前の前記特徴点とが一致する場合、該予測点に基づく点を、追跡対象である前記特徴点として復帰させる復帰手段と、を備えた ことを特徴とする。

本発明によれば、画像処理の負荷を低減することができる。

図１は、第１の実施の形態の画像処理装置の概観図である。 図２は、第１の実施の形態の画像処理装置を車両に搭載した例を示す図である。 図３は、第１の実施の形態の画像処理装置のハードウェア構成の一例を示す図である。 図４は、第１の実施の形態の画像処理装置のブロック構成の一例を示す図である。 図５は、第１の実施の形態の画像処理装置の距離測定部のブロック構成の一例を示す図である。 図６は、第１の実施の形態の画像処理装置の特徴点追跡部のブロック構成の一例を示す図である。 図７は、撮像装置から物体までの距離を導き出す原理を説明する図である。 図８は、基準画像、高密度視差画像およびエッジ視差画像を示す概念図である。 図９は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。 図１０は、シフト量とコスト値との関係を示すグラフの一例を示す図である。 図１１は、合成コストを導出するための概念図である。 図１２は、シフト量と合成コスト値との関係を示すグラフの一例を示す図である。 図１３は、特徴点の追跡失敗および成功の状態の一例を示す図である。 図１４は、ブロックマッチング動作を説明する図である。 図１５は、ブロックマッチング動作におけるサーチ範囲における処理を説明する図である。 図１６は、オクルージョンの判定動作を説明する図である。 図１７は、第１の実施の形態の画像処理装置において予測点を推定するためのグルーピングの動作を説明する図である。 図１８は、第１の実施の形態の画像処理装置において予測点を推定するためのグルーピングの動作を説明する図である。 図１９は、第１の実施の形態の画像処理装置においてオクルージョンが発生した場合の予測点の推定動作を説明する図である。 図２０は、第１の実施の形態の画像処理装置における追跡点の復帰動作を説明する図である。 図２１は、第１の実施の形態の画像処理装置の画像処理の動作フローの一例を示す図である。 図２２は、第１の実施の形態の変形例の画像処理装置における追跡点の復帰動作を説明する図である。 図２３は、第２の実施の形態の画像処理装置のブロック構成の一例を示す図である。 図２４は、第２の実施の形態の画像処理装置の特徴点追跡部のブロック構成の一例を示す図である。 図２５は、第２の実施の形態の画像処理装置においてオクルージョンが発生した場合の予測点の推定動作を説明する図である。 図２６は、第３の実施の形態の変形例の画像処理装置における追跡点の復帰動作を説明する図である。

［第１の実施の形態］
（画像処理装置の概観および設置例）
図１は、第１の実施の形態の画像処理装置の概観図である。図２は、第１の実施の形態の画像処理装置を車両に搭載した例を示す図である。図１、２を参照しながら、画像処理装置１の概観および設置例について説明する。

図１に示すように、本実施の形態の画像処理装置１は、本体部２と、本体部２に固定された一対の円筒状の撮像装置１０ａおよび撮像装置１０ｂと、を備えている。画像処理装置１は、撮像装置１０ａ、１０ｂが、例えば、自動車の進行方向前方の光景を撮像することができるように設置される。なお、説明の便宜上、撮像装置１０ａを「右のカメラ」と称し、撮像装置１０ｂを「左のカメラ」と称する場合あるものとする。

画像処理装置１は、例えば、図２に示すように、自動車等である車両１００の居室空間のフロントガラス内側のバックミラー近傍に設置される。図２のうち、図２（ａ）は、画像処理装置１を搭載した車両１００の側面概観図であり、図２（ｂ）は、車両１００の正面図である。

なお、画像処理装置１は、車両の一例としての自動車だけでなく、車両の他の例として、バイク、自転車、車椅子、または農業用の耕運機等に搭載するものとしてもよい。

（画像処理装置のハードウェア構成）
図３は、第１の実施の形態の画像処理装置のハードウェア構成の一例を示す図である。図３を参照しながら、画像処理装置１のハードウェア構成について説明する。

図３に示すように、画像処理装置１は、本体部２と、撮像装置１０ａ（撮像手段）と、撮像装置１０ｂ（撮像手段）と、信号変換装置２０ａと、信号変換装置２０ｂと、追跡処理装置３０と、を備えている。

本体部２は、画像処理装置１の筐体を構成するものであり、撮像装置１０ａ、１０ｂを固定して支持し、信号変換装置２０ａ、２０ｂおよび追跡処理装置３０を内蔵する。

撮像装置１０ａは、前方の被写体を撮像してアナログの画像信号を生成する装置である。撮像装置１０ａは、撮像レンズ１１ａと、絞り１２ａと、画像センサ１３ａと、を備えている。

撮像レンズ１１ａは、入射した光を屈折させて物体の像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、画像センサ１３ａに到達する光の量を調整する部材である。画像センサ１３ａは、撮像レンズ１１ａおよび絞り１２ａを通過した光を電気的なアナログの画像信号に変換する固体撮像素子である。画像センサ１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）によって実現される。

撮像装置１０ｂは、前方の被写体を撮像してアナログの画像信号を生成する装置である。撮像装置１０ｂは、撮像レンズ１１ｂと、絞り１２ｂと、画像センサ１３ｂと、を備えている。撮像レンズ１１ｂ、絞り１２ｂおよび画像センサ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、絞り１２ａおよび画像センサ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、それぞれのレンズ面が互いに同一平面内上にあるように設置されている。

信号変換装置２０ａは、撮像装置１０ａにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する装置である。信号変換装置２０ａは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａと、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａと、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａと、フレームメモリ２４ａと、を備えている。

ＣＤＳ２１ａは、画像センサ１３ａにより生成されたアナログの画像信号に対して、相関二重サンプリング、横方向の微分フィルタ、および縦方向の平滑フィルタ等によりノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

信号変換装置２０ｂは、撮像装置１０ｂにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する装置である。信号変換装置２０ｂは、ＣＤＳ２１ｂと、ＡＧＣ２２ｂと、ＡＤＣ２３ｂと、フレームメモリ２４ｂと、を備えている。ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂおよびフレームメモリ２４ｂの機能は、それぞれ上述したＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａおよびフレームメモリ２４ａの機能と同様である。

追跡処理装置３０は、信号変換装置２０ａおよび信号変換装置２０ｂによって変換された画像データに対して、後述する特徴点を追跡する画像処理（以下、「追跡画像処理」と称する場合がある）を実行する装置である。追跡処理装置３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、スピーカ３６と、バスライン３９と、を備えている。

ＦＰＧＡ３１は、画像データに基づく画像における視差値Δを算出する処理、および追跡画像処理等を行う集積回路である。ＣＰＵ３２は、画像処理装置１の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が画像処理装置１の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、外部機器等と通信するためのインターフェースであり、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のインターフェースである。スピーカ３６は、ＦＰＧＡ３１またはＣＰＵ３２による命令に従って、警告音等の音声を出力する装置である。バスライン３９は、図３に示すように、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４、Ｉ／Ｆ３５およびスピーカ３６ を互いに電気的に接続するアドレスバスおよびデータバス等である。

また、上述の画像処理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ)等である。

（画像処理装置のブロック構成）
図４は、第１の実施の形態の画像処理装置のブロック構成の一例を示す図である。図４を参照しながら、画像処理装置１のブロック構成について説明する。

図４に示すように、画像処理装置１は、画像取得部１１０と、補正部１２０と、距離測定部１３０と、特徴点抽出部１４０（抽出手段）と、グルーピング部１５０と、特徴点追跡部１６０と、警告部１７０と、を有する。

画像取得部１１０は、左右２台のカメラにより前方の被写体を撮像して、それぞれアナログの画像信号を生成し、各画像信号に基づく画像である２つの輝度画像を得る機能部である。画像取得部１１０は、図３に示す撮像装置１０ａ、１０ｂによって実現される。

補正部１２０は、画像取得部１１０により得られた２つの輝度画像の画像データに対して、フィルタ処理等による補正によりノイズおよび歪み等を除去し、デジタル形式の画像データに変換して出力する機能部である。ここで、補正部１２０が出力する２つの輝度画像の画像データ（以下、単に「輝度画像」と称する）のうち、画像取得部１１０の右のカメラ（撮像装置１０ａ）により撮像された画像データを基準画像Ｉａの画像データ（以下、単に「基準画像Ｉａ」という）とし、左のカメラ（撮像装置１０ｂ）により撮像された画像データを比較画像Ｉｂの画像データ（以下、単に「比較画像Ｉｂ」という）とする。すなわち、補正部１２０は、画像取得部１１０から出力された２つの輝度画像に基づいて、基準画像Ｉａおよび比較画像Ｉｂを出力する。補正部１２０は、図３に示す信号変換装置２０ａ、２０ｂによって実現される。

距離測定部１３０は、ステレオマッチング動作により、補正部１２０から得られた基準画像Ｉａおよび比較画像Ｉｂに基づく視差によって、比較画像Ｉｂ（または基準画像Ｉａ）に含まれる各被写体（物体）について、画像処理装置１からその各被写体までの距離を測定する機能部である。距離測定部１３０による距離の測定動作は、画像処理装置１による追跡画像処理が実行されている間、原則として常時、実行される。距離測定部１３０の構成および動作の詳細については、後述する。距離測定部１３０は、図３に示すＦＰＧＡ３１によって実現される。

特徴点抽出部１４０は、撮像装置１０ａ、１０ｂにより撮像される物体の角等のように際立って認識される画像上の点（特徴点）を抽出する機能部である。特徴点抽出部１４０による特徴点の抽出動作は、画像処理装置１による追跡画像処理が実行されている間、原則として常時、実行される。これは、画像処理装置１が搭載された移動体である車両１００等では、撮像装置１０ａ、１０ｂにより撮像される画像には、常時、新規の特徴点が現れるためである。特徴点抽出部１４０による特徴点の抽出方法としては、例えば、ハリス（Ｈａｒｒｉｓ）のコーナー検出アルゴリズム等が適用できる。特徴点抽出部１４０は、図３に示すＦＰＧＡ３１によって実現される。

グルーピング部１５０は、特徴点追跡部１６０による特徴点の追跡動作において、特徴点が消失した場合に、消失した特徴点の代替とする点（以下、代替点という）を特定するために、複数の特徴点をグルーピングする機能部である。上述のように、撮像装置１０ａ、１０ｂにより撮像される画像には、常時、新規の特徴点が現れるため、グルーピング部１５０によるグルーピングの動作は、画像処理装置１による追跡画像処理が実行されている間、原則として常時、実行される必要がある。グルーピング部１５０によるグルーピングの動作については、後述する。グルーピング部１５０は、図３に示すＦＰＧＡ３１によって実現される。

特徴点追跡部１６０は、距離測定部１３０により測定された距離情報、特徴点抽出部１４０により抽出された特徴点の座標、およびグルーピング部１５０による特徴点のグルーピングの情報に基づいて、特徴点の追跡動作を実行する機能部である。特徴点追跡部１６０の構成および動作の詳細については、後述する。特徴点追跡部１６０は、図３に示すＦＰＧＡ３１によって実現される。

警告部１７０は、特徴点追跡部１６０により特徴点の追跡失敗を示す追跡情報を受け取った場合、警告を発する機能部である。具体的には、警告部１７０は、例えば、特徴点の追跡失敗を示す追跡情報を受け取った場合、警告として警告音を出力する。警告部１７０は、図３に示すスピーカ３６によって実現される。なお、警告部１７０は、スピーカ３６によって実現されることに限定されるものではなく、例えば、警告を示すランプまたは警告メッセージ等の表示装置によって実現されるものとしてもよい。

なお、以下、上述の特徴点抽出部１４０による特徴点の抽出動作、グルーピング部１５０によるグルーピングの動作、および特徴点追跡部１６０による特徴点の追跡動作は、左のカメラ（撮像装置１０ｂ）により撮像された映像データのフレームに対して実行されるものとして説明する。ただし、右のカメラ（撮像装置１０ａ）により撮像された映像データのフレームに対して実行することも可能であることは言うまでもない。

図５は、第１の実施の形態の画像処理装置の距離測定部のブロック構成の一例を示す図である。図５を参照しながら、画像処理装置１の距離測定部１３０のブロック構成について説明する。

図５に示すように、距離測定部１３０は、コスト算出部１３１と、コスト合成部１３２と、距離導出部１３３と、を有する。

コスト算出部１３１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）（ｘ、ｙは画像上の座標）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）の非類似度を示すコスト値Ｃ（ｐ，ｄ）を算出する機能部である。コスト算出部１３１が算出するコスト値Ｃとしては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）、またはＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）等を用いることができる。コスト算出部１３１の動作の詳細については、後述する。

コスト合成部１３２は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のその基準画素についての比較画像Ｉｂにおける画素のコスト値Ｃを、コスト算出部１３１により算出された候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）に集約させて、候補画素ｑ（ｘ＋ｄ，ｙ）の合成コスト値Ｌｓ（ｐ，ｄ）を算出する機能部である。コスト合成部１３２の動作の詳細については、後述する。

距離導出部１３３は、コスト合成部１３２により算出された、基準画像Ｉａにおける基準画素についての比較画像Ｉｂにおける画素の合成コスト値Ｌｓの最小値に対応するシフト量ｄを視差値Δとして特定する機能部である。さらに、距離導出部１３３は、特定した視差値Δから距離を導出する。距離導出部１３３の動作の詳細については、後述する。なお、上述のように特定された視差値Δは、画素単位の値であるが、例えば、サブピクセル推定により画素よりも細かい単位（サブピクセル単位）で視差値Δを求めるものとしてもよい。サブピクセル推定としては、パラボラフィッティングまたは最小二乗法等による方法が適用できる。

図６は、第１の実施の形態の画像処理装置の特徴点追跡部のブロック構成の一例を示す図である。図６を参照しながら、画像処理装置１の特徴点追跡部１６０のブロック構成について説明する。

図６に示すように、特徴点追跡部１６０は、マッチング部１６１（マッチング手段）と、追跡判定部１６２（判定手段）と、座標予測部１６３（予測手段）と、復帰部１６４（復帰手段）と、を有する。

マッチング部１６１は、特徴点抽出部１４０により特定のフレーム（以下、単に「ｎ枚目のフレーム」と称する場合がある）で抽出された特徴点の座標を中心とした所定の大きさ（Ｎ画素×Ｎ画素）の範囲の画像であるテンプレートと一致する画像を、次のフレーム（以下、単に「（ｎ＋１）枚目のフレーム」と称する場合がある）における所定のサーチ範囲（Ｗ画素×Ｈ画素）で探索するブロックマッチング動作を実行する機能部である。ここで、フレームとは、撮像装置１０ａ、１０ｂにより撮像される映像データを構成する１つ１つの画像を示す。マッチング部１６１の動作の詳細については、後述する。なお、テンプレートは、Ｎ画素×Ｎ画素としたが、これに限定されるものではなく、縦横異なる画素数の画像であってもよく、または、矩形ではなく円形等のテンプレートであってもよい。また、マッチング部１６１によるマッチング動作は、画像の画素値について縦横に微分した画像を用いて実行されるものとしてもよい。

追跡判定部１６２は、マッチング部１６１によるブロックマッチング動作の結果、ｎ枚目のフレームにおける追跡対象となる特徴点（以下、「追跡点」と称する場合がある）を含むテンプレートを、（ｎ＋１）枚目のフレームにおけるサーチ範囲で探索できたか否か、すなわち、（ｎ＋１）枚目のフレームで特徴点を追跡できたか否かを判定する機能部である。追跡判定部１６２は、例えば、追跡点についてオクルージョンが発生したか否かを判定することにより、追跡点が追跡できたか否かを判定する。追跡判定部１６２の動作の詳細については、後述する。

座標予測部１６３は、追跡判定部１６２により追跡点の追跡ができないと判定された場合、すなわち、追跡点が消失したと判定された場合、グルーピング部１５０によって消失した追跡点である特徴点と同じグループにグルーピングされた他の特徴点を代替点として特定し、代替点を利用して、消失した追跡点の動きを予測する機能部である。具体的には、座標予測部１６３は、特定した代替点の動きのベクトル（オプティカルフロー）を利用して、消失した追跡点が存在する点を予測する。座標予測部１６３の動作の詳細については、後述する。

復帰部１６４は、座標予測部１６３によって消失した追跡点が存在すると予測された点（予測点）を中心にサーチ領域を形成し、追跡点が消失する前のその追跡点のテンプレートと、形成したサーチ領域とを比較することにより、追跡点の復帰動作を行う機能部である。復帰部１６４の動作の詳細については、後述する。

なお、図４〜６に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図４〜６で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図４〜６の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、図４〜６に示した各機能部は、ＦＰＧＡ３１等のハードウェア回路で構成されることに限定されるものではなく、少なくとも一部の機能部が図３に示すＣＰＵ３２で実行されるプログラムによって実現されるものとしてもよい。

（物体の距離の測定動作）
図７〜１２を参照しながら、距離測定部１３０によるＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を用いた距離の測定動作について説明する。

＜測距の原理＞
図７は、撮像装置から物体までの距離を導き出す原理を説明する図である。図７を参照しながら、ステレオマッチング動作により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。なお、以下では、説明を簡略化するため、複数の画素からなる所定領域のマッチングではなく、画素単位のマッチングの例について説明する。また、一画素単位ではなく、複数の画素からなる所定領域単位で処理される場合、基準画素を含む所定領域は基準領域として示され、対応画素を含む所定領域は対応領域として示される。また、この基準領域には基準画素のみの場合も含まれ、対応領域には対応画素のみの場合も含まれる。

図７に示すように、撮像装置１０ａ、１０ｂは、平行等位に設置されている。図７において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、撮像レンズ１１ａと撮像レンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、基準画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値Δは、基準画像Ｉａ上の点Ｓａ（ｘ，ｙ）の座標と、比較画像Ｉｂ上の点Ｓｂ（Ｘ，ｙ）の座標とを用いて、以下の（式１）のように表される。

Δ＝Ｘ−ｘ ・・・（式１）

また、図７において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂとすると、視差値Δは、Δ＝Δａ＋Δｂと表される。

次に、視差値Δを用いることにより、撮像装置１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚとは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図７に示すように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値Δを用いて、下記の（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／Δ ・・・（式２）

この（式２）が示すように、視差値Δが大きいほど距離Ｚは小さく、視差値Δが小さいほど距離Ｚは大きくなる。

図８は、基準画像、高密度視差画像およびエッジ視差画像を示す概念図である。このうち、図８（ａ）は、基準画像を示し、図８（ｂ）は、図８（ａ）に示す基準画像に対するデンス視差画像を示し、図８（ｃ）は、図８（ａ）に示す基準画像に対するエッジ視差画像を示す概念図である。ここで、基準画像は、図７に示す基準画像Ｉａに相当し、撮像された被写体が輝度値によって表された画像である。また、高密度視差画像とは、基準画像の各画素を、ＳＧＭ法によって導出された基準画像における各画素に対応する視差値で表した画像を示すものとする。そして、エッジ視差画像とは、基準画像の各画素を、ブロックマッチング法によって導出された基準画像における各画素に対応する視差値で表した画像を示すものとする。ただし、ブロックマッチング法によって導出できる視差値は、後述するように、基準画像におけるエッジ部のような比較的テクスチャの強い部分であり、テクスチャの弱い部分のように視差値を導出できない場合は、例えば、視差値を「０」として画像を構成する。

ＳＧＭ法は、画像におけるテクスチャが弱い部分に対しても適切に視差値を導出する方法であり、図８（ａ）に示す基準画像に基づいて、図８（ｂ）に示す高密度視差画像を導出する方法である。また、ブロックマッチング法は、図８（ａ）に示す基準画像に基づいて、図８（ｃ）に示すエッジ視差画像を導出する方法である。ＳＧＭ法によれば、図８（ｂ）および図８（ｃ）における破線の楕円内を比べると分かるように、高密度視差画像は、エッジ視差画像に比べてテクスチャが弱い道路等においても詳細な視差値に基づく距離を表すことができるため、より詳細な測距を行うことができる。

ＳＧＭ法は、基準画像に対する比較画像上の、非類似度であるコスト値を算出して直ちに視差値を導出せず、コスト値を算出後、さらに、合成コスト値を算出することで視差値を導出する方法である。そして、ＳＧＭ法は、最終的に、基準画像におけるほぼ全ての画素に対応する視差値で表された視差画像（ここでは、高密度視差画像）を導出する。

一方、ブロックマッチング法の場合は、コスト値を算出する点はＳＧＭ法と同じであるが、ＳＧＭ法のように、合成コスト値を算出せずに、エッジ部のような比較的テクスチャの強い部分の視差値のみが導出される。

なお、上述のように、右のカメラ（撮像装置１０ａ）により撮像された画像を基準画像Ｉａとし、左のカメラ（撮像装置１０ｂ）により撮像された画像を比較画像Ｉｂとしているが、これに限定されるものではない。すなわち、左のカメラにより撮像された画像を比較画像Ｉｂとし、右のカメラにより撮像された画像を基準画像Ｉａとしてもよい。

＜コスト値の算出＞
図９は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図１０は、シフト量とコスト値との関係を示すグラフの一例を示す図である。図９および１０を参照しながら、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以下の説明では、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図９のうち、図９（ａ）は、基準画像における基準画素を示す概念図を示し、図９（ｂ）は、図９（ａ）に示す基準画素に対応する比較画像における対応画素の候補を順次シフトしながら（ずらしながら）コスト値を算出する際の概念図である。ここで、対応画素とは、基準画像における基準画素に最も類似する比較画像における画素を示す。

図９（ａ）に示すように、距離測定部１３０のコスト算出部１３１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂにおけるエピポーラ線ＥＬ上の対応画素の候補の画素である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、図９では、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との非類似度であるコスト値Ｃ（ｐ，ｄ）がコスト算出部１３１によって算出される。

なお、上述のように、撮像装置１０ａ、１０ｂは、それぞれ平行等位に配置されるため、基準画像Ｉａおよび比較画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図９で画像横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂのエピポーラ線ＥＬ上の画素を探索すればよい。

このようにして算出されたコスト値Ｃ（ｐ，ｄ）は、画素単位のシフト量ｄとの関係で、図１０に示すグラフにより表される。図１０の例では、コスト値Ｃは、シフト量ｄ＝５，１２，１９の場合が「０」となるため、最小値を求めることができない。このように、例えば、画像におけるテクスチャが弱い部分がある場合には、このようにコスト値Ｃの最小値を求めることは困難になる。

＜合成コスト値の算出および距離の導出＞
図１１は、合成コストを導出するための概念図である。図１２は、シフト量と合成コスト値との関係を示すグラフの一例を示す図である。図１１および１２を参照しながら、合成コスト値Ｌｓ（ｐ，ｄ）の算出方法について説明する。

本実施の形態の合成コスト値の算出方法は、コスト値Ｃ（ｐ，ｄ）の算出だけでなく、基準画素ｐ（ｘ，ｙ）の周辺の画素を基準画素とした場合のコスト値を、基準画素ｐ（ｘ，ｙ）におけるコスト値Ｃ（ｐ，ｄ）に集約させて、合成コスト値Ｌｓ（ｐ，ｄ）を算出するものである。距離測定部１３０のコスト合成部１３２は、合成コスト値Ｌｓ（ｐ，ｄ）を算出するためには、まず、経路コスト値Ｌｒ（ｐ，ｄ）を算出する。コスト合成部１３２は、経路コスト値Ｌｒ（ｐ，ｄ）を、下記の（式３）により算出する。

Ｌｒ（ｐ，ｄ）＝Ｃ（ｐ，ｄ）＋ｍｉｎ（Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ））
・・・（式３）
（Ｐ＝０（ｄ＝ｋの場合）、
Ｐ＝Ｐ１（｜ｄ−ｋ｜＝１の場合）、
Ｐ＝Ｐ２（＞Ｐ１）（｜ｄ−ｋ｜＞１の場合））

（式３）に示すように経路コスト値Ｌｒは、再帰的に求められる。ここで、ｒは、集約方向の方向ベクトルを示し、ｘ方向およびｙ方向の２成分を有する。ｍｉｎ（）は、最小値を求める関数である。Ｌｒ（ｐ−ｒ，ｋ）は、基準画素ｐの座標からｒ方向に１画素シフトした座標の画素について、シフト量を変化させた場合（この場合のシフト量をｋとしている）のそれぞれの経路コスト値Ｌｒを示す。そして、経路コスト値Ｌｒ（ｐ−ｒ，ｋ）のうち、経路コスト値Ｌｒ（ｐ，ｄ）のシフト量であるｄと、シフト量ｋとの間の関係に基づいて、下記の（１）〜（３）のように値Ｐ（ｄ，ｋ）を求め、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）を算出している。

（１）ｄ＝ｋの場合、Ｐ＝０とする。すなわち、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）＝Ｌｒ（ｐ−ｒ，ｋ）となる。
（２）｜ｄ−ｋ｜＝１の場合、Ｐ＝Ｐ１とする。すなわち、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）＝Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ１となる。
（３）｜ｄ−ｋ｜＞１の場合、Ｐ＝Ｐ２（＞Ｐ１）とする。すなわち、Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）＝Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ２となる。

そして、ｍｉｎ（Ｌｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ））は、ｋを様々な値に変化させた場合の、上述の（１）〜（３）で算出したＬｒ（ｐ−ｒ，ｋ）＋Ｐ（ｄ，ｋ）のうち最小の値を抽出した値となる。すなわち、比較画像Ｉｂにおける基準画素ｐの座標の位置にある画素からｒ方向において隣接する画素（ｐ−ｒ）からシフト量ｄだけシフトした画素から離れた場合に、値Ｐ１、または値Ｐ１よりも大きい値Ｐ２を加算することにより、比較画像Ｉｂにおける基準画素ｐの座標から離れた画素についての、シフト量ｄが不連続な経路コスト値Ｌｒの影響を受け過ぎないようにしている。また、値Ｐ１および値Ｐ２は、予め実験により定められた固定パラメータであり、経路上で隣接する基準画素の視差値が連続になりやすいようなパラメータになっている。例えば、Ｐ１＝４８、Ｐ２＝９６である。このように、コスト合成部１３２は、比較画像Ｉｂにおいてｒ方向の各画素における経路コスト値Ｌｒを求めるために、最初は、基準画素ｐ（ｘ，ｙ）の座標からｒ方向の一番端の画素から経路コスト値Ｌｒを求め、ｒ方向に沿って経路コスト値Ｌｒを求める。

そして、コスト合成部１３２は、図１１に示すように、８方向（ｒ_０、ｒ_４５、ｒ_９０、ｒ_１３５、ｒ_１８０、ｒ_２２５、ｒ_２７０およびｒ_３１５）の経路コスト値ＬｒであるＬｒ_０、Ｌｒ_４５、Ｌｒ_９０、Ｌｒ_１３５、Ｌｒ_１８０、Ｌｒ_２２５、Ｌｒ_２７０およびＬｒ_３１５が求められ、最終的に下記の（式４）に基づいて、合成コスト値Ｌｓ（ｐ，ｄ）を求める。
以上のようにして、コスト合成部１３２により算出された合成コスト値Ｌｓ（ｐ，ｄ）は、画素単位のシフト量ｄとの関係で、図１２に示すグラフによって表すことができる。

そして、距離測定部１３０の距離導出部１３３は、コスト合成部１３２により算出された、基準画像Ｉａにおける基準画素についての比較画像Ｉｂにおける画素の合成コスト値Ｌｓの最小値に対応するシフト量ｄを視差値Δとして特定する。図１２の例では、合成コスト値Ｌｓは、シフト量ｄ＝３の場合が最小値となるため、視差値Δ＝３として導出される。さらに、距離導出部１３３は、特定した視差値Δを用いて、上述の式（２）により距離Ｚを算出する。

なお、距離測定部１３０による距離の測定は、画像全体で実行するのではなく、特徴点抽出部１４０によって抽出された特徴点の座標に対応する画素に対して行うものとし、特徴点のみの距離を測定するものとしてもよい。

また、上述の説明においては、ｒ方向の数を８個として説明しているが、これに限定されるものではない。例えば、８方向をさらに２つに分割して１６方向、または、３つに分割して２４方向等にしてもよい。あるいは、８方向のうちのいずれかの経路コスト値Ｌｒを求め、合成コスト値Ｌｓを算出するものとしてもよい。

また、コスト値Ｃは、非類似度を示す値としたが、これに限定されるものではなく、類似度の評価値で表されるものとしてもよい。この場合、合成コスト値Ｌｓが、最小値ではなく、最大値となるシフト量ｄが視差値Δとして導出される。また、非類似度および類似度の両者を、「一致度」と称するものとしてもよい。

また、上述のように、距離測定部１３０は、ＳＧＭ法を利用して距離の測定を実行するものとしたが、これに限定する趣旨ではなく、従来のブロックマッチング法による距離の測定を実行するものとしてもよい。

（追跡画像処理の詳細）
図１３〜２１を参照しながら、本実施の形態の画像処理装置１による追跡画像処理の詳細について説明する。

＜特徴点の追跡の成否について＞
図１３は、特徴点の追跡失敗および成功の状態の一例を示す図である。図１３を参照しながら、特徴点抽出部１４０により抽出された特徴点の追跡の成否の状態の例を説明する。

図１３（ａ）に示すように、ｎ枚目のフレームであるフレーム２００には、特徴点抽出部１４０により抽出された特徴点３００が写っている。そして、フレーム２００の次のフレーム（（ｎ＋１）枚目のフレーム）であるフレーム２０１にも特徴点３００が写っている。この場合、フレーム２００からフレーム２０１にかけて、特徴点３００が写っているので、特徴点追跡部１６０は、原則として、特徴点３００を追跡することが可能である。

一方、図１３（ｂ）に示すように、フレーム２００には、特徴点抽出部１４０により抽出された特徴点３００が写っているが、次のフレームであるフレーム２０１ａでは、ワイパー９００が特徴点３００を遮ることによって、特徴点３００が写っていない。この場合、フレーム２００からフレーム２０１ａにかけて、特徴点３００が消失するので、特徴点追跡部１６０は、特徴点３００の追跡が一時的にできないことになる。

＜ブロックマッチング動作および追跡点の消失判定動作＞
図１４は、ブロックマッチング動作を説明する図である。図１５は、ブロックマッチング動作におけるサーチ範囲における処理を説明する図である。図１６は、オクルージョンの判定動作を説明する図である。図１４〜１６を参照しながら、特徴点追跡部１６０のマッチング部１６１によるブロックマッチング動作、および追跡判定部１６２による追跡点の消失判定動作の詳細について説明する。

図１４（ａ）に示すように、特徴点抽出部１４０は、ｎ枚目のフレームであるフレーム２１０において、抽出した特徴点（例えば、特徴点３１０）の座標を中心とする所定の大きさ（Ｎ画素×Ｎ画素）の範囲のテンプレート（図１４（ｂ）に示すテンプレート６１０）（第１テンプレート画像）を特定し、記憶部（例えば、ＲＡＭ３４）にテンプレート６１０の画像を一時記憶させる。

次に、図１４（ｃ）に示すように、マッチング部１６１は、フレーム２１０の次のフレーム（（ｎ＋１）枚目のフレーム）であるフレーム２１１において、フレーム２１０の特徴点３１０の座標に対応する点である対応点４１０を中心に所定のサーチ範囲８１０（Ｗ画素×Ｈ画素）（第１探索範囲）を形成する。そして、マッチング部１６１は、図１５（ａ）に示すように、サーチ範囲８１０において、記憶部に一時記憶されたテンプレート６１０と同じ大きさであるサーチ領域７１０をラスタースキャンさせ、テンプレート６１０とサーチ領域７１０の画像とのブロックマッチング動作を実行する。具体的には、マッチング部１６１は、テンプレート６１０とサーチ領域７１０の画像と一致度を算出しながら、サーチ範囲８１０において、サーチ領域７１０をラスタースキャンさせる。マッチング部１６１が算出する一致度としては、例えば、ＳＡＤまたはＳＳＤ等を用いることができる。

そして、追跡判定部１６２は、マッチング部１６１により算出された一致度に対して閾値判定を行う。例えば、一致度がＳＡＤのように非類似度を示す値であれば、追跡判定部１６２は、一致度が所定の閾値以下である場合、その一致度が算出されたサーチ領域７１０の画像と、テンプレート６１０とが一致するものと判定し、追跡成功と判定する。一方、追跡判定部１６２は、サーチ範囲８１０全体において、一致度が所定の閾値よりも大きい場合、サーチ領域７１０の画像と、テンプレート６１０とは一致せず、特徴点３１０の追跡ができなかった、すなわち、フレーム２１１で特徴点３１０は消失したものと判定する。

追跡判定部１６２は、追跡に成功した場合、図１５（ｂ）に示すテンプレート６１０と一致したサーチ領域７１０であるサーチ領域７１１の画像の中央の点を、特徴点３１０を追跡した結果である追跡点３１１として特定する。そして、マッチング部１６１および追跡判定部１６２は、（ｎ＋１）枚目のフレームであるフレーム２１１において特定された追跡点３１１（特徴点３１０）について、以降のフレームでさらに追跡を繰り返す。また、追跡判定部１６２は、追跡点３１１の座標を中心とするサーチ領域７１１の画像を新たなテンプレートとして記憶部（例えば、ＲＡＭ３４）に一時記憶させる。そして、追跡判定部１６２は、対応点４１０から追跡点３１１へ向かうベクトルであるオプティカルフロー５１０の情報を記憶部（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の外部記憶装置）に記憶させる。

また、追跡判定部１６２が、特徴点を追跡できない、すなわち、特徴点を消失したものと判定する原因の例として、物体によって特徴点が遮られることによるオクルージョンの発生がある。例えば、図１６（ａ）に示すように、特徴点抽出部１４０によって、フレーム２２０で被写体である物体９０２の特徴点として特徴点３２０、３２１が抽出されているものとする。そして、図１６（ｂ）に示すように、フレーム２２０の次のフレームであるフレーム２２１において、車両１００（図１参照）のフロントガラス９０１上を動くワイパー９００によって特徴点３２０が遮られることによるオクルージョンが発生したとする。この場合、追跡判定部１６２は、マッチング部１６１によるブロックマッチング動作の結果、特徴点３２０のフレーム２２１において対応する点である対応点４２０を中心とするサーチ範囲８２０（第１探索範囲）で、特徴点３２０のテンプレートと一致するサーチ領域の画像を検索することができず、特徴点３２０は消失したものと判定する。また、例えば、追跡判定部１６２は、フレーム２２１において、フレーム２２０の特徴点３２０の座標に対応する点である対応点４２０を中心とするサーチ範囲８２０に含まれる被写体の距離情報を距離測定部１３０から受け取り、その距離情報に基づいて所定距離よりも近い距離の物体（例えば、ワイパー９００）がサーチ範囲８２０に含まれていると判定した場合、オクルージョンが発生したものと判定し、フレーム２２１で特徴点３２０は消失したものと判定するものとしてもよい。

なお、マッチング部１６１によるマッチング動作において、サーチ領域７１０は車両１００の状態に応じて大きさが変化するようにしてもよい。例えば、車両１００の走行速度、車両１００のステアリングの角度、または外部環境の明るさ等の情報に基づいて、サーチ領域７１０の大きさが調整されるものとしてもよい。

＜グルーピングの動作＞
図１７および１８は、第１の実施の形態の画像処理装置において予測点を推定するためのグルーピングの動作を説明する図である。図１７および１８を参照しながら、画像処理装置１の特徴点抽出部１４０のグルーピングの動作の詳細について説明する。

グルーピング部１５０は、上述のように、特徴点追跡部１６０による特徴点の追跡動作において、特徴点が消失した場合に、消失した特徴点の予測点を求めるために用いる代替点を特定するために、同じような軌跡で動くと想定される複数の特徴点をグルーピングしておく必要がある。グルーピング部１５０は、グルーピングの方法としては、例えば、特徴点抽出部１４０によって抽出された特徴点のうち、画像処理装置１からの距離が同一の特徴点同士をグルーピングする。この場合、グルーピング部１５０は、距離測定部１３０から受け取った距離情報に基づいて、画像処理装置１から特徴点までの距離が同一であるか否かを判定する。ここで、距離が同一とは、完全に同一している場合のみを想定するものではなく、同一とみなし得る程度に近似した距離である場合も含むものとする。この場合、例えば、グルーピング部１５０は、２つ特徴点について、画像処理装置１から特の距離が同一であるか否かは、各特徴点までの距離の差分が所定の閾値以下であるか否かにより判定するものとすればよい。

例えば、図１７（ａ）において、左カメラで撮像された画像がフレーム２２５であり、右カメラで撮像された画像がフレーム２２６であるものとする。特徴点抽出部１４０は、図１７（ａ）および１７（ｂ）に示すように、フレーム２２５に写っている物体９０２において、特徴点３２０、３２１を抽出したものとする。また、距離測定部１３０は、フレーム２２５とフレーム２２６とを重ね合わせた画像２２７に示す視差値Δ１に基づいて、特徴点３２０、３２１の距離を測定し、その距離情報をグルーピング部１５０に送る。そして、グルーピング部１５０は、距離測定部１３０から受け取った特徴点３２０、３２１それぞれの距離情報から、双方が同一の距離であるものと判定した場合、同じグループにグルーピングする。グルーピング部１５０は、特徴点抽出部１４０により抽出された特徴点についてグルーピングした情報（グループ情報）を、特徴点追跡部１６０に送る。

また、図１８に示す例では、グルーピング部１５０によるグルーピングの方法を、例えば、以下のように行う。図１８（ａ）に示すように、画像処理装置１の左右のカメラはそれぞれ、物体９１０、９１１をそれぞれ撮像し、図１８（ｂ）に示すフレーム２３０が左のカメラ（撮像装置１０ｂ）により撮像されたフレームであるものとする。まず、特徴点抽出部１４０は、図１８（ｂ）に示すように、フレーム２３０に写っている物体９１０の特徴点３３０、３３１、および物体９１１の特徴点３３２、３３３を抽出したものとする。また、距離測定部１３０により測定される物体９１０までの距離Ｚ１（すなわち、特徴点３３０、３３１までの距離）と、物体９１１までの距離Ｚ２（すなわち、特徴点３３２、３３３までの距離）とは、同一であるものとする。ここで、画像処理装置１を搭載した車両１００が、物体９１０と、物体９１１との間を通過する場合、撮像装置１０ｂにより撮像される映像では、特徴点３３０、３３１は、映像の中央から左側へ向かう方向に、特徴点３３２、３３３は、映像の中央から右側へ向かう方向に向かうことになる。

この場合、図１７の例と同様に、画像処理装置１からの距離が同一の特徴点同士をグルーピングすると、グルーピング部１５０によって特徴点３３０〜３３３はすべて画像処理装置１からの距離が同一なので、同一のグループにグルーピングされることになる。しかし、上述のように、特徴点３３０、３３１と、特徴点３３２、３３３とは、異なる軌跡で動くので、特徴点追跡部１６０による特徴点の追跡動作において、消失した特徴点の予測点を求めるために用いる代替点として、軌跡の異なる特徴点が特定される可能性があり、座標予測部１６３による予測点の推定動作、および、復帰部１６４による追跡点の復帰動作が失敗する可能性がある。そこで、例えば、グルーピング部１５０は、フレーム２３０の中央から左側の部分と、右側の部分とに区分けしてグルーピングを行うものとしてもよい。具体的には、図１８（ｂ）において、グルーピング部１５０は、フレーム２３０の中心から左側にある特徴点３３０と特徴点３３１とを同一のグループにグルーピングし、右側にある特徴点３３２と特徴点３３３とを、特徴点３３０、３３１のグループとは異なるグループにグルーピングする。

なお、グルーピング部１５０によるグルーピングの方法は、図１７および１８で上述した方法に限定されるものではなく、その他の方法によって、同じような軌跡で動くと想定される複数の特徴点をグルーピングするものとしてもよい。図１８の例では、フレームの中心から左側の部分と、右側の部分とに区分けするものとしたが、例えば、フレームの中心から左上、左下、右上および右下に区分けし、各区分けした領域において特徴点をグルーピングするものとしてもよい。また、例えば、車両１００が前方方向に進むのではなく、カーブまたは交差点等で曲がる場合、フレーム内の特徴点はすべて右または左に移動することが想定されるので、上述のようにフレーム内で区分けはせず、フレーム全体で距離が同一の特徴点をグルーピングするものとしてもよい。

＜予測点の推定動作＞
図１９は、第１の実施の形態の画像処理装置においてオクルージョンが発生した場合の予測点の推定動作を説明する図である。図１９を参照しながら、特徴点追跡部１６０の座標予測部１６３による予測点の推定動作について説明する。

図１９（ａ）に示すように、まず、ｎ枚目のフレームであるフレーム２４０において、特徴点抽出部１４０により物体９４０における特徴点３４０、３４１がそれぞれ抽出されているものとする。また、特徴点抽出部１４０は、特徴点３４０と特徴点３４１とを同じグループにグルーピングしているものとする。また、フレーム２４０には、左から右に回転移動してくるワイパー９００が写っている。

そして、図１９（ｂ）に示すように、フレーム２４０の次のフレーム（（ｎ＋１）枚目のフレーム）であるフレーム２４１において、右から左に回転移動してきたワイパー９００により追跡対象である特徴点３４０が遮られることによるオクルージョンが発生したものとする。この場合、上述のように、追跡判定部１６２は、特徴点３４０を追跡することができず、特徴点３４０は消失したものと判定する。このように、追跡判定部１６２により特徴点３４０が消失したと判定された場合、座標予測部１６３は、消失した特徴点３４０の動きを予測するため、特徴点３４０と同一のグループかつ特徴点３４０に最も近い特徴点（図１９（ｂ）の例では特徴点３４１）を代替点として特定する。

そして、座標予測部１６３は、フレーム２４１において、フレーム２４０の特徴点３４１の座標に対応する点である対応点４４１から、特徴点３４１の座標へ向かうベクトルであるオプティカルフロー５４１を、消失した特徴点３４０のオプティカルフロー（オプティカルフロー５４０）として利用する。具体的には、座標予測部１６３は、消失した特徴点３４０が、フレーム２４１において、フレーム２４０の特徴点３４０の座標に対応する点である対応点４４０から、オプティカルフロー５４０で指し示される位置に移動していると予測する。すなわち、座標予測部１６３は、フレーム２４１において、対応点４４０からオプティカルフロー５４０で示される点の座標を、消失した特徴点３４０が存在すると推定される予測点４５０の座標として求める。

さらに、図１９（ｃ）に示すように、座標予測部１６３は、フレーム２４１の次のフレーム（（ｎ＋２）枚目のフレーム）であるフレーム２４２において、フレーム２４１の特徴点３４１の座標に対応する点である対応点４４２から、特徴点３４１の座標へ向かうベクトルであるオプティカルフロー５５１を、消失した特徴点３４０の次のオプティカルフロー（オプティカルフロー５５０）として利用する。具体的には、座標予測部１６３は、消失した特徴点３４０が、フレーム２４２において、フレーム２４１の予測点４５０（特徴点３４０の予測点）から、オプティカルフロー５５０で指し示される位置に新たに移動していると予測する。すなわち、座標予測部１６３は、フレーム２４２において、対応点４５０からオプティカルフロー５５０で示される点の座標を、消失した特徴点３４０が存在すると新たに推定される予測点４５１の座標として求める。

＜追跡点の復帰動作＞
図２０は、第１の実施の形態の画像処理装置における追跡点の復帰動作を説明する図である。図２０を参照しながら、特徴点追跡部１６０の復帰部１６４による追跡点の復帰動作について説明する。

図２０（ａ）は、図１９（ａ）に示す状態と同様であり、フレーム２４０において、特徴点抽出部１４０により物体９４０における特徴点３４０、３４１がそれぞれ抽出される状態を示す。上述のように、特徴点抽出部１４０は、さらに、フレーム２４０において、抽出した特徴点３４０の座標を中心とする所定の大きさのテンプレート６４０を特定し、記憶部にテンプレート６４０の画像を一時記憶させる。なお、テンプレートの特定および記憶の動作は、特徴点３４１に対しても同様に行われる。

図２０（ｂ）は、図１９（ｂ）に示す状態と同様であり、フレーム２４１において、右から左に回転移動してきたワイパー９００により追跡対象である特徴点３４０が遮られることによるオクルージョンが発生した状態を示す。この場合、追跡判定部１６２は、特徴点３４０を追跡することができず、特徴点３４０は消失したものと判定する。

追跡判定部１６２によって追跡対象である特徴点３４０が消失したと判定された後、図２０（ｃ）に示すように、復帰部１６４は、フレーム２４２（特徴点３４０が消失したフレーム２４１の次のフレーム）において、座標予測部１６３によって推定された予測点４５１を中心にテンプレート６４０と同じ大きさのサーチ領域７４０を形成する。そして、復帰部１６４は、記憶部に記憶されたテンプレート６４０と、サーチ領域７４０の画像とを比較し、これらの一致度を算出する。復帰部１６４が算出する一致度としては、例えば、マッチング部１６１と同様にＳＡＤまたはＳＳＤ等を用いることができる。

そして、復帰部１６４は、算出した一致度に対して閾値判定を行う。例えば、一致度がＳＡＤのように非類似度を示す値であれば、復帰部１６４は、一致度が所定の閾値以下である場合、テンプレート６４０と、サーチ領域７４０の画像とが一致するものと判定し、座標予測部１６３により推定された予測点４５１を、特徴点３４０に対する追跡点として復帰させる。一方、復帰部１６４は、一致度が所定の閾値よりも大きい場合、テンプレート６４０と、サーチ領域７４０の画像とは一致しないものと判定する。この場合、座標予測部１６３による予測点の推定動作、および復帰部１６４に追跡点の復帰動作を継続する。ただし、例えば、復帰部１６４は、復帰動作が所定回数行われても成功しなった場合、消失した特徴点３４０の追跡に失敗したものと判定する。

＜特徴点の追跡動作の流れ＞
図２１は、第１の実施の形態の画像処理装置の画像処理の動作フローの一例を示す図である。図２１を参照しながら、画像処理装置１の追跡画像処理のうち、特徴点追跡部１６０による特徴点の追跡動作の流れについて総括的に説明する。なお、予め、グルーピング部１５０は、特徴点抽出部１４０により抽出された特徴点が、上述の方法によりグルーピングされているものとする。

＜＜ステップＳ１１＞＞
特徴点抽出部１４０は、ｎ枚目のフレームにおいて、抽出した特徴点の座標を中心とする所定の大きさの範囲のテンプレートを特定し、記憶部（例えば、ＲＡＭ３４）にテンプレートの画像を一時記憶させる。マッチング部１６１は、次のフレーム（（ｎ＋１）枚目のフレーム）において、ｎ枚目のフレームの追跡対象となる特徴点の座標に対応する点である対応点を中心に所定のサーチ範囲を形成する。そして、マッチング部１６１は、サーチ範囲において、記憶部に一時記憶されたテンプレートと同じ大きさであるサーチ領域をラスタースキャンさせ、テンプレートとサーチ領域の画像とのブロックマッチング動作を実行する。具体的には、マッチング部１６１は、テンプレートとサーチ領域の画像と一致度を算出しながら、サーチ範囲において、サーチ領域をラスタースキャンさせる。そして、ステップＳ１２へ移行する。

＜＜ステップＳ１２＞＞
追跡判定部１６２は、マッチング部１６１により算出された一致度に対して閾値判定を行う。例えば、一致度がＳＡＤのように非類似度を示す値であれば、追跡判定部１６２は、一致度が所定の閾値以下である場合、その一致度が算出されたサーチ領域の画像と、テンプレートとが一致するものと判定し、追跡成功と判定する（ステップＳ１２：Ｙｅｓ）。追跡判定部１６２は、追跡に成功した場合、テンプレートと一致したサーチ領域の画像の中央の点を、特徴点を追跡した結果である追跡点として特定する。そして、マッチング部１６１および追跡判定部１６２は、特定された追跡点について、以降のフレームでさらに追跡を繰り返す。

一方、追跡判定部１６２は、サーチ範囲全体において、一致度が所定の閾値よりも大きい場合、サーチ領域の画像と、テンプレートとは一致せず、特徴点の追跡ができなかった、すなわち、特徴点は消失したものと判定し（ステップＳ１２：Ｎｏ）、ステップＳ１３へ移行する。

＜＜ステップＳ１３＞＞
座標予測部１６３は、消失した特徴点の動きを予測するため、消失した特徴点と同一のグループかつ消失した特徴点に最も近い特徴点を代替点として特定する。そして、座標予測部１６３は、（ｎ＋１）枚目のフレームにおいて、ｎ枚目のフレームの代替点の座標に対応する点である対応点から、代替点の座標へ向かうベクトルであるオプティカルフローを、消失した特徴点のオプティカルフローとして利用する。具体的には、座標予測部１６３は、消失した特徴点が、（ｎ＋１）枚目のフレームにおいて、ｎ枚目のフレームでの消失した特徴点の座標に対応する点である対応点から、上述のオプティカルフローで指し示される位置に移動していると予測する。すなわち、座標予測部１６３は、（ｎ＋１）枚目のフレームにおいて、消失した特徴点の対応点からオプティカルフローで示される点の座標を、消失した特徴点が存在すると推定される予測点の座標として求める。そして、ステップＳ１４へ移行する。

＜＜ステップＳ１４＞＞
座標予測部１６３によって予測点の座標の推定が成功した場合（ステップＳ１４：Ｙｅｓ）、ステップＳ１５へ移行し、成功しなかった場合（ステップＳ１４：Ｎｏ）、ステップＳ１９へ移行する。ここで、予測点の座標の推定が成功しない場合の例としては、座標予測部１６３によって、消失した特徴点が属するグループに他の特徴点が存在しない等の要因で代替点が特定されなかった場合等が挙げられる。

＜＜ステップＳ１５＞＞
復帰部１６４は、（ｎ＋２）枚目のフレームにおいて、座標予測部１６３によって推定された予測点を中心にテンプレートと同じ大きさのサーチ領域を形成する。次に、復帰部１６４は、記憶部に記憶されたテンプレートと、サーチ領域の画像とを比較し、これらの一致度を算出する。そして、復帰部１６４は、算出した一致度に対して閾値判定を行う。そして、ステップＳ１６へ移行する。

＜＜ステップＳ１６＞＞
例えば、一致度がＳＡＤのように非類似度を示す値であれば、復帰部１６４は、一致度が所定の閾値以下である場合、テンプレートと、サーチ領域の画像とが一致するものと判定し、追跡点の復帰は成功であると判定する（ステップＳ１６：Ｙｅｓ）。この場合、復帰部１６４は、座標予測部１６３により推定された予測点を、特徴点に対する追跡点として復帰させる。

一方、復帰部１６４は、一致度が所定の閾値よりも大きい場合、テンプレートと、サーチ領域の画像とは一致しないものと判定し、追跡点の復帰は失敗であると判定する（ステップＳ１６：Ｎｏ）。そして、ステップＳ１７へ移行する。

＜＜ステップＳ１７＞＞
復帰部１６４は、追跡点の復帰動作が所定回数に達したか否かを判定する。所定回数に達した場合（ステップＳ１７：Ｙｅｓ）、ステップＳ１８へ移行し、達していない場合（ステップＳ１７：Ｎｏ）、ステップＳ１３へ戻り、座標予測部１６３による予測点の推定動作から動作が繰り返される。なお、復帰部１６４が追跡点の復帰動作が所定回数に達してない場合に、ステップＳ１３へ戻ることに限定されるものではなく、例えば、復帰部１６４が追跡点の復帰は失敗であると判定してから所定時間のタイムラグを空けてから、ステップＳ１３へ戻るものとしてもよい。

＜＜ステップＳ１８＞＞
警告部１７０は、特徴点追跡部１６０により特徴点の追跡失敗を示す追跡情報を受け取ると警告を発する。

＜＜ステップＳ１９＞＞
警告部１７０は、座標予測部１６３により予測点の座標の推定が失敗した場合、警告を発する。

以上のステップＳ１１〜Ｓ１９の流れによって、特徴点追跡部１６０による特徴点の追跡動作が実行される。

以上のように、マッチング部１６１および追跡判定部１６２は、抽出された特徴点の追跡を行い、追跡判定部１６２によって特徴点が消失したと判定した場合、座標予測部１６３は、消失した特徴点と同一のグループの特徴点を代替点として特定する。そして、座標予測部１６３は、消失した特徴点の対応点から、代替点のオプティカルフローで示さる点を予測点とし、復帰部１６４は、消失する前の特徴点のテンプレートが、予測点を含むサーチ領域の画像と一致する場合、この予測点を、消失した特徴点に対する追跡点として復帰させるものとしている。これによって、消失した特徴点を再度復帰させることができ、また、追跡を継続するために過去の映像（フレーム）を使う必要はなく、特徴点について再度追跡し直す必要もないので、追跡画像処理の処理負荷を低減することができる。また、特徴点抽出部１４０、グルーピング部１５０および特徴点追跡部１６０の少なくともいずれかをハードウェア回路によって実現する場合、上述のように、再度復帰させることができ、追跡を継続するために過去の映像（フレーム）を使う必要はなく、特徴点について再度追跡し直す必要もないので、回路規模の増大を抑制することもできる。

また、追跡判定部１６２によって特徴点が消失したと判定した場合、座標予測部１６３は、消失した特徴点と同一のグループかつ消失した特徴点に最も近い特徴点を代替点として特定することが望ましい。これによって、消失した特徴点は、特定された代替点と近似した動きをすると想定されるので、座標予測部１６３による予測点の推定の精度が向上する可能性が高くなり、復帰部１６４による追跡点の復帰を容易にすることができる。

また、復帰部１６４による復帰が失敗しても、再度、座標予測部１６３による予測点の推定動作、および復帰部１６４による追跡点の復帰動作が行われるものとしている。このように、予測点の推定、および追跡点の復帰の動作が繰り返されることにより、追跡点の復帰が成功する確率を向上させることができる。

（変形例）
図２２は、第１の実施の形態の変形例の画像処理装置における追跡点の復帰動作を説明する図である。図２２を参照しながら、図２０で示した復帰部１６４の追跡点の復帰動作と相違する点を中心に説明する。

図２２（ａ）および（ｂ）は、それぞれ上述の図２０（ａ）および（ｂ）と同様の状態を示しており、フレーム２４１において、右から左に回転移動してきたワイパー９００により追跡対象である特徴点３４０が遮られることによるオクルージョンが発生した状態を示す。この場合、追跡判定部１６２は、特徴点３４０を追跡することができず、特徴点３４０は消失したものと判定する。

追跡判定部１６２によって追跡対象である特徴点３４０が消失したと判定された後、図２２（ｃ）に示すように、復帰部１６４は、フレーム２４２（特徴点３４０が消失したフレーム２４１の次のフレーム）において、予測点４５１を中心とするサーチ範囲８４０（第２探索範囲）を形成する。そして、復帰部１６４は、サーチ範囲８４０において、テンプレート６４０（第２テンプレート画像）と同じ大きさであるサーチ領域７４０をラスタースキャンさせ、テンプレート６４０とサーチ領域７４０の画像とのブロックマッチングを実行する。具体的には、復帰部１６４は、テンプレート６４０とサーチ領域７４０の画像と一致度を算出しながら、サーチ範囲８４０において、サーチ領域７４０をラスタースキャンさせる。

そして、復帰部１６４は、算出した一致度に対して閾値判定を行う。例えば、一致度がＳＡＤのように非類似度を示す値であれば、復帰部１６４は、一致度が所定の閾値以下である場合、テンプレート６４０と、サーチ領域７４０の画像とが一致するものと判定し、座標予測部１６３により推定された予測点４５１を、特徴点３４０に対する追跡点として復帰させる。一方、復帰部１６４は、サーチ範囲８４０全体において、一致度が所定の閾値よりも大きい場合、テンプレート６４０と、サーチ領域７４０の画像とは一致しないものと判定する。この場合、座標予測部１６３による予測点の推定動作、および復帰部１６４に追跡点の復帰動作を継続する。ただし、例えば、復帰部１６４は、復帰動作が所定回数行われても成功しなった場合、消失した特徴点３４０の追跡に失敗したものと判定する。

以上のように、復帰部１６４は、テンプレート６４０を、予測点４５１を中心とするサーチ領域７４０の画像のみと比較するのではなく、予測点４５１を含むサーチ範囲８４０を形成し、サーチ領域７４０をラスタースキャンさせ、テンプレート６４０とサーチ領域７４０の画像とのブロックマッチングを実行するものとしている。これによって、サーチ範囲８４０において、テンプレート６４０と一致する画像を探索するので、テンプレート６４０と一致する画像が見つかる可能性が高くなり、追跡点の復帰が成功する確率を向上させることができる。

［第２の実施の形態］
本実施の形態に係る画像処理装置１ａについて、第１の実施の形態に係る画像処理装置１と相違する点を中心に説明する。第１の実施の形態では、消失した特徴点の代替点として、グルーピング部１５０によりグルーピングされた他の特徴点を特定したが、本実施の形態では、特徴点追跡部１６０による特徴点の追跡動作等を行うカメラの映像データとは、異なるカメラの映像データにおける特徴点を用いる動作について説明する。

（画像処理装置のブロック構成）
図２３は、第２の実施の形態の画像処理装置のブロック構成の一例を示す図である。図２３を参照しながら、画像処理装置１ａのブロック構成について、第１の実施の形態に係る画像処理装置１のブロック構成と相違する点を中心に説明する。

図２３に示すように、画像処理装置１ａは、画像取得部１１０と、補正部１２０と、距離測定部１３０と、特徴点抽出部１４０と、特定部１５０ａ（特定手段）と、特徴点追跡部１６０ａと、警告部１７０と、を有する。すなわち、画像処理装置１ａは、第１の実施の形態に係る画像処理装置１ａのグルーピング部１５０の代わりに、特定部１５０ａを有している。なお、画像取得部１１０、補正部１２０、距離測定部１３０、特徴点抽出部１４０および警告部１７０の動作は、第１の実施の形態と同様である。また、第１の実施の形態と同様に、特徴点抽出部１４０による特徴点の抽出動作、および特徴点追跡部１６０ａによる特徴点の追跡動作は、左のカメラ（撮像装置１０ｂ）により撮像された映像データのフレームに対して実行されるものとして説明する。ただし、右のカメラ（撮像装置１０ａ）により撮像された映像データのフレームに対して実行することも可能であることは言うまでもない。

特定部１５０ａは、特徴点追跡部１６０ａによる特徴点の追跡動作において、特徴点が消失した場合に、消失した特徴点の予測点を求めるために用いる代替点を、右のカメラ（撮像装置１０ａ）により撮像された映像データのフレームで特定する機能部である。特定部１５０ａによる動作については、後述する。特定部１５０ａは、図３に示すＦＰＧＡ３１によって実現される。

特徴点追跡部１６０ａは、距離測定部１３０により測定された距離情報、特徴点抽出部１４０により抽出された特徴点の座標、および特定部１５０ａによる特定された代替点についての特定情報に基づいて、特徴点の追跡動作を実行する機能部である。特徴点追跡部１６０ａの構成および動作の詳細については、後述する。特徴点追跡部１６０ａは、図３に示すＦＰＧＡ３１によって実現される。

図２４は、第２の実施の形態の画像処理装置の特徴点追跡部のブロック構成の一例を示す図である。図２４を参照しながら、画像処理装置１ａの特徴点追跡部１６０ａのブロック構成について、第１の実施の形態に係る画像処理装置１の特徴点追跡部１６０のブロック構成と相違する点を中心に説明する。

図２４に示すように、特徴点追跡部１６０ａは、マッチング部１６１（マッチング手段）と、追跡判定部１６２（判定手段）と、座標予測部１６３ａ（予測手段）と、復帰部１６４（復帰手段）と、を有する。すなわち、特徴点追跡部１６０ａは、第１の実施の形態の特徴点追跡部１６０の座標予測部１６３の代わりに、座標予測部１６３ａを有している。なお、マッチング部１６１、追跡判定部１６２および復帰部１６４の動作は、第１の実施の形態と同様である。

座標予測部１６３ａは、追跡判定部１６２により追跡点の追跡ができないと判定された場合、すなわち、追跡点が消失したと判定された場合、特定部１５０ａによって特定された特徴点を代替点として特定し、代替点を利用して、消失した追跡点の動きを予測する機能部である。具体的には、座標予測部１６３ａは、特定した代替点の動きのベクトル（オプティカルフロー）を利用して、消失した追跡点存在する点を予測する。座標予測部１６３ａの動作の詳細については、後述する。

なお、図２３および２４に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図２３および２４で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図２３および２４の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

（代替点の特定動作および予測点の推定動作）
図２５は、第２の実施の形態の画像処理装置においてオクルージョンが発生した場合の予測点の推定動作を説明する図である。図２５を参照しながら、画像処理装置１ａの特定部１５０ａの代替点の特定動作、および、特徴点追跡部１６０ａの座標予測部１６３ａの予測点の推定動作について説明する。

図２５（ａ）に示すように、まず、左のカメラ（撮像装置１０ｂ）により撮像されたｎ枚目のフレームであるフレーム２６０において、特徴点抽出部１４０により物体９６０における特徴点３６０が抽出されているものとする。また、図２５（ｂ）に示すように、同様に、右のカメラ（撮像装置１０ａ）により撮像されたｎ枚目のフレームであるフレーム２７０において、特徴点抽出部１４０により物体９６０における特徴点３７０が抽出されているものとする。図２５から明らかなように、フレーム２６０の特徴点３６０は、フレーム２７０の特徴点３７０に対応する点である。また、フレーム２６０、２７０には、左から右に回転移動してくるワイパー９００が写っている。

特定部１５０ａは、上述のように、特徴点追跡部１６０ａによる特徴点の追跡動作において、特徴点が消失した場合に、消失した特徴点の予測点を求めるために用いる代替点として、同じような軌跡で動くと想定される特徴点を特定しておく必要がある。具体的には、特定部１５０ａは、消失した特徴点の予測点を求めるために用いる代替点として、右のカメラ（撮像装置１０ａ）により撮像されたフレームでの特徴点を特定する。この場合、特定部１５０ａは、距離測定部１３０から受け取った距離情報（特徴点３６０についての視差の情報）に基づいて、フレーム２６０上の追跡対象となる特徴点３６０に対応する、フレーム２７０上の特徴点３７０を特定し、特徴点３６０が消失した場合の予測点を求めるために用いる代替点として特徴点３７０を特定する。

そして、図２５（ａ）に示すように、フレーム２６０の次のフレーム（（ｎ＋１）枚目のフレーム）であるフレーム２６１において、右から左に回転移動してきたワイパー９００により追跡対象である特徴点３６０が遮られることによるオクルージョンが発生したものとする。この場合、上述のように、追跡判定部１６２は、特徴点３６０を追跡することができず、特徴点３６０は消失したものと判定する。このように、追跡判定部１６２により特徴点３６０が消失したと判定された場合、座標予測部１６３ａは、消失した特徴点３６０の動きを予測するため、特定部１５０ａによって、右のカメラで撮像されたフレーム２７０の次のフレーム（（ｎ＋１）枚目のフレーム）であるフレーム２７１において特徴点３６０に対応する点として特定された特徴点３７０を、代替点として特定する。

そして、座標予測部１６３ａは、フレーム２７１において、フレーム２７０の特徴点３７０の座標に対応する点である対応点４７０から、特徴点３７０の座標へ向かうベクトルであるオプティカルフロー５７０を、消失した特徴点３６０のオプティカルフロー（オプティカルフロー５６０）として利用する。具体的には、座標予測部１６３ａは、消失した特徴点３６０が、フレーム２６１において、フレーム２６０の特徴点３６０の座標に対応する点である対応点４６０から、オプティカルフロー５６０で指し示される位置に移動していると予測する。すなわち、座標予測部１６３ａは、フレーム２６１において、対応点４６０からオプティカルフロー５６０で示される点の座標を、消失した特徴点３６０が存在すると推定される予測点４８０の座標として求める。

以上のように、座標予測部１６３ａは、消失した特徴点の対応点から、右のカメラで撮像されたフレームで特定された代替点のオプティカルフローで示さる点を予測点とするものとしている。これによって、消失した特徴点を再度復帰させることができ、また、追跡を継続するために過去の映像（フレーム）を使う必要はなく、特徴点について再度追跡し直す必要もないので、追跡画像処理の処理負荷を低減することができる。

また、座標予測部１６３ａは、図２５に示すように、消失した特徴点３６０に対応する特徴点３７０を代替点として特定している。これによって、消失した特徴点は、特定された代替点とほぼ同じ動きをすると想定されるので、座標予測部１６３ａによる予測点の推定の精度が向上する可能性が高くなり、復帰部１６４による追跡点の復帰をさらに容易にすることができる。

なお、第２の実施の形態に係る画像処理装置１ａに対して、第１の実施の形態の変形例に係る復帰部１６４の復帰動作も適用することは、当然可能である。

［第３の実施の形態］
本実施の形態に係る画像処理装置について、第１の実施の形態に係る画像処理装置１と相違する点を中心に説明する。第１の実施の形態では、座標予測部１６３により推定された予測点が、消失した特徴点と一致するか否かを判定して復帰させるものとしているが、本実施の形態では、予測点に最も近い特徴点が、消失した特徴点と一致するか否かを判定して復帰させる動作について説明する。

（追跡点の復帰動作）
図２６は、第３の実施の形態の変形例の画像処理装置における追跡点の復帰動作を説明する図である。図２６を参照しながら、本実施の形態における特徴点追跡部１６０の復帰部１６４による追跡点の復帰動作について説明する。

図２６（ａ）は、第１の実施の形態の図２０（ａ）と同様に、フレーム２４０において、特徴点抽出部１４０により物体９４０における特徴点３４０、３４１がそれぞれ抽出される状態を示す。上述のように、特徴点抽出部１４０は、さらに、フレーム２４０において、抽出した特徴点３４０の座標を中心とする所定の大きさのテンプレート６４０を特定し、記憶部にテンプレート６４０の画像を一時記憶させる。なお、テンプレートの特定および記憶の動作は、特徴点３４１に対しても同様に行われる。

図２６（ｂ）は、第１の実施の形態の図２０（ｂ）に示す状態と同様であり、フレーム２４１において、右から左に回転移動してきたワイパー９００により追跡対象である特徴点３４０が遮られることによるオクルージョンが発生した状態を示す。この場合、追跡判定部１６２は、特徴点３４０を追跡することができず、特徴点３４０は消失したものと判定する。

追跡判定部１６２によって追跡対象である特徴点３４０が消失したと判定された後、図２６（ｃ）に示すように、復帰部１６４は、フレーム２４２ａ（特徴点３４０が消失したフレーム２４１の次のフレーム）において、座標予測部１６３によって推定された予測点４５１ではなく、特徴点抽出部１４０により改めて抽出された特徴点のうち予測点４５１に最も近い特徴点（図２６（ｃ）では、元の特徴点３４０）を中心にテンプレート６４０と同じ大きさのサーチ領域７４０ａを形成する。そして、復帰部１６４は、記憶部に記憶されたテンプレート６４０と、サーチ領域７４０ａの画像とを比較し、これらの一致度を算出する。

そして、復帰部１６４は、算出した一致度に対して閾値判定を行う。例えば、一致度がＳＡＤのように非類似度を示す値であれば、復帰部１６４は、一致度が所定の閾値以下である場合、テンプレート６４０と、サーチ領域７４０ａの画像とが一致するものと判定し、特徴点抽出部１４０により改めて抽出された特徴点のうち予測点４５１に最も近い特徴点を、消失した特徴点３４０に対する追跡点として復帰させる。一方、復帰部１６４は、一致度が所定の閾値よりも大きい場合、テンプレート６４０と、サーチ領域７４０ａの画像とは一致しないものと判定する。この場合、座標予測部１６３による予測点の推定動作、および復帰部１６４に追跡点の復帰動作を継続する。ただし、例えば、復帰部１６４は、復帰動作が所定回数行われても成功しなった場合、消失した特徴点３４０の追跡に失敗したものと判定する。

以上のように、本実施の形態の復帰部１６４は、テンプレート６４０を、予測点４５１を中心とするサーチ領域ではなく、特徴点抽出部１４０により改めて抽出された特徴点のうち予測点４５１に最も近い特徴点を中心とするサーチ領域と比較するものとしている。これによって、消失した特徴点の真の位置からずれている可能性がある予測点ではなく、消失した元の特徴点で復帰させることができる確率が高くなり、追跡点の復帰の精度を向上させることができる。

なお、第３の実施の形態に係る画像処理装置に対して、第１の実施の形態の変形例に係る復帰部１６４の復帰動作も適用することは、当然可能である。

なお、上述の距離測定部１３０、特徴点抽出部１４０、グルーピング部１５０、特定部１５０ａ、マッチング部１６１、追跡判定部１６２、座標予測部１６３、１６３ａ、および復帰部１６４のうち少なくともいずれかがプログラムで実現される場合、画像処理装置１で実行されるそのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−ＲまたはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供される。

また、上述の各実施の形態および変形例に係る画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施の形態および変形例に係る画像処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、上述の各実施の形態および変形例に係る画像処理装置で実行されるプログラムは、上述した距離測定部１３０、特徴点抽出部１４０、グルーピング部１５０、特定部１５０ａ、マッチング部１６１、追跡判定部１６２、座標予測部１６３、１６３ａ、および復帰部１６４のうち少なくともいずれかを含むモジュール構成となっていてもよく、実際のハードウェアとしてはＣＰＵ３２が上述の記憶媒体からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

１、１ａ 画像処理装置
２ 本体部
１０ａ、１０ｂ 撮像装置
１１ａ、１１ｂ 撮像レンズ
１２ａ、１２ｂ 絞り
１３ａ、１３ｂ 画像センサ
２０ａ、２０ｂ 信号変換装置
２１ａ、２１ｂ ＣＤＳ
２２ａ、２２ｂ ＡＧＣ
２３ａ、２３ｂ ＡＤＣ
２４ａ、２４ｂ フレームメモリ
３０ 追跡処理装置
３１ ＦＰＧＡ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ Ｉ／Ｆ
３６ スピーカ
３９ バスライン
１００ 車両
１１０ 画像取得部
１２０ 補正部
１３０ 距離測定部
１３１ コスト算出部
１３２ コスト合成部
１３３ 距離導出部
１４０ 特徴点抽出部
１５０ グルーピング部
１５０ａ 特定部
１６０、１６０ａ 特徴点追跡部
１６１ マッチング部
１６２ 追跡判定部
１６３、１６３ａ 座標予測部
１６４ 復帰部
１７０ 警告部
２００、２０１、２０１ａ フレーム
２１０、２１１ フレーム
２２０、２２１、２２５、２２６ フレーム
２２７ 画像
２３０ フレーム
２４０〜２４２、２４２ａ フレーム
２６０、２６１、２７０、２７１ フレーム
３００、３１０ 特徴点
３１１ 追跡点
３２０、３２１ 特徴点
３３０〜３３３ 特徴点
３４０、３４１ 特徴点
３６０、３７０ 特徴点
４１０、４２０ 対応点
４４０〜４４２ 対応点
４５０、４５１ 予測点
４６０、４７０ 対応点
４８０ 予測点
５１０ オプティカルフロー
５４０、５４１ オプティカルフロー
５５０、５５１ オプティカルフロー
５６０、５７０ オプティカルフロー
６１０、６４０ テンプレート
７１０、７１１、７４０、７４０ａ サーチ領域
８１０、８２０、８４０ サーチ範囲
９００ ワイパー
９０１ フロントガラス
９０２、９１０、９１１ 物体
９４０、９６０ 物体
Ｂ 基線長
Ｃ コスト値
ｄ シフト量
Ｅ 物体
ＥＬ エピポーラ線
ｆ 焦点距離
Ｉａ 基準画像
Ｉｂ 比較画像
Ｌｒ 経路コスト値
Ｌｓ 合成コスト値
Ｓ、Ｓａ、Ｓｂ 点
Ｚ、Ｚ１、Ｚ２ 距離
Δ、Δ１ 視差値

特許第４２０９６４７号公報

Claims (15)

1. ２つの撮像手段のうち少なくとも一方の撮像手段により撮像された映像のフレームにおいて被写体の特徴点を抽出する抽出手段と、
   前記特徴点が写っているフレームの次のフレームで、該特徴点と一致する特徴点を検索するマッチング動作を行うマッチング手段と、
   前記マッチング動作の結果に基づいて、前記特徴点が前記次のフレームで消失したか否かを判定する判定手段と、
   前記判定手段によって前記特徴点が消失したと判定された場合、消失した前記特徴点を代替する代替点の動きに基づいて、消失した該特徴点の位置を予測した予測点を求める予測手段と、
   前記予測点に基づく点と、消失する前の前記特徴点とが一致する場合、該予測点に基づく点を、追跡対象である前記特徴点として復帰させる復帰手段と、
   を備えた画像処理装置。
2. 前記予測手段は、消失する前の前記特徴点の位置から、前記代替点のオプティカルフローで指し示される位置を前記予測点とする請求項１に記載の画像処理装置。
3. 前記マッチング手段は、前記特徴点を含む第１テンプレート画像と、前記次のフレームにおける第１探索範囲で一致する画像を探索することにより前記マッチング動作を行う請求項１または２に記載の画像処理装置。
4. 前記判定手段は、前記次のフレームで、少なくとも所定距離よりも近い物体が前記第１探索範囲に含まれていると判定した場合、前記特徴点に対するオクルージョンによって該特徴点が消失したと判定する請求項３に記載の画像処理装置。
5. 前記２つの撮像手段により撮像された各フレームの視差に基づいて、前記フレームに含まれる前記被写体までの距離を測定する測定手段と、
   前記抽出手段により抽出された複数の特徴点を、前記測定手段により測定された前記複数の特徴点までの各距離に基づいてグループに分類するする分類手段と、
   をさらに備え、
   前記予測手段は、前記判定手段によって特定の特徴点が消失したと判定された場合、消失した前記特定の特徴点と同じグループの特徴点のいずれかを前記代替点とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記予測手段は、消失した前記特定の特徴点と同じグループの特徴点のうち、該特定の特徴点に最も近い特徴点を前記代替点とする請求項５に記載の画像処理装置。
7. 前記抽出手段は、前記２つの撮像手段の双方で撮像された映像のフレームにおいて前記被写体の特徴点を抽出し、
   前記２つの撮像手段により撮像された各フレームの視差に基づいて、前記一方の撮像手段により撮像されたフレームの特徴点に対応する点を、他方の撮像手段により撮像されたフレームで特定する特定手段を、さらに備え、
   前記予測手段は、前記判定手段によって特定の特徴点が消失したと判定された場合、消失した前記特定の特徴点に対応する点として前記特定手段により特定された点を前記代替点とする請求項１〜４のいずれか一項に記載の画像処理装置。
8. 前記復帰手段は、消失する前の前記特徴点を含む第２テンプレート画像と、前記予測点を含む第２探索範囲で一致する画像を探索し、該一致する画像を探索できた場合、該予測点に基づく点が、消失する前の前記特徴点と一致すると判定する請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記復帰手段は、前記第２テンプレート画像と一致する画像を探索できなかった場合、前記第２探索範囲を広げて、再度、探索を行う請求項８に記載の画像処理装置。
10. 前記復帰手段によって、前記予測点に基づく点と、消失する前の前記特徴点とが一致しなかったと判定された場合、前記予測手段による前記予測点を求める動作、および該復帰手段による前記特徴点の復帰動作を再度行う請求項１〜９のいずれか一項に記載の画像処理装置。
11. 前記復帰手段は、前記予測点と、消失する前の前記特徴点とが一致する場合、該予測点を、追跡対象である前記特徴点として復帰させる請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 前記復帰手段は、前記抽出手段により抽出された新たな特徴点のうち前記予測点に最も近い前記新たな特徴点と、消失する前の前記特徴点とが一致する場合、該予測点に最も近い該新たな特徴点を、追跡対象である前記特徴点として復帰させる請求項１〜１０のいずれか一項に記載の画像処理装置。
13. 前記復帰手段により、前記予測点に基づく点を、追跡対象である前記特徴点として復帰させることができない場合、警告を報知する報知手段を、さらに備えた請求項１〜１２のいずれか一項に記載の画像処理装置。
14. ２つの撮像手段のうち少なくとも一方の撮像手段により撮像された映像のフレームにおいて被写体の特徴点を抽出する抽出ステップと、
    前記特徴点が写っているフレームの次のフレームで、該特徴点と一致する特徴点を検索するマッチング動作を行うマッチングステップと、
    前記マッチング動作の結果に基づいて、前記特徴点が前記次のフレームで消失したか否かを判定する判定ステップと、
    前記特徴点が消失したと判定した場合、消失した前記特徴点を代替する代替点の動きに基づいて、消失した該特徴点の位置を予測した予測点を求める予測ステップと、
    前記予測点に基づく点と、消失する前の前記特徴点とが一致する場合、該予測点に基づく点を、追跡対象である前記特徴点として復帰させる復帰ステップと、
    を有する画像処理方法。
15. ２つの撮像手段のうち少なくとも一方の撮像手段により撮像された映像のフレームにおいて被写体の特徴点を抽出する抽出手段と、
    前記特徴点が写っているフレームの次のフレームで、該特徴点と一致する特徴点を検索するマッチング動作を行うマッチング手段と、
    前記マッチング動作の結果に基づいて、前記特徴点が前記次のフレームで消失したか否かを判定する判定手段と、
    前記判定手段によって前記特徴点が消失したと判定された場合、消失した前記特徴点を代替する代替点の動きに基づいて、消失した該特徴点の位置を予測した予測点を求める予測手段と、
    前記予測点に基づく点と、消失する前の前記特徴点とが一致する場合、該予測点に基づく点を、追跡対象である前記特徴点として復帰させる復帰手段と、
    をコンピュータに実現させるためのプログラム。