JP2018147241A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】特徴量の検出及びマッチングに必要な演算量を、精度を確保しながら削減する。【解決手段】画像処理装置１０において、特徴量マッチング部１６は、第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングする。特徴量位置予測部１４は、車両の挙動を示す検出値をもとに、取得された動画像の２次元画像上における車両の移動量を推定し、推定した移動量と、第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における特徴量の位置を予測する。注目領域設定部１５は、第（ｎ＋１）フレーム画像内における予測された特徴量の位置を含む注目領域を設定する。特徴量検出部１２は、第（ｎ＋１）フレーム画像内に設定された注目領域を、特徴量の探索範囲とする。【選択図】図２

Description

本発明は、画像内から特徴量を検出し、検出した特徴量をフレーム間でマッチングする画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、先進運転支援システム（ＡＤＡＳ）・自動運転の開発が進んでおり、車載カメラのニーズが増大している。車載カメラで撮像された画像内において特徴量を検出し、フレーム間の特徴量をマッチングさせることにより、オブジェクトの動きを追従したり、オブジェクトまでの距離を推定したりすることができる。

画像内で検出される特徴量として一般に、ＳＩＦＴ (Scale-invariant feature transform)、ＳＵＲＦ (Speed-Upped Robust Feature) 、Harrisコーナ、ＫＡＺＥ、ＯＲＢ（Oriented-BRIEF）などが使用されている。

米国特許第６７１１２９３号明細書

特徴量の検出及びマッチングは、検出率の向上、マッチング率の向上及び誤マッチング率の削減の要請から、画像全域に対して総当たりで行われることが一般的である。しかしながら、画像全域での特徴量の検出及びマッチングには膨大な演算量が必要となり、処理時間が長くなる。

本発明はこうした状況に鑑みなされたものであり、その目的は、特徴量の検出及びマッチングに必要な演算量を、精度を確保しながら削減する技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、車両で用いられる撮像部により撮像される動画像を取得する画像入力部と、前記画像入力部により取得される動画像の第ｎ（ｎは自然数）フレーム画像内から特徴量を検出する特徴量検出部と、第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングする特徴量マッチング部と、前記車両の挙動を示す検出値を取得する車両情報入力部と、前記車両情報入力部により取得された検出値をもとに、前記画像入力部により取得された動画像の２次元画像上における前記車両の移動量を推定し、推定した移動量と、前記第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における前記特徴量の位置を予測する特徴量位置予測部と、前記特徴量位置予測部により予測された第（ｎ＋１）フレーム画像内における前記特徴量の位置を含む注目領域を設定する注目領域設定部と、を備える。前記特徴量検出部は、第（ｎ＋１）フレーム画像内に設定された注目領域を、前記特徴量の探索範囲とする。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、特徴量の検出及びマッチングに必要な演算量を、精度を確保しながら削減することができる。

本発明の実施の形態に係る撮像システムを説明するための図である。 図１の画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置の動作例を示すフローチャートである。 特徴量検出とＲＯＩ領域設定の具体例を示す図である。 ＲＯＩ領域外から特徴量を追加で検出する場合の具体例を示す図である。 実施の形態に係るメータ画像の別の例を示す図である。

図１は、本発明の実施の形態に係る撮像システム１を説明するための図である。撮像システム１は車両に設置され、車両の前方を撮影するフロントカメラシステムである。なお、車両の後方を撮影するリアカメラシステム、車両の側方を撮影するサイドカメラシステムであってもよい。撮像システム１は撮像部２０及び画像処理装置１０を備える。撮像部２０が実装される基板と、画像処理装置１０が実装される基板は１つの筐体に一体的に収納されてもよいし、別々の筐体に分離されて収納されてもよい。後者の場合、撮像部２０と画像処理装置１０間は有線または無線で接続される。

撮像部２０は、固体撮像素子及び信号処理回路を含む。固体撮像素子には例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを使用することができる。固体撮像素子は入射光を電気的な画像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される画像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を実行し、画像処理装置１０に出力する。なお当該信号処理回路で、歪み補正、フレーム／画素の間引き等の所定の前処理を実行してもよい。

画像処理装置１０は車載ネットワーク２に接続される。車載ネットワーク２には例えば、ＣＡＮ（Controller Area Network）を使用することができる。車載ネットワーク２には、ＥＣＵ（Electronic Control Unit)３が接続される。センサ４は、車両の挙動を示す物理量を検出するセンサの総称であり、例えば、車速センサ、舵角センサ、ジャイロセンサ、ＧＰＳセンサ等が含まれる。ＥＣＵ３は、センサ４を制御するＥＣＵの総称である。

図２は、図１の画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、画像入力部１１、特徴量検出部１２、車両情報入力部１３、特徴量位置予測部１４、注目領域設定部１５、特徴量マッチング部１６、及びアプリケーション処理部１７を備える。これらの機能ブロックは、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現できる。ハードウェア資源としてＣＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、ファームウェア、アプリケーション等のプログラムを利用できる。

画像入力部１１は、撮像部２０から１０〜３０ｆｐｓで動画像を取得する。特徴量検出部１２は、画像入力部１１により取得された動画像の各フレーム画像から特徴量を検出する。特徴量には、ＳＩＦＴ、ＳＵＲＦ、Harrisコーナ、ＫＡＺＥ、ＯＲＢ等の特徴点を用いてもよいし、ＨＯＬ（Histograms of Oriented Lines）などの直線線分を用いてもよい。特徴量検出部１２は、初期のフレーム画像では、画像全域を探索範囲として特徴量を検出する。特徴量検出部１２は、検出した特徴量を特徴量マッチング部１６に渡す。

車両情報入力部１３は、車載ネットワーク２を介して車両の挙動を示すセンサ４の検出値を取得する。特徴量位置予測部１４は、車載ネットワーク２から得られた検出値をもとに、３次元世界座標空間における単位フレーム間の車両の移動量（Ｒ，ｔ）を算出する。例えば、舵角センサから得られる内輪舵角と外輪舵角、及び予め設定された車両のホイールベースとトレッドをもとにアッカーマンモデルに基づき車両の回転成分Ｒを算出し、車速センサから得られる車速をもとに平行移動成分ｔを算出する。なお、ジャイロセンサ及び／又はＧＰＳセンサの検出値を用いた、さらに精緻なモデルに基づき車両の移動量（Ｒ，ｔ）を算出してもよい。

特徴量位置予測部１４は、算出した３次元世界座標空間における単位フレーム間の車両の移動量（Ｒ，ｔ）を、撮像部２０の内部パラメータ（焦点距離、固体撮像素子のサイズ及び画素数）に基づき２次元画像座標空間に投影する。投影モデルは一般的なものを使用することができる。

特徴量位置予測部１４は、算出した２次元画像座標空間における単位フレーム間の車両の移動量（ｄｘ，ｄｙ）を、特徴量検出部１２により第ｎ（ｎは自然数）フレーム画像内から検出された特徴量の位置に加算して、第（ｎ＋１）フレーム画像内における当該特徴量の位置を予測する。注目領域設定部１５は、特徴量位置予測部１４により予測された特徴量の位置を含む注目領域（以下、ＲＯＩ（Region of Interest)領域という）を設定する。

具体的には注目領域設定部１５は、第（ｎ＋１）フレーム画像内において、（ｘ±ｔｈｒ，ｙ±ｔｈｒ）の範囲にＲＯＩ領域を設定する。（ｘ，ｙ）は特徴量の予測位置、ｔｈｒは閾値を示している。車両の移動量（ｄｘ，ｄｙ）を推定する過程での演算誤差、及び車載ネットワーク２に加わる外乱ノイズ等による同期ずれの影響を考慮し、特徴量の予測位置をパッチに拡張している。ＲＯＩ領域のサイズ（即ち、閾値ｔｈｒの大きさ）は、撮像部２０の仕様、車載ネットワーク２の仕様、画像処理装置１０の仕様、及びフレームレートに基づき予め設定される。各部材の仕様が高いほどＲＯＩ領域のサイズを小さく設定できる。ＲＯＩ領域のサイズを小さく設定するほど演算量を削減することができる。なお、フレームレートが高いほどＲＯＩ領域のサイズを小さく設定してもよい。フレームレートが高いと２次元画像空間における車両の移動量（ｄｘ，ｄｙ）が小さくなり、移動量（ｄｘ，ｄｙ）が小さくなると誤差の影響も小さくなる。

なお、注目領域設定部１５はＲＯＩ領域のサイズを、車速に基づき適用的に変化させてもよい。車速が速いほどＲＯＩ領域のサイズを拡大し、車速が遅いほどＲＯＩ領域のサイズを縮小する。車速が速いほど２次元画像空間における車両の移動量（ｄｘ，ｄｙ）が大きくなり、誤差の影響が大きくなる。ＲＯＩ領域のサイズを大きくすると誤差の影響を緩和することができる。

特徴量検出部１２は、第（ｎ＋１）フレーム画像内において、注目領域設定部１５により設定されたＲＯＩ領域を探索範囲として特徴量を検出する。特徴量検出部１２は、検出した特徴量を特徴量マッチング部１６に渡す。特徴量マッチング部１６は、第ｎフレーム画像内において検出された特徴量と、第（ｎ＋１）フレーム画像内のＲＯＩ領域内において検出された特徴量とをマッチングし、一致または不一致を示す判定結果を出力する。特徴量マッチング部１６は、一致した特徴量の値と位置を含む特徴量の検出情報をアプリケーション処理部１７に提供する。

特徴量マッチング部１６は上記マッチング処理を、フレーム画像内で検出された特徴量ごとに実行する。特徴量マッチング部１６は、フレーム画像間で一致した特徴点の数と設定数を比較し、一致した特徴点の数が設定数に満たない場合、その不足数を特徴量検出部１２に通知する。特徴量検出部１２は当該通知を受けると、第（ｎ＋１）フレーム画像内のＲＯＩ領域外において新たな特徴量を探索する。特徴量検出部１２は第（ｎ＋１）フレーム画像の特徴点の数が上記設定数に到達するまで特徴点を検出し、検出した特徴点を第（ｎ＋１）フレーム画像の特徴点として追加する。

上記設定数の値は、アプリケーション処理部１７の処理内容及び要求精度に基づき決定される。例えば、移動体を追従するアプリケーションの場合、フレーム画像間における移動体の同一性を担保するため比較的多くの特徴量が求められる。

アプリケーション処理部１７は、特徴量マッチング部１６から提供されるフレーム画像間で一致した特徴点の検出情報をもとに所定のアプリケーション処理を実行する。例えば、所定のアプリケーション処理としてＳＦＭ（Structure from Motion）、オブジェクトの追従などを実行する。ＳＦＭは、単眼カメラで撮像された時系列のフレーム画像から、オブジェクトの距離、高さ・幅の３次元情報の推定する技術である。

図３は、本発明の実施の形態に係る画像処理装置１０の動作例を示すフローチャートである。画像入力部１１は、撮像部２０から第ｎフレーム画像（初期のフレーム画像）を取得する（Ｓ１０）。特徴量検出部１２は、取得された第ｎフレーム画像の全域から特徴量を検出する（Ｓ１１）。

車両情報入力部１３は、車載ネットワーク２を介して車両の舵角および車速を取得する（Ｓ１２）。特徴量位置予測部１４は、取得された車両の舵角および車速をもとに、単位フレーム間における車両の３次元空間上の移動量を算出する（Ｓ１３）。特徴量位置予測部１４は、車両の３次元空間上の移動量を、撮像部２０の内部パラメータをもとに２次元画像空間上の移動量に投影する（Ｓ１４）。特徴量位置予測部１４は、第ｎフレーム画像内で検出された特徴量の位置と、算出された２次元画像空間上の車両の移動量をもとに第（ｎ＋１）フレーム画像内の当該特徴量の位置を予測する（Ｓ１５）。

画像入力部１１は、撮像部２０から第（ｎ＋１）フレーム画像を取得する（Ｓ１６）。注目領域設定部１５は、取得された第（ｎ＋１）フレーム画像内に、ステップＳ１５で予測された特徴量の位置を中心に含むＲＯＩ領域を設定する（Ｓ１７）。特徴量検出部１２は、第（ｎ＋１）フレーム画像のＲＯＩ領域内から特徴量を検出する（Ｓ１８）。

特徴量マッチング部１６は、第ｎフレーム画像で検出された複数の特徴量と、第（ｎ＋１）フレーム画像で検出された複数の特徴量とをマッチングする（Ｓ１９）。特徴量マッチング部１６は、マッチングがとれた特徴量の数（以下、検出数という）をカウントする（Ｓ２０）。特徴量マッチング部１６は、検出数と設定数を比較し（Ｓ２１）、検出数が設定数未満の場合（Ｓ２１のＹ）、特徴量検出部１２は第（ｎ＋１）フレーム画像内のＲＯＩ領域外から、設定数に到達するまで新たな特徴量を検出する（Ｓ２２）。検出数が設定数以上の場合（Ｓ２１のＮ）、ステップＳ２２の処理はスキップされる。

アプリケーション処理部１７は、マッチングがとれた特徴量の検出情報をもとにアプリケーション処理を実行する（Ｓ２３）。ｎがインクリメントされ（Ｓ２４）、撮像部２０によるシーンの撮影が終了するまで（Ｓ２５のＹ）、ステップＳ１２に遷移して、ステップＳ１２からステップＳ２４までの処理が繰り返し実行される（Ｓ２５のＮ）。

図４は、特徴量検出とＲＯＩ領域設定の具体例を示す図である。図４において、Ａ地点は撮像部２０が第ｎフレーム画像を撮像したときの位置を示し、Ｂ地点は撮像部２０が第（ｎ＋１）フレーム画像を撮像したときの位置を示している。即ち、単位フレーム期間（フレームレートが１０Ｈｚの場合、１／１０秒）にＡ地点からＢ地点に、撮像部２０を搭載した車両が移動した状態を示している。

Ａ地点からもＢ地点からも３次元物体ＯＢ１は、撮像部２０の画角の範囲内に位置する。Ａ地点で撮像された第ｎフレーム画像内では、左側に３次元物体ｏｂ１が投影される。特徴量検出部１２は、第ｎフレーム画像内に投影された３次元物体ｏｂ１の正面の左上頂点を第１特徴点Ｐ１（ｕ１，ｖ１）として検出し、右上頂点を第２特徴点Ｐ２（ｕ２，ｖ２）として検出する。

特徴量位置予測部１４は、車載ネットワーク２から得られる舵角および車速をもとに、３次元世界座標空間（Ｘ，Ｙ，Ｚ）における車両の移動量（Ｒ，ｔ）を算出する。特徴量位置予測部１４は、３次元の移動量（Ｒ，ｔ）を２次元画像座標空間（Ｘ，Ｚ）に投影し、２次元画像座標空間（Ｘ，Ｚ）における移動量（ｄｘ，ｄｙ）を算出する。特徴量位置予測部１４は、第１特徴点Ｐ１（ｕ１，ｖ１）の座標及び第２特徴点Ｐ２（ｕ２，ｖ２）の座標を移動量（ｄｘ，ｄｙ）に従いそれぞれ移動させて、それぞれの予測位置座標を算出する。

注目領域設定部１５は、第（ｎ＋１）フレーム画像において、移動された第１特徴点Ｐ１の予測位置を中心とする第１ＲＯＩ領域Ｒ１を設定し、移動された第２特徴点Ｐ２の予測位置を中心とする第２ＲＯＩ領域Ｒ２を設定する。特徴量検出部１２は、第（ｎ＋１）フレーム画像の第１ＲＯＩ領域Ｒ１内において第１特徴点を、第２ＲＯＩ領域Ｒ２内において第２特徴点をそれぞれ探索する。図４に示す例では、第１ＲＯＩ領域Ｒ１内において第１特徴点Ｐ１（ｕ１’，ｖ１’）が、第２ＲＯＩ領域Ｒ２内において第２特徴点Ｐ２（ｕ２’，ｖ２’）がそれぞれ検出され、第ｎフレーム画像と第（ｎ＋１）フレーム画像間において、第１特徴点Ｐ１と第２特徴点Ｐ２が共にマッチングがとれた状態を示している。

図５は、ＲＯＩ領域外から特徴量を追加で検出する場合の具体例を示す図である。図５は、図４の第（ｎ＋１）フレーム画像内から特徴点を追加で検出する例を示している。必要な特徴点の数が５個の場合、特徴点を追加で３個検出する必要がある。特徴量検出部１２は、第（ｎ＋１）フレーム画像内の所定の探索範囲Ｓ１内から、３次元物体ｏｂ１の正面の左下頂点を第３特徴点Ｐ３として、正面の右下頂点を第４特徴点Ｐ４として、右側面の右下頂点を第５特徴点Ｐ５としてそれぞれ検出する。

所定の探索範囲Ｓ１は画像内の中央部に設定される。車両に搭載された撮像部２０で撮像された画像内の上部領域Ｒｔは通常、空が写るか又は無限遠となる領域である。従って上部領域Ｒｔには有意な特徴点が存在する可能性が低い。撮像部２０を車両の一般的な場所に設置した場合、撮像された画像の下部領域Ｒｂは車両ボディが写り込む領域である。従って下部領域Ｒｂにも有意な特徴点が存在する可能性が低い。撮像された画像の左端領域Ｒｌ及び右端領域Ｒｒは、歪み補正誤差や補間誤差が発生しやすい領域である。特に魚眼レンズを搭載した広角カメラを使用している場合、歪み補正誤差や補間誤差が発生しやすい。

図６（ａ）、（ｂ）は、魚眼レンズを搭載した広角カメラを、リアカメラとして使用した場合に撮像される画像の一例を示す図である。図６（ａ）を魚眼レンズを用いて撮像された画像Ｉ１を、図６（ｂ）は図６（ａ）の画像Ｉ１を補正した後の画像Ｉ２をそれぞれ示している。魚眼レンズを用いて撮像された画像Ｉ１は、魚眼レンズの視野角に応じて設定された歪パラメータに基づき座標変換される。座標変換された後の図６（ｂ）に示す画像Ｉ２では、上部領域にブランクが発生する。また下部領域には変換後も車両ボディが写り込んでいる。左端領域Ｒｌ及び右端領域Ｒｒにはレンズブラーが発生し、特徴点が検出しにくくなっている。そこで画像の中央部を探索範囲Ｓ１に設定している。

以上説明したように本実施の形態によれば、第ｎフレーム画像で検出した特徴量に対応する特徴量を第（ｎ＋１）フレーム画像内で探索する際に、その探索範囲をＲＯＩ範囲に限定することにより、演算量を大幅に削減することができる。またＲＯＩ範囲を、車両の移動量に応じて移動させた領域に設定することにより、マッチング率の低下を抑えることができる。車載カメラの場合、フレーム画像間の移動量は高速に移動している場合を除き軽微であり、対応する特徴量を、次フレーム画像の全域に対して総当たりで探索するのは効率が悪い。現フレーム画像内で検出された特徴量の位置の近傍範囲を次フレーム画像で探索することも考えられるが、車両が高速に移動している場合、その近傍範囲から特徴量が外れる可能性が高くなる。これに対して本実施の形態によれば、車両の移動量に応じて探索範囲を移動させるため、次フレーム画像での対応する特徴量の検出率を高く維持することができる。

また特徴量を追加する場合、画像内において有効な特徴量を検出しやすい領域を探索範囲に設定することにより、画像全域を探索する場合より演算量を削減することができる。車載カメラの場合、画像内の構図はほぼ決まっており、有効な探索範囲を予め設定することが容易である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素または各処理プロセスの組み合わせに、いろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、上述の実施の形態ではＲＯＩ領域を矩形の領域に設定する例を示したが、円形や五角形以上の多角形の領域に設定してもよい。また特徴量の予測位置をＲＯＩ領域の中心に設定する例を設定したが、画像内の端部において、設定されるべきＲＯＩ領域が画像領域からはみ出す場合、はみ出す領域が発生しないようにＲＯＩ領域を中央の方向へスライドさせてもよい。その場合、特徴量の予測位置はＲＯＩ領域の中心からずれた位置になる。

なお、実施の形態は、以下の項目によって特定されてもよい。

［項目１］
車両で用いられる撮像部（２０）により撮像される動画像を取得する画像入力部（１１）と、
前記画像入力部（１１）により取得される動画像の第ｎ（ｎは自然数）フレーム画像内から特徴量を検出する特徴量検出部（１２）と、
第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングする特徴量マッチング部（１６）と、
前記車両の挙動を示す検出値を取得する車両情報入力部（１３）と、
前記車両情報入力部（１３）により取得された検出値をもとに、前記画像入力部（１１）により取得された動画像の２次元画像上における前記車両の移動量を推定し、推定した移動量と、前記第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における前記特徴量の位置を予測する特徴量位置予測部（１４）と、
前記特徴量位置予測部（１４）により予測された第（ｎ＋１）フレーム画像内における前記特徴量の位置を含む注目領域を設定する注目領域設定部（１５）と、を備え、
前記特徴量検出部（１２）は、第（ｎ＋１）フレーム画像内に設定された注目領域を、前記特徴量の探索範囲とする画像処理装置（１０）。
これによれば、特徴量の探索範囲を、予測される位置を含む所定の探索範囲に絞り込むことができ、検出精度を確保しつつ演算量を削減することができる。
［項目２］
前記特徴量位置予測部（１４）は、前記車両内のネットワーク（２）を介して前記車両の検出値として舵角および車速を取得し、当該舵角および車速をもとに単位フレーム間における前記車両の３次元空間上の移動量を算出し、算出した前記車両の３次元空間上の移動量を前記撮像部（２０）の内部パラメータをもとに前記２次元画像上の移動量に投影することを特徴とする項目１に記載の画像処理装置（１０）。
これによれば、車両の２次元画像空間内における移動量を高精度に推定することができる。
［項目３］
前記注目領域設定部（１５）は、前記特徴量位置予測部（１４）により予測される第（ｎ＋１）フレーム画像内における前記特徴量の位置を中心に上下左右に所定の画素数を拡張した領域を、前記注目領域に設定することを特徴とする項目１または２に記載の画像処理装置（１０）。
これによれば、適切な注目領域を設定することができる。
［項目４］
前記特徴量マッチング部（１６）により第ｎフレーム画像と第（ｎ＋１）フレーム画像間でマッチングがとれた特徴量の数が設定数未満の場合、前記特徴量検出部（１２）は、前記第（ｎ＋１）フレーム画像内において前記注目領域以外の領域で新たな特徴点を探索することを特徴とする項目１から３のいずれか１項に記載の画像処理装置（１０）。
これによれば、特徴量の数を必要な数、確保することができる。
［項目５］
車両で用いられる撮像部（２０）により撮像される動画像を取得するステップと、
前記動画像の第ｎ（ｎは自然数）フレーム画像内から特徴量を検出するステップと、
前記第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングするステップと、
前記車両の挙動を示す検出値を取得するステップと、
前記検出値をもとに、前記撮像部（２０）により撮像された動画像の２次元画像上における前記車両の移動量を推定し、推定した移動量と、前記第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における前記特徴量の位置を予測するステップと、
前記第（ｎ＋１）フレーム画像内における予測された前記特徴量の位置を含む注目領域を設定するステップと、を有し、
前記特徴量を検出するステップは、第（ｎ＋１）フレーム画像内に設定された注目領域を、前記特徴量の探索範囲とする画像処理方法。
これによれば、特徴量の探索範囲を、予測される位置を含む所定の探索範囲に絞り込むことができ、検出精度を確保しつつ演算量を削減することができる。
［項目６］
車両で用いられる撮像部（２０）により撮像される動画像を取得する処理と、
前記動画像の第ｎ（ｎは自然数）フレーム画像内から特徴量を検出する処理と、
前記第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングする処理と、
前記車両の挙動を示す検出値を取得する処理と、
前記検出値をもとに、前記撮像部（２０）により撮像された動画像の２次元画像上における前記車両の移動量を推定し、推定した移動量と、前記第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における前記特徴量の位置を予測する処理と、
前記第（ｎ＋１）フレーム画像内における予測された前記特徴量の位置を含む注目領域を設定する処理と、をコンピュータに実行させ、
前記特徴量を検出する処理は、第（ｎ＋１）フレーム画像内に設定された注目領域を、前記特徴量の探索範囲とする画像処理プログラム。
これによれば、特徴量の探索範囲を、予測される位置を含む所定の探索範囲に絞り込むことができ、検出精度を確保しつつ演算量を削減することができる。

１ 撮像システム、 ２ 車載ネットワーク、 ３ ＥＣＵ、 ４ センサ、 １０ 画像処理装置、 １１ 画像入力部、 １２ 特徴量検出部、 １３ 車両情報入力部、 １４ 特徴量位置予測部、 １５ 注目領域設定部、 １６ 特徴量マッチング部、 １７ アプリケーション処理部、 ２０ 撮像部。

Claims (6)

1. 車両で用いられる撮像部により撮像される動画像を取得する画像入力部と、
   前記画像入力部により取得される動画像の第ｎ（ｎは自然数）フレーム画像内から特徴量を検出する特徴量検出部と、
   第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングする特徴量マッチング部と、
   前記車両の挙動を示す検出値を取得する車両情報入力部と、
   前記車両情報入力部により取得された検出値をもとに、前記画像入力部により取得された動画像の２次元画像上における前記車両の移動量を推定し、推定した移動量と、前記第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における前記特徴量の位置を予測する特徴量位置予測部と、
   前記特徴量位置予測部により予測された第（ｎ＋１）フレーム画像内における前記特徴量の位置を含む注目領域を設定する注目領域設定部と、を備え、
   前記特徴量検出部は、第（ｎ＋１）フレーム画像内に設定された注目領域を、前記特徴量の探索範囲とする画像処理装置。
2. 前記特徴量位置予測部は、前記車両内のネットワークを介して前記車両の検出値として舵角および車速を取得し、当該舵角および車速をもとに単位フレーム間における前記車両の３次元空間上の移動量を算出し、算出した前記車両の３次元空間上の移動量を前記撮像部の内部パラメータをもとに前記２次元画像上の移動量に投影することを特徴とする請求項１に記載の画像処理装置。
3. 前記注目領域設定部は、前記特徴量位置予測部により予測される第（ｎ＋１）フレーム画像内における前記特徴量の位置を中心に上下左右に所定の画素数を拡張した領域を、前記注目領域に設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特徴量マッチング部により第ｎフレーム画像と第（ｎ＋１）フレーム画像間でマッチングがとれた特徴量の数が設定数未満の場合、前記特徴量検出部は、前記第（ｎ＋１）フレーム画像内において前記注目領域以外の領域で新たな特徴点を探索することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 車両で用いられる撮像部により撮像される動画像を取得するステップと、
   前記動画像の第ｎ（ｎは自然数）フレーム画像内から特徴量を検出するステップと、
   前記第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングするステップと、
   前記車両の挙動を示す検出値を取得するステップと、
   前記検出値をもとに、前記撮像部により撮像された動画像の２次元画像上における前記車両の移動量を推定し、推定した移動量と、前記第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における前記特徴量の位置を予測するステップと、
   前記第（ｎ＋１）フレーム画像内における予測された前記特徴量の位置を含む注目領域を設定するステップと、を有し、
   前記特徴量を検出するステップは、第（ｎ＋１）フレーム画像内に設定された注目領域を、前記特徴量の探索範囲とする画像処理方法。
6. 車両で用いられる撮像部により撮像される動画像を取得する処理と、
   前記動画像の第ｎ（ｎは自然数）フレーム画像内から特徴量を検出する処理と、
   前記第ｎフレーム画像内で検出された特徴量と、第（ｎ＋１）フレーム画像内で検出された特徴量とをマッチングする処理と、
   前記車両の挙動を示す検出値を取得する処理と、
   前記検出値をもとに、前記撮像部により撮像された動画像の２次元画像上における前記車両の移動量を推定し、推定した移動量と、前記第ｎフレーム画像内で検出された特徴量の位置をもとに、第（ｎ＋１）フレーム画像内における前記特徴量の位置を予測する処理と、
   前記第（ｎ＋１）フレーム画像内における予測された前記特徴量の位置を含む注目領域を設定する処理と、をコンピュータに実行させ、
   前記特徴量を検出するステップは、第（ｎ＋１）フレーム画像内に設定された注目領域を、前記特徴量の探索範囲とする画像処理プログラム。

Images