JP7023212B2 - 画像処理装置、撮像装置、移動体および画像処理方法 - Google Patents

Description

本開示は、画像処理装置、撮像装置、移動体および画像処理方法に関する。

特許文献１には、車両に搭載した撮像系で車外の対象を撮像した一対のステレオ画像を用いて、対象までの距離を検出する技術が開示されている。この技術では、一対のステレオ画像のうち、一方を基準画像とし、他方を比較画像として、ステレオマッチング処理により、基準画像と比較画像とで対応する部分の画像上の位置の差（視差）を算出し、算出した視差を用いて三角測量の原理により対象までの距離情報を取得する。

特開平７－１５２９１４号公報

ステレオマッチング処理による距離の検出においては、検出精度の低下を抑制しつつ、処理負荷を低減することが有益である。

本開示の目的は、上述した課題を解決し、ステレオマッチング処理による距離の検出精度の低下を抑制しつつ、処理負荷を低減することにある。

本開示の実施形態に係る画像処理装置は、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するインターフェイスと、前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するプロセッサと、を備える。

本開示の実施形態に係る撮像装置は、第１の撮像光学系と、前記第１の撮像光学系を介して結像した像を撮像する第１の撮像素子とを備える第１の撮像部と、第２の撮像光学系と、前記第２の撮像光学系を介して結像した像を撮像する第２の撮像素子とを備え、前記第１の撮像部とは異なる視点から撮像する第２の撮像部と、前記第１の撮像部および前記第２の撮像部により撮像された、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するインターフェイスと、前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するプロセッサと、を備える。

本開示の実施形態に係る移動体は、前記移動体の周辺を撮像する撮像装置を備え、前記撮像装置は、第１の撮像光学系と、前記第１の撮像光学系を介して結像した像を撮像する第２の撮像素子とを備える第１の撮像部と、第２の撮像光学系と、前記第２の撮像光学系を介して結像した像を撮像する第２の撮像素子とを備え、前記第１の撮像部とは異なる視点から撮像する第２の撮像部と、前記第１の撮像部および前記第２の撮像部により撮像された、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するインターフェイスと、前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するプロセッサと、を備える。

本開示の実施形態に係る画像処理方法は、画像処理装置における画像処理方法であって、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するステップと、前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するステップと、を含む。

本開示によれば、ステレオマッチング処理による距離の検出精度の低下を抑制しつつ、処理負荷を低減することができる画像処理装置、撮像装置、移動体および画像処理方法を提供することができる。

本開示の一実施形態に係る画像処理装置の構成例を示す図である。 図１に示すプロセッサによる所望の特徴量の決定の一例について説明するための図である。 前方の車両との距離が５ｍである場合の、オリジナルの左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が５ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が５ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が５ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が２０ｍである場合の、オリジナルの左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が２０ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が２０ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が２０ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が３０ｍである場合の、オリジナルの左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が３０ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が３０ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 前方の車両との距離が３０ｍである場合の、特異値分解による低ランク近似後の左画像および右画像と、得られたディスパリティ・マップとを示す図である。 図１に示す画像処理装置における画像処理方法について説明するためのフローチャートである。

以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は
、同一または同等の構成要素を示している。

図１は、本開示の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、基準画像と参照画像とを含む一対のステレオ画像を用いて、ステレオマッチング処理により、基準画像と比較画像とで対応する部分の画像上の位置の差（視差）を算出し、算出した視差を用いて、距離情報を取得する。画像処理装置１０は、例えば、図１に示すように、移動体１に搭載される。画像処理装置１０が移動体１に搭載される場合、画像処理装置１０は、移動体１の周辺を撮像した一対のステレオ画像を用いて、その画像に含まれる人、他の移動体などの対象までの距離情報を取得する。以下では、画像処理装置１０は、移動体１に搭載されるものとして説明する。

本開示における移動体１は、例えば、車両である。車両には、自動車および産業車両を含むが、これに限られず、鉄道車両、生活車両、および、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバスなどを含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

図１に示す画像処理装置１０は、インターフェイス１２と、プロセッサ１３と、メモリ１４とを備える。移動体１には、移動体１の周辺を撮像した画像を取得する第１の撮像部としての撮像部１１ａおよび第２の撮像部としての撮像部１１ｂが搭載されている。画像処理装置１０、撮像部１１ａおよび撮像部１１ｂは、移動体１に搭載された撮像装置１Ａを構成する。以下では、撮像部１１ａと撮像部１１ｂとを区別しない場合には、撮像部１１と称する。まず、撮像部１１について説明する。

撮像部１１は、移動体１に搭載された車載カメラである。撮像部１１は、移動体１の周辺を撮像した画像を取得する。撮像部１１は、少なくとも撮像光学系と、撮像素子とを備える。すなわち、撮像部１１ａは、第１の撮像光学系としての撮像光学系１１１ａと、第１の撮像素子としての撮像素子１１２ａとを備える。また、撮像部１１ｂは、第２の撮像光学系としての撮像光学系１１１ｂと、第２の撮像素子としての撮像素子１１２ｂとを備える。以下では、撮像光学系１１１ａと、撮像光学系１１１ｂとを区別しない場合には、撮像光学系１１１と称する。また、撮像素子１１２ａと、撮像素子１１２ｂとを区別しない場合には、撮像素子１１２と称する。

撮像光学系１１１は、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系１１１が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズであってもよい。撮像光学系１１１は、被写体像を撮像素子１１２の受光面に結像させる。撮像素子１１２は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子１１２の受光面上には、複数の画素が配列されている。撮像素子１１２は、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイおよびナビゲーション装置などの外部装置に撮像した画像を出力してもよい。また、撮像部１１は、撮像した画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。

撮像部１１ａおよび撮像部１１ｂは、光軸が互いに平行になるようにして、例えば、移動体１の前方にやや下向きに向けて配置される。また、撮像部１１ａおよび撮像部１１ｂは、移動体１の車幅方向に横並びに離間して配置される。したがって、撮像部１１ａおよび撮像部１１ｂは、略同じ範囲を異なる視点から撮像する。撮像部１１ａおよび撮像部１１ｂは、例えば、移動体１が自動車である場合、自動車のフロントガラスの内側に設置される。

以下では、撮像部１１ａが撮像した画像を「基準画像」と称し、撮像部１１ｂが撮像した画像を「参照画像」と称する。上述したように、撮像部１１ａおよび撮像部１１ｂは、略同じ範囲を異なる視点から撮像する。したがって、基準画像と参照画像とは、略同じ範囲を異なる視点から撮像したステレオ画像である。また、基準画像と参照画像とは、撮像部１１ａと撮像部１１ｂとが同一または実質的に同一のタイミングにおいて撮像した画像である。「実質的に同一」とは、基準画像と参照画像とが撮像されたタイミングのずれが、後述するステレオマッチング処理による距離の検出に影響を及ぼさない程度のずれであることを意味する。

次に、画像処理装置１０が備える構成について説明する。

インターフェイス１２は、有線または無線を介して、移動体１が備える各種構成と通信を行う。例えば、インターフェイス１２は、撮像部１１ａが撮像した基準画像を取得し、プロセッサ１３に出力する。また、インターフェイス１２は、撮像部１１ｂが撮像した参照画像を取得し、プロセッサ１３に出力する。以下では、インターフェイス１２が取得した基準画像と参照画像とを併せて、「取得画像」と称することがある。

プロセッサ１３は、例えば、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）およびＦＰＧＡ（Field-Programmable Gate Array）などの専用のプロセッサ、または、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３は、画像処理装置１０全体の動作を制御する。例えば、プロセッサ１３は、インターフェイス１２が取得した基準画像と参照画像とを用いて、ステレオマッチング処理を行うことで、視差を算出し、算出した視差を用いて距離情報を取得する。ステレオマッチング処理とは、異なる視点から撮像された基準画像と参照画像との間で対応する領域をマッチングすることにより視差を求め、求めた視差から撮像装置１Ａと、画像に含まれる物体との距離情報を算出する処理である。ステレオマッチング処理は、公知の任意の方法を用いて行うことができる。例えば、ステレオマッチング処理は、画像処理ライブラリとして提供されているＯｐｅｎＣＶ３の一機能であるＳｔｅｒｅｏＢＭを用いて行うことができる。基準画像と参照画像とを用いたステレオマッチング処理の詳細は後述する。

メモリ１４は、例えば、一次記憶装置または二次記憶装置などを含む。メモリ１４は、画像処理装置１０の動作に必要な種々の情報およびプログラムを記憶する。

次に、プロセッサ１３による基準画像と参照画像とを用いたステレオマッチング処理について説明する。

プロセッサ１３は、インターフェイス１２が取得した取得画像に対して、数学的な処理を行い、処理後の画像を用いてステレオマッチング処理を行う。具体的には、プロセッサ１３は、取得画像に対して、特異値分解による低ランク近似を行い、低ランク近似後の画像を用いて、ステレオマッチング処理を行う。

プロセッサ１３は、取得画像に対応する行列Ｍを生成する。取得画像に対応する行列Ｍとは、取得画像を行列で表現したものである。通常、画像は、行方向と列方向とに配列された複数の画素からなる。プロセッサ１３は、例えば、取得画像の各画素の輝度値などを、各画素の位置に対応する要素とする行列Ｍを生成する。そして、プロセッサ１３は、生成した行列Ｍの特異値分解を行う。特異値分解は、一般的な数学的処理であり、詳細な説明は省略するが、任意のｍ×ｎの行列Ｍを、以下の式（１）に示すように、３つの行列Ａ，Ｂ，Ｃに分解する処理である。
Ｍ＝ＡＢＣ ・・・式（１）

式（１）において、Ａは、ｍ×ｍの直交行列である左特異値行列であり、Ｂは、ｍ×ｎの対角行列であり、Ｃはｎ×ｎの直交行列である右特異値行列である。対角行列Ｂ（第１の対角行列）は、対角成分が正の値または０であり、非対角成分が０である行列である。対角行列Ｂの対角成分は、値の大きなものから降順に並ぶ。対角行列Ｂの対角成分のうち、ゼロでない成分の数をランクｋと称する。

プロセッサ１３は、上述した特異値分解を行った後、低ランク近似を行う。具体的には、プロセッサ１３は、対角行列Ｂのランクをｋ－ｌに下げた対角行列Ｂ’（第２の対角行列）を生成する。ここで、プロセッサ１３は、対角行列Ｂのゼロでないｋ個の対角成分のうち、値の小さな成分から順にｌ個の対角成分をゼロとすることで、対角行列Ｂ’を生成する。すなわち、プロセッサ１３は、対角行列Ｂのランクを下げた対角行列Ｂ’を生成する。そして、プロセッサ１３は、左特異値行列Ａと、対角行列Ｂのランクを下げた対角行列Ｂ’と、右特異値行列Ｃとの内積により得られる行列Ｍ’に対応する画像を、低ランク近似後の画像として生成する。

プロセッサ１３は、上述した行列Ｍ’を、基準画像および参照画像それぞれについて算出する。そして、基準画像について算出した行列Ｍ’に対応する画像、および、参照画像について算出した行列Ｍ’に対応する画像とを用いて、ステレオマッチング処理を行う。以下では、基準画像について算出された行列Ｍ’に対応する画像を、特異値分解による低ランク近似後の基準画像と称する。また、参照画像に対応する行列Ｍについて算出された行列Ｍ’に対応する画像を、特異値分解による低ランク近似後の参照画像と称する。プロセッサ1３は、特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出する。

上述したように、行列Ｍ’は、左特異値行列Ａと、対角行列Ｂのランクを下げた対角行列Ｂ’と、右特異値行列Ｃとの内積により得られる。対角行列Ｂ’は、対角行列Ｂよりも、値がゼロである対角成分の数が多い。このような対角行列Ｂ’のスパース性により、プロセッサ１３は、ステレオマッチング処理の処理負荷を低減することができる。例えば、プロセッサ１３は、任意の値ｘ×０＝０あるいは任意の値ｘ＋０＝ｘといった計算結果が自明な計算を省略することで、処理負荷を低減することができる。

また、対角行列Ｂ’は、対角行列Ｂの対角成分のうち、値の小さな対角成分から順に所定の数の対角成分をゼロとすることで得られる。そのため、特異値分解による低ランク近似後の画像では、取得画像のうち特徴に乏しい部分が優先的に圧縮される。したがって、特異値分解による低ランク近似後の基準画像および参照画像においても、ステレオマッチング処理に必要な特徴的な部分は残るので、距離の検出精度の低下は抑制される。

一般に、ステレオマッチング処理による距離の検出精度を上げるためには、解像度の高い画像を用いることが考えられる。しかしながら、解像度の高い画像を用いると、処理負荷が増大し、ステレオマッチング処理に要する時間も長くなってしまう。また、ステレオマッチング処理の処理負荷を下げるには、画像の解像度を下げることが考えられる。しかしながら、画像の解像度を下げると、ステレオマッチング処理に必要な特徴的な部分の解像度も下がるため、距離の検出が低下してしまう。一方、本実施形態においては、特異値分解による低ランク近似を行うことで、ステレオマッチング処理による距離の検出精度の低下を抑制しつつ、処理負荷を低減することができる。

プロセッサ１３は、ステレオマッチング処理に必要とされる画像の特徴量に応じて、対角行列Ｂ’のランクを決定する。すなわち、プロセッサ１３は、特異値分解による低ランク近似後の基準画像および参照画像における所望の特徴量に応じて、対角行列Ｂ’のランクを決定する。例えば、プロセッサ１３は、対角行列Ｂ’のランクを所定値ずつ変化させながら、各ランクにおける、特異値分解による低ランク近似後の画像の特徴量を求め、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係から、所望の特徴量に応じた対角行列Ｂ’のランクを決定する。プロセッサ１３は、基準画像および参照画像の少なくとも一方について、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係を求め、その関係から、基準画像及び参照画像における所望の特徴量を決定し、対角行列Ｂ’のランクを決定する。

対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係は、画像ごとに異なる。そのため、画像ごとに、対角行列Ｂ’のランクと特異値分解による低ランク近似後の画像の特徴量との関係を求めるための演算を行う必要があるが、このような演算を行ったとしても、取得画像自体を用いてステレオマッチング処理を行うよりは、処理負荷を低減することができる。なお、特徴量とは、物体のエッジのような、ステレオマッチング処理に必要な特徴的な部分の量を意味し、例えば、空間周波数を用いて表すことができる。

また、プロセッサ１３は、画像のエリアに応じて、所望の特徴量を決定してもよい。

例えば、移動体１の前方を撮像した画像では、画像の上部には、空などの移動体１の走行に影響の小さい物体が含まれることが多く、画像の中部には、他の移動体１あるいは歩行者などの、移動体１の走行に影響の大きい物体が含まれることが多い。すなわち、移動体１の前方を撮像した画像の上部には、精度の高い距離情報を取得する必要性が低い物体が含まれ、画像の中部には、精度の高い距離情報を取得する必要性が高い物体が含まれることが多い。また、移動体１の前方を撮像した画像の下部には、画像の中部に存在していた、距離情報を取得済みで移動体の走行に伴って相対的に移動体１に近づいてきた物体が含まれることが多い。このように、１つの画像の中でも、より正確な距離情報を取得すべきエリアが存在する。したがって、プロセッサ１３は、取得画像のエリアに応じて、所望の特徴量を決定し、その決定した所望の特徴量に応じて、エリアごとに、対角行列Ｂ’のランクを決定してもよい。例えば、プロセッサ１３は、図２に示すように、取得画像２の中部２ｂにおける所望の特徴量を高くし、取得画像２の上部２ａにおける所望の特徴を低くし、取得画像２の下部２ｃにおける所望の特徴量を、上部２ａの特徴量と中部２ｂの特徴量との間の値としてもよい。

また、プロセッサ１３は、移動体１の挙動に応じて、所望の特徴量を決定してもよい。例えば、プロセッサ１３は、移動体１が高速で移動している場合には、所望の特徴量を高くし、移動体１が低速で移動している場合には、所望の特徴量を低くしてもよい。

また、プロセッサ１３は、撮像部１１が撮像を行うフレームレートが可変である場合、移動体１の挙動に応じて、フレームレートと所望の特徴量とを決定してもよい。例えば、移動体１が高速で移動している場合、移動体１は高速道路を走行していると考えられる。
移動体１が高速道路を走行している場合、移動体１の単位時間当たりに移動量が大きいため、撮像部１１の撮像間隔が長くなり過ぎないことが望ましい。また、移動体１の単位時間当たりに移動量が大きいため、ステレオマッチング処理に要する時間を短くすることが望ましい。したがって、プロセッサ１３は、例えば、移動体１が高速道路を走行している場合、撮像部１１のフレームレートを高くするとともに、所望の特徴量を低くする。

また、例えば、移動体１が低速で移動している場合、移動体１は市街地を走行していると考えられる。移動体１が市街地を走行している場合、移動体１の単位時間当たりの移動量は小さいが、歩行者の飛び出しなどが起きる可能性が高く、精度の高い距離情報が求められることが多い。したがって、プロセッサ１３は、例えば、移動体１が低速で移動している場合、撮像部１１のフレームレートを低くするとともに、所望の特徴量を高くする。こうすることで、プロセッサ１３は、移動体１が移動する状況に適したマッチング処理を行うことができる。

次に、実際のステレオ画像、および、そのステレオ画像を用いたステレオマッチング処理により得られたディスパリティ・マップ（Disparity Map）を図３Ａ－３Ｄ，４Ａ－４Ｄ，５Ａ－５Ｄに例示する。具体的には、左右に並んで配置された撮像部１１ａおよび撮像部１１ｂそれぞれにより移動体１の前方を撮像した画像である左画像および右画像、および、これらの画像を用いたステレオマッチング処理により得られたディスパリティ・マップを例示する。ディスパリティ・マップとは、左画像および右画像の対応する部分ごとの視差をマッピングした画像である。図３Ａ－図３Ｄ，図４Ａ－図４Ｄ，図５Ａ－図５Ｄにおいて、左画像および右画像それぞれの略中央分の矩形領域は、移動体１の前方に存在する車両の像に相当する領域である。

図３Ａ－図３Ｄにおいては、前方の車両との距離が５ｍである場合の、左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す。

図３Ａは、オリジナルの左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。オリジナルの画像のランク（オリジナルの画像に対応する行列の特異値分解により得られる対角行列のランク）は６４０である。

図３Ｂは、特異値分解による低ランク近似により特徴量を９５％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは２１４である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約３３（＝２１４／６４０×１００）％の成分が残り、他の成分は０となる。

図３Ｃは、特異値分解による低ランク近似により特徴量を９０％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは１２７である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約１９（＝１２７／６４０×１００）％の成分が残り、他の成分は０となる。

図３Ｄは、特異値分解による低ランク近似により特徴量を８０％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは６４である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約１０（＝６４／６４０×１００）％の成分が残り、他の成分は０となる。

図４Ａ－図４Ｄにおいては、前方の車両との距離が２０ｍである場合の、左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す。

図４Ａは、オリジナルの左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。オリジナルの画像のランクは６４０である。

図４Ｂは、特異値分解による低ランク近似により特徴量を９５％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは２４７である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約３８（＝２４７／６４０×１００）％の成分が残り、他の成分は０となる。

図４Ｃは、特異値分解による低ランク近似により特徴量を９０％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは１４７である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約２２（＝１４７／６４０×１００）％の成分が残り、他の成分は０となる。

図４Ｄは、特異値分解による低ランク近似により特徴量を８０％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは６７である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約１０（＝６７／６４０×１００）％の成分が残り、他の成分は０となる。

図５Ａ－図５Ｄにおいては、前方の車両との距離が３０ｍである場合の、左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す。

図５Ａは、オリジナルの左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップを示す図である。オリジナルの画像のランクは６４０である。

図５Ｂは、特異値分解による低ランク近似により特徴量を９５％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは２４９である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約３８（＝２４９／６４０×１００）％の成分が残り、他の成分は０となる。

図５Ｃは、特異値分解による低ランク近似により特徴量を９０％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは１４９である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約２３（＝１４９／６４０×１００）％の成分が残り、他の成分は０となる。

図５Ｄは、特異値分解による低ランク近似により特徴量を８０％に圧縮した左画像および右画像と、これらの画像を用いて得られたディスパリティ・マップとを示す図である。特異値分解による低ランク近似後の画像のランクは６６である。この場合、特異値分解による低ランク近似後の画像に対応する行列では、オリジナルの画像に対応する行列の成分のうち、約１０（＝６６／６４０×１００）％の成分が残り、他の成分は０となる。

図３Ａ－図３Ｄに示すように、オリジナルの左画像および右画像を用いた場合にも、特異値分解による低ランク近似後の左画像および右画像を用いた場合にも、前方の車両までの距離（５ｍ）を正確に検出することができた。また、図４Ａ－図４Ｄおよび図５Ａ－図５Ｄに示すように、前方の車両までの距離が離れても、オリジナルの左画像および右画像を用いた場合にも、特異値分解による低ランク近似後の左画像および右画像を用いた場合にも、前方の車両までの距離を正確に検出することができた。したがって、特異値分解による低ランク近似後の画像を用いても、距離の検出精度の低下は抑制されることが確認された。

また、上述したように、例えば、特異値分解による低ランク近似により、特徴量を８０％に圧縮した場合、特異値分解による低ランク近似後の画像に対応する行列は、オリジナルの画像に対応する行列の成分のうち、約１０％の成分が残り、他の成分は０である、疎な行列である。このような疎な行列に対応する画像を用いたステレオマッチング処理では、０をかける、あるいは、０を足すといった計算結果が明らかな計算を省略することができるので、ステレオマッチング処理の処理負荷を低減することができる。

次に、本実施形態に係る画像処理装置１０における画像処理方法について、図６に示すフローチャートを参照して説明する。画像処理装置１０は、図６に示すフローを、例えば、所定の時間間隔で繰り返す。

インターフェイス１２は、撮像部１１ａが撮像した基準画像、および、撮像部１１ｂが撮像した参照画像を取得する（ステップＳ１１）。すなわち、インターフェイス１２は、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得する。

プロセッサ１３は、インターフェイス１２により取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行う（ステップＳ１２）。

次に、プロセッサ１３は、特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出する（ステップＳ１３）。

このように、本実施形態においては、画像処理装置１０は、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するインターフェイス１２と、取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するプロセッサ１３と、を備える。

基準画像および参照画像に対応する行列の特異値分解により得られる対角行列のランクを下げる低ランク近似を行うことで、特異値分解による低ランク後の行列では、より多くの要素がゼロとなる。そのため、０をかけるあるいは０を足すといった結果が自明な計算を省略することができるので、ステレオマッチング処理の処理負荷を低減することができる。また、特異値分解による低ランク近似では、特徴の乏しい部分が優先的に圧縮され、特徴的な部分は残るので、ステレオマッチング処理による距離の検出精度の低下を抑制することができる。

本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。

１ 移動体
１Ａ 撮像装置
１０ 画像処理装置
１１ａ，１１ｂ 撮像部
１２ インターフェイス
１３ プロセッサ
１４ メモリ
１１１ａ，１１１ｂ 撮像光学系
１１２ａ，１１２ｂ 撮像素子

Claims (7)

1. 異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するインターフェイスと、
   前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するプロセッサと、を備える画像処理装置。
2. 前記プロセッサは、
   前記インターフェイスにより取得された基準画像および参照画像それぞれに対応する行列を、左特異値行列と、第１の対角行列と、右特異値行列とに分解し、前記左特異値行列と、前記第１の対角行列のランクを下げた第２の対角行列と、前記右特異値行列との内積により得られる行列それぞれに対応する画像を、前記特異値分解による低ランク近似後の基準画像と参照画像とし、
   前記特異値分解による低ランク近似後の基準画像および参照画像における所望の特徴量に応じて、前記第２の対角行列のランクを決定する、請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記基準画像および前記参照画像のエリアに応じて、前記所望の特徴量を異ならせる、請求項２に記載の画像処理装置。
4. 前記基準画像及び前記参照画像は、移動体に搭載された撮像装置により撮像され、
   前記プロセッサは、前記移動体の挙動に応じて、前記所望の特徴量を異ならせる、請求項２または３に記載の画像処理装置。
5. 第１の撮像光学系と、前記第１の撮像光学系を介して結像した像を撮像する第１の撮像素子とを備える第１の撮像部と、
   第２の撮像光学系と、前記第２の撮像光学系を介して結像した像を撮像する第２の撮像素子とを備え、前記第１の撮像部とは異なる視点から撮像する第２の撮像部と、
   前記第１の撮像部および前記第２の撮像部により撮像された、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するインターフェイスと、
   前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するプロセッサと、を備える撮像装置。
6. 移動体であって、
   前記移動体の周辺を撮像する撮像装置を備え、
   前記撮像装置は、
   第１の撮像光学系と、前記第１の撮像光学系を介して結像した像を撮像する第１の撮像素子とを備える第１の撮像部と、
   第２の撮像光学系と、前記第２の撮像光学系を介して結像した像を撮像する第２の撮像素子とを備え、前記第１の撮像部とは異なる視点から撮像する第２の撮像部と、
   前記第１の撮像部および前記第２の撮像部により撮像された、異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するインターフェイスと、
   前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するプロセッサと、を備える移動体。
7. 画像処理装置における画像処理方法であって、
   異なる視点から撮像された基準画像と参照画像とを含むステレオ画像を取得するステップと、
   前記取得された基準画像および参照画像に対して、特異値分解による低ランク近似を行い、前記特異値分解による低ランク近似後の基準画像と参照画像との間でステレオマッチング処理を行うことにより視差を算出するステップと、を含む画像処理方法。

Images