JP7253693B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来、同一対象に向けられた一対のカメラを備え、これらのカメラにより同一対象を撮影することで当該カメラから当該同一対象までの距離を算出できる画像処理装置として、例えば特許文献１に記載のものが知られている。この画像処理装置は、一対のカメラにより同一対象を撮影して２枚の画像（一対の画像）を生成し、これらの画像中の同一対象を一致させた後、その対象の位置の違い（視差）から三角測量の原理に基づき、カメラから撮影した対象までの距離を算出できる。

特開２０１５－６８６４１号公報

ところで、この種の画像処理装置は、生成された画像を構成する画素ごとに、カメラからの距離（以下「認識距離」という）の情報を上記の原理により取得し、これらの画素ごとの認識距離の違いを色の違いとして示した距離画像を生成することができる。そして、この種の画像処理装置で生成される距離画像における解像度や画角は、撮影に用いられる一対のカメラの解像度や画角に依存する。

例えば、画像処理装置の近傍を広角の一対のカメラで撮影して得られる２枚の画像を用いる場合には、広い画角で近距離の情報を精度良く取得できる広角の距離画像を生成できる。また、画像処理装置の遠方を狭角かつ高解像度の一対のカメラで撮影して得られる２枚の画像を用いる場合には、狭い画角ながら、遠距離の情報を精度良く取得できる狭角かつ高解像度の距離画像を生成できる。

ここで、広角かつ低解像度の距離画像と狭角かつ高解像度の距離画像とを生成するためには、広角かつ低解像度の一対の画像と狭角かつ高解像度の一対の画像が必要となる。言い換えると、画角および解像度の異なる２枚の距離画像を得るためには、画角および解像度の異なる二対の画像（合計４枚の画像）が必要となる。このような画角および解像度の異なる二対の画像を生成するために、画角および解像度の異なる二対のカメラ、すなわち合計４つのカメラを備えた画像処理装置とすることが考えられる。

しかしながら、この場合、例えば、広角かつ低解像度の画像を生成する一対のカメラと狭角かつ高解像度の画像を生成する一対のカメラとを要する構成となり、画像処理装置の大型化やコスト増加の原因となるため、好ましくない。また、二対のカメラを有する構成とした場合、二対のカメラが異なる位置に配置されるため、遮蔽物や見え方の違いによっては、２枚の画像に含まれる同一の地点を一致させる処理（ステレオマッチング）の不具合や認識距離の精度低下が懸念される。

本発明は、上記の点に鑑みてなされたものであり、一対のカメラでの撮影により得られる一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成できる画像処理装置を提供することを目的とする。また、一対のカメラにより得られる一対の画像に基づき、従来よりも近傍および遠方の距離を精度良く取得できる車載用の画像処理装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の画像処理装置は、同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、一対のカメラでの撮影により得られる同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、カメラで撮影された範囲内に特定の対象物が検知された場合に、カメラからの特定の対象物の距離を算出する対象物距離算出部（９）と、を備える。そして、一対の画像は、第１領域と第１領域に隣接する第２領域とを有し、第１領域が第２領域よりも狭角かつ高解像度とされた解像度非一様画像である。対象物距離算出部は、複数の距離画像のうち画角が広い距離画像から画角が狭い距離画像の順に特定の対象物を検索し、特定の対象物が写された距離画像を用いて、特定の対象物の距離を算出する。

かかる構成によれば、一対のカメラでの撮影により高解像度の領域と低解像度の領域とを有する、一対の解像度非一様画像を得ると共に、この解像度非一様画像に基づいて距離画像を生成できる画像処理装置となる。具体的には、解像度非一様画像のうち狭角かつ高解像度の領域のデータを用いた場合には、狭角かつ高解像度の距離画像を生成でき、広角かつ低解像度の領域を含む領域のデータを用いた場合には、広角かつ低解像度の距離画像を生成できる。つまり、画角および解像度の異なる二対以上のカメラを用いることなく、画角および解像度の異なる複数の距離画像を生成できる画像処理装置となる。

請求項２に記載の画像処理装置は、車両（ＶＭ１）に搭載され、車両の周囲を撮影する車載用の画像処理装置であって、同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、一対のカメラでの撮影により得られる同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、カメラで撮影された範囲内に特定の対象物が検知された場合に、カメラからの特定の対象物の距離を算出する対象物距離算出部（９）と、を備える。このような構成において、一対の画像は、第１領域と第１領域に隣接する第２領域とを有し、第１領域が第２領域よりも狭い視野角かつ高解像度とされた解像度非一様画像であり、距離画像生成部は、一対の画像のうち第１領域のデータに基づいて車両の遠方かつ狭い視野角の領域を高解像度で写した狭角距離画像と、第２領域のデータに基づいて車両の近傍かつ広い視野角の領域を低解像度で写した広角距離画像と、を生成する。対象物距離算出部は、複数の距離画像のうち画角が広い距離画像から画角が狭い距離画像の順に特定の対象物を検索し、特定の対象物が写された距離画像を用いて、特定の対象物の距離を算出する。

本構成によれば、請求項１に記載の画像処理装置と同様の効果が得られると共に、解像度非一様画像のうち狭角かつ高解像度の領域のデータにより、車両から遠方の距離を取得でき、広角かつ低解像度の領域のデータにより車両の近傍の距離を取得できる。

請求項３に記載の画像処理装置は、同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、一対のカメラでの撮影により得られる同一対象を写した一対の画像のうち所定の画角の領域を切り取り、当該所定の画角の領域を写した画像である特定画角画像を生成する画角画像処理部（５、６）と、一対の特定画角画像についてステレオマッチングを行うステレオマッチング部（７）と、一対の特定画角画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、カメラで撮影された範囲内に特定の対象物が検知された場合に、カメラからの特定の対象物の距離を算出する対象物距離算出部（９）と、を備える。そして、一対の画像は、第１領域と第１領域に隣接する第２領域とを有し、第１領域が第２領域よりも高解像度とされた解像度非一様画像である。対象物距離算出部は、複数の距離画像のうち画角が広い距離画像から画角が狭い距離画像の順に特定の対象物を検索し、特定の対象物が写された距離画像を用いて、特定の対象物の距離を算出する。

これにより、請求項１に記載の画像処理装置と同様の効果が得られると共に、画角画像処理部により解像度非一様画像のうち任意の画角の領域のデータに基づく特定画角画像を生成し、これに基づいて距離画像を生成できる画像処理装置となる。そのため、状況に応じて適切な画角および解像度の距離画像を生成できるとの効果も得られる。

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

第１実施形態の画像処理装置の構成を示すブロック図である。 平行配置された一対のカメラによる距離測定の概要を示す図である。 （ａ）は図１中のカメラで撮影して得られる画像の一例であり、（ｂ）はピンホールレンズを用いたカメラで（ａ）と同一対象を撮影して得られる画像である。 図１の画像処理装置にて広角距離画像を生成する場合の動作例を示すフローチャートである。 図１の画像処理装置にて狭角距離画像を生成する場合の動作例を示すフローチャートである。 図５での狭角画像の切り出しでの画像処理イメージを示す模式図である。 図１の画像処理装置の車載用途への適用例を示す模式図である。 第２実施形態の画像処理装置での動作例を示すフローチャートである。 第３実施形態の画像処理装置の構成を示すブロック図である。 第３実施形態の画像処理装置での動作例を示すフローチャートである。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。

（第１実施形態）
第１実施形態の画像処理装置について、図１～図７を参照して述べる。本実施形態の画像処理装置は、例えば自動車などの車両に搭載される車載用ステレオカメラなどに適用されると好適であるが、車両と異なる移動体に搭載されるステレオカメラなどの他の用途にも適用され得る。

〔構成〕
まず、本実施形態の画像処理装置（以下「本画像処理装置」という）の構成について説明する。

本画像処理装置は、図１に示すように、撮像部１と、画像処理部２とを備え、撮像部１での撮影により得られる一対の画像を画像処理部２で処理することで、近傍領域および遠方領域それぞれに対応する距離画像を生成する構成とされている。本実施形態の画像処理装置は、例えば、撮影により得られる画像や当該画像に基づいて生成した距離画像などを表示する、図示しない外部の表示装置などに接続される。

撮像部１は、本画像処理装置が設置される場所の周囲を撮影し、画像信号を出力するものである。撮像部１は、例えば図１に示すように、第１カメラ１１と、第２カメラ１２と、これらを連結して支持する図示しないステーとを有してなる。つまり、撮像部１は、第１カメラ１１と第２カメラ１２とによりなる一対のカメラを有する構成とされている。

カメラ１１、１２は、例えば、同一の構成のデジタルカメラとされ、図示しないレンズおよび撮像素子を備える。カメラ１１、１２は、例えば、図２に示すように、互いの光軸が平行、かつ互いの撮影面が同一の平面を構成すると共に、異なる位置から同一対象物を撮影する配置とされている。カメラ１１、１２は、第１の領域とこれに隣接する第２の領域とを有し、第１の領域が高解像度とされ、第２の領域に向かうほど低解像度とされた、解像度が非一様な画像（以下「解像度非一様画像」という）を生成するための画像信号を出力する。解像度非一様画像を生成するための画像信号を出力するカメラ１１、１２は、例えば、次のような構成とされる。

カメラ１１、１２を構成するレンズは、例えば、広角中心窩レンズとされる。「広角中心窩レンズ」とは、人間の眼球の特性、すなわち網膜のうち視野の中心に対応する中心窩と呼ばれる範囲で視力が最も高く、この中心窩から離れるほど視力が急激に減少する特性を模したレンズである。カメラ１１、１２では、広角中心窩レンズは、例えば、上下左右で片側４５度以上、両側９０度以上の広角の視野の像を撮像素子の撮像領域に結像する役割を果たす。

カメラ１１、１２を構成する撮像素子は、例えば、ＣＣＤ（Charge Coupled Deviceの略）やＣＭＯＳ（相補型ＭＯＳ）などのイメージセンサとされ、レンズを介して入射する光に対応した画像信号を出力する複数の画素を有してなる。撮像素子は、例えば、レンズが広角中心窩レンズである場合には、複数の画素が均一な分布および密度になるように配置された構成とされる。均一な分布および密度になる複数の画素の配置としては、例えば、複数の画素が格子状に一様に並べられる例などが挙げられる。なお、カメラ１１、１２は、レンズと撮像素子とが解像度非一様画像の元となる画像信号を出力する組み合わせとされていればよく、他の構成要素については任意とされる。

このような構成とされたカメラ１１、１２は、図１に示すように、画像処理部２に接続され、狭い視野角かつ高解像度の領域および広い視野角かつ低解像度の領域それぞれに対応する画像信号を画像処理部２に出力する。

なお、以下、解像度非一様画像として、図３（ａ）に示すように、中心部に近い第１の領域ほど高解像度とされ、中心部に隣接する第２の領域である周辺部に向かうほど低解像度とされた画像を例に説明する。解像度非一様画像は、広角中心窩レンズによる急激な像倍率変化により、高解像度とされた第１の領域が、低解像度とされた第２の領域よりも高倍率（限定するものではないが、例えば１０倍以上）とされる。

画像処理部２は、図１に示すように、第１画像生成部３、第２画像生成部４、第１画角画像処理部５、第２画角画像処理部６、ステレオマッチング部７および距離画像生成部８を有してなる。画像処理部２は、撮像部１から取得した画像信号に基づいて、任意の解像度および画角の距離画像を生成し、図示しない外部の電子機器などに距離画像データを伝送する構成とされる。画像処理部２は、例えば、ＤＳＰ、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えたＬＳＩとされる。

第１画像生成部３は、図１に示すように、第１カメラ１１から画像信号を取得し、当該画像信号に基づいて第１の解像度非一様画像を生成する。第２画像生成部４は、図１に示すように、第２カメラ１２から画像信号を取得し、当該画像信号に基づき、第１の解像度非一様画像と対をなす第２の解像度非一様画像を生成する。つまり、画像生成部３、４は、一対のカメラ１１、１２から画像信号を取得し、当該画像信号に基づいて、一対の解像度非一様画像を生成する。第１の解像度非一様画像のデータは、図１に示すように、第１画角画像処理部５に伝送される。第２の解像度非一様画像のデータは、第２画角画像処理部６に伝送される。

第１画角画像処理部５は、図１に示すように、第１画像生成部３が生成した第１の解像度非一様画像から任意の画角で一部または全部の領域を選択（切り出し）した後、当該領域の画像データについて輝度や歪みの補正および幾何学的な変換などを行う。第２画角画像処理部６は、第２の解像度非一様画像から任意の画角で一部または全部の領域を選択した後、その領域の画像データについて輝度や歪みの補正および幾何学的な変換などを行う。

つまり、画角画像処理部５、６は、解像度非一様画像のデータについて各種の補正および当該画像の幾何学的な変換を行うことで、任意の画角の領域かつ解像度が一様の画像（以下「特定画角画像」という）を生成する。この特定画角画像のデータは、ステレオマッチング部７に伝送される。また、特定画角画像は、図３（ｂ）に示すピンホールレンズを有するカメラでの撮影により得られる画像と同様に、解像度が一様の画像とされるため、「解像度一様画像」とも称し得る。

なお、本実施形態では、２つの画像生成部３、４により一対の解像度非一様画像を生成し、２つの画角画像処理部５、６によりステレオマッチングが行われる一対の特定画角画像を生成する例について説明しているが、これに限定されるものではない。例えば、１つの画像生成部が一対のカメラ１１、１２それぞれから画像信号を取得し、これらの画像信号に基づいて一対の解像度非一様画像を生成する構成であってもよい。また、１つの画角画像処理部が一対の解像度非一様画像のデータを取得し、これらのデータに基づき、一対の特定画角画像を生成する構成であってもよい。

ステレオマッチング部７は、画角画像処理部５、６から取得した一対の特定画角画像のデータに基づき、当該一対の特定画角画像に写されている同一対象の各部についてマッチングを行う。これにより、図２に示すように、画像に写された同一対象の当該一対の画像上での位置ずれＺ（視差Ｚ）を求めることができる。この視差Ｚのデータは、距離画像生成部８に伝送される。

距離画像生成部８は、ステレオマッチング処理により得られた視差Ｚのデータから三角測量の原理に基づいて、図２に示すように、一対のカメラ１１、１２から撮影した対象物までの距離Ｄを算出する。

具体的には、図２に示すように、光軸が平行かつ撮影面が同一平面を構成する配置とされた第１カメラ１１と第２カメラ１２とにより、対象物Ｘ０を撮影したとする。また、カメラ１１、１２間の距離をＢとし、対象物Ｘ０とカメラ１１、１２との距離をＤとし、カメラ１１、１２の焦点距離ｆとし、対象物Ｘ０の第１カメラ１１の撮影面における位置をＸ１とし、対象物Ｘの第２カメラ１２の撮影面における位置をＸ２とする。さらに、第１カメラ１１の撮影面の中心Ｏ１を通り、当該撮影面に対して垂直な光軸と直線Ｘ０Ｘ１との交点をＡとし、第２カメラ１２の撮影面の中心Ｏ２を通り、当該撮影面に対して垂直な光軸と直線Ｘ０Ｘ２との交点をＣとする。

このとき、第２カメラ１２の撮影面のうち第１カメラ１１の撮影面におけるＸ１に相当する位置をＸ３とすると、Ｘ２とＸ３との間には、図２に示すように視差Ｚが生じる。そして、図２における三角形Ｘ０ＡＣと三角形ＣＸ３Ｘ２とが相似関係となることから、距離Ｂと距離Ｄとの比が、焦点距離ｆと視差Ｚとの比と等しくなり、以下の（１）式が成立する。

Ｄ＝Ｂ×ｆ／Ｚ・・・（１）
よって、カメラ１１、１２間の距離Ｂ、カメラ１１、１２の焦点距離ｆおよび視差Ｚにより、カメラ１１、１２と対象物Ｘ０までの距離Ｄを算出することができる。このような原理により、距離画像生成部８は、特定画角画像を構成する各画素の距離Ｄを算出すると共に、各画素の距離Ｄの違いを色の違いとして示した距離画像を生成する。

ここで、距離画像の画角および解像度は、特定画角画像の画角および解像度に依存する。つまり、距離画像生成部８は、狭角かつ高解像度の特定画角画像を用いた場合には、狭角かつ高解像度の距離画像を生成し、広角かつ低解像度の特定画角画像を用いた場合には、広角かつ低解像度の距離解像度を生成する。そして、特定画角画像は、一対の解像度非一様画像のうち所定の画角および解像度の領域を選択することで、その画角および解像度が調整されることができる。そのため、距離画像生成部８は、一対のカメラ１１、１２により得られる一対の解像度非一様画像に基づき、画角および解像度の異なる複数の距離画像を生成することができる。

以上が本画像処理装置の基本的な構成である。

〔動作例〕
次に、本画像処理装置の動作例について、図４～図６を参照して説明する。

まず、画角が広い距離画像（以下「広角距離画像」という）を生成する場合の動作例について、図４を参照して説明する。

ステップＳ１０１にて、一対のカメラ１１、１２は、同一対象を異なる位置から撮影し、画像信号を画像生成部３、４へ出力する。そして、画像生成部３、４は、当該画像信号に基づいて一対の解像度非一様画像を生成する。

続いて、ステップＳ１０２にて、画角画像処理部５、６は、画像生成部３、４が生成した一対の解像度非一様画像のデータについて歪み補正を行う。例えば、画角画像処理部５、６は、図３（ａ）に示すような中心部が高倍率とされ、その中心部から離れるほど低倍率とされ、歪みが大きい解像度非一様画像のデータについて歪み補正や幾何学的な変換を行う。これにより、図３（ｂ）に示すような中心部から周辺部までの倍率が等しい画像が生成される。

その後、ステップＳ１０３にて、画角画像処理部５、６は、図３（ｂ）に示す画像のような歪み補正後の画像のうち画角が広い領域（例えば、画像の全域）を選択し、一対の広角画像のデータを用意する。なお、一対のカメラ１１、１２での撮影にて得られる一対の画像がその中心部が高解像度とされ、中心部から離れるほど低解像度とされた画像であるため、当該一対の画像の全域を選択（切り出し）して得られる広角画像は、広角かつ低解像度の画像となる。

次いで、ステップＳ１０４にて、ステレオマッチング部７は、画角画像処理部５、６により得られた一対の広角画像についてステレオマッチング処理を行う。その後、図示しないＣＰＵは、処理をステップＳ１０５に進める。

ステップＳ１０５にて、距離画像生成部８は、ステレオマッチング処理がなされた一対の広角画像に写された同一対象の各部位についての視差Ｚを計算する。

続いて、ステップＳ１０６にて、距離画像生成部８は、上述した三角測量の原理により、視差Ｚ、カメラ１１、１２間の距離Ｂおよび焦点距離ｆに基づいて、撮影された対象とカメラ１１、１２との距離Ｄを算出する。この距離Ｄの計算は、一対の広角画像を構成する画素ごとに行われる。

最後に、ステップＳ１０７にて、距離画像生成部８は、ステップＳ１０６での算出により得られた各画素の距離情報に基づいて、広角の距離画像を生成する。その後、図示しないＣＰＵは、距離画像の生成の処理を終了する。

次に、画角が狭い距離画像（以下「狭角距離画像」という）を生成する場合の動作例について、図５、図６を参照して説明する。なお、狭角距離画像の生成については、図５に示すように、歪み補正後の画像の切り出し（ステップＳ１０８）および狭角距離画像の生成（ステップＳ１０９）以外の処理が広角距離画像を生成する場合と共通するため、以下、これらの相違点について主に述べる。

ステップＳ１０８にて、画角画像処理部５、６は、ステップＳ１０２にて歪み補正がなされた一対の画像のデータのうち画角が狭く、かつ高解像度の領域を切り出し領域として選択（切り出し）し、狭角画像を生成する。例えば、ステップＳ１０８においては、画角画像処理部５、６は、図６（ａ）の破線で示す狭角かつ高解像度の切り出し領域のデータに基づいて、図６（ｂ）に示すような狭角かつ高解像度の画像を生成する。この切り出し領域の範囲、すなわち切り出す画角の領域については、適宜設定される。

狭角画像を生成した後、ステップＳ１０４、Ｓ１０５、Ｓ１０６にて、広角距離画像の生成の場合と同様に、一対の狭角画像についてステレオマッチング処理を行って、視差Ｚを計算し、各画素の対象物までの距離Ｄを算出する。

そして、ステップＳ１０９にて、距離画像生成部８は、ステップＳ１０６にて算出した各画素の距離Ｄの情報に基づいて、狭角距離画像を生成する。その後、図示しないＣＰＵは、距離画像の生成の処理を終了する。

なお、動作例の理解を助ける目的で便宜的に、広角距離画像の生成と狭角距離画像の生成とを分けて説明したが、本画像処理装置では、これらの処理の一方が個別に実行されるだけでなく、これらの処理が並行して実行されてもよい。また、図４、図５に示す処理は、本画像処理装置がＯＮの状態からＯＦＦの状態とされるまで、所定の間隔で繰り返されてもよい。

〔適用例〕
次に、本画像処理装置が車載用途に適用された例について、図７を参照して説明する。

図７では、本実施形態の画像処理装置が搭載された自動車などの車両ＶＭ１が道路を走行しつつ、当該画像処理装置が車両ＶＭ１の近傍領域Ｒ１および遠方領域Ｒ２を撮影する様子を示している。

以下の説明において、後退以外の走行用シフトポジションでの自走による車両ＶＭ１の進行可能方向を「進行方向」と称し、進行方向を向いた状態における左右の方向をそれぞれ「左」、「右」と称する。また、進行方向を向いた状態における鉛直方向を「下」と称し、その反対側を「上」と称する。

本画像処理装置は、例えば、車両ＶＭ１の車室のうち進行方向側に配置され、車両ＶＭ１のイグニッションがＯＮの状態になると起動し、イグニッションがＯＦＦの状態になると動作を終了する構成とされる。本画像処理装置は、例えば図７に示すように、車両ＶＭ１の進行方向における近傍領域Ｒ１および遠方領域Ｒ２を撮影し、これらの領域Ｒ１、Ｒ２それぞれの距離画像を生成する。このとき、一対のカメラ１１、１２での撮影により、遠方領域Ｒ２を第１領域（狭角かつ高解像度）とし、近傍領域Ｒ１を第２領域（広角かつ低解像度）とする解像度非一様画像が生成される。

ここで、近傍領域Ｒ１とは、例えば、車両ＶＭ１から１０ｍ以内の領域であって、上下左右で片側２５度以上、両側５０度以上の広角の視野領域をいう。また、遠方領域Ｒ２とは、例えば、車両ＶＭ１から５０ｍ以上離れた領域であって、上下左右で片側２５度以下、両側５０度以下の狭角の視野領域をいう。

本画像処理装置は、近傍領域Ｒ１および遠方領域Ｒ２それぞれの画角の範囲内にある対象物を撮影し、車両ＶＭ１からその対象物までの距離を算出した上で、近傍領域Ｒ１に対応する広角距離画像と遠方領域Ｒ２に対応する狭角距離画像とを生成する。

なお、対象物とは、例えば、他の自動車や自転車などの車両、車両が有する光源（ヘッドライト、テールランプなど）、走行車線、標識、信号、歩行者、動物、壁、電柱、樹木や道路上の落下物（タイヤなど）などが挙げられるが、これらに限定されない。

例えば、近傍領域Ｒ１には、例えば図７に示すように、斜め４５度の方向に存在する歩行者や仰角４５度にある信号機などがその視野に含まれる。このような車両ＶＭ１に近い位置にある信号、周囲の歩行者や車両などの車両ＶＭ１の進行方向に交差する方向から接近する移動体を認識するため、画角９０度以上の近傍領域Ｒ１が撮影される。近傍領域Ｒ１に存在する対象物は、撮影により得られる画像中では遠方領域Ｒ１に存在する対象物よりも大きく写り、その視差も大きい。そのため、近傍領域Ｒ１については、広角かつ低解像度で撮影すれば十分な距離精度の距離画像が生成される。

一方、遠方領域Ｒ２には、例えば図７に示すように、車両ＶＭ１から５０ｍ程度前方の道路上に存在する障害物や１００ｍ程度前方に存在する先行車両ＶＭ２、走行車線などがその視野に含まれる。遠方領域Ｒ２は、車両ＶＭ１の走行速度にもよるが、例えば車両ＶＭ１から５０ｍ～１００ｍ程度の前方の領域とされる。遠方領域Ｒ２に存在する対象物は、撮影により得られる画像中では近傍領域Ｒ１に存在する対象物よりも小さく写り、その視差も小さい。そのため、遠方領域Ｒ２については、十分な距離精度の距離画像を生成するためには、狭角かつ高解像度で撮影する必要がある。

本画像処理装置は、一対のカメラ１１、１２により、近傍領域Ｒ１を広角かつ低解像度で、遠方領域Ｒ２を狭角かつ高解像度で撮影することで、一対の解像度非一様画像を生成する。そして、本画像処理装置は、この一対の解像度非一様画像のうち狭角かつ高解像度の領域のデータを用いて、狭角距離画像を生成し、広角かつ低解像度の領域を含む領域のデータを用いて広角距離画像を生成する。そのため、本画像処理装置は、車載用途に適用された場合には、一対のカメラ１１、１２のみを有する撮像部１を備える構成とされつつも、近傍領域Ｒ１および遠方領域Ｒ２それぞれに対応する複数の距離画像を同時に生成することができる。

本実施形態によれば、一対のカメラ１１、１２での撮影により得られる解像度非一様画像に基づいて、狭角かつ高解像度の距離画像と広角かつ低解像度の距離画像とを生成することができる画像処理装置となる。つまり、二対以上のカメラを用いることなく、画角および解像度の異なる複数の距離画像を生成することができ、大型化やコスト増加が抑制される構成の画像処理装置となる。

（第２実施形態）
次に、第２実施形態の画像処理装置について、図８を参照して述べる。

本実施形態の画像処理装置は、図示しない任意の物体検知装置と連動しており、その物体検知の結果に基づいて解像度非一様画像から切り出す画角を決定する構成とされている点で上記第１実施形態と相違する。本実施形態では、図８に示すように、物体検知の判定（ステップＳ１１０）および任意画像の切り出し（ステップＳ１１１）を除き、基本的な処理は上記第１実施形態と共通するため、これらの相違点について主に説明する。

第２実施形態の画像処理装置は、例えば車載用途に適用されると共に、車両に搭載された図示しない任意の物体検知装置と連動して、検知された物体までの距離に対応した任意の画角の距離画像を生成する構成とされる。

なお、任意の物体検知装置としては、例えば、ミリ波レーダー、ライダーセンサ、超音波センサなどが挙げられるが、これに限られず、他のセンサなどであってもよい。

画角画像処理部５、６は、本実施形態では、画像生成部３、４が生成した一対の解像度非一様画像のうち任意の画角の領域を選択するに際して、任意の物体検知装置による検知結果に応じて任意の画角を適宜選択する。

具体的には、図８に示すように、画角画像処理部５、６は、ステップＳ１０２での歪み補正の後、ステップＳ１１０での物体検知の判定結果に対応して、その後の切り出し処理における画角を決定する。

ステップＳ１１０では、外部の物体検知装置は、本実施形態の画像処理装置が搭載された車両などの周囲に存在する物体の検出結果のデータを例えば画像処理部２に伝送する。ステップＳ１１０にて、物体が検知されたと判定された場合、すなわちステップＳ１１０でＹＥＳの場合には、図示しないＣＰＵは、処理をステップＳ１１１に進める。

ステップＳ１１１では、画角画像処理部５、６は、歪み補正後の一対の画像のうち検知された物体が存在する位置を特定し、その位置を端部とする切り出し領域となるように画角を設定し、当該画角の一対の画像を生成する。例えば、歪み補正がなされた広角画像や任意の物体検知装置などから、検知された物体の映された角度の情報を予め取得しておき、この角度で映し出される領域を外縁（端部）とする切り出し領域とし、切り出しの画角を設定する。その後、ステップＳ１０４にて、ステレオマッチング部７は、ステップＳ１１１で生成された任意の画角の一対の画像についてステレオマッチング処理を行う。そして、図示しないＣＰＵは、図８に示すように、ステップＳ１０５以降の処理に進める。最終的に、ステップＳ１１２では、検知された物体の映された角度に対応した任意の画角で切り出された距離画像が生成される。

なお、ここでいう「検知された物体の映された角度」とは、カメラ１１または１２の焦点と検知された物体の外郭とを直線で結んだ場合に、当該直線とカメラ１１または１２の光軸とのなす角度を意味する。例えば、図２を参照して説明すると、検知された物体をＸ０として、Ｘ０の外郭とカメラ１１の焦点Ａとを直線で結んだ場合、当該直線と撮影面の中心Ｏ１とを通る光軸（直線Ａ－Ｏ１）とのなす角度が、「検知された物体の映された角度」に該当する。カメラ１２の場合、焦点Ｂと物体Ｘ０の外郭とを結ぶ直線と、カメラ１２の撮影面の中心Ｏ２を通る光軸とのなす角度が、「検知された物体の映された角度」に該当する。

一方、ステップＳ１１０にて物体が検知されなかった場合、すなわちステップＳ１１０でＮＯの場合には、図示しないＣＰＵは、図８に示すように、ステップＳ１０４以降の処理をスキップし、動作を終了する。

本実施形態によれば、上記第１実施形態での効果が得られると共に、物体が検知された場合にその状況に応じて解像度非一様画像のうち切り出し領域の画角を適宜調整することで、必要な画角および解像度の距離画像を生成することができる画像処理装置となる。

（第３実施形態）
第３実施形態の画像処理装置について、図９、図１０を参照して述べる。

本実施形態の画像処理装置は、図９に示すように、任意の物体検知装置と連動すると共に、物体が検知された場合に検知された物体との距離算出の処理を行う対象物距離算出部９を備える構成とされている点で上記第１実施形態と相違する。本実施形態では、この相違点について主に説明する。

対象物距離算出部９は、例えば、図９に示すように、外部の物体検知装置に接続され、当該物体検知装置から物体の検知情報を取得すると共に、検知された物体のうち特定の対象物との距離を算出する。対象物距離算出部９は、対象物の距離算出の処理における負荷を低減するため、低解像度の広角画像から高解像度の狭角画像の順に、特定の対象物までの距離算出を行う。

なお、「特定の対象物」とは、物体検知装置により検出され得る物体であって、本画像処理装置が搭載された車両と衝突するおそれのある物体（例えば、先行車両や歩行者など）を意味する。例えば、先行車両や歩行者など撮像部１による撮影で得られる画像内の視差がゼロもしくはこれに近い背景や遠方に向かうほど視差が小さくなる走行車線などについては、ここでいう特定の対象物には含まれない。

〔動作例〕
次に、対象物距離算出部９の具体的な動作例について、図１０を参照して説明する。

まず、ステップＳ２０１では、本実施形態の画像処理装置は、上記第１実施形態の図４、図５で示した動作例と同様の処理を行い、低解像度の広角距離画像と高解像度の狭角距離画像を生成する。

続いて、ステップＳ２０２にて、対象物距離算出部９は、低解像度の広角距離画像の視差をグルーピングする。具体的には、対象物距離算出部９は、広角距離画像をその視差が近い値を持つ領域ごとに分類する。これにより、広角距離画像は、当該距離画像に写された対象の距離ごとに複数の領域に分割される。なお、同じ領域にグループングする視差の値（範囲）については、適宜設定される。その後、図示しないＣＰＵは、処理をステップＳ２０３に進める。

ステップＳ２０３では、外部の物体検知装置は、本実施形態の画像処理装置が搭載された車両などの周囲に存在する物体の検出結果のデータを例えば対象物距離算出部９に伝送する。そして、図示しないＣＰＵは、ステップＳ２０３にて、特定の対象物がないと判定された場合、すなわちステップＳ２０３でＮＯの場合には、処理を終了する。一方、ステップＳ２０３にて、特定の対象物があると判定された場合、すなわちステップＳ２０３でＹＥＳの場合には、図示しないＣＰＵは、処理をステップＳ２０４に進める。

ステップＳ２０４では、対象物距離算出部９は、検出された特定の対象物が狭角距離画像内にあるか否かについて判定を行う。ステップＳ２０４にて、検出された特定の対象物が狭角距離画像内にないと判定された場合、すなわちステップＳ２０４でＮＯの場合には、図示しないＣＰＵは、処理をステップＳ２０５に進める。

ステップＳ２０５では、対象物距離算出部９は、広角距離画像に写されている特定の対象物を検索し、ステップＳ２０２にてグルーピングした領域のうち特定の対象物を写している領域の視差情報に基づいて、当該対象物の距離を算出する。このとき、グルーピングした領域を構成する複数の画素の視差を平均したものを用いることで、より高精度で特定の対象物までの距離を算出することができる。ステップＳ２０５の処理後、図示しないＣＰＵは、処理を終了する。

一方、ステップＳ２０４にて、検出された特定の対象物が狭角距離画像内にあると判定された場合、すなわちステップＳ２０４でＹＥＳの場合には、図示しないＣＰＵは、処理をステップＳ２０６に進める。

ステップＳ２０６では、対象物距離算出部９は、ステップＳ２０２と同様に、ステップＳ２０１で生成した高解像度の狭角距離画像の視差をグルーピングする。これにより、狭角距離画像は、当該距離画像に写された対象の距離ごとに複数の領域に分割される。その後、図示しないＣＰＵは、処理をステップＳ２０７に進める。

ステップＳ２０７では、対象物距離算出部９は、狭角距離画像に写されている特定の対象物を検索し、ステップＳ２０６にてグルーピングした領域のうち特定の対象物を写している領域の視差情報に基づいて、当該対象物の距離を算出する。ステップＳ２０７の処理後、図示しないＣＰＵは、処理を終了する。

以上が、対象物距離算出部９の動作例である。つまり、対象物距離算出部９は、検知された特定の対象物との距離を算出するに際して、広角距離画像について視差が近い値を持つ領域ごとにグルーピングをすると共に、必要に応じて狭角距離画像についても同様の処理を実行する。言い換えると、対象物距離算出部９は、低解像度の広角距離画像から優先的にグルーピングし、高解像度の狭角距離画像でのグルーピングやこれに基づく距離算出を省略し得る。そのため、特定の対象物が検知された場合に、距離算出の処理における負荷を低減することができる画像処理装置となる。

本実施形態によれば、上記第１実施形態での効果に加えて、特定の対象物が検知された場合に当該対象物の距離算出の負荷が低減される画像処理装置となる。

（他の実施形態）
なお、上記した各実施形態に示した画像処理装置は、本発明の画像処理装置の一例を示したものであり、上記の各実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。

（１）例えば、上記第１実施形態では、カメラ１１、１２を構成するレンズおよび撮像素子の一例として、広角中心窩レンズと通常の撮像素子との組み合わせについて説明した。しかしながら、カメラ１１、１２は、解像度非一様画像を生成するための画像信号を出力する構成とされていればよく、レンズおよび撮像素子が他の組み合わせであってもよい。

具体的には、レンズが通常の広角レンズとされた場合、撮像素子は、一部の領域が高解像度、かつ当該一部の領域の周囲が低解像度となる特殊な構成の撮像素子とされればよい。また、レンズが通常の広角レンズとされた場合、撮像素子をその全域が高解像度となる構成（高画素撮像素子）とし、かつ撮像素子のうち中心窩に相当する領域と異なる領域からの画像信号を減らすダウンサンプリングを施してもよい。これらの組み合わせであっても、解像度非一様画像を生成することができ、一対のカメラ１１、１２により得られる一対の画像から解像度および画角の異なる複数の距離画像を生成できる画像処理装置となる。

なお、広角レンズと高画素撮像素子とにより得られた画像からダウンサンプリングする場合には、解像度非一様画像は、上記第１実施形態での例に限られず、中心部と異なる部分に近い領域ほど高解像度とされ、当該領域から離れるほど低解像度とされた画像であってもよい。

（２）上記各実施形態では、一対のカメラ１１、１２での撮影により得られた一対の画像から複数の距離画像を生成する例について説明したが、当該一対の画像は、単独（１つ）のカメラ１１での撮影により得られたものであってもよい。具体的には、１つのカメラ１１を移動させて、同一対象を異なる位置から撮影することで一対の画像を生成し、この一対の画像に基づいて複数の距離画像を生成してもよい。言い換えると、「一対のカメラ１１、１２」とは、物理的に２つのカメラで構成されたステレオカメラであってもよいし、物理的に１つのカメラによりなるモーションカメラであってもよい。

（３）上記各実施形態では、一対のカメラ１１、１２により同一タイミングでの撮影により得られた一対の画像に基づいて、複数の距離画像を生成する例について説明したが、これに限定されるものではない。

具体的には、一対のカメラ１１、１２で異なるタイミングで撮影することにより得られた一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成してもよい。例えば、車両などの移動体に当該画像処理装置が搭載されている場合、当該移動体が移動している際に、一対のカメラ１１、１２により異なるタイミングで同一対象を撮影し、撮影タイミングの異なる一対の画像に基づき、複数の距離画像を生成することもできる。つまり、上記各実施形態では、物体の映された角度が時々刻々と変化する場合には、一対のカメラ１１、１２での撮影タイミングが異なる一対の画像に基づいて、画角および解像度の異なる複数の距離画像を生成してもよい。

１ 撮像部
１１、１２ カメラ
２ 画像処理部
３、４ 画像生成部
５、６ 画角画像処理部
７ ステレオマッチング部
８ 距離画像生成部

Claims (6)

1. 同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、
   前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、
   前記一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、
   前記カメラで撮影された範囲内に特定の対象物が検知された場合に、前記カメラからの前記特定の対象物の距離を算出する対象物距離算出部（９）と、を備え、
   前記一対の画像は、第１領域と前記第１領域に隣接する第２領域とを有し、前記第１領域が前記第２領域よりも狭角かつ高解像度とされた解像度非一様画像であり、
   前記対象物距離算出部は、前記複数の距離画像のうち画角が広い前記距離画像から画角が狭い前記距離画像の順に前記特定の対象物を検索し、前記特定の対象物が写された前記距離画像を用いて、前記特定の対象物の距離を算出する、画像処理装置。
2. 車両（ＶＭ１）に搭載され、前記車両の周囲を撮影する車載用の画像処理装置であって、
   同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、
   前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像についてステレオマッチングを行うステレオマッチング部（７）と、
   前記一対の画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、
   前記カメラで撮影された範囲内に特定の対象物が検知された場合に、前記カメラからの前記特定の対象物の距離を算出する対象物距離算出部（９）と、を備え、
   前記一対の画像は、第１領域と前記第１領域に隣接する第２領域とを有し、前記第１領域が前記第２領域よりも狭い視野角かつ高解像度とされた解像度非一様画像であり、
   前記距離画像生成部は、前記一対の画像のうち前記第１領域のデータに基づいて前記車両の遠方かつ狭い視野角の領域を高解像度で写した狭角距離画像と、前記第２領域のデータに基づいて前記車両の近傍かつ広い視野角の領域を低解像度で写した広角距離画像と、を生成し、
   前記対象物距離算出部は、前記複数の距離画像のうち画角が広い前記距離画像から画角が狭い前記距離画像の順に前記特定の対象物を検索し、前記特定の対象物が写された前記距離画像を用いて、前記特定の対象物の距離を算出する、画像処理装置。
3. 同一対象に向けられた一対のカメラ（１１、１２）を有してなる撮像部（１）と、
   前記一対のカメラでの撮影により得られる前記同一対象を写した一対の画像のうち所定の画角の領域を切り出し、当該所定の画角の領域を写した画像である特定画角画像を生成する画角画像処理部（５、６）と、
   一対の前記特定画角画像についてステレオマッチングを行うステレオマッチング部（７）と、
   一対の前記特定画角画像に基づいて、解像度および画角が異なる複数の距離画像を生成する距離画像生成部（８）と、
   前記カメラで撮影された範囲内に特定の対象物が検知された場合に、前記カメラからの前記特定の対象物の距離を算出する対象物距離算出部（９）と、を備え、
   前記一対の画像は、第１領域と前記第１領域に隣接する第２領域とを有し、前記第１領域が前記第２領域よりも高解像度とされた解像度非一様画像であり、
   前記対象物距離算出部は、前記複数の距離画像のうち画角が広い前記距離画像から画角が狭い前記距離画像の順に前記特定の対象物を検索し、前記特定の対象物が写された前記距離画像を用いて、前記特定の対象物の距離を算出する、画像処理装置。
4. 前記画角画像処理部は、前記カメラで撮影された範囲内に所定の対象物が検知された場合、前記一対の画像のうち前記所定の対象物が撮影された領域を特定し、前記所定の対象物が含まれるように前記所定の画角を設定する、請求項３に記載の画像処理装置。
5. 前記カメラは、広角中心窩レンズと、均一な分布で配置された複数の画素を備える撮像素子とを有してなる、請求項１ないし４のいずれか１つに記載の画像処理装置。
6. 前記カメラは、画角９０度以上の視野領域を撮影すると共に、前記視野領域の一部の領域を前記一部の領域と異なる領域の１０倍以上の倍率で撮影する、請求項１ないし５のいずれか１つに記載の画像処理装置。

Images