JP7152506B2

JP7152506B2 - 撮像装置

Info

Publication number: JP7152506B2
Application number: JP2020556660A
Authority: JP
Inventors: 直也多田; 真穗堀永; 裕史大塚
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-11-06
Filing date: 2019-09-20
Publication date: 2022-10-12
Anticipated expiration: 2039-09-20
Also published as: JPWO2020095549A1; EP3879810A1; WO2020095549A1; EP3879810A4

Description

本発明は、撮像装置に関する。

車両に搭載された車載ステレオカメラは、それに対応したキャリブレーションパラメータによって画像処理を行い、視差画像を取得する。この視差画像を用い、前方車両までの距離を計測し、衝突被害軽減ブレーキ機能などの運転支援システムを実現している。しかし、経年的な劣化によりステレオカメラの光軸がずれると、正確な視差画像を生成できなくなる。これにより、前方車両までの距離を正しく計測できず、運転支援システムが正しく動作しない可能性がある。

このため、正確な視差画像を生成するために、光軸をキャリブレーションする様々な技術が提案されてきた。その一例として特許文献1、２がある。

特許文献１（特開２０１１-１８００２２号公報）のステレオカメラ診断装置は、特徴物として信号機を用い垂直方向の角度ずれを検出することを特徴としている。特許文献２（特開２０１６-１１８４５８号公報）の画像処理装置は、特徴点の位置の差から水平方向と垂直方向の光軸ずれを検出し、キャリブレーションパラメータを更新する。キャリブレーションパラメータは温度毎に用意しているため、経時劣化による光軸ずれ傾向が変化しても、それを踏まえて補正可能となる。

特開２０１１－１８００２２号公報

特開２０１６－１１８４５８号公報

前記特許文献１に開示されるような技術では、信号機を使って光軸ずれ量を検出しており、キャリブレーションを実施する環境に制限がある。

また、前記特許文献２に開示されるような技術では、特徴点という微小サイズのパターン情報を使って対応点を探索し光軸ずれをキャリブレーションしている。対応点探索に用いる注目領域が微小サイズであるため、対応点探索として間違えやすい手法となっている。

複数画像間において、パターン情報の対応点を求める探索手法にパターンマッチングがある。パターン情報を含む注目領域のサイズが小さいと、特徴の少ないパターンマッチングとなり、対応点の探索が難しくなる。一方で注目領域のサイズを大きくすると、パターン情報が多くなり、対応点の探索はしやすくなる。

しかし、注目領域内に距離の異なる複数の被写体が撮像された場合、オクリュージョンの問題が発生し、パターンマッチングの精度が落ちてしまう。オクリュージョンが発生していると、複数の画像間において、パターン情報が異なるためである。

ここで、対応点探索の結果を用いて光軸ずれをキャリブレーションする際、キャリブレーション精度を高めるために、パターンマッチングの精度を高める必要がある。

本発明の目的は、縦方向の光軸ずれを高精度に補正することができる撮像装置を提供することにある。

上記目的を達成するために、本発明の一例は、第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、前記第１画像と前記第２画像から視差画像を生成する視差画像生成部と、前記視差画像から視差値が一定とみなせる領域である注目領域を検出する注目領域検出部と、前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、前記光軸ずれ量に基づいて光軸ずれを補正する光軸ずれ補正部と、を備える撮像装置であって、前記注目領域検出部は、前記視差画像の縦方向の座標毎又は前記視差画像を縦方向に等分割した区分毎に、前記視差値が関連付けられた座標の数を示す視差度数の分布を作成し、前記視差度数が第１閾値以上である縦方向の座標又は前記区分において前記注目領域を検出する。

本発明によれば、縦方向の光軸ずれを高精度に補正することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

撮像装置の全体構成を示すブロック図である。注目領域検出の処理フローを示す図である。縦座標毎の視差度数の分布図である。横座標毎の視差値の分布図である。パターンマッチングの学習パターン例を示す図である。垂直方向位置ずれによる並進ずれ検出の説明図である。垂直方向位置ずれによる回転ずれ検出の説明図である。

図１は、本発明の実施形態による撮像装置１の全体構成を示すブロック図である。撮像装置１は、一対の撮像部１１、１２、視差画像生成部１３、注目領域検出部１４、光軸ずれ検出部１５、光軸ずれ補正部１６から構成される。

水平方向に所定の距離を設けて設置された撮像部１１、１２から得られる画像は、エピポーラ線が画像上で同一の高さで水平軸に平行になっており、対応点探索は水平方向に探索するだけでよい。

なお、撮像部１１、１２は、撮像素子等から構成される。視差画像生成部１３は、GPU（Graphics Processing Unit）、FPGA（Field-Programmable Gate Array）等の画像処理回路から構成される。注目領域検出部１４、光軸ずれ検出部１５、光軸ずれ補正部１６は、例えば、CPU（Central Processing Unit）の機能として実装される。

視差画像生成部１３は撮像部１１（第１撮像部）で撮像された画像を基準画像（第１画像）とし、濃淡変化がある特徴点を抽出する。この特徴点に対し、もう一方の撮像部１２（第２撮像部）で撮像された参照画像（第２画像）において、同一被写体の映り込んだ位置を探索する。この対応点探索にはSAD(Sum of Absolute Difference)などの周知技術を利用できる。視差画像生成部１３は、抽出した特徴点毎に参照画像上の該当位置との差分を視差として算出する。視差画像生成部１３は、基準画像（第１画像）と参照画像（第２画像）から視差画像を生成する。

注目領域検出部１４は、光軸ずれ検出部１５で使用する注目領域を検出する。視差画像生成部で得られた視差を用い、後述する視差分布から注目領域検出部１４は注目領域を決定する。また、予め先行車や道路標識を学習させておき、それをテンプレートとし、画像上を探索するテンプレートマッチングにより注目領域検出部１４は注目領域を決定する。

換言すれば、注目領域検出部１４は、テンプレートとして先行車及び道路標識を予め学習し、テンプレートマッチングにより注目領域を検出する。これにより、パターンマッチングの精度を高めることができる。その結果、縦方向の光軸ずれを高精度に補正することができる。

注目領域のサイズは一対の画像間で対応点探索がしやすいように大きくする。また、対応点探索の精度を高めるために、注目領域内には等距離に存在する1つの特徴物が含まれるようにする。

光軸ずれ検出部１５は、注目領域検出部１４で検出した1つ以上の注目領域を用い、一対の画像の縦方向の光軸の並進ずれ量（オフセット）を検知する。また、光軸ずれ検出部１５は、２つ以上の注目領域を用い、一対の画像の縦方向の光軸の回転ずれ量（ローテーション）を検知する。

光軸ずれ補正部１６は、次の撮像周期において撮像部１１、１２で撮像された画像から視差画像を生成する際に用いるキャリブレーションパラメータを更新する。これにより、光軸ずれを校正した視差画像を取得可能とする。

図２のフローチャートに基づいて、注目領域の検出方法について説明する。

ステップＳ１において、撮像部１１、１２は、撮像を行う。

ステップＳ２において、視差画像生成部１３は視差画像を生成する。視差値はテンプレートマッチングにより算出される。マッチング方向は横方向の探索であるため、撮像部１１、１２の上下方向（縦方向）の光軸がずれていると、マッチング評価値が低くなる。

次に、注目領域検出部１４が実行するステップＳ３～Ｓ８までの処理を説明する。

ステップＳ３において、視差画像における縦方向の座標毎の視差度数分布を作成する（図３）。ここで視差の大小には拘らず、視差の有無だけで分布を作成する。その際、視差として信頼度の高いものだけを使用するために、撮像部１１で撮像した画像上において、濃淡変化の大きな座標に該当する視差だけを有効とし、濃淡変化の小さい、つまりエッジ強度の弱い座標の視差は、視差分布に投票しない。これにより信頼度の高い特徴点だけを用いて視差の度数分布を作成可能となる。

換言すれば、濃淡変化の大きな座標は、視差値が関連付けられており、濃淡変化の小さな座標は、視差値が関連付けられていない。ここで、視差値に関連付けられた座標のエッジ強度は、閾値Ｔｈ３（第３閾値）以上である。これにより、路面や壁のような濃淡変化の少ない領域が注目領域から除外され、濃淡変化の多い領域が注目領域として検出される。注目領域検出部１４は、視差画像の縦方向の座標毎又は前記視差画像を縦方向に等分割した区分毎に、視差値が関連付けられた座標の数を示す視差度数の分布を作成する。

ステップＳ４、Ｓ５において、視差度数が閾値より高い縦座標を複数個所選択する。すなわち、注目領域検出部１４は、図３に示す視差度数が閾値Ｔｈ１（第１閾値）以上である縦方向の座標又は縦方向に等分割した区分において注目領域を検出する。これにより、視差値が一定とみなせる領域である注目領域を検出する範囲が視差値を多数含む縦方向の座標又は区分に限定され、注目領域を効率的に検出することができる。

撮像部１１で得られた画像上に濃淡変化のあるテクスチャが存在する場合、ステップＳ２のテンプレートマッチングにより視差として算出され、ステップＳ３の度数分布に投票される。一方で、路面や壁のような濃淡変化の少ない領域には、ステップＳ３の度数分布に投票されない。つまり、視差度数の高い座標には、濃淡変化の大きな領域を含むことになる。

ここで、視差度数を作成する際、縦軸を座標毎ではなく、等分割した区分毎にすることにより、縦座標に幅を持たせて判断することが可能となる。例えば、前方を走行する車両などは、縦座標に対し幅を持っているので、等分割した区分毎に視差度数分布を作成することにより、車両などのテクスチャの存在する領域を検出しやすくなる。

ステップＳ６において、ステップＳ５で検出した縦座標における横方向の座標毎の視差値の分布を作成する（図４）。すなわち、注目領域検出部１４は、視差度数が閾値Ｔｈ１（第１閾値）以上である縦方向の座標又は区分において視差画像の横方向の座標毎に視差値の分布を作成する。ここで、撮像部１１で撮像した画像上において、濃淡変化の小さい座標は視差値を“ゼロ”とする。また、ステップＳ５において、複数の縦座標を検出した場合、各々の縦座標毎にステップＳ６を繰り返し実施する。

ステップＳ７において、ステップＳ６で作成した視差値の分布図を用い、視差値が一定（正の一定値）となる領域を検出する。これにより、同一距離に存在する物体を1つの領域として検出可能となる。視差値の幅（図４の矩形の縦方向の長さ）が閾値以内のものを同一距離に存在する物体とし、遠方領域と近傍領域で同じ閾値を用いる。遠方領域では同一距離でない複数距離に存在する物体を1つの注目領域として検知してしまうが、遠方領域では、前記オクリュージョンの問題は発生しないので、注目領域を大きくとることを優先とする。

ここで、注目領域検出部１４は、視差画像から視差値が一定とみなせる領域である注目領域を検出する。注目領域は視差値が一定とみなせる領域であることにより、注目領域には略等距離の被写体（先行車の背面、道路標識等）が写る。そのため、オクルージョンが発生せず、パターンマッチングの精度を高めることができる。

換言すれば、注目領域検出部１４は、視差値の分布において視差値が一定とみなせる領域を注目領域として検出する。これにより、視差値を多数含む縦方向の座標又は区分における視差値の分布を用いて注目領域を検出することができる。

また、視差値の幅が閾値以下の視差群を検出したとき、画像上の横幅が閾値以上存在するか確認する。これは、光軸ずれ検出には領域の大きな注目領域を設けたいためである。

すなわち、注目領域検出部１４は、図４に示す視差値が一定とみなせる領域の横方向の幅Ｗｘが閾値Ｔｈ２（第２閾値）以上である場合に、その領域を注目領域として検出する。これにより、横方向の幅が広い注目領域が検出される。その結果、注目領域のパターン情報が多くなり、対応点の探索が容易となる。

ステップＳ８において、光軸ずれ検出に用いる注目領域の位置を検出する。ここで、注目領域を複数個検出できた場合、画像上の面積が大きく映る領域を優先的に採用し、後段の光軸ずれ検出部１５に用いる。すなわち、光軸ずれ検出部１５は、複数の注目領域が検出された場合、視差画像上の面積が大きい注目領域を優先的に用いて縦方向の光軸ずれ量を検出する。これにより、注目領域のパターン情報が多くなり、対応点の探索が容易となる。

図５に、テンプレートマッチングを用いて注目領域を検出する手法について説明するための図を示す。撮像画像上において、先行車や道路標識の候補となる物体を検知した後、その物体までの距離から画像サイズを正規化し、予め学習パターンとして用意しておいたパターンとマッチングさせる。注目領域内のパターン情報は同一距離の物体だけで構成したいため、予め用意しておく先行車の学習パターンには、先行車の背面だけを用意しておく。ここで、テンプレートマッチングにより注目領域を複数個検出できた場合、画像上の面積が大きく映る領域を優先的に採用し、後段の光軸ずれ検出部１５に用いる。

図６に光軸の並進ずれ量の検出処理概要について説明するための図を示す。

まず、前記注目領域がもう一方の画像（参照画像）上に撮像される位置を探索する。次に、一対の画像間において、注目領域の垂直方向のずれ量を検出する。すなわち、光軸ずれ検出部１５は、注目領域のパターン情報を用いて基準画像（第１画像）と参照画像（第２画像）の間の縦方向の光軸ずれ量を検出する。注目領域が複数存在する場合、各注目領域で計算したずれ量の平均を計算する。

換言すれば、注目領域検出部１４は、注目領域を少なくとも１つ検出し、光軸ずれ検出部１５は、少なくとも１つの注目領域のパターン情報を用いて基準画像（第１画像）と参照画像（第２画像）の間の縦方向の光軸の並進ずれ量を検出する。光軸ずれ補正部１６は、縦方向の光軸の並進ずれ量（光軸ずれ量）に基づいて光軸ずれを補正する。これにより、縦方向の光軸の並進ずれを補正することができる。

図７に光軸の回転ずれ量の検出処理概要について説明するための図を示す。

基準画像において注目領域が少なくとも2つ以上検出され、2つ以上の検出位置が水平方向に幅（距離）を有しているかを確認する。詳細には、複数の注目領域間の水平方向の幅が閾値以上であれば、次に、もう一方の画像上に撮像される位置を探索する。その後、一対の画像間において、注目領域の垂直方向のずれ量を検出する。画像上の横方向の座標毎に複数の検出されたずれ量をプロットし、最小二乗法などの近似計算により、回転ずれ量を計算する。具体的には、近似計算により得られた直線Ｌ（図７）の傾きが回転ずれ量となる。

すなわち、注目領域検出部１４は、２つ以上の注目領域を検出する。光軸ずれ検出部１５は、２つ以上の注目領域のパターン情報を用いて基準画像（第１画像）と参照画像（第２画像）の間の縦方向の光軸の回転ずれ量を検出する。これにより、縦方向の光軸の回転ずれを補正することができる。

詳細には、光軸ずれ検出部１５は、注目領域の横方向の座標及び注目領域の縦方向の光軸ずれ量の組み合わせで表される点群から近似直線を決定し、近似直線の傾きを光軸の回転ずれ量とする。これにより、縦方向の光軸の回転ずれ量を容易に計算することができる。

以上説明したように、本実施形態によれば、縦方向の光軸ずれを高精度に補正することができる。詳細には、注目領域は視差値が一定とみなせる領域であることにより、注目領域には略等距離の被写体（先行車の背面、道路標識等）が写る。そのため、オクルージョンが発生せず、パターンマッチングの精度を高めることができる。その結果、縦方向の光軸ずれ（並進ずれ、回転ずれ）を高精度に補正することができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施形態は、以下の態様であってもよい。

（１）．水平方向に所定距離だけ離して設置してある第１撮像部と第２撮像部を有する撮像装置であって、前記第１撮像部で撮像された第１画像と前記第２撮像部で撮像された第２画像から視差画像を生成する視差画像生成部と、前記視差画像を用いて注目領域を検出する注目領域検出部と、前記注目領域のパターン情報を用いて前記撮像部の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、前記光軸ずれを補正する光軸ずれ補正部と、を備え、前記注目領域検出部は、似通った視差の領域を検出することを特徴とする撮像装置。

（２）．前記似通った視差領域の検出には、前記視差画像を縦方向の座標毎または等分割した区分毎に視差度数の分布を作成し、視差度数の高い前記縦方向の座標を前記注目領域の縦方向の座標として検出することを特徴とする、（１）に記載の撮像装置。

（３）．前記検出した縦方向の座標を基に、前記視差画像を横方向の座標毎に視差値の分布を作成し、同じ値の視差群が存在する領域を検出することを特徴とする、（１）に記載の撮像装置。

（４）．前記同じ値の視差群は、閾値以上の横方向の画像幅を持つことを特徴とする、
（３）に記載の撮像装置。

（５）．前記視差分布に用いる視差は、エッジ強度が閾値以上のものを用いることを特徴とする、（２）または（３）に記載の撮像装置。

（６）．前記似通った視差領域の検出には、テンプレートとして先行車や道路標識を予め学習させ、テンプレートマッチングにより前記注目領域を検出することを特徴とする、（１）に記載の撮像装置
（７）．前記注目領域の検出には、前記第１画像上において面積が大きく映る領域を優先的に検出することを特徴とする、（１）乃至（６）のいずれかに記載の撮像装置。

（８）．前記光軸ずれ検出部は、前記注目領域を1つ以上検出し、前記第１画像と前記第２画像の縦方向の光軸の並進ずれ量を検知することを特徴とする、（１）乃至（７）のいずれかに記載の撮像装置。

（９）．前記光軸ずれ検出部は、前記注目領域を２つ以上検出し、前記第１画像と前記第２画像の縦方向の光軸の回転ずれ量を検知することを特徴とする、（１）乃至（７）のいずれかに記載の撮像装置。

（１）～（９）によれば、平面領域を有する任意の特徴物に対し、ステレオカメラ（撮像装置）の上下方向の光軸ずれを高精度にキャリブレーションできる。

１撮像装置
１１撮像部（第１撮像部）
１２撮像部（第２撮像部）
１３視差画像生成部
１４注目領域検出部
１５光軸ずれ検出部
１６光軸ずれ補正部

Claims

第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、前記第１画像と前記第２画像から視差画像を生成する視差画像生成部と、前記視差画像から視差値が一定とみなせる領域である注目領域を検出する注目領域検出部と、前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、前記光軸ずれ量に基づいて光軸ずれを補正する光軸ずれ補正部と、を備える撮像装置であって、
前記注目領域検出部は、
前記視差画像の縦方向の座標毎又は前記視差画像を縦方向に等分割した区分毎に、前記視差値が関連付けられた座標の数を示す視差度数の分布を作成し、
前記視差度数が第１閾値以上である縦方向の座標又は前記区分において前記注目領域を検出することを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記注目領域検出部は、
前記視差度数が第１閾値以上である縦方向の座標又は前記区分において前記視差画像の横方向の座標毎に前記視差値の分布を作成し、
前記視差値の分布において前記視差値が一定とみなせる領域を前記注目領域として検出することを特徴とする撮像装置。
請求項２に記載の撮像装置であって、
前記注目領域検出部は、
前記視差値が一定とみなせる領域の横方向の幅が第２閾値以上である場合に、その領域を前記注目領域として検出することを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記視差値に関連付けられた座標のエッジ強度は、
第３閾値以上であることを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記注目領域検出部は、
テンプレートとして先行車及び道路標識を予め学習し、
前記テンプレートを探索するテンプレートマッチングにより前記注目領域を検出することを特徴とする撮像装置。
第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、前記第１画像と前記第２画像から視差画像を生成する視差画像生成部と、前記視差画像から視差値が一定とみなせる領域である注目領域を検出する注目領域検出部と、前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、前記光軸ずれ量に基づいて光軸ずれを補正する光軸ずれ補正部と、を備える撮像装置であって、
前記光軸ずれ検出部は、
複数の前記注目領域が検出された場合、視差画像上の面積が大きい前記注目領域を優先的に用いて縦方向の光軸ずれ量を検出することを特徴とする撮像装置。
請求項１に記載の撮像装置であって、
前記注目領域検出部は、
前記注目領域を少なくとも１つ検出し、
前記光軸ずれ検出部は、
少なくとも１つの前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸の並進ずれ量を検出することを特徴とする撮像装置。
第１画像を撮像する第１撮像部と、第２画像を撮像する第２撮像部と、前記第１画像と前記第２画像から視差画像を生成する視差画像生成部と、前記視差画像から視差値が一定とみなせる領域である注目領域を検出する注目領域検出部と、前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸ずれ量を検出する光軸ずれ検出部と、前記光軸ずれ量に基づいて光軸ずれを補正する光軸ずれ補正部と、を備え、前記注目領域検出部は、２つ以上の前記注目領域を検出し、前記光軸ずれ検出部は、２つ以上の前記注目領域のパターン情報を用いて前記第１画像と前記第２画像の間の縦方向の光軸の回転ずれ量を検出する撮像装置であって、
前記光軸ずれ検出部は、
前記注目領域の横方向の座標及び前記注目領域の縦方向の前記光軸ずれ量の組み合わせで表される点群から近似直線を決定し、前記近似直線の傾きを光軸の回転ずれ量とすることを特徴とする撮像装置。