JP6241083B2

JP6241083B2 - 撮像装置及び視差検出方法

Info

Publication number: JP6241083B2
Application number: JP2013122173A
Authority: JP
Inventors: 潤岸和田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-06-10
Filing date: 2013-06-10
Publication date: 2017-12-06
Anticipated expiration: 2033-06-10
Also published as: JP2014238558A

Description

本発明は、同一の測定対象を異なる視点から撮像するステレオ方式の撮像装置、該撮像装置における視差検出方法に関する。

近年、生産ラインにおいてロボットアームによる部品等の正確な操作を可能とするため、山積みにされた部品等を個々に認識し、各部品の位置及び姿勢を認識する３次元物体認識装置が開発されている。
物体を３次元計測する技術の一つとして、２つのカメラで同一の測定対象を異なる視点から撮像するステレオ法が知られている。
一方のカメラの画像中の画素ブロックと相関を有する画素ブロックを他方のカメラの画像において特定し、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出するものである。
上記ステレオ法に用いられる一対のカメラからなる撮像装置は、ステレオカメラとも呼ばれている。

ステレオカメラでは、測定対象までの距離情報は、２つのカメラの視差から求めることができる。
各カメラで撮像された画像のうち一方を基準画像、他方を比較画像とし、比較画像において無限遠対応点を基準点としてスキャン動作（対応点探索）を行い、比較画像の対応点を探索して視差を検出している。
視差が大きければその分スキャンする範囲は長くなり、演算処理内容は大きくなる。

特許文献１には、ステレオカメラの左右対称性を損なうことなく、必要十分な距離情報の生成範囲を確保する目的で、光学レンズの結像範囲の中心に対して撮像素子の受光領域の中心をオフセットする構成が記載されている。
具体的には、ステレオ基線上のメインカメラからサブカメラに向かう方向に所定の量オフセットする構成で、サブカメラのカメラ光軸を右に傾けて右側視界を広げるのと実質的に同等の効果をオフセットによって得るものである。
特許文献１の図４、５には、サブカメラにおいて、光学レンズの結像範囲の中心に対して撮像素子の受光領域の中心をオフセットする構成が記載されている。
同文献の図６には、部品の共通化を図る目的で、メインカメラとサブカメラの双方において上記オフセットをする構成が記載されている。
特許文献１の構成によれば、特に近距離の測定において、視野（測定可能領域）の拡大を図ることができる。

特許文献１における対応点探索では、基準画像上の相関元となる小領域に対し、対応する一致検索範囲が比較画像上に設定される。
一致検索範囲において、相関先の候補となる小領域を１画素ずつ順次シフトさせながらそれぞれの相関先候補について相関元との相関性を評価している。
一致検索範囲は、特許文献１の図３に示すように、基本的には無限遠対応点を基準にして横長に設定している。
すなわち、無限遠対応点を基準点として小領域を横方向にシフトさせながらスキャンするものである。

上記のように、特許文献１に記載の方式では視野の拡大を図ることができるものの、無限遠対応点を基準点とした対応点探索であるため、演算処理内容が大きくなることを避けられなかった。
このため、動作速度が遅いという問題があった。

本発明は、このような現状に鑑みて創案されたもので、十分な視野を確保しつつ、演算処理内容を低減できて高速処理動作が可能な撮像装置の提供を、その主な目的とする。

上記目的を達成するために、本発明は、光学レンズと撮像素子とを有するカメラが所定の間隔をおいて一対備えられ、各カメラの撮像領域が重なる領域が視野であり、前記各カメラのうち、撮像領域に投影された対応点と当該対応点の周縁とを前記所定の間隔方向にずらしながら、比較画像の対応点探索を行うことで各カメラ間の視差を検出し、前記視差から三角測量の原理を用いて画像処理手段により距離データを算出するステレオ方式の撮像装置であって、前記光学レンズの光軸に対して、前記撮像素子の中心を前記所定の間隔方向にオフセットさせ、前記各カメラで撮像された画像のうち一方のカメラの画像で確認された対応点を基準として、他方のカメラの比較画像において、当該比較画像に投影された前記対応点を前記オフセットさせた点を前記対応点探索開始の基準点とすることを特徴とする。

本発明によれば、十分な視野を確保できるとともに、演算処理に伴うコストアップを来たすことなく高速処理動作が可能となる。

本発明の一実施形態に係る撮像装置の構成を示す概要平面図である。各カメラの構成を示す概要平面図である。撮像中心をオフセットさせた場合とそうでない場合の視野の広さの違いを示す図である。従来におけるステレオカメラ構成と、対応点探索の処理内容を示す図である。本実施形態における撮像装置の構成と、対応点探索の処理内容を示す図である。左カメラのみオフセットさせた場合の対応点探索の処理内容を示す図である。右カメラのみオフセットさせた場合の対応点探索の処理内容を示す図である。ステレオカメラの測距原理について説明する図である。撮像装置の制御ブロック図である。

以下、本発明の一実施形態を図を参照して説明する。
図１は、本実施形態に係る撮像装置の構成を示す概要平面図である。ステレオ方式の撮像装置２は、一対のカメラとしての左カメラ４と、右カメラ６とを有している。
左カメラ４と右カメラ６は、所定の間隔としての基線長Ｂ（１６０ｍｍ）をおいて配置されている。
図２に示すように、各カメラは、光学レンズ８ａ、８ｂと、撮像素子（以下、単に「センサ」ともいう）１０ａ、１０ｂとを備えており、ステー部材１２に基線長を保持した状態で一体に固定されている。
光学レンズ８は焦点距離ｆ：３．６ｍｍのレンズである。
撮像素子１０は、センササイズＨ（水平）：４．８ｍｍ、画素ピッチ：０．００３７５ｍｍのセンサで構成されている。

図１に示すように、左右のカメラ４、６は、撮像素子の中心としての撮像中心を、光学レンズの光軸としての光学中心に対して、基線方向（所定の間隔方向）で互いに反対向きに同じ量オフセットさせている。
すなわち、左カメラ４は−ｘ方向（左）、右カメラ６は＋ｘ方向（右）に、それぞれオフセット量Ｓ：５０ｐｉｘでオフセットさせている。
オフセット量Ｓは、オフセット後の撮像素子１０が光学レンズ８の結像範囲内となる量である。
視差検出時の対応点探索は、オフセット点を基準とし、探索幅は６４ｐｉｘに設定する。
以上のステレオカメラ構成により、６ｂｉｔのｂｉｔ幅でおよそ距離Ｌ：１ｍ〜１．５ｍまで測定が可能であり、また１ｍのとき視野Ｘは１２００ｍｍ程度で、１．５ｍのときは１９００ｍｍ程度まで持つことができる。

本実施形態に係る撮像装置２の構成及び対応点探索の処理内容を、従来構成と対比しながら説明する。
一般的なステレオカメラは、図３（ａ）に示すように、光学中心と、撮像中心とが一致するように構成されている。
その場合、左右カメラの画像領域が重なる領域がステレオカメラとしての視野、つまり測定可能範囲となる。
例えば、光学レンズの水平画角ω：１０ｄｅｇ、基線長Ｂ：１００ｍｍのステレオカメラを用いて距離１ｍを測定対象とした場合、測定可能範囲はカメラ中心から±２５２．６ｍｍになる。

これに対して、本発明では撮像中心を光学中心に対して基線方向（左右方向）に左カメラは左方向に−ｘ、右カメラは右方向に＋ｘそれぞれ同量オフセットさせている。
左右カメラの撮像中心をオフセットさせることで、左右カメラの画像領域は、図３（ｂ）に示すように、カメラ中央に寄る形となる。
結果として、ステレオカメラとしての撮像装置２の視野はより近距離で得ることができ、また測定距離が同距離においても従来と比べて広い測定可能範囲を得ることができる。

例えば、前述したステレオカメラ（レンズ水平画角ω：１０ｄｅｇ、基線長Ｂ：１００ｍ）に対して、左右カメラの撮像中心をそれぞれ０．３ｍｍ（センサ水平長：２．４ｍｍ）オフセットした場合は以下の通りとなる。
すなわち、測定距離１ｍでの測定可能範囲はカメラ中心から±２９６．７ｍｍになり、画像全域で８０ｍｍ以上測定可能範囲を広げることができる。
ステレオカメラでは対象までの距離情報は、２つのカメラの視差から求めることができる。

視差を検出するためには、左右の画像中の各ピクセルの対応を正しく調べる必要がある。
これは対応点探索と呼ばれている。図４、５に対応点探索の概要図を示す。
ある距離に物体Ａがあった場合、左右のカメラのセンサ（撮像素子）上に対応点Ｌ、Ｒそれぞれが投影される。
今、右カメラを基準と考えた場合、右カメラの画像に投影された対応点Ｒの周囲に小さな計算領域（ウィンドウ）を仮定する。
左画像（比較画像）内に同じ大きさのウィンドウをとり、ウィンドウをずらしながら、すなわちスキャンしながら基準画像と比較することで対応点を検出する。

この時の比較方法には様々なものがあるが、例えば最も基本的な手法ではＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）が挙げられる。
その場合、各ピクセルの差の２乗和を計算し、探索範囲内で最小だったときの点を対応点として検出する。
以上のように対応点探索では比較画像においてウィンドウを順々にスキャンすることで対応点を探索する。

つまり、視差が大きければその分スキャンする範囲は長くなり、演算処理内容は大きくなる。
一般的なステレオカメラでは、図４に示すように、光学中心と撮像中心とが一致しており、無限遠対応点が基準点となる。
基準画像で確認された対応点Ｒを基準としてウィンドウをとり（図４（ｅ））、比較画像の探索開始位置を無限遠対応点とし、そこから必要探索幅をスキャンする（図４（ｄ））。カメラ間の視差はＤの長さとなる。

一方、本発明では前記したように、撮像中心をオフセットしている。図５に示すように、撮像中心をオフセットしていることを利用してオフセット点を基準点として設定する。
つまり、無限遠対応点を基準とせず、オフセット点を基準点とし、そこから必要探索幅をスキャンする。
換言すれば、基準画像で確認された対応点をそのまま比較画像における対応点開始位置として決定している（図５（ｄ）)。視差はＤ１＜Ｄとなる。
例えば、前述したステレオカメラ（レンズ水平画角ω：１０ｄｅｇ、基線長Ｂ：１００ｍ）においては、光学中心と撮像中心が一致している一般的なステレオカメラで１．５ｍの距離を測定した場合、視差は２４２ｐｉｘ（センサピッチ：３．７５μｍ）である。

それに対してセンサを０．３ｍｍオフセットさせた場合、基準点は８０ｐｉｘオフセットされ、かつ比較画像の対応点も８０ｐｉｘオフセットされるため、結果として視差は８２ｐｉｘになる。
視差値をｂｉｔ幅で出力する際に、２４２ｐｉｘのときには８ｂｉｔのｂｉｔ幅が必要になるが、８２ｐｉｘの場合は７ｂｉｔのｂｉｔ幅で出力可能になる。

これを回路に実装する場合には、出力する視差データのｂｉｔ幅に直結する。
つまり、視差を小さくすることで回路規模を小さくすることが可能になる。
オフセット点をそのまま対応点探索開始位置に設定することで、特別な視差演算回路は必要なく、汎用品を用いることができる。
また、視差値自体が小さくなることで必要探索幅が半分以下になるため、演算処理時間が大幅に短くなる。

以上のように、本発明では撮像中心を光学中心に対してオフセットすることで十分な視野（測定可能領域）を確保することができるとともに、演算処理時間を大幅に短くできる。
本実施形態では、上記のように、カメラ４、６の双方において撮像中心を反対方向に同量オフセットしている。
この条件は、視野を最も広くとることができ、且つ、視差を最も短くできるパターンである。
本発明はこのパターンに限定されず、一対のカメラ４、６のうちいずれか一方において撮像中心をオフセットしても従来構成と比較して演算処理時間を短くできる。

図６は、カメラ４のみで撮像中心をオフセットして例である。なお、ウィンドウは省略している。一対のカメラの双方でオフセットした上記例に比べて視差Ｄ２は長いが、従来構成における視差Ｄと比べると短い（Ｄ２＜Ｄ）。
図７はカメラ６のみで撮像中心をオフセットして例である。この場合も同様の視差長さを得ることができる。
図６、７においては図４、５の（ｅ）に対応する図は省略している。

ステレオカメラの測距原理（三角測量の原理）について簡単に説明する。
図８に示すように、右カメラ６の光学レンズ８ｂを通して得られた被写体像ａ１と、左カメラ４の光学レンズ８ａを通して得られた被写体像ａ２は、物体Ａ上の同一点が視差Ｄだけずれて撮像素子１０の撮像領域の表面にそれぞれ結像し、複数の受光素子（画素）で受光されて電気信号に変換される。
視差をＤ、測距用レンズとしての光学レンズ８ａ、８ｂの光軸間の距離（基線長）をＢ、光学レンズ８と物体Ａとの間の距離をＬ、光学レンズ８の焦点距離をｆａとし、Ｌ≫ｆａであるときは、下記の式（１）が成り立つ。
Ｌ＝Ｂ・ｆａ／Ｄ式（１）
Ｂとｆａは既知なので、前記視差Ｄを算出することで距離（距離データ）Ｌを算出することができる。

図９は、撮像装置２のハードウェアブロック図である。
左カメラ４と右カメラ６は、基線方向と水平方向が異なって設置されている。
撮像装置２は、画像処理手段１４を有している。画像処理手段１４は、左カメラ４に対応した画像補正部１６と、右カメラ６に対応した画像補正部１８と、補正パラメータ記憶部２０と、視差計算部２２とを有している。
画像補正部１６と、画像補正部１６は、補正パラメータに応じて画像補正を行う部分である。

補正パラメータ記憶部２０は、画像補正部１６、１８で利用する補正パラメータを記録するもので、不揮発性メモリから構成されている。
視差計算部２２は、２枚の画像から視差を計算し、視差画像を出力する。視差計算部２２は、対応点探索を実行する主体でもある。

以上の構成により、左カメラ４と右カメラ６で撮影された画像は、補正パラメータ記憶部２０に記憶されたパラメータに従い、画像補正部１６、１８でそれぞれ幾何的に補正される。
歪み補正に際してＲＡＭを使用しない構成となっている。すなわち、本実施形態における歪み補正処理は、参照テーブルによる歪み補正処理の代わりに、歪み補正式を用いた方式を使用している。

歪みの発生は、不規則であり、多くのパターンがあるが、最も一般的に現れる歪みは、光学レンズの対称性に起因する放射状に対称の歪みである。
放射歪みは、通常、主に２類型（糸巻型歪曲、たる型歪曲）に分類可能である。
これらの歪みパターンは、歪みモデルに基づく幾何学変換により補正が可能である。
例えば、２次元光学系のための歪み補正モデル関数（歪み補正式）は、例えば、下式（２）に示すような多項式関数によって表現される。

但し、式（２）において、（ｘ，ｙ）は、処理される画像信号の座標であり、Ｄ_ｘ（ｘ，ｙ）は、ｘ、ｙそれぞれの座標系の多項幾何学（座標）変換式である。
ｃ_ｐｑ、ｄ_ｐｑ、は、多項式関数の係数であり、Ｎ_ｘ、Ｎ_ｙは、多項式の次数であり、ｐ及びｑは多項式関数の項である。

多項式の係数は予め、行われる公知のキャリブレーション操作によって求められており、個々の撮像装置の歪み補正式は、その多項式関数における係数が異なっている。
なお、多項式関数は、例えば以下のような前方差分演算子を用いて計算できる。
但し、この前方差分演算子において、ｆ^ｎは、ｎ^ｔｈ点における関数ｆの値であり、Δｆ^ｎは、ｎ^ｔｈ点における、関数の一次前方差分であり、Δ^ｋｆ_ｎは、ｎ^ｔｈ点における関数のｋ次前方差分である。

擬似的に基線方向と水平方向とが一致した２つのカメラで撮影した画像に補正することで、水平方向の視差を計算すればよく、正確な視差画像を出力することができる。

上記実施形態では、光学中心に対して撮像中心を物理的にオフセットする構成としたが、画像処理手段１４のソフトウェア上で仮想的にオフセットするようにしても上記と同様の効果を得ることができる。

４カメラとしての左カメラ
６カメラとしての右カメラ
８ａ、８ｂ光学レンズ
１０ａ、１０ｂ撮像素子
１４画像処理手段

特開２００８−４０１１５号公報

Claims

光学レンズと撮像素子とを有するカメラが所定の間隔をおいて一対備えられ、各カメラの撮像領域が重なる領域が視野であり、
前記各カメラのうち、撮像領域に投影された対応点と当該対応点の周縁とを前記所定の間隔方向にずらしながら、比較画像の対応点探索を行うことで各カメラ間の視差を検出し、
前記視差から三角測量の原理を用いて画像処理手段により距離データを算出するステレオ方式の撮像装置であって、
前記光学レンズの光軸に対して、前記撮像素子の中心を前記所定の間隔方向にオフセットさせ、
前記各カメラで撮像された画像のうち一方のカメラの画像で確認された対応点を基準として、他方のカメラの比較画像において、当該比較画像に投影された前記対応点を前記オフセットさせた点を前記対応点探索開始の基準点とすることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮像素子の中心のオフセットが、前記画像処理手段のソフトウェア上で仮想的になされることを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、
前記オフセットは前記視野がより近距離で得られるように前記所定の間隔方向で互いに反対向きに同じ量オフセットさせることを特徴とする撮像装置。
請求項１〜３のいずれか１つに記載の撮像装置において、
前記オフセットの量は、オフセット後の前記撮像素子が前記光学レンズの結像範囲内となる量であることを特徴とする撮像装置。
光学レンズと撮像素子とを有するカメラが所定の間隔をおいて一対備えられ、各カメラの撮像領域が重なる領域が視野であり、
前記各カメラの画像に投影された対応点と、当該対応点の周縁とを前記所定の間隔方向にずらしながら視差を検出し、
前記視差から三角測量の原理を用いて距離データを算出するステレオ方式の撮像装置における視差検出方法において、
前記光学レンズの光軸に対して、前記撮像素子の中心を前記所定の間隔方向にオフセットさせ、
前記各カメラで撮像された画像のうち一方のカメラの画像で確認された対応点を基準として、他方のカメラの比較画像において、当該比較画像に投影された前記対応点を前記オフセットさせた点を前記対応点探索開始の基準点とすることを特徴とする視差検出方法。
請求項５に記載の視差検出方法において、
前記撮像素子の中心のオフセットが、前記撮像装置のソフトウェア上で仮想的になされることを特徴とする視差検出方法。