JP2011090166A

JP2011090166A - ステレオ撮像装置

Info

Publication number: JP2011090166A
Application number: JP2009243951A
Authority: JP
Inventors: Yoshimune Yamagishi; 善宗山岸
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2009-10-23
Filing date: 2009-10-23
Publication date: 2011-05-06

Abstract

【課題】単一のカメラによってステレオ撮像が可能なステレオ撮像装置の提供。
【解決手段】ステレオ撮像装置は、１台のカメラ４と第１及び第２の平面反射鏡５，６と、第１及び第２の凹レンズ１５，１６とを備える。カメラ４は、物体側テレセントリック光学系のカメラレンズ２０を有する。第１及び第２の平面反射鏡５，６は、カメラレンズ２０の前方に配置される。第１及び第２の凹レンズ１５，１６は、その光軸２７，２８同士が平行となるように第１及び第２の平面反射鏡５，６にそれぞれ対応して配置され、且つ物体側から入射した光線５３，５４を第１及び第２の平面反射鏡５，６に向けて平行に出射させる。第１及び第２の平面反射鏡５，６は、第１及び第２の凹レンズ１５，１６から入射した光線を、物体側の主光線５１としてカメラレンズ２０に対して相互に平行に入射させるように配置されている。
【選択図】図３

Description

本発明は、ステレオ撮像装置に関する。

左右一対の視差画像を撮像するステレオ撮像装置が知られている。

特開２００２−３００６０３号公報

上記従来のステレオ撮像装置では、同一時刻の同一の被写体を２台のカメラによって撮像した際の視差を用いたステレオ視法により、カメラから被写体までの距離を計測することができる。

例えば、図６に示すように、左右（図中では上下）に配置された２台のカメラ１０１，１０２の間隔（レンズ１０３，１０４間の距離）をＬ_ａｂ、カメラ焦点距離をｆ、被写体Ｑの撮像面Ｇ_ａ，Ｇ_２での各座標位置をそれぞれＰ_ａ（Ｘ_ａ，Ｙ_ａ）、Ｐ_ｂ（Ｘ_ｂ，Ｙ_ｂ）とすると、Ｙ_ａとＹ_ｂとがほぼ等しい場合、カメラ１０１，１０２（レンズ１０３，１０４）から被写体Ｑまでの距離ｄは、次式によって算出される。

ｄ＝Ｌ_ａｂ×ｆ／（Ｘ_ａ−Ｘ_ｂ）
なお、撮像面Ｇ_ａ，Ｇ_ｂでの座標位置は、各光軸ＯＡ_ａ，ＯＡ_ｂと各撮像面Ｇ_ａ，Ｇ_ｂとの交点Ｏ_ａ，Ｏ_ｂを原点とし、左方向（図中上方向）をｘ軸の正方向とし、鉛直方向上方をｙ軸の正方向とした各平面座標系における座標値である。図６の例では、Ｘ_ａは正の値となり、Ｘ_ｂは負の値となる。

しかし、上記従来のステレオ撮像装置では、一つの被写体を２台のカメラによって同時に撮像しなければならない。すなわち、２台のカメラが必要であり、且つ両者の撮像タイミングを合わせる必要がある。

そこで、本発明は、単一のカメラによってステレオ撮像が可能なステレオ撮像装置の提供を目的とする。

上記目的を達成すべく、本発明に係るステレオ撮像装置は、１台のカメラと第１及び第２の平面反射鏡と、第１及び第２のレンズとを備える。カメラは、物体側テレセントリック光学系又は両側テレセントリック光学系を構成するカメラレンズを有する。第１及び第２の平面反射鏡は、カメラレンズの前方に配置される。第１及び第２のレンズは、第１及び第２の平面反射鏡にそれぞれ対応して配置されている。カメラの撮像面は、第１の平面反射鏡を介した鏡像が結像される第１の領域と、第２の平面反射鏡を介した鏡像が結像される第２の領域とを有する。

第１及び第２のレンズは、その光軸同士が平行となるように配置され、且つ物体側から入射した光線を第１及び第２の平面反射鏡に向けて平行に出射させる。第１及び第２の平面反射鏡は、第１及び第２のレンズから入射した光線を、物体側の主光線としてカメラレンズに対して相互に平行に入射させるように配置されている。

上記構成では、第１の領域に結像された第１画像と、第２の領域に結像された第２画像とは、相互に視差を有している。すなわち、単一のカメラによって、ステレオ撮像が可能であり、これら第１及び第２画像を用いることにより、ステレオマッチング処理を行うことができる。

また、第１のレンズに入射した光線は、第１のレンズの光軸（第１の光軸）と平行な方向を指向して出射し、第１の平面反射鏡で反射して、撮像光学系（カメラレンズ）の光軸と平行な主光線としてカメラレンズに入射する。同様に、第２のレンズに入射した光線は、第２のレンズの光軸（第２の光軸）と平行な方向を指向して出射し、第２の平面反射鏡で反射して、撮像光学系の光軸と平行な主光線としてカメラレンズに入射する。このため、第１の平面反射鏡をカメラレンズに対してその光軸方向に近接または離間させた場合であっても、撮像面の第１の領域は変化しない。同様に、第２の平面反射鏡をカメラレンズに対してその光軸方向に近接または離間させた場合であっても、撮像面の第２の領域２６は変化しない。すなわち、第１の光軸と第２の光軸との距離（ベースライン）を変更しても、撮像面の第１の領域及び第２の領域は、いずれも影響を受けず、同じ範囲に維持される。

従って、第２の平面反射鏡の大きさを変更せずに、且つ第２の領域の範囲を維持したまま、第２の平面反射鏡を移動させてベースラインを増減することができる。すなわち、ベースラインの変更によって平面反射鏡の大型化（装置全体の大型化）を招くことがない。また、ベースラインを長く設定することにより、遠くの対象物の視差が大きくなり、測定精度を高めることができる。

本発明によれば、単一のカメラによってステレオ撮像が可能である。

本発明の一実施形態のステレオ撮像装置の機能的構成を示すブロック図である。図１のカメラユニットの配置例を模式的に示す斜視図である。図１のステレオ撮像装置の光学的な構成を模式的に示す平面図である。図１の画像演算装置が実行する処理を示すフローチャートである。変形例の光学的な構成を模式的に示す平面図である。ステレオ視法による距離の計測を説明するための光学的な構成を模式的に示す平面図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は本実施形態のステレオ撮像装置の機能的構成を示すブロック図、図２は図１のカメラユニットの配置例を模式的に示す斜視図、図３は図１のステレオ撮像装置の光学的な構成を模式的に示す平面図、図４は図１の画像演算装置が実行する処理を示すフローチャートである。

図１に示すように、本実施形態のステレオ撮像装置１は、カメラユニット２と画像演算装置３とを備える。

カメラユニット２は、１台のカメラ４と、カメラ４の前方に固定された複数（本実施形態では第１及び第２の平面反射鏡の２つ）の平面反射鏡５，６と、各平面反射鏡５，６にそれぞれ対応する複数のレンズ（本実施形態では第１及び第２の平面反射鏡に対応する第１及び第２の凹レンズ１５，１６）とを備える。画像演算装置３は、カメラ４から撮像データを受信する受信部７と、受信した撮像データを一時的に記憶する記憶部８と、記憶した撮像データを用いてステレオ視法による距離演算処理を実行する画像処理演算部９とを備える。

カメラユニット２は、例えば、図２に示すように、トラック１０のキャブ１１のルーフ上の空間内に固定される。カメラ４は、凹レンズ１５，１６及び平面反射鏡５，６を介して入力する車両の前方領域を所定時間毎に撮像し、その撮像データを画像演算装置３に送信する。

図３に示すように、カメラ４のレンズ鏡筒内には、カメラレンズ２０を備える撮像光学系２１が配置されている。このカメラレンズ２０は、開口絞り５０の物体側に配置された物体側テレセントリック光学系のレンズである。テレセントリック光学系では、開口絞り５０がレンズの焦点位置Ｖに存在し、物体側の主光線５１が撮像光学系２１（カメラ４）の光軸２２と平行となる。

カメラユニット２内において、第１及び第２の凹レンズ１５，１６は、その光軸同士（第１の光軸２７と第２の光軸２８）が平行となるように配置され、且つ物体側から入射した光線５３，５４を第１及び第２の反射鏡５，６に向けて平行に出射させる。第１及び第２の反射鏡の反射面（鏡面）１６，１８は、カメラレンズ２０の前方に配置され、第１及び第２の凹レンズ１５，１６を介して入射した光線を、撮像光学系２１の光軸２２と平行な物体側の主光線５１としてカメラレンズ２０へ入射させるように配置されている。

撮像光学系２１の光軸２２上には撮像素子（例えばＣＣＤ）２３の撮像面２４が光軸２２に垂直に配置される。本実施形態では、撮像光学系２１の像側の画角２θの範囲のうち、第１の平面反射鏡５の反射面（鏡面）１７を介して撮像される範囲が、焦点位置Ｖを中心として光軸２２から一方向に角度θまでの範囲となり、第２の平面反射鏡６の反射面（鏡面）１８を介して撮像される範囲が、焦点位置Ｖを中心として光軸２２から他方向に角度θまでの範囲となるように設定されている。すなわち、撮像面２４は、第１の平面反射鏡５を介した鏡像が結像される第１の領域２５と、第２の平面反射鏡６を介した鏡像が結像される第２の領域２６とに左右に分割される。なお、以下の説明において、第１及び第２の反射面１５，１６で反射し第１及び第２の凹レンズ１５，１６を介して撮像方向前方へ向かう範囲をそれぞれ第１の視野及び第２の視野と称する。

上記構成において、第１の凹レンズ１５に入射した光線は、第１の光軸２７と平行な方向を指向して第１の凹レンズ１５から出射し、第１の平面反射鏡５で反射して、撮像光学系２１の光軸２２と平行な主光線としてカメラレンズ２０に入射する。同様に、第２の凹レンズ１６に入射した光線は、第２の光軸２８と平行な方向を指向して第２の凹レンズ１６から出射し、第２の平面反射鏡６で反射して、撮像光学系２１の光軸２２と平行な主光線としてカメラレンズ２０に入射する。このため、第１の平面反射鏡５をカメラレンズ２０に対して光軸２２方向に近接または離間させた場合であっても、撮像面２４の第１の領域２５は変化しない。同様に、第２の平面反射鏡６をカメラレンズ２０に対して光軸２２方向に近接または離間させた場合であっても、撮像面２４の第２の領域２６は変化しない。従って、第１の光軸２７と第２の光軸２８との距離（ベースライン）Ｂを変更しても、撮像面２４の第１の領域２４及び第２の領域２５は、いずれも影響を受けず、同じ範囲に維持される。

上記第１の領域２５の画像と第２の領域２６の画像とを用いて、ステレオマッチング処理を行うことができる。なお、ステレオマッチング処理には、ステレオ視法において、視差のある複数の画像について、被写体における同一部位に対応した画素の対を見つける対応点探索処理や、対応点について、三角測量の原理を適応して被写体までの距離を求める距離計測処理などが含まれる。

次に、画像演算装置３が実行する処理について、図４に基づき説明する。

画像処理演算部９は、カメラ４から受信部７が受信して記憶部８に一時的に記憶された画像（画像データ）を取り込み（ステップＳ１）、取り込んだ画像を、第１の領域２５に対応する画像（第１画像）と、第２の領域２６に対応する画像（第２画像）とに切り分ける（ステップＳ２）。

次に、第１及び第２画像とを用いて、上記ステレオマッチング処理を実行する（ステップＳ３）。

なお、凹レンズ１５，１６による放射歪みの影響が大きい場合、ステレオマッチング処理に際して、取り込んだ画像に対する放射歪みの補正処理を行うことが好適である。放射歪みの補正処理は、事前にキャリブレーションを行い、光学系（凹レンズ１５，１６）の特性を調べ、補正に必要なパラメータを同定するという一般的な方法を用いればよい。

また、上記放射歪みの補正処理は、凹レンズ１５，１６に代えて、低ディストーションレンズなどのように光学系によって放射歪みを補正する複数のレンズ群を用いることにより省略することが可能である。

本実施形態によれば、第１の領域２５に結像された第１画像と、第２の領域２６に結像された第２画像とは、相互に視差を有している。すなわち、単一のカメラ４によって、ステレオ撮像が可能であり、これら第１及び第２画像を用いることにより、ステレオマッチング処理を行うことができる。

また、カメラレンズとして上記物体側テレセントリック光学系のレンズに代えて一般的な凸レンズを用い、且つ上記凹レンズは設けない撮像光学系では、平面反射鏡をカメラレンズから離間させるほど撮像面における撮像領域が減少する。すなわち、撮像領域を同範囲に維持したまま平面反射鏡をカメラレンズから離間させる場合には、平面反射鏡を大きくする必要が生じる。このため、ベースラインを大きく設定しようとすると、平面反射鏡を大きくしなければならず、装置全体の大型化を招く。

これに対し、本実施形態では、第１の凹レンズ１５に入射した光線は、第１の光軸２７と平行な方向を指向して第１の凹レンズ１５から出射し、第１の平面反射鏡５で反射して、撮像光学系２１の光軸２２と平行な主光線としてカメラレンズ２０に入射する。同様に、第２の凹レンズ１６に入射した光線は、第２の光軸２８と平行な方向を指向して第２の凹レンズ１６から出射し、第２の平面反射鏡６で反射して、撮像光学系２１の光軸２２と平行な主光線としてカメラレンズ２０に入射する。このため、第１の平面反射鏡５をカメラレンズ２０に対して光軸２２方向に近接または離間させた場合であっても、撮像面２４の第１の領域２５は変化しない。同様に、第２の平面反射鏡６をカメラレンズ２０に対して光軸２２方向に近接または離間させた場合であっても、撮像面２４の第２の領域２６は変化しない。すなわち、第１の光軸２７と第２の光軸２８との距離（ベースライン）Ｂを変更しても、撮像面２４の第１の領域２４及び第２の領域２５は、いずれも影響を受けず、同じ範囲に維持される。

従って、第２の平面反射鏡６の大きさを変更せずに、且つ第２の領域２５の範囲を維持したまま、第２の平面反射鏡６を移動させてベースラインＢを増減することができる。すなわち、ベースラインＢの変更によって平面反射鏡６の大型化（装置全体の大型化）を招くことがない。また、ベースラインＢを長く設定することにより、遠くの対象物の視差が大きくなり、測定精度を高めることができる。

また、上記実施形態では、物体側テレセントリック光学系のカメラレンズを使用した場合を説明したが、これに代えて両側テレセントリック光学系のカメラレンズを用いてもよい。両側テレセントリック光学系の場合、カメラユニット２内には、図５に示すように、上記物体側のカメラレンズ２０に加えて像側のカメラレンズ３０が設けられる。像側のカメラレンズ３０は、物体側のカメラレンズ２０から出射した光線を、撮像光学系２１の光軸２２と平行な像側の主光線５５として撮像面２４へ入射させる。すなわち、物体側の主光線５１と像側の主光線５５との双方が、撮像光学系２１の光軸２２に平行となる。

また、上記実施形態では、２枚の平面反射鏡５，６によりカメラ視界を２分割しているが、本発明はこれに限定されるものではなく、凹レンズと平面反射鏡との組数を増やすことによって、カメラ視界の分割数を増やすことができる。例えば、凹レンズと平面反射鏡とを３組設けてカメラ視界を３つに分割し、３つの視野（第１〜第３の視野）が存在する場合、これら３つの視野が重なる領域が発生する。この重なった領域では、例えば第１の視野のオクルージョン（不可視領域）に被写体が存在している場合であっても、第２の視野と第３の視野とによって被写体が撮像可能な場合がある。すなわち、凹レンズ及び平面反射鏡を３組以上配置する場合には、相互に視差を有する３つ以上の画像を得ることができるので、全体としてオクルージョンを低減させることができる。

本発明のステレオ撮像装置は、ステレオ視法を用いた画像処理に有用である。

１：ステレオ撮像装置
２：カメラユニット
３：画像演算装置
４：カメラ
５：第１の平面反射鏡
６：第２の平面反射鏡
１５：第１の凹レンズ
１６：第２の凹レンズ
２０：カメラレンズ（物体側のカメラレンズ）
２１：撮像光学系
２２：撮像光学系の光軸
２４：撮像面
２５：第１の領域
２６：第２の領域
２７：第１の凹レンズの光軸
２８：第２の凹レンズの光軸
３０：カメラレンズ（像側のカメラレンズ）
５０：開口絞り
５１：物体側の主光線
５３：第１の凹レンズに入射する光線
５４：第２の凹レンズに入射する光線
５５：像側の主光線

Claims

物体側テレセントリック光学系又は両側テレセントリック光学系を構成するカメラレンズを有する１台のカメラと、
前記カメラレンズの前方に配置された第１及び第２の平面反射鏡と、
前記第１及び第２の平面反射鏡にそれぞれ対応して配置された第１及び第２のレンズと、を備え、
前記カメラの撮像面は、前記第１の平面反射鏡を介した鏡像が結像される第１の領域と、前記第２の平面反射鏡を介した鏡像が結像される第２の領域とを有し、
前記第１及び第２のレンズは、その光軸同士が平行となるように配置され、且つ物体側から入射した光線を前記第１及び第２の平面反射鏡に向けて平行に出射させ、
前記第１及び第２の平面反射鏡は、前記第１及び第２のレンズから入射した光線を、物体側の主光線として前記カメラレンズに対して相互に平行に入射させるように配置されている
ことを特徴とするステレオ撮像装置。
請求項１に記載のステレオ撮像装置であって、
前記第１の領域に結像された第１画像と前記第２の領域に結像された第２画像とを用いて、ステレオマッチング処理を行う画像処理演算部を備えた
ことを特徴とするステレオ撮像装置。