JP2013044893A - 複眼撮像装置及び距離画像取得装置 - Google Patents

Abstract

【課題】レンズアレイを用いた複眼像撮像装置において、遮光壁を設けないで、レンズアレイを構成する複数のレンズ間での光束のクロストークを防止する。
【解決手段】レンズアレイ１の被写体側に第１の波長選択フィルタ２を配置し、該第１の波長選択フィルタ２に対応して、撮像素子４の前に第２の波長選択フィルタ７を配置する。そして、この第１及び第２の波長選択フィルタ２，７は、レンズアレイ１の各レンズペア１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２毎に別々の波長帯域を透過させる構成とする。
【選択図】図１

Description

本発明は、複数のレンズからなるレンズアレイと該レンズアレイの複眼像を撮像する撮像素子を備えた複眼撮像装置及び該複眼撮像装置を用いた距離画像取得装置に関する。

撮像装置は、携帯機器、車載機器、医療機器や産業機器などにおける画像情報取得手段として有用されているが、二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状など、距離情報も同時に取得する要求が高くなっている。このような用途の撮像装置は一般に大型化するが、場所を選ばない設置を可能とするために、装置の小型化、薄型化も望まれる。

従来、小型化、薄型化を図った、距離情報も取得可能な撮像装置として、複数のレンズからなるレンズアレイと、撮像領域がレンズアレイの複数のレンズに対応した複数の分割領域に分割された撮像素子とを備えた複眼撮像装置が、既に知られている。

しかし、従来のレンズアレイを用いた複眼撮像装置では、レンズアレイを用いて複眼撮像装置では、レンズアレイを構成する複数のレンズ間での光束のクロストークを防止するために、レンズアレイと撮像素子との間に、レンズアレイの複数のレンズによってそれぞれ形成される光路を隔離する遮光壁を備えているのが一般的である（例えば、特許文献１、特許文献２等）。この遮光壁はアルミニウムやステンレス等の金属で作成され、遮光壁の幅は厚みを持っているため、撮像素子の該遮光壁の下にある領域では画像を取り込むことができず、未使用領域となり、得られる画像の解像度が小さくなるという問題があった。このため、例えば特許文献２では、遮光壁と撮像素子の間に空間を設けることを提案しているが、クロストークを防止するには限界がある。

本発明の課題は、レンズアレイを用いた複眼撮像装置において、撮像素子の未使用領域を小さくするために遮光壁をなくし、かつ、レンズアレイを構成する複数のレンズ間での光束のクロストークを防止することにある。

本発明の複眼撮像装置は、被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、前記レンズアレイの像面側に設けられた、前記レンズアレイを構成する複数のレンズのそれぞれにより略結像される前記被写体の像（個眼像）の集合である複眼像を撮像する撮像素子と、前記レンズアレイの被写体側に配置された第１の波長選択フィルタと、前記第１の波長選択フィルタに対応して、前記撮像素子の前に配置された第２の波長選択フィルタとを有し、前記レンズアレイを構成する複数のレンズは、２以上のレンズペアからなり、各レンズペアの焦点距離が等しくなっており、前記第１及び第２の波長選択フィルタは、それぞれ前記レンズアレイを構成する複数のレンズに対応して分割されて、各レンズペア毎に異なる波長帯域を透過させることを特徴とする。

本発明の複眼撮像装置によれば、遮光壁を設けないで、レンズアレイを構成する複数のレンズ間でのクロストークを防止することができ、撮像素子の未使用領域が軽減される。

本発明の複眼撮像装置の一実施形態の構成図である。 図１の波長選択フィルタの波長透過特性の一例を示す図である。 図１の複眼撮像装置で取得される複眼像の一例を示す図である。 本発明の複眼撮像装置を適用した距離画像取得装置の一実施形態の全体構成図である。 図４の演算ユニットの処理フローチャートである。

以下、本発明の実施の形態について図面を参照して詳しく説明する。
図１に、本発明の複眼撮像装置の一実施形態の構成図を示す。図１（ａ）は、矢印方向に被写体があるものとし、当該複眼撮像装置により被写体を撮像する構成の断面模式図であり、図１（ｂ）は、当該複眼撮像装置を被写体方向から見た平面模式図である。

図１において、符号１はレンズアレイを表す。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。図１（ａ）では、被写体側、像側の両方の面にレンズ面が設けられていることを表わしている。ここで、１ａが被写体側の面に設けられたレンズ、１ｂが像側の面に設けられたレンズであり、１ａと１ｂがセット（以下、レンズセット）になって被写体の像を像面上で結像させる。

図１（ｂ）に示すように、本実施形態では、レンズアレイ１は８つのレンズセット１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２で構成されている。各レンズセットにおいて、実線で示された円は、後述の開口アレイの開口部を表し、その直径は一定である。破線で示された円は、無効領域も含めたレンズ１ａの直径を表し、点線で示された円はレンズ１ｂの直径を表している。ここで、レンズセット１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２は各々レンズセットペア（ステレオぺア）を形成している。

符号２は、レンズアレイ１の被写体側の面に配置されて、特定の波長帯域だけを透過させる第１の波長選択フィルタであり、例えば、ガラス板の表面に誘電体膜を多層、積層した構造をしている。該波長選択フィルタ２は、レンズアレイ１を構成する各レンズセット（レンズ）に対応して分割され、ステレオペア（レンズペア）毎に別々の波長帯域を透過させる構造をとる。図１（ｂ）において、２１１と２１２はレンズセット１１１と１１２からなるステレオペアに入射する光線の波長帯域を、２２１と２２２はレンズセット１２１と１２２からなるステレオペアに入射する光線の波長帯域を、２３１と２３２はレンズセット１３１と１３２からなるステレオペアに入射する光線の波長帯域を、２４１と２４２はレンズセット１４１と１４２からなるステレオペアに入射する光線の波長帯域を、それぞれ制限する領域を示している。ここで、波長選択フィルタ２の各領域は、隣接する領域の透過波長帯域が重ならないように配置されている。図２に、波長選択フィルタ２の各領域の波長透過特性の一例を示す。なお、括弧内の符号は対応するレンズセットを示している。

符号３は、板状部材に、レンズアレイ１の各レンズセットに対応して円形の穴（開口部）３ａを設けた開口アレイであり、レンズの絞りとして作用する。先に述べたように、各開口部３ａの直径は一定である。該開口アレイ３は、レンズアレイ１の被写体側の面の平面部の四隅に設けられた凸部１ｃに固着されている。そして、該開口アレイ３の被写体側の面に波長選択フィルタ２が接着されている。

符号４は、レンズアレイ１の各レンズセットにより結像される被写体の光学像を撮像するＣＭＯＳセンサなどの撮像素子であり、基板５の上に実装されている。符号６は筐体であり、レンズアレイ１の被写体側の端部に固着されて、レンズアレイ１、波長選択フィルタ２、開口アレイ３などを保持している。該筐体６に、基板５が固着されている。

符号７は、撮像素子４の前面に配置されて、特定の波長帯域だけを透過させる第２の波長選択フィルタであり、先の第１の波長選択フィルタ２と同様に、例えば、ガラス板の表面に誘電体膜を多層、積層した構造をしている。第２の波長選択フィルタ７も、レンズアレイ１を構成するレンズセット（レンズ）に対応して分割され、ステレオペア（レンズペア）毎に別々の波長帯域を透過させる構造をとる。先の第１の波長選択フィルタ２と該第２の波長選択フィルタ７の各領域の透過波長帯域は対応している。

レンズアレイ１について更に詳しく説明する。レンズアレイ１を構成する各レンズセット１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２は、例えば、レンズ面が異なる曲率半径を有しており、レンズセットペア（ステレオペア）となる２つのレンズセットの曲率半径は略同一である。例えば、１１１と１１２のレンズセットは、略同じ曲率半径を有している。この２つのレンズセット１１１，１１２でステレオカメラレンズとして作用するレンズセットペア（ステレオペア）を構成し、撮像素子４の両レンズセットに対応した位置にある画素領域と併せてステレオカメラを構成している。レンズセット１２１と１２２、レンズセット１３１と１３２、レンズセット１４１と１４２も同様に、それぞれのペア同士では略同じ曲率半径を有し、撮像素子４の対応する画素領域と併せてステレオカメラを構成している。

レンズセットペア（ステレオペア）毎に設計中心波長が異なっており、各レンズセットペアの設計中心波長での焦点距離は等しくなっている。図２の例の場合、１１１と１１２のｃ線波長（略６５６ｎｍ）での焦点距離と、１２１と１２２のｄ線波長（略５８７ｎｍ）での焦点距離と、１３１と１３２のｅ線波長（略５４６ｎｍ）での焦点距離と、１４１と１４２のｆ線波長（略４８６ｎｍ）での焦点距離が等しくなるように設計されている。

レンズセットペア（ステレオペア）を構成する光軸と略垂直な面内におけるレンズセットの間隔が、レンズセットペアにより構成されるステレオカメラの基線長となる。本実施形態では、図１（ｂ）に示すように、１１１と１１２、１２１と１２２、１３１と１３２、１４１と１４２の各ステレオペアの基線長はＢ１であり、すべて略等しい。

次に、図１の複眼撮像装置により取得される画像について説明する。本実施形態では、撮像素子４による像は、図３に示すような複眼像８である。図３において、Ｉ１１，Ｉ１２，Ｉ２１，Ｉ２２，Ｉ３１，Ｉ３２，Ｉ４１，Ｉ４２は、レンズアレイ１を構成する各レンズセット１１１，１１２，１２１，１２２，１３１，１３２，１４１，１４２に対応する個眼像である。ここで、Ｉ１１とＩ１２、Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２がそれぞれステレオ画像ペアを形成している。

レンズアレイ１の被写体側と撮像素子４の前に第１と第２の波長選択フィルタ２，７を配置し、これら波長選択フィルタの透過波長帯域を隣接する個眼像ごとに異なるものとすることで、遮光壁を設けないで光束のクロストークを防止することができる。ここで、被写体の色と波長選択フィルタの透過波長帯域が異なるときには画像が得られないが、図２に示したように、レンズセットペア（ステレオペア）毎にそれぞれ透過波長帯域を異なるものとすることで、広い波長帯域でステレオ画像ペアが取得できる。

次に、本発明の複眼撮像装置を用いた距離画像取得装置について説明する。図４に、その距離画像取得装置の一実施形態の構成図を示す。本距離画像取得装置は、被写体を撮像する撮像ユニット１０と、該撮像ユニット１０により撮像された画像により距離画像を算出する演算ユニット２０からなる。撮像ユニット１０は、図１に示した構成の複眼撮像装置であり、ここでは説明を省略する。

演算ユニット２０は、画像キャプチャ部（個眼像分割部）２１、画像補正部２２、視差検出部２３、視差合成部２４及び距離算出部２５からなる。演算ユニット２０は、他に制御部やメモリ等を有しているが、図４では省略してある。該演算ユニット２０は、例えば、基板５上に、撮像素子４と一緒に形成される。

図５は、演算ユニット２０の動作を説明するための処理フローチャートである。以下、図５に従って演算ユニット２０の動作を詳述する。

画像キャプチャ部２１は、撮像ユニット（複眼撮像装置）１０の撮像素子４で取得された図３に示すような複眼像８をキャプチャして、Ｉ１１，Ｉ１２，Ｉ２１，Ｉ２２，Ｉ３１，Ｉ３２，Ｉ４１，Ｉ４２の個眼像に分離する（ステップ１０１）。これら個眼像は画像補正部２２に転送される。

画像補正部２２は、Ｉ１１〜Ｉ４２の各個眼像について、レンズの工作精度、組み付け精度によるカメラ固有の内部パラメータ、外部パラメータを利用して画像の歪み補正を行う（ステップ１０２，１０３）。画像補正された各個眼像は視差検出部２３に転送される。

なお、カメラ固有の内部パラメータおよび外部パラメータはＺｈａｎｇの手法（“A flexible new technique for camera calibration”IEEE Transactions on Pattern Analysis and Machine Intelligence，22（11）：1330-1334，2000）等を用いることで求めることができる。

視差検出部２３は、画像補正されたＩ１１〜Ｉ４２の各個眼像をＩ１１とＩ１２、Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２の各個眼像ペア（ステレオ画像ペア）に分け、各個眼像ペアから視差（視差画像）を検出する（ステップ１０４〜１０６）。視差検出部２３は４つの視差検出部（１）〜（４）を有し、視差検出部（１）では個眼像ペアＩ１１とＩ１２から視差画像１を検出し、視差検出部（２）では個眼像ペアＩ２１とＩ２２から視差画像２２を検出し、視差検出部（３）では個眼像ペアＩ３１とＩ３２から視差画像３を検出し、視差検出部（４）では個眼像ペアＩ４１とＩ４２から視差画像４を検出する。なお、視差検出部は一つのみとして、順次、各個眼像ペアＩ１１とＩ２１、Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２を選択し、視差画像１〜４を検出することでもよい。

ここでは、図３を参照して、視差検出部（１）を例にして視差検出処理を説明する。画像補正を行った画像Ｉ１１とＩ１２では、各画像における被写体の対応する点が被写体の距離に応じて水平方向にずれている。そのずれている位置を検出する。そのずれ量が視差にあたる。視差計算には、周知のブロックマッチングという手法を利用する。視差検出部（１）では、画像Ｉ１１から微小領域９を切り出し、それに対応する領域を検索するため、画像Ｉ１２から同じく微小領域９’を切り出し、評価値を算出する。評価値としては、例えば、二つの微小領域の間で輝度差の総和（ＳＡＤ）や、輝度差の２乗和（ＳＳＤ）などを求める。この場合、画像Ｉ１１の微小領域９の位置を基準に、画像Ｉ１２の微小領域９’の位置を所定の範囲内で移動させてそれぞれの位置でＳＡＤやＳＳＤの極小値を与える切り出し位置を検索することで、画像間の位置ずれを画素単位で求めることができる。画素単位の視差では精度が不足することが多いので、必要なら画素未満（サブピクセル）の視差も推定する。等角直線フィッティングやパラボラフィッティングを用いるのが一般的である。また、ＳＡＤやＳＳＤを計算するために用いるデータは輝度ではなく、輝度を微分（例えばＤＯＧ）した値を用いることも可能である。このようにして全画素に対するサブピクセルレベルの視差が計算され、視差画像１として検出される。ここで、視差画像１の各画素は画像Ｉ１１の各画素と対応している。また、視差が検出できなかった画素については、視差を０とする。

同様にして、視差検出部（２）〜（４）でも、各々Ｉ２１とＩ２２、Ｉ３１とＩ３２、Ｉ４１とＩ４２の個眼像ペア（ステレオ画像ペア）に対して視差画像２〜４を検出する。視差検出部１３で得られた各視差画像１〜４は視差合成部２４に転送される。

視差合成部２４は、各視差画像１〜４を合成して視差合成画像を生成する（ステップ１０７）。先に述べたように、被写体の色と波長選択フィルタの透過波長帯域が異なるときは画像が得られないので、視差も検出できない。各視差画像１〜４を合成することで、検出できなかった部分が補間される。視差合成部２４で合成された視差合成画像は距離算出部２５に転送される。

距離算出部２５は、視差合成画像について、画素あるいは微小領域ごとの被写体距離を算出し、距離画像を生成する（ステップ１０８）。被写体距離は、視差から三角測量の原理に基づき、次式を用いて計算される。

ここで、Ｌは被写体距離、Ｂは基線長（図１ではＢ１）、ｆはレンズセットの焦点距離、Ｓは個眼像ペアから検出される被写体像の視差、ｐは撮像素子（ＣＭＯＳセンサ等）の画素ピッチ（画素サイズ）である。

以上、図面を基に本発明の一実施形態について説明したが、本発明は図面に示した実施形態に限定されるものではない。例えば、レンズアレイを構成するレンズセットは８個、レンズセットペアの数は４組である必要はない。これに伴って波長選択フィルタの領域と透過波長帯域も増減される。また、レンズアレイは、被写体側あるいは像側の一方の面に複数のレンズを配列して構成することでもよい。

１ レンズアレイ
２ 第１の波長選択フィルタ
３ 開口アレイ
３ａ 開口部
４ 撮像素子
５ 基板
６ 筐体
７ 第２の波長選択フィルタ
１０ 撮像ユニット（複眼撮像装置）
１０ 演算ユニット
２１ 画像キャプチャ部
２２ 画像補正部
２３ 視差検出部
２４ 視差合成部
２５ 距離算出部

特開２００３−１４３４５９号公報 特開２００９−２０１００８号公報

Claims (4)

1. 被写体に対向する位置に設けられた、複数のレンズがアレイ配列されてなるレンズアレイと、
   前記レンズアレイの像面側に設けられた、前記レンズアレイを構成する複数のレンズのそれぞれにより略結像される前記被写体の像（以下、個眼像）の集合である複眼像を撮像する撮像素子と、
   前記レンズアレイの被写体側に配置された第１の波長選択フィルタと、
   前記第１の波長選択フィルタに対応して、前記撮像素子の前に配置された第２の波長選択フィルタとを有し、
   前記レンズアレイを構成する複数のレンズは、２以上のレンズペアからなり、各レンズペアの焦点距離が等しくなっており、
   前記第１及び第２の波長選択フィルタは、それぞれ前記レンズアレイを構成する複数のレンズに対応して分割されて、各レンズペア毎に異なる波長帯域を透過させる、
   ことを特徴とする複眼撮像装置。
2. 前記レンズアレイを構成する複数のレンズは、各々曲率半径の異なる２以上のレンズペアからなり、レンズペアを構成する２つのレンズでは略同じ曲率半径を有し、レンズペアごとに設計中心波長が異なっており、各レンズペアの設計中心波長での焦点距離が等しくなっている、
   ことを特徴とする請求項１に記載の複眼撮像装置。
3. 請求項１もしくは２に記載の複眼撮像装置である撮像ユニットと、前記撮像ユニットの撮像素子により撮像された複眼像から距離画像を算出する演算ユニットとを備え、
   前記演算ユニットは、前記複眼像を複数の個眼像に分離する手段と、各レンズペアに対応する個眼像ペアごとに視差画像を検出する手段と、各視差画像を合成する手段と、合成された視差画像から被写体距離を計算し、距離画像を生成する手段とを有する、
   ことを特徴とする距離画像取得装置。
4. 前記演算ユニットは、複眼像から分離した各個眼像について画像歪みを補正する手段を更に有することを特徴とする請求項３に記載の距離画像取得装置。