JP2009225454A - 複眼方式の撮像装置 - Google Patents

Abstract

【課題】被写体距離によらず常に高解像度画像を得ることができる複眼方式の撮像装置を提供する。
【解決手段】複数の撮影光学レンズ(301a〜301c)が複数の撮像領域(302a〜302c)上に複数の被写体像をそれぞれ結像する。光軸に平行な方向に沿って見たとき少なくとも一対の撮影光学レンズが結像した少なくとも一対の被写体像のそれぞれにおける互いに対応する点を結ぶ少なくとも一本の直線は撮像領域の画素の配列方向に対して傾斜している。
【選択図】図１

Description

本発明は、略同一平面上に配置された複数の撮影光学レンズによって画像を撮像する複眼方式の撮像装置に関する。

携帯機器に用いられる撮像装置には、高解像度化と小型化の両立が必要とされている。小型化するためには、撮影光学レンズの大きさや焦点距離、撮像素子の大きさが障害となることが多い。

一般的に、材料の屈折率は光の波長に依存するため、全波長帯域の情報が含まれる被写体からの光を単レンズで撮像面に結像することは困難である。その為、通常の撮像装置の光学系では、赤、緑、青の各波長の光を同一の撮像面に結像するため、光軸方向に複数のレンズが配置されている。このため、光学系が長くなり、撮像装置が厚くなる。

そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短い複数の単レンズを略同一平面上に配置した複眼方式の撮像装置が提案されている（たとえば、特開２００２−２０４４６２号公報参照）。複眼方式のカラー画像撮像装置は、青色の波長の光を受け持つレンズ、緑色の波長の光を受け持つレンズ、及び赤色の波長の光を受け持つレンズを同一平面上に並べた光学系と、それぞれのレンズに対応した撮像素子とを備える。各レンズが受け持つ光の波長範囲が限定されるため、単レンズにより被写体像を撮像素子上に結像することが可能となる。従って、撮像装置の厚さを大幅に小さく出来る。

図１５に複眼方式の撮像装置の一例の斜視図を示す。９００は、一体成型された３つのレンズ９０１ａ、９０１ｂ、９０１ｃを含むレンズアレイである。レンズ９０１ａは、赤色の波長の光を受け持ち、撮像領域９０２ａに被写体像を結像する。撮像領域９０２ａの画素（受光部）には赤色の波長分離フィルター（カラーフィルター）が貼り付けられており、撮像領域９０２ａは結像された赤色の被写体像を画像情報に変換する。同様に、レンズ９０１ｂは、緑色の波長の光を受け持ち、撮像領域９０２ｂに被写体像を結像する。撮像領域９０２ｂの画素（受光部）には緑色の波長分離フィルター（カラーフィルター）が貼り付けられており、撮像領域９０２ｂは結像された緑色の被写体像を画像情報に変換する。また、レンズ９０１ｃは、青色の波長の光を受け持ち、撮像領域９０２ｃに被写体像を結像する。撮像領域９０２ｃの画素（受光部）には青色の波長分離フィルター（カラーフィルター）が貼り付けられており、撮像領域９０２ｃは結像された青色の被写体像を画像情報に変換する。撮像領域９０２ａ，９０２ｂ，９０２ｃから出力された画像情報を重ね合わせて合成することにより、カラー画像情報を取得することができる。

このような複眼方式の撮像装置によれば撮像装置の厚さを薄くすることができるが、通常の単眼方式の撮像装置に比べて解像度が劣るという問題がある。単眼方式の撮像装置では、結像面に配置された多数の画素（受光部）を有する撮像素子が入射した光を画像情報に変換する。各位置における色情報を取り出すために、各画素には波長分離フィルター（カラーフィルター）がベイヤー配列で設けられている。すなわち、縦横方向に配置された多数の画素の配置に対応して、緑色光を透過させる波長分離フィルターが市松模様に配置され、残りの画素に赤色光及び青色光をそれぞれ透過させる波長分離フィルターが交互に配置される。各画素からは、そこに設けられた波長分離フィルターを透過した光の波長帯域に対応した色情報のみが得られ、波長分離フィルターを透過しない光の波長帯域に対応した色情報を得ることができない。しかしながら、画像の局所領域では３色の色情報間に相関性があることが知られており（たとえば、小寺宏曄、他２名、「色信号の相関を利用した単色画像からのフルカラー画像の表示方式」、昭和６３年度画像電子学会全国大会予稿２０、ｐ．８３−８６（１９８８）参照）、赤や青の色情報から緑の色情報を推測することができる。この特性を利用し、波長分離フィルターがベイヤー配列された撮像素子では、不足している色情報の補間処理が行われる。したがって、画素の数と同じ画素数の解像度のカラー画像を得ることができる。たとえば、１００万個の画素を持つ撮像素子では、５０万個の画素が緑色の色情報を検出し、２５万個の画素が青色の色情報を検出し、２５万個の画素が赤色の色情報を検出するが、上記の補間処理により、赤、緑、青のいずれの色についても１００万画素の解像度の色情報を得ることができる。

しかし、複眼方式の撮像装置では、各色に対応する各撮像領域が赤、緑、青のいずれかの色情報を取得するため、各撮像領域が有する画素の数と同じ画素数のカラー画像が得られる。たとえば、赤、緑、青の各色情報を２５万個の画素を有する３つの撮像領域で取得する場合、合計７５万個の画素が必要となるが、重ね合わせて得られるカラー画像の解像度は２５万画素となる。

画像の解像度を向上させる方法として、光学系と撮像素子との相対的位置関係を時間的ずらしたり、プリズムを用いて光束を複数に分離して複数の撮像素子に入射させたりすることにより、被写体像と画素との位置関係が相互にずれた複数の画像情報を取得し、これら複数の画像情報を合成することにより高解像度の画像を取得する「画素ずらし」と呼ばれる技術が知られている（例えば、特開平１０−３０４２３５号公報参照）。この場合のずらし量は、ずらす方向と取得する画像情報の数により最適な値が決まる。たとえば、２つの画像情報を合成する場合は、被写体像と画素との相対的位置関係が画素の配置ピッチ（以下、「画素ピッチ」という）の半分の奇数倍だけ２つの画像情報間でずれていると、もっとも高解像度の画像を得ることができる。この技術は、レンズにより結像された被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の画像情報が得られれば利用可能であり、ずらす方法にはよらない。本発明では、被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の画像情報を取得でき、この複数の画像情報を合成して高解像度の画像を得ることができるような、被写体像と撮像素子の画素との相対的位置関係を「画素ずらし配置」という。

複眼方式の撮像装置においても、複数の画像情報間で被写体像と画素との相対的位置関係がずれていれば、すなわち画素ずらし配置を実現できれば、高解像度の画像を得ることができる。

たとえば、特開２００２−２０９２２６号公報には、複数のレンズで複数の被写体像を複数の撮像領域上にそれぞれ結像させる複眼方式の撮像装置において、各被写体像がレンズの光軸を結ぶ方向にずれて結像されて画素ずらし配置が実現されるように、複数のレンズと複数の撮像素子とを配置することにより、高解像度画像を得ることが記載されている。

また、複眼方式の撮像装置では、複数のレンズの各光軸が互いに異なることにより生じる視差を用いて被写体までの距離を測定することができる。

特開２００２−２０４４６２号公報 特開平１０−３０４２３５号公報 特開２００２−２０９２２６号公報

小寺宏曄、他２名、「色信号の相関を利用した単色画像からのフルカラー画像の表示方式」、昭和６３年度画像電子学会全国大会予稿２０、ｐ．８３−８６（１９８８）

しかしながら、画素ずらし技術により高解像度画像を得るためには、被写体像と画素との相対的位置関係が常に画素ずらし配置である必要がある。図１６Ａは、複眼方式の撮像装置において、複数のレンズと被写体と被写体像との位置関係を示した側面図、図１６Ｂはその平面図である。図１６Ａは、複数のレンズの光軸を含む面と直交する方向に沿って見た状態を示し、図１６Ｂはレンズの光軸と平行な方向に沿って見た状態を示す。２００ａ、２００ｂはレンズ２０１ａ、２０１ｂの光軸であり、２０２ａ、２０２ｂは光軸が撮像領域２０３と交わる位置である。光軸２００ａ上にある被写体２０４は、レンズ２０１ａ、２０１ｂにより、被写体像２０５ａ、２０５ｂとして結像される。複眼方式の撮像装置においては、レンズ２０１ａ、２０１ｂの光軸２００ａ、２００ｂが異なるため、レンズ２０１ａ、２０１ｂから被写体２０４までの距離が変わると、被写体像２０５ｂの位置は撮像領域２０３上で、交点２０２ａと交点２０２ｂとを結ぶ直線２０６上を移動する。この現象は「視差」と呼ばれる。被写体像２０５ｂの交点２０２ｂからのずれ量Ｓは、被写体距離（レンズ２０１ａから被写体２０４までの距離）をＡ、光軸２００ａ、２００ｂ間の距離をｄ、結像距離をｆとすると、次式で表される。

このように、直線２０６の方向における被写体像２０５ｂと画素との相対的位置関係は、被写体距離Ａに応じて変化する。したがって、直線２０６方向における被写体像のずれ量Ｓを画素ピッチに対して所定の関係に設定した場合には、被写体距離Ａによって解像度が変化し、常に高解像度画像を得ることができないという問題がある。

本発明は、被写体距離によらず常に高解像度画像を得ることができる複眼方式の撮像装置を提供することを目的とする。

本発明の複眼方式の撮像装置は、略同一平面上に配置された複数の撮影光学レンズと、それぞれが前記複数の撮影光学レンズの各光軸に対して直交する面内に配置された多数の画素を有し、前記複数の撮影光学レンズがそれぞれ結像した複数の被写体像を複数の画像情報に変換する複数の撮像領域とを備える。

前記撮影光学レンズの数が少なくとも３個であり、前記光軸に平行な方向に沿って見たとき、二対の前記撮像光学レンズのそれぞれの光軸を結ぶ第１直線及び第２直線がなす角度がほぼ直角であり、前記光軸に平行な方向に沿って見たとき、前記第１直線及び前記第２直線は前記光軸において交差し、前記光軸に平行な方向に沿って見たとき、前記第１直線と前記画素の第１配列方向とがなす角度をθ１、前記第２直線と前記画素の第２配列方向とがなす角度をθ２、前記第１直線に沿って配置された一対の前記撮影光学レンズの光軸間隔をｄ１、前記第２直線に沿って配置された一対の前記撮影光学レンズの光軸間隔をｄ２、前記第１配列方向に垂直な方向に沿った前記画素の配置ピッチをｐ１、前記第２配列方向に垂直な方向に沿った前記画素の配置ピッチをｐ２、正の整数をｍ，ｎとしたとき、
｛（２ｎ−１）×ｐ１／２｝−ｐ１／４＜ｄ１×ｓｉｎθ１＜｛（２ｎ−１）×ｐ１／２｝＋ｐ１／４
｛（２ｍ−１）×ｐ２／２｝−ｐ２／４＜ｄ２×ｓｉｎθ２＜｛（２ｍ−１）×ｐ２／２｝＋ｐ２／４
を満足し、かつ、撮影される最も近い被写体までの距離をＡｍｉｎ、前記撮影光学レンズの結像距離をｆとしたとき、前記正の整数ｍ，ｎは、
ｎ＜Ａｍｉｎ／（４×ｆ）
ｍ＜Ａｍｉｎ／（４×ｆ）
を満足する。

本発明によれば、画素の配列方向に対して垂直な方向において画素ずらし配置を実現することができる。この画素ずらし配置の関係は、被写体距離にほとんど影響を受けない。従って、被写体距離によらず常に高解像度画像を得ることができる。

図１は、本発明の実施の形態１に係る複眼方式の撮像装置の概略構成を示した斜視図である。 図２は、本発明の実施の形態１に係る撮像装置において、レンズの光軸と撮像領域の画素との位置関係を示した平面図である。 図３は、本発明の実施の形態１に係る撮像装置において、画像情報の合成を説明するための平面図である。 図４は、遠い被写体を撮像したときの画像情報の合成を示した平面図である。 図５は、近い被写体を撮像したときの画像情報の合成を示した平面図である。 図６Ａは、本発明の実施例１の撮像装置の平面図である。 図６Ｂは、図６Ａの６Ｂ−６Ｂ線での矢視断面図である。 図７Ａは、本発明の実施の形態１に係る撮像装置のレンズの配置を示した平面図である。 図７Ｂは、本発明の実施の形態２に係る撮像装置のレンズの配置を示した平面図である。 図８Ａは、本発明の実施例２の撮像装置の平面図である。 図８Ｂは、図８Ａの８Ｂ−８Ｂ線での矢視断面図である。 図９Ａは、本発明の実施例２の撮像装置のレンズアレイを構成するレンズ配置を示した平面図である。 図９Ｂは、本発明の実施例２の撮像装置において、図９Ａの状態からレンズアレイを回転させた状態でのレンズ配置を示した平面図である。 図１０Ａは、本発明の実施例３の撮像装置の平面図である。 図１０Ｂは、図１０Ａの１０Ｂ−１０Ｂ線での矢視断面図である。 図１１Ａは、本発明の実施例４の撮像装置の平面図である。 図１１Ｂは、図１１Ａの１１Ｂ−１１Ｂ線での矢視断面図である。 図１２Ａは、本発明の実施例４の撮像装置において、一方の撮像領域上に設けられたカラーフィルターの配置を示した平面図である。 図１２Ｂは、本発明の実施例４の撮像装置において、他方の撮像領域上に設けられたカラーフィルターの配置を示した平面図である。 図１３Ａは、本発明の実施例４の撮像装置において、一方の撮像領域上に設けられたカラーフィルターの別の配置を示した平面図である。 図１３Ｂは、本発明の実施例４の撮像装置において、他方の撮像領域上に設けられたカラーフィルターの別の配置を示した平面図である。 図１４Ａは、本発明の実施例４の撮像装置において、一方の撮像領域上に設けられたカラーフィルターの更に別の配置を示した平面図である。 図１４Ｂは、本発明の実施例４の撮像装置において、他方の撮像領域上に設けられたカラーフィルターの更に別の配置を示した平面図である。 図１５は、従来の複眼方式の撮像装置の一例の概略構成を示した斜視図である。 図１６Ａは、複眼方式の撮像装置において、複数のレンズと被写体と被写体像との位置関係を示した側面図である。 図１６Ｂは、複眼方式の撮像装置において、複数のレンズの光軸と被写体像との位置関係を示した平面図である。

本発明において、「画素の配列方向」とは、以下のようにして求められる。多数の画素が配置された平面に含まれる互いに平行な複数の第１直線及び互いに平行な複数の第２直線を想定する。この複数の第１直線と複数の第２直線とが交差する複数の交点上に前記多数の画素の全てが配置されるように、複数の第１直線及び複数の第２直線の各傾きを設定する。このようにして設定された複数の第１直線及び複数の第２直線にそれぞれ平行な第１方向及び第２方向が「画素の配列方向」である。

また、本発明において、一対の撮影光学レンズの一対の光軸を結ぶ直線との関係において着目する「画素の配列方向」とは、上記の第１方向及び第２方向のうち、前記一対の光軸を結ぶ直線となす角度（９０°未満）がより小さい方の方向を意味する。

更に、本発明において、直線が画素の配列方向に対して「傾斜している」とは、直線と画素の配列方向とが、平行でなく、９０度以外の角度で交差することを意味する。

本発明では、一対の撮影光学レンズが結像した一対の被写体像が画素の配列方向と垂直な方向において画素ずらし配置の関係で結像されるので、被写体までの距離によらず常に画素ずらし配置を実現できる。即ち、レンズの光軸に平行な方向に沿って見たとき、一対の撮影光学レンズの一対の光軸を結ぶ直線と画素の配列方向とがなす角度θを調整することによって、この一対の光軸を結ぶ直線に対して角度θをなす画素の配列方向に対して直角方向（以下、「画素ずらし方向」という）において画素ずらし配置を実現する。

複数の撮像領域から得た複数の画像情報を合成する場合に、最も高解像度の画像が得られるのは、一対の撮影光学レンズの光軸間隔をｄ、前記画素の配列方向と垂直な方向の前記画素の配置ピッチをｐ、正の整数をｎとしたとき、
（２ｎ−１）×ｐ／２＝ｄ×ｓｉｎθ
を満足するときである。

実際にこの等式を完全に満足する撮像装置を製造することは、製造上のばらつきにより困難である。この等式を実質的に満足していれば、画素ずらしによる効果が得られる。すなわち、不等式、
（２ｎ−１）×ｐ／２−ｐ／４＜ｄ×ｓｉｎθ＜（２ｎ−１）×ｐ／２＋ｐ／４
を満足すれば、画素ずらしにより高解像度画像を得ることができる。

また、製造上のばらつきが生じても、角度θを調整することにより、容易且つ確実に画素ずらし配置を実現することができる。従って、製造が容易で量産時の歩留まりが向上する。

本発明では、視差の画素ずらし方向の成分が極めて小さいことに着目して、被写体距離によらず画素ずらしによる効果を得ている。しかし、視差の画素ずらし方向の成分を完全にゼロにすることは困難である。上記のように、視差は被写体距離が小さくなると急激に大きくなる。また、視差の画素ずらし方向の成分は、角度θ（すなわちｎ）が大きいほど大きくなる。従って、ｎは、
ｎ＜Ａｍｉｎ／（４×ｆ）
を満足することが好ましい。

ここで、Ａｍｉｎは、撮影される最も近い被写体までの距離（被写体距離Ａの最小値）、ｆは結像距離である。ｎが上記関係を満足すれば、角度θが極めて小さな値になるので、被写体距離の変化による被写体像の移動方向（すなわち、一対の光軸を結ぶ直線方向）と画素の配列方向とをほぼ同一方向であるとみなすことができる。そして、視差の画素ずらし方向の成分をほぼ無視することが可能となる。従って、被写体距離によらず、画素ずらし方向において常に画素ずらし配置を実現することができる。

レンズ材料の屈折率や回折格子の効率は波長に依存するため、波長を限定すればレンズの特性は向上する。そこで、本発明では、複数の撮像光学レンズの各光路上に、所定の波長の光を透過するフィルターが設置されていることが好ましい。これにより、撮像領域上に結像される被写体像の波長が限定されるため、鮮明な画像が得られる。画素ずらしされた合成前の画像が鮮明であることにより、合成された高解像度画像も鮮明になる。

また、複数の撮影光学レンズの各光路上に、同じ帯域の波長の光を透過するフィルターを設置しても良い。これにより、同じ波長帯域の鮮明な複数の画像を用いることで、視差による被写体距離の測定を行うことができる。前述のように被写体距離の違いによる視差は、一対のレンズの光軸を結ぶ直線方向に生じる。これに対して、本発明では、一対のレンズの光軸を結ぶ直線に対して垂直な方向に画素ずらし配置をする。このように、本発明では、視差が生じる方向と画素ずらし配置の方向とが異なるので、被写体距離（即ち視差）が変化しても画素ずらし配置はほとんど影響を受けない。従って、被写体距離によらず、被写体距離の測定精度はほとんど変化せず、被写体距離の測定と画像の高解像度化とを両立することができる。

本発明の画素ずらし配置を実現するためには、画素ずらし量、すなわち「ｄ×ｓｉｎθ」の値を適切に設定する必要がある。このためには、光軸間隔ｄを一定として、角度θを微調整すればよい。従って、複数の撮影光学レンズが、一体に成型されたレンズアレイであることが好ましい。これにより、個々のレンズを調整するのではなく、レンズアレイ全体を複数の撮像領域に対して、複数の撮像領域の受光面に平行な面内でわずかに回転調整することで、本発明の画素ずらし配置を実現できる。従って、レンズアレイを高精度に組み立てたり、成型したりする必要はなく、容易に画素ずらし配置を実現することができる。

本発明の撮像装置は、前記複数の撮影光学レンズと前記複数の撮像領域とを、前記複数の撮影光学レンズの光軸に対して直交する面内で相対的に回転させる機構を更に備えることが好ましい。

このような回転機構を備えることにより、製造工程において、容易に且つ精度よく画素ずらし量、すなわち角度θの調整が可能となる。なお、角度θの調整は製造工程において行われ、製品状態では回転機構は固定されている。

本発明の撮像装置は、前記複数の撮影光学レンズと前記複数の撮像領域との距離を調整する機構を更に備えることが好ましい。

これにより、各レンズの結像面に撮像領域を確実に配置することが可能となり、より鮮明な複数の画像情報を得ることが可能となる。従って、これら複数の画像情報を合成することにより、より高解像度の画像を得ることができる。

本発明の撮像装置において、前記撮影光学レンズの数が少なくとも３個であることが好ましい。この場合において、前記光軸に平行な方向に沿って見たとき、二対の前記撮影光学レンズのそれぞれの光軸を結ぶ第１直線及び第２直線がなす角度がほぼ直角であり、前記光軸に平行な方向に沿って見たとき、前記第１直線と前記画素の第１配列方向とがなす角度をθ１、前記第２直線と前記画素の第２配列方向とがなす角度をθ２、前記第１直線に沿って配置された一対の前記撮影光学レンズの光軸間隔をｄ１、前記第２直線に沿って配置された一対の前記撮影光学レンズの光軸間隔をｄ２、前記第１配列方向に垂直な方向に沿った前記画素の配置ピッチをｐ１、前記第２配列方向に垂直な方向に沿った前記画素の配置ピッチをｐ２、正の整数をｍ，ｎとしたとき、
（２ｎ−１）×ｐ１／２−ｐ１／４＜ｄ１×ｓｉｎθ１＜（２ｎ−１）×ｐ１／２＋ｐ１／４
（２ｍ−１）×ｐ２／２−ｐ２／４＜ｄ２×ｓｉｎθ２＜（２ｍ−１）×ｐ２／２＋ｐ２／４
を満足することが好ましい。

ここで、画素が２つの方向に配列されている場合には、２つの配列方向のうち、第１直線となす角度（９０°未満）がより小さい方の方向を「第１配列方向」と定義し、第２直線となす角度（９０°未満）がより小さい方の方向を「第２配列方向」と定義する。

これにより、複数の方向において画素ずらし配置を実現することができ、この複数の方向において解像度を向上させることができる。また、少なくとも３個のレンズを備えるので、各レンズを通じて赤、緑、青の各色の画像情報を得てこれらを合成すればカラー画像を得ることができる。なお、上記において、画素の配列ピッチｐ１と配列ピッチｐ２は、同じであっても良く、その場合も同様の効果が得られる。

上記において、前記光軸間隔ｄ１と前記光軸間隔ｄ２とが異なることが好ましい。

複数の方向において解像度を向上させるためには、各方向における画素ずらし量、すなわちｄ１×ｓｉｎθ１及びｄ２×ｓｉｎθ２を調整する必要がある。ところが、複数のレンズが一体成型されたレンズアレイを用いる場合、個々のレンズの位置を独立して調整することはできない。また、レンズの位置は成型誤差を含んでいる可能性がある。ｄ１≠ｄ２であれば、レンズアレイを撮像領域に対して回転させたときの各方向における画素ずらし量の調整範囲が大きくなる。従って、レンズアレイに成型誤差があった場合でも、複数の方向において画素ずらし量を最適化することができ、複数の方向において解像度を向上させることができる。

あるいは、前記配置ピッチｐ１と前記配置ピッチｐ２とが異なっていても良い。この場合も、レンズアレイに成型誤差があった場合でも、複数の方向において画素ずらし量を最適化することができ、複数の方向において解像度を向上させることができる。

本発明の撮像装置において、前記撮影光学レンズ及び前記撮像領域の数がいずれも４個であることが好ましい。この場合、前記光軸に平行な方向に沿って見たとき、前記４個の撮影光学レンズの光軸が略長方形の頂点に配置されていることが好ましい。また、前記４個の撮像領域のうち、１つに入射する光の光路上には青色の波長帯域の光を透過させるフィルターが設けられており、他の１つに入射する光の光路上には赤色の波長帯域の光を透過させるフィルターが設けられており、残りの２つに入射する光の光路上には緑色の波長帯域の光を透過させるフィルターが設けられていることが好ましい。

これにより、輝度情報が多く含まれる緑色の２つの画像情報を用いて、視差量を計算することができる。同じ波長帯域の光を用いて視差量を計算することにより、視差量の精度が向上する。この視差量を用いて、赤色及び青色の画像情報の視差量をそれぞれ計算することができる。従って、２方向に高解像度化されたカラー画像を得ることができる。また、この視差量を用いて被写体距離を計算しても良い。この場合、被写体距離の精度が向上する。

前記４個の撮像領域が共通する１つの撮像素子上に形成されており、前記略長方形と前記撮像素子の有効画素領域の形状とがほぼ相似形であることが好ましい。これにより、撮像素子の画素を無駄なく有効利用することができる。

以下に、本発明の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
本実施の形態の複眼方式の撮像装置は、従来の複眼方式の撮像装置に比べて、垂直方向と水平方向の空間サンプリング特性を向上させる。

図１は本実施の形態１に係るに複眼方式の撮像装置の一例の斜視図である。３００は、３つのレンズ３０１ａ、３０１ｂ、３０１ｃが一体成型された、透明樹脂よりなるレンズアレイである。３つのレンズ３０１ａ、３０１ｂ、３０１ｃの光軸３００ａ，３００ｂ，３００ｃは互いに平行である。これらの光軸に平行な方向に沿って見たとき、光軸３００ａと光軸３００ｂとを結ぶ第１直線２１１と、光軸３００ｂと光軸３００ｃとを結ぶ第２直線２１２とが直角となるように、３つのレンズ３０１ａ、３０１ｂ、３０１ｃが略同一平面上に配置されている。各レンズ３０１ａ、３０１ｂ、３０１ｃは、被写体像を撮像領域３０２ａ、３０２ｂ、３０２ｃ上にそれぞれ結像する。撮像領域３０２ａ、３０２ｂ、３０２ｃは、それぞれ光軸３００ａ，３００ｂ，３００ｃに対して直交する面内に配置された多数の画素（受光部）を有し、各画素は入射する光を光電変換する。かくして、撮像領域３０２ａ、３０２ｂ、３０２ｃは、それぞれに結像された被写体像を画像情報に変換して出力する。撮像領域３０２ａ、３０２ｂ、３０２ｃは、共通する１つの撮像素子の有効画素領域を分割することにより形成されている。従って、撮像領域３０２ａ、３０２ｂ、３０２ｃからの画像情報は、この１つの撮像素子からの出力信号から、各撮像領域に対応する画素信号を抽出することにより得られる。

高解像度画像を得るために、レンズ３０１ａ、３０１ｂ、３０１ｃがそれぞれ形成する被写体像と撮像領域３０２ａ、３０２ｂ、３０２ｃの画素との間に、画素の配列方向と垂直な方向への画素ずらし配置が実現されるように、３つのレンズ３０１ａ、３０１ｂ、３０１ｃと撮像領域３０２ａ、３０２ｂ、３０２ｃとが配置されている。以下にこれを説明する。

図２は、レンズの光軸と撮像領域の画素との位置関係を示した、光軸と平行な方向に沿って見た平面図である。

１００ａ、１００ｂ、１００ｃは撮像領域３０２ａ、３０２ｂ、３０２ｃ内に配置された画素である。上述したように、１つの撮像素子の有効画素領域を分割して撮像領域３０２ａ、３０２ｂ、３０２ｃが形成されているので、各撮像領域３０２ａ、３０２ｂ、３０２ｃ内の画素１００ａ、１００ｂ、１００ｃの配列方向及び画素ピッチは、撮像領域３０２ａ、３０２ｂ、３０２ｃ間で一致している。図２では、撮像領域３０２ａ、３０２ｂ、３０２ｃ外の画素の図示を省略している。図示したように、画素１００ａ、１００ｂ、１００ｃは縦横方向に碁盤目状に配置されており、縦（垂直方向）の配列方向（第１配列方向）と平行な方向をＹ軸、横（水平方向）の配列方向（第２配列方向）と平行な方向をＸ軸とする。そして、光軸３００ａ，３００ｂ，３００ｃと平行な方向をＺ軸とする。Ｘ軸とＹ軸とＺ軸とは相互に直交する。

１０１ａ、１０１ｂ、１０１ｃは、レンズ３０１ａ、３０１ｂ、３０１ｃの各光軸３００ａ，３００ｂ，３００ｃと撮像領域３０２ａ、３０２ｂ、３０２ｃとの交点である。

交点１０１ｂと交点１０１ａとを結ぶ第１直線２１１と画素の第１配列方向（Ｙ軸）とがなす角度をθ（θ≦９０°）とする。レンズアレイ３００内に３つのレンズ３０１ａ、３０１ｂ、３０１ｃが誤差なく一体成型されていると仮定すると、交点１０１ｂと交点１０１ｃとを結ぶ第２直線２１２と画素の第２配列方向（Ｘ軸）とがなす角度もθとなる。

交点１０１ｂと交点１０１ａとの距離（すなわち、光軸３００ｂと光軸３００ａとの間隔）をｄとすると、交点１０１ｂに対して交点１０１ａはＸ軸方向にｄ×ｓｉｎθだけずれている。このずれ量が撮像素子のＸ軸方向における画素ピッチｐ１の半分の奇数倍であれば、撮影領域３０２ａで変換した画像情報は、撮像領域３０２ｂで変換した画像情報のＸ軸方向の画素間部分１０２ｂの情報となる。

１０３ａ，１０３ｂ，１０３ｃは、光軸３００ｂ上に位置する被写体のレンズ３０１ａ、３０１ｂ、３０１ｃにより結像された被写体像である。被写体像１０３ａ，１０３ｂ，１０３ｃの位置は、レンズの光軸３００ａ，３００ｂ，３００ｃの位置と被写体距離（図１６Ａの被写体距離Ａ）とに応じて変化する。従って、レンズ３０１ａにより形成される被写体像１０３ａは、視差により、交点１０１ｂと交点１０１ａとを結ぶ第１直線２１１の方向に沿って、交点１０１ａに対して交点１０１ｂから離れる側にずれた位置に結像される。第１直線２１１はＹ軸に対して平行ではないので、被写体距離に応じて、被写体像１０３ａの結像位置は、Ｘ軸方向及びＹ軸方向に変化する。本実施の形態では、光軸間隔ｄがＸ軸方向及びＹ軸方向の画素ピッチｐ１及びｐ２に対して十分に大きいので、角度θが十分に小さな値をとる限り、被写体距離の変化による被写体像１０３ａの結像位置のＸ軸方向における変化量はほとんど無視できるほどに小さい。従って、被写体像１０３ｂに対する被写体像１０３ａのＸ軸方向におけるずれを利用することにより、被写体距離によらず、常にＸ軸方向において画素ずらし配置を実現することができ、Ｘ軸方向の高解像度化を実現することができる。

更にＹ軸方向においても画素ずらし配置を実現するためには、Ｙ軸方向における画素ピッチをｐ２、交点１０１ｂと交点１０１ｃとの距離（すなわち、光軸３００ｂと光軸３００ｃとの間隔）をｄ２としたとき、ｄ２＝（ｐ１／ｐ２）×ｄを満足すればよい。これにより、撮像領域３０２ｂと撮像領域３０２ａとの間のＸ軸方向における上記画素ずらし配置と同様の関係が、撮像領域３０２ｂと撮像領域３０２ｃとの間にＹ軸方向において成立する。従って、Ｘ軸方向及びＹ軸方向において、被写体距離によらず高解像度化を実現することができる。

なお、図２では、光軸３００ｂを中心にレンズアレイ３００を撮像素子に対して時計回り方向に角度θだけ回転した例を示したが、これは理解を容易にするためであって、本発明はこれに限定されない。重要なのはＸ軸方向及びＹ軸方向に上記の画素ずらし配置が実現されるように角度θを設定することであって、回転中心軸の位置、相対的な回転方向は上記以外であっても良い。

撮影環境の温度が変化した場合、レンズアレイ３００は熱膨張（又は熱収縮）する。温度が室温から上昇すると、レンズアレイ３００はほぼ等方的に膨張するので、レンズの光軸３００ａ，３００ｂ，３００ｃの光軸間隔ｄ，ｄ２が拡大する。しかし、上記の角度θは変化せず、且つ角度θは十分に小さいので、上記の画素ずらし配置の関係は維持される。したがって、本発明の撮像装置における画素ずらし配置は、周辺環境の温度変化によるレンズの光軸間隔ｄ，ｄ２の変化の影響を受けにくい。

撮像領域３０２ａ、３０２ｂ、３０２ｃは、それぞれに結像された被写体像を画像情報に変換する。得られた３つの画像情報に対して視差補正を行った後、これらを合成して１つの画像情報を得る。この演算処理を以下に説明する。

まず、視差量導出手段３０３は、視差補正を行うための、画像情報間の視差量（図１６Ａのずれ量Ｓ）を求める。

視差量は、被写体距離がわかれば求めることができる。しかし、被写体距離を測定するためのセンサーを新たに導入すると、装置の小型化が難しくなる。そこで、本実施の形態では、２つの画像情報同士を直接比較し、両者間のずれ量を求めることにより視差量を求める。画像情報の比較は、画像情報同士の相関を求めることにより行う。画像情報はＸ軸方向及びＹ軸方向にマトリックス状に分布した輝度情報の集合として表され、Ｘ軸方向のｋ番目、Ｙ軸方向のｌ番目の画素の輝度はＩ（ｋ、ｌ）と表される。画素は有限であるので、ｋ、ｌは整数である。比較される２つの画像情報のうち、基準とされる画像情報（以下、「基準画像情報」という）における画素の輝度をＩ１（ｋ、ｌ）、比較される画像情報（以下、「被比較画像情報」という）における画素の輝度をＩ２（ｋ＋ｍ、ｌ＋ｎ）とし、基準画像情報と、被比較画像情報をＸ軸方向にｍ画素、Ｙ軸方向にｎ画素ずらした画像情報との相関Ｒ（ｍ、ｎ）を次式により求める。

基準画像情報と、被比較画像情報をＸ軸方向にｍ画素、Ｙ軸方向にｎ画素ずらした画像情報とが似ている場合、相関Ｒ（ｍ、ｎ）の値は１に近づき、逆に、異なる場合、相関Ｒ（ｍ、ｎ）の値は小さくなる。ｍ、ｎを順に変えながらＲ（ｍ、ｎ）を求める。Ｒ（ｍ、ｎ）が１に最も近くなる場合のｍ、ｎが、基準画像情報と被比較画像情報との間の視差量（ずれ量）である。なお、ｍ、ｎは整数に限定されない。例えば、基準画像情報及び被比較画像情報において、画素間の輝度をその周辺の画素の輝度に基づいて内挿して求めれば、小数点以下の値まで視差量を高分解能で求めることができる。画素の内挿方法としては、共１次内挿法、共３次内挿法、３次たたみ込み内挿法など、周知の多くの方法を利用できる。たとえば、共１次内挿法を用いる場合は、画素間のＸ＝ｕ、Ｙ＝ｖの位置における輝度Ｉ（ｕ、ｖ）を次式によって求めることができる。

次に、画像合成手段３０４は、２つの画像情報を合成する。合成に先立って、上記によって得られた２つの画像情報間のＸ軸方向及びＹ軸方向の視差量だけ、一方の画像情報を移動する（視差補正）。

図３は、撮像領域３０２ｂ，３０２ａ及びこれらに結像された被写体像１０３ｂ，１０３ａを、交点１０１ｂ，１０１ａがＹ軸と平行な一直線上に並ぶように撮像領域３０２ｂ，３０２ａをＸ軸方向に移動させて示した平面図である。

図１６Ａ及び図１６Ｂで説明したように、視差による被写体像のずれ量Ｓは、被写体距離Ａに反比例するが、被写体距離Ａが十分に大きいと無視できる。このような場合、光軸３００ｂ上の被写体は、図３に示すように、撮像領域３０２ｂ上には被写体像１０３ｂとして結像され、撮像領域３０２ａ上には実線４００の位置に結像される。すなわち、撮像領域３０２ｂにおける交点１０１ｂに対する被写体像１０３ｂの相対的位置関係と、撮像領域３０２ａにおける交点１０１ａに対する被写体像の結像位置４００の相対的位置関係とはほぼ同じである。この場合は、図４に示すように、交点１０１ｂと交点１０１ａとが一致するように、撮像領域３０２ｂから得た画像情報と撮像領域３０２ａから得た画像情報とを重ね合わせる。こうすることにより、撮像領域３０２ｂ上の被写体像１０３ｂと撮像領域３０２ａ上の被写体像１０３ａとをほとんどずれなく重ね合わせることができる。そして、このとき、撮像領域３０２ｂ内の画素１００ｂと撮像領域３０２ａ内の画素１００ａとは、Ｘ軸方向に画素ピッチｐ１の半分の奇数倍だけずれている。従って、合成された画像のＸ軸方向の解像度が向上する。

被写体距離が小さい場合、光軸３００ｂ上の被写体は、図３に示すように、撮像領域３０２ｂ上には被写体像１０３ｂとして結像され、撮像領域３０２ａ上には破線４０２の位置に結像される。すなわち、撮像領域３０２ｂにおける交点１０１ｂに対する被写体像１０３ｂの相対的位置関係と、撮像領域３０２ａにおける交点１０１ａに対する被写体像の結像位置４０２の相対的位置関係とは異なる。図２で説明したように、被写体像１０３ａは、交点１０１ｂと交点１０１ａとを結ぶ第１直線２１１の方向に沿って、交点１０１ａに対して交点１０１ｂから離れる側にずれた位置に結像される。被写体距離が十分に大きな場合の被写体像１０３ａの結像位置４００に対する、被写体距離が小さい場合の被写体像１０３ａの結像位置４０２のずれ（視差）をベクトル４０５で表す。この場合は、図５に示すように、このベクトル４０５の逆ベクトル４０６分だけ、交点１０１ｂに対して交点１０１ａを相対移動させて、撮像領域３０２ｂから得た画像情報と撮像領域３０２ａから得た画像情報とを重ね合わせる。こうすることにより、撮像領域３０２ｂ上の被写体像１０３ｂと撮像領域３０２ａ上の被写体像１０３ａとをほとんどずれなく重ね合わせることができる。そして、このときも、撮像領域３０２ｂ内の画素１００ｂと撮像領域３０２ａ内の画素１００ａとは、Ｘ軸方向に画素ピッチｐ１の半分の奇数倍だけずれている。従って、合成された画像のＸ軸方向の解像度が向上する。

以上のように視差補正を行った上で合成を行うことにより、被写体距離の大小にかかわらず、Ｘ軸方向の解像度が向上した画像を得ることができる。なお、視差量によっては画素のＹ軸方向の位置が一致しない場合があるかも知れないが、このような場合には線形補間などの補間処理によって適切な位置に修正することができる。

上記と同様の視差補正及び合成を、撮像領域３０２ｂから得た画像情報と撮像領域３０２ｃから得た画像情報とについて行う。これにより、被写体距離の大小にかかわらず、Ｙ軸方向の解像度が向上した画像を得ることができる。

以上のようにして、撮像領域３０２ｂから得た画像情報に、撮像領域３０２ａから得た画像情報と撮像領域３０２ｃから得た画像情報を合成することにより、Ｘ軸方向及びＹ軸方向に高解像度化された画像が得られる。

本発明では、Ｘ軸方向の画素ピッチｐ１及びＹ軸方向の画素ピッチｐ２は同一でも異なっていても良い。例えば、複数の撮像素子を組み合わせて１つの撮像領域を構成したり、撮像領域ごとに別個の撮像素子を用いたりしても良い。いずれの場合であっても、画素の配列方向と垂直方向に画素ずらしを行うことで、被写体距離によらず、高解像度画像を得ることができ、さらに、複数の撮像領域とレンズアレイとの相対的な回転により画素ずらし量の調整が可能である。

（実施例１）
実施の形態１に対応した実施例を示す。

図６Ａは、実施例１の撮像装置の光軸と平行な方向に沿って見た平面図、図６Ｂは図６Ａの６Ｂ−６Ｂ線での矢視断面図である。７００はアクリル樹脂を用いて一体成型された３つのレンズを有するレンズアレイである。図６Ａに示すように、３つのレンズを、その光軸が一辺ｄが２ｍｍの正方形の３つの頂点に位置するように配置した。レンズは、いずれも緑色の波長の光に対して光学特性が最良となるように設計した。Ｚ軸方向において、レンズの中心から結像面までの距離は２．５ｍｍとした。レンズアレイ７００を円筒状の鏡筒７０１で保持した。鏡筒７０１の被写体に対向する側の面には、レンズの位置に対応して３個の開口７０２を設けた。基台７０３の鏡筒７０１と嵌合する部分には円環状の窪み（溝）を形成した。この窪みに沿って鏡筒７０１の中心軸を中心として鏡筒７０１を基台７０３に対して回転させて、３つのレンズがそれぞれ形成する被写体像と撮像素子７０４の画素との間に上述の画素ずらし配置が実現されるように調整した。

撮像素子７０４を基台７０３上に固定した。撮像素子７０４として、Ｘ軸方向及びＹ軸方向の画素ピッチｐ１，ｐ２がともに２μｍ、２０００画素（Ｘ軸方向）×２０００画素（Ｙ軸方向）のＣＣＤを用いた。この撮像素子７０４の有効画素領域のうち、３つのレンズがそれぞれ被写体像を結像する、８００画素（Ｘ軸方向）×６００画素（Ｙ軸方向）の３つの領域を撮像領域とした。レンズの光軸間隔が２ｍｍ、画素ピッチｐ１，ｐ２が２μｍであるので、光軸と平行な方向に沿って見たとき、一対のレンズの光軸を結ぶ直線と画素の配列方向とがなす角度θ（図２参照）を５×１０^-4ｒａｄに設定した。これにより、３つのレンズがそれぞれ結像する３つの被写体像と、これらの被写体像に対応する３つの撮像領域の画素との間に、いずれも画素ずらし配置を実現できた。

緑色の画像情報のみを取り出すために、撮像素子７０４の被写体側の面に緑色の波長帯域の光を透過させるカラーフィルター７０５を設けた。鏡筒７０１と基台７０３との間にスペーサー７０６を介在させて、レンズの結像面と撮像素子７０４の受光面とを正確に位置合わせした。

このようにして作成した撮像装置を用いて、被写体距離１ｍの位置に解像度チャートを設置して限界解像度の評価を行った。１つのレンズのみで撮影した８００画素（Ｘ軸方向）×６００画素（Ｙ軸方向）の画像の限界解像度は、Ｘ軸方向及びＹ軸方向ともに５５０ＴＶ本であった。一方、本発明の方法により３つの撮像領域で得た３つの画像情報を合成して得た画像の限界解像度は、Ｘ軸方向及びＹ軸方向ともに１０００ＴＶ本であり、約１．８倍に向上した。被写体距離距を１０ｃｍから３ｍまで変えながら限界解像度の評価を行ったところ、いずれの距離においても、１つのレンズのみで撮影した場合に比べて３つの画像情報を合成した場合には１．５〜１．８倍の限界解像度の向上がみられた。

また、上記角度θを変化させることにより、画素ずらし量ｄ×ｓｉｎθ（図２参照）と限界解像度との関係を調べたところ、ｄ×ｓｉｎθが０．５×ｐ１±０．２５×ｐ１の範囲内のときは、Ｘ軸方向において限界解像度の向上が見られ、ｄ×ｓｉｎθが０．５×ｐ２±０．２５×ｐ２の範囲内のとき、Ｙ軸方向において限界解像度の向上が見られた。特にｄ×ｓｉｎθが０．５×ｐ１±０．１×ｐ１及び０．５×ｐ２±０．１×ｐ２の範囲内のとき安定して解像度が向上した。

さらに、作製した撮像装置を恒温槽に入れて温度を変えた場合の特性を測定したところ、−１０度から４０度の間では、１つのレンズのみで撮影した場合に比べて３つの画像情報を合成した場合には１．５倍以上の限界解像度の向上が認められ、温度変化に対しても本発明が有効であることを確認した。

（実施の形態２）
実施の形態１では、３つのレンズ３０１ａ、３０１ｂ、３０１ｃが、これらの間の相対的位置関係に誤差がなく一体成型されたレンズアレイ３００を用いた撮像装置を説明した。しかしながら、実際のレンズアレイの生産において、複数のレンズ間の相対的位置関係に成型誤差が生じると、これを修正することは困難である。そのため、撮像領域の画素ピッチ以下の精度でレンズアレイを成型する必要があり、非常に高い成型精度が要求され、低コストで量産することが困難となる可能性がある。

一方、複数のレンズを別個に作成し、所望の画素ずらし配置が実現されるように、複数のレンズを対応する複数の撮像領域との位置関係を微調整して組み立てることは可能であるものの、調整工数が多く、量産には不向きである。

本実施の形態２では、実施の形態１に対して、レンズアレイの成型誤差を補償する機能が付加された撮像装置を提供する。

図７Ａは実施の形態１に係る撮像装置のレンズの配置を示した平面図である。説明を簡単化するため、レンズ３０１ｂの光軸とレンズ３０１ａの光軸との間隔、レンズ３０１ｂの光軸とレンズ３０１ｃの光軸との間隔は、いずれもｄであり、且つ、撮像領域のＸ時方向及びＹ軸方向における画素ピッチｐ１，ｐ２はいずれもｐである場合を説明する。従って、レンズアレイを角度θだけ回転させたとき、レンズ３０１ｂの光軸に対するレンズ３０１ａの光軸のＸ軸方向のずれ量、レンズ３０１ｂの光軸に対するレンズ３０１ｃの光軸のＹ軸方向のずれ量は、いずれもｄ×ｓｉｎθとなる。

しかしながら、レンズ３０１ｂの光軸とレンズ３０１ａの光軸とを結ぶ第１直線２１１と、レンズ３０１ｂの光軸とレンズ３０１ｃの光軸とを結ぶ第２直線２１２とがなす角度が、成型誤差により正確に直角ではなかった場合、上記の２つのずれ量は同時にｄ×ｓｉｎθとはならない。従って、レンズ３０１ｂ及びレンズ３０１ａがそれぞれ結像する２つの被写体像の間と、レンズ３０１ｂ及びレンズ３０１ｃがそれぞれ結像する２つの被写体像の間とに、同時に画素ずらし配置を実現することが困難となる場合がある。このような場合、角度θをどのように変えても、Ｘ軸方向及びＹ軸方向の両方向に高解像度化された画像を得ることはできない。

図７Ｂは本実施の形態２に係る撮像装置のレンズの配置を示した平面図である。図７Ａと同様に、撮像領域のＸ軸方向及びＹ軸方向における画素ピッチｐ１，ｐ２はいずれもｐである場合を説明する。本実施の形態２では、レンズ３０１ｂの光軸とレンズ３０１ａの光軸との間隔はｄ１、レンズ３０１ｂの光軸とレンズ３０１ｃの光軸との間隔はｄ２（ｄ２≠ｄ１）である。従って、レンズアレイを角度θだけ回転させたとき、レンズ３０１ｂの光軸に対するレンズ３０１ａの光軸のＸ軸方向のずれ量（即ち、Ｘ軸方向の画素ずらし量）はｄ１×ｓｉｎθ、レンズ３０１ｂの光軸に対するレンズ３０１ｃの光軸のＹ軸方向のずれ量（即ち、Ｙ軸方向の画素ずらし量）はｄ２×ｓｉｎθとなる。このように画素ずらし量がＸ軸方向とＹ軸方向とで異なることにより、レンズアレイの成型誤差が生じても、各方向の画素ずらし量が、実施例１で説明した、特に高い限界解像度の向上を実現できる０．５×ｐ１±０．１×ｐ１且つ０．５×ｐ２±０．１×ｐ２の範囲内に同時に入るように調整することが容易になる。すなわち、製造誤差が生じた場合でも、角度θを調整することによりＸ軸方向及びＹ軸方向の両方向に容易且つ確実に高解像度化できる撮像装置を作成でき、製造が容易となり歩留まりを向上できる。

なお、図７Ｂとは異なり、レンズの光軸間距離ｄ１，ｄ２を等しくし（ｄ１＝ｄ２＝ｄ）し、撮像領域のＸ軸方向の画素ピッチｐ１とＹ軸方向の画素ピッチｐ２とを異ならせ（ｐ１≠ｐ２）ても良い。この場合、レンズ３０１ｂの光軸に対するレンズ３０１ａの光軸のＸ軸方向のずれ量（即ち、Ｘ軸方向の画素ずらし量）がＸ軸方向の１画素ピッチｐ１と一致するための回転角度をθ（即ち、ｄ×ｓｉｎθ＝ｐ１）としたとき、レンズ３０１ｂの光軸に対するレンズ３０１ｃの光軸のＹ軸方向のずれ量（即ち、Ｙ軸方向の画素ずらし量）はｄ×ｓｉｎθであり、これはＹ軸方向の１画素ピッチｐ２と一致しない。即ち、図７Ｂと同様に、画素ピッチに対する画素ずらし量の比をＸ軸方向とＹ軸方向とで異ならせることができる。従って、レンズアレイの成型誤差が生じても、各方向の画素ずらし量が、高い限界解像度の向上を実現できる０．５×ｐ１±０．１×ｐ１且つ０．５×ｐ２±０．１×ｐ２の範囲内に同時に入るように調整することが容易になる。

（実施例２）
実施の形態２に対応した実施例を示す。

図８Ａは、実施例２の撮像装置の光軸と平行な方向に沿って見た平面図、図８Ｂは図８Ａの８Ｂ−８Ｂ線での矢視断面図である。

本実施例２が実施例１（図６Ａ，図６Ｂ）と相違するのは以下の点である。レンズアレイ７００には４つのレンズを一体成型した。図８Ａに示すように、４つのレンズを、その光軸が、Ｙ軸にほぼ平行な短辺（長さｄ１＝１．５ｍｍ）とＸ軸にほぼ平行な長辺（長さｄ２＝２ｍｍ）とを有する長方形の各頂点に位置するように配置した。撮像素子７０４上にはカラーフィルターを設けなかった。代わりに、鏡筒７０１の４つのレンズに対応して設けた４つの開口７０２にカラーフィルター８００ａ，８００ｂ，８００ｃ，８００ｄを設けた。対角位置のカラーフィルター８００ｂ，８００ｄは緑色の波長帯域の光を透過させ、カラーフィルター８００ａは赤色の波長帯域の光を透過させ、カラーフィルター８００ｃは青色の波長帯域の光を透過させる。各レンズは、対応するカラーフィルターが透過させる光の波長の光に対して光学特性が最良となるように設計した。撮像素子７０４の有効画素領域のうち、４つのレンズがそれぞれ被写体像を結像する、８００画素（Ｘ軸方向）×６００画素（Ｙ軸方向）の４つの領域を撮像領域とした。このようにしてカラー画像を合成する撮像装置を作成した。上記以外は図６Ａ，図６Ｂと同じであり、同一の構成要素には同一の符号を付しており、それらについての詳細な説明を省略する。

緑色の波長帯域の光を透過させる、対角位置に配置された２つのカラーフィルター８００ｂ，８００ｄに対応する２つの撮像領域から得た２つの画像情報を比較して、視差量を正確に求めた。この視差量のＸ軸成分がカラーフィルター８００ｃに対応する撮像領域から得た青色の画像情報の視差量であり、Ｙ軸成分がカラーフィルター８００ａに対応する撮像領域から得た赤色の画像情報の視差量である。

前述のように画像の局所領域では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各画像情報間には相関性があることが知られている。３色のカラーフィルターがベイヤー配列された撮像素子を用いた撮像装置において、この特性を利用して、ある色のフィルターが配された画素における他の２つの色の情報を、この画素の色情報から推測することで、色情報の補間処理を行うことは公知である。本実施例では、２つの緑色の画像情報に対して赤色及び青色の各画像情報が、画素ピッチの半分の奇数倍にほぼ相当する量だけずれているので、上記の色情報の補間処理を適用することができる。このようにして、各色情報を高解像度化した後に重ね合わせる（合成する）ことで、高解像度のカラー画像を得た。

レンズアレイ７００のレンズ配置を図９Ａに示す。図９Ａでは、４つのレンズのうち、カラーフィルター８００ａ，８００ｂ，８００ｃに対応する３つのレンズ（順に、４０１ａ，４０１ｂ，４０１ｃとする）のみを図示している。これら３つのレンズの光軸位置を精密に測定したところ、レンズ４０１ｂの光軸とレンズ４０１ｃの光軸とを結ぶ直線２１２をＸ軸と平行に設定すると、レンズ４０１ｂの光軸に対するレンズ４０１ａの光軸のＸ軸方向のずれ量は、Ｘ軸方向及びＹ軸方向の画素ピッチｐ１，ｐ２をいずれもｐ（ｐ１＝ｐ２＝ｐ＝２μｍ）としたとき、０．４×ｐ（＝０．８μｍ）であった。この状態から、レンズアレイ７００を撮像素子７０４に対して時計回り方向に７．５×１０^-4ｒａｄだけ回転させると、図９Ｂに示すように、レンズ４０１ｂの光軸に対するレンズ４０１ｃの光軸のＹ軸方向のずれ量は１．５×ｐ（＝３．０μｍ）となり、レンズ４０１ｂの光軸に対するレンズ４０１ａの光軸のＸ軸方向のずれ量は１．５２５×ｐ（＝３．０５μｍ）となった。すなわち、両ずれ量を、画素ピッチの半分の奇数倍にほぼ設定することができた。

１００個のレンズアレイのレンズの光軸の位置をそれぞれ測定したところ、設計位置に対して±２μｍの範囲のバラツキがあった。これらのレンズアレイを撮像装置に組み込みレンズアレイの撮像素子に対する回転角度を調整した。実施例１と同様に限界解像度の評価を行った。１つのレンズのみで撮影した８００画素（Ｘ軸方向）×６００画素（Ｙ軸方向）の画像の限界解像度は、Ｘ軸方向及びＹ軸方向ともに５５０ＴＶ本であった。一方、４つの撮像領域で得た４つの画像情報を合成して得たカラー画像の限界解像度は、Ｘ軸方向及びＹ軸方向ともに、いずれのレンズアレイを用いた場合であっても常に８００〜９００ＴＶ本であった。

なお、カラーフィルターの配置は上記の例に限定されない。たとえば、８００ａ，８００ｃを緑色の波長帯域の光を透過させるカラーフィルター、８００ｂを赤色の波長帯域の光を透過させるカラーフィルター、８００ｄを青色の波長帯域の光を透過させるカラーフィルターとしてもよい。

（比較例１）
本比較例１では、上記の実施例２において、４つのレンズを、その光軸が一辺ｄが２ｍｍの正方形の各頂点にほぼ位置するように配置した。これ以外は、撮像装置の構成及び画像情報の処理は実施例２と同一とした。

図９Ａに示すように、レンズ４０１ｂの光軸とレンズ４０１ｃの光軸とを結ぶ直線２１２をＸ軸と平行に設定したとき、レンズ４０１ｂの光軸に対するレンズ４０１ａの光軸のＸ軸方向のずれ量が、Ｘ軸方向及びＹ軸方向の画素ピッチｐ１，ｐ２をいずれもｐ（ｐ１＝ｐ２＝ｐ＝２μｍ）としたとき、０．４×ｐ（＝０．８μｍ）であった。この場合、レンズアレイ７００を撮像素子７０４に対してどのように回転させても、レンズ４０１ｂの光軸に対するレンズ４０１ａの光軸のＸ軸方向のずれ量、及びレンズ４０１ｂの光軸に対するレンズ４０１ｃの光軸のＹ軸方向のずれ量が、ともに０．５×ｐ±０．２×ｐの範囲内に同時に入るように調整することはできなかった。

実施例２と同様に限界解像度の評価を行った。４つの撮像領域で得た４つの画像情報を合成して得たカラー画像の限界解像度は、Ｘ軸方向とＹ軸方向とで異なる場合が多く、例えば、撮像素子７０４に対するレンズアレイ７００の回転角度がある値のときに、Ｘ軸方向で９００ＴＶ本、Ｙ軸方向で６００ＴＶ本と、Ｙ軸方向において高解像度化が達成されていなかった。

これは、以下の理由による。本比較例１ではレンズの光軸間隔ｄ１，ｄ２が相等しいために、撮像素子７０４に対してレンズアレイ７００をいくら回転させても、レンズ４０１ｂの光軸に対するレンズ４０１ａの光軸のＸ軸方向のずれ量、及びレンズ４０１ｂの光軸に対するレンズ４０１ｃの光軸のＹ軸方向のずれ量が同じになる。従って、レンズアレイの成型誤差状態によっては両ずれ量を画素ピッチの半分の奇数倍にほぼ設定することができない場合があるからである。

（実施の形態３）
本実施の形態では、被写体距離の測定と画像の高解像度化とが両立された撮像装置を提供する。

図１６Ａで説明したように、複眼方式の撮像装置では、被写体距離の違いによる視差は、一対のレンズの光軸を結ぶ直線方向に生じる。これに対して、本発明では、一対のレンズの光軸を結ぶ直線に対して垂直な方向に画素ずらし配置をして、画像の高解像度化を実現している。このように、本発明では、視差が生じる方向と画素ずらし配置の方向とが異なるため、被写体距離（即ち視差量）の測定と画像の高解像度化とを両立することができる。

本実施の形態では、視差量は、基準とされる画像（基準画像）を複数のブロックに分割し、各ブロックが比較される画像（被比較画像）内のどの部分と相関が最も大きいかを実施の形態１で説明したのと同様に調べることによって求める。本発明の画素ずらし配置によって、基準画像に対して被比較画像は、一対のレンズの光軸を結ぶ直線に対して垂直な方向に移動する。従って、通常の複眼方式の撮像装置での距離測定方法と同様に、一対のレンズの光軸を結ぶ直線に沿って画像の探索を行うと、相関が悪く、視差量を高精度で検出することが困難となりやすい。しかし、画素ずらし配置による画素ずらし量だけ、一対のレンズの光軸を結ぶ直線に対して垂直方向にずれた直線に沿って画像の探索を行えば、本発明の画素ずらし配置による影響が補正され、視差量の検出精度を向上させることができる。従って、本発明の画素ずらし配置の下で、被写体距離を高精度に測定することができる。

（実施例３）
実施の形態３に対応した実施例を示す。本実施例３は、被写体距離の測定と高解像度画像の撮影とを両立させるものである。

図１０Ａは、実施例３の撮像装置の光軸と平行な方向に沿って見た平面図、図１０Ｂは図１０Ａの１０Ｂ−１０Ｂ線での矢視断面図である。一対のレンズ１０００ａ，１０００ｂを有するレンズアレイ１０００を一体成型した。一対のレンズ１０００ａ，１０００ｂの光軸間距離は３ｍｍとした。レンズアレイ１０００を筒状の鏡筒１００１で保持した。鏡筒１００１の被写体に対向する側の面には、一対のレンズ１０００ａ，１０００ｂの位置に対応して２個の開口１００２を設けた。図１０Ａに示すように、光軸と平行な方向に沿って見た鏡筒１００１の外周面の平面視形状は、一対の直線１００１ａを長辺とし、この両端をつなぐ一対の円弧１００１ｂを短辺とする変形長方形とした。基台１００３の鏡筒１００１と嵌合する部分には、一対の円弧１００１ｂと同一の曲率を有する曲面１００３ｂを有する窪み（溝）を形成した。この窪みに沿って鏡筒１００１の中心軸を中心として鏡筒１００１を基台１００３に対して回転させて、一対のレンズ１０００ａ，１０００ｂがそれぞれ形成する一対の被写体像と撮像素子１００４の画素との間に画素ずらし配置が実現されるように調整した。

撮像素子１００４を基台１００３上に固定した。撮像素子１００４として、Ｘ軸方向及びＹ軸方向の画素ピッチｐ１，ｐ２がともに２．２μｍのＣＣＤを用いた。鏡筒１００１と基台１００３との間にスペーサー１００６を介在させて、レンズの結像面と撮像素子１００４の受光面とを正確に位置合わせした。

被写体距離の違いによる視差は、一対のレンズ１０００ａ，１０００ｂの光軸を結ぶ直線方向、即ちＸ軸方向に生じる。従って、一対のレンズ１０００ａ，１０００ｂの光軸を結ぶ直線と画素の一方の配列方向とがなす角度θを３．６×１０^-4ｒａｄに設定した。これにより、画素ずらし量が約１．１μｍのＹ軸方向の画素ずらし配置を実現した。

距離測定に色情報は不要である。従って、鏡筒１００１の一対の開口１００２には緑色の波長帯域の光を透過させる波長選択フィルター１００５をそれぞれ設けた。一対のレンズ１０００ａ，１０００ｂが結像した２つの画像を比較して、被写体距離を測定した。

一対のレンズ１０００ａ，１０００ｂが撮像素子１００４上にそれぞれ形成した一対の画像から以下のようにして視差量を求めた。即ち、まず、レンズ１０００ｂによる画像（被比較画像）の全体を、画像変換により、画素ピッチの半分に相当する量だけＹ軸方向に移動させた。次いで、被比較画像内において、レンズ１０００ａによる画像（基準画像）内のブロックが対応する部分の位置を探索した。基準画像内におけるこのブロックと、被比較画像内におけるこのブロックに対応する部分の位置とのＸ軸方向におけるずれ量（即ち、視差量）を求め、被写体距離を求めた。

Ｙ軸方向の画素ずらし配置を行わない以外は本実施例３と同じである比較例２の撮像装置を作成した。実施例３の撮像装置と比較例２の撮像装置とを、被写体距離の測定精度に関して比較した結果、両者に有意な差は認められなかった。一方、合成画像の限界解像度に関して比較した結果、実施例３では比較例２に比べて１．５倍の高解像度画像が得られた。

上記の実施例３では、一対の波長選択フィルター１００５として緑色の波長帯域の光を透過させるフィルターを用いた。しかし、これは一例であって、本発明はこれに限定されず、特定の波長帯域の光を選択的に透過させるフィルターであれば上記と同様の効果が得られる。例えば、一対の波長選択フィルター１００５として赤外光を透過させるフィルターを用いると、夜間においても被写体距離の測定と高解像度画像の撮影とが可能な撮像装置を実現できる。

（実施例４）
実施の形態３に対応した別の実施例を示す。本実施例４は、被写体距離の測定と高解像度のカラー画像の撮影とを両立させるものである。

図１１Ａは、実施例４の撮像装置の光軸と平行な方向に沿って見た平面図、図１１Ｂは図１１Ａの１１Ｂ−１１Ｂ線での矢視断面図である。直径２．１ｍｍの一対のレンズ１１００ａ，１１００ｂを有するレンズアレイ１１００を一体成型した。一対のレンズ１１００ａ，１１００ｂの光軸間距離は３ｍｍとした。レンズアレイ１１００を筒状の鏡筒１１０１で保持した。鏡筒１１０１の被写体に対向する側の面には、一対のレンズ１１００ａ，１１００ｂの位置に対応して２個の開口１１０２を設けた。図１１Ａに示すように、光軸と平行な方向に沿って見た鏡筒１１０１の外周面の平面視形状は、一対の直線１１０１ａを長辺とし、この両端をつなぐ一対の円弧１１０１ｂを短辺とする変形長方形とした。基台１１０３の鏡筒１１０１と嵌合する部分には、一対の円弧１１０１ｂと同一の曲率を有する曲面１１０３ｂを有する窪み（溝）を形成した。この窪みに沿って鏡筒１１０１の中心軸を中心として鏡筒１１０１を基台１１０３に対して回転させて、一対のレンズ１１００ａ，１１００ｂがそれぞれ形成する一対の被写体像と撮像素子１１０４の画素との間に画素ずらし配置が実現されるように調整した。

撮像素子１１０４を基台１１０３上に固定した。撮像素子１１０４として、Ｘ軸方向及びＹ軸方向の画素ピッチｐ１，ｐ２がともに２．２μｍのＣＣＤを用いた。鏡筒１１０１と基台１１０３との間にスペーサー１１０６を介在させて、レンズの結像面と撮像素子１１０４の受光面とを正確に位置合わせした。

被写体距離の違いによる視差は、一対のレンズ１１００ａ，１１００ｂの光軸を結ぶ直線方向、即ちＸ軸方向に生じる。従って、一対のレンズ１１００ａ，１１００ｂの光軸を結ぶ直線と画素の一方の配列方向とがなす角度θを３．６×１０^-4ｒａｄに設定した。これにより、画素ずらし量が約１．１μｍのＹ軸方向の画素ずらし配置を実現した。

レンズ１１００ａ，１１００ｂとして、屈折レンズの表面に回折格子を形成し、更に回折格子上にレンズ材料と屈折率が異なる材料からなる層を塗布により形成したレンズ（以下、「塗布層付き屈折回折レンズ」という）を用いた。これにより、比較的小さい口径の単レンズであるにもかかわらず、撮像素子１１０４の受光面上に可視光による被写体像を少ない収差で結像させることができた。

撮像素子１１０４上にカラーフィルター１１０５を形成した。図１２Ａはレンズ１１００ａに対応する撮像領域内の画素上のカラーフィルターの配置を示し、図１２Ｂはレンズ１１００ｂに対応する撮像領域内の画素上のカラーフィルターの配置を示す。図１２Ａ及び図１２Ｂに示すように、実施例４では、カラーフィルター１１０５として、赤Ｒ、緑Ｇ、青Ｂのうちのいずれかの色の光を透過するフィルターが画素配置に対応してベイヤー配列されたカラーフィルターを用いた。

撮像素子１１０４の各画素は、赤、緑、青のうちのいずれかの情報しか得ることができない。しかし、前述のように画像の局所領域では、赤色、緑色、青色の各画像情報間には相関性があることが知られている。この特性を利用して、３色のカラーフィルターがベイヤー配列された撮像素子を用いた撮像装置において、ある色のフィルターが配された画素における他の２つの色の情報を、この画素の色情報から推測することで、色情報の補間処理を行うことができることが知られている。この公知の手法を用いて、各画素で赤、緑、青の色情報を得た。従って、赤、緑、青の各色について画素ずらし配置を実現できた。赤、緑、青の各色ごとに２つの撮像領域から得た単色の画像情報を合成して高解像度画像を得た後、赤、緑、青の高解像度画像を更に合成して高解像度のカラー画像を得た。

一方、２つの撮像領域から得た単色の画像情報から、実施例３と同様にして被写体距離を求めた。

このように、本実施例４により、高解像度のカラー画像の撮影と被写体距離の測定とを両立することができた。

上記実施例４とは異なり、色情報の補間を行うことなく緑色の画像情報を基準として他の色の画像情報を合成し、その後、各画素で色情報の補間を行っても良い。このように合成後に色情報の補間を行う場合、この補間は画素により近い位置の色情報を用いて行うことができる。

撮像素子１１０４上に設けられるカラーフィルター１１０５の色配置は図１２Ａ及び図１２Ｂに示すベイヤー配列に限定されない。三原色の画像情報が得られれば、カラー画像の撮影が可能である。

例えば、レンズ１１００ａに対応する撮像領域内には図１３Ａに示すようにベイヤー配列されたカラーフィルターを設け、レンズ１１００ｂに対応する撮像領域内には図１３Ｂに示すように緑色の光を透過するフィルターのみを設けても良い。これにより、人の目が最も敏感である緑色の情報をより多く取得することができるので、解像度の高い画像を得ることができる。この場合、レンズ１１００ａとしては上記塗布層付き屈折回折レンズを用いることが好ましい。

あるいは、レンズ１１００ａに対応する撮像領域内には図１４Ａに示すように緑色の光を透過するフィルターと赤色の光を透過するフィルターとが画素配置に対応して市松模様に配置されたカラーフィルターを設け、レンズ１１００ｂに対応する撮像領域内には図１４Ｂに示すように緑色の光を透過するフィルターと青色の光を透過するフィルターとが画素配置に対応して市松模様に配置されたカラーフィルターを設けても良い。このように１つの撮像領域が受光する色を波長が近い２色とすることで、赤、緑、青の三原色を受光する場合に比べて、波長の違いによる屈折率の違いがもたらす収差の補正が容易になるので、単レンズの設計が容易になる。

以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らかにする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるものではなく、その発明の精神と請求の範囲に記載する範囲内でいろいろと変更して実施することができ、本発明を広義に解釈すべきである。

本発明の撮像装置の利用分野は特に制限はないが、薄型、小型でありながら高解像度画像を撮像できるので、特に携帯機器搭載用のカメラ等に好ましく利用できる。また、被写体までの距離を測定できることから、車両の周辺監視、セキュリティ、モーションキャプチャー、内視鏡などの分野で使用される入力装置にも利用できる。

Claims (9)

1. 略同一平面状に配置された複数の撮影光学レンズと、
   それぞれが前記複数の撮影光学レンズの各光軸に対して直交する面内に配置された多数の画素を有し、前記複数の撮影光学レンズがそれぞれ結像した複数の被写体像を複数の画像情報に変換する複数の撮像領域と
   を備える複眼方式の撮像装置であって、
   前記撮影光学レンズの数が少なくとも３個であり、
   前記光軸に平行な方向に沿って見たとき、二対の前記撮像光学レンズのそれぞれの光軸を結ぶ第１直線及び第２直線がなす角度がほぼ直角であり、
   前記光軸に平行な方向に沿って見たとき、前記第１直線及び前記第２直線は前記光軸において交差し、
   前記光軸に平行な方向に沿って見たとき、前記第１直線と前記画素の第１配列方向とがなす角度をθ１、前記第２直線と前記画素の第２配列方向とがなす角度をθ２、前記第１直線に沿って配置された一対の前記撮影光学レンズの光軸間隔をｄ１、前記第２直線に沿って配置された一対の前記撮影光学レンズの光軸間隔をｄ２、前記第１配列方向に垂直な方向に沿った前記画素の配置ピッチをｐ１、前記第２配列方向に垂直な方向に沿った前記画素の配置ピッチをｐ２、正の整数をｍ，ｎとしたとき、
   ｛（２ｎ−１）×ｐ１／２｝−ｐ１／４＜ｄ１×ｓｉｎθ１＜｛（２ｎ−１）×ｐ１／２｝＋ｐ１／４
   ｛（２ｍ−１）×ｐ２／２｝−ｐ２／４＜ｄ２×ｓｉｎθ２＜｛（２ｍ−１）×ｐ２／２｝＋ｐ２／４
   を満足し、
   かつ、撮影される最も近い被写体までの距離をＡｍｉｎ、前記撮影光学レンズの結像距離をｆとしたとき、前記正の整数ｍ，ｎは、
   ｎ＜Ａｍｉｎ／（４×ｆ）
   ｍ＜Ａｍｉｎ／（４×ｆ）
   を満足する複眼方式の撮像装置。
2. 前記複数の撮像光学レンズの各光路上には、所定の波長の光を透過するフィルターが設置されている請求項１に記載の複眼方式の撮像装置。
3. 前記複数の撮影光学レンズは、一体に成型されたレンズアレイである請求項１に記載の複眼方式の撮像装置。
4. 前記複数の撮影光学レンズと前記複数の撮像領域とを、前記複数の撮影光学レンズの光軸に対して直交する面内で相対的に回転させる機構を更に備える請求項１に記載の複眼方式の撮像装置。
5. 前記複数の撮影光学レンズと前記複数の撮像領域との距離を調整する機構を更に備える請求項１に記載の複眼方式の撮像装置。
6. 前記光軸間隔ｄ１と前記光軸間隔ｄ２とが異なる請求項１に記載の複眼方式の撮像装置。
7. 前記配置ピッチｐ１と前記配置ピッチｐ２とが異なる請求項１に記載の複眼方式の撮像装置。
8. 前記撮影光学レンズ及び前記撮像領域の数がいずれも４個であり、
   前記光軸に平行な方向に沿って見たとき、前記４個の撮影光学レンズの光軸が略長方形の頂点に配置され、
   前記４個の撮像領域のうち、１つに入射する光の光路上には青色の波長帯域の光を透過させるフィルターが設けられており、他の１つに入射する光の光路上には赤色の波長帯域の光を透過させるフィルターが設けられており、残りの２つに入射する光の光路上には緑色の波長帯域の光を透過させるフィルターが設けられている請求項１に記載の複眼方式の撮像装置。
9. 前記４個の撮像領域が共通する１つの撮像素子上に形成されており、前記略長方形と前記撮像素子の有効画素領域の形状とがほぼ相似形である請求項８に記載の複眼方式の撮像装置。

Images