JP5254291B2 - 固体撮像装置 - Google Patents

Description

本発明の実施形態は、固体撮像装置に関する。

２次元アレイ情報から奥行き方向の距離を得ることができる撮像技術として、参照光を使用する技術、複数のカメラを使用したステレオ測距技術などが知られている。このような技術は、近年、民生用途での新たな入力デバイスとしてニーズが高まっている。

コストを抑えるために参照光を使用しないで距離を得ることのできる撮像方式として、結像レンズを介した被写体からの光線角度が、距離情報を含んでいることを測距の原理とする方式がある。例えば、結像マイクロレンズアレイ（ＭＬＡ）を画素の上方に配置し、各結像マイクロレンズの対物側には光線を分割するためのアパーチャを配置した構造が提案されている。各結像マイクロレンズは、結像レンズにて結像された像をそれぞれの位置から再結像することで被写体までの距離に応じて強度分布にピークを持った画像を取得する。この信号ピークの数を計測することにより、被写体までの距離を推定することができる。

特許公開２００９−２４４６６２号公報

E. H. Adelson and J. Y. A. Wang, IEEE TRANSACI’IONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 14, NO. 2, FEBRUARY 1992, "Single Lens Stereo with a Plenoptic Camera"

本発明が解決しようとする課題は、被写体までの距離の分解能が高い固体撮像装置を提供することである。

本実施形態の固体撮像装置は、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体からの光を結像面に結像する結像レンズと、前記複数の画素ブロックに対応して設けられ、それぞれが開口部と遮蔽部とを有する複数のアパーチャ要素を含み、各アパーチャ要素は前記結像レンズからの光をフィルタリングする、アパーチャと、前記複数のアパーチャ要素に対応して設けられた複数のマイクロレンズを有し、各マイクロレンズは、対応するアパーチャ要素によってフィルタリングされた光を前記撮像領域に結像するマイクロレンズアレイと、前記撮像領域に撮像された画像の信号を処理し、前記被写体までの距離を推定する信号処理回路と、を備え、各アパーチャ要素が前記結像レンズの光軸から離れるにつれて前記各アパーチャ要素の中心が対応するマイクロレンズの中心に対してずれることを特徴とする。

実施形態の固体撮像装置を示す図。 実施形態の固体撮像装置のアパーチャ要素の具体例を示す図。 実施形態の固体撮像装置の光量変化の抑制効果を説明する図。 実施形態の固体撮像装置の光量変化の抑制効果を説明する図。 実施形態の固体撮像装置の光量変化の抑制効果を説明する図。 実施形態の固体撮像装置の主光線毎のアパーチャの位置を示す図。 実施形態の固体撮像装置のアパーチャとマイクロレンズの位置関係を示す図。 実施形態の固体撮像装置の結像レンズ、アパーチャ、マイクロレンズ、撮像素子の位置関係を示す図。 実施形態の固体撮像装置の結像レンズによって集光された光が広がる範囲を説明する図。 実施形態の固体撮像装置のマイクロレンズと撮像素子の位置関係による重複領域が存在することを説明する図。 実施形態の固体撮像装置の被写体の位置によって撮像装置に入射する光線を示す図。 実施形態の固体撮像装置の被写体の位置による、アパーチャ要素および撮像素子における被写体の像を説明する図。 実施形態の固体撮像装置の被写体の位置による、撮像素子が受光する信号強度を示す図。 実施形態の固体撮像装置の被写体の位置による、撮像素子における縞の個数と、被写体までの距離との関係を示す図。 実施形態の固体撮像装置の２次元画像の取得方法を説明する図。

実施形態による固体撮像装置は、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体からの光を結像面に結像する結像レンズと、前記複数の画素ブロックに対応して設けられ、それぞれが開口部と遮蔽部とを有する複数のアパーチャ要素を含み、各アパーチャ要素は前記結像レンズからの光をフィルタリングする、アパーチャと、前記複数のアパーチャ要素に対応して設けられた複数のマイクロレンズを有し、各マイクロレンズは、対応するアパーチャ要素によってフィルタリングされた光を前記撮像領域に結像するマイクロレンズアレイと、前記撮像領域に撮像された画像の信号を処理し、前記被写体までの距離を推定する信号処理回路と、を備えている。

実施形態による固体撮像装置について図面を参照して説明する。本実施形態の固体撮像装置を図１に示す。この実施形態の固体撮像装置１は、結像レンズ１１と、アパーチャ１３と、マイクロレンズアレイ１５と、撮像素子１７と、信号処理回路２０とを備えている。アパーチャ１３は、複数のアパーチャ要素１３ａ、１３ｂ、１３ｃに分割されている。また、マイクロレンズアレイ１５は複数のマイクロレンズ１５ａ、１５ｂ、１５ｃを有し、各マイクロレンズ１５ｉ（ｉ＝ａ，ｂ，ｃ）は、アパーチャ要素１３ｉに対応して設けられている。撮像素子１７は、複数の画素ブロックを備えた撮像領域を有し、各画素ブロックは複数の画素を有している。

被写体１００から発せられた光は、結像レンズ１１、アパーチャ１３、マイクロレンズアレイ１５を通って撮像素子１７の画素に入射する。そして、被写体１００の情報は撮像素子１７によって電気信号に変換される。撮像素子１７から出力されて電気信号は信号処理回路２０によって処理され、被写体２０の画像が得られるとともに被写体２０までの距離情報を推定する。

図１において、ａは結像レンズ１１と被写体１００との間の距離、ｂは結像レンズ１１による結像距離、ｆは結像レンズ１１の焦点距離、Ｒは開口径（結像レンズの半径）、φはマイクロレンズの直径、ｒはマイクロレンズの半径（＝φ／２）、Ｌはアパーチャ１３とマイクロレンズ１５との間の距離、Ｍはマイクロレンズ１５と撮像素子１７との間の距離を表している。

（アパーチャについて）
次に、アパーチャ１３について説明する。アパーチャ１３は被写体１００までの距離情報を得るために設置するものであり、アパーチャ１３の分割数（すなわちアパーチャ要素の個数）が距離情報の分解能に対応する。

このアパーチャ１３を構成するアパーチャ要素（例えば、アパーチャ要素１３ｉ）の具体例を図２（ａ）、２（ｂ）にそれぞれ示す。図２（ａ）、２（ｂ）に示すように、アパーチャ要素１３ｉの形状は開口部１３１と遮蔽部１３３とが互いに、中心軸１３０に対して対称の位置にあるように構成されている。すなわち、中心軸１３０に対して左側に位置する開口部１３１は、中心軸１３０に対して右側に位置する遮蔽部１３３と対称の位置にあるように構成され、中心軸１３０に対して左側に位置する遮蔽部１３３は、中心軸１３０に対して右側に位置する開口部１３１と対称の位置にあるように構成されている。このように，中心軸１３０に対して、開口部１３１と遮蔽部１３３とが互いに対称の位置となっているが、アパーチャ要素全体からみると、中心軸は対称軸ではなく、非対称軸となっている。すなわち、アパーチャ要素１３ｉは中心軸１３０に対して左右非対称となる。図２（ａ）は開口部１３１と遮蔽部１３３が同心となる各円環領域に半分ずつ配置された例を示しており、図２（ｂ）は開口部１３１と遮蔽部１３３が中心軸１３０に沿って延在しかつ交互に配置された構成となっている。

各アパーチャ要素１３ｉ（ｉ＝ａ，ｂ，ｃ）は、対応するマイクロレンズ１５ｉと組になっており、アパーチャ１３は、これらのアパーチャ要素１３ａ、１３ｂ、１３ｃがアレイ状に配置された構成となっている。また、各アパーチャ要素１３ｉ（ｉ＝ａ，ｂ，ｃ）の中心はマイクロレンズ１５ｉの中心と同軸上にあるように配置される。

なお、上述のアパーチャ１３を設けることにより、撮像素子１７に取り込まれた画像の縞模様から被写体１００までの距離情報を得る方法については後述する。

次に、アパーチャ要素１３ｉと、このアパーチャ要素１３ｉに入射する主光線の入射位置との位置関係に対応して、撮像素子１７に入射する光量変化について図３乃至図５を参照して説明する。

図３は、アパーチャ要素１３ｉの中心軸１３０上に主光線の入射位置３０が位置する場合、すなわち中心軸１３０と光軸の中心が一致する場合のアパーチャ要素１３ｉを示す平面図である。図３に示すアパーチャ要素１３ｉにおいて、結像レンズ１１によって形成される被写体１００の像の範囲が符号３１で示されている。このように、図４（ａ）に示すように、光軸の中心とアパーチャ要素１３ｉの中心軸１３０を一致させた場合、撮像素子１７に入射する光量を図４（ｂ）に示す。図４（ａ）、４（ｂ）において、ｋは、主光線の入射位置３０を中心とした、アパーチャ要素１３ｉにおける被写体１００の像の領域３１の半径を示し、ｎ（＝１，２，３，４，５）は入射位置３０を通り中心軸１３０に直交する方向の直線がアパーチャ要素１３ｉの、開口部１３１と遮蔽部１３３の境界と交差する点を示しており、入射位置３０から近い順に番号を付している。図４（ｂ）の横軸はアパーチャ要素１３ｉにおける被写体１００の像の領域３１の半径を表し、縦軸はアパーチャ要素１３ｉの開口部１３１の割合を表している。この開口部１３１の割合とは、領域３１の面積に対する、領域３１のおける開口部１３１の面積の割合を意味している。図４（ｂ）からわかるように、撮像素子１７に入射する光量は、アパーチャ要素１３ｉに入射する光量に対し常に一定の１／２になっている。

これに対し、図５（ａ）に示すように、光軸の中心３０とアパーチャの中心軸１３０がずれている場合、又はアパーチャ要素が軸対称となる形状を有している場合、被写体との距離により撮像素子１４で得られる像は図５（ｂ）に示すように光量差が生じてしまう。したがって、アパーチャ要素１３ｉを本実施形態で用いる形状にする、すなわちアパーチャ要素１３ｉの中心軸に対して開口部１３０と遮蔽部１３３が互いに対称の位置になるような形状にし、かつ光軸の中心３０とアパーチャの中心軸１３０が一致するように構成することで、光量の変化を抑えることができる。このとき、アパーチャ要素は、光軸の中心３０に対して非対称となる。

光軸に対し角度を持って結像レンズに入射する光軸外光線の場合、距離による縞模様を形成するためにはアパーチャをこの斜め入射光に対応する必要がある。具体的にはアパーチャを湾曲させたり、又は図６に示すようにマイクロレンズの中心からずらしたりという方法が必要であるが、縞模様の数から距離を測るという方法は同じである。

（マイクロレンズアレイについて）
マイクロレンズアレイ１５は、各アパーチャ要素１３ｉの像が撮像素子１７において重ならない様に分離させるように配置する必要があり、本実施形態における距離撮情報を得るのに重要な役割をするものである。マイクロレンズ１５ｉ（ｉ＝ａ，ｂ，ｃ）の直径は対応するアパーチャ要素１３ｉの直径と同じであり、マイクロレンズ１５ｉを２次元状に複数配置したマイクロレンズアレイ１５は、アパーチャ１３より撮像素子１７側に配置する。

（アパーチャ、マイクロレンズアレイ、および撮像素子の位置関係について）
アパーチャ１３は結像レンズ１１の焦点距離ｆに位置するように配置する。この場合、被写体１００が無限遠に位置しているとき、被写体光１００はアパーチャ１３の面に最小点像半径にて結像し、アパーチャ１３を通る光は被写体１００が無限遠に位置している時に縞模様が無い像を形成し、結像レンズ１１に近づくにつれて縞模様の数が増えていく状態となる。

アパーチャ１３とマイクロレンズアレイ１５との距離Ｌは、結像レンズ１１の焦点距離ｆと、マイクロレンズ１５ｉの半径ｒによって決まる。図７に示すように、三角形の相似関係より、Ｌの最大値は、マイクロレンズ１５ｉに結像レンズ１１の集光光が収まる限界となる結像点とアパーチャ１３ｉとの距離となる。したがって、Ｌの取りうる範囲は、

となる。例として、Ｒ＝４ｍｍ、ｆ＝１６ｍｍ、φ＝３０μｍとすると、Ｌの取りうる範囲は結像レンズ１１の焦点から撮像素子１７の方向へ６０μｍの範囲である。したがって、Ｌ＝６０μｍの位置にマイクロレンズアレイ１５を設置すると、被写体１００から発射され撮像素子１７に入射する光線は図８に示すようになる。図８において、遠地点の光（破線で表示）はマイクロレンズ１５ｂを通った後に集光され、また近地点の光（実線で表示）は、縞模様の情報を保持したまま撮像素子１７へ到達する。したがって、マイクロレンズアレイ１５の設置位置は距離情報取得可能な被写体の距離範囲において、最も近い距離に被写体１００が位置するときの結像距離ｂと同程度とする。

以上を踏まえ、撮像素子１７に求められる位置関係、すなわちマイクロレンズ１５ｉから撮像素子１７までの距離Ｍについて説明する。

マイクロレンズ１５ｉを通った後の、撮像素子１７における実像の広がる半径をｘとすると、図９からわかるように、ｘの値は、

と表せられる。このｘが結像面、すなわち撮像素子１７において重ならないようなＭの範囲は、

となる。この条件を満たせば撮像素子１７上でマイクロレンズ１５ｉの像が重複する領域はなくなる。有効画素を十分に利用するためには出来るだけ大きなＭを用いるべきである。上式を用いて撮像素子１７においてマイクロレンズの像が重複する範囲を図１０（ａ）、１０（ｂ）を参照して説明する。

図１０（ａ）においては、

である状態を示し、
図１０（ｂ）においては、

の状態を示している。図１０（ｂ）において斜線で示した範囲が重複している範囲を表している。この様に、Ｍの値によって撮像素子上で像が重複する領域の大きさが変化するため、重複を避けるために式（１）を満たす範囲にＭを設定することが必要となる。

（距離情報を得る方法）
次に、撮像素子１７に取り込まれた画像の縞模様から被写体１００までの距離情報を得る方法について説明する。

図１１に示すように、被写体１００とカメラとの距離ａがそれぞれ異なる場合、すなわち被写体１００がＩ、ＩＩ、ＩＩＩに示す位置にある場合によって結像レンズ１１によって結像される位置が変化する。

また、被写体１００がＩ、ＩＩ、ＩＩＩに示す位置にある場合における、被写体１００のアパーチャ要素１３ｉにおける像１０２を、図１２（ａ）、１２（ｂ）、１２（ｃ）に示し、撮像素子１７における被写体１００の像１０４を図１２（ｄ）、１２（ｅ）、１２（ｆ）に示す。図１２（ａ）乃至図１２（ｆ）からわかるように、撮像素子１７で得られる像１０４はアパーチャ要素１３ｉ中の通過可能な開口部１３１を通り抜けた光となるので、像１０４は実際に通過した開口部１３１の数だけピークを持つことになる。この実像１０４のピーク数により、被写体１００までの距離を得ることができる。

また、被写体１００がＩ、ＩＩ、ＩＩＩに示す位置にある場合における、アパーチャ要素１３ｉおよびマイクロレンズ１５ｉを通過する光線を図１３（ａ）、１３（ｂ）、１３（ｃ）に示し、各位置で得られる撮像素子１７での信号強度を図１３（ｄ）、１３（ｅ）、１３（ｆ）に示す。

次に、被写体１００までの距離は、以下のようにして得られる。

まず、結像レンズ１１においては、

が成り立ち、この式と光線軌跡における三角形の相似により、アパーチャ１３上での実像半径ｒ’は、

で表される。したがって、結像レンズ１１とマイクロレンズ１５の間に左右非対称なアパーチャ１３を設置すると、距離に依存してアパーチャ１３に形成される像の大きさは変化する。このとき、図１２（ａ）乃至図１２（ｆ）で説明したように、撮像素子１７で得られる像１０４はアパーチャ要素１３ｉ中の通過可能な開口部１３１を通り抜けた光となるので、像１０４は実際に通過した開口部１３１の数だけ縞模様のピークを持つことになる。この実像のピーク数により、被写体１００までの距離を得ることができる。例としてＲ＝４ｍｍ、ｆ＝１６ｍｍ、φ＝３０μｍ、アパーチャ１３の遮蔽部１３３と開口部１３１の幅をそれぞれ３μｍの場合を考える。

この時、Ｎ本の縞模様のピークを形成するアパーチャ１３上での実像半径ｒ’の条件は、アパーチャ１３の開口部１３１、遮蔽部１３３は共に３μｍであるため、光が入射する開口部１３１の大きさから３（Ｎ−１）＜ｒ’＜３Ｎの範囲と表せる。この条件に（２）式のｒ’を代入し、計算した結果を、図１４（ａ）、１４（ｂ）に示す。図１４（ａ）は縞の個数Ｎと、被写体１００までの距離ａとの関係を示す表であり、図１４（ｂ）は、上記関係を模式的に示した図である。図１４（ａ）、１４（ｂ）からわかるように、距離を分解することができる。距離の分解は、原理的にはアパーチャ要素１３ｉの遮蔽部１３３の幅をＷとしたとき、被写体１００との距離ａの情報は[ｒ’／Ｗ]個の分解能を持つ。ここで、[ｘ]は、ｘを超えない最大の整数を表す。例えば、縞模様のピークの数が２個となるＮ＝２の場合、ｒ’の取りうる範囲は３μｍ＜ｒ’＜６μｍとなる。これに（２）式を代入すると、

と表され、整理すると、

と表せる。これにｆ、Ｒの値を代入すると、
１．０×１０^４ｍｍ＜ａ＜２．１×１０^４ｍｍ
となり、図１４（ａ）に示されている様に、この範囲の被写体間距離ａであれば縞模様ピークが２つ存在し、他の被写体間距離と区別することができる。

（距離情報と同時に２次元画像を同時に得る方法）
次に、距離情報と同時に２次元画像を同時に得る方法について図１５（ａ）、１５（ｂ）を参照して説明する。撮像素子１７上で一つのマイクロレンズに相当するイメージセンサ領域を区切り、これを画素ブロック１７ａと呼ぶこととする。図１５（ａ）にこの模式図を表す。画素ブロック１７ａはｋを画素の単位とすると、ここではｋ×ｋの領域を持つこととする。図１５（ａ）中の符号１８はマイクロレンズ１５ｉを撮像素子１７上に投影した位置を表している。画素ブロック１７ａ内で得られる画素信号の分布は、アパーチャ１３とマイクロレンズ１５により距離情報に対応しているため、画素ブロック１７ａ内の信号分布は２次元画像情報を反映しない。そこで一つのマイクロレンズの直下にある輝度値を平均し、画素ブロック１７ａ内の複数の画素の輝度値を１画素に換算することで２次元画像を再現する。これらの演算は、図１に示す信号処理回路２０で行う。

この場合、撮像素子１７の画素をＭ×Ｎ個とすると画素ブロック１７ａはＭ×Ｎ／（ｋ×ｋ）個となる。図１５（ａ）では例として撮像素子１７の画素数を２４×２４、画素ブロック１７ａを４×４として表しているが、実際はこの数値に限らない。

次に、撮像素子１７で得られた像から元の二次元画像を再現する方法を述べる。各画素ブロック１７ａで得られるマイクロレンズの像は、被写体との距離にもよるが像がぼやけて結像している。そこで、各画素ブロック１７ａ内の画素で得られた信号を平均し、１つの画素ブロックを１画素に換算して像を再構成する。この換算も図１に示す信号処理回路２０で行う。以上の再構成によって得られた、図１５（ｂ）に示す像１９は、マイクロレンズアレイに入射してきた光線の分布図であり、マイクロレンズによる収差の影響を低減することができる。

以上説明したように、本実施形態によれば、アパーチャを組み込むことにより、被写体までの距離分解能を向上させることができる。

また、アパーチャの形状を前述の通り光軸中心に対して非対称とすることにより、距離を測りつつ被写体までの距離による光量変化を緩和することができる。

また、単眼（例えば、単一のレンズ、または単一の撮像素子）での距離撮像を可能とするため、複眼（例えば複数のレンズ、または複数の撮像素子）と比べてシステムを簡略化することができ、コストの低減、及び部品合せエラー等による組立て時の歩留まりの低下を抑制することができる。

また、アパーチャは機構部分をもたないため、時間の経過による金属疲労などのエラーを最低限減らすことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 固体撮像装置
１１ 結像レンズ
１３ アパーチャ
１３ａ，１３ｂ，１３ｃ アパーチャ要素
１５ マイクロレンズアレイ
１５ａ，１５ｂ，１５ｃ マイクロレンズ
１７ 撮像素子
２０ 信号処理回路
３０ 主光線に入射位置
３１ アパーチャ要素における被写体の像の領域
１０２ アパーチャ要素における被写体の像
１０４ 撮像素子における被写体の像
１３０ アパーチャの中心軸
１３１ 開口部
１３３ 遮蔽部

Claims (6)

1. それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、
   被写体からの光を結像面に結像する結像レンズと、
   前記複数の画素ブロックに対応して設けられ、それぞれが開口部と遮蔽部とを有する複数のアパーチャ要素を含み、各アパーチャ要素は前記結像レンズからの光をフィルタリングする、アパーチャと、
   前記複数のアパーチャ要素に対応して設けられた複数のマイクロレンズを有し、各マイクロレンズは、対応するアパーチャ要素によってフィルタリングされた光を前記撮像領域に結像するマイクロレンズアレイと、
   前記撮像領域に撮像された画像の信号を処理し、前記被写体までの距離を推定する信号処理回路と、
   を備え、各アパーチャ要素が前記結像レンズの光軸から離れるにつれて前記各アパーチャ要素の中心が対応するマイクロレンズの中心に対してずれることを特徴とする固体撮像装置。
2. 前記アパーチャは前記結像レンズの焦点距離に配置され、
   前記マイクロレンズアレイは前記アパーチャと前記撮像素子との間に配置され、前記マイクロレンズアレイと前記撮像素子との間の距離をＭ、前記結像レンズの半径をＲ、前記マイクロレンズの半径をｒ、後側像面距離をｂとしたとき、前記撮像素子が
   

   

   を満たす範囲に配置されていることを特徴とする請求項１記載の固体撮像装置。
3. 前記アパーチャ要素は、前記開口部と前記遮蔽部が互いに中心軸に対して対称の位置となるように配置された形状を有していることを特徴とする請求項１または２記載の固体撮像装置。
4. 前記アパーチャ要素は、前記開口部と前記遮蔽部が同心となる各円環領域に半分ずつ配置された構成であることを特徴とする請求項３記載の固体撮像装置。
5. 前記アパーチャ要素は、前記開口部と前記遮蔽部とが前記中心軸に沿って配置された構成であることを特徴とする請求項３記載の固体撮像装置。
6. 前記信号処理回路は、前記撮像領域に撮像された像の縞模様の数によって前記被写体までの距離を推定することを特徴とする請求項１乃至５のいずれかに記載の固体撮像装置。

Images