JP2014165907A - 固体撮像装置及び撮像装置 - Google Patents

Abstract

【課題】機械的な機構を用いることなく立体感を可変にし、立体画像と平面画像とを切り替えられる固体撮像装置を提供する。
【解決手段】複数の画素が行列状に配置された画素部３００と、画素部の上方に配置された集光素子３０２と、信号処理部１０６とを備え、複数の画素はそれぞれ、光電変換部を有し、画素部は、第１の画素群を含む複数の画素群を有し、複数の画素群はそれぞれ、複数の画素のうち、同じ行、且つ、隣接するｎ列（ｎ：３以上の整数）に配置された画素で構成され、信号処理部１０６は、第１の画素群内の任意の画素から出力された信号にそれぞれ、任意の実数を乗算した後に合算することで、第１の平面画像を形成する第１の合成信号と、第１の立体画像を形成する第２の合成信号及び第３の合成信号とを同時に、又は、別々に生成する。
【選択図】図５

Description

本発明は、立体視カメラまたは多視点カメラに有効な固体撮像装置に関する。

従来の技術における立体視可能な撮像装置では、視点の異なる２枚の画像からなる立体画像と視点が一つの平面画像を切り替えて使う際、動的な機構を用いる必要性があった。

例えば、特許文献１の技術では、カメラの可変絞りを動かすことで立体感を可変にし、又は、平面画像を生成する。

国際公開第２０１２／００２０７０号

しかしながら、特許文献１の方法では機械的な機構を備える必要が有るため、極めて小さいカメラに実装する場合には、当該機構によってカメラのサイズが制約されてしまう。

本発明は、上記課題を解決するためのもので、機械的な機構を用いることなく立体感を可変にし、立体画像と平面画像とを切り替えられる固体撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る固体撮像装置は、複数の画素が行列状に配置された画素部と、前記画素部の上方に配置された集光素子と、信号処理部とを備え、前記複数の画素はそれぞれ、光電変換部を有し、前記画素部は、第１の画素群を含む複数の画素群を有し、前記複数の画素群はそれぞれ、前記複数の画素のうち、同じ行、且つ、隣接するｎ列（ｎ：３以上の整数）に配置された画素で構成され、前記信号処理部は、前記第１の画素群内の任意の画素から出力された信号にそれぞれ、任意の実数を乗算した後に合算することで、第１の平面画像を形成する第１の合成信号と、第１の立体画像を形成する第２の合成信号及び第３の合成信号とを同時に、又は、別々に生成することを特徴とする。

また、前記信号処理部は、前記第１の画素群内の任意の画素から出力された信号にそれぞれ、任意の実数を乗算した後に合算することで、第１の立体画像と異なる視差の第２の立体画像を形成する第４の合成信号及び第５の合成信号とを、前記第１から第３の合成信号と同時に、又は、別々に生成してもよい。

本態様によれば、機械的な機構を用いることなく、異なる視差を持つ複数の立体画像や平面画像を同時に、又は、別々に形成できる。

本発明によれば、機械的な機構を用いることなく立体感を可変にし、立体画像と平面画像とを切り替えられる固体撮像装置を提供できる。

本発明の実施形態に係る撮像装置の概略構成を示す図 本発明の実施形態に係る光学的な概念を示す図 本発明の実施形態に係る画素配列の一例を示す図 （ａ）（ｂ）（ｃ）はそれぞれ、本発明の実施形態に係るカラーフィルタのレイアウトの一例を示す図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る固体撮像装置の光路をシミュレーションした図であり、（ａ）は隔壁がない場合、（ｂ）は隔壁がある場合のシミュレーション結果を示す図 本発明の実施形態に係る固体撮像装置の入射角度と感度の関係を示す図であり、（ａ）は隔壁がない場合、（ｂ）は隔壁がある場合のシミュレーション結果を示す図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、図３のＸＸ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、図３のＹＹ´断面図 屈折率分布型のマイクロレンズのレイアウトの例を示す図 屈折率分布型のマイクロレンズのレイアウトの例を示す図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る画素の断面構造の一例であり、（ａ）は図３のＸＸ´断面図、（ｂ）は図３のＹＹ´断面図 本発明の実施形態に係る撮像装置の光路の概略を示す図 本発明の実施形態に係る撮像装置によって平面画像を取得する方法の一例を示す概念図であり、（ａ）はカメラレンズの仮想的に決められた透過領域を示す図、（ｂ）は画素からの信号出力の概念図、（ｃ）は光の入射角度と感度の関係を示す図 本発明の実施形態に係る撮像装置によって平面画像を取得する方法の一例を示す概念図であり、（ａ）はカメラレンズの仮想的に決められた透過領域を示す図、（ｂ）は画素からの信号出力の概念図、（ｃ）は光の入射角度と感度の関係を示す図 本発明の実施形態に係る撮像装置によって立体画像を取得する方法の一例を示す概念図であり、（ａ）はカメラレンズの仮想的に決められた透過領域を示す図、（ｂ）は画素からの信号出力の概念図、（ｃ）は光の入射角度と感度の関係を示す図 本発明の実施形態に係る撮像装置によって立体画像を取得する方法の一例を示す概念図であり、（ａ）はカメラレンズの仮想的に決められた透過領域を示す図、（ｂ）は画素からの信号出力の概念図、（ｃ）は光の入射角度と感度の関係を示す図 本発明の実施形態に係る撮像装置によって立体画像を取得する方法の一例を示す概念図であり、（ａ）はカメラレンズの仮想的に決められた透過領域を示す図、（ｂ）は画素からの信号出力の概念図、（ｃ）は光の入射角度と感度の関係を示す図 本発明の実施形態に係る撮像装置によって立体画像を取得する方法の一例を示す概念図であり、（ａ）はカメラレンズの仮想的に決められた透過領域を示す図、（ｂ）は画素からの信号出力の概念図、（ｃ）は光の入射角度と感度の関係を示す図 本発明の実施形態に係る撮像装置によって立体画像を取得する方法の一例を示す概念図であり、（ａ）はカメラレンズの仮想的に決められた透過領域を示す図、（ｂ）は画素からの信号出力の概念図、（ｃ）は光の入射角度と感度の関係を示す図 本発明の実施形態に係る信号処理の概念の一例を示す図 本発明の実施形態に係る信号処理の概念の一例を示す図 本発明の実施形態に係る補正行列による補正前後の斜入射特性のシミュレーション結果を示す図

以下、本発明に係る実施形態について、図面を参照しながら説明する。実質的に同一の構成に対しては同一の符号を付して説明を省略することがある。なお、本発明は以下の実施形態に限定されない。

（撮像装置概略）
図１に本実施形態に係る撮像装置１００の概略を示す。カメラレンズ１０２は一つで構成されている。また撮像装置１００にはカメラレンズ１０２からの光を受光し電子信号へ変換する撮像部１０４が備えられている。また、信号処理部１０６は、制御信号に基づいて、撮像部１０４からの信号を処理する。信号処理部１０６は、撮像部１０４と同じチップに形成されていても良いし、別チップに形成されていても良い。信号処理部１０６で処理された信号は、モニタ１０８に出力されても良いし、記録媒体１１０に保存されても良いし、出力及び保存が同時に行われても良い。このように、信号処理部１０６で処理された信号の行き先は任意である。

図２に本実施形態に係るレンズによる光学的な概念図を示す。被写体２００からの光はカメラレンズ１０２を通して、固体撮像装置２０２に集光される。カメラレンズ１０２は、例えば透過領域Ａ、Ｂ、Ｃ、Ｄに仮想的に分割され、それぞれの領域を通った光は受光点２０４に集光される。

（画素配列）
図３に固体撮像装置２０２における画素の配列の一例を示す。画素数は任意である。画素部３００には、複数の画素３００−ｐｑ（ｐ、ｑ：自然数）が配置されている。画素３００−ｐｑは、第ｐ行目、且つ、第ｑ列目の座標に配置されていることを意味している。また、本明細書では、同じ行、且つ、隣接するｎ列（ｎ：３以上の整数）に配置された画素を「画素群」と定義する。図３では、同じ行、且つ、隣接する４列に配置された画素が画素群を構成する。１つの画素群に対して、１色のカラーフィルタが対応している。

図３は、隣接する２行４列毎に異なるカラーフィルタが配置されている。つまり、列方向に隣接する画素群の上方に同じ色のカラーフィルタが配置されている。なお、「Ｇ」は緑のカラーフィルタ、「Ｂ」は青のカラーフィルタ、「Ｒ」は赤のカラーフィルタを意味するが、シアン、マゼンタ、イエローでも構わない。

また、本実施形態に係る固体撮像装置では、隣接する４列毎に異なる集光素子が配置されている。具体的には、１列目から４列目に配置された画素で構成された各画素群の上に集光素子３０２が配置され、５列目から８列目に配置された画素で構成された各画素群の上に集光素子３０４が配置されている。

集光素子３０２及び３０４は、それぞれの下方に配置された各画素群へ光を集光する。本実施形態のように、集光素子は、例えば、複数の凸レンズが並列に並んで配置されたレンチキュラレンズで構成されていてもよい。この場合、集光素子３０２及び３０４がそれぞれ一つの凸レンズに該当し、各凸レンズの下方に配置され、対応する画素群へ光を集光する。

図４（ａ）（ｂ）（ｃ）はそれぞれ、集光素子、カラーフィルタの配置のバリエーションを示す図である。なお、以下に示す配置は一例であり、配置の仕方は任意である。

図４（ａ）は、隣接する４列毎に集光素子３０２ａ及び３０４ａが配置されている場合を示している。そして、図３や図４（ａ）に示すように、隣接する１行４列、２行４列又は４行４列に配置される複数の画素に対して１種類のカラーフィルタが配置されていてもよい。

図４（ｂ）は、隣接する３列毎に集光素子３０２ｂ及び３０４ｂが配置されている場合を示している。そして、図４（ｂ）に示すように、隣接する１行３列又は３行３列に配置される複数の画素に対して１種類のカラーフィルタが配置されていてもよい。

図４（ｃ）は、隣接する５列毎に集光素子３０２ｃ及び３０４ｃが配置されている場合を示している。そして、図４（ｃ）に示すように、隣接する１行５列又は５行５列に配置される複数の画素に対して１種類のカラーフィルタが配置されていてもよい。

（裏面照射型、積層型）
図５（ａ）（ｂ）は、光電変換部が配線層の上に配置される裏面照射型の場合、又は、光電変換膜が透明な上部電極と任意の下部電極とで挟まれ、下部電極が配線層の上に配置される積層型の場合の断面図を示している。なお、本明細書において、「上」「上方」等の単語は、画素から集光素子への方向を意味し、「下」「下方」等の単語は、その逆の方向を意味する。

図５（ａ）は図３のＸＸ´断面の一例を示す図である。集光素子３０２は画素３００−１１から画素３００−１４で構成される画素群の上に配置され、集光素子３０４は画素３００−１５から３００−１８で構成される画素群の上に配置されている。画素の上には層間膜５００、カラーフィルタ５０２及び５０４が配置されている。各画素群内の画素３００−１１から３００−１４、及び画素３００−１５から３００−１８の上方には、同じ色のカラーフィルタが配置されている。

カラーフィルタは集光素子よりも画素に近い位置に配置されることが望ましい。カラーフィルタで入射光が散乱されてしまうため、カラーフィルタの位置が画素から離れる程、画素での受光量が低下してしまうからである。

層間膜５００は絶縁膜で構成されている。層間膜５００は、集光素子３０２及び３０４を配置する部分を平坦化する役割、設計上の光学膜厚の確保の役割や電気的絶縁性の確保の役割の少なくともいずれかの役割を担う。

図５（ｂ）は図３のＹＹ´断面の一例を示す図である。カラーフィルタ５０２と異なる色のカラーフィルタ５０６が、第３行及び第４行、且つ、第１列から第４列までの画素の上に配置されている。

また、図６（ａ）及び図６（ｂ）に示すように、隣接する画素群間の境界上方であって、異なる色のカラーフィルタ間に第１の隔壁６００が配置されていてもよい。第１の隔壁６００は層間膜５００と屈折率の異なる材料や金属材料のような遮光材料であってもよい。この構成により、入射光を第１の隔壁６００によって反射させ、隣接画素へのクロストークを抑制できる。

また、第１の隔壁６００はカラーフィルタ５０２、５０４及び５０６よりも屈折率の低い材料で構成されていてもよい。この場合、第１の隔壁６００の近傍に入射した光は相対的に屈折率の高いカラーフィルタ側へ偏光されるため、隣接画素へのクロストークを抑制できる。

第１の隔壁６００の形状は、図７（ａ）及び図７（ｂ）に示すように、上面（集光素子側）の面積が下面（画素側）の面積より小さい方が好ましい。第１の隔壁６００の上面で反射される入射光量を抑えるためである。

図８（ａ）及び図８（ｂ）は遮光材料で構成された第１の隔壁６００がない場合と、ある場合の違いをFinite-difference time-domain method（ＦＤＴＤ法）を用いて光学シミュレーションした結果を示している。

図８（ａ）は隔壁が無い場合、そして図８（ｂ）は隔壁が有る場合に、集光素子Ｚで集光された入射光が画素Ｄへ入射する様子を示している。

図８（ａ）に示すように、隔壁が無い場合は例えば、画素Ｄに入射する光が隣接する画素Ｙに入射している。他方、図８（ｂ）に示すように、隔壁が有る場合は例えば、画素Ｘに入射する光が画素Ａに入射せず、画素Ｄに入射する光が画素Ｙに入射することがないため、クロストークを抑制できる。

図９（ａ）及び図９（ｂ）はそれぞれ、図８（ａ）と図８（ｂ）における撮像部の入射角度特性を画素Ａ、Ｂ、Ｃ、Ｄに関してプロットしている。縦軸は感度［ａ．ｕ．］、横軸は集光素子Ｚに入射する入射光の入射角度［°］である。

図９（ａ）に示すように、隔壁が無い場合は、特に入射角度が約１５°以上及び約−１５°以下で、隣接する集光素子に集光された光によるクロストークが生じている。他方、図９（ｂ）に示すように、隔壁がある場合は、特に入射角度が約１５°以上及び約−１５°以下で、クロストークが抑制できている。

図１０（ａ）及び図１０（ｂ）に示すように、各画素群内の各画素間の境界上方であって、隣接するカラーフィルタ間を分離するように、第２の隔壁１０００を配置してもよい。この場合、第２の隔壁１０００は、カラーフィルタ５０２、５０４及び５０６より屈折率の低い材料で構成されていることが好ましい。このような構成とすることで、第２の隔壁１０００の近傍に入射した光は相対的に屈折率の高いカラーフィルタ側へ偏光されるため、隣接画素へのクロストークを抑制できる。

（表面照射型）
図１１（ａ）（ｂ）は、配線層が光電変換部上に配置された表面照射型の場合の断面図を示している図である。

図１１（ａ）及び図１１（ｂ）はそれぞれ、図３のＸ−Ｘ´断面、Ｙ−Ｙ´断面の一例を示す図である。表面照射型の撮像素子の場合、配線層１１００の上方、且つ、集光素子３０２及び３０４の下方に、層間膜５００より屈折率の高い材料から構成されるマイクロレンズ１１０２が配置されている。マイクロレンズ１１０２により入射光が集光されるため、配線層１１００によって遮光されにくくなる。

また、図１２ａ及び図１２ｂに示すように、マイクロレンズ１１０２の代わりに、受光面に垂直な方向の軸を中心軸として複数の光透過膜１２０２を同心構造に配置した屈折率分布型のマイクロレンズ１２０４であってもよい。光透過膜１２０２は、絶縁性を有し、且つ、層間膜５００より屈折率の高い材料であれば良い。

この場合、隣接する光透過膜１２０２の幅が、撮像素子に入射する入射光の波長と同程度かそれより小さいときには、光が感じる実効屈折率は、光透過膜１２０２と層間膜５００との体積比によって算出できる。

図１２ｃ及び図１２ｄは、マイクロレンズ１２０４の配置を示した平面図である。図１２ｃに示すように、マイクロレンズ１２０４の同心構造の同心軸が、対応する画素の中心軸を通るように配置しても良い。また、図１２ｄに示すように、例えば、画素群内の両端のマイクロレンズ１２０４の同心軸が、対応する画素の中心軸からずれて配置してもよい。なお、本実施形態に係る屈折率分布型のマイクロレンズ１２０４の配置は図１２ｃ及び図１２ｄに示した配置に限定されない。なお、カラーフィルタの配置は図に示した配置に限定されない。

また、図１３（ａ）、図１３（ｂ）のように、画素部の上方、且つ、集光素子３０２及び３０４の下方に、光の散乱損失を防止するために配線層１１００を貫くように配置された光導波路１３００を設けてもよい。光導波路１３００は層間膜５００よりも屈折率の高い材料であれば良い。

また、図１４（ａ）、図１４（ｂ）のように、配線層１１００及び光導波路１３００の上方に、カラーフィルタ５０２及び５０４を分離するように、第１の隔壁６００及び第２の隔壁１０００を配置してもよい。このような構成とすることで、配線層１１００に反射される光を低減することができる。

また、図１５（ａ）、図１５（ｂ）のように、光導波路１３００の上方にマイクロレンズ１１０２を設け、マイクロレンズ１１０２の上方にカラーフィルタ５０２、５０４及び５０６を設ける構成としてもよい。このような構成とすることで、集光率をさらに向上できる。なお、図１６（ａ）及び図１６（ｂ）に示すように、マイクロレンズ１１０２の代わりに、屈折率分布型のマイクロレンズ１２０４を配置してもよい。

（信号処理方法）
上記で説明した構造を有する撮像部からの信号を処理する信号処理方法の説明を以下で行う。

図１７は、カメラレンズ１０２を通過した光が、図６（ａ）のＸＸ´断面図で示される画素３００−１１から３００−１８に入射し、信号に光電変換されるまでの様子を示した図である。

カメラレンズ１０２を仮想的に分割して定義する透過領域Ａ、Ｂ、Ｃ、Ｄを通過した入射光をそれぞれ入射光ＬＡ、ＬＢ、ＬＣ、ＬＤとする。そして、入射光ＬＡ、ＬＢ、ＬＣ、ＬＤがそれぞれ、各画素群内の対応する画素に集光され、光電変換された信号をそれぞれ、信号ＰＡ、ＰＢ、ＰＣ、ＰＤとする。

第１の立体画像は左目対応の合成信号３Ｄ_Ｌｅｆｔと右目対応の合成信号３Ｄ_{Ｒｉｇｈｔ}によって形成される。合成信号３Ｄ_Ｌｅｆｔは式１で表され、合成信号３Ｄ_{Ｒｉｇｈｔ}は式２で表される。

α_３ＤＬ、β_３ＤＬ、γ_３ＤＬ、δ_３ＤＬはそれぞれ左目対応の信号を導出するときに信号ＰＡ、ＰＢ、ＰＣ、ＰＤに乗算する係数（任意の実数）を表しており、α_３ＤＲ、β_３ＤＲ、γ_３ＤＲ、δ_３ＤＲはそれぞれ右目対応の信号を導出するときに信号ＰＡ、ＰＢ、ＰＣ、ＰＤに乗算する係数（任意の実数）を表している。

また、第１の立体画像と異なる視差の第２の立体画像を形成する合成信号３Ｄ´_Ｌｅｆｔと合成信号３Ｄ´_{Ｒｉｇｈｔ}を、合成信号３Ｄ_Ｌｅｆｔと合成信号３Ｄ_{Ｒｉｇｈｔ}と同時に生成できる。つまり、本実施形態に係る固体撮像装置であれば、視差の異なる複数の立体画像を同時に形成できる。もちろん、複数の立体画像を別々に形成することもできる。

平面画像を形成する合成信号２Ｄは、式３で表される。

α_２Ｄ、β_２Ｄ、γ_２Ｄ、δ_２Ｄは平面画像を取得する際に信号ＰＡ、ＰＢ、ＰＣ、ＰＤに乗算する係数（任意の実数）を表している。本実施形態によれば、合成信号２Ｄも、立体画像形成用の合成信号と同時に生成できる。もちろん、平面画像を立体画像と別々に形成することもできる。

［平面画像取得モード］
図１８及び図１９は平面画像を取得する場合の２つの例（平面モード１、平面モード２）の条件を表している。

（平面モード１）
図１８（ａ）及び（ｂ）に示すように、平面モード１では、カメラレンズ１０２の透過領域Ｂ及びＣを通過した光によって生じる信号ＰＢとＰＣの２種類の信号を用いる。係数を式４のように定めると、合成信号２Ｄは式５のように表される。

その結果、合成信号２Ｄは図１８（ｃ）に表される合成感度１５００として得られる。

図１９（ａ）及び（ｂ）に示すように、平面モード２では、カメラレンズ１０２の透過領域Ａ、Ｂ、Ｃ、Ｄを通過した光によって生じる信号ＰＡ、ＰＢ、ＰＣ、ＰＤの４種類の信号を用いる。係数を式６のように定めると、合成信号２Ｄは式７のように表される。

その結果、合成信号２Ｄは図１９（ｃ）に表される合成感度１５０２として得られる。

なお、式４及び式６で示した合成信号２Ｄの係数の値は例示である。つまり、係数は上述した値に限定されるものではなく、あらゆる数値の組み合わせによる平面画像出力が可能である。また、式５と式７で表される合成信号を同時に出力することも出来るし、別々に出力することも出来る。

［立体画像取得モード］
図２０から図２４は立体画像を取得する場合の５種類のモード（立体モード１〜５）の条件を表している。

（立体モード１）
図２０（ａ）及び（ｂ）に示すように、立体モード１では、カメラレンズ１０２の透過領域Ｂ、Ｃを通過した光によって生じる信号ＰＢ、ＰＣの２種類の信号を用いる。左目対応の合成信号３Ｄ_Ｌｅｆｔの係数を式８、右目対応の合成信号３Ｄ_{Ｒｉｇｈｔ}の係数を式９のように定めると、合成信号はそれぞれ、式１０及び式１１のように表される。

図２０（ｃ）に示すように、この場合、合成信号３Ｄ_Ｌｅｆｔは入射角度約５°において最も高い感度を示し、合成信号３Ｄ_{Ｒｉｇｈｔ}は入射角度約−５°において最も高い感度を示している。

（立体モード２）
図２１（ａ）及び（ｂ）に示すように、立体モード２では、カメラレンズ１０２の透過領域Ａ、Ｂ、Ｃ、Ｄを通過した光によって生じる信号ＰＡ、ＰＢ、ＰＣ、ＰＤの４種類の信号を用いる。左目対応の合成信号３Ｄ_Ｌｅｆｔの係数を式１２、右目対応の合成信号３Ｄ_{Ｒｉｇｈｔ}の係数を式１３のように定めると、合成信号はそれぞれ、式１４及び式１５のように表される。

図２１（ｃ）に示すように、この場合、合成信号３Ｄ_Ｌｅｆｔは入射角度約７°において最も高い感度を示し、合成信号３Ｄ_{Ｒｉｇｈｔ}は入射角度約−７°において最も高い感度を示している。

（立体モード３）
図２２（ａ）及び（ｂ）に示すように、立体モード３では、カメラレンズ１０２の透過領域Ａ、Ｂ、Ｃ、Ｄを通過した光によって生じる信号ＰＡ、ＰＢ、ＰＣ、ＰＤの４種類の信号を用いる。左目対応の合成信号３Ｄ_Ｌｅｆｔの係数を式１６、右目対応の合成信号３Ｄ_{Ｒｉｇｈｔ}の係数を式１７のように定めると、合成信号はそれぞれ、式１８及び式１９のように表される。

図２２（ｃ）に示すように、この場合、合成信号３Ｄ_Ｌｅｆｔは入射角度約１３°において最も高い感度を示し、合成信号３Ｄ_{Ｒｉｇｈｔ}は入射角度約−１３°において最も高い感度を示している。

（立体モード４）
図２３（ａ）及び（ｂ）に示すように、立体モード４では、カメラレンズ１０２の透過領域Ａ、Ｄを通過した光によって生じる信号ＰＡ、ＰＤの２種類の信号を用いる。左目対応の合成信号３Ｄ_Ｌｅｆｔの係数を式２０、右目対応の合成信号３Ｄ_{Ｒｉｇｈｔ}の係数を式２１のように定めると、合成信号はそれぞれ、式２２及び式２３のように表される。

図２３（ｃ）に示すように、この場合、合成信号３Ｄ_Ｌｅｆｔは入射角度約１３°において最も高い感度を示し、合成信号３Ｄ_{Ｒｉｇｈｔ}は入射角度約−１３°において最も高い感度を示している。

（立体モード５）
図２４（ａ）及び（ｂ）に示すように、立体モード５では、カメラレンズ１０２の透過領域Ａ、Ｂ、Ｃ、Ｄを通過した光によって生じる信号ＰＡ、ＰＢ、ＰＣ、ＰＤの４種類の信号を用いる。左目対応の合成信号３Ｄ_Ｌｅｆｔの係数を式２４、右目対応の合成信号３Ｄ_{Ｒｉｇｈｔ}の係数を式２５のように定めると、合成信号はそれぞれ、式２６及び式２７のように表される。

図２４（ｃ）に示すように、この場合、合成信号３Ｄ_Ｌｅｆｔは入射角度約７°から１３°にかけて最も高い感度を示し、合成信号３Ｄ_{Ｒｉｇｈｔ}は入射角度約−７°から−１３°にかけて最も高い感度を示している。

立体モード１から立体モード４に移行するに従い、カメラレンズ１０２の外縁寄りの透過領域Ａ、Ｄを通過する入射光により生じる信号ＰＡ、ＰＤに乗ずる係数を高める一方、カメラレンズ１０２の中心寄りの透過領域Ｂ、Ｃを通過する入射光により生じる信号ＰＢ、ＰＣに乗ずる係数を小さくする。そうすることで、動的に右目として扱う信号の平均入射角度すなわち右目重心と、左目として扱う信号の平均入射角度すなわち左目重心との間隔を電子的な制御で広めることが可能になる。このような信号処理を行うことで自由自在に目の間隔を制御でき、観察者にとって最適な立体感の立体画像を得ることができる。

また、立体モード５においては、他のモードと比較して、図２４（ｃ）に示すように広い入射角度に対して高感度な立体画像を撮像できる。

なお、本実施形態における合成信号の係数の値は例示である。つまり、係数は上述した値に限定されるものではなく、あらゆる数値の組み合わせによる画像出力が可能である。

（使用画素の選択方法）
次に、使用する信号の選択方法について説明する。使用する信号の選択は固体撮像装置の内部又は外部、撮像装置の外部のどこで行ってもよい。

例えば、固体撮像装置の内部で行う場合の一例を図２５に示す。画素２２０２が画素部２２００に行列状に配置されている。選択行制御線２２０４を介して垂直走査回路２２１１によって選択された行に配置された画素２２０２で光電変換されたアナログ信号（画素信号）が列信号線２２０５に出力される。列信号線２２０５に接続されたＡＤコンバータ２２０６によって、当該アナログ信号はデジタル信号へ変換される。使用画素選択部２２１４は、使用するデジタル信号のみを選択し、マルチプレクサ回路２２０８が選択的に水平走査回路２２１０へ出力する。

図２５は、信号ＰＢ、ＰＣのみを出力している場合を示した図である。水平走査回路２２１０に出力された信号は、入力Ｉ／Ｆ２２１２に入力される。このように、固体撮像装置から必要な信号のみを取得し、転送データを減らすことで、信号処理速度を向上できる。

図２６は、全信号ＰＡ、ＰＢ、ＰＣ、ＰＤを一旦、固体撮像装置から出力した後、固体撮像装置、又は撮像装置の外部にて使用する信号（信号ＰＢ、ＰＣ）を選択する場合を示した図である。この場合、ＡＤコンバータ２２０６で変換された全てのデジタル信号が水平走査回路に出力され、その後、入力Ｉ／Ｆ２２１２に入力される。そして、使用する信号の選択は固体撮像装置、又は撮像装置の外部に設けられた外部選択回路２２１６で行われる。このように、全データを出力して、固体撮像装置の外部、又は撮像装置の外部の記憶媒体に記憶しておけば、撮像後であっても、式１、式２及び式３から任意の合成信号を取得できる。

（補正行列）
信号ＰＡ、ＰＢ、ＰＣ、ＰＤを式２８のように計算することで角度成分を補正することも可能である。

ここでα_ｐｑは行列の成分であり、ｐ、ｑはそれぞれ行番号、列番号を示している。式２８の例ではｐ、ｑは共に１以上、４以下の整数である。つまり、各画素群内のｎ（ここではｎ＝４）個の画素から出力されたｎ種類の信号ＰＡ、ＰＢ、ＰＣ、ＰＤに、それぞれ補正係数を乗算した後に合算することで、新たなｎ種類の信号ＰＡ´、ＰＢ´、ＰＣ´、ＰＤ´を生成する。

図２７は、補正前後の斜入射特性を示す図である。縦軸は感度［ａ．ｕ．］、横軸は入射角度［°］である。α_ｐｑは図２６に示す補正前の斜入射特性を使って導く。つまり、隣接画素間でクロストークが生じる入射角度における感度を低減させるように、式２８におけるα_ｐｑを設定すればよい。例えば、信号ＰＢであれば、入射角度が約−１０°以下、及び約０°以上において感度を低下させたＰＢ´を導き出せるα₂₁、α₂₂、α₂₃、α₂₄を適宜設定すればよい。上記手法により得られた補正後の斜入射特性を図２７に示す。

本発明の固体撮像装置は、デジタルスチルカメラ、デジタルビデオカメラ又はカメラ付き携帯機器、医療用または工業用内視鏡カメラ、距離計測カメラなどに利用が可能であり、産業上有用である。

１００ 撮像装置
１０２ カメラレンズ
１０４ 撮像部
１０６ 信号処理部
１０８ モニタ
１１０ 記録媒体
２００ 被写体
２０２ 固体撮像装置
２０４ 受光点
３００ 画素部
３０２、３０４ 集光素子
３０２ａ〜ｃ、３０４ａ〜ｃ 集光素子
５００ 層間膜
５０２、５０４、５０６ カラーフィルタ
６００ 第１の隔壁
１０００ 第２の隔壁
１１００ 配線層
１１０２ マイクロレンズ
１２０２ 光透過膜
１２０４ 屈折率分布型のマイクロレンズ
１３００ 光導波路
２２００ 画素部
２２０２ 画素
２２０４ 選択行制御線
２２０５ 列信号線
２２０６ ＡＤコンバータ
２２０８ マルチプレクサ回路
２２１０ 水平走査回路
２２１１ 垂直走査回路
２２１２ 入力Ｉ／Ｆ
２２１４ 使用画素選択部
２２１６ 外部選択回路

Claims (14)

1. 複数の画素が行列状に配置された画素部と、
   前記画素部の上方に配置された集光素子と、
   信号処理部とを備え、
   前記複数の画素はそれぞれ、光電変換部を有し、
   前記画素部は、第１の画素群を含む複数の画素群を有し、
   前記複数の画素群はそれぞれ、前記複数の画素のうち、同じ行、且つ、隣接するｎ列（ｎ：３以上の整数）に配置された画素で構成され、
   前記信号処理部は、前記第１の画素群内の任意の画素から出力された信号にそれぞれ、任意の実数を乗算した後に合算することで、
   第１の平面画像を形成する第１の合成信号と、
   第１の立体画像を形成する第２の合成信号及び第３の合成信号とを同時に、又は、別々に生成する
   固体撮像装置。
2. 前記信号処理部は、前記第１の画素群内の任意の画素から出力された信号にそれぞれ、任意の実数を乗算した後に合算することで、
   第１の立体画像と異なる視差の第２の立体画像を形成する第４の合成信号及び第５の合成信号とを、
   前記第１から第３の合成信号と同時に、又は、別々に生成する
   請求項１に記載の固体撮像装置。
3. 前記集光素子は、複数の凸レンズが並列に並んで配置されたレンチキュラレンズで構成され、
   各凸レンズは、前記各凸レンズの下方に配置され、対応する前記画素群へ光を集光する
   請求項１又は２に記載の固体撮像装置。
4. 前記固体撮像装置は、さらに、
   前記画素部の上方、且つ、前記集光素子の下方に配置された複数のカラーフィルタを備え、
   各画素群内の前記画素の上方には、同じ色の前記カラーフィルタが配置されている
   請求項１から３のいずれかに記載の固体撮像装置。
5. 前記複数の画素群は、同じ色の前記カラーフィルタが上方に配置された第１の画素群と第２の画素群とを含み、
   前記第１の画素群と前記第２の画素群とは列方向に隣接している
   請求項４に記載の固体撮像装置。
6. 前記固体撮像装置は、さらに、
   異なる色の前記カラーフィルタ間に配置された第１の隔壁を備え、
   前記第１の隔壁は前記カラーフィルタよりも屈折率の低い材料、又は、遮光材料で構成されている
   請求項４又は５に記載の固体撮像装置。
7. 前記固体撮像装置は、さらに、
   前記画素部の上方、且つ、前記集光素子の下方に配置された配線層と、
   前記配線層の上方、且つ、前記集光素子の下方に配置された複数のマイクロレンズとを備える
   請求項１から６のいずれかに記載の固体撮像装置。
8. 前記複数のマイクロレンズはそれぞれ、複数の光透過膜を同心構造に配置した屈折率分布型のマイクロレンズである
   請求項７に記載の固体撮像装置。
9. 前記マイクロレンズは、対応する前記画素の中心軸と、前記同心構造の同心軸とがずれて配置されている屈折率分布型のマイクロレンズを含む
   請求項８に記載の固体撮像装置。
10. 前記固体撮像装置は、さらに、
    前記画素部の上方、且つ、前記集光素子の下方に配置された配線層と、
    前記各画素の上方に配置され、前記配線層を貫くように配置された光導波路とを備え、
    請求項１から９のいずれかに記載の固体撮像装置。
11. 前記固体撮像装置は、さらに、
    各画素群内の各画素間の境界上方であって、隣接する前記カラーフィルタ間に配置された第２の隔壁を備え、
    前記第２の隔壁は、前記カラーフィルタよりも屈折率の低い材料で構成される
    請求項４から９のいずれかに記載の固体撮像装置。
12. 前記信号処理部は、各画素群内のｎ個の画素から出力されたｎ種類の信号に、それぞれ補正係数を乗算した後に合算することで、新たなｎ種類の信号を生成する
    請求項１から１１のいずれかに記載の固体撮像装置。
13. 前記固体撮像装置は、さらに、使用画素選択部を備え、
    前記使用画素選択部は、各画素群内の前記画素から出力された信号のうち、使用する信号のみを選択する
    請求項１から１２のいずれかに記載の固体撮像装置。
14. 請求項１から１３のいずれかに記載の固体撮像装置を含む撮像装置であって、
    前記撮像装置は、カメラレンズを備え、
    前記カメラレンズは仮想的にｎ個の透過領域に分割され、
    前記ｎ個の領域を透過した入射光はそれぞれ、前記集光素子によって、各画素群内のｎ個の画素のうち、対応する前記画素に集光される
    撮像装置。