JP2012186764A - 固体撮像装置および携帯情報端末 - Google Patents

Abstract

【課題】複数のマイクロレンズを有していても、補正を容易に行うことが可能で、かつ距離推定や画像再構成における誤差および画質劣化を抑制することのできる固体撮像装置および携帯情報端末を提供する。
【解決手段】本実施形態の固体撮像装置は、被写体を結像面に結像する第１の光学系と、複数画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第２の光学系と、前記撮像素子によって得られた前記被写体の画像信号を用いて、前記各マイクロレンズと前記画素ブロックとの光学位置関係を補正した画像信号処理を行う信号処理部と、を備えている。
【選択図】図１

Description

本発明の実施形態は、固体撮像装置および携帯情報端末に関する。

２次元アレイ情報として奥行き方向距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。

システムコストを抑えるため参照光を用いない距離撮像方式として、視差を利用した三角測量方式がある。この方式ではステレオカメラや複眼カメラが知られているが、これらの場合カメラを複数用いることとなり、システムの巨大化や部品点数増大による故障率上昇といった問題が存在する。

複数のマイクロレンズを有するマイクロレンズアレイを画素上方に配置し、各マイクロレンズ下部には複数の画素を配置する構造が提案されている。この構造により、画素ブロック単位で視差をもった画像群を取得することが可能であり、この視差により被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。

しかし、複数のマイクロレンズを有しているため、マイクロレンズアレイの取付誤差や結像レンズ歪曲収差など、光学系の誤差、歪みによりマイクロレンズ像の位置関係に誤差が生じたときの初期補正が困難であり、距離推定や画像再構成に誤差や画質劣化が生じるという問題が存在する。また、マイクロレンズアレイを組み込んだ２次元画像および３次元画像の撮像を兼用する光学系であるため、通常の補正手段をそのまま適用することは難しい。

T. Georgiev and A. Lumsdaine, COMPUTER GRAPHICS forum, Volume 29 (2010), number 6 pp. 1955-1968, "Reducing Plenoptic Camera Artifacts"

本発明が解決しようとする課題は、複数のマイクロレンズを有していても、補正を容易に行うことが可能で、かつ距離推定や画像再構成における誤差および画質劣化を抑制することのできる固体撮像装置および携帯情報端末を提供することである。

本実施形態の固体撮像装置は、被写体を結像面に結像する第１の光学系と、複数画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第２の光学系と、前記撮像素子によって得られた前記被写体の画像信号を用いて、前記各マイクロレンズと前記画素ブロックとの光学位置関係を補正した画像信号処理を行う信号処理部と、を備えていることを特徴とする。

一実施形態による固体撮像装置を示すブロック図。 信号処理部の処理手順を示すフローチャート。 信号処理部の処理手順を示すフローチャート。 一実施形態による固体撮像装置の光学系の一具体例を示す図。 一実施形態による固体撮像装置の光学系の他の具体例を示す図。 補正係数を求める方法を説明する図。 マイクロレンズアレイが撮像素子に対して傾いた状態における、マイクロレンズの組の中心の結像位置関係を説明する図。 マイクロレンズの結像位置が不均等に分布する場合、得られる画像自体を用いて補正係数を求める場合を説明する図。 Ｙ軸方向におけるマイクロレンズの位置関係を説明する図。 補正マトリクスを用いて画素位置を補正する場合を説明する図。 図１１（ａ）、１１（ｂ）はマイクロレンズの周辺部における輝度値分布を説明する図。 補正用の輝度値を各マイクロレンズに対して取得することを説明する図。 メモリ内のキャリブレーション用輝度値を基に撮影画像を補正する場合を説明する図。 固体撮像装置を用いた携帯情報端末を示す図。

以下に実施形態について図面を参照して説明する。

図１に、一実施形態による固体撮像装置（カメラモジュール）１を示す。この実施形態の固体撮像装置１は、撮像モジュール部１０と、撮像信号プロセッサ（以下、ＩＳＰ(Image Signal Processor)ともいう）２０と、を有する。

撮像モジュール部１０は、結像光学系１２と、マイクロレンズアレイ１４と、撮像素子１６と、撮像回路１８とを有する。結像光学系１２は、被写体からの光を撮像素子１６へ取り込む撮像光学系として機能する。撮像素子１６は、結像光学系１２により取り込まれた光を信号電荷に変換する素子として機能し、複数の画素（光電変換素子としての例えばフォトダイオード）が２次元アレイ状に配列されている。マイクロレンズアレイ１４は、例えば複数のマイクロレンズを有するマイクロレンズアレイもしくはプリズム等の微小光学系である。結像光学系１２によって結像面に結像する光線群を、個々のマイクロレンズと対応する画素ブロックに縮小再結像する光学系として機能する。撮像回路１８は、撮像素子１６の画素アレイの各画素を駆動する駆動回路部（図示せず）と、画素領域から出力される信号を処理する画素信号処理回路部（図示せず）とを有している。上記駆動回路部は、例えば駆動する画素を垂直方向に水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するＴＧ（タイミングジェネレータ）回路、などを有する。上記画素信号処理回路部は、画素領域からのアナログ電気信号をデジタル変換するＡＤ変換回路と、ゲイン調整やアンプ動作を行うゲイン調整／アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路となどを有している。

ＩＳＰ２０は、カメラモジュールＩ／Ｆ（インターフェース）２２と、画像取り込み部２４と、信号処理部２６と、ドライバＩ／Ｆ２８とを備えている。撮像モジュール部１０による撮像により得られたＲＡＷ画像は、カメラモジュールＩ／Ｆ２２から画像取り込み部２４へ取り込まれる。 信号処理部２６は、画像取り込み部２４に取り込まれたＲＡＷ画像について、信号処理を実施する。ドライバＩ／Ｆ（インターフェース）２８は、信号処理部２６での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。

（信号処理部の処理手順）
次に、図２及び図３を参照して、信号処理部２６による信号処理の手順を説明する。信号処理部２６は、撮像モジュール部１０で得られたＲＡＷ画像について光学系の歪み補正及び輝度補正を行う。

まず、キャリブレーション用画像を撮影する（図２のステップＳ１）。続いて、撮影したキャリブレーション用画像の２値化を行う（図２のステップＳ２）。この２値化された画像の輪郭フィッティングを行う（図２のステップＳ３）。その後、各マイクロレンズの中心位置を取得する（図２のステップＳ４）。続いて、各マイクロレンズ内の画素値を取得する（図２のステップＳ５）。各マイクロレンズの中心位置および各マイクロレンズ内の画素値から、補正マトリクスを計算する（図２のステップＳ６）。ステップＳ１からステップＳ６までの手順が撮影画像からマイクロレンズ中心位置及び画像補正のための補正マトリクスを求める処理ステップである。光学系のセッティングが変わらない場合、マイクロレンズ中心位置及び補正マトリクスについて同じ値を用いることが可能であるため、ステップＳ１からステップＳ６までの手順は省略することも可能である。

このようにして求められた補正マトリクスを用いて、撮影された画像の再構成（補正）を行う。この再構成の手順を図３に示す。まず、再構成用の画像を撮影する（図３のステップＳ７）。続いて、マイクロレンズ内における画素の輝度の補正を行う（図３のステップＳ８）。その後、マイクロレンズ内の画像の抜き出しを行う（図３のステップＳ９）。そして、マイクロレンズ中心位置の補正を行い（図３のステップＳ１０）、マイクロレンズ内の画素位置の補正を行う（図３のステップＳ１１）。続いて、マイクロレンズ像の拡大を行い（図３のステップＳ１２）、マイクロレンズ像が重なる領域が生じるか否かの判定を行う（図３のステップＳ１３）。重なり領域がない場合は補正後の位置に従ってマイクロレンズ像の画素値を再配置した画像を生成し（図３のステップＳ１４）、信号処理を終了する。重なり領域がある場合は重なり領域に対して画像合成処理を行い（図３のステップＳ１５）、その後補正後の位置に画素値を配置した画像を生成し（図３のステップＳ１６）、信号処理を終了する。

（光学系の詳細）
次に、一実施形態の固体撮像装置の光学系を図４に示す。結像レンズ１２、マイクロレンズアレイ１４、撮像素子１６の順に光線が入射する。また、Ａは結像レンズ１２と被写体１００との間の距離、Ｂは結像レンズ１２による結像距離、Ｃは結像レンズ１２の結像面とマイクロレンズアレイ１４のマイクロレンズとの間の距離、Ｄはマイクロレンズアレイ１４と撮像素子１６との間の距離である。ｆは結像レンズ１２の焦点距離、ｇはマイクロレンズの焦点距離である。今回、説明のため光軸に対して被写体側を前方、撮像素子側を後方と定義する。光学系内でマイクロレンズアレイは結像レンズの光線を各視点の像に分離し、撮像素子１６上に結像させる役割をもつ。なお、本実施形態においては、図４に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面より結像レンズ１２に対して後方に設置されている。しかし、本実施形態では図４に示す条件に限定するものではなく、例えば図５に示すように、マイクロレンズアレイ１４が結像レンズ１２の結像面より前方に設置されていてもよい。

（補正係数を得る方法）
次に、信号処理部２６の処理手順で述べた補正係数に関して、図６（ａ）、６（ｂ）を参照してその補正係数を求める方法を説明する。図６（ａ）は、取り付け誤差などの光学的歪みがなく、マイクロレンズアレイ１４と撮像素子１６が平行に設置されている、被写体が光軸上にある場合の光学系を示し、図６（ｂ）はマイクロレンズアレイ１４と撮像素子１６とを含む部分１３の拡大図である。図６（ｂ）中で、結像レンズ１２の光軸と、マイクロレンズアレイ１４の平面中心に位置する１つのマイクロレンズの主点が交わる点を原点０として、結像レンズ１２の光軸をＺ軸とし、さらにＺ軸に垂直な面内にＸ軸をとる。本光学系は結像レンズ１２の光軸に対して軸対称であるため、上記配置であれば任意のＸ軸を取ることができる。より厳密に言えば、マイクロレンズの並び方によって軸対称にとれる方向は有限数であり、マイクロレンズの並び方が六方配列であれば６通りの回転対称軸が、正方配列であれば４通りの対称軸が取れる。

Ｘ軸上のあるマイクロレンズの主点の座標をＬｘとし、Ｚ軸に関して対称の位置にあるマイクロレンズの主点を−Ｌｘとおく。結像レンズ１２の集光点である節点（０，Ｃ）から点ａ１（−Ｌｘ，０）、ｂ１（Ｌｘ，０）それぞれに入射する各マイクロレンズに対する主光線のＺ軸となす角をそれぞれα、βとおくと、α＝βであるから撮像素子１２上に到達する各光線の位置は点ａ２、点ｂ２となる。Ｚ軸とａ２間の距離をＩ、Ｚ軸とｂ２間の距離をIIと表すとＩ＝IIとなり、Ｌｘの値は同じ節点から射出する光線が入射するどのＺ軸に関して対称に位置するマイクロレンズの組にも適応できる。したがって、撮像素子１６上のマイクロレンズの像中心間距離をIIIとおくと、図６（ｂ）に示すように、マイクロレンズの中心を通る光線は撮像素子１６上に均等に並ぶことが分かる。

これに対して、図７に示すように、マイクロレンズアレイ１４が撮像素子１６に対してＸＺ面内で角度θだけ傾いた状態における、各Ｚ軸に関して対称に位置するマイクロレンズの組の中心の結像位置関係を求める。θはＸ軸を基準とし、Ｚ軸へ反時計方向に回転する方向を正にとる。この場合では傾きθの分、原点０からＬｘだけ離れたマイクロレンズ中心座標ａ１、ｂ１はＺ軸方向に０以外の値も持ちえる。例としてθ＞０の場合にはα＜βとなり、したがってＩ＜IIとなることから、撮像素子１６上に結像する位置は原点から等距離とはならない。このことから、マイクロレンズアレイ１４が傾いている場合、マイクロレンズの像中心は撮像素子１６上に不均等に分布することとなる。

マイクロレンズの結像位置が不均等に分布する場合、光学系の歪みによる補正のため、得られる画像自体を用いて補正係数を求める。具体的には図８に示すように、信号処理部２６の補正係数算出部２６Ａにおいて、撮影画像から公知の技術、例えば円形輪郭マッチングなどを用いて各マイクロレンズの像の中心位置を決定し、中心座標の並び方から光学系歪みパラメータを補正する補正マトリクスを推定する。なお、マイクロレンズの像の形状は絞りの形を反映したものであるため、絞りが四角形の場合は四角形のマイクロレンズ像が並んだ全体像が撮像素子１６で得られる。従って絞り形状によってマッチング形状を変えることで中心位置の決定精度は良くなる。

補正係数算出部２６Ａの動作の詳細は、以下の通りである。まず、撮影されたキャリブレーション用の画像の二値化を二値化処理部２６ａにおいて行う。この二値化された画像はメモリ２６ｂに記憶される。続いて、この二値化された画像を用いて、輪郭フィッティング部２６ｃにおいて、輪郭フィッティングが行われる。この輪郭フィッティングは、各マイクロレンズに対して行われ、それぞれのマイクロレンズに対してマイクロレンズ輪郭フィッティング部２６ｃ_１、２６ｃ_２、２６ｃ_３等によって行われる。その後、これらの輪郭フィッティングに基づいてマイクロレンズ像の中心位置の取得が中心位置取得部２６ｄによって行われ、それぞれの中心位置がメモリ２６ｅに記憶される。そして各マイクロレンズ像の中心位置に基づいて、補正マトリクスが補正マトリクス計算部２６ｇにおいて計算され、メモリ２６ｈに記憶される。

補正マトリクスは以下のようにして求められる。再び図７に戻り、マイクロレンズアレイ１４がθ度傾いている場合、マイクロレンズ像の中心位置の座標が少なくとも３つ分かれば傾き角度θおよび節点位置Ｃを求めることができる。簡略化のためＺ軸と撮像素子１６の交点（０，−Ｄ）にマイクロレンズの結像中心点の一つが存在するとし、さらに点ａ２、ｂ２それぞれの結像点の座標が分かっているとする。このとき計算できるマイクロレンズの結像中心間距離Ｉ及びIIは以下の式で表すことができる。

したがって、この２式を連立させることで傾き角度θと節点位置Ｃの値を得ることができる。Ｘ軸およびＺ軸に対してそれぞれ直交するＹ軸方向の変化に注目するとｘ＝Ｌｘ面内でのマイクロレンズの位置関係は図９に示すように表され、中心位置のｙ座標も変化することが分かる。ｘ＝Ｌｘ面内の場合、マイクロレンズアレイ１４の面はｚ＝Ｌｘ・ｓｉｎθに存在するため、結像位置ｃ０、ｄ０はそれぞれ結像位置ｃ２、ｄ２に移動する。このような結像点のｘ，ｙ座標変化に対し、マイクロレンズアレイ１４の傾きの無い場合の座標へ、補正マトリクスを用いて変換することができる。ここでＬｘの代わりに符号付のマイクロレンズの中心位置座標ｌｘを導入する。すなわち点ａ１、ｂ１のうちｘ＞０にある点はｌｘ＝Ｌｘ、ｘ＜０にある点はｌｘ＝−Ｌｘと表す。傾きが無い理想の状態におけるマイクロレンズの結像位置を（ｘ_１，ｙ_１，ｚ_１）、傾きが有る状態におけるマイクロレンズの結像位置を（ｘ_２，ｙ_２，ｚ_２）とおくと下式で位置補正が可能である。

同様の手法にて、別途発生する撮像素子１６の傾きやディストーション（歪み）などについても補正マトリクスを求め、適応することで処理画像の補正をすることができる。

次に、上述したようにして求められた補正マトリクスを用いて画素位置を補正する場合について図１０を参照して説明する。この画素位置の補正は、信号処理部２６の画素位置補正部２６Ｂによって行う。まず、画素位置補正部２６Ｂの画像抜き出し部２６ｉによって各マイクロレンズ内の画像の抜き出しが行われる。続いて、各マイクロレンズに対して、抜き出された画像に基づいて、マイクロレンズの中心位置、すなわち中心座標の補正が、メモリ２６ｈに記憶された補正マトリクスを用いて、中心座標補正部２６ｊによって行われる。その後、各マイクロレンズに対して、マイクロレンズ内の画素位置の補正がメモリ２６ｈに記憶された補正マトリクスを用いて、マイクロレンズ内画素位置補正部２６ｋによって行われる。続いて、マイクロレンズの像の拡大がマイクロレンズ像拡大部２６ｌによって行われ、画素再配置しない場合には、拡大されたマイクロレンズの像から画素位置補正後の画像が得られ、画素再配置する場合には画像合成処理部２６ｍによって画像の合成処理が行われ、画素位置補正後の画像が得られる。

なお、画素位置の補正においては、光学系の状態が変わらない条件のもとでは、補正マトリクスはそのまま再利用することが可能である。したがって、例えば携帯カメラなど固定焦点の撮像装置では出荷時に予め組立て誤差、部品ばらつき等に起因する光学歪みを補正する補正マトリクスを求めておき、撮影時では、上記求めた補正マトリクスを用いることで処理時間の短縮や処理リソースの節約といったメリットがある。

（輝度値補正を行う方法）
図１１（ａ）に示す、マイクロレンズによって結像され撮像素子１６にて得られる像は、各マイクロレンズの周辺部の光量落ちにより図１１（ｂ）に示すように、ピークを持った輝度値分布を示す。さらに、マイクロレンズごとの形状歪みなどにより、各マイクロレンズの像で光量ピークの大きさや位置は異なっている。この状態のまま画像再構成の合成処理を行うと、輝度値のピークの影響が及ぶことで画質劣化が生じてしまう可能性が存在する。そこで予め図１２に示すように、白色板などのキャリブレーション用画像を撮影してメモリに保存しておき、合成処理の際にこのキャリブレーション用画像を用いて光量ピークの影響を低減させる処理を、信号処理部２６の輝度補正部２６Ｃによって行う。ここで白色板の輝度値に光量落ちが加わった結果、光量ピークが座標ｘの関数でｆ（ｘ）と表せるとすると、ｆ（ｘ）の逆関数ｆ^−１（Ｘ）を求めることで元の輝度値を復元できる。

輝度補正部２６Ｃの動作について図１２を参照して説明する。まず、キャリブレーション用画像から、メモリ２６ｅに記憶されたマイクロレンズ中心座標に基づいて各マイクロレンズ内の輝度値を、輝度値取得部２６ｎによって取得する。続いて、取得された輝度値が補正用輝度値としてメモリ２６ｑに記憶される。その後、撮像された撮像画像に対する輝度補正は、図１３に示すように、信号処理部２６の輝度補正部２６Ｄによって行われる。すなわち、撮像画像から各マイクロレンズ内の輝度値が輝度値取得部２６ｎによって取得される。続いて、取得された輝度値と、メモリ２６ｅに記憶されたマイクロレンズ中心座標と、メモリ２６ｑに記憶された補正用輝度値とに基づいて、各マイクロレンズに対して、マイクロレンズ内の輝度補正値が輝度値補正算出部２６ｐによって行われる。そして、この輝度補正値に基づいて、撮像画像が画像補正部２６ｒによって補正される。

（距離画像情報を得る方法）
次に、距離画像情報を得る方法について説明する。図４に示す光学系を例に取って説明する。レンズ１２と被写体１００との距離Ａが変化すると下記も式にしたがってＢの値が変化する。

結像レンズ１２とマイクロレンズアレイ１４との間の距離をＥという値に固定している場合は、Ｂの変化に伴ってＣの値も変化する。
Ｂ＋Ｃ＝Ｅ

一方、マイクロレンズ１４に関しては、ＣとＤの関係は次の式に従う。

この結果、各マイクロレンズを通って結像する像は結像レンズ１２の仮想イメージである結像面をＭ（Ｍ＝Ｄ／Ｃ）倍に縮小した画像が得られ、式で表すと下記で表される。
さらに上式をＡについて整理すると、
が得られる。

したがって、このマイクロレンズによる像の縮小倍率Ｍをマッチング等により算出し、かつＤ、Ｅの値を予め計測しておけば、Ａの値を逆算することが可能である。

以上説明したように、本実施形態によれば、光学系の誤差および歪みを反映した各マイクロレンズ像形成位置を予め推定し、補正係数マトリクスを算出する。この補正係数マトリクスを用いてマイクロレンズアレイとマイクロレンズ像の補正を一緒に行うことで、再構成時の画像合わせ精度を向上させることが可能となり、画質劣化を防止することができる。

また、補正係数を取得し、処理で利用することで、被写体までの距離推定における精度低下を防止することが可能となる。

また、補正係数を利用することで、再構成画像における画像の歪みなどの画質劣化を防止することが可能となる。

各撮像装置自体の補正係数を利用するため、例えば製造時の取り付け誤差など装置ごとに異なる誤差が生じたとしても、再構成画像からその影響を低減することができる。

すなわち、本実施形態によれば、複数のマイクロレンズを有していても、補正を容易に行うことが可能で、かつ距離推定や画像再構成における誤差および画質劣化を抑制することが可能な固体撮像装置を提供することができる。

なお、本実施形態の固体撮像装置１は、スチルカメラばかりでなく、情報携帯端末、例えば図１４に示す携帯情報端末２００に用いることができる。この図１４に示す携帯情報端末は一例であって、符号１０は第１または第２実施形態における固体撮像装置の撮像モジュール部を示す。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 固体撮像装置
１０ 撮像モジュール部
１２ 結像光学系（結像レンズ）
１４ マイクロレンズアレイ
１４ａ マイクロレンズ
１６ 撮像素子
１６ａ 半導体基板
１６ｂ 画素（フォトダイオード）
１６ｃ カラーフィルタ
１６ｄ 画素集光用マイクロレンズ
１８ 撮像回路
２０ 撮像信号プロセッサ
２２ カメラモジュールＩ／Ｆ
２４ 画像取り込み部
２６ 信号処理部
２６Ａ 補正係数算出部
２６Ｂ 画素位置補正部
２６Ｃ 輝度補正部
２６Ｄ 輝度補正部
２６ａ 二値化処理部
２６ｂ メモリ
２６ｃ 輪郭フィッティング部
２６ｄ 中心位置取得部
２６ｅ メモリ
２６ｇ 補正マトリクス計算部
２６ｈ メモリ
２６ｉ 画像抜き出し部
２６ｊ 中心座標補正部
２６ｋ マイクロレンズ内画素位置補正部
２６ｌ マイクロレンズ像拡大部
２６ｍ 画像合成処理部
２６ｎ 輝度値取得部
２６ｐ 輝度値補正算出部
２６ｑ メモリ
２６ｒ 画像補正部
２８ ドライバＩ／Ｆ

Claims (6)

1. 被写体を結像面に結像する第１の光学系と、
   複数画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、
   前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第２の光学系と、
   前記撮像素子によって得られた前記被写体の画像信号を用いて、前記各マイクロレンズと前記画素ブロックとの光学位置関係を補正した画像信号処理を行う信号処理部と、
   を備えていることを特徴とする固体撮像装置。
2. 前記信号処理部は、キャリブレーション用画像から前記第２の光学系および前記撮像素子の少なくとも一方の歪みを補正する補正係数を算出する補正係数算出部を備えていることを特徴とする請求項１記載の固体撮像装置。
3. 前記補正係数算出部は、前記キャリブレーション用画像から前記マイクロレンズアレイの各マイクロレンズの結像の中心位置を取得する中心位置取得部と、前記中心位置取得部によって取得された各マイクロレンズの結像の中心位置と、前記画素値とに基づいて、補正マトリクスを計算する補正マトリクス計算部と、を備えていることを特徴とする請求項２記載の固体撮像装置。
4. 前記信号処理部は、各マイクロレンズ内の画素値を取得する画素値取得部を更に備え、前記中心位置取得部によって取得された各マイクロレンズの結像の中心位置と、前記画素値取得部によって取得された各マイクロレンズ内の画素値と、前記補正マトリクス計算部によって計算された補正マトリクスとに基づいて、撮影された画像の画像信号から各マイクロレンズ内の画素位置を補正することを特徴とする請求項３記載の固体撮像装置。
5. 前記信号処理部は、輝度校正用の補正データに基づいて、撮影された画像の画像信号の輝度値を補正することを特徴とする請求項１乃至４のいずれかに記載の固体撮像装置。
6. 請求項１乃至５のいずれかに記載の固体撮像装置を備えていることを特徴とする携帯情報端末。