JP2012178693A - 固体撮像装置および携帯情報端末 - Google Patents

固体撮像装置および携帯情報端末 Download PDF

Info

Publication number
JP2012178693A
JP2012178693A JP2011040254A JP2011040254A JP2012178693A JP 2012178693 A JP2012178693 A JP 2012178693A JP 2011040254 A JP2011040254 A JP 2011040254A JP 2011040254 A JP2011040254 A JP 2011040254A JP 2012178693 A JP2012178693 A JP 2012178693A
Authority
JP
Japan
Prior art keywords
image
imaging
microlens
optical system
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011040254A
Other languages
English (en)
Other versions
JP5214754B2 (ja
Inventor
Risako Ueno
野 梨紗子 上
Hideyuki Funaki
木 英 之 舟
Kokichi Kobayashi
林 光 吉 小
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011040254A priority Critical patent/JP5214754B2/ja
Priority to US13/221,061 priority patent/US9048157B2/en
Publication of JP2012178693A publication Critical patent/JP2012178693A/ja
Application granted granted Critical
Publication of JP5214754B2 publication Critical patent/JP5214754B2/ja
Priority to US14/726,052 priority patent/US20150324992A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract


【課題】カメラ高さの増大を抑制することを可能にする。
【解決手段】一実施形態による固体撮像装置は、半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像する第1の光学系と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第2の光学系と、を備え、被写体が無限遠時に位置するときの前記第1の光学系による結像面が、前記第1の光学系からみて前記撮像素子よりも遠くにある。
【選択図】図3

Description

本発明の実施形態は、2次元可視画像及び被写体奥行き距離情報を同時に取得することが可能な固体撮像装置および携帯情報端末に関する。
2次元アレイ情報として被写体奥行き方向距離を得ることができる撮像技術は、参照光を使用する技術、複数カメラを使用したステレオ測距技術など様々な方法が検討されている。特に近年は、民生用途での新たな入力デバイスとして比較的廉価な製品のニーズが高まっている。
そこで多眼で多数視差を得ることができ、かつ解像度の低下を抑えるための構成として、結像レンズを持つ複眼構成の撮像装置が提案されている。この撮像装置は、例えば結像系レンズを有し、結像系レンズと撮像素子の中間に、再結像系光学系として複数光学系が配置される。例えば複数光学系としては、平面上に多数の微小レンズが形成されたマイクロレンズアレイなどが用いられる。各マイクロレンズの下部には複数の画素がその像を取得するため対応する位置に設けられている。結像レンズにおいて結像された像は、再結像マイクロレンズによって再度撮像素子へ結像し、その再結像した個眼像は、それぞれマイクロレンズの配置位置によって存在する視差の分、視点ずれした画像となる。
多数のマイクロレンズから得られた視差画像群を画像処理することで、三角測量の原理にて被写体の距離推定が可能であり、またつなぎ合わせの画像処理を行うことによって、2次元画像として再構成することも可能である。
しかし、上記複眼構成の撮像装置においては、結像レンズの被写体無限遠時の焦点面を撮像素子よりも前方(被写体側)へシフトさせることから、同等の性能を持つ結像レンズを用いた場合カメラ高さが増大する課題がある。
K. Fife, A. E. Gamal, and H. Wong, "A 3D multi-aperture image sensor architecture," Custom Integrated Circuits Conference, pp. 281-284, Sep.2006.
本発明が解決しようとする課題は、カメラ高さの増大を抑制することのできる固体撮像装置および携帯情報端末を提供することである。
本実施形態の固体撮像装置は、半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、被写体を結像面に結像する第1の光学系と、前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第2の光学系と、を備えている。そして被写体が無限遠時に位置するときの前記第1の光学系による結像面が、前記第1の光学系からみて前記撮像素子よりも遠くにある。
第1実施形態による固体撮像装置を示すブロック図。 第1実施形態の固体撮像装置の断面図。 図3(a)、3(b)は第1実施形態における被写体の結像レンズからの距離と光線群の関係を説明する図。 図4(a)、4(b)は、第1実施形態における結像レンズの光軸中心におけるマイクロレンズの幾何光学的関係を説明する図 図5(a)乃至図5(d)は、第1実施形態の光学系で得られるマイクロレンズ画像群と画像再構成を説明する図。 図6(a)乃至図6(c)は、第1実施形態における被写体の結像レンズからの距離とマイクロレンズ像倍率の対応関係を説明する図。 図7(a)乃至図7(c)は、隣接マイクロレンズにおける重複視野の関係を説明する図。 第2実施形態による固体撮像装置を示す断面図。 第1または第2実施形態の固体撮像装置を用いた携帯情報端末の一例を示す図。
以下、図面を参照して実施形態を説明する。
(第1実施形態)
図1に、第1実施形態による固体撮像装置(カメラモジュール)1を示す。第1実施形態の固体撮像装置1は、撮像モジュール部10と、撮像信号プロセッサ(以下、ISP(Image Signal Processor)ともいう)20と、を有する。
撮像モジュール部10は、結像光学系12と、マイクロレンズアレイ14と、撮像素子16と、撮像回路18とを有する。結像光学系12は、被写体からの光を撮像素子16へ取り込む撮像光学系として機能する。撮像素子16は、結像光学系12により取り込まれた光を信号電荷に変換する素子として機能し、複数の画素(光電変換素子としての例えばフォトダイオード)が2次元アレイ状に配列されている。マイクロレンズアレイ14は、例えば複数のマイクロレンズを有するマイクロレンズアレイもしくはプリズム等の微小光学系である。結像光学系12によって結像面に結像する光線群を、個々のマイクロレンズと対応する画素ブロックに縮小再結像する光学系として機能する。撮像回路18は、撮像素子16の画素アレイの各画素を駆動する駆動回路部(図示せず)と、画素領域から出力される信号を処理する画素信号処理回路部(図示せず)とを有している。上記駆動回路部は、例えば駆動する画素を垂直方向に水平ライン(行)単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、それらを各種パルスにて駆動するTG(タイミングジェネレータ)回路、などを有する。上記画素信号処理回路部は、画素領域からのアナログ電気信号をデジタル変換するAD変換回路と、ゲイン調整やアンプ動作を行うゲイン調整/アンプ回路と、デジタル信号の補正処理などを行うデジタル信号処理回路などを有している。
ISP20は、カメラモジュールI/F(インターフェース)22と、画像取り込み部24と、信号処理部26と、ドライバI/F28とを備えている。撮像モジュール部10による撮像により得られたRAW画像は、カメラモジュールI/F22から画像取り込み部24へ取り込まれる。 信号処理部26は、画像取り込み部24に取り込まれたRAW画像について、信号処理を実施する。ドライバI/F(インターフェース)28は、信号処理部26での信号処理を経た画像信号を、図示しない表示ドライバへ出力する。表示ドライバは、固体撮像装置によって撮像された画像を表示する。
図2に第1実施形態による固体撮像装置1の断面を示す。図2に示すように、第1実施形態の固体撮像装置1においては、撮像素子16は、半導体基板16aに形成され、この半導体基板16a上に、フォトダイオードを有する複数の画素16bが形成されるとともに、これらの画素16bを駆動してこれらの画素16bからの信号を読み出す駆動/読み出し回路(図示せず)が形成された構成を有している。画素16bの上部には、画素16bごとにR(赤)、G(緑)、B(青)のカラーフィルタ16cが、例えばベイヤー配列などの配列方法にて形成される。このカラーフィルタ16cの上部には、1画素ごとに画素集光用のマイクロレンズ16dが形成されていてもよい。
カラーフィルタ16cの上方に、マイクロレンズアレイ14が形成された、可視光を透過する可視光透過基板40が設けられている。可視光透過基板40は、可視光を透過するが近赤外光を反射する多層膜もしくは単層膜が形成されていても良い。マイクロレンズアレイ14はマイクロレンズアレイ基板14b上に形成されたマイクロレンズ部14aを有している。このマイクロレンズ部14aは可視光透過基板40から見て撮像素子16側に配置され、複数のマイクロレンズを有している。各マイクロレンズは、半導体基板16a上に設けられた複数の画素からなる画素ブロックに対応し、対応する画素ブロックに縮小結像する光学系として機能する。また、可視光透過基板40は、画素16bが形成された撮像領域の周囲に設けられた樹脂材料のスペーサ42によって半導体基板16aと接合される。なお、半導体基板16aと可視光透過基板40とを接合する際の位置合わせは、合わせマーク等を基準にして行う。可視光透過基板40は、例えば不要な近赤外光をカットする材料であっても良いし、近赤外光をカットする膜が形成されていても良い。
また、半導体基板16aには、画素16cの読出し用電極パッド44が設けられ、この電極パッド44の下部には半導体基板16cを貫通する貫通電極46が形成されている。そして半導体基板16aは、貫通電極46およびバンプ48を介してチップ50と電気的に接続される。このチップ50には、撮像装置を駆動し読み出された信号を処理する駆動処理回路(撮像回路18)が形成されている。
また、可視光透過基板40の上方には結像レンズ12が設けられ、この結像レンズ12はレンズ鏡筒62に取り付けられ、このレンズ鏡筒62はレンズホルダ64に取り付けられる。レンズホルダ64は可視光透過基板40の周囲の領域上に接合される。この結像レンズ12の取り付け時に、押し付け圧と出力像の関係からレンズ12の焦点距離の調整をしても良い。なお、半導体基板16a、可視光透過基板40、およびチップ50の周囲には、不要な光を遮断するための光遮蔽カバー52が取り付けられる。そして、光遮蔽カバー52にチップ50と外部とを電気的に接続するモジュール電極54が設けられる。なお、上記構成はこの限りではなく、例えば電極パッド48はワイヤーボンディング等にて外部チップと電気的接続されていても良い。
(被写体距離と光線群の関係)
次に、本実施形態の固体撮像装置1の光学系(虚像光学系)における被写体距離と光線群との関係について図3(a)、3(b)を参照して説明する。
一般的に、従来の固定焦点型の固体撮像装置(カメラモジュール)における結像レンズの像側主面と、撮像素子との間の距離は、結像光学系の焦点距離fと一致するよう配置される。これにより、撮影可能な被写体とカメラとの間の距離は、画像のボケが許容される最近接撮影距離から、無限遠距離までとなる。
これに対して、本実施形態の固体撮像装置1においては、図3(a)に示すように、結像レンズ12の像側主面12aと撮像素子16との間の距離は、結像光学系(結像レンズ12)の焦点距離fよりも短い位置となるように、撮像素子16を配置する。つまり、図3(a)に示すように、マイクロレンズアレイ14aが配置されない場合は、被写体の無限遠時の結像面70は撮像素子1より後方となり、撮像素子16においてはピントのあった画像が撮影されない。マイクロレンズアレイ14aが配置されていないときの結像面70を、仮想結像面と呼ぶ。しかし、本実施形態においては、マイクロレンズアレイ14aを結像レンズ12と、撮像素子16との間に配置することにより、主光線80および周辺光線82からなる光線群を屈折させ、上記仮想結像面70よりも前方に位置する撮像素子1の面上に光線群が結像するようにする。このとき、結像レンズ12によって仮想結像面70に形成されるはずの像は、複数のマイクロレンズ14aによって縮小され、撮像される関係となる。この縮小倍率が、光学的な解像度の劣化の指標となるが、これについては後述する。
また、図3(b)に、被写体100が有限距離Aに位置しているときの、結像レンズ12と仮想結像面70との位置関係を示す。図3(b)に示すように、被写体100が無限遠よりも近い距離にある場合、仮想結像面70は、被写体100が無限遠にある場合よりも、更に撮像素子16の後方へ移動する。このときも、本実施形態においては、仮想結像面70に結像するはずの光線群は、複数のマイクロレンズ14aによって撮像素子16の面に結像される。なお、図3(a)、3(b)において、LMLはマイクロレンズ14aのピッチを示す。
なお、被写体100が無限遠距離、有限距離にある場合のそれぞれにおいて、マイクロレンズ14aが再結像する距離Dも変化するが、この変化量は被写体100から結像レンズ12までの距離Aの変化と比較し十分小さいため、距離Dの変化を像面の深度内にあるとみなす。
このように、結像レンズ12の仮想結像面70を撮像素子1よりも後方に位置させることで、仮想結像面70がマイクロレンズアレイ14aよりも前方にある従来の場合と比較し、結像レンズ12と撮像素子16との間を短くすることができるため、同等の光学特性を持つ結像レンズを用いた場合、カメラモジュールの高さを低くすることが可能となる。
また、マイクロレンズを設けない従来のカメラ光学系と比較しても、結像レンズと撮像素子との間の距離は短い設計値となるため、同等の光学特性を持つ結像レンズを用いたカメラモジュールにおいて、その高さを低くすることが可能となる。
(第1実施形態の固体撮像装置における幾何光学の関係式)
次に、本実施形態の固体撮像装置1の光学系(虚像光学系)における幾何光学の関係について図3、図4(a)、4(b)を参照して説明する。単純化のため、ここでは近軸領域の範囲のみを記述する。なお、図4(b)は、図4(a)に示すマイクロレンズの近軸領域を拡大した図である。
結像光学系(結像レンズ)12のみを考えた場合、被写体からの主光線80およびその同族光線82は、結像光学系12の焦点距離fと、結像光学系12と被写体100との距離から決まる仮想結像面において、式(1)の関係を満たすように結像する。
ここでfは結像レンズ12の焦点距離、Aは結像レンズ40の物体側主面40aから被写体までの距離、Bは結像レンズ12の像側主面12aから仮想結像面70までの距離を示す。結像レンズ12の像倍率(横倍率)は下式で表される。
ここで、本実施形態では結像レンズ12の仮想結像面70を撮像素子16よりも更に後方(被写体100と反対側)へ位置させる。このとき、仮想結像面70よりも前方にマイクロレンズ14aを配置するため、仮想結像面70よりも前方に位置する画素が設けられた撮像素子16の面に集光する。このとき、光線群80、82は虚像関係で縮小結像することになる。マイクロレンズ14aの結像系は下式で表される。
ここで、gはマイクロレンズ14aの焦点距離、Cはマイクロレンズ14aの物体側主面から仮想結像面70までの距離、Dはマイクロレンズ14aの像側主面から撮像素子16の面までの距離を示す。このとき、マイクロレンズ14aの結像系による像倍率は次の式(4)によって表される。
ここで、幾何学的関係により式(5)の変数Eを導入する。光学系が固定焦点光学系の場合、変数Eは固定設計値となる。
ここで、隣接するマイクロレンズ14aを2個選択した場合の、マイクロレンズ14aの配列ピッチ、またはマイクロレンズ14a間の距離をLMLとする。このとき、同一被写体から出た光線群84a、84b、84c、86が隣接した複数のマイクロレンズ14aにおいて個別に結像される。このときのLMLと片側の像ずれ量Δは、図4(b)に示す各マイクロレンズ14aにとっての主光線84a、84b、84cの幾何学的関係より式(6)で表される。
上記パラメータを用い、被写体の移動(Aの変化)に対する各パラメータ(B、C、D、Δ)の変化量を示す。撮影可能なある被写体の結像レンズ12からの距離をAとし、右下に添え字0がついたパラメータ(B、C、D、Δ)は被写体の結像レンズ12からの距離がAのときの値を表すとする。Aが決まれば、固定焦点光学系であれば、上記パラメータはAが決まったとき一意に決まる。
ここで、被写体の結像レンズ12からの距離がAからAに変化した際の、パラメータDの変化量をM(結像レンズ倍率)で表す。式(1)〜式(5)より、結像レンズ倍率Mは式(7)に示す関係となる。
また、式(1)、(2)、(6)、(7)より被写体の結像レンズ12から距離Aと像のずれ量Δは次の式(8)に示す関係となる。
ずれ量Δと倍率Mは、次の式(9)に示す関係となる。
被写体Aが遠方に位置する、すなわちA→∞のとき、M→0となり、ずれ量Δは次の式(10)に示す値に収束する。
ここで、Aの変化に対するΔの変化は、下式で表される。
精度を示す式(11)はM(=B/A)を含むため、精度は距離依存性を持つ。
(第1実施形態の光学系で得られるマイクロレンズ画像群と画像再構成の関係)
第1実施形態の光学系で得られる光学像関係について、図5(a)乃至5(d)を参照して説明する。
マイクロレンズが光学系に配置されず、仮想結像面70に撮像素子16が位置する場合は、仮想結像面70では、図5(c)に示すように被写体像が撮像されるはずである。一方、本実施形態のように複数のマイクロレンズ14aによって同一被写体から出た光線群を分割し、仮想結像面70よりも前方に位置する撮像素子16の面へ結像した場合、同一被写体がレンズ口径内で生じる視差に応じて複数撮像されることになる。よって、図5(b)に示すような、同一被写体が複数回撮影されたマイクロレンズによる像の群が画像として出力される。
図5(b)において例として示したマイクロレンズ画像群は、等ピッチのマイクロレンズが六方細密配列されたときの画像である。図5(b)に示すマイクロレンズ像群は、仮想結像面70に結像するはずだった光学像から、マイクロレンズ結像系による像倍率N(式(4))だけ縮小される関係となる。この縮小倍率Nが、光学的な解像度劣化の指標となるが、これについては後述する。
また、得られたマイクロレンズ画像群は、読み出した各マイクロレンズの画像データを再構成処理することによって、図5(d)に示すような重複箇所のない2次元画像に再構成する。再構成処理については後述する。
また、得られたマイクロレンズ画像群は、結像レンズ12の口径内の視差を有するため、視差を利用した3次元画像処理が可能となる。
(被写体距離によるマイクロレンズ像倍率の変化と光学的解像度の関係)
(実像光学系と虚像光学系でのML像倍率変化の違い)
次に、本実施形態の光学系における、被写体の結像レンズからの距離に対するマイクロレンズ像倍率の変化を、図6(a)乃至図6(c)を参照して説明する。
式(1)より、被写体の結像レンズからの距離Aが減少するほど、結像レンズ12の結像距離Bは増加し、その結果、仮想結像面70がマイクロレンズ14aから遠ざかるので、マイクロレンズの像倍率は次式に従い減少する。
N=D/(B−E)
一方、被写体の結像レンズからの距離Aが増加するほど、結像レンズ12の結像距離Bは減少し、仮想結像面70は結像レンズ12の焦点距離fに近づき、その結果、仮想結像面70はマイクロレンズの面に近づくことになるので、マイクロレンズの像倍率Nは増加する。
被写体が無限遠時においては、結像距離Bは結像レンズ12の焦点距離fに収束するため、無限遠時の像倍率Nは下式のように収束する。
=D/(f−E)
図6(c)に示すグラフは、N=0.5のときの、結像レンズ12の焦点距離f=5.0mmのときの被写体の結像レンズからの距離Aと、マイクロレンズの像倍率(像縮小率)Nの関係を示したグラフである。被写体が結像レンズに近い程、仮想結像面70がマイクロレンズから遠ざかるので、マイクロレンズの像倍率Nが減少していく特性が分かる。
ここで、マイクロレンズによる像倍率Nによる画像の光学的解像度劣化特性について説明する。
マイクロレンズによる縮小倍率がNのとき、光学解像度は像縮小率Nの2乗に比例して劣化する。これは、本来画素ピッチの逆数が光学サンプリング周波数となるが、同じ画素ピッチの画素を用いた場合、同じサンプリングサイズに対し縮小した画像をサンプルすることから、縦と横のサンプルピッチがそれぞれN倍粗くなったことに相当するためである。縦、横の乗算により、劣化はNとなる。
本実施形態おいては、マイクロレンズ画像群にて、どの被写体も少なくとも2回以上、多重に撮影される必要がある。少なくとも2回撮影できるマイクロレンズの像縮小倍率Nは0.5以下なので、マイクロレンズの像縮小倍率Nは0.5以下であることが好ましい。理論的な最大光学解像度は{センサ画素数×(0.5)}以下となる
(2次元可視画像の再構成方法)
ここで、同一被写体が重複撮影されているマイクロレンズ画像群から、重複のない2次元画像を再構成する方法について図7(a)乃至7(c)を参照して説明する。
隣接する3個のマイクロレンズがあり、それらが図7(b)に示すように、撮像素子16の面にマイクロレンズ像91a、91b,91cをそれぞれ形成する場合を考える。このように重複のないマイクロレンズ像を形成するには、結像レンズ12のFナンバーとマイクロレンズのFナンバーが一致していれば良い。マイクロレンズの像91a、91b,91cが結像する視野は、仮想結像面70においては視野93a、視野93b、視野93cとなり、図7(c)に示すように重複した範囲となる。図7(b)、7(c)では、像縮小率Nが0.5の場合を描いており、各視野が0.5倍された結果、どの被写体点も2回以上重複されて撮像される関係となる。N=0.5の関係にあるときは、各マイクロレンズ像を1/N倍、すなわち、2倍とすることで、仮想結像面70の像を再現できることになる。
像縮小率Nを、撮影後のマイクロレンズ画像群から知るためには、式(6)の関係から、(12)が導かれることを利用する。
マイクロレンズのピッチLMLは既知であるため、同一被写体のずれ量Δを画像から求めれば、像縮小率Nも求まることになる。
同一被写体のずれ量Δを画像から求めるには、隣接するマイクロレンズの像の間の画像マッチング処理を用いる。画像マッチング処理としては、例えば、2つの画像の類似度や相違度を調べる、周知のテンプレートマッチング法を用いることができる。また、更に精密にずれ位置を求める際には、画素単位ごとに得られた類似度や相似度を連続なフィッティング関数等で補間し、フィッティング関数の最大や最小を与えるサブピクセル位置を求めることで、更に高精度にずれ量を求めることができる。
(被写体奥行き距離情報を得る方法)
図6(c)で説明したように、被写体の結像レンズからの距離Aと、像縮小率Nとは相関関係がある。よって、前述の手法にて式(12)より、ずれ量Δが求まった場合、マイクロレンズのピッチLMLは設計固定値であるので像縮小率Nが求まり、その結果、被写体の結像レンズからの距離Aを求めることができる。
以上説明したように、第1実施形態によれば、カメラ高さの増大を抑制することができる。
また、マイクロレンズにより視差をもった画像群が取得されるため、視差画像を利用した様々な3次元画像処理が可能となる。
(第2実施形態)
次に、第2実施形態による固体撮像装置(カメラモジュール)について図8を参照して説明する。図8は第2実施形態の固体撮像装置1Aを示す断面図である。この第2実施形態の固体撮像装置1Aは、第1実施形態の固体撮像装置1において、可視光透過基板40を光学フィルタ41に置き換えた構成となっている。すなわち、結像レンズ12およびレンズ鏡筒62を支えるレンズホルダ64は、光学フィルタ41の周辺領域上に接合される。光学フィルタ41とは、可視光(R、G、B波長域)を透過しかつ不要な近赤外光をカットする基板材料であり、その片側面にマイクロレンズアレイ14が形成された基板である。光学フィルタ41の基板材料としては、例えば不要な近赤外光を吸収する材料であっても良いし、近赤外光を反射する多層膜もしくは単層膜が形成されていても良い。
マイクロレンズアレイ14が形成された光学フィルタ基板41は、マイクロレンズの面を撮像素子側に向けた方向に配置する。
この第2実施形態も第1実施形態と同様に、カメラ高さの増大を抑制することができるとともに、マイクロレンズにより視差をもった画像群が取得されるため、視差画像を利用した様々な3次元画像処理を行うことができうる。
また、第1および第2実施形態の固体撮像装置は、スチルカメラばかりでなく、図9に示す携帯情報端末200に適用することができる。図9に示す携帯情報端末は一例であって、符号10は第1または第2実施形態における固体撮像装置の撮像モジュールを示す。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 撮像モジュール部
12 結像光学系(結像レンズ)
14 マイクロレンズアレイ
14a マイクロレンズ
16 撮像素子
16a 半導体基板
16b 画素(フォトダイオード)
16c カラーフィルタ
16d 画素集光用マイクロレンズ
18 撮像回路
20 撮像信号プロセッサ
22 カメラモジュールI/F
24 画像取り込み部
26 信号処理部
28 ドライバI/F
40 可視光フィルタ基板
42 スペーサ樹脂
44 電極パッド
48 バンプ
50 チップ
52 光遮蔽カバー
54 モジュール電極
62 レンズ鏡筒
64 レンズホルダ
80 主光線
82 周辺光線
200 携帯情報端末

Claims (5)

  1. 半導体基板に形成され、それぞれが複数の画素を含む複数の画素ブロックを有する撮像領域を備えた撮像素子と、
    被写体を結像面に結像する第1の光学系と、
    前記複数の画素ブロックに対応して設けられた複数のマイクロレンズを有するマイクロレンズアレイを含み、前記結像面に結像される予定の像を、個々のマイクロレンズに対応する画素ブロックに縮小再結像する第2の光学系と、
    を備え、
    被写体が無限遠時に位置するときの前記第1の光学系による結像面が、前記第1の光学系からみて前記撮像素子よりも遠くにあることを特徴とする固体撮像装置。
  2. 前記被写体が無限遠時に位置するときの前記マイクロレンズの像縮小率が0.5以下であることを特徴とする請求項1記載の固体撮像装置。
  3. 前記マイクロレンズアレイが、赤外光を吸収もしくは反射しなおかつ可視光を透過する基板上に形成されていることを特徴とする請求項1または2記載の固体撮像装置。
  4. 前記撮像領域上に、画素毎に設けられるカラーフィルタを更に備えていることを特徴とする請求項1乃至3のいずれかに記載の固体撮像装置。
  5. 請求項1乃至4のいずれかに記載の固体撮像装置を備えていることを特徴とする携帯情報端末。
JP2011040254A 2011-02-25 2011-02-25 固体撮像装置および携帯情報端末 Expired - Fee Related JP5214754B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011040254A JP5214754B2 (ja) 2011-02-25 2011-02-25 固体撮像装置および携帯情報端末
US13/221,061 US9048157B2 (en) 2011-02-25 2011-08-30 Solid-state imaging device and portable information terminal
US14/726,052 US20150324992A1 (en) 2011-02-25 2015-05-29 Imaging device and portable information terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011040254A JP5214754B2 (ja) 2011-02-25 2011-02-25 固体撮像装置および携帯情報端末

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013034953A Division JP5568150B2 (ja) 2013-02-25 2013-02-25 固体撮像装置および携帯情報端末

Publications (2)

Publication Number Publication Date
JP2012178693A true JP2012178693A (ja) 2012-09-13
JP5214754B2 JP5214754B2 (ja) 2013-06-19

Family

ID=46718768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011040254A Expired - Fee Related JP5214754B2 (ja) 2011-02-25 2011-02-25 固体撮像装置および携帯情報端末

Country Status (2)

Country Link
US (2) US9048157B2 (ja)
JP (1) JP5214754B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014054598A1 (ja) * 2012-10-05 2014-04-10 オリンパス株式会社 撮像装置
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
WO2016159032A1 (ja) * 2015-03-30 2016-10-06 株式会社ニコン 撮像素子および撮像装置
US9791599B2 (en) 2014-03-24 2017-10-17 Kabushiki Kaisha Toshiba Image processing method and imaging device
JP2019110313A (ja) * 2013-05-21 2019-07-04 クラレト,ホルヘ ヴィセンテ ブラスコ プレノプティックセンサ

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5214754B2 (ja) 2011-02-25 2013-06-19 株式会社東芝 固体撮像装置および携帯情報端末
JP5705140B2 (ja) * 2011-09-27 2015-04-22 株式会社東芝 固体撮像装置及び固体撮像装置の製造方法
JP5591851B2 (ja) 2012-03-15 2014-09-17 株式会社東芝 固体撮像装置および携帯情報端末
US9232122B2 (en) * 2012-09-19 2016-01-05 Lg Innotek Co., Ltd. Camera module having an array sensor
JP5568150B2 (ja) * 2013-02-25 2014-08-06 株式会社東芝 固体撮像装置および携帯情報端末
JP2014164174A (ja) * 2013-02-26 2014-09-08 Toshiba Corp 固体撮像装置、携帯情報端末、および固体撮像システム
JP6189061B2 (ja) 2013-03-19 2017-08-30 株式会社東芝 固体撮像装置
JP2015060053A (ja) 2013-09-18 2015-03-30 株式会社東芝 固体撮像装置、制御装置及び制御プログラム
KR102455520B1 (ko) * 2020-06-05 2022-10-17 한국과학기술원 마이크로렌즈 어레이를 이용한 초박형 카메라 장치 그리고 이의 다기능 이미징 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177727A (ja) * 2008-01-28 2009-08-06 Sony Corp 撮像装置
WO2010121637A1 (en) * 2009-04-22 2010-10-28 Raytrix Gmbh Digital imaging system, plenoptic optical device and image data processing method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950608B2 (en) * 2003-12-23 2005-09-27 Eastman Kodak Company Capture of multiple interlaced images on a single film frame using micro-lenses and method of providing multiple images to customers
JP5040493B2 (ja) * 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
JP2008164367A (ja) * 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP2008312080A (ja) * 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189089B1 (en) * 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
TWI512956B (zh) * 2009-02-03 2015-12-11 Flir Systems Trading Belgium Bvba 光學成像裝置及其製造方法
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US9582889B2 (en) * 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
WO2011149451A1 (en) * 2010-05-24 2011-12-01 Omnivision Technologies, Inc. Dual-sided image sensor
US9066072B2 (en) * 2010-07-20 2015-06-23 Semiconductor Components Industries, Llc Systems and methods for calibrating image sensors
JP5421207B2 (ja) 2010-08-25 2014-02-19 株式会社東芝 固体撮像装置
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
JP5254291B2 (ja) 2010-09-07 2013-08-07 株式会社東芝 固体撮像装置
JP5127899B2 (ja) 2010-09-14 2013-01-23 株式会社東芝 固体撮像装置
JP5214754B2 (ja) 2011-02-25 2013-06-19 株式会社東芝 固体撮像装置および携帯情報端末

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177727A (ja) * 2008-01-28 2009-08-06 Sony Corp 撮像装置
WO2010121637A1 (en) * 2009-04-22 2010-10-28 Raytrix Gmbh Digital imaging system, plenoptic optical device and image data processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013004642; A. Lumsdaine, T.Georgiev: 'Full Resolution Lightfield Rendering' Adobe Technical Report , 200801 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014054598A1 (ja) * 2012-10-05 2014-04-10 オリンパス株式会社 撮像装置
JP2014074690A (ja) * 2012-10-05 2014-04-24 Olympus Corp 撮像装置
US9756304B2 (en) 2012-10-05 2017-09-05 Olympus Corporation Image-acquisition apparatus for performing distance measurement using parallax
JP2019110313A (ja) * 2013-05-21 2019-07-04 クラレト,ホルヘ ヴィセンテ ブラスコ プレノプティックセンサ
JP2015185947A (ja) * 2014-03-20 2015-10-22 株式会社東芝 撮像システム
US9383549B2 (en) 2014-03-20 2016-07-05 Kabushiki Kaisha Toshiba Imaging system
US9791599B2 (en) 2014-03-24 2017-10-17 Kabushiki Kaisha Toshiba Image processing method and imaging device
WO2016159032A1 (ja) * 2015-03-30 2016-10-06 株式会社ニコン 撮像素子および撮像装置
JPWO2016159032A1 (ja) * 2015-03-30 2017-11-24 株式会社ニコン 撮像素子および撮像装置
US10298836B2 (en) 2015-03-30 2019-05-21 Nikon Corporation Image sensor and image-capturing apparatus

Also Published As

Publication number Publication date
US9048157B2 (en) 2015-06-02
US20120218448A1 (en) 2012-08-30
US20150324992A1 (en) 2015-11-12
JP5214754B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5214754B2 (ja) 固体撮像装置および携帯情報端末
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
US9461083B2 (en) Solid-state image pickup element and image pickup apparatus
JP5716465B2 (ja) 撮像装置
US9001262B2 (en) Image sensor and image capturing apparatus
JP4673202B2 (ja) 画像入力装置
US10686004B2 (en) Image capturing element and image capturing device image sensor and image-capturing device
US9826139B2 (en) Image processing apparatus, image processing method, program, and image pickup apparatus having the image processing apparatus
JP2014164174A (ja) 固体撮像装置、携帯情報端末、および固体撮像システム
JP6189061B2 (ja) 固体撮像装置
KR20170032227A (ko) 복안 촬상 장치
JP6746359B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2017220724A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6774207B2 (ja) 撮像素子及び撮像装置
JP2006165601A (ja) 撮像装置及び撮像素子
JP5568150B2 (ja) 固体撮像装置および携帯情報端末
KR102057160B1 (ko) 제어장치, 촬상장치, 및 제어방법
JP5240591B2 (ja) 撮像装置、合焦装置、撮像方法および合焦方法
JP5907668B2 (ja) 撮像装置及び撮像素子
JP2011182325A (ja) 撮像装置
JP6748529B2 (ja) 撮像素子及び撮像装置
JP2018019348A (ja) 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP6882016B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP2014099696A (ja) 固体撮像装置
JP2013090265A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees