JP5634795B2 - 撮像モジュールおよび撮像装置 - Google Patents

Description

本発明は、撮像モジュールおよび撮像装置に関する。

簡単な画像処理で広角と高解像度とを両立するとした複眼撮像装置が知られている（例えば、特許文献１参照）。また、独立した２つ撮像光学系を備え、２つの撮像光学系からの光を各別に受光し、被写体の画像を各別に撮像して撮像信号を出力する画像撮像装置が知られている（例えば、特許文献２参照）。
特許文献１ 特開２００５−３０３６９４号公報
特許文献２ 特開２００３−１８４４５号公報

明るい光学系を用いると焦点深度が浅くなってしまう。被写体が広い距離範囲にわたって存在する場合、焦点ズレした被写体の像が大きくボケてしまうという課題があった。

上記課題を解決するために、本発明の一態様においては、撮像モジュールであって、光学系をそれぞれ有し、それぞれ互いに異なる波長域の光で被写体を撮像して、対応する波長域の光による画像を示す波長成分信号をそれぞれ生成する複数の撮像系と、複数の撮像系により生成された波長成分信号を合成して、被写体の画像を示す画像信号を生成する画像生成部とを備え、複数の撮像系のうち、被写体の画像において輝度により大きく寄与する波長成分信号を生成する撮像系が、より深い焦点深度を持つ光学系を有する。

画像生成部は、複数の撮像系により生成された波長成分信号を、波長域に対応して予め定められた重みづけで合成することにより、画像信号の輝度信号を生成し、複数の撮像系のうち、より大きい重みづけに対応する波長域の光で撮像する撮像系が、より深い焦点深度を持つ光学系を有してよい。

複数の撮像系のうち輝度に最も大きく寄与する波長成分信号を生成する第１撮像系が、他の撮像系より多く設けられてよい。

画像生成部は、複数の第１撮像系がそれぞれ生成した波長成分信号を合成して１の波長成分信号を生成し、生成した波長成分信号と他の波長成分信号とを合成して画像信号を生成してよい。

輝度により大きく寄与する波長成分信号を生成する撮像系が、より大きいＦ値を持つ光学系を有してよい。輝度により大きく寄与する波長成分信号を生成する撮像系が、より小さい絞りの光学系を有してよい。

複数の撮像系は、それぞれＲ、ＧおよびＢに属する波長域の光で撮像する３の撮像系を少なくとも含み、Ｇに属する波長域の光で撮像する１以上の撮像系が、他の撮像系が有する光学系より深い焦点深度を持つ光学系を有してよい。

Ｇ以外に属する波長域の光で撮像する撮像系が有する光学系は結像光学系であり、Ｇに属する波長域の光で撮像する１以上の撮像系は、光軸方向の予め定められた距離範囲に位置する被写体からの光に略同一の拡がりを与える光学系を有してよい。

画像生成部は、複数の撮像系により生成された波長成分信号に対して、複数の撮像系がそれぞれ有する光学系の光軸位置に基づいて画像上の被写体像の位置合わせをして合成してよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置１００のブロック構成の一例を模式的に示す図である。 撮像装置１００が備える撮像系の位置関係の一例を示す図である。 撮像モジュールのブロック構成の一例を模式的に示す図である。 画像生成部１５０のブロック構成の一例を示す図である。 各撮像系で撮像された画像に対する画像処理の一例を示す図である。 撮像モジュールの他のブロック構成例を示す図である。 波長成分信号生成部７１０のブロック構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置１００のブロック構成の一例を模式的に示す。本実施形態に係る撮像装置１００は、ボケの小さな被写体像を提供する。撮像装置１００は、第１撮像系１０１−１、第１撮像系１０１−２、第２撮像系１０２、第３撮像系１０３、画像信号生成部１７０、および、記録部１８０を備える。第１撮像系１０１−１および第１撮像系１０１−２を、第１撮像系１０１と総称する場合がある。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、および、画像信号生成部１７０は、撮像装置１００に組み込まれる撮像モジュールとして機能する。

第１撮像系１０１−１および第１撮像系１０１−２は、緑の波長域に属する光であるＧ光で撮像するＧ撮像系とする。第２撮像系１０２は、青の波長域に属する光であるＢ光で撮像するＢ撮像系とする。第３撮像系１０３は、赤の波長域に属する光であるＲ光で撮像するＲ撮像系とする。このように、撮像装置１００は、それぞれＲ、ＧおよびＢに属する波長域の光で撮像する３の撮像系を含む複数の撮像系を備える。

第１撮像系１０１−１は、Ｇ光による画像を示す波長成分信号である撮像信号Ｇ１を、画像信号生成部１７０に出力する。第１撮像系１０１−２は、Ｇ光による画像を示す波長成分信号である撮像信号Ｇ２を、画像信号生成部１７０に出力する。第２撮像系１０２は、Ｂ光による画像を示す波長成分信号である撮像信号Ｂを、画像信号生成部１７０に出力する。第３撮像系１０３は、Ｒ光による画像を示す波長成分信号である撮像信号Ｒを、画像信号生成部１７０に出力する。

画像信号生成部１７０は、撮像信号Ｇ１、撮像信号Ｇ２、撮像信号Ｂ、および、撮像信号Ｒを用いて、輝度信号Ｙおよび色信号Ｃを生成する。画像信号生成部１７０は、生成した輝度信号Ｙおよび色信号Ｃを、記録部１８０に供給する。

記録部１８０は、画像信号生成部１７０が生成した画像信号を記録する。記録部１８０は、画像信号生成部１７０から供給された画像信号が示す画像を、不揮発性メモリに記録してよい。当該不揮発性メモリは、記録部１８０が有してよい。また、当該不揮発性メモリは、撮像装置１００に対して着脱可能に設けられた外部メモリであってよい。記録部１８０は、撮像装置１００の外部に画像を出力してもよい。

撮像装置１００は、カメラ機能付きの携帯電話、デジタルカメラなどの撮像機器であってよい。第１撮像系１０１、第２撮像系１０２、第３撮像系１０３、および、画像信号生成部１７０を有する撮像モジュールは、これらの撮像機器用のカメラモジュールとして提供することができる。

図２は、撮像装置１００が備える撮像系の位置関係の一例を示す。本図では、各撮像系が有するレンズの配置を用いて、撮像系の位置関係が示される。本図は、物体側から見た場合のレンズ配置例とする。

第１撮像系１０１−１が有する第１レンズ１１０−１、第１撮像系１０１−２が有する第１レンズ１１０−２、第２撮像系１０２が有する第２レンズ１２０、および、第３撮像系１０３が有する第３レンズ１３０が、レンズ鏡筒２００の内側に設けられる。なお、第１レンズ１１０−１および第１レンズ１１０−２を、第１レンズ１１０と総称する場合がある。

第１レンズ１１０−１および第１レンズ１１０−２は、ｘ方向及びｙ方向に互いに離間して設けられる。ｘ方向の離間幅とｙ方向の離間幅は略同一とする。

第２レンズ１２０は、第１レンズ１１０−１に対してｙ方向に離間して設けられる。第２レンズ１２０は、第１レンズ１１０−２に対してはｘ方向に離間して設けられる。第３レンズ１３０は、第１レンズ１１０−１に対してｘ方向に離間して設けられる。第３レンズ１３０は、第１レンズ１１０−２に対してはｙ方向に離間して設けられる。

このように、撮像装置１００は、第１レンズ１１０−１、第１レンズ１１０−２、第２レンズ１２０、第３レンズ１３０、およびレンズ鏡筒２００を含むレンズ装置を持つ。第１レンズ１１０−１の光軸と第１レンズ１１０−２の光軸との中点は、第２レンズ１２０の光軸と第３レンズ１３０の光軸との中点と一致する。なお、当該中点のことをレンズ装置の中心と呼ぶ場合がある。

第１レンズ１１０−１の光軸、第１レンズ１１０−２の光軸、第２レンズ１２０の光軸、および、第３レンズ１３０の光軸は、互いに平行であるとする。すなわち、第１撮像系１０１−１の撮像光軸、第１撮像系１０１−２の撮像光軸、第２撮像系１０２の撮像光軸、および、第３撮像系１０３の撮像光軸は、互いに平行であり、各撮像系は、撮像光軸に垂直な面内で、互いに撮像光軸の位置を異ならせて設けられる。

図３は、撮像装置１００が有する撮像モジュールのブロック構成の一例を模式的に示す。第１撮像系１０１−１および第２撮像系１０２のブロック構成として、第１撮像系１０１−１および第２撮像系１０２の光軸を含む平面での模式断面図を示す。画像信号生成部１７０は、読み出し部１４０および画像生成部１５０を有する。

Ｇ光で被写体を撮像する第１撮像系１０１−１は、Ｂ光で被写体を撮像する第２撮像系１０２よりも深い焦点深度で撮像することができる。Ｂ撮像系よりもＧ撮像系で焦点深度を深くすることで、同じ焦点ズレに対しては、Ｂの画像信号よりもＧの画像信号でボケ量を小さくすることができる。人間の目の視感度は緑の波長域で最も高いので、仮にＢの画像信号でボケ量が大きい場合であっても、Ｇの画像信号でボケ量が小さければ、人間の目には比較的に鮮明に見える場合がある。このため、撮像装置１００によると、被写体が比較的に広い距離範囲にわたって存在する場合であっても、大きなボケのない画像を提供することができる。

第１撮像系１０１−１は、第１光学系１１５および第１受光部１１９を有する。第１光学系１１５は、第１レンズ１１０−１、および、第１絞り部１１２を持つ。第１受光部１１９は、第１カラーフィルタアレイ１１６および第１撮像素子アレイ１１８を持つ。

第１レンズ１１０−１は、結像レンズであり、被写体からのＧ光を第１受光部１１９に結像する。第１絞り部１１２は、第１光学系１１５を通過する光の量を調整する。第１光学系１１５を通過する光は、第１絞り部１１２の開口部を通過するものに制限される。

第１カラーフィルタアレイ１１６は、Ｇ光を選択的に透過する複数のカラーフィルタを含む。第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第１カラーフィルタアレイ１１６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。

第１撮像素子アレイ１１８は、被写体からの光を第１光学系１１５を通じて受光する複数の撮像素子を含む。第１撮像素子アレイ１１８が含む複数の撮像素子は、第１カラーフィルタアレイ１１６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第１カラーフィルタアレイ１１６に入射した被写体光のうち、対応するカラーフィルタを透過したＧ光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。

第２撮像系１０２は、第２光学系１２５および第２受光部１２９を有する。第２光学系１２５は、第２レンズ１２０、および、第２絞り部１２２を持つ。第２受光部１２９は、第２カラーフィルタアレイ１２６および第２撮像素子アレイ１２８を持つ。

第２レンズ１２０は、結像レンズであり、被写体光を第２受光部１２９に結像する。第２絞り部１２２は、第２光学系１２５を通過する光の量を調整する。第２光学系１２５を通過する光は、第２絞り部１２２の開口部を通過するものに制限される。ここで、第２絞り部１２２は、第１絞り部１１２よりも大きな絞り開口を持つ。

第２カラーフィルタアレイ１２６は、Ｂ光を選択的に透過する複数のカラーフィルタを含む。第２カラーフィルタアレイ１２６は、当該複数のカラーフィルタが予め定められたパターンで配列されて形成される。例えば、第２カラーフィルタアレイ１２６は、当該複数のカラーフィルタがマトリクス状に配列されて形成される。

第２撮像素子アレイ１２８は、被写体からの光を第２光学系１２５を通じて受光する複数の撮像素子を含む。第２撮像素子アレイ１２８が含む複数の撮像素子は、第２カラーフィルタアレイ１２６が含む複数のカラーフィルタに対応して設けられる。各撮像素子は、第２カラーフィルタアレイ１２６に入射した被写体光のうち、対応するカラーフィルタを透過したＢ光を受光する。各撮像素子は、受光した光の量に応じた強度の撮像信号を出力する。

第２絞り部１２２の絞り開口を大きくすることで、撮像素子に入射するＢ光の光量を高めることができる。このため、撮像素子の感度がＧ光よりもＢ光に対して低いとしても、撮像素子に入射するＢ光の光量を高めることで、Ｂ光の画像信号のＳＮ比が著しく低くなってしまうことを防ぐことができる。

なお、本図において、第１撮像系１０１−１および第２撮像系１０２のブロック構成について説明した。第１撮像系１０１−２は、第１撮像系１０１−１と略同一の光学構成を持つ。また、第３撮像系１０３は、Ｒ光で被写体を撮像する撮像系である点を除き、第２撮像系１０２と同様の光学特性の光学構成を持つ。

具体的には、第３撮像系１０３は、第２撮像系１０２が有する光学要素のうち、第２レンズ１２０に替えてＲ光を結像する結像レンズを備え、第２カラーフィルタアレイ１２６に替えてＲ光を選択的に透過するカラーフィルタアレイを備えることができる。第３撮像系１０３が有する絞り部の絞り開口は、第１絞り部１１２の絞り開口よりも大きい。第３撮像系１０３が有する絞り部の絞り開口は、第２絞り部１２２の絞り開口以下であってよい。第３撮像系１０３が有する絞り部の絞り開口は、第２絞り部１２２の絞り開口よりも小さくてよく、第２絞り部１２２の絞り開口と大きさが略等しくてもよい。

以上のように、第１絞り部１１２の絞り開口を小さくすることで、Ｇ光に対する撮像の焦点深度を深くすることができる。第１撮像系１０１が備える絞り部の絞り開口が、他の撮像系が備える絞り部の絞り開口よりも小さくなるので、第１撮像系１０１がそれぞれ撮像に利用できる光量は他の撮像系と比較して小さくなる。しかしながら、第１撮像系１０１は２つ設けられるので、２つの第１撮像系１０１の撮像信号Ｇ１および撮像信号Ｇ２を利用してＧの画像信号を生成することができる。このため、絞り開口を小さくすることで個々の第１撮像系１０１でノイズ強度が増加したとしても、２つの撮像信号Ｇ１および撮像信号Ｇ２を利用してＧの画像信号を生成することで、ノイズ強度を相対的に低減することができる。

各撮像系が有する光学系は、結像光学系であり、それぞれ撮像に用いる波長域の光をそれぞれの受光部に結像するべく、光学設計される。例えば、第１光学系１１５および第２光学系１２５は、Ｇ光およびＢ光をそれぞれ第１受光部１１９および第２受光部１２９に結像するべく、光学設計される。各光学系は、それぞれが撮像に用いる光の波長域に対して焦点距離および画角が略同一であってよい。Ｒ光、Ｇ光、Ｂ光などのように比較的に狭い波長域の光に対してそれぞれ光学系を設計すればよいので、比較的に広い波長域の光に対して設計する場合と比較して、色収差補正が容易となる。このため、撮像モジュールを低背化することができる。

第１受光部１１９および第２受光部１２９がそれぞれ有する複数の撮像素子は、同一平面上に設けられる。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一基板上に形成される。例えば、第１撮像素子アレイ１１８が有する複数の撮像素子、および、第２撮像素子アレイ１２８が有する複数の撮像素子は、同一プロセスで同一基板の一面に同時に形成される。また、第１カラーフィルタアレイ１１６が有する複数のカラーフィルタおよび第２カラーフィルタアレイ１２６が有する複数のカラーフィルタも、対応する撮像素子の上部に同一プロセスで同時に形成される。これにより、第１受光部１１９および第２受光部１２９が一体に含む１つの受光部１０９が製造される。第１受光部１１９の撮像面および第２受光部１２９の撮像面は、受光部１０９が持つ撮像面の部分領域となる。なお、第１撮像素子アレイ１１８および第１カラーフィルタアレイ１１６を持つ第１受光部１１９と、第２撮像素子アレイ１２８および第２カラーフィルタアレイ１２６を持つ第２受光部１２９とは、互いに別個に製造して組み付けられてもよい。

第１撮像系１０１、第２撮像系１０２および第３撮像系１０３が備える複数の撮像素子は実質的に同時に露光される。各撮像素子が露光されると、読み出し部１４０は、当該複数の撮像素子から、撮像信号を読み出す。読み出し部１４０は、複数の撮像素子と同一基板上に形成された読み出し回路を有してよい。当該読み出し回路は、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３に対して１つ設けられ、１つの読み出し回路が、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３が備える複数の撮像素子から、撮像信号を順次に読み出してよい。なお、当該読み出し回路は、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３に対してそれぞれ別個に設けられてよい。

第１撮像系１０１、第２撮像系１０２および第３撮像系１０３が備える複数の撮像素子は、ＭＯＳ型撮像素子であってよい。各撮像素子が同一プロセスで同一基板の一面に形成されたＭＯＳ型撮像素子である場合、読み出し部１４０は、各撮像系が備える光学系毎に、部分的に読み出すことができる。第１受光部１１９が含む複数の撮像素子、および、第２受光部１２９が含む複数の撮像素子は、ＭＯＳ型撮像素子の他、ＣＣＤ型撮像素子などの固体撮像素子で実装することもできる。

読み出し部１４０が各撮像系が備える撮像素子から読み出した撮像信号Ｇ１、撮像信号Ｇ２、撮像信号Ｂ、撮像信号Ｒは、画像生成部１５０に供給される。画像生成部１５０は、撮像信号Ｇ１、撮像信号Ｇ２、撮像信号Ｂ、および、撮像信号Ｒを用いて輝度信号Ｙおよび色信号Ｃを生成する。画像生成部１５０における輝度信号Ｙおよび色信号Ｃの生成処理については、図４に関連して説明する。

図４は、画像生成部１５０のブロック構成の一例を示す。画像生成部１５０は、波長成分信号生成部４１０および輝度信号生成部４２２を有する。波長成分信号生成部４１０は、Ｇ成分信号生成部４１１、Ｂ成分信号生成部４１２、および、Ｒ成分信号生成部４１３を含む。

波長成分信号生成部４１０には、読み出し部１４０から撮像信号が供給される。このうち、撮像信号Ｇ１および撮像信号Ｇ２が、Ｇ成分信号生成部４１１に供給される。Ｇ成分信号生成部４１１は、撮像信号Ｇ１および撮像信号Ｇ２を合成して、１のＧ成分信号（Ｇ'）を生成する。このとき、Ｇ成分信号生成部４１１は、撮像信号Ｇ１および撮像信号Ｇ２に対してそれぞれ視差補正を施して合成することにより、Ｇ成分信号（Ｇ'）を生成する。波長成分信号生成部４１０は、生成したＧ成分信号を、輝度信号生成部４２２および色信号生成部４２４に供給する。

Ｂ成分信号生成部４１２には、撮像信号Ｂが供給される。Ｂ成分信号生成部４１２は、撮像信号Ｂに対して視差補正を施してＢ成分信号（Ｂ'）を生成して、輝度信号生成部４２２および色信号生成部４２４に供給する。Ｒ成分信号生成部４１３には、撮像信号Ｒが供給される。Ｒ成分信号生成部４１３は、撮像信号Ｒに対して視差補正を施してＲ成分信号（Ｒ'）を生成して、輝度信号生成部４２２および色信号生成部４２４に供給する。

輝度信号生成部４２２は、Ｇ成分信号、Ｂ成分信号、および、Ｒ成分信号から、輝度信号Ｙを生成して、記録部１８０に出力する。色信号生成部４２４は、Ｇ成分信号、Ｂ成分信号、および、Ｒ成分信号から、色信号Ｃを生成して、記録部１８０に出力する。具体的には、輝度信号生成部４２２は、Ｒ成分信号、Ｇ成分信号、Ｂ成分信号および輝度信号ＹをそれぞれＲ、Ｇ、Ｂ、Ｙとして、Ｙ＝０．３０Ｒ＋０．５９Ｇ+０．１１Ｂにより輝度信号Ｙを生成する。色信号生成部４２４は、色成分ＣのうちＣｒおよびＣｂの色信号を、それぞれＣｒ＝０．７０Ｒ−０．５９Ｇ−０．１１Ｂ、Ｃｂ＝−０．３０Ｒ−０．５９Ｇ＋０．８９Ｂにより生成する。

このように、輝度信号生成部４２２は、Ｒ成分信号、Ｇ成分信号、Ｂ成分信号を、波長域に対応して予め定められた重みづけ係数で合成することにより、輝度信号Ｙを生成する。輝度信号Ｙを生成する場合の重みづけ係数は、Ｇ成分信号に対する重みづけ係数が最も大きい。上述のとおり、第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３が持つ光学系のうち、第１光学系１１５の光学系が最も深い焦点深度を持つ。すなわち、最も大きい重みづけに対応するＧ波長域の光で撮像する第１撮像系１０１が、最も深い焦点深度を持つ光学系を有する。

このように、画像生成部１５０は、複数の撮像系により生成された波長成分信号を、波長域に対応して予め定められた重みづけで合成することにより、画像信号の輝度信号Ｙを生成する。そして、複数の撮像系のうち、より大きい重みづけに対応する波長域の光で撮像する撮像系が、より深い焦点深度を持つ光学系を有する。

ここでは、画像生成部１５０が、輝度信号Ｙおよび色信号Ｃを生成して記録部１８０に出力するとした。画像生成部１５０は、輝度信号Ｙおよび色信号Ｃに替えて、Ｒ成分信号、Ｇ成分信号、および、Ｂ成分信号を、記録部１８０に出力してもよい。この場合、画像生成部１５０よりも後段で、Ｒ成分信号、Ｇ成分信号、および、Ｂ成分信号から輝度信号Ｙおよび色信号Ｃに変換される場合がある。例えば、記録部１８０における記録時に、輝度信号Ｙおよび色信号Ｃに変換されてよい。また、Ｒ成分信号、Ｇ成分信号、および、Ｂ成分信号で画像が記録され、表示装置に画像信号として供給される場合に、輝度信号Ｙおよび色信号Ｃに一旦変換されて供給されてよい。また、画像の記録から表示までのいずれの段階においても、輝度信号Ｙおよび色信号Ｃには変換されず、Ｒ成分信号、Ｇ成分信号、および、Ｂ成分信号で信号処理される場合もある。

画像生成部１５０よりも後段で輝度信号Ｙおよび色信号Ｃに変換される場合、上述したように、輝度信号Ｙに対する各色成分信号の重みづけは、Ｒ成分信号およびＢ成分信号よりもＧ成分信号に対する重みづけが大きい。画像生成部１５０よりも後段で輝度信号Ｙおよび色信号Ｃに変換されない場合でも、Ｇの波長域の光が人間の目に特に大きい刺激を与えることから、Ｇ成分信号が、画像の輝度に最も大きく寄与する波長成分信号であるといえる。したがって、信号形式として輝度信号に変換されるか否かにかかわらず、Ｇ成分信号が、被写体の画像の輝度に最も大きく寄与する波長成分信号であるといえる。

また、本実施形態では、各撮像系が原色系のカラーフィルタを持つとしたが、各撮像系は、Ｍｇ、Ｙｅ、および、Ｃｙの補色系のカラーフィルタのうちのいずれかのカラーフィルタを持つとしてもよい。この場合でも、被写体の画像において輝度に最も大きく寄与する波長成分信号を生成する撮像系に、最も深い焦点深度を持つ光学系を備えればよい。例えば、Ｙｅのカラーフィルタを持つ撮像系が、最も深い焦点深度を持つ光学系を備えることができる。

以上説明したとおり、撮像装置１００は、第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３を含む複数の撮像系を備える。そして、第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３は、それぞれ互いに異なる波長域の光で被写体を撮像して、対応する波長域の光による画像を示す波長成分信号をそれぞれ生成する。そして、画像生成部１５０は、複数の第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３により生成された波長成分信号を合成して、被写体の画像を示す画像信号を生成する。複数の第１撮像系１０１、第２撮像系１０２、および、第３撮像系１０３のうち、被写体の画像において輝度により大きく寄与する波長成分信号を生成する撮像系である第１撮像系１０１が、より深い焦点深度を持つ光学系を有する、ということができる。このため、比較的に広い距離範囲にわたって存在する被写体を撮像した場合に、焦点ズレにより大きくボケて見えてしまうことを防ぐことができる。

上述したように、第１撮像系１０１−１、第１撮像系１０１−２、第２撮像系１０２、および、第３撮像系１０３は、撮像光軸が互いに離間して設けられる。このため、各撮像系は、互いに異なる視点から同一被写体を撮像することとなる。このため、いわゆる視差により像ズレが生じるので、同一被写体であってもその像位置は完全には一致しない。各画像領域の像ズレ量は、各撮像系が有する光学系の光軸の位置、および、被写体までの距離に応じて、実質的に定まる。

対応領域特定部４３０は、各撮像系が有する光学系の光軸の位置に基づいて、第１撮像系１０１と第２撮像系１０２とで同一被写体が撮像されるべき画像領域を特定する。具体的には、対応領域特定部４３０は、撮像信号Ｇ１が示す画像の画像内容と、撮像信号Ｇ２が示す画像の画像内容とから、同一被写体が撮像された領域である対応領域を特定する。より具体的には、対応領域特定部４３０は、画像間の対応点マッチングにより対応点を特定することにより、対応領域を特定することができる。

ここで、対応点の位置の差は、像ズレ量に対応する。また、各画像領域の像ズレ量は、第１撮像系１０１−１と第１撮像系１０１−２との間の離間距離、および、被写体までの距離に応じて実質的に定まる。したがって、対応領域特定部４３０は、第１撮像系１０１−１の光軸の位置および第１撮像系１０１−２の光軸の位置と、対応点の位置の差とに基づいて、被写体までの距離を画像領域毎に特定する。

対応領域特定部４３０は、被写体までの距離と、第２レンズ１２０の光軸の位置および第３レンズ１３０の光軸の位置とに基づいて、撮像信号Ｒが示す画像および撮像信号Ｂが示す画像における対応領域を特定する。撮像装置１００が同じ波長域の光で撮像する第１撮像系１０１−１および第１撮像系１０１−２を備えるので、対応領域特定部４３０は、第１撮像系１０１の間で対応領域を高精度に特定することができる。また、被写体までの距離も高精度に特定することができる。したがって、対応領域特定部４３０は、波長域が異なる第２撮像系１０２および第３撮像系１０３でそれぞれ得られた画像からも、当該対応領域に撮像された被写体と同一被写体が撮像された領域を、対応領域として特定することができる。

対応領域特定部４３０は、特定した対応領域を示す情報を、波長成分信号生成部４１０に供給する。Ｇ成分信号生成部４１１は、対応領域に基づき視差補正を施して撮像信号Ｇ１および撮像信号Ｇ２を合成する。これにより、Ｇ成分信号生成部４１１は、被写体像の位置合わせがされた１のＧ成分信号を生成する。また、Ｂ成分信号生成部４１２は、対応領域に基づき撮像信号Ｂに対して視差補正を施して、Ｇ成分信号に対して被写体像の位置合わせがされたＢ成分信号を生成する。また、Ｒ成分信号生成部４１３は、対応領域に基づき撮像信号Ｒに対して視差補正を施して、Ｇ成分信号に対して被写体像の位置合わせがされたＲ成分信号を生成する。

このように、画像生成部１５０は、複数の撮像系により生成された波長成分信号に対して、複数の撮像系がそれぞれ有する光学系の光軸位置に基づいて画像上の被写体像の位置合わせをして合成することができる。したがって、画像生成部１５０は、いわゆる一視点からの画像、すなわち、視差が実質的に解消された画像を生成することができる。

なお、上述したように各画像領域の像ズレ量は、第１撮像系１０１と第２撮像系１０２との間の離間距離、および、被写体までの距離に相関するので、被写体までの距離が特定されれば、像ズレ量を特定することができる。そして、対応領域は、像ズレ量によって特定される。したがって、対応領域特定部４３０は、上記の対応点マッチングにより対応領域を直接特定することの他、各撮像系の撮像光軸の位置と測距情報とに基づき、対応領域を特定してよい。測距情報は、例えば撮像装置１００が備える外部の測距デバイスから取得してもよい。

図５は、第１撮像系１０１、第２撮像系１０２および第３撮像系１０３で撮像された画像に対する画像処理の一例を示す。ここでは、レンズ装置の中心から光軸方向に延長した延長線上に存在する被写体の像を例に挙げて、画像処理の一例を模式的に説明する。ここでは当該被写体のことを軸上被写体と呼ぶ。

Ｇ成分画像５１０−１およびＧ成分画像５１０−２は、それぞれ撮像信号Ｇ１および撮像信号Ｇ２が示す画像であり、Ｂ成分画像５２０およびＲ成分画像５３０は、それぞれ撮像信号Ｂおよび撮像信号Ｒが示す画像であるとする。対応領域５１２−１および対応領域５１２−２は、対応領域特定部４３０がＧ成分画像５１０から特定した軸上被写体の対応領域であるとする。また、対応領域５２２および対応領域５３２は、軸上被写体が撮像されているべき対応領域であるとする。

撮像装置１００から被写体を見た場合に、第１撮像系１０１−１および第１撮像系１０１−２は、レンズ装置の中心に対してそれぞれ右上および左下に位置する。したがって、対応領域５１２−１は、画像領域の中心よりも左下の位置に特定される。また、対応領域５１２−２は、画像領域の中心よりも右上の位置に特定される。

また、第２レンズ１２０はレンズ装置の中心に対して右下に位置しており、第３レンズ１３０はレンズ装置の中心に対して左上に位置する。したがって、対応領域５２２は、画像領域の中心よりも左上の位置に特定される。また、対応領域５３２は、画像領域の中心よりも右下の位置に特定される。

Ｇ成分信号生成部４１１は、撮像信号Ｇ１と撮像信号Ｇ２とを合成して、Ｇ成分画像５４０を示すＧ成分信号を生成する。このとき、Ｇ成分信号生成部４１１は、撮像信号Ｇ１のうちの対応領域５１２−１の撮像信号と、撮像信号Ｇ２のうちの対応領域５１２−２の撮像信号とを合成して、Ｇ成分画像５４０の中央領域５４２のＧ成分信号を生成する。

また、Ｂ成分信号生成部４１２は、撮像信号Ｂから、Ｂ成分画像５５０を示すＢ成分信号を生成する。このとき、Ｂ成分信号生成部４１２は、撮像信号Ｂのうちの対応領域５２２の撮像信号を、Ｂ成分画像５５０の中央領域５５２のＢ成分信号として生成する。同様に、Ｒ成分信号生成部４１３は、撮像信号Ｒから、Ｒ成分画像５６０を示すＲ成分信号を生成する。このとき、Ｒ成分信号生成部４１３は、撮像信号Ｒのうちの対応領域５３２の撮像信号を、Ｒ成分画像５６０の中央領域５６２のＲ成分信号として生成する。これにより、波長成分信号生成部４１０は、同一被写体の被写体像の位置合わせがされたＲ成分信号、Ｇ成分信号、Ｂ成分信号を生成する。

そして、輝度信号生成部４２２および色信号生成部４２４により、Ｒ成分信号、Ｇ成分信号、Ｂ成分信号を用いてＹ／Ｃ処理が施される。上述のとおり、輝度信号生成部４２２が、Ｙ成分画像５７０を示す輝度信号Ｙを生成する。また、色信号生成部４２４が、ＣｂおよびＣｒのＣ成分画像５８０を示す色信号Ｃを生成する。軸上被写体の像は、Ｙ成分画像５７０およびＣ成分画像５８０の画像領域の中央領域５７２に位置することとなる。これにより、画像生成部１５０は、レンズ装置の中心を視点とする画像を生成することができる。

このように、画像生成部１５０は、複数の第１撮像系１０１がそれぞれ生成した波長成分信号を合成して１の波長成分信号を生成する。そして、画像生成部１５０は、生成した波長成分信号と他の波長成分信号とを合成して画像信号を生成する。

なお、レンズ装置の中心を視点とする画像を生成するのではなく、第１撮像系１０１、第２撮像系１０２、および第３撮像系１０３のいずれかの撮像系の位置を視点とする画像を生成してもよい。例えば、第１撮像系１０１−１から撮像した画像を生成する場合であれば、波長成分信号生成部４１０は、対応領域５１２−１の撮像信号と対応領域５１２−２の撮像信号とを合成して、対応領域５１２−１の位置のＧ成分信号として生成すればよい。そして、対応領域５２２および対応領域５３２の撮像信号を、それぞれ対応領域５１２−１の位置のＢ成分信号およびＧ成分信号として生成すればよい。同様にして任意の視点位置の画像を生成することができる。

以上図１から図５に関連して説明した撮像装置１００によると、Ｇ光で撮像する１以上の第１撮像系１０１が、他の撮像系が有する光学系より深い焦点深度を持つ光学系を有する。このため、被写体が比較的に広い距離範囲にわたって存在する場合であっても、ぼけの小さな画像を提供することができる。

以上の説明では、説明を分かり易くするべく、第１絞り部１１２の絞り開口が、第２絞り部１２２の絞り開口よりも狭いとした。すなわち、輝度により大きく寄与する波長成分信号を生成する第１撮像系１０１が、より小さい絞りの光学系を有するとした。絞り開口の他、第１撮像系１０１の焦点深度は、Ｆ値を指標として設計されてよい。例えば、輝度により大きく寄与する波長成分信号を生成する第１撮像系１０１が、より大きいＦ値を持つ光学系を有してよい。

絞り開口を小さくするなどしてＦ値が大きくするほど、暗い光学系となり、光学系単体ではＳＮ比が増大してしまう。しかしながら、撮像装置１００は、輝度に最も大きく寄与する波長成分信号を生成する第１撮像系１０１が、他の撮像系より多く設けられる。そして、画像生成部１５０は、複数の第１撮像系１０１の撮像信号から１つの画像信号を生成する。このため、ノイズを相対的に低減することができる。

図６は、撮像装置１００が有する撮像モジュールの他のブロック構成例を示す。本構成例は、第１撮像系１０１−１に替えて、第１撮像系６０１−１を備える。また、画像信号生成部１７０に替えて画像信号生成部１５５を有する。画像信号生成部１５５については、図７に関連して説明する。

第１撮像系６０１−１は、光学系６１５および第１受光部１１９を有する。光学系６１５は、第１レンズ１１０−１、第１絞り部１１２、および、波面変調部１１４を含む。第１受光部１１９は、第１カラーフィルタアレイ１１６および第１撮像素子アレイ１１８を含む。

第１撮像系６０１−１が備える光学要素のうち、第１撮像系１０１−１が備える光学要素と同じ符号が付された光学要素は、対応する光学要素と略同一の構成を持つ。したがって、当該光学要素については、対応する光学要素との相違点を説明する。第１撮像系１０１において、第１絞り部１１２の絞り開口は、第２絞り部１２２の絞り開口より小さいとしたが、第１撮像系６０１−１では、第２絞り部１２２の絞り開口と略同じ大きさであってよい。しかしながら、第１撮像系６０１−１における焦点深度は、波面変調部１１４が存在することにより、波面変調部１１４が存在しない場合と比べて実効的に深くなる。

波面変調部１１４は、第１レンズ１１０による第１受光部１１９への結像の波面を変形させる。波面変調部１１４は、一例として、３次元的曲面を有する位相板であってよい。例えば、波面変調部１１４は、光軸を原点とする直交座標系に属する座標系の各座標値に関して、３次式で表される光学作用面を有する。具体的には、第１レンズ１１０の光軸に直交する２軸をＸ、Ｙとしたとき、波面変調部１１４による波面収差は（Ｘ^３＋Ｙ^３）に比例する。

波面変調部１１４による波面変調により物点からの光は広げられ、第１受光部１１９は波面変調部１１４により広げられた光束を受光することとなる。しかし、波面変調部１１４が存在しない場合と比較して、光束の拡がり幅の光軸方向位置に対する依存性は、第１受光部１１９の近傍で小さくなる。したがって、光軸方向に比較的に広い範囲にわたる物点からの光に対して、第１受光部１１９の近傍では光束の拡がり幅が略同一となる。このように、光学系６１５は、光軸方向の予め定められた距離範囲に位置する被写体からの光に略同一の拡がりを与えることができる。

このため、第１撮像系６０１−１で得られた画像に対して、当該拡がりを補正する処理を施すことで、被写体までの距離がある程度の範囲内であれば、その被写体像を鮮明な被写体像に復元することができる。したがって、第１撮像系６０１−１は、結像光学系である第２光学系１２５を有する第２撮像系１０２と比較して、深い焦点深度を持つ撮像系であるといえる。

他方の第１撮像系も、第１撮像系６０１−１と同様の光学構成を有してよい。他方の第１撮像系は、図１から図５に関連して説明した第１撮像系１０１−２と同じ光学構成を有してもよい。すなわち、本構成の撮像装置１００によると、Ｇ以外に属する波長域の光で撮像する撮像系が有する光学系は、結像光学系である。そして、撮像装置１００が備える複数の撮像系のうちＧ光で撮像する一以上の撮像系が、光軸方向の予め定められた距離範囲に位置する被写体からの光に略同一の拡がりを与える光学系を有する。

波面変調部１１４は、光束の拡がりを第１受光部１１９の近傍で略一定となるように波面変調する光学素子であればよい。例えば、波面変調部１１４は、上記の３次式曲面形状とは異なる形状の光学作用面を有してよい。また、波面変調部１１４の他の例として、屈折率変化により波面変調する屈折率分布型の波面変調レンズ、光の位相分布を変調する液晶素子等の波面変調素子等を例示することができる。

また、光学系６１５と略同等の拡がり効果を与える光学要素として、光軸を含む中心領域の結像力が周辺領域よりも低いレンズを、第１レンズ１１０に替えて適用することで、光束の拡がりを第１受光部１１９の近傍で略一定とするとしてもよい。また、瞳面内において径方向の異なる位置を通過する光について異なる収差を与えるレンズを、第１レンズ１１０に替えて適用することで、光束の拡がりを第１受光部１１９の近傍で略一定とするとしてもよい。

図７は、本撮像モジュールに係る波長成分信号生成部７１０のブロック構成の一例を示す。画像生成部１５０が波長成分信号生成部４１０に替えて波長成分信号生成部７１０を有する点を除き、画像信号生成部１５５は画像信号生成部１７０と同様の構成を持つ。ここでは、その相違点を説明する。

上述のとおり、撮像信号Ｇ１および撮像信号Ｇ２が示す画像は、光束の拡がりによるぼけを伴う。波長成分信号生成部７１０は、Ｇ成分信号生成部４１１、Ｂ成分信号生成部４１２、Ｒ成分信号生成部４１３に加えて、当該光束の拡がりにより生じるぼけを補正する拡がり補正部７２０をさらに有する。

拡がり補正部７２０は、光学系６１５によるぼけを伴う物点像を実質的に点像に復元する復元処理を、撮像信号Ｇ１および撮像信号Ｇ２に対して施して、撮像信号Ｇ１'および撮像信号Ｇ２'を生成する。拡がり補正部７２０は、例えば、撮像信号Ｇ１'および撮像信号Ｇ２'に対して、ぼけ像を点像に復元する復元フィルタを適用する。

復元フィルタとして、波面変調部１１４によるぼけをキャンセルするデコンボリューションフィルタを例示することができる。デコンボリューションフィルタとしては、光学系６１５によるぼけ像を点像に復元するべく光学系６１５の光学伝達関数の逆変換をするものであってよい。復元フィルタは、逆フィルタ法に基づくデジタルフィルタなどで実装することができる。

拡がり補正部７２０は、生成した撮像信号Ｇ１'および撮像信号Ｇ２'を、Ｇ成分信号生成部４１１に供給する。Ｇ成分信号生成部４１１における処理は、撮像信号Ｇ１'および撮像信号Ｇ２'を処理対象とする点を除き、図１から図５に関連して説明したとおりであるから、説明を省略する。なお、撮像信号Ｇ２を生成する撮像系が第１撮像系１０１−２と同様の光学構成を有する場合は、拡がり補正部７２０は撮像信号Ｇ２に対して当該拡がり補正を施さなくてよいことは言うまでもない。

以上、図６および７に関連して説明した撮像装置１００によっても、被写体が比較的に広い距離範囲にわたって存在する場合であっても、ぼけの小さな画像を提供することができる。なお、図１から図７にかけて、被写体の画像において輝度により大きく寄与する波長成分信号を生成する撮像系として、Ｇ光などの部分波長域光で撮像する撮像系を例示した。当該撮像系としては、Ｇ光で撮像する撮像系の他、青の波長域から赤の波長域にわたる比較的に広い波長域の光で撮像する撮像系であってよい。広い波長域にわたる光を結像光学系を通じて撮像する場合、解像力は、色収差の影響を受けるので、波長域に依存する。しかしながら、図６および図７に関連して説明した光学構成の場合、光束の拡がりは、結像光学系における解像力ほどには波長域に依存しない。このため、輝度により大きく寄与する波長成分信号を生成する撮像系として、当該広い波長域にわたる光で撮像する撮像系を採用する場合、図６および図７に関連して説明した光学構成の方が、結像光学系を備える光学構成よりも有利な場合がある。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置
１０１ 第１撮像系
１０２ 第２撮像系
１０３ 第３撮像系
１０９ 受光部
１１０ 第１レンズ
１１２ 第１絞り部
１１４ 波面変調部
１１５ 第１光学系
１１６ 第１カラーフィルタアレイ
１１８ 第１撮像素子アレイ
１１９ 第１受光部
１２０ 第２レンズ
１２２ 第２絞り部
１２５ 第２光学系
１２６ 第２カラーフィルタアレイ
１２８ 第２撮像素子アレイ
１２９ 第２受光部
１３０ 第３レンズ
１４０ 読み出し部
１５０ 画像生成部
１５５ 画像信号生成部
１７０ 画像信号生成部
１８０ 記録部
２００ レンズ鏡筒
４１０ 波長成分信号生成部
４１１ Ｇ成分信号生成部
４１２ Ｂ成分信号生成部
４１３ Ｒ成分信号生成部
４２２ 輝度信号生成部
４２４ 色信号生成部
４３０ 対応領域特定部
５１０ Ｇ成分画像
５１２、５２２、５３２ 対応領域
５２０ Ｂ成分画像
５３０ Ｒ成分画像
５４０ Ｇ成分画像
５４２、５５２、５６２、５７２ 中央領域
５５０ Ｂ成分画像
５６０ Ｒ成分画像
５７０ Ｙ成分画像
５８０ Ｃ成分画像
６０１ 第１撮像系
６１５ 光学系
７１０ 波長成分信号生成部
７２０ 拡がり補正部

Claims (9)

1. 光学系をそれぞれ有し、それぞれ互いに異なる波長域の光で被写体を撮像して、対応する波長域の光による画像を示す波長成分信号をそれぞれ生成する複数の撮像系と、
   前記複数の撮像系により生成された波長成分信号を合成して、前記被写体の画像を示す画像信号を生成する画像生成部と
   を備え、
   前記複数の撮像系のうち、前記被写体の画像において輝度により大きく寄与する波長成分信号を生成する第１撮像系が、他の撮像系が有する光学系の焦点深度より深い焦点深度を持つ光学系を有し、
   前記第１撮像系は、前記他の撮像系より多く設けられ、前記画像生成部は、複数の前記第１撮像系がそれぞれ生成した波長成分信号を合成して１の波長成分信号を生成し、生成した波長成分信号と他の波長成分信号とを合成して前記画像信号を生成し、
   前記第１撮像系が、前記他の撮像系が有する光学系の絞りより小さい絞りの光学系を有する
   撮像モジュール。
2. 前記画像生成部は、前記複数の撮像系により生成された波長成分信号を、波長域に対応して予め定められた重みづけで合成することにより、前記画像信号の輝度信号を生成し、
   前記複数の第１撮像系により撮像される光の波長域に対応する前記重みづけは、前記他の撮像系により撮像される光の波長域に対応する前記重みづけより大きい
   請求項１に記載の撮像モジュール。
3. 前記複数の第１撮像系が、前記他の撮像系が有する光学系が持つＦ値より大きいＦ値を持つ光学系を有する
   請求項１または２に記載の撮像モジュール。
4. 前記複数の第１撮像系は、Ｇに属する波長域の光で撮像し、前記他の撮像系は、それぞれＲおよびＢに属する波長域の光で撮像する２の撮像系を少なくとも含む
   請求項１から３のいずれか一項に記載の撮像モジュール。
5. 前記他の撮像系が有する光学系は結像光学系であり、
   前記複数の第１撮像系のうち少なくとも一部の前記第１撮像系は、光軸方向の予め定められた距離範囲に位置する被写体からの光に略同一の拡がりを与える光学系を有する
   請求項１から４のいずれか一項に記載の撮像モジュール。
6. 前記複数の第１撮像系のうち一部の前記第１撮像系は、光軸方向の予め定められた距離範囲に位置する被写体からの光に略同一の拡がりを与える光学系を有し、
   前記複数の第１撮像系のうち他の一部の前記第１撮像系が有する光学系は、結像光学系である
   請求項１から５のいずれか一項に記載の撮像モジュール。
7. 前記画像生成部は、前記複数の撮像系により生成された波長成分信号に対して、前記複数の撮像系がそれぞれ有する光学系の光軸位置に基づいて画像上の被写体像の位置合わせをして合成する
   請求項１から６のいずれか一項に記載の撮像モジュール。
8. 前記画像生成部は、前記複数の第１撮像系がそれぞれ生成した複数の波長成分信号が示す複数の画像の画像内容から、同一被写体が撮像された領域である対応領域を特定し、前記複数の撮像系により生成された波長成分信号に対して、前記複数の撮像系がそれぞれ有する光学系の光軸位置および前記対応領域に基づいて画像上の被写体像の位置合わせをして合成する
   請求項７に記載の撮像モジュール。
9. 請求項１から８のいずれか一項に記載の撮像モジュールを備え、前記撮像モジュールで前記被写体を撮像する撮像装置。

Images