JP2015207815A - 撮像素子および撮像素子を備えた撮像装置 - Google Patents

Abstract

【課題】カラーフィルタおよび瞳分割パターンが互いに素ではない場合においてもカラー出力画像を得られる撮像素子を提供する。
【解決手段】撮像素子は、被写体像の画素信号を生成する画素の２次元配列を有する撮像手段と、画素の２次元配列に対して第１の所定数の画素の配列の周期で前記撮像手段の撮像面に２次元に配置され、撮影光学系の射出瞳を分割する複数の瞳分割手段と、第２の所定数の画素の配列の周期を有する所定の色配列パターンに従って、２次元配列の各画素に配置された所定の複数の色のカラーフィルタ手段とを備え、第１の所定数の画素の配列に対する所定の複数の色のカラーフィルタの配列パターンと瞳分割手段による第１の所定数の画素の配列における射出瞳の分割パターンとの対応が隣接する瞳分割手段について異なり、第１の所定数と前記第２の所定数は互いに素ではないことを特徴とする。
【選択図】図１

Description

本発明は、カメラなどに利用される撮像素子および撮像素子を備えた撮像装置に関し、特に光線空間情報を取得可能な撮像素子および前記撮像素子からの信号に対し画像処理を施して出力画像を生成する撮像装置に関する。

近年、撮像素子で視点の異なる複数の画像を得ることで焦点検出を行う装置が提案されている。さらには視点の異なる画像の取得とカラー撮像を両立させるための提案もなされている。

特許文献１では、被写体空間の光の２次元強度分布と光線の角度情報、つまり視点の異なる画像を同時に取得する撮像装置が開示されている。ここで、光の２次元強度分布と光線の角度情報を合わせて光線空間情報（＝ライトフィールド情報）と呼び、光線空間情報を取得することで被写体空間の３次元的な情報を得ることができる。特許文献１の撮像装置では、複数の画素にまたがるようにマイクロレンズを設けるとともに、カラーフィルタを画素ごとに設け、色補間処理は同一マイクロレンズ下にある画素で行っている。

また、前述の光線空間情報を取得できるカメラにおける色補間処理の別の構成として、特許文献２では、各マイクロレンズに対応する画素領域ごとに同じ位置の画素で色補間処理を行っている。

特開２００７−４４７１号公報 特開２００９−１２４２１３号公報

しかし、特許文献１で開示されている装置に備えられた撮像素子は、一つのマイクロレンズ下に複数（５ｘ５＝２５個）の画素が、いわゆるＢａｙｅｒ配列に従って配列されている。同一マイクロレンズ下の画素で色補間処理を施すが、取得される特定視点の画像は単色になってしまう可能性がある（単色になる理由は後述する）。

特許文献２で開示されている装置は、各マイクロレンズに対応する画素領域ごとに同じ位置の画素で色補間処理を施す。特許文献２では、カラーフィルタの単位配列と各マイクロレンズに対応する画素領域の一辺の画素数が互いに素になるような関係を想定している。互いに素の場合には、特定視点の画像はカラーで得られるが、後述するように一般的なカラーフィルタ配列を用いた場合には絞り込んだ状態での測距が出来ない。一方で、互いに素ではないような場合には、特許文献１と同じように特定視点の画像が単色となり色補間処理を施すことが出来ない。

そこで本発明の目的は、カラーフィルタおよび瞳分割パターンが互いに素ではない場合においてもカラー出力画像を得られ、かつ色補間処理による演算負荷を軽減可能な撮像素子を提供することである。さらには、色補間処理による演算負荷を軽減可能な処理方法を提供する。

上記目的を達成するために、本発明によれば、撮像素子は、撮影光学系で形成された被写体像を光電変換して画素信号を生成する画素の２次元配列を有する撮像手段と、画素の２次元配列に対して第１の所定数の画素の配列の周期で前記撮像手段の撮像面に２次元に配置され、撮影光学系の射出瞳を分割する複数の瞳分割手段と、第２の所定数の画素の配列の周期を有する所定の色配列パターンに従って、２次元配列の各画素に配置された所定の複数の色のカラーフィルタ手段とを備え、第１の所定数の画素の配列に対する所定の複数の色のカラーフィルタの配列パターンと瞳分割手段による第１の所定数の画素の配列における射出瞳の分割パターンとの対応が隣接する瞳分割手段について異なり、第１の所定数と前記第２の所定数は互いに素ではないことを特徴とする。

発明によれば、カラーフィルタおよび瞳分割パターンが互いに素ではない場合においてもて、特定の視点の画像についてカラー出力画像を得られる撮像素子を提供することができる。

本発明の実施例に係わる撮像素子のカラーフィルタおよび瞳分割画素の配列を説明するための図 本発明の実施例に係わる適用される撮像装置の中央断面図およびブロック図 瞳分割部を構成するマイクロレンズの配置構成およびその作用を説明するための図 本発明の対象ではないカラーフィルタおよび瞳分割画素の配列を説明するための図 本発明の実施例に係わる撮像素子のカラーフィルタおよび瞳分割の配列の別の例および本発明が対象外とする配列を説明するための図 カラーフィルタおよび瞳分割画素の配列が互いに素であるか否かによる違いを説明するための図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

以下、図１から図６を参照して、本発明の実施例に係わる撮像素子および当該撮像素子を備えた撮像装置について説明する。

図１は、本発明の撮像素子のカラーフィルタおよび瞳分割画素の配列を説明するための図であるが、その説明は後述する。ここでは、最初に、本実施例に係わる撮像装置が適用される撮像装置の構成を、図２を用いて説明する。

図２（ａ）は撮像装置であるデジタルカメラおよびレンズの中央断面図、図２（ｂ）は電気的構成を示すブロック図である。図２（ａ）および図２（ｂ）で対応する部分は、同一の符号が付して示す。

図２（ａ）において、１は撮像装置、２は撮像装置１に装着するレンズユニット、３は複数のレンズからなる撮影光学系、４は撮影光学系の光軸、６は撮像素子、９は背面表示装置である表示部、１１は撮像装置１とレンズユニット２の電気接点をそれぞれ示す。また、１２はレンズユニット２に設けられたレンズシステム制御部、１４はクイックリターン機構、１６は撮像装置１に設けられたファインダ表示部をそれぞれ示す。

図２（ｂ）において、撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。撮像装置１およびレンズユニット２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ部８、表示部９を含み、制御系は、カメラシステム制御部５、操作検出部１０、およびレンズシステム制御部１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、物体（被写体）からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６の撮像面上にはマイクロレンズが格子状に配置してあり（２次元配列）、いわゆるマイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡは、本実施例においては、光線制御部（瞳分割手段）を構成する。ＭＬＡの機能や配置の詳細については図３を用いて後述する。

撮像素子６の出力からは、ピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系３を調整することで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６の近傍で被写体像が結像する。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整部、ガンマ補正部、補間演算部等を有しており、画像の記録信号を生成することができる。また、画像処理部７は、色補間処理部を備え、ベイヤ配列の信号に色補間（デモザイキング）処理を施してカラー画像を生成する。なお、画像処理部７はカメラシステム制御部５に含めることができ、その場合、カメラシステム制御部５は制御プログラムを実行することで画像処理部７の機能を実現する。本実施例では、これらの要素はカメラシステム制御部５内に配置する場合を想定して記載する。

メモリ部８は実際の記憶部に加えて記録に必要な処理部を備えている。メモリ部８は、記録部へ出力を行うとともに、表示部９に出力する像を生成、保存する。また、メモリ部８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御部５は、不図示の制御システムに記憶したプログラムを実行することで、単写モード、連写モード、動画撮影などの撮影モードでの撮像の際のタイミング信号などを生成して出力する。外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。さらに表示部９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。また、表示部９はタッチパネルを備え、操作検出部１０に接続されている。

制御系による光学系の調整動作について説明する。カメラシステム制御部５には画像処理部７が接続されており、撮像素子６からの信号に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御部５は、電気接点１１を介してレンズシステム制御部１２に指令を出し、レンズシステム制御部１２はレンズ駆動部１３を適切に制御する。さらにレンズシステム制御部１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動部１３を介してブレ補正レンズを適切に制御する。

図３は、本実施例に係わる撮像素子と撮影光学系の要部を説明する図である。本発明は複数の視点からの被写体像を取得する装置に関し、本実施例では、複数の視点からの被写体像を取得するための構成を瞳分割手段である撮影光学系３の結像面近傍にＭＬＡ２０を配置し、かつ層内レンズ３７１，３７２を配置している。これにより、一つの撮像素子において複数の視点からの被写体像の取得を可能にしている。瞳分割手段によって複数の視点からの被写体像を同時に取得可能であるので、本実施例にて示す撮像装置はいわゆる光線空間情報を取得可能な撮像装置であるといえる。

図３（ａ）は撮像素子６とＭＬＡ３２０の配置関係を模式的に示す図で、撮像装置の横からと、正面からＭＬＡ３１０を見た状態を示している。図３（ｂ）は撮像素子の画素とＭＬＡ３２０の対応を模式的に示す図である。図３（ｃ）はＭＬＡ３２０によってＭＬＡ３２０下に設けられた画素が撮影光学系の特定の瞳領域と対応づけられることを模式的に示す図である。なお、本実施例では、１つの光電変換部を１つの画素と呼ぶことにする。

図３（ａ）に示すように撮像素子６の撮像面にはＭＬＡ３１０が設けられており、ＭＬＡ３１０の前側主点が撮影光学系３の結像面近傍になるように配置され、撮像装置正面から見るとＭＬＡ３１０のレンズが撮像素子６上の画素を覆うように配置されている。なお、図３（ａ）ではＭＬＡ３１０を構成する各マイクロレンズ３２０を見やすくするために、大きく記載したが、実際には各マイクロレンズ３２０は画素の数倍程度の大きさしかない。なお、実際の大きさについては図３（ｂ）を用いて説明する。

図３（ｂ）は、図３（ａ）の装置正面からの図の一部を拡大した図である。図３（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方、ＭＬＡ３１０を構成する各マイクロレンズは太い円３２０−１，３２０−２，３２０−３，３２０−４で示した。図３（ｂ）から明らかなように、マイクロレンズの１つに対して複数（第１の所定数）の画素（後述の単位分割配列）が割り当てられており、図３（ｂ）の例では、２行×２列＝４個の画素が１つのマイクロレンズに対して設けられている。すなわち各マイクロレンズの大きさは画素の大きさの２倍×２倍の大きさである。ここでマイクロレンズ３２０−１の下にある４つの画素を３２１−１，３２１−２，３２１−３，３２１−４として以下の説明を行う。マイクロレンズ３２０−１以外のマイクロレンズ３２０においても同様の光学的な関係が成り立っている。

図３（ｃ）は撮像素子６を、マイクロレンズ３２０の光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図３（ｃ）の３４１、３４２は撮像素子６の画素（光電変換部）を示している。一方、図３（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図３（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図３（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図３（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図３（ｃ）では奥行が表現されていないので、画素が３４１，３４２と示されるように２つ見えている。これは図３（ｂ）のｘ方向に隣接する画素３２１−３、３２１−４または３２１−１，３２１−２のいずれかの組に対応していると考えれば良い。図３（ｃ）に示すように、ＭＬＡ３１０のマイクロレンズ３２０によって層内レンズ３７１，３７２の入射瞳面と撮影光学系３の射出瞳面は共役になるように設計されている。さらに層内レンズ３７１，３７２に届いた光はカラーフィルタ３３１，３３２を通過して、光電変換部３４１，３４２に入射する。結果として層内レンズ３７１，３７２によって混色を防止しながら、光電変換部３４１，３４２には撮影光学系３の射出瞳面の特定の領域の光束のみが入射することになる。

図３（ｃ）の例では画素３２１−１と領域３５１−１が、画素３２１−２と領域３５１−２が、画素３２１−３と領域３５１−３が、画素３２１−４と領域３５１−５がそれぞれ対応している。すなわち画素３２１−１には撮影光学系３の射出瞳面上の領域３５１−１を通過した光束のみが入射する。他の画素も同様である。さらに隣接するマイクロレンズ３２０も撮影光学系３の射出瞳面上の同じ領域と対応している。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。図３で説明した光学系から複数の視点の異なる像を生成するには、前述の特徴を生かして各マイクロレンズの同じ瞳面に対応する画素を配列する。これにより画像処理装置の入力画像である複数の視点の異なる像を生成する。

図３（ｃ）に示す光線３６３，３６４，３６５，３６６について説明する。光線３６３，３６４はそれぞれ撮影光学系３の射出瞳面の領域３５１−１、３５１−３および領域３５１−２、３５１−４からマイクロレンズ３２０の中心に向かう光線を示している。この光線と光軸（Ｙ軸，ｙ軸）が層内レンズ３７１，３７２に対応していることから層内レンズ３７１，３７２の入射瞳面と撮影光学系３の射出瞳面が対応していることを示している。光線３６５，３６６はそれぞれ撮影光学系３の射出瞳と光軸の交点からマイクロレンズ３２０の端部に向かう光線を示している。この光線が層内レンズ３７１，３７２上で結像していることから入射瞳面と撮影光学系３の射出瞳面が共役であることを示すとともに、マイクロレンズ３２０に入射した光束が積分されることを示している。これは空間的な分解能がマイクロレンズ３２０によって制限されることを示唆している。

図１、図４から図６を用いて本発明の要部であるカラーフィルタの配置パターンとマイクロレンズに対応する画素配列との関係について説明する。

まず、図１を用いて本実施例でのカラーフィルタおよび瞳分割パターンを説明する。図１は、本発明の撮像素子上のカラーフィルタおよび瞳分割構造の配列を説明する図である。同図において、図１（ａ）は、本実施例に係わる撮像素子６のカラーフィルタおよび瞳分割部のパターン、図１（ｂ）は特定の視点からの画像の画素の配列、図１（ｃ）は視点情報を破棄して処理する際の画素を説明するための図である。また、図１（ｄ）は色補間後の画像データの画素を、図１（ｅ）および（ｆ）は本実施例に係わる配列パターンの他の例をそれぞれ説明するための図である。なお、図１（ａ）−（ｆ）は、最小色配列＝２ｘ２、最小分割配列＝２ｘ２である場合の配列パターンの例を示しているが、最小色配列および最小分割配列の定義については後述する。

図１（ａ）を用いて、本実施例に係わるカラーフィルタおよび瞳分割のパターンの一例を説明する。

図１（ａ）に実線で示す円１０１〜１０４はマイクロレンズ３２０を、細い実線の正方形は画素を示している。図３を用いて説明したように、マイクロレンズ３２０と層内レンズ３７１又は３７２が瞳分割手段を形成しており、本実施例の撮像素子６のすべての画素は射出瞳の一部の領域の光束を取得するように形成されている。

図１（ａ）において、クロスハッチングがなされている画素は赤（Ｒ）のカラーフィルタ、左下がりのハッチングがなされている画素は緑（Ｇ）のカラーフィルタ、右下がりのハッチングがなされている画素は青（Ｂ）のカラーフィルタである。図１（ａ）から明らかなように、同一マイクレンズ下においてはカラーフィルタは画素ごとに形成され、いわゆるベイヤ配列をなしている。ベイヤ配列は、Ｒ，Ｇ，Ｇ，Ｂの４色（第２の所定数）を最小の単位として繰り返し配列したカラーフィルタの配列パターンである。本実施例では、カラーフィルタの色配列の最小単位を最小色配列として定義する。本実施例に係わるベイヤ配列の場合、最小色配列は２ｘ２である。ただし、本発明においては、最小色配列を単に繰り返し配列するのではなく、後述するように、各マイクロレンズにおいてベイヤ配列の開始位相を変化させている。開始位相については後述する。

図１（ａ）の瞳分割手段は、マイクロレンズについて見た場合、２×２の４つの色配列パターンを持っている。すなわち、マイクロレンズ１０１に着目すると、Ｂ１の画素が左上、Ｇｂ２が右上、Ｇｒ３が左下、Ｒ４が右下となっている。これらの画素には、図３で説明したように、撮影光学系３の射出瞳面の対応する特定の領域からの光束のみが入射する。本実施例に係わるカラーフィルタの色配列では、縦方向および横方向に２つの位相を設けて、マイクロレンズの配列に対応して２×２のパターンを繰り返す。この配列パターンの大きさは、本実施例の光学系では、図３に示す構成から明らかなように、瞳分割手段であるマイクロレンズ下に存在する層内レンズ及び光電変換部の数（第１の所定数）によって決まる。図１（ａ）の例では最小分割配列は２ｘ２であり、後述するように、カラーフィルタの色配列パターンと瞳分割パターンとの組み合わせパターンを有する。

図１（ａ）において画素内に書いたＲ１などの文字はカラーフィルタの色と瞳分割のパターンを示している。カラーフィルタの色パターンは、前にある英文字が対応し、Ｒは赤、ＧｒはＲ行にある緑、ＧｂはＢ行にある緑、Ｂは青を示している。一方、瞳分割パターンは後ろにある数字が対応し、１は左上、２は右上、３は左下、４は右下に対応している。この表記から分かるように、図１（ａ）のマイクロレンズ１０１，１０２，１０３，１０４は、異なるカラーフィルタの配列パターンを有している。

さらに具体的に説明すると、図１（ａ）において横方向に隣接しているマイクロレンズ１０１とマイクロレンズ１０２については、カラーフィルタパターンをマイクロレンズ１０１と１０２間で左右対称とする。すなわちマイクロレンズ１０１については最小分割配列の左上に位置している青（Ｂ１）フィルタに対して、マイクロレンズ１０２では左右対称となる右上（Ｂ２）に位置させる。その結果、青（Ｂ）フィルタは、マイクロレンズ１０１では瞳分割パターン１（左上）に対応し、マイクロレンズ１０２では、瞳分割パターン２（右上）に対応する。同様に、マイクロレンズ１０２の他の色も左右対称になるようにカラーフィルタパターンを変えることで、マイクロレンズ１０２の最小分割配列の色パターンは、図１（ａ）に示すように左上から時計周りにＧｂ１，Ｂ２，Ｇｒ４、Ｒ３とする。

縦方向に隣接しているマイクロレンズ１０１とマイクロレンズ１０３については、カラーフィルタパターンを隣接するマイクロレンズ間で上下対称にする。すなわち、マイクロレンズ１０１の最小分割配列では左上に位置する青フィルタ（Ｂ１）に対して、マイクロレンズ１０３では上下対称な左下の位置（Ｂ３）にする。その結果、青（Ｂ）フィルタはマイクロレンズ１０１では瞳分割パターン１（左上）に対応し、マイクロレンズ１０３では瞳分割パターン３（左下）に対応する。同様に、マイクロレンズ１０２の他の色も上下対称になるようにカラーフィルタパターンを変えることで、マイクロレンズ１０３の最小分割配列の色パターンは、図１（ａ）に示すように左上から時計周りにＧｒ１，Ｒ２，Ｇｂ４、Ｂ３とする。

以下同様にして、マイクロレンズ１０４の最小分割配列のカラーフィルタの色パターンは、マイクロレンズ１０２と上下対称になるようにする。この時マイクロレンズ１０４の色パターンは、自動的にマイクロレンズ１０３の色パターンと左右対称になる。結果として、マイクロレンズ１０４の最小分割配列は左上から時計周りにＲ１、Ｇｒ２、Ｂ４、Ｇｂ３で構成される。このマイクロレンズ１０１〜１０４の４×４の配列パターン（後述する最小単位配列）を無限に繰り返すことで撮像素子全体の瞳分割パターンを構成する。

上述したように、本実施例では、隣接するマイクロレンズ１０１とマイクロレンズ１０２やマイクロレンズ１０１とマイクロレンズ１０３などで、カラーフィルタの開始パターンを異ならせている。例えば、マイクロレンズ１０１では、最小分割配列の左上に対応する色は青（Ｂ）であり、マイクロレンズ１０２では左上に対応する色はＧｂになっている。他の隣接するマイクロレンズについてもカラーフィルタの配列開始パターンが異なっている。

上記の操作を繰り返すことで、マイクロレンズ１０１，１０２，１０３，１０４で構成される４×４の１６画素（第３の所定数）を単位として同じ配列が繰り返されることになる。この４×４の配列を最小単位配列として定義する。最小単位配列は、最小色配列、最小分割配列および分割配列の位相変化の規則（図１（ａ）の例では隣接する最小色配列の左右方向は左右対称、上下方向は上下対象としたような規則のこと）によって支配される。

なお、分割または色配列のパターンを変化させない場合は本発明の対象ではない配列（特定のアプリケーションを考えた場合には必ずしも好ましくない配列であり、最小色配列と最小分割配列が互いに素ではない状態の例）である。

ここで、最小単位配列の大きさについて述べる。最小色配列をn_c×m_c、最小分割配列をn_d×m_dとして、n_cとn_dの最大公約数をn_p、m_cとm_dの最大公約数をm_p、とするとき、n_pまたはm_pが１でない場合に、最小単位配列が（n_c×n_d／n_p）×（m_c×m_d／m_p）となる。具体的には、色配列が２×２で分割配列が２×２の場合、縦、横ともに最大公約数は２なので、（２×２／２）×（２×２／２）＝２×２となり、最小単位配列は２×２のパターンとなる。この場合については図４を用いて後述するが、色配列パターンをマイクロレンズ単位で変化させないと、特定の視点の画像はモノカラー画像になってしまい、特定視点の画像を出力するようなアプリケーションには適さない撮像装置となってしまう。一方、図１（ａ）の例によれば、図１（ｂ）を使って後述するように、特定の視点の画像もいわゆるベイヤ配列となり、カラー画像を出力できる。

図１（ａ）および図１（ｂ）において、最小単位配列となる大きさを、太い実線の枠１１１で示した。図１（ａ），（ｂ）の例では、前述のルールに従うことで繰り返しパターンが４×４のパターンとなっている。図１（ａ），（ｂ）においては最小色配列n_c×m_c＝２×２、最小分割配列n_d×m_d＝２×２であるが、最小単位配列は４×４であり、（n_c×n_d／n_p）×（m_c×m_d／m_p）よりも大きくなっている。

図１（ｂ）は、特定の視点の画像を形成する画素を取得する場合を模式的に示した図である。本実施例に示す光学系においては視点の変更は、撮影光学系３の射出瞳面上の領域を変更することに対応する。従って、図１においては、各最小分割配列の同じ数字を付した画素のみを抜き出せばよい。図１（ｂ）は、図１（ａ）から添え字１で示した左上の画素の信号のみを取得する場合を示している。図１（ｂ）から明らかなように、図１（ａ）に示すようなカラーフィルタ配列とすることで、当該視点の画像はいわゆるベイヤ配列の画素の信号として得られている。そのため、特定の視点の画像の生成は、よく知られた処理により色補間が可能となる。本発明の要部は従来の技術によって色補間処理を行うことが可能な撮像素子を提供することなので色補間処理の方法については詳述しない。その結果、本発明によれば、特定の視点の画像を出力するようなアプリケーションがある場合に、カラー画像を容易に提供できる。

図１（ｃ）は、視点情報を破棄した状態で画像信号を得る場合を模式的に示す図である。また、図１（ｄ）は、本実施例に示す撮像素子から最終的に出力されるカラー画像の画素を模式的に示す図である。図１（ｄ）から分かるように、出力される画像のカラー信号はマイクロレンズに対してＲ，Ｇ，Ｂ信号を付した状態になっている。これは図３で説明したように“マイクロレンズに入射した光束が積分される”ため、いわゆる開口積分により空間的な低域通過フィルタを形成している。このため出力画像信号はマイクロレンズ単位になされる。

図１（ｄ）の信号を生成するためにはいくつかの方法が考えられる。ここでは従来のカメラと同様の記録方法を備えている場合を考える。同様の記録方法とは、ＪＰＥＧに代表される画像フォーマットで画像を記録媒体に記録する方法である。通常のカメラはカメラに適した不可逆圧縮の画像フォーマット（ＪＰＥＧ等）で記録する方法、画素信号をそのまま記録する方法（ＲＡＷ記録と呼ばれる）、画像フォーマットと画素信号を双方とも記録する方法（ＪＰＥＧ＋ＲＡＷ）などの記録方法がある。他の機器（ＰＣ，Ｐａｄ等）との親和性などから、カメラに適した画像フォーマット（ＪＰＥＧ等）で記録する方法はほぼすべての民生用カメラが備えている。

本実施例で示す撮像装置は、光線空間情報を取得可能であり、特許文献１に示すように撮影後のピント調整（リフォーカス）などが可能である。一方で、光線空間情報はそのままでは画像として使うことが容易ではないので、リフォーカスなどの光線空間情報を必要としない場面においては、従来のカメラと同様にカメラに適した画像フォーマット（ＪＰＥＧ等）で記録することが望ましい。リフォーカスなどを行わずに光線空間情報を処理するためには視点情報を破棄して処理すればよい。具体的には、図１（ｃ）のマイクロレンズ１０１，１０２，１０３，１０４それぞれの最小分割配列がＲ，Ｇ，Ｂのすべての画素を含むので、これらを利用して図１（ｄ）におけるマイクロレンズ１０１，１０２，１０３、１０４のＲ，Ｇ，Ｂの値を生成すればよい。この時は、単にマイクロレンズ下のＲ，Ｇ，Ｂから代表値を選択するまたは加算平均すればよく、マイクロレンズ間での補間演算などが必要ないので演算負荷を低減することが出来る。特に連写モードでの撮影時のように、画像記録などのための多くの画像処理を短時間で実行しなければならない場合では演算負荷を低減するメリットは大きい。

図１（ｅ）および（ｆ）を用いて本実施例に係わる最小分割配列の他の好適な例を説明する。

図１（ｅ）は図１（ａ）で説明したよりもさらに最小単位配列を大きくした配列の例を、図１（ｆ）は図１（ｅ）において特定の瞳分割パターンの画素を抽出した場合を模式的に示す図である。

図１（ｅ）の例は、カラーフィルタはマイクロレンズ下ではベイヤ配列で画素単位に配列され、隣接するマイクロレンズ間でカラーフィルタの配列開始パターンが異なっているとともに、最小単位配列内に最小色配列と同じ比率で画素が配列されているパターンである。

これを具体的に説明する。カラーフィルタの色および瞳分割パターンについては、図１（ａ）と同じ表記法を用いて示す。明らかに最小分割配列ごとにベイヤ配列となっていることが分かる。マイクロレンズ下に色配列を構成する成分がすべて（Ｒ，Ｇ，Ｂのすべて）が含まれていることから、カメラに適した画像フォーマットの画像を生成する際には、色補間処理の負荷を軽減することが出来る。

また、図１（ｅ）において、図１（ａ）のマイクロレンズ１０１，１０２，１０３，１０４の最小分割配列を包含するブロック１１１を考える。さらにブロック１１１と同じ大きさ（４×４画素）で、これに隣接するブロック１１２，１１３およびブロック１１２、並びに１１３に隣接するブロック１１４を考える。ブロック１１１内のカラーフィルタの配置は、図１（ａ）と同じである。すなわち、左右方向に隣接するマイクロレンズ間ではカラーフィルタの配列が左右対称であり、上下方向に隣接するマイクロレンズ間ではカラーフィルタの配列が上下対称であるとともに、同一マイクロレンズ下ではベイヤ配列をなしている。

図１（ａ）の例では、この規則（４×４）を無限に繰り返すことで撮像素子全体の画素のカラーフィルタ配列を構成していたが、図１（ｅ）の例ではブロック単位でさらに次のような規則を設ける。

横方向に隣接しているブロック１１１と１１２については、ブロック内の最小分割配列（マイクロレンズ）の配置を上下対称にする。これを示すために、ブロック１１２にもブロック１１１と同じカラーフィルタ配列をもつマイクロレンズに同じ番号を付した。ブロック１１１内では、左上にＢ１が配置されるマイクロレンズ１０１の最小分割配列がブロック内で左上に配置されている場合は、ブロック１１２では上下対称の左下の位置に配置する。

縦方向に隣接しているブロック１１１と１１３については、ブロック内の最小分割配列（マイクロレンズ）の配置を左右対称にする。これを示すために、ブロック１１３にもブロック１１１と同じカラーフィルタ配列をもつマイクロレンズに同じ番号を付した。ブロック１１１内では左上にＢ１が配置されるマイクロレンズ１０１の最小分割配列が左上に配置されている場合は、ブロック１１２では左右対称の右上の位置に配置する。

以下同様にして、横方向に隣接するブロック間ではブロック内の最小分割配列（マイクロレンズ）の配置を上下対称に、縦方向に隣接するブロック間ではブロック内の最小分割配列（マイクロレンズ）の配置を左右対称にする。その結果、最小単位配列はブロック１１１，１１２，１１３，１１４を包含する８×８の大きさになる。

図１（ｆ）は、図１（ｅ）の画素配列において、特定の分割パターン１の画素のみを抜き出した場合を模式的に示す。抽出された画素の配列はベイヤ配列と同じ並びではないが、同色の画素の数の比ではベイヤ配列を同じ比率（Ｒ：Ｇ：Ｂ＝１：２：１）になっている。すなわち適当な色補間処理を施すことで、特定の視点からの像をカラーで出力することが可能である。

図１（ｅ）の例は、小単位配列が（n_c×n_d）×（m_c×m_d）よりも大きくなる例である。この例においても、最小色配列をn_c×m_c、最小分割配列をn_d×m_d、n_cとn_dの最大公約数をn_p、m_cとm_dの最大公約数をm_pとし、n_pまたはm_pが１でないとしている。

図１（ｅ）においては、最小色配列n_c×m_c＝２×２、最小分割配列n_d×m_d＝２×２、最大公約数はn_p＝２、m_p＝２であるが、最小単位配列は８×８であり、（n_c×n_d）×（ m_c×m_d）よりも大きくなっている。

ここで、図４を用いて本発明には含まれないカラーフィルタの色配列を説明し、本発明の構成をより明確にする。図４（ａ），（ｄ）はそれぞれ発明には含まれない配列パターンであり、図４（ｂ），（ｅ）は、それぞれ図４（ａ），（ｄ）から特定の視点の画像の画素を抜き出した場合を模式的に示す図である。また、図４（ｃ），（ｆ）は、それぞれ図４（ａ），（ｄ）から視差情報を破棄した場合の最小画素配列に含まれる画素の色を模式的に示す図である。図４のこれらの例は、いずれも最小色配列＝２×２、最小分割配列＝２×２である場合である。

図４（ａ）は最小分割配列＝２×２を規則正しく並べるとともに、色配列は最小分割配列（マイクロレンズ）ごとに付した例である。つまり、最小分割配列＝２×２内はすべて同じ色となっている。本発明との違いは、カラーフィルタが画素単位のベイヤ配列になっていない点である。

この配列において、図４（ｂ）に示すように添え字１に対応する視点の像を生成した場合は、抽出された画素はいわゆるベイヤ配列となっているのでカラーが画像を出力可能である。しかし、視点情報を破棄して従来のカメラと同様にカメラに適した画像フォーマットでの記録を行う場合では、図４（ｃ）に示すように、各最小分割配列内には同じ色の画素信号しかないので、マイクロレンズ間で色補間処理を施す必要が生じる。

図４（ｄ）は最小分割配列＝２×２を規則正しく並べるとともに、同じ色配列を最小分割配列ごとに付した例である。本発明との違いは、隣接するマイクロレンズ間でカラーフィルタの開始位相が異なっていない点である。

この配列において、図４（ｅ）に示すように添え字１に対応する視点の像を生成した場合、抽出される画素は赤（Ｒ）の信号のみとなる。最小色配列と最小分割配列が互いに素ではないために、より小さい周期で繰り返しが生じてしまう。互いに素ではない場合には公約数を持つのでその最大公約数で割った分だけ周期が短くなる。前述のように、最小色配列をn_c×m_c、最小分割配列をn_d×m_d、として、n_cとn_dの最大公約数をn_p、m_cとm_dの最大公約数をm_pとするとき、最小単位配列が（n_c×n_d／n_p）×（m_c×m_d／m_p）となる。この例では２×２の周期で繰り返しが生じている。その結果として図４（ｅ）のように分割パターン１はＲ（赤）の信号のみになる。これは、最小色配列と最小分割配列の長さが同じなので、同じ分割パターンには同じカラーフィルタのみが対応してしまうためである。この配列においては、特定の視点の像を生成するようなアプリケーションを考えた場合、カラー画像を得ることが出来ない。

また、視点情報を破棄して従来のカメラと同様にカメラに適した画像フォーマットでの記録を行う場合は、図４（ｆ）に示すように、マイクロレンズ下の画素には色配列を構成するすべての色（Ｒ，Ｇ，Ｂ）の信号が含まれているので、マイクロレンズ間で色補間処理を施す必要はない。つまり図４（ａ）、（ｄ）に示した配列を用いた場合には、複数視点からのカラー出力画像を取得可能で、且つ色補間処理による演算負荷を軽減するという２つの目的を同時に達成することが出来ない。

次に、図５を用いて最小色配列＝２×２、最小分割配列＝２×２でない場合を説明する。図５（ａ）は最小色配列＝２×２、最小分割配列＝４×４に対して本発明を適用した例であり、図５（ｂ）は図５（ａ）のから特定の瞳分割パターン（最も左上）の画素のみを示した図である。図５（ｃ）は最小色配列＝２×２、最小分割配列＝４×４に対して本発明を適用しない例であり、図５（ｄ）は図５（ｃ）のから特定の瞳分割パターン（最も左上）の画素のみを示した図である。図５（ｅ）は最小色配列＝２×２、最小分割配列＝３×３の例を示し、これは本発明の適用範囲にならない。図５（ｆ）は図５（ｅ）における特定の分割パターン（最も左上）の画素のみを示す図である。

図５（ａ），（ｃ）では最小分割配列は４×４、色配列はベイヤ配列であり最小色配列は２×２である。この例に示す４と２は公約数２をもつので互いに素ではない。分割パターンは合計１６パターンあるが、マイクロレンズとの相対位置で決定されるので数字は省略した。色に関しては図１と同じ表記法（ハッチングパターン）を用い、画素内に英文字を図１と同じように表記した。

本発明を適用した配列である図５（ａ）のパターンは図１（ａ）と同じく、同一マイクロレンズ下は最小色配列を繰り返し、左右に隣接するマイクロレンズ間ではカラーフィルタパターンを左右対称とし、上下に隣接するマイクロレンズ間では上下対称としている。以下同様に繰り返すことでカラーフィルタの配列が決定されている。図５（ｂ）は図５（ａ）において特定の分割パターンの画素を抽出した図である。

図５（ｃ）で、最小分割配列＝４×４を規則正しく並べるとともに、カラーフィルタも同様に同じパターンの最小色配列＝２×２を規則正しく並べている。これは図４（ｄ）と同じ考え方に基づく配列と考えれば良い。図５（ｄ）は、図５（ｃ）において特定の瞳分割パターンの画素のみを示した図である。

図５（ｂ）から明らかなように、本発明を適用した図５（ａ）の配列では特定の瞳分割パターン（最も左上）の画素の配列もベイヤ配列をなしておりカラー画像が得られる。一方、図５（ｃ）の配列から特定の瞳分割パターン（最も左上の分割パターン）の画素のみを抜き出した場合、図５（ｄ）から明らかなように、Ｒ（赤）の画素信号のみになる。従って、特定の視点の像を生成するようなアプリケーションを考えた場合、カラー画像を得ることが出来ない。

さらに図５（ｅ）および図５（ｆ）を用いて、最小色配列＝２×２、最小分割配列＝３×３の場合を説明する。この場合は３と２が公約数を持たないので、互いに素である。この様な組み合わせでは、最小分割配列でのカラーフィルタの色パターンを画素単位で規則正しく並べるとともに、最小分割配列（マイクロレンズ）を規則正しく並べても弊害がない。この場合、図４（ｄ）や図５（ｃ）と同じ考え方に基づいて画素を配列すれば、最小単位配列は６＝３×２となるとともに特定の視点の像はカラー画像になる。図５（ｆ）はこれを示した図であり、最も左上の瞳分割パターンの画素を並べるとベイヤ配列となっている。この配列は特許文献２で想定している配列であり、本発明の適用範囲ではない。図５（ｅ）のように最小分割配列を奇数とすることは一つの有効な実施例であるが、図６を用いて後述するような弊害もあり、実用上難点がある。

図６を用いて、最小色配列と最小分割配列とが互いに素である場合の弊害について説明する。

図６（ａ）および（ｂ）は図３（ｃ）に対応する図であり、画素の断面図と射出瞳面との対応を説明するための図である。図６（ａ）は最小分割配列が２×２の場合（図３（ｃ）と同じ）、図６（ｂ）は最小分割配列が３×３の場合をそれぞれ示している。図６（ａ）では、各部を図３（ｃ）と同じ番号を付して示す。ただし図が煩雑になるので３６５，３６６は省略し、後ほどの説明のために射出瞳３５０を絞った場合を説明する円６９１を記入した。

図６（ｂ）においては、図３（ｃ）と同じまたは分割数が増えただけで類似の機能を有する部分には６００番だけ大きい番号を付して示す。また、図６（ｂ）において、瞳領域は３×ｘ３の９個に分割されているが、説明を簡単にするためにＸ軸上の３つの領域６５１−１，６５１−２，６５１−３のみを考える。これらの領域の端点からの光線を６６３，６６４，６６５，６６６とする。図３（ｃ）との対比から明らかなように、マイクロレンズ１２０および層内レンズ６７１，６７２，６７３によって光電変換部６４１，６４２，６４３はそれぞれ６５１−３、６５１−２、６５１−１と共役になっている。つまり最小分割配列３×３での光線空間情報を取得可能に構成されている。

ここで、射出瞳３５０を絞った場合を考える。絞った瞳を図６（ａ）には６９１、図６（ｂ）には６９２で記載した。偶数で瞳分割された図６（ａ）の例では射出瞳を６９１の大きさまで絞った場合でも複数の画素に光線が入射する。一方、奇数で瞳分割された図６（ｂ）の例では絞りを６９２の大きさまで絞った場合には中央の画素にしか光線が入射しない。これは位相差情報が得られなくなることに対応している。つまり、屋外で動画撮影などの絞りを絞った状況では、撮像素子からの信号で焦点検出を行うことが出来ないことを示している。これを回避するには瞳は偶数に分割するのが良い。一方で最小色配列と最小分割配列が互いに素の条件を守ろうとすると最小色配列を奇数にする必要があるが、ベイヤ配列（最小色配列＝２×２）がディファクトスタンダードとして用いられているので、奇数×奇数の配列を製品に展開するのは容易ではない。つまり、最小色配列が２×２、最小分割配列が偶数×偶数という問題設定が一般的であり本発明を利用する価値は高いといえる。

上述した本発明の実施例によれば、カラーフィルタおよび瞳分割パターンが互いに素ではない場合においても、特定の視点の画像についてカラー出力画像を得られる撮像素子を提供することができる。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (13)

1. 撮影光学系で形成された被写体像を光電変換して画素信号を生成する画素の２次元配列を有する撮像手段と、
   前記画素の２次元配列に対して第１の所定数の画素の配列の周期で前記撮像手段の撮像面に２次元に配置され、前記撮影光学系の射出瞳を分割する複数の瞳分割手段と、
   第２の所定数の画素の配列の周期を有する所定の色配列パターンに従って、前記２次元配列の各画素に配置された所定の複数の色のカラーフィルタ手段と、を備え、
   前記第１の所定数の画素の配列に対する前記所定の複数の色のカラーフィルタの配列パターンと前記瞳分割手段による前記第１の所定数の画素の配列における前記射出瞳の分割パターンとの対応が隣接する前記瞳分割手段について異なり、前記第１の所定数と前記第２の所定数は、互いに素ではないことを特徴とする撮像素子。
2. 前記第２の所定数の画素の配列をn_c×m_c、前記第１の所定数の画素の配列をn_d×m_dとし、n_cとn_dの最大公約数をn_p、m_cとm_dの最大公約数をm_pとするとき、n_pまたはm_pが１でない場合に、（n_c×n_d／n_p）×（m_c×m_d／m_p）よりも大きい第３の所定数の画素の配列を単位として、前記隣接する瞳分割手段における前記第１の所定数の画素の配列に対する前記所定の複数の色のカラーフィルタの配列パターンと前記瞳分割手段による前記射出瞳の分割パターンとの対応が繰り返されることを特徴とする請求項１に記載の撮像素子。
3. 前記第３の所定数の画素の配列において、前記第１の所定数の画素の配列における射出瞳の特定の領域に対応する画素に配置されたカラーフィルタが形成する色配列パターンは、前記所定の色パターンであることを特徴とする請求項１又は２に記載の撮像素子。
4. 前記第２の所定数の画素の配列をn_c×m_c、前記第１の所定数の画素の配列をn_d×m_dとし、n_cとn_dの最大公約数をn_p、m_cとm_dの最大公約数をm_pとするとき、n_pまたはm_pが１でない場合に、（n_c×n_d）×（m_c×m_d）よりも大きい第３の所定数の画素の配列を単位として、前記隣接する瞳分割手段における前記第１の所定数の画素の配列に対する前記所定の複数の色のカラーフィルタの配列パターンと前記瞳分割手段による前記射出瞳の分割パターンとの対応が繰り返されることを特徴とする請求項１に記載の撮像素子。
5. 前記第３の所定数の画素の配列において、前記第１の所定数の画素の配列における射出瞳の特定の領域に対応する画素に配置されたカラーフィルタが形成する色配列パターンは、前記所定の色パターンが有する各色の画素の数の比率と同じ比率を有することを特徴とする請求項４に記載の撮像素子。
6. 前記所定の色配列パターンは、ベイヤ配列であることを特徴とする請求項１から５の何れか一項に記載の撮像素子。
7. 前記第３の所定数の画素の配列は、偶数×偶数であることを特徴とする請求項６に記載の撮像素子。
8. 前記瞳分割手段は、前記第１の所定数の画素の配列を単位として配置された複数のマイクロレンズの配列と各画素に配置された前記カラーフィルタに配置された層内レンズを含むことを特徴とする請求項１から７のいずれか一項に記載の撮像素子。
9. 請求項１から請求項８のいずれか１項に記載された撮像素子と、
   前記第１の所定数の画素の配列の画素信号に基づいて、前記第１の所定数の画素の配列を画素の単位とする画像のカラー信号を生成する色補間処理手段と、
   を備えることを特徴とする撮像装置。
10. 前記色補間処理手段は、前記カラー信号を、前記第１の所定数の画素の配列のうちのいずれかの画素の信号を用いて生成することを特徴とする請求項９に記載の撮像装置。
11. 前記色補間処理手段は、前記カラー信号を、前記第１の所定数の画素の配列内での補間処理により生成することを特徴とする請求項９に記載の撮像装置。
12. 前記カラー信号を記録媒体に記録する記録手段をさらに備え、前記記録手段は、不可逆圧縮の画像フォーマットに従って前記カラー信号の記録信号を生成することを特徴とする請求項９から１１のいずれか一項に記載の撮像装置。
13. 前記被写体像を撮影するための連写モードをさらに備え、前記記録手段は、前記連写モードにおいて、前記カラー信号の記録信号を生成することを特徴とする請求項１２に記載の撮像装置。

Images