JP2006211631A - 固体撮像装置および撮像装置 - Google Patents

Abstract

【課題】ベイヤー画素ずらし配列は、ベイヤー配列に比べて高解像度を得ることができるものの、それは無彩色な被写体に限った場合だけである。
【解決手段】光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分Ｇと他の色成分Ｒ，Ｂを含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置において、空間周波数特性に関して、Ｒ，Ｇを水平・垂直方向のサンプリングレートがＧに対して１／２のレートとなるように１列おきおよび１行おきに配置し、ＧでＲ，Ｇの各々の周囲を囲むようなカラー配列にすることで、Ｇが全行、全列に存在するようにして、人間の視感度特性上、感度が高いＧの空間周波数特性を上げる。
【選択図】図１

Description

本発明は、固体撮像装置および撮像装置に関し、特に輝度成分を作る上で主成分となる色成分と他の色成分を有するカラーフィルタが画素の表面上に配置されてなる固体撮像装置および当該固体撮像装置を撮像デバイスとして用いた撮像装置に関する。

近年、デジタルスチルカメラやビデオカメラ等の撮像装置において、撮像デバイスとして用いられている固体撮像装置の多画素化が進み、数百万画素クラスの固体撮像装置が普及している。多画素化を行う理由として、高解像度な画像を得ることが挙げられる。そして、より高い輝度解像度を得ることが可能な固体撮像装置が求められているのが現状である。

ここで、単板の電子カメラにおいて、高い輝度解像度を得るためには、固体撮像装置に用いるカラーフィルタのカラー配列が非常に重要である。カラー配列の代表的なものとして、例えば従来から用いられているベイヤー配列が広く知られている。

（ベイヤー配列）
ベイヤー配列は、図１４に示すように、Ｇ（緑色）とＲ（赤色）を交互に配列したＧＲラインと、ＧとＢ（青色）を交互に配列したＧＢラインの２つのラインを、垂直方向に交互に配列したカラー配列である。このベイヤー配列の特徴は、各画素が水平・垂直方向で等距離（画素ピッチ）ｄになるように正方格子状に配置され、この正方格子状の画素配列に対してＧＲＢの各色がＧ：Ｒ：Ｂ＝２：１：１の割合で存在している点にある。

ここで、ベイヤー配列のＲＧＢの空間周波数特性について、輝度（Ｙ）成分を生成する上で主成分となるＧと、その他の色成分Ｒ，Ｂに分けて考えてみる。

輝度信号Ｙは、一般的に（１）式によって生成される。
Ｙ＝０．６Ｇ＋０．３Ｒ＋０．１Ｂ ……（１）
（１）式は、人間の視感度特性は緑色（Ｇ）に対しての感度が高く、赤色（Ｒ）、青色（Ｂ）に対しての感度が低いことを表している。つまり、輝度（Ｙ）成分に対して高い解像度が必要な場合にはＧの解像度を高くすることが非常に重要であり、他の色成分（Ｒ，Ｂ）に対してはそれほど高い解像度を必要としていない。

ベイヤー配列のＧだけを抜き出したＧ配列を図１５（Ａ），（Ｂ）に示す。ここで、空間周波数特性について考える。画素間のサンプリングレートを画素ピッチに対応したｄとすると、水平・垂直方向については、Ｇのサンプリングレートがｄであり、サンプリング定理から（１／２）ｆｓ（ｆｓ（＝１／ｄ）：サンプリング周波数）の周波数の信号まで捉えることができる。つまり、理論上の限界として図１５（Ａ）のラインの信号を捉えることが可能であり、これより高い周波数の信号を捉えることはできない。

次に、斜め４５°方向について考えると、Ｇのサンプリングレートがｄ／√２であり、サンプリング定理から（１／２√２）ｆｓの信号まで捉えることができる。

同様にＲ，Ｂについて考える。ＲとＢは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではＲだけについて述べる。

ベイヤー配列のＲだけを抜き出したＲ配列を図１５（Ｃ），（Ｄ）に示す。Ｒの空間周波数特性に関して、水平・垂直方向については、Ｒのサンプリングレートが２ｄであり、サンプリング定理から１／４ｆｓの周波数の信号まで捉えることが可能である。斜め方向については、Ｒのサンプリングレートがｄ／√２であり、サンプリング定理から（１／２√２）ｆｓの信号まで捉えることができる。

なお、図１５（Ａ）〜（Ｄ）において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。

また、これらの空間周波数特性を図１６に示す。図１６の空間周波数特性は、サンプリングレートを画素ピッチに対応したｄ（＝１／ｆｓ）としたときに、Ｇに関しては水平・垂直方向について１／２ｆｓ、斜め４５°方向について（１／２√２）ｆｓ、Ｒに関しては水平・垂直方向について１／４ｆｓ、斜め方向について（１／２√２）ｆｓまでの解像度を持っている、即ちこの周波数の信号まで捉えることが可能であることを示している。

（ベイヤー画素ずらし配列）
上記ベイヤー配列の他に、図１５に示すように、ベイヤー配列を４５°傾けた配列、つまり水平・垂直方向において画素ピッチの半分だけずらして画素を配置した変形ベイヤー配列も提案されている（例えば、特許文献１参照）。

特開平１０−２６２２６０号公報

ここで、ベイヤー配列を４５°傾けたカラー配列を以降、「ベイヤー画素ずらし配列」と呼ぶこととする。このベイヤー画素ずらし配列の場合、サンプリングレートがｄ／√２となり、ベイヤー配列のサンプリングレートｄに対して１／√２倍であるため、ベイヤー配列に比べてより高い解像度を得ることができることになる。

また、別の視点から考えると、ベイヤー配列とベイヤー画素ずらし配列で同じ解像度を必要とする場合には、ベイヤー画素ずらし配列ではサンプリングレートを√２倍に広げることができる。言い換えれば、ベイヤー画素ずらし配列を用いると、ベイヤー配列を用いる場合よりも少ない画素数で同じ解像度を得ることができる。その結果、画素の開口を大きくすることが可能となり、画素の開口を大きくすることで画素の感光感度を向上することができるため、Ｓ／Ｎの良い信号を得ることができる。

しかし、ベイヤー配列に対してベイヤー画素ずらし配列が高解像度を得ることができるのは無彩色な被写体に限った場合だけである。その理由について以下に説明する。

ベイヤー画素ずらし配列のＧのみを抜き出したＧの配列を図１８（Ａ），（Ｂ）に示す。水平・垂直方向のＧのサンプリングレートが√２ｄであり、ベイヤー配列におけるＧの水平・垂直方向のサンプリングレートｄよりも大きいため、Ｇの解像度はベイヤー配列に対して劣る。一方、斜め４５°方向の解像度に関しては、Ｇのサンプリングレートはｄであり、ベイヤー配列におけるＧの斜め４５°のサンプリングレートｄ／√２よりも小さいためベイヤー配列よりも高いことが言える。

同様にＲ，Ｂについて考える。ＲとＢは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではＲだけについて述べる。

ベイヤー画素ずらし配列のＲだけを抜き出したＲの配列を図１８（Ｃ），（Ｄ）に示す。Ｒの水平・垂直方向のサンプリングレートは√２ｄ、斜め方向のサンプリングレートは２ｄである。

なお、図１８（Ａ）〜（Ｄ）において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。

また、これらの空間周波数特性を図１９に示す。図１９と図１６の対比から明らかなように、ベイヤー画素ずらし配列の空間周波数特性は、ベイヤー配列の空間周波数特性をちょうど４５°傾けた特性と同一になっているのが分かる。

以上の説明から、従来の代表的なカラー配列であるベイヤー配列とベイヤー画素ずらし配列を比較すると、次のようなことが言える。

先ず、ベイヤー画素ずらし配列は、無彩色な被写体に限った場合に、サンプリングレートがベイヤー配列に対して１／√２倍であるため、ベイヤー配列の２倍の画素情報量を得ることができる、即ちベイヤー配列に比べてより高い解像度を得ることができる。言い換えれば、ベイヤー画素ずらし配列を用いると、ベイヤー配列を用いる場合よりも少ない画素数で同じ解像度を得ることができるため、画素の開口を大きくすることが可能となり、画素の開口を大きくすることで画素の感光感度を向上、即ちＳ／Ｎの向上を図ることができる。

一方、輝度（Ｙ）成分を作る上で主成分となるＧだけで観察すると、ベイヤー画素ずらし配列の水平・垂直方向のサンプリングレートは、ベイヤー配列のサンプリングレートよりも大きくなっている。これは、単純にＧの解像度は水平・垂直方向で見ると、ベイヤー配列の方がベイヤー画素ずらし配列よりも高いことを意味する。言い換えると、水平・垂直方向のＧの解像度に関しては、ベイヤー画素ずらし配列の方がベイヤー配列よりも劣っている。

ベイヤー配列に比べてＧの解像度が劣っている点を解決するために、ベイヤー画素ずらし配列では、無彩色の被写体を撮像したときに、カメラ信号処理系においてＲＧＢのレベルバランスをとる処理、即ちＲＧＢのレベルが同一になるようにゲインをかけてバランスをとる処理を行って、Ｒ，Ｂのレベル＝Ｇレベルと見なして輝度（Ｙ）を生成し、Ｙのサンプリングレートを（１／√２）ｄとして扱うことで、水平・垂直および斜め４５°方向の全てにおいてベイヤー配列よりも高解像度化を実現している。

しかし、この処理はあくまで無彩色な被写体に対してしか有効でなく、このような処理を行うと、有彩色な被写体に対しては高解像度を得ることができなく、またレベルバランスがずれた場合に、Ｒ，Ｂのレベル＝Ｇレベルと見なして処理してしまうと、カメラ信号処理系において間違った補間処理を行ってしまい、その結果色偽の発生原因となるという問題が生じる。

そこで、本発明は、無彩色な被写体に限らず、有彩色な被写体に対しても、色偽を生じることなく、高解像度化を図ることが可能な固体撮像装置および撮像装置を提供することを目的とする。

本発明は、光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像装置において、前記主成分となる色成分および前記他の色成分を、前記主成分となる色成分で前記他の色成分の周囲を囲むように配置した構成を採っている。この固体撮像装置は、デジタルスチルカメラやビデオカメラ等の撮像装置において、その撮像デバイスとして用いられる。

上記構成の固体撮像装置または当該固体撮像装置を撮像デバイスとして用いた撮像装置において、輝度成分を作る上で主成分となる色成分、例えばＧ（緑色）で、他の色成分、例えばＲ（赤色），Ｂ（青色）の各々の周囲を囲むようなカラー配列では、Ｇが全行、全列に存在することになるため、人間の視感度特性上、感度が高いＧの空間周波数特性を上げることができ、またＲＧＢのレベルバランスをとる処理を行う必要がなくなる。

本発明によれば、輝度成分を作る上で主成分となる色成分の空間周波数特性を上げることができるため、無彩色な被写体に限らず、有彩色な被写体に対しても高解像度化を図ることができ、またＲＧＢのレベルバランスをとる処理を行う必要がなくなるため、色偽を生じることもなくなる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

本発明は、光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置において、カラーフィルタのカラー配列を特徴としている。

したがって、以下では、主に、３つの実施形態に係るカラーフィルタのカラー配列について説明するものとする。なお、各実施形態に係るカラーフィルタを有する固体撮像装置としては、ＣＣＤ(Charge Coupled Device)固体撮像装置に代表される電荷転送型固体撮像装置、ＭＯＳ(Metal Oxide Semiconductor)型固体撮像装置に代表されるＸ−Ｙアドレス型固体撮像装置のいずれであっても良い。

また、以下の説明では、カラーフィルタにおいて、輝度（Ｙ）成分を作る上で主成分となる色成分として例えば緑色（Ｇ）を、他の色成分として例えば赤色（Ｒ）、青色（Ｂ）をそれぞれ例に挙げて説明するものとする。

ただし、本発明はこれらの色成分に限られるものではなく、Ｙ成分を作る上で主成分となる色成分として、例えばホワイト、シアン、イエローなどを用い、他の色成分として、例えばマゼンタ、シアン、イエローなどを用いることも可能である。

［第１実施形態］
図１は、本発明の第１実施形態に係るカラーフィルタのカラー配列を示す図である。図１から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、光電変換素子を含む画素（図示せず）を、水平方向（画素行に沿った方向；行方向）および垂直方向（画素列に沿った方向；列方向）で等間隔（画素ピッチ）ｄとなるように正方格子状に配列した画素配列となっている。

この正方格子状の画素配列に対して、本実施形態に係るカラー配列は、１行目は水平方向の４画素を単位としてＲＧＢＧの繰り返しで配列し、２行目はＧのみを配列し、３行目は水平方向の４画素を単位としてＢＧＲＧの繰り返しで配列し、４行目はＧのみを配列し、以降、この４行を単位として繰り返して配列した構成となっている。

本実施形態に係るカラー配列においては、図１から明らかなように、輝度（Ｙ）成分を作る上で主成分となる色成分（本実施形態ではＧ）と、他の色成分（本実施形態ではＲ，Ｂ）が、ＧでＲ，Ｂの各々の周囲を囲むように配置された構成となっている。また、本実施形態に係るカラー配列では、Ｒ，Ｂが水平・垂直に対して４ｄの間隔で配置された構成となっている。

かかる構成のカラー配列において、サンプリングレートを水平・垂直方向で考えた場合に、画素間のサンプリングレートを画素ピッチに対応したｄとすると、Ｇのサンプリングレートはｄであり、Ｒ，Ｂのサンプリングレートは２ｄである。すなわち、Ｒ，Ｂは、水平・垂直方向のサンプリングレートがＧに対して１／２のレートとなるように１列おき（本実施形態では奇数行）および１行おき（本実施形態では奇数列）に配置されている。したがって、ＧとＲ，Ｂの間に水平・垂直方向に２倍の解像度の差がある。また、サンプリングレートを斜め４５°方向で考えると、Ｇのサンプリングレートはｄ／２√２であり、Ｒ，Ｂのサンプリングレートは２ｄ／√２である。

図１のカラー配列のＧだけを抜き出したＧ配列を図２（Ａ），（Ｂ）に示す。ここで、空間周波数特性について考える。水平・垂直方向については、図２（Ａ）に示すように、Ｇのサンプリングレートがｄであることから、サンプリング定理から（１／２）ｆｓ（ｆｓ：サンプリング周波数）の周波数の信号まで捉えることができる。斜め４５°方向については、図２（Ｂ）に示すように、Ｇのサンプリングレートがｄ／２√２であることから、サンプリング定理から（１／√２）ｆｓの信号まで捉えることができる。

同様にＲ，Ｂについて考える。ＲとＢは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではＲだけについて述べる。

Ｒだけを抜き出したＲ配列を図２（Ｃ），（Ｄ）に示す。なお、図２（Ａ）〜（Ｄ）において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。

Ｒの空間周波数特性に関して、水平・垂直方向については、図２（Ｃ）に示すように、Ｒのサンプリングレートが２ｄであることから、サンプリング定理から１／４ｆｓの周波数の信号まで捉えることが可能であり、斜め４５°方向については、図２（Ｄ）に示すように、Ｒのサンプリングレートがｄ／２√２であることから、サンプリング定理から（１／４√２）ｆｓの信号まで捉えることができる。

以上のことを踏まえて、図３に本実施形態に係るカラー配列の空間周波数特性を示す。Ｇは水平・垂直方向に関して（１／２）ｆｓまでの信号を、斜め４５°方向に関して（１／√２）ｆｓまでの信号を捉えることができる。また、Ｒ，Ｂは水平・垂直方向に関して（１／４）ｆｓまでの信号を、斜め４５°方向に関して（１／４√２）ｆｓまでの信号を捉えることができる。

［第２実施形態］
図４は、本発明の第２実施形態に係るカラーフィルタのカラー配列を示す図である。図１から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、第１実施形態に係るカラー配列が適用される固体撮像装置と同じ、正方格子状の画素配列となっている。

この正方格子状の画素配列に対して、本実施形態に係るカラー配列は、１行目は水平方向の４画素を単位としてＲＧＧＧの繰り返しで配列し、２行目はＧのみを配列し、３行目は水平方向の４画素を単位としてＧＧＢＧの繰り返しで配列し、４行目はＧのみを配列し、以降、この４行を単位として繰り返して配列した構成となっている。

本実施形態に係るカラー配列においても、図４から明らかなように、輝度（Ｙ）成分を作る上で主成分となる色成分（本実施形態ではＧ）と、他の色成分（本実施形態ではＲ，Ｂ）が、ＧでＲ，Ｂの各々の周囲を囲むように配置された構成となっている。また、本実施形態に係るカラー配列では、第１実施形態に係るカラー配列と同じく、Ｒ，Ｂが水平・垂直に対して４ｄの間隔で配置された構成となっている。

かかる構成のカラー配列において、サンプリングレートを水平・垂直方向で考えた場合に、画素間のサンプリングレートを画素ピッチに対応したｄとすると、Ｇのサンプリングレートはｄであり、Ｒ，Ｂのサンプリングレートは４ｄである。すなわち、Ｒ，Ｂは、水平・垂直方向のサンプリングレートがＧに対して１／４のレートとなるように１列おき（本実施形態では奇数行）および１行おき（本実施形態では奇数列）に配置されている。したがって、ＧとＲ，Ｂの間に水平・垂直方向に４倍の解像度の差がある。また、サンプリングレートを斜め４５°方向で考えると、Ｇのサンプリングレートはｄ／２√２であり、Ｒ，Ｂのサンプリングレートは２ｄ／√２である。

図４のカラー配列のＧだけを抜き出したＧ配列を図５（Ａ），（Ｂ）に示す。ここで、空間周波数特性について考える。水平・垂直方向については、図５（Ａ）に示すように、Ｇのサンプリングレートがｄであることから、サンプリング定理から（１／２）ｆｓの周波数の信号まで捉えることができる。斜め４５°方向については、図５（Ｂ）に示すように、Ｇのサンプリングレートがｄ／２√２であることから、サンプリング定理から（１／√２）ｆｓの信号まで捉えることができる。

同様にＲ，Ｂについて考える。ＲとＢは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではＲだけについて述べる。

Ｒだけを抜き出したＲ配列を図５（Ｃ），（Ｄ）に示す。なお、図５（Ａ）〜（Ｄ）において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。

Ｒの空間周波数特性に関して、水平・垂直方向については、図５（Ｃ）に示すように、Ｒのサンプリングレートが４ｄであることから、サンプリング定理から１／８ｆｓの周波数の信号まで捉えることが可能であり、斜め４５°方向については、図５（Ｄ）に示すように、Ｒのサンプリングレートがｄ／２√２であることから、サンプリング定理から（１／４√２）ｆｓの信号まで捉えることができる。

以上のことを踏まえて、図６に本実施形態に係るカラー配列の空間周波数特性を示す。Ｇは水平・垂直方向に関して（１／２）ｆｓまでの信号を、斜め４５°方向に関して（１／√２）ｆｓまでの信号を捉えることができる。また、Ｒ，Ｂは水平・垂直方向に関して（１／８）ｆｓまでの信号を、斜め４５°方向に関して（１／４√２）ｆｓまでの信号を捉えることができる。

［第３実施形態］
図７は、本発明の第３実施形態に係るカラーフィルタのカラー配列を示す図である。図７から明らかなように、本実施形態に係るカラー配列が適用される固体撮像装置は、図１の正方格子状の画素配列の画素ピッチｄに対して水平・垂直方向の各画素ピッチを√２ｄとし、各画素が１行毎および１列毎に画素ピッチ√２ｄの１／２ずつずれた、いわゆる斜め画素配列となっている。

すなわち、奇数行と偶数行で水平方向に画素ピッチの１／２だけ、奇数列と偶数列で垂直方向に画素ピッチの１／２だけ画素がずれた画素配列となっている。１行単位で考えると水平方向に√２ｄピッチで画素が配置され、１列単位で考えると垂直方向に√２ｄピッチで画素が配置されていることになる。

この斜め画素配列に対して、本実施形態に係るカラー配列は、１行目はＧとＲを交互に配列したＧＲライン、２行目はＧのみを配列したＧライン、３行目はＢとＧを交互に配列したＧＢライン、４行目はＧのみを配列したＧライン、以降、この４行を単位として繰り返して配列した構成となっている。

本実施形態に係るカラー配列においても、図７から明らかなように、輝度（Ｙ）成分を作る上で主成分となる色成分（本実施形態ではＧ）と、他の色成分（本実施形態ではＲ，Ｂ）が、ＧでＲ，Ｂの周囲を囲むように配置された構成となっている。また、本実施形態に係るカラー配列においては、Ｒ，Ｂが水平・垂直に対して２√２ｄの間隔で配置された構成となっている。このカラー配列は、図７と図１の対比から明らかなように、第１実施形態に係る正方格子状の画素配列におけるカラー配列を４５°傾けたカラー配列そのものである。

本実施形態に係るカラー配列において、サンプリングレートを水平・垂直方向で考えた場合に、Ｇのサンプリングレートはｄ／√２であり、Ｒ，Ｂのサンプリングレートは２√２ｄである。すなわち、Ｒ，Ｂは、水平・垂直方向のサンプリングレートがＧに対して１／４のレートとなるように１列おき（本実施形態では奇数行）および１行おき（本実施形態では奇数列）に配置されている。したがって、ＧとＲ，Ｂの間に水平・垂直方向に４倍の解像度の差がある。また、サンプリングレートを斜め４５°方向で考えると、Ｇのサンプリングレートはｄであり、Ｒ，Ｂのサンプリングレートは２ｄである。

図７のカラー配列のＧだけを抜き出したＧ配列を図８（Ａ），（Ｂ）に示す。ここで、空間周波数特性について考える。水平・垂直方向については、図８（Ａ）に示すように、Ｇのサンプリングレートがｄ／√２であることから、サンプリング定理から（１／√２）ｆｓの周波数の信号まで捉えることができる。斜め４５°方向については、図８（Ｂ）に示すように、Ｇのサンプリングレートがｄであることから、サンプリング定理から（１／４）ｆｓの信号まで捉えることができる。

同様にＲ，Ｂについて考える。ＲとＢは画素配列の間隔が同じであるため、同様に考えることができる。したがって、ここではＲだけについて述べる。

Ｒだけを抜き出したＲ配列を図８（Ｃ），（Ｄ）に示す。なお、図８（Ａ）〜（Ｄ）において、水平・垂直方向、斜め方向で捉えられる限界周波数の信号を白抜きと網掛けの棒線で示している。

Ｒの空間周波数特性に関して、水平・垂直方向については、図８（Ｃ）に示すように、Ｒのサンプリングレートが２√２ｄであることから、サンプリング定理から（１／４√２）ｆｓの周波数の信号まで捉えることが可能であり、斜め４５°方向については、図８（Ｄ）に示すように、Ｒのサンプリングレートが２ｄであることから、サンプリング定理から（１／２）ｆｓの信号まで捉えることができる。

以上のことを踏まえて、図９に本実施形態に係るカラー配列の空間周波数特性を示す。Ｇは水平・垂直方向に関して（１／√２）ｆｓまでの信号を、斜め４５°方向に関して（１／４）ｆｓまでの信号を捉えることができる。また、Ｒ，Ｂは水平・垂直方向に関して（１／４√２）ｆｓまでの信号を、斜め４５°方向に関して（１／２）ｆｓまでの信号を捉えることができる。

なお、上記各実施形態において、図３、図６および図９のＧの空間周波数特性については、後述するカメラ信号処理系（図１１のカメラ信号処理回路１４）において、Ｒ，Ｂの空間位置でＧを補間によって生成する補間処理を行うことを前提とした場合の理論上の周波数特性である。

図１０に、Ｇの空間周波数特性（空間解像度）についての第１〜第３実施形態に係るカラー配列と、従来のカラー配列（ベイヤー配列、ベイヤー画素ずらし配列）の比較結果（Ａ）と、Ｒ，Ｂの空間周波数特性についての第１〜第３実施形態に係るカラー配列と従来のカラー配列の比較結果（Ｂ）を示す。

図１０（Ａ）から明らかなように、Ｇの空間周波数特性については、第１，第２実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも高いベイヤー配列と同じであり、斜め４５°方向に関してはベイヤー配列よりも高いベイヤー画素ずらし配列よりもさらに高い結果となっている。

第３実施形態に係るカラー配列は、斜め４５°方向に関してベイヤー配列よりもベイヤー画素ずらし配列と同じであり、水平・垂直方向に関してはベイヤー画素ずらし配列によりも高いベイヤー配列よりもさらに高い結果となっている。

また、図１０（Ｂ）から明らかなように、Ｒ，Ｂの空間周波数特性については、第１実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも低いベイヤー配列と同じであり、斜め４５°方向に関してはベイヤー配列よりも低いベイヤー画素ずらし配列よりもさらに低い結果となっている。

第２実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも低いベイヤー配列よりさらに低く、斜め４５°方向に関しては第１実施形態に係るカラー配列と同じ結果となっている。

第３実施形態に係るカラー配列は、水平・垂直方向に関してベイヤー画素ずらし配列によりも低いベイヤー配列よりさらに低く、斜め４５°方向に関してはベイヤー画素ずらし配列よりも低い結果となっている。

これらの比較結果から、第１，第２実施形態に係るカラー配列が斜め４５°方向に関して、第３実施形態に係るカラー配列が水平・垂直方向に関して従来のカラー配列（ベイヤー配列、ベイヤー画素ずらし配列）に比べて高い空間周波数特性を持っていることがわかる。Ｇは輝度成分を生成する上での主成分であるため、高い空間周波数特性を持つことによって輝度解像度の向上に大きく寄与できることになる。

一方、Ｒ，Ｂの空間周波数特性については、従来のカラー配列（ベイヤー配列、ベイヤー画素ずらし配列）に比べて低くなっているものの、先述したように、人間の色に対する解像度が低いことから、この程度でも十分であり、何ら支障を来すことはない。

以上説明したように、光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分Ｇと他の色成分Ｒ，Ｂを含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置において、ＧでＲ，Ｇの各々の周囲を囲むようなカラー配列にすることで、Ｇが全行、全列に存在することになるため、人間の視感度特性上、感度が高いＧの空間周波数特性（空間解像度）を上げることができる。

具体的には、Ｇの解像度に関して、水平・垂直方向については、ベイヤー画素ずらし配列よりも優れているベイヤー配列と同等またはそれ以上の解像度を得ることができ、斜め４５°方向については、ベイヤー配列よりも優れているベイヤー画素ずらし配列と同等またはそれ以上の解像度を得ることができる。その結果、無彩色な被写体に限らず、有彩色な被写体に対しても高解像度化を図ることができる。

また、従来のベイヤー画素ずらし配列の場合のように、後述するカメラ信号処理系において、Ｇの解像度が劣っている点を解決することを目的としてＲＧＢのレベルバランスをとる処理を行う必要がないため、レベルバランスがずれることに起因する色偽が発生することもない。

特に、第１実施形態に係るカラー配列では、空間周波数特性に関して、Ｒ，Ｇを水平・垂直方向のサンプリングレートがＧに対して１／２のレートとなるように１列おきおよび１行おきに配置したことで、水平・垂直方向のＧの解像度については、ベイヤー画素ずらし配列よりも優れているベイヤー配列と同等の解像度を得ることができ、斜め４５°方向のＧの解像度については、ベイヤー配列の２倍の解像度を得ることができる。

第２実施形態に係るカラー配列では、空間周波数特性に関して、Ｒ，Ｇを水平・垂直方向のサンプリングレートがＧに対して１／４のレートとなるように１列おきおよび１行おきに配置したことで、第１実施形態に係るカラー配列と同様に、水平・垂直方向のＧの解像度については、ベイヤー画素ずらし配列よりも優れているベイヤー配列と同等の解像度を得ることができ、斜め４５°方向のＧの解像度については、ベイヤー配列の２倍の解像度を得ることができる。

第３実施形態に係るカラー配列では、画素が１行毎および1列毎に画素ピッチの１／２ずつずれて配置された斜め画素配列において、空間周波数特性に関して、Ｒ，Ｇを水平・垂直方向のサンプリングレートがＧに対して１／４のレートとなるように１列おきおよび１行おきに配置したことで、水平・垂直方向のＧの解像度については、ベイヤー画素ずらし配列よりも優れているベイヤー配列よりもさらに高い解像度を得ることができ、斜め４５°方向のＧの解像度については、ベイヤー配列よりも優れているベイヤー画素ずらし配列と同等の解像度を得ることができる。

特に、第３実施形態に係るカラー配列では、画素の配列が斜め画素配列であるために、サンプリングレートがベイヤー配列に対して１／√２倍であるため、正方格子状の画素配列の２倍の画素情報量を得ることができる、即ち正方格子状の画素配列に比べてより高い解像度を得ることができる。また、正方格子状の画素配列と同じ解像度が必要な場合は、正方格子状の画素配列の画素ピッチよりも広い画素ピッチで画素を配列することが可能となり、画素の開口を広くとることができるため、画素の感光感度を向上し、Ｓ／Ｎを良くすることができる。

また、第１実施形態に係るカラー配列では、図３の空間周波数特性から、Ｇに対してＲ，Ｂは水平・垂直方向に１／２、斜め４５°方向に１／４の帯域の空間周波数特性を持っていることが、第２実施形態に係るカラー配列では、図６の空間周波数特性から、Ｇに対してＲ，Ｂは水平・垂直方向に１／４、斜め４５°方向に１／４の帯域の空間周波数特性を持っていることが、第３実施形態に係るカラー配列では、図９の空間周波数特性から、Ｇに対してＲ，Ｂは水平・垂直方向に１／４、斜め４５°方向に１／２の帯域の空間周波数特性を持っていることが分かる。

しかし、人間の視感度特性として輝度は高い解像度を認識でき、色は高い解像度を認識しづらいという特徴があることからすると、この程度の比率で十分である。

例えば、一般的なテレビジョンフォーマット信号では、輝度（Ｙ）に対して色（Ｃ）の信号の帯域は１／４であり、その程度の帯域で色解像度が十分であることが分かる。この特性を最大限に活用したのが本実施形態に係るカラー配列である。

すなわち、第１、第２、第３実施形態に係るカラー配列では、色の空間周波数特性を、人間が見たときに違和感を与えない程度の必要最低限のレベルまで落とし、輝度の空間周波数特性を従来のカラー配列に比べて画期的に向上させるカラー配列である。

また、第１、第２、第３実施形態に係るカラー配列は、Ｇが全行、全列に存在するカラー配列となっていることで、後述するカメラ信号処理系において、Ｒ，Ｂの空間位置でＧを補間によって生成する補間処理を行う際の補間精度をより向上するのに大きく寄与できる利点もある。

以上説明した第１乃至第３実施形態に係るカラー配列のカラーフィルタを有する固体撮像装置は、デジタルスチルカメラやビデオカメラ等の撮像装置、特にビデオカメラの撮像デバイスとして用いて好適なものである。

［撮像装置］
図１１は、本発明に係る撮像装置の構成の一例を示すブロック図である。図１１において、被写体（図示せず）からの像光は、光学系、例えばレンズ１１によって撮像デバイス１２の撮像面上に結像される。撮像デバイス１２として、光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが画素の表面上に配置されてなる固体撮像装置が用いられる。そして、当該カラーフィルタとして、先述した第１、第２または第３実施形態に係るカラー配列のものが用いられる。

撮像デバイス１２において、入射する像光のうち、各色成分の光のみがフィルタを通過して各画素に入射する。そして、各画素に入射した光は、フォトダイオード等の光電変換素子によって光電変換され、アナログ信号として読み出され、Ａ／Ｄ変換器１３でデジタル信号に変換されてカメラ信号処理回路１４に入力される。

カメラ信号処理回路１４は、光学系補正回路２１、補間処理回路２２、Ｙ（輝度）信号処理回路２３、Ｃ（クロマ）信号処理回路２４、帯域制限ＬＰＦ（ローパスフィルタ）２５および間引き処理回路２６を有する構成となっている。

光学系補正回路２１は、黒レベルを合わせるデジタルクランプ、撮像デバイス１２の欠陥を補正する欠陥補正、レンズ１１の周辺光量落ちを補正するシェーディング補正などのセンサーや光学系の補正を行う。

補間処理回路２２は、それぞれ空間的に位相がずれたＲＧＢ信号から３枚のプレーン信号を作り、同じ空間位置のＲＧＢ信号を作り出し、Ｙ信号処理回路２３およびＣ信号処理回路２４に供給する。Ｙ信号処理回路２３は、前記（１）式から輝度（Ｙ）信号を作る。Ｃ信号処理回路２４は、下記（２）式から色差信号Ｃｒ（Ｒ−Ｙ）、Ｃｂ（Ｂ−Ｙ）を作る。

Ｃｒ（Ｒ−Ｙ）＝Ｒ−（０．３Ｒ＋０．６Ｇ＋０．１Ｂ）
Ｃｂ（Ｂ−Ｙ）＝Ｂ−（０．３Ｒ＋０．６Ｇ＋０．１Ｂ） …（２）

帯域制限ＬＰＦ２５は、図１２に示すように、カットオフ周波数がサンプリング周波数ｆｓの１／８のフィルタであり、色差信号Ｃｒ，Ｃｂに関して通過帯域を（１／２）ｆｓから（１／８）ｆｓまで落とす。これはＴＶ信号フォーマットに合わせた出力であり、帯域制限を行わないで出力した場合には、１／８ｆｓ以上の周波数信号が偽信号として出力されてしまう。間引き処理回路２６は、図１３に示すように、色差信号Ｃｒ、Ｃｂのサンプリングの間引きを行う。

ここで、ポイントとなるのは、色差信号Ｃｒ、Ｃｂは、輝度（Ｙ）信号に対して１／４以下の帯域しか必要ないことである。その理由は、ＴＶ信号のフォーマットで決められていることもあるが、人間の目の特性として輝度（Ｙ）信号は高い周波数まで認識することができるが、色（Ｃ）に関しては高い周波数を認識することが困難であるいう性質があるからである。

実際に、Ｙ：Ｃｒ：Ｃｂ＝４：４：４（ＹとＣの出力帯域が一緒）の場合と、Ｙ：Ｃｒ：Ｃｂ＝４：１：１の場合の差分を出力画で見た場合では、特殊な被写体、例えば赤色、青色の点光源以外の通常の被写体ではその差を識別することは難しい。すなわち、ＴＶ信号フォーマットで定められているようにＣ信号はＹ信号の１／４の帯域を持つことで十分な解像度を得られることが分かる。

このことは、撮像デバイス１２として用いる固体撮像装置のカラーフィルタのカラー配列として、先述した第１、第２または第３実施形態に係るカラー配列を用いることができることを意味している。

すなわち、輝度成分を作る上で主成分となる色成分Ｇの空間周波数に対して他の色成分Ｒ，Ｂの空間周波数が、第１実施形態に係るカラー配列の場合は、図３から明らかなように、水平・垂直方向で１／２、斜め４５°方向で１／４であり、第２実施形態に係るカラー配列の場合は、図６から明らかなように、水平・垂直方向で１／４、斜め４５°方向で１／４であり、第３実施形態に係るカラー配列の場合は、図６から明らかなように、水平・垂直方向で１／４、斜め４５°方向で１／２であり、いずれの場合にもＹ：Ｃｒ：Ｃｂ＝４：１：１の条件を満足している。

このように、デジタルスチルカメラやビデオカメラ等の撮像装置、特にビデオカメラにおいて、撮像デバイス１２として用いる固体撮像装置のカラーフィルタのカラー配列として、第１、第２または第３実施形態に係るカラー配列を用いることで、人間の視感度特性上、感度が高いＧの空間周波数特性（空間解像度）を上げることができるため、無彩色な被写体に限らず、有彩色な被写体に対してもより高い輝度解像度を得ることができる。

しかも、従来のベイヤー画素ずらし配列の場合のように、カメラ信号処理回路１４において、Ｇの解像度が劣っている点を解決することを目的としてＲＧＢのレベルバランスをとる処理を行う必要がないため、その分だけ回路動作を簡略化できるとともに、レベルバランスがずれることに起因する色偽が発生することもない。

また、第１、第２または第３実施形態に係るカラー配列のいずれの場合にも、ＧでＲ，Ｇの各々の周囲を囲むようなカラー配列であって、Ｇが全行、全列に存在するために、カメラ信号処理回路１４内の補間処理回路３２において、Ｒ，Ｂの空間位置でＧを補間によって生成する補間処理を行う際に、その補間精度が非常に向上するという利点もある。

本発明の第１実施形態に係るカラーフィルタのカラー配列を示す図である。 第１実施形態に係るカラー配列においてＧだけを抜き出したＧ配列（Ａ），（Ｂ）と、Ｒだけを抜き出したＲ配列（Ｃ），（Ｄ）を示す図である。 第１実施形態に係るカラー配列の空間周波数特性を示す図である。 本発明の第２実施形態に係るカラーフィルタのカラー配列を示す図である。 第２実施形態に係るカラー配列においてＧだけを抜き出したＧ配列（Ａ），（Ｂ）と、Ｒだけを抜き出したＲ配列（Ｃ），（Ｄ）を示す図である。 第２実施形態に係るカラー配列の空間周波数特性を示す図である。 本発明の第３実施形態に係るカラーフィルタのカラー配列を示す図である。 第３実施形態に係るカラー配列においてＧだけを抜き出したＧ配列（Ａ），（Ｂ）と、Ｒだけを抜き出したＲ配列（Ｃ），（Ｄ）を示す図である。 第３実施形態に係るカラー配列の空間周波数特性を示す図である。 Ｇの空間周波数特性についての第１〜第３実施形態に係るカラー配列と従来のカラー配列の比較結果（Ａ）と、Ｒ，Ｂの空間周波数特性についての第１〜第３実施形態に係るカラー配列と従来のカラー配列の比較結果（Ｂ）を示す図である。 本発明に係る撮像装置の構成の一例を示すブロック図である。 帯域制限ＬＰＦの特性を示す図である。 間引き処理の概念図である。 ベイヤー配列のカラーコーディングを示す図である。 ベイヤー配列の場合の各色配列とサンプリングレートとの関係を示す図である。 ベイヤー配列の周波数特性を示す図である。 ベイヤー画素ずらし配列のカラーコーディングを示す図である。 ベイヤー画素ずらし配列の場合の各色配列とサンプリングレートとの関係を示す図である。 ベイヤー画素ずらし配列の周波数特性を示す図である。

符号の説明

１１…レンズ、１２…撮像デバイス（固体撮像装置）、１３…Ａ／Ｄ変換器、１４…カメラ信号処理回路、２１…光学系補正回路、２２…補間処理回路、２３…Ｙ（輝度）信号処理回路、２４…Ｃ（クロマ）信号処理回路、２５…帯域制限ＬＰＦ、２６…間引き処理回路

Claims (8)

1. 光電変換素子を含む画素が行列状に２次元配置され、輝度成分を作る上で主成分となる色成分と他の色成分を含むカラーフィルタが前記画素の表面上に配置されてなる固体撮像装置であって、
   前記主成分となる色成分および前記他の色成分は、前記主成分となる色成分で前記他の色成分の周囲を囲むように配置されている
   ことを特徴とする固体撮像装置。
2. 前記他の色成分は、水平・垂直方向のサンプリングレートが前記主成分となる色成分に対して１／２のレートとなるように１列おきおよび１行おきに配置されている
   ことを特徴とする請求項１記載の固体撮像装置。
3. 前記他の色成分が２色であり、
   前記主成分となる色成分のみを含む行と、前記主成分となる色成分と前記他の色成分の２色を含む行とが交互に配置されている
   ことを特徴とする請求項２記載の固体撮像装置。
4. 前記他の色成分は、水平・垂直方向のサンプリングレートが前記主成分となる色成分に対して１／４のレートとなるように１列おきおよび１行おきに配置されている
   ことを特徴とする請求項１記載の固体撮像装置。
5. 前記他の色成分が２色であり、
   前記主成分となる色成分のみを含む行が１行おきに配置され、前記主成分となる色成分と前記他の色成分の１色を含む行と、前記主成分となる色成分と前記他の色成分の他の１色を含む行とが１行おきに交互に配置されている
   ことを特徴とする請求項４記載の固体撮像装置。
6. 前記画素の配列において、前記画素が１行毎および1列毎に画素ピッチの１／２ずつずれて配置されている
   ことを特徴とする請求項４記載の固体撮像装置。
7. 前記他の色成分が２色であり、
   前記主成分となる色成分のみを含む行が１行おきに配置され、前記主成分となる色成分と前記他の色成分の１色を含む行と前記主成分となる色成分と前記他の色成分の他の１色を含む行が１行おきに交互に配置されている
   ことを特徴とする請求項６記載の固体撮像装置。
8. 輝度成分を作る上で主成分となる色成分と他の色成分を含み、前記主成分となる色成分および前記他の色成分が、前記主成分となる色成分で前記他の色成分の周囲を囲むように配置されてなるカラーフィルタを有する固体撮像装置と、
   被写体からの像光を前記固体撮像装置の撮像面上に結像させる光学系と、
   前記固体撮像装置の出力信号を処理する信号処理回路と
   を具備することを特徴とする撮像装置。
   

Images