JPH077736A

JPH077736A - 固体撮像装置

Info

Publication number: JPH077736A
Application number: JP5144605A
Authority: JP
Inventors: Yukihiro Tanizoe; 幸広谷添; Masayuki Yoneyama; 匡幸米山; Yasutoshi Yamamoto; 靖利山本; Shogo Sasaki; 省吾佐々木
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-06-16
Filing date: 1993-06-16
Publication date: 1995-01-10
Anticipated expiration: 2015-08-21
Also published as: JP3079839B2

Abstract

(57)【要約】【目的】空間周波数水平、垂直方向に色モアレの少な
い色信号の比に従って、画素補間演算を施すことによ
り、輝度モアレを抑圧する。【構成】縦Ｍ画素×横Ｎ画素の所定の繰り返し配列を
有する色分離フィルタ１１を設けた全画素読み出し撮像
素子１２を用い、その縦Ｋ画素×横Ｌ画素領域からの信
号に対し二次元演算を施すことにより、色信号を分離す
る色信号生成手段１３と、分離した色信号の比に従って
輝度信号の補間演算を行う画素補間演算手段１４を備え
た構成である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は固体撮像素子を用いた固
体撮像装置に関し、特に全画素読み出し撮像素子に色分
離フィルタを設け、カラー映像信号を得る固体撮像装置
に関する。

【０００２】

【従来の技術】撮像部に固体撮像素子を用いたカラーカ
メラには、複数個の撮像素子を用いる多板方式と１個の
撮像素子を用いる単板方式がある。単板方式において
は、画素毎に異なる分光特性を有する色分離フィルタを
設け、これら色分離フィルタに対応する画素の信号の演
算により色信号、輝度信号を得ている。このような単板
方式では、必然的に各信号の空間サンプリング周波数が
低くなり、輝度信号、色信号に画像の高域成分の折り返
しによる偽信号すなわちモアレが発生する。

【０００３】ところで、従来の撮像素子では垂直方向２
画素を加算して読み出すＰＤ（フォトダイオード）ミッ
クス方式がとられている。この方式の撮像素子を用いた
撮像方式の例として、色差順次方式がある。図９は色差
順次方式に用いる色分離フィルタ配列の例である。図１
０は図９の色分離フィルタ配列におけるサンプリングキ
ャリア図であり、Ｐｘ、Ｐｙはそれぞれ水平、垂直方向
の画素間隔を示している。図９の色分離フィルタ配列で
は、空間周波数水平方向に色のキャリアが存在するた
め、空間周波数水平方向に輝度モアレが発生し、水平方
向の解像度を低下させる原因になっている。

【０００４】輝度信号はいくつかの異なる色分離フィル
タに対応する色信号を加算して得られるが、各色信号を
加算して輝度信号を得るときの加算比を各色信号の感度
比の逆数に設定すれば輝度モアレを最小にできることが
知られている。しかし、各色信号の感度は入力光の分光
特性に依存するため、どのような入射光に対しても同時
にモアレを最小にする事はできない。

【０００５】一般の映像には、局所的な領域では色の相
関が強いという性質がある。この性質を利用して、どの
ような入射光に対してもモアレを抑圧する方法が、特開
平２−１６６９８８号公報に記載の固体カラーカメラ、
または、「テレビジョン学会誌」（vol.46,No.9,pp.115
3〜1160（1992））等に述べられている。

【０００６】以下この方法について簡単に説明する。例
えば、ＰＤミックス撮像素子と図９の色フィルタ配列を
用いた色差順次方式では、Ｍｇ＋ＹｅとＧ＋Ｃｙまた
は、Ｍｇ＋ＣｙとＧ＋Ｙｅが点順次に出力される。色の
変化が無い場合、Ｍｇ＋Ｙｅ：Ｇ＋Ｃｙ：Ｍｇ＋Ｃｙ：Ｇ＋Ｙｅの比は一定であると考えられる。従って、例えばＭｇ＋
ＹｅとＧ＋Ｃｙが出力される行においては、Ｍｇ＋Ｙｅ
が出力される画素位置に対して、（Ｇ＋Ｃｙ）’＝（Ｇ＋Ｃｙ）Ｌ／（Ｍｇ＋Ｙｅ）Ｌ＊（Ｍｇ＋Ｙｅ）の演算によってＧ＋Ｃｙが補間され、Ｇ＋Ｃｙが出力さ
れる画素位置に対して、（Ｍｇ＋Ｙｅ）’＝（Ｍｇ＋Ｙｅ）Ｌ／（Ｇ＋Ｃｙ）Ｌ＊（Ｇ＋Ｃｙ）の演算によってＭｇ＋Ｙｅが補間される。（Ｍｇ＋Ｙ
ｅ）Ｌと（Ｇ＋Ｃｙ）ＬはそれぞれＭｇ＋ＹｅとＧ＋Ｃ
ｙの低域成分（Ｌ）であり、Ｍｇ＋Ｙｅ、Ｇ＋Ｃｙ信号
にローパスフィルタ処理を施すことにより得られる。即
ちローパスフィルタによって色モアレが抑圧された色信
号の比に従って上記補間演算を行うことにより輝度モア
レの抑圧を行っている。

【０００７】ところで、図９に示す色分離フィルタ配列
のように、水平方向に色のキャリアが存在する色分離フ
ィルタ配列を用いた場合、色モアレを抑圧するためのロ
ーパスフィルタは水平方向１／４Ｐｘに零点を持つもの
になるが、そのようなフィルタによって水平方向１／２
Ｐｘ周辺の色モアレを抑圧するには、比較的帯域の狭い
ローパスフィルタを用いる必要がある。

【０００８】

【発明が解決しようとする課題】ところが、上記の補間
演算を行う際、被写体において急激な色の変化点があっ
た場合には帯域制限された色信号と、実際の色との誤差
による偽信号が発生し、ローパスフィルタの帯域が狭い
ほど色の変化点での誤差が大きくなり、その誤差による
偽信号が広範囲に発生するという問題があり、水平方向
１／２Ｐｘ付近の輝度のモアレ抑圧は困難であった。

【０００９】本発明の目的は上記従来の問題点を解決
し、特に水平、垂直空間周波数方向の輝度モアレ及び補
間演算により発生する偽信号が抑圧された出力が得られ
る固体撮像装置を提供することにある。

【００１０】

【課題を解決するための手段】上記した目的を達成する
ため本発明では、縦Ｍ画素×横Ｎ画素の所定の繰り返し
配列を有する色分離フィルタを設けた全画素読み出し撮
像素子を用い、その縦Ｋ画素×横Ｌ画素領域からの信号
に対し二次元演算を施すことにより、色信号を分離し、
分離した色信号の比に従って輝度信号の補間演算を行う
構成をとっている。

【００１１】

【作用】上記構成によって、色信号について周りの画素
信号より画素補間を行い、特に水平、垂直方向に色モア
レの少ない色信号が得られ、色モアレの少ない色信号を
用いて補間演算を行うことにより、特に水平、垂直方向
に輝度モアレが少なく解像度の高い輝度信号を得ること
ができる。

【００１２】

【実施例】以下本発明の実施例について、図面を参照し
ながら説明する。

【００１３】（実施例１）図１は本発明による固体撮像
装置の一実施例を示すブロック図であり、図１におい
て、１１は色分離フィルタ、１２は全画素読み出し撮像
素子、１３は色信号生成手段、１４は画素補間演算手
段、１５は輝度信号生成手段、１６はハイパスフィルタ
である。図４は全画素読み出し固体撮像素子に用いる色
分離フィルタ配列のＭ＝４、Ｎ＝２の場合の一例であ
る。また、図５は図４に示す色分離フィルタ配列による
場合のサンプリングキャリア図である。ただし、Ｐｘ、
Ｐｙはそれぞれ、水平、垂直の画素間隔である。

【００１４】まず、色信号生成手段における色信号生成
方式を説明する。図４の色分離フィルタ配列において色
分離を行うには、例えば、図４の色分離フィルタの上部
縦２×横２の画素領域において、色分離フィルタＷ、
Ｇ、Ｙｅ、Ｃｙに対応するＷ信号、Ｇ信号、Ｙｅ信号、
Ｃｙ信号にそれぞれ１、−１、１、−１の重みをつけて
加算する信号処理手段により赤色信号ｒを色分離できる
が、その場合、赤色信号ｒの水平方向の空間サンプリン
グ周期は画素間隔の２倍になっているため、水平空間周
波数１／２Ｐｘ、垂直空間周波数０の周辺に色モアレが
発生する。

【００１５】ところで、図４の色分離フィルタ配列で
は、赤色信号ｒ、青色信号ｂのサンプリングの位相が水
平２ラインおきに反転しており、サンプリングの位相が
反転したライン同士、互いに補間することにより水平方
向のモアレを抑圧できる。補間は、例えば図４の色分離
フィルタ配列において、上半分の縦２×横２の画素領域
より得られるＷ、Ｇ、Ｙｅ、Ｃｙ信号にそれぞれ１、−
１、１、−１の重みをつけて加算して分離した赤色信号
ｒと、下半分の縦２画素×横２画素領域より得られる
Ｗ、Ｇ、Ｙｅ、Ｃｙ信号に同様の重み付けをして加算し
て分離した赤色信号ｒの平均をとることによりなされ
る。

【００１６】すなわち、図４の色分離フィルタ配列にお
いて、縦４画素×横２画素領域より得られるＷ、Ｇ、Ｙ
ｅ、Ｃｙ信号にそれぞれ１、−１、１、−１の重みをつ
けて加算することにより、赤色信号ｒを分離することに
なる。青色信号ｂも、縦４×横２の画素領域における色
分離フィルタＷ、Ｇ、Ｙｅ、Ｃｙに対応する信号にそれ
ぞれ１、−１、−１、１の重みをつけて加算することに
より分離でき、赤色信号ｒと同様に補間される。

【００１７】図６（ａ），（ｂ）はそれぞれ以上に説明
した色信号ｒ、ｂの色分離を行う演算におけるＷ、Ｇ、
Ｙｅ、Ｃｙ信号に対する重み付けを図４の色分離フィル
タのＷ、Ｇ、Ｙｅ、Ｃｙの位置に対応させて並べたもの
である。即ち、色信号ｒ、ｂは図４に示す色分離フィル
タ配列に対応する縦４×横２領域の各画素値に対し、図
６（ａ），（ｂ）に示すような重み付けをして加算する
演算手段により分離される。また、緑色信号ｇは図４の
色分離フィルタ配列の縦４×横２の領域の画素値を全て
加算したものが４ｒ＋８ｇ＋４ｂになるため、縦４×横
２の領域の画素値を全て加算したものから４ｒ、４ｂを
減算することにより分離できる。

【００１８】図６（ｃ）は、ｇ信号の分離を行う演算に
おけるＷ、Ｇ、Ｙｅ、Ｃｙ領域に対する重み付けを図４
の色分離フィルタのＷ、Ｇ、Ｙｅ、Ｃｙの位置に対応さ
せて並べたものである。即ち、Ｗ、Ｇ、Ｙｅ、Ｃｙ信号
に対して、それぞれー１、３、１、１の重み付けをして
加算することによりｇ信号が分離できる。以上の演算に
より得られた色信号ｒ、ｂ、ｇに対して、更に水平方
向、垂直方向にローパスフィルタ処理を施すことによ
り、空間周波数高域成分の色モアレが抑圧された色信号
を得ることができる。

【００１９】また、図４の色分離フィルタ配列に対して
上記の色信号生成処理を行なうと、水平空間周波数０、
垂直空間周波数１／２Ｐｙを中心に色モアレが発生す
る。この色モアレは、入射光の垂直空間周波数１／２Ｐ
ｙ付近のｒ（赤）、ｂ（青）成分が原因になっている。
従って、垂直空間周波数１／２Ｐｙ付近を抑圧する水晶
フィルタ等の光学ローパスフィルタによって抑圧でき
る。しかし、水晶ローパスフィルタはｒ、ｂ成分だけで
なくｇ（緑）成分も抑圧するため、垂直方向の輝度の解
像度が劣化する。従って、ｇを残したままｒ、ｂの空間
高周波数成分を選択的に抑圧することが望ましい。

【００２０】これを実現するものとして、特開平４−９
９１５号公報記載の色選択性光学ローパスフィルタがあ
る。色選択性光学ローパスフィルタとは、光の波長即ち
色毎に屈折率の異なる硝材を組み合わせることにより、
色毎に異なるローパスフィルタ特性が得られるものであ
る。この色選択性光学ローパスフィルタによってｇの垂
直空間周波数成分を残したまま、ｒ、ｂの垂直空間周波
数１／２Ｐｙ付近を選択的に抑圧することにより、垂直
方向の輝度の解像度の劣化を抑えながら、色モアレを抑
圧できる。

【００２１】以上の方法によって、水平、垂直方向に色
モアレの少ない色信号ＲＬ（赤）、ＧＬ（緑）、ＢＬ
（青）が得られる。この色信号を用いて、次式の演算に
よりＷ画素の位置のＧ’、Ｇ画素の位置のＷ’、Ｙｅ画
素の位置のＣｙ’、Ｃｙ画素の位置のＹｅ’が得られ
る。

【００２２】Ｗ’＝ＷＬ／ＧＬ＊ＧＧ’＝ＧＬ／ＷＬ＊ＷＹｅ’＝ＹｅＬ／ＣｙＬ＊ＣｙＣｙ’＝ＣｙＬ／ＹｅＬ＊ＹｅただしＷＬ＝ＲＬ＋ＧＬ＋ＢＬＹｅＬ＝ＲＬ＋ＧＬＣｙＬ＝ＧＬ＋ＢＬ図４の色分離フィルタ配列の場合、上記の補間演算によ
って各画素に対して、Ｗ、Ｇまたは、Ｙｅ、Ｃｙが揃う
ことになる。そこで、Ｗ＋Ｇ＝Ｙｅ＋Ｃｙ＝ｒ＋２ｇ＋ｂを輝度信号とする事により、水平、垂直方向にモアレの
少ない輝度信号を得ることができる。上記の補間演算に
おけるＷＬ、ＧＬ、ＹｅＬ、ＣｙＬを得るためのローパ
スフィルタは、水平１／２Ｐｘに零点を持つものになっ
ているため、図９の色分離フィルタ配列を用いる場合に
比べて、水平方向に広帯域のローパスフィルタによって
水平１／２Ｐｘ付近のモアレ抑圧を行っている。そのた
め、図９の色分離フィルタによる場合に比べ、補間演算
による偽信号の発生範囲が狭く、水平１／２Ｐｘ付近の
モアレを抑圧できる。

【００２３】補間演算手段１４において補間演算を施さ
れたＷ，Ｇ，Ｙｅ，Ｃｙ信号より、輝度信号生成手段１
５において輝度信号が生成され、ハイパスフィルタ１６
において抜き出された輝度の高域成分をＲＬ、ＧＬ、Ｂ
Ｌに均等に加算した信号が出力端１８より出力される。

【００２４】（実施例２）図２は、色の変化点における
偽信号を抑圧するための補正を行う場合の一実施例で
る。以下図２の実施例について説明する。

【００２５】図２において、１９は色の変化点の検出手
段である。２０は色の変化点の検出手段１９の出力によ
りタップ係数が決まるトランスバーサル型フィルタであ
る。図７は色の変化点の検出手段１９及びトランスバー
サル型フィルタの一例の構成を示すブロック図である。
色の変化点における偽信号は，色の変化点を検出し、色
の変化点のＷ，Ｇ，Ｙｅ，Ｃｙ信号に対して、ローパス
フィルタ処理を施すことにより抑圧できる。図７は垂直
方向（横線状）の色の変化点における偽信号のうち、
Ｗ：Ｇの変動により発生する偽信号を抑圧する回路の一
例である。

【００２６】色の変化点の検出手段１９では、隣接する
上下２ライン分のＷＬ／ＧＬの比を監視することにより
Ｗ：Ｇの変化点の検出を行っている。色の検出手段１９
における演算を式で表すと次のようになる。ただし、Ｗ
Ｌ１、ＧＬ１は同一の画素位置に対応するＷＬ、ＧＬで
あり、ＷＬ２、ＧＬ２はＷＬ１、ＧＬ１に対応する画素
の１画素上または１画素下の画素の位置に対応するＷ
Ｌ、ＧＬを表している。

【００２７】 α ＝ｌｏｇ｛（ＷＬ１／ＧＬ１）／（ＷＬ２／ＧＬ２）｝ａ＝Ｆ（α）ここで、Ｆ（α）は０から１／２を連続的に変化し、α
の絶対値が大きいほど大きくなる関数である。図８は関
数Ｆ（α）の一例を示したものである。

【００２８】横線状の色の変化点においては、水平方向
空間周波数１／２Ｐｘ付近に偽信号が発生する。従って
水平方向空間周波数１／２Ｐｘ付近を抑圧することによ
り、偽信号を抑圧できる。図７の例におけるトランスバ
ーサル型フィルタ２０はＨ（ｚ）＝ａ／２＋（１−ａ）ｚ^-1 ＋（ａ／２）ｚ^-2 の特性を持つフィルタである。なお、トランスバーサル
型フィルタはデジタルＦＩＲフィルタによって構成して
も良い。

【００２９】図７はＷ：Ｇの変化点において発生する偽
信号を抑圧する回路の例であるが、Ｙｅ：Ｃｙの変化点
における偽信号も同様の手段により抑圧できる。

【００３０】（実施例３）色の変化点において発生する
偽信号は色信号の比（即ち色）の変動が大きいほど大き
くなる。図４の色分離フィルタＷ，Ｇ，Ｙｅ，Ｃｙに対
応する出力信号の全てに、ある一定値を加算する演算に
より色信号の比の変動を抑え、偽信号を抑圧できる。

【００３１】（実施例４）色の変化点において発生する
偽信号のうち、特に入射光のｒ（赤）、ｂ（青）成分の
変化により発生している偽信号は色選択性光学ローパス
フィルタ２２を図３に示すようにＣＣＤとレンズ（図示
せず）の間に挿入し、ｒ、ｂの空間周波数高周波成分を
選択的に制限する事により抑圧できる。図３はその実施
例を示すブロック図である。

【００３２】以上で述べた実施例は、Ｍ＝４、Ｎ＝２の
場合の例であるが、他のＭ、Ｎの組み合わせを採用して
も差し支えない。また、上記の説明では、図４に示した
色分離フィルタを用いたが、空間周波数水平、垂直方向
に色のサンプリングキャリアを持たない色分離フィルタ
であれば、他の色分離フィルタ配列を用いても差し支え
ない。

【００３３】

【発明の効果】以上に述べたように、本発明の固体撮像
装置は、縦Ｍ画素×横Ｎ画素の所定の配列の繰り返しを
有する色分離フィルタを通過した入射光が、全画素読み
出し光電変換手段を介して光・電気変換された後、色信
号生成手段に入力され、前記色信号生成手段において、
縦Ｋ画素×横Ｌ画素領域の画素からの信号に対して二次
元演算を施すことにより色分離された信号が前記輝度信
号生成手段に入力され、前記輝度信号生成手段において
注目画素に対して色信号の比に従って所定の画素補間演
算を行う構成を有し、所定の色分離フィルタ配列の出力
信号に対して二次元演算を施すことにより、色モアレが
抑圧された色信号を得ることができ、さらに色モアレの
少ない色信号を用いて補間演算を行うことにより、水
平、垂直方向に輝度モアレが少なく解像度の高い輝度信
号を得ることができる。

【００３４】特に、色のキャリアが画像の水平、垂直方
向に存在しない色分離フィルタの場合、色選択性光学ロ
ーパスフィルタと組み合わせることによって、水平、垂
直方向に色モアレのない信号を得ることができ、色モア
レの少ない色信号の比に従って所定の画素補間演算を行
うことにより輝度モアレの抑圧された輝度信号を得るこ
とができる。

【図面の簡単な説明】

【図１】本発明による固体撮像装置の第１の実施例を示
すブロック図

【図２】本発明による固体撮像装置の第２の実施例を示
すブロック図

【図３】本発明による固体撮像装置の第３の実施例を示
すブロック図

【図４】色分離フィルタ配列のＭ＝４、Ｎ＝２の場合の
一例を示す図

【図５】図４に示す色分離フィルタ配列による場合のサ
ンプリングキャリア図

【図６】Ｗ、Ｇ、Ｙｅ、Ｃｙ信号に対する重み付けを示
す図

【図７】Ｗ：Ｇの変化点において発生する偽信号を抑圧
する回路の一例を示す回路図

【図８】関数Ｆ（α）の一例を示した図

【図９】色差順次方式に用いる色分離フィルタ配列の例
を示す図

【図１０】図９の色分離フィルタ配列におけるサンプリ
ングキャリア図

【符号の説明】

１１色分離フィルタ１２全画素読み出し撮像素子１３色信号生成手段１４画素補間演算手段１５輝度信号生成手段１６ハイパスフィルタ１８出力端子１９色の変化点の検出手段２０トランスバーサル型フィルタ２２色選択性光学ローパスフィルタ

フロントページの続き (72)発明者佐々木省吾大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】Ｍ画素×Ｎ画素の繰り返し配列を有する所
定の色分離フィルタと、前記色分離フィルタを通過した
入射光に光・電気変換を施こす全画素読み出し光電変換
手段と、光・電気変換を施されたＫ×Ｌ領域の画素から
の信号に対して二次元演算を施すことにより色分離され
た色信号を生成する色信号生成手段と、注目画素に対し
て前記色信号生成手段で生成された色信号の比に従って
所定の画素補間演算を行う輝度信号生成手段とを備えた
ことを特徴とする固体撮像装置。
【請求項２】色信号生成手段の出力に所定の演算を施す
ことにより、水平方向または垂直方向の色の変化点を監
視する信号処理手段Ａと、輝度信号生成手段の出力に対
し周波数特性処理を施す信号処理手段Ｂを有し、前記信
号処理手段Ｂは係数が可変であるトランスバーサル型フ
ィルタで構成され、前記トランスバーサル型フィルタの
タップ係数は、前記信号処理手段Ａの出力により決定さ
れることを特徴とする請求項１記載の固体撮像装置。
【請求項３】輝度信号生成手段において、各色分離フィ
ルタの出力に対し一定値を加算することを特徴とする請
求項１または２記載の固体撮像装置。
【請求項４】色選択性光学ローパスフィルタを通過した
光を入射光とすることを特徴とする請求項１記載の固体
撮像装置。