JP5054857B1 - カラー撮像装置 - Google Patents

Abstract

ＲＧＢの全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子を使用する。水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるフィルタ係数を有する加重平均フィルタを使用して、カラー撮像素子から出力されるモザイク画像の各画素の画素値の色毎の加重平均値を算出する。そして、加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を推定する。
【選択図】図５

Description

本発明はカラー撮像装置に係り、特に色モワレの発生を抑圧することができるカラー撮像装置に関する。

単板式のカラー撮像素子を有するカラー撮像装置では、カラー撮像素子からの出力画像がＲＡＷ画像（モザイク画像）であるため、欠落している色の画素を、周囲の画素から補間する処理（同時化処理）により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性である。

単板式のカラー撮像素子で最も広く用いられている色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、各色の再現帯域を越えた高周波信号の折り返りと各色の位相のずれにより低周波の色付き（色モアレ）が発生するという問題がある。

例えば、図１０の（Ａ）に示すような白黒の縦縞模様（高周波画像）が、図１０の（Ｂ）に示すベイヤー配列の撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図１０の（Ｃ）から（Ｅ）に示すようにＲは薄い平坦、Ｂは濃い平坦、Ｇは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、ＲＧＢ間に濃度差（レベル差）は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。

一般に単板式のカラー撮像素子を使用するカラー撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。

このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が該着目画素の色を含む３色と該着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献１）。

また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献２）。

更に、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素置きに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子を備えた撮像装置が提案されている（特許文献３）。特許文献３に記載のカラー撮像素子は、輝度信号に対して色差信号の解像度は低くてもよいという理由により、輝度信号を得るために最も寄与するＧ画素がＲＢ画素に比べて非常に多く配置されており、これにより水平及び垂直方向の解像度を上げることができるようにしている。

特開２０００−３０８０８０号公報 特開２００５−１３６７６６号公報 特開平８−２３５４３号公報

特許文献１に記載の３色ランダム配列は、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。

一方、特許文献２に記載の画像センサのカラーフィルタ配列は、Ｒ、Ｇ、Ｂフィルタがカラーフィルタ配列の水平方向及び垂直方向の各ライン内に周期的に配置されているが、特許文献２に記載の発明は、上記カラーフィルタ配列を有する画像センサから出力されるモザイク画像を同時化処理する際に、注目画素を中心に所定の画像サイズの局所領域を抽出し、局所領域内の注目画素の色の色分布形状、及び推定しようとする他の色の色分布形状に関する統計量を算出し、注目画素位置の色の強度と色分布形状の統計量とに基づいて色分布形状を線形回帰することにより注目画素位置の他の色の推定値を算出するようにしている。この特許文献２に記載の発明は、色分布形状に関する統計量（共分散値）の演算や回帰演算処理を行う必要があり、画像処理が複雑になるという問題がある。

また、特許文献３に記載のカラー撮像素子は、水平又は垂直方向にＧ画素のみのラインが存在するため、水平又は垂直方向の高周波部の偽色に対しては有効でない。

本発明はこのような事情に鑑みてなされたもので、高周波部の偽色の発生を簡単な画像処理で抑圧することができるカラー撮像装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子と、前記カラー撮像素子からモザイク画像を取得する画像取得部と、所定のフィルタ係数を有する加重平均フィルタであって、該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色と前記フィルタ係数との関係が、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定された加重平均フィルタと、前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出する加重平均算出部と、前記加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記対象画素の色と他の色との前記算出した加重平均値の色比又は色差に基づいて、前記対象画素の画素値を補間して前記他の色の画素値を算出する同時化処理部と、前記加重平均フィルタに対応して前記モザイク画像から抽出する局所領域を、前記同時化処理の対象画素単位毎に移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる制御部と、を備えている。

本発明の一の態様に係るカラー撮像装置によれば、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子を使用するため、前記加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色に対する前記フィルタ係数として、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定することができる。

そして、加重平均フィルタのフィルタ係数は、水平及び垂直方向のいずれのラインでも色毎の総和の比が等しいため、水平及び垂直方向でどのような周波数の入力があっても、フィルタ係数を掛けた結果の色の関係がずれることがなく、高周波折り返りによる色付が起きることはない。即ち、前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて算出される色毎の加重平均値は、その局所領域に水平及び垂直方向でどのような周波数の入力があっても、その局所領域における正確な色を示す。従って、加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する際に、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を精度よく推定することができる。

本発明の他の態様に係るカラー撮像装置において、前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記第１のフィルタに対応する第１の色の画素数と、前記第２のフィルタに対応する第２の色の各色の画素数との比率が異なるようにしている。即ち、前記第１のフィルタに対応する第１の色の画素数と、前記第２のフィルタに対応する第２の色の各色の画素数との比率が異なっていても、前記加重平均フィルタのフィルタ係数は、水平及び垂直方向のいずれのラインでも色毎のフィルタ係数の総和の比が等しいため、フィルタ係数を掛けた結果の色の関係がずれることがなく、高周波折り返りによる色付が起きることがない。

本発明の更に他の態様に係るカラー撮像装置において、前記前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいことが好ましい。即ち、輝度信号を得るために最も寄与する第１の色の画素数の比率を、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。

本発明の更に他の態様に係るカラー撮像装置において、前記加重平均フィルタは、中央部のフィルタ係数が大きくなるように重み付けされているフィルタであることが好ましい。これにより、同時化処理の対象画素の画素位置における色を精度よく求めることができる。

本発明の更に他の態様に係るカラー撮像装置において、前記加重平均フィルタは、左右対称、上下対称及び点対称となるフィルタ係数を有することが好ましい。これにより、前記モザイク画像から局所領域を抽出して色毎の加重平均を算出する際に、抽出する局所領域を移動させても同じ加重平均フィルタを使用することができる。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタが所定のカラーフィルタ配列で配置されてなり、前記加重平均算出部により算出された前記Ｒフィルタ、Ｇフィルタ及びＢフィルタに対応するＲ、Ｇ、Ｂ画素の画素値の色毎の加重平均値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、前記同時化処理部は、前記同時化処理の対象画素がＧ画素であり、その画素値がＧの場合、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ，Ｂを、次式、
Ｒ＝Ｇ×（Ｒｆ／Ｇｆ），Ｂ＝Ｇ×（Ｂｆ／Ｇｆ）
により算出し、前記同時化処理の対象画素がＲ画素であり、その画素値がＲの場合、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ，Ｂを、次式、
Ｇ＝Ｒ×（Ｇｆ／Ｒｆ），Ｂ＝Ｒ×（Ｂｆ／Ｒｆ）
により算出し、前記同時化処理の対象画素がＢ画素であり、その画素値がＢの場合、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ，Ｒを、次式、
Ｇ＝Ｂ×（Ｇｆ／Ｂｆ），Ｒ＝Ｂ×（Ｒｆ／Ｂｆ）
により算出するようにしている。

前記局所領域における色毎の加重平均値（Ｒｆ、Ｇｆ、Ｂｆ）の比は、その局所領域の対象画素の画素位置における本来の色のＲＧＢの比（色比）を示しており、この色比により対象画素の位置における画素値を補間することにより他の色の画素値を精度よく推定することができる。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタが所定のカラーフィルタ配列で配置されてなり、前記加重平均算出部により算出された前記Ｒフィルタ、Ｇフィルタ及びＢフィルタに対応するＲ、Ｇ、Ｂ画素の画素値の色毎の加重平均値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、前記同時化処理部は、前記同時化処理の対象画素がＧ画素であり、その画素値がＧの場合、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ，Ｂを、次式、
Ｒ＝Ｇ＋（Ｒｆ−Ｇｆ），Ｂ＝Ｇ＋（Ｂｆ−Ｇｆ）
により算出し、前記同時化処理の対象画素がＲ画素であり、その画素値がＲの場合、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ，Ｂを、次式、
Ｇ＝Ｒ＋（Ｇｆ−Ｒｆ），Ｂ＝Ｒ＋（Ｂｆ−Ｒｆ）
により算出し、前記同時化処理の対象画素がＢ画素であり、その画素値がＢの場合、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ，Ｒを、次式、
Ｇ＝Ｂ＋（Ｇｆ−Ｂｆ），Ｒ＝Ｂ＋（Ｒｆ−Ｂｆ）
により算出するようにしている。

前記局所領域における色毎の加重平均値（Ｒｆ、Ｇｆ、Ｂｆ）の差は、その局所領域の対象画素の画素位置における本来色のＲＧＢの差（色差）を示しており、この色差により対象画素の位置における画素値を補間することにより他の色の画素値を精度よく推定することができる。

本発明の更に他の態様に係るカラー撮像装置において、前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタが所定のカラーフィルタ配列で配置されてなり、前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成され、前記加重平均フィルタは、９×９のカーネルサイズを有し、前記制御部は、前記加重平均フィルタを前記第１の配列又は第２の配列が中心になるように順次移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させるようにしている。

上記第１の配列と第２の配列は、ともに上下及び左右に対称な色フィルタを有し、かつ第１の配列と第２の配列とは、ＲフィルタとＢフィルタとが入れ代わっているだけである。従って、前記加重平均フィルタを３×３画素毎に移動させながら処理する際に、加重平均フィルタのフィルタ係数を変えなくても、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比を等しくすることができる。

本発明によれば、前記加重平均フィルタに対応してモザイク画像から抽出される局所領域内の各画素の色に対するフィルタ係数を、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定し、この加重平均フィルタのフィルタ係数と該加重平均フィルタに対応してモザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出するようにしたため、局所領域内における色毎の加重平均値の色比又は色差は、その局所領域の対象画素の画素位置における本来色の色比又は色差を示すことになる。これにより、前記算出した加重平均値の色比又は色差により、対象画素の画素値を補間することで他の色の画素値を精度よく推定することができる。

尚、前記局所領域に水平及び垂直方向でどのような周波数の入力があっても、その局所領域における色毎の加重平均値の色比又は色差は変化しないため、色の誤判定を起こすことがなく、高周波部の偽色の発生を抑圧することができ、また、加重平均や補間の簡単な演算により他の色の画素値を推定することができる。

図１は本発明に係るカラー撮像装置の実施形態を示すブロック図であり； 図２は第１の実施形態のカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列を示す図であり； 図３は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図であり； 図４は第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図であり； 図５は第１の実施形態のカラー撮像素子に適用される加重平均フィルタを示す図であり； 図６Ａは縦縞の高周波の入力があった場合の画像を示す図であり； 図６Ｂは縦縞の高周波の入力があった場合に加重平均フィルタが掛けられた加重平均値の色には色ずれが起きないことを説明するために用いた図であり； 図７は本発明に適用されるカラー撮像素子及び加重平均フィルタの第２の実施形態を示す図であり； 図８は本発明に適用されるカラー撮像素子の第３の実施形態を示す図であり； 図９Ａは第３の実施形態のカラー撮像素子に適用される加重平均フィルタの第３の実施形態を示す図であり； 図９Ｂは図９Ａに示した６×６画素の局所領域を水平方向に２画素移動させた場合に適用される加重平均フィルタを示す図であり； 図１０は従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。

以下、添付図面に従って本発明に係るカラー撮像装置の好ましい実施の形態について詳説する。

［カラー撮像装置の全体構成］
図１は本発明に係るカラー撮像装置の実施形態を示すブロック図である。

撮影光学系１０により被写体が撮像され、被写体像を示す光像がカラー撮像素子１２（第１の実施形態のカラー撮像素子）の受光面上に結像される。

このカラー撮像素子１２は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子からなる複数の画素（図示せず）と、各画素の受光面上に配置された所定のカラーフィルタ配列のカラーフィルタとから構成された単板式のカラー撮像素子である。尚、カラー撮像素子１２のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されていることを特徴とするものであるが、その詳細については、後述する。

カラー撮像素子１２に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。各光電変換素子に蓄積された信号電荷は、制御部２０の指令に従って駆動部１８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてカラー撮像素子１２から順次読み出される。カラー撮像素子１２から読み出される画像信号は、カラー撮像素子１２のカラーフィルタ配列に対応したＲ、Ｇ、Ｂのモザイク画像を示すＲ、Ｇ、Ｂ信号である。尚、カラー撮像素子１２は、ＣＣＤ(Charge Coupled Device)カラー撮像素子に限らず、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子などの他の種類の撮像素子であってもよい。

カラー撮像素子１２から読み出された画像信号は、撮像処理部１４に入力する。撮像処理部１４は、画像信号に含まれるリセットノイズを除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＣ回路、及びＡ／Ｄ変換器を含み、入力する画像信号を相関二重サンプリング処理するとともに増幅した後、デジタルの画像信号に変換してなるＲＡＷデータを画像処理部１６に出力する。

画像処理部１６は、ホワイトバランス補正回路、ガンマ補正回路、本発明に係る同時化処理回路（単板式のカラー撮像素子１２のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理回路）、輝度・色差信号生成回路、輪郭補正回路、色補正回路等を含み、制御部２０からの指令に従い、撮像処理部１４から入力したモザイク画像のＲＡＷデータに所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

画像処理部１６で生成された画像データは、圧縮／伸張処理回路により静止画に対しては、ＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２規格に準拠した圧縮処理が施された後、記録メディア（メモリカード）に記録され、また、液晶モニタ等の表示手段（図示せず）に出力されて表示される。

尚、画像処理部１６の中の本発明に係る同時化処理回路による処理内容の詳細については後述する。

＜カラーフィルタ配列の特徴＞
カラー撮像素子１２のカラーフィルタ配列は、下記の特徴(1)、(2)及び(3)を有している。

〔特徴(1)〕
図２はカラー撮像素子１２に設けられているカラーフィルタのカラーフィルタ配列を示す図である。図２に示すように、カラー撮像素子１２のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、カラー撮像素子１２から読み出されるＲ、Ｇ、Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

〔特徴(2)〕
図２に示すカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。

図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、図４に示すように水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

〔特徴(3)〕
図２に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心（４つのＧフィルタの中心）に対して点対称になっている。また、図３に示したように、基本配列パターン内のＡ配列及びＢ配列も、それぞれ中心のＧフィルタに対して点対称になっている。

〔特徴(4)〕
図２に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

［画像処理部１６の同時化処理回路で使用する加重平均フィルタ］
図５は、画像処理部１６の同時化処理回路で使用する加重平均フィルタの実施形態を示す図であり、特に加重平均フィルタのフィルタ係数に関して示している。

図５に示すように、この加重平均フィルタ（第１の実施形態の加重平均フィルタ）は、９×９のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。

即ち、加重平均フィルタのフィルタ係数は、カラー撮像素子１２から得られるモザイク画像から、Ａ配列が中央にくるように９×９画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のＲＧＢの色毎のフィルタ係数の総和の比が、等しく（１：１：１に）なるようにフィルタ係数が設定されている。

例えば、図５で、一番上の行のフィルタ係数は、0,2,1,1,4,1,1,2,0になっているが、色毎に分けて総和を求めると、Ｒ=4、Ｇ=0+1+1+1+1+0=4、Ｂ=2+2=4となり、４：４：４＝１：１：１の関係になっていることが分かる。そして、全ての行及び列（水平及び垂直方向の各ライン）が、この関係に当てはまるフィルタ係数になっている。

また、この加重平均フィルタは、３×３のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の３×３のフィルタ係数が大きく、次に中央部を挟む上下左右の３×３のフィルタ係数が大きく、四隅の３×３のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。

更に、この加重平均フィルタは、左右対称、上下対称及び点対称となるようにフィルタ係数が設定されている。

上記構成の加重平均フィルタと、モザイク画像から抽出した９×９画素の局所領域内の各画素の画素値とに基づいてＲＧＢ毎の加重平均値を算出すると、ＲＧＢ毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。

例えば、図６Ａに示す縦縞の高周波の入力があった場合に、それぞれの色のフィルタ係数の総和は、３２：３２：３２となり（図６Ｂ参照）、色比から白黒であることが分かる。

［画像処理部１６の同時化処理回路による同時化処理］
次に、画像処理部１６の同時化処理回路によりＲＧＢのモザイク画像を同時化処理する方法について説明する。

図５に示すように、カラー撮像素子１２から得られるモザイク画像から、Ａ配列が中央にくるように９×９画素の局所領域を抽出し、その局所領域内の各画素の画素値と前記加重平均フィルタのフィルタ係数とに基づいてＲＧＢの色毎の加重平均値を算出する。即ち、局所領域内の各画素の画素値と、各画素位置における加重平均フィルタのフィルタ係数とを乗算し、乗算結果を色毎に加算して色毎の総和を求め、更に色毎の総和を６４で除算することにより加重平均値を算出する。尚、６４は、加重平均フィルタのＲＧＢ毎のフィルタ係数の総和である。

次に、上記のようにして算出したＲＧＢの加重平均値からＲＧＢの加重平均値の比（色比）を算出する。そして、９×９画素の局所領域内の中央部の３×３画素（図５に示した太枠内の画素）を同時化処理の対象画素とし、対象画素の画素位置における画素値を、前記算出した色比により補間し、その画素位置における他の色の画素値を算出する。

具体的には、前記算出されたＲＧＢの色毎の加重平均値をそれぞれＲｆ、Ｇｆ、Ｂｆとし、同時化処理の対象画素がＧ画素であり、その画素値がＧの場合、対象画素の位置における画素値Ｒ，Ｂを、次式、
Ｒ＝Ｇ×（Ｒｆ／Ｇｆ），Ｂ＝Ｇ×（Ｂｆ／Ｇｆ） …（１）
により算出する。

同様に、同時化処理の対象画素がＲ画素であり、その画素値がＲの場合、対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ，Ｂを、次式、
Ｇ＝Ｒ×（Ｇｆ／Ｒｆ），Ｂ＝Ｒ×（Ｂｆ／Ｒｆ） …（２）
により算出する。

また、同時化処理の対象画素がＢ画素であり、その画素値がＢの場合、対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ，Ｒを、次式、
Ｇ＝Ｂ×（Ｇｆ／Ｂｆ），Ｒ＝Ｂ×（Ｒｆ／Ｂｆ） …（３）
により算出する。

９×９画素の局所領域内の中央部の３×３画素の全ての画素について、ＲＧＢの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、３×３画素毎に移動させながら上記と同じ処理を行う。

図５に示す状態から、９×９画素の局所領域を水平方向又は垂直方向に３画素移動させると、移動後の９×９画素の局所領域の中央部には、３×３画素のＢ配列が位置することになる（図４参照）。尚、前述したようにＡ配列とＢ配列とは、Ｇフィルタの配列は同じであり、ＲフィルタとＢフィルタの位置だけが異なる。一方、加重平均フィルタは、Ｒフィルタに対応する位置と、Ｂフィルタに対応する位置のフィルタ係数として同じ値が割り当てられているため、局所領域を移動させながら同時化処理を行う際に、同じ加重平均フィルタを使用することができる。

上記のようにカラー撮像素子１２から得られるＲＧＢのモザイク画像に対して前記加重平均フィルタを適用した場合に、水平及び垂直方向の各ライン内のＲＧＢの色毎のフィルタ係数の総和の比が等しくなるようにフィルタ係数が設定されているため、この加重平均フィルタに基づいてＲＧＢ毎の加重平均値を算出すると、ＲＧＢ毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、局所領域の色を精度よく表すことができる。そして、ＲＧＢ毎の加重平均値による色に基づいて同時化処理を行うようにしたため、偽色の発生を抑圧することができ、これにより偽色の発生を抑圧するための光学ローパスフィルターを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

上記の実施形態では、ＲＧＢの加重平均値の色比により、対象画素の画素位置における画素値を補間し、その画素位置における他の色の画素値を算出するようにしたが、これに限らず、ＲＧＢの加重平均値の色差により、対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。

具体的には、ＲＧＢの色毎の加重平均値をそれぞれＲｆ、Ｇｆ、Ｂｆとし、同時化処理の対象画素がＧ画素であり、その画素値がＧの場合、対象画素の位置における画素値Ｒ，Ｂを、次式、
Ｒ＝Ｇ＋（Ｒｆ−Ｇｆ），Ｂ＝Ｇ＋（Ｂｆ−Ｇｆ） …（４）
により算出する。

同様に、同時化処理の対象画素がＲ画素であり、その画素値がＲの場合、対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ，Ｂを、次式、
Ｇ＝Ｒ＋（Ｇｆ−Ｒｆ），Ｂ＝Ｒ＋（Ｂｆ−Ｒｆ） …（５）
により算出する。

また、同時化処理の対象画素がＢ画素であり、その画素値がＢの場合、対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ，Ｒを、次式、
Ｇ＝Ｂ＋（Ｇｆ−Ｂｆ），Ｒ＝Ｂ＋（Ｒｆ−Ｂｆ） …（６）
により算出する。

［カラー撮像素子及び加重平均フィルタの第２の実施形態］
図７は本発明に適用されるカラー撮像素子及び加重平均フィルタの第２の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列と、これに適用される加重平均フィルタのフィルタ係数を示している。

図７に示すように第２の実施形態のカラー撮像素子のカラーフィルタ配列は、ある水平ラインがＲＧＢＲＧＢＲＧＢ…であり、次の水平ラインがＧＢＲＧＢＲＧＢＲ…であり、その次の水平ラインがＢＲＧＢＲＧＢＲＧ…であり、これが繰り返されている。

即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、図７に示すようにカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。

このように第２の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴(1)及び(2)と同じ特徴を有している。

一方、上記カラー撮像素子に適用される第２の実施形態の加重平均フィルタは、図７の太枠で示すように６×６のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。

即ち、第２の実施形態の加重平均フィルタのフィルタ係数は、第２の実施形態のカラー撮像素子から得られるモザイク画像から、６×６画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のＲＧＢの色毎のフィルタ係数の総和の比が、等しく（１：１：１に）なるようにフィルタ係数が設定されている。

例えば、図７で、一番上の行のフィルタ係数は、0,1,2,2,1,0になっているが、色毎に分けて総和を求めると、Ｒ=0+2=2、Ｇ=1+1=2、Ｂ=2+0=2となり、２：２：２＝１：１：１の関係になっていることが分かる。そして、全ての行及び列（水平及び垂直方向の各ライン）が、この関係に当てはまるフィルタ係数になっている。

また、この加重平均フィルタは、２×２のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の２×２のフィルタ係数が大きく、次に中央部を挟む上下左右の２×２のフィルタ係数が大きく、四隅の２×２のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。

更に、この加重平均フィルタは、左右対称、上下対称及び点対称となるようにフィルタ係数が設定されている。

上記構成の加重平均フィルタと、モザイク画像から抽出した６×６画素の局所領域内の各画素の画素値とに基づいてＲＧＢ毎の加重平均値を算出すると、ＲＧＢ毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。

そして、第１の実施形態と同様に、モザイク画像から抽出した６×６画素の局所領域内の各画素の画素値と加重平均フィルタのフィルタ係数とに基づいてＲＧＢ毎の加重平均値を算出し、算出されたＲＧＢ毎の加重平均値の色比、又は色差により、６×６画素の局所領域内の中央部の２×２画素の対象画素の画素値を補間することにより、他の色の画素値を算出することができる。

また、６×６画素の局所領域内の中央部の２×２画素の全ての画素について、ＲＧＢの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、水平方向又は垂直方向に２画素ずつ移動させながら上記と同じ処理を行うが、この場合、同じ加重平均フィルタを使用することができる。

［カラー撮像素子及び加重平均フィルタの第３の実施形態］
図８は本発明に適用されるカラー撮像素子の第３の実施形態を示す図であり、特にカラー撮像素子に設けられているカラーフィルタのカラーフィルタ配列に関して示している。

また、図９はこのカラー撮像素子に適用される加重平均フィルタのフィルタ係数を示している。

図８に示すように、第３の実施形態のカラー撮像素子のカラーフィルタ配列は、４×４画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。

また、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの全ての色のフィルタが水平方向及び垂直方向の各ライン内に配置されている。

更に、カラーフィルタ配列の基本配列パターンは、その基本配列パターンの中心に対して点対称になっている。

更にまた、図８に示すカラーフィルタ配列の基本配列パターンは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ４画素、８画素、４画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、１：２：１になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

このように第３の実施形態のカラー撮像素子のカラーフィルタ配列は、第１の実施形態のカラー撮像素子１２のカラーフィルタ配列の特徴(1)、(2)、(3)及び(4)と同じ特徴を有している。

一方、上記カラー撮像素子に適用される第３の実施形態の加重平均フィルタは、図９Ａ及び図９Ｂの太枠で示すように６×６のカーネルサイズを有し、同図に示すフィルタ係数が設定されている。

即ち、第３の実施形態の加重平均フィルタのフィルタ係数は、第３の実施形態のカラー撮像素子から得られるモザイク画像から、６×６画素の局所領域を抽出し、その局所領域内の各画素の色に対応して、フィルタ係数を色毎に抽出して色毎のフィルタ係数の総和を求めた場合に、水平及び垂直方向の各ライン内のＲＧＢの色毎のフィルタ係数の総和の比が、等しく（１：１：１に）なるようにフィルタ係数が設定されている。

例えば、図９Ａで、一番上の行のフィルタ係数は、2,1,2,4,2,1になっているが、色毎に分けて総和を求めると、Ｒ=4、Ｇ=1+2+1=4、Ｂ=2+2=4となり、４：４：４＝１：１：１の関係になっていることが分かる。そして、全ての行及び列（水平及び垂直方向の各ライン）が、この関係に当てはまるフィルタ係数になっている。

また、この加重平均フィルタは、２×２のサイズに分割した領域毎にフィルタ係数を比較すると、中央部の２×２のフィルタ係数が大きく、次に中央部を挟む上下左右の２×２のフィルタ係数が大きく、四隅の２×２のフィルタ係数が一番小さくなるようにフィルタ係数に重みが付けられている。

上記構成の加重平均フィルタと、モザイク画像から抽出した６×６画素の局所領域内の各画素の画素値とに基づいてＲＧＢ毎の加重平均値を算出すると、ＲＧＢ毎の加重平均値による色は、水平及び垂直方向でどのような周波数の入力があっても、色ずれが生じることがなく、高周波折り返りによる色付が起きることがない。

そして、第１の実施形態と同様に、モザイク画像から抽出した６×６画素の局所領域内の各画素の画素値と加重平均フィルタのフィルタ係数とに基づいてＲＧＢ毎の加重平均値を算出し、算出されたＲＧＢ毎の加重平均値の色比、又は色差により、６×６画素の局所領域内の中央部の２×２画素の対象画素の画素値を補間することにより、他の色の画素値を算出することができる。

また、６×６画素の局所領域内の中央部の２×２画素の全ての画素について、ＲＧＢの画素値を求める同時化処理が終了すると、モザイク画像から抽出する局所領域を、水平方向又は垂直方向に２画素ずつ移動させながら上記と同じ処理を行うが、この場合、異なる加重平均フィルタを使用する。

即ち、図９Ａに示すように、モザイク画像から抽出する６×６画素の局所領域の中央部の２×２画素の左上及び右下にＧ画素がくる場合には、図９Ａに示すフィルタ係数を有する加重平均フィルタを使用し、図９Ｂに示すように、モザイク画像から抽出する局所領域を水平方向に２画素に移動し、その局所領域の中央部の２×２画素の右上及び左下にＧ画素がくる場合には、図９Ｂに示すフィルタ係数を有する加重平均フィルタを使用する。

［その他］
上記実施形態では、ＲＧＢの３原色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置について説明したが、本発明は、これに限らず、ＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。

また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタを有するカラー撮像素子を備えたカラー撮像装置にも適用できる。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮影光学系、１２…カラー撮像素子、１４…撮像処理部、１６…画像処理部、１８…駆動部、２０…制御部

Claims (8)

1. 水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、全ての色のフィルタが水平方向及び垂直方向の各ライン内に周期的に配置されたカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子と、
   前記カラー撮像素子からモザイク画像を取得する画像取得部と、
   所定のフィルタ係数を有する加重平均フィルタであって、該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の色と前記フィルタ係数との関係が、水平及び垂直方向の各ライン内の色毎のフィルタ係数の総和の比が等しくなるように設定された加重平均フィルタと、
   前記加重平均フィルタのフィルタ係数と該加重平均フィルタに対応して前記モザイク画像から抽出される局所領域内の各画素の画素値とに基づいて色毎の加重平均値を算出する加重平均算出部と、
   前記加重平均フィルタの中央部の同時化処理の対象画素の画素位置における他の色の画素値を算出する同時化処理部であって、前記対象画素の色と他の色との前記算出した加重平均値の色比又は色差に基づいて、前記対象画素の画素値を補間して前記他の色の画素値を算出する同時化処理部と、
   前記加重平均フィルタに対応して前記モザイク画像から抽出する局所領域を、前記同時化処理の対象画素単位毎に移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる制御部と、
   を備えたカラー撮像装置。
2. 前記カラー撮像素子のカラーフィルタ配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
   前記第１のフィルタに対応する第１の色の画素数と、前記第２のフィルタに対応する第２の色の各色の画素数との比率が異なる請求項１に記載のカラー撮像装置。
3. 前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項２に記載のカラー撮像装置。
4. 前記加重平均フィルタは、中央部のフィルタ係数が大きくなるように重み付けされているフィルタである請求項１から３のいずれか１項に記載のカラー撮像装置。
5. 前記加重平均フィルタは、左右対称、上下対称及び点対称となるフィルタ係数を有する請求項１から４のいずれか１項に記載のカラー撮像装置。
6. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタが所定のカラーフィルタ配列で配置されてなり、
   前記加重平均算出部により算出された前記Ｒフィルタ、Ｇフィルタ及びＢフィルタに対応するＲ、Ｇ、Ｂ画素の画素値の色毎の加重平均値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、
   前記同時化処理部は、
   前記同時化処理の対象画素がＧ画素であり、その画素値がＧの場合、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ，Ｂを、次式、
   Ｒ＝Ｇ×（Ｒｆ／Ｇｆ），Ｂ＝Ｇ×（Ｂｆ／Ｇｆ）
   により算出し、前記同時化処理の対象画素がＲ画素であり、その画素値がＲの場合、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ，Ｂを、次式、
   Ｇ＝Ｒ×（Ｇｆ／Ｒｆ），Ｂ＝Ｒ×（Ｂｆ／Ｒｆ）
   により算出し、前記同時化処理の対象画素がＢ画素であり、その画素値がＢの場合、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ，Ｒを、次式、
   Ｇ＝Ｂ×（Ｇｆ／Ｂｆ），Ｒ＝Ｂ×（Ｒｆ／Ｂｆ）
   により算出する請求項１から５のいずれか１項に記載のカラー撮像装置。
7. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタが所定のカラーフィルタ配列で配置されてなり、
   前記加重平均算出部により算出された前記Ｒフィルタ、Ｇフィルタ及びＢフィルタに対応するＲ、Ｇ、Ｂ画素の画素値の色毎の加重平均値を、それぞれＲｆ、Ｇｆ、Ｂｆとすると、
   前記同時化処理部は、
   前記同時化処理の対象画素がＧ画素であり、その画素値がＧの場合、前記対象画素の位置におけるＲ、Ｂ画素の画素値Ｒ，Ｂを、次式、
   Ｒ＝Ｇ＋（Ｒｆ−Ｇｆ），Ｂ＝Ｇ＋（Ｂｆ−Ｇｆ）
   により算出し、前記同時化処理の対象画素がＲ画素であり、その画素値がＲの場合、前記対象画素の位置におけるＧ、Ｂ画素の画素値Ｇ，Ｂを、次式、
   Ｇ＝Ｒ＋（Ｇｆ−Ｒｆ），Ｂ＝Ｒ＋（Ｂｆ−Ｒｆ）
   により算出し、前記同時化処理の対象画素がＢ画素であり、その画素値がＢの場合、前記対象画素の位置におけるＧ、Ｒ画素の画素値Ｇ，Ｒを、次式、
   Ｇ＝Ｂ＋（Ｇｆ−Ｂｆ），Ｒ＝Ｂ＋（Ｒｆ−Ｂｆ）
   により算出する請求項１から５のいずれか１項に記載のカラー撮像装置。
8. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色に対応するＲフィルタ、Ｇフィルタ及びＢフィルタが所定のカラーフィルタ配列で配置されてなり、
   前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成され、
   前記加重平均フィルタは、９×９のカーネルサイズを有し、
   前記制御部は、前記加重平均フィルタを前記第１の配列又は第２の配列が中心になるように順次移動させながら前記加重平均算出部及び同時化処理部を繰り返し動作させる請求項１から７のいずれか１項に記載のカラー撮像装置。

Images