JP2009290599A - 撮像装置 - Google Patents

Abstract

【課題】色変換処理において、解像度を低下させることなく偽色を抑える。
【解決手段】ＣＣＤ１４から読み出される色信号を、色変換処理部２０において色変換処理し、単色の色変換信号を画素ごとに生成する。そして、補間処理部２２では、相関補間処理によって、色要素Ｒ，Ｇ，Ｂに応じた色変換信号を画素ごとに生成する。色変換処理のとき、対象画素の欠落する色信号を隣接画素の色信号によって補間し、ｓＲＧＢ空間に基づいたマトリクス係数を、自身の色信号および補間による色信号にそれぞれ乗じる。
【選択図】図１

Description

本発明は、撮像素子から読み出される画素信号に基いてカラー画像を生成する撮像装置に関し、特に、単板式撮像素子の使用時に行われる色の補間処理に関する。

単板式撮像素子を備えたデジタルカメラなどでは、カラーフィルタが撮像素子の受光面に配置されている。例えば、ベイヤー型カラーフィルタの場合、Ｒ，Ｇ，Ｂの色要素がモザイク状に配列され、各画素（受光素子）は、Ｒ，Ｇ，Ｂいずれかの色要素を通過した光を受光する。各画素には単色の色情報しか存在しないため、デモゼイシング（demosaicing）と言われる色補間処理を行い、欠落した色情報を周辺画素から補う。

色補間方法としては、単純に隣接画素の色信号の平均値を算出する方法、隣接画素の中で相関関係の強い画素を使って補間処理する方法など、様々な色補間方法が提案されている（特許文献１〜３参照）。そこでは、偽色を低減するとともに、画像の鮮明度（解像度）を維持するように、色補間処理が行われる。
特開２００６−１３５９１９号公報 特開２００６−１９１６０７号公報 特開２００２−２２３４５１号公報

一般に、偽色の発生と画像の鮮明度はトレードオフ関係にある。隣接画素の平均値算出といった色補間処理では、偽色が抑えられる反面、ローパスフィルタリングによってコントラスト、解像度が低下する。一方、対象画素から離れた画素を利用する複雑な補間処理では、解像度が向上する反面、偽色が生じやすい。

また、ｓＲＧＢなどの色空間に基づくカラーバランスのとれた画像信号を得るため、補間処理によって得られた色信号は、カラーマトリクスによって色変換処理される。このとき、補間処理によって得られた色信号を色変換するため、色変換処理を行うときにローパスフィルタリングの機能が働き、解像度がさらに低下する。また、偽色の発生する画素が、マトリクス変換によって広がっていく。

本発明の撮像装置は、偽色の抑制と解像度の向上を両方実現可能な撮像装置である。撮像装置は、３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を備える。例えば撮像素子は、カラーフィルタが、赤（Ｒ），緑（Ｇ），青（Ｂ）の色要素によって構成され、あるいは、カラーフィルタが、赤（Ｒ），青（Ｂ），そして緑（Ｇ）に応じた２色の色要素（Ｙ、Ｃ）によって構成される。４色の場合、スペクトル分布がおよそ等間隔に並ぶような４つの色要素によって構成すればよい。被写体像が撮像素子に形成されると、一連の画素信号が読み出される（以下、各色要素の種類に従う画素信号を色信号という）。

本発明の撮像装置は、各画素の色信号に対して色変換処理を施し、単色の色変換信号を生成する色変換処理手段と、各画素の欠落する色変換信号を、周辺画素の色変換信号によって補間する色補間処理手段とを備える。そして、色変換処理手段は、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成する。ここでの色変換係数は、色空間に基づいて定められる。

ここでの周辺画素は、近傍画素よりも範囲の広い領域にある画素を表す。また、近傍画素は、上下左右、あるいは斜め方向に隣接する画素、あるいはそれ以上の一定距離範囲内にある画素を表す。色変換処理手段は、色空間に従ってカラーバランス調整された色変換信号を生成する。色空間としては、測色学的に規格化された色空間、例えばＸＹＺ系、Ｌ^＊ａ^＊ｂ^＊空間、Ｌ^＊ｕ^＊ｖ^＊空間、ｓＲＧＢ空間などが適用される。例えば色変換処理手段は、色変換処理によって、Ｒ，Ｇ，Ｂなど３つ種類の中でいずれかの色変換信号を画素毎に生成する。

本発明では、色変換処理によって単色の色変換信号を生成し、その後、欠落する色変換信号、すなわち対象画素の色要素では得られない色変換信号を補間する。対応する色要素の色信号しか色変換処理を行わないため、補間した色信号の色変換処理による偽色の広がりが防止される。また、色変換処理において暫定的に色信号を補間生成しているが、近傍画素による補間であるため、偽色の発生が抑えられる。そして、カラーバランス調整された色変換信号に対して周辺画素を用いた高度な補間処理を行うことによって、高解像度の画像が復元される。また、単色の色変換信号しか生成しないため、メモリへ一時的に格納する信号データが抑えられる。

補間する色信号に起因して偽色が顕著にならないようにするため、色変換処理手段が、隣接画素の色信号に基づく補間処理によって色信号を補間するのがよい。例えば色変換処理手段は、隣接画素の色信号平均を算出する。

一方、高解像度の画像を復元するため、色補間処理手段は、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理するのが望ましい。例えば、色補間処理手段は、隣接画素の中で相関関係の相対的に強い画素の色差信号を、その隣接画素の色変換信号および該隣接画素の近傍画素の色変換信号によって算出し、対象画素の色変換信号および算出した色差信号Ｃｂ、Ｃｒによって欠落する色変換信号を補間する。あるいは、色補間処理手段が、隣接画素の色変換信号平均を算出してもよい。

本発明の色変換処理装置は、３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子用の色変換処理装置であって、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間する暫定色信号生成手段と、各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する色変換処理手段とを備え、色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成することを特徴とする。

本発明の色変換処理方法は、３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を使用する時の色変換処理方法であって、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する方法であって、色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成する。

本発明によれば、色変換処理において、解像度を低下させることなく偽色を抑えることができる。

以下では、図面を参照して、本発明の実施形態であるデジタルスチルカメラについて説明する。

図１は、第１の実施形態におけるデジタルカメラのブロック図である。図２は、カラーフィルタ配列を示した図である。

デジタルカメラ１０は、撮影光学系１２およびＣＣＤ１４を備え、コントローラ１６がカメラの動作を制御する。レリーズボタン（図示せず）が操作されると、以下に示す撮影動作が実行される。

被写体からの光は、撮影光学系１２、シャッタ（図示せず）を通ってＣＣＤ１４に到達し、これにより被写体像がＣＣＤ１４の受光面に形成される。撮像方式として単板同時式が適用され、ＣＣＤ１４の受光面には、Ｒ，Ｇ，Ｂの色要素をモザイク状に配列させたカラーフィルタ１３が設けられている。

図２に示すように、カラーフィルタ１３は、３つの色要素Ｒ，Ｇ，Ｂをベイヤー配列させたフィルタであり、ＣＣＤ１４の各画素の上にＲ，Ｇ，Ｂいずれかの色要素が配置されている。また、カラーフィルタ１３は、互いに隣接する４つの色要素Ｒ，Ｇ，Ｂ，ＧをブロックＢとして構成される基本ベイヤー型であり、奇数ラインではＲ，Ｇ、偶数ラインではＢ，Ｇが交互に並び、ＲとＢが対角線方向に沿って交互に並ぶ。例えば色要素Ｒに応じた画素Ｐ_ｉｊの上下左右には、色要素Ｇに応じた画素が隣接し、対角線方向には色要素Ｂに応じた画素が隣接する。

ＣＣＤ１４では、カラーフィルタ１３の各色要素に応じてアナログ画素信号が発生し、コントローラ１６からの駆動信号に従って１フレーム分の画素信号が読み出される（以下では、各画素において生成される画素信号を色信号という）。読み出された一連の色信号（ＲＡＷデータ）は、初期回路１８においてデジタル信号に変換され、ＤＳＰ（Digital Signal Processor）によって構成された画像信号処理回路１９の色変換処理部２０へ送られる。

色変換処理部２０では、各画素の色信号に対して色変換処理が行われる。ここでは、後述するように、対象画素に隣接する画素の色信号によって欠落する色信号（暫定色信号）を補間した上で、単色の色変換信号を生成する。画素毎に生成された単色の色変換信号（Ｒｃ、Ｇｃ、もしくはＢｃ）は、補間処理部２２へ送られる。

補間処理部２２では、一時的にメモリ（図示せず）に格納されたＲｃ、Ｇｃ、Ｂｃ色変換信号に対し、色補間処理が実行される。これにより、欠落していた色変換信号も含め、Ｒｓ、Ｇｓ、Ｂｓ、３つの色変換信号が画素ごとに出力される。

後段信号処理回路２４では、Ｒｓ、Ｇｓ、Ｂｓの色変換信号に対し、ホワイトバランス（ゲイン）処理、γ補正、輪郭強調、階調変換などの処理が施される。その結果、カラー画像データが生成され、メモリカード２８へ記憶される。ＣＰＵ、ＲＯＭ、ＲＡＭを含むコントローラ１６は、レリーズボタンに対する操作を検出し、ＣＣＤ１４、画像信号処理回路１９などの回路へ制御信号を出力する。

図３は、色変換処理および色補間処理のフローを示した図である。以下では、色変換処理、補間処理のフローを説明する。

色変換処理部２０では、各画素の色信号を、色空間に基づいてカラーバランス調整する（Ｓ１０１）。このとき、カラーバランス調整の演算を行うため、対象画素に欠落している色信号を隣接画素の色信号によって暫定的に補間し、色要素Ｒ，Ｇ，Ｂに応じた３つの色信号に対するカラーマトリクス演算を行うことによって、単色の色変換信号を算出する。

例えば、色変換対象画素に対応する色要素がＲの場合、上下左右に隣接する４つの画素のＧ信号の平均値をＧの色信号（暫定色信号）として補間し、対角線方向に隣接する４つの画素のＢ信号平均値をＢの色信号として補間する（以下、このような隣接画素の平均を算出する補間処理を、単純補間処理という）。そして、色空間に基づいたマトリクス係数（色変換係数）をＲ，Ｇ，Ｂ色信号に乗じる。

図４は、ＣＣＤ１４から読み出される色信号を５×５の画素配列に合わせて示した図である。図４には、画素Ｐ_１〜Ｐ_２５から得られる色要素Ｒ、Ｇ、もしくはＢに応じた色信号を、配列順の番号を付けて表している。例えば、次式に示すように、画素Ｐ_１３の色信号Ｒ１３に対する色変換処理によって、色変換信号Ｒｃ１３が求められる。次式に示す１×３マトリクスの各マトリクス係数の値は、ｓＲＧＢ空間に基づいて定められている。

（１）式のＧ’１３は、上下左右に隣接する画素（Ｐ_８、Ｐ_１２、Ｐ_１４、Ｐ_１８）のＧ信号（Ｇ８、Ｇ１２、Ｇ１４、Ｇ１８）の平均値によって表される。また、Ｂ’１３は、斜め方向に隣接する画素（Ｐ_７、Ｐ_９、Ｐ_１７、Ｐ_１９）のＢ信号（Ｂ７、Ｂ９、Ｂ１７、Ｂ１９）の平均値をもつ。

一方、色変換対象画素が色要素Ｇの画素である場合、上下および左右に隣接する色要素Ｒの画素、色要素Ｂの画素に基づいて単純補間処理を行い、Ｒ，Ｂの暫定色信号を定める。そして、Ｇの色信号およびＲ，Ｂの暫定色信号に対してカラーマトリクス演算が行われる。例えば、画素Ｐ_１４の場合、次式によって色変換信号Ｇｃ１４が算出される。

また、色変換対象画素が色要素Ｂの画素の場合、上下左右に隣接する４つの画素のＧ信号に基づいて単純補間処理を行い、対角線方向に隣接する４つの画素のＲ信号に対して単純補間処理を行う。そして、自身の色要素Ｂの色信号および色要素Ｒ，Ｇの暫定色信号に対してカラーマトリクス演算が行われる。例えば、画素Ｐ_１９の場合、次式によって色変換信号Ｂｃ１９が算出される。

（１）〜（３）式の各マトリクスは、同じ色要素の画素に対する色変換処理にも使用される。

図５は、色変換信号を５×５の画素配列に合わせて示した図である。各画素には、色要素Ｒ，Ｇ，Ｂいずれか１つに応じた色変換信号だけが算出されている。例えば、画素Ｐ_１３の場合、色変換信号Ｒｃ１３しか存在しない。補間処理部２２では、各画素の色変換信号に対して補間処理が行われ、色要素Ｒ，Ｇ，Ｂに応じた３つの色変換信号が生成される。ここでは、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいた補間処理（以下、相関補間処理という）を行う。

図６は、画素Ｐ_１３に対するＧの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図７は、画素Ｐ_１３に対するＢの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図６、７を用いて、画素Ｐ_１３に対する相関補間処理について説明する。

画素Ｐ_１３の場合、色要素Ｒの色変換信号Ｒｃ１３がそのまま出力される色変換信号Ｒｓ１３として設定される一方、色要素Ｂ、Ｇに応じた色変換信号Ｒｓ１３、Ｒｓ１３が相関補間処理によって生成される（図３のＳ１０２、Ｓ１０３）。

まず、上下左右方向に隣接する４つの画素（Ｐ_８、Ｐ_１２、Ｐ_１４、Ｐ_１８）の色変換信号Ｇｃ８、Ｇｃ１２、Ｇｃ１４、Ｇｃ１８に基づいて、対象画素Ｐ_１３に対する上下方向、左右方向（２方向）の相関関係を比較する。具体的には、上下方向に沿った色変換信号Ｇｃ８、Ｇｃ１８の差ΔＧｖ（＝｜Ｇｃ８−Ｇｃ１８｜）と、左右方向に沿った色変換信号Ｇｃ１２、Ｇｃ１４の差ΔＧｈ（＝｜Ｇｃ１２−Ｇｃ１４｜）とが比較される。

そして、相関関係に基づき、新たな色変換信号Ｇｓ１３が以下の式によって求められる。すなわち、ΔＧｖ＜ΔＧｈの場合、上下方向に沿って相関関係が強いと判断され、上下方向の色変換信号Ｇｃ８、Ｇｃ１８の平均を、新たな色変換信号Ｇｓ１３として定める。一方、左右方向に沿って相関関係が強い場合（ΔＧｖ≧ΔＧｈ）、色変換信号Ｇｃ１２、Ｇｃ１４の平均を色変換信号Ｇｓ１３とする。

色要素Ｇに応じた色変換信号Ｇｓ１３を算出すると、今度は、色要素Ｂに応じた色変換信号Ｂｓ１３を新たに算出する。色要素Ｂに応じた隣接画素Ｐ_７、Ｐ_９、Ｐ_１７、Ｐ_１９は、画素Ｐ_１３に対して対角線方向にある。ここでは、画素Ｐ_１３を中心とした上方向、下方向、左方向、右方向（４方向）の相関関係を、色情報が多いＧの色変換信号を使って比較する（図７参照）。その後、輝度、色差信号（Ｙ、Ｃｂ、Ｃｒ）とＲ，Ｇ，Ｂ信号との色空間に基づく関係式によって、色変換信号Ｂｓ１３を算出する。

まず、（４）式によって算出された色変換信号Ｇｓ１３と、上下左右方向に沿った隣接画素の色変換信号Ｇｃ８、Ｇｃ１２、Ｇｃ１４、Ｇｃ１８との差を、以下の式によってそれぞれ求める。ΔＧｖｕ、ΔＧｖｂ、ΔＧｈｌ、ΔＧｈｒは、それぞれ上、下、左、右の隣接画素の色変換信号との差を表す。

算出された差ΔＧｖｕ、ΔＧｖｂ、ΔＧｈｌ、ΔＧｈｒの大きさを比較することによって、相関関係の最も強い方向（隣接画素）を判断する。すなわち、差を最小にする隣接画素が、補間処理に用いる画素として選ばれる。

例えば、差ΔＧｈｌが最小、すなわち左隣の画素Ｐ_１２の色変換信号Ｇｃ１２が最も相関関係の強い場合、以下の式によって新たな色変換信号Ｂｓ１３が求められる。

（６）式は、ｓＲＧＢ空間の色域によって求められる輝度、色差信号（Ｙ、Ｃｂ、Ｃｒ）とＲ，Ｇ，Ｂ信号との関係式に基づく。そこでは、隣接画素Ｐ_１２における色差信号Ｃｂ（＝(Ｂ−Ｙ)/1.772）、Ｃｒ（＝(Ｒ−Ｙ)/1.402）を求め、新たな色変換信号Ｂｓ１３を、色変換信号Ｒｓ１３、および色差信号Ｃｂ、Ｃｒによって算出する。

（６）式に示すように、隣接画素Ｐ_７、Ｐ_１７の色変換信号Ｂｃ７、Ｂｃ１７および隣接画素Ｐ_１１、Ｐ_１３の色変換信号Ｒｃ１１、Ｒｃ１３による補間処理によって、画素Ｐ１２の欠落する色変換信号Ｒ’ｃ１２、Ｂ’ｃ１２を生成する。

一方、右隣、上隣、下隣に関する差ΔＧｈｒ、ΔＧｖｕ、ΔＧｖｂいずれかかが最小である場合、それぞれ以下の式によって色変換信号Ｒｓ１３が算出される。

図６、図７では、色要素Ｒの画素Ｐ_１３に対する色補間処理を例示したが、色要素Ｂに応じた画素（Ｐ_７など）についても、同様な補間処理が行われる。すなわち、初めに上下方向、もしくは左右方向に沿った相関関係の強い色要素Ｇの隣接画素によって、色変換信号Ｇｓを求めるための補間処理を行う。次に、色要素Ｇに関して相関関係の強い上、下、左、又は右隣の画素の暫定色変換信号Ｒ’ｃ、Ｂ’ｃと、輝度、色差信号Ｃｂ、Ｃｒに基づいて、色変換信号Ｒｓを算出する。一方、色要素Ｇに応じた画素を補間対象とする場合、上下、左右にＲ，Ｂに応じた画素が隣接することから、その平均値を色変換信号Ｒｓ、Ｂｓとして定める。

このような色補間処理が各画素に対して実行されることによって、画像全体の色変換信号Ｒｓ、Ｇｓ、Ｂｓが生成される。

このように第１の実施形態によれば、ＣＣＤ１４から読み出される色信号は、色変換処理部２０において色変換処理され、単色の色変換信号が画素ごとに生成される。そして、補間処理部２２では、相関補間処理によって、色要素Ｒ，Ｇ，Ｂに応じた色変換信号が画素ごとに生成される。色変換処理のとき、対象画素の欠落する色信号が隣接画素の色信号によって補間され、ｓＲＧＢ空間に基づいたマトリクス係数が、自身の色信号および補間された色信号にそれぞれ乗じられる。

色変換処理において、隣接画素の色信号から暫定的色信号を補間し、その後色変換処理を行っているため、偽色が発生しにくい。これにより、色変換処理後に偽色の画素が広がるのを抑えることができる。一方、カラーバランス調整された色変換信号に対しては、補間処理ではなく、ＣＣＤ１４から読み出された色信号による色変換信号を使って相関補間処理を行う。そのため、偽色を抑えながらジッパーノイズなど解像度を低下させる現象を抑えることができ、鮮明度の高い高解像度画像を得ることができる。

従来の補間処理と本実施形態による補間処理とを比較するため、偽色の発生および解像度性能を確かめた。以下、図８、図９を用いて比較結果を説明する。

図８は、ＣＺＰチャートを使った偽色発生の程度を示したグラフである。ＣＺＰチャートを使って現れるイメージをＬ^＊ａ^＊ｂ^＊空間の色に変換し、その像における色差ａ^＊、ｂ^＊のヒストグラム表示した後、色差ａ^＊、ｂ^＊の標準偏差ａｓ、ｂｓの平均値を算出している。

ここでは、比較のために３種類の色変換・補間処理（Ａ）、（Ｂ）、（Ｃ）行っている。色変換・補間処理（Ａ）、（Ｂ）では、本実施形態と異なり、補間処理を最初に実行し、その後に色変換処理を行う。特に、色変換・補間処理（Ａ）では、単純補間処理を実行し、色変換・補間処理（Ｂ）では、相関補間処理を実行する。色変換・補間処理（Ｃ）では、上述したように、色変換処理を最初に行い、その後相関補間処理を行う。

色差ａ^＊、ｂ^＊の標準偏差ａｓ、ｂｓは、チャートの像に出現する色のバラツキの程度を表す。赤〜緑色が多く出現する場合、標準偏差ａｓの値が大きくなり、青〜黄色が多く出現する場合、標準偏差ｂｓの値が大きくなる。ここでは、色のバラツキの程度を偽色の評価値と定め、標準偏差ａｓ、ｂｓの平均値が小さいほど、偽色が少ないとみなす。

図８に示すように、従来の色変換・補間処理（Ａ）、（Ｂ）による標準偏差ａｓ、ｂｓの平均値に比べ、本実施形態による標準偏差ａｓ、ｂｓの平均値の方が小さい。このことは、本実施形態による色変換・補間処理の方が偽色の発生が抑えられることを示している。

図９は、くさびチャートを用いた解像度性能のグラフを示した図である。くさびチャートは、ＩＳＯ１２２３３に基づいた解像度チャートであり、評価画像は、縦４８０画素、横６４０画素である。図９では、解像度の限界本数（ライン数）が色変換・補間処理（Ａ）〜（Ｃ）ごとに表されている。本実施形態による色変換・補間処理（Ｃ）は、従来の色変換・補間処理（Ａ）、（Ｂ）に比べて解像度が高い。

このような比較から明らかなように、本実施形態による色変換・補間処理は、偽色の発生を抑制するとともに、解像度の高い画像を復元することができる。

なお、色補間処理では、相関補間処理ではなく、単純補間処理を実行してもよい。例えば、画素Ｐ_１３の場合、以下の式によって色変換信号Ｒｓ１３、Ｇｓ１３、Ｂｓ１３が求められる。

次に、図１０〜図１３を用いて、第２の実施形態であるデジタルカメラについて説明する。第２の実施形態では、４色の色要素から成るカラーフィルタが用いられる。それ以外の構成については、第１の実施形態と実質的に同じである。

図１０は、第２の実施形態であるデジタルカメラのブロック図である。図１１は、カラーフィルタの配列を示した図である。図１２は、カラーフィルタの分光透過特性を示した図である。

デジタルカメラ１０’は、４色のカラーフィルタ１３’を配置させたＣＣＤ１４’を備える。図１１に示すように、カラーフィルタ１３’は、４種類の色要素Ｒ、Ｙ、Ｃ、Ｂをモザイク状に配列させたフィルタであり、各色要素のスペクトルは、ほぼ等間隔で分布する（図１２参照）。色要素Ｃは、色要素Ｇと色要素Ｂとのほぼ中間をピークとするスペクトル分布をもち、色要素Ｙは、色要素Ｒと色要素Ｇとのほぼ中間をピークとするスペクトル分布をもつ。

デジタルカメラ１０’は、色変換処理部２０’と、補間処理部２２’とを備える。色変換処理部２０’では、第１の実施形態と同様に、対象画素の欠落する色信号を隣接画素の色信号に基づいて補間し、カラーマトリクス演算を行う。この結果、Ｙ，ＣはＧの信号として算出される。

図１３は、ＣＣＤ１４’から読み出される色信号を５×５画素配列に合わせて示した図である。例えば、画素Ｐ_１３の場合、色変換信号Ｒｃ１３は、以下の式によって求められる。

また、画素Ｐ_１４の色変換信号Ｇｃ１４、画素Ｐ_１８の色変換信号Ｇｃ１８、画素Ｐ_１９の色変換信号Ｂｃ１９は、それぞれ以下の式によって求められる。

補間処理部２２’では、第１の実施形態と同様の補間処理が施される。すなわち、相関補間処理によって、色要素Ｒ，Ｇ，Ｂに応じた色変換信号を生成する。ただし、色信号Ｙ、色信号ＣをＧ信号に対応する同色信号とみなす。そして、３色の色変換信号を生成する。なお、相関補間処理の代わりに、（１０）式で示すような単純補間処理を行ってもよい。

図１４は、ＣＺＰチャートによる偽色の発生程度を示すグラフである。図１５は、くさびチャートによる解像度を示したグラフである。

第１の実施形態と同様、３つの色変換・補間処理（Ｄ）〜（Ｆ）について、Ｌ^＊ａ^＊ｂ^＊色空間の標準偏差ａｓ、ｂｓの平均と、限界解像度を比較した。色変換・補間処理（Ｄ）は、単純補間処理を最初に行い、その後色変換処理を行うものである。色変換・補間処理（Ｅ）は、第２の実施形態における色変換・補間処理であって、補間処理部２２’において単純補間処理を行う。色変換・補間処理（Ｆ）も、第２の実施形態における色変換・補間処理であるが、第２の補間処理部２２’では相関補間処理を行う。

図１４、図１５から明らかなように、色変換・補間処理（Ｅ）、（Ｆ）は、従来の色変換・補間処理に比べて標準偏差の平均が小さく、限界解像度本数が多い。また、相関補間処理を行う色変換・補間処理（Ｆ）の方が偽色の発生を抑え、高解像度を維持することができる。

色変換・補間処理としては、上述した単純補間処理、相関補間処理以外の補間処理を適用してもよい。この場合、色変換処理２０’においてカラーマトリクス演算のため補間する（暫定の）色信号については、できるだけ偽色の発生を抑えるように隣接画素あるいは近傍画素を用いて補間処理を行うのがよい。一方、補間処理部２２’では、高解像度の画像を復元するように、隣接画素だけでなく周辺画素を利用して補間処理を行うのがよい。

色空間としては、ｓＲＧＢ空間の代わりに、ＹＵＶ空間など他の色空間を適用してもよい。カラーフィルタは、Ｒ，Ｇ，Ｂ原色フィルタに限定されず、補色フィルタを用いてもよい。

補間処理については、プログラムによるソフトウェアによって実行するように構成してもよい。また、携帯電話や内視鏡など、デジタルカメラ以外の撮像装置に適用してもよい。

第１の実施形態におけるデジタルカメラのブロック図である。 カラーフィルタ配列を示した図である。 色変換処理および色補間処理のフローを示した図である。 ＣＣＤから読み出される色信号を５×５の画素配列に合わせて示した図である。 色変換信号を５×５の画素配列に合わせて示した図である。 画素Ｐ_１３に対するＧの補間処理に使用される色変換信号を画素配列に合わせて示した図である。 画素Ｐ_１３に対するＢの補間処理に使用される色変換信号を画素配列に合わせて示した図である。 ＣＺＰチャートを使った偽色発生の程度を示したグラフである。 くさびチャートを用いた解像度性能のグラフを示した図である。 第２の実施形態であるデジタルカメラのブロック図である。 第２の実施形態におけるカラーフィルタの配列を示した図である。 カラーフィルタの分光透過特性を示した図である。 第２の実施形態におけるＣＣＤから読み出される色信号を５×５画素配列に合わせて示した図である。 第２の実施形態におけるＣＺＰチャートによる偽色の発生程度を示すグラフである。 第２の実施形態におけるくさびチャートによる解像度を示したグラフである。

符号の説明

１０ デジタルカメラ
１３ カラーフィルタ
１４ ＣＣＤ（撮像素子）
２０ 色変換処理部
２２ 補間処理部

Claims (11)

1. ３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子と、
   各画素の色信号に対して色変換処理を施し、単色の色変換信号を生成する色変換処理手段と、
   各画素の欠落する色変換信号を、周辺画素の色変換信号によって補間する色補間処理手段とを備え、
   前記色変換処理手段が、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、前記単色の色変換信号を生成することを特徴とする撮像装置。
2. 前記色変換処理手段が、隣接画素の色信号に基づく補間処理によって色信号を補間することを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記色変換処理手段が、隣接画素の色信号平均を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記色補間処理手段が、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理することを特徴とする請求項１に記載の撮像装置。
5. 前記色補間処理手段が、隣接画素の中で相関関係の相対的に強い画素の色差信号を、その隣接画素の色変換信号および該隣接画素の近傍画素の色変換信号によって算出し、対象画素の色変換信号および算出した色差信号Ｃｂ、Ｃｒによって欠落する色変換信号を補間することを特徴とする請求項４に記載の撮像装置。
6. 前記色補間処理手段が、隣接画素の色変換信号平均を算出することを特徴とする請求項１に記載の撮像装置。
7. 前記カラーフィルタが、赤（Ｒ），緑（Ｇ）, 青（Ｂ）の色要素によって構成されることを特徴とする請求項１乃至６に記載の撮像装置。
8. 前記カラーフィルタが、赤（Ｒ），青（Ｂ）, そして緑（Ｇ）に応じた２色の色要素（Ｙ、Ｃ）によって構成されることを特徴とする請求項１乃至６に記載の撮像装置。
9. 前記色変換処理手段が、画素毎に３つの種類のいずれかの色変換信号を生成することを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
10. ３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子用の色変換処理装置であって、
    対象画素の欠落する色信号を近傍画素の色信号に基づいて補間する暫定色信号生成手段と、
    各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する色変換処理手段とを備え、
    前記色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、前記単色の色変換信号を生成することを特徴とする色変換処理装置。
11. ３もしくは４色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を使用する時の色変換処理方法であって、
    対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、
    各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する方法であって、
    前記色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、前記単色の色変換信号を生成することを特徴とする色変換処理方法。
    
    

Images