JP4789140B2 - 画像処理装置 - Google Patents

Description

本発明は、画素補間処理により発生する偽色の抑圧処理に関する。

デジタルカメラ等で利用されるＣＣＤ、ＣＭＯＳなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。

このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理する必要がある。補間処理には、様々なアルゴリズムが用いられている。たとえば、水平方向と垂直方向の相関度を算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。あるいは、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。

また、下記特許文献１では、画素補間処理を実行した後、２つの異なる方法で色差分信号を生成し、それぞれの色差分信号の彩度値に基づいて、いずれかの色差分信号を選択する方法が開示されている。

特開２００２−３００５９０号公報

偽色の発生を防ぐために、画素補間を行うための様々なアルゴリズムが提案されているが、偽色の発生を完全に無くすことはできない。特許文献２では、異なる方法によって色差信号を生成し、彩度値に基づいて一方の信号を選択するため、偽色の低減にある程度の効果を奏するが、選択された信号を生成する過程で生じた偽色成分は抑圧されることはない。

本発明は、様々なアルゴリズムを利用して補間処理が行われた場合に、偽色が発生することを前提とし、この偽色成分を抑圧し、画像の劣化を低減させることを課題とする。

上記課題を解決するため、請求項１記載の発明は、a)１画素につき１つの色成分のみをもつ所定の色空間の画素信号を入力する手段と、b)注目画素の周辺画素を用いて、前記注目画素の周辺領域の彩度値を算出する手段と、c)前記注目画素の周辺画素を用いて、前記注目画素について画素補間を行う手段と、d)前記彩度値が第１の閾値よりも小さい場合、補間処理後の画素信号を抑圧する手段と、を備え、前記手段b)は、b-1)前記注目画素の周辺画素を用いて、各色成分ごとの画素平均値を用いて色差分評価値を算出する手段と、b-2)前記注目画素の周辺画素がいずれの色成分の画素であるかを考慮することなく、所定の方向に関して画素差分値を累積し、特定方向差分評価値を算出する手段と、b-3)前記色差分評価値と前記特定方向差分評価値とを比較して、最も差分値が小さい評価値を彩度値として選択する手段とを有することを特徴とする。

請求項２記載の発明は、請求項１に記載の画像処理装置において、さらに、e)前記注目画素のエッジ強度を検出する手段と、f)前記エッジ強度が第２の閾値よりも大きい場合、補間処理後の画素信号を抑圧する手段と、を備えることを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載の画像処理装置において、さらに、g)前記注目画素の明度が第３の閾値よりも大きい場合、補間処理後の画素信号を抑圧する手段、を備えることを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画像処理装置において、前記手段b-2)は、b-2-1)前記注目画素の周辺画素がいずれの色成分の画素であるかを考慮することなく、垂直方向に関して画素差分値を累積し、垂直方向差分評価値を算出する手段と、b-2-2)前記注目画素の周辺画素がいずれの色成分の画素であるかを考慮することなく、水平方向に関して画素差分値を累積し、水平方向差分評価値を算出する手段と、を含み、前記手段b-3)は、b-3-1)前記色差分評価値と前記垂直方向差分評価値と前記水平方向差分評価値とを比較して、最も差分値が小さい評価値を彩度値として選択する手段、を含むことを特徴とする。

請求項５記載の発明は、請求項１ないし請求項４のいずれかに記載の画像処理装置において、さらに、h)画素補間処理後の画素信号を輝度信号および色成分信号に変換する手段、を備え、前記手段d)は、前記色成分信号を抑圧することを特徴とする。

本発明は、注目画素の周辺領域から彩度値を算出し、彩度値が所定の閾値よりも小さい場合には、補間処理後の画素信号を抑圧する。このため、補間処理によって偽色が発生した場合に偽色が目立ちやすい彩度の小さい領域の画質劣化を低減させることが可能である。

また、注目画素のエッジ強度を算出し、エッジ強度が所定の閾値よりも大きい場合には、補間処理後の画素信号を抑圧する。このため、補間処理によって偽色が発生しやすいエッジ領域の画質劣化を低減させることが可能である。

また、注目画素の明度が所定の閾値よりも大きい場合には、補間処理後の画素信号を抑圧する。このため、補間処理によって偽色が発生した場合に偽色が目立ちやすい明度の大きい領域の画質劣化を低減させることが可能である。

｛第１の実施の形態｝
以下、図面を参照しつつ本発明の第１の実施の形態について説明する。

＜１．デジタルカメラの全体概略構成＞
図１は、本発明の第１の実施の形態に係るデジタルカメラ１０のブロック図である。デジタルカメラ１０は、撮像素子１、信号処理回路２、画像処理回路３、メモリ５を備えている。撮像素子１は、ＲＧＢベイヤ配列の色フィルタアレイを備えた単板式のＣＣＤであり、１画素からはＲＧＢいずれかの色成分の画素信号が出力される。具体的には、たとえば奇数番目の水平ラインがＧ→Ｒ→Ｇ→Ｒ→・・・とＧ信号とＲ信号とが交互に出力されるラインとすると、偶数番目の水平ラインは、Ｂ→Ｇ→Ｂ→Ｇ→・・・とＢ信号とＧ信号とが交互に出力されるラインである。なお、撮像素子１として、ＣＭＯＳセンサを用いても良い。

撮像素子１から出力される画素信号は、信号処理回路２に入力される。信号処理回路２において、画素信号に対してホワイトバランス処理、黒レベル補正処理などの信号処理が行われる。信号処理回路２から出力された画素信号は、画像処理回路３に入力される。画像処理回路３は、画素補間回路３１、色空間変換回路３２、彩度値算出回路３３、ルックアップテーブル（以下、ＬＵＴと略記する。）３４，３５、乗算器３６，３７を備えている。

画素補間回路３１は、注目画素と注目画素周辺の画素信号を用いて画素補間処理を実行する。色空間変換回路３２は、画素補間処理後の画素信号の色空間を変換する。本実施の形態においては、上述したように撮像素子１から出力される画素信号は、ＲＧＢ色空間の画素信号であり、画素補間回路３１において、ＲＧＢいずれかの色成分の信号は、１画素につきＲＧＢの３色成分をもつ信号に変換される。そして、色空間変換回路３３において、ＲＧＢ色空間の画素信号は、ＹＣｂＣｒ色空間の画素信号に変換される。彩度値算出回路３３は、後で詳細を説明するが、注目画素と注目画素周辺の画素信号を用いて、当該領域の彩度値を算出する。

なお、画素補間回路３１および彩度値算出回路３３は、それぞれ注目画素と注目画素周辺の画素信号を用いて演算処理を行うため、Ｍ×Ｎのマトリクス領域の画素信号を蓄積するためのレジスタ群を備えている。なお、各回路３１,３３でレジスタを共用するようにしてもよい。

以上説明したように、画像処理回路３において画素補間処理が行われると、各画素はＲＧＢ全ての色成分を持つ信号となる。さらに、色空間変換処理が行われ、ＹＣｂＣｒ色空間の画素信号に変換される。そして、この画素信号は、後で説明する偽色抑圧処理が施された後、メモリ５に格納される。メモリ５に格納された画素信号は、さらに、圧縮処理が施されて画像データとして図示せぬ記憶媒体に格納される。あるいは、デジタルカメラ１０が備える図示せぬモニタに表示されるデータとして利用される。

＜２．ベイヤ配列の画素の表記方法＞
次に、以下の説明および図面におけるベイヤ配列の画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図２（ａ）のように表す。図２（ａ）における記号Ｐは、画素がＲＧＢいずれの色成分であるかを考慮しない表記である。これに対して、図２（ｂ）〜（ｅ）においては各画素の色成分を区別して表記している。記号Ｒは赤色画素、記号Ｇは緑色画素、記号Ｂは青色画素であることを示している。また、図２において、Ｇ画素は実線の円で描き、Ｒ画素およびＢ画素は破線の円で描いている。

また、記号Ｐ,Ｒ,Ｇ,Ｂの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。図２（ａ）〜（ｅ）は、注目画素Ｐ₂₂を含む２５個の画素Ｐ₀₀〜Ｐ₄₄からなるマトリクス領域の画素配列を表している。また、実施の形態の説明や各数式において、記号Ｐ,Ｒ,Ｇ,Ｂは、画素値を表す場合もある。たとえば、記号Ｐ₁₁は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

図２（ｂ）および図２（ｅ）は、注目画素がＧ画素である場合の画素配列である。図２（ｃ）は、注目画素がＲ画素である場合の画素配列である。図２（ｄ）は、注目画素がＢ画素である場合の画素配列である。上述したように、画素補間回路３１、彩度値算出回路３３においては、注目画素とその周辺の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積するが、５×５のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図２（ｂ）〜図２（ｅ）の４つのパターンが存在することになる。また、３×３のマトリクス領域の画素を処理対象とする場合には、注目画素Ｐ₂₂を中心とした９個の画素Ｐ₁₁,Ｐ₁₂,Ｐ₁₃,Ｐ₂₁,Ｐ₂₂,Ｐ₂₃,Ｐ₃₁,Ｐ₃₂,Ｐ₃₃を利用することになるが、画素信号のパターンは、同様に、図２（ｂ）〜図２（ｅ）の４パターンである。

＜３．彩度値算出処理＞
次に、彩度値算出回路３３により実行される彩度値算出処理の内容について詳細に説明する。彩度値算出回路３３は、注目画素を含むマトリクス領域の色差成分を分析し、この領域の彩度値を算出する。

彩度値は、注目画素を含むマトリクス領域において、Ｇ画素のレベルとＲ画素のレベルとの色差成分およびＧ画素のレベルとＢ画素のレベルとの色差成分に基づいて算出される。そして、本実施の形態においては、彩度値を決定するために、２つの色差成分評価値が算出される。すなわち、彩度値算出回路３３は、「平坦部分の色差成分評価値」および「方向に依存する色差成分評価値」を算出する。「平坦部分の色差成分評価値」とは、マトリクス領域内にある各画素の位置は考慮することなく、領域内に存在する各画素の色成分別の画素平均値から求めた色差分評価値である。「方向に依存する色差成分評価値」とは、マトリクス領域内にある各画素の位置を考慮し、特定の方向について色差成分値を累積することによって求められる評価値である。

このように、２種類の色差成分評価値を算出する理由は、以下の通りである。レトマチャートなどのように、水平あるいは垂直方向に細線が存在するグレー画像において、上記の「平坦部分の色差成分評価値」を彩度値として採用した場合、誤ってカラー画像のように彩度値が大きくなる可能性がある。これは、水平あるいは垂直方向に強い相関があるにも関わらず、この相関性を考慮しないで、領域内の画素平均値を用いて色差成分を算出するためである。そこで、本実施の形態においては、以下に示すように、２種類の色差成分評価値を算出し、色差成分のレベルの小さい方を彩度値として採用することにしている。

(3-1)平坦部分の色差成分評価値
まず、青空や模様のない壁等、平坦部分（低周波領域）に対応した色差成分評価値の算出方法について説明する。ここでいう平坦部分とは、特定の方向について強い相関を持たないような領域である。平坦部分の色差成分評価値を算出するために、まず、注目画素を中心とする３×３のマトリクス領域に含まれるＲＧＢ各色毎の画素値の平均値Ｒ_ave,Ｇ_ave,Ｂ_aveを算出する。平均値Ｒ_ave,Ｇ_ave,Ｂ_aveは、一般的には、数１式のように表される。数１式中、Ｎ_R、Ｎ_G、Ｎ_Bは、それぞれマトリクス領域内に存在するＲ,Ｇ,Ｂ画素の数であり、Σの項は、各色成分の累積画素値を示している。

ただし、図２（ｂ）〜（ｅ）で示したように、画素配列には４つのパターンが存在するので、それぞれのパターンで平均値の算出方法が異なる。まず、中心画素がＧ画素であり、図２（ｂ）の画素配列に対応する場合、数２式により平均値Ｒ_ave,Ｇ_ave,Ｂ_aveを算出する。

中心画素がＲ画素であり、図２（ｃ）の画素配列に対応する場合、数３式により平均値Ｒ_ave,Ｇ_ave,Ｂ_aveを算出する。

中心画素がＢ画素であり、図２（ｄ）の画素配列に対応する場合、数４式により平均値Ｒ_ave,Ｇ_ave,Ｂ_aveを算出する。

中心画素がＧ画素であり、図２（ｅ）の画素配列に対応する場合、数５式により平均値Ｒ_ave,Ｇ_ave,Ｂ_aveを算出する。

彩度値算出回路３３は、マトリクス領域の画素配列が、図２（ｂ）〜（ｅ）のいずれのパターンであるかに応じて、数２式から数５式のいずれかの数式に従った演算処理を実行し、平均値Ｒ_ave,Ｇ_ave,Ｂ_aveを算出する。さらに、彩度値算出回路３３は、算出した平均値Ｒ_ave,Ｇ_ave,Ｂ_aveを用いて、数６式で表した演算処理を実行することにより、平坦部分に対応する色差成分評価値Ｃ_globalを算出する。つまり、色差成分評価値Ｃ_globalは、マトリクス領域内に存在する色成分ごとの画素値平均値を用いて算出された色差成分の評価値である。

(3-2)方向に依存する色差成分評価値
次に、方向に依存する色差成分評価値の算出処理について説明する。方向に依存する色差成分評価値とは、マトリクス領域内に相関の強い方向があり、色差成分値の算出方法次第によっては、彩度値が大きく変化するような領域である。たとえば、上述したように、レトマチャートなどの高周波成分を含むグレー画像においては、(3-1)で求めた色差成分評価値を彩度値として採用した場合、誤ってカラー画像のように彩度値が大きく判定される場合がある。そこで、このような特定の方向に強い相関を持つ画像に対する色差成分評価値を補正するために、以下の処理を実行する。

彩度値算出回路３１は、３×３のマトリクス領域の画素信号を用いて、数７式および数８式で表された演算処理を実行する。すなわち、数７式は、垂直方向について色差成分値を累積して、垂直方向の色差成分評価値Ｃverticalを算出している。また、数８式は、水平方向について色差成分値を累積して、水平方向の色差成分評価値Ｃ_horizontalを算出している。つまり、数７式、数８式で表される演算は、垂直方向あるいは水平方向について、Ｇ画素とＲ画素との色差成分値あるいはＧ画素とＢ画素との色差成分値を累積するものである。

なお、数７式および数８式において、係数２が乗算されている項があるが、これは、Ｇ−Ｒ画素の色差成分累積数とＧ−Ｂ画素の色差成分累積数とを一致させるためである。なお、この実施例では、係数２を乗算するようにしているが、この値は適宜設定可能である。

また、この実施の形態においては、垂直方向と水平方向の色差成分評価値を算出しているが、これに加えて斜め方向の色差成分評価値を算出し、評価の対象としてもよい。

(3-3)彩度係数の計算
彩度値算出回路３１は、以上、(3-1),(3-2)で示した演算方法により３つの色差成分評価値Ｃ_global、Ｃ_vertical、Ｃ_horizontalを算出すると、さらに、数９式で表される演算処理を実行することにより、色差成分評価値Ｃ_global、Ｃ_vertical、Ｃ_horizontalの最小値（つまり、色差成分のレベルが最小のもの）を算出する。この最小値が、処理対象であるマトリクス領域の彩度値Ｃとして採用される。言い換えると、この彩度値Ｃは、各注目画素に対応して決定される彩度値である。なお、数９式中、min(x,y,z)は、x,y,zの最小値を表している。また、上述したように、方向に依存した色差成分評価値としてＣ_vertical、Ｃ_horizontalに加えて、斜め方向の色差成分評価値を算出するようにしてもよいが、この場合には、斜め方向の色差成分評価値も含めた評価値の中から最小値となるものを選択するようにすればよい。

＜４．偽色抑圧処理＞
次に、偽色抑圧処理について説明する。彩度値算出回路３３は、各注目画素についての彩度値Ｃを算出すると、彩度値ＣをＬＵＴ３４に出力する。ＬＵＴ３４は、彩度値Ｃから抑圧信号Ｋ₁を算出するための変換回路である。図３は、ＬＵＴ３４において変換される彩度値Ｃと抑圧信号Ｋ₁との関係を示す図である。ＬＵＴ３４は、彩度値Ｃが閾値α₁より大きい場合には、抑圧信号Ｋ₁として１を出力する。この場合、抑圧信号Ｋ₁は画素信号を抑圧することはない。彩度値Ｃが閾値α₁より小さい場合、ＬＵＴ３４は、抑圧信号Ｋ₁として１より小さい値を出力する。この場合、抑圧信号Ｋ₁は、画素信号を抑圧するよう作用する。この閾値α₁は、信号を抑圧するかどうかの境界を定める閾値であり、実験や経験に基づいて偽色が目立たなくなるような最適な値が決定される。つまり、閾値α₁を最適値より大きくとれば、偽色が目立たない領域まで信号を抑圧することになり、逆に画質の劣化を招く、また、閾値α₁を最適値より小さくとれば、彩度の低い領域において偽色が目立つことになる。したがって、これら両条件のバランスから最適値を決定するようにすればよい。

ＬＵＴ３５は、抑圧信号Ｋを入力し、補正抑圧信号Ｋ_cを出力する変換回路である。ここで、第１の実施の形態においては、抑圧信号Ｋ₁＝Ｋである。図４は、ＬＵＴ３５において変換される抑圧信号Ｋと補正抑圧信号Ｋ_cとの関係を示す図である。図に示すように、ＬＵＴ３５は、抑圧信号Ｋの値が非常に小さい場合に、抑圧信号の値を少し大きくなるように変換している。図で示した例では、抑圧信号Ｋがβより小さい場合には、補正抑圧信号Ｋｃとしてβを出力するようにしている。このような変換を行うのは、抑圧処理が過度に作用することを避けるためである。

ＬＵＴ３５から出力された補正抑圧信号Ｋ_cは、乗算回路３６，３７に対して出力される。一方、乗算回路３６は、色空間変換回路３２から出力されたＣｒ信号を入力し、乗算回路３７は、色空間変換回路３２から出力されたＣｂ信号を入力する。そして、乗算回路３６においては、Ｃｒ信号に補正抑圧信号Ｋ_cが乗算されることでＣｒ信号に抑圧処理が行われ、乗算回路３７においては、Ｃｂ信号に補正抑圧信号Ｋ_cが乗算されることでＣｂ信号に抑圧処理が行われる。

上述したように、ＬＵＴ３４は、彩度値Ｃが閾値α₁より大きい場合には、抑圧信号Ｋ₁として１を出力するので、この場合には、乗算回路３６，３７は、入力したＣｒ信号、Ｃｂ信号をそのまま出力する。一方、彩度値Ｃが閾値α₁より小さい場合には、抑圧信号Ｋ₁として１より小さい値が出力されるので、乗算回路３６,３７においてＣｒ信号、Ｃｂ信号が抑圧されるのである。このように本実施の形態においては、注目画素の彩度値が所定の閾値よりも小さい場合には、色成分信号（Ｃｒ信号、Ｃｂ信号）に抑圧処理が行われる。これは、彩度値の小さい領域において偽色が発生していた場合、偽色の存在が目立つためである。言い換えると、偽色の目立たない領域については、色成分信号をそのまま出力し、偽色の目立つ領域のみについて信号の抑圧処理を行っているのである。このようにして、画素補間処理により発生する偽色を目立たなくすることが可能である。

｛第２の実施の形態｝
次に本発明の第２の実施の形態について説明する。図５は、第２の実施の形態にかかるデジタルカメラ１０のブロック図である。図中、第１の実施の形態と同様の構成については同じ符号を使用している。第２の実施の形態が第１の実施の形態と異なる点は、エッジ強度に基づき偽色抑圧処理が行われる点である。

色空間変換回路３２から出力された画素信号のうち、Ｙ信号（輝度信号）が、エッジ強度検出回路３８に出力される。エッジ強度検出回路３８は、画像中のエッジ強度を算出する回路である。エッジ強度検出回路３８は、たとえば、ＳＯＢＥＬフィルタやハイパスフィルタを用いて注目画素のエッジ強度Ｅを算出する。算出されたエッジ強度Ｅは、ＬＵＴ３９に出力される。

ＬＵＴ３９は、エッジ強度Ｅを入力し、抑圧信号Ｋ₂を出力する変換回路である。図６は、ＬＵＴ３９において変換されるエッジ強度Ｅと抑圧信号Ｋ₂との関係を示す図である。ＬＵＴ３９は、エッジ強度Ｅが閾値α₂より小さい場合には、抑圧信号Ｋ₂として１を出力し、エッジ強度Ｅが閾値α₂より大きい場合、抑圧信号Ｋ₂として１より小さい値を出力する。つまり、エッジ強度Ｅが閾値α₂より大きい場合に、抑圧信号Ｋ₂は、画素信号を抑圧するよう作用する。

ＬＵＴ３４から出力された抑圧信号Ｋ₁およびＬＵＴ３９から出力された抑圧信号Ｋ₂は、乗算回路４１において乗算され、抑圧信号ＫとしてＬＵＴ４０に出力される。第１の実施の形態において、抑圧信号Ｋ＝Ｋ₁であったのに対し、この実施の形態においては、抑圧信号Ｋ＝Ｋ₁×Ｋ₂で表される。ＬＵＴ４０は、第１の実施の形態におけるＬＵＴ３５と同様の処理を行う変換回路である。ＬＵＴ４０における入出力関係は、図４で示したものと同様であるので図示省略する。つまり、図４で示したように、抑圧信号Ｋが所定の閾値より小さい場合には、抑圧信号は少し大きくなるように変換される。このようにして、ＬＵＴ４０は、抑圧信号Ｋ＝Ｋ₁×Ｋ₂を入力し、補正抑圧信号Ｋ_cを出力する。補正抑圧信号Ｋ_cは、乗算回路３６,３７において色成分信号（Ｃｒ信号、Ｃｂ信号）に作用するのである。

本実施の形態においては、画素補間処理において偽色の発生しやすいエッジ領域において、色成分信号を抑圧するので、偽色が発生していた場合でも、画像の劣化を低減させることが可能である。つまり、注目画素について周辺画素を用いて画素補間処理を行うため、画像信号の値が急峻に変化する領域においては、画素変化が平坦な画像に比べて偽色が発生する可能性が高くなる。そこで、エッジ強度の高い領域については画素信号を抑圧することとで、偽色を目立たなくさせることができるのである。また、２つのルックアップテーブルから出力された抑圧信号Ｋ₁およびＫ₂を乗算した値を抑圧信号Ｋとして用いているので、彩度値が閾値α₁より小さく、かつ、エッジ強度が閾値α₂よりも大きい領域については、さらに抑圧信号Ｋの値が小さくなるので、より有効に偽色の画像への影響を小さくすることが可能である。

もちろん、第２の実施の形態においては、彩度値が閾値α₁より小さいか、エッジ強度が閾値α₂より大きいか、いずれかの条件を満たしていれば、抑圧信号Ｋの値が小さくなるので、偽色の抑圧が行われる。これに加えて、２つの条件を満たしている場合には、より強く画像信号を抑圧し、画像の劣化を防ぐようにできるのである。

｛第３の実施の形態｝
次に本発明の第３の実施の形態について説明する。図７は、第３の実施の形態にかかるデジタルカメラ１０のブロック図である。図中、第１の実施の形態と同様の構成については同じ符号を使用している。第３の実施の形態が第１の実施の形態と異なる点は、画像の明度に基づき偽色抑圧処理が行われる点である。

色空間変換回路３２から出力された画素信号のうち、画像の明度を示すＹ信号（輝度信号）が、ＬＵＴ４２に出力される。ＬＵＴ４２は、Ｙ信号を入力し、抑圧信号Ｋ₃を出力する変換回路である。図８は、ＬＵＴ４２において変換される明度（輝度信号Ｙ）と抑圧信号Ｋ₃との関係を示す図である。ＬＵＴ４２は、明度が閾値α₃より小さい場合には、抑圧信号Ｋ₃として１を出力し、明度が閾値α₃より大きい場合、抑圧信号Ｋ₃として１より小さい値を出力する。つまり、明度が閾値α₃より大きい場合に、抑圧信号Ｋ₃は、画素信号を抑圧するよう作用する。

ＬＵＴ３４から出力された抑圧信号Ｋ₁およびＬＵＴ４２から出力された抑圧信号Ｋ₃は、乗算回路４４において乗算され、抑圧信号ＫとしてＬＵＴ４３に出力される。第１の実施の形態において、抑圧信号Ｋ＝Ｋ₁であったのに対し、この実施の形態においては、抑圧信号Ｋ＝Ｋ₁×Ｋ₃で表される。ＬＵＴ４３は、第１の実施の形態におけるＬＵＴ３５と同様の処理を行う変換回路である。ＬＵＴ４３における入出力関係は、図４で示したものと同様であるので図示省略する。つまり、図４で示したように、抑圧信号Ｋが所定の閾値より小さい場合には、抑圧信号が少し大きくなるように変換する。このようにして、ＬＵＴ４３は、抑圧信号Ｋ＝Ｋ₁×Ｋ₃を入力し、補正抑圧信号Ｋ_cを出力する。補正抑圧信号Ｋ_cは、乗算回路３６,３７において色成分信号（Ｃｒ信号、Ｃｂ信号）に作用するのである。

本実施の形態においては、画素補間処理において偽色が目立ちやすい明度の高い領域において、色成分信号を抑圧するので、偽色が発生していた場合でも、画像の劣化を低減させることが可能である。また、２つのルックアップテーブルから出力された抑圧信号Ｋ₁およびＫ₃を乗算した値を抑圧信号Ｋとして用いているので、彩度値が閾値α₁より小さく、かつ、明度が閾値α₃よりも大きい領域については、さらに抑圧信号Ｋの値が小さくなるので、より有効に偽色の画像への影響を小さくすることが可能である。

もちろん、第３の実施の形態においては、彩度値が所定の閾値α₁より小さいか、明度が閾値α₃より大きいか、いずれかの条件を満たしていれば、抑圧信号Ｋの値が小さくなるので、偽色の抑圧が行われる。これに加えて、２つの条件を満たしている場合には、より強く画像信号を抑圧し、画像の劣化を防ぐようにできるのである。

｛第４の実施の形態｝
次に本発明の第４の実施の形態について説明する。図９は、第４の実施の形態にかかるデジタルカメラ１０のブロック図である。第４の実施の形態は第２および第３の実施の形態の両方の特徴をあわせたものである。

色空間変換回路３２から出力された画素信号のうち、Ｙ信号が、ＬＵＴ３９およびＬＵＴ４２に出力され、抑圧信号Ｋ₂,Ｋ₃に変換される。抑圧信号Ｋ₂と抑圧信号Ｋ₃は、乗算回路４６において乗算され、さらに、乗算回路４７において、抑圧信号Ｋ₁が乗算される。第１の実施の形態において、抑圧信号Ｋ＝Ｋ₁であったのに対し、この実施の形態においては、抑圧信号Ｋ＝Ｋ₁×Ｋ₂×Ｋ₃で表される。ＬＵＴ４５は、第１の実施の形態におけるＬＵＴ３５と同様の処理を行う変換回路である。ＬＵＴ４５における入出力関係は、図４で示したものと同様であるので図示省略する。つまり、図４で示したように、抑圧信号Ｋが所定の閾値より小さい場合には、抑圧信号は少し大きくなるように変換される。このようにして、ＬＵＴ４５は、抑圧信号Ｋ＝Ｋ₁×Ｋ₂×Ｋ₃を入力し、補正抑圧信号Ｋ_cを出力する。補正抑圧信号Ｋ_cは、乗算回路３６,３７において色成分信号（Ｃｒ信号、Ｃｂ信号）に作用するのである。

本実施の形態においては、３つのルックアップテーブルから出力された抑圧信号Ｋ₁,Ｋ₂およびＫ₃を乗算した値を抑圧信号Ｋとして用いているので、彩度値が閾値α１より小さく、かつ、エッジ強度が閾値α２より大きく、かつ、明度が閾値α３よりも大きい領域については、抑圧信号Ｋの値が非常に小さくなるので、より有効に偽色の画像への影響を小さくすることが可能である。

もちろん、第４の実施の形態においては、彩度値が閾値α１より小さいか、エッジ強度が閾値α２より大きいか、あるいは、明度が閾値α３より大きいか、いずれかの条件を満たしていれば、抑圧信号Ｋの値が小さくなるので、偽色の抑圧が行われる。これに加えて、２つの条件を満たしている場合、あるいは３つの条件を満たしている場合には、より強く画像信号を抑圧し、画像の劣化を防ぐようにできるのである。

以上、本発明の各実施の形態においては、撮像素子１から出力される画素信号をＲＧＢベイヤ配列の画素信号としているが、本発明の画像処理装置は、補色系の色フィルタアレイを備えた撮像センサから出力された画素信号など様々な画素信号に適用可能である。

また、各実施の形態においては、色空間変換回路３２は、ＹＣｂＣｒ色空間の画素信号を出力するようにしているが、この他にもＹＩＱ空間、ＹＵＶ空間、ＸＹＺ空間、ＨＶＣ空間等、様々な色空間に対して適用可能である。色空間変換回路３２が、これら他の色空間画像を出力する場合にも、輝度信号を利用してエッジ強度や明度を求めるようにすればよい。あるいは、色空間変換前のＲＧＢ色空間画像のＧ信号を利用してエッジ強度や明度を求めるようにしてもよい。

また、各実施の形態において、彩度値算出回路３３は、平坦部分の彩度値と方向に依存する彩度値を算出し、これらのうち彩度値の値が小さいものを採用するようにした。これは、彩度値の誤判定を防ぐためであった。したがって、本発明を実施する上で、２つの彩度値を利用することは効果的であるが、必須の処理ではない。一般的に行われているような彩度値の算出方法を利用してもよい。

第１の実施の形態にかかるデジタルカメラのブロック図である。 ＲＧＢベイヤ配列の画素の配列パターンを示す図である。 彩度値と抑圧信号との関係を示す図である。 抑圧信号と補正抑圧信号との関係を示す図である。 第２の実施の形態にかかるデジタルカメラのブロック図である。 エッジ強度と抑圧信号との関係を示す図である。 第３の実施の形態にかかるデジタルカメラのブロック図である。 明度と抑圧信号との関係を示す図である。 第４の実施の形態にかかるデジタルカメラのブロック図である。

符号の説明

１ 撮像素子
２ 信号処理回路
３ 画像処理回路
５ メモリ
１０ デジタルカメラ
３１ 画素補間回路
３２ 色空間変換回路
３３ 彩度値算出回路
３８ エッジ強度検出回路
３４,３５,３９,４０,４２,４３,４５ ルックアップテーブル（ＬＵＴ）
３６,３７,４１,４４,４６,４７ 乗算回路
Ｋ１,Ｋ２,Ｋ３,Ｋ 抑圧信号
Ｋｃ 補正抑圧信号

Claims (5)

1. a)１画素につき１つの色成分のみをもつ所定の色空間の画素信号を入力する手段と、
   b)注目画素の周辺画素を用いて、前記注目画素の周辺領域の彩度値を算出する手段と、
   c)前記注目画素の周辺画素を用いて、前記注目画素について画素補間を行う手段と、
   d)前記彩度値が第１の閾値よりも小さい場合、補間処理後の画素信号を抑圧する手段と、
   を備え、
   前記手段b)は、
   b-1)前記注目画素の周辺画素を用いて、各色成分ごとの画素平均値を用いて色差分評価値を算出する手段と、
   b-2)前記注目画素の周辺画素がいずれの色成分の画素であるかを考慮することなく、所定の方向に関して画素差分値を累積し、特定方向差分評価値を算出する手段と、
   b-3)前記色差分評価値と前記特定方向差分評価値とを比較して、最も差分値が小さい評価値を彩度値として選択する手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、さらに、
   e)前記注目画素のエッジ強度を検出する手段と、
   f)前記エッジ強度が第２の閾値よりも大きい場合、補間処理後の画素信号を抑圧する手段と、
   を備えることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、さらに、
   g)前記注目画素の明度が第３の閾値よりも大きい場合、補間処理後の画素信号を抑圧する手段、
   を備えることを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置において、
   前記手段b-2)は、
   b-2-1)前記注目画素の周辺画素がいずれの色成分の画素であるかを考慮することなく、垂直方向に関して画素差分値を累積し、垂直方向差分評価値を算出する手段と、
   b-2-2)前記注目画素の周辺画素がいずれの色成分の画素であるかを考慮することなく、水平方向に関して画素差分値を累積し、水平方向差分評価値を算出する手段と、
   を含み、
   前記手段b-3)は、
   b-3-1)前記色差分評価値と前記垂直方向差分評価値と前記水平方向差分評価値とを比較して、最も差分値が小さい評価値を彩度値として選択する手段、
   を含むことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置において、さらに、
   h)画素補間処理後の画素信号を輝度信号および色成分信号に変換する手段、
   を備え、
   前記手段d)は、前記色成分信号を抑圧することを特徴とする画像処理装置。

Images