JP2005354585A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】 低彩度エリア中に存在する高彩度の領域についても色抜けを低減し、偽色の発生を効果的に抑制することができるようにする。
【解決手段】 輝度エッジ抽出部１３で輝度信号のエッジ成分Ｙｅｄｇｅを抽出する。彩度エッジ抽出部１８で彩度信号のエッジ成分Ｃｅｄｇｅを抽出する。彩度レベル検出部１９で彩度信号レベルＣｌｐｆを検出する。輝度信号のエッジ成分Ｙｅｄｇｅと、彩度信号のエッジ成分Ｃｅｄｇｅと、彩度信号レベルＣｌｐｆとから、クロマサプレスの抑圧量を決定し、クロマサプレス部１５で色差信号Ｃｒ及びＣｂを抑圧する。彩度信号のエッジ成分を使って抑圧量を調整することで、低彩度エリア中に高彩度の細線が存在する場合でも、色抜けが生じない。
【選択図】 図３

Description

本発明は、例えば、ディジタルカメラ等に用いて好適な画像処理装置、画像処理方法、及び画像処理プログラムに関する。

ディジタルカメラやディジタルビデオカメラの撮像素子として単板式のものを用いた場合には、各画素には単色の情報しかないため、欠落している色情報を近傍の同色画素から補間している。ところが、このように欠落している色情報を補間により求めると、特に輝度信号のエッジ部分で、本来の色と異なる色（偽色と称される）が生じてしまうことがある。

例えば、撮像素子の前面には、図１２（Ｂ）に示すように、赤（Ｒ）色のフィルタと、緑（Ｇ）色のフィルタと、青（Ｂ）色のフィルタが配設されているとする。そして、本来、図１２（Ａ）に示すように撮像されるべき信号を、この撮像素子で撮像したとする。なお、各セルに記載した配列は、１画素中に含まれるカラー画像信号Ｒ及びＧ及びＢが（Ｒ信号，Ｇ信号，Ｂ信号）であることを表す。

この場合、図１２（Ｃ）に示すように、赤色のフィルタの画素Ｐ１、Ｐ３、Ｐ７、Ｐ９からはＲ信号のみが得られ、緑色のフィルタの画素Ｐ２、Ｐ４、Ｐ６、Ｐ８からはＧ信号のみが得られ、青色のフィルタの画素Ｐ５からはＢ信号のみが得られる。

いま、注目画素を画素Ｐ５とすると、注目画素Ｐ５は青色のフィルタの画素であるから、Ｂ信号の情報のみしか得られておらず、Ｒ信号及びＧ信号の情報は欠落している。そこで、周辺の赤色のフィルタの画素の情報からＲ信号を補間により求め、周辺の緑色のフィルタの画素の情報からＧ信号を補間により求める。

すなわち、画素Ｐ１、Ｐ３、Ｐ７、Ｐ９のＲ信号をＲ１、Ｒ３、Ｒ７、Ｒ９とし、画素画素Ｐ２、Ｐ４、Ｐ６、Ｐ８のＧ信号をＧ２、Ｇ４、Ｇ６、Ｇ８とすると、注目画素Ｐ５のＲ信号は、
（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）／４
として求められ、注目画素Ｐ５のＧ信号は、
（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４
として求められる。

図１２（Ｄ）は、このようにして注目画素Ｐ５のＲ信号とＧ信号を補間により求めた結果である。

補間により求めた各色信号と本来の色信号は近い値になるはずであるが、図１２（Ａ）と図１２（Ｄ）とを比較すれば分かるように、本来の色信号と補間により求められた色信号とが異なる場合がある。すなわち、図１２（Ａ）に示すように画素Ｐ５のＲ信号は本来「０」であるが、図１２（Ｄ）に示すように補間により求められたＲ信号は「５０」になる。このように、補間により求められた色信号が本来の色信号と異なると、偽色が発生する。

特に、被写体の輪郭部、ライン、細やかな模様などの高周波成分が存在する部分では、本来の色信号とは異なった信号となり易く、偽色の原因となる。

以上の問題に対し、従来においては、クロマサプレスまたは色抑圧という処理を行うことで、偽色を低減している。クロマサプレスは、輝度信号Ｙから抽出された高周波成分（輝度エッジ）のレベルに応じて、色差信号Ｃｒ及びＣｂの値を抑えることで、偽色を目立たなくする処理である。一般的には、輝度エッジが抽出された部分に対して、画像全体に彩度を抑える処理を行う。

前述した従来のクロマサプレスでは、被写体の高周波成分（輝度エッジ）が強い部分の全ての彩度が抑圧されてしまうため、エッジ部分における偽色の発生は防止できるが、一方で「色抜け」という問題が発生する。「色抜け」とは、本来は彩度のある部分に、輝度エッジが強く含まれていた場合、クロマサプレスにより彩度が抑圧され、色が抜けてしまうという現象である。

この「色抜け」を解決するために、特許文献１には、輝度信号Ｙの高周波成分（輝度エッジ）を検出し、色差信号Ｃｒ及びＣｂを絶対値加算して彩度信号を求め、この彩度信号に対して空間フィルタを用いて低彩度エリアを抽出し、低彩度エリア内の画素について輝度エッジの強度に応じて彩度を抑圧することで、偽色の発生を効果的に抑制するものが提案されている。
特開２００３−２２４８５９号公報

ところが、特許文献１に示される手法では、図１３に示すように、低彩度エリア１２０中に高彩度の細線１２１が存在する場合、細線の彩度が失われる可能性がある。すなわち、特許文献１の手法では、高彩度エリアでは「色抜け」が防止できるが、低彩度エリア中に高彩度の細線が存在する場合、低彩度エリアであるため、細線の部分が輝度信号のエッジとして検出され、クロマサプレス処理が行われ、「色抜け」が生じる。

本発明は、上述の従来の課題を鑑み、低彩度エリア中に存在する高彩度の領域についても色抜けを低減し、偽色の発生を効果的に抑制することが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述の課題を解決するために、請求項１に係わる本発明は、撮像素子より入力されるカラー画像信号に対して所定の画像処理を施す画像処理装置であって、カラー画像信号を輝度信号と色差信号とに変換する色信号変換手段と、輝度信号のエッジ成分を抽出する輝度エッジ抽出手段と、色差信号から彩度信号を求める彩度信号演算手段と、彩度信号のエッジ成分を抽出する彩度エッジ抽出手段と、彩度信号のレベルを判定する彩度レベル判定手段と、輝度信号のエッジ成分、彩度信号のエッジ成分、及び彩度信号レベルに基づいて設定された抑圧量で、色差信号を抑圧するクロマサプレス手段とを備えるようにしたことを特徴とする。

請求項２に係わる本発明は、クロマサプレス手段は、輝度信号のエッジ成分の強度に応じて、色差信号の抑圧量を変更することを特徴とする。

請求項３に係わる本発明は、クロマサプレス手段は、彩度信号のエッジ成分の強度に応じて、色差信号の抑圧量を変更することを特徴とする。

請求項４に係わる本発明は、クロマサプレス手段は、彩度信号の強度に応じて、色差信号の抑圧を行うことを特徴とする。

請求項５に係わる本発明は、輝度エッジ抽出手段は、ラプラシアンフィルタを備えることを特徴とする。

請求項６に係わる本発明は、輝度エッジ抽出手段は、ゾーベルフィルタを備えることを特徴とする。

請求項７に係わる本発明は、彩度エッジ抽出手段は、ラプラシアンフィルタを備えることを特徴とする。

請求項８に係わる本発明は、彩度エッジ抽出手段は、ゾーベルフィルタを備えることを特徴とする。

請求項９に係わる本発明は、彩度レベル判定手段は、ローパスフィルタを備えることを特徴とする。

請求項１０に係わる本発明は、彩度レベル判定手段は、メディアンフィルタを備えることを特徴とする。

請求項１１に係わる発明は、撮像素子より入力されるカラー画像信号に対して所定の画像処理を施す画像処理方法であって、カラー画像信号を、輝度信号と、色差信号に変換する色信号変換ステップと、輝度信号のエッジ成分を抽出する輝度エッジ抽出ステップと、輝度信号のエッジ成分の強度より、色差信号を抑圧するための抑圧パラメータを算出する抑圧パラメータ算出ステップと、色差信号から彩度信号を求める彩度信号演算ステップと、彩度信号のエッジ成分を抽出する彩度エッジ抽出ステップと、彩度信号のエッジ成分の強度より、抑圧量を調整するための調整パラメータを算出する調整パラメータ算出ステップと、彩度信号の彩度レベルを抽出する彩度レベル抽出ステップと、彩度レベルの強度を判定する彩度レベル判定ステップと、抑圧パラメータと調整パラメータに基づいて、彩度信号を抑圧するための新たな抑圧パラメータを算出し、彩度レベル判定結果、低彩度なら、算出された抑圧パラメータにより彩度信号を抑圧する彩度抑圧ステップとを含むことを特徴とする。

請求項１２に係わる発明は、コンピュータに撮像素子より入力されるカラー画像信号に対して所定の画像処理を実行させる画像処理プログラムであって、コンピュータに、カラー画像信号を、輝度信号と、色差信号に変換する色信号変換ステップと、輝度信号のエッジ成分を抽出する輝度エッジ抽出ステップと、輝度信号のエッジ成分の強度より、色差信号を抑圧するための抑圧パラメータを算出する抑圧パラメータ算出ステップと、色差信号から彩度信号を求める彩度信号演算ステップと、彩度信号のエッジ成分を抽出する彩度エッジ抽出ステップと、彩度信号のエッジ成分の強度より、抑圧量を調整するための調整パラメータを算出する調整パラメータ算出ステップと、彩度信号の彩度レベルを抽出する彩度レベル抽出ステップと、彩度レベルの強度を判定する彩度レベル判定ステップと、抑圧パラメータと調整パラメータに基づいて、彩度信号を抑圧するための新たな抑圧パラメータを算出し、彩度レベル判定結果、低彩度なら、算出された抑圧パラメータにより彩度信号を抑圧する彩度抑圧ステップとを実行させることを特徴とする。

本発明によれば、輝度信号のエッジ成分を抽出すると共に、色差信号から彩度信号を求め、この彩度信号のエッジ成分を抽出し、彩度信号のレベルを検出している。そして、輝度信号のエッジ成分量、彩度信号のエッジ成分量、及び彩度信号レベルに基づいて、クロマサプレスの抑圧量を設定するようにしている。

このように、本発明では、彩度レベルだけでなく、彩度信号のエッジ成分を抽出し、その成分のレベルを判定しているため、低彩度エリア中に高彩度の細線が存在する場合でも、偽色ではない細線として処理をすることができる。すなわち、低彩度の偽色を的確に判断し、彩度の高低に関わらず色抜けを防止することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明が適用されたディジタルカメラの一例を示すものである。図１において、符号１は撮像素子である。撮像素子１としては、ＣＣＤ(Charge Coupled Device) 撮像素子や、ＣＭＯＳ(Complementary MOS)撮像素子が用いられる。撮像素子１は、例えば単板式のもので、その受光面には、図２に示すように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが例えばベイヤー配列で配設されている。

撮像素子１の受光面には、光学系２を介して、被写体像が結像される。光学系２は、被写体像光を撮像素子１の受光面に結像させるレンズ系や、露光制御を行うアイリス等を含んでいる。撮像素子１で、被写体像が光電変換される。

なお、カラーフィルタの配列はベイヤー配列に限定されるものではない。また、Ｃｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（黄色）の補色系フィルタを配設するようにしてもよい。

撮像素子１からの撮像信号は、サンプルホールド及びＡＧＣ(Automatic Gain Control)回路３を介して、Ａ／Ｄコンバータ４に供給される。Ａ／Ｄ(Analog to Digital)コンバータ４で、撮像素子１からの撮像信号がディジタル化される。Ａ／Ｄコンバータ４の出力は、単板三板化補間部５に供給される。

撮像素子１として単板式のものを用いた場合には、各画素からは何れかの原色の情報しか得られない。すなわち、赤色のフィルタの画素の信号からは赤色の情報しか得られず、青色のフィルタの画素の信号からは青色の情報しか得られず、緑色のフィルタの画素の信号からは緑色の情報しか得られない。単板三板化補間部５は、周辺画素の情報を用いて、補間処理により各画素の色信号Ｒ、Ｇ、Ｂを形成する。

単板三板化補間部５の出力が画像処理部６に供給される。画像処理部６は、単板三板化補間部５から送られてきたＲＧＢのカラー画像信号に対して、エッジ強調等の画像処理を行う。そして、ＲＧＢのカラー画像信号を、輝度信号Ｙと、色差信号Ｃｒ（Ｒ−Ｙ）及び色差信号Ｃｂ（Ｂ−Ｙ）に変換して出力する。さらに、画像処理部６は、単板三板化補間部５で補間処理を行う際の偽色の発生を除去するために、クロマサプレス処理を行う。

本発明は、上述のように構成されるディジタルカメラにおける画像処理部６のクロマサプレス処理に適用される。

図３は、本発明の実施形態を示すものである。図３において、カラー信号変換部１１には、図１の撮像素子１から出力され、単板三板化補間部５で各画素の色信号が補間されたＲＧＢのカラー画像信号が供給される。カラー信号変換部１１は、このＲＧＢのカラー画像信号に対して、以下のようなマトリクス演算を行い、ＲＧＢカラー画像信号から、輝度信号Ｙと、色差信号Ｃｒ及びＣｂへの変換を行う。

Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１Ｂ …（１ａ）
Ｃｒ＝０．７３１（Ｒ−Ｙ） …（１ｂ）
Ｃｂ＝０．５６４（Ｂ−Ｙ） …（１ｃ）

カラー信号変換部１１からの輝度信号Ｙは、輝度エッジ強調部１２に供給されると共に、輝度エッジ抽出部１３に供給される。

輝度エッジ抽出部１３は、輝度信号Ｙのエッジ成分（高周波成分）を抽出するものである。輝度エッジ抽出部１３としては、ラプラシアンフィルタが用いられる。ラプラシアンフィルタは、２次微分（差分）フィルタとも呼ばれ、輝度の高周波成分を抽出するフィルタである。具体的には、例えば図４のような、３×３の空間フィルタであり、上下左右の４方向のエッジを抽出するもの（図４（Ａ））と、４方向に加え、斜め方向の８方向のエッジを抽出するもの（図４（Ｂ））とがある。

図３において、輝度エッジ抽出部１３で抽出された輝度信号のエッジ成分は、輝度エッジ強調部１２に供給される。輝度エッジ強調部１２で、輝度信号Ｙに、輝度信号のエッジ成分が付加され、輝度信号Ｙのエッジ成分が増強される。このようにエッジ成分が増強された輝度信号Ｙ’が出力端子２１から出力される。

カラー信号変換部１１からの色差信号Ｃｒ及びＣｂは、クロマサプレス部１５に供給されると共に、彩度信号形成部１７に供給される。前述したように、撮像素子１は単板式のものであり、単板三板化補間部５で補間処理を行って、各画素の色信号が補間されているため、偽色が発生することがある。クロマサプレス部１５は、このような偽色の発生を防止するために、色差信号Ｃｒ及びＣｂを抑圧するものである。

彩度信号形成部１７は、色差信号Ｃｒと色差信号Ｃｂとを絶対値加算することで、彩度信号Ｃｓを形成するものである。彩度信号形成部１７で形成された彩度信号Ｃｓは、彩度エッジ抽出部１８に供給されると共に、彩度レベル検出部１９に供給される。

彩度エッジ抽出部１８は、彩度信号Ｃｓの高域成分から彩度信号のエッジ成分Ｃｅｄｇｅを抽出するものである。彩度エッジ抽出部１８としては、例えばラプラシアンフィルタが用いられる。

彩度レベル検出部１９は、彩度信号Ｃｓを平滑化して、彩度信号レベルＣｌｐｆを検出するものである。彩度レベル検出部１９はローパスフィルタであり、例えば図５に示すような３×３の空間フィルタが用いられる。

彩度エッジ抽出部１８で抽出された彩度信号のエッジ成分Ｃｅｄｇｅと、彩度レベル検出部１９で検出された彩度信号レベルＣｌｐｆは、抑圧量算出部１６に供給される。また、輝度エッジ抽出部１３で抽出された輝度信号のエッジ成分Ｙｅｄｇｅが抑圧量算出部１６に供給される。

抑圧量算出部１６は、後に説明するように、輝度エッジ抽出部１３からの輝度信号のエッジ成分Ｙｅｄｇｅと、彩度エッジ抽出部１８からの彩度信号のエッジ成分Ｃｅｄｇｅと、彩度レベル検出部１９からの彩度信号レベルＣｌｐｆとを用いて、クロマサプレス部１５でのクロマ抑圧量Ｓを算出するものである。算出された抑圧量Ｓがクロマサプレス部１５に供給される。クロマサプレス部１５で、色差信号Ｃｒ及びＣｂに対して、クロマサプレス処理が行われる。このようにクロマサプレス処理された色差信号Ｃｒ’及びＣｂ’（又はＣｒ及びＣｂ）が出力端子２２及び２３から出力される。

上述のように、この実施形態では、クロマサプレスの抑圧量を、輝度信号のエッジ成分Ｙｅｄｇｅと、彩度信号のエッジ成分Ｃｅｄｇｅと、彩度信号レベルＣｌｐｆとを用いて決定するようにしている。これについて、以下に詳述する。

前述したように、撮像素子１は単板式のものであり、単板三板化補間部５で補間処理を行って、各画素の色信号が補間されている。このため、偽色が発生している場合がある。偽色は、輝度信号Ｙの変化が大きい程、すなわち輝度信号Ｙのエッジ成分量が多い程、多く含まれている。このことから、クロマサプレスの抑圧量は、輝度信号Ｙのエッジ成分量が大きい程、増加させる必要がある。

一方、高彩度の場合にクロマサプレス処理を行うと、「色抜け」が発生することがある。また、低彩度であっても、低彩度のエリア中の高彩度の部分の色抜けを防ぐためには、彩度信号Ｃｓのエッジ成分が大きい程、クロマサプレスの抑圧量を減少させる必要がある。

そこで、この実施形態では、高彩度の場合に「色抜け」が発生しないように、彩度レベル抽出部１９で抽出された彩度信号レベルＣｌｐｆと、基準彩度信号レベルＣｒｅｆとを比較し、彩度信号レベルＣｌｐｆが基準彩度信号レベルＣｒｅｆより大きい場合には、高彩度であるとして、クロマサプレス処理を行わないようにしている。

そして、輝度エッジ抽出部１３で抽出された輝度信号のエッジ成分Ｙｅｄｇｅに基づいて、輝度信号Ｙのエッジ成分量が大きい程抑圧量が大きくなるようにクロマサプレスの抑圧量を求めると共に、彩度エッジ抽出部１８で抽出された彩度信号のエッジ成分Ｃｅｄｇｅに基づいて、彩度信号のエッジ成分が大きい程クロマサプレスの抑圧量が減少されるように、抑圧量を調整するようにしている。

図６は、抑圧量算出部１６の具体例である。図６において、ルックアップテーブル５１及び５２は例えばＲＯＭ(Read Only Memory)で構成される。

ルックアップテーブル５１には、輝度信号のエッジ成分量（輝度信号のエッジ成分レベルの絶対値）｜Ｙｅｄｇｅ｜に対するクロマサプレスの抑圧量Ｓｙｅｄｇｅのデータが格納されている。上述のように、輝度信号Ｙのエッジ成分が大きい程クロマサプレスの抑圧量を増加させる必要があることから、輝度信号のエッジ成分量｜Ｙｅｄｇｅ｜に対する抑圧量Ｓｙｅｄｇｅは、図７（Ａ）に示すような関数となる。或いは、図７（Ｂ）に示すように、輝度信号のエッジ成分量｜Ｙｅｄｇｅ｜が、予め設定された閾値以上になると抑圧量が増えていく関数でも良い。ルックアップテーブル５１には、図７（Ａ）又は図７（Ｂ）に示す関数に基づいて、輝度信号のエッジ成分量｜Ｙｅｄｇｅ｜に対する抑圧量Ｓｙｅｄｇｅのデータが格納されている。

ルックアップテーブル５２には、彩度信号のエッジ成分量（彩度信号のエッジ成分レベルの絶対値）｜Ｃｅｄｇｅ｜に対する調整量Ｓｃｅｄｇｅのデータが格納されている。上述のように、彩度信号Ｃｓのエッジ成分が大きい程クロマサプレスの抑圧量を減少させる必要があることから、彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜に対する調整量Ｓｃｅｄｇｅは、図８に示すような関数となる。

ルックアップテーブル５１には、輝度エッジ抽出部１３で抽出された輝度信号のエッジ成分量｜Ｙｅｄｇｅ｜が供給される。ルックアップテーブル５１からは、この輝度信号のエッジ成分量｜Ｙｅｄｇｅ｜に対応する抑圧量Ｓｙｅｄｇｅが出力される。

ルックアップテーブル５２には、彩度エッジ抽出部１８で抽出された彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜が供給される。ルックアップテーブル５２からは、この彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜に対応する調整量Ｓｃｅｄｇｅが出力される。

ルックアップテーブル５１及びルックアップテーブル５２の出力が演算部５３に供給される。演算部５３で、ルックアップテーブル５１から読み出された輝度信号のエッジ成分に対する抑圧量Ｓｙｅｄｇｅと、ルックアップテーブル５２から読み出された彩度信号のエッジ成分に対する調整量Ｓｃｅｄｇｅとに対して、以下のような演算が行われる。これにより、クロマサプレスの抑圧量Ｓが求められる。
Ｓ＝Ｓｙｅｄｇｅ×Ｓｃｅｄｇｅ（％）×（１／１００） …（２）

すなわち、図８において、注目画素の彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜が、偽色領域Ｎの範囲内である場合、注目画素は偽色である可能性が高いと判断され、調整量Ｓｃｅｄｇｅが１００％となり、輝度信号のエッジ成分に対する抑圧量Ｓｙｅｄｇｅがそのまま使われて、クロマサプレス処理が行われる。また、注目画素の彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜が偽色領域Ｎの範囲外の場合、偽色ではなく被写体に存在する色のエッジ部であると判断され、輝度信号のエッジ成分に対する抑圧量Ｓｙｅｄｇｅが調整量Ｓｃｅｄｇｅにより調整される。

図６において、演算部５３の出力がマスキング部５５に供給される。コンパレータ５４には、彩度レベル検出部１９で検出された彩度信号レベル｜Ｃｌｐｆ｜と、基準彩度信号レベルＣｒｅｆが供給される。コンパレータ５４で、彩度レベル検出部１９で検出された彩度信号レベル｜Ｃｌｐｆ｜と、基準彩度信号レベルＣｒｅｆとが比較される。この比較出力がマスキング部５５に供給される。マスキング部５５により、彩度信号レベル｜Ｃｌｐｆ｜が基準彩度信号レベルＣｒｅｆより大きい場合には、高彩度であるとして、クロマサプレスの抑圧量の出力がマスキングされる。

抑圧量算出部１６で上述のようにして求められた抑圧量Ｓがクロマサプレス部１５（図３）に送られ、クロマサプレス部１５では、以下のようにしてクロマサプレス処理が行われる。
Ｃｒ’＝Ｃｒ−（Ｃｒ×Ｓ） …（３ａ）
Ｃｂ’＝Ｃｂ−（Ｃｂ×Ｓ） …（３ｂ）

ここで、彩度信号レベル｜Ｃｌｐｆ｜が基準彩度信号レベルＣｒｅｆより大きく、高彩度の場合には、マスキング部５５でクロマサプレスの抑圧量がマスキングされる。このため、クロマサプレス処理は行われず、カラー信号変換部１１からの色差信号Ｃｒ及びＣｂがそのまま出力される。この場合には、クロマサプレス部１５の処理は以下のようになる。
Ｃｒ’＝Ｃｒ …（４ａ）
Ｃｂ’＝Ｃｂ …（４ｂ）

よって、クロマサプレス部１５処理は、低彩度であると判定された場合にのみ有効となる。また、輝度信号Ｙのエッジ成分Ｙｅｄｇｅが検出されない部分でも、クロマサプレス処理は行われず、上式によって算出された色差信号Ｃｒ及びＣｂが、クロマサプレス部１５の出力となる。

上述のように、この実施形態では、輝度信号のエッジ成分や彩度信号のレベルだけでなく、彩度信号のエッジ成分を用いてクロマサプレスの抑圧量を求めている。このため、低彩度エリア中に高彩度の細線が存在する場合でも、色抜けが生じない。図９はそのことを示したものである。

例えば、図９（Ａ）に示すように、低彩度で高輝度のエリア１０１と、低輝度で高彩度のエリア１０２とがあり、この低輝度で高彩度のエリア１０２に、高彩度の細線１０３が描かれているような画像が撮影されたとする。エリア１０２はＲ成分のみで、細線１０３はＲ成分の細線である。

この画像を撮影すると、撮像素子１からの撮像信号が単板三板化補間部５に送られ、単板三板化補間部５で色信号が補間され、単板三板化補間部５からのＲＧＢカラー画像信号がカラー信号変換部１１に送られ、カラー信号変換部１１により、輝度信号Ｙと、色差信号Ｃｒ及びＣｂに変換される。その結果、例えば、図９のラインＬ１の部分の輝度信号Ｙ、色差信号Ｃｒ及びＣｂは、図９（Ｂ）、図９（Ｄ）及び図９（Ｅ）に示すように変化する。

ここで、輝度エッジ抽出部１３で輝度信号のエッジ成分Ｙｅｄｇｅを抽出すると、図９（Ｃ）に示すように、細線１０３の部分（Ａ点）や、エリア１０１とエリア１０２との境界（Ｂ点）で、エッジ信号が出力される。

また、図９（Ｄ）に示す色差信号Ｃｒと、図９（Ｅ）に示す色差信号Ｃｂとの絶対値加算により、図９（Ｆ）に示すように、彩度信号Ｃｓが形成される。ここで、彩度レベル検出部１９で彩度信号Ｃｓのレベルを検出すると、図９（Ｇ）に示すように、エリア１０２で彩度信号レベルが大きくなる。

また、彩度エッジ抽出部１８で彩度信号Ｃｓのエッジ成分Ｃｅｄｇｅを抽出すると、図９（Ｈ）に示すように、細線１０３の部分（Ａ点）と、エリア１０１とエリア１０２との境界（Ｂ点）で、エッジ信号が出力される。

エリア１０１とエリア１０２との境界のＢ点では、図９（Ｇ）に示すように、彩度信号のレベルＣｌｐｆが基準彩度信号レベルＣｒｅｆ以上であり、高彩度と判定される。このため、クロマサプレス処理が行われず、カラー信号変換部１１から出力された色差信号Ｃｒ及びＣｂは、そのまま出力される。

また、細線１０３の部分のＡ点では、彩度信号のレベルＣｌｐｆが基準彩度信号レベルＣｒｅｆより小さいので、低彩度とみなされ、クロマサプレス処理の対象となる。従来技術では、このような線は偽色と判断し、輝度信号のエッジレベルから求められた抑圧量を用いて、クロマサプレスが行われる。そのため、Ａ点での彩度に対する抑圧量が多く、細線が失われる可能性が高い。

これに対して、本発明では、彩度エッジ抽出部１８で抽出された彩度信号Ｃｓのエッジ成分量｜Ｃｅｄｇｅ｜により、Ａ点は、本来被写体に存在する色のエッジ部であると判定されるため、前述したように、クロマサプレスの抑圧量が調整される。すなわち、（２）式に基づいて、輝度信号Ｙのエッジ成分量｜Ｙｅｄｇｅ｜レベルから求められた抑圧量Ｓｙｅｄｇｅは、彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜から求められた調整量Ｓｃｅｄｇｅにより調整される。これにより、Ａ点でのクロマサプレスの抑圧量が下げられ、Ａ点での色抜けが防止でき、且つ、細線の彩度を保つことが可能となる。

なお、上述の実施形態では、輝度エッジ抽出部１３において、ラプラシアンフィルタを用いた例を示したが、これに限定せず、ゾーベルフィルタを用いることも可能である。

ゾーベルフィルタは、１次微分をする時に注目する画素の近くの画素に重み付けするフィルタである。具体的には、例えば図１０に示した４種類のフィルタである。図１０（Ａ）は右上がりの線分、図１０（Ｂ）は縦線の線分、図１０（Ｃ）は右下がりの線分、図１０（Ｄ）は横線の線分を抽出する。これらのフィルタにより、注目画素における線分の度合いを算出することができる。線分の度合いは輝度信号のエッジに相当するものであり、第１の実施形態で述べたラプラシアンフィルタと同様な意味を持つので、代替が可能である。

彩度エッジ抽出部１８においても、輝度エッジ抽出部１３と同様に、ラプラシアンフィルタを用いた例を示したが、これに限定せず、ゾーベルフィルタを用いることも可能である。具体的には、例えば図１０に示した４種類のフィルタである。図１０（Ａ）は右上がりの線分、図１０（Ｂ）は縦線の線分、図１０（Ｃ）は右下がりの線分、図１０（Ｄ）は横線の線分を抽出する。これらのフィルタにより、注目画素における線分の度合いを算出することができる。また、線分を抽出するため、細線も的確に抽出することができる。線分の度合いは彩度信号のエッジ成分相当するものであり、第１の実施形態で述べたラプラシアンフィルタと同様な意味を持つので、代替が可能である。

彩度レベル検出部１９としてはローパスフィルタを用いた例を示したが、これに限定せず、メディアンフィルタを用いることも可能である。メディアンフィルタは、近傍の画素値の中央値を注目画素と置き換えるものである。具体的には、３×３の領域では、９個の画素値を低い（または高い）順番に並べ、５番目（中央）の画素値を注目画素の値とするフィルタである。周囲の画素に存在しない値がある場合（孤立点）は、周囲に存在する画素に置き換えられるという処理を行う。すなわち、低彩度エリア内の平均的な彩度信号のレベルを抽出することが可能となり、第一の実施例で述べたローパスフィルタと同様な意味を持つので、代替が可能である。

本発明は、コンピュータ上でソフトウェアにより実現することも可能である。図１１は、図３に示した処理を画像処理部の処理をソフトウェアで実現した場合のフローチャートとして示したものである。

図１１において、画像処理ブロックに入力されたＲＧＢのカラー画像信号は、輝度信号Ｙと、色差信号Ｃｒ及びＣｂに変換される（ステップＳ１）。

次に、輝度信号Ｙのエッジ成分量｜Ｙｅｄｇｅ｜が抽出され（ステップＳ２）、この輝度信号のエッジ部分が輝度信号に加算されて、輝度信号のエッジが強調される（ステップＳ３）。

一方、色差信号Ｃｒ及びＣｂとが絶対値加算されて、彩度信号Ｃｓが算出され（ステップＳ４）、この彩度信号レベルＣｌｐｆが抽出される（ステップＳ５）。

抽出された彩度信号レベルＣｌｐｆと、予め設定された基準彩度信号レベルＣｒｅｆとが比較され、高彩度かどうかが判断される。抽出された彩度信号レベルＣｌｐｆが基準彩度信号レベルＣｒｅｆより大きい場合には、高彩度であると判断され、ステップＳ７に進む。

ステップＳ６で、抽出された彩度信号のレベルＣｌｐｆが基準彩度信号レベルＣｒｅｆより小さい場合には、低彩度であると判断される。この場合には、ステップＳ２で抽出された輝度信号のエッジ成分量｜Ｙｅｄｇｅ｜から、クロマサプレスの抑圧量Ｓｙｅｄｇｅが算出される（ステップ８）。そして、彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜が抽出され（ステップＳ９）、彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜と、予め設定されている閾値Ｎとの比較が行われる（ステップＳ１０）。

ここで、彩度信号のエッジ成分量｜Ｃｅｄｇｅ｜が閾値Ｎ以上である場合は、彩度信号のエッジ量から調整量Ｓｃｅｄｇｅが算出され（ステップＳ１１）、ステップＳ１２に進む。一方、閾値Ｎ以下であれば、調整量Ｓｃｅｄｇｅを算出することなく、ステップＳ１２に進む。

ステップＳ１２で、抑圧量Ｓｙｅｄｇｅと調整量Ｓｃｅｄｇｅとを用いて、クロマサプレスの抑圧量Ｓが算出され、この抑圧量Ｓを用いて、色差信号Ｃｒ及びＣｂに対してクロマサプレスの処理が行われる。そして、ステップＳ７に進む。

ステップＳ７で、色差信号Ｃｒ及びＣｂ、或いは、クロマサプレス処理された色差信号Ｃｒ’及びＣｂ’（又はＣｒ及びＣｂ）と、エッジ成分が増強された輝度信号Ｙ’とが出力される。

以上説明したように、この実施形態では、クロマサプレスの抑圧量を、輝度信号のエッジ成分と、彩度信号のエッジ成分と、彩度信号レベルとを用いて決定するようにしている。このため、低彩度エリア中に高彩度の細線が存在する場合でも、色抜けが生じない。

本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

本発明が適用できるディジタルカメラの一例の構成を示すブロック図である。 撮像素子に配設されるカラーフィルタの配列の説明図である。 本発明の一実施形態の構成を示すブロック図である。 ラプラシアンフィルタの説明図である。 ローパスフィルタの説明図である。 本発明の一実施形態における抑圧量演算部の構成を示すブロック図である。 輝度信号のエッジ成分量とクロマサプレスの抑圧量との関係を示すグラフである。 彩度信号のエッジ成分量とクロマサプレスの調整量との関係を示すグラフである。 本発明の一実施形態の説明に用いる各部波形図である。 ゾーベルフィルタの説明図である。 本発明をソフトウェアで実現した場合の説明に用いるフローチャートである。 偽色の発生の説明に用いる図である。 従来技術の課題の説明に用いる図である。

符号の説明

１ 撮像素子
２ 光学系
４ Ａ／Ｄコンバータ
５ 単板三板化補間部
６ 画像処理部
１１ カラー信号変換部
１２ 輝度エッジ強調部
１３ 輝度エッジ抽出部
１５ クロマサプレス部
１６ 抑圧量算出部
１７ 彩度信号形成部
１８ 彩度エッジ抽出部
１９ 彩度レベル検出部

Claims (12)

1. 撮像素子より入力されるカラー画像信号に対して所定の画像処理を施す画像処理装置であって、
   前記カラー画像信号を輝度信号と色差信号とに変換する色信号変換手段と、
   前記輝度信号のエッジ成分を抽出する輝度エッジ抽出手段と、
   前記色差信号から彩度信号を求める彩度信号演算手段と、
   前記彩度信号のエッジ成分を抽出する彩度エッジ抽出手段と、
   前記彩度信号のレベルを判定する彩度レベル判定手段と、
   前記輝度信号のエッジ成分、彩度信号のエッジ成分、及び彩度信号レベルに基づいて設定された抑圧量で、前記色差信号を抑圧するクロマサプレス手段と
   を備えるようにしたことを特徴とする画像処理装置。
2. 前記クロマサプレス手段は、前記輝度信号のエッジ成分の強度に応じて、前記色差信号の抑圧量を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記クロマサプレス手段は、前記彩度信号のエッジ成分の強度に応じて、前記色差信号の抑圧量を変更することを特徴とする請求項１に記載の画像処理装置。
4. 前記クロマサプレス手段は、前記彩度信号の強度に応じて、前記色差信号の抑圧を行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記輝度エッジ抽出手段は、ラプラシアンフィルタを備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記輝度エッジ抽出手段は、ゾーベルフィルタを備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記彩度エッジ抽出手段は、ラプラシアンフィルタを備えることを特徴とする請求項１に記載の画像処理装置。
8. 前記彩度エッジ抽出手段は、ゾーベルフィルタを備えることを特徴とする請求項１に記載の画像処理装置。
9. 前記彩度レベル判定手段は、ローパスフィルタを備えることを特徴とする請求項１に記載の画像処理装置。
10. 前記彩度レベル判定手段は、メディアンフィルタを備えることを特徴とする請求項１に記載の画像処理装置。
11. 撮像素子より入力されるカラー画像信号に対して所定の画像処理を施す画像処理方法であって、
    前記カラー画像信号を、輝度信号と、色差信号に変換する色信号変換ステップと、
    前記輝度信号のエッジ成分を抽出する輝度エッジ抽出ステップと、
    前記輝度信号のエッジ成分の強度より、色差信号を抑圧するための抑圧パラメータを算出する抑圧パラメータ算出ステップと、
    前記色差信号から彩度信号を求める彩度信号演算ステップと、
    前記彩度信号のエッジ成分を抽出する彩度エッジ抽出ステップと、
    前記彩度信号のエッジ成分の強度より、前記抑圧量を調整するための調整パラメータを算出する調整パラメータ算出ステップと、
    前記彩度信号の彩度レベルを抽出する彩度レベル抽出ステップと、
    前記彩度レベルの強度を判定する彩度レベル判定ステップと、
    前記抑圧パラメータと調整パラメータに基づいて、前記彩度信号を抑圧するための新たな抑圧パラメータを算出し、前記彩度レベル判定結果、低彩度なら、前記算出された抑圧パラメータにより前記彩度信号を抑圧する彩度抑圧ステップとを含むことを特徴とする画像処理方法。
12. コンピュータに撮像素子より入力されるカラー画像信号に対して所定の画像処理を実行させる画像処理プログラムであって、
    コンピュータに、
    前記カラー画像信号を、輝度信号と、色差信号に変換する色信号変換ステップと、
    前記輝度信号のエッジ成分を抽出する輝度エッジ抽出ステップと、
    前記輝度信号のエッジ成分の強度より、色差信号を抑圧するための抑圧パラメータを算出する抑圧パラメータ算出ステップと、
    前記色差信号から彩度信号を求める彩度信号演算ステップと、
    前記彩度信号のエッジ成分を抽出する彩度エッジ抽出ステップと、
    前記彩度信号のエッジ成分の強度より、前記抑圧量を調整するための調整パラメータを算出する調整パラメータ算出ステップと、
    前記彩度信号の彩度レベルを抽出する彩度レベル抽出ステップと、
    前記彩度レベルの強度を判定する彩度レベル判定ステップと、
    前記抑圧パラメータと調整パラメータに基づいて、前記彩度信号を抑圧するための新たな抑圧パラメータを算出し、前記彩度レベル判定結果、低彩度なら、前記算出された抑圧パラメータにより前記彩度信号を抑圧する彩度抑圧ステップと
    を実行させることを特徴とする画像処理プログラム。
    
    

Images