JP3617455B2

JP3617455B2 - 画像処理装置、画像処理方法および記録媒体

Info

Publication number: JP3617455B2
Application number: JP2001002373A
Authority: JP
Inventors: 広明久保
Original assignee: ミノルタ株式会社
Priority date: 2001-01-10
Filing date: 2001-01-10
Publication date: 2005-02-02
Anticipated expiration: 2021-01-10
Also published as: JP2002209224A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等に用いられる画像処理装置の構成および画像処理方法に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオカメラ等においては、従来から画像撮像装置としてＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）が利用されている。ＣＣＤは光電変換をつかさどる多数のフォトダイオードがマトリクス状に配列されて構成されている。
【０００３】
撮像レンズを含む光学系を介してＣＣＤに入射した被写体の光学像は、フォトダイオードで光電変換されたのち電荷蓄積される。マトリクス配置されたフォトダイオードに蓄積された電荷は、ＣＣＤから順次取り出された後、画像処理回路に転送されて画像信号として検出されるのである。
【０００４】
このようにＣＣＤは光学像の明暗に応じた電荷の蓄積を行い、電気信号として出力する役割を果たすが、カラー画像を取得するためには、３原色成分（Ｒ、Ｇ、Ｂ）に対応した電気信号が得られる必要がある。
【０００５】
図５を用いて、単板式のカラー撮像装置に用いられるベイヤー方式の色フィルタアレイ１００について説明する。
【０００６】
ベイヤー方式の色フィルタアレイ１００は、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このように配置された各色のフィルタが、各画素（フォトダイオード）に対応しており、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【０００７】
ベイヤー方式によると、各画素からは、いずれかの原色成分に対する電気信号が出力されることになるため、各画素に対しては、欠落している色の情報を補う必要がある。
【０００８】
たとえば、Ｒのフィルタに覆われた画素では、Ｒの情報しか持っていないため、ＧとＢを周辺の画素の値を基に推測する補間処理を行うのである。このようにして、１個のＣＣＤを利用してカラー画像を撮像するようにしている。
【０００９】
このように、近傍画素の情報を利用して補間処理を行うベイヤー方式においては、補間処理を行う領域内で同じ被写体が結像する必要がある。たとえば、図５に太線で示した領域１１０内で、画素の補間を相互に行う場合には、領域１１０内には同じ被写体が結像する必要がある。
【００１０】
しかし、被写体のもつコントラスパターンによっては、領域１１０よりも狭い領域内で高周波成分を持つ場合があり、このような場合には、いわゆる偽色が発生することとなる。偽色は高周波部分で発生し、被写体の輪郭部、ライン、細かな模様などで発生し、光学ＬＰＦ（ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ）、補間処理等では完全に除去することができない。
【００１１】
たとえば、図６に示すように、領域１１０内に境界１２１やドット１２２の被写体が結像している場合を想定する。この場合、領域１１０内の右下の画素１１４については、Ｂの情報しか持っていないため、画素１１１，１１２，１１３からＲやＧの情報を補間することとなる。このため、画素１１４には本来存在しない被写体についての情報で補間処理が行われることになり、偽色が発生するのである。
【００１２】
そこで、偽色の発生する部分に対して彩度の抑圧を行い、発生した偽色を目立たなくする処理が行われている。
【００１３】
図７は、偽色の抑圧を行う処理装置の従来構成図を示す。ＣＣＤから出力されたＲＧＢの原色成分の電気信号は、色差マトリクス回路９３に入力される。色差マトリクス回路９３において、ＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００１４】
変換された電気信号のうち、輝度成分Ｙは、輪郭強調フィルタ９５に入力される。輪郭強調フィルタ９５において、輝度成分Ｙは、ＨＰＦ（ｈｉｇｈ−ｐａｓｓｆｉｌｔｅｒ）、アンプ、ベースクリップを経て、所定値以上の高周波成分が検出される。
【００１５】
検出された高周波成分は、ＬＰＦを通過した輝度成分Ｙに加算される。これによって、輝度成分Ｙに対して輪郭強調処理が施されることとなる。
【００１６】
一方、検出された高周波部分については、前述の如く、偽色が発生している確率が高い。そこで、色差抑圧回路９７には輪郭強調フィルタ９５において高周波成分として検出された領域（画素）の情報が入力され、当該画素の色差成分Ｃｒ，Ｃｂに対して色差の抑圧制御が行われるのである。このようにして、ベイヤー方式の画像形成により生ずる偽色を目立たなくするようにしているのである。
【００１７】
【発明が解決しようとする課題】
ところが、上述した偽色抑圧制御では、被写体のエッジを強調する輪郭強調フィルタ９５の出力から抑圧対象となる画素を決定するため、被写体の高周波成分をすべて抑圧することになる。つまり、被写体の画像パターンに関わらず、エッジ成分の強い部分はすべて抑圧されることになる。
【００１８】
このため、輪郭等の線として表現される部分に対しては、偽色を有効に抑圧することができるが、ドット状のパターンに対しては、ドット状の抑圧がかかり、穴のような色抜けが発生し、見栄えの悪い描写となる。
【００１９】
図６で示した例を用いると、高周波成分の検出された画素１１３においては、色差の抑圧制御が行われ、画素１１３においてドット状の色抜けが発生するのである。これに対して、境界１２１に対しては、境界に沿って連続的に偽色が発生するため、色差の抑圧制御を行うことが望ましい。
【００２０】
そこで、本発明は前記問題点に鑑み、色抜けなどを発生させることなく、偽色成分を効果的に抑圧することを可能とした処理装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明は、撮像素子から入力した画像信号に所定の画像処理を施す画像処理装置であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間手段と、３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換手段と、前記輝度成分の信号値から線分成分を抽出する線分抽出手段と、前記線分抽出手段により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧手段とを備えることを特徴とする。
【００２２】
請求項２の発明は、請求項１に記載の画像処理装置において、前記抑圧手段は、前記線分成分の検出レベルに応じて、抑圧制御の程度を変更する手段を含むことを特徴とする。
【００２３】
請求項３の発明は、請求項１に記載の画像処理装置において、前記撮像素子は、ベイヤー方式の色フィルタアレイを備えたＣＣＤとしたことを特徴とする。
【００２４】
請求項４の発明は、撮像素子から入力した画像信号に所定の画像処理を施す画像処理方法であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間工程と、３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換工程と、前記輝度成分の信号値から線分成分を抽出する線分抽出工程と、前記線分抽出工程により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧工程とを備えることを特徴とする。
【００２５】
請求項５の発明は、請求項４に記載の画像処理方法において、前記抑圧工程は、前記線分成分の検出レベルに応じて、抑圧制御の程度を変更する工程を含むことを特徴とする。
【００２６】
請求項６の発明は、撮像素子からの出力である画像信号に所定の画像処理を施すプログラムを記録した処理装置読み取り可能な記録媒体であって、前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、前記プログラムは前記処理装置に、前記撮像素子の出力である各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間工程と、３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換工程と、前記輝度成分の信号値から線分成分を抽出する線分抽出工程と、前記線分抽出工程により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧工程とを実行させることを特徴とする。
請求項７の発明は、請求項１に記載の画像処理装置において、前記線分抽出手段は、線分抽出フィルタを用いて前記線分成分を抽出することを特徴とする。
請求項８の発明は、請求項７に記載の画像処理装置において、前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする。
請求項９の発明は、請求項４に記載の画像処理方法において、前記線分抽出工程では、線分抽出フィルタを用いて前記線分成分が抽出されることを特徴とする。
請求項１０の発明は、請求項９に記載の画像処理方法において、前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする。
請求項１１の発明は、請求項６に記載の記録媒体において、前記線分抽出工程では、線分抽出フィルタを用いて前記線分成分が抽出されることを特徴とする。
請求項１２の発明は、請求項１１に記載の記録媒体において、前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする。
【００２７】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。まず、本実施の形態にかかる画像処理装置を搭載したデジタルカメラ３１の概略構成について説明する。
【００２８】
｛１．デジタルカメラの概略構成｝
図２は、デジタルカメラ３１の正面図である。デジタルカメラ３１は、箱型のカメラ本体部３２と直方体状の撮像部３３とから構成されている。撮像部３３の前面側には、撮像レンズであるズームレンズ３４が設けられるとともに、光学ファインダ３５が設けられている。
【００２９】
カメラ本体部３２の一端部はグリップ部３６としており、前面側の中央上部に内蔵フラッシュ３７が設けられ、上面側にはシャッタボタン３８が設けられている。
【００３０】
図示を省略するが、カメラ本体部３２の背面側には、撮像画像のモニタ表示、記録画像の再生表示等を行うための液晶ディスプレイ（ＬＣＤ）が設けられている。その他、カメラ本体部３２の背面側には、電源スイッチや、各種操作ボタン等が設けられている。
【００３１】
｛２．画像処理装置の構成｝
図１は、デジタルカメラ３１が内部に搭載する本実施形態にかかる画像処理装置のブロック構成図である。
【００３２】
＜２−１ベイヤー式ＣＣＤおよび補間処理＞
ＣＣＤ１はベイヤー方式の色フィルタアレイを備えた単板式ＣＣＤである。ＣＣＤ１には、光電変換をつかさどる多数のフォトダイオードがマトリクス状に２次元配列されて各画素に対応しており、各画素は原色成分（Ｒ，Ｇ，Ｂ）のうちいずれかの色フィルタに覆われている。
【００３３】
本実施の形態では図５で示した色フィルタアレイ１００と同様に、市松状に輝度信号に寄与するＧのフィルタを配置し、残りの部分にＲ、Ｂのフィルタをさらに市松状に配置している。このようにして、各画素にはＲ，Ｇ，Ｂいずれかの原色成分に対応した電荷が蓄積されることとなる。
【００３４】
なお、ベイヤー方式の色フィルタアレイとしては、図５で示したタイプの他に、Ｇを上下方向に並べたタイプ等、いくつかの方式が存在するが、本実施形態の画像処理装置に適用できる色フィルタアレイのタイプは特に限定されるものではない。ただし、後述する補間処理においては、色フィルタアレイのタイプに応じた処理が行われる必要がある。
【００３５】
ＣＣＤ１において蓄積された電荷は、１ラインずつ順次取り出され、１次元の電気信号として出力される。さらに、各画素の電気信号は、Ａ／Ｄ変換回路（図示せぬ）において１２ｂｉｔのデジタル電気信号に変換された後、ＷＢ（ホワイトバランス）回路２に入力され、ＲＧＢのレベル変換が行われることでホワイトバランスが調整される。
【００３６】
ホワイトバランスの調整が行われた後、各画素の電気信号は補間回路３に入力され、各画素について補間処理が行われる。
【００３７】
つまり、各画素は、Ｒ，Ｇ，Ｂいずれか１つの原色成分に関する情報しか持っていないため、他の原色成分の情報を周辺の画素の値を基に推測する補間処理を行うのである。この補間処理により、各画素に対して、Ｒ，Ｇ，Ｂそれぞれ１２ｂｉｔの情報が与えられることになる。
【００３８】
補間処理が行われた後、各画素の電気信号（Ｒ，Ｇ，Ｂ）は、リニアマトリクス回路４において、所定の補正処理が行われた後、γ補正回路５に入力される。γ補正回路５において、電気信号（Ｒ，Ｇ，Ｂ）はγ補正テーブル（ＲＧＢガンマＬＵＴ）５１によって、表示ディスプレイの再現特性に応じた補正が行われる。さらに、γ補正回路５においては、１２ｂｉｔの電気信号が８ｂｉｔに圧縮される。
【００３９】
＜２−２色空間の変換処理＞
８ｂｉｔに圧縮された電気信号（Ｒ，Ｇ，Ｂ）は、次に、色差マトリクス回路６に入力される。色差マトリクス回路６は、変換用のマトリクスであるＹマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を備えており、ＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）と、色差成分（Ｃｒ，Ｃｂ）とをもつ色空間に変換される。
【００４０】
数１式は、Ｙマトリクス６１、Ｃｒマトリクス６２、Ｃｂマトリクス６３を、３行３列の色差マトリクスで表現したものである。従って、ＲＧＢ色空間が、色差マトリクスによって、輝度成分と色差成分とをもつ色空間に変換されると表現することができる。
【００４１】
【数１】

【００４２】
＜２−３輪郭強調フィルタ処理＞
色差マトリクス回路６において出力された輝度成分Ｙ（以下の説明においては、適宜、輝度成分の電気信号を輝度信号Ｙと表現する。）は、次に、輪郭強調フィルタ回路７に入力される。輪郭強調フィルタ回路７において、輝度信号Ｙは３つに分岐される。分岐された輝度信号Ｙのうち１つは、ＨＰＦ７２を通過し、１つは、ＬＰＦ７１を通過する。他の１つは、後述するが線分抽出回路７７に入力される。
【００４３】
ＨＰＦ７２を通過した輝度信号Ｙからは、高周波成分が検出され、この検出された高周波成分をアンプ７３に入力して増幅させた後、さらにベースクリップ７４において所定値以上の高周波成分のみが検出され、出力される。
【００４４】
そして、加算器７５において、ＬＰＦ７１を通過した輝度信号Ｙに、ベースクリップ７４から出力された所定値以上の高周波成分を加算することによって、輝度信号Ｙは輪郭強調されたうえで出力されるのである。
【００４５】
＜２−４線分抽出処理＞
輪郭強調フィルタ回路７内で分岐された輝度信号Ｙのうち、残る１つは線分抽出回路７７に入力される。線分抽出回路７７においては、ソーベル線分抽出フィルタＡ１〜Ａ４を用いることによって、輝度信号Ｙから線分成分が抽出されるのである。ソーベル線分抽出フィルタＡ１〜Ａ４を数２式に示す。
【００４６】
【数２】

【００４７】
数２式において、フィルタＡ１は、右上がりの斜線の境界を検出する空間フィルタであり、フィルタＡ２は、縦線の境界を検出する空間フィルタであり、フィルタＡ３は、右下がりの斜線の境界を検出する空間フィルタであり、フィルタＡ４は、横線の境界を検出する空間フィルタである。
【００４８】
線分抽出回路７７に入力された輝度信号Ｙは、バッファ（図示せず）に蓄積されており、このバッファに蓄積された輝度信号Ｙをもとに対象画素の線分抽出処理が行われる。たとえば、本実施の形態においては、線分抽出フィルタＡ１〜Ａ４は３行３列の行列形式で表されており、対象画素の輝度信号Ｙ、および、対象画素の８近傍の画素の輝度信号Ｙを使って線分抽出処理が行われることになる。したがって、バッファには少なくともこれら９画素の輝度信号Ｙが蓄積されている必要がある。
【００４９】
そして、３行３列の９画素の輝度信号Ｙについて、線分抽出フィルタＡ１〜Ａ４とそれぞれパターンマッチングを行う。そして、マッチングした場合には、注目画素（パターンマッチングした際に中央に位置する画素、つまり、２行２列名に相当する画素）を線分成分として判断するのである。
【００５０】
具体的には、注目画素について線分抽出フィルタＡ１を施した場合を例にとると、注目画素および８近傍画素の輝度信号Ｙの値に、フィルタＡ１の対応する各成分を係数として乗算し、これらの演算値の合計値を得る。そして、この合計値の絶対値が所定の値よりも大きくなる場合には、注目画素はフィルタＡ１により線分成分として判断されることになるのである。
【００５１】
そして、上記の演算値（合計値）は注目画素における線分の検出レベルを表すことになる。つまり、各線分フィルタＡ１〜Ａ４のいずれか空間フィルタを用いた演算値（合計値）は、その値が大きい程、線分としての検出度合が大きいことを意味するのである。
【００５２】
＜２−５線分クロマキラー処理＞
線分抽出回路７７が線分成分を抽出すると、線分クロマキラー回路８には、線分成分として判別された画素の位置情報と、当該画素における線分成分の検出レベルとが入力される。
【００５３】
線分クロマキラー回路８では、入力した線分成分の検出レベルを基に、Ｃｒ，Ｃｂの両色差成分に対して色差信号（以下の説明においては、適宜、色差成分の電気信号を色差信号Ｃｒ，Ｃｂと表す。）の抑圧処理を行う。つまり、線分クロマキラー回路８においては、入力した線分成分の検出レベルをもとに、線分クロマキラー設定ＬＵＴ（ＬｏｏｋｕｐＴａｂｌｅ）８１を参照して色差信号Ｃｒ，Ｃｂの抑圧度を求め、乗算器８２，８３によって抑圧度に応じた色差信号Ｃｒ，Ｃｂの抑圧処理を行うのである。
【００５４】
図３は、線分クロマキラーの設定ＬＵＴ８１を示す。図中、横軸は、線分成分の検出レベルを示し、縦軸は、抑圧度を示している。つまり、線分成分の検出レベルが高い画素程、高い抑圧をかけるような抑圧制御を行うのである。
【００５５】
ただし、線分成分の検出レベルがある程度大きくなると、抑圧度の上昇率を小さくし、抑圧度が過度に大きくならないようにしている。
【００５６】
たとえば、画素ｎにおける線分成分の検出レベルがＡｎである場合には、画素ｎにおける色差成分には２０％程度の抑圧を行うのである。また、画素ｍにおける線分成分の検出レベルがＡｍである場合には、画素ｍにおける色差成分には６０％程度の抑圧を行うのである。このように、より線分成分の検出レベルの高い画素ｍについては、検出レベルの低い画素ｎよりも大きな抑圧を行うようにしているのである。
【００５７】
このように、線分成分の検出レベルに応じて、抑圧制御の程度を変更しているので、出力画像に不自然さが残らないような抑圧制御が可能となる。
【００５８】
以上の処理により、本実施の形態にかかる画像処理装置は、輪郭強調処理が施された輝度信号Ｙと、抑圧制御が行われた色差信号Ｃｒ，Ｃｂが出力されることになる。出力された輝度信号Ｙ、色差信号Ｃｒ，Ｃｂはバッファ９に記録された後、たとえば、ＪＰＥＧ等の圧縮規格に従った処理が行われ、画像ファイルとしてメモリカード等に保存されるのである。
【００５９】
このように、本実施形態においては、線分成分として抽出された画素に対してのみ、抑圧制御を行うようにしているので、全てのエッジ成分に対して抑圧制御を行うことによる問題を解消することができる。
【００６０】
従来は、全てのエッジ成分を抑圧していたため、発生した偽色の抑圧には効果が得られるが、その一方で、細かなエッジに対しても色の抑圧がかかり不自然なドット状の色抜けが発生してしまうという問題があった。本実施形態によれば、線分のみに色の抑圧がかけられるため細かな色抜けが無く自然な描写が得られるのである。
【００６１】
図６で示した被写体を例とすれば、境界１２１に対しては、偽色の抑圧を行なわれる。従って、境界に沿って広い領域で発生する偽色が抑えられ、違和感のある偽色を効果的に抑圧することができる。これに対して、ドット１２２には偽色の抑圧が行われない。従って、ドット状のパターンに対して穴のような色抜けが発生することはない。
【００６２】
図４は、以上説明した色差抑圧制御処理のフローチャートである。色差抑圧制御処理は、図に示すように大きく５つの工程から成り立っている。まず、第１の工程は、ＣＣＤ１から出力されたＲＧＢの画像信号を入力する工程である（ステップＳ１）。この画像信号は、各画素におけるＲＧＢ原色成分のうち、いずれか１つの原色成分の画像信号である。
【００６３】
第２の工程は、入力した画素について、近傍の画素を用いて補間処理を行う工程である。この工程により、各画素においてそれぞれ３原色成分の画像信号が得られることになる（ステップＳ２）。
【００６４】
第３の工程は、ＲＧＢ３原色成分の画像信号を、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂに変換する工程である（ステップＳ３）。
【００６５】
第４の工程は、ステップＳ３で得られた輝度信号Ｙをもとに、ソーベルの線分抽出フィルタを用いて線分抽出を行う工程である（ステップＳ４）。この線分抽出工程においては、注目画素についての線分検出レベルも出力される。
【００６６】
そして、第５の工程は、線分成分と検出された画素に対して、線分検出レベルに応じた色差信号の抑圧を行う工程である（ステップＳ５）。
【００６７】
以上説明した本実施の形態にかかる画像処理装置は、デジタルカメラ、デジタルビデオなど、ベイヤー方式の色フィルタアレイを備えたＣＣＤから画像信号を入力するあらゆる機器に適応可能である。
【００６８】
また、デジタルカメラによっては、線画を複写する動作モード（文字モードなどと呼ばれている）を備えたものがある。文字モードは、線画をはっきりと撮像することを目的としたモードであり、文字モード設定状態で、ホワイトボードに描写された文字等を撮影することで、議事の記録を残すことができるなどの効果がある。
【００６９】
従って、文字モードを備えたデジタルカメラにおいて、本実施の形態にかかる画像処理装置を搭載し、文字モード動作時に、上述した色差成分の抑圧制御を行うようにすれば、本発明の効果が顕著に現れることとなる。
【００７０】
｛３．変形例｝
上述した実施の形態においては、線分成分として抽出された領域（画素）のみ色差成分の抑圧制御を行うこととした。これは、ドット状の色抜けなど不自然な画像の仕上がりを回避するためであった。つまり、ドット状の偽色に対しては、抑圧制御を行って色抜けを発生させるよりも、抑圧制御を行わずに微小な偽色として残す方が、不自然さを小さく抑えることができるからである。
【００７１】
そこで、本発明の変形例として次のような構成が考えられる。色差成分の抑圧制御回路は、全ての輪郭部（エッジ部）に対して抑圧処理を行うものとする。ただし、線分成分の抑圧量に比して、他の輪郭部に対しては、その抑圧量を小さくするような抑圧制御するのである。
【００７２】
たとえば、ドット状の高周波成分に対しては、色抜けが発生しない程度の色差成分の抑圧を行うのである。このような処理を行うことにより、線分成分以外の輪郭部には自然な色再現処理を行い、線分成分に対しては、偽色の発生を抑えることが可能となるのである。
【００７３】
【発明の効果】
以上説明したように、請求項１、７及び８の発明では、色補間処理が行われた画像信号に対する画像処理であって、輝度成分の信号値から線分成分を抽出し、線分成分が抽出された画素についてのみ、色差成分の信号値を抑圧するので、不自然な色抜け等を発生させることなく、線分成分の偽色の発生を抑えることが可能である。
【００７４】
請求項２の発明では、線分成分の検出レベルに応じた抑圧制御を行うので、出力画像の不自然さを低減させることが可能となる。
【００７５】
請求項３の発明では、ベイヤー方式の色フィルタアレイを備えたＣＣＤを撮像素子とする構成であり、本発明をデジタルカメラ等、広く適用可能となる。
【００７６】
請求項４、９及び１０の発明は、輝度成分の信号値から線分成分を抽出し、線分成分が抽出された画素についてのみ、色差成分の信号値を抑圧する方法であり、不自然な色抜け等を発生させることなく、線分成分の偽色の発生を抑えることが可能な方法である。
【００７７】
請求項５の発明では、線分成分の検出レベルに応じた抑圧制御を行うので、出力画像の不自然さを低減させることが可能となる。
【００７８】
請求項６、１１及び１２の発明では、線分成分の偽色の発生を抑えるプログラムを記録媒体に記録することにより、上記プログラムを記録媒体読み取り可能なコンピュータにおいて実行可能となる。
【図面の簡単な説明】
【図１】本実施形態にかかる画像処理装置のブロック構成図である。
【図２】本実施形態にかかる画像処理装置を搭載したデジタルカメラの概観図である。
【図３】線分クロマキラーの設定ＬＵＴを示す図である。
【図４】本実施形態にかかる画像処理のフローチャートである。
【図５】ベイヤー方式ＣＣＤにおける色フィルタアレイの一例を示す図である。
【図６】高周波成分をもつ被写体の光学像がベイヤー方式のＣＣＤに結像した状態を示す図である。
【図７】従来の画像処理装置のブロック図である。
【符号の説明】
１ＣＣＤ
３補間回路
６色差マトリクス回路
７輪郭強調フィルタ回路
８線分クロマキラー回路
７７線分抽出回路
７８ソーベル線分抽出フィルタ
８１線分クロマキラー設定ＬＵＴ

Claims

撮像素子から入力した画像信号に所定の画像処理を施す画像処理装置であって、
前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、
前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間手段と、
３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換手段と、
前記輝度成分の信号値から線分成分を抽出する線分抽出手段と、
前記線分抽出手段により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧手段と、
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記抑圧手段は、
前記線分成分の検出レベルに応じて、抑圧制御の程度を変更する手段、
を含むことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記撮像素子は、ベイヤー方式の色フィルタアレイを備えたＣＣＤとしたことを特徴とする画像処理装置。
撮像素子から入力した画像信号に所定の画像処理を施す画像処理方法であって、
前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、
前記撮像素子から入力した各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間工程と、
３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換工程と、
前記輝度成分の信号値から線分成分を抽出する線分抽出工程と、
前記線分抽出工程により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧工程と、
を備えることを特徴とする画像処理方法。
請求項４に記載の画像処理方法において、
前記抑圧工程は、
前記線分成分の検出レベルに応じて、抑圧制御の程度を変更する工程、
を含むことを特徴とする画像処理方法。
撮像素子からの出力である画像信号に所定の画像処理を施すプログラムを記録した処理装置読み取り可能な記録媒体であって、
前記撮像素子は、３原色成分のうち、いずれかの原色成分の画像信号をそれぞれ出力する３種の光電変換素子が、画素ごとに所定の配列規則に従って配置されたものであり、
前記プログラムは前記処理装置に、
前記撮像素子の出力である各画素の画像信号に対して近傍の画素の画像信号を用いて補間処理を行い、各画素について３原色成分の画像信号を出力する補間工程と、
３原色成分をもつ色空間の画像信号を、輝度成分と色差成分とをもつ色空間の画像信号に変換する色空間変換工程と、
前記輝度成分の信号値から線分成分を抽出する線分抽出工程と、
前記線分抽出工程により線分成分と判別された画素については、前記色差成分の信号値を抑圧する抑圧工程と、
を実行させることを特徴とする記録媒体。
請求項１に記載の画像処理装置において、
前記線分抽出手段は、線分抽出フィルタを用いて前記線分成分を抽出することを特徴とする画像処理装置。
請求項７に記載の画像処理装置において、
前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする画像処理装置。
請求項４に記載の画像処理方法において、
前記線分抽出工程では、線分抽出フィルタを用いて前記線分成分が抽出されることを特徴とする画像処理方法。
請求項９に記載の画像処理方法において、
前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする画像処理方法。
請求項６に記載の記録媒体において、
前記線分抽出工程では、線分抽出フィルタを用いて前記線分成分が抽出されることを特徴とする記録媒体。
請求項１１に記載の記録媒体において、
前記線分抽出フィルタはソーベル線分抽出フィルタであることを特徴とする記録媒体。