WO2007015535A1

WO2007015535A1 - 画像処理装置

Info

Publication number: WO2007015535A1
Application number: PCT/JP2006/315354
Authority: WO
Inventors: Gen Horie
Original assignee: Olympus Corporation
Priority date: 2005-08-03
Filing date: 2006-07-27
Publication date: 2007-02-08
Also published as: EP1912173A1; US20080175511A1; CN101238485B; US8041138B2; JP2007041834A; CN101238485A; JP4869653B2

Abstract

レンズ系（１００）、ＣＣＤ（１０１）を介して撮影された画像は、Ａ／Ｄ（１０２）においてデジタル信号に変換され、バッファ（１０３）に記憶される。バッファ（１０３）の出力は、ノイズ低減処理部（１０４）、エッジ強調処理部（１０７）、信号処理部（１０５）を順次介して、出力部（１０６）に接続されている。ノイズ低減処理部（１０４）は、バッファ（１０３）から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。

Description

明細書

画像処理装置

技術分野

本発明は、処理対象画像を複数の周波数成分に分解し、分解された周波数成分に対してノィズ低減等の画像処理を行う画像処理装置に関するものである。背景技術

画像処理装置においては、画像の劣化を防止するためにノィズ低減等の処理が行われている。例えば特開 2 0 0 0— 6 9 2 9 1号公報に示されているように、画像入力媒体のノィズ特性に基づいて，平滑化フィル夕のサイズを変更して、画像に平滑化処理を行っていた。これにより、画像の劣化を防止し、処理の高速化を図っている。

しかしながら、上記特開 2 0 0 0— 6 9 2 9 1号公報に記載の従来技術は、次のような問題があった。（ 1 ) 画像入力媒体のノイズ特性に基づいて平滑化処理の特性を変えているため、出力媒体や後処理装置の周波数特性の変化に対応して、変換処理の周波数特性を変えるという点について対応することができない。（2 ) ノイズ特性に基づいて、平滑化フィルタのサイズを変更して、画像に平滑化処理を行っていた。このため、複数のフィルタという点について対応することができない。本発明は、従来技術のこのような問題点に鑑みてなされたものであり、前記（ 1 )、 ( 2 ) の問題を解決して、後処理装置の周波数特性の変化に対応すると共に、適切なノィズ低減と画像細部の保持の両立が可能な画像処理装置を提供することを目的とする。

発明の開示

( 1 ) . 上記目的を達成するために、本発明の第 1の実施形態にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と前記変換処理された高周波成分とを合成する周波数合成手段と、出力信号に求められる周波数特性を設定する周波数特性設定手段と、前記周波数合成手段の出力信号に対して、さらに変換処理を行って、出力信号の周波数特性を、前記周波数特性設定手段で設定された周波数特性に調整する周波数特性調整手段と、'周波数特性設定手段において設定される周波数特性に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。

( 1 ) の発明に関する実施形態は、図 1〜図.1 0に示された第 1 の実施形態が対応する。（ 1 ) の発明の構成において、周波数分割手段は、図 2に示された低周波抽出部 2 0 0、高周波抽出部 2 0 1 が該当する。周波数成分変換手段は、図 2に示された高周波変換部 2 0 2が該当する。周波数合成手段は、図 2に示された合成部 2 0 9が該当する。周波数特性設定手段は、図 1、図 2に示されたエッジ強調パラメータ設定部 1 0 8が該当する。周波数特性調整手段は、図 1 、図 2に示されたエツジ強調処理部 1 0 7が該当する。周波数分割特性設定手段は、図 2に示された L P Fフィルタ係数設定部 2 2 2と H P Fフィルタ係数設定部 2 2 1が該当する。

【0 0 0 8】

( 1 ) の発明は、周波数特性設定手段により設定された周波数特性に応じて、周波数分割特性設定手段が周波数分割特性を設定する。周波数特性調整手段における周波数特性の調整に応じて、周波数分割手段における周波数の分割方法が変更される。この構成によれば、任意の周波数特性の調整を行つても、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファタ卜の発生が防止できる。 ( 2 ) の発明は、前記（ 1 ) の発明の前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の周波数成分を抽出する所定周波数成分抽出手段と、前記所定周波数成分抽出手段により抽出された前記所定の周波数成分に所定の強調処理を行う所定周波数成分強調手段と、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分、および前記周波数合成手段の出力信号を合成する所定周波数成分合成手段と、からなることを特徴とする。

( 2 ) の発明に関する実施形態は、図 2に示されている第 1 の実施形態が対応する。（2 ) の発明の構成において、所定周波数成分抽出手段はエツジ抽出部 2 1 1 が、所定周波数成分強調手段はエツジ強調部 2 1 2が、所定周波数成分合成手段はエッジ加算部 2 1 3がそれぞれ該当する。（2 ) の発明は、所定周波数成分強調手段により、強調係数を変えるような所定の強調処理が行われた所定の周波数成分と、（ 1 ) の発明の周波数合成手段の出力信号、すなわち低周波成分とを所定周波数成分合成手段で合成する。この構成によれば、鮮鋭感の調整が行われ、エッジ強調された画像信号が得られる。

( 3 ) の発明は、前記（ 1 ) の発明において、前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の低周波成分を抽出する低周波成分抽出手段をさらに有し、前記所定周波数成分合成手段が、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分と前記所定の低周波成分を合成することを特徴とする。

( 3 ) の発明に関する実施形態は、図 2に示されている第 1 の実施形態が対応する。（3 ) の発明の構成において、低周波成分抽出手段は画素補間部 2 1 0が該当する。（3 ) の発明は、低周波成分抽出手段で処理ブロックの領域中心の G画素を生成し、（2 ) の発明で所定の強調処理が行われた所定の周波数成分と所定周波数成分合成手段で合成される。この構成によれば、エッジ成分に変換処理を行って低周波成分に加算混合することにより、画像信号の鮮鋭感を調整することができる。

( 4 ) の発明は、前記（ 1 ) の発明の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。

( 4 ) の発明に関する実施形態は、図 2に示されている第 1 の実施形態が対応する。（4 ) の発明の構成において、高周波成分変換手段が、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段とを有することは、図 1 0の特性の処理を行うことが該当する。この構成によれば、例えば、 4 5度斜め高周波成分、 1 3 5度斜め高周波成分、水平垂直高周波成分、残余高周波成分のような各高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減することができる。

( 5 ) の発明は、前記（ 1 ) の発明において、前記周波数特性設定手段が、前記所定周波数成分抽出手段を構成する所定周波数抽出フィル夕の係数、もしくは、前記所定の強調処理の強調量、または、その両方を設定することを特徴とする。

( 5 ) の発明に関する実施形態は、図 2に示されている第 1の実施形態が対応する。（5 ) の発明の構成において、所定周波数抽出フィルタの係数設定は B P Fフィルタ係数設定.部 2 3 1 が、所定の強調処理の強調量設定は強調量設定部 2 3 2がそれぞれ該当する。この構成によれば、鮮鋭感の調整に応じて、エッジ強調処理バンドパスフィルタの周波数特性が変更された場合には、ノィズ低減処理の低周波抽出フィルタの周波数特性も変更する。このように周波数特性を変更することにより、ノイズ低減処理の低周波抽出フィルタの周波数特性と、エツジ強調処理のバンドバスフィルタの周波数特性に重なり部分が少なくなるようにして、残留したノィズ成分が強調されることによる画質の劣化を防止することができる。

( 6 ) の発明は、前記（ 1 ) の発明の前記周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。

( 6 ) の発明に関する実施形態は、図 2に示されている第 1 の実施形態が対応する。周波数分割特性設定手段である L P Fフィルタ係数設定部 2 2 2は、図 5または図 6に示されているような低周波抽出フイルクの係数を設定する。また、周波数分割特性設定手段である H P Fフィル夕係数設定部 2 2 1 は、図 4に示す高周波抽出フィルタ（H 1 〜H 1 2 ) と、図 7または図 8に示されている残余高周波抽出フィル夕の係数を設定する。この構成によれば、所定係数の高周波抽出フィルタで抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノィズを低減することができる。

( 7 ) 本発明の第 2の実施形態にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号のノィズ特性を推定するノィズ特性推定手段と、前記ノィズ特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。

( 7 ) の発明に関する実施形態は、図 1 1〜図 2 4に示された第 2と第 3の実施形態が対応する。（ 7 ) の発明における次の構成は図 1 2に示されている。周波数分割手段は、低周波抽出部 2 0 0、高周波抽出部 2 0 1、第二低周波抽出部 4 1 0、第二高周波抽出部 4 1 1、が該当する。周波数成分変換手段は、高周波変換部 2 0 2、高周波閾値算出部 4 5 1 、第二高周波変換部 4 1 2、第二高周波閾値算出部 4 5 2 が該当する。周波数合成手段は、合成部 2 0 9、第二合成部 4 0 9が該当する。ノイズ特性推定手段は、感度設定部 4 0 4が該当する。周波数分割特性設定手段は、信号選択部 4 0 3が該当する。なお、周波数分割特性設定手段として、図 1 2の信号選択部 4 0 3に代わる構成の図 1 8の重み付け加算部 5 0 0が該当する。

( 7 ) の発明は、ノイズ特性推定手段により推定されたノイズ特性に応じて、周波数分割特性設定手段が周波数分割特性を設定する。ノィズ特性に応じて、周波数分割手段における周波数の分割方法が変更される。この構成によれば、ノイズ量に応じて、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。

( 8 ) の発明は、（7 ) の発明の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。

( 8 ) の発明に関する実施形態は、図 1 2に示されている第 2の実施形態が対応する。所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段を有する高周波成分変換手段は、高周波閾値算出部 45 1、第二高周波閾値算出部 452による図 1 0の処理を行う処理手段が該当する。この構成によれば、水平方向、垂直方向、斜め方向の各方向の各高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノイズを低減することができる。

(9) の発明は、（7) の発明のノイズ特性推定手段は、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッター速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノィズ量を推定するノィズ量推定手段からなることを特徴とする。

(9) の発明に関する実施形態は、図 1 2〜図 1 5に示されている第 2の実施形態が対応する。図 1 3に示されているエツジ方向適応ノィズ低減処理部 40 1の高周波閾値算出部 45 1、図 1 5に示されているエツジ方向非適応ノィズ低減処理部 402の第二高周波閾値算出部 45 2は、それぞれ、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッタ一速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノイズ量を推定するノィズ量推定手段 80 6を有している。この構成によれば、撮影感度に応じてノイズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノイズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノイズの低減を両立することがでぎる。また、撮影感度が高い場合には、アーティファタ卜の発生を防止することができる。

( 1 0) の発明は、（7) の発明のノイズ特性推定手段は、 I S O感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有することを特徴とする。

( 1 0) の発明に関する実施形態は、図 1 2〜図 1 5に示されている第 2の実施形態が対応する。図 1 3に示されているエツジ方向適応ノィズ低減処理部 4 0 1 の高周波閾値算出部 4 5 1、図 1 5に示されているエツジ方向非適応ノィズ低減処理部 4 0 2の第二高周波閾値算出部 4 5 2は、それぞれ、 I S O感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有するノィズ量推定手段 8 0 6を設けている。この構成によれば、撮影感度に応じてノィズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノィズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノィズの低減を両立することができる。また、撮影感度が高い場合には、アーティファクトの発生を防止することができる。

( 1 1 ) の発明は、（7 ) の発明の前記周波数分割特性設定手段が、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィル夕の係数を設定することを特徴とする。

( 1 1 ) の発明に関する実施形態は、図 1 9に示された第 3の実施形態が対応する。周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数が、フィルタ係数設定部 2 2 0によって設定される。この構成によれば、各高周波成分に設定される抽出フィルタ係数が変更されることにより、エッジ方向適応ノィズ低減処理とエツジ方向非適応ノィズ低減処理の切り換えを行うことができる。

( 1 2 ) 本発明の第 4の実施形態にかかる画像処理装置は、入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号の周波数特性を推定する周波数特性推定手段と、前記周波数特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする。

( 1 2) の発明に関する実施形態は、図 25〜図 27に示された第 4 の実施の形態が対応する。（ 1 2) の発明の構成において、周波数分割手段は、図 2 6の水平垂直高周波抽出部 2 0 1、 45度斜め高周波抽出部 2 03、 1 35度斜め高周波抽出部 2 05、残余高周波抽出部 2 0 7、図 2 7の斜め高周波抽出部 40 5、垂直高周波抽出部 403、水平高周波抽出部 4 2 1が該当する。高周波成分変換手段は、図 26 に示された水平垂直高周波変換処理部 2 0 2 , 4 5度斜め高周波変換処理部 2 04、 1 3 5度斜め高周波変換処理部 2 0 6、残余高周波変換処理部 20 8、高周波閾値算出部 45 1、残余高周波閾値算出部 9 00が該当する。また、図 2 7に示された垂直高周波変換部 404、斜め高周波変換部 4 06、水平高周波変換処理部 42 2、高周波閾値算出部 45 1が該当する。周波数合成手段は、図 2 6、図 27に示された合成部 209が該当する。周波数特性推定手段は、図 2 6に示された輝度色差分離部 9 1 1が該当する。周波数分割特性設定手段は、図 26、図 2 7に示されたノィズ低減処理部 1 04、色差ノィズ低減処理部 450の低周波抽出フィル夕、各高周波抽出フィル夕に対する図 2の H P Fフィルタ設定部 22 1、 L P Fフィル夕設定部 222が該当する。

( 1 2) の発明は、輝度信号の周波数分割特性と色差信号の周波数分割特性が異なっており、輝度信号、および色差信号は、それぞれの信号に適した周波数分割方法で変換処理を行うことができる。

( 1 3) の発明は、（ 1 2) の発明の前記高周波成分変換手段が、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする。

( 1 3) の発明に関する実施形態は、図 2 6、図 2 7に示された第 4の実施の形態が対応する。所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段は、図 2 6の水平垂直高周波変換処理部 20 2、 45度斜め高周波変換処理部 204、 1 3 5度斜め高周波変換処理部 206、残余高周波変換処理部 2 08、図 2 7の斜め高周波変換部 4 06、垂直高周波変換部 404、水平高周波変換部 42 2が該当する。また所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段は、図 2 6の高周波閾値算出部 4 5 1、残余高周波閾値算出部 90 0、図 2 7の高周波閾値算出部 45 1 が該当する。（ 1 3) の発明は、前記のような閾値処理を行うことにより、高周波成分のノイズ成分を削除することができる。

( 1 4) の発明は、（ 1 2) の発明の前記周波数特性推定手段は、撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することを特徴とする。

( 1 4) の発明に関する実施形態は、図 27に示されている第 4の実施形態が対応する。撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィル夕の配置情報から前記色フィルタに対応する信号の周波数特性を推定することは、輝度色差分離部 9 1 1の処理が該当する。この構成によれば、輝度信号（G) と色差信号（R— G、 B -G) に対して、それぞれの信号に適した周波数分解方法で、ノィズ低減処理を行うことができる。

( 1 5) の発明は、（ 1 2) の発明の前記周波数特性推定手段が、色信号の種別から当該色信号の周波数特性を推定することを特徴とする。

( 1 5) の発明に関する実施形態は、図 2 7に示されている第 4の実施形態が対応する。色信号の種別から当該色信号の周波数特性を推定することは、輝度色差分離部 9 1 1の処理が該当する。この構成によれば、輝度信号、色差信号に対して、それぞれの周波数特性に適した周波数分割方法で、ノイズ低減処理を行うことができる。

( 1 6) の発明は、（ 1 2) の発明の周波数分割特性設定手段が、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする。

( 1 6) の発明に関する実施形態は、図 26、図 2.7に示されている第 4の実施形態が対応する。周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することは、図 2 6の低周波抽出部 2 00が、図 6に示す低周波抽出フィルタにより構成され、この低周波抽出フィルタは、図 2に示した L P Fフィルタ係数設定部 22 2で設定されることが該当する。また、水平垂直高周波抽出部 20 1、 45度斜め高周波抽出部 203、 1 3 5度斜め抽出部 2 0 5は、図 4に示す高周波抽出フィルタ（H 1〜H 1 2) により構成され、残余高周波抽出フィルタ 2 0 7は、図 8 示す残余高周波抽出フィルタにより構成される。これらの高周波抽出フィルタと残余高周波抽出フィルタは、図 2に示した H P Fフィルタ係数設定部 22 1で設定されることが「周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定すること」に該当する。さらに、図 2 7の色差ノイズ低減処理部 4 5 0において、低周波抽出部 2 00の低周波抽出フィル夕、各高周波抽出部 4 03、 405、 44 1〜 447の高周波抽出フィルタは、図 2に示したノィズパラメータ設定部 1 0 9の H P Fフィルタ係数設定部 2 2 1、 L P Fフィルタ係数設定部 2 2 2で設定されることが「周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定すること」に該当する。この構成によれば、所定係数の高周波抽出フィルタで抽出された各高周波

1 成分に変換処理を行うことにより、各高周波成分に含まれているノィズを低減することができる。

本発明においては、任意の周波数特性の調整を行っても、特定の周波数成分に対して意図しない調整が行われることを防止できる。このため、信号処理により不可避的に生じる不要な像または信号成分であるアーティファクトの発生を防止することができる。また、ノイズ量に応じて、特定の周波数成分に対して意図しない調整が行われることを防止できるため、アーティファクトの発生が防止できる。本発明は、画像信号処理の際に後処理装置の周波数特性の変化に応じて、周波数分解に基づく変換処理の周波数分解特性を変えることにより、画質の劣化を防止すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。図面の簡単な説明

図 1 は第 1の実施形態の構成図である。

図 2は図 1の部分的な構成を示す構成図である。

図 3はべィヤー配列を示す説明図である。

図 4は高周波抽出フィルタの例を示す説明図である。

図 5は低周波抽出フィルタの例を示す説明図である。

図 6は低周波抽出フィルタの例を示す説明図である。

図 7は残余高周波抽出フィルタの例を示す説明図である。

図 8は残余高周波抽出フィルタの例を示す説明図である。

図 9はバンドパスフィル夕の特性を示す特性図である。

図 1 0はコアリング変換処理の例を示す特性図である。

図 1 1 は第 2の実施形態の構成図である。

図 1 2は図 1 1の部分的な構成を示す構成図である。

図 1 3は図 1 2の部分的な構成を示す構成図である。図 1 4はノイズモデルの例を示す特性図である。

図 1 5は図 1 2の部分的な構成を示す構成図である。

図 1 6は高周波抽出フィルタの例を示す説明図である。

図 1 7は低周波抽出フィルタの例を示す説明図である。

図 1 8は図 1 2の変形例を示す構成図である。

図 1 9は第 3の実施形態の構成図である。

図 2 0は高周波抽出フィルタの例を示す説明図である。

図 2 1 は第 3の実施形態にかかる変形例の構成図である。

図 2 2は図 2 1の部分的な構成を示す構成図である。

図 2 3は画素の例を示す説明図である。

図 2 4は局所分散値の例を示す特性図である。

図 2 5は第 4の実施形態の構成図である。

図 2 6は図 2 4の部分的な構成を示す構成図である。

図 2 7は図 2 4の部分的な構成を示す構成図である。発明を実施するための最良の形態

以下、本発明の第 1 の実施形態について図を参照して説明する。図 1〜図 1 0は、第 1 の実施形態に適用される図である。図 1 は、第 1 の実施形態の構成図、図 2は、図 1 の部分的な構成を示す構成図、図 3はべィヤー配列を示す説明図、図 4は高周波抽出フィルタの例を示す説明図、図 5は低周波抽出フィルタの例を示す説明図、図 6は低周波抽出フィル夕の例を示す説明図、図 7は残余高周波抽出フィルタの例を示す説明図、図 8は残余高周波抽出フィルタの例を示す説明図、図 9はバンドパスフィルタの特性と口一パスフィルタの特性の関係を示す特性図、図 1 0はコアリング変換処理の例を示す特性図である。本発明に基づく画像処理装置の第 1 の実施形態は、デジタルカメラを想定したもので、被写体を撮影し、得られたデジタルデータを記憶媒体に記録する機能を実現するものである。図 1 において、レンズ系 1 0 0、 C C D 1 0 1 を介して撮影された画像は、 A Z D 1 0 2においてデジタル信号に変換され、ノくッファ 1 0 3に記憶される。バッファ 1 0 3の出力は、ノィズ低減処理部 1 0 4、エツジ強調処理部 1 0 7、信号処理部 1 0 5を順次介して、出力部 1 0 6に入力されている。さらに、図示しない、マイクロコンピュータ等により構成される制御部が、各部と双方向に接続されている。バッファ 1 0 3から読み出された画像信号は、ノイズ低減処理部 1 0 4で、画像信号に含まれるノィズが低減された後、ェッジ強調処理部 1 0 7でエツジ強調処理が行われる。さらに信号処理部 1 0 5において、色補正処理、圧縮処理などの、公知の信号処理が行われ、出力部 1 0 6で記録媒体に保存される。また、ノイズ低減パラメータ設定部 1 0 9がノイズ低減部 1 0 4に、ェッジ強調パラメ一タ設定部 1 0 8がエツジ強調処理部 1 0 7 に接続されている。

ノイズ低減処理は、図 3に示すような、縦 5画素、横 5画素のペイヤー配列からなる領域を処理単位として行われる。ノィズ低減処理が行われると、図 3で領域中心の G画素の信号が変換される。領域を 2 画素ずつ移動させながら、同様の処理を行うことを繰り返すことにより、画像全体にノイズ低減処理が行われる。これらのィズ低減処理は、制御部の制御に基づき行われる。

図 2には、図 1 のノィズ低減処理部 1 0 4、エツジ強調処理部 1 0 7、ノイズ低減パラメータ設定部 1 0 9、エッジ強調パラメータ設定部 1 0 8の詳細構成が示されている。ノィズ低減処理部 1 0 4は、ノッファ 1 0 3から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。ここでは、周波数分解は、方向性のある高周波抽出フィルタによって行われる。低周波抽出部 2 0 0は、バッファ 1 03から読み出された画像信号に、図 5、または図 6に示されている低周波抽出フィルタを適用し、低周波成分を抽出する。低周波抽出フィルタは、 L P Fフィルタ係数設定部 22 2により設定される。低周波抽出部 2 00により抽出された低周波成分は、合成部 20 9に出力される。高周波抽出部 20 1 は、バッファ 1 03から読み出された画像信号に、図 4に示す高周波抽出フィルタ（H I〜 H I 2) と、図 7または、図 8に示されている残余高周波抽出フィルタにより、 1 3種類の高周波成分を抽出する。

高周波抽出フィルタ（H 1〜H 1 2) と残余高周波抽出フィルタは、 H P Fフィルタ係数設定部 2 2 1 により設定される。図 4は、高周波抽出フィルタ（H 1〜H 1 2) を示しており、（a) は 45度斜め高周波成分、（b) は 1 3 5度斜め高周波成分、（ c ) は水平垂直高周波成分、をそれぞれ抽出する。また、 45度斜め高周波抽出フィルタは、第第四の高周波抽出フィルタ（H 1〜H 4) からなる。また、 1

3 5度斜め高周波抽出フィルタは、第第四の高周波抽出フィルタ

(H 5〜H 8) からなる。さらに、水平垂直高周波抽出フィルタは、第第四の高周波抽出フィルタ（H 9〜H 1 2 ) からなる。なお、

1 / 1 6は、ビットシフト演算されるレベル調整用の除数である。図 2の高周波抽出部 2 0 1 は、図 4 (a ) 〜（ c) に示されているように、 4 5度斜め方向、 1 35度斜め方向、水平垂直方向の方向性のある高周波成分を抽出している。

残余高周波成分は、原信号から、低周波成分、水平垂直高周波成分、 45度斜め高周波成分、 1 35度斜め高周波成分を抽出した後の残りの成分である。図 7または、図 8に示されている残余高周波抽出フィルタは、低周波成分、水平垂直高周波成分、 4 5度斜め高周波成分、 1 3 5度斜め高周波成分、残余高周波成分のすべての成分を合成することにより、原信号が完全に復元されるようにするために設けられている。したがって、図 5の L P Fに図 7の残余高周波フィルタが対応し、図 6の L P Fに対応して、図 8の残余高周波フィルタが用いられる。

高周波変換部 2 0 2は、抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減する。高周波変換部 2 0 2では、図 1 0に示すようなコアリング変換処理が行われる。図 1 0において、〇の部分は閾値よりも絶対値が小さい振幅の成分を示している。高周波変換部 2 0 2では、図 1 0のコアリング変換処理を行い、各高周波成分のうち、前記〇の部分である閾値よりも小さい振幅の成分を削除することにより、ノイズを低減する。ノイズが低減された高周波成分は、合成部 2 0 9にて他の成分と合成される。ェッジ強調処理部 1 0 7は、ノィズ低減処理が行われた画像信号から、エッジ成分と低周波成分を抽出し、適宜エッジ成分に変換処理を行った後、低周波成分に加算混合することにより、画像信号の鮮鋭感を調整する。画素補間部 2 1 0は、図 3に示す処理プロックの G画素の信号にローパスフィルタをかけることにより、低周波成分を抽出する。この処理により、図 3に示す処理ブロックの R Z B画素における G成分が生成される。エッジ抽出部 2 1 1 は、図 3に示す処理ブロックの G画素の信号にバンドパスフィル夕をかけることにより、エッジ成分を抽出する。

エッジ強調部 2 1 2は、エッジ成分に係数をかけることにより'、ェッジ成分の変換処理を行う。エッジ加算部 2 1 3では、エッジ強調部 2 1 2で変換処理されたエッジ成分と、画素補間部 2 1 0で抽出された低周波成分を合成し、エッジ強調された画像信号を得る。強調量設定部 2 3 2からエツジ強調部 2 1 2に与えられる強調係数を変えたり、 B P F フィルタ係数設定部 2 3 1 からエツジ抽出部 2 1 1 に与えられるバンドバスフィルタ係数を変えることにより、鮮鋭感の調整が行われる。これらの係数の変更は、モード設定部 2 5 0のモード設定に応じて行われる。エッジ強調モード設定に応じて、エッジ抽出部 2 1 1 のバンドパスフィルタの特性が、図 9 ( a ) に示すように B P F 1 、もしくは図 9 ( b ) に示すように B P F 2 となるように、バンドパスフィルタの係数が切り換えられる。

エッジ抽出部 2 1 1 のバンドパスフィル夕が切り換えられると、それに応じて、ノィズ低減処理部 1 0 4における低周波抽出部 2 0 0の低周波抽出フィルタも切り換える。エッジ抽出フィルタ B P F 1 の特性に対しては、図 5に示す低周波抽出フィルタ 1 を、またエッジ抽出フィルタ B P F 2の特性に対しては、図 6に示す低周波抽出フィルタ 2を設定する。図 5に示す低周波抽出フィルタ 1 は図 9 ( a ) の L P F 1 の特性を有し、図 6に示す低周波抽出フィルタ 2は図 9 ( b ) の L P F 2の特性を有している。

さらに、低周波抽出部 2 0 0の低周波抽出フィルタの切り換えに応じて、高周波抽出部 2 0 1 の残余高周波抽出フィルタも切り換える。図 5に示す低周波抽出フィルタ 1 に対しては、図 7に示す残余高周波抽出フィルタ 1 を設定する。また、図 6に示す抽出フィルタ 2に対しては、図 8に示す残余高周波抽出フィルタ 2を設定する。

ノィズ低減処理部 1 0 4の低周波抽出部 2 0 0の出力は、そのまま、エッジ強調処理部 1 0 7に入力される。このため、ノイズ低減処理部 1 0 4の低周波抽出フィル夕の周波数特性と、ェッジ強調処理部 1 0 7のバンドバスフィルタの周波数特性に、図 9で示すような重なり部分が生じる。このように重なり部分があると、重なった部分の周波数成分が強調される。この周波数特性が重なつた周波数領域にノイズの成分が残留していると、ノイズ成分が強調されて画質の劣化を招く。一方、ェッジ強調処理部 1 0 7のバンドパスフィルタの特性は、所望の鮮鋭感が得られるように、個別に調整されるため、ノイズ低減処理部 1 0 4の低周波抽出フィルタの周波数特性と、ェッジ強調処理部 1 0 7のバンドパスフィルタの周波数特性の関係は、ひとつに定まらない。

そこで、上記のように、鮮鋭感の調整に応じて、エッジ強調処理部 1 0 7のバンドパスフィルタの周波数特性が変更された場合には、ノィズ低減処理部 1 0 4の低周波抽出フィルタの周波数特性も変更する。これにより、ノィズ低減処理部 1 0 4の低周波抽出フィルタの周波数特性と、ェッジ強調処理部 1 0 7のバンドパスフィルタの周波数特性に重なり部分が少なくなるようにして、残留したノイズ成分が強調されることによる画質の劣化を防止する。

図 1 1〜図 1 8は、本発明の第 2の実施形態に適用される図である。図 1 1 は第 2の実施形態の構成図、図 1 2は図 1 1 の部分的な構成を示す構成図、図 1 3は図 1 2の部分的な構成を示す構成図、図 1 4はノイズモデルの例を示す特性図、図 1 5は図 1 2の部分的な構成を示す構成図、図 1 6は高周波抽出フィルタの例を示す説明図、図 1 7は低周波抽出フィルタの例を示す説明図、図 1 8は図 1 2の変形例を示す構成図である。なお、第 1 の実施形態で説明した図 3のべィヤー配列を示す説明図と、図 1 0のコアリング変換処理の例を示す特性図は、第 2の実施形態でも適用される。

図 1 1 に、本発明の第 2の実施形態における画像処理装置を示す。この発明の実施形態は、デジタルカメラを想定しており、被写体を撮影し、得られたデジタルデータを記憶媒体に記録する機能を実現するものである。レンズ系 1 0 0、 C C D 1 0 1 を介して撮影された画像は、 A Z D 1 0 2においてデジタル信号に変換され、ノッファ 1 0 3 に記憶される。ノッファ 1 0 3の出力は、ノィズ低減処理部 1 0 4、信号処理部 1 0 5を順次介して、出力部 1 0 6に入力されている。

さらに、図示しない、マイクロコンピュータ等により構成される制御部が、各部と双方向に接続されている。バッファ 1 0.3から読み出された画像信号は、ノィズ低減処理部 1 0 4で画像信号に含まれるノィズが低減された後、信号処理部 1 0 5において、色補正処理、圧縮処理などの公知の信号処理が行われ、出力部 1 0 6で記録媒体に保存される。また、感度設定部 4 0 4が、ノィズ低減部 1 0 4に接続されている。

ノィズ低減処理部 1 0 4におけるノィズ低減処理は、第 1 の実施形態で説明したと同様に、図 3で示された縦 5画素、横 5画素のべィャ一配列からなる領域を処理単位として行われる。ノィズ低減処理が行われると、図 3で領域中心の G画素の信号が変換される。領域を 2画素ずつ移動させながら、同様の処理を行うことを繰り返すことにより、画像全体にノィズ低減処理が行われる。これらのノィズ低減処理は、制御部の制御に基づき行われる。

図 1 2に、ノイズ低減処理部 1 0 4の詳細な構成を示す。ノイズ低減処理部 1 0 4は、エツジ方向適応ノィズ低減処理部 4 0 1、エッジ方向非適応ノィズ低減処理部 4 0 2と、エツジ方向適応ノィズ低減処理部 4 0 1、およびエツジ方向非適応ノィズ低減処理部 4 0 2のそれそれの出力に接続された信号選択部 4 0 3とからなる。エッジ方向適応ノィズ低減処理部 4 0 1 は、バッファ 1 0 3から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施し . た後、再合成し、ノイズを低減する。ここでは、周波数分解は、方向性のある高周波抽出フィルタによって行われる。エッジ方向適応ノィズ低減処理部 4 0 1 で実現されるノィズ低減処理は、複数の高周波成分に分割し、分割された成分ごとにノイズ低減処理を行うため、画像信号に含まれる本来の構造と、ノィズ成分との分離性が良いという特徴がある。

低周波抽出部 2 0 0は、バッファ 1 0 3から読み出された画像信号に、図 1 7に示す低周波抽出フィルタを適用し、低周波成分を抽出する。抽出された低周波成分は、合成部 2 0 9に出力される。また、高周波抽出部 2 0 1は、水平高周波抽出部 4 2 1、垂直高周波抽出部 4 23、斜め高周波抽出部 42 5からなる。高周波抽出部 20 1 は、ノッファ 1 03から読み出された画像信号に、図 1 6に示す高周波抽出フィルタ（H 1〜H 1 2) により、 1 2種類の高周波成分を抽出する。高周波変換部 2ひ 2は、水平高周波変換部 42 2、垂直高周波変換部 424、斜め高周波変換部 42 6を有している。高周波変換部 20 2は、水平高周波抽出部 42 1、垂直高周波抽出部 4 23、斜め高周波抽出部 42 5で抽出された各高周波成分に変換処理を行うことにより、各高周波成分に含まれているノイズを低減する。

図 1 6の高周波抽出フィルタ（H 1〜H 1 2) において、（a) は水平高周波成分、（b) は垂直高周波成分、（ c ) は斜め高周波成分、をそれぞれ抽出する。図 1 6においては、図 6で説明したと同様に、例えば、水平高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ

(H 1〜H 4) からなる。また、垂直高周波抽出フィルタは、第第四の高周波抽出フィルタ（H 5〜H 8) からなる。さらに、斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタ（H 9〜H 1 2) からなる。このように、高周波抽出フィルタは、水平方向、垂直方向、斜め方向の方向性のある高周波抽出を行う。

高周波変換部 20 2では、前記した図 1 0に示すようなコアリング変換処理が行われる。各高周波成分のうち、閾値よりも小さい振幅の成分（図 1 0の〇印の領域）を削除することによりノイズを低減する。高周波閾値算出部 4 5 1 は、変換処理に用いられる閾値を決定する。ノィズが低減された高周波成分は、合成部 2 09にて他の成分と合成される。

図 1 3に示されるように、高周波閾値算出部 4 5 1 は、ノィズ量推定部 8 0 6、閾値調整部 4 4 9から構成される。ノイズ量推定部 8 0 6は、図 1 4に示すノィズモデルと低周波抽出部 2 0 0で得られた低周波成分を用いて、高周波成分に含まれると推定されるノイズ量を求める。図 1 4のノイズモデルは、予め、理論計算や実測により定められており、実線が高感度時、破線が低感度時の特性を示している。図 1 3に示される閾値調整部 4 4 9は、ノィズ量推定部 8 0 6で得られたノイズ量に調整値を乗算する。この調整値は、水平高周波変換部 4 2 2、垂直高周波変換部 4 2 4、斜め高周波変換部 4 2 6において行われる変換処理の強度を調整するための値で、所望の画質が得られるように、予め調整作業を行って決定された値が設定されている。

図 1 5に示されたエツジ方向非適応ノィズ低減処理部 4 0 2は、バッファ 1 0 3から読み出した画像信号を、第二低周波抽出部 4 1 0および第二高周波抽出部 4 1 1 で低周波成分と高周波成分に分解する。第二低周波抽出部 4 1 0で抽出された低周波成分（A ) は、第二高周波閾値算出部 4 5 2に入力される。また、第二低周波抽出部 4 1 0で抽出された低周波成分は、符号が反転された後、第二高周波抽出部 4 1 1 の加算器 Cでバッファ 1 0 3から読み出した画像信号と合成される。この結果、画像信号に含まれる高周波成分が抽出される。

第二高周波閾値算出部 4 5 2は、図 1 3で説明した高周波閾値算出部 4 5 1 と同じ構成で、ノィズ量推定部 8 0 6、閾値調整部 4 4 9から構成される。第二高周波閾値算出部 4 5 2の出力は、第二高周波変換部 4 1 2に入力され、第二高周波抽出部 4 1 1 で抽出された高周波成分に対する変換処理の強度を調整する。第二高周波変換部 4 1 2で高周波成分に変換処理を施した後、第二合成部 4 0 9において第二低周波抽出郁 4 1 0で抽出された低周波成分と再合成し、ノイズを低減する。第二合成部 4 0 9の出力は、信号選択部 4 0 3に入力される。図 1 2の第二低周波抽出部 4 1 0は、ノッファ 1 0 3から読み出された画像信号に、図 1 7に示す低周波抽出フィルタを適用し、低周波成分を抽出する。低周波抽出フィルタで抽出された低周波成分は、第二合成部 4 0 9に出力される。第二高周波抽出部 4 1 1 は、減算器で構成され、バッファ 1 0 3から読み出された画像信号から、低周波成分を減算することにより、高周波成分を抽出する。第二高周波変換部 4 1 2は、第二高周波抽出部 4 1 1 で抽出された高周波成分に変換処理を行うことにより、高周波成分に含まれているノィズを低減する。第二高周波変換部 4 1 2では、図 1 0に示すようなコアリング変換処理が行われる。すなわち、第二高周波変換部 4 1 2は高周波成分のうち、閾値よりも小さい振幅の成分を削除することによりノィズを低減する。第二高周波閾値算出部 4 5 2は、変換処理に用いられる閾値を決定する。第二高周波変換部 4 1 2でノイズが低減された高周波成分は、第二低周波抽出部 4 1 0で抽出された低周波成分と第二合成部 4 0 9で合成される。第二高周波閾値算出部 4 5 2は、高周波閾値算出部 4 5 1 と同じ構成で、ノイズモデル、調整値が異なるものとなつている。

信号選択部 4 0 3は、ェッジ方向適応ノィズ低減処理部 4 0 1 の出力と、エツジ方向非適応ノィズ低減処理部 4 0 2の出力を入力とし、感度設定部 4 0 4の撮影感度設定に応じて、どちらかの信号を選択して信号処理部 1 0 5に出力する。撮影感度が予め決められた感度よりも高い場合、信号選択部 4 0 3は、エッジ方向非適応ノイズ低減処理部 4 0 2の出力を選択して信号処理部 1 0 5に出力する。

感度設定部 4 0 4では、撮像素子の温度または入力信号に対するゲインまたは撮影時のシャッタ一速度のうち少なくとも一つの情報に基づき撮影感度を設定する。また、感度設定部 4 0 4は、 I S O感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段を有する。撮影感度が高い場合、画像信号に含まれるノイズが増えるため、図

3に示すような小さな処理プロック領域内では、画像信号に含まれる本来の構造と、ノイズ成分によって偶々生じた構造との区別が難しくなってくる。このため、ノイズ成分の一部が低減されずに残留してァ一ティファクトを発生させてしまい、画質を劣化してしまう。この結果、撮影感度が高い場合、エッジ方向適応ノィズ低減処理部 4 0 1 で実現されるノィズ低減処理よりも、エツジ方向非適応ノィズ低減処理部 4 0 2で実現されるノィズ低減処理の方が好ましい結果を得られる。そこで、撮影感度が低い場合は、エッジ方向適応ノイズ低減処理部 4 0 1 の出力を、ノィズ低減処理部 1 0 4の出力とする。また、撮影感度が高く、画像信号に含まれるノイズ量が多い場合には、エッジ方向非適応ノィズ低減処理部 4 0 2の出力を、ノィズ低減処理部 1 0 4 の出力とする。このように、信号選択部 4 0 3は、撮影感度に応じてェッジ方向適応ノィズ低減処理部 4 0 1、またはエツジ方向非適応ノィズ低減処理部 4 0 2の出力を選択して信号処理部 1 0 5に出力する。このように、撮影感度に応じてノィズ低減処理を制御することにより、撮影感度が低い場合には、画像信号に含まれる本来の構造とノィズ成分を分離して、効果的にノイズ低減を行い、鮮鋭感の向上とノィズの低減を両立する。また、撮影感度が高い場合には、アーティファタトの発生を防止する。なお、図 1 2の信号選択部 4 0 3の代わりに、図 1 8に示すような重み付け加算部 5 0 0を設け、撮影感度が高くなるほど、ェッジ方向非適応ノィズ低減処理部 4 0 2の出力の重みを大きくするように制御しても良い。

図 1 8の重み付け加算部 5 0 0は、乗算器 D、 Eと加算器 Fからなる。係数生成部 5 0 1 は、感度設定部 4 0 4で設定された撮影感度に応じて、エツジ方向適応ノィズ低減処理部 4 0 1 の出力に対する重み係数を決定して、乗算器 Eに設定し、エッジ方向非適応ノイズ低減処理部 4 0 2の出力に対する重み係数を决定して、乗算器 Dに設定する。乗算器 Eは、ェッジ方向適応ノィズ低減処理部 4 0 1 の出力に対して、エッジ方向適応ノィズ低減処埋部 4 0 1 の出力に対する重み係数を乗算して、加算器 Fに出力する。乗算器 Dは、エッジ方向非適応ノイズ低減処理部 4 0 2の出力に対して、エツジ方向非撓応ノィズ低減処理部 4 0 2の出力に対する重み係数を乗算して、加算器 Fに出力する。加算器 Fは、係数生成部 5 0 1 によって決定された係数により重み付けされたエツジ方向適応ソィズ低減処理部 4 0 1 の出力とエッジ方向非適応ノィズ低減処理部 4 0 2の出力を加算して信号処理部 1 0 5に出力する。上記の例では、信号選択部 4 0 3における信号の選択や、重み付け加算部 5 0 0における信号の重み付け加算処理は、感度設定部 4 0 4で設定された撮影感度に応じて行われている。これらの信号選択や重み付け加算処理は、画像信号に含まれるノイズ量に応じて行われることが望ましい。そこで、感度設定部 4 0 4で設定された撮影 . 感度の代わりに、ノィズ推定部 8 0 6から出力されるノィズ推定量に基づいて、信号選択部 4 0 3における信号の選択や、重み付け加算部 5 0 0における信号の重み付け加算処理が行われる構成としても良い。図 1 9〜図 2 4は、本発明の第 3の実施形態に適用される図である。図 1 9は第 3の実施形態の構成図、図 2 0は高周波抽出フィルタの例を示す説明図、図 2 1 は第 3の実施形態にかかる変形例の構成図、図 2 2は図 2 1 の部分的な構成を示す構成図、図 2 3は画素の例を示す説明図、図 2 4は局所分散値の例を示す特性図である。なお、第 2の実施形態で説明した図 1 6の高周波抽出フィルタの例を示す説明図、図 1 7で説明した低周波抽出フィルタの例を示す説明図も、第 3の実施形態に適用される。

第 2の実施形態では、図 1 2の構成図に示されているように、周波数分解の方法が異なる二つのノィズ低減処理部であるェッジ方向適応ノィズ低減処理部 4 0 1 とエツジ方向非適応ノィズ低減処理部 4 0 2 を設け、信号選択部 4 0 3で、それぞれの出力を選択して出力していた。第 3の実施形態では、ノイズ低減処理部をエッジ方向適応ノイズ低減処理部 4 0 1 とエツジ方向非適応ノィズ低減処理部 4 0 2の二つ設けることに代えて、フィルタ係数を切り換えることにより、実行されるノイズ低減処理を切り換えるものである。

本実施形態では、図 1 9に示されているように、図 1 2のエッジ方向適応ノィズ低減処理部 4 0 1 と同じ構成に、フィルタ係数設定部 2 2 0を加えた構成からなるノイズ低減部 1 0 4を設ける。図 1 9において、フィルタ係数設定部 2 2 0は、水平高周波抽出部 4 2 1 、垂直高周波抽出部 4 2 3、斜め高周波抽出部 4 2 5 に、感度設定部 4 0 4 の撮影感度に応じて異なる抽出フィルタ係数を設定する。

各高周波抽出部 4 2 1、 4 2 3、 4 2 5には、それぞれ水平高周波変換部 4 2 2、垂直高周波変換部 4 2 4、斜め高周波変換部 4 2 6.が接続されている。

図 1 9において、感度設定部 4 0 4で設定された撮影感度の設定に基づいてフィルタ係数設定部 2 2 0で、各高周波成分に設定される抽出フィルタ係数が変更されることにより、エツジ方向適応ノィズ低減処理とエツジ方向非適応ノィズ低減処理の切り換えが行われる。撮影感度が予め決められた感度よりも低い場合は、第 2の実施形態で説明した図 1 6 (高周波抽出フィルタ）、図 1 7 (低周波抽出フィル夕）に示すフィルタ係数が設定されることにより、エツジ方向適応ノィズ低減処理が行われる。一方、撮影感度が予め決められた感度よりも高い場合は、図 2 0 (高周波抽出フィルタ）、図 1 7 (低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向非適応ノイズ低減処理が行われる。

ここで、図 2 0は、図 1 6と同様に、各高周波抽出部に設定される抽出フィルタを示したものである。撮影感度が予め決められた感度よりも高い場合は、ェッジ方向非適応ノィズ低減処理が行われるようにする。このため、第一水平高周波抽出フィルタ（H I ) のみを高周波抽出フィルタとして用い、他の高周波抽出フィルタ（H 2〜H 1 2) には、すべて 0の係数を設定する。この結果、第一水平高周波抽出フィルタにより、すべての方向の高周波戒分が抽出され、エッジ方向非適応ノィズ低減処理が行われる。

図 2 1 に第 3の実施形態の変形例を示す。図 1 9に示した第 3の実施形態においては、感度設定部 404の撮影感度の設定に応じて、低周波抽出部 200、および各高周波抽出部（42 1〜42 5) に設定される抽出フィルタ係数を変更していた。図 2 1 に示す変形例では、画像信号に含まれるノイズ量を推定し、推定されたノイズ量に基づき、抽出フィルタ係数を変更する。図 2 1 に示されているように、図 1 9 の撮影感度を設定する感度設定部 404に代えてノィズ量分析部 88 1が設けられている。

図 2 2にノィズ量分析部 88 1 を示す。高周波抽出部 8 9 1 は、図 20の高周波抽出フィルタにおいて、 H 1 で示すフィルタにより画像信号の高周波成分を抽出する。分散算出部 892は、注目画素の周辺 n X n画素における局所分散値を算出する。局所分散値は、図 2 3に示す注目画素の周辺 n x n画素における高周波成分の二乗値を合計し、 nの二乗で除算したものである。入力画像の全画素に対応する高周波成分に対して局所分散値を算出し、分散値バッファ 893に一時的に保持する。

ヒストグラム生成部 894は、分散値バッファ 893の局所分散値に基づき、局所分散値のヒストグラムを生成する。最頻値検出部 89 5は、図 24の特性図に示すように、局所分散値のヒストグラムから、最も発生頻度が高い局所分散値を決定し、この時の局所分散値を、画像信号に含まれるノイズ量の推定値として出力する。フィルタ係数設定部 2 2 0は、図 2 1 で説明したようにノィズ量の推定値に基づいて、低周波抽出部 2 0 0および各高周波抽出部（4 2 1〜4 2 5 ) に設定される抽出フィルタ係数を変更する。

ノイズ量の推定値が、予め決められた値より小さいときは、図 1 6 (高周波抽出フイルク）、図 1 7 (低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エツジ方向適応ノィズ低減処理が行われる。一方、ノイズ量の推定値が、予め決められた感度よりも高い場合は、図 2 0 (高周波抽出フィルタ）、図 1 7 (低周波抽出フィルタ）に示すフィルタ係数が設定されることにより、エッジ方向適応非ノイズ低減処理が行われる。また、ノイズ量の推定値は、閾値調整部 4 4 9にも与えられ、各高周波成分の変換処理の閾値の基準としても用いられる。

本変形例では、画像信号から、画像信号に含まれるノイズ量の推定値を算出するに際して、分散算出部 8 9 2の処理による局所分散値を用いる方法を示したが、これに限定されるものではない。

図 2 5〜図 2 7は第 4の実施形態に適用される図である。図 2 5は第 4の実施形態の構成図、図 2 6は、図 2 5の部分的な構成を示す構成図、図 2 7は図 2 5の部分的な構成を示す構成図である。また、図 4の高周波抽出フィルタ、図 6の低周波抽出フィルタ、図 8の残余高周波抽出フイルク、図 1 6の高周波抽出フィルタ、および図 1 7の低周波抽出フィルタも第 4の実施形態に適用される。

図 2 5に、本発明の第 4の実施形態における画像処理装置を示す。レンズ系 1 0 0、 C C D 1 0 1 を介して撮影された画像は、 A / D 1 0 2においてデジタル信号に変換され、ノソファ 1 0 3に記憶される。バッファ 1 0 3 に得られた R G B原色信号は、輝度色差分離部 9 1 1 に入力され、輝度信号（G ) と色差信号（R— G、 B - G ) に分離される。輝度信号は、ノィズ低減処理部 1 04に入力され、色差信号は、色差ノィズ低減処理部 4 50に入力されて、それぞれ別個にノィズ低滅処理がなされる。

図 2 6に、輝度信号（G) に対してノイズ低減処理を行うノイズ低減処理部 1 04を示す。低周波抽出部 2 0 0は、図 6に示す低周波抽出フィルタにより構成される。水平垂直高周波抽出部 20 1、 45度斜め高周波抽出部 2 03、 1 35度斜め抽出部 2 0 5は、図 4に示す高周波抽出フィルタ（H 1〜H 1 2) により構成される。残余高周波抽出フィルタ 207は、図 8に示す残余高周波抽出フィルタにより構成される。

高周波閾値算出部 45 1 は、図 1 3で説明したように、ノィズ量推定部 806、閾値調整部 449で構成される。ノイズ量推定部 80 6 は、高周波成分に含まれると推定されるノィズ量を求めその出力は閾値調整部 449に入力される。閾値調整部 449は、前記ノイズ量に調整値を乗算して閾値を算出する。閾値調整部 449で算出された閾値の出力 Bは、水平垂直高周波変換処理部 20 2、 45度斜め高周波変換処理部 2 04、 1 3 5度斜め高周波変換処理部 2 06に入力される。

残余高周波閾値算出部 900は、ノイズ量調整部 920、閾値調整部 94 9で構成される。高周波閾値算出部 45 1 のノィズ量推定部 8 06の出力は、残余高周波閾値算出部 90 0のノィズ量調整部 920 にも入力される。ノイズ量調整部 92 0の出力は閾値調整部 949に入力され、ノィズ量に調整値を乗算してその出力は残余高周波変換処理部 2 08に入力される。各高周波変換処理部 2 0 2〜 2 08でノィズを低減した高周波成分の出力は、合成部 209に入力される。合成部 2 0 9には、低周波抽出部 2 00でノィズを低減された低周波成分の出力も入力され、前記高周波成分の出力と合成される。合成部 20 9で合成された出力は、図 2 5で示した信号処理部 1 05に出力される。

図 2 7に色差信号（R— G)、 (B - G) に対してノイズ低減処理を行う色差ノイズ低減処理部 450を示す。低周波抽出部 2 00は、図 1 7に示す低周波抽出フィルタにより構成される。水平高周波抽出部 42 1、垂直高周波抽出部 403、斜め高周波抽出部 40 5は、図 1 6に示す高周波抽出フィルタ（H I〜 H I 2) により構成される。水平高周波抽出部 42 1は、第一水平高周波抽出部 44 1、第二水平高周波抽出部 443、第三水平高周波抽出部 445、第四水平高周波抽出部 447からなる。また、水平高周波変換部 4 2 2は、第一水平高周波変換部 44 2、第二水平高周波変換部 444、第三水平高周波変換部 44 6、第四水平高周波変換部 448からなる。垂直高周波抽出部 403、斜め高周波抽出部 405も、水平高周波抽出部 42 1 と同様に、第一から第四の四つの抽出部から構成されている。また、垂直高周波変換部 404、斜め高周波変換部 406も同様である。

輝度色差分離部 9 1 1から出力された色差信号は、水平高周波抽出部 42 1、垂直高周波抽出部 4 03、斜め高周波抽出部 40 5と低周波抽出部 200に入力される。低周波抽出部 20 0では、低周波抽出フィルタで低周波成分を抽出して出力を合成部 2 09に入力する。 .また、低周波抽出部 2 00の出力は、図 2 6で説明したような、ノイズ量推定部 80 6、閾値調整部 449で構成される高周波閾値算出部 4 5 1 に入力される。閾値調整部 449で低周波成分のノィズ量に調整値を乗算して算出された閾値の出力 Bは、垂直高周波変換部 40 6、斜め高周波変換部 4 04に入力される。また、水平高周波変換部 4 2 2の第一水平高周波変換部 442、第二水平高周波変換部 444、第三水平高周波変換部 44 6、第四水平高周波変換部 448に入力される。【0094】

輝度色差分離部 9 1 1から入力され、各高周波抽出部（42 1、 4 0 3、 4 0 5 ) で抽出された高周波成分に対して、各高周波変換部 (4 2 2、 4 04、 40 6) で、前記閾値調整部 44 9で算出された閾値に基づき、閾値処理を行う。

このような閾値処理を行うことにより、高周波成分のノィズ成分を削除する。低周波抽出部 2 00で抽出された低周波成分と、垂直高周波変換部 40 6、斜め高周波変換部 404、および水平高周波変換部 4 22の第一〜第四高周波変換部（442〜 448) でノイズ成分を削除した高周波成分を、合成部 20 9で合成することにより、ノイズを低減した画像信号を得る。この画像信号は、図 2 5で示した信号処理部 1 05に出力される。

第 4の実施形態においては、輝度信号の周波数分割特性と色差信号の周波数分割特性が異なることが特徴である。ペイヤー配列では、輝度信号の周波数特性と色差信号の周波数特性が異なる。輝度信号、および色差信号は、図 2 6、図 27で説明したように、それぞれに適した周波数分割方法で変換処理を行うことができる。

各実施形態においては、ペイヤー配列画像を例として示したが、本発明の適用はべィヤー配列画像に限定されるものではない。産業上の利用可能性

以上説明したように、本発明によれば、画像信号を処理する際の周波数特性の変化に対応すると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。

Claims

請求の範 '囲

1 . 入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と前記変換処理された高周波成分とを合成する周波数合成手段と、出力信号に求められる周波数特性を設定する周波数特性設定手段と、前記周波数合成手段の出力信号に対して、さらに変換処理を行って、出力信号の周波数特性を、前記周波数特性設定手段で設定された周波数特性に調整する周波数特性調整手段と、周波数特性設定手段において設定される周波数特性に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする画像処理装置。

2 . 前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の周波数成分を抽出する所定周波数成分抽出手段と、.前記所定周波数成分抽出手段により抽出された前記所定の周波数成分に所定の強調処理を行う所定周波数成分強調手段と、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分、および前記周波数合成手段の出力信号を合成する所定周波数成分合成手段と、からなることを特徴とする請求項 1 に記載の画像処理装置。

3 . 前記周波数特性調整手段は、前記周波数合成手段の出力信号から所定の低周波成分を抽出する低周波成分抽出手段をさらに有し、前記所定周波数成分合成手段が、前記所定周波数成分強調手段により前記所定の強調処理が行われた前記所定の周波数成分と前記所定の低周波成分を合成することを特徴とする請求項 1 に記載の画像処理装置。

4 . 前記高周波成分変換手段は、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする請求項 1 に記載の画像処理装置。

5 . 前記周波数特性設定手段は、前記所定周波数成分抽出手段を構成する所定周波数抽出フィルタの係数、もしくは、前記所定の強調処理の強調量、または、その両方を設定することを特徴とする請求項 1 に記載の画像処理装置。

6 . 前記周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする請求項 1 に記載の画像処理装置。

7 . 入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、前記低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号のノィズ特性を推定するノィズ特性推定手段と、前記ノィズ特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする画像処理装置。

8 . 前記高周波成分変換手段は、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする請求項 7に記載の画像処理装置。

9 . ノイズ特性推定手段は、撮像素子の温度または前記入力信号に対するゲインまたは撮影時のシャッ夕一速度のうち少なくとも一つの情報に基づき前記入力信号に含まれるノィズ量を推定するノィズ量推定手段からなることを特徴とする請求項 7に記載の画像処理装置。

1 0 . ノイズ特性推定手段は、 I S O感度、露出情報、ホワイトバランス情報の少なくとも一つ以上の情報に基づき前記ゲインを求めるゲイン算出手段をさらに有することを特徴とする請求項 7に記載の画像処理装置。

1 1 . 前記周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フィルタの係数を設定することを特徴とする請求項 7に記載の画像処理装置。

1 2 . 入力信号を低周波成分と少なくとも一つの高周波成分に分割する周波数分割手段と、前記高周波成分に対して変換処理を行う高周波成分変換手段と、低周波成分と変換処理された高周波成分とを合成する周波数合成手段と、前記入力信号の周波数特性を推定する周波数特性推定手段と、前記周波数特性推定手段における推定結果に応じて、周波数分割手段における分割特性を設定する周波数分割特性設定手段と、を有することを特徴とする画像処理装置。

1 3 . 前記高周波成分変換手段は、前記高周波成分のうち、所定の高周波成分における所定の範囲を有する要素を強調または抑制する高周波成分抑制手段と、所定の範囲を定める少なくとも一つの閾値を設定する閾値設定手段と、からなることを特徴とする請求項 1 2に記載の画像処理装置。

1 4 . 前記周波数特性推定手段は、撮像素子の前面に各画素ごとに設けられている少なくとも二種類の色フィルタの配置情報から前記色フィルタに対応する信号の周波数特性を推定することを特徴とする請求項 1 2に記載の画像処理装置。

1 5 . 前記周波数特性推定手段は、色信号の種別から当該色信号の周波数特性を推定することを特徴とする請求項 1 2に記載の画像処理装置。

1 6 . 周波数分割特性設定手段は、前記周波数分割手段を構成する周波数分割フィルタ群のうち少なくとも一つの周波数分割フイルクの係数を設定することを特徴とする請求項 1 2に記載の画像処理装置。