JP3741982B2

JP3741982B2 - ノイズリダクション回路

Info

Publication number: JP3741982B2
Application number: JP2001274151A
Authority: JP
Inventors: 一憲渡邉
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-09-10
Filing date: 2001-09-10
Publication date: 2006-02-01
Anticipated expiration: 2021-09-10
Also published as: JP2003085553A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像又は、映像に混在する雑音成分を除去するノイズリダクション回路に関する。
【０００２】
【従来の技術】
従来のノイズリダクション回路としては、特開平５−１０３２２６号公報や特開平８−２２５３９号公報に記載されたものがある。
【０００３】
特開平５−１０３２２６号公報に記載のノイズリダクション回路では、まず、横、縦、斜め各方向の画素での平滑化信号と相関性を平滑化回路、相関検出回路においてそれぞれ検出する。そして、検出された各方向での相関検出信号は、輪郭方向判定回路において比較され、最も相関検出信号が小さい方向に沿って輪郭があるものとし、その相関検出信号の小さな方向と同じ方向の画素を用いた平滑化信号を４入力セレクタで選択し、出力するものが記載されている。
【０００４】
特開平８−２２５３９号公報に記載のノイズリダクション回路では、まず、平滑化マトリクスＦｉ（ｉ＝１、２…）の全てを含むことができる最小サイズのマトリクスをＭとする。ここで、マトリクスＭの各成分は、各平滑化マトリクスＦｉ（ｉ＝１、２…）の対応する成分から絶対値が最大なものを選ぶ。このマトリクスＭによる線形フィルタの周波数特性から、ゼロクロスする周波数すべてを含む帯域Ｉを決定する。線形Ｌｏｗ−ｐａｓｓフィルタＬとして領域Ｉを含む高周波側を減衰させるものと、線形高域強調フィルタＨとしてフィルタＬとフィルタＨによる合成フィルタＬＨがちょうど領域Ｉを強調するものを決定する。そして、画像データに合成フィルタ処理ＬＦＨを施すことによってノイズ低減を行うものが記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のノイズリダクション回路は、エッジがない部分や複数のエッジが重なっている部分でのノイズの低減効果が低い場合があった。
【０００６】
本発明は、前記の問題点を解消するためになされたものであって、エッジがない部分や複数のエッジが重なっている部分においてもノイズの低減効果を高めることのできるノイズリダクション回路を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、上記の目的を達成するため、次の構成を有する。
本発明の第１の要旨は、所定大きさの処理領域を、注目画素と該注目画素の近傍画素を含む複数の小領域に分け、各小領域毎に所定画素値に関する平均値である小領域画素平均値を出力する平均値出力手段と、前記平均値出力手段の各小領域毎に、前記小領域画素平均値と各画素の所定画素値との残差を求める残差処理と、該残差処理後の処理結果の平均値を求める残差平均値処理より、各小領域毎の画素値の分散を示す第１の判定値を出力する第１の判定手段と、前記第１の判定値の内、最も小さな処理結果を示す小領域に対応する前記小領域画素平均値を基準値として出力する基準値出力手段と、前記基準値と前記小領域画素平均値との残差を求める残差処理と、該残差処理後の処理結果の平均値を求める残差平均値処理より前記基準値に対する各小領域の分散を示す第２の判定値を出力する第２の判定手段と、前記小領域画素平均値と、前記第１の判定値と、前記第２の判定値とを用いて、前記注目画素の所定画素値に関する評価値を出力する評価値出力手段とを有するノイズリダクション回路にある。
【０００８】
本発明の第２の要旨は、前記評価値出力手段は、前記第１の判定値が第１の閾値より小さく、且つ、前記第２の判定値が第２の閾値より小さい該当小領域の小領域画素平均値の平均値を、前記評価値として出力することを特徴とする要旨１記載のノイズリダクション回路にある。
【０００９】
本発明の第３の要旨は、前記評価値出力手段は、前記第１の判定値が第１の閾値より小さく、且つ、前記第２の判定値が第２の閾値より小さい該当小領域の小領域画素平均値を求め、前記該当小領域の小領域画素平均値から前記基準値となっている少領域の小領域画素平均値を除いた小領域画素平均値と、前記基準値との平均値を前記評価値として出力することを特徴とする要旨１記載のノイズリダクション回路にある。
【００１０】
本発明の第４の要旨は、前記評価値出力手段は、前記第１の判定値が第１の閾値より小さい該当小領域の小領域画素平均値と前記基準値の差分値を求める処理と、第２の閾値に対して、前記該当小領域に対応する前記第２の判定値の重み付け係数を求める処理と、前記差分値と前記重み付け係数とを、小領域毎に積を求める重み付け処理とを行い、前記基準値に前記重み付け処理の結果を加えることで前記評価値を求めることを特徴とする要旨１記載のノイズリダクション回路にある。
【００１１】
本発明の第５の要旨は、前記第１の判定手段又は第２の判定手段は、前記残差処理と前記残差平均値処理により分散処理、標準偏差処理、或は差分絶対値平均処理を行うことを特徴とする要旨１乃至３記載のノイズリダクション回路にある。
【００１２】
本発明の第１の要旨によれば、第１の判定値により各小領域が平坦なのかエッジが存在するのかを判定できる。更に、複数の平坦な部分が存在しても最も平坦な部分の小領域の平均値を基準値として、再度、第２の判定値により各小領域が平坦なのかエッジが存在するのかを判定できる。そして、前記平均値と前記第１の判定値と前記第２の判定値とを用いて評価値出力手段は、複数のエッジの存在を判定できる。
通常、ノイズはランダムであり、平均値をとることによりノイズの低減効果があり、第１の判定手段、第２の判定手段により平均値を取ることでノイズの低減効果を大きくできる。
【００１３】
本発明の第２、第３の要旨によれば、評価値出力手段は、第１の判定値が第１の閾値より小さく、且つ、第２の判定値が第２の閾値より小さい該当小領域の小領域画素平均値の平均値を、評価値として出力することで、エッジが少ない部分や複数のエッジが重なっている部分においてもノイズの低減効果を上げることができる。
【００１４】
本発明の第４の要旨によれば、評価値出力手段は、第１の判定値が第１の閾値より小さい該当小領域の小領域画素平均値と基準値の差分値を求める処理と、第２の閾値に対して、該当小領域に対応する第２の判定値の重み付け係数を求める処理と、差分値と重み付け係数とを、小領域毎に積を求める重み付け処理とを行い、基準値に重み付け処理の結果を加えることで評価値を求めることで、エッジが少ない部分や複数のエッジが重なっている部分においてもノイズの低減効果を上げ、且つ、鮮鋭感の低下が少ない効果がある。
【００１５】
本発明の第５の要旨によれば、前記第１の判定手段又は第２の判定手段は、前記残差処理と前記残差平均値処理により分散処理、標準偏差処理、或は差分絶対値平均処理を行うことで、第１の判定手段における各小領域毎の画素値の分散又は、第２の判定手段における基準値に対する各小領域の分散を確実に求めることができる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
図１は、本発明の実施の形態に係るノイズリダクション回路１００のブロック図である。ノイズリダクション回路１００は、信号入力部１と、ラインメモリ２と、平均値出力回路３と、第１の判定回路４と、基準値出力回路５と、第２の判定回路６と、評価値出力回路７と、信号出力部８とを有し、映像信号又は画像信号に含まれる雑音を低減する。
【００１７】
ラインメモリ２は、信号入力部１から供給される映像信号又は、画像信号を水平走査期間分だけ記憶し、遅らせるためのメモリである。
【００１８】
平均値出力回路３は、ラインメモリ２からの映像信号又は画像信号を、注目画素とその近傍画素を注目画素を含んだ複数の小領域に分け、各小領域での画素の特徴量である画素値（例えば、画素の濃度、明度、輝度、色差、或は強度等）の平均値を出力する。強度、濃度、輝度、色差、及び明度の規定は、既知の量子化における諧調表現に使用できるものであればよく、例えば、強度は光の強さ又は反射率により求められ、濃度は強度の対数を取り、符号を反転させることで求められ、明度はＬａｂやＬｕｖの均等色空間で使用される明度を用い、輝度や色差は映像信号で用いられる輝度や色差を用いることができる。
【００１９】
第１の判定回路４は、平均値出力回路３からの各領域毎の画素値の平均値と、ラインメモリ２からの領域内の各画素の画素値とから、残差二乗和を用いる各領域の分散又は標準偏差等を出力する。
【００２０】
基準値出力回路５は、第１の判定回路４からの各領域の判定出力Ａと、平均値出力回路３からの各領域の平均値とから、最も平坦な領域の平均値を基準値として出力する。
【００２１】
第２の判定回路６は、基準値出力回路５からの基準値と、平均値出力回路３からの各領域の平均値とから、残差二乗和を用いる各領域の分散又は標準偏差等を出力する。
【００２２】
評価値出力回路７は、平均値出力回路３からの各領域の平均値と、第１の判定回路４からの各領域の判定出力Ａと、基準値出力回路５からの基準値と、第２の判定回路６からの判定出力Ｂとを用いて評価値を出力する。
【００２３】
映像信号や画像信号における信号対ノイズ比（Ｓ／Ｎ）は、下記式（１）に示すように信号Ｓは実値であり、ノイズＮは実効値であるため、サンプル数が多くなればなるほどＳ／Ｎ比は大きくなる。注目画素とその近傍画素ｎ個での平均値は下記式（２）で表され、平均値を取る画素の個数が多くなる程、その時のＳ／Ｎが良くなる。
【００２４】
【数１】

【００２５】
本実施の形態では、注目画素とその近傍画素を複数の小領域に分け、平均値出力回路３により平均値を、第１の判定回路により各小領域の平坦度を検出する。ノイズの低減効果が最も出ている小領域は、最も平坦な小領域となるので、基準値出力回路５でその小領域の平均値を基準値として選択する。
さらにノイズの低減効果を得る為に、平均値を取る画素数を多くするため、第２の判定回路６により基準値に近い平均値を出している少領域を判定し、評価値出力回路７で評価値として出力する。各回路の動作により、平坦でない小領域（エッジの在る部分）や、平坦でも注目画素の値から大きく離れた平均値を出す小領域を除いた領域での平均値を評価値として出力する。場合によっては全ての小領域が評価値を出力するのに使用される。
【００２６】
次に、図２〜図５を参照して、図１に示したノイズリダクション回路１００の動作をより詳細に説明する。
【００２７】
図２は、注目画素とその近傍画素のｎ×ｎ画素の範囲（ｎは３以上の奇数）における、注目画素を含む小領域Ａ１〜Ａ９の概略位置を示している。尚、小領域の大きさや数は、ｎの数により異なる。
本実施形態での小領域Ａ１〜Ａ９は、注目画素から紙面上上方への小領域Ａ１と、注目画素から紙面上右斜め上方への領域Ａ２、注目画素から紙面上右方向への領域Ａ３、注目画素から紙面上右斜め下方への領域Ａ４、注目画素から紙面下方への領域Ａ５、注目画素から紙面上左斜め下方への領域Ａ６、注目画素から紙面上左方向への領域Ａ７、注目画素から紙面上右上斜め上方へのＡ８、及び注目画素とその周辺の領域Ａ９としている。
【００２８】
図３は、注目画素とその近傍画素の５×５画素の範囲を小領域Ａ１〜Ａ９に分けた場合を示している。図３では、各小領域Ａ１〜Ａ９を示し位置に「１」を、それ以外を「０」と示している。
【００２９】
小領域Ａ１は、５×５画素の中心位置にある注目画素Ｔから紙面上上方への３画素及び該画素に面する４画素からなっている。
【００３０】
同様に、領域Ａ２は注目画素ＴＧから紙面右斜め上方への３画素及び該画素に面する４画素からなり、領域Ａ３は注目画素ＴＧから紙面右方向への３画素及び該画素に面する４画素からなり、領域Ａ４は注目画素ＴＧから紙面右斜め下方への３画素及び該画素に面する４画素からなり、領域Ａ５は注目画素ＴＧから紙面下方への３画素及び該画素に面する４画素からなり、領域Ａ６は注目画素ＴＧから紙面左斜め下方への３画素及び該画素に面する４画素からなり、領域Ａ７は注目画素ＴＧから紙面左方向への３画素及び該画素に面する４画素からなり、領域Ａ８は注目画素から紙面右上斜め上方への３画素及び該画素に面する４画素からなり、及び領域Ａ９は注目画素ＴＧと該画素ＴＧに面する８画素からなっている。
【００３１】
図４は、ラインメモリ２から出力される注目画素とその近傍画素の５×５画素の範囲内の濃度の一例を示しており、係る画像に基づくノイズリダクション回路１００内部でのデータ処理結果を図５に示す。
【００３２】
図５は、最上段に前記図２，３で示す領域番号を、２段目に各領域毎の平均値出力回路３から出力される各平均値を、３段目に第１の判定回路４から出力される各領域毎の判定値Ａを、４段目に基準値出力回路５から出力される基準値を、５段目に第２の判定回路６から出力される各領域毎の判定値Ｂを、及び最下段に評価値出力回路７から出力される評価値を示している。
【００３３】
前記平均値出力回路３から出力される平均値ｅは、図４に示す画素濃度を示す場合に、図３に示す各領域Ａ１〜Ａ９毎の平均濃度を求めるものであり下記数式（３）により求められる。例えば、領域Ａ１の場合には「１０、１０、５０、５０、５０、５０、５０」の７画素の平均濃度であり四捨五入して「ｅ＝３９」と求められる。
尚、平均値出力回路３の平均値出力は、一実施形態であり他の方法、例えばメディアンフィルタでも良い。
【００３４】
【数２】

【００３５】
前記第１の判定回路４から出力される各領域毎の判定値Ａは、平均値出力回路３からの平均値、例えば領域Ａ１の平均値「ｅ＝３９」と、領域Ａ１内の各画素の濃度「Ｐ＝１０、１０、５０、５０、５０、５０、５０」とから、残差二乗和を用いる下記数式（４）により分散σを求め、四捨五入して「３２７」と求められる。
尚、判定値Ａとして標準偏差ｄを求める場合には、下記数式（５）に示すように分散σのルートとなる。
【００３６】
【数３】

【００３７】
また、判定回路４の判定値Ａは、他の方法、例えば平均値ｅと領域内の各画素Ｐｎとの差（残差）の絶対値の平均（差分絶対値平均処理）でも良い。
【００３８】
基準値出力回路５から出力される基準値は、判定値Ａが最も小くなる、図５の場合「０」を示す、最も平坦な領域Ａ２の平均値ｅ＝５０となる。
【００３９】
第２の判定回路６から出力される各領域毎の判定値Ｂは、基準値出力回路５からの基準値「５０」と平均値出力回路３からの各領域Ａ１〜Ａ９の平均値ｅとの分散σを示す。例えば、領域Ａ１の場合には、上記式（４）より、判定値Ｂ＝（５０−３９）²＝１２１となる。
尚、判定値Ｂは、標準偏差や基準値と各平均値との差の絶対値でも良い。
【００４０】
前記評価値出力回路７から出力される注目画素Ｔの評価値は、第１の判定回路４からの判定値Ａの値がある閾値（本実施形態では「２０」）以下の領域で、かつ判定回路６からの判定値Ｂの値がある閾値（本実施形態では「２０」）以下の領域、すなわち領域Ａ２、Ａ３の平均値出力回路３の平均値「５０」と「４７」と、基準値出力回路５からの基準値「５０」とから、基準値「５０」となっている領域Ａ２を除いて、平均値（この場合、基準値「５０」と領域３の平均値「４７」との計算となるので、（５０＋４７）／２＝４９）を出力する。
【００４１】
通常ノイズはランダムであり、平均値をとることによりノイズの低減効果があることが知られており、平均値を取る数が多ければ多いほど効果が大きくなる。
本実施の形態では、評価値出力回路７は各領域の最も平坦な領域を基準値とし、その基準値に近く、かつ平坦な部分の領域での平均値をとる事により、ノイズの低減効果を上げるように働くこととなる。
【００４２】
すなわち、評価値出力回路７は、図２のような複数のエッジを含んだ部分（濃度が５０、４０、１０の境界を含む領域）でも、第１の判定回路４からの各領域の判定出力Ａと第２の判定回路６からの各領域の判定出力Ｂによりエッジの領域を除いた平坦な領域の平均値となるためノイズの低減効果が得られる。
【００４３】
次に、第２の実施の形態に係るノイズリダクション回路について図６，７を参照しつつ説明する。尚、本第２の実施形態は、上記第１の実施形態とは評価値出力回路での評価値の演算処理内容を相違するものであり、以下、該相違部分を中心に説明し、前記した構成と同一部分には同一符号を示す。
【００４４】
本実施形態の評価値出力回路７では、まず、第１の判定回路４からの値がある閾値、本実施形態では「２０」以下の領域Ａ２，Ａ３，Ａ４の平均値ｅ（５０，４７，４３）と基準値「５０」との差分値Ｄ（０，−３，−７）を求める。
【００４５】
次に、上記選択された領域Ａ２，Ａ３，Ａ４の第２の判定回路６からの判定値Ｂに重み付け係数ｙを掛ける。重み付け係数は、例えば図７に示すように、判定値Ｂを横軸、重み係数ｙを縦軸とし、判定値Ｂの閾値を閾値ｃとした場合に、下記重み関数ｙとする。
ｙ＝−Ｂ／ｃ＋１（判定値Ｂが閾値ｃ以下の場合）
ｙ＝０（判定値Ｂが閾値ｃより大きい場合）
本実施形態では、閾値ｃ＝「１０」とした場合、領域Ａ２，Ａ３，Ａ４の判定値Ｂ（０、９、４９）の重み係数ｙは各々（１、０．１、０）となる。
【００４６】
次に、上記差分値Ｄ（０，−３，−７）と重み係数ｙ（１、０．１、０）を各領域Ａ２，Ａ３，Ａ４毎に掛け、重み付け差分値ＷＤ（０×１，−３×０．１、−７×０）を求める。
【００４７】
次に、基準値となっている領域Ａ２の重み付け差分値を除いて、基準値５０に重み付け差分値ＷＤを加え、（５０＋（−０．３）＋０＝４９．７）で四捨五入して「５０」を評価値として出力する。
【００４８】
本第２実施形態と前記第１の実施形態とは、平均値をとることによるノイズの低減効果は変わらないが、平均値をとる数が多ければ多いほど鮮鋭感が無くなる事があるので、この回路はある程度のノイズの低減効果がありかつ鮮鋭感の低下が少ない動作を実現できる。
【００４９】
なお、前記の実施形態では本発明の好適例を説明したが、本発明はこれに限定されないことはもちろんである。
例えば、上記実施の形態では、信号入力部１から供給される映像信号又は、画像信号を水平走査期間分だけ記憶し、遅らせるためにラインメモリ２を用いたが、図８に示すようにフィールドメモリ２Ａを用いてもよい。この場合、フィールドメモリ２Ａを利用する事により、映像信号又は画像信号の１画面内で任意に図３の小領域をとることができるので、平均値出力回路３、第１の判定回路４、基準値出力回路５、第２の判定回路６、及び評価値出力回路７を全て、マイコン等によるソフトウエアで行う事もでき、コンパクトな装置とできる。そのため、デジタルカメラ（撮像器機）、携帯情報機器、携帯通信機器等の携帯可能な表示機器等での利用が考えられる。
【００５０】
【発明の効果】
以上説明した通り、本発明の第１の要旨によれば、第１の判定手段により各小領域が平坦なのかエッジが存在するのかを判定し、複数の平坦な部分が存在しても第２の判定手段及び評価値出力手段により複数のエッジの存在を判定できるので、エッジがない部分や複数のエッジが重なっている部分においてもノイズの低減効果を高めることのできる。
【００５１】
本発明の第２、第３の要旨によれば、評価値出力手段により複数のエッジの存在を判定できるので、エッジが少ない部分や複数のエッジが重なっている部分においてもノイズの低減効果がある。
【００５２】
本発明の第４の要旨によれば、エッジが少ない部分や複数のエッジが重なっている部分においてもノイズの低減効果を上げ、且つ、鮮鋭感の低下が少ない効果がある。
【００５３】
本発明の第５の要旨によれば、各小領域の分散を確実に求めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るノイズリダクション回路のブロック図である。
【図２】本発明の第１の実施形態に係る注目画素を含むｎ×ｎ画素範囲における注目画素を含む小領域Ａ１〜Ａ９の概略位置の説明図である。
【図３】本発明の第１の実施形態に係る注目画素を含むｎ×ｎ画素範囲における注目画素を含む小領域Ａ１〜Ａ９の説明図である。
【図４】本発明の第１の実施形態に係るラインメモリ２から出力される注目画素とその近傍画素の５×５画素の範囲内の各画素の濃度の説明図である。
【図５】本発明の第１の実施形態に係る平均値出力回路３、第１の判定回路４、基準値出力回路５、第２の判定回路６、及び評価値出力回路７からの出力信号を示す説明図である。
【図６】本発明の第２の実施形態に係る平均値出力回路３、第１の判定回路４、基準値出力回路５、第２の判定回路６、及び評価値出力回路７からの出力信号を示す説明図である。
【図７】本発明の第２の実施形態に係る評価値出力回路７での重み付け関数の説明図である。
【図８】本発明のその他の実施形態に係るノイズリダクション回路のブロック図である。
【符号の説明】
２ラインメモリ
２Ａフィールドメモリ
３平均値出力回路
４第１の判定回路
５基準値出力回路
６第２の判定回路
７評価値出力回路
１０フィールドメモリ
Ａ１〜Ａ９小領域
ｅ平均値
Ａ，Ｂ判定値
Ｔ注目画素

Claims

所定大きさの処理領域を、注目画素と該注目画素の近傍画素を含む複数の小領域に分け、各小領域毎に所定画素値に関する平均値である小領域画素平均値を出力する平均値出力手段と、
前記平均値出力手段の各小領域毎に、前記小領域画素平均値と各画素の所定画素値との残差を求める残差処理と、該残差処理後の処理結果の平均値を求める残差平均値処理より、各小領域毎の画素値の分散を示す第１の判定値を出力する第１の判定手段と、
前記第１の判定値の内、最も小さな処理結果を示す小領域に対応する前記小領域画素平均値を基準値として出力する基準値出力手段と、
前記基準値と前記小領域画素平均値との残差を求める残差処理と、該残差処理後の処理結果の平均値を求める残差平均値処理より前記基準値に対する各小領域の分散を示す第２の判定値を出力する第２の判定手段と、
前記小領域画素平均値と、前記第１の判定値と、前記第２の判定値とを用いて、前記注目画素の所定画素値に関する評価値を出力する評価値出力手段とを有するノイズリダクション回路。
前記評価値出力手段は、前記第１の判定値が第１の閾値より小さく、且つ、前記第２の判定値が第２の閾値より小さい該当小領域の小領域画素平均値の平均値を、前記評価値として出力することを特徴とする請求項１記載のノイズリダクション回路。
前記評価値出力手段は、前記第１の判定値が第１の閾値より小さく、且つ、前記第２の判定値が第２の閾値より小さい該当小領域の小領域画素平均値を求め、
前記該当小領域の小領域画素平均値から前記基準値となっている少領域の小領域画素平均値を除いた小領域画素平均値と、前記基準値との平均値を前記評価値として出力することを特徴とする請求項１記載のノイズリダクション回路。
前記評価値出力手段は、前記第１の判定値が第１の閾値より小さい該当小領域の小領域画素平均値と前記基準値の差分値を求める処理と、
第２の閾値に対して、前記該当小領域に対応する前記第２の判定値の重み付け係数を求める処理と、
前記差分値と前記重み付け係数とを、小領域毎に積を求める重み付け処理とを行い、
前記基準値に前記重み付け処理の結果を加えることで前記評価値を求めることを特徴とする請求項１記載のノイズリダクション回路。
前記第１の判定手段又は第２の判定手段は、前記残差処理と前記残差平均値処理により分散処理、標準偏差処理、或は差分絶対値平均処理を行うことを特徴とする請求項１乃至３記載のノイズリダクション回路。