JP4392582B2 - 信号処理装置および信号処理方法、並びにプログラム - Google Patents
信号処理装置および信号処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP4392582B2 JP4392582B2 JP2003133382A JP2003133382A JP4392582B2 JP 4392582 B2 JP4392582 B2 JP 4392582B2 JP 2003133382 A JP2003133382 A JP 2003133382A JP 2003133382 A JP2003133382 A JP 2003133382A JP 4392582 B2 JP4392582 B2 JP 4392582B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- edge
- pixel
- interest
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003708 edge detection Methods 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 40
- 230000002093 peripheral effect Effects 0.000 claims description 30
- 238000009499 grossing Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 description 31
- 241000255925 Diptera Species 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 230000004069 differentiation Effects 0.000 description 14
- 239000006185 dispersion Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
本発明は、信号処理装置および信号処理方法、並びにプログラムに関し、特に、例えば、画像におけるエッジ部等を精度良く区別し、テクスチャ部の画質を損なわずに、エッジ周辺部に発生する圧縮ノイズ(モスキートノイズ)を効果的に十分に除去できるようにした信号処理装置および信号処理方法、並びにプログラムに関する。
【0002】
【従来の技術】
例えば、MPEG(Moving Picture Experts Group)などにおいては、画像信号をブロック化し、各ブロックをDCT(Discrete Cosine Transform)処理する。このため、MPEGエンコードされた画像信号をデコードすると、そのデコード画像においては、原理的に、エッジ周辺部に、モスキートノイズが発生する。モスキートノイズは、画像のエッジ周辺部に現れるため、モスキートノイズを除去するには、画像からエッジ部を検出する必要がある。
【0003】
このため、モスキートノイズを除去する、従来のノイズ除去装置では、例えば、単なる一次微分や二次微分によるエッジ検出や、ソーベルオペレータを用いたソーベルフィルタなどによるエッジ検出が行われている(例えば、特許文献1)。
【0004】
図1は、ある画像51のある水平ラインの画素値を、横軸を画素の位置とするとともに、縦軸を画素値として示している。なお、図1(後述する図8においても同様)では、各画素の水平方向の中心位置に、各画素の画素値をプロットし、さらに、画素値の変化を明確にするため、隣接する画素の画素値(を表す点)を直線で結んである。また、図1では、その左側の画素から、1からのシーケンシャルな番号を付して、各画素を表してある。
【0005】
画像51は、画素♯1乃至画素♯10からなる信号レベル(画素値)がほとんど変化しない平坦部b、画素♯11および♯12からなる信号レベルが急に変化するエッジ部a、並びに画素♯13乃至画素♯21からなる有意なテクスチャ部(例えば、模様があるなどして、信号レベルの変化がある程度存在する部分)cを有している。
【0006】
ここで有意なテクスチャ部cでは、平坦部bよりも信号レベルが大きく変化しているが、エッジ部aにおける場合ほどは変化していない。
【0007】
例えば、二次微分によるエッジ検出では、画像51の二次微分が演算され、その結果得られる二次微分値を閾値処理することにより、エッジが検出される。
【0008】
即ち、二次微分によるエッジ検出では、二次微分値の大きさ(絶対値)が、ある閾値より大の部分が検出され、その部分がエッジ部として検出される。
【0009】
モスキートノイズは、エッジ本体部aを含むその周辺であるエッジ周辺部53に生じるので、そのエッジ周辺部53をフィルタリングすることにより、モスキートノイズを除去(低減)することができる。
【0010】
【特許文献1】
特開平7−231450号公報
【0011】
【発明が解決しようとする課題】
ところで、図1において波形52は、画像51の二次微分値を示している。平坦部bでは、信号レベルの変化がほとんどないため、二次微分値52の大きさは、小さくなる。これに対して、エッジ部aや有意なテクスチャ部cでは、信号レベルの変化がある程度以上であるため、二次微分値52の大きさは、大きくなる。
【0012】
このため、二次微分値52を閾値処理することによりエッジ検出を行う場合には、エッジ本体部aのみならず有意なテクスチャ部cも、エッジとして検出され、エッジ本体部aと有意なテクスチャ部cとを精度良く区別することができないことがあった。
【0013】
さらに、その結果、モスキートノイズを除去するためのフィルタリング時に、エッジ本体部aの他に、有意なテクスチャ部cもフィルタリングされ、有意なテクスチャ部cの画質の劣化が生じ、また、エッジ部53に発生するモスキートノイズを効率的に除去することができないことがあった。
【0014】
本発明はこのような状況に鑑みてなされたものであり、画像信号を精度良く識別して、さらには、例えば、エッジ部に発生するモスキートノイズを効果的に十分に除去するようにすること等ができるようにするものである。
【0015】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段と、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段と、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段と、注目画素のエッジ信号が所定の第1の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が所定の第2の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が所定の第3の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が第3の閾値以上である場合、注目画素がテクスチャ部であると識別する識別手段とを備えることを特徴とする。
【0016】
本発明の信号処理方法は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第1の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が所定の第2の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が所定の第3の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が第3の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含むことを特徴とする。
【0017】
本発明のプログラムは、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第1の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が所定の第2の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が所定の第3の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が第3の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含む処理をコンピュータに実行させることを特徴とする。
【0018】
本発明の信号処理装置、信号処理方法、およびプログラムにおいては、画像信号からエッジが検出され、その検出結果を表すエッジ検出信号が出力され、エッジ検出信号が平滑化され、平滑化信号として出力され、平滑化信号の変化量が求められ、その変化量を表すエッジ信号が出力され、画像信号の変化量が求められ、その変化量を表す画像変化信号が出力され、注目画素のエッジ信号が所定の第1の閾値以上である場合、注目画素がエッジ本体部であると識別され、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が所定の第2の閾値以下である場合、注目画素が平坦部であると識別され、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が所定の第3の閾値未満である場合、注目画素がエッジ周辺部であると識別され、注目画素のエッジ信号が第1の閾値未満、かつ、注目画素の平滑化信号が第2の閾値より大きく、かつ、注目画素の画像変化信号が第3の閾値以上である場合、注目画素がテクスチャ部であると識別される。
【0019】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【0020】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【0021】
請求項1に記載の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段(例えば、図2のエッジ検出部1)と、前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段(例えば、図2のフィルタ部2)と、前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段(例えば、図2の変化検出部3)と、前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段(例えば、図2の変化検出部4)と、注目画素の前記エッジ信号が所定の第1の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第2の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第3の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第3の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別手段(例えば、図2の識別部5)とを備えることを特徴とする。
【0022】
請求項2に記載の信号処理装置は、エッジ信号が大きい画素ほどノイズの除去処理を強く施すとともに、エッジ信号の値が同じ場合、エッジ周辺部の画素に対してノイズの除去処理を最も強く施し、画像信号からノイズを除去するノイズ除去手段(例えば、図2のノイズ除去フィルタ部6)をさらに備えることを特徴とする。
【0024】
図2は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。ノイズ除去装置は、エッジ検出部1、フィルタ部2、変化検出部3、変化検出部4、識別部5、およびノイズ除去フィルタ部6から構成される。
【0025】
エッジ検出部1には、入力信号としての、例えばMPEGデコードされた画像信号が入力され、エッジ検出部1は、入力信号としての画像信号からエッジを検出し、フィルタ部2に、そのエッジの検出結果を表すエッジ検出信号を出力するようになされている。なお、エッジ検出部1としては、例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出を行う従来のエッジ検出装置その他を利用することができる。
【0026】
フィルタ部2は、エッジ検出部1から出力されるエッジ検出信号を平滑化し、その平滑化結果を平滑化信号として、変化検出部3および識別部5に出力するようになされている。なお、フィルタ部2は、例えば、LPF(Low Pass Filter)で構成することができる。
【0027】
変化検出部3は、フィルタ部2から出力される平滑化信号の変化量を検出し、その変化量を、入力信号としての画像信号におけるエッジの程度を表すエッジ信号として、識別部5およびノイズ除去フィルタ部6に出力するようになされている。
【0028】
変化検出部4には、入力信号としての画像信号が入力され、変化検出部4は、入力信号としての画像信号の変化量を検出し、その変化量(以下、適宜、画像変化信号という)を、識別部5に出力するようになされている。
【0029】
識別部5には、変化検出部3から出力されるエッジ信号、フィルタ部2から出力される平滑化信号、および変化検出部4から出力される画像変化信号が入力され、識別部5は、エッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号がエッジ本体部、エッジ周辺部、有意なテクスチャ部、または平坦部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部6に出力するようになされている。
【0030】
ノイズ除去フィルタ部6には、識別部5から出力される識別情報の他、変化検出部3から出力されるエッジ信号および入力信号としての画像信号が入力される。ノイズ除去フィルタ部6は、識別部5から出力される識別情報に基づいて、処理に用いるパラメータ特性を設定し、そのパラメータ特性と変化検出部3からのエッジ信号に基づいて所定の演算を行い、これにより、画像信号からモスキートノイズを除去し、出力信号としての画像信号を出力するようになされている。
【0031】
図3は、図2のノイズ除去装置の処理(画像処理)を説明するフローチャートである。
【0032】
図2のノイズ除去装置には、例えば、MPEGデコードされた画像信号が入力信号として供給され、その画像信号は、エッジ検出部1、変化検出部4、およびノイズ除去フィルタ部6に供給される。図3の画像処理は、入力信号としての画像信号が、エッジ検出部1とノイズ除去フィルタ部6に供給されると開始される。
【0033】
ステップS1において、エッジ検出部1は、そこに供給される画像信号からエッジ検出を行い、そのエッジ検出結果としてのエッジ検出信号を、フィルタ部2に出力し、ステップS2に進む。
【0034】
ステップS2において、フィルタ部2は、エッジ検出部1から供給されるエッジ検出信号を、例えばLPFによってフィルタリングすることにより平滑化し、その結果得られる平滑化信号を変化検出器3および識別部5に出力して、ステップS3に進む。
【0035】
ステップS3において、変化検出部3は、フィルタ部2から供給される平滑化信号の変化量を算出し、その変化量をエッジ信号として、ノイズ除去フィルタ部6に出力して、ステップS4に進む。ここで、平滑化信号の変化量としては、例えば、その平滑化信号の分散を採用することができる。変化検出部3は、入力信号である平滑化された画像信号を構成する各画素について、その画素に対応する平滑化信号の分散を求め、エッジ信号として出力する。
【0036】
ステップ4において、変化検出部4は、そこに供給される画像信号から変化量を算出し、その変化量である画像変化信号を、識別部5に出力して、ステップS5に進む。ここで変化量としては、ステップS3と同様に分散を採用することができる。変化検出部4は、入力信号である画像信号を構成する各画素について、分散を求め、画像変化信号として出力する。
【0037】
なお、ステップS1乃至S3の処理とステップS4の処理とは、図3に示した順番で実行する必要はなく、また、並列に実行することもできる。
【0038】
ステップS5において、識別部5は、そこに供給されるエッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号が、エッジ本体部、有意なテクスチャ部、平坦部、またはエッジ周辺部のうちいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部6に出力して、ステップS6に進む。
【0039】
ステップS6において、ノイズ除去フィルタ部6は、識別部5から供給される画像識別信号、および変化検出部3から供給されるエッジ信号に基づいて、入力信号としての画像信号に対して、所定の演算を施し、その演算結果をモスキートノイズを除去した画像信号として出力する。そして、ステップS6からS1に戻り、以下、同様の処理が繰り返される。
【0040】
なお、図3の処理は、ノイズ除去装置に供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素を対象に行われ、ノイズ除去装置に画像信号が供給されなくなると、終了する。
【0041】
図4は、図2のエッジ検出部1の構成例を示すブロック図である。エッジ検出部1は、例えば、水平エッジ検出部11、比較部12、および垂直エッジ検出部13から構成されている。
【0042】
水平エッジ検出部11と垂直エッジ検出部13には、入力信号としての画像信号が入力される。そして、水平エッジ検出部11は、そこに入力される画像信号の水平方向のエッジ(水平エッジ)を検出し、その検出結果を表すエッジ検出信号(以下、適宜、水平エッジ検出信号という)を比較部12に出力する。
【0043】
一方、垂直エッジ検出部13は、そこに入力される画像信号の垂直方向のエッジ(垂直エッジ)を検出し、その検出結果を表すエッジ検出信号(以下、適宜、垂直エッジ検出信号という)を比較部12に出力する。
【0044】
なお、水平エッジ検出部11と垂直エッジ検出部13は、画像信号を構成する各画素について、エッジ検出信号を出力する。
【0045】
比較部12は、画像信号を構成する各画素ごとに、水平エッジ検出部11から供給される水平エッジ検出信号と、垂直エッジ検出部13から供給される垂直エッジ検出信号を比較し、値の大きい方を、最終的なエッジ検出信号としてフィルタ部2に出力する。
【0046】
なお、エッジ検出部1では、エッジを水平方向と垂直方向に分けずに、二次元フィルタ等によって検出することが可能である。
【0047】
また、エッジ検出部1では、水平エッジ検出信号と垂直エッジ検出信号との合成値(例えば、平均値)などを、最終的なエッジ検出信号として採用することが可能である。
【0048】
図5は、図4の水平エッジ検出部11の構成例を示すブロック図である。水平エッジ検出部11は、微分部21と絶対値化部22とから構成されている。
【0049】
微分部21は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素における画素値の水平方向の微分値を求める。即ち、微分部21は、例えば、注目画素とその左または右隣の画素との画素値の差分を演算し、その差分を、注目画素における水平方向の微分値として、絶対値化部22に出力する。
【0050】
絶対値化部22は、微分部21から出力される微分値の絶対値をとり、その絶対値を、水平エッジ検出信号として、図5の比較部12に供給する。
【0051】
なお、図4の垂直エッジ検出部13も、図5の水平エッジ検出部11と同様に構成される。但し、垂直エッジ検出部13を構成する微分部21は、注目画素における画素値の垂直方向の微分値を求め、絶対値化部22に供給する。
【0052】
また、図5の実施の形態では、一次微分によって、エッジ検出を行うようにしたが、エッジ検出は、その他、例えば、二次微分などによって行うことも可能である。
【0053】
図6は、図2のフィルタ部2の構成例を示すブロック図である。フィルタ部2は、例えば、水平ローパスフィルタ部31と垂直ローパスフィルタ部32とから構成されている。
【0054】
水平ローパスフィルタ部31は、エッジ検出部1から供給されるエッジ検出信号の水平方向の高周波数成分をカットし、垂直ローパスフィルタ部32に出力する。
【0055】
垂直ローパスフィルタ部32は、水平ローパスフィルタ部31から出力された信号の垂直方向の高周波数成分をカットし、その結果得られる信号を、平滑化信号として変化検出部3に出力する。
【0056】
以上のようにして、フィルタ部2では、エッジ検出信号を平滑化した平滑化信号が出力される。
【0057】
なお、フィルタ部2は、例えば、水平ローパスフィルタ部31と垂直ローパスフィルタ部32とを入れ換えて構成することも可能である。
【0058】
さらに、フィルタ部2は、例えば、水平方向と垂直方向の高周波数成分を同時にカットする二次元のローパスフィルタで構成することも可能である。
【0059】
図7は、図2の識別部5の構成を示すブロック図である。識別部5は、例えば、エッジ識別部91、平坦部識別部92、テクスチャ識別部93、および識別結果出力部94から構成されている。
【0060】
識別部5には、変化検出部3から出力されるエッジ信号V、フィルタ部2から出力される平滑化信号F、および変化検出部4から出力される画像変化信号Txが入力され、識別部5は、注目画素がエッジ本体部、平坦部、有意なテクスチャ部、およびエッジ周辺部のいずれの画素であるかを識別する。
【0061】
エッジ識別部91は、変化検出部3から供給されるエッジ信号Vと、所定の閾値TH1とを比較し、その比較結果を、識別結果出力部94に供給する。
【0062】
平坦部識別部92は、フィルタ部2から供給される平滑化信号と、所定の閾値TH2とを比較し、その比較結果を、識別結果出力部94に供給する。
【0063】
テクスチャ識別部93は、変化検出部4から供給される画像変化信号と、所定の閾値TH3とを比較し、その比較結果を、識別結果出力部94に供給する。
【0064】
識別結果出力部94は、エッジ識別部91、平坦部識別部92またはテクスチャ識別部93の出力に基づいて、注目画素が、エッジ本体部、平坦部、有意なテクスチャ部、またはエッジ周辺部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部6に供給する。
【0065】
図8は、図7の識別部5による図3のステップS5における識別処理を説明するフローチャートである。
【0066】
ステップS11において、エッジ識別部91は、注目画素のエッジ信号Vが閾値TH1未満(または以下)であるかどうかを判定する。ステップS11において、注目画素のエッジ信号が閾値TH1未満でないと判定された場合、即ち、注目画素のエッジ信号が、ある程度大きい場合、ステップS12に進み、識別結果出力部94は、注目画素がエッジ本体部である旨の識別情報を、ノイズ除去フィルタ部6に出力し、リターンする。
【0067】
一方、ステップS11において、エッジ信号が閾値TH1未満であると判定された場合、ステップS13に進み、平坦部識別部92は、注目画素の平滑化信号が、閾値TH2より大(以上)であるかどうかを判定する。
【0068】
ステップS13において、注目画素の平滑化信号が閾値TH2より大でないと判定された場合、即ち、注目画素の平滑化信号がある程度小さい場合、ステップS14に進み、識別結果出力部94は、注目画素が平坦部である旨の識別情報を、ノイズ除去フィルタ部6に供給し、リターンする。
【0069】
ステップS13において、注目画素の平滑化信号が閾値TH2より大であると判定された場合、ステップS15に進み、テクスチャ識別部93は、注目画素の画像変化信号が閾値TH3未満(または以下)であるかどうかを判定する。
【0070】
ステップS15において、注目画素の画像変化信号が閾値TH3未満でないと判定された場合、即ち、注目画素の画素変化信号がある程度大きい場合、ステップS16に進み、識別結果出力部94は、注目画素が有意なテクスチャ部である旨の識別情報を、ノイズ除去フィルタ部6に供給してリターンする。
【0071】
また、ステップS15において、注目画素の画像変化信号が閾値TH3未満であると判定された場合、即ち、注目画素の画像変化信号がある程度小さい場合、ステップS17に進み、識別結果出力部94は、注目画素がエッジ周辺部である旨の識別情報を、ノイズ除去フィルタ部6に供給してリターンする。
【0072】
図9は、図2のノイズ除去装置で処理される信号の波形を模式的に示している。
【0073】
波形(画像信号)T1は、入力信号としての画像信号におけるある水平ラインの信号波形(各画素の画素値)を示している。図9において波形T1は、aで示されるエッジ本体部、bで示される平坦部、cで示される有意なテクスチャ部、およびdで示されるエッジ周辺部(エッジ本体部aの境界周辺)を有している。モスキートノイズは、エッジ部、特に、エッジ周辺部dに発生する。
【0074】
波形T2およびT3は、エッジ検出部1による画像信号T1を対象としたエッジ検出結果としての信号波形を示している。即ち、いま、エッジ検出部1が、画像信号T1を一次微分し、その一次微分結果の絶対値を、エッジ検出信号として出力するものとすると、波形T2は、波形T1の一次微分結果を示し、波形T3は、波形T2の絶対値であるエッジ検出信号を示す。エッジ検出信号T3は、平坦部bでは小さな振幅となるが、エッジ本体部aおよびエッジ周辺部d、さらには有意なテクスチャ部cでも大きな振幅となる。このため、例えば、エッジ検出信号T3だけによってエッジ部を検出するとすれば、エッジ本体部aおよびエッジ周辺部dの他、有意なテクスチャ部cも、エッジ部として検出されるおそれがある。
【0075】
波形T4は、フィルタ部2においてエッジ検出信号T3を平滑化することにより得られる平滑化信号の波形を示している。フィルタ部2では、エッジ検出信号T3から高周波成分が除去される。従って、エッジ本体部aおよびエッジ周辺部dでは、エッジ検出信号T3の振幅が大であるため、平滑化信号T4は、ある程度大きな変化を有するものとなる。また、有意なテクスチャ部cでは、エッジ検出信号T3の振幅は、エッジ本体部aおよびエッジ周辺部dほど大ではないため、平滑化信号T4は、それほど大きく変化しないものとなる。さらに、平坦部bでは、平滑化信号T4は、ほとんど変化がない、0に近いものとなる。
【0076】
そこで、識別部5では、注目画素の平滑化信号T4が閾値TH2より大きくないときには、注目画素を、平坦部bと識別する。
【0077】
波形T5は、変化検出部3において求められる平滑化信号T4の変化量としての、例えば分散の波形、即ち、エッジ信号を示している。エッジ信号T5は、平滑化信号T4の変化量であるから、平滑化信号T4がほとんど変化しない平坦部bや、それほど大きく変化しない有意なテクスチャ部cでは、0あるいは0に近い値となるが、平滑化信号T4がある程度大きく変化するエッジ本体部aでは、大きな値となる。
【0078】
エッジ検出信号T3は、上述したように、エッジ本体部aおよびエッジ周辺部dだけでなく、テクスチャ部cでも、ある程度大きな値となるため、エッジ検出信号T3によって、画像信号T1におけるエッジ部を判断したのでは、エッジ本体部aだけでなく、テクスチャ部cも、誤って、エッジと判断されることになる。
【0079】
これに対して、エッジ信号T5では、エッジ本体部aで大きな値となり、テクスチャ部cでは小さな値となる。そこで、識別部5は、注目画素のエッジ信号T5が閾値TH1未満でないときには、注目画素をエッジ本体部aであると識別する。
【0080】
波形T6は、変化検出部4において求められる入力信号としての画像信号の変化量としての、例えば、分散の波形、即ち、画像変化信号を示している。画像変化信号T6は、平坦部と、入力信号としての画像信号T1が大きく変化し始めるエッジ周辺部dでは小さな値をとり、画像信号T1がある程度変化するエッジ本体部aとテクスチャ部cではある程度大きな値をとる。そこで、識別部5は、注目画素の画像変化信号T6が閾値TH3未満でないときには、注目画素をテクスチャ部cであると識別し、画像変化信号T6が閾値TH3未満であるときには、注目画素をエッジ周辺部であると識別する。
【0081】
ここで、識別部5において、注目画素の画像変化信号T6を閾値T3によって閾値処理すると、有意なテクスチャ部cおよびエッジ本体部aと、エッジ周辺部dおよび平坦部bとを識別することができるが、図8の識別処理によれば、注目画素の画像変化信号T6を閾値処理するステップS15の時点において、注目画素が、エッジ本体部a(ステップS12)でも、平坦部(ステップS14)でもないことが識別処理されている。即ち、注目画素の画像変化信号T6を閾値処理するステップS15の時点において、注目画素が、有意なテクスチャ部cまたはエッジ周辺部dのどちらか一方であることは識別されている。従って、注目画素の画像変化信号T6を閾値T3と比較することにより、注目画素が、有意なテクスチャ部cであるか、または、エッジ周辺部dであるかを識別することができる。
【0082】
図10は、ある画像51について、図2のノイズ除去装置で得られるエッジ信号54を示している。なお、図10における画像51の波形は、図1における場合と同一であるため、その説明は省略する。また、図10においては、図1における場合と同様に、画像51の二次微分値52を図示してある。
【0083】
画像51からは、波形54で示すエッジ信号が得られる。
【0084】
エッジ信号54は、エッジ本体部aおよびエッジ周辺部であるエッジ部53において大きな値となっている。即ち、エッジ信号54は、エッジ本体部aである画素♯11および♯12を中心として大きな値をとり、その左または右方向の部分(エッジ周辺部)では次第に値が小さくなっている。そして、エッジ信号54は、有意なテクスチャ部cおよび平坦部bでは限りなく0に近い値となっている。従って、エッジ信号54によれば、エッジ部53と、有意なテクスチャ部cおよび平坦部bとを精度良く区別して検出することができる。
【0085】
図11は、図2のノイズ除去フィルタ部6の第1の構成例を示すブロック図である。図11では、ノイズ除去フィルタ部6は、例えば、LPF部41、混合部42、および特性設定部43とから構成されている。
【0086】
LPF部41と混合部42には、入力信号としての画像信号が供給される。LPF部41は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素(の画素値)を、LPFでフィルタリングし、そのフィルタリング信号を混合部42に出力する。
【0087】
ここで、LPF部41において画像信号がフィルタリングされることにより、その画像信号に生じているモスキートノイズが除去(低減)される。
【0088】
混合部42には、入力信号としての画像信号の他、変化検出部3から出力されたエッジ信号V、特性設定部43から出力されるパラメータ特性、およびLPF部41の出力が入力される。混合部42は、特性設定部43から出力されたパラメータ特性に基づき、変化検出器3から出力されたエッジ信号Vに対応して無次元量であるパラメータαを設定し、そのパラメータαに基づき、入力信号としての画像信号を構成する画素のうちの注目画素の画素値と、その注目画素に対応するLPF部41の出力とを用いて演算を行い、その演算結果を、注目画素のノイズ除去結果として出力する。
【0089】
即ち、混合部42は、パラメータαを、注目画素の元の画素値と、注目画素に対応するLPF部41の出力との混合比として、両者を混合し、その結果得られる混合値を、注目画素の新たな画素値(ノイズ除去結果)として出力する。
【0090】
具体的には、注目画素の元の画素値をXnと表すとともに、注目画素に対応するLPF部41の出力(注目画素のフィルタリング結果)をXn´と表すこととすると、混合部42は、式Zn=αXn´+(1−α)Xnにしたがって、注目画素の新たな画素値Znを求める。
【0091】
特性設定部43には、識別部5から出力される注目画素の識別情報が入力され、特性設定部43は、あらかじめ設定されているパラメータ特性を、注目画素の識別情報に応じて選択し、その選択したパラメータ特性を混合部42に出力する。
【0092】
図12は、図11のLPF部41でのフィルタリングに用いられるタップ係数の例を示している。
【0093】
図12のタップ係数によれば、注目画素の画素値に4/16が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に2/16が乗算され、注目画素の左上、左下、右上、右下それぞれに隣接する画素の画素値に1/16が乗算され、それらの乗算結果の総和が、フィルタリング結果として出力される。
【0094】
図13は、図11の特性設定部43においてあらかじめ設定されているパラメータ特性としての、エッジ信号Vとパラメータαとの関係を示している。
【0095】
図13によれば、パラメータαは、エッジ信号Vが大であるほど、つまり、エッジである程度が大であるほど、0乃至1の範囲で大になっている。
【0096】
また、図13のパラメータ特性においては、パラメータαは、エッジの程度が同じであっても、注目画素の種類(特性、性質)により、異なる値をとるようになっている。即ち、図13のパラメータ特性によれば平坦部、有意なテクスチャ部、エッジ本体部、エッジ周辺部の順で、パラメータαが大きな値に設定される。特に、モスキートノイズはエッジ周辺部に発生するため、注目画素がエッジ周辺部である場合、エッジの程度にかかわらず、αが限りなく1となるように、パラメータ特性が設定される。これにより、エッジ部、即ち、特にエッジ周辺部dに発生するモスキートノイズを効果的に十分に除去することができる。
【0097】
図11の混合部42では、上述したように、式Zn=αXn´+(1−α)Xnにしたがって、注目画素の画素値Xnと、注目画素のフィルタリング結果Xn´とが混合され、注目画素の新たな画素値Znが求められる。
【0098】
従って、パラメータαが大である画素、即ち、エッジ信号Vが大きく、エッジである程度が大である画素については、その画素のフィルタリング結果Xn´の重み大きくして、その画素の元の画素値Xxnとフィルタリング結果Xn´とが混合される。その結果、モスキートノイズが生じるエッジ部の画素については、フィルタリング結果Xn´の割合が高い画素値、即ち、モスキートノイズが除去された画素値が、新たな画素値Znとして得られる。
【0099】
一方、パラメータが小である画素、即ち、エッジ信号Vが小さい、平坦部や有意なテクスチャ部の画素については、その画素の元の画素値Xnの重みを大きくして、その画素値Xnと、フィルタリング結果Xn´とが混合される。その結果、平坦部や有意なテクスチャ部の画素については、元の画素値の割合が高い画素値、即ち、特に、有意なテクスチャ部のディテール(detail)を維持した画素値が、新たな画素値Znとして得られる。
【0100】
従って、有意なテクスチャ部の画質を損なわずに、モスキートノイズを効果的に除去することができる。
【0101】
図14は、図11のノイズ除去フィルタ部6により行われる図3のステップS6のノイズ除去処理を説明するフローチャートである。
【0102】
ステップS21において、特性設定部43には、識別部5から出力される注目画素の識別情報が入力され、特性設定部43は、その識別情報に基づき、図13に示したパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、混合部42に出力して、ステップS22へ進む。
【0103】
ステップS22において、LPF41には、入力信号としての画像信号が入力され、LPF部41は、その画像信号を構成する各画素のうちの注目画素の画素値Xnについて、ローパスフィルタリング処理を実行し、その処理結果を混合部42に出力し、ステップS23へ進む。
【0104】
ステップ23において、混合部42には、特性設定部43から出力されるパラメータ特性、変化検出部3から出力される注目画素のエッジ信号V、入力信号としての画像信号を構成する各画素のうちの注目画素の画素値Xn、およびLPF部41から出力される、注目画素に対応するフィルタリング結果Xn´が入力され、混合部42は、パラメータ特性に基づき、注目画素のエッジ信号Vに対応するパラメータαを設定する。さらに、混合部42は、そのパラメータαを混合比として注目画素の画素値Xnと、その注目画素に対応するフィルタリング結果Xn´とを混合する演算処理を実行し、その演算結果を、注目画素の新しい画素値Znとして出力してリターンする。
【0105】
また、ステップS21とS22の処理は、任意の順番で実行することができ、また、並列に実行することも可能である。
【0106】
図15は、図2のノイズ除去フィルタ部6の第2の構成例を示す図である。図15では、ノイズ除去フィルタ部6は、例えば、ε利得供給部61、εフィルタ部62、および特性設定部63とから構成されている。
【0107】
ε利得供給部61は、特性設定部63から出力されるパラメータ特性にしたがい、変化検出部3から出力されるエッジ信号Vに応じてεフィルタ部62のパラメータεを設定し、そのパラメータεをεフィルタ部62に出力する。
【0108】
εフィルタ部62には、ε利得供給部61から出力されたパラメータεと入力信号としての画像信号が入力される。εフィルタ部62は、入力された画像信号に対してパラメータεの値に基づき所定の演算処理を実行し、その結果を注目画素の新しい画素値として出力する。即ち、εフィルタ部62は、そこに供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素を、その注目画素に対応するパラメータεに応じてフィルタリングする。
【0109】
εフィルタ部62は、パラメータεの値が大きい値であるほど、平滑化される度合いが高く(即ち、鈍りが生じやすく)、パラメータεの値が小さい値であるほど、平滑化される度合いが低く(即ち、鈍りが生じにくく)なるように信号を平滑化するフィルタリング処理を実行する。
【0110】
特性設定部63には、識別部5から出力される注目画素の識別情報が入力され、特性設定部63は、あらかじめ設定されているパラメータ特性の中から、注目画その識別情報がに対応するパラメータ特性を選択し、その選択したパラメータ特性をε利得供給部61に出力する。
【0111】
図16は、図15の特性設定部63においてあらかじめ設定されているパラメータ特性を示している。図16のパラメータ特性は、パラメータεがとり得る範囲がパラメータαのとり得る範囲と異なることを除けば、図13と同様であるので説明は省略する。
【0112】
図17は、εフィルタ部62のフィルタリング処理を説明する図である。εフィルタ部62では、入力信号が、例えば、図17Aに示される急峻なエッジを有する画像信号であっても、図17Bに示すように、その急峻なエッジを維持するように信号に平滑化される。
【0113】
以下に、εフィルタ部62が実行する平滑化処理(フィルタリング処理)の詳細について説明する。εフィルタ部62は、注目画素を、その注目画素の近傍にある近傍画素を用いてローパスフィルタリングするが、その際に近傍画素の画素値がパラメータεに応じて設定される。即ち、注目画素Pnの画素値Xnを中心とするεの範囲内に近傍画素Pmの画素値Xmがない場合、近傍画素Pmの画素値Xmを注目画素Pnの画素値Xnに置き換えてローパスフィルタリングが行われ、近傍画素Pmの画素値Xmがεの範囲内にある場合、その近傍画素Pmの画素値Xmをそのまま用いてローパスフィルタリングが行われる。
【0114】
即ち、εフィルタ部62は、注目画素Pnの画素値Xnと注目画素Pnの近傍画素Pmの画素値Xmとの差の絶対値|Xn−Xm|をε/2と比較する。そして、εフィルタ部62は、絶対値|Xn−Xm|がε/2よりも大きい(または以上である)と判断した場合には、近傍画素Pmの画素値Xmを注目画素Pnの画素値Xnに置き換え、注目画素Pnについてローパスフィルタ処理(ローパスフィルタリング)を行う。
【0115】
一方、εフィルタ部62は、絶対値|Xn−Xm|がε/2以下(または未満)と判断した場合には、近傍画素の画素値Xmをそのまま用いて、注目画素Pnについてローパスフィルタ処理を行う。
【0116】
従って、εフィルタ部62によれば、注目画素の画素値に近い値の画素値のみを用いて、注目画素がローパスフィルタリングされる。その結果、εフィルタ部62においては、例えば、入力信号としての画像信号に微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタ部62においては、例えば、入力信号としての画像信号に、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【0117】
図15のノイズ除去フィルタ部6では、上述したように、注目画素がエッジである程度が大であるとパラメータεも大とされ、エッジである程度が小であると、パラメータεも小とされる。
【0118】
従って、図15のεフィルタ部62では、エッジ部の画素については、パラメータεが大となり、その画素周辺の画素の画素値をそのまま用いてローパスフィルタリングが行われ易くるので、そのエッジ部に生じるモスキートノイズを除去することができる。また、図12のεフィルタ部62では、平坦部や有意なテクスチャ部の画素については、パラメータεが小となり、その画素周辺の画素の画素値を、注目画素の画素値に置き換えてローパスフィルタリングが行われ易くなるので、特に、有意なテクスチャ部のディテールを維持したフィルタリング結果を得ることができる。
【0119】
なお、εフィルタ部62で実行されるフィルタリング処理のタップ数は、特に限定されるのもではなく、また、ユーザの要求に応じた任意の値とすることが可能である。
【0120】
図18は、図15のノイズ除去フィルタ部6の動作を説明するフローチャートである。
【0121】
ステップS31において、特性設定部63には、識別部5が出力する注目画素の識別情報が入力され、特性設定部63は、その識別情報に基づき、あらかじめ設定されているパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、ε利得供給部62に出力して、ステップS32へ進む。
【0122】
ステップS32において、ε利得供給部62は、特性設定部63から出力されたパラメータ特性に基づき、注目画素のエッジ信号Vに対応するパラメータεを設定し、そのパラメータεをεフィルタ部62へ出力して、ステップS33へ進む。
【0123】
ステップS33において、εフィルタ部62は、ε利得供給部62から供給されるパラメータεに基づき、画像信号を構成する各画素のうち注目画素について、注目画素の近傍にある近傍画素の画素値を用いてフィルタリング処理を行い、その処理結果を注目画素の新しい画素値Znとして出力してリターンする。なお、εフィルタ部62のフィルタリング処理に用いるタップ係数としては、例えば、図12に示したもの採用することができる。
【0124】
以上のように、エッジ検出信号、平滑化信号、およびエッジ信号に基づき、注目画素を識別し、その識別結果を表す識別情報と、エッジ信号とに基づいてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを効果的に十分に除去することができる。
【0125】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【0126】
上述した一連の処理をソフトウェアで実行させる場合、ノイズ除去装置は、例えば、図19に示されるようなパーソナルコンピュータなどとして構成することが可能である。
【0127】
図19において、CPU(Central Processing Unit)71は、ROM(Read Only Memory)72に記憶されているプログラム、または記憶部78からRAM(Random Access Memory)73にロードされたプログラムに従って各種の処理を実行する。
【0128】
RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0129】
CPU71、ROM72、およびRAM73は、バス74を介して相互に接続されている。このバス74にはまた、入出力インタフェース75も接続されている。
【0130】
入出力インタフェース75には、キーボード、マウスなどよりなる入力部76、ディスプレイなどよりなる出力部77、ハードディスクなどより構成される記憶部78、および通信部79が接続されている。
【0131】
入出力インタフェース75にはまた、必要に応じてドライブ80が接続され、磁気ディスク81、光ディスク82、光磁気ディスク83、或いは半導体メモリ84が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部78にインストールされる。
【0132】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【0133】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図19に示すように、磁気ディスク81(フロッピディスクを含む)、光ディスク82(CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む)、光磁気ディスク83、もしくは半導体メモリ84などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるROM72や、記憶部78を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【0134】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0135】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0136】
なお、本実施の形態では、エッジ信号および識別情報に基づいて、モスキートノイズを除去するようにしたが、エッジ信号はおよび識別情報は、モスキートノイズの除去の他、例えば、画像をオブジェクト符号化する場合のオブジェクトの抽出などに利用することが可能である。
【0137】
また、本実施の形態では、MPEGデコードされた画像信号を処理するようにしたが、その他の画像信号を対象として処理を行うことも可能である。
【0138】
さらに、本実施の形態では、平滑化信号の変化量(エッジ信号)として、平滑化信号の分散を求めるようにしたが、平滑化信号の変化量としては、注目画素の近傍の画素の平滑化信号の差分絶対値の平均値や、平滑化信号の微分値などを採用することが可能である。画像信号の変化量(画像変化信号)についても同様である。
【0139】
また、本実施の形態では、エッジ信号、平滑化信号、画像変化信号の3つを用いて、画像信号を識別し、その識別結果を表す識別情報を出力するようにしたが、その他、例えば、エッジ信号と、平滑化信号または画像変化信号のうちのいずれか一方との2つを用いて、画像信号を識別することも可能である。但し、この場合、図8の識別処理において、平滑化信号を用いないときには、ステップS13およびS14の処理が行われなくなり、画像変化信号を用いないときには、ステップS15乃至S17の処理が行われなくなる。
【0140】
さらに、ノイズ除去フィルタ部6は、上述したように構成する他、例えば、メディアンフィルタを用いて構成することが可能である。
【0141】
【発明の効果】
以上のように、本発明によれば、エッジ本体部、平坦部、有意なテクスチャ部、およびノイズを明確に区別することができる。
【図面の簡単な説明】
【図1】従来の画像信号とその二次微分の信号レベルを説明する図である。
【図2】本発明を適用したノイズ除去装置の一実施の形態の構成を示すブロック図である。
【図3】ノイズ除去装置の動作を説明するフローチャートである。
【図4】エッジ検出部1の構成例を示すブロック図である。
【図5】水平エッジ検出部11(垂直エッジ検出部13)の構成例を示すブロック図である。
【図6】フィルタ部2の構成例を示すブロック図である。
【図7】識別部5の構成例を示すブロック図である。
【図8】識別部5の動作を説明するフローチャートである。
【図9】ノイズ除去装置で得られる信号の波形を示す図である。
【図10】変化検出部3において得られるエッジ信号の波形を説明する図である。
【図11】ノイズ除去フィルタ部6の第1の構成例を示すブロック図である。
【図12】LPF部41のタップ係数の一実施の形態を示す図である。
【図13】エッジ信号Vとパラメータαとの関係を示す図である。
【図14】図11のノイズ除去フィルタ部6の動作を説明するフローチャートである。
【図15】ノイズ除去フィルタ部6の第2の構成例を示すブロック図である。
【図16】エッジ信号Vとパラメータεとの関係を示す図である。
【図17】εフィルタ部62の処理を説明する図である。
【図18】図15のノイズ除去フィルタ部6の動作を説明するフローチャートである。
【図19】本発明を適用したノイズ除去装置を実現するコンピュータの構成例を示すブロック図である。
【符号の説明】
1 エッジ検出部, 2 フィルタ部, 3 変化検出部, 4 ノイズ除去フィルタ部, 11 水平エッジ検出部, 12 比較部, 13 垂直エッジ検出部, 21 微分部, 22 絶対値化部, 31 水平ローパスフィルタ部, 32 垂直ローパスフィルタ部, 41 LPF部, 42 混合部, 43 特性設定部, 61 ε利得供給部, 62 εフィルタ部, 63 特性設定部, 71 CPU, 72 ROM, 73 RAM, 74 バス,75 入出力インターフェース, 76 入力部, 77 出力部, 78 記憶部, 79 通信部, 80 ドライブ, 81 磁器ディスク, 82 光ディスク, 83 光磁器ディスク, 84 半導体メモリ, 91 エッジ識別部, 92 平坦部識別部, 93 テクスチャ識別部, 94 識別結果出力部
Claims (5)
- 画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、
前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段と、
前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段と、
前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段と、
注目画素の前記エッジ信号が所定の第1の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第2の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第3の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第3の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別手段と
を備えることを特徴とする信号処理装置。 - 前記エッジ信号が大きい画素ほどノイズの除去処理を強く施すとともに、前記エッジ信号の値が同じ場合、前記エッジ周辺部の画素に対してノイズの除去処理を最も強く施し、前記画像信号からノイズを除去するノイズ除去手段をさらに備える
ことを特徴とする請求項1に記載の信号処理装置。 - 前記ノイズ除去手段は、前記エッジ信号の値が同じ場合、強い方から、前記エッジ周辺部の画素、前記エッジ本体部の画素、前記テクスチャ部の画素、前記平坦部の画素の順にノイズの除去処理の強さを調整する
ことを特徴とする請求項2に記載の信号処理装置。 - 画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、
前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、
前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、
注目画素の前記エッジ信号が所定の第1の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第2の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第3の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第3の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別ステップと
を含むことを特徴とする信号処理装置の信号処理方法。 - 画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、
前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、
前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、
注目画素の前記エッジ信号が所定の第1の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第2の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第3の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第1の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第2の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第3の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別ステップと
を含む処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003133382A JP4392582B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003133382A JP4392582B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004336652A JP2004336652A (ja) | 2004-11-25 |
JP4392582B2 true JP4392582B2 (ja) | 2010-01-06 |
Family
ID=33507937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003133382A Expired - Fee Related JP4392582B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4392582B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100746744B1 (ko) * | 2005-11-28 | 2007-08-06 | 삼성전자주식회사 | 영상 디테일 향상방법 및 그 장치 |
JP2007288761A (ja) * | 2006-03-20 | 2007-11-01 | Sony Corp | 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム |
JP4930638B2 (ja) | 2008-05-30 | 2012-05-16 | 富士通株式会社 | 画像補正装置および画像補正方法 |
JP5223702B2 (ja) | 2008-07-29 | 2013-06-26 | 株式会社リコー | 画像処理装置、ノイズ低減方法、プログラム、記憶媒体 |
JP5180911B2 (ja) * | 2009-06-01 | 2013-04-10 | キヤノン株式会社 | ノイズ除去制御装置及びノイズ除去制御方法 |
US9514515B2 (en) * | 2013-03-08 | 2016-12-06 | Sharp Kabushiki Kaisha | Image processing device, image processing method, image processing program, and image display device |
JP6188448B2 (ja) * | 2013-06-26 | 2017-08-30 | オリンパス株式会社 | 画像処理装置 |
US9639771B2 (en) | 2013-09-06 | 2017-05-02 | Sharp Kabushiki Kaisha | Image processing device |
-
2003
- 2003-05-12 JP JP2003133382A patent/JP4392582B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004336652A (ja) | 2004-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5839631B2 (ja) | ブロックノイズの検出方法 | |
JP4635779B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラム | |
JP5075861B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4887544B2 (ja) | 動画データのノイズ除去方法 | |
JP4145665B2 (ja) | 画像処理装置及び画像処理方法 | |
JPH06348842A (ja) | ノイズ低減フィルター | |
JP4539027B2 (ja) | 信号処理装置および信号処理方法、並びにプログラム | |
US20070286515A1 (en) | Method and apparatus for removing false contours | |
JPH08186714A (ja) | 画像データのノイズ除去方法及びその装置 | |
JP2003018403A (ja) | 画像処理装置 | |
KR101766536B1 (ko) | 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치 | |
US20130022288A1 (en) | Image processing apparatus and method for reducing edge-induced artefacts | |
JP4392582B2 (ja) | 信号処理装置および信号処理方法、並びにプログラム | |
JP2008293425A (ja) | ノイズ除去装置並びにプログラムおよび方法 | |
CN112215764A (zh) | 一种基于中值滤波的改进算法的图像处理方法 | |
US7295715B2 (en) | Apparatus and method for detecting frequency | |
CN101552922B (zh) | 信号处理设备和方法 | |
CN106846262B (zh) | 去除蚊式噪声的方法及*** | |
JP2008278185A (ja) | データ処理装置およびデータ処理方法、並びにプログラム | |
JP2002208006A (ja) | 画像ノイズ減少方法 | |
CN111429383B (zh) | 图像降噪方法及装置、计算机可读存储介质 | |
CN114693543B (zh) | 图像降噪方法及装置、图像处理芯片、图像采集设备 | |
JP2008293424A (ja) | ノイズ除去装置並びにプログラムおよび方法 | |
Pirsiavash et al. | An efficient parameter selection criterion for image denoising | |
JP2002247412A (ja) | 映像信号ノイズ低減方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090917 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090930 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |