JP4392582B2 - 信号処理装置および信号処理方法、並びにプログラム - Google Patents
信号処理装置および信号処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP4392582B2 JP4392582B2 JP2003133382A JP2003133382A JP4392582B2 JP 4392582 B2 JP4392582 B2 JP 4392582B2 JP 2003133382 A JP2003133382 A JP 2003133382A JP 2003133382 A JP2003133382 A JP 2003133382A JP 4392582 B2 JP4392582 B2 JP 4392582B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- edge
- pixel
- interest
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003708 edge detection Methods 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 40
- 230000002093 peripheral effect Effects 0.000 claims description 30
- 238000009499 grossing Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 description 31
- 241000255925 Diptera Species 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 230000004069 differentiation Effects 0.000 description 14
- 239000006185 dispersion Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および信号処理方法、並びにプログラムに関し、特に、例えば、画像におけるエッジ部等を精度良く区別し、テクスチャ部の画質を損なわずに、エッジ周辺部に発生する圧縮ノイズ（モスキートノイズ）を効果的に十分に除去できるようにした信号処理装置および信号処理方法、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）などにおいては、画像信号をブロック化し、各ブロックをＤＣＴ（Discrete Cosine Transform）処理する。このため、ＭＰＥＧエンコードされた画像信号をデコードすると、そのデコード画像においては、原理的に、エッジ周辺部に、モスキートノイズが発生する。モスキートノイズは、画像のエッジ周辺部に現れるため、モスキートノイズを除去するには、画像からエッジ部を検出する必要がある。
【０００３】
このため、モスキートノイズを除去する、従来のノイズ除去装置では、例えば、単なる一次微分や二次微分によるエッジ検出や、ソーベルオペレータを用いたソーベルフィルタなどによるエッジ検出が行われている（例えば、特許文献１）。
【０００４】
図１は、ある画像５１のある水平ラインの画素値を、横軸を画素の位置とするとともに、縦軸を画素値として示している。なお、図１（後述する図８においても同様）では、各画素の水平方向の中心位置に、各画素の画素値をプロットし、さらに、画素値の変化を明確にするため、隣接する画素の画素値（を表す点）を直線で結んである。また、図１では、その左側の画素から、１からのシーケンシャルな番号を付して、各画素を表してある。
【０００５】
画像５１は、画素♯１乃至画素♯１０からなる信号レベル（画素値）がほとんど変化しない平坦部ｂ、画素♯１１および♯１２からなる信号レベルが急に変化するエッジ部ａ、並びに画素♯１３乃至画素♯２１からなる有意なテクスチャ部（例えば、模様があるなどして、信号レベルの変化がある程度存在する部分）ｃを有している。
【０００６】
ここで有意なテクスチャ部ｃでは、平坦部ｂよりも信号レベルが大きく変化しているが、エッジ部ａにおける場合ほどは変化していない。
【０００７】
例えば、二次微分によるエッジ検出では、画像５１の二次微分が演算され、その結果得られる二次微分値を閾値処理することにより、エッジが検出される。
【０００８】
即ち、二次微分によるエッジ検出では、二次微分値の大きさ（絶対値）が、ある閾値より大の部分が検出され、その部分がエッジ部として検出される。
【０００９】
モスキートノイズは、エッジ本体部ａを含むその周辺であるエッジ周辺部５３に生じるので、そのエッジ周辺部５３をフィルタリングすることにより、モスキートノイズを除去（低減）することができる。
【００１０】
【特許文献１】
特開平７−２３１４５０号公報
【００１１】
【発明が解決しようとする課題】
ところで、図１において波形５２は、画像５１の二次微分値を示している。平坦部ｂでは、信号レベルの変化がほとんどないため、二次微分値５２の大きさは、小さくなる。これに対して、エッジ部ａや有意なテクスチャ部ｃでは、信号レベルの変化がある程度以上であるため、二次微分値５２の大きさは、大きくなる。
【００１２】
このため、二次微分値５２を閾値処理することによりエッジ検出を行う場合には、エッジ本体部ａのみならず有意なテクスチャ部ｃも、エッジとして検出され、エッジ本体部ａと有意なテクスチャ部ｃとを精度良く区別することができないことがあった。
【００１３】
さらに、その結果、モスキートノイズを除去するためのフィルタリング時に、エッジ本体部ａの他に、有意なテクスチャ部ｃもフィルタリングされ、有意なテクスチャ部ｃの画質の劣化が生じ、また、エッジ部５３に発生するモスキートノイズを効率的に除去することができないことがあった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、画像信号を精度良く識別して、さらには、例えば、エッジ部に発生するモスキートノイズを効果的に十分に除去するようにすること等ができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段と、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段と、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段と、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別手段とを備えることを特徴とする。
【００１６】
本発明の信号処理方法は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含むことを特徴とする。
【００１７】
本発明のプログラムは、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１８】
本発明の信号処理装置、信号処理方法、およびプログラムにおいては、画像信号からエッジが検出され、その検出結果を表すエッジ検出信号が出力され、エッジ検出信号が平滑化され、平滑化信号として出力され、平滑化信号の変化量が求められ、その変化量を表すエッジ信号が出力され、画像信号の変化量が求められ、その変化量を表す画像変化信号が出力され、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別される。
【００１９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段（例えば、図２のエッジ検出部１）と、前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段（例えば、図２のフィルタ部２）と、前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段（例えば、図２の変化検出部３）と、前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段（例えば、図２の変化検出部４）と、注目画素の前記エッジ信号が所定の第１の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第２の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第３の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第３の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別手段（例えば、図２の識別部５）とを備えることを特徴とする。
【００２２】
請求項２に記載の信号処理装置は、エッジ信号が大きい画素ほどノイズの除去処理を強く施すとともに、エッジ信号の値が同じ場合、エッジ周辺部の画素に対してノイズの除去処理を最も強く施し、画像信号からノイズを除去するノイズ除去手段（例えば、図２のノイズ除去フィルタ部６）をさらに備えることを特徴とする。
【００２４】
図２は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。ノイズ除去装置は、エッジ検出部１、フィルタ部２、変化検出部３、変化検出部４、識別部５、およびノイズ除去フィルタ部６から構成される。
【００２５】
エッジ検出部１には、入力信号としての、例えばＭＰＥＧデコードされた画像信号が入力され、エッジ検出部１は、入力信号としての画像信号からエッジを検出し、フィルタ部２に、そのエッジの検出結果を表すエッジ検出信号を出力するようになされている。なお、エッジ検出部１としては、例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出を行う従来のエッジ検出装置その他を利用することができる。
【００２６】
フィルタ部２は、エッジ検出部１から出力されるエッジ検出信号を平滑化し、その平滑化結果を平滑化信号として、変化検出部３および識別部５に出力するようになされている。なお、フィルタ部２は、例えば、ＬＰＦ（Low Pass Filter）で構成することができる。
【００２７】
変化検出部３は、フィルタ部２から出力される平滑化信号の変化量を検出し、その変化量を、入力信号としての画像信号におけるエッジの程度を表すエッジ信号として、識別部５およびノイズ除去フィルタ部６に出力するようになされている。
【００２８】
変化検出部４には、入力信号としての画像信号が入力され、変化検出部４は、入力信号としての画像信号の変化量を検出し、その変化量（以下、適宜、画像変化信号という）を、識別部５に出力するようになされている。
【００２９】
識別部５には、変化検出部３から出力されるエッジ信号、フィルタ部２から出力される平滑化信号、および変化検出部４から出力される画像変化信号が入力され、識別部５は、エッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号がエッジ本体部、エッジ周辺部、有意なテクスチャ部、または平坦部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に出力するようになされている。
【００３０】
ノイズ除去フィルタ部６には、識別部５から出力される識別情報の他、変化検出部３から出力されるエッジ信号および入力信号としての画像信号が入力される。ノイズ除去フィルタ部６は、識別部５から出力される識別情報に基づいて、処理に用いるパラメータ特性を設定し、そのパラメータ特性と変化検出部３からのエッジ信号に基づいて所定の演算を行い、これにより、画像信号からモスキートノイズを除去し、出力信号としての画像信号を出力するようになされている。
【００３１】
図３は、図２のノイズ除去装置の処理（画像処理）を説明するフローチャートである。
【００３２】
図２のノイズ除去装置には、例えば、ＭＰＥＧデコードされた画像信号が入力信号として供給され、その画像信号は、エッジ検出部１、変化検出部４、およびノイズ除去フィルタ部６に供給される。図３の画像処理は、入力信号としての画像信号が、エッジ検出部１とノイズ除去フィルタ部６に供給されると開始される。
【００３３】
ステップＳ１において、エッジ検出部１は、そこに供給される画像信号からエッジ検出を行い、そのエッジ検出結果としてのエッジ検出信号を、フィルタ部２に出力し、ステップＳ２に進む。
【００３４】
ステップＳ２において、フィルタ部２は、エッジ検出部１から供給されるエッジ検出信号を、例えばＬＰＦによってフィルタリングすることにより平滑化し、その結果得られる平滑化信号を変化検出器３および識別部５に出力して、ステップＳ３に進む。
【００３５】
ステップＳ３において、変化検出部３は、フィルタ部２から供給される平滑化信号の変化量を算出し、その変化量をエッジ信号として、ノイズ除去フィルタ部６に出力して、ステップＳ４に進む。ここで、平滑化信号の変化量としては、例えば、その平滑化信号の分散を採用することができる。変化検出部３は、入力信号である平滑化された画像信号を構成する各画素について、その画素に対応する平滑化信号の分散を求め、エッジ信号として出力する。
【００３６】
ステップ４において、変化検出部４は、そこに供給される画像信号から変化量を算出し、その変化量である画像変化信号を、識別部５に出力して、ステップＳ５に進む。ここで変化量としては、ステップＳ３と同様に分散を採用することができる。変化検出部４は、入力信号である画像信号を構成する各画素について、分散を求め、画像変化信号として出力する。
【００３７】
なお、ステップＳ１乃至Ｓ３の処理とステップＳ４の処理とは、図３に示した順番で実行する必要はなく、また、並列に実行することもできる。
【００３８】
ステップＳ５において、識別部５は、そこに供給されるエッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号が、エッジ本体部、有意なテクスチャ部、平坦部、またはエッジ周辺部のうちいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に出力して、ステップＳ６に進む。
【００３９】
ステップＳ６において、ノイズ除去フィルタ部６は、識別部５から供給される画像識別信号、および変化検出部３から供給されるエッジ信号に基づいて、入力信号としての画像信号に対して、所定の演算を施し、その演算結果をモスキートノイズを除去した画像信号として出力する。そして、ステップＳ６からＳ１に戻り、以下、同様の処理が繰り返される。
【００４０】
なお、図３の処理は、ノイズ除去装置に供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素を対象に行われ、ノイズ除去装置に画像信号が供給されなくなると、終了する。
【００４１】
図４は、図２のエッジ検出部１の構成例を示すブロック図である。エッジ検出部１は、例えば、水平エッジ検出部１１、比較部１２、および垂直エッジ検出部１３から構成されている。
【００４２】
水平エッジ検出部１１と垂直エッジ検出部１３には、入力信号としての画像信号が入力される。そして、水平エッジ検出部１１は、そこに入力される画像信号の水平方向のエッジ（水平エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、水平エッジ検出信号という）を比較部１２に出力する。
【００４３】
一方、垂直エッジ検出部１３は、そこに入力される画像信号の垂直方向のエッジ（垂直エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、垂直エッジ検出信号という）を比較部１２に出力する。
【００４４】
なお、水平エッジ検出部１１と垂直エッジ検出部１３は、画像信号を構成する各画素について、エッジ検出信号を出力する。
【００４５】
比較部１２は、画像信号を構成する各画素ごとに、水平エッジ検出部１１から供給される水平エッジ検出信号と、垂直エッジ検出部１３から供給される垂直エッジ検出信号を比較し、値の大きい方を、最終的なエッジ検出信号としてフィルタ部２に出力する。
【００４６】
なお、エッジ検出部１では、エッジを水平方向と垂直方向に分けずに、二次元フィルタ等によって検出することが可能である。
【００４７】
また、エッジ検出部１では、水平エッジ検出信号と垂直エッジ検出信号との合成値（例えば、平均値）などを、最終的なエッジ検出信号として採用することが可能である。
【００４８】
図５は、図４の水平エッジ検出部１１の構成例を示すブロック図である。水平エッジ検出部１１は、微分部２１と絶対値化部２２とから構成されている。
【００４９】
微分部２１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素における画素値の水平方向の微分値を求める。即ち、微分部２１は、例えば、注目画素とその左または右隣の画素との画素値の差分を演算し、その差分を、注目画素における水平方向の微分値として、絶対値化部２２に出力する。
【００５０】
絶対値化部２２は、微分部２１から出力される微分値の絶対値をとり、その絶対値を、水平エッジ検出信号として、図５の比較部１２に供給する。
【００５１】
なお、図４の垂直エッジ検出部１３も、図５の水平エッジ検出部１１と同様に構成される。但し、垂直エッジ検出部１３を構成する微分部２１は、注目画素における画素値の垂直方向の微分値を求め、絶対値化部２２に供給する。
【００５２】
また、図５の実施の形態では、一次微分によって、エッジ検出を行うようにしたが、エッジ検出は、その他、例えば、二次微分などによって行うことも可能である。
【００５３】
図６は、図２のフィルタ部２の構成例を示すブロック図である。フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とから構成されている。
【００５４】
水平ローパスフィルタ部３１は、エッジ検出部１から供給されるエッジ検出信号の水平方向の高周波数成分をカットし、垂直ローパスフィルタ部３２に出力する。
【００５５】
垂直ローパスフィルタ部３２は、水平ローパスフィルタ部３１から出力された信号の垂直方向の高周波数成分をカットし、その結果得られる信号を、平滑化信号として変化検出部３に出力する。
【００５６】
以上のようにして、フィルタ部２では、エッジ検出信号を平滑化した平滑化信号が出力される。
【００５７】
なお、フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とを入れ換えて構成することも可能である。
【００５８】
さらに、フィルタ部２は、例えば、水平方向と垂直方向の高周波数成分を同時にカットする二次元のローパスフィルタで構成することも可能である。
【００５９】
図７は、図２の識別部５の構成を示すブロック図である。識別部５は、例えば、エッジ識別部９１、平坦部識別部９２、テクスチャ識別部９３、および識別結果出力部９４から構成されている。
【００６０】
識別部５には、変化検出部３から出力されるエッジ信号Ｖ、フィルタ部２から出力される平滑化信号Ｆ、および変化検出部４から出力される画像変化信号Ｔｘが入力され、識別部５は、注目画素がエッジ本体部、平坦部、有意なテクスチャ部、およびエッジ周辺部のいずれの画素であるかを識別する。
【００６１】
エッジ識別部９１は、変化検出部３から供給されるエッジ信号Ｖと、所定の閾値ＴＨ１とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６２】
平坦部識別部９２は、フィルタ部２から供給される平滑化信号と、所定の閾値ＴＨ２とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６３】
テクスチャ識別部９３は、変化検出部４から供給される画像変化信号と、所定の閾値ＴＨ３とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６４】
識別結果出力部９４は、エッジ識別部９１、平坦部識別部９２またはテクスチャ識別部９３の出力に基づいて、注目画素が、エッジ本体部、平坦部、有意なテクスチャ部、またはエッジ周辺部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に供給する。
【００６５】
図８は、図７の識別部５による図３のステップＳ５における識別処理を説明するフローチャートである。
【００６６】
ステップＳ１１において、エッジ識別部９１は、注目画素のエッジ信号Ｖが閾値ＴＨ１未満（または以下）であるかどうかを判定する。ステップＳ１１において、注目画素のエッジ信号が閾値ＴＨ１未満でないと判定された場合、即ち、注目画素のエッジ信号が、ある程度大きい場合、ステップＳ１２に進み、識別結果出力部９４は、注目画素がエッジ本体部である旨の識別情報を、ノイズ除去フィルタ部６に出力し、リターンする。
【００６７】
一方、ステップＳ１１において、エッジ信号が閾値ＴＨ１未満であると判定された場合、ステップＳ１３に進み、平坦部識別部９２は、注目画素の平滑化信号が、閾値ＴＨ２より大（以上）であるかどうかを判定する。
【００６８】
ステップＳ１３において、注目画素の平滑化信号が閾値ＴＨ２より大でないと判定された場合、即ち、注目画素の平滑化信号がある程度小さい場合、ステップＳ１４に進み、識別結果出力部９４は、注目画素が平坦部である旨の識別情報を、ノイズ除去フィルタ部６に供給し、リターンする。
【００６９】
ステップＳ１３において、注目画素の平滑化信号が閾値ＴＨ２より大であると判定された場合、ステップＳ１５に進み、テクスチャ識別部９３は、注目画素の画像変化信号が閾値ＴＨ３未満（または以下）であるかどうかを判定する。
【００７０】
ステップＳ１５において、注目画素の画像変化信号が閾値ＴＨ３未満でないと判定された場合、即ち、注目画素の画素変化信号がある程度大きい場合、ステップＳ１６に進み、識別結果出力部９４は、注目画素が有意なテクスチャ部である旨の識別情報を、ノイズ除去フィルタ部６に供給してリターンする。
【００７１】
また、ステップＳ１５において、注目画素の画像変化信号が閾値ＴＨ３未満であると判定された場合、即ち、注目画素の画像変化信号がある程度小さい場合、ステップＳ１７に進み、識別結果出力部９４は、注目画素がエッジ周辺部である旨の識別情報を、ノイズ除去フィルタ部６に供給してリターンする。
【００７２】
図９は、図２のノイズ除去装置で処理される信号の波形を模式的に示している。
【００７３】
波形（画像信号）Ｔ１は、入力信号としての画像信号におけるある水平ラインの信号波形（各画素の画素値）を示している。図９において波形Ｔ１は、ａで示されるエッジ本体部、ｂで示される平坦部、ｃで示される有意なテクスチャ部、およびｄで示されるエッジ周辺部（エッジ本体部ａの境界周辺）を有している。モスキートノイズは、エッジ部、特に、エッジ周辺部ｄに発生する。
【００７４】
波形Ｔ２およびＴ３は、エッジ検出部１による画像信号Ｔ１を対象としたエッジ検出結果としての信号波形を示している。即ち、いま、エッジ検出部１が、画像信号Ｔ１を一次微分し、その一次微分結果の絶対値を、エッジ検出信号として出力するものとすると、波形Ｔ２は、波形Ｔ１の一次微分結果を示し、波形Ｔ３は、波形Ｔ２の絶対値であるエッジ検出信号を示す。エッジ検出信号Ｔ３は、平坦部ｂでは小さな振幅となるが、エッジ本体部ａおよびエッジ周辺部ｄ、さらには有意なテクスチャ部ｃでも大きな振幅となる。このため、例えば、エッジ検出信号Ｔ３だけによってエッジ部を検出するとすれば、エッジ本体部ａおよびエッジ周辺部ｄの他、有意なテクスチャ部ｃも、エッジ部として検出されるおそれがある。
【００７５】
波形Ｔ４は、フィルタ部２においてエッジ検出信号Ｔ３を平滑化することにより得られる平滑化信号の波形を示している。フィルタ部２では、エッジ検出信号Ｔ３から高周波成分が除去される。従って、エッジ本体部ａおよびエッジ周辺部ｄでは、エッジ検出信号Ｔ３の振幅が大であるため、平滑化信号Ｔ４は、ある程度大きな変化を有するものとなる。また、有意なテクスチャ部ｃでは、エッジ検出信号Ｔ３の振幅は、エッジ本体部ａおよびエッジ周辺部ｄほど大ではないため、平滑化信号Ｔ４は、それほど大きく変化しないものとなる。さらに、平坦部ｂでは、平滑化信号Ｔ４は、ほとんど変化がない、０に近いものとなる。
【００７６】
そこで、識別部５では、注目画素の平滑化信号Ｔ４が閾値ＴＨ２より大きくないときには、注目画素を、平坦部ｂと識別する。
【００７７】
波形Ｔ５は、変化検出部３において求められる平滑化信号Ｔ４の変化量としての、例えば分散の波形、即ち、エッジ信号を示している。エッジ信号Ｔ５は、平滑化信号Ｔ４の変化量であるから、平滑化信号Ｔ４がほとんど変化しない平坦部ｂや、それほど大きく変化しない有意なテクスチャ部ｃでは、０あるいは０に近い値となるが、平滑化信号Ｔ４がある程度大きく変化するエッジ本体部ａでは、大きな値となる。
【００７８】
エッジ検出信号Ｔ３は、上述したように、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃでも、ある程度大きな値となるため、エッジ検出信号Ｔ３によって、画像信号Ｔ１におけるエッジ部を判断したのでは、エッジ本体部ａだけでなく、テクスチャ部ｃも、誤って、エッジと判断されることになる。
【００７９】
これに対して、エッジ信号Ｔ５では、エッジ本体部ａで大きな値となり、テクスチャ部ｃでは小さな値となる。そこで、識別部５は、注目画素のエッジ信号Ｔ５が閾値ＴＨ１未満でないときには、注目画素をエッジ本体部ａであると識別する。
【００８０】
波形Ｔ６は、変化検出部４において求められる入力信号としての画像信号の変化量としての、例えば、分散の波形、即ち、画像変化信号を示している。画像変化信号Ｔ６は、平坦部と、入力信号としての画像信号Ｔ１が大きく変化し始めるエッジ周辺部ｄでは小さな値をとり、画像信号Ｔ１がある程度変化するエッジ本体部ａとテクスチャ部ｃではある程度大きな値をとる。そこで、識別部５は、注目画素の画像変化信号Ｔ６が閾値ＴＨ３未満でないときには、注目画素をテクスチャ部ｃであると識別し、画像変化信号Ｔ６が閾値ＴＨ３未満であるときには、注目画素をエッジ周辺部であると識別する。
【００８１】
ここで、識別部５において、注目画素の画像変化信号Ｔ６を閾値Ｔ３によって閾値処理すると、有意なテクスチャ部ｃおよびエッジ本体部ａと、エッジ周辺部ｄおよび平坦部ｂとを識別することができるが、図８の識別処理によれば、注目画素の画像変化信号Ｔ６を閾値処理するステップＳ１５の時点において、注目画素が、エッジ本体部ａ（ステップＳ１２）でも、平坦部（ステップＳ１４）でもないことが識別処理されている。即ち、注目画素の画像変化信号Ｔ６を閾値処理するステップＳ１５の時点において、注目画素が、有意なテクスチャ部ｃまたはエッジ周辺部ｄのどちらか一方であることは識別されている。従って、注目画素の画像変化信号Ｔ６を閾値Ｔ３と比較することにより、注目画素が、有意なテクスチャ部ｃであるか、または、エッジ周辺部ｄであるかを識別することができる。
【００８２】
図１０は、ある画像５１について、図２のノイズ除去装置で得られるエッジ信号５４を示している。なお、図１０における画像５１の波形は、図１における場合と同一であるため、その説明は省略する。また、図１０においては、図１における場合と同様に、画像５１の二次微分値５２を図示してある。
【００８３】
画像５１からは、波形５４で示すエッジ信号が得られる。
【００８４】
エッジ信号５４は、エッジ本体部ａおよびエッジ周辺部であるエッジ部５３において大きな値となっている。即ち、エッジ信号５４は、エッジ本体部ａである画素♯１１および♯１２を中心として大きな値をとり、その左または右方向の部分（エッジ周辺部）では次第に値が小さくなっている。そして、エッジ信号５４は、有意なテクスチャ部ｃおよび平坦部ｂでは限りなく０に近い値となっている。従って、エッジ信号５４によれば、エッジ部５３と、有意なテクスチャ部ｃおよび平坦部ｂとを精度良く区別して検出することができる。
【００８５】
図１１は、図２のノイズ除去フィルタ部６の第１の構成例を示すブロック図である。図１１では、ノイズ除去フィルタ部６は、例えば、ＬＰＦ部４１、混合部４２、および特性設定部４３とから構成されている。
【００８６】
ＬＰＦ部４１と混合部４２には、入力信号としての画像信号が供給される。ＬＰＦ部４１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素（の画素値）を、ＬＰＦでフィルタリングし、そのフィルタリング信号を混合部４２に出力する。
【００８７】
ここで、ＬＰＦ部４１において画像信号がフィルタリングされることにより、その画像信号に生じているモスキートノイズが除去（低減）される。
【００８８】
混合部４２には、入力信号としての画像信号の他、変化検出部３から出力されたエッジ信号Ｖ、特性設定部４３から出力されるパラメータ特性、およびＬＰＦ部４１の出力が入力される。混合部４２は、特性設定部４３から出力されたパラメータ特性に基づき、変化検出器３から出力されたエッジ信号Ｖに対応して無次元量であるパラメータαを設定し、そのパラメータαに基づき、入力信号としての画像信号を構成する画素のうちの注目画素の画素値と、その注目画素に対応するＬＰＦ部４１の出力とを用いて演算を行い、その演算結果を、注目画素のノイズ除去結果として出力する。
【００８９】
即ち、混合部４２は、パラメータαを、注目画素の元の画素値と、注目画素に対応するＬＰＦ部４１の出力との混合比として、両者を混合し、その結果得られる混合値を、注目画素の新たな画素値（ノイズ除去結果）として出力する。
【００９０】
具体的には、注目画素の元の画素値をＸｎと表すとともに、注目画素に対応するＬＰＦ部４１の出力（注目画素のフィルタリング結果）をＸｎ´と表すこととすると、混合部４２は、式Ｚｎ＝αＸｎ´＋（1−α）Ｘｎにしたがって、注目画素の新たな画素値Ｚｎを求める。
【００９１】
特性設定部４３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部４３は、あらかじめ設定されているパラメータ特性を、注目画素の識別情報に応じて選択し、その選択したパラメータ特性を混合部４２に出力する。
【００９２】
図１２は、図１１のＬＰＦ部４１でのフィルタリングに用いられるタップ係数の例を示している。
【００９３】
図１２のタップ係数によれば、注目画素の画素値に４／１６が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に２／１６が乗算され、注目画素の左上、左下、右上、右下それぞれに隣接する画素の画素値に１／１６が乗算され、それらの乗算結果の総和が、フィルタリング結果として出力される。
【００９４】
図１３は、図１１の特性設定部４３においてあらかじめ設定されているパラメータ特性としての、エッジ信号Ｖとパラメータαとの関係を示している。
【００９５】
図１３によれば、パラメータαは、エッジ信号Ｖが大であるほど、つまり、エッジである程度が大であるほど、０乃至１の範囲で大になっている。
【００９６】
また、図１３のパラメータ特性においては、パラメータαは、エッジの程度が同じであっても、注目画素の種類（特性、性質）により、異なる値をとるようになっている。即ち、図１３のパラメータ特性によれば平坦部、有意なテクスチャ部、エッジ本体部、エッジ周辺部の順で、パラメータαが大きな値に設定される。特に、モスキートノイズはエッジ周辺部に発生するため、注目画素がエッジ周辺部である場合、エッジの程度にかかわらず、αが限りなく１となるように、パラメータ特性が設定される。これにより、エッジ部、即ち、特にエッジ周辺部ｄに発生するモスキートノイズを効果的に十分に除去することができる。
【００９７】
図１１の混合部４２では、上述したように、式Ｚｎ＝αＸｎ´＋（1−α）Ｘｎにしたがって、注目画素の画素値Ｘｎと、注目画素のフィルタリング結果Ｘｎ´とが混合され、注目画素の新たな画素値Ｚｎが求められる。
【００９８】
従って、パラメータαが大である画素、即ち、エッジ信号Ｖが大きく、エッジである程度が大である画素については、その画素のフィルタリング結果Ｘｎ´の重み大きくして、その画素の元の画素値Ｘｘｎとフィルタリング結果Ｘｎ´とが混合される。その結果、モスキートノイズが生じるエッジ部の画素については、フィルタリング結果Ｘｎ´の割合が高い画素値、即ち、モスキートノイズが除去された画素値が、新たな画素値Ｚｎとして得られる。
【００９９】
一方、パラメータが小である画素、即ち、エッジ信号Ｖが小さい、平坦部や有意なテクスチャ部の画素については、その画素の元の画素値Ｘｎの重みを大きくして、その画素値Ｘｎと、フィルタリング結果Ｘｎ´とが混合される。その結果、平坦部や有意なテクスチャ部の画素については、元の画素値の割合が高い画素値、即ち、特に、有意なテクスチャ部のディテール（detail）を維持した画素値が、新たな画素値Ｚｎとして得られる。
【０１００】
従って、有意なテクスチャ部の画質を損なわずに、モスキートノイズを効果的に除去することができる。
【０１０１】
図１４は、図１１のノイズ除去フィルタ部６により行われる図３のステップＳ６のノイズ除去処理を説明するフローチャートである。
【０１０２】
ステップＳ２１において、特性設定部４３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部４３は、その識別情報に基づき、図１３に示したパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、混合部４２に出力して、ステップＳ２２へ進む。
【０１０３】
ステップＳ２２において、ＬＰＦ４１には、入力信号としての画像信号が入力され、ＬＰＦ部４１は、その画像信号を構成する各画素のうちの注目画素の画素値Ｘｎについて、ローパスフィルタリング処理を実行し、その処理結果を混合部４２に出力し、ステップＳ２３へ進む。
【０１０４】
ステップ２３において、混合部４２には、特性設定部４３から出力されるパラメータ特性、変化検出部３から出力される注目画素のエッジ信号Ｖ、入力信号としての画像信号を構成する各画素のうちの注目画素の画素値Ｘｎ、およびＬＰＦ部４１から出力される、注目画素に対応するフィルタリング結果Ｘｎ´が入力され、混合部４２は、パラメータ特性に基づき、注目画素のエッジ信号Ｖに対応するパラメータαを設定する。さらに、混合部４２は、そのパラメータαを混合比として注目画素の画素値Ｘｎと、その注目画素に対応するフィルタリング結果Ｘｎ´とを混合する演算処理を実行し、その演算結果を、注目画素の新しい画素値Ｚｎとして出力してリターンする。
【０１０５】
また、ステップＳ２１とＳ２２の処理は、任意の順番で実行することができ、また、並列に実行することも可能である。
【０１０６】
図１５は、図２のノイズ除去フィルタ部６の第２の構成例を示す図である。図１５では、ノイズ除去フィルタ部６は、例えば、ε利得供給部６１、εフィルタ部６２、および特性設定部６３とから構成されている。
【０１０７】
ε利得供給部６１は、特性設定部６３から出力されるパラメータ特性にしたがい、変化検出部３から出力されるエッジ信号Ｖに応じてεフィルタ部６２のパラメータεを設定し、そのパラメータεをεフィルタ部６２に出力する。
【０１０８】
εフィルタ部６２には、ε利得供給部６１から出力されたパラメータεと入力信号としての画像信号が入力される。εフィルタ部６２は、入力された画像信号に対してパラメータεの値に基づき所定の演算処理を実行し、その結果を注目画素の新しい画素値として出力する。即ち、εフィルタ部６２は、そこに供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素を、その注目画素に対応するパラメータεに応じてフィルタリングする。
【０１０９】
εフィルタ部６２は、パラメータεの値が大きい値であるほど、平滑化される度合いが高く（即ち、鈍りが生じやすく）、パラメータεの値が小さい値であるほど、平滑化される度合いが低く（即ち、鈍りが生じにくく）なるように信号を平滑化するフィルタリング処理を実行する。
【０１１０】
特性設定部６３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部６３は、あらかじめ設定されているパラメータ特性の中から、注目画その識別情報がに対応するパラメータ特性を選択し、その選択したパラメータ特性をε利得供給部６１に出力する。
【０１１１】
図１６は、図１５の特性設定部６３においてあらかじめ設定されているパラメータ特性を示している。図１６のパラメータ特性は、パラメータεがとり得る範囲がパラメータαのとり得る範囲と異なることを除けば、図１３と同様であるので説明は省略する。
【０１１２】
図１７は、εフィルタ部６２のフィルタリング処理を説明する図である。εフィルタ部６２では、入力信号が、例えば、図１７Ａに示される急峻なエッジを有する画像信号であっても、図１７Ｂに示すように、その急峻なエッジを維持するように信号に平滑化される。
【０１１３】
以下に、εフィルタ部６２が実行する平滑化処理（フィルタリング処理）の詳細について説明する。εフィルタ部６２は、注目画素を、その注目画素の近傍にある近傍画素を用いてローパスフィルタリングするが、その際に近傍画素の画素値がパラメータεに応じて設定される。即ち、注目画素Ｐｎの画素値Ｘｎを中心とするεの範囲内に近傍画素Ｐｍの画素値Ｘｍがない場合、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換えてローパスフィルタリングが行われ、近傍画素Ｐｍの画素値Ｘｍがεの範囲内にある場合、その近傍画素Ｐｍの画素値Ｘｍをそのまま用いてローパスフィルタリングが行われる。
【０１１４】
即ち、εフィルタ部６２は、注目画素Ｐｎの画素値Ｘｎと注目画素Ｐｎの近傍画素Ｐｍの画素値Ｘｍとの差の絶対値｜Ｘｎ−Ｘｍ｜をε／２と比較する。そして、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２よりも大きい（または以上である）と判断した場合には、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎについてローパスフィルタ処理（ローパスフィルタリング）を行う。
【０１１５】
一方、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２以下（または未満）と判断した場合には、近傍画素の画素値Ｘｍをそのまま用いて、注目画素Ｐｎについてローパスフィルタ処理を行う。
【０１１６】
従って、εフィルタ部６２によれば、注目画素の画素値に近い値の画素値のみを用いて、注目画素がローパスフィルタリングされる。その結果、εフィルタ部６２においては、例えば、入力信号としての画像信号に微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタ部６２においては、例えば、入力信号としての画像信号に、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【０１１７】
図１５のノイズ除去フィルタ部６では、上述したように、注目画素がエッジである程度が大であるとパラメータεも大とされ、エッジである程度が小であると、パラメータεも小とされる。
【０１１８】
従って、図１５のεフィルタ部６２では、エッジ部の画素については、パラメータεが大となり、その画素周辺の画素の画素値をそのまま用いてローパスフィルタリングが行われ易くるので、そのエッジ部に生じるモスキートノイズを除去することができる。また、図１２のεフィルタ部６２では、平坦部や有意なテクスチャ部の画素については、パラメータεが小となり、その画素周辺の画素の画素値を、注目画素の画素値に置き換えてローパスフィルタリングが行われ易くなるので、特に、有意なテクスチャ部のディテールを維持したフィルタリング結果を得ることができる。
【０１１９】
なお、εフィルタ部６２で実行されるフィルタリング処理のタップ数は、特に限定されるのもではなく、また、ユーザの要求に応じた任意の値とすることが可能である。
【０１２０】
図１８は、図１５のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【０１２１】
ステップＳ３１において、特性設定部６３には、識別部５が出力する注目画素の識別情報が入力され、特性設定部６３は、その識別情報に基づき、あらかじめ設定されているパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、ε利得供給部６２に出力して、ステップＳ３２へ進む。
【０１２２】
ステップＳ３２において、ε利得供給部６２は、特性設定部６３から出力されたパラメータ特性に基づき、注目画素のエッジ信号Ｖに対応するパラメータεを設定し、そのパラメータεをεフィルタ部６２へ出力して、ステップＳ３３へ進む。
【０１２３】
ステップＳ３３において、εフィルタ部６２は、ε利得供給部６２から供給されるパラメータεに基づき、画像信号を構成する各画素のうち注目画素について、注目画素の近傍にある近傍画素の画素値を用いてフィルタリング処理を行い、その処理結果を注目画素の新しい画素値Ｚｎとして出力してリターンする。なお、εフィルタ部６２のフィルタリング処理に用いるタップ係数としては、例えば、図１２に示したもの採用することができる。
【０１２４】
以上のように、エッジ検出信号、平滑化信号、およびエッジ信号に基づき、注目画素を識別し、その識別結果を表す識別情報と、エッジ信号とに基づいてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを効果的に十分に除去することができる。
【０１２５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１２６】
上述した一連の処理をソフトウェアで実行させる場合、ノイズ除去装置は、例えば、図１９に示されるようなパーソナルコンピュータなどとして構成することが可能である。
【０１２７】
図１９において、CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２に記憶されているプログラム、または記憶部７８からRAM（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。
【０１２８】
RAM７３にはまた、CPU７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２９】
CPU７１、ROM７２、およびRAM７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１３０】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、および通信部７９が接続されている。
【０１３１】
入出力インタフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１３２】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１３３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１９に示すように、磁気ディスク８１（フロッピディスクを含む）、光ディスク８２（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク８３、もしくは半導体メモリ８４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるROM７２や、記憶部７８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１３４】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３６】
なお、本実施の形態では、エッジ信号および識別情報に基づいて、モスキートノイズを除去するようにしたが、エッジ信号はおよび識別情報は、モスキートノイズの除去の他、例えば、画像をオブジェクト符号化する場合のオブジェクトの抽出などに利用することが可能である。
【０１３７】
また、本実施の形態では、ＭＰＥＧデコードされた画像信号を処理するようにしたが、その他の画像信号を対象として処理を行うことも可能である。
【０１３８】
さらに、本実施の形態では、平滑化信号の変化量（エッジ信号）として、平滑化信号の分散を求めるようにしたが、平滑化信号の変化量としては、注目画素の近傍の画素の平滑化信号の差分絶対値の平均値や、平滑化信号の微分値などを採用することが可能である。画像信号の変化量（画像変化信号）についても同様である。
【０１３９】
また、本実施の形態では、エッジ信号、平滑化信号、画像変化信号の３つを用いて、画像信号を識別し、その識別結果を表す識別情報を出力するようにしたが、その他、例えば、エッジ信号と、平滑化信号または画像変化信号のうちのいずれか一方との２つを用いて、画像信号を識別することも可能である。但し、この場合、図８の識別処理において、平滑化信号を用いないときには、ステップＳ１３およびＳ１４の処理が行われなくなり、画像変化信号を用いないときには、ステップＳ１５乃至Ｓ１７の処理が行われなくなる。
【０１４０】
さらに、ノイズ除去フィルタ部６は、上述したように構成する他、例えば、メディアンフィルタを用いて構成することが可能である。
【０１４１】
【発明の効果】
以上のように、本発明によれば、エッジ本体部、平坦部、有意なテクスチャ部、およびノイズを明確に区別することができる。
【図面の簡単な説明】
【図１】従来の画像信号とその二次微分の信号レベルを説明する図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成を示すブロック図である。
【図３】ノイズ除去装置の動作を説明するフローチャートである。
【図４】エッジ検出部１の構成例を示すブロック図である。
【図５】水平エッジ検出部１１（垂直エッジ検出部１３）の構成例を示すブロック図である。
【図６】フィルタ部２の構成例を示すブロック図である。
【図７】識別部５の構成例を示すブロック図である。
【図８】識別部５の動作を説明するフローチャートである。
【図９】ノイズ除去装置で得られる信号の波形を示す図である。
【図１０】変化検出部３において得られるエッジ信号の波形を説明する図である。
【図１１】ノイズ除去フィルタ部６の第１の構成例を示すブロック図である。
【図１２】ＬＰＦ部４１のタップ係数の一実施の形態を示す図である。
【図１３】エッジ信号Ｖとパラメータαとの関係を示す図である。
【図１４】図１１のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【図１５】ノイズ除去フィルタ部６の第２の構成例を示すブロック図である。
【図１６】エッジ信号Ｖとパラメータεとの関係を示す図である。
【図１７】εフィルタ部６２の処理を説明する図である。
【図１８】図１５のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【図１９】本発明を適用したノイズ除去装置を実現するコンピュータの構成例を示すブロック図である。
【符号の説明】
１ エッジ検出部， ２ フィルタ部， ３ 変化検出部， ４ ノイズ除去フィルタ部， １１ 水平エッジ検出部， １２ 比較部， １３ 垂直エッジ検出部， ２１ 微分部， ２２ 絶対値化部， ３１ 水平ローパスフィルタ部， ３２ 垂直ローパスフィルタ部， ４１ ＬＰＦ部， ４２ 混合部， ４３ 特性設定部， ６１ ε利得供給部， ６２ εフィルタ部， ６３ 特性設定部， ７１ ＣＰＵ， ７２ ＲＯＭ， ７３ ＲＡＭ， ７４ バス，７５ 入出力インターフェース， ７６ 入力部， ７７ 出力部， ７８ 記憶部， ７９ 通信部， ８０ ドライブ， ８１ 磁器ディスク， ８２ 光ディスク， ８３ 光磁器ディスク， ８４ 半導体メモリ， ９１ エッジ識別部， ９２ 平坦部識別部， ９３ テクスチャ識別部， ９４ 識別結果出力部
【発明の属する技術分野】
本発明は、信号処理装置および信号処理方法、並びにプログラムに関し、特に、例えば、画像におけるエッジ部等を精度良く区別し、テクスチャ部の画質を損なわずに、エッジ周辺部に発生する圧縮ノイズ（モスキートノイズ）を効果的に十分に除去できるようにした信号処理装置および信号処理方法、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）などにおいては、画像信号をブロック化し、各ブロックをＤＣＴ（Discrete Cosine Transform）処理する。このため、ＭＰＥＧエンコードされた画像信号をデコードすると、そのデコード画像においては、原理的に、エッジ周辺部に、モスキートノイズが発生する。モスキートノイズは、画像のエッジ周辺部に現れるため、モスキートノイズを除去するには、画像からエッジ部を検出する必要がある。
【０００３】
このため、モスキートノイズを除去する、従来のノイズ除去装置では、例えば、単なる一次微分や二次微分によるエッジ検出や、ソーベルオペレータを用いたソーベルフィルタなどによるエッジ検出が行われている（例えば、特許文献１）。
【０００４】
図１は、ある画像５１のある水平ラインの画素値を、横軸を画素の位置とするとともに、縦軸を画素値として示している。なお、図１（後述する図８においても同様）では、各画素の水平方向の中心位置に、各画素の画素値をプロットし、さらに、画素値の変化を明確にするため、隣接する画素の画素値（を表す点）を直線で結んである。また、図１では、その左側の画素から、１からのシーケンシャルな番号を付して、各画素を表してある。
【０００５】
画像５１は、画素♯１乃至画素♯１０からなる信号レベル（画素値）がほとんど変化しない平坦部ｂ、画素♯１１および♯１２からなる信号レベルが急に変化するエッジ部ａ、並びに画素♯１３乃至画素♯２１からなる有意なテクスチャ部（例えば、模様があるなどして、信号レベルの変化がある程度存在する部分）ｃを有している。
【０００６】
ここで有意なテクスチャ部ｃでは、平坦部ｂよりも信号レベルが大きく変化しているが、エッジ部ａにおける場合ほどは変化していない。
【０００７】
例えば、二次微分によるエッジ検出では、画像５１の二次微分が演算され、その結果得られる二次微分値を閾値処理することにより、エッジが検出される。
【０００８】
即ち、二次微分によるエッジ検出では、二次微分値の大きさ（絶対値）が、ある閾値より大の部分が検出され、その部分がエッジ部として検出される。
【０００９】
モスキートノイズは、エッジ本体部ａを含むその周辺であるエッジ周辺部５３に生じるので、そのエッジ周辺部５３をフィルタリングすることにより、モスキートノイズを除去（低減）することができる。
【００１０】
【特許文献１】
特開平７−２３１４５０号公報
【００１１】
【発明が解決しようとする課題】
ところで、図１において波形５２は、画像５１の二次微分値を示している。平坦部ｂでは、信号レベルの変化がほとんどないため、二次微分値５２の大きさは、小さくなる。これに対して、エッジ部ａや有意なテクスチャ部ｃでは、信号レベルの変化がある程度以上であるため、二次微分値５２の大きさは、大きくなる。
【００１２】
このため、二次微分値５２を閾値処理することによりエッジ検出を行う場合には、エッジ本体部ａのみならず有意なテクスチャ部ｃも、エッジとして検出され、エッジ本体部ａと有意なテクスチャ部ｃとを精度良く区別することができないことがあった。
【００１３】
さらに、その結果、モスキートノイズを除去するためのフィルタリング時に、エッジ本体部ａの他に、有意なテクスチャ部ｃもフィルタリングされ、有意なテクスチャ部ｃの画質の劣化が生じ、また、エッジ部５３に発生するモスキートノイズを効率的に除去することができないことがあった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、画像信号を精度良く識別して、さらには、例えば、エッジ部に発生するモスキートノイズを効果的に十分に除去するようにすること等ができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段と、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段と、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段と、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別手段とを備えることを特徴とする。
【００１６】
本発明の信号処理方法は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含むことを特徴とする。
【００１７】
本発明のプログラムは、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別し、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別する識別ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１８】
本発明の信号処理装置、信号処理方法、およびプログラムにおいては、画像信号からエッジが検出され、その検出結果を表すエッジ検出信号が出力され、エッジ検出信号が平滑化され、平滑化信号として出力され、平滑化信号の変化量が求められ、その変化量を表すエッジ信号が出力され、画像信号の変化量が求められ、その変化量を表す画像変化信号が出力され、注目画素のエッジ信号が所定の第１の閾値以上である場合、注目画素がエッジ本体部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が所定の第２の閾値以下である場合、注目画素が平坦部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が所定の第３の閾値未満である場合、注目画素がエッジ周辺部であると識別され、注目画素のエッジ信号が第１の閾値未満、かつ、注目画素の平滑化信号が第２の閾値より大きく、かつ、注目画素の画像変化信号が第３の閾値以上である場合、注目画素がテクスチャ部であると識別される。
【００１９】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の信号処理装置は、画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段（例えば、図２のエッジ検出部１）と、前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段（例えば、図２のフィルタ部２）と、前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段（例えば、図２の変化検出部３）と、前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段（例えば、図２の変化検出部４）と、注目画素の前記エッジ信号が所定の第１の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第２の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第３の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第３の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別手段（例えば、図２の識別部５）とを備えることを特徴とする。
【００２２】
請求項２に記載の信号処理装置は、エッジ信号が大きい画素ほどノイズの除去処理を強く施すとともに、エッジ信号の値が同じ場合、エッジ周辺部の画素に対してノイズの除去処理を最も強く施し、画像信号からノイズを除去するノイズ除去手段（例えば、図２のノイズ除去フィルタ部６）をさらに備えることを特徴とする。
【００２４】
図２は、本発明を適用したノイズ除去装置の一実施の形態の構成例を示すブロック図である。ノイズ除去装置は、エッジ検出部１、フィルタ部２、変化検出部３、変化検出部４、識別部５、およびノイズ除去フィルタ部６から構成される。
【００２５】
エッジ検出部１には、入力信号としての、例えばＭＰＥＧデコードされた画像信号が入力され、エッジ検出部１は、入力信号としての画像信号からエッジを検出し、フィルタ部２に、そのエッジの検出結果を表すエッジ検出信号を出力するようになされている。なお、エッジ検出部１としては、例えば、一次微分や二次微分、ソーベルオペレータによるエッジ検出を行う従来のエッジ検出装置その他を利用することができる。
【００２６】
フィルタ部２は、エッジ検出部１から出力されるエッジ検出信号を平滑化し、その平滑化結果を平滑化信号として、変化検出部３および識別部５に出力するようになされている。なお、フィルタ部２は、例えば、ＬＰＦ（Low Pass Filter）で構成することができる。
【００２７】
変化検出部３は、フィルタ部２から出力される平滑化信号の変化量を検出し、その変化量を、入力信号としての画像信号におけるエッジの程度を表すエッジ信号として、識別部５およびノイズ除去フィルタ部６に出力するようになされている。
【００２８】
変化検出部４には、入力信号としての画像信号が入力され、変化検出部４は、入力信号としての画像信号の変化量を検出し、その変化量（以下、適宜、画像変化信号という）を、識別部５に出力するようになされている。
【００２９】
識別部５には、変化検出部３から出力されるエッジ信号、フィルタ部２から出力される平滑化信号、および変化検出部４から出力される画像変化信号が入力され、識別部５は、エッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号がエッジ本体部、エッジ周辺部、有意なテクスチャ部、または平坦部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に出力するようになされている。
【００３０】
ノイズ除去フィルタ部６には、識別部５から出力される識別情報の他、変化検出部３から出力されるエッジ信号および入力信号としての画像信号が入力される。ノイズ除去フィルタ部６は、識別部５から出力される識別情報に基づいて、処理に用いるパラメータ特性を設定し、そのパラメータ特性と変化検出部３からのエッジ信号に基づいて所定の演算を行い、これにより、画像信号からモスキートノイズを除去し、出力信号としての画像信号を出力するようになされている。
【００３１】
図３は、図２のノイズ除去装置の処理（画像処理）を説明するフローチャートである。
【００３２】
図２のノイズ除去装置には、例えば、ＭＰＥＧデコードされた画像信号が入力信号として供給され、その画像信号は、エッジ検出部１、変化検出部４、およびノイズ除去フィルタ部６に供給される。図３の画像処理は、入力信号としての画像信号が、エッジ検出部１とノイズ除去フィルタ部６に供給されると開始される。
【００３３】
ステップＳ１において、エッジ検出部１は、そこに供給される画像信号からエッジ検出を行い、そのエッジ検出結果としてのエッジ検出信号を、フィルタ部２に出力し、ステップＳ２に進む。
【００３４】
ステップＳ２において、フィルタ部２は、エッジ検出部１から供給されるエッジ検出信号を、例えばＬＰＦによってフィルタリングすることにより平滑化し、その結果得られる平滑化信号を変化検出器３および識別部５に出力して、ステップＳ３に進む。
【００３５】
ステップＳ３において、変化検出部３は、フィルタ部２から供給される平滑化信号の変化量を算出し、その変化量をエッジ信号として、ノイズ除去フィルタ部６に出力して、ステップＳ４に進む。ここで、平滑化信号の変化量としては、例えば、その平滑化信号の分散を採用することができる。変化検出部３は、入力信号である平滑化された画像信号を構成する各画素について、その画素に対応する平滑化信号の分散を求め、エッジ信号として出力する。
【００３６】
ステップ４において、変化検出部４は、そこに供給される画像信号から変化量を算出し、その変化量である画像変化信号を、識別部５に出力して、ステップＳ５に進む。ここで変化量としては、ステップＳ３と同様に分散を採用することができる。変化検出部４は、入力信号である画像信号を構成する各画素について、分散を求め、画像変化信号として出力する。
【００３７】
なお、ステップＳ１乃至Ｓ３の処理とステップＳ４の処理とは、図３に示した順番で実行する必要はなく、また、並列に実行することもできる。
【００３８】
ステップＳ５において、識別部５は、そこに供給されるエッジ信号、平滑化信号、および画像変化信号に基づいて、画像信号が、エッジ本体部、有意なテクスチャ部、平坦部、またはエッジ周辺部のうちいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に出力して、ステップＳ６に進む。
【００３９】
ステップＳ６において、ノイズ除去フィルタ部６は、識別部５から供給される画像識別信号、および変化検出部３から供給されるエッジ信号に基づいて、入力信号としての画像信号に対して、所定の演算を施し、その演算結果をモスキートノイズを除去した画像信号として出力する。そして、ステップＳ６からＳ１に戻り、以下、同様の処理が繰り返される。
【００４０】
なお、図３の処理は、ノイズ除去装置に供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素を対象に行われ、ノイズ除去装置に画像信号が供給されなくなると、終了する。
【００４１】
図４は、図２のエッジ検出部１の構成例を示すブロック図である。エッジ検出部１は、例えば、水平エッジ検出部１１、比較部１２、および垂直エッジ検出部１３から構成されている。
【００４２】
水平エッジ検出部１１と垂直エッジ検出部１３には、入力信号としての画像信号が入力される。そして、水平エッジ検出部１１は、そこに入力される画像信号の水平方向のエッジ（水平エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、水平エッジ検出信号という）を比較部１２に出力する。
【００４３】
一方、垂直エッジ検出部１３は、そこに入力される画像信号の垂直方向のエッジ（垂直エッジ）を検出し、その検出結果を表すエッジ検出信号（以下、適宜、垂直エッジ検出信号という）を比較部１２に出力する。
【００４４】
なお、水平エッジ検出部１１と垂直エッジ検出部１３は、画像信号を構成する各画素について、エッジ検出信号を出力する。
【００４５】
比較部１２は、画像信号を構成する各画素ごとに、水平エッジ検出部１１から供給される水平エッジ検出信号と、垂直エッジ検出部１３から供給される垂直エッジ検出信号を比較し、値の大きい方を、最終的なエッジ検出信号としてフィルタ部２に出力する。
【００４６】
なお、エッジ検出部１では、エッジを水平方向と垂直方向に分けずに、二次元フィルタ等によって検出することが可能である。
【００４７】
また、エッジ検出部１では、水平エッジ検出信号と垂直エッジ検出信号との合成値（例えば、平均値）などを、最終的なエッジ検出信号として採用することが可能である。
【００４８】
図５は、図４の水平エッジ検出部１１の構成例を示すブロック図である。水平エッジ検出部１１は、微分部２１と絶対値化部２２とから構成されている。
【００４９】
微分部２１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素における画素値の水平方向の微分値を求める。即ち、微分部２１は、例えば、注目画素とその左または右隣の画素との画素値の差分を演算し、その差分を、注目画素における水平方向の微分値として、絶対値化部２２に出力する。
【００５０】
絶対値化部２２は、微分部２１から出力される微分値の絶対値をとり、その絶対値を、水平エッジ検出信号として、図５の比較部１２に供給する。
【００５１】
なお、図４の垂直エッジ検出部１３も、図５の水平エッジ検出部１１と同様に構成される。但し、垂直エッジ検出部１３を構成する微分部２１は、注目画素における画素値の垂直方向の微分値を求め、絶対値化部２２に供給する。
【００５２】
また、図５の実施の形態では、一次微分によって、エッジ検出を行うようにしたが、エッジ検出は、その他、例えば、二次微分などによって行うことも可能である。
【００５３】
図６は、図２のフィルタ部２の構成例を示すブロック図である。フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とから構成されている。
【００５４】
水平ローパスフィルタ部３１は、エッジ検出部１から供給されるエッジ検出信号の水平方向の高周波数成分をカットし、垂直ローパスフィルタ部３２に出力する。
【００５５】
垂直ローパスフィルタ部３２は、水平ローパスフィルタ部３１から出力された信号の垂直方向の高周波数成分をカットし、その結果得られる信号を、平滑化信号として変化検出部３に出力する。
【００５６】
以上のようにして、フィルタ部２では、エッジ検出信号を平滑化した平滑化信号が出力される。
【００５７】
なお、フィルタ部２は、例えば、水平ローパスフィルタ部３１と垂直ローパスフィルタ部３２とを入れ換えて構成することも可能である。
【００５８】
さらに、フィルタ部２は、例えば、水平方向と垂直方向の高周波数成分を同時にカットする二次元のローパスフィルタで構成することも可能である。
【００５９】
図７は、図２の識別部５の構成を示すブロック図である。識別部５は、例えば、エッジ識別部９１、平坦部識別部９２、テクスチャ識別部９３、および識別結果出力部９４から構成されている。
【００６０】
識別部５には、変化検出部３から出力されるエッジ信号Ｖ、フィルタ部２から出力される平滑化信号Ｆ、および変化検出部４から出力される画像変化信号Ｔｘが入力され、識別部５は、注目画素がエッジ本体部、平坦部、有意なテクスチャ部、およびエッジ周辺部のいずれの画素であるかを識別する。
【００６１】
エッジ識別部９１は、変化検出部３から供給されるエッジ信号Ｖと、所定の閾値ＴＨ１とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６２】
平坦部識別部９２は、フィルタ部２から供給される平滑化信号と、所定の閾値ＴＨ２とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６３】
テクスチャ識別部９３は、変化検出部４から供給される画像変化信号と、所定の閾値ＴＨ３とを比較し、その比較結果を、識別結果出力部９４に供給する。
【００６４】
識別結果出力部９４は、エッジ識別部９１、平坦部識別部９２またはテクスチャ識別部９３の出力に基づいて、注目画素が、エッジ本体部、平坦部、有意なテクスチャ部、またはエッジ周辺部のうちのいずれであるかを識別し、その識別結果を表す識別情報を、ノイズ除去フィルタ部６に供給する。
【００６５】
図８は、図７の識別部５による図３のステップＳ５における識別処理を説明するフローチャートである。
【００６６】
ステップＳ１１において、エッジ識別部９１は、注目画素のエッジ信号Ｖが閾値ＴＨ１未満（または以下）であるかどうかを判定する。ステップＳ１１において、注目画素のエッジ信号が閾値ＴＨ１未満でないと判定された場合、即ち、注目画素のエッジ信号が、ある程度大きい場合、ステップＳ１２に進み、識別結果出力部９４は、注目画素がエッジ本体部である旨の識別情報を、ノイズ除去フィルタ部６に出力し、リターンする。
【００６７】
一方、ステップＳ１１において、エッジ信号が閾値ＴＨ１未満であると判定された場合、ステップＳ１３に進み、平坦部識別部９２は、注目画素の平滑化信号が、閾値ＴＨ２より大（以上）であるかどうかを判定する。
【００６８】
ステップＳ１３において、注目画素の平滑化信号が閾値ＴＨ２より大でないと判定された場合、即ち、注目画素の平滑化信号がある程度小さい場合、ステップＳ１４に進み、識別結果出力部９４は、注目画素が平坦部である旨の識別情報を、ノイズ除去フィルタ部６に供給し、リターンする。
【００６９】
ステップＳ１３において、注目画素の平滑化信号が閾値ＴＨ２より大であると判定された場合、ステップＳ１５に進み、テクスチャ識別部９３は、注目画素の画像変化信号が閾値ＴＨ３未満（または以下）であるかどうかを判定する。
【００７０】
ステップＳ１５において、注目画素の画像変化信号が閾値ＴＨ３未満でないと判定された場合、即ち、注目画素の画素変化信号がある程度大きい場合、ステップＳ１６に進み、識別結果出力部９４は、注目画素が有意なテクスチャ部である旨の識別情報を、ノイズ除去フィルタ部６に供給してリターンする。
【００７１】
また、ステップＳ１５において、注目画素の画像変化信号が閾値ＴＨ３未満であると判定された場合、即ち、注目画素の画像変化信号がある程度小さい場合、ステップＳ１７に進み、識別結果出力部９４は、注目画素がエッジ周辺部である旨の識別情報を、ノイズ除去フィルタ部６に供給してリターンする。
【００７２】
図９は、図２のノイズ除去装置で処理される信号の波形を模式的に示している。
【００７３】
波形（画像信号）Ｔ１は、入力信号としての画像信号におけるある水平ラインの信号波形（各画素の画素値）を示している。図９において波形Ｔ１は、ａで示されるエッジ本体部、ｂで示される平坦部、ｃで示される有意なテクスチャ部、およびｄで示されるエッジ周辺部（エッジ本体部ａの境界周辺）を有している。モスキートノイズは、エッジ部、特に、エッジ周辺部ｄに発生する。
【００７４】
波形Ｔ２およびＴ３は、エッジ検出部１による画像信号Ｔ１を対象としたエッジ検出結果としての信号波形を示している。即ち、いま、エッジ検出部１が、画像信号Ｔ１を一次微分し、その一次微分結果の絶対値を、エッジ検出信号として出力するものとすると、波形Ｔ２は、波形Ｔ１の一次微分結果を示し、波形Ｔ３は、波形Ｔ２の絶対値であるエッジ検出信号を示す。エッジ検出信号Ｔ３は、平坦部ｂでは小さな振幅となるが、エッジ本体部ａおよびエッジ周辺部ｄ、さらには有意なテクスチャ部ｃでも大きな振幅となる。このため、例えば、エッジ検出信号Ｔ３だけによってエッジ部を検出するとすれば、エッジ本体部ａおよびエッジ周辺部ｄの他、有意なテクスチャ部ｃも、エッジ部として検出されるおそれがある。
【００７５】
波形Ｔ４は、フィルタ部２においてエッジ検出信号Ｔ３を平滑化することにより得られる平滑化信号の波形を示している。フィルタ部２では、エッジ検出信号Ｔ３から高周波成分が除去される。従って、エッジ本体部ａおよびエッジ周辺部ｄでは、エッジ検出信号Ｔ３の振幅が大であるため、平滑化信号Ｔ４は、ある程度大きな変化を有するものとなる。また、有意なテクスチャ部ｃでは、エッジ検出信号Ｔ３の振幅は、エッジ本体部ａおよびエッジ周辺部ｄほど大ではないため、平滑化信号Ｔ４は、それほど大きく変化しないものとなる。さらに、平坦部ｂでは、平滑化信号Ｔ４は、ほとんど変化がない、０に近いものとなる。
【００７６】
そこで、識別部５では、注目画素の平滑化信号Ｔ４が閾値ＴＨ２より大きくないときには、注目画素を、平坦部ｂと識別する。
【００７７】
波形Ｔ５は、変化検出部３において求められる平滑化信号Ｔ４の変化量としての、例えば分散の波形、即ち、エッジ信号を示している。エッジ信号Ｔ５は、平滑化信号Ｔ４の変化量であるから、平滑化信号Ｔ４がほとんど変化しない平坦部ｂや、それほど大きく変化しない有意なテクスチャ部ｃでは、０あるいは０に近い値となるが、平滑化信号Ｔ４がある程度大きく変化するエッジ本体部ａでは、大きな値となる。
【００７８】
エッジ検出信号Ｔ３は、上述したように、エッジ本体部ａおよびエッジ周辺部ｄだけでなく、テクスチャ部ｃでも、ある程度大きな値となるため、エッジ検出信号Ｔ３によって、画像信号Ｔ１におけるエッジ部を判断したのでは、エッジ本体部ａだけでなく、テクスチャ部ｃも、誤って、エッジと判断されることになる。
【００７９】
これに対して、エッジ信号Ｔ５では、エッジ本体部ａで大きな値となり、テクスチャ部ｃでは小さな値となる。そこで、識別部５は、注目画素のエッジ信号Ｔ５が閾値ＴＨ１未満でないときには、注目画素をエッジ本体部ａであると識別する。
【００８０】
波形Ｔ６は、変化検出部４において求められる入力信号としての画像信号の変化量としての、例えば、分散の波形、即ち、画像変化信号を示している。画像変化信号Ｔ６は、平坦部と、入力信号としての画像信号Ｔ１が大きく変化し始めるエッジ周辺部ｄでは小さな値をとり、画像信号Ｔ１がある程度変化するエッジ本体部ａとテクスチャ部ｃではある程度大きな値をとる。そこで、識別部５は、注目画素の画像変化信号Ｔ６が閾値ＴＨ３未満でないときには、注目画素をテクスチャ部ｃであると識別し、画像変化信号Ｔ６が閾値ＴＨ３未満であるときには、注目画素をエッジ周辺部であると識別する。
【００８１】
ここで、識別部５において、注目画素の画像変化信号Ｔ６を閾値Ｔ３によって閾値処理すると、有意なテクスチャ部ｃおよびエッジ本体部ａと、エッジ周辺部ｄおよび平坦部ｂとを識別することができるが、図８の識別処理によれば、注目画素の画像変化信号Ｔ６を閾値処理するステップＳ１５の時点において、注目画素が、エッジ本体部ａ（ステップＳ１２）でも、平坦部（ステップＳ１４）でもないことが識別処理されている。即ち、注目画素の画像変化信号Ｔ６を閾値処理するステップＳ１５の時点において、注目画素が、有意なテクスチャ部ｃまたはエッジ周辺部ｄのどちらか一方であることは識別されている。従って、注目画素の画像変化信号Ｔ６を閾値Ｔ３と比較することにより、注目画素が、有意なテクスチャ部ｃであるか、または、エッジ周辺部ｄであるかを識別することができる。
【００８２】
図１０は、ある画像５１について、図２のノイズ除去装置で得られるエッジ信号５４を示している。なお、図１０における画像５１の波形は、図１における場合と同一であるため、その説明は省略する。また、図１０においては、図１における場合と同様に、画像５１の二次微分値５２を図示してある。
【００８３】
画像５１からは、波形５４で示すエッジ信号が得られる。
【００８４】
エッジ信号５４は、エッジ本体部ａおよびエッジ周辺部であるエッジ部５３において大きな値となっている。即ち、エッジ信号５４は、エッジ本体部ａである画素♯１１および♯１２を中心として大きな値をとり、その左または右方向の部分（エッジ周辺部）では次第に値が小さくなっている。そして、エッジ信号５４は、有意なテクスチャ部ｃおよび平坦部ｂでは限りなく０に近い値となっている。従って、エッジ信号５４によれば、エッジ部５３と、有意なテクスチャ部ｃおよび平坦部ｂとを精度良く区別して検出することができる。
【００８５】
図１１は、図２のノイズ除去フィルタ部６の第１の構成例を示すブロック図である。図１１では、ノイズ除去フィルタ部６は、例えば、ＬＰＦ部４１、混合部４２、および特性設定部４３とから構成されている。
【００８６】
ＬＰＦ部４１と混合部４２には、入力信号としての画像信号が供給される。ＬＰＦ部４１は、そこに供給される画像信号を構成する画素を、例えばラスタスキャン順に、順次、注目画素として、その注目画素（の画素値）を、ＬＰＦでフィルタリングし、そのフィルタリング信号を混合部４２に出力する。
【００８７】
ここで、ＬＰＦ部４１において画像信号がフィルタリングされることにより、その画像信号に生じているモスキートノイズが除去（低減）される。
【００８８】
混合部４２には、入力信号としての画像信号の他、変化検出部３から出力されたエッジ信号Ｖ、特性設定部４３から出力されるパラメータ特性、およびＬＰＦ部４１の出力が入力される。混合部４２は、特性設定部４３から出力されたパラメータ特性に基づき、変化検出器３から出力されたエッジ信号Ｖに対応して無次元量であるパラメータαを設定し、そのパラメータαに基づき、入力信号としての画像信号を構成する画素のうちの注目画素の画素値と、その注目画素に対応するＬＰＦ部４１の出力とを用いて演算を行い、その演算結果を、注目画素のノイズ除去結果として出力する。
【００８９】
即ち、混合部４２は、パラメータαを、注目画素の元の画素値と、注目画素に対応するＬＰＦ部４１の出力との混合比として、両者を混合し、その結果得られる混合値を、注目画素の新たな画素値（ノイズ除去結果）として出力する。
【００９０】
具体的には、注目画素の元の画素値をＸｎと表すとともに、注目画素に対応するＬＰＦ部４１の出力（注目画素のフィルタリング結果）をＸｎ´と表すこととすると、混合部４２は、式Ｚｎ＝αＸｎ´＋（1−α）Ｘｎにしたがって、注目画素の新たな画素値Ｚｎを求める。
【００９１】
特性設定部４３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部４３は、あらかじめ設定されているパラメータ特性を、注目画素の識別情報に応じて選択し、その選択したパラメータ特性を混合部４２に出力する。
【００９２】
図１２は、図１１のＬＰＦ部４１でのフィルタリングに用いられるタップ係数の例を示している。
【００９３】
図１２のタップ係数によれば、注目画素の画素値に４／１６が乗算され、注目画素の上下左右それぞれに隣接する画素の画素値に２／１６が乗算され、注目画素の左上、左下、右上、右下それぞれに隣接する画素の画素値に１／１６が乗算され、それらの乗算結果の総和が、フィルタリング結果として出力される。
【００９４】
図１３は、図１１の特性設定部４３においてあらかじめ設定されているパラメータ特性としての、エッジ信号Ｖとパラメータαとの関係を示している。
【００９５】
図１３によれば、パラメータαは、エッジ信号Ｖが大であるほど、つまり、エッジである程度が大であるほど、０乃至１の範囲で大になっている。
【００９６】
また、図１３のパラメータ特性においては、パラメータαは、エッジの程度が同じであっても、注目画素の種類（特性、性質）により、異なる値をとるようになっている。即ち、図１３のパラメータ特性によれば平坦部、有意なテクスチャ部、エッジ本体部、エッジ周辺部の順で、パラメータαが大きな値に設定される。特に、モスキートノイズはエッジ周辺部に発生するため、注目画素がエッジ周辺部である場合、エッジの程度にかかわらず、αが限りなく１となるように、パラメータ特性が設定される。これにより、エッジ部、即ち、特にエッジ周辺部ｄに発生するモスキートノイズを効果的に十分に除去することができる。
【００９７】
図１１の混合部４２では、上述したように、式Ｚｎ＝αＸｎ´＋（1−α）Ｘｎにしたがって、注目画素の画素値Ｘｎと、注目画素のフィルタリング結果Ｘｎ´とが混合され、注目画素の新たな画素値Ｚｎが求められる。
【００９８】
従って、パラメータαが大である画素、即ち、エッジ信号Ｖが大きく、エッジである程度が大である画素については、その画素のフィルタリング結果Ｘｎ´の重み大きくして、その画素の元の画素値Ｘｘｎとフィルタリング結果Ｘｎ´とが混合される。その結果、モスキートノイズが生じるエッジ部の画素については、フィルタリング結果Ｘｎ´の割合が高い画素値、即ち、モスキートノイズが除去された画素値が、新たな画素値Ｚｎとして得られる。
【００９９】
一方、パラメータが小である画素、即ち、エッジ信号Ｖが小さい、平坦部や有意なテクスチャ部の画素については、その画素の元の画素値Ｘｎの重みを大きくして、その画素値Ｘｎと、フィルタリング結果Ｘｎ´とが混合される。その結果、平坦部や有意なテクスチャ部の画素については、元の画素値の割合が高い画素値、即ち、特に、有意なテクスチャ部のディテール（detail）を維持した画素値が、新たな画素値Ｚｎとして得られる。
【０１００】
従って、有意なテクスチャ部の画質を損なわずに、モスキートノイズを効果的に除去することができる。
【０１０１】
図１４は、図１１のノイズ除去フィルタ部６により行われる図３のステップＳ６のノイズ除去処理を説明するフローチャートである。
【０１０２】
ステップＳ２１において、特性設定部４３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部４３は、その識別情報に基づき、図１３に示したパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、混合部４２に出力して、ステップＳ２２へ進む。
【０１０３】
ステップＳ２２において、ＬＰＦ４１には、入力信号としての画像信号が入力され、ＬＰＦ部４１は、その画像信号を構成する各画素のうちの注目画素の画素値Ｘｎについて、ローパスフィルタリング処理を実行し、その処理結果を混合部４２に出力し、ステップＳ２３へ進む。
【０１０４】
ステップ２３において、混合部４２には、特性設定部４３から出力されるパラメータ特性、変化検出部３から出力される注目画素のエッジ信号Ｖ、入力信号としての画像信号を構成する各画素のうちの注目画素の画素値Ｘｎ、およびＬＰＦ部４１から出力される、注目画素に対応するフィルタリング結果Ｘｎ´が入力され、混合部４２は、パラメータ特性に基づき、注目画素のエッジ信号Ｖに対応するパラメータαを設定する。さらに、混合部４２は、そのパラメータαを混合比として注目画素の画素値Ｘｎと、その注目画素に対応するフィルタリング結果Ｘｎ´とを混合する演算処理を実行し、その演算結果を、注目画素の新しい画素値Ｚｎとして出力してリターンする。
【０１０５】
また、ステップＳ２１とＳ２２の処理は、任意の順番で実行することができ、また、並列に実行することも可能である。
【０１０６】
図１５は、図２のノイズ除去フィルタ部６の第２の構成例を示す図である。図１５では、ノイズ除去フィルタ部６は、例えば、ε利得供給部６１、εフィルタ部６２、および特性設定部６３とから構成されている。
【０１０７】
ε利得供給部６１は、特性設定部６３から出力されるパラメータ特性にしたがい、変化検出部３から出力されるエッジ信号Ｖに応じてεフィルタ部６２のパラメータεを設定し、そのパラメータεをεフィルタ部６２に出力する。
【０１０８】
εフィルタ部６２には、ε利得供給部６１から出力されたパラメータεと入力信号としての画像信号が入力される。εフィルタ部６２は、入力された画像信号に対してパラメータεの値に基づき所定の演算処理を実行し、その結果を注目画素の新しい画素値として出力する。即ち、εフィルタ部６２は、そこに供給される画像信号を構成する各画素を、例えばラスタスキャン順に、順次、注目画素とし、その注目画素を、その注目画素に対応するパラメータεに応じてフィルタリングする。
【０１０９】
εフィルタ部６２は、パラメータεの値が大きい値であるほど、平滑化される度合いが高く（即ち、鈍りが生じやすく）、パラメータεの値が小さい値であるほど、平滑化される度合いが低く（即ち、鈍りが生じにくく）なるように信号を平滑化するフィルタリング処理を実行する。
【０１１０】
特性設定部６３には、識別部５から出力される注目画素の識別情報が入力され、特性設定部６３は、あらかじめ設定されているパラメータ特性の中から、注目画その識別情報がに対応するパラメータ特性を選択し、その選択したパラメータ特性をε利得供給部６１に出力する。
【０１１１】
図１６は、図１５の特性設定部６３においてあらかじめ設定されているパラメータ特性を示している。図１６のパラメータ特性は、パラメータεがとり得る範囲がパラメータαのとり得る範囲と異なることを除けば、図１３と同様であるので説明は省略する。
【０１１２】
図１７は、εフィルタ部６２のフィルタリング処理を説明する図である。εフィルタ部６２では、入力信号が、例えば、図１７Ａに示される急峻なエッジを有する画像信号であっても、図１７Ｂに示すように、その急峻なエッジを維持するように信号に平滑化される。
【０１１３】
以下に、εフィルタ部６２が実行する平滑化処理（フィルタリング処理）の詳細について説明する。εフィルタ部６２は、注目画素を、その注目画素の近傍にある近傍画素を用いてローパスフィルタリングするが、その際に近傍画素の画素値がパラメータεに応じて設定される。即ち、注目画素Ｐｎの画素値Ｘｎを中心とするεの範囲内に近傍画素Ｐｍの画素値Ｘｍがない場合、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換えてローパスフィルタリングが行われ、近傍画素Ｐｍの画素値Ｘｍがεの範囲内にある場合、その近傍画素Ｐｍの画素値Ｘｍをそのまま用いてローパスフィルタリングが行われる。
【０１１４】
即ち、εフィルタ部６２は、注目画素Ｐｎの画素値Ｘｎと注目画素Ｐｎの近傍画素Ｐｍの画素値Ｘｍとの差の絶対値｜Ｘｎ−Ｘｍ｜をε／２と比較する。そして、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２よりも大きい（または以上である）と判断した場合には、近傍画素Ｐｍの画素値Ｘｍを注目画素Ｐｎの画素値Ｘｎに置き換え、注目画素Ｐｎについてローパスフィルタ処理（ローパスフィルタリング）を行う。
【０１１５】
一方、εフィルタ部６２は、絶対値｜Ｘｎ−Ｘｍ｜がε／２以下（または未満）と判断した場合には、近傍画素の画素値Ｘｍをそのまま用いて、注目画素Ｐｎについてローパスフィルタ処理を行う。
【０１１６】
従って、εフィルタ部６２によれば、注目画素の画素値に近い値の画素値のみを用いて、注目画素がローパスフィルタリングされる。その結果、εフィルタ部６２においては、例えば、入力信号としての画像信号に微少なノイズが含まれる場合には、そのノイズが除去されたフィルタリング結果が得られる。さらに、εフィルタ部６２においては、例えば、入力信号としての画像信号に、急峻なエッジが含まれている場合には、そのエッジの形状を維持したフィルタリング結果が得られる。
【０１１７】
図１５のノイズ除去フィルタ部６では、上述したように、注目画素がエッジである程度が大であるとパラメータεも大とされ、エッジである程度が小であると、パラメータεも小とされる。
【０１１８】
従って、図１５のεフィルタ部６２では、エッジ部の画素については、パラメータεが大となり、その画素周辺の画素の画素値をそのまま用いてローパスフィルタリングが行われ易くるので、そのエッジ部に生じるモスキートノイズを除去することができる。また、図１２のεフィルタ部６２では、平坦部や有意なテクスチャ部の画素については、パラメータεが小となり、その画素周辺の画素の画素値を、注目画素の画素値に置き換えてローパスフィルタリングが行われ易くなるので、特に、有意なテクスチャ部のディテールを維持したフィルタリング結果を得ることができる。
【０１１９】
なお、εフィルタ部６２で実行されるフィルタリング処理のタップ数は、特に限定されるのもではなく、また、ユーザの要求に応じた任意の値とすることが可能である。
【０１２０】
図１８は、図１５のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【０１２１】
ステップＳ３１において、特性設定部６３には、識別部５が出力する注目画素の識別情報が入力され、特性設定部６３は、その識別情報に基づき、あらかじめ設定されているパラメータ特性の中から、注目画素の処理に用いるパラメータ特性を選択し、ε利得供給部６２に出力して、ステップＳ３２へ進む。
【０１２２】
ステップＳ３２において、ε利得供給部６２は、特性設定部６３から出力されたパラメータ特性に基づき、注目画素のエッジ信号Ｖに対応するパラメータεを設定し、そのパラメータεをεフィルタ部６２へ出力して、ステップＳ３３へ進む。
【０１２３】
ステップＳ３３において、εフィルタ部６２は、ε利得供給部６２から供給されるパラメータεに基づき、画像信号を構成する各画素のうち注目画素について、注目画素の近傍にある近傍画素の画素値を用いてフィルタリング処理を行い、その処理結果を注目画素の新しい画素値Ｚｎとして出力してリターンする。なお、εフィルタ部６２のフィルタリング処理に用いるタップ係数としては、例えば、図１２に示したもの採用することができる。
【０１２４】
以上のように、エッジ検出信号、平滑化信号、およびエッジ信号に基づき、注目画素を識別し、その識別結果を表す識別情報と、エッジ信号とに基づいてフィルタリング処理を行うことにより、有意なテクスチャ部のディテールを損なわずに、モスキートノイズを効果的に十分に除去することができる。
【０１２５】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１２６】
上述した一連の処理をソフトウェアで実行させる場合、ノイズ除去装置は、例えば、図１９に示されるようなパーソナルコンピュータなどとして構成することが可能である。
【０１２７】
図１９において、CPU（Central Processing Unit）７１は、ROM（Read Only Memory）７２に記憶されているプログラム、または記憶部７８からRAM（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。
【０１２８】
RAM７３にはまた、CPU７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２９】
CPU７１、ROM７２、およびRAM７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
【０１３０】
入出力インタフェース７５には、キーボード、マウスなどよりなる入力部７６、ディスプレイなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、および通信部７９が接続されている。
【０１３１】
入出力インタフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、或いは半導体メモリ８４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。
【０１３２】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０１３３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１９に示すように、磁気ディスク８１（フロッピディスクを含む）、光ディスク８２（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク８３、もしくは半導体メモリ８４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるROM７２や、記憶部７８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１３４】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３５】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３６】
なお、本実施の形態では、エッジ信号および識別情報に基づいて、モスキートノイズを除去するようにしたが、エッジ信号はおよび識別情報は、モスキートノイズの除去の他、例えば、画像をオブジェクト符号化する場合のオブジェクトの抽出などに利用することが可能である。
【０１３７】
また、本実施の形態では、ＭＰＥＧデコードされた画像信号を処理するようにしたが、その他の画像信号を対象として処理を行うことも可能である。
【０１３８】
さらに、本実施の形態では、平滑化信号の変化量（エッジ信号）として、平滑化信号の分散を求めるようにしたが、平滑化信号の変化量としては、注目画素の近傍の画素の平滑化信号の差分絶対値の平均値や、平滑化信号の微分値などを採用することが可能である。画像信号の変化量（画像変化信号）についても同様である。
【０１３９】
また、本実施の形態では、エッジ信号、平滑化信号、画像変化信号の３つを用いて、画像信号を識別し、その識別結果を表す識別情報を出力するようにしたが、その他、例えば、エッジ信号と、平滑化信号または画像変化信号のうちのいずれか一方との２つを用いて、画像信号を識別することも可能である。但し、この場合、図８の識別処理において、平滑化信号を用いないときには、ステップＳ１３およびＳ１４の処理が行われなくなり、画像変化信号を用いないときには、ステップＳ１５乃至Ｓ１７の処理が行われなくなる。
【０１４０】
さらに、ノイズ除去フィルタ部６は、上述したように構成する他、例えば、メディアンフィルタを用いて構成することが可能である。
【０１４１】
【発明の効果】
以上のように、本発明によれば、エッジ本体部、平坦部、有意なテクスチャ部、およびノイズを明確に区別することができる。
【図面の簡単な説明】
【図１】従来の画像信号とその二次微分の信号レベルを説明する図である。
【図２】本発明を適用したノイズ除去装置の一実施の形態の構成を示すブロック図である。
【図３】ノイズ除去装置の動作を説明するフローチャートである。
【図４】エッジ検出部１の構成例を示すブロック図である。
【図５】水平エッジ検出部１１（垂直エッジ検出部１３）の構成例を示すブロック図である。
【図６】フィルタ部２の構成例を示すブロック図である。
【図７】識別部５の構成例を示すブロック図である。
【図８】識別部５の動作を説明するフローチャートである。
【図９】ノイズ除去装置で得られる信号の波形を示す図である。
【図１０】変化検出部３において得られるエッジ信号の波形を説明する図である。
【図１１】ノイズ除去フィルタ部６の第１の構成例を示すブロック図である。
【図１２】ＬＰＦ部４１のタップ係数の一実施の形態を示す図である。
【図１３】エッジ信号Ｖとパラメータαとの関係を示す図である。
【図１４】図１１のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【図１５】ノイズ除去フィルタ部６の第２の構成例を示すブロック図である。
【図１６】エッジ信号Ｖとパラメータεとの関係を示す図である。
【図１７】εフィルタ部６２の処理を説明する図である。
【図１８】図１５のノイズ除去フィルタ部６の動作を説明するフローチャートである。
【図１９】本発明を適用したノイズ除去装置を実現するコンピュータの構成例を示すブロック図である。
【符号の説明】
１ エッジ検出部， ２ フィルタ部， ３ 変化検出部， ４ ノイズ除去フィルタ部， １１ 水平エッジ検出部， １２ 比較部， １３ 垂直エッジ検出部， ２１ 微分部， ２２ 絶対値化部， ３１ 水平ローパスフィルタ部， ３２ 垂直ローパスフィルタ部， ４１ ＬＰＦ部， ４２ 混合部， ４３ 特性設定部， ６１ ε利得供給部， ６２ εフィルタ部， ６３ 特性設定部， ７１ ＣＰＵ， ７２ ＲＯＭ， ７３ ＲＡＭ， ７４ バス，７５ 入出力インターフェース， ７６ 入力部， ７７ 出力部， ７８ 記憶部， ７９ 通信部， ８０ ドライブ， ８１ 磁器ディスク， ８２ 光ディスク， ８３ 光磁器ディスク， ８４ 半導体メモリ， ９１ エッジ識別部， ９２ 平坦部識別部， ９３ テクスチャ識別部， ９４ 識別結果出力部
Claims (5)
- 画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出手段と、
前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化手段と、
前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出手段と、
前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出手段と、
注目画素の前記エッジ信号が所定の第１の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第２の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第３の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第３の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別手段と
を備えることを特徴とする信号処理装置。 - 前記エッジ信号が大きい画素ほどノイズの除去処理を強く施すとともに、前記エッジ信号の値が同じ場合、前記エッジ周辺部の画素に対してノイズの除去処理を最も強く施し、前記画像信号からノイズを除去するノイズ除去手段をさらに備える
ことを特徴とする請求項１に記載の信号処理装置。 - 前記ノイズ除去手段は、前記エッジ信号の値が同じ場合、強い方から、前記エッジ周辺部の画素、前記エッジ本体部の画素、前記テクスチャ部の画素、前記平坦部の画素の順にノイズの除去処理の強さを調整する
ことを特徴とする請求項２に記載の信号処理装置。 - 画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、
前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、
前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、
注目画素の前記エッジ信号が所定の第１の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第２の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第３の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第３の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別ステップと
を含むことを特徴とする信号処理装置の信号処理方法。 - 画像信号からエッジを検出し、その検出結果を表すエッジ検出信号を出力するエッジ検出ステップと、
前記エッジ検出信号を平滑化し、平滑化信号として出力する平滑化ステップと、
前記平滑化信号の変化量を求め、その変化量を表すエッジ信号を出力するエッジ信号算出ステップと、
前記画像信号の変化量を求め、その変化量を表す画像変化信号を出力する画像変化信号算出ステップと、
注目画素の前記エッジ信号が所定の第１の閾値以上である場合、前記注目画素がエッジ本体部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が所定の第２の閾値以下である場合、前記注目画素が平坦部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が所定の第３の閾値未満である場合、前記注目画素がエッジ周辺部であると識別し、前記注目画素の前記エッジ信号が前記第１の閾値未満、かつ、前記注目画素の前記平滑化信号が前記第２の閾値より大きく、かつ、前記注目画素の前記画像変化信号が前記第３の閾値以上である場合、前記注目画素がテクスチャ部であると識別する識別ステップと
を含む処理をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003133382A JP4392582B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003133382A JP4392582B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004336652A JP2004336652A (ja) | 2004-11-25 |
| JP4392582B2 true JP4392582B2 (ja) | 2010-01-06 |
Family
ID=33507937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003133382A Expired - Fee Related JP4392582B2 (ja) | 2003-05-12 | 2003-05-12 | 信号処理装置および信号処理方法、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4392582B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100746744B1 (ko) * | 2005-11-28 | 2007-08-06 | 삼성전자주식회사 | 영상 디테일 향상방법 및 그 장치 |
| JP2007288761A (ja) * | 2006-03-20 | 2007-11-01 | Sony Corp | 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム |
| JP4930638B2 (ja) | 2008-05-30 | 2012-05-16 | 富士通株式会社 | 画像補正装置および画像補正方法 |
| JP5223702B2 (ja) | 2008-07-29 | 2013-06-26 | 株式会社リコー | 画像処理装置、ノイズ低減方法、プログラム、記憶媒体 |
| JP5180911B2 (ja) * | 2009-06-01 | 2013-04-10 | キヤノン株式会社 | ノイズ除去制御装置及びノイズ除去制御方法 |
| US9514515B2 (en) * | 2013-03-08 | 2016-12-06 | Sharp Kabushiki Kaisha | Image processing device, image processing method, image processing program, and image display device |
| JP6188448B2 (ja) * | 2013-06-26 | 2017-08-30 | オリンパス株式会社 | 画像処理装置 |
| US9639771B2 (en) | 2013-09-06 | 2017-05-02 | Sharp Kabushiki Kaisha | Image processing device |
-
2003
- 2003-05-12 JP JP2003133382A patent/JP4392582B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004336652A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5839631B2 (ja) | ブロックノイズの検出方法 | |
| JP4635779B2 (ja) | データ処理装置およびデータ処理方法、並びにプログラム | |
| JP5075861B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4887544B2 (ja) | 動画データのノイズ除去方法 | |
| JP4145665B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH06348842A (ja) | ノイズ低減フィルター | |
| JP4539027B2 (ja) | 信号処理装置および信号処理方法、並びにプログラム | |
| US20070286515A1 (en) | Method and apparatus for removing false contours | |
| JPH08186714A (ja) | 画像データのノイズ除去方法及びその装置 | |
| JP2003018403A (ja) | 画像処理装置 | |
| KR101766536B1 (ko) | 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치 | |
| US20130022288A1 (en) | Image processing apparatus and method for reducing edge-induced artefacts | |
| JP4392582B2 (ja) | 信号処理装置および信号処理方法、並びにプログラム | |
| JP2008293425A (ja) | ノイズ除去装置並びにプログラムおよび方法 | |
| CN112215764A (zh) | 一种基于中值滤波的改进算法的图像处理方法 | |
| US7295715B2 (en) | Apparatus and method for detecting frequency | |
| CN101552922B (zh) | 信号处理设备和方法 | |
| CN106846262B (zh) | 去除蚊式噪声的方法及*** | |
| JP2008278185A (ja) | データ処理装置およびデータ処理方法、並びにプログラム | |
| JP2002208006A (ja) | 画像ノイズ減少方法 | |
| CN111429383B (zh) | 图像降噪方法及装置、计算机可读存储介质 | |
| CN114693543B (zh) | 图像降噪方法及装置、图像处理芯片、图像采集设备 | |
| JP2008293424A (ja) | ノイズ除去装置並びにプログラムおよび方法 | |
| Pirsiavash et al. | An efficient parameter selection criterion for image denoising | |
| JP2002247412A (ja) | 映像信号ノイズ低減方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080502 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090917 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090930 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |