JP2010041327A - ノイズ低減装置及びノイズ低減方法 - Google Patents

Abstract

【課題】映像信号からインパルス状のノイズ成分を低減するとともに、他のノイズ成分を映像信号に応じた強度で低減することが可能なノイズ低減装置及びノイズ低減方法を提供する。
【解決手段】インパルス状ノイズを低減した入力映像信号（現フレーム映像信号）と、フレーム遅延映像信号（前フレーム映像信号）とから映像の動きを検出し、この動き量に応じた強度で、インパルス状ノイズ以外の他のノイズ成分を低減するノイズ低減処理を現フレーム映像信号に施す。
【選択図】 図１

Description

本発明は、映像信号に含まれたノイズ成分を低減するノイズ低減装置及びノイズ低減方法に関する。

従来から、信号中に含まれたノイズを低減するノイズ低減装置が知られている。例えば、特許文献１には、入力映像信号から検出した動きベクトルに基づいて当該入力映像信号に動き補正を施し、動きベクトルの検出結果に基づいて検出した入力映像信号のノイズレベルに応じた強さで、前記動き補正を施した入力映像信号と元の入力映像信号との差分信号に非線形処理を施し、この非線形処理を施した差分信号と元の入力映像信号とを合成することで、ノイズの低減を行うノイズ低減装置（信号処理装置）が開示されている。

特開２００１−１３６４１６号公報

しかしながら、上記した従来のノイズ低減装置では、ある振幅以上のインパルス状ノイズを低減しようとすると、動き検出の感度を静止判定寄りに調整することになるため、動いている絵柄の周辺に２重像や残像等が発生し画質が劣化するという問題がある。

本発明は、上記に鑑みてなされたものであって、映像信号からインパルス状のノイズ成分を低減するとともに、他のノイズ成分を映像信号に応じた強度で低減することが可能なノイズ低減装置及びノイズ低減方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、外部から入力されるフレーム単位の入力映像信号を１フレーム分遅延させ、フレーム遅延映像信号として出力するフレーム遅延手段と、前記入力映像信号に含まれたインパルス状のノイズ成分を検出する第１インパルスノイズ検出手段と、前記フレーム遅延映像信号に含まれたインパルス状のノイズ成分を検出する第２インパルスノイズ検出手段と、前記第１インパルスノイズ検出手段の検出結果に基づいて、前記入力映像信号から前記インパルス状のノイズ成分を低減した現フレーム映像信号を生成する第１インパルスノイズ低減手段と、前記第２インパルスノイズ検出手段の検出結果に基づいて、前記フレーム遅延映像信号から前記インパルス状のノイズ成分を低減した前フレーム映像信号を生成する第２インパルスノイズ低減手段と、前記現フレーム映像信号と前記前フレーム映像信号とから映像の動きを検出し、この動きの度合いを表した動き量を出力する動き検出手段と、前記現フレーム映像信号に対して、前記インパルス状のノイズ成分以外の他のノイズ成分を低減するためのノイズ低減処理を前記動き量に応じた強度で施し、ノイズ低減映像信号を生成するノイズ低減手段と、を備える。

また、本発明は、外部から入力されるフレーム単位の入力映像信号を１フレーム分遅延させ、フレーム遅延映像信号として出力するフレーム遅延手段と、前記入力映像信号に含まれたインパルス状のノイズ成分を検出するインパルスノイズ検出手段と、前記インパルスノイズ検出手段の検出結果に基づいて、前記入力映像信号から前記インパルス状のノイズ成分を低減した現フレーム映像信号を生成するインパルスノイズ低減手段と、前記現フレーム映像信号と前記フレーム遅延映像信号とから映像の動きを検出し、この動きの度合いを表した動き量を出力する動き検出手段と、前記現フレーム映像信号に対して、前記インパルス状のノイズ成分以外の他のノイズ成分を低減するためのノイズ低減処理を前記動き量に応じた強度で施し、ノイズ低減映像信号を生成するノイズ低減手段と、を備え、前記フレーム遅延手段は、前記ノイズ低減映像信号を前記フレーム遅延映像信号として出力することを特徴とする。

また、本発明は、フレーム遅延手段が、外部から入力されるフレーム単位の入力映像信号を１フレーム分遅延させ、フレーム遅延映像信号として出力するフレーム遅延工程と、第１インパルスノイズ検出手段が、前記入力映像信号に含まれたインパルス状のノイズ成分を検出する第１インパルスノイズ検出工程と、第２インパルスノイズ検出手段が、前記フレーム遅延映像信号に含まれたインパルス状のノイズ成分を検出する第２インパルスノイズ検出工程と、第１インパルスノイズ低減手段が、前記第１インパルスノイズ検出工程での検出結果に基づいて、前記入力映像信号から前記インパルス状のノイズ成分を低減した現フレーム映像信号を生成する第１インパルスノイズ低減工程と、第２インパルスノイズ低減手段が、前記第２インパルスノイズ検出工程での検出結果に基づいて、前記フレーム遅延映像信号から前記インパルス状のノイズ成分を低減した前フレーム映像信号を生成する第２インパルスノイズ低減工程と、動き検出手段が、前記現フレーム映像信号と前記前フレーム映像信号とから映像の動きを検出し、この動きの度合いを表した動き量を出力する動き検出工程と、第２ノイズ低減手段が、前記現フレーム映像信号に対して、前記インパルス状のノイズ成分以外の他のノイズ成分を低減するためのノイズ低減処理を前記動き量に応じた強度で施し、ノイズ低減映像信号を生成する第２ノイズ低減工程と、を含む。

本発明によれば、インパルス状のノイズ成分を低減した入力映像信号とフレーム遅延映像信号とから映像の動きを検出し、この動き量に応じた強度で入力映像信号中の他のノイズ成分を低減することができるため、映像信号の画質を維持しつつ、インパルス状のノイズ成分以外の他のノイズ成分を低減することができる。

以下、添付図面を参照して、本発明にかかるノイズ低減装置及びノイズ低減方法の最良な実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。

［第１の実施形態］
まず、図１を参照して、第１の実施形態にかかるノイズ低減装置１０について説明する。図１は、ノイズ低減装置１０の構成の一例を示したブロック図である。同図に示したように、ノイズ低減装置１０は、フレーム遅延部１１と、第１インパルスノイズ検出部１２と、第２インパルスノイズ検出部１３と、第１ノイズ低減部１４と、動き検出部１５と、第２ノイズ低減部１６とを備えている。

フレーム遅延部１１は、フレームメモリ等の遅延回路であって、外部から入力されるフレーム単位の映像信号（以下、入力映像信号という）を１フレーム分遅延させ、フレーム遅延映像信号として第１インパルスノイズ検出部１２及び第２インパルスノイズ検出部１３に出力する。

第１インパルスノイズ検出部１２は、外部からの入力映像信号と、フレーム遅延部１１から出力されたフレーム遅延映像信号とを入力とし、入力映像信号からフレーム遅延映像信号を減算したフレーム差分信号に基づいて、この入力映像信号に含まれたインパルス状のノイズ成分（以下、インパルス状ノイズという）を検出する。以下、第１インパルスノイズ検出部１２について説明する。

図２は、第１インパルスノイズ検出部１２の構成の一例を示した図である。また、図３は、矩形波除去部２１及び単独パルス検出部２２の動作の一例を示したタイミングチャートである。図２に示したように、第１インパルスノイズ検出部１２は、フレーム差分信号に含まれた矩形波信号を除去する矩形波除去部２１と、矩形波除去部２１の出力信号からインパルス状ノイズ（単独パルス）を検出する単独パルス検出部２２とを有している。

矩形波除去部２１について説明する。矩形波除去部２１は、演算器２１１１と、ディレイ回路２１１２と、ディレイ回路２１１３と、加算器２１１４と、加算器２１１５と、判断部２１１６と、絶対値器２１１７と、絶対値器２１１８と、最小値選択部２１１９と、選択部２１２０と、加算器２１２１と、符号抽出部２１２２と、符号付加部２１２３とを備えている。

演算器２１１１は、入力映像信号からフレーム遅延映像信号を減算し、この減算結果となるフレーム差分信号Ｄ０をディレイ回路２１１２に出力する。ディレイ回路２１１２は、遅延回路であって、演算器２１１１から入力されるフレーム差分信号Ｄ０を所定のピクセル分遅延させ、遅延信号Ｄ１として出力する。また、ディレイ回路２１１３は、遅延回路であって、ディレイ回路２１１２から入力される遅延信号Ｄ１を更に所定のピクセル分遅延させ、遅延信号Ｄ２として出力する。

加算器２１１４は、遅延信号Ｄ１とマイナスのフレーム差分信号Ｄ０とを加算し、この加算結果を出力Ａとして出力する。また、加算器２１１５は、遅延信号Ｄ１とマイナスの遅延信号Ｄ２とを加算し、この加算結果を出力Ｂとして出力する。

判断部２１１６は、加算器２１１４からの出力Ａと、加算器２１１５からの出力Ｂとを入力とし、これら出力Ａ、Ｂの値に応じて選択部２１２０の出力を制御する。なお、判断部２１１６の動作については後述する。

絶対値器２１１７は、加算器２１１４からの出力Ａの絶対値を最小値選択部２１１９に出力する。また、絶対値器２１１８は、加算器２１１５からの出力Ｂの絶対値を最小値選択部２１１９に出力する。最小値選択部２１１９は、絶対値器２１１７及び絶対値器２１１８から入力された信号のうち、同タイミングでより小さな値となる信号をタイミング毎に選択し、出力Ｃとして選択部２１２０に出力する。

選択部２１２０は、判断部２１１６の制御の下、最小値選択部２１１９から入力された「出力Ｃ」、又は、ｎｕｌｌを表す「０」を選択的に出力する。判断部２１１６は、当該判断部２１１６に入力された出力Ａ、Ｂの値が、Ａ≦０で且つＢ≦０、又は、Ａ≧０で且つＢ≧０であると判断したとき、選択部２１２０からの出力が「出力Ｃ」となるよう選択部２１２０を制御し、上記条件に該当しないときは「０」となるよう選択部２１２０を制御する。ここで、判断部２１１６は、出力Ａと出力Ｂとの極性を検出し両極性が同一であるか否かを判定するが、両極性が異なる場合、フレーム差分信号Ｄ０は矩形波と判断することができる。この場合、判断部２１１６では、選択部２１２０からの出力を「０」とすることで、矩形波成分を除去する。

加算器２１２１は、加算器２１１４及び加算器２１１５からの出力Ａ、Ｂを加算し、二次微分信号Ｅとして符号抽出部２１２２に出力する。符号抽出部２１２２では、二次微分信号Ｅに含まれた符号情報を抽出し、符号付加部２１２３に出力する。ここで、符号情報とは、（２・Ｄ１−Ｄ０−Ｄ２）の演算結果の正・負を示した情報であって、単発パルスが凸型（正）か、凹型（負）かを意味するものである。

符号付加部２１２３は、符号抽出部２１２２から供給された符号を、選択部２１２０からの出力に付加し、信号Ｄ３として後段の単独パルス検出部２２に供給する。

以下、図３、４を参照して、矩形波除去部２１による矩形波除去の動作について説明する。ここで、図４は、矩形波除去部２１による矩形波除去処理の手順を示したフローチャートである。なお、図４のフローチャートの各ステップは、回路ブロックに置き換えることができる。従って、各フローチャートのステップの全ては、ブロックに定義しなおすことが可能である。

まず、矩形波除去部２１は、入力映像信号とフレーム遅延映像信号とに基づき、フレーム差分信号Ｄ０を生成すると（ステップＳ１１）、このフレーム差分信号Ｄ０を所定の第１ピクセル分遅延させた遅延信号Ｄ１を生成するとともに、フレーム差分信号Ｄ０を第２ピクセル分遅延させた遅延信号Ｄ２を生成する（ステップＳ１２）。その後、矩形波除去部２１は、フレーム差分信号Ｄ０、遅延信号Ｄ１、遅延信号Ｄ２を用いて、２つの微分値（出力Ａ、Ｂ）を出力する（ステップＳ１３）。そして、矩形波除去部２１は、２つの微分値の極性を検出し（ステップＳ１４）、両極性が同一であるか否かを判定する（ステップＳ１５）。

ここで、矩形波除去部２１は、両者の微分値の極性が同一と判定すると（ステップＳ１５；Ｙｅｓ）、フレーム差分信号Ｄ０は矩形波でないと判断して後段にスルーする（ステップＳ１６）。また、ステップＳ１５において、両者の微分値の極性が異なると判定すると（ステップＳ１５；Ｎｏ）、矩形波除去部２１は、フレーム差分信号Ｄ０が矩形波であると判断し、この矩形波成分を除去（削除）する（ステップＳ１７）。このように、矩形波除去部２１では、インパルス状ノイズを検出する際に障害となる矩形波を除去することができるため、後段の単独パルス検出部２２による検出精度を向上させることができる。

次に、図２、図３を参照して、単独パルス検出部２２について説明する。図２に示したように、単独パルス検出部２２は、ディレイ回路２２１１と、ディレイ回路２２１２と、加算器２２１３と、加算器２２１４と、絶対値器２２１５と、絶対値器２２１６と、最小値選択部２２１７と、絶対値器２２１８と、最小値選択部２２１９と、符号抽出部２２２０と、符号付加部２２２１と、リミッタ部２２２２とを備えている。

ディレイ回路２２１１は、遅延回路であって、矩形波除去部２１の符号付加部２１２３から出力された信号Ｄ３を所定のピクセル分遅延させ、遅延信号Ｄ４として出力する。また、ディレイ回路２２１２は、遅延回路であって、ディレイ回路２２１１から入力される遅延信号Ｄ４を更に所定のピクセル分遅延させ、遅延信号Ｄ５として出力する。

加算器２２１３は、信号Ｄ３と遅延信号Ｄ４とを加算し、この加算結果を出力Ｇとして出力する。また、加算器２２１４は、遅延信号Ｄ４と遅延信号Ｄ５とを加算し、この加算結果を出力Ｈとして出力する。

絶対値器２２１５は、加算器２２１３からの出力Ｇの絶対値を最小値選択部２２１７に出力する。また、絶対値器２２１６は、加算器２２１４からの出力Ｈの絶対値を最小値選択部２２１７に出力する。最小値選択部２２１７は、絶対値器２２１５及び絶対値器２２１６から入力された信号のうち、同タイミングでより小さな値となる信号をタイミング毎に選択し、出力Ｊとして最小値選択部２２１９に出力する。また、絶対値器２２１８は、遅延信号Ｄ４の絶対値を最小値選択部２２１９に出力する。

最小値選択部２２１９は、最小値選択部２２１７及び絶対値器２２１８から入力された信号のうち、同タイミングでより小さな値となる信号をタイミング毎に選択し、出力Ｌとして符号付加部２２２１に出力する。また、符号抽出部２２２０は、遅延信号Ｄ４に含まれた符号情報を抽出し、符号付加部２２２１に出力する。

符号付加部２２２１は、符号抽出部２２２０から供給された符号を、最小値選択部２２１９からの出力Ｌに付加し、出力信号Ｍとしてリミッタ部２２２２に出力する。リミッタ部２２２２は、出力信号Ｍの振幅値を図２のグラフ２３に示すように一定範囲に制限し、第１検出信号として第１ノイズ低減部１４に出力する。

以下、図３、５を参照して、矩形波除去部２１による矩形波除去の動作について説明する。ここで、図５は、単独パルス検出部２２による単独パルス検出処理の手順を示したフローチャートである。なお、図５のフローチャートの各ステップは、回路ブロックに置き換えることができる。従って、各フローチャートのステップの全ては、ブロックに定義しなおすことが可能である。

単独パルス検出部２２は、信号Ｄ３を所定の第１ピクセル分遅延させた遅延信号Ｄ４を生成し、信号Ｄ３を第２ピクセル分遅延させた遅延信号Ｄ５を生成する（ステップＳ２１）。その後、単独パルス検出部２２は、信号Ｄ３、各遅延信号Ｄ４、遅延信号Ｄ５を加算する（ステップＳ２２）。

そして、単独パルス検出部２２は、各加算結果の各絶対値の最小値（Ｊ）を求め、この最小値（Ｊ）と遅延信号Ｄ４のうち、最小のものを選択する（ステップＳ２３）。この結果、フレーム差分信号Ｄ０のうち、連続するパルス信号は相殺されて消え（ステップＳ２４）、単独のパルス信号Ｍが残る（ステップＳ２５）。

このように、第１インパルスノイズ検出部１２によれば、特に、矩形波を除去することで、入力映像信号に含まれた単独のパルス信号（インパルス状ノイズ）を確実に検出することができる。

なお、本実施形態では、図２に示した構成により、インパルス状ノイズを検出することとしたが、この構成に限定されないものとする。例えば、特開平５−１４５８０２号公報等に開示されたインパルス状ノイズの検出に係る公知・公用の技術を用いて、第１インパルスノイズ検出部１２を実現してもよい。

図１に戻り、第２インパルスノイズ検出部１３は、外部からの入力映像信号と、フレーム遅延部１１から出力されたフレーム遅延映像信号とを入力とし、当該フレーム遅延映像信号から入力映像信号を減算したフレーム差分信号に基づいて、フレーム遅延映像信号に含まれたインパルス状ノイズを検出する。

ここで、第２インパルスノイズ検出部１３は、図２に示した第１インパルスノイズ検出部１２と同様の構成を用いて実現することができる。具体的には、演算器２１１１の演算対象を、フレーム遅延映像信号から入力映像信号の減算とすることで、フレーム遅延映像信号に含まれたインパルス状ノイズを検出することができる。以下、第２インパルスノイズ検出部１３から出力される信号を、第２検出信号と表記する。

第１ノイズ低減部１４は、第１減算器１４１と、第２減算器１４２とを有する。第１減算器１４１は、第１インパルスノイズ検出部１２の検出結果（第１検出信号）に基づいて、入力映像信号からインパルス状ノイズを低減した現フレーム映像信号を生成する。具体的に、第１減算器１４１は、入力映像信号から第１検出信号成分を減算することで、当該入力映像信号に含まれたインパルス状ノイズを除去し、現フレーム映像信号として出力する。

また、第２減算器１４２は、第２インパルスノイズ検出部１３の検出結果（第２検出信号）に基づいて、フレーム遅延映像信号からインパルス状ノイズを低減した前フレーム映像信号を生成する。具体的に、第２減算器１４２は、フレーム遅延映像信号から第２検出信号成分を減算することで、当該フレーム遅延映像信号に含まれたインパルス状ノイズを除去し、前フレーム映像信号として出力する。

動き検出部１５は、第１ノイズ低減部１４から出力された現フレーム映像信号と、前フレーム映像信号とを比較することで、前フレーム映像信号から現フレーム映像信号への間で映像にどの程度動きがあったのかを検出し、この動きの度合いを表した動き量を第２ノイズ低減部１６に出力する。なお、動き検出部１５が実現する動き検出方法としては、反復勾配法やブロックマッチング法等の公知・公用の技術を用いることが可能である。

第２ノイズ低減部１６は、第１ノイズ低減部１４からの出力（現フレーム映像信号）に対して、インパルス状ノイズ以外の他のノイズ成分を低減するためのノイズ低減処理を、動き検出部１５から入力される動き量に応じた強度で施し、ノイズ低減映像信号として外部に出力する。

具体的に、第２ノイズ低減部１６は、動き量が表す映像の状態が静状態（動き量０）に近いほど、現フレーム映像信号に対するノイズ低減処理のノイズ低減効果を強くし、動き量が大きくなるほどノイズ低減処理のノイズ低減効果を弱くする。ここで、各動き量に対応するノイズ低減効果の強度は予め規定されており、各動き量とノイズ低減効果の強度とを関連付けた設定情報が、第２ノイズ低減部１６に設けられたＲＯＭ等の記憶媒体１６１に予め記憶されているものとする。

図６は、記憶媒体１６１に記憶された設定情報の一例を模式的に示した図であって、動き量とノイズ低減効果の強度との関係の一例を示している。同図において、横軸は動き量を表しており、図中左方に行くほどより大きな動きであることを意味している。また、縦軸はノイズ低減効果の強度を表しており、図中上方に行くほどノイズ低減効果を強めることを意味している。同図からも明らかなように、この設定情報では、動き量が静状態に近いほどノイズ低減効果を強く、動き量が大きくなるほどノイズ低減効果を弱くすることを規定している。

第２ノイズ低減部１６は、動き検出部１５からの動き量に対応するノイズ低減効果の強度を、記憶媒体１６１に記憶された設定情報に基づいて決定すると、この強度を実現するようノイズ低減処理を実行する。なお、ノイズ低減処理の内容は特に問わないものとするが、例えば、メディアンフィルタ等を用いた公知・公用の技術を適用することが可能である。また、本実施形態では、第２ノイズ低減部１６内に設けられた記憶媒体１６１に設定情報を記憶した態様について説明したが、これに限らず、第２ノイズ低減部１６外部の記憶媒体に設定情報を記憶する態様としてもよい。また、第２ノイズ低減部１６の他の実施形態としては、ノイズ低減映像信号＝現フレーム映像信号＋α（前フレーム映像信号−現フレーム映像信号）としてもよい（但し、動き量＝０〜Ｔｈ１のときα＝１、動き量＝Ｔｈ１〜Ｔｈ２のとき１から０へ直線的に落ちる特性、動き量＝Ｔｈ２〜のときα＝０）。

以上のように、第１の実施形態に係るノイズ低減装置１０によれば、インパルス状ノイズを低減した入力映像信号（現フレーム映像信号）とフレーム遅延映像信号（前フレーム映像信号）とから映像の動きを検出し、この動き量に応じた強度で、現フレーム映像信号にノイズ低減処理を施すことができるため、入力映像信号からインパルス状のノイズ成分を低減するとともに、他のノイズ成分を映像信号に応じた強度で低減することができる。これにより、入力映像信号に適したノイズ低減効果を得ることができるため、入力映像信号の画質向上を図ることができる。

なお、図１の構成例では、第２ノイズ低減部１６にフレーム遅延映像信号を入力する態様としているが、現フレーム映像信号に対するノイズ低減処理時にフレーム遅延映像信号を用いないような場合には、当該フレーム遅延映像信号が入力されないよう構成することとしてもよい。

また、本実施形態では、動き検出部１５から出力された動き量の大小に応じて、ノイズ低減効果の強度を制御する態様としたが、本実施形態の変形例として、動き量の値に基づいて映像の状態を静状態か動状態かの２状態に判別し、これら各状態に応じた強度で前記ノイズ低減処理を施すこととしてもよい。

図７は、本実施形態の変形例における設定情報の一例を模式的に示した図であって、動き量とノイズ低減効果の強度との関係の一例を示している。同図において、横軸は動き量を表しており、図中左方に行くほどより大きな動きであることを意味している。また、縦軸はノイズ低減効果の強度を表しており、図中上方に行くほどノイズ低減効果を強めることを意味している。ここで、図中Ｔｈは、状態判別のための閾値である。なお、閾値の値は記憶媒体１６１や他の記憶媒体に予め記憶されているものとする。

図７からも明らかなように、この設定情報では、動き量が静状態の場合には、動状態の場合よりもノイズ低減効果を強く施すことを規定している。第２ノイズ低減部１６では、動き検出部１５からの動き量と閾値Ｔｈとを比較し、動き量がこの閾値を下回る場合に静状態と判別し、この閾値以上となる場合に動状態と判別する。さらに、第２ノイズ低減部１６は、判別した状態に対応するノイズ低減効果の強度を、記憶媒体１６１に記憶された設定情報に基づいて決定すると、この強度を実現するようノイズ低減処理を実行する。

これにより、映像の状態に適したノイズ低減効果でノイズ低減処理を施すことができるため、上記実施形態と同様、映像信号の画質を維持しつつ、インパルス状ノイズ以外の他のノイズ成分を低減することが可能となる。

［第２の実施形態］
次に、第２の実施形態について説明する。なお、第１の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。

図８は、第２の実施形態に係るノイズ低減装置３０の構成の一例を示したブロック図である。同図に示したように、ノイズ低減装置３０は、フレーム遅延部３１と、インパルスノイズ検出部３２と、第１ノイズ低減部３３と、動き検出部３４と、第２ノイズ低減部３５とを備え、当該第２ノイズ低減部３５からの出力がフレーム遅延部３１の入力となる巡回型のノイズ低減装置となっている。

フレーム遅延部３１は、フレームメモリ等であって、第２ノイズ低減部３５から入力される１フレーム分の映像信号（後述するノイズ低減映像信号）を保持し、外部から入力される入力映像信号より１フレーム分遅延したフレーム遅延映像信号としてインパルスノイズ検出部３２に出力する。なお、第２ノイズ低減部３５から入力される映像信号は、第１ノイズ低減部３３及び第２ノイズ低減部３５にてノイズ成分が低減された映像信号となっている。

インパルスノイズ検出部３２は、外部から入力される入力映像信号と、フレーム遅延部３１からのフレーム遅延映像信号とを入力とし、入力映像信号からフレーム遅延映像信号を減算したフレーム差分信号に基づいて、この入力映像信号に含まれたインパルス状ノイズを検出する。なお、インパルスノイズ検出部３２は、図１に示した第１インパルスノイズ検出部１２と同様の構成を用いて実現することができるため、詳細な説明は省略する。以下、インパルスノイズ検出部３２から出力される信号を検出信号と表記する。

第１ノイズ低減部３３は、減算器３３１を有している。減算器３３１は、インパルスノイズ検出部３２の検出結果（検出信号）に基づいて、入力映像信号からインパルス状ノイズを低減した現フレーム映像信号を生成する。具体的に、減算器３３１は、入力映像信号から検出信号成分を減算することで、当該入力映像信号からインパルス状ノイズを除去し、現フレーム映像信号として出力する。

動き検出部３４は、第１ノイズ低減部３３から出力された現フレーム映像信号と、フレーム遅延映像信号とを比較し、フレーム遅延映像信号から現フレーム映像信号への間で映像にどの程度動きがあったのかを検出し、この動きの度合いを表した動き量を第２ノイズ低減部３５に出力する。なお、動き検出部３４が実現する動き検出方法としては、反復勾配法やブロックマッチング法等の公知・公用の技術を用いることが可能である。

第２ノイズ低減部３５は、第１ノイズ低減部３３からの出力（現フレーム映像信号）に対して、インパルス状ノイズ以外の他のノイズ成分を低減するためのノイズ低減処理を、動き検出部３４から入力される動き量に応じた強度で施し、ノイズ低減映像信号として外部に出力するとともに、フレーム遅延部３１に出力する。

具体的に、第２ノイズ低減部３５は、動き量が表す映像の状態が静止状態（動き量０）に近いほど、現フレーム映像信号に対するノイズ低減処理のノイズ低減効果を強くし、動き量が大きくなるほどノイズ低減処理のノイズ低減効果を弱くする。ここで、各動き量に対応するノイズ低減効果の強度は予め規定されており、各動き量とノイズ低減効果の強度とを関連付けた設定情報が、第２ノイズ低減部３５に設けられたＲＯＭ等の記憶媒体１６１に予め記憶されているものとする。

以上のように、第２の実施形態に係るノイズ低減装置３０によれば、インパルス状ノイズを低減した入力映像信号（現フレーム映像信号）と、インパルス状ノイズ及び他のノイズ成分を低減したフレーム遅延映像信号とから映像の動きを検出し、この動き量に応じた強度で、現フレーム映像信号にノイズ低減処理を施すことができるため、入力映像信号からインパルス状のノイズ成分を低減するとともに、他のノイズ成分を映像信号に応じた強度で低減することができる。これにより、入力映像信号に適したノイズ低減効果を得ることができるため、入力映像信号の画質向上を図ることができる。

また、上述した第１の実施形態に係るノイズ低減装置１０の構成と比較し、部品数を削減することができるため、製造コストを抑えることが可能である。

なお、図８の構成例では、第２ノイズ低減部３５にフレーム遅延映像信号を入力する態様としているが、現フレーム映像信号に対するノイズ低減処理時にフレーム遅延映像信号を用いないような場合には、当該フレーム遅延映像信号が入力されないよう構成することとしてもよい。

また、本実施形態においても、第１の実施形態の変形例と同様に、動き量の値に基づいて映像の状態を静状態か動状態かの２状態に判別し、これら各状態に応じた強度で前記ノイズ低減処理を施す態様としてもよい。

［ノイズ低減装置を用いた映像装置］
次に、上述した第１、第２の実施形態に係るノイズ削減回路（ノイズ低減装置１０、ノイズ低減装置３０）を用いた映像装置の一例について説明する。

図９は、第１、第２の実施形態に係るノイズ低減回路を適用した画像表示装置４０の構成の一例を示したブロック図である。同図に示したように、画像表示装置４０は、映像信号入力部４１と、メイン処理部４２と、高解像度化部４３と、動画改善処理部４４と、表示処理部４５と、表示部４６と、音声処理部４７と、音声出力部４８とを備えている。

映像信号入力部４１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部４１１と、ＩＰＴＶ信号処理部４１２と、インターネット等のＩＰ網を介して送信されたデータを受信するインターネット信号処理部４１３と、アナログ信号の入力を受け付ける外部入力部４１４とを備えている。ここで「映像信号」とは、静止画像や動画像からなる映像信号の他、音声信号をも含む概念である。

デジタル放送受信部４１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ４１１１と、デジタル放送を選局するためのデジタルチューナ４１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部４２に出力するデジタル信号復調部４１１３とを有している。

ＩＰＴＶ信号処理部４１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部４２に出力する。

インターネット信号処理部４１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部４２に出力する。

外部入力部４１４は、アナログ放送を受信するためのアナログアンテナ４１４１と、アナログ放送を選局するためのアナログチューナ４１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部４２に出力する外部入力信号処理部４１４３とを有している。なお、外部入力信号処理部４１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤ（Digital Versatile Disc）プレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。

メイン処理部４２は、映像信号入力部４１から入力される映像信号から音声信号を分離し、この映像信号に所定の信号処理を施した後、高解像度化部４３に出力する。ここで、メイン処理部４２が施す信号処理としては、圧縮符号化された入力信号を復号化する復号化処理や、入力された映像信号のフォーマットを所定のフォーマットに変換するフォーマット変換処理等が挙げられる。

図１０は、高解像度化部４３の詳細構成を示したブロック図である。同図に示したように、高解像度化部４３は、ノイズ低減部４３１と、前処理部４３２と、超解像度変換処理部４３３と、後処理部４３４とを備えている。

ここで、ノイズ低減部４３１は、上述した第１、第２の実施形態に係るノイズ低減装置を適用した機能部であって、メイン処理部４２から入力された映像信号中のノイズ成分を除去し、前処理部４３２に出力する。

前処理部４３２は、ノイズ低減部４３１から入力される映像信号に対し、インターレース・プログレッシブ変換処理（以下、ＩＰ変換処理という）や、スケーリング等の画像処理を施し、超解像度変換処理部４３３に出力する。ここで、ＩＰ変換処理とは、映像信号に含まれた画像の動きを検出することで当該映像信号が静止画像と動画像かを判別し、静止画像と判別したときには静止画像用の補間処理を行い、動画像と判別したときには動画像用の補間処理を行うことを意味する。

超解像度変換処理部４３３は、前処理部４３２から入力される映像信号に対して、高解像度化するための画像処理（以下、超解像度変換処理という）を施すことで、ＨＤサイズ等の高解像度の映像信号を生成し、後処理部４３４に出力する。

ここで、超解像度変換処理とは、第１解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の映像信号を復元する画像処理を意味する。ここで「本来の画素値」とは、例えば、低解像度（第１解像度）の映像信号を得たときと同じ被写体を、高解像度（第２解像度）の映像信号の画素数を持つカメラで撮像したときに得られる映像信号の各画素が持つ値を指す。また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。

なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。

例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の低解像度の映像信号（低解像度フレーム）の夫々に対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。

また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、低解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像度変換処理部４３３は、このような処理を行うことにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。

また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。

ただし、超解像度変換処理部４３３における超解像度変換処理の手法は、上記に限定されるものではなく、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する処理であれば、あらゆる手法を適用することができる。

後処理部４３４は、超解像度変換処理部４３３から入力される映像信号にガンマ補正等の画質補正を施し、後段の動画改善処理部４４に出力する。

図９に戻り、動画改善処理部４４は、高解像度化部４３から入力される映像信号から中間フレームを生成することで、当該映像信号の１秒あたりのフレーム数を所定の値まで増加し、表示処理部４５に出力する。例えば、高解像度化部４３から入力された映像信号が、１秒あたり６０フレームであったとすると、動画改善処理部４４はこの６０フレームの各映像から中間フレームを生成することで、１秒あたり１２０フレームの映像信号を生成し、表示処理部４５に出力する。

表示処理部４５は、ディスプレイドライバ等であって、動画改善処理部４４から入力された映像信号の表示部４６への表示を制御する。また、表示部４６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等の表示デバイスであって、表示処理部４５の制御の下、映像信号に応じた画面を表示する。

音声処理部４７は、メイン処理部４２で分離された音声信号を、音声出力部４８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部４８に出力する。音声出力部４８は、スピーカ等であって、音声処理部４７から入力されるアナログ音声信号を音声出力する。

この画像表示装置４０でも、高解像度化部４３のノイズ低減部４３１、即ち、上述したノイズ低減装置１０又はノイズ低減装置３０において、映像信号からインパルス状ノイズ等のノイズ成分を除去することができる。特に、超解像度変換処理部４３３での処理に先がけて映像信号中のノイズ成分を除去する構成としているため、当該超解像度変換処理部４３３での鮮鋭化処理でノイズ成分が強調されてしまうことを防止することができる。これにより、映像画面で特に目立つインパルス状ノイズを確実に低減することができるとともに、他のノイズ成分についても低減することができるため、鮮明な映像を表示することが可能である。

以上、本発明の実施形態について説明したが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加等が可能である。

例えば、上記実施形態では、画像表示装置４０に上記各実施形態に係るノイズ低減回路を適用した例を説明したが、これに限らず、ＨＤＤレコーダやビデオカメラ等の他の映像装置に適用することとしてもよい。

第１の実施形態に係るノイズ低減回路の構成例を示したブロック図である。 図１に示した第１インパルスノイズ検出部の構成例を示した図である。 図２に示した矩形波除去部及び単独パルス検出部の動作の一例を示したタイミングチャートである。 図２に示した矩形波除去部による矩形波除去処理の手順の一例を示したフローチャートである。 図２に示した単独パルス検出部による単独パルス検出処理の手順の一例を示したフローチャートである。 動き量とノイズ低減効果の強度との関係の一例を示した図である。 動き量とノイズ低減効果の強度との関係の一例を示した図である。 第２の実施形態に係るノイズ低減装置の構成例を示したブロック図である。 第１、第２の実施形態に係るノイズ削減回路を適用した映像装置の構成例を示したブロック図である。 図９に示した高解像度化部の詳細構成を示したブロック図である。

符号の説明

１０…ノイズ低減装置、１１…フレーム遅延部、１２…第１インパルスノイズ検出部、１３…第２インパルスノイズ検出部、１４…第１ノイズ低減部、１５…動き検出部、１６…第２ノイズ低減部、１６１…記憶媒体、２１…矩形波除去部、２１１１…演算器、２１１２…ディレイ回路、２１１３…ディレイ回路、２１１４…加算器、２１１５…加算器、２１１６…判断部、２１１７…絶対値器、２１１８…絶対値器、２１１９…最小値選択部、２１２０…選択部、２１２１…加算器、２１２２…符号抽出部、２１２３…符号付加部、２２…単独パルス検出部、２２１１…ディレイ回路、２２１２…ディレイ回路、２２１３…加算器、２２１４…加算器、２２１５…絶対値器、２２１６…絶対値器、２２１７…最小値選択部、２２１８…絶対値器、２２１９…最小値選択部、２２２０…符号抽出部、２２２１…符号付加部、２２２２…リミッタ部、２３…グラフ、３０…ノイズ低減装置、３１…フレーム遅延部、３２…インパルスノイズ検出部、３３…第１ノイズ低減部、３４…動き検出部、３５…第２ノイズ低減部、４０…画像表示装置、４１…映像信号入力部、４２…メイン処理部、４３…高解像度化部、４３１…ノイズ低減部、４３２…前処理部、４３３…超解像度変換処理部、４３４…後処理部、４４…動画改善処理部、４５…表示処理部、４６…表示部、４７…音声処理部、４８…音声出力部

Claims (9)

1. 外部から入力されるフレーム単位の入力映像信号を１フレーム分遅延させ、フレーム遅延映像信号として出力するフレーム遅延手段と、
   前記入力映像信号に含まれたインパルス状のノイズ成分を検出する第１インパルスノイズ検出手段と、
   前記フレーム遅延映像信号に含まれたインパルス状のノイズ成分を検出する第２インパルスノイズ検出手段と、
   前記第１インパルスノイズ検出手段の検出結果に基づいて、前記入力映像信号から前記インパルス状のノイズ成分を低減した現フレーム映像信号を生成する第１インパルスノイズ低減手段と、
   前記第２インパルスノイズ検出手段の検出結果に基づいて、前記フレーム遅延映像信号から前記インパルス状のノイズ成分を低減した前フレーム映像信号を生成する第２インパルスノイズ低減手段と、
   前記現フレーム映像信号と前記前フレーム映像信号とから映像の動きを検出し、この動きの度合いを表した動き量を出力する動き検出手段と、
   前記現フレーム映像信号に対して、前記インパルス状のノイズ成分以外の他のノイズ成分を低減するためのノイズ低減処理を前記動き量に応じた強度で施し、ノイズ低減映像信号を生成するノイズ低減手段と、
   を備えたことを特徴とするノイズ低減装置。
2. 外部から入力されるフレーム単位の入力映像信号を１フレーム分遅延させ、フレーム遅延映像信号として出力するフレーム遅延手段と、
   前記入力映像信号に含まれたインパルス状のノイズ成分を検出するインパルスノイズ検出手段と、
   前記インパルスノイズ検出手段の検出結果に基づいて、前記入力映像信号から前記インパルス状のノイズ成分を低減した現フレーム映像信号を生成するインパルスノイズ低減手段と、
   前記現フレーム映像信号と前記フレーム遅延映像信号とから映像の動きを検出し、この動きの度合いを表した動き量を出力する動き検出手段と、
   前記現フレーム映像信号に対して、前記インパルス状のノイズ成分以外の他のノイズ成分を低減するためのノイズ低減処理を前記動き量に応じた強度で施し、ノイズ低減映像信号を生成するノイズ低減手段と、
   を備え、
   前記フレーム遅延手段は、前記ノイズ低減映像信号を前記フレーム遅延映像信号として出力することを特徴とするノイズ低減装置。
3. 前記ノイズ低減手段は、前記動き量が表す映像の状態が静状態に近いほど、前記ノイズ低減処理の強度を強くすることを特徴とする請求項１又は２に記載のノイズ低減装置。
4. 前記ノイズ低減手段は、前記動き量が大きいほど、前記ノイズ低減処理の強度を弱くすることを特徴とする請求項１又は２に記載のノイズ低減装置。
5. 前記ノイズ低減手段は、前記動き量に基づいて前記映像の状態が静状態か動状態かを判別し、各状態に応じた強度で前記ノイズ低減処理を施すことを特徴とする請求項１又は２に記載のノイズ低減装置。
6. 前記第１インパルスノイズ検出手段は、前記入力映像信号から前記フレーム遅延映像信号を減算したフレーム差分信号を生成し、このフレーム差分信号からインパルス状のノイズ成分を検出することを特徴とする請求項１に記載のノイズ低減装置。
7. 前記第２インパルスノイズ検出手段は、前記フレーム遅延映像信号から前記入力映像信号を減算したフレーム差分信号を生成し、このフレーム差分信号からインパルス状のノイズ成分を検出することを特徴とする請求項１に記載のノイズ低減装置。
8. 前記インパルスノイズ検出手段は、前記入力映像信号から前記フレーム遅延映像信号を減算したフレーム差分信号を生成し、このフレーム差分信号からインパルス状のノイズ成分を検出することを特徴とする請求項２に記載のノイズ低減装置。
9. フレーム遅延手段が、外部から入力されるフレーム単位の入力映像信号を１フレーム分遅延させ、フレーム遅延映像信号として出力するフレーム遅延工程と、
   第１インパルスノイズ検出手段が、前記入力映像信号に含まれたインパルス状のノイズ成分を検出する第１インパルスノイズ検出工程と、
   第２インパルスノイズ検出手段が、前記フレーム遅延映像信号に含まれたインパルス状のノイズ成分を検出する第２インパルスノイズ検出工程と、
   第１インパルスノイズ低減手段が、前記第１インパルスノイズ検出工程での検出結果に基づいて、前記入力映像信号から前記インパルス状のノイズ成分を低減した現フレーム映像信号を生成する第１インパルスノイズ低減工程と、
   第２インパルスノイズ低減手段が、前記第２インパルスノイズ検出工程での検出結果に基づいて、前記フレーム遅延映像信号から前記インパルス状のノイズ成分を低減した前フレーム映像信号を生成する第２インパルスノイズ低減工程と、
   動き検出手段が、前記現フレーム映像信号と前記前フレーム映像信号とから映像の動きを検出し、この動きの度合いを表した動き量を出力する動き検出工程と、
   第２ノイズ低減手段が、前記現フレーム映像信号に対して、前記インパルス状のノイズ成分以外の他のノイズ成分を低減するためのノイズ低減処理を前記動き量に応じた強度で施し、ノイズ低減映像信号を生成する第２ノイズ低減工程と、
   を含むノイズ低減方法。

Images