JP2007506348A - インバンド動き補償時間フィルタリングを利用したビデオノイズ除去アルゴリズム - Google Patents
インバンド動き補償時間フィルタリングを利用したビデオノイズ除去アルゴリズム Download PDFInfo
- Publication number
- JP2007506348A JP2007506348A JP2006526799A JP2006526799A JP2007506348A JP 2007506348 A JP2007506348 A JP 2007506348A JP 2006526799 A JP2006526799 A JP 2006526799A JP 2006526799 A JP2006526799 A JP 2006526799A JP 2007506348 A JP2007506348 A JP 2007506348A
- Authority
- JP
- Japan
- Prior art keywords
- low
- band
- wavelet
- video
- decomposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
ウェーブレット変換器(12)が、ビデオシーケンスの各フレームを2次元バンドに空間的に変換し、該2次元バンドが次いで時間方向に分解され空間−時間サブバンドを形成する、ビデオ信号をノイズ除去する方法。空間的な変換は、シフト不変の動き基準フレームを生成するため、低バンドシフト法の適用を含んでも良い。前記2次元バンドの分解は、各2次元バンドについて1つの、動き補償時間フィルタ(16)の利用を含んでも良い。付加的なノイズは次いで、例えば軟閾値法、硬閾値法及びウェーブレットウィナーフィルタのようなウェーブレットノイズ除去手法を利用して、各空間−時間サブバンドから除去される。
Description
本発明は、一般に、ビデオストリームからノイズを除去する(ノイズ除去)手法に関し、より詳細には、インバンド動き補償時間フィルタリング(inband motion-compensated temporal filtering、IBMCTF)を利用してビデオストリームをノイズ除去する手法に関する。
ビデオストリームは、ビデオの品質を劣化させるノイズの要因を常に含む。ビデオ信号及び他の信号からノイズを除去する一方法は、波変換(wave transformation)を利用することである。ウェーブレット変換(wavelet transformation)は、信号に含まれる情報の、異なるスケールの特性への分解を含む。信号がウェーブレットドメインに見出されると、該信号の表現は大きな係数により明確である一方で、不要な信号(ノイズ)はかなり小さな係数によって表現され、しばしばウェーブレット分解スケールの全てに亘って等しく分散させられる。
ノイズを所望の信号から分離し除去するため、ウェーブレットドメインにおいてウェーブレット閾値法を利用することが知られている。ウェーブレット閾値法の基本原理は、大部分にノイズを含む見込みが高い信号のウェーブレット係数を識別しゼロにすることで、最上位係数(most significant coefficient)を保護することである。最上位係数を保護することにより、ウェーブレット閾値法は、不連続性のような信号の重要なハイパス(high-pass)特性を保護する。この特性は、例えば画像の輪郭(edge)の鮮明さ(sharpness)を維持するための画像ノイズ除去に有用である。
ノイズ除去のためのウェーブレット閾値法は、その効果と単純さのため、広く研究されてきた。ウェーブレット閾値推定器が、静止画像のような区分的に滑らかな信号のための、ミニマックス最適リスクを略達成することが分かっている。
ウェーブレットノイズ除去手法は静止画像の場合に広く研究されてきたが、ビデオノイズ除去のための利用については、限られた量の研究しか為されていない。ディジタルビデオのためのノイズ削減は、従来のアナログ表現におけるよりも重要である。なぜなら、今日の消費者はディジタルのものに高い品質を期待するようになっているからである。
ビデオノイズ除去のための従来の手法は、3ステップの手法に基づく。即ち(1)空間的にノイズ除去された推定を得る、(2)時間的にノイズ除去された推定を得る、(3)これら2つの推定を組み合わせ、最終的なノイズ除去された推定を得る。空間的にノイズ除去された推定については、ウェーブレット閾値法及び/又は1以上のウェーブレットドメインウィナーフィルタ(wiener filter)手法が利用される。時間的にノイズ除去された推定については、カルマンフィルタ(Kalman filter)を利用する線形フィルタ手法が利用されても良い。2つの独立に得られるノイズ除去された推定が生成された後は、幾つかの組み合わせ方式が研究されている。
従来のビデオノイズ除去手法の欠点は、ノイズの分散が既知であることが仮定され、このことが実際の適用可能性を制限することである。
本発明の目的は、新たな改善されたビデオノイズ除去方法及び機器を提供することにある。
本発明の他の目的は、インバンド動き補償時間フィルタ(IBMCTF)を利用するビデオのノイズ除去のための新たな改善された手法及び機器を提供することにある。
これらの及び他の目的を達成するため、本発明によるビデオ信号をノイズ除去する方法は、2次元バンドにビデオシーケンスの各フレームを空間的に変換するステップと、例えばシフト不変の動き基準フレームを生成するために低バンドシフト法を適用することにより、空間−時間サブバンドを形成するため時間方向に前記2次元バンドを分解するステップと、各前記空間−時間サブバンドから付加的なノイズを除去するステップとを有する。2次元バンドの分解は、1以上の動き補償時間フィルタリング手法の利用を含んでも良い。各空間−時間サブバンドからの付加的なノイズの除去は、軟閾値法(soft-thresholding)、硬閾値法(hard-thresholding)及びウェーブレットウィナーフィルタのようなウェーブレットノイズ除去手法を利用することを伴っても良い。
幾つかの実施例において、シフト不変の動き基準フレームを生成するための低バンドシフト法の適用は、前記シフト不変の動き基準フレームを生成するために低バンドシフト法を適用するステップは、低−低サブバンドの全てのとり得るシフトについてのウェーブレット係数の完全なセットを生成するステップを有しても良く、更に任意に過完全ドメインにおける新たな座標が元の空間ドメインにおける関連するシフトに対応するように、前記ウェーブレット係数をインタリーブすることにより前記ウェーブレット係数を保存するステップを有しても良い。前記ウェーブレット係数は、各分解レベルにおいてインタリーブされても良い。
ノイズ除去アルゴリズムを適用する機器の例として、本発明によるビデオエンコーダは、圧縮されていないビデオフレームを該フレームのソースから受信し、前記フレームを、空間ドメインから、2次元バンドがウェーブレット係数のセットにより表されるウェーブレットドメインへと変換するウェーブレット変換器と、前記バンドをフレームのグループに分割するソフトウェア又はハードウェアと、それぞれが対応するバンドフレームのグループを受信し、前記バンドを時間フィルタリングして前記フレーム間の時間的な相関を除去する動き補償時間フィルタと、前記時間フィルタリングされたバンドをテキスチャコード化するソフトウェア又はハードウェアであって、該テクスチャコード化された時間フィルタリングされたバンドが、ビットストリームに組み合わせられるソフトウェア又はハードウェアと、を有する。
より詳細には、前記ウェーブレット変換器は、各フレームを複数の分解レベルに分解する。例えば、前記分解レベルの第1のものは、低−低(LL)バンド、低−高(LH)バンド、高−低(HL)バンド及び高−高(H−H)バンドを含んでも良く、一方前記分割レベルの第2のものは、前記LLバンドのLLLL(低−低,低−低)、LLLH(低−低,低−高)、LLHL(低−低,高−低)及びLLHH(低−低,高−高)サブバンドへの分解を含んでも良い。
前記分解は、ウェーブレット係数の完全なセットが、1以上の入力バンドの全てのとり得るシフトについて生成され、これにより空間ドメイン中のいずれのシフトもが正確に搬送される、低バンドシフト(low band shifting)法によるものであっても良い。この場合には、前記ウェーブレット変換器は、次に詳細なレベルのLLバンドのウェーブレット係数をシフトし、1つのレベルのウェーブレット分解を適用することにより、ウェーブレット係数の完全なセットを生成しても良い。前記分解の間に生成されたウェーブレット係数は次いで組み合わせられ、ウェーブレット係数の完全なセットが生成される。ノイズの除去を向上させるため、前記ウェーブレット変換器は、ウェーブレット係数の完全なセットを生成するために、前記分解の間に生成されたウェーブレット係数をインタリーブするように設計されても良い。
動き補償時間フィルタは、前記バンドをフィルタリングし、前記バンドのそれぞれについてハイパスフレーム及びローパスフレームを生成するように構成される。各動き補償時間フィルタは、少なくとも1つの動きベクトルを生成するための動き推定器と、前記動きベクトルを受信し、動き方向におけるフレームの群を該動きベクトルに基づいて時間フィルタリングする時間フィルタを含む。
本発明は、本発明の更なる目的及び利点と共に、添付する図と共に以下の説明を参照することにより最も良く理解されるであろう。ここで、同様の参照番号は同様の要素を示す。
以下に説明されるノイズ除去手法は、いずれのタイプのビデオ送信、受信及び処理システム並びに機器と共に利用されても良い。例としてのみの目的のため、本発明は、ストリーミングビデオ送信器、ストリーミングビデオ受信器及びデータネットワークを含むビデオ送信システムを参照しながら説明される。ストリーミングビデオ送信器は、ビデオ情報を、ストリーミングビデオ受信器にネットワークを介してストリーム送信する。ストリーミングビデオ送信器は、データネットワークサーバ、テレビ局送信器、ケーブルネットワーク又はデスクトップ型パーソナルコンピュータを含む、広い範囲のビデオフレームのソースのいずれかを含む。
一般に、ストリーミングビデオ送信器は、ビデオフレームソース、ビデオエンコーダ、エンコーダバッファ及びメモリを含む。ビデオフレームソースとは、テレビジョンのアンテナ及び受信ユニット、ビデオカセットプレーヤ、ビデオカメラ又は「未加工の(raw)」ビデオクリップを保存することが可能なディスク記憶装置のような、圧縮されていないビデオフレームのシーケンスを生成又は供給することが可能ないずれかの装置又は構造を表す。圧縮されていないビデオフレームは、所定のピクチャレート(又は「ストリーミングレート」)でビデオエンコーダに入力され、該ビデオエンコーダにより圧縮される。該ビデオエンコーダは次いで、圧縮されたビデオフレームをエンコーダバッファに送信する。ビデオエンコーダは好ましくは、以下に説明するようなノイズ除去アルゴリズムを利用する。
エンコーダバッファは、圧縮されたビデオフレームをビデオエンコーダから受信し、データネットワークによる送信に備えて該ビデオフレームをバッファリングする。エンコーダバッファとは、圧縮されたビデオフレームを保存するためのいずれかの適切なバッファを示す。ストリーミングビデオ受信器は、ストリーミングビデオ送信器によりデータネットワークを介してストリーム送信された圧縮されたビデオフレームを受信し、一般にデコーダバッファ、ビデオデコーダ、ビデオディスプレイ及びメモリを含む。用途に応じて、ストリーミングビデオ受信器とは、テレビジョン受信器、デスクトップ型パーソナルコンピュータ又はビデオカセットレコーダを含む、広い範囲のビデオフレーム受信器のいずれかを表すものであっても良い。デコーダバッファは、データネットワークによって受信された圧縮されたビデオフレームを保存し、次いで該圧縮されたビデオフレームを必要に応じてビデオデコーダに送信する。
ビデオデコーダは、ビデオエンコーダによって圧縮されたビデオフレームを伸張(decompress)し、次いで該伸張されたフレームを表示のためにビデオディスプレイに送信する。ビデオデコーダは好ましくは、以下に示すようなノイズ除去アルゴリズムを利用する。
ビデオエンコーダ及びデコーダは、標準的なMPEGエンコーダ又はデコーダのような、従来のデータプロセッサによって実行されるソフトウェアプログラムとして実装されても良い。この場合には、ビデオエンコーダ及びデコーダは、揮発性又は不揮発性記憶装置、及び固定磁気ディスク、着脱可能な磁気ディスク、CD、DVD、磁気テープ又はビデオディスクのような検索装置に保存された命令のような、コンピュータ実行可能な命令を含む。ビデオエンコーダ及びデコーダは、ハードウェア、ソフトウェア、ファームウェア又はこれらのいずれかの組み合わせで実装されても良い。
本発明が実装されることができるビデオエンコーダ及びデコーダについての付加的な詳細は、本発明人及びMihaela Banderscharによる、それぞれ「3-D Lifting Structure For Sub-Pixel Accuracy ...」及び「Video Coding Using Three Dimensional Lifting」と題された米国仮特許出願シリアル番号60/449696(2003年2月25日出願)及びシリアル番号60/482954(2003年6月27日出願)に記載されており、これらは参照により全体が本明細書に組み込まれたものとする。
本発明によるノイズ除去アルゴリズムは、図1を参照しながら説明される。図1は、本発明の一実施例によるビデオエンコーダ10を示す。ビデオエンコーダ10は、圧縮されていないビデオフレームを該ビデオフレームのソース(図示されていない)から受信し、該ビデオフレームを空間ドメインからウェーブレットドメインに変換する、ウェーブレット変換器12を含む。該変換は、ウェーブレットフィルタリングを利用してビデオフレームを複数の2次元バンド(バンド1乃至バンドN)に空間的に分解する。当該ビデオフレームについての各バンド1、2、・・・、Nは、ウェーブレット係数のセットにより表される。エンコーダ10について以下に説明される同様の手法が、デコーダに関する使用のためにも利用可能である。
ウェーブレット変換器12は、ビデオフレームを複数のビデオ又はウェーブレットバンドに分解するためのいずれかの適切な変換を利用する。幾つかの実施例において、フレームは、低−低(LL)バンド、低−高(LH)バンド、高−低(HL)バンド及び高−高(H−H)バンドを含む、第1の分解レベルに分解される。1以上のこれらのバンドは、例えばLLバンドが更にLLLL、LLLH、LLHL及びLLHHサブバンドへ更に分解される場合のように、付加的な分解レベルへと更に分解されても良い。
ウェーブレットバンド及び/又はサブバンドは、適切なソフトウェア及び/又はハードウェア14によって、フレームのグループ(Groups of frames、GOP)に分割され、次いで複数の動き補償時間フィルタ(MCTF)161、・・・、16Nに供給される。MCTF16は、ビデオバンドを時間フィルタリングし、フレーム間の時間的な相関を除去して、空間−時間サブバンドを形成する。例えば、MCTF16は、ビデオバンドをフィルタリングし、該ビデオバンドのそれぞれについてハイパス及びローパスフレームを生成しても良い。各MCTF16は、動き推定器18及び時間フィルタ20を含む。MCTF16中の動き推定器18は、1以上の動きベクトルを生成する。即ち、現在のビデオフレームと基準フレームとの間の動きの量を推定し、1以上の動きベクトル(MVと示される)を生成する。MCTF16中の時間フィルタ20は、当該情報を利用して、動き方向におけるビデオの群を時間フィルタリングする。時間フィルタリングされたフレームは、テクスチャ(texture)コーディング22に供給され、次いでビットストリームに組み合わせられる。
加えて、共にグルーピングされMCTF16によって処理されるフレームの数は、各バンド毎に適合的に決定されることができる。幾つかの実施例においては、低いバンドが共にグルーピングされた多くのフレームを持ち、高いバンドが共にグルーピングされた少ないフレームを持つ。このことは例えば、バンドにつき共にグルーピングされたフレームの数が、フレームのシーケンスの特性又は複雑さ若しくは弾性の要件に基づき変化することを可能とする。また、より高い空間周波数バンドは、長期的な時間フィルタリングからは省略されることができる。具体的な例として、LL、LH及びHL、並びにHHバンドは、それぞれ8個、4個及び2個のフレームのグループに配置されることができる。このことは、それぞれ3個、2個及び1個の最大分解レベルを可能とする。前記バンドのそれぞれについての時間分解レベルの数は、各バンドについてのフレームの内容、目標の歪基準、又は所望の時間スケーラビリティのレベルのような、いずれの適切な基準を利用して決定されても良い。他の具体的な例として、LL、LH及びHL、並びにHHバンドのそれぞれにおけるフレームは、8個のフレームのグループに配置されても良い。
図1から分かるように、ビデオコーダがビデオを処理する順序は、最初に、空間ドメインウェーブレット変換がウェーブレット変換器12により実行され、次いで時間フィルタ16によりMCTFが各ウェーブレットバンドについて適用される。このことは、空間ドメインのビデオデータにMCTFを適用し、次いでクリティカルサンプリングされた(critical-sampled)ウェーブレット変換を利用して結果の時間フィルタリングされたフレームをエンコードする、従来のインフレームウェーブレットビデオ手法とは異なる。
クリティカルサンプリングされたウェーブレット分解は周期的にシフト不変であるため、ウェーブレットドメインにおける動き推定及び補償は効率的でなく、コーディングの不利益が見られることは不利な点である。
ウェーブレットドメインにおける動き推定及び補償の非効率性及びこれに伴うコーディング効率の損失を回避するため、本発明によれば、好ましくは、シフト不変の動き基準フレームを生成するためにノイズ除去アルゴリズムが適用される(ビデオエンコーダ及びデコーダ両方において)場合には常に、低バンドシフト法(LBS)が利用される。加えて、以下により完全に議論されるように、低バンドシフト法と共にインタリーブアルゴリズムが利用される。
より詳細には、低バンドシフト(LBS)法においては、ウェーブレット変換器12は、入力ビデオフレームを処理し、1以上の入力バンドのとり得る全てのシフトについてウェーブレット係数の完全なセット、即ち過完全(overcomplete)ウェーブレット展開又は表現を生成する、低バンドシフト器を含むか、又は該シフト器として実装される。該過完全表現はかくして、空間ドメインにおけるいずれのシフトをも正確に搬送する。
低−低(LL)バンドについて低バンドシフト器により指定された元の画像30の過完全ウェーブレット展開の生成が、図2に示される。最初に、図2に示されるように、フレーム30は、LL、LH及びHL、並びにHHバンドを含む第1の分解レベルに分解され、これら分解レベルのそれぞれは、専用のMCTF16に供給されても良い。本例においては、特定の空間的位置における同一の分解レベルに対応する、種々のシフトされたウェーブレット係数は、「相互位相(cross-phase)ウェーブレット係数」と呼ばれる。
過完全ウェーブレット展開24の各フェーズは、次に詳細なレベルLLのウェーブレット係数をシフトし、1つのレベルのウェーブレット分解を適用することにより生成される。例えば、ウェーブレット係数32は、シフトのないLLバンドの係数を表す。ウェーブレット係数34は、(1,0)シフト即ち右への1つの位置のシフトの後のLLバンドの係数を表す。ウェーブレット係数36は、(0,1)シフト即ち1つの位置だけ下へのシフトの後のLLバンドの係数を表す。ウェーブレット係数38は、(1,1)シフト即ち右へ1つの位置の、及び1つの位置だけ下へのシフトの後のLLバンドの係数を表す。
ウェーブレット係数40は、シフトのないHLバンドの係数を表す。ウェーブレット係数42は、シフトのないLHバンドの係数を表す。ウェーブレット係数44は、シフトのないHHバンドの係数を表す。
1以上のこれらのバンドは、例えば図2に示すようにLLバンドが1以上のこれらのバンドがLLLL、LLLH、LLHL及びLLHHサブバンドを含む第2の分解レベルへ更に分解される場合のように、付加的な分解レベルへと更に分解されても良い。この場合には、ウェーブレット係数46がシフトのないLLLLバンドの係数を表し、ウェーブレット係数48がシフトのないLLHLバンドの係数を表し、ウェーブレット係数50がシフトのないLLLHバンドの係数を表し、ウェーブレット係数52がシフトのないLLHHバンドの係数を表す。
単一レベルの分解においては、図2におけるウェーブレット係数の4つのセットが、過完全なウェーブレット展開24を生成するために増大させられ又は組み合わせられる。しかしながら、低−低バンドの付加的な分解に鑑み、図2におけるウェーブレット係数の7個のセット40、42、44,46、48、50及び52が増大させられ又は組み合わせられ、過完全ウェーブレット展開24のシフトされていないウェーブレット係数を生成する。
図3は、(ウェーブレット係数の1次元のセットについて)過完全ウェーブレット展開24を生成するために、ウェーブレット係数がどのように増大させられ又は組み合わせられるかの例を示す。ウェーブレット係数の2つのセットの例54及び56がインタリーブされ、過完全ウェーブレット係数58のセットを生成する。過完全ウェーブレット係数58は、図2に示された過完全ウェーブレット展開24を表す。該インタリーブは、過完全ウェーブレット展開24における新たな座標が、元の空間ドメインにおける関連するシフトに対応するように実行される。該インタリーブ手法は、各分解レベルにおいて再帰的に利用されても良く、2次元の信号用に直接拡張されても良く。過完全ウェーブレット係数58を生成するためにインタリーブを使用することは、ビデオエンコーダ及びデコーダにおいて、より最適に近い又は最適なサブ画素精度動き推定及び補償を可能とし得る。なぜなら、隣接するウェーブレット係数の間の相互位相の依存性の考慮を可能とするからである。更に、インタリーブ手法は、階層的可変サイズブロックマッチング、逆動き補償及び適合的なブロック間の挿入のような、他のタイプの時間フィルタリング用に知られた、適合的な動き推定手法の利用を可能とする。
図3は、インタリーブされたウェーブレット係数の2つのセット54及び56を示すが、ウェーブレット係数の7つのセットのように、いずれの数の係数のセットが、過完全ウェーブレット係数58を形成するために共にインタリーブされても良い。
記憶装置の要件に関しては、入力ビデオフレームのnレベル分解について、過完全ウェーブレット表現は、元の画像よりも3n+1大きい記憶容量を必要とする。
図4Aは、従来のMCTFの3次元分解構造を示し、一方図4Bは、本発明によるIBMCTFのための3次元分解構造を示す。分解構造の解釈は、当業者には理解されるであろう。図4Aと図4Bとの比較によって分かるように、従来のMCTFの3次元分解構造(図4A)に比べて、本発明による分解構造(図4B)は分離不可能のように見え、それ故ビデオシーケンスの構造をより容易に捕捉することができる。このことは部分的には、時間分解の異なるレベルは、フレームを跨った時間依存性に依存して各空間サブバンドについて適用されることによる。該分離不可能な構造は、本発明によるノイズ除去の非常に重要な側面である。なぜなら、ノイズ分離のより優れた性能を達成するためには、周波数応答に依存するウェーブレット係数の適合的な処理が考慮に入れられるべきであるからである。
ここで図5A及び5Bを参照する。A及びBは、それぞれが前の及び現在のフレームを示す。それぞれa1乃至a12及びb1乃至b12が、これらのフレームの画素である。動き推定処理の結果として、例えば図5Aにおける画素a7及びa8のような、時間方向にフィルタリングされていない、接続されていない画素が常に存在する。接続されていない画素は、新たな情報を含まないカバーされていない領域に対応するため、ウェーブレット係数処理に基づくノイズ除去アルゴリズムは、接続されたウェーブレット係数(a1乃至a6及びa9乃至a12)に対してのみ適用されるべきである。同様に、接続されていない画素を除く時間Hバンドサブバンドの空間HHバンドから、ノイズの分散もまた推定されるべきである。
シフト不変ウェーブレット処理に基づく、より高度なノイズ除去手法が、IBMCTFに基づくノイズ除去アルゴリズムを利用して、同様に実装されても良い。
IBMCTFに基づく、1つの単純なノイズ除去アルゴリズムは、以下のように数式化することができる硬閾値法であっても良い。
ここで
は、i番目の分解レベルのj番目のサブバンドにおけるtフレームの(m,n)位置におけるノイズ除去されたウェーブレット係数を示す。Ai j(m,n,t)は元のウェーブレット係数を示し、Tはノイズの分散及びサブバンドのサイズから計算されることができる閾値を示す。例えばSURE閾値又はDonoho閾値が、ミニマックス最適閾値に近いものとして利用されることができる。ウェーブレットドメインウィナーフィルタ法については、ウェーブレット係数のノイズ除去された推定は、以下のように得られる。
ここでσ2は、ノイズの分散を示す。ベイズ(Bayesian)手法、MDL又はHMTモデルのような他のノイズ除去アルゴリズムが、IBMCTF分解からウェーブレット係数を処理するために利用されても良い。
本発明の実施例はここでは添付する図を参照しながら説明されたが、本発明はこれら実施例のみに限定されるものではなく、本発明の範囲又は精神から逸脱することなく、種々の他の変更及び修正が当業者によって実行されても良いことは理解されるべきである。
Claims (15)
- ビデオ信号をノイズ除去する方法であって、
2次元バンドにビデオシーケンスの各フレームを空間的に変換するステップと、
空間−時間サブバンドを形成するため時間方向に前記2次元バンドを分解するステップと、を有し、前記2次元サブバンドを分解するステップは、シフト不変の動き基準フレームを生成するために低バンドシフト法を適用するステップを有し、前記方法は更に、
各前記空間−時間サブバンドから付加的なノイズを除去するステップを有する方法。 - 前記2次元バンドを分解するステップは、各前記2次元バンドについて、動き補償時間フィルタリング手法を利用して前記2次元バンドを分解するステップを有する、請求項1に記載の方法。
- 各前記空間−時間サブバンドから付加的なノイズを除去するステップは、軟閾値法、硬閾値法及びウェーブレットウィナーフィルタから成る群から選択されたウェーブレットノイズ除去手法を利用するステップを有する、請求項1に記載の方法。
- 前記各フレームを空間的に変換するステップは、ウェーブレットフィルタリングを適用するステップを有する、請求項1に記載の方法。
- 前記シフト不変の動き基準フレームを生成するために低バンドシフト法を適用するステップは、低−低サブバンドの全てのとり得るシフトについてのウェーブレット係数の完全なセットを生成するステップを有する、請求項1に記載の方法。
- 過完全ドメインにおける新たな座標が元の空間ドメインにおける関連するシフトに対応するように、前記ウェーブレット係数をインタリーブすることにより前記ウェーブレット係数を保存するステップを更に有する、請求項5に記載の方法。
- 前記ウェーブレット係数は、各分解レベルにおいてインタリーブされる、請求項6に記載の方法。
- 圧縮されていないビデオフレームを該フレームのソースから受信し、前記フレームを、空間ドメインから、2次元バンドがウェーブレット係数のセットにより表されるウェーブレットドメインへと変換するウェーブレット変換器と、
前記バンドをフレームのグループに分割する手段と、
それぞれが前記バンドのうちの対応する1つのフレームのグループを受信し、前記バンドを時間フィルタリングして前記フレーム間の時間的な相関を除去する動き補償時間フィルタと、
前記時間フィルタリングされたバンドをテキスチャコード化する手段であって、該テクスチャコード化された時間フィルタリングされたバンドが、ビットストリームに組み合わせられる手段と、
を有するビデオエンコーダ。 - 前記ウェーブレット変換器は、前記フレームのそれぞれを複数の分解レベルに分解するように構成された、請求項8に記載のビデオエンコーダ。
- 前記分解レベルの第1のものは、低−低バンド、低−高バンド、高−低バンド及び高−高バンドを含み、前記分解レベルの第2のものは、前記低−低バンドの(低−低,低−低)、(低−低,低−高)、(低−低,高−低)及び(低−低,高−高)サブバンドへの分解を含む、請求項9に記載のビデオエンコーダ。
- 前記動き補償時間フィルタは、前記バンドをフィルタリングし、前記バンドのそれぞれについてハイパスフレーム及びローパスフレームを生成するように構成された、請求項8に記載のビデオエンコーダ。
- 前記動き補償時間フィルタは、少なくとも1つの動きベクトルを生成する動き推定器と、前記少なくとも1つの動きベクトルを受信し該動きベクトルに基づいて動き方向におけるフレームのグループを時間フィルタリングする時間フィルタとを含む、請求項8に記載のビデオエンコーダ。
- 前記ウェーブレット変換器は、ウェーブレット係数の完全なセットが、1以上の入力バンドのとり得る全てのシフトについて生成され、それにより空間ドメインにおけるいずれのシフトもが正確に搬送される、低バンドシフト法を適用するように構成された、請求項8に記載のビデオエンコーダ。
- 前記ウェーブレット変換器は、次に詳細なレベルの低−低バンドのウェーブレット係数をシフトし、1レベルのウェーブレット分解を適用することにより、前記ウェーブレット係数の完全なセットを生成するように構成され、前記分解の間に生成された前記ウェーブレット係数は次いで、前記ウェーブレット係数の完全なセットを生成するため組み合わせられる、請求項13に記載のビデオエンコーダ。
- 前記ウェーブレット変換器は、前記ウェーブレット係数の完全なセットを生成するため前記分解の間に生成されたウェーブレット係数をインタリーブするように構成された、請求項14に記載のビデオエンコーダ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US50523203P | 2003-09-23 | 2003-09-23 | |
PCT/IB2004/051813 WO2005029846A1 (en) | 2003-09-23 | 2004-09-21 | Video de -noising algorithm using inband motion-compensated temporal filtering |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007506348A true JP2007506348A (ja) | 2007-03-15 |
Family
ID=34375565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006526799A Withdrawn JP2007506348A (ja) | 2003-09-23 | 2004-09-21 | インバンド動き補償時間フィルタリングを利用したビデオノイズ除去アルゴリズム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20080123740A1 (ja) |
EP (1) | EP1668889A1 (ja) |
JP (1) | JP2007506348A (ja) |
KR (1) | KR20060076309A (ja) |
CN (1) | CN1856990A (ja) |
WO (1) | WO2005029846A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252911A (ja) * | 2007-03-29 | 2008-10-16 | Sony Corp | 画像ノイズ除去の方法及び装置 |
JP2010045711A (ja) * | 2008-08-18 | 2010-02-25 | Nippon Hoso Kyokai <Nhk> | 動画像雑音除去装置、その方法およびそのプログラム |
JP2010239296A (ja) * | 2009-03-30 | 2010-10-21 | Nippon Hoso Kyokai <Nhk> | 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004110068A1 (en) * | 2003-06-04 | 2004-12-16 | Koninklijke Philips Electronics N.V. | Subband-video decoding method and device |
EP1642463A1 (en) * | 2003-06-30 | 2006-04-05 | Koninklijke Philips Electronics N.V. | Video coding in an overcomplete wavelet domain |
US20070110162A1 (en) * | 2003-09-29 | 2007-05-17 | Turaga Deepak S | 3-D morphological operations with adaptive structuring elements for clustering of significant coefficients within an overcomplete wavelet video coding framework |
FR2886787A1 (fr) * | 2005-06-06 | 2006-12-08 | Thomson Licensing Sa | Procede et dispositif de codage et de decodage d'une sequence d'images |
EP2102805A1 (en) * | 2006-12-11 | 2009-09-23 | Cinnafilm, Inc. | Real-time film effects processing for digital video |
US8108211B2 (en) | 2007-03-29 | 2012-01-31 | Sony Corporation | Method of and apparatus for analyzing noise in a signal processing system |
US8031967B2 (en) * | 2007-06-19 | 2011-10-04 | Microsoft Corporation | Video noise reduction |
JP5052301B2 (ja) * | 2007-11-21 | 2012-10-17 | オリンパス株式会社 | 画像処理装置、画像処理方法 |
CN101453559B (zh) * | 2007-12-04 | 2010-12-08 | 瑞昱半导体股份有限公司 | 视频信号的噪声检测方法及装置 |
US8184705B2 (en) | 2008-06-25 | 2012-05-22 | Aptina Imaging Corporation | Method and apparatus for motion compensated filtering of video signals |
US8285068B2 (en) * | 2008-06-25 | 2012-10-09 | Cisco Technology, Inc. | Combined deblocking and denoising filter |
JP5333449B2 (ja) * | 2008-07-25 | 2013-11-06 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
US20100026897A1 (en) * | 2008-07-30 | 2010-02-04 | Cinnafilm, Inc. | Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution |
CN101662678B (zh) * | 2008-08-29 | 2011-08-24 | 华为技术有限公司 | 一种运动补偿时域滤波的方法和装置 |
US8619881B2 (en) * | 2009-06-05 | 2013-12-31 | Cisco Technology, Inc. | Estimation of temporal depth of 3D overlapped transforms in video denoising |
US8520731B2 (en) * | 2009-06-05 | 2013-08-27 | Cisco Technology, Inc. | Motion estimation for noisy frames based on block matching of filtered blocks |
US8638395B2 (en) | 2009-06-05 | 2014-01-28 | Cisco Technology, Inc. | Consolidating prior temporally-matched frames in 3D-based video denoising |
US8571117B2 (en) * | 2009-06-05 | 2013-10-29 | Cisco Technology, Inc. | Out of loop frame matching in 3D-based video denoising |
US8358380B2 (en) * | 2009-06-05 | 2013-01-22 | Cisco Technology, Inc. | Efficient spatial and temporal transform-based video preprocessing |
US8615044B2 (en) | 2009-06-05 | 2013-12-24 | Cisco Technology, Inc. | Adaptive thresholding of 3D transform coefficients for video denoising |
US9628674B2 (en) | 2010-06-02 | 2017-04-18 | Cisco Technology, Inc. | Staggered motion compensation for preprocessing video with overlapped 3D transforms |
US8472725B2 (en) | 2010-06-02 | 2013-06-25 | Cisco Technology, Inc. | Scene change detection and handling for preprocessing video with overlapped 3D transforms |
US9635308B2 (en) | 2010-06-02 | 2017-04-25 | Cisco Technology, Inc. | Preprocessing of interlaced video with overlapped 3D transforms |
US9036695B2 (en) | 2010-11-02 | 2015-05-19 | Sharp Laboratories Of America, Inc. | Motion-compensated temporal filtering based on variable filter parameters |
US20120128076A1 (en) * | 2010-11-23 | 2012-05-24 | Sony Corporation | Apparatus and method for reducing blocking artifacts |
US8976298B2 (en) * | 2013-04-05 | 2015-03-10 | Altera Corporation | Efficient 2D adaptive noise thresholding for video processing |
CN104346516B (zh) * | 2013-08-09 | 2017-06-23 | 中国科学院沈阳自动化研究所 | 激光诱导击穿光谱的小波降噪的最佳分解层数选择方法 |
TWI632525B (zh) | 2016-03-01 | 2018-08-11 | 瑞昱半導體股份有限公司 | 影像去雜訊方法及其裝置 |
US9832351B1 (en) | 2016-09-09 | 2017-11-28 | Cisco Technology, Inc. | Reduced complexity video filtering using stepped overlapped transforms |
EP3503016B1 (en) * | 2017-12-19 | 2021-12-22 | Nokia Technologies Oy | Apparatus, method and computer program for processing a piecewise-smooth signal |
US10672098B1 (en) * | 2018-04-05 | 2020-06-02 | Xilinx, Inc. | Synchronizing access to buffered data in a shared buffer |
US11989637B2 (en) * | 2019-04-30 | 2024-05-21 | Samsung Electronics Co., Ltd. | System and method for invertible wavelet layer for neural networks |
CN113709324A (zh) * | 2020-05-21 | 2021-11-26 | 武汉Tcl集团工业研究院有限公司 | 一种视频降噪方法、视频降噪装置及视频降噪终端 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5600731A (en) * | 1991-05-09 | 1997-02-04 | Eastman Kodak Company | Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation |
WO1997016027A2 (en) * | 1995-10-24 | 1997-05-01 | Line Imaging Systems L.L.C. | Ultrasound video subband coding system and method |
JP3674158B2 (ja) * | 1996-07-01 | 2005-07-20 | ソニー株式会社 | 画像符号化方法及び画像復号装置 |
EP1277347A1 (en) * | 2000-04-11 | 2003-01-22 | Koninklijke Philips Electronics N.V. | Video encoding and decoding method |
KR20030014705A (ko) * | 2001-04-10 | 2003-02-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 프레임들의 시퀀스를 인코딩하는 방법 |
US7127117B2 (en) * | 2001-06-11 | 2006-10-24 | Ricoh Company, Ltd. | Image compression method and apparatus for suppressing quantization rate in particular region, image expansion method and apparatus therefor, and computer-readable storage medium storing program for the compression or expansion |
US7206459B2 (en) * | 2001-07-31 | 2007-04-17 | Ricoh Co., Ltd. | Enhancement of compressed images |
EP1554887A1 (en) * | 2002-10-16 | 2005-07-20 | Koninklijke Philips Electronics N.V. | Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering |
-
2004
- 2004-09-21 EP EP04770048A patent/EP1668889A1/en not_active Withdrawn
- 2004-09-21 CN CNA2004800273802A patent/CN1856990A/zh active Pending
- 2004-09-21 WO PCT/IB2004/051813 patent/WO2005029846A1/en not_active Application Discontinuation
- 2004-09-21 US US10/573,085 patent/US20080123740A1/en not_active Abandoned
- 2004-09-21 JP JP2006526799A patent/JP2007506348A/ja not_active Withdrawn
- 2004-09-21 KR KR1020067005729A patent/KR20060076309A/ko not_active Application Discontinuation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252911A (ja) * | 2007-03-29 | 2008-10-16 | Sony Corp | 画像ノイズ除去の方法及び装置 |
JP2010045711A (ja) * | 2008-08-18 | 2010-02-25 | Nippon Hoso Kyokai <Nhk> | 動画像雑音除去装置、その方法およびそのプログラム |
JP2010239296A (ja) * | 2009-03-30 | 2010-10-21 | Nippon Hoso Kyokai <Nhk> | 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2005029846A1 (en) | 2005-03-31 |
US20080123740A1 (en) | 2008-05-29 |
KR20060076309A (ko) | 2006-07-04 |
EP1668889A1 (en) | 2006-06-14 |
CN1856990A (zh) | 2006-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007506348A (ja) | インバンド動き補償時間フィルタリングを利用したビデオノイズ除去アルゴリズム | |
KR100664928B1 (ko) | 비디오 코딩 방법 및 장치 | |
US20060008000A1 (en) | Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering | |
US7023923B2 (en) | Motion compensated temporal filtering based on multiple reference frames for wavelet based coding | |
US7042946B2 (en) | Wavelet based coding using motion compensated filtering based on both single and multiple reference frames | |
US20030202599A1 (en) | Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames | |
US20060146937A1 (en) | Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions | |
JP2008289132A (ja) | データセットを変換係数に変換する方法 | |
US20060159173A1 (en) | Video coding in an overcomplete wavelet domain | |
Baligar et al. | Low complexity, and high fidelity image compression using fixed threshold method | |
KR20040106418A (ko) | 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링 | |
KR20050049517A (ko) | 웨이블릿 기반의 부호화에서 운동 보상된 시간적 필터링을위한 필터링된 영역과 비필터링된 영역 모두를 갖는엘-프레임 | |
US20070110162A1 (en) | 3-D morphological operations with adaptive structuring elements for clustering of significant coefficients within an overcomplete wavelet video coding framework | |
Boettcher et al. | Video coding using a complex wavelet transform and set partitioning | |
Nor et al. | Wavelet-based video compression: A glimpse of the future? | |
Rohit | Investigation of Some Image and Video Coding Techniques | |
Domański et al. | 3-D subband coding of video using recursive filter banks | |
Saranya et al. | IMAGE DENOISING BY SOFT SHRINKAGE IN ADAPTIVE DUAL TREE DISCRETE WAVELET PACKET DOMAIN | |
WO2006080665A1 (en) | Video coding method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071204 |