JP2007506348A - インバンド動き補償時間フィルタリングを利用したビデオノイズ除去アルゴリズム - Google Patents

Abstract

ウェーブレット変換器（１２）が、ビデオシーケンスの各フレームを２次元バンドに空間的に変換し、該２次元バンドが次いで時間方向に分解され空間−時間サブバンドを形成する、ビデオ信号をノイズ除去する方法。空間的な変換は、シフト不変の動き基準フレームを生成するため、低バンドシフト法の適用を含んでも良い。前記２次元バンドの分解は、各２次元バンドについて１つの、動き補償時間フィルタ（１６）の利用を含んでも良い。付加的なノイズは次いで、例えば軟閾値法、硬閾値法及びウェーブレットウィナーフィルタのようなウェーブレットノイズ除去手法を利用して、各空間−時間サブバンドから除去される。

Description

本発明は、一般に、ビデオストリームからノイズを除去する（ノイズ除去）手法に関し、より詳細には、インバンド動き補償時間フィルタリング（inband motion-compensated temporal filtering、ＩＢＭＣＴＦ）を利用してビデオストリームをノイズ除去する手法に関する。

ビデオストリームは、ビデオの品質を劣化させるノイズの要因を常に含む。ビデオ信号及び他の信号からノイズを除去する一方法は、波変換（wave transformation）を利用することである。ウェーブレット変換（wavelet transformation）は、信号に含まれる情報の、異なるスケールの特性への分解を含む。信号がウェーブレットドメインに見出されると、該信号の表現は大きな係数により明確である一方で、不要な信号（ノイズ）はかなり小さな係数によって表現され、しばしばウェーブレット分解スケールの全てに亘って等しく分散させられる。

ノイズを所望の信号から分離し除去するため、ウェーブレットドメインにおいてウェーブレット閾値法を利用することが知られている。ウェーブレット閾値法の基本原理は、大部分にノイズを含む見込みが高い信号のウェーブレット係数を識別しゼロにすることで、最上位係数（most significant coefficient）を保護することである。最上位係数を保護することにより、ウェーブレット閾値法は、不連続性のような信号の重要なハイパス（high-pass）特性を保護する。この特性は、例えば画像の輪郭（edge）の鮮明さ（sharpness）を維持するための画像ノイズ除去に有用である。

ノイズ除去のためのウェーブレット閾値法は、その効果と単純さのため、広く研究されてきた。ウェーブレット閾値推定器が、静止画像のような区分的に滑らかな信号のための、ミニマックス最適リスクを略達成することが分かっている。

ウェーブレットノイズ除去手法は静止画像の場合に広く研究されてきたが、ビデオノイズ除去のための利用については、限られた量の研究しか為されていない。ディジタルビデオのためのノイズ削減は、従来のアナログ表現におけるよりも重要である。なぜなら、今日の消費者はディジタルのものに高い品質を期待するようになっているからである。

ビデオノイズ除去のための従来の手法は、３ステップの手法に基づく。即ち（１）空間的にノイズ除去された推定を得る、（２）時間的にノイズ除去された推定を得る、（３）これら２つの推定を組み合わせ、最終的なノイズ除去された推定を得る。空間的にノイズ除去された推定については、ウェーブレット閾値法及び／又は１以上のウェーブレットドメインウィナーフィルタ（wiener filter）手法が利用される。時間的にノイズ除去された推定については、カルマンフィルタ（Kalman filter）を利用する線形フィルタ手法が利用されても良い。２つの独立に得られるノイズ除去された推定が生成された後は、幾つかの組み合わせ方式が研究されている。

従来のビデオノイズ除去手法の欠点は、ノイズの分散が既知であることが仮定され、このことが実際の適用可能性を制限することである。

本発明の目的は、新たな改善されたビデオノイズ除去方法及び機器を提供することにある。

本発明の他の目的は、インバンド動き補償時間フィルタ（ＩＢＭＣＴＦ）を利用するビデオのノイズ除去のための新たな改善された手法及び機器を提供することにある。

これらの及び他の目的を達成するため、本発明によるビデオ信号をノイズ除去する方法は、２次元バンドにビデオシーケンスの各フレームを空間的に変換するステップと、例えばシフト不変の動き基準フレームを生成するために低バンドシフト法を適用することにより、空間−時間サブバンドを形成するため時間方向に前記２次元バンドを分解するステップと、各前記空間−時間サブバンドから付加的なノイズを除去するステップとを有する。２次元バンドの分解は、１以上の動き補償時間フィルタリング手法の利用を含んでも良い。各空間−時間サブバンドからの付加的なノイズの除去は、軟閾値法（soft-thresholding）、硬閾値法（hard-thresholding）及びウェーブレットウィナーフィルタのようなウェーブレットノイズ除去手法を利用することを伴っても良い。

幾つかの実施例において、シフト不変の動き基準フレームを生成するための低バンドシフト法の適用は、前記シフト不変の動き基準フレームを生成するために低バンドシフト法を適用するステップは、低−低サブバンドの全てのとり得るシフトについてのウェーブレット係数の完全なセットを生成するステップを有しても良く、更に任意に過完全ドメインにおける新たな座標が元の空間ドメインにおける関連するシフトに対応するように、前記ウェーブレット係数をインタリーブすることにより前記ウェーブレット係数を保存するステップを有しても良い。前記ウェーブレット係数は、各分解レベルにおいてインタリーブされても良い。

ノイズ除去アルゴリズムを適用する機器の例として、本発明によるビデオエンコーダは、圧縮されていないビデオフレームを該フレームのソースから受信し、前記フレームを、空間ドメインから、２次元バンドがウェーブレット係数のセットにより表されるウェーブレットドメインへと変換するウェーブレット変換器と、前記バンドをフレームのグループに分割するソフトウェア又はハードウェアと、それぞれが対応するバンドフレームのグループを受信し、前記バンドを時間フィルタリングして前記フレーム間の時間的な相関を除去する動き補償時間フィルタと、前記時間フィルタリングされたバンドをテキスチャコード化するソフトウェア又はハードウェアであって、該テクスチャコード化された時間フィルタリングされたバンドが、ビットストリームに組み合わせられるソフトウェア又はハードウェアと、を有する。

より詳細には、前記ウェーブレット変換器は、各フレームを複数の分解レベルに分解する。例えば、前記分解レベルの第１のものは、低−低（ＬＬ）バンド、低−高（ＬＨ）バンド、高−低（ＨＬ）バンド及び高−高（Ｈ−Ｈ）バンドを含んでも良く、一方前記分割レベルの第２のものは、前記ＬＬバンドのＬＬＬＬ（低−低，低−低）、ＬＬＬＨ（低−低，低−高）、ＬＬＨＬ（低−低，高−低）及びＬＬＨＨ（低−低，高−高）サブバンドへの分解を含んでも良い。

前記分解は、ウェーブレット係数の完全なセットが、１以上の入力バンドの全てのとり得るシフトについて生成され、これにより空間ドメイン中のいずれのシフトもが正確に搬送される、低バンドシフト（low band shifting）法によるものであっても良い。この場合には、前記ウェーブレット変換器は、次に詳細なレベルのＬＬバンドのウェーブレット係数をシフトし、１つのレベルのウェーブレット分解を適用することにより、ウェーブレット係数の完全なセットを生成しても良い。前記分解の間に生成されたウェーブレット係数は次いで組み合わせられ、ウェーブレット係数の完全なセットが生成される。ノイズの除去を向上させるため、前記ウェーブレット変換器は、ウェーブレット係数の完全なセットを生成するために、前記分解の間に生成されたウェーブレット係数をインタリーブするように設計されても良い。

動き補償時間フィルタは、前記バンドをフィルタリングし、前記バンドのそれぞれについてハイパスフレーム及びローパスフレームを生成するように構成される。各動き補償時間フィルタは、少なくとも１つの動きベクトルを生成するための動き推定器と、前記動きベクトルを受信し、動き方向におけるフレームの群を該動きベクトルに基づいて時間フィルタリングする時間フィルタを含む。

本発明は、本発明の更なる目的及び利点と共に、添付する図と共に以下の説明を参照することにより最も良く理解されるであろう。ここで、同様の参照番号は同様の要素を示す。

以下に説明されるノイズ除去手法は、いずれのタイプのビデオ送信、受信及び処理システム並びに機器と共に利用されても良い。例としてのみの目的のため、本発明は、ストリーミングビデオ送信器、ストリーミングビデオ受信器及びデータネットワークを含むビデオ送信システムを参照しながら説明される。ストリーミングビデオ送信器は、ビデオ情報を、ストリーミングビデオ受信器にネットワークを介してストリーム送信する。ストリーミングビデオ送信器は、データネットワークサーバ、テレビ局送信器、ケーブルネットワーク又はデスクトップ型パーソナルコンピュータを含む、広い範囲のビデオフレームのソースのいずれかを含む。

一般に、ストリーミングビデオ送信器は、ビデオフレームソース、ビデオエンコーダ、エンコーダバッファ及びメモリを含む。ビデオフレームソースとは、テレビジョンのアンテナ及び受信ユニット、ビデオカセットプレーヤ、ビデオカメラ又は「未加工の（raw）」ビデオクリップを保存することが可能なディスク記憶装置のような、圧縮されていないビデオフレームのシーケンスを生成又は供給することが可能ないずれかの装置又は構造を表す。圧縮されていないビデオフレームは、所定のピクチャレート（又は「ストリーミングレート」）でビデオエンコーダに入力され、該ビデオエンコーダにより圧縮される。該ビデオエンコーダは次いで、圧縮されたビデオフレームをエンコーダバッファに送信する。ビデオエンコーダは好ましくは、以下に説明するようなノイズ除去アルゴリズムを利用する。

エンコーダバッファは、圧縮されたビデオフレームをビデオエンコーダから受信し、データネットワークによる送信に備えて該ビデオフレームをバッファリングする。エンコーダバッファとは、圧縮されたビデオフレームを保存するためのいずれかの適切なバッファを示す。ストリーミングビデオ受信器は、ストリーミングビデオ送信器によりデータネットワークを介してストリーム送信された圧縮されたビデオフレームを受信し、一般にデコーダバッファ、ビデオデコーダ、ビデオディスプレイ及びメモリを含む。用途に応じて、ストリーミングビデオ受信器とは、テレビジョン受信器、デスクトップ型パーソナルコンピュータ又はビデオカセットレコーダを含む、広い範囲のビデオフレーム受信器のいずれかを表すものであっても良い。デコーダバッファは、データネットワークによって受信された圧縮されたビデオフレームを保存し、次いで該圧縮されたビデオフレームを必要に応じてビデオデコーダに送信する。

ビデオデコーダは、ビデオエンコーダによって圧縮されたビデオフレームを伸張（decompress）し、次いで該伸張されたフレームを表示のためにビデオディスプレイに送信する。ビデオデコーダは好ましくは、以下に示すようなノイズ除去アルゴリズムを利用する。

ビデオエンコーダ及びデコーダは、標準的なＭＰＥＧエンコーダ又はデコーダのような、従来のデータプロセッサによって実行されるソフトウェアプログラムとして実装されても良い。この場合には、ビデオエンコーダ及びデコーダは、揮発性又は不揮発性記憶装置、及び固定磁気ディスク、着脱可能な磁気ディスク、ＣＤ、ＤＶＤ、磁気テープ又はビデオディスクのような検索装置に保存された命令のような、コンピュータ実行可能な命令を含む。ビデオエンコーダ及びデコーダは、ハードウェア、ソフトウェア、ファームウェア又はこれらのいずれかの組み合わせで実装されても良い。

本発明が実装されることができるビデオエンコーダ及びデコーダについての付加的な詳細は、本発明人及びMihaela Banderscharによる、それぞれ「3-D Lifting Structure For Sub-Pixel Accuracy ...」及び「Video Coding Using Three Dimensional Lifting」と題された米国仮特許出願シリアル番号６０／４４９６９６（２００３年２月２５日出願）及びシリアル番号６０／４８２９５４（２００３年６月２７日出願）に記載されており、これらは参照により全体が本明細書に組み込まれたものとする。

本発明によるノイズ除去アルゴリズムは、図１を参照しながら説明される。図１は、本発明の一実施例によるビデオエンコーダ１０を示す。ビデオエンコーダ１０は、圧縮されていないビデオフレームを該ビデオフレームのソース（図示されていない）から受信し、該ビデオフレームを空間ドメインからウェーブレットドメインに変換する、ウェーブレット変換器１２を含む。該変換は、ウェーブレットフィルタリングを利用してビデオフレームを複数の２次元バンド（バンド１乃至バンドＮ）に空間的に分解する。当該ビデオフレームについての各バンド１、２、・・・、Ｎは、ウェーブレット係数のセットにより表される。エンコーダ１０について以下に説明される同様の手法が、デコーダに関する使用のためにも利用可能である。

ウェーブレット変換器１２は、ビデオフレームを複数のビデオ又はウェーブレットバンドに分解するためのいずれかの適切な変換を利用する。幾つかの実施例において、フレームは、低−低（ＬＬ）バンド、低−高（ＬＨ）バンド、高−低（ＨＬ）バンド及び高−高（Ｈ−Ｈ）バンドを含む、第１の分解レベルに分解される。１以上のこれらのバンドは、例えばＬＬバンドが更にＬＬＬＬ、ＬＬＬＨ、ＬＬＨＬ及びＬＬＨＨサブバンドへ更に分解される場合のように、付加的な分解レベルへと更に分解されても良い。

ウェーブレットバンド及び／又はサブバンドは、適切なソフトウェア及び／又はハードウェア１４によって、フレームのグループ（Groups of frames、ＧＯＰ）に分割され、次いで複数の動き補償時間フィルタ（ＭＣＴＦ）１６_１、・・・、１６_Ｎに供給される。ＭＣＴＦ１６は、ビデオバンドを時間フィルタリングし、フレーム間の時間的な相関を除去して、空間−時間サブバンドを形成する。例えば、ＭＣＴＦ１６は、ビデオバンドをフィルタリングし、該ビデオバンドのそれぞれについてハイパス及びローパスフレームを生成しても良い。各ＭＣＴＦ１６は、動き推定器１８及び時間フィルタ２０を含む。ＭＣＴＦ１６中の動き推定器１８は、１以上の動きベクトルを生成する。即ち、現在のビデオフレームと基準フレームとの間の動きの量を推定し、１以上の動きベクトル（ＭＶと示される）を生成する。ＭＣＴＦ１６中の時間フィルタ２０は、当該情報を利用して、動き方向におけるビデオの群を時間フィルタリングする。時間フィルタリングされたフレームは、テクスチャ（texture）コーディング２２に供給され、次いでビットストリームに組み合わせられる。

加えて、共にグルーピングされＭＣＴＦ１６によって処理されるフレームの数は、各バンド毎に適合的に決定されることができる。幾つかの実施例においては、低いバンドが共にグルーピングされた多くのフレームを持ち、高いバンドが共にグルーピングされた少ないフレームを持つ。このことは例えば、バンドにつき共にグルーピングされたフレームの数が、フレームのシーケンスの特性又は複雑さ若しくは弾性の要件に基づき変化することを可能とする。また、より高い空間周波数バンドは、長期的な時間フィルタリングからは省略されることができる。具体的な例として、ＬＬ、ＬＨ及びＨＬ、並びにＨＨバンドは、それぞれ８個、４個及び２個のフレームのグループに配置されることができる。このことは、それぞれ３個、２個及び１個の最大分解レベルを可能とする。前記バンドのそれぞれについての時間分解レベルの数は、各バンドについてのフレームの内容、目標の歪基準、又は所望の時間スケーラビリティのレベルのような、いずれの適切な基準を利用して決定されても良い。他の具体的な例として、ＬＬ、ＬＨ及びＨＬ、並びにＨＨバンドのそれぞれにおけるフレームは、８個のフレームのグループに配置されても良い。

図１から分かるように、ビデオコーダがビデオを処理する順序は、最初に、空間ドメインウェーブレット変換がウェーブレット変換器１２により実行され、次いで時間フィルタ１６によりＭＣＴＦが各ウェーブレットバンドについて適用される。このことは、空間ドメインのビデオデータにＭＣＴＦを適用し、次いでクリティカルサンプリングされた（critical-sampled）ウェーブレット変換を利用して結果の時間フィルタリングされたフレームをエンコードする、従来のインフレームウェーブレットビデオ手法とは異なる。

クリティカルサンプリングされたウェーブレット分解は周期的にシフト不変であるため、ウェーブレットドメインにおける動き推定及び補償は効率的でなく、コーディングの不利益が見られることは不利な点である。

ウェーブレットドメインにおける動き推定及び補償の非効率性及びこれに伴うコーディング効率の損失を回避するため、本発明によれば、好ましくは、シフト不変の動き基準フレームを生成するためにノイズ除去アルゴリズムが適用される（ビデオエンコーダ及びデコーダ両方において）場合には常に、低バンドシフト法（ＬＢＳ）が利用される。加えて、以下により完全に議論されるように、低バンドシフト法と共にインタリーブアルゴリズムが利用される。

より詳細には、低バンドシフト（ＬＢＳ）法においては、ウェーブレット変換器１２は、入力ビデオフレームを処理し、１以上の入力バンドのとり得る全てのシフトについてウェーブレット係数の完全なセット、即ち過完全（overcomplete）ウェーブレット展開又は表現を生成する、低バンドシフト器を含むか、又は該シフト器として実装される。該過完全表現はかくして、空間ドメインにおけるいずれのシフトをも正確に搬送する。

低−低（ＬＬ）バンドについて低バンドシフト器により指定された元の画像３０の過完全ウェーブレット展開の生成が、図２に示される。最初に、図２に示されるように、フレーム３０は、ＬＬ、ＬＨ及びＨＬ、並びにＨＨバンドを含む第１の分解レベルに分解され、これら分解レベルのそれぞれは、専用のＭＣＴＦ１６に供給されても良い。本例においては、特定の空間的位置における同一の分解レベルに対応する、種々のシフトされたウェーブレット係数は、「相互位相（cross-phase）ウェーブレット係数」と呼ばれる。

過完全ウェーブレット展開２４の各フェーズは、次に詳細なレベルＬＬのウェーブレット係数をシフトし、１つのレベルのウェーブレット分解を適用することにより生成される。例えば、ウェーブレット係数３２は、シフトのないＬＬバンドの係数を表す。ウェーブレット係数３４は、（１，０）シフト即ち右への１つの位置のシフトの後のＬＬバンドの係数を表す。ウェーブレット係数３６は、（０，１）シフト即ち１つの位置だけ下へのシフトの後のＬＬバンドの係数を表す。ウェーブレット係数３８は、（１，１）シフト即ち右へ１つの位置の、及び１つの位置だけ下へのシフトの後のＬＬバンドの係数を表す。

ウェーブレット係数４０は、シフトのないＨＬバンドの係数を表す。ウェーブレット係数４２は、シフトのないＬＨバンドの係数を表す。ウェーブレット係数４４は、シフトのないＨＨバンドの係数を表す。

１以上のこれらのバンドは、例えば図２に示すようにＬＬバンドが１以上のこれらのバンドがＬＬＬＬ、ＬＬＬＨ、ＬＬＨＬ及びＬＬＨＨサブバンドを含む第２の分解レベルへ更に分解される場合のように、付加的な分解レベルへと更に分解されても良い。この場合には、ウェーブレット係数４６がシフトのないＬＬＬＬバンドの係数を表し、ウェーブレット係数４８がシフトのないＬＬＨＬバンドの係数を表し、ウェーブレット係数５０がシフトのないＬＬＬＨバンドの係数を表し、ウェーブレット係数５２がシフトのないＬＬＨＨバンドの係数を表す。

単一レベルの分解においては、図２におけるウェーブレット係数の４つのセットが、過完全なウェーブレット展開２４を生成するために増大させられ又は組み合わせられる。しかしながら、低−低バンドの付加的な分解に鑑み、図２におけるウェーブレット係数の７個のセット４０、４２、４４，４６、４８、５０及び５２が増大させられ又は組み合わせられ、過完全ウェーブレット展開２４のシフトされていないウェーブレット係数を生成する。

図３は、（ウェーブレット係数の１次元のセットについて）過完全ウェーブレット展開２４を生成するために、ウェーブレット係数がどのように増大させられ又は組み合わせられるかの例を示す。ウェーブレット係数の２つのセットの例５４及び５６がインタリーブされ、過完全ウェーブレット係数５８のセットを生成する。過完全ウェーブレット係数５８は、図２に示された過完全ウェーブレット展開２４を表す。該インタリーブは、過完全ウェーブレット展開２４における新たな座標が、元の空間ドメインにおける関連するシフトに対応するように実行される。該インタリーブ手法は、各分解レベルにおいて再帰的に利用されても良く、２次元の信号用に直接拡張されても良く。過完全ウェーブレット係数５８を生成するためにインタリーブを使用することは、ビデオエンコーダ及びデコーダにおいて、より最適に近い又は最適なサブ画素精度動き推定及び補償を可能とし得る。なぜなら、隣接するウェーブレット係数の間の相互位相の依存性の考慮を可能とするからである。更に、インタリーブ手法は、階層的可変サイズブロックマッチング、逆動き補償及び適合的なブロック間の挿入のような、他のタイプの時間フィルタリング用に知られた、適合的な動き推定手法の利用を可能とする。

図３は、インタリーブされたウェーブレット係数の２つのセット５４及び５６を示すが、ウェーブレット係数の７つのセットのように、いずれの数の係数のセットが、過完全ウェーブレット係数５８を形成するために共にインタリーブされても良い。

記憶装置の要件に関しては、入力ビデオフレームのｎレベル分解について、過完全ウェーブレット表現は、元の画像よりも３ｎ＋１大きい記憶容量を必要とする。

図４Ａは、従来のＭＣＴＦの３次元分解構造を示し、一方図４Ｂは、本発明によるＩＢＭＣＴＦのための３次元分解構造を示す。分解構造の解釈は、当業者には理解されるであろう。図４Ａと図４Ｂとの比較によって分かるように、従来のＭＣＴＦの３次元分解構造（図４Ａ）に比べて、本発明による分解構造（図４Ｂ）は分離不可能のように見え、それ故ビデオシーケンスの構造をより容易に捕捉することができる。このことは部分的には、時間分解の異なるレベルは、フレームを跨った時間依存性に依存して各空間サブバンドについて適用されることによる。該分離不可能な構造は、本発明によるノイズ除去の非常に重要な側面である。なぜなら、ノイズ分離のより優れた性能を達成するためには、周波数応答に依存するウェーブレット係数の適合的な処理が考慮に入れられるべきであるからである。

ここで図５Ａ及び５Ｂを参照する。Ａ及びＢは、それぞれが前の及び現在のフレームを示す。それぞれａ１乃至ａ１２及びｂ１乃至ｂ１２が、これらのフレームの画素である。動き推定処理の結果として、例えば図５Ａにおける画素ａ７及びａ８のような、時間方向にフィルタリングされていない、接続されていない画素が常に存在する。接続されていない画素は、新たな情報を含まないカバーされていない領域に対応するため、ウェーブレット係数処理に基づくノイズ除去アルゴリズムは、接続されたウェーブレット係数（ａ１乃至ａ６及びａ９乃至ａ１２）に対してのみ適用されるべきである。同様に、接続されていない画素を除く時間Ｈバンドサブバンドの空間ＨＨバンドから、ノイズの分散もまた推定されるべきである。

シフト不変ウェーブレット処理に基づく、より高度なノイズ除去手法が、ＩＢＭＣＴＦに基づくノイズ除去アルゴリズムを利用して、同様に実装されても良い。

ＩＢＭＣＴＦに基づく、１つの単純なノイズ除去アルゴリズムは、以下のように数式化することができる硬閾値法であっても良い。

ここで

は、ｉ番目の分解レベルのｊ番目のサブバンドにおけるｔフレームの（ｍ，ｎ）位置におけるノイズ除去されたウェーブレット係数を示す。Ａ_ｉ ^ｊ（ｍ，ｎ，ｔ）は元のウェーブレット係数を示し、Ｔはノイズの分散及びサブバンドのサイズから計算されることができる閾値を示す。例えばＳＵＲＥ閾値又はDonoho閾値が、ミニマックス最適閾値に近いものとして利用されることができる。ウェーブレットドメインウィナーフィルタ法については、ウェーブレット係数のノイズ除去された推定は、以下のように得られる。

ここでσ^２は、ノイズの分散を示す。ベイズ（Bayesian）手法、ＭＤＬ又はＨＭＴモデルのような他のノイズ除去アルゴリズムが、ＩＢＭＣＴＦ分解からウェーブレット係数を処理するために利用されても良い。

本発明の実施例はここでは添付する図を参照しながら説明されたが、本発明はこれら実施例のみに限定されるものではなく、本発明の範囲又は精神から逸脱することなく、種々の他の変更及び修正が当業者によって実行されても良いことは理解されるべきである。

本発明によるインバンド動き補償時間フィルタリングを適用するコーダのブロック図である。 本発明による２レベル分解のための低バンドシフト法アルゴリズムを利用した過完全ウェーブレット展開を示す。 １次元分解についての過完全ウェーブレット係数のインタリーブの一例を示す。 分離可能な３次元ウェーブレットのための３次元分解構造を示す。 本発明のための３次元分解構造を示す。 接続された画素及び接続されていない画素の例を示す。 接続された画素及び接続されていない画素の例を示す。

Claims (15)

1. ビデオ信号をノイズ除去する方法であって、
   ２次元バンドにビデオシーケンスの各フレームを空間的に変換するステップと、
   空間−時間サブバンドを形成するため時間方向に前記２次元バンドを分解するステップと、を有し、前記２次元サブバンドを分解するステップは、シフト不変の動き基準フレームを生成するために低バンドシフト法を適用するステップを有し、前記方法は更に、
   各前記空間−時間サブバンドから付加的なノイズを除去するステップを有する方法。
2. 前記２次元バンドを分解するステップは、各前記２次元バンドについて、動き補償時間フィルタリング手法を利用して前記２次元バンドを分解するステップを有する、請求項１に記載の方法。
3. 各前記空間−時間サブバンドから付加的なノイズを除去するステップは、軟閾値法、硬閾値法及びウェーブレットウィナーフィルタから成る群から選択されたウェーブレットノイズ除去手法を利用するステップを有する、請求項１に記載の方法。
4. 前記各フレームを空間的に変換するステップは、ウェーブレットフィルタリングを適用するステップを有する、請求項１に記載の方法。
5. 前記シフト不変の動き基準フレームを生成するために低バンドシフト法を適用するステップは、低−低サブバンドの全てのとり得るシフトについてのウェーブレット係数の完全なセットを生成するステップを有する、請求項１に記載の方法。
6. 過完全ドメインにおける新たな座標が元の空間ドメインにおける関連するシフトに対応するように、前記ウェーブレット係数をインタリーブすることにより前記ウェーブレット係数を保存するステップを更に有する、請求項５に記載の方法。
7. 前記ウェーブレット係数は、各分解レベルにおいてインタリーブされる、請求項６に記載の方法。
8. 圧縮されていないビデオフレームを該フレームのソースから受信し、前記フレームを、空間ドメインから、２次元バンドがウェーブレット係数のセットにより表されるウェーブレットドメインへと変換するウェーブレット変換器と、
   前記バンドをフレームのグループに分割する手段と、
   それぞれが前記バンドのうちの対応する１つのフレームのグループを受信し、前記バンドを時間フィルタリングして前記フレーム間の時間的な相関を除去する動き補償時間フィルタと、
   前記時間フィルタリングされたバンドをテキスチャコード化する手段であって、該テクスチャコード化された時間フィルタリングされたバンドが、ビットストリームに組み合わせられる手段と、
   を有するビデオエンコーダ。
9. 前記ウェーブレット変換器は、前記フレームのそれぞれを複数の分解レベルに分解するように構成された、請求項８に記載のビデオエンコーダ。
10. 前記分解レベルの第１のものは、低−低バンド、低−高バンド、高−低バンド及び高−高バンドを含み、前記分解レベルの第２のものは、前記低−低バンドの（低−低，低−低）、（低−低，低−高）、（低−低，高−低）及び（低−低，高−高）サブバンドへの分解を含む、請求項９に記載のビデオエンコーダ。
11. 前記動き補償時間フィルタは、前記バンドをフィルタリングし、前記バンドのそれぞれについてハイパスフレーム及びローパスフレームを生成するように構成された、請求項８に記載のビデオエンコーダ。
12. 前記動き補償時間フィルタは、少なくとも１つの動きベクトルを生成する動き推定器と、前記少なくとも１つの動きベクトルを受信し該動きベクトルに基づいて動き方向におけるフレームのグループを時間フィルタリングする時間フィルタとを含む、請求項８に記載のビデオエンコーダ。
13. 前記ウェーブレット変換器は、ウェーブレット係数の完全なセットが、１以上の入力バンドのとり得る全てのシフトについて生成され、それにより空間ドメインにおけるいずれのシフトもが正確に搬送される、低バンドシフト法を適用するように構成された、請求項８に記載のビデオエンコーダ。
14. 前記ウェーブレット変換器は、次に詳細なレベルの低−低バンドのウェーブレット係数をシフトし、１レベルのウェーブレット分解を適用することにより、前記ウェーブレット係数の完全なセットを生成するように構成され、前記分解の間に生成された前記ウェーブレット係数は次いで、前記ウェーブレット係数の完全なセットを生成するため組み合わせられる、請求項１３に記載のビデオエンコーダ。
15. 前記ウェーブレット変換器は、前記ウェーブレット係数の完全なセットを生成するため前記分解の間に生成されたウェーブレット係数をインタリーブするように構成された、請求項１４に記載のビデオエンコーダ。

Images