JP2001186379A - ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 - Google Patents
ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法Info
- Publication number
- JP2001186379A JP2001186379A JP2000343934A JP2000343934A JP2001186379A JP 2001186379 A JP2001186379 A JP 2001186379A JP 2000343934 A JP2000343934 A JP 2000343934A JP 2000343934 A JP2000343934 A JP 2000343934A JP 2001186379 A JP2001186379 A JP 2001186379A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pixel
- filtered
- noise
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims description 47
- 238000012545 processing Methods 0.000 title description 12
- 230000006870 function Effects 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 235000019557 luminance Nutrition 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 102100022103 Histone-lysine N-methyltransferase 2A Human genes 0.000 description 2
- 101001045846 Homo sapiens Histone-lysine N-methyltransferase 2A Proteins 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 244000026610 Cynodon dactylon var. affinis Species 0.000 description 1
- 101150073669 NCAN gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- MYWUZJCMWCOHBA-VIFPVBQESA-N methamphetamine Chemical compound CN[C@@H](C)CC1=CC=CC=C1 MYWUZJCMWCOHBA-VIFPVBQESA-N 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
ピクチャにおけるノイズピークを除去することを可能と
したノイズをフィルタする技術を提供する。 【解決手段】 フィルタすべき現在のピクチャのピクセ
ル(P)と該ピクセルに対して時間的及び空間的に近い
第二組のピクセル(PIXEL NEAR)との組合わせによって
構成される第1組のピクセル(WORKING WINDOW)を選択
し、該第一組のピクセルに関して選択したビデオ成分
(kj)の強度の予め確立した重み関数によって取られ
る値のある数(N)の拡張した和(SUMkj)を計算
する。該第二組のピクセルは現在のピクチャ又は先行す
るピクチャに属することが可能である。
Description
ージ処理技術に関するものであって、更に詳細には、デ
ジタルビデオピクチャのノイズをフィルタする技術に関
するものである。
されたデジタルビデオシーケンスをフィルタするのに有
用なものである。
場合のMPEGスタンダードの重要性のために、ここに
提案する方法の具体例を例示するために、MPEG2シ
ステムに対して参照するが、本発明方法は、時々確立さ
れるように、異なるスタンダードに基づいてビデオシー
ケンスを転送するシステムにおいても完全に使用可能な
ものである。
の他のスタンダードの符号化前のピクチャの予備処理で
あるが、受信後に表示すべきピクチャをフィルタするた
めのテレビ等の符号化処理以外であっても本発明を利用
することが可能である。MPEG2スタンダードに従っ
て符号化すべきピクチャの予備処理は符号化効率を著し
く向上させることを可能とする操作である。尚、この点
については、A. van der Werf et
al.、「I.McIC:格納用単一チップMPEG2
ビデオエンコーダ(I.McIC:A single−
chip MPEG−2 video encoder
for storage)」、IEEE・ジャーナル
・オブ・ソリッドステート・サーキッツ、Vol.3
2、No.11、1997年11月、L. Yan、
「コーデックのMPEGタイプ用のノイズ減少(Noi
se reduction for MPEG typ
e of codec)」、プロシーディングズ・IE
EE・インターナショナル・コンフェレンス・アクース
ティック、スピーチ、信号処理、1994等の文献を参
照すると良い。
発されている。例えば、J. C.Brailen、
R. P. Kleihorst、S. Efstra
tiadis、A. K. Katsaggelos、
R. L. Lagendijk、「ダイナミックイメ
ージシーケンス用のノイズ減少フィルタ:レビュー(N
oise rudection filters fo
r dynamicimage sequences:
a review)」、プロシーディングズ:IEE
E、Vol.83、1270−1292頁、1996年
9月の文献を参照すると良い。
介な側面は高い計算の能力が必要とされるか、又は同一
のピクチャに関しての数回の繰返しである。その結果、
それらは、実時間ビデオ適用例に対しては不経済である
か又はほぼ実現不可能なものである。
ィルタ技術(E. Dubois及びS. Sabr
i、「動き補償型時間的フィルタ処理を使用したイメー
ジシーケンスにおけるノイズの減少(Noise re
duction in image sequence
s using motion−compensate
d temtoral filtering)」、IE
EE・トランズアクションズ・オン・コミュニケーショ
ンズ、Vol.COM−32、826−831頁、19
84年7月)は、フィルタすべきピクセル(Po)のフ
ィルタしていないグレイレベル及び作業ウインドウのそ
の他のピクセルのグレイレベルとの間の分離距離に基づ
いてフィルタ操作を行う。このフィルタ処理の効果は、
この場合には、このような距離に逆比例する。その結
果、このような距離が大きいピクセルはフィルタ操作に
は関与しない。
つ、時間的フィルタの場合には、「トレール」を出現さ
せる操作である異なるオブジェクトに属するピクセルの
平均を計算することを回避するピクチャのセグメント化
する粗い方法である。
に基づいた動き補償型再帰型フィルタを開示している。
このようなフィルタは、現在のピクセルと先行するピク
チャ内の対応するピクセルとの間の差の絶対値に依存し
て、係数βの値を確立し、且つ現在のピクセルの割合部
分βと先行する動き補償型ピクチャにおける対応するピ
クセルの割合部分1−βとを結合させる。このようなシ
ステムは、実質的には、一次のIIR適用型フィルタで
ある。
因するものであったとしても、現在のピクセルが先行す
るピクチャの対応するピクセルから著しく異なるもので
ある場合には、現在のピクセルを不変のまま残すという
欠点を有している。
用型ローパスフィルタを開示しており、その適応メカニ
ズムは、Poと作業ウインドウの他のピクセルとの間の
差の計算に基づいている。ピクチャのあるパラメータの
局所的評価が行われ(例えば、考慮中のピクセルが一様
なゾーンに属するか否か)、且つそれに基づいて、ファ
ジィー論理処理によってフィルタすべきピクセルが他の
ピクセルに近いか又は離れているかが決定される。フィ
ルタしたピクセルの値を計算する場合に近いピクセルは
遠いピクセルよりもより大きな重みが与えられる。
存在する場合の効果は高いものではない。何故ならば、
考慮中のピクセルが一様なゾーンに属する(従って、更
にフィルタすることが可能か否か)か否かを評価するた
めになされる制御がPとその周りのピクセルとの間の距
離に基づいているからである。
メージ処理におけるノイズ減少方法(A method
of noise reduction on im
age processings)」、IEEE・トラ
ンズアクションズ、オン・コンシューマ・エレクトロニ
クス、Vol.39、No.4、1993年11月の文
献においては、前述したDubos及びSabriによ
って記載されたものに基づいているがそれより更に洗練
された時間的フィルタが記載されており、その場合に、
入力−出力特性はノイズの予測されたパワーの関数とし
て適応的に選択される。該フィルタは、トレールの発生
を回避するために、動き検知セクションから来る信号に
よって、及びピクチャの焦点ズレを発生することを防止
するためにエッジ検知ブロックによってターンオフされ
る。
フィルタと同一の欠点を有しており且つノイズピークが
存在する場合にはターンオフされねばならない。
存在する場合には不満足なものとなる。処理中のピクセ
ルPoに対してノイズピーク(スパイク)が重畳される
度にフィルタをターンオフすることが必要となる。高い
ノイズピークは他のサンプルよりもかなり高い値のノイ
ズサンプルである。これらのノイズピークはむしろ小さ
な確率を有するものであるがゼロではない。何故なら
ば、多くの種類のノイズ(例えば、ガウスノイズ)の確
率的分布のキュー即ち待ち行列は理論的には無限だから
である。
フィルタは、決してそのピクチャがノイズによって汚染
されたものとしてではなくそのピクチャが満足のいくも
のではないとして現在のピクセルと隣りのピクセルとの
間の通常の差よりも常により大きな差があるものと解釈
する。従って、フィルタのノイズ減少性能はかなり制限
されている。
の技術は所謂「ダンカンレンジテスト(Ducan R
ange Test)」(DRT)(D. B. Du
ncan、「マルチプルレンジ及びマルチプルfテスト
(Muctiple range and multi
ple f−tests)」、バイオメトリクス、Vo
l.11、1−42頁、1955)であって、それは使
用されて良好な結果を発生している(R. P. Kl
eihorst、「イメージシーケンスのノイズフィル
タ処理(Noise filtering of im
age sequces)」、博士論文TU−Delf
t、情報理論グループ、1994)。DRTの特性をハ
イライトするために、以下に簡単に説明する。
セルのルミナンス、即ち輝度値、を増加する順に並べる
ものと仮定する。
れる位置を表している。DRTは1組の「類似」した値
の定義に基づいており、即ち、以下の条件が満足する場
合に2つの値は「類似」であると考えられる。
準偏差であり、 ※ρ|i-j|,αは、テストの精度レベルαと、データの数
|i−j|(特定の場合においては、g(i)及びg(j)と
の間を構成するピクセルの数)と、ノイズの確率的分布
とに依存する値であり、αは誤った決定を取る確率を表
しており、明らかに、αが小さければ小さいほど、ρは
それだけ小さく、従って該テストはより制限的なものと
なる。
在のピクセルPoを包含しており且つ最大数の「類似」
ピクセルを含むサブセットを見つけ出すことである。換
言すると、以下のピクセルのサブセットが決定されねば
ならない。
に関してのみ相次ぐフィルタ処理が実施される。注意す
べきことであるが、DRTは、現在のピクセルと共にど
のピクセルがフィルタされるべきであり且つどのピクセ
ルがフィルタされるべきでないということを確立する場
合にPoの値を独特の基準値として有するものではな
い。実質的に、このテストは、必ずしもそれに対して対
称的なものではないがP oを含む全てのインターバルを
テストし、且つピクセルのものである最大数のデータを
含むインターバルを選択するためにノイズσnの標準偏
差の外部的測定に基づくものである。
実現するために具体化されている。このようなフィルタ
は、フィルタすべき値Poに対して比較的不感度を示
し、むしろ一様なゾーン内においてより効果的にフィル
タすることを可能とし、該ゾーンにおいては、オブジェ
クトの輪郭を保護し且つ「トレール(trail)」の
形成を回避するが、ノイズをより容易に検知することが
可能である。
理すべき1組のデータを決定することの関連する困難性
を暗示している。実際に、σn・ρ|i′-j′|,αの積に
よって与えられるインターバルの振幅は、例えばテスト
の精度レベルα、ノイズレベルσn及びこの範囲内にお
けるピクセルの数等の多くのファクタに依存する。後者
の依存性は、特に、アルゴリズムを著しく複雑化させ
る。何故ならば、それは最大数のデータを含むサブセッ
トを識別することが可能である前に、Poを包含するピ
クセルの多数のサブセットのテストを行うことを必要と
するからである。
きなノイズピークを減衰されずに残すことがなく(何故
ならば、これはMPEG2符号化及びフィルタの下流側
におけるビデオ圧縮のその他のシステムの効率を著しく
劣化させるからである)、且つ計算上の高い複雑性が関
与するものではない(何故ならば、そうでないと、実時
間ビデオ適用例のコストが法外なものとなるからであ
る)フィルタ方法に基づいたデジタルビデオピクチャ用
のフィルタに対する必要性が存在している。
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、ほぼ完全にノイズピークを除去し且つ比較
的容易に実現することが可能であり、実時間ビデオ適用
例において使用する場合に比較的廉価なものであってD
RTの利点の全てを有するデジタルビデオピクチャ用の
新規なフィルタ方法及びフィルタを提供することを目的
とする。
ルピクチャのノイズをフィルタ即ち除去する方法が提供
され、該方法では、現在のピクチャのフィルタすべきピ
クセルによって及び第一組のピクセルに時間的及び空間
的に近い第二組のピクセルによって構成される第一組の
ピクセルを選択し、第一組のピクセルに関してフィルタ
し、選択したビデオ成分の強度の予め確立した重み関数
によって取られる値のある数の拡張した和を計算し、且
つ第一組のピクセルにわたっての選択したビデオ成分の
強度の重み関数で重み付けした和及び前記拡張した和の
関数でフィルタすべきピクセルのフィルタし選択したビ
デオ成分の強度を計算する。
するピクチャから排他的に第二組のピクセルのピクセル
を選択する場合であっても実施することが可能である。
た重み関数の各々をフィルタすべきピクセルにおけるフ
ィルタしておらず選択したビデオ成分の関数で且つノイ
ズレベルに関して計算された夫々の中央値に対して反映
させることによって実現される。
べきピクセルの選択しフィルタしたビデオ成分の強度が
重み付けした和及び拡張した和の間の比の予め確立した
重みで重み付けした平均即ち加重平均である。
フィルタの形態におけるハードウエア実施例を構成する
ことが可能であり、それは、各ブロックが現在のピクチ
ャのフィルタすべきピクセルと該フィルタすべきピクセ
ルに時間的且つ空間的に近い第二組のピクセルとからな
る1組のピクセルが入力され、各ブロックが第一組のピ
クセルに関して選択したビデオ成分の強度の夫々の予め
確立した重み関数によって取られる値の拡張した和を発
生し且つ第一組のピクセルに関する選択したビデオ成分
の強度の夫々の重み関数での重み付けした和を発生する
ある数の第一回路ブロック、及び第一回路ブロックの出
力へ結合した入力を具備しており、前記重み付けした和
及び拡張した和の関数でフィルタすべきピクセルにおけ
るフィルタし選択したビデオ成分の強度を計算する第二
回路ブロックを有している。
数をフィルタすべきピクセルのフィルタしておらず選択
したビデオ成分の強度及びノイズレベルの関数で計算し
た夫々の中央値に反映させることによって実現される。
重み関数はテール検知の信号の関数で決定される。
な差は、フィルタされるべきピクセルが選択される態様
及び該ピクセルに関して行われる操作の点である。
似」した最大組のピクセルを選択し、それに関してフィ
ルタ操作を逐次的に行うことを意味する。数学的な観点
からは、選択した組のピクセルのみを考慮し且つその他
のものを無視することは選択した組のピクセルに「1」
の係数で重み付けし且つそのような組の外側のピクセル
には「0」の係数で重み付けすることに等しく、従って
図1aに示した関数のような「矩形」重み関数でピクセ
ルを重み付けすることに等しい。
ェクトの輪郭を保護し且つフィルタしたピクチャにおい
て焦点ズレの効果を発生することを回避しながらピクチ
ャの一様なゾーンを効果的にフィルタする可能性を提供
するものであるが、ノイズピークによって表される欠点
を除去するものではない。
Tの矩形状の重み関数に対して適宜のキュー即ち待ち行
列を取付けることによって得られる図1bに概略的に示
したような形状の重み関数を使用することによって大き
なノイズピークによって発生されるこれまで未解決の問
題を解消している。
対して、フィルタすべきピクセル及び近くのピクセルに
おける選択したビデオ成分の強度の値に対応して重みの
和SUMkjを計算する。このような重みの和を最大と
する重み関数kMが決定されると、このような関数は以
下のフィルタ操作のために使用される。
ィルタ方法では減衰されなかったノイズピークをほぼ完
全に除去することである。実際に、ノイズスパイクが現
在のピクセルに重畳された場合に、重み関数のキューの
ために、現在のピクセルPoのものとは非常に異なる選
択した成分(例えば、輝度)のレベルを有するピクセル
であってもフィルタ操作に関与させることが可能であ
る。例えば重み付けした平均即ち加重平均を実施するこ
とによってこのようなルミナンス即ち輝度レベルを処理
することにより、ノイズパルスを実際的に除去すること
が可能である。
異は、本発明方法によって必要とされる操作の数が比較
的小さく、そのことは実時間ビデオ適用例に対して使用
する場合により廉価なものとさせる上での基本的な側面
である。
ルの振幅は多くのファクタに依存するものであり、例え
ばテストの精度レベルα、インターバル内のピクセル
数、及び重畳されたノイズの標準偏差σn等に依存する
ものであるが、本発明方法においては、重み関数はイン
ターバル内のピクセルの数及びαの値に依存するもので
はなくノイズレベルNLに依存するものである。このよ
うに、計算上の複雑性を比較的高いものとしていた依存
性が実際的に除去されている。
σnによって記述することが可能であるので、以下の説
明においては、このような特定の場合を参照する本発明
の実施例について説明するが、本発明は標準偏差σnと
は異なるノイズレベルNLを記述するためのパラメータ
を選択する場合であっても完全に使用可能なものであ
る。
なインターバルをテストするものであるが、本発明方法
はDRTの有益的な側面を維持しながら比較的少ない数
のこのようなインターバルのみをテストするものであ
る。
の欠点は、重み関数の中にキュー即ち待ち行列が存在す
るために、作業を行うピクセルからなるグループ、即ち
WORKING WINDOWを選択するために必要な操作が多少複雑
なものであるということである。それにも拘わらず、こ
のような組が充分に多数のピクセルを包含している場合
には、フィルタ処理はそのキューの実際の形状には比較
的影響されることがないことが判明している。従って、
2の冪に等しい値のみを割り当てることによって重み関
数のみを任意の態様で量子化することが可能であり、従
ってハードウエアで実現する場合に著しく簡単化させる
ことが可能である。
な実施例を図2に示してある。
クチャに属しておりフィルタされるべきピクセルP及び
Pに時間的及び空間的に近い第二組のピクセルPIXEL NE
ARを有するWORKING WINDOWを構成する1組のピクセルを
選択する。このような第二組PIXEL NEARは、現在のピク
チャのみに属するピクセルから構成するか、又は現在の
ピクチャに属するピクセルと先行するピクチャに属する
ピクセルから構成することが可能である。
個のブロックからなるアレイ(RANGEj,尚、j=
1,2,3,...,N)入力し、各ブロックはWORKIN
G WINDOWのピクセルにおいてそれ自身の重み関数に従っ
て選択したビデオ成分の強度の重み付けを行う。
Lに基づいてそれ自身の重み関数を発生させるために、
ノイズレベルNLに関する情報を与えることが可能であ
る。このようなブロックはWORKING WINDOWのピクセルに
関するそれ自身の重み関数によって取られる値の次式で
表される夫々の拡張した和、
される夫々の重み付けした和、
ィルタしたピクセルFILTの強度の値を与える。
ション」のブロックの前に「レンジ選択」というブロッ
クが設けられている本発明方法の特定の実施例について
説明すると、該ブロックはN個のブロックRANGEj
の出力へ結合されており、それは最大の拡張した和SU
MkM及び夫々の重み付けした和SUMkxMの選択を行
う。
体化する可能性のうちの1つは、選択したインターバル
のピクセルの単純な加重平均を計算するものであり、即
ち次式に従って計算することである。
μを、例えば、次式で示されるように現在のピクセルと
結合させることが可能である。
のための選択したインターバルに依存して確立される。
このような係数αは、スイッチングフィルタ(前掲した
R.P. Kleihorst著の文献参照)における
ように、例えばノイズ偏差σ n 2とすることが可能なノイ
ズレベルを表すパラメータと比較して、ピクチャの局所
的偏差σg 2の値に依存して計算することも可能である。
Mkj及びSUMkxjの値の全てから開始してFILT
の値を計算することが可能である。
図3に示したように、現在のピクチャと先行するピクチ
ャとに属するピクセルを有することが可能な1組のピク
セルWORKING WIDOWを定義する。先行するピクチャはノ
イズによって汚染されたピクチャか又はフィルタしたピ
クチャとすることが可能である。いずれの場合において
も、WORKING WINDOWは、現在のピクチャ又は先行するピ
クチャを格納するフレームメモリが使用可能でない場合
には、空間的な種類のもののみとすることが可能であ
る。
ちの1つは、図4において例示されているように、それ
らを同一の形状のものとし且つ各ブロックRANGEj
に対して異なる位置CENTERj上でそれらを中心位
置決めさせることである。
NTERjの1組の可能な値がインデックスjのフィル
タされるべきピクセルPoにおいて選択されたビデオ成
分の強度及び、上述したことに従って、次式で示すよう
にσnによって完全に記述することが可能なノイズレベ
ルNLの関数によって決定される。
1つの例は次式によって与えられる。
等間隔に離隔されているCENTERjのN個の値を発
生する。
状を図4に示してある。CENTERjからのスレッシ
ュホールドTh1,Th2,...,ThMの分離はσ
nの関数として意図されている。表示された係数は2の
冪に等しく、従ってフィルタのハードウエアによる実現
を簡単化させているが、例えば、本発明のフィルタが非
実時間適用例において使用される場合においてそれらに
異なる値を与えることが不可能なわけではない。
られていないので、ノイズレベルの推定値を得るために
は、所望の程度のフィルタ処理の手動的外部調整又は自
動化システムを使用することが可能である。両方の場合
において、σnを過剰に推定する可能性があり、従っ
て、空間的−時間的ウインドウの場合には、例えば「ト
レール(trail)」(文献においては、「コメット
テール(comet tail)」又は単に「トレール
(trail)」として知られている)等の人工的効果
を発生する可能性がある。
することが可能であるためにトレールの発生を検知する
ための回路ブロック(「テール検知」)が必要である。
このようなテール検知ブロックを有するシステムを図5
に示してある。
j、尚j=1,2,3,...,N)と、「レンジ選
択」と、「フィルタ処理セクション」との夫々のブロッ
クを有する「フィルタ」ブロックが「テール検知」ブロ
ックへ結合されており、「テール検知」ブロックはWORK
ING WINDOWのピクセルを検査し、究極的にテール検知信
号TDを発生する。
る訂正が可能である。例えば、「フィルタ」ブロック
は、このような信号TDに依存してフィルタ処理をディ
スエーブル即ち動作不能状態とさせ且つ現在のピクセル
Poの値を出力することが可能であり、又は現在のフレ
ームに属するピクセルのみに関してフィルタ処理を実施
することが可能であり、又はフィルタ処理に関する先行
するピクチャのピクセルの影響を減少させることが可能
である。従って、図5に示した「フィルタ」ブロック
は、信号TDに依存して所望の制御動作を発生させる専
用の回路を有することが可能である。
S. Yamauchi,K. Fukuhara、
「イメージ処理に関するノイズ減少方法(A meth
odof noise reduction on i
mage processing)」、IEEE・トラ
ンズアクション・オン・コンシューマ・エレクトロニク
ス、Vol.39、No.4、1993年11月の文献
参照)ブロックをどのようにして実現することが可能で
あるかの1つの例を図6に示してある。現在のピクチャ
のピクセルと先行するピクチャの対応するピクセルとの
間の差がDIFFブロックによって発生される。DIF
Fブロックは同数の「符号ビット」ブロックへ結合され
ており、該「符号ビット」ブロックは相対的な差の符号
を表すビットを発生し、それらはALL0及びALL1
ブロックへ入力され、ビット入力が全て0であるか又は
全て1である場合には、夫々0又は1を出力する。出力
フラグTDがALL0及びALL1ブロックの出力の論
理ORによって発生される。
G2エンコーダの上流側に設けるか、又はその中に設け
ることが可能である(W. Bruls,R. P.
Kleihorst,A. Van der Wer
f、特許WO97/30545、1997年1月23日
出願を参照すると良い)。
ムOUTを出力するMPEGエンコーダが「遅延」ブロ
ックによって与えられるピクチャの遅延されたレプリカ
を使用して入力ピクチャINPの予備処理を実施する本
発明のフィルタの出力へ結合されている。MPEGエン
コーダは動き補償型フィルタ処理を行うために動き推定
用のブロックを有することが可能であり、従ってフィル
タ処理及び符号化の効率を増加させることが可能であ
る。図8に示したように、MPEG2エンコーダとは別
に動き補償フィルタを使用することも可能である。
フィルタすべきピクチャINP及び予測されたピクチャ
PREDを受取り、且つフィルタしたピクチャOUTを
出力する。予測したピクチャPREDは動き補償ブロッ
クMCと、動き推定器ブロックMEと、「遅延」ブロッ
クの結合した動作によって得られる。
から及び「遅延」ブロックによって適宜遅延されており
前にフィルタしたピクチャOUTのレプリカから動きベ
クトルMVを発生し、それは動き補償ブロックMCによ
って使用される。動き補償ブロックMCは動きベクトル
MV及び「遅延」によって与えられた遅延されたピクチ
ャの関数として予測されたピクチャPREDを計算す
る。
処理するために使用した同一のハードウエア構造をクロ
ミナンスをフィルタ処理するためにも完全に使用可能で
あることが確認された。通常3つのビデオ信号に対して
異なるものである夫々のノイズレベルの適宜の値が与え
られる限り、ビデオ信号の各々に対して3つの同一のフ
ィルタを使用することが可能である。
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。
概略図。
を示した概略図。
な構成を示した概略図。
に時間的及び空間的に近いピクセルの選択の1例を示し
た概略図。
フィルタの1実施例を示した概略図。
図。
結合した回路を示した概略図。
回路を示した概略図。
Claims (11)
- 【請求項1】 デジタルピクチャのノイズをフィルタす
る方法において、 フィルタすべき現在のピクチャのピクセル(P)と前記
ピクセルに対して時間的に及び空間的に近い第二組のピ
クセル(PIXEL NEAR)との結合によって構成される第一
組のピクセル(WORKING WINDOW)を選択し、 前記第一組のピクセルに関して選択されたビデオ成分
(kj)の強度の予め確立した重み関数によって取られ
る値のある数(N)の拡張した和(SUMkj)を計算
する、ことを特徴とする方法。 - 【請求項2】 請求項1において、前記第二組のピクセ
ルのピクセルが現在のピクチャに属することを特徴とす
る方法。 - 【請求項3】 請求項1において、前記第二組のピクセ
ルのピクセルが先行するピクチャに属することを特徴と
する方法。 - 【請求項4】 請求項1乃至3のうちのいずれか1項に
おいて、前記予め確立した重み関数は、フィルタされる
べき前記ピクセル(Po)のフィルタしていない選択し
たビデオ成分の及びノイズレベル(NL)の関数で計算
した夫々の中央値(CENTERj)を反映するもので
あることを特徴とする方法。 - 【請求項5】 請求項1乃至4のうちのいずれか1項に
おいて、フィルタしたピクセル(FILT)のフィルタ
した選択したビデオ成分の強度が前記重み付けした和
(SUMkxj)と前記拡張した和(SUMkj)との間
の比の予め確立した重みでの加重平均であることを特徴
とする方法。 - 【請求項6】 請求項5において、前記フィルタしたピ
クセル(FILT)のフィルタした選択したビデオ成分
の強度が、夫々の拡張した和(SUMkM)が前記拡張
した和(SUMkj)の間で最も大きなものであるよう
に選択した重み付けした和(SUMkxM)と夫々の拡
張した和(SUMkM)との間の比(μ)であることを
特徴とする方法。 - 【請求項7】 請求項6において、前記フィルタしたピ
クセル(FILT)のフィルタし選択したビデオ成分の
強度が、フィルタすべき前記ピクセル(P0)における
フィルタされていない選択したビデオ成分の強度と前記
比(μ)との間の差に対して単位(α)を超えることの
ない正の係数によって比例する係数と前記比(μ)との
間の和として計算されることを特徴とする方法。 - 【請求項8】 請求項7において、前記係数(α)が現
在のピクチャの局所的偏差(σg 2)及びノイズ偏差(σ
n 2)の関数として計算されることを特徴とする方法。 - 【請求項9】 デジタルピクチャ用のノイズフィルタに
おいて、 各ブロックが入力端上で現在のピクチャのフィルタすべ
きピクセル(Po)と前記ピクセル(Po)に空間的に且
つ時間的に近い第二組のピクセル(PIXEL NEAR)とによ
って構成されている1組のピクセル(WORKING WINDOW)
を受取り、各ブロックが前記第一組のピクセルの選択し
たビデオ成分(kj)の強度の夫々の予め確立した重み
関数によって取られる値の拡張した和(SUMkj)を
発生し且つ前記第一組のピクセルの選択したビデオ成分
(SUMkxj)の強度の夫々の重み関数で重み付けし
た和を発生するある数(N)の第一回路ブロック(RA
NGEj)、 前記第一回路ブロック(RANGEj)の出力へ結合し
ており、前記重み付けした和(SUMkxj)の及び前
記拡張した和(SUMkj)の関数でのフィルタしたピ
クセル(FILT)のフィルタし選択したビデオ成分の
強度を計算する第二回路ブロック(FILTERING SECTIO
N)、を有していることを特徴とするノイズフィルタ。 - 【請求項10】 請求項9において、前記重み関数(k
j)の各々が前記フィルタすべきピクセル(Po)のフィ
ルタしていない選択したビデオ成分の強度及びノイズノ
ベル(NL)の関数で計算した夫々の中央値(CENT
ERj)を反映するものであることを特徴とするノイズ
フィルタ。 - 【請求項11】 請求項9又は10において、前記重み
(kj)がテール検知信号(TD)に依存して決定され
ることを特徴とするノイズフィルタ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP99830705.2 | 1999-11-12 | ||
EP99830705A EP1100260A1 (en) | 1999-11-12 | 1999-11-12 | Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001186379A true JP2001186379A (ja) | 2001-07-06 |
JP3679324B2 JP3679324B2 (ja) | 2005-08-03 |
Family
ID=8243665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000343934A Expired - Fee Related JP3679324B2 (ja) | 1999-11-12 | 2000-11-10 | ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6657676B1 (ja) |
EP (1) | EP1100260A1 (ja) |
JP (1) | JP3679324B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8687095B2 (en) | 2010-11-24 | 2014-04-01 | Stmicrolectronics S.R.L. | Method and device for de-noising a digital video signal, and corresponding computer program product |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6335990B1 (en) * | 1997-07-03 | 2002-01-01 | Cisco Technology, Inc. | System and method for spatial temporal-filtering for improving compressed digital video |
WO2001035636A1 (en) * | 1999-11-11 | 2001-05-17 | Stmicroelectronics Asia Pacific Pte Ltd. | Spatio-temporal video noise reduction system |
CN1201590C (zh) * | 2000-11-17 | 2005-05-11 | 皇家菲利浦电子有限公司 | 使用块匹配处理的视频编码方法 |
WO2002059835A1 (en) * | 2001-01-26 | 2002-08-01 | Koninklijke Philips Electronics N.V. | Spatio-temporal filter unit and image display apparatus comprising such a spatio-temporal filter unit |
US7110455B2 (en) * | 2001-08-14 | 2006-09-19 | General Instrument Corporation | Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering |
DE60224035D1 (de) | 2002-08-23 | 2008-01-24 | St Microelectronics Srl | Verfahren zur Rauschfilterung einer numerischen Bildfolge |
US7639741B1 (en) * | 2002-12-06 | 2009-12-29 | Altera Corporation | Temporal filtering using object motion estimation |
US7437013B2 (en) * | 2003-12-23 | 2008-10-14 | General Instrument Corporation | Directional spatial video noise reduction |
US7373013B2 (en) * | 2003-12-23 | 2008-05-13 | General Instrument Corporation | Directional video filters for locally adaptive spatial noise reduction |
EP1605403A1 (en) | 2004-06-08 | 2005-12-14 | STMicroelectronics S.r.l. | Filtering of noisy images |
US20050286638A1 (en) * | 2004-06-23 | 2005-12-29 | Qpixel Technology International, Inc. | Image flow knowledge assisted latency-free in-loop temporal filter |
US8649436B2 (en) * | 2004-08-20 | 2014-02-11 | Sigma Designs Inc. | Methods for efficient implementation of skip/direct modes in digital video compression algorithms |
KR20060043051A (ko) * | 2004-09-23 | 2006-05-15 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
US8305427B2 (en) * | 2005-03-22 | 2012-11-06 | Olympus Corporation | Image processor and endoscope apparatus |
US7663701B2 (en) * | 2005-04-11 | 2010-02-16 | Ati Technologies, Inc. | Systems, methods, and apparatus for noise reduction |
KR20080021646A (ko) | 2005-05-09 | 2008-03-07 | 록히드 마틴 코포레이션 | 연속 확장 범위의 이미지 프로세싱 |
US20070098086A1 (en) * | 2005-10-28 | 2007-05-03 | Vasudev Bhaskaran | Spatio-temporal noise filter for digital video |
CN101473656B (zh) * | 2006-06-29 | 2011-09-14 | 汤姆森许可贸易公司 | 基于像素的自适应滤波 |
US8009732B2 (en) * | 2006-09-01 | 2011-08-30 | Seiko Epson Corporation | In-loop noise reduction within an encoder framework |
CN101536031B (zh) | 2006-09-29 | 2013-07-17 | 汤姆森许可贸易公司 | 用于基于像素的自适应滤波的自动参数估计 |
US20110097010A1 (en) * | 2006-12-13 | 2011-04-28 | Jian Wang | Method and system for reducing noise in images in video coding |
WO2008119480A2 (en) * | 2007-03-31 | 2008-10-09 | Sony Deutschland Gmbh | Noise reduction method and unit for an image frame |
US9510018B2 (en) * | 2011-11-23 | 2016-11-29 | Luca Rossato | Signal analysis and generation of transient information |
CN102752483A (zh) * | 2012-06-12 | 2012-10-24 | 天津天地伟业数码科技有限公司 | 基于fpga平台的滤波降噪***及滤波降噪方法 |
US10313565B2 (en) | 2014-06-26 | 2019-06-04 | Integrated Device Technology, Inc. | Methods and apparatuses for edge preserving and/or edge enhancing spatial filter |
US10027986B2 (en) | 2014-09-24 | 2018-07-17 | Integrated Device Technology, Inc. | Apparatuses and methods for filtering noise from a video signal |
US10057601B2 (en) | 2015-06-22 | 2018-08-21 | Integrated Device Technology, Inc. | Methods and apparatuses for filtering of ringing artifacts post decoding |
CN104994397B (zh) * | 2015-07-08 | 2018-11-09 | 北京大学深圳研究生院 | 基于时域信息的自适应视频预处理方法 |
CN106327447B (zh) * | 2016-08-30 | 2019-05-03 | 天津天地伟业物联网技术有限公司 | 基于fpga平台的空域和像素域混合降噪方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0601655A1 (en) * | 1992-12-10 | 1994-06-15 | Koninklijke Philips Electronics N.V. | Noise reduction filter |
US6005626A (en) * | 1997-01-09 | 1999-12-21 | Sun Microsystems, Inc. | Digital video signal encoder and encoding method |
US6067125A (en) * | 1997-05-15 | 2000-05-23 | Minerva Systems | Structure and method for film grain noise reduction |
-
1999
- 1999-11-12 EP EP99830705A patent/EP1100260A1/en not_active Withdrawn
-
2000
- 2000-11-10 US US09/710,502 patent/US6657676B1/en not_active Expired - Lifetime
- 2000-11-10 JP JP2000343934A patent/JP3679324B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8687095B2 (en) | 2010-11-24 | 2014-04-01 | Stmicrolectronics S.R.L. | Method and device for de-noising a digital video signal, and corresponding computer program product |
Also Published As
Publication number | Publication date |
---|---|
EP1100260A1 (en) | 2001-05-16 |
US6657676B1 (en) | 2003-12-02 |
JP3679324B2 (ja) | 2005-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001186379A (ja) | ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 | |
JP3165296B2 (ja) | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 | |
US7076113B2 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
US7145607B1 (en) | Spatio-temporal video noise reduction system | |
US7657098B2 (en) | Method and apparatus for reducing mosquito noise in decoded video sequence | |
US5404178A (en) | Noise eliminating circuit | |
US8160161B2 (en) | Method and apparatus for performing motion compensated temporal filtering in video encoding | |
US7158189B2 (en) | Adaptive non-linear noise reduction techniques | |
EP1383311A1 (en) | Digital noise reduction techniques | |
EP1437896A2 (en) | Method and apparatus for improving MPEG picture compression | |
WO2003017676A2 (en) | Motion-adaptive noise reduction pre-processing for digital video signal | |
US20020094130A1 (en) | Noise filtering an image sequence | |
JP2951619B2 (ja) | 雑音減少方法及びその回路 | |
RU2696316C1 (ru) | Адаптивный фильтр увеличения резкости для кодирования с предсказанием | |
KR20060034277A (ko) | 낮은 복잡도로 잡음을 경감하는 비디오 인코더 | |
KR101074900B1 (ko) | 비디오 신호의 노이즈 감소 방법 및 디바이스 | |
JPH06121194A (ja) | ノイズ除去回路 | |
US20100002773A1 (en) | Motion-Compensated Temporal Recursive Filter | |
JP3640651B2 (ja) | 符号化制御装置 | |
JPS61140291A (ja) | 動画像信号の動静分離装置 | |
JPH06121193A (ja) | ノイズ除去回路 | |
JP3364484B2 (ja) | 符号化制御方式 | |
JP3364483B2 (ja) | フレーム間符号化処理装置及びフレーム間符号化処理方法 | |
JP2003116137A (ja) | フレーム間符号化処理装置及びフレーム間符号化処理方法 | |
Saeidi et al. | Noise reduction of consecutive images using a new adaptive weighted averaging filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040630 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041005 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050512 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |