JP2001186379A - ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 - Google Patents

ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法

Info

Publication number
JP2001186379A
JP2001186379A JP2000343934A JP2000343934A JP2001186379A JP 2001186379 A JP2001186379 A JP 2001186379A JP 2000343934 A JP2000343934 A JP 2000343934A JP 2000343934 A JP2000343934 A JP 2000343934A JP 2001186379 A JP2001186379 A JP 2001186379A
Authority
JP
Japan
Prior art keywords
pixels
pixel
filtered
noise
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000343934A
Other languages
English (en)
Other versions
JP3679324B2 (ja
Inventor
Antonio Maria Bornco
マリア ボルネオ アントニオ
Lanfranco Salinari
サリナリ ランフランコ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics SRL
Original Assignee
STMicroelectronics SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics SRL filed Critical STMicroelectronics SRL
Publication of JP2001186379A publication Critical patent/JP2001186379A/ja
Application granted granted Critical
Publication of JP3679324B2 publication Critical patent/JP3679324B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 DRTの利点を維持しながらデジタルビデオ
ピクチャにおけるノイズピークを除去することを可能と
したノイズをフィルタする技術を提供する。 【解決手段】 フィルタすべき現在のピクチャのピクセ
ル(P)と該ピクセルに対して時間的及び空間的に近い
第二組のピクセル(PIXEL NEAR)との組合わせによって
構成される第1組のピクセル(WORKING WINDOW)を選択
し、該第一組のピクセルに関して選択したビデオ成分
(kj)の強度の予め確立した重み関数によって取られ
る値のある数(N)の拡張した和(SUMkj)を計算
する。該第二組のピクセルは現在のピクチャ又は先行す
るピクチャに属することが可能である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、大略、ビデオイメ
ージ処理技術に関するものであって、更に詳細には、デ
ジタルビデオピクチャのノイズをフィルタする技術に関
するものである。
【0002】
【従来の技術】本発明は高いノイズレベルによって汚染
されたデジタルビデオシーケンスをフィルタするのに有
用なものである。
【0003】デジタル化したビデオシーケンスを取扱う
場合のMPEGスタンダードの重要性のために、ここに
提案する方法の具体例を例示するために、MPEG2シ
ステムに対して参照するが、本発明方法は、時々確立さ
れるように、異なるスタンダードに基づいてビデオシー
ケンスを転送するシステムにおいても完全に使用可能な
ものである。
【0004】本発明の主要な適用例はMPEG2又はそ
の他のスタンダードの符号化前のピクチャの予備処理で
あるが、受信後に表示すべきピクチャをフィルタするた
めのテレビ等の符号化処理以外であっても本発明を利用
することが可能である。MPEG2スタンダードに従っ
て符号化すべきピクチャの予備処理は符号化効率を著し
く向上させることを可能とする操作である。尚、この点
については、A. van der Werf et
al.、「I.McIC:格納用単一チップMPEG2
ビデオエンコーダ(I.McIC:A single−
chip MPEG−2 video encoder
for storage)」、IEEE・ジャーナル
・オブ・ソリッドステート・サーキッツ、Vol.3
2、No.11、1997年11月、L. Yan、
「コーデックのMPEGタイプ用のノイズ減少(Noi
se reduction for MPEG typ
e of codec)」、プロシーディングズ・IE
EE・インターナショナル・コンフェレンス・アクース
ティック、スピーチ、信号処理、1994等の文献を参
照すると良い。
【0005】ピクチャのフィルタ技術は多くのものが開
発されている。例えば、J. C.Brailen、
R. P. Kleihorst、S. Efstra
tiadis、A. K. Katsaggelos、
R. L. Lagendijk、「ダイナミックイメ
ージシーケンス用のノイズ減少フィルタ:レビュー(N
oise rudection filters fo
r dynamicimage sequences:
a review)」、プロシーディングズ:IEE
E、Vol.83、1270−1292頁、1996年
9月の文献を参照すると良い。
【0006】大多数の場合において、これらの技術の厄
介な側面は高い計算の能力が必要とされるか、又は同一
のピクチャに関しての数回の繰返しである。その結果、
それらは、実時間ビデオ適用例に対しては不経済である
か又はほぼ実現不可能なものである。
【0007】これまでに実現されている実時間ビデオフ
ィルタ技術(E. Dubois及びS. Sabr
i、「動き補償型時間的フィルタ処理を使用したイメー
ジシーケンスにおけるノイズの減少(Noise re
duction in image sequence
s using motion−compensate
d temtoral filtering)」、IE
EE・トランズアクションズ・オン・コミュニケーショ
ンズ、Vol.COM−32、826−831頁、19
84年7月)は、フィルタすべきピクセル(Po)のフ
ィルタしていないグレイレベル及び作業ウインドウのそ
の他のピクセルのグレイレベルとの間の分離距離に基づ
いてフィルタ操作を行う。このフィルタ処理の効果は、
この場合には、このような距離に逆比例する。その結
果、このような距離が大きいピクセルはフィルタ操作に
は関与しない。
【0008】これは、ピクチャの焦点ずれを発生し、且
つ、時間的フィルタの場合には、「トレール」を出現さ
せる操作である異なるオブジェクトに属するピクセルの
平均を計算することを回避するピクチャのセグメント化
する粗い方法である。
【0009】文献WO97/30545は上述した方法
に基づいた動き補償型再帰型フィルタを開示している。
このようなフィルタは、現在のピクセルと先行するピク
チャ内の対応するピクセルとの間の差の絶対値に依存し
て、係数βの値を確立し、且つ現在のピクセルの割合部
分βと先行する動き補償型ピクチャにおける対応するピ
クセルの割合部分1−βとを結合させる。このようなシ
ステムは、実質的には、一次のIIR適用型フィルタで
ある。
【0010】このような技術は、例えそれがノイズに起
因するものであったとしても、現在のピクセルが先行す
るピクチャの対応するピクセルから著しく異なるもので
ある場合には、現在のピクセルを不変のまま残すという
欠点を有している。
【0011】文献EP0870776A1は、空間的適
用型ローパスフィルタを開示しており、その適応メカニ
ズムは、Poと作業ウインドウの他のピクセルとの間の
差の計算に基づいている。ピクチャのあるパラメータの
局所的評価が行われ(例えば、考慮中のピクセルが一様
なゾーンに属するか否か)、且つそれに基づいて、ファ
ジィー論理処理によってフィルタすべきピクセルが他の
ピクセルに近いか又は離れているかが決定される。フィ
ルタしたピクセルの値を計算する場合に近いピクセルは
遠いピクセルよりもより大きな重みが与えられる。
【0012】この場合においても、高いノイズレベルが
存在する場合の効果は高いものではない。何故ならば、
考慮中のピクセルが一様なゾーンに属する(従って、更
にフィルタすることが可能か否か)か否かを評価するた
めになされる制御がPとその周りのピクセルとの間の距
離に基づいているからである。
【0013】S. Inamori et al.「イ
メージ処理におけるノイズ減少方法(A method
of noise reduction on im
age processings)」、IEEE・トラ
ンズアクションズ、オン・コンシューマ・エレクトロニ
クス、Vol.39、No.4、1993年11月の文
献においては、前述したDubos及びSabriによ
って記載されたものに基づいているがそれより更に洗練
された時間的フィルタが記載されており、その場合に、
入力−出力特性はノイズの予測されたパワーの関数とし
て適応的に選択される。該フィルタは、トレールの発生
を回避するために、動き検知セクションから来る信号に
よって、及びピクチャの焦点ズレを発生することを防止
するためにエッジ検知ブロックによってターンオフされ
る。
【0014】このフィルタであっても前述したタイプの
フィルタと同一の欠点を有しており且つノイズピークが
存在する場合にはターンオフされねばならない。
【0015】これらの公知の技術は高いノイズレベルが
存在する場合には不満足なものとなる。処理中のピクセ
ルPoに対してノイズピーク(スパイク)が重畳される
度にフィルタをターンオフすることが必要となる。高い
ノイズピークは他のサンプルよりもかなり高い値のノイ
ズサンプルである。これらのノイズピークはむしろ小さ
な確率を有するものであるがゼロではない。何故なら
ば、多くの種類のノイズ(例えば、ガウスノイズ)の確
率的分布のキュー即ち待ち行列は理論的には無限だから
である。
【0016】このような場合において、上述した公知の
フィルタは、決してそのピクチャがノイズによって汚染
されたものとしてではなくそのピクチャが満足のいくも
のではないとして現在のピクセルと隣りのピクセルとの
間の通常の差よりも常により大きな差があるものと解釈
する。従って、フィルタのノイズ減少性能はかなり制限
されている。
【0017】作業ウインドウのピクセルを選択する公知
の技術は所謂「ダンカンレンジテスト(Ducan R
ange Test)」(DRT)(D. B. Du
ncan、「マルチプルレンジ及びマルチプルfテスト
(Muctiple range and multi
ple f−tests)」、バイオメトリクス、Vo
l.11、1−42頁、1955)であって、それは使
用されて良好な結果を発生している(R. P. Kl
eihorst、「イメージシーケンスのノイズフィル
タ処理(Noise filtering of im
age sequces)」、博士論文TU−Delf
t、情報理論グループ、1994)。DRTの特性をハ
イライトするために、以下に簡単に説明する。
【0018】1組のデータ、例えばフィルタすべきピク
セルのルミナンス、即ち輝度値、を増加する順に並べる
ものと仮定する。
【0019】
【数1】
【0020】尚、括弧内の数は並べた組内において取ら
れる位置を表している。DRTは1組の「類似」した値
の定義に基づいており、即ち、以下の条件が満足する場
合に2つの値は「類似」であると考えられる。
【0021】
【数2】
【0022】尚、 ※σnは既知であると考えられる重畳されたノイズの標
準偏差であり、 ※ρ|i-j|,αは、テストの精度レベルαと、データの数
|i−j|(特定の場合においては、g(i)及びg(j)
の間を構成するピクセルの数)と、ノイズの確率的分布
とに依存する値であり、αは誤った決定を取る確率を表
しており、明らかに、αが小さければ小さいほど、ρは
それだけ小さく、従って該テストはより制限的なものと
なる。
【0023】これらを前提として、DRTの目的は、現
在のピクセルPoを包含しており且つ最大数の「類似」
ピクセルを含むサブセットを見つけ出すことである。換
言すると、以下のピクセルのサブセットが決定されねば
ならない。
【0024】
【数3】
【0025】尚、i及びjは以下の通りである。
【0026】
【数4】
【0027】選択したレンジ即ち範囲に属するピクセル
に関してのみ相次ぐフィルタ処理が実施される。注意す
べきことであるが、DRTは、現在のピクセルと共にど
のピクセルがフィルタされるべきであり且つどのピクセ
ルがフィルタされるべきでないということを確立する場
合にPoの値を独特の基準値として有するものではな
い。実質的に、このテストは、必ずしもそれに対して対
称的なものではないがP oを含む全てのインターバルを
テストし、且つピクセルのものである最大数のデータを
含むインターバルを選択するためにノイズσnの標準偏
差の外部的測定に基づくものである。
【0028】DRTはデジタルピクチャ用のフィルタを
実現するために具体化されている。このようなフィルタ
は、フィルタすべき値Poに対して比較的不感度を示
し、むしろ一様なゾーン内においてより効果的にフィル
タすることを可能とし、該ゾーンにおいては、オブジェ
クトの輪郭を保護し且つ「トレール(trail)」の
形成を回避するが、ノイズをより容易に検知することが
可能である。
【0029】DRTを記載することは簡単であるが、処
理すべき1組のデータを決定することの関連する困難性
を暗示している。実際に、σn・ρ|i′-j′|,αの積に
よって与えられるインターバルの振幅は、例えばテスト
の精度レベルα、ノイズレベルσn及びこの範囲内にお
けるピクセルの数等の多くのファクタに依存する。後者
の依存性は、特に、アルゴリズムを著しく複雑化させ
る。何故ならば、それは最大数のデータを含むサブセッ
トを識別することが可能である前に、Poを包含するピ
クセルの多数のサブセットのテストを行うことを必要と
するからである。
【0030】従って、DRTの利点を維持しながら、大
きなノイズピークを減衰されずに残すことがなく(何故
ならば、これはMPEG2符号化及びフィルタの下流側
におけるビデオ圧縮のその他のシステムの効率を著しく
劣化させるからである)、且つ計算上の高い複雑性が関
与するものではない(何故ならば、そうでないと、実時
間ビデオ適用例のコストが法外なものとなるからであ
る)フィルタ方法に基づいたデジタルビデオピクチャ用
のフィルタに対する必要性が存在している。
【0031】
【発明が解決しようとする課題】本発明は、以上の点に
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、ほぼ完全にノイズピークを除去し且つ比較
的容易に実現することが可能であり、実時間ビデオ適用
例において使用する場合に比較的廉価なものであってD
RTの利点の全てを有するデジタルビデオピクチャ用の
新規なフィルタ方法及びフィルタを提供することを目的
とする。
【0032】
【課題を解決するための手段】本発明によれば、デジタ
ルピクチャのノイズをフィルタ即ち除去する方法が提供
され、該方法では、現在のピクチャのフィルタすべきピ
クセルによって及び第一組のピクセルに時間的及び空間
的に近い第二組のピクセルによって構成される第一組の
ピクセルを選択し、第一組のピクセルに関してフィルタ
し、選択したビデオ成分の強度の予め確立した重み関数
によって取られる値のある数の拡張した和を計算し、且
つ第一組のピクセルにわたっての選択したビデオ成分の
強度の重み関数で重み付けした和及び前記拡張した和の
関数でフィルタすべきピクセルのフィルタし選択したビ
デオ成分の強度を計算する。
【0033】本発明方法は現在のピクチャから又は先行
するピクチャから排他的に第二組のピクセルのピクセル
を選択する場合であっても実施することが可能である。
【0034】本発明方法の簡単な実施例は予め確立され
た重み関数の各々をフィルタすべきピクセルにおけるフ
ィルタしておらず選択したビデオ成分の関数で且つノイ
ズレベルに関して計算された夫々の中央値に対して反映
させることによって実現される。
【0035】本発明の好適実施例によれば、フィルタす
べきピクセルの選択しフィルタしたビデオ成分の強度が
重み付けした和及び拡張した和の間の比の予め確立した
重みで重み付けした平均即ち加重平均である。
【0036】本発明方法はデジタルピクチャ用のノイズ
フィルタの形態におけるハードウエア実施例を構成する
ことが可能であり、それは、各ブロックが現在のピクチ
ャのフィルタすべきピクセルと該フィルタすべきピクセ
ルに時間的且つ空間的に近い第二組のピクセルとからな
る1組のピクセルが入力され、各ブロックが第一組のピ
クセルに関して選択したビデオ成分の強度の夫々の予め
確立した重み関数によって取られる値の拡張した和を発
生し且つ第一組のピクセルに関する選択したビデオ成分
の強度の夫々の重み関数での重み付けした和を発生する
ある数の第一回路ブロック、及び第一回路ブロックの出
力へ結合した入力を具備しており、前記重み付けした和
及び拡張した和の関数でフィルタすべきピクセルにおけ
るフィルタし選択したビデオ成分の強度を計算する第二
回路ブロックを有している。
【0037】上述したフィルタは、好適には、各重み関
数をフィルタすべきピクセルのフィルタしておらず選択
したビデオ成分の強度及びノイズレベルの関数で計算し
た夫々の中央値に反映させることによって実現される。
【0038】本発明の好適実施例によれば、フィルタの
重み関数はテール検知の信号の関数で決定される。
【0039】
【発明の実施の形態】本発明方法とDRTとの間の主要
な差は、フィルタされるべきピクセルが選択される態様
及び該ピクセルに関して行われる操作の点である。
【0040】DRTはフィルタすべきピクセルと「類
似」した最大組のピクセルを選択し、それに関してフィ
ルタ操作を逐次的に行うことを意味する。数学的な観点
からは、選択した組のピクセルのみを考慮し且つその他
のものを無視することは選択した組のピクセルに「1」
の係数で重み付けし且つそのような組の外側のピクセル
には「0」の係数で重み付けすることに等しく、従って
図1aに示した関数のような「矩形」重み関数でピクセ
ルを重み付けすることに等しい。
【0041】このような重み付け関数の選択は、オブジ
ェクトの輪郭を保護し且つフィルタしたピクチャにおい
て焦点ズレの効果を発生することを回避しながらピクチ
ャの一様なゾーンを効果的にフィルタする可能性を提供
するものであるが、ノイズピークによって表される欠点
を除去するものではない。
【0042】本発明方法は、理想的には、古典的なDR
Tの矩形状の重み関数に対して適宜のキュー即ち待ち行
列を取付けることによって得られる図1bに概略的に示
したような形状の重み関数を使用することによって大き
なノイズピークによって発生されるこれまで未解決の問
題を解消している。
【0043】実質的には、各使用可能な重み関数kj
対して、フィルタすべきピクセル及び近くのピクセルに
おける選択したビデオ成分の強度の値に対応して重みの
和SUMkjを計算する。このような重みの和を最大と
する重み関数kMが決定されると、このような関数は以
下のフィルタ操作のために使用される。
【0044】重要な結果は、DRTに基づいた公知のフ
ィルタ方法では減衰されなかったノイズピークをほぼ完
全に除去することである。実際に、ノイズスパイクが現
在のピクセルに重畳された場合に、重み関数のキューの
ために、現在のピクセルPoのものとは非常に異なる選
択した成分(例えば、輝度)のレベルを有するピクセル
であってもフィルタ操作に関与させることが可能であ
る。例えば重み付けした平均即ち加重平均を実施するこ
とによってこのようなルミナンス即ち輝度レベルを処理
することにより、ノイズパルスを実際的に除去すること
が可能である。
【0045】本発明方法とDRTとの間の別の重要な差
異は、本発明方法によって必要とされる操作の数が比較
的小さく、そのことは実時間ビデオ適用例に対して使用
する場合により廉価なものとさせる上での基本的な側面
である。
【0046】DRTにおいては、選択すべきインターバ
ルの振幅は多くのファクタに依存するものであり、例え
ばテストの精度レベルα、インターバル内のピクセル
数、及び重畳されたノイズの標準偏差σn等に依存する
ものであるが、本発明方法においては、重み関数はイン
ターバル内のピクセルの数及びαの値に依存するもので
はなくノイズレベルNLに依存するものである。このよ
うに、計算上の複雑性を比較的高いものとしていた依存
性が実際的に除去されている。
【0047】ノイズレベルは、しばしば、その標準偏差
σnによって記述することが可能であるので、以下の説
明においては、このような特定の場合を参照する本発明
の実施例について説明するが、本発明は標準偏差σn
は異なるノイズレベルNLを記述するためのパラメータ
を選択する場合であっても完全に使用可能なものであ
る。
【0048】更に、DRTはPoを包含する全ての可能
なインターバルをテストするものであるが、本発明方法
はDRTの有益的な側面を維持しながら比較的少ない数
のこのようなインターバルのみをテストするものであ
る。
【0049】DRTと比較した場合の本発明方法の唯一
の欠点は、重み関数の中にキュー即ち待ち行列が存在す
るために、作業を行うピクセルからなるグループ、即ち
WORKING WINDOWを選択するために必要な操作が多少複雑
なものであるということである。それにも拘わらず、こ
のような組が充分に多数のピクセルを包含している場合
には、フィルタ処理はそのキューの実際の形状には比較
的影響されることがないことが判明している。従って、
2の冪に等しい値のみを割り当てることによって重み関
数のみを任意の態様で量子化することが可能であり、従
ってハードウエアで実現する場合に著しく簡単化させる
ことが可能である。
【0050】本発明方法を実現するフィルタの最も簡単
な実施例を図2に示してある。
【0051】「作業ウインドウ」ブロックが、現在のピ
クチャに属しておりフィルタされるべきピクセルP及び
Pに時間的及び空間的に近い第二組のピクセルPIXEL NE
ARを有するWORKING WINDOWを構成する1組のピクセルを
選択する。このような第二組PIXEL NEARは、現在のピク
チャのみに属するピクセルから構成するか、又は現在の
ピクチャに属するピクセルと先行するピクチャに属する
ピクセルから構成することが可能である。
【0052】次いで、該ウインドウのピクセルの値をN
個のブロックからなるアレイ(RANGEj,尚、j=
1,2,3,...,N)入力し、各ブロックはWORKIN
G WINDOWのピクセルにおいてそれ自身の重み関数に従っ
て選択したビデオ成分の強度の重み付けを行う。
【0053】ブロックRANGEjは、ノイズレベルN
Lに基づいてそれ自身の重み関数を発生させるために、
ノイズレベルNLに関する情報を与えることが可能であ
る。このようなブロックはWORKING WINDOWのピクセルに
関するそれ自身の重み関数によって取られる値の次式で
表される夫々の拡張した和、
【数5】
【0054】及び選択したビデオ成分の強度の次式で表
される夫々の重み付けした和、
【数6】
【0055】を出力する。
【0056】「フィルタ処理セクション」ブロックはフ
ィルタしたピクセルFILTの強度の値を与える。
【0057】図2に示したように、「フィルタ処理セク
ション」のブロックの前に「レンジ選択」というブロッ
クが設けられている本発明方法の特定の実施例について
説明すると、該ブロックはN個のブロックRANGEj
の出力へ結合されており、それは最大の拡張した和SU
MkM及び夫々の重み付けした和SUMkxMの選択を行
う。
【0058】「フィルタ処理セクション」ブロックを具
体化する可能性のうちの1つは、選択したインターバル
のピクセルの単純な加重平均を計算するものであり、即
ち次式に従って計算することである。
【0059】
【数7】
【0060】別の実施形態においては、重み付けした和
μを、例えば、次式で示されるように現在のピクセルと
結合させることが可能である。
【0061】
【数8】
【0062】尚、係数αは、例えば、フィルタ処理操作
のための選択したインターバルに依存して確立される。
このような係数αは、スイッチングフィルタ(前掲した
R.P. Kleihorst著の文献参照)における
ように、例えばノイズ偏差σ n 2とすることが可能なノイ
ズレベルを表すパラメータと比較して、ピクチャの局所
的偏差σg 2の値に依存して計算することも可能である。
【0063】
【数9】
【0064】通常、「フィルタ処理セクション」はSU
Mkj及びSUMkxjの値の全てから開始してFILT
の値を計算することが可能である。
【0065】「作業ウインドウ」ブロックは、例えば、
図3に示したように、現在のピクチャと先行するピクチ
ャとに属するピクセルを有することが可能な1組のピク
セルWORKING WIDOWを定義する。先行するピクチャはノ
イズによって汚染されたピクチャか又はフィルタしたピ
クチャとすることが可能である。いずれの場合において
も、WORKING WINDOWは、現在のピクチャ又は先行するピ
クチャを格納するフレームメモリが使用可能でない場合
には、空間的な種類のもののみとすることが可能であ
る。
【0066】異なる重み関数を発生する可能な態様のう
ちの1つは、図4において例示されているように、それ
らを同一の形状のものとし且つ各ブロックRANGEj
に対して異なる位置CENTERj上でそれらを中心位
置決めさせることである。
【0067】種々のブロックRANGEjに対するCE
NTERjの1組の可能な値がインデックスjのフィル
タされるべきピクセルPoにおいて選択されたビデオ成
分の強度及び、上述したことに従って、次式で示すよう
にσnによって完全に記述することが可能なノイズレベ
ルNLの関数によって決定される。
【0068】
【数10】
【0069】CENTERjの値の可能な選択のうちの
1つの例は次式によって与えられる。
【0070】
【数11】
【0071】これはPo−σnとPo+σnとの間において
等間隔に離隔されているCENTERjのN個の値を発
生する。
【0072】単なる1つの例として重み関数の可能な形
状を図4に示してある。CENTERjからのスレッシ
ュホールドTh1,Th2,...,ThMの分離はσ
nの関数として意図されている。表示された係数は2の
冪に等しく、従ってフィルタのハードウエアによる実現
を簡単化させているが、例えば、本発明のフィルタが非
実時間適用例において使用される場合においてそれらに
異なる値を与えることが不可能なわけではない。
【0073】図2に示したフィルタはσn推定器が設け
られていないので、ノイズレベルの推定値を得るために
は、所望の程度のフィルタ処理の手動的外部調整又は自
動化システムを使用することが可能である。両方の場合
において、σnを過剰に推定する可能性があり、従っ
て、空間的−時間的ウインドウの場合には、例えば「ト
レール(trail)」(文献においては、「コメット
テール(comet tail)」又は単に「トレール
(trail)」として知られている)等の人工的効果
を発生する可能性がある。
【0074】このような場合には、フィルタ処理を調整
することが可能であるためにトレールの発生を検知する
ための回路ブロック(「テール検知」)が必要である。
このようなテール検知ブロックを有するシステムを図5
に示してある。
【0075】図示したように、「レンジ」(RANGE
j、尚j=1,2,3,...,N)と、「レンジ選
択」と、「フィルタ処理セクション」との夫々のブロッ
クを有する「フィルタ」ブロックが「テール検知」ブロ
ックへ結合されており、「テール検知」ブロックはWORK
ING WINDOWのピクセルを検査し、究極的にテール検知信
号TDを発生する。
【0076】テール検知の場合には、問題の多数の異な
る訂正が可能である。例えば、「フィルタ」ブロック
は、このような信号TDに依存してフィルタ処理をディ
スエーブル即ち動作不能状態とさせ且つ現在のピクセル
oの値を出力することが可能であり、又は現在のフレ
ームに属するピクセルのみに関してフィルタ処理を実施
することが可能であり、又はフィルタ処理に関する先行
するピクチャのピクセルの影響を減少させることが可能
である。従って、図5に示した「フィルタ」ブロック
は、信号TDに依存して所望の制御動作を発生させる専
用の回路を有することが可能である。
【0077】「テール検知」(S. Inamori,
S. Yamauchi,K. Fukuhara、
「イメージ処理に関するノイズ減少方法(A meth
odof noise reduction on i
mage processing)」、IEEE・トラ
ンズアクション・オン・コンシューマ・エレクトロニク
ス、Vol.39、No.4、1993年11月の文献
参照)ブロックをどのようにして実現することが可能で
あるかの1つの例を図6に示してある。現在のピクチャ
のピクセルと先行するピクチャの対応するピクセルとの
間の差がDIFFブロックによって発生される。DIF
Fブロックは同数の「符号ビット」ブロックへ結合され
ており、該「符号ビット」ブロックは相対的な差の符号
を表すビットを発生し、それらはALL0及びALL1
ブロックへ入力され、ビット入力が全て0であるか又は
全て1である場合には、夫々0又は1を出力する。出力
フラグTDがALL0及びALL1ブロックの出力の論
理ORによって発生される。
【0078】該フィルタは図7に示したように、MPE
G2エンコーダの上流側に設けるか、又はその中に設け
ることが可能である(W. Bruls,R. P.
Kleihorst,A. Van der Wer
f、特許WO97/30545、1997年1月23日
出願を参照すると良い)。
【0079】図示した如く、符号化したビットストリー
ムOUTを出力するMPEGエンコーダが「遅延」ブロ
ックによって与えられるピクチャの遅延されたレプリカ
を使用して入力ピクチャINPの予備処理を実施する本
発明のフィルタの出力へ結合されている。MPEGエン
コーダは動き補償型フィルタ処理を行うために動き推定
用のブロックを有することが可能であり、従ってフィル
タ処理及び符号化の効率を増加させることが可能であ
る。図8に示したように、MPEG2エンコーダとは別
に動き補償フィルタを使用することも可能である。
【0080】本発明の「フィルタ」はその入力において
フィルタすべきピクチャINP及び予測されたピクチャ
PREDを受取り、且つフィルタしたピクチャOUTを
出力する。予測したピクチャPREDは動き補償ブロッ
クMCと、動き推定器ブロックMEと、「遅延」ブロッ
クの結合した動作によって得られる。
【0081】動き推定器MEは、現在のピクチャINP
から及び「遅延」ブロックによって適宜遅延されており
前にフィルタしたピクチャOUTのレプリカから動きベ
クトルMVを発生し、それは動き補償ブロックMCによ
って使用される。動き補償ブロックMCは動きベクトル
MV及び「遅延」によって与えられた遅延されたピクチ
ャの関数として予測されたピクチャPREDを計算す
る。
【0082】実験結果によれば、ルミナンスをフィルタ
処理するために使用した同一のハードウエア構造をクロ
ミナンスをフィルタ処理するためにも完全に使用可能で
あることが確認された。通常3つのビデオ信号に対して
異なるものである夫々のノイズレベルの適宜の値が与え
られる限り、ビデオ信号の各々に対して3つの同一のフ
ィルタを使用することが可能である。
【0083】以上、本発明の具体的実施の態様について
詳細に説明したが、本発明は、これら具体例にのみ制限
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。
【図面の簡単な説明】
【図1a】 DRTの重み関数の典型的な形状を示した
概略図。
【図1b】 本発明方法の重み関数の1つの可能な形状
を示した概略図。
【図2】 本発明に基づいて構成したフィルタの基本的
な構成を示した概略図。
【図3】 フィルタ処理中の現在のピクチャのピクセル
に時間的及び空間的に近いピクセルの選択の1例を示し
た概略図。
【図4】 量子化した重み関数の1例を示した概略図。
【図5】 トレールを検知する回路を包含する本発明の
フィルタの1実施例を示した概略図。
【図6】 トレールを検知する回路の1例を示した概略
図。
【図7】 本発明のフィルタをMPEG2エンコーダへ
結合した回路を示した概略図。
【図8】 本発明のフィルタを動き補償回路へ結合した
回路を示した概略図。
フロントページの続き (72)発明者 ランフランコ サリナリ イタリア国, 74011 カステッラネータ, ビア アール. バレンティーノ 6 /ディー

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 デジタルピクチャのノイズをフィルタす
    る方法において、 フィルタすべき現在のピクチャのピクセル(P)と前記
    ピクセルに対して時間的に及び空間的に近い第二組のピ
    クセル(PIXEL NEAR)との結合によって構成される第一
    組のピクセル(WORKING WINDOW)を選択し、 前記第一組のピクセルに関して選択されたビデオ成分
    (kj)の強度の予め確立した重み関数によって取られ
    る値のある数(N)の拡張した和(SUMkj)を計算
    する、ことを特徴とする方法。
  2. 【請求項2】 請求項1において、前記第二組のピクセ
    ルのピクセルが現在のピクチャに属することを特徴とす
    る方法。
  3. 【請求項3】 請求項1において、前記第二組のピクセ
    ルのピクセルが先行するピクチャに属することを特徴と
    する方法。
  4. 【請求項4】 請求項1乃至3のうちのいずれか1項に
    おいて、前記予め確立した重み関数は、フィルタされる
    べき前記ピクセル(Po)のフィルタしていない選択し
    たビデオ成分の及びノイズレベル(NL)の関数で計算
    した夫々の中央値(CENTERj)を反映するもので
    あることを特徴とする方法。
  5. 【請求項5】 請求項1乃至4のうちのいずれか1項に
    おいて、フィルタしたピクセル(FILT)のフィルタ
    した選択したビデオ成分の強度が前記重み付けした和
    (SUMkxj)と前記拡張した和(SUMkj)との間
    の比の予め確立した重みでの加重平均であることを特徴
    とする方法。
  6. 【請求項6】 請求項5において、前記フィルタしたピ
    クセル(FILT)のフィルタした選択したビデオ成分
    の強度が、夫々の拡張した和(SUMkM)が前記拡張
    した和(SUMkj)の間で最も大きなものであるよう
    に選択した重み付けした和(SUMkxM)と夫々の拡
    張した和(SUMkM)との間の比(μ)であることを
    特徴とする方法。
  7. 【請求項7】 請求項6において、前記フィルタしたピ
    クセル(FILT)のフィルタし選択したビデオ成分の
    強度が、フィルタすべき前記ピクセル(P0)における
    フィルタされていない選択したビデオ成分の強度と前記
    比(μ)との間の差に対して単位(α)を超えることの
    ない正の係数によって比例する係数と前記比(μ)との
    間の和として計算されることを特徴とする方法。
  8. 【請求項8】 請求項7において、前記係数(α)が現
    在のピクチャの局所的偏差(σg 2)及びノイズ偏差(σ
    n 2)の関数として計算されることを特徴とする方法。
  9. 【請求項9】 デジタルピクチャ用のノイズフィルタに
    おいて、 各ブロックが入力端上で現在のピクチャのフィルタすべ
    きピクセル(Po)と前記ピクセル(Po)に空間的に且
    つ時間的に近い第二組のピクセル(PIXEL NEAR)とによ
    って構成されている1組のピクセル(WORKING WINDOW)
    を受取り、各ブロックが前記第一組のピクセルの選択し
    たビデオ成分(kj)の強度の夫々の予め確立した重み
    関数によって取られる値の拡張した和(SUMkj)を
    発生し且つ前記第一組のピクセルの選択したビデオ成分
    (SUMkxj)の強度の夫々の重み関数で重み付けし
    た和を発生するある数(N)の第一回路ブロック(RA
    NGEj)、 前記第一回路ブロック(RANGEj)の出力へ結合し
    ており、前記重み付けした和(SUMkxj)の及び前
    記拡張した和(SUMkj)の関数でのフィルタしたピ
    クセル(FILT)のフィルタし選択したビデオ成分の
    強度を計算する第二回路ブロック(FILTERING SECTIO
    N)、を有していることを特徴とするノイズフィルタ。
  10. 【請求項10】 請求項9において、前記重み関数(k
    j)の各々が前記フィルタすべきピクセル(Po)のフィ
    ルタしていない選択したビデオ成分の強度及びノイズノ
    ベル(NL)の関数で計算した夫々の中央値(CENT
    ERj)を反映するものであることを特徴とするノイズ
    フィルタ。
  11. 【請求項11】 請求項9又は10において、前記重み
    (kj)がテール検知信号(TD)に依存して決定され
    ることを特徴とするノイズフィルタ。
JP2000343934A 1999-11-12 2000-11-10 ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法 Expired - Fee Related JP3679324B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP99830705.2 1999-11-12
EP99830705A EP1100260A1 (en) 1999-11-12 1999-11-12 Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders

Publications (2)

Publication Number Publication Date
JP2001186379A true JP2001186379A (ja) 2001-07-06
JP3679324B2 JP3679324B2 (ja) 2005-08-03

Family

ID=8243665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000343934A Expired - Fee Related JP3679324B2 (ja) 1999-11-12 2000-11-10 ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法

Country Status (3)

Country Link
US (1) US6657676B1 (ja)
EP (1) EP1100260A1 (ja)
JP (1) JP3679324B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687095B2 (en) 2010-11-24 2014-04-01 Stmicrolectronics S.R.L. Method and device for de-noising a digital video signal, and corresponding computer program product

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335990B1 (en) * 1997-07-03 2002-01-01 Cisco Technology, Inc. System and method for spatial temporal-filtering for improving compressed digital video
WO2001035636A1 (en) * 1999-11-11 2001-05-17 Stmicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
CN1201590C (zh) * 2000-11-17 2005-05-11 皇家菲利浦电子有限公司 使用块匹配处理的视频编码方法
WO2002059835A1 (en) * 2001-01-26 2002-08-01 Koninklijke Philips Electronics N.V. Spatio-temporal filter unit and image display apparatus comprising such a spatio-temporal filter unit
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
DE60224035D1 (de) 2002-08-23 2008-01-24 St Microelectronics Srl Verfahren zur Rauschfilterung einer numerischen Bildfolge
US7639741B1 (en) * 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
US7437013B2 (en) * 2003-12-23 2008-10-14 General Instrument Corporation Directional spatial video noise reduction
US7373013B2 (en) * 2003-12-23 2008-05-13 General Instrument Corporation Directional video filters for locally adaptive spatial noise reduction
EP1605403A1 (en) 2004-06-08 2005-12-14 STMicroelectronics S.r.l. Filtering of noisy images
US20050286638A1 (en) * 2004-06-23 2005-12-29 Qpixel Technology International, Inc. Image flow knowledge assisted latency-free in-loop temporal filter
US8649436B2 (en) * 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
KR20060043051A (ko) * 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8305427B2 (en) * 2005-03-22 2012-11-06 Olympus Corporation Image processor and endoscope apparatus
US7663701B2 (en) * 2005-04-11 2010-02-16 Ati Technologies, Inc. Systems, methods, and apparatus for noise reduction
KR20080021646A (ko) 2005-05-09 2008-03-07 록히드 마틴 코포레이션 연속 확장 범위의 이미지 프로세싱
US20070098086A1 (en) * 2005-10-28 2007-05-03 Vasudev Bhaskaran Spatio-temporal noise filter for digital video
CN101473656B (zh) * 2006-06-29 2011-09-14 汤姆森许可贸易公司 基于像素的自适应滤波
US8009732B2 (en) * 2006-09-01 2011-08-30 Seiko Epson Corporation In-loop noise reduction within an encoder framework
CN101536031B (zh) 2006-09-29 2013-07-17 汤姆森许可贸易公司 用于基于像素的自适应滤波的自动参数估计
US20110097010A1 (en) * 2006-12-13 2011-04-28 Jian Wang Method and system for reducing noise in images in video coding
WO2008119480A2 (en) * 2007-03-31 2008-10-09 Sony Deutschland Gmbh Noise reduction method and unit for an image frame
US9510018B2 (en) * 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
CN102752483A (zh) * 2012-06-12 2012-10-24 天津天地伟业数码科技有限公司 基于fpga平台的滤波降噪***及滤波降噪方法
US10313565B2 (en) 2014-06-26 2019-06-04 Integrated Device Technology, Inc. Methods and apparatuses for edge preserving and/or edge enhancing spatial filter
US10027986B2 (en) 2014-09-24 2018-07-17 Integrated Device Technology, Inc. Apparatuses and methods for filtering noise from a video signal
US10057601B2 (en) 2015-06-22 2018-08-21 Integrated Device Technology, Inc. Methods and apparatuses for filtering of ringing artifacts post decoding
CN104994397B (zh) * 2015-07-08 2018-11-09 北京大学深圳研究生院 基于时域信息的自适应视频预处理方法
CN106327447B (zh) * 2016-08-30 2019-05-03 天津天地伟业物联网技术有限公司 基于fpga平台的空域和像素域混合降噪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0601655A1 (en) * 1992-12-10 1994-06-15 Koninklijke Philips Electronics N.V. Noise reduction filter
US6005626A (en) * 1997-01-09 1999-12-21 Sun Microsystems, Inc. Digital video signal encoder and encoding method
US6067125A (en) * 1997-05-15 2000-05-23 Minerva Systems Structure and method for film grain noise reduction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687095B2 (en) 2010-11-24 2014-04-01 Stmicrolectronics S.R.L. Method and device for de-noising a digital video signal, and corresponding computer program product

Also Published As

Publication number Publication date
EP1100260A1 (en) 2001-05-16
US6657676B1 (en) 2003-12-02
JP3679324B2 (ja) 2005-08-03

Similar Documents

Publication Publication Date Title
JP2001186379A (ja) ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法
JP3165296B2 (ja) フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US7076113B2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US7145607B1 (en) Spatio-temporal video noise reduction system
US7657098B2 (en) Method and apparatus for reducing mosquito noise in decoded video sequence
US5404178A (en) Noise eliminating circuit
US8160161B2 (en) Method and apparatus for performing motion compensated temporal filtering in video encoding
US7158189B2 (en) Adaptive non-linear noise reduction techniques
EP1383311A1 (en) Digital noise reduction techniques
EP1437896A2 (en) Method and apparatus for improving MPEG picture compression
WO2003017676A2 (en) Motion-adaptive noise reduction pre-processing for digital video signal
US20020094130A1 (en) Noise filtering an image sequence
JP2951619B2 (ja) 雑音減少方法及びその回路
RU2696316C1 (ru) Адаптивный фильтр увеличения резкости для кодирования с предсказанием
KR20060034277A (ko) 낮은 복잡도로 잡음을 경감하는 비디오 인코더
KR101074900B1 (ko) 비디오 신호의 노이즈 감소 방법 및 디바이스
JPH06121194A (ja) ノイズ除去回路
US20100002773A1 (en) Motion-Compensated Temporal Recursive Filter
JP3640651B2 (ja) 符号化制御装置
JPS61140291A (ja) 動画像信号の動静分離装置
JPH06121193A (ja) ノイズ除去回路
JP3364484B2 (ja) 符号化制御方式
JP3364483B2 (ja) フレーム間符号化処理装置及びフレーム間符号化処理方法
JP2003116137A (ja) フレーム間符号化処理装置及びフレーム間符号化処理方法
Saeidi et al. Noise reduction of consecutive images using a new adaptive weighted averaging filter

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040406

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040630

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050512

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees