JP4308942B2 - 動き推定のための前処理の方法及び装置 - Google Patents
動き推定のための前処理の方法及び装置 Download PDFInfo
- Publication number
- JP4308942B2 JP4308942B2 JP21911098A JP21911098A JP4308942B2 JP 4308942 B2 JP4308942 B2 JP 4308942B2 JP 21911098 A JP21911098 A JP 21911098A JP 21911098 A JP21911098 A JP 21911098A JP 4308942 B2 JP4308942 B2 JP 4308942B2
- Authority
- JP
- Japan
- Prior art keywords
- frames
- frame
- filter
- filtered
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000007781 pre-processing Methods 0.000 title claims description 17
- 238000001914 filtration Methods 0.000 claims description 36
- 230000002123 temporal effect Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 10
- 230000000750 progressive effect Effects 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000005070 sampling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明はテレビ画像シーケンスの処理において使用される動き推定装置のため前処理方法に関する。
【0002】
【従来の技術】
動き推定は、規格変換器、高周波変換器即ち「アップコンバータ」、逆インタレース器、符号化器といったシステムにおいてより重要となっており、一方アルゴリズムはより強力に、より容易に一体化されるようになっている。
動き推定装置には、例えばブロックマッチング型、ポイントツーポイント型又は「リカーシブ・ペル(recursive−pel)」型といった多くの型がある。これらの動き推定装置の動作を改善し、性能を良くするために、動き推定装置へ送信される画像は概して前処理される。これは例えば回路を単純化させ処理速度を上昇させるために画像の大きさを減少させるためのサブサンプリング及びそれに続くフィルタリング、動き推定装置の動作を容易にするために高周波数のうちの幾つかを除去するための低域通過フィルタリング、そのラインが対応する新しいフレームを獲得するための各フレームに対する線内挿(これは実際は逆インタレースである)等でありうる。例えばフランス国特許出願第8812468号に記載されるリカーシブ・ペル型の推定装置は良く動作するために画像の前処理を必要とする。同様に、「ブロックマッチング」型の推定装置は、しばしば画像の前処理が先行される。
【0003】
【発明が解決しようとする課題】
動き推定装置は水平輪郭を含む飛越し画像に関して完全な動作をしない。即ち、これらの領域には空間的エイリアシングが生じ、異なるラインを表わす連続するフレームはそこでは相関されない。リカーシブ・ペル型の動き推定装置といった推定装置はこれらの領域では逸脱する。例えば空間フィルタリングといった上述の前処理動作は推定装置の性能に対して全体としての改善をもたらすが、動き補償された又は推定された画像中で特に目に見え、画質の低下となる動き推定の欠乏については充分に解決しない。
【0004】
本発明は上述の欠点を軽減することを目的とする。
【0005】
【課題を解決するための手段】
本発明によれば、第1及び第2のフレームの間の動きを推定するために一連の飛越し走査されたフレームを含むビデオ画像シーケンスを前処理する方法であって、時間フィルタリングは動き推定装置によって使用される2つのフレームの夫々を発生させるよう少なくとも2つの入力フレームに基づいて行われることを特徴とする方法が提供される。
【0006】
本発明はまた、上述の方法を実施する装置であって、
4つの連続する飛越し走査されたフレームを記憶するメモリと、
上記4つの記憶された飛越し走査されたフレームを4つの順次進むフレームへ変換する垂直フィルタ(9,10,11,12)と、
2つのフィルタリングされたフレームを発生させる、即ち記憶されたフレームのうちの最初の3つに対応する順次進むフレームに基づいて第1のフィルタリングされたフレームを発生させ、記憶されたフレームのうちの最後の3つに対応する順次進むフレームに基づいて第2のフィルタリングされたフレームを発生させる時間フィルタ(16,17)とを含み、
動き推定は上記2つのフィルタリングされたフレームに基づいて行われることを特徴とする装置を提供する。
【0007】
【発明の実施の形態】
本発明の特徴及び利点は例として与えられる以下の説明及び添付の図面を参照してより明らかとなろう。方法は3フレーム時空間フィルタリング、順次進むフレームを獲得するための飛越し走査されたフレームの空間フィルタリング及び次に3つの連続する順次進むフレームの時間フィルタリングを行う。画像のこの前処理のため、動き推定装置の性能は特に水平輪郭を有する領域、一般的に臨界領域において改善される。
【0008】
図1は本発明による処理装置を示す図である。連続する飛越し走査されたフレームの形のビデオ源から生ずる画像シーケンスのディジタルビデオ輝度情報は予め画像メモリ中に記憶される。これは4フレームメモリであり、概して装置に特定的でないため図示されていない。このメモリは図1に示されるように前処理装置の4つの入力へ、添え字n+1を有するYinn+1 と称されるフレーム及び先行するフレームYinn-2 ,Yinn-1 及びYinn を伝送する。
【0009】
4つの連続する飛越し走査されたフレームは4つの入力に対してライン毎に同時に伝送される。これらの入力フレームYinn-2 ,Yinn-1 ,Yinn 及びYinn+1 は夫々有限インパルス応答(FIR)を有する半帯域水平ディジタルフィルタであるディジタルフィルタ1,2,3,4に接続される。これらのフィルタの出力は夫々水平周波数のための2倍サンプリング回路5,6,7,8の入力に接続される。これらのサンプリング回路の出力は夫々半帯域垂直FIRフィルタ9,10,11,12の入力に接続される。サブサンプリング回路6の出力はまた輪郭検出器14の入力に接続され、サブサンプリング回路7の出力は輪郭検出器15の入力に接続される。フィルタ9,10,11,12の出力は例えば分配バス13を通じて時間フィルタ16及び17の入力へ送信される。このように、フィルタ9,10,11からのフィルタリングされたフレーム信号は時間フィルタ16の3つの入力で受信され、フィルタ10,11,12からのフィルタリングされたフレーム信号は時間フィルタ17の3つの入力で受信される。フィルタ10及びフィルタ12の第2の出力は夫々輪郭検出器14及び15の第2の入力に接続される。フィルタ16の出力は4分の1帯域水平FIRフィルタ18の入力に接続され、次に4分の1帯域垂直FIRフィルタ19の入力に接続される。フィルタ17の出力は4分の1帯域水平FIRフィルタ20の入力に接続され、次に4分の1帯域垂直FIRフィルタ21の入力に接続される。フィルタ19及び21の出力は前処理装置の出力である。
【0010】
装置の4つの入力の夫々に到来するディジタルビデオ輝度信号はこのように8個の係数を有する水平1次元FIRフィルタによってそれらの帯域幅の半分に水平にフィルタリングされる。これらは反スペクトルエイリアシングフィルタであり従って水平サブサンプリング回路の上流に配置され、本例ではその係数は、
−22/1024; 43/1024; 135/1024;
442/1024; 442/1024; −43/1024;
−22/1024;
である。
【0011】
各フィルタによって出力される信号は次にサンプリング回路によってサブサンプリングされ、この信号は水平方向に半分に間引きされる。そのようなサンプリングは画像の解像度を動き推定回路の現在の処理能力に適合させるために行われる。
以下の議論において、時間フィルタリング及び動き推定装置への送信のために計算される順次進むフレームは装置に入力される奇数フレームに整列されるとする。
【0012】
動作モードは2つの時点、即ち装置の4つの入力上にフレームYinn-2 乃至Yinn+1 が存在することに対応する時点t1と、フレームYinn-1 乃至Yinn+2 が存在することに対応する時点t2とにおいて説明される。ここで添え字nのフレームを奇数であるとする。
時点t1
フィルタ1及びフィルタ3の出力において獲得され、奇数フレームn−2及びnに対応するサンプリングされた信号は、3つの係数を有する半帯域垂直1次元FIRフィルタ9,11によって半分の帯域でフィルタリングされる。これらのフィルタに選択される係数は、
0.25; 0.50; 0.25;
である。
【0013】
このようにこれらの半帯域垂直フィルタの出力において獲得され、Yvn-2 及びYvn と称されるフレームは、それらのラインが入力フレームのライン上に配置され、輝度値が現在のライン、先行ライン及び先行ラインの前の(上の)ラインの輝度の加重平均によって獲得される。結果は先行ラインに対応する。これらは奇数フレームに整列されるフレームである。
【0014】
フィルタ2及びフィルタ4の出力において獲得され、偶数フレームn−1及びn+1に対応するサンプリングされた信号は、0.50であるよう選択された2つの係数を有する半帯域垂直1次元FIRフィルタ10,12によって半分の帯域に垂直にフィルタリングされる。
ここで、Yvn-1 及びYvn+1 と称され、それらのラインが入力フレームn−1及びn+1のラインの間に配置されるフレームが獲得され、これらのラインは従ってフレームn−2及びnから獲得された順次進むフレームに対応する。これは発生されるラインの画素の輝度値は下のライン(現在のライン)及び上のライン(前のライン)の画素の輝度値を平均することによって獲得されるためである。従ってこれらはまた奇数フレームに整列されるフレームである。
【0015】
時点2
フィルタ9及び11に到来する信号は偶数フレームn−1及びn+1から生ずる。使用されるフィルタリングはここでは0.5であるよう選択された2つの係数を有する半帯域垂直1次元フィルタリングである。獲得されたフレームYvn-1 及びYvn+1 は従ってそれらのラインが奇数フレームに整列されている。
【0016】
フィルタ10及び12に到来する信号は奇数フレームn及びn+2から生ずる。これらのフィルタによって使用されるフィルタリングはここでは0.25,0.50,0.25であるよう選択された3つの係数を有する半帯域垂直1次元フィルタリングである。獲得されたフレームYvn 及びYvn+2 は従ってそれらのラインが奇数フレームに整列されている。
【0017】
このように、フレームYvn-2 ,Yvn-1 ,Yvn ,Yvn+1 は時点t1において、フレームYvn-1 ,Yvn ,Yvn+1 ,Yvn+2 は時点2において、交番に受信されたフレームのパリティによって2係数フィルタリング及び3係数フィルタリングを実行する垂直半帯域フィルタ9,10,11,12から出力される。これらのフレームは全て奇数フレームに整列される(偶数パリティのフレームとの整列を生成することも同様に可能である)。時間フィルタによって使用されるのはこれらの順次進むフレームである。
【0018】
時間フィルタはまた輪郭検出回路14及び15から情報を受信する。
時点t1において、回路14は、サンプリング回路6から生ずる偶数フレームn−1からのラインと、フィルタ10中に記憶されこのフィルタから生ずるこのフレームn−1の先行ラインとを同時に受信する。回路15は奇数フレームnからのラインと、フィルタ11によって記憶されるこのフレームの先行ラインとを受信する。時点t2において、フレーム、従ってラインのパリティは反転される。回路14及び15によって時間フィルタへ送信される2値輪郭情報の獲得は後で説明する。
【0019】
以下の説明は時点t1のみを参照し、動作の方法は時点t2について同一であり、下流の回路によって処理される画像は順次進む。
3つのフレームYvn-1 ,Yvn ,Yvn+1 に対して行われる第1の時間フィルタリングは時間フィルタ17によって実行される。現在のラインからの現在の画素の計算は、現在の画素(同一ライン、同一カラム)の位置に対応するフレームYvn-1 ,Yvn ,Yvn+1 の各画素の輝度の値を、
13/64; 38/64; 13/64
であるよう選択されたフィルタ係数を使用して夫々重み付けすることによって考慮に入れる。
【0020】
これらの値はパラメータ化され、例として与えられる。これらは1/3,1/3,1/3であるよう選択されうる。出力は従って3つ組の中央要素に時間的に中央に配置される。
この時間フィルタ17は画像中の高い垂直周波数においてのみ可能にされる。これを行うために、水平にサブサンプリングされた中央フレームYinn は、2つのライン、即ち現在のライン及び先行ラインを同時に、その役割はこれらの高い垂直周波数に対応する領域を決定することであり以下説明される水平輪郭検出器15へ送信される。
【0021】
検出された領域に対するフィルタリングされた信号、又は関係の無い領域に対するフレームYvn に対応する時間フィルタ17によって出力された信号ytn は、次に2つの4分の1帯域フィルタ20,21、即ち5つの係数を有する第1の4分の1帯域水平フィルタ及び5つの係数を有する第2の4分の1帯域垂直フィルタの連続へ送信される。これらのフィルタの役割は動き推定を容易にするよう画像を僅かにぼけさせることである。対象の輪郭上の勾配は勾配アルゴリズムを使用して動き測定装置のコンバーゼンスを可能にするよう修正される。これらのフィルタリング回路によって出力される信号は前処理装置の出力信号Yen であり、この信号は動き測定装置の第1の入力(図示せず)へ送信される。
【0022】
3つのフレームYvn-2 ,Yvn-1 ,Yvn に対して行われる第2の時間フィルタリングは同時に実行される。上述のように、これは現在の画素及びフレームYvn-2 ,Yvn-1 ,Yvn に対応する3つ組の画素の輝度の値を、
13/64; 38/64; 13/64
であるよう選択されたフィルタ係数を使用して夫々重み付けすることによって考慮に入れる。
【0023】
この時間フィルタ16は画像中の高い垂直周波数でのみ可能にされる。このために、水平にサブサンプリングされたフレームYinn-1 は、2つのライン、即ち現在のライン及び先行ラインを同時に、その役割はこれらの高い垂直周波数に対応する領域を決定することであり、以下説明される水平輪郭検出器14へ送信される。
【0024】
検出された領域に対するフィルタリングされた信号、又は関係の無い領域に対するフレームYvn-1 に対応する時間フィルタ16によって出力された信号は、次に2つの4分の1帯域フィルタ18,19、即ち5つの係数を有する第1の4分の1帯域水平フィルタ及び5つの係数を有する第2の4分の1帯域垂直フィルタの連続へ送信される。これらのフィルタの役割は動き推定を容易にするよう画像を僅かにぼけさせることである。これらのフィルタリング回路によって出力される信号は前処理装置の出力信号Yen-1 であり、この信号は動き測定装置の第2の入力(図示せず)へ送信される。
【0025】
輪郭検出回路14及び15の機能は画像中の水平輪郭を検出することである。そのような回路の図は図2に示される。
上述のエッジ検出回路の2つの入力は垂直勾配検出回路22の2つの入力である。この回路22は収縮(erosion)回路23に接続され、次にその出力が時間フィルタへ送信される膨張(dilation)回路24に接続される。
画像の各画素に対して、垂直勾配検出回路は5水平画素x2垂直画素のスライド窓に対する勾配の測定を行う。このために、各入力はサンプリング回路6又は7によって出力されるフレームi+1のラインを第1の入力上にフィルタ10又は11に記憶される先行ラインiを第2の入力上に発生させ、これら2つのラインは所与の時点において調査された輪郭検出器に依存して、又は所与の輪郭検出器に関して考慮された時点に依存して偶数又は奇数である。ラインi及びカラムjの各画素に対して、ラインiの画素とラインi+1の(下の)画素(または飛越し走査されたフレームのラインの番号付けを維持しようとするならばi+2)との間の輝度の差の総和が計算され、この総和計算は現在の画素及び同一ライン上の4つの隣接する画素に対して実行される。この総計は閾値Thrと比較される。
【0026】
Y(i,j)は現在のフレームのラインi及びカラムjにおける画素の輝度値を示すとし、Thrを例えば192であるよう選択される閾値としたとき、以下の規準、即ち、
【0027】
【数1】
【0028】
にが満たされる場合、この総計に対応する現在の画素に対して2進値の1が割り当てられる。逆の場合、ゼロ値が割り当てられる。
このようにして獲得された水平輪郭情報の2値画像は次に数学的形態によって処理される。収縮回路23へ送信された2値画像は概して比較的雑音が多く、フィルタリングを必要とする。
【0029】
水平方向の収縮は9水平画素x1垂直画素の寸法のスライド窓に基づいて実行される。閾値は例えば値3に固定される。値1を有する(窓の中央に配置された)各現在の画素に対して、窓の中の値1を有する画素に対する計数が行われ、獲得された値が閾値以下であれば現在の画素は値ゼロに設定される。この処理は非再帰的であり、次の現在の画素を計算するときに考慮されるのは初期画像の画素の値であり、現在の画素に対して計算された新しい値ではない。
【0030】
膨張は次に2つの段階で実行される。水平方向の膨張は9水平画素x1垂直画素の寸法を有する窓に基づいて実行される。閾値は3であるよう選択される。垂直方向の膨張は次に1水平画素x2垂直画素の寸法を有するスライド窓に基づいて実行される。閾値はたとえば値1に固定される。これらの膨張の夫々に対して、現在の画素が値ゼロを有する場合、この窓の中で値1を有する画素が計数され、この数が閾値以上であれば現在の画素は値1に設定される。垂直膨張に使用される窓は因果的であり、即ち現在の画素及び上の画素を含む。従って方法は追加的な処理遅延を含まない。
【0031】
マークされている又はマークされていない、即ち時間フィルタリングに関係する又は関係しない画素に対応する2値形式の情報の項目は、各現在のラインに対して輪郭検出回路の出力において使用可能である。時間フィルタに送信されるのはこの情報の項目である。そのような輪郭検出に使用されるフレームは、検出器15に対してはフレームYinn であり、検出器14に対してはフレームYinn-1 である。
【0032】
図3乃至図5は前処理方法の様々な段階における様々なフレームn−2乃至n+1のラインの画素を示す図である。時間は横軸に沿って示されており、軸は左方向に向けられフレームn−2乃至n+1によって目盛り付けされており、フレームのラインは縦軸に沿ってラベル付けされている。
図3は入力フレームYinから順次進むフレーム(画像とも称される)Yvを獲得することに関する。Lは奇数ラインであり、フレームn−2及びnに対しては、ラインl−2,l及びl+2の画素はフレームYvn-2 及びYvn のラインlの画素を構築するために使用される。奇数フレームn−1及びn+1に対しては、ラインl−1及びl+1の画素はフレームYvn-1 及びYvn+1 のラインlの画素を獲得することを可能にする。
【0033】
図4は時間フィルタリングに関する。フレームYvn-2 ,Yvn-1 及びYvn に対するラインlの画素はフィルタリングされたフレームYtn-1 のラインlの画素を生成するよう処理される。フレームYvn-1 ,Yvn 及びYvn+1 に対するラインlの画素はフィルタリングされたフレームYtn のラインlの画素を生成するよう処理される。
【0034】
図5は時間フィルタ(フィルタ18及び20)によって出力されるフレームYtから出力フレーム(画素)Ycを獲得することを示す図である。フレームYtn-1 のラインl,l+2,l+4,l+6及びl+8は装置の出力においてフレームYen-1 に対するラインl+4の中に画素を生成するようフィルタリングされる。フレームYtn のラインl,l+2,l+4,l+6及びl+8は装置の出力においてフレームYen に対するラインl+4の中に画素を生成するようフィルタリングされる。動き推定装置は本例では動きベクトルを計算するために比較する奇数ラインに整列されるフレームに対応する順次進むフレームYen-1 及びYen を受信する。
【0035】
ここで再び図1を参照するに、フレームのラインに関して実行される処理を説明する。装置の入力において同じ時点で受信されるライン100及び101を例とし、ライン100は偶数フレームYn-1 及びYn+1 に対応し、ライン101は奇数フレームYn-2 及びYn に対応するものとする。これらのラインは水平フィルタリング及びサンプリングの後、半帯域垂直フィルタへ送信される。
【0036】
フィルタ9及び11はフィルタリングされサンプリングされたライン101を受信した後、上述のようにこのフィルタリングに対してはライン97,99及び101を使用するフィルタリングされたライン99を発生する。同時に、フィルタ10及び12はフィルタリングされサンプリングされたライン100を受信した後、ライン98及び100に基づいて計算されるライン99を出力する。
【0037】
4つの順次進むフレームの古いラインはこのようにしてフィルタの出力において獲得される。そのうちの3つの(n−2,n−1,n)のライン99はこのフィルタリングされた同じライン99を発生させるようこのフィルタリングを実行する第1の時間フィルタへ送信される。第2の時間フィルタはこのフィルタリングされた同じライン99を発生するよう、同じ時点において使用可能な次の3つの(n−1,n,n+1)のライン99を同時に使用する。
【0038】
4分の1帯域垂直フィルタは、やはり4分の1水平フィルタリングの後に前処理装置によって出力されるメディアンライン95を出力するよう先行するフィルタリングされたライン91,93,95,97及びフィルタリングされたライン99を使用する。
画像のいわゆる「水平」輪郭は完全に水平であることは殆どなく、これらのラインはフレームに対して階段状に表わされる。これらの処理動作は、特に計算さえた順次進むフレームがラインについて対応する入力フレームに関してシフトされる場合(本例では順次進むフレームが偶数フレームから計算された場合)に、順次進むフレームの中で、飛越し走査されたフレームに含まれる情報の可能な限り良い再構築を与えることを目的とする。動き推定はより良い質のものとなり、従って動き推定装置の中に含まれる2つの順次進むフレームの間の相関はより強くなる。形態演算子は従ってまた画像再構築機能を有する。
【0039】
時間フィルタリングはまた動き推定が自然に実行されるためにエコーを形成し、それにより、推定装置へ送信された全ての画像は同じ処理を受け、エコーの勾配は元の画像の勾配と同じ速度を有するため、この推定を改善させる。
複雑な対象が交差するとき、時間フィルタリングアルゴリズムはあまり強力ではなく、そのため時間フィルタリングは水平輪郭を有する領域のために残される。例えば現れる領域又は消える領域、或いは交差する対象の場合、このフィルタリングによる画像中に含まれる情報を減少させる危険性はこのようにして制限される。
【0040】
時間フィルタリングはもちろん画像全体に対して実行され、続いてフィルタリングされた領域の選択が実行されうる。この選択は随意である。
2つの時間フィルタ及び2つの輪郭検出器の分離はもちろん任意であり、図1に示される回路の夫々に受信される情報を処理するのに適合された共通回路である共通フィルタリング回路及び/又は共通輪郭検出回路を使用することが可能である。更に、画像シーケンスの連続するフレームを記憶し、それらをライン毎にフィルタへ分配する画像メモリはまた前処理装置の一体化部分として見なすことができる。
【図面の簡単な説明】
【図1】動き推定装置用の本発明による前処理装置を示す図である。
【図2】輪郭検出回路を示す図である。
【図3】前処理チェーンにおける画像のフレームを示すである。
【図4】前処理チェーンにおける画像のフレームを示すである。
【図5】前処理チェーンにおける画像のフレームを示すである。
【符号の説明】
1,2,3,4 半帯域水平FIRフィルタ
5,6,7,8 水平周波数サンプリング回路
9,10,11,12 半帯域垂直FIRフィルタ
13 分配バス
14,15 輪郭検出器
16,17 時間フィルタ
18,20 4分の1帯域水平FIRフィルタ
19,21 4分の1帯域垂直FIRフィルタ
Claims (11)
- 第1及び第2のフレームの間の動きを推定するために一連の飛越し走査されたフレームを含むビデオ画像シーケンスを前処理する方法であって、
時間フィルタリングが、動き推定装置によって使用される2つのフレームの夫々を発生させるよう少なくとも2つの入力フレームに基づいて行われ、
時間フィルタリングは、垂直フィルタリングによって獲得された順次進むフレームに対して行われることを特徴とする方法。 - 全てが所定のパリティの入力フレームに整列された順次進むフレームを獲得するよう、第1の垂直フィルタリングが偶数入力フレームに対して実行され、第2の垂直フィルタリングが奇数入力フレームに対して実行されることを特徴とする、請求項1記載の方法。
- 垂直フィルタリングの前に、上記入力フレームに対して半帯域水平フィルタリングが実行され、続いてこのようにフィルタリングされた画像に対して水平方向に間引きが行われることを特徴とする、請求項2記載の方法。
- 4つの連続するフレームを記憶し、
第1の時間フィルタリングが、動き推定装置への第1のフレームを発生させるよう、記憶されたフレームのうちの最初の3つに基づいて行われ、
第2の時間フィルタリングが、動き推定装置への第2のフレームを発生させるよう、記憶されたフレームのうちの最後の3つに基づいて行われることを特徴とする、請求項1記載の方法。 - 上記フレームに対する時間フィルタリングはライン毎に行われることを特徴とする、請求項4記載の方法。
- 上記時間フィルタリングされたフレームは次に4分の1帯域フィルタによって水平にフィルタリングされることを特徴とする、請求項1記載の方法。
- 上記時間フィルタリングされたフレームは次に4分の1帯域フィルタによって垂直にフィルタリングされることを特徴とする、請求項1記載の方法。
- 水平輪郭の検出が入力フレームに対して行われ、
上記時間フィルタリングはそのような輪郭を含む領域に対してのみ行われることを特徴とする、請求項1記載の方法。 - 上記輪郭の検出は勾配演算子に基づいて行われ、続いて収縮及び膨張型の形態演算によって行われることを特徴とする、請求項8記載の方法。
- 第1及び第2のフレームの間の動き推定のための一連の飛越し走査されたフレームを含むビデオ画像シーケンスを受信する前処理装置であって、
4つの連続する飛越し走査されたフレームを記憶するメモリと、
上記4つの記憶された飛越し走査されたフレームを4つの順次進むフレームへ変換する垂直フィルタと、
2つのフィルタリングされたフレームを発生させる、即ち記憶されたフレームのうちの最初の3つに対応する順次進むフレームに基づいて第1のフィルタリングされたフレームを発生させ、記憶されたフレームのうちの最後の3つに対応する順次進むフレームに基づいて第2のフィルタリングされたフレームを発生させる時間フィルタとを含み、
動き推定は上記2つのフィルタリングされたフレームに基づいて行われることを特徴とする前処理装置。 - 時間フィルタによって出力されるフレームを、動き推定を実行する前にフィルタリングする直列接続された4分の1帯域垂直フィルタ及び4分の1帯域水平フィルタを含むことを特徴とする、請求項10記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9709941A FR2766946B1 (fr) | 1997-08-04 | 1997-08-04 | Procede et dispositif de pretraitement pour estimation de mouvement |
FR9709941 | 1997-08-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11112943A JPH11112943A (ja) | 1999-04-23 |
JP4308942B2 true JP4308942B2 (ja) | 2009-08-05 |
Family
ID=9509988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21911098A Expired - Lifetime JP4308942B2 (ja) | 1997-08-04 | 1998-08-03 | 動き推定のための前処理の方法及び装置 |
Country Status (11)
Country | Link |
---|---|
US (1) | US6396876B1 (ja) |
EP (1) | EP0896299B1 (ja) |
JP (1) | JP4308942B2 (ja) |
KR (1) | KR100575116B1 (ja) |
CN (1) | CN1143550C (ja) |
DE (1) | DE69818174D1 (ja) |
FR (1) | FR2766946B1 (ja) |
HU (2) | HU9801730D0 (ja) |
ID (1) | ID20657A (ja) |
MY (1) | MY129499A (ja) |
ZA (1) | ZA986530B (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6714258B2 (en) * | 2000-03-15 | 2004-03-30 | Koninklijke Philips Electronics N.V. | Video-apparatus with noise reduction |
US7412002B2 (en) * | 2000-04-28 | 2008-08-12 | Texas Instruments Incorporated | Image preprocessing with selective lowpass filtering from motion compensation |
US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US8564661B2 (en) | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
US7095445B2 (en) * | 2000-12-20 | 2006-08-22 | Samsung Electronics Co., Ltd. | Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus |
KR100750108B1 (ko) * | 2001-03-02 | 2007-08-17 | 삼성전자주식회사 | 비월 비디오 시퀀스에서 반복적 움직임을 검출하기 위한방법 및 장치와 비월 비디오 신호 처리를 위한 장치 |
US6625310B2 (en) * | 2001-03-23 | 2003-09-23 | Diamondback Vision, Inc. | Video segmentation using statistical pixel modeling |
US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
CN101448162B (zh) * | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
DE10306555A1 (de) * | 2002-03-06 | 2003-09-18 | Siemens Ag | Verfahren zur Bearbeitung einer mit einem dynamischen Bildwandler, insbesondere einem Festkörperbilddetektor aufgenommenen Strahlungsbildsequenz bestehend aus mehreren nacheinander aufgenommenen Strahlungsbildern eines Untersuchungsobjekts |
US7305034B2 (en) * | 2002-04-10 | 2007-12-04 | Microsoft Corporation | Rounding control for multi-stage interpolation |
US7110459B2 (en) * | 2002-04-10 | 2006-09-19 | Microsoft Corporation | Approximate bicubic filter |
US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
US7116831B2 (en) * | 2002-04-10 | 2006-10-03 | Microsoft Corporation | Chrominance motion vector rounding |
US20050013498A1 (en) * | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
US7499495B2 (en) * | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7317839B2 (en) * | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
US7599438B2 (en) * | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
EP1631068A3 (en) * | 2004-08-26 | 2008-09-03 | Samsung Electronics Co., Ltd. | Apparatus and method for converting interlaced image into progressive image |
US20060182184A1 (en) * | 2005-02-11 | 2006-08-17 | Florent Maheo | Device and method for pre-processing before encoding of a video sequence |
US7751484B2 (en) * | 2005-04-27 | 2010-07-06 | Lsi Corporation | Method for composite video artifacts reduction |
US7920628B2 (en) * | 2005-07-29 | 2011-04-05 | Broadcom Corporation | Noise filter for video compression |
CN101443789B (zh) * | 2006-04-17 | 2011-12-28 | 实物视频影像公司 | 使用统计像素建模的视频分割 |
US8009932B2 (en) * | 2006-09-13 | 2011-08-30 | Providence Engineering and Environmental Group LLC | Automatic alignment of video frames for image processing |
US9326004B2 (en) | 2008-06-03 | 2016-04-26 | Broadcom Corporation | Reduced memory mode video decode |
KR20130082304A (ko) * | 2012-01-11 | 2013-07-19 | 한국전자통신연구원 | 고해상도용 상세단위 움직임 추정 장치 |
US10305620B2 (en) * | 2013-05-03 | 2019-05-28 | Zte (Usa) Inc. | Method and apparatuses for algorithm on QAM coherent optical detection |
US9774881B2 (en) | 2014-01-08 | 2017-09-26 | Microsoft Technology Licensing, Llc | Representing motion vectors in an encoded bitstream |
US9749642B2 (en) | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
US9942560B2 (en) | 2014-01-08 | 2018-04-10 | Microsoft Technology Licensing, Llc | Encoding screen capture data |
EP3379830B1 (en) * | 2017-03-24 | 2020-05-13 | Axis AB | A method, a video encoder, and a video camera for encoding a video stream |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5049993A (en) * | 1990-10-03 | 1991-09-17 | Bell Communications Research, Inc. | Format conversion preprocessing method and circuit |
CA2126467A1 (en) | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
KR960012937B1 (ko) * | 1993-08-31 | 1996-09-25 | 대우전자 주식회사 | 적응적 전처리 기능을 갖는 영상 부호화 장치 |
KR0120729B1 (ko) * | 1993-11-30 | 1997-10-22 | 양승택 | 공간영역 계층 부호화 장치에서의 움직임 정도 구분 방법 |
US5828786A (en) | 1993-12-02 | 1998-10-27 | General Instrument Corporation | Analyzer and methods for detecting and processing video data types in a video data stream |
KR100282141B1 (ko) * | 1993-12-08 | 2001-02-15 | 구자홍 | 영상 부호화기의 시공간 전치 필터 |
KR960028548A (ko) * | 1994-12-29 | 1996-07-22 | 배순훈 | 3차원 대역분할에 의한 영상부호화장치 |
US5572565A (en) | 1994-12-30 | 1996-11-05 | Philips Electronics North America Corporation | Automatic segmentation, skinline and nipple detection in digital mammograms |
GB2307127B (en) | 1995-11-09 | 2000-01-26 | Sony Uk Ltd | Controlling signal processing |
FR2742900B1 (fr) * | 1995-12-22 | 1998-02-13 | Thomson Multimedia Sa | Procede d'interpolation de trames progressives |
US6037986A (en) * | 1996-07-16 | 2000-03-14 | Divicom Inc. | Video preprocessing method and apparatus with selective filtering based on motion detection |
US5847772A (en) | 1996-09-11 | 1998-12-08 | Wells; Aaron | Adaptive filter for video processing applications |
US5978823A (en) | 1997-01-27 | 1999-11-02 | Hitachi America, Ltd. | Methods and apparatus for implementing and controlling a digital modulator |
KR100203294B1 (ko) * | 1997-02-06 | 1999-06-15 | 윤종용 | 동영상부호화시스템에서의 노이즈 감소를 위한 필터링방법 및 장치 |
-
1997
- 1997-08-04 FR FR9709941A patent/FR2766946B1/fr not_active Expired - Fee Related
-
1998
- 1998-07-21 EP EP98401843A patent/EP0896299B1/en not_active Expired - Lifetime
- 1998-07-21 DE DE69818174T patent/DE69818174D1/de not_active Expired - Lifetime
- 1998-07-22 ZA ZA986530A patent/ZA986530B/xx unknown
- 1998-07-28 ID IDP981054A patent/ID20657A/id unknown
- 1998-07-30 HU HU9801730A patent/HU9801730D0/hu unknown
- 1998-07-31 KR KR1019980031254A patent/KR100575116B1/ko not_active IP Right Cessation
- 1998-08-03 US US09/128,511 patent/US6396876B1/en not_active Expired - Lifetime
- 1998-08-03 MY MYPI98003538A patent/MY129499A/en unknown
- 1998-08-03 HU HU9801780A patent/HU223981B1/hu active IP Right Grant
- 1998-08-03 JP JP21911098A patent/JP4308942B2/ja not_active Expired - Lifetime
- 1998-08-04 CN CNB981168507A patent/CN1143550C/zh not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
HU9801730D0 (en) | 1998-09-28 |
KR19990023282A (ko) | 1999-03-25 |
FR2766946B1 (fr) | 2000-08-11 |
ID20657A (id) | 1999-02-04 |
DE69818174D1 (de) | 2003-10-23 |
EP0896299B1 (en) | 2003-09-17 |
FR2766946A1 (fr) | 1999-02-05 |
HUP9801780A3 (en) | 2002-09-30 |
KR100575116B1 (ko) | 2006-10-19 |
JPH11112943A (ja) | 1999-04-23 |
HU9801780D0 (en) | 1998-09-28 |
EP0896299A1 (en) | 1999-02-10 |
US6396876B1 (en) | 2002-05-28 |
HU223981B1 (hu) | 2005-04-28 |
CN1208312A (zh) | 1999-02-17 |
MY129499A (en) | 2007-04-30 |
HUP9801780A2 (hu) | 1999-04-28 |
ZA986530B (en) | 1999-02-05 |
CN1143550C (zh) | 2004-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4308942B2 (ja) | 動き推定のための前処理の方法及び装置 | |
EP0549471B1 (en) | Motion detection and estimation apparatus and method thereof | |
KR100424600B1 (ko) | 방향성에지보간을사용한모션적응스캔-율변환 | |
EP0614312B1 (en) | Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction | |
US6285804B1 (en) | Resolution improvement from multiple images of a scene containing motion at fractional pixel values | |
KR100582860B1 (ko) | 인터레이스 - 프로그레시브 변환을 위한 개량형 에지 적응 보간 방법 및 시스템 | |
EP0629083B1 (en) | Interlaced-to-progressive scanning converter having a double-smoothing function and a method therefor | |
KR100530223B1 (ko) | 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치 | |
EP0434290B1 (en) | Motion detection apparatus as for an interlace to non-interlace scan converter | |
Van Roosmalen et al. | Correction of intensity flicker in old film sequences | |
JP2002503428A (ja) | エッジ相関を用いてインタレース動画をプログレッシブ動画に変換するシステム | |
GB2202706A (en) | Video signal processing | |
JPH06326976A (ja) | 動き補償ビデオ信号処理方式 | |
US5659370A (en) | Fuzzy logic based filter architecture for video applications and corresponding filtering method | |
JPH10178560A (ja) | ノイズ除去回路 | |
KR100827214B1 (ko) | 비디오 스캔 레이트 전환을 위한 움직임 보상 업컨버전 | |
JPH06326980A (ja) | 動き補償映像信号処理方式 | |
JP3745425B2 (ja) | 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ | |
JPS6345988A (ja) | 輝度信号・色信号分離回路 | |
MXPA98006263A (en) | Process of pre-processing and device for estimation of movimie | |
JPH04227181A (ja) | 縁部検出装置 | |
JP2770300B2 (ja) | 画像信号処理処置 | |
JP2506075B2 (ja) | 画像信号変換装置 | |
JPH09139887A (ja) | 映像信号処理装置 | |
KR960010194B1 (ko) | 에이치디-맥(hd-mac) 시스템의 모드 결정기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071127 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090507 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |