JP2004514351A - ブロックマッチング処理を用いたビデオ符号化方法 - Google Patents
ブロックマッチング処理を用いたビデオ符号化方法 Download PDFInfo
- Publication number
- JP2004514351A JP2004514351A JP2002543232A JP2002543232A JP2004514351A JP 2004514351 A JP2004514351 A JP 2004514351A JP 2002543232 A JP2002543232 A JP 2002543232A JP 2002543232 A JP2002543232 A JP 2002543232A JP 2004514351 A JP2004514351 A JP 2004514351A
- Authority
- JP
- Japan
- Prior art keywords
- macroblock
- motion
- flag
- motion estimation
- macroblocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【発明の属する技術分野】
本発明は、連続したフレームグループ(グループ・オブ・フレーム:GOF)により構成されるビデオシーケンスの圧縮のための符号化方法であって、所定数の連続分解能レベルを導く3次元(3D)波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有する符号化方法に関する。
【0002】
本発明はまた、この符号化方法の実現に際してコンピュータが実行可能な処理ステップにより構成されコンピュータが読み取り可能な記憶媒体に記憶される命令のセットにも、当該符号化方法又は処理ステップの実現によって得られる符号化された信号にも関する。
【0003】
【従来の技術】
近年、2次元サブバンド符号化技術は、そのサブバンド分解において時間領域を含ませることによりビデオデータにまで拡張されるようになっている。提案された第1の方策は、例えば、“Three−dimensional subband video coding of video”, by C.I. Podilchuk and al., IEEE Transactions on Image Processing, vol.4, pp.125−139, Feb. 1995 に記述されているようなものがある。かかる方策は、動きの小さい場合にはその信号エネルギーが低周波数の時間的サブバンド(又は近似サブバンド)にかなり集中するという事実の効果を利用して、動き補償を行っていない。動き補償を伴わないこのような符号化手法は、計算上複雑でなく、人工的な動き(ぼかしを除く)もあまりなく、又はエラーの伝搬も制限される、といった幾つかの利点を持っている。しかしながら、変位の大きい対象物の場合においては、空間周波数は、当該時間軸に沿って分散し、高い周波数の時間サブバンド(又は詳細サブバンド)は高いエネルギーを含んでいる。さらに、低い時間サブバンドは、ぼやける可能性が非常に高く、これが時間的スケーラビリティが目標設定される場合の大きな欠点になる(単一の符号化ビットストリームから倍数フレームレートを有するビデオの生成)。
【0004】
したがって、動き推定及び動き補償は、高効率スケーラブルビデオ符号化法の構成において主要な構成要素と考えることができる。既知の動き補償サブバンド符号化法は、ブロックを基礎とする動き推定を実施するものである。かかるブロックマッチングアルゴリズム(block matching algorithm)すなわちBMAの原理は、例えば“MPEG video coding: a basic tutorial introduction”, by S.R.Ely, Research and Development Report, BBC−RD−1996/3 に記述されている。ここでは現画像Itにおける各ブロックが参照(基準)画像It−1におけるサーチ領域とマッチされ、同じブロックに属する全ピクセルにおいて分散される保持された動きベクトルは、測定ウィンドウ内において絶対差の総和により測定される最も高い相関性をもたらすものと対応する。
【0005】
他にも方法があり、例えば、可変サイズブロックを基礎とする動き推定を含み又は比較的高密度のほぼ連続した動きフィールドを発生する方法があるが、これ以外にも方法がある。動き解析の正確さは、さらに符号化されることになる低フレームレートのサブバンドを動き補償フィルタリング動作が提供するので重要である。したがって、これらサブバンドにおける動きアーティファクトは復元される低フレームレートのビデオの品質を損わせてしまうことになる。動き推定及び補償技術の主たる対照的な要件は、テクスチャ符号化のために利用可能なビット仕様又はビットバジェットを激減させないよう動き情報コスト(予測誤差及び動きパラメータ)を多少低くしたまま良好な時間的予測(真の動き)を提供することである。
【0006】
固定サイズブロックを基礎とする動き推定が用いられる場合には、大抵、2種類の動きベクトルが発生される。例えば、16×16画素のマクロブロックの場合、1つ又は4つの動きベクトル(当該マクロブロック内の4つの8×8画素ブロックの各々につき1つ)を生成することができる。すなわち、図1の左の図は、4つのブロックが同じ動きベクトル(16×16画素のマクロブロック動きベクトル)を共有する第1の例に対応し、その右の図は、4つの8×8画素ブロックの各々がそれ自身の所有する動きベクトル(8×8画素ブロック動きベクトル)を有する第2の例に対応する。これら2つのモードの決定は、例えば基準フレームからの動き予測マクロブロックと予測すべき現フレームにおけるオリジナルのマクロブロックとの間の絶対差の合計(SAD:Sum of Absolute Differences)によって与えられる歪みを見ることにより行われるのが普通である。8×8画素ブロックがより良い動きフィールドを普通に生成すると、これらは16×16画素マクロブロックの4倍ほどの符号化され伝送されなければならない動きベクトルを発生する。これにより、低いビットレートの応用例の場合にテクスチャに損失を与えて相当な情報コストを招来する。
【0007】
【発明が解決しようとする課題】
よって本発明の目的は、動きベクトル情報をテクスチャ情報と比較して合理的に少量に保つ、低ビットレートビデオ符号化に適した方法を提案することである。
【0008】
本発明の他の目的は、ビデオシーケンスを符号化することのできるコンピュータ上で実行可能な処理ステップにより構成されコンピュータ読み取り可能な記憶媒体に記憶される命令のセットを提案することである。
【0009】
【課題を解決するための手段】
このため、本発明は、本文の序文に記載したような符号化方法に関し、さらに、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
(A)動き推定及び補償を伴うことなく現フレームグループ(GOF)を時間的に高域フィルタ処理を行うサブステップと、
(B)その後に動き補償時間的フィルタ処理を当該フレームグループ(GOF)に施すサブステップと、
を有し、
前記時間的フィルタ処理は、
(1)得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均2乗誤差(MSE)をサブバンド全体の値と比較し当該サブバンド全体の平均2乗誤差(MSE)よりも大なる平均2乗誤差(MSE)を有するマクロブロックにのみフラグを割り当てる動作と、
(2)前記フレームグループ(GOF)の各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
(3)当該最後の動き補償サブステップに応じて、
(a)フラグを有するマクロブロックについては、絶対差の総和(SAD:sum of absolute differences)の最小値に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
(b)フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
ことを特徴としている。
【0010】
この方法は、当該動き情報の網羅的な処理や、ましてや極めて精密な描写を必要としない画像の各部分を識別するよう、動き推定を伴うことなく得られる高周波数時間系サブバンドの暫時的解析を先んじて行うものである。そして、ブロックか又はマクロブロックかの動き推定の判定を強制するためにこの暫時的情報を考慮しつつ、動き推定及び補償が通常通り行われる。かかる判定基準は、高周波数の時間的にフィルタ処理されたサブバンドのエネルギーに基づいている。この判定により、
・比較的小さなブロックに関係した少数ブロックベース動き推定ステップを許容し又は可能にすることによる動き推定の計算負荷の軽減
・符号化すべき動きベクトルの数を減らすことによる当該テクスチャ符号化のビット仕様(ビットバジェット)の拡大
をもたらす。
【0011】
このように提案される技術的解決手段により、真の動きフィールドを必要としない画像領域すなわち不動領域において、当該小ブロックでのより細かい動き解析を必要とする領域(例えば動く対象の境界)の処理を変えることなくテクスチャ用にたくさんのビットを割り当てることが可能になる。
【0012】
上記他の目的のため、本発明は、連続したフレームグループに構成されるビデオシーケンスを圧縮のために受信するビデオ符号化器に用いるために、前記フレームを符号化するためにコンピュータ読取可能な記憶媒体に記憶されるよう設けられるコンピュータ実行可能な処理方法にも関するものである。当該処理方法は、所定数の連続分解能レベルを導く3次元(3D)波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
(A)動き推定を伴うことなく現フレームグループ(GOF)を時間的高域フィルタ処理を行うサブステップと、
(B)その後に動き補償時間的フィルタ処理を当該フレームグループ(GOF)に施すサブステップと、
を有し、
前記時間的フィルタ処理は、
(1)得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均2乗誤差(MSE)をサブバンド全体の値と比較し当該サブバンド全体の平均2乗誤差(MSE)よりも大なる平均2乗誤差(MSE)を有するマクロブロックにのみフラグを割り当てる動作と、
(2)前記フレームグループ(GOF)のフレームの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
(3)当該最後の動き補償サブステップに応じて、
(a)フラグを有するマクロブロックについては、絶対差の総和(SAD)の最小値に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
(b)フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、ものとしている。
【0013】
【発明の実施の形態】
以下、本発明を添付図面に基づいて例示によって説明する。
【0014】
本発明による符号化方法において実現される技術的解決手段は、ブロック又はマクロブロック判定においてダイナミックな事前選択基準を導入することからなり、これにより、図1にそれぞれ示される2つのモードのうちの1つを、動きベクトルを選ぶために選択することが可能になる。ビデオ情報の時間的サブバンド分解による分解プロセスは、図2に示される。動き補償を伴う分解は、F1ないしF8に参照されるフレームグループ(グループ・オブ・フレーム:GOF)に対して行われ、各GOFの入力ビデオは、先ず動き補償(MC)が施され、それからハ−ル波(Haar wavelets)を用いて時間系フィルタ処理(temporally filtering:TF)が施される(点線の矢印は高域通過型時間系フィルタリングに対応し、他のものは低域通過型時間系フィルタリングに対応する)。図2には3段階の分解が示されている(L及びH=第1段階、LL及びLH=第2段階、LLL及びLLH=第3段階)。この場合、時間系フィルタリング動作は、動き推定及び補償を伴うことなく(すなわち、図2においてMCとして参照される動作は行わず)当該入力グループのフレームに対して先ず行われ、動きベクトルは、任意にゼロに設定され、この動作によって、高周波数時間系サブバンドをもたらすことになる(画像の殆どの部分は、2つの連続したオリジナルのフレームIt−1,Itの間では概して静止したものでありこの結果細かな動き推定を必要としない)。そして、本提案の事前選択基準は、この高周波数の時間的にフィルタ処理されたサブバンドのエネルギーに基づいている。2乗平均誤差(MSE)は、このようなサブバンドの16×16画素マクロブロック毎に計算される。そして、当該サブバンド全体のMSEよりも大なるMSEを有するマクロブロックについて、換言すれば強い動きの作用を持つ画像の領域を表わすマクロブロックについて、ブロック判定(本例においては8×8判定)を可能とするフラグが設定される。図3の例に示されるように、8×8判定マップは、こうして得られる(×印によって指定される)8×8画素ブロックベース動き推定フラグの全てに基づいて構成される。すなわち、かかるフラグが割り当てられるマクロブロックだけが8×8画素ブロックで推定されることになる。
【0015】
8×8判定マップの形式のこの付加的情報により、当該入力GOFに対し、その後に改変型動き補償時間系フィルタリング処理が行われる。オリジナルフレームの各組(It―1,It)に対し、当該8×8判定マップに応じた8×8又は16×16画素BMAで動き推定が行われる。8×8画素BMAが適用されるマクロブロックに対しては、16×16画素ブロック動きベクトルと8×8画素動きベクトルとについての最終判定が同じに保たれる。これは、N×N画素(マクロ)ブロックでは
【数1】
に基づいている。ここで(m,n)は、当該(マクロ)ブロックの動きベクトルであり、It−1,Itは、それぞれ時刻t−1での基準(参照)画像及び時刻tにおける現在画像の輝度関数である。最後に、保持される動き相当値は、最小SADを与えるものである。
【0016】
試験によって、8×8判定フラグは、いずれの方法でも最終判定中において8×8画素BMAにより計算されたものとなりうるマクロブロックに設定されることが示された。これらマクロブロックの最終的な数は、典型的な動き補償時間系フィルタリングによるよりも常に小さい。最終的な画像においては、動き解析及び予測に大きく依存する白及び黒領域は少ししかない。16×16画素BMAのみが8×8判定マップの成り行きとして処理される他のマクロブロックに対しては、役に立たない8×8画素BMAは用いられず、これにより動き推定動作の計算上の複雑さが軽減される(動き推定を伴うことなく時間フィルタ処理される高周波数時間系サブバンドの追加の計算と8×8判定マップとに対応する負荷は実に小さいものとみなすことができる)。
【0017】
本発明によるビデオ符号化法の全体的なフローチャートは、図4に示される。GOFにより構成される入力ビデオ信号は、先ず時間解析段40により受信される。かかる解析段(FWMC)は、動き計算を伴うことなく時間系フィルタ処理ステップ41を実行するために設けられており、その後は、当該8×8判定マップが構成されるステップ(DMC)42が行われる。この情報に基づいて、8×8又は16×16画素BMAでの動き推定(EST)43が行われ、そしてこの動き推定により、当該入力ビデオ信号(現GOF)に対し動き補償を含む改変型時間系フィルタ処理ステップ(MCTF)44を実行することを可能にしている。典型的な符号化法にあるように、その後、このようにして得られた当該フィルタ処理された信号に対して、解析ステップ(SPA)45(例えば、DCT変換及び量子化ステップを行うステップ)が行われ、空間解析の後に符号化ステップ(COD)46が続き、その処理された入力ビデオ信号及び動き推定ステップ43によって得られた動きベクトルの符号化動作が行われる。これら符号化された信号は、その後にチャネル50に伝送され又は記憶される。
【0018】
かかるフローチャートの各ステップを実行するビデオ符号化器は、連続したフレームグループ(GOF)により構成されるビデオシーケンスに対応する入力フレーム信号が、その入力信号の周波数スペクトルを階層的に複数の周波数帯域に分割するようサブバンドに周波数分割され、当該シーケンスのフレーム間における動き補償動作の後に伝送又は記憶動作を考慮した可変長符号化されるようなタイプのものとすることもできる。このような符号化器においては、それら自身ブロックに小分割されるマクロブロックに分割されるフレームに適用される動き補償ステップは、各連続したGOFにつき、
(A)動き推定及び補償を伴うことなく現フレームグループを時間的に高域フィルタ処理を行うサブステップと、
(B)その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
(1)得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均2乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均2乗誤差よりも大なる平均2乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
(2)前記フレームグループの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
(3)当該最後の動き補償サブステップに応じて、
(a)フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
(b)フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
としている。
【0019】
なお、本発明がここに説明した実施例に限定されないことは明らかである。本提案の時間的事前解析(処理)は、動き推定を考慮してBMAを用いたいずれのビデオ圧縮にも適用可能である。どんなタイプの実施例についても、本発明による方法は、真の動きフィールドの必要性と符号化すべき結果として得られる動き情報のサイズとにつき良好にトレードオフすることができるのである。
【図面の簡単な説明】
【図1】同じマクロブロックの16×16画素についての16×16画素ブロック動きベクトルと8×8画素ブロック動きベクトルとの比較を示す図(それぞれこの図1の左側と右側に示される)。
【図2】本発明による符号化方法に用いられるような、動き推定及び補償を伴わない時間フィルタリングの原理を示す図(本例において得られる高周波時間サブバンド(LLH,LH,H)がマクロブロック毎に8×8画素ブロックを基礎とする動き推定を必要とするか否かを判定するよう解析される)。
【図3】動き補償を伴わない時間フィルタリングステップの後に得られる高周波時間サブバンドの解析から推測される8×8判定マップの一例を示す図。
【図4】本発明による符号化方法の包括的フローチャート。
Claims (6)
- 所定数の連続分解能レベルを導く3次元波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、連続したフレームグループにより構成されるビデオシーケンスの圧縮のための符号化方法であって、
当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
(A)動き推定及び補償を伴うことなく現フレームグループを時間的に高域フィルタ処理を行うサブステップと、
(B)その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
(1)得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均2乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均2乗誤差よりも大なる平均2乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
(2)前記フレームグループの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
(3)当該最後の動き補償サブステップに応じて、
(a)フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
(b)フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
符号化方法。 - 請求項1に記載の符号化方法であって、前記マクロブロックは、16×16画素のサイズを有し、前記ブロックは、8×8画素のサイズを有する、符号化方法。
- 連続するフレームグループに構成されるビデオシーケンスに対応する入力フレーム信号を、複数の周波数帯域に当該入力信号の周波数スペクトルを階層的に分割するようサブバンドに周波数分割し、当該シーケンスのフレーム間における動き補償動作の後に伝送又は記憶動作に応じて可変長符号化するビデオ符号化器であって、
当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
(A)動き推定及び補償を伴うことなく現フレームグループを時間的高域フィルタ処理を行うサブステップと、
(B)その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
(1)得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均2乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均2乗誤差よりも大なる平均2乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
(2)前記フレームグループの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
(3)当該最後の動き補償サブステップに応じて、
(a)フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
(b)フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、
を有する、
ビデオ符号化器。 - 連続したフレームグループに構成されるビデオシーケンスをその圧縮に応じて受信するビデオ符号化器に用いるために、前記フレームを符号化するためにコンピュータ読取可能な記憶媒体に記憶されるよう設けられるコンピュータ実行可能な処理方法であって、当該処理方法は、所定数の連続分解能レベルを導く3次元波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
(A)動き推定及び補償を伴うことなく現フレームグループを時間的高域フィルタ処理を行うサブステップと、
(B)その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
(1)得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均2乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均2乗誤差よりも大なる平均2乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
(2)前記フレームグループのフレームの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
(3)当該最後の動き補償サブステップに応じて、
(a)フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
(b)フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
処理方法。 - 連続したフレームグループに構成されるビデオシーケンスをその圧縮に応じて受信するビデオ符号化器のためのコンピュータプログラムであって、前記符号化器へのロードがなされた場合に請求項4に記載の処理方法を実行するように当該符号器を指示する命令のセットを有する、プログラム。
- 符号化方法により、連続したフレームグループに構成されるビデオシーケンスを圧縮することにより生成される伝送可能な符号化信号であって、当該符号化方法は、所定数の連続分解能レベルを導く3次元波形変換による分解ステップと、各分解レベルにて行われる動き補償動作による動き補償ステップと、符号化ステップとを有し、当該動き補償ステップは、ブロックに小分割されるマクロブロックに分割されるフレームに適用され、連続したフレームグループの各々につき、
(A)動き推定を伴うことなく現フレームグループを時間的に高域フィルタ処理を行うサブステップと、
(B)その後に動き補償時間的フィルタ処理を当該フレームグループに施すサブステップと、
を有し、
前記時間的フィルタ処理は、
(1)得られた高周波数時間的サブバンドの各マクロブロックにつき、その平均2乗誤差をサブバンド全体の値と比較し当該サブバンド全体の平均2乗誤差よりも大なる平均2乗誤差を有するマクロブロックにのみフラグを割り当てる動作と、
(2)前記フレームグループのフレームの各組につき、フラグを有するマクロブロックの各ブロックに対してのブロックベース動き推定とフラグを有しないマクロブロックに対してのマクロブロックベース動き推定とを行う動作と、
(3)当該最後の動き補償サブステップに応じて、
(a)フラグを有するマクロブロックについては、絶対差の最小の総和に基づき、マクロブロック及びブロック動きベクトルについての最終判定に応じた動きベクトル
(b)フラグを有しないマクロブロックについては、当該マクロブロックベース動き推定に応じた動きベクトル
を選択する動作と、を有する、
符号化信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00403220 | 2000-11-17 | ||
PCT/EP2001/013160 WO2002041636A1 (en) | 2000-11-17 | 2001-11-12 | Video coding method using a block matching process |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004514351A true JP2004514351A (ja) | 2004-05-13 |
JP2004514351A5 JP2004514351A5 (ja) | 2005-12-22 |
Family
ID=8173944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002543232A Pending JP2004514351A (ja) | 2000-11-17 | 2001-11-12 | ブロックマッチング処理を用いたビデオ符号化方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6954500B2 (ja) |
EP (1) | EP1338148A1 (ja) |
JP (1) | JP2004514351A (ja) |
KR (1) | KR20020077884A (ja) |
CN (1) | CN1201590C (ja) |
WO (1) | WO2002041636A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014179918A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 動画像符号化装置、その制御方法、及び撮像装置 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050018771A1 (en) * | 2002-01-22 | 2005-01-27 | Arnaud Bourge | Drift-free video encoding and decoding method and corresponding devices |
JP3831846B2 (ja) * | 2003-06-09 | 2006-10-11 | 富士電機デバイステクノロジー株式会社 | 半導体装置の製造方法 |
KR100574523B1 (ko) * | 2003-07-31 | 2006-04-27 | 삼성전자주식회사 | 움직임 타입 판단 장치 및 방법 |
JP2007503750A (ja) * | 2003-08-26 | 2007-02-22 | サムスン エレクトロニクス カンパニー リミテッド | 適応型フレーム間ウェーブレットのビデオコーディング方法、前記方法のためのコンピュータで読取り可能な記録媒体、及び装置 |
KR100596706B1 (ko) * | 2003-12-01 | 2006-07-04 | 삼성전자주식회사 | 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 |
KR100994773B1 (ko) | 2004-03-29 | 2010-11-16 | 삼성전자주식회사 | 계층적 움직임 추정에 있어서 움직임 벡터 생성 방법 및장치 |
CN100373952C (zh) * | 2004-06-15 | 2008-03-05 | 中兴通讯股份有限公司 | 一种基于mpeg-4的视频对象快速运动估值方法 |
DE102004031407A1 (de) * | 2004-06-29 | 2006-01-26 | Siemens Ag | Verfahren zur Bildencodierung einer Folge von Originalbildern, sowie dazugehöriges Bilddecodierverfahren, Encodiervorrichtung und Decodiervorrichtung |
JP4942649B2 (ja) * | 2004-07-13 | 2012-05-30 | フランス テレコム | 種々の空間解像度を備えた周波数サブバンド係数へビデオ画像配列を符号化する方法及び装置 |
KR101225159B1 (ko) * | 2004-07-13 | 2013-01-22 | 프랑스 뗄레꽁 | 비디오 이미지의 시퀀스를 코딩하는 방법 및 장치 |
ITMI20041971A1 (it) * | 2004-10-15 | 2005-01-15 | Uni Degli Studi Brescia | Metodo di codifica video scalabile |
KR100664932B1 (ko) * | 2004-10-21 | 2007-01-04 | 삼성전자주식회사 | 비디오 코딩 방법 및 장치 |
WO2006043754A1 (en) * | 2004-10-21 | 2006-04-27 | Samsung Electronics Co., Ltd. | Video coding method and apparatus supporting temporal scalability |
WO2006080665A1 (en) * | 2004-10-21 | 2006-08-03 | Samsung Electronics Co., Ltd. | Video coding method and apparatus |
KR100807094B1 (ko) * | 2005-01-14 | 2008-02-26 | 주식회사 휴맥스 | 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법 |
EP1900222A4 (en) * | 2005-01-21 | 2009-10-28 | Lg Electronics Inc | METHOD AND APPARATUS FOR ENCODING / DECODING VIDEO SIGNALS USING BLOCK PREDICTION INFORMATION |
KR100913088B1 (ko) * | 2005-01-21 | 2009-08-21 | 엘지전자 주식회사 | 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치 |
US7706440B2 (en) * | 2005-02-08 | 2010-04-27 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Method for reducing bit rate requirements for encoding multimedia data |
KR100755689B1 (ko) * | 2005-02-14 | 2007-09-05 | 삼성전자주식회사 | 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치 |
WO2006085725A1 (en) * | 2005-02-14 | 2006-08-17 | Samsung Electronics Co., Ltd. | Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same |
US7830961B2 (en) * | 2005-06-21 | 2010-11-09 | Seiko Epson Corporation | Motion estimation and inter-mode prediction |
US20070014365A1 (en) * | 2005-07-18 | 2007-01-18 | Macinnis Alexander | Method and system for motion estimation |
US8170102B2 (en) * | 2005-12-19 | 2012-05-01 | Seiko Epson Corporation | Macroblock homogeneity analysis and inter mode prediction |
US7843995B2 (en) * | 2005-12-19 | 2010-11-30 | Seiko Epson Corporation | Temporal and spatial analysis of a video macroblock |
US7569807B2 (en) * | 2006-08-22 | 2009-08-04 | Koninklijke Philips Electronics N.V. | Light source with photosensor light guide |
US8218811B2 (en) | 2007-09-28 | 2012-07-10 | Uti Limited Partnership | Method and system for video interaction based on motion swarms |
US8443275B2 (en) * | 2008-01-15 | 2013-05-14 | Texas Instruments Incorporated | Lossy compression technique for video encoder bandwidth reduction using compression error data |
US8619861B2 (en) * | 2008-02-26 | 2013-12-31 | Microsoft Corporation | Texture sensitive temporal filter based on motion estimation |
CN101662679B (zh) * | 2008-08-26 | 2011-12-21 | 华为技术有限公司 | 一种滤波的方法和装置 |
US9344735B2 (en) | 2009-12-21 | 2016-05-17 | Tmm, Inc. | Progressive shape based encoding of video content within a swarm environment |
US9118922B2 (en) * | 2009-12-30 | 2015-08-25 | TMM Inc. | Progressive encoding of video content within a swarm environment |
US20150023436A1 (en) * | 2013-07-22 | 2015-01-22 | Texas Instruments Incorporated | Method and apparatus for noise reduction in video systems |
CN107564544A (zh) * | 2016-06-30 | 2018-01-09 | 展讯通信(上海)有限公司 | 语音活动侦测方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE458003B (sv) * | 1986-09-23 | 1989-02-13 | Torbjoern Kronander | Metod att representera roerliga bilder |
JP2956464B2 (ja) * | 1993-12-29 | 1999-10-04 | 日本ビクター株式会社 | 画像情報圧縮伸長装置 |
JP3855286B2 (ja) * | 1995-10-26 | 2006-12-06 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 |
EP1100260A1 (en) * | 1999-11-12 | 2001-05-16 | STMicroelectronics S.r.l. | Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders |
-
2001
- 2001-11-12 WO PCT/EP2001/013160 patent/WO2002041636A1/en not_active Application Discontinuation
- 2001-11-12 EP EP01996974A patent/EP1338148A1/en not_active Withdrawn
- 2001-11-12 KR KR1020027009156A patent/KR20020077884A/ko not_active Application Discontinuation
- 2001-11-12 CN CNB018150608A patent/CN1201590C/zh not_active Expired - Fee Related
- 2001-11-12 JP JP2002543232A patent/JP2004514351A/ja active Pending
- 2001-11-15 US US10/011,211 patent/US6954500B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014179918A (ja) * | 2013-03-15 | 2014-09-25 | Canon Inc | 動画像符号化装置、その制御方法、及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US6954500B2 (en) | 2005-10-11 |
CN1201590C (zh) | 2005-05-11 |
KR20020077884A (ko) | 2002-10-14 |
EP1338148A1 (en) | 2003-08-27 |
US20020110194A1 (en) | 2002-08-15 |
WO2002041636A1 (en) | 2002-05-23 |
CN1451238A (zh) | 2003-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004514351A (ja) | ブロックマッチング処理を用いたビデオ符号化方法 | |
US8665960B2 (en) | Real-time video coding/decoding | |
KR101192026B1 (ko) | 소스 픽쳐의 시퀀스를 코딩하는 방법 또는 장치 | |
CN100364338C (zh) | 估计图像噪声的方法和设备和消除噪声的方法 | |
US8526488B2 (en) | Video sequence encoding system and algorithms | |
EP0734177A2 (en) | Method and apparatus for encoding/decoding a video signal | |
JPH08307874A (ja) | 映像信号符号化装置 | |
CN108989802B (zh) | 一种利用帧间关系的hevc视频流的质量估计方法及*** | |
KR100597397B1 (ko) | 고속 움직임추정 알고리즘을 갖는 동영상 코딩방법 및 장치 | |
JPH08265765A (ja) | イメージ符号化システムとこれに用いる動き補償装置 | |
US20060193526A1 (en) | Video encoder with low complexity noise reduction | |
KR100870554B1 (ko) | 웨이블릿 기반의 효율적인 스케일러블 비디오 부호화를위한 움직임 보상 시간적 필터링 방법 및 그 방법을실행하기 위한 프로그램이 기록된 기록매체 | |
Hong et al. | Motion estimation and filtered prediction for dynamic point cloud attribute compression | |
JPWO2013001720A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
KR20160105127A (ko) | 시프팅 매트릭스를 이용한 dct 기반의 부화소 단위 움직임 예측 방법 | |
CN113055670B (zh) | 一种基于hevc/h.265的视频编码的方法及*** | |
Padmanabhan et al. | A proficient wavelet–based video encoder through the motion estimation algorithm | |
KR100203682B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
JP2625424B2 (ja) | テレビ信号符号化装置 | |
Zoghlami et al. | High-level implementation of Video compression chain coding based on MCTF lifting scheme | |
Chen et al. | Improved overlapped block motion compensation using adaptive weighting matrices design for 3D wavelet-based scalable video coding | |
Shenolikar et al. | Motion estimation on DWT based image sequence | |
CN116980613A (zh) | 一种应用于无人值守设备视频的安全压缩方法 | |
Zhang et al. | A novel in-loop filtering mechanism of HEVC based on 3D sub-bands and CNN processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041111 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060627 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061128 |