JP2006270181A - Decoding and storing method and apparatus for residual component in motion compensated temporal filtering - Google Patents

Decoding and storing method and apparatus for residual component in motion compensated temporal filtering

Info

Publication number
JP2006270181A
JP2006270181A JP2005081554A JP2005081554A JP2006270181A JP 2006270181 A JP2006270181 A JP 2006270181A JP 2005081554 A JP2005081554 A JP 2005081554A JP 2005081554 A JP2005081554 A JP 2005081554A JP 2006270181 A JP2006270181 A JP 2006270181A
Authority
JP
Japan
Prior art keywords
residual
decoding
residual component
storing
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005081554A
Other languages
Japanese (ja)
Inventor
Sun Rimu Chon
スン・リム チョン
Mei Shen Shen
メイ・シェン シェン
Toshiyuki Kondo
敏志 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005081554A priority Critical patent/JP2006270181A/en
Publication of JP2006270181A publication Critical patent/JP2006270181A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce the memory requirement of a decoder in motion compensated temporal filtering scheme. <P>SOLUTION: Motion compensated temporal filtering scheme requires a video decoder to perform the inverse update operation prior to the inverse prediction operation. Thus, the video decoder is required to store the decoded residuals values of a high frequency picture that is divided into two elements comprising higher-order bits and lower-order bits (114), to separate memories. The higher-order element is stored to a residual reference frame memory so as to be later used for both the inverse update operation and the inverse prediction operation (116). The lower-order element is stored to a restoration frame memory for use in only the inverse prediction operation (118). <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、あらゆるマルチメディアデータ符号化において用いられ、特に、動き補償型時間方向フィルタ処理に対応する動画像符号化において用いることができる。   The present invention is used in any multimedia data coding, and in particular, can be used in video coding corresponding to motion compensation type time direction filtering.

近年の動画像圧縮技術の発達は、従来技術であるH. 264/AVCを超える符号化効率を向上させるという試みのもと、動画像コーデックにおける動き補償型時間方向フィルタ処理(motion-compensated temporal filtering (MCTF))の使用の拡大にみられる。MCTFに基づいた動画像符号化と、ISO/IEC 11172-2、ISO/IEC 13818-2、およびISO/IEC14496-2 Part 10等の従来の動画像符号化との差は、予測残差成分を線形結合させた成分が、更新ステップにより入力信号の画素に付加され、時間的低域成分が得られるという点である。   In recent years, the development of video compression technology has been developed in an effort to improve the coding efficiency that exceeds the conventional H.264 / AVC, and motion-compensated temporal filtering (motion-compensated temporal filtering) (MCTF)) seen in the expansion of use. The difference between video coding based on MCTF and conventional video coding such as ISO / IEC 11172-2, ISO / IEC 13818-2, and ISO / IEC14496-2 Part 10 is the prediction residual component. The linearly combined component is added to the pixel of the input signal by the update step, and a temporal low frequency component is obtained.

MCTFで用いられる上記リフティング方法は以下のように表すことができる。   The lifting method used in MCTF can be expressed as follows.

h[k] = s[2k+1]−P(s[2k+1]) Eqn. 1         h [k] = s [2k + 1] −P (s [2k + 1]) Eqn. 1

l[k] = s[2k]+U(s[2k]) Eqn. 2         l [k] = s [2k] + U (s [2k]) Eqn. 2

ここでsは信号を、PとUはそれぞれ予測／更新オペレータを、hは高域信号を、そしてlは低域信号を示す。動き補償型時間方向フィルタ処理において最もよく使われるフィルタには２つの種類がある。それらはハール型フィルタと５／３変換フィルタである。   Here, s is a signal, P and U are prediction / update operators, h is a high frequency signal, and l is a low frequency signal. There are two types of filters that are most often used in motion compensated temporal filtering. They are a Haar filter and a 5/3 conversion filter.

ハール型フィルタでは、PとUは以下のように表される。   In a Haar filter, P and U are expressed as follows:

PHaar(s[x, 2k+1]) = s[x+mp0, 2k−2rp0] Eqn. 3 P Haar (s [x, 2k + 1]) = s [x + m p0 , 2k−2r p0 ] Eqn. 3

UHaar(s[x, 2k]) = 1/2h[x+mU0, k+rU0] Eqn. 4 U Haar (s [x, 2k]) = 1 / 2h [x + m U0 , k + r U0 ] Eqn. 4

５／３変換フィルタでは、予測／更新オペレータは以下のように求められる。   In the 5/3 conversion filter, the prediction / update operator is obtained as follows.

P5/3(s[x, 2k+1]) = 1/2(s[x+mp0, 2k−2rp0]+s[x+mp1, 2k+2+2rp1]) Eqn. 5 P 5/3 (s [x, 2k + 1]) = 1/2 (s [x + m p0 , 2k−2r p0 ] + s [x + m p1 , 2k + 2 + 2r p1 ]) Eqn. 5

U5/3(s[x, 2k]) = 1/4(h[x+mU0, k+rU0]+h[x+mU1, k−1−rU1]) Eqn. 6 U 5/3 (s [x, 2k]) = 1/4 (h [x + m U0 , k + r U0 ] + h [x + m U1 , k−1−r U1 ]) Eqn. 6

リフティング方法に基づき画素を復元するためには、逆更新動作が逆予測動作より前に行われなければならない。よって、復元処理は以下の様に表すことができる。   In order to restore the pixels based on the lifting method, the reverse update operation must be performed before the reverse prediction operation. Therefore, the restoration process can be expressed as follows.

s[2k] = l´[k]−U(s[2k]) Eqn. 7         s [2k] = l´ [k] −U (s [2k]) Eqn. 7

s[2k+1] = h´[k]+P(s[2k]) Eqn. 8         s [2k + 1] = h´ [k] + P (s [2k]) Eqn. 8

ここで、sは信号を、PとUはそれぞれ予測／更新オペレータを、h´は復元高域信号を、l´は復元低域信号を示す。   Here, s is a signal, P and U are prediction / update operators, h ′ is a restored high frequency signal, and l ′ is a restored low frequency signal.

実際、高域信号は従来の動画像コーデックのP及びBピクチャの残差成分と同一である。例えば、式３は、１方向予測のための動き補償動作と同様の予測動作を示す。同じく、式５は、２方向予測のための動き補償動作と同様の予測動作を示す。この二つの動作は従来の動画像符号化と同じである。よって、時間的高域成分ピクチャの画面間符号化マクロブロックは、ハールフィルタか５／３変換フィルタのどちらが残差を求めるために用いられたかによって、PもしくはBピクチャの画面間符号化マクロブロックと同一である。   In fact, the high frequency signal is the same as the residual components of the P and B pictures of the conventional video codec. For example, Equation 3 shows a prediction operation similar to the motion compensation operation for unidirectional prediction. Similarly, Expression 5 shows a prediction operation similar to the motion compensation operation for bi-directional prediction. These two operations are the same as the conventional moving image encoding. Therefore, the inter-frame coding macroblock of the temporal high-frequency component picture is different from the inter-frame coding macroblock of the P or B picture depending on whether the Haar filter or the 5/3 transform filter is used to obtain the residual Are the same.

式４と６は動き補償型時間方向フィルタ処理においてのみ用いられる更新動作である。それらは式２において時間的低域信号を求めるため、及び式７において時間的低域信号から画素を復元するために用いられる。   Equations 4 and 6 are update operations used only in motion compensated temporal direction filtering. They are used in Equation 2 to determine the temporal low pass signal and in Equation 7 to recover the pixel from the temporal low pass signal.

動き補償型時間方向フィルタ処理は、動画像シーケンスを圧縮するのに常に効率が良いというわけではない。例えば、動画像シーケンスにおいてシーンチェンジが起これば、時間フィルタをこれらのピクチャに用いることは有用ではない。従来の動画像コーデックと同様に、画面間符号化マクロブロックはこの目的のために送信できる。動き補償型時間方向フィルタ処理と共に用いられた場合、PとUは以下のように表される。   Motion compensated temporal filtering is not always efficient for compressing moving image sequences. For example, if a scene change occurs in a moving image sequence, it is not useful to use a temporal filter for these pictures. Similar to conventional video codecs, inter-coded macroblocks can be transmitted for this purpose. When used with motion compensated temporal filtering, P and U are expressed as follows:

PIntra (s[x, 2k+1]) = 0 Eqn. 9 P Intra (s [x, 2k + 1]) = 0 Eqn. 9

UIntra (s[x, 2k]) = 0 Eqn. 10 U Intra (s [x, 2k]) = 0 Eqn. 10

動き補償型時間方向フィルタ処理における復号化処理において、復号化装置は、それぞれ式７と８で示される、逆予測動作より前に最初に逆更新動作を行う必要がある。ハールおよび５／３変換フィルタのどちらも時間的低域信号を復元するために用いることができるため、復号化装置は、フレーム全体の復元高域信号、もしくは逆更新及び逆予測動作両方の局部メモリ中の残差成分を格納しなければならない。８ビットの入力動画像において、これらの残差値の範囲は−２５５から２５５であり、これらを完全に表現をするには９ビットを必要とする。   In the decoding process in the motion compensation type time direction filter process, the decoding apparatus needs to perform the reverse update operation first before the reverse prediction operation represented by Equations 7 and 8, respectively. Since both Haar and 5/3 transform filters can be used to recover the temporal low-frequency signal, the decoding device can recover the entire frame of the recovered high-frequency signal, or local memory for both inverse update and inverse prediction operations. The residual component in must be stored. In an 8-bit input video, these residual values range from -255 to 255, and 9 bits are required to fully represent them.

一方、時間的高域ピクチャにおいて符号化された画面内符号化マクロブロックについて、復号化装置は、復元画面間マクロブロック残差成分から分離されたフレームメモリにおけるこれらのマクロブロックの復元画素を格納しなければならない。それは、逆更新動作は、式１０に示されるように、これらの復元画面内画素に適応しないからである。よって、これらの画素は別々に格納される必要があり、復元残差成分のみに対する動き補償に関する逆更新処理中には参照されない。   On the other hand, for intra-coded macroblocks encoded in temporal high-frequency pictures, the decoding device stores the restored pixels of these macroblocks in the frame memory separated from the restored inter-screen macroblock residual components. There must be. This is because the reverse update operation does not adapt to these restored in-screen pixels as shown in Equation 10. Thus, these pixels need to be stored separately and are not referenced during the reverse update process for motion compensation for only the restored residual component.

上記先行技術の問題点は、これら９ビットの復号残差成分を格納するために、復号化装置はそれぞれの復号残差成分の格納に２バイトを必要とすることである。これは、画面内復号化復元画素を格納するために必要なフレームメモリを除いて、全ての画面間復号化マクロブロック残差成分を格納するために２フレーム分の大きさのメモリが必要であることを意味する。これは、MPEG-1、MPEG-2、もしくはMPEG-4 AVCといった従来の動画像符号化方法と比較して、復号化装置側のメモリサイズが相当大きくなるということである。   The problem with the prior art is that, in order to store these 9-bit decoded residual components, the decoding apparatus needs 2 bytes to store each decoded residual component. This requires a memory size of two frames to store all the inter-screen decoded macroblock residual components except for the frame memory necessary to store the intra-screen decoding restored pixels. Means that. This means that the memory size on the decoding device side is considerably larger than that of a conventional moving image encoding method such as MPEG-1, MPEG-2, or MPEG-4 AVC.

上記メモリ使用量増大化の問題を解決するために、動き補償型時間方向フィルタ処理における９ビットの残差成分を格納する新しい方法を提案する。本発明が新しい点は、高域ピクチャの復元残差成分を、例えば符号付８ビットの要素と１ビットの要素、の二つの要素に分割し、これら２つの要素を別々のフレームメモリに格納することである。逆更新動作は上位８ビットの要素だけを用い、一方、逆予測動作は復元画素を求めるために、復元残差成分の両方の要素を用いる。   In order to solve the problem of increasing the memory usage, a new method for storing a 9-bit residual component in motion compensated temporal direction filtering is proposed. The present invention is new in that the restoration residual component of a high-frequency picture is divided into two elements, for example, a signed 8-bit element and a 1-bit element, and these two elements are stored in separate frame memories. That is. The inverse update operation uses only the upper 8 bits, while the inverse prediction operation uses both elements of the restored residual component to determine the restored pixels.

本発明の効果は、動き補償型時間方向フィルタ処理を行うために必要なメモリの容量を減らし、符号化装置と復号化装置にかかるコストを間接的に減らすことである。   The effect of the present invention is to reduce the memory capacity necessary for performing the motion compensation type time direction filter processing and indirectly reduce the cost of the encoding device and the decoding device.

本発明は、動き補償型時間方向フィルタ処理の処理を行う動画像復号化装置が必要な使用メモリ容量を減らすことを目的とする。   It is an object of the present invention to reduce the memory capacity required for a video decoding apparatus that performs motion compensation type time direction filtering.

図１は動き補償型時間方向フィルタ処理における画面内及び画面間の符号化マクロブロックの復号化処理を示す。図１に示すように、動画像復号化装置はモジュール１００における動画像符号化列から変換係数を復号するエントロピー復号処理を行う。そして、これら変換係数は、モジュール１０２において、例えばジグザグスキャンのような、規格によって規定されるスキャン方法で逆スキャンされる。次にこの変換係数は、それぞれモジュール１０４及び１０６に示されるような残差値になるように逆スケーリング及び逆変換される。モジュール１０８及び１１０において、復号化装置は、マクロブロックタイプを決定し、現マクロブロックが画面内マクロブロックであるかどうかを確認する。現マクロブロックが画面内マクロブロックである場合は、復号化装置は、モジュール１２０に示すように画面内予測を行うことによって予測値を取得する。次に、復号化装置は予測値とモジュール１２２の復号化残差値の和を求めることによって画素を復元する。復元された画素は８ビットにクリッピングされ、モジュール１２４の復元フレームメモリに格納される。復元画素を８ビットにクリッピングする処理は、画素値が２５５より大きい場合は、画素値を２５５に設定するステップを伴い、画素値が０より小さい場合は、画素値を０に設定するステップを伴う。   FIG. 1 shows a decoding process of an encoded macroblock within a screen and between screens in motion compensation type time direction filter processing. As shown in FIG. 1, the moving picture decoding apparatus performs entropy decoding processing for decoding transform coefficients from a moving picture encoded sequence in the module 100. Then, these conversion coefficients are reversely scanned in the module 102 by a scanning method defined by a standard such as zigzag scanning. This transform coefficient is then inversely scaled and inverse transformed to a residual value as shown in modules 104 and 106, respectively. In modules 108 and 110, the decoding device determines the macroblock type and checks whether the current macroblock is an in-screen macroblock. If the current macroblock is an intra-screen macroblock, the decoding apparatus obtains a prediction value by performing intra-screen prediction as shown in the module 120. Next, the decoding apparatus restores the pixel by obtaining the sum of the prediction value and the decoding residual value of the module 122. The restored pixel is clipped to 8 bits and stored in the restored frame memory of module 124. The process of clipping the restored pixel to 8 bits involves a step of setting the pixel value to 255 when the pixel value is larger than 255, and a step of setting the pixel value to 0 when the pixel value is smaller than 0. .

現マクロブロックが画面内マクロブロックでない場合は、モジュール１１２に示すように、符号付ビットを含めて復号化残差成分は９ビットにクリップされる。復号化残差成分を９ビットにクリップする処理は、残差値が２５５より大きい場合は、残差値を２５５に設定するステップを伴い、画素値が−２５６より小さい場合は残差値を−２５６に設定するステップを伴う。低域においては、−２５６の値の他に、−２５５の値も用いることができる。モジュール１１４において、クリッピング残差値は２つの部分に分けられる。第１の部分は上位８ビットを含み、一方、第２の部分は復号化残差成分の下位ビットを含む。モジュール１１６において、残差成分の上位８ビットを含む部分は、後で逆更新動作及び逆予測動作の両方に用いられる、残差参照フレームメモリに格納される。一方、残差成分の下位ビットを含む第２の部分は、後でモジュール１１８に示される逆予測動作においてのみ用いられる、復元フレームメモリに格納される。モジュール１１８における最後の動作は、本実施の形態においては復号化装置における実装上の複雑さを減らすため任意とする。   If the current macroblock is not an in-screen macroblock, the decoded residual component including the signed bits is clipped to 9 bits as shown in module 112. The process of clipping the decoded residual component to 9 bits involves a step of setting the residual value to 255 when the residual value is larger than 255, and the residual value is − when the pixel value is smaller than −256. With the step of setting to 256. In the low frequency range, a value of −255 can be used in addition to a value of −256. In module 114, the clipping residual value is divided into two parts. The first part contains the upper 8 bits, while the second part contains the lower bits of the decoded residual component. In module 116, the portion of the residual component that includes the upper 8 bits is stored in a residual reference frame memory that is later used for both the inverse update operation and the inverse prediction operation. On the other hand, the second part including the lower bits of the residual component is stored in the restored frame memory, which is only used later in the inverse prediction operation shown in module 118. The last operation in the module 118 is arbitrary in this embodiment in order to reduce the implementation complexity of the decoding apparatus.

図２は、本発明における逆更新処理を示す。モジュール２００において、最初に、更新動作ベクトルが導出される。次に、復号化装置はモジュール２００において現マクロブロックの更新動作のために用いられるフィルタの種類を決定する。モジュール２０４に示すように、フィルタの種類が５／３変換タイプである場合、復号化装置は、モジュール２１０及び２１２に示される２組の動き補償残差成分のそれぞれに対して２回の動き補償動作を行う必要がある。動き補償動作は符号付８ビット動作参照フレームに対して行われる。次に、モジュール２１４において、逆更新残差を２組の動き補償残差成分の平均をとることで求める。その動作には、２つの残差値の和を求め、その和に１を加算し、その最終結果を右に１ビットシフトするステップを含む。モジュール２０４に示すように、フィルタの種類が５／３変換タイプでない場合、復号化装置は、モジュール２０６において逆更新残差を求めるために残差参照フレームに１回の動き補償動作のみを行う。モジュール２１８において、低域ピクチャのための復元画素は復元フレームメモリから求められる。復元画素は、モジュール２２０において、逆更新残差成分が減算される。最後に、モジュール２２２において、最終復元値は８ビットにクリッピングされる。   FIG. 2 shows the reverse update process in the present invention. In module 200, an update motion vector is first derived. Next, the decoding apparatus determines the type of filter used in the module 200 for the update operation of the current macroblock. As shown in module 204, if the filter type is a 5/3 transform type, the decoding device performs motion compensation twice for each of the two sets of motion compensation residual components shown in modules 210 and 212. It is necessary to perform an action. The motion compensation operation is performed on the signed 8-bit operation reference frame. Next, in module 214, the inverse update residual is determined by averaging the two sets of motion compensation residual components. The operation includes the steps of obtaining the sum of the two residual values, adding 1 to the sum, and shifting the final result to the right by 1 bit. As shown in module 204, if the filter type is not a 5/3 transform type, the decoding device performs only one motion compensation operation on the residual reference frame to obtain an inverse update residual in module 206. In module 218, the restored pixels for the low pass picture are determined from the restored frame memory. In the restored pixel, the inverse update residual component is subtracted from the restored pixel. Finally, in module 222, the final recovered value is clipped to 8 bits.

図３は、本発明における逆予測処理を示す。モジュール３００において、現マクロブロックの動きベクトルは導出される。これらの動きベクトルは既に復号化され、復号化装置の局所メモリに格納されている。次に、モジュール３０２において、復号化装置は、予測が１方向予測か２方向予測かによって、一つか二つの動きベクトルの組を用いて予測画素を求めるために、復元参照フレームに動き補償を行う。動き補償動作は復元参照フレームに対して行われる。次に、モジュール３０６において、復号化装置は、残差フレームバッファから復号化残差成分の上位８ビットを導出する。導出された残差値は、次にモジュール３１０において、２の因数で乗算される。モジュール３１２において、復号残差成分の下位ビットは、次に復元フレームバッファから導出される。次に、モジュール３１６において、復号残差成分は残差の下位ビットと復号化残差成分の残りの和を求めることによって復元される。モジュール３１２及び３１６における動作は、本実施の形態においては復号化装置における実装上の複雑を減らすため任意とする。   FIG. 3 shows the inverse prediction process in the present invention. In module 300, the motion vector of the current macroblock is derived. These motion vectors have already been decoded and stored in the local memory of the decoding device. Next, in module 302, the decoding apparatus performs motion compensation on the reconstructed reference frame to obtain a prediction pixel using one or two sets of motion vectors depending on whether the prediction is one-way prediction or two-way prediction. . The motion compensation operation is performed on the restored reference frame. Next, in module 306, the decoding device derives the upper 8 bits of the decoded residual component from the residual frame buffer. The derived residual value is then multiplied by a factor of 2 in module 310. In module 312, the lower bits of the decoded residual component are then derived from the recovered frame buffer. Next, in module 316, the decoded residual component is reconstructed by determining the remaining sum of the lower bits of the residual and the decoded residual component. In this embodiment, the operations in modules 312 and 316 are arbitrary in order to reduce the implementation complexity of the decoding apparatus.

最後に、画素は、それぞれモジュール３１８及び３２０に示すように、最終残差値に予測値を加算し、復元画素を８ビットにクリッピングすることによって復元される。   Finally, the pixels are reconstructed by adding the predicted value to the final residual value and clipping the reconstructed pixel to 8 bits, as shown in modules 318 and 320, respectively.

図４は、符号化列において符号化されたフラグを用いて本発明を選択する処理を示す。モジュール４００において、8bits_update_flagは動画像符号化列から復号化される。このフラグは動画像シーケンスパラメータセットにおいて符号化することができる。このフラグはプロフィールインジケータに従って、復号化装置によって特定の値を設定することもできる。次に、モジュール４０２において、このフラグの値が１の値であればその値が決定される。その値が１でない場合は、復号化装置は従来技術を用い、モジュール４０６において９ビットの符号付残差成分に逆更新動作を行い、モジュール４１２において９ビットの符号付残差成分を用いて逆予測動作を行う。   FIG. 4 shows a process for selecting the present invention using the flag encoded in the encoded sequence. In the module 400, 8bits_update_flag is decoded from the moving image coded sequence. This flag can be encoded in the video sequence parameter set. This flag can also be set to a specific value by the decoding device according to the profile indicator. Next, in the module 402, if the value of this flag is 1, the value is determined. If the value is not 1, the decoding apparatus uses conventional techniques, performs a reverse update operation on the 9-bit signed residual component in module 406, and reverses using the 9-bit signed residual component in module 412. Perform predictive actions.

モジュール４０２において、8bits_update_flagの値が１である場合は、第２のフラグの値、last_bit_pred_flag、がモジュール４０４において決定される。このフラグは、現時点において動画像符号化列にある場合は、動画像シーケンスパラメータセットにおいて符号化される。このフラグの値は、プロフィールインジケータの値に従って、復号化装置によって設定することもできる。モジュール４１０において、last_bit_pred_flagの値が１である場合、復号化装置は本発明を用いて符号付９ビット残差に逆予測動作をおこなう。モジュール４１６において、上記last_bit_pred_flagの値が１でない場合は、復号化装置は本発明を用いて逆予測動作を符号付８ビットでもって行う。   In the module 402, when the value of 8bits_update_flag is 1, the value of the second flag, last_bit_pred_flag, is determined in the module 404. This flag is encoded in the moving image sequence parameter set if it is present in the moving image encoded sequence. The value of this flag can also be set by the decoding device according to the value of the profile indicator. In module 410, when the value of last_bit_pred_flag is 1, the decoding apparatus performs a reverse prediction operation on a signed 9-bit residual using the present invention. In the module 416, when the value of the last_bit_pred_flag is not 1, the decoding apparatus performs an inverse prediction operation with signed 8 bits using the present invention.

本発明における画面内及び画面間符号化マクロブロックの復号化処理を示すフローチャートである。It is a flowchart which shows the decoding process of the intra-screen and inter-screen coding macroblock in this invention. 本発明における逆更新処理を示すフローチャートである。It is a flowchart which shows the reverse update process in this invention. 本発明における逆予測処理を示すフローチャートである。It is a flowchart which shows the reverse prediction process in this invention. 本発明を選択する処理を示すフローチャートである。It is a flowchart which shows the process which selects this invention.

Claims (42)

動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法であって、
前記復号化処理は、
動画像符号化列からマクロブロックを復号化し、
逆更新動作を行い、
逆予測動作を行う
ステップを備えることを特徴とする復号化及び格納方法。 A method for decoding and storing a residual component in motion compensated temporal filtering, comprising:
The decryption process
Decoding a macroblock from a moving image encoded sequence;
Perform reverse update operation,
A decoding and storing method comprising a step of performing an inverse prediction operation. 前記動画像符号化列から前記マクロブロックを復号化するステップは、
変換係数を復号化するためにエントロピー復号化を行い（１００）、
スキャン順に前記変換係数をスキャンし（１０２）、
復元された変換係数を求めるために前記変換係数の逆スケーリングをし（１０４）、
前記復元係数を残差成分に逆変換し（１０６）、
前記マクロブロックが画面内符号化もしくは画面間符号化されたかを決定し（１０８）、
前記マクロブロックが画面内符号化される場合、画素を復元し（１２０、１２２、
１２４）、
前記マクロブロックが画面間符号化される場合、残差成分を９ビットにクリッピングし
（１１２）、
前記残差成分を残差フレームメモリ及び復元フレームメモリの両方に格納する（１１４、
１１６、１１８）
ステップを備えることを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 Decoding the macroblock from the video encoded sequence comprises:
Entropy decoding to decode transform coefficients (100);
Scan the transform coefficients in scan order (102);
Performing inverse scaling of the transform coefficient to obtain a restored transform coefficient (104);
Inversely transforming the restoration coefficient into a residual component (106);
Determining whether the macroblock is intra-coded or inter-coded (108);
If the macroblock is intra-coded, restore the pixels (120, 122,
124),
If the macroblock is inter-coded, clip the residual component to 9 bits (112);
The residual component is stored in both the residual frame memory and the restored frame memory (114,
116, 118)
The method for decoding and storing a residual component in motion compensated temporal direction filtering according to claim 1, further comprising a step. 前記マクロブロックが画面内符号化される場合、画素を復元するステップは、
予測画素を求めるために画面内予測を行い、（１２０）
画素を復元するために、前記予測画素と前記復号化残差を加算し（１２２）、
前記復元画素を８ビットにクリッピングし、
前記復元画素を前記復元フレームメモリに格納する（１２４）
ステップを備えることを特徴とする請求項１及び２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 If the macroblock is intra-coded, restoring the pixels includes
In-screen prediction is performed to obtain a prediction pixel, (120)
In order to reconstruct a pixel, the prediction pixel and the decoding residual are added (122),
Clipping the restored pixel to 8 bits;
The restored pixel is stored in the restored frame memory (124).
The method for decoding and storing a residual component in motion compensation type time direction filter processing according to claim 1, further comprising a step. 前記復元画素を８ビットにクリッピングするステップは、
前記画素の値が２５５より大きい場合は、前記復元画素に２５５の値を設定し、
前記画素の値が０より小さい場合は、前記復元画素に０の値を設定する
ステップを備えることを特徴とする請求項１、２及び３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 Clipping the restored pixel to 8 bits comprises:
If the value of the pixel is greater than 255, set the restored pixel to a value of 255;
The residual component of the motion compensation type time direction filter processing according to claim 1, further comprising a step of setting a value of 0 to the restored pixel when the value of the pixel is smaller than 0. Decryption and storage method. 前記復号化残差成分を９ビットにクリッピングするステップは、
前記復号化残差成分が２５５より大きい場合、前記復号化残差成分に２５５の値を設定し、
前記復号化残差成分が−２５６より小さい場合、前記復号化残差成分に−２５６の値を設定する
ステップを備えることを特徴とする請求項１及び２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 Clipping the decoded residual component to 9 bits comprises:
If the decoded residual component is greater than 255, set the decoded residual component to a value of 255;
3. The motion compensated temporal direction filtering process according to claim 1, further comprising a step of setting a value of −256 to the decoded residual component when the decoded residual component is smaller than −256. 4. A method for decoding and storing residual components. 前記復号化残差成分を格納するステップは、
前記復号化残差成分を上位８ビットの部分と下位ビットの部分に分割し（１１４）、
前記上位８ビットの部分を残差参照フレームメモリに格納し(１１６)、
前記下位ビットの部分を復元フレームメモリに格納する（１１８）
ステップを備えることを特徴とする請求項１及び２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 Storing the decoded residual component comprises:
Dividing the decoded residual component into an upper 8 bit portion and a lower bit portion (114);
Storing the upper 8 bits in a residual reference frame memory (116);
The lower bit portion is stored in the restored frame memory (118).
The method for decoding and storing a residual component in motion compensation type time direction filter processing according to claim 1, further comprising a step. 前記画面内符号化マクロブロックの復元画素を格納する前記復元フレームメモリと前記復号化残差の下位ビット部分を格納する前記復元フレームメモリは同一のフレームメモリである
ことを特徴とする請求項１、２、３及び６記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 2. The restored frame memory for storing restored pixels of the intra-coded macroblock and the restored frame memory for storing lower-order bits of the decoding residual are the same frame memory. 7. A method for decoding and storing a residual component in motion compensation type time direction filter processing according to 2, 3 and 6. 前記逆更新動作を行うステップは
更新動きベクトルを導出し（２００）、
更新動作に用いられるフィルタの種類を決定し(２０２)、
前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差を求め
（２１０、２１２、２１４）、
前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差を求め
(２０６)、
復元フレームメモリから低域ピクチャの復元画素を求め（２１８）、
前記低域ピクチャの復元画素から逆更新残差成分を減算し（２２０）、
最終復元画素を８ビットの値にクリッピングする（２２２）
ステップを備えることを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The step of performing the reverse update operation derives an update motion vector (200),
Determine the type of filter used for the update operation (202);
If the type of filter used is a 5/3 conversion type, the inverse update residual is obtained (210, 212, 214),
If the type of filter used is not a 5/3 conversion type, the inverse update residual is obtained.
(206),
Obtaining a restored pixel of the low-frequency picture from the restored frame memory (218);
Subtracting an inverse update residual component from the restored pixels of the low-pass picture (220);
Clip final restored pixel to 8-bit value (222)
The method for decoding and storing a residual component in motion compensated temporal direction filtering according to claim 1, further comprising a step. 前記フィルタの種類はハール型フィルタもしくは５／３変換フィルタである
ことを特徴とする請求項１及び８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納する方法である。 9. The method of decoding and storing a residual component in motion compensation time direction filter processing according to claim 1, wherein the type of the filter is a Haar type filter or a 5/3 conversion filter. 前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差成分を求めるステップは、
残差参照フレームメモリから第一の残差成分の組を求めるために動き補償を行い
（２１０）、
残差参照フレームメモリから第二の残差成分の組を求めるために動き補償を行い
（２１２）、
逆更新残差を求めるために、前記動き補償された第一と第二の残差成分の組の平均を求める（２１４）
ステップを備えることを特徴とする請求項１及び８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 If the type of filter used is a 5/3 conversion type, the step of obtaining an inverse update residual component is:
Performing motion compensation (210) to obtain a first set of residual components from the residual reference frame memory;
Performing motion compensation to determine a second set of residual components from the residual reference frame memory (212);
In order to determine an inverse update residual, an average of the set of the first and second residual components compensated for motion is determined (214)
9. The method for decoding and storing a residual component in motion compensated temporal direction filtering according to claim 1 and 8, further comprising a step. 前記動き補償された第一と第二の残差成分の組の平均を求めるステップは、
前記動き補償された残差成分の二組を加算し、
前記加算結果に１の値を加算し、
前記１を加算した結果を右に１ビットシフトする
ステップを備えることを特徴とする請求項１、８及び１０記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The step of obtaining an average of the set of the first and second residual components subjected to the motion compensation includes:
Adding two sets of the motion compensated residual components;
Adding a value of 1 to the addition result;
11. The method of decoding and storing a residual component in motion compensation type time direction filter processing according to claim 1, 8 and 10, further comprising a step of shifting the result of adding 1 by 1 bit to the right. 前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差成分は、残差参照フレームメモリから動き補償を行うことによって求めることができる
ことを特徴とする請求項１及び８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法（２０６）。 9. The inverse update residual component can be obtained by performing motion compensation from a residual reference frame memory if the type of filter used is not a 5/3 transform type. (206) A method for decoding and storing a residual component in the motion compensation type time direction filtering process. 前記逆予測動作を行うステップは、
マクロブロックから動きベクトルを導出し（３００）、
予測画素を求めるために、復元参照フレームに動き補償を行い（３０２）、
残差参照フレームから復号化残差成分の上位８ビットを導出し（３０６）、
２の因数で復号化残差成分の前記８ビットを乗算し（３１０）、
復元フレームバッファから前記復号化残差成分の下位ビットを導出し（３１２）、
前記乗算した値と前記下位ビットの値の和を求めることによって、前記符号化残差成分の値を復元し（３１６）、
前記予測画素を前記復元残差成分に加算することによって画素を復元し（３１８）、
前記復元画素を８ビットの値にクリッピングする（３２０）
ステップを備えることを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The step of performing the inverse prediction operation includes:
Deriving a motion vector from the macroblock (300);
In order to obtain a prediction pixel, motion compensation is performed on the restored reference frame (302),
Deriving the upper 8 bits of the decoded residual component from the residual reference frame (306);
Multiplying the 8 bits of the decoded residual component by a factor of 2 (310);
Deriving the lower bits of the decoded residual component from the recovered frame buffer (312);
Restoring the value of the encoded residual component by obtaining the sum of the multiplied value and the value of the lower bit (316);
Reconstructing a pixel by adding the predicted pixel to the reconstructed residual component (318);
Clip the restored pixel to an 8-bit value (320)
The method for decoding and storing a residual component in motion compensated temporal direction filtering according to claim 1, further comprising a step. 前記予測画素を求めるための動き補償動作の回数は、前記マクロブロックにおける予測ブロックの種類による
ことを特徴とする請求項１及び１３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The number of motion compensation operations for obtaining the prediction pixel depends on the type of the prediction block in the macroblock. The decoding of residual components in the motion compensation temporal filter processing according to claim 1 and 13, Storage method. 前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が２方向予測であれば２回である
ことを特徴とする請求項１、１３及び１４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 15. The motion compensated temporal direction filtering process according to claim 1, wherein the number of motion compensation operations for obtaining the prediction pixel is two if the block prediction is bi-directional prediction. A method for decoding and storing residual components. 前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が１方向予測であれば１回である
ことを特徴とする請求項１、１３及び１４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 15. The motion compensated temporal direction filter processing according to claim 1, 13 and 14, wherein the number of motion compensation operations for obtaining the prediction pixel is one when the block prediction is one-way prediction. A method for decoding and storing residual components. 前記下位ビットを導出するステップと前記下位ビットを加算することによって復号化画素を復元するステップは任意処理である
ことを特徴とする請求項１及び１３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The residual in motion compensated temporal direction filtering according to claim 1 and 13, wherein the step of deriving the lower bits and the step of restoring the decoded pixels by adding the lower bits are arbitrary processing. Component decoding and storage method. 前記逆更新動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The method of decoding and storing a residual component in motion compensated temporal direction filter processing according to claim 1, wherein the inverse update operation can be selected by a flag in the video sequence parameter set. 前記逆予測動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The method of decoding and storing a residual component in motion compensated temporal direction filter processing according to claim 1, wherein the inverse prediction operation can be selected by a flag in the video sequence parameter set. 前記逆更新動作を選択するステップは、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化し（４００）、
前記8bits_update_flagが１であるかを決定し（４０２）、
前記8bits_update_flagが１でなければ、９ビットの符号付残差成分を用いて逆更新動作を行い（４０６）、
前記8bits_update_flagが１であれば、請求項８記載の前記逆更新動作を行う（４０８）
ことを特徴とする請求項１及び１８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The step of selecting the reverse update operation includes:
Decoding 8bits_update_flag from the video sequence parameter set (400);
Determining whether the 8bits_update_flag is 1 (402);
If the 8bits_update_flag is not 1, a reverse update operation is performed using a 9-bit signed residual component (406),
If the 8bits_update_flag is 1, the reverse update operation according to claim 8 is performed (408).
19. A method for decoding and storing a residual component in motion compensation type time direction filter processing according to claim 1 and 18. 前記逆予測動作を選択するステップは、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化し（４００）、
前記8bits_update_flagが１であるかを決定し（４０２）、
前記8bits_update_flagが１であれば、前記シーケンスパラメータからlast_bit_pred_flagを復号化し（４０４）、
前記last_bit_pred_flagが１であるかを決定し（４１０）、
前記last_bit_pred_flagが１であれば、請求項１３記載の逆予測動作を行い（４１４）、
前記last_bit_pred_flagが１でなければ、請求項１３及び１７記載の符号付８ビット残差成分を用いた逆予測動作を行い（４１６）、
前記8bits_update_flagが１でなければ、従来技術記載の符号付９ビットを用いた逆予測動作を行う（４１２）
ことを特徴とする請求項１及び１９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 The step of selecting the inverse prediction operation includes:
Decoding 8bits_update_flag from the video sequence parameter set (400);
Determining whether the 8bits_update_flag is 1 (402);
If the 8bits_update_flag is 1, the last_bit_pred_flag is decoded from the sequence parameter (404),
Determining whether the last_bit_pred_flag is 1 (410);
If the last_bit_pred_flag is 1, the inverse prediction operation according to claim 13 is performed (414),
If the last_bit_pred_flag is not 1, an inverse prediction operation using a signed 8-bit residual component according to claims 13 and 17 is performed (416),
If the 8bits_update_flag is not 1, a reverse prediction operation using signed 9 bits described in the prior art is performed (412).
20. A method for decoding and storing a residual component in motion compensation type time direction filter processing according to claim 1 and 19. 動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置であって、
前記復号化装置は、
動画像符号化列からマクロブロックを復号化する手段と、
逆更新動作を行う手段と、
逆予測動作を行う手段と
を備えることを特徴とする復号化及び格納装置。 A device for decoding and storing a residual component in motion compensated temporal direction filtering, comprising:
The decoding device
Means for decoding a macroblock from a video encoded sequence;
Means for performing a reverse update operation;
And a means for performing an inverse prediction operation. 前記動画像符号化列からマクロブロックを復号化する手段は、
変換係数を復号化するためにエントロピー復号化を行う手段と（１００）、
スキャン順に前記変換係数をスキャンする手段と（１０２）、
復元された変換係数を求めるために前記変換係数の逆スケーリングをする手段と
（１０４）、
前記復元係数を残差に逆変換する手段と（１０６）、
前記マクロブロックが画面内符号化もしくは画面間符号化されたかを決定する手段と（１０８）、
前記マクロブロックが画面内符号化される場合、画素を復元する手段と
（１２０、１２２、１２４）、
前記マクロブロックが画面間符号化される場合、残差成分を９ビットにクリッピングする手段と（１１２）、
前記残差成分を残差フレームメモリ及び復元フレームメモリの両方に格納する手段と
（１１４、１１６、１１８）
を備えることを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 Means for decoding a macroblock from the video encoded sequence,
Means for performing entropy decoding to decode transform coefficients (100);
Means for scanning the transform coefficients in scan order (102);
Means (104) for inverse scaling of the transform coefficients to obtain a restored transform coefficient;
Means (106) for inversely transforming the restoration factor into a residual;
Means for determining whether the macroblock has been intra-coded or inter-coded (108);
If the macroblock is intra-coded, means for restoring pixels (120, 122, 124);
Means for clipping the residual component to 9 bits if the macroblock is inter-coded (112);
Means for storing the residual component in both a residual frame memory and a restored frame memory (114, 116, 118);
23. The apparatus for decoding and storing a residual component in motion compensated temporal direction filtering according to claim 22, further comprising: 前記マクロブロックが画面内符号化される場合、画素を復元する手段は、
予測画素を求めるために画面内予測を行う手段と（１２０）、
画素を復元するために、前記予測画素と前記復号化残差を加算する手段と（１２２）、
前記復元画素を８ビットにクリッピングする手段と、
前記復元画素を前記復元フレームメモリに格納する手段と（１２４）
を備えることを特徴とする請求項２２及び２３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 When the macroblock is intra-coded, means for restoring pixels is
Means for performing in-screen prediction to obtain a predicted pixel (120);
Means for adding the predicted pixel and the decoded residual to reconstruct a pixel (122);
Means for clipping the restored pixels to 8 bits;
Means for storing the restored pixels in the restored frame memory;
24. The apparatus for decoding and storing a residual component in motion compensation type time direction filtering according to claim 22 and 23. 前記復元残差成分を８ビットにクリッピングする手段は、
前記画素の値が２５５より大きい場合は、前記復元画素に２５５の値を設定する手段と、
前記画素の値が０より小さい場合は、前記復元画素に０の値を設定する手段と
を備えることを特徴とする請求項２２、２３及び２４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 The means for clipping the restored residual component to 8 bits comprises:
Means for setting a value of 255 for the restored pixel if the value of the pixel is greater than 255;
25. The residual component in the motion compensated temporal direction filter processing according to claim 22, 23, and 24, wherein when the pixel value is smaller than 0, means for setting the restored pixel to a value of 0 is provided. Decryption and storage device. 前記復号化残差成分を９ビットにクリッピングする手段は、
前記復号化残差成分が２５５より大きい場合は、前記復号化残差成分に２５５の値を設定する手段と、
前記復号化残差成分が−２５６より小さい場合は、前記復号化残差成分に−２５６の値を設定する手段と
を備えることを特徴とする請求項２２及び２３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 Means for clipping the decoded residual component to 9 bits;
Means for setting a value of 255 in the decoded residual component if the decoded residual component is greater than 255;
24. The motion compensated time direction filter according to claim 22, further comprising: means for setting a value of −256 in the decoded residual component when the decoded residual component is smaller than −256. Device for decoding and storing residual components in processing. 前記復号化残差成分を格納する手段は、
前記復号化残差成分を上位８ビットの部分と下位ビットの部分に分割する手段と
（１１４）、
前記上位８ビットの部分を残差参照フレームメモリに格納する手段と(１１６)、
前記下位ビットの部分を復元フレームメモリに格納する手段と（１１８）
を備えることを特徴とする請求項２２及び２３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。 Means for storing the decoded residual component;
Means (114) for dividing the decoded residual component into an upper 8 bit portion and a lower bit portion;
Means for storing said upper 8 bits in a residual reference frame memory (116);
Means for storing said lower bit portion in a restored frame memory; (118)
24. The method for decoding and storing a residual component in motion compensation type time direction filtering according to claim 22 and 23. 前記画面内符号化マクロブロックの復元画素を格納する前記復元フレームメモリと前記復号化残差成分の下位ビットの部分を格納する前記復元フレームメモリは同一のフレームメモリである
ことを特徴とする請求項２２、２３、２４及び２７記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 The restored frame memory for storing the restored pixels of the intra-coded macroblock and the restored frame memory for storing the lower bit part of the decoded residual component are the same frame memory. Decoding and storing device of residual component in motion compensation type time direction filter processing according to 22, 23, 24 and 27. 前記逆更新動作を行う手段は
更新動きベクトルを導出す手段と（２００）、
更新動作に用いられるフィルタの種類を決定する手段と(２０２)、
前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差成分を求める手段と（２１０、２１２、２１４）、
前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差成分を求める手段と(２０６)、
復元フレームメモリから低域ピクチャの復元画素を求める手段と（２１８）、
前記低域ピクチャの復元画素から逆更新残差を減算する手段と（２２０）、
最終復元画素を８ビットの値にクリッピングする手段と（２２２）
を備えることを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 Means for performing the reverse update operation is means for deriving an update motion vector (200);
Means for determining the type of filter used in the update operation (202);
If the type of filter used is a 5/3 conversion type, means for obtaining an inverse update residual component (210, 212, 214),
If the type of filter used is not a 5/3 transform type, means for obtaining an inverse update residual component (206);
Means for obtaining restored pixels of the low-pass picture from the restored frame memory (218);
Means for subtracting an inverse update residual from the restored pixels of the low-pass picture (220);
Means for clipping the final restored pixel to an 8-bit value (222);
23. The apparatus for decoding and storing a residual component in motion compensated temporal direction filtering according to claim 22, further comprising: 前記フィルタの種類はハール型フィルタもしくは５／３変換フィルタである
ことを特徴とする請求項２２及び２９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 30. The apparatus for decoding and storing residual components in motion compensated temporal filter processing according to claim 22 and 29, wherein the type of the filter is a Haar filter or a 5/3 conversion filter. 前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差成分を求める手段は、
残差参照フレームメモリから第一の残差成分の組を求めるために動き補償を行う手段と
（２１０）、
残差参照フレームメモリから第二の残差成分の組を求めるために動き補償を行う手段と
（２１２）、
逆更新残差成分を求めるために、前記動き補償された第一と第二の残差成分の組の平均を求める手段と（２１４）
を備えることを特徴とする請求項２２及び２９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 If the type of filter used is a 5/3 conversion type, the means for obtaining the inverse update residual component is:
Means for performing motion compensation to obtain a first set of residual components from the residual reference frame memory (210);
Means (212) for performing motion compensation to determine a second set of residual components from the residual reference frame memory;
Means for determining an average of the set of motion compensated first and second residual components to determine an inverse update residual component;
30. The apparatus for decoding and storing a residual component in motion compensation type time direction filtering according to claim 22 and 29. 前記動き補償された第一と第二の残差成分の組の平均を求める手段は、
前記動き補償された残差成分の二組を加算する手段と、
前記加算結果に１の値を加算する手段と、
前記１を加算した結果を右に１ビットシフトする手段と
を備えることを特徴とする請求項２２、２９及び３１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 Means for obtaining an average of the set of the first and second residual components subjected to the motion compensation,
Means for adding two sets of the motion compensated residual components;
Means for adding a value of 1 to the addition result;
32. The apparatus for decoding and storing residual components in motion compensated temporal direction filter processing according to claim 22, 29, or 31, further comprising means for shifting the result of adding 1 by 1 bit to the right. 前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差成分は、残差参照フレームメモリから動き補償を行うことによって求めることができる
ことを特徴とする請求項２２及び２９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置（２０６）。 30. The inverse update residual component can be obtained by performing motion compensation from a residual reference frame memory unless the type of filter used is a 5/3 transform type. A residual component decoding and storage device (206) in the motion compensated temporal direction filtering process of FIG. 前記逆予測動作を行う手段は、
マクロブロックから動きベクトルを導出す手段と（３００）、
予測画素を求めるために、復元参照フレームに動き補償を行う手段と（３０２）、
残差参照フレームから復号化残差成分の上位８ビットを導出す手段と（３０６）、
２の因数で復号化残差成分の前記８ビットを乗算する手段と（３１０）、
復元フレームバッファから前記復号化残差成分の下位ビットを導出す手段と（３１２）、
前記乗算した値と前記下位ビットの値の和を求めることによって、前記符号化残差成分の値を復元する手段と（３１６）、
前記予測画素を前記復元残差成分に加算することによって画素を復元する手段と
（３１８）、
前記復元画素を８ビットの値にクリッピングする手段と（３２０）
を備えることを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 The means for performing the inverse prediction operation includes:
Means for deriving a motion vector from a macroblock (300);
Means for performing motion compensation on the reconstructed reference frame to determine a predicted pixel (302);
Means for deriving the upper 8 bits of the decoded residual component from the residual reference frame (306);
Means for multiplying the 8 bits of the decoded residual component by a factor of 2 (310);
Means (312) for deriving lower bits of the decoded residual component from a restored frame buffer;
Means for restoring the value of the encoded residual component by obtaining the sum of the multiplied value and the value of the lower bit (316);
Means for restoring a pixel by adding the predicted pixel to the restored residual component (318);
Means for clipping the restored pixel to an 8-bit value (320);
23. The apparatus for decoding and storing a residual component in motion compensated temporal direction filtering according to claim 22, further comprising: 前記予測画素を求めるための動き補償動作の回数は、前記マクロブロックにおける予測ブロックの種類による
ことを特徴とする請求項２２及び３４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 35. The number of motion compensation operations for obtaining the prediction pixel depends on the type of prediction block in the macroblock. 35. Decoding of residual components in the motion compensation temporal direction filter processing according to claim 22 and 34, Enclosure. 前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が２方向予測であれば２回である
ことを特徴とする請求項２２、３４及び３５記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 36. The motion compensated temporal direction filter processing according to claim 22, wherein the number of motion compensation operations for obtaining the prediction pixel is two when the block prediction is bi-directional prediction. Residual component decoding and storage device. 前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が１方向予測であれば１回である
ことを特徴とする請求項２２、３４及び３５記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 36. The motion compensated temporal direction filter processing according to claim 22, wherein the number of motion compensation operations for obtaining the prediction pixel is one when the block prediction is one-way prediction. Residual component decoding and storage device. 前記下位ビットを導出すステップと前記下位ビットを加算することによって復号化画素を復元するステップは任意処理である
ことを特徴とする請求項２２及び３４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 35. The residual in motion compensated temporal direction filtering according to claim 22 and 34, wherein the step of deriving the lower bits and the step of restoring the decoded pixels by adding the lower bits are arbitrary processing. Component decoding and storage device. 前記逆更新動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 The apparatus for decoding and storing a residual component in motion compensated temporal direction filter processing according to claim 22, wherein the reverse update operation can be selected by a flag in the video sequence parameter set. 前記逆予測動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 The apparatus for decoding and storing a residual component in motion compensated temporal direction filter processing according to claim 22, wherein the inverse prediction operation can be selected by a flag in the video sequence parameter set. 前記逆更新動作を選択する手段は、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化する手段と
（４００）、
前記8bits_update_flagが１であるかを決定する手段と（４０２）、
前記8bits_update_flagが１でなければ、９ビットの符号付残差を用いて逆更新動作を行う手段と（４０６）、
前記8bits_update_flagが１であれば、請求項８記載の前記逆更新動作を行う手段と
（４０８）、
を備えることを特徴とする請求項２２及び３９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 The means for selecting the reverse update operation includes:
Means for decoding 8bits_update_flag from the video sequence parameter set (400);
Means for determining whether the 8bits_update_flag is 1 (402);
Means for performing a reverse update operation using a 9-bit signed residual if the 8bits_update_flag is not 1, (406);
If the 8bits_update_flag is 1, means for performing the reverse update operation according to claim 8, (408),
40. The apparatus for decoding and storing residual components in motion-compensated temporal direction filtering according to claim 22 and claim 39. 前記逆予測動作を選択する手段は、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化する手段と
（４００）、
前記8bits_update_flagが１であるかを決定する手段と（４０２）、
前記8bits_update_flagが１であれば、前記シーケンスパラメータからlast_bit_pred_flagを復号化する手段と（４０４）、
前記last_bit_pred_flagが１であるかを決定する手段と（４１０）、
前記last_bit_pred_flagが１であれば、請求項１３記載の逆予測動作を行う手段と
（４１４）、
前記last_bit_pred_flagが１でなければ、請求項１３及び１７記載の符号付８ビット残差成分を用いた逆予測動作を行う手段と（４１６）、
前記8bits_update_flagが１でなければ、従来技術記載の符号付９ビットを用いた逆予測動作を行う手段と（４１２）
を備えることを特徴とする請求項２２及び４０記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。 The means for selecting the inverse prediction operation includes:
Means for decoding 8bits_update_flag from the video sequence parameter set (400);
Means for determining whether the 8bits_update_flag is 1 (402);
If the 8bits_update_flag is 1, means for decoding last_bit_pred_flag from the sequence parameter (404);
Means for determining whether the last_bit_pred_flag is 1 (410);
If the last_bit_pred_flag is 1, means for performing a reverse prediction operation according to claim 13 (414),
Means for performing an inverse prediction operation using a signed 8-bit residual component according to claim 13 and 17, if said last_bit_pred_flag is not 1, (416);
If the 8bits_update_flag is not 1, means for performing a reverse prediction operation using signed 9 bits described in the prior art; (412)
41. The apparatus for decoding and storing a residual component in motion compensation type time direction filtering according to claim 22 or 40, comprising:
JP2005081554A 2005-03-22 2005-03-22 Decoding and storing method and apparatus for residual component in motion compensated temporal filtering Pending JP2006270181A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005081554A JP2006270181A (en) 2005-03-22 2005-03-22 Decoding and storing method and apparatus for residual component in motion compensated temporal filtering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005081554A JP2006270181A (en) 2005-03-22 2005-03-22 Decoding and storing method and apparatus for residual component in motion compensated temporal filtering

Publications (1)

Publication Number Publication Date
JP2006270181A true JP2006270181A (en) 2006-10-05

Family

ID=37205715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005081554A Pending JP2006270181A (en) 2005-03-22 2005-03-22 Decoding and storing method and apparatus for residual component in motion compensated temporal filtering

Country Status (1)

Country Link
JP (1) JP2006270181A (en)

Similar Documents

Publication Publication Date Title
US7310371B2 (en) Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction
JP4094019B2 (en) Image encoding apparatus and image decoding apparatus
EP2637409B1 (en) Motion vector sign bit hiding
KR101482896B1 (en) Optimized deblocking filters
KR20080108511A (en) Enhanced image/video quality through artifact evaluation
JP2006229411A (en) Image decoder and image decoding method
US20050058205A1 (en) Extended range variable length coding/decoding of differential motion vector information
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
US20060133490A1 (en) Apparatus and method of encoding moving picture
JP5213964B2 (en) Video encoding apparatus and video decoding apparatus
JP4264811B2 (en) Image decoding apparatus and image decoding method
JP2006270181A (en) Decoding and storing method and apparatus for residual component in motion compensated temporal filtering
JP2010068538A (en) Image-decoding method and image-decoding device
WO2005104560A1 (en) Method of processing decoded pictures.
JP2006340014A (en) Low complex motion compensation type time direction filter processing method and device
JP2010016901A (en) Image decoding method and decoding device
JP2009278666A (en) Moving picture decoding apparatus and method of decoding