JP2007243784A - Moving image decoding device and moving image decoding method - Google Patents

Moving image decoding device and moving image decoding method Download PDF

Info

Publication number
JP2007243784A
JP2007243784A JP2006065612A JP2006065612A JP2007243784A JP 2007243784 A JP2007243784 A JP 2007243784A JP 2006065612 A JP2006065612 A JP 2006065612A JP 2006065612 A JP2006065612 A JP 2006065612A JP 2007243784 A JP2007243784 A JP 2007243784A
Authority
JP
Japan
Prior art keywords
decoding
error
error range
unit
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006065612A
Other languages
Japanese (ja)
Inventor
Kazumi Arakage
和美 荒蔭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006065612A priority Critical patent/JP2007243784A/en
Publication of JP2007243784A publication Critical patent/JP2007243784A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To perform error concealment processing, when a decoding error is detected, without causing significant adding and modification of circuits or increasing the circuit scale. <P>SOLUTION: An inverse VLC part 101 decodes an inputted moving image encoded bit stream and an error range detection part 109 detects the range of the decoding error. When the error range to be inputted from the error range detection part 109, after the acquisition of a slice header is not 0, that is when there is the decoding error in the slice header, a decoding control part 104 makes the inverse VLC part 101 perform the decoding processing on a skip macro block corresponding to only the error range. Similarly, when the error range, inputted from the error range detection part 109 after issuing a normal macro block decoding instruction, is not 0, that is when there is a decoding error in a macro block, the decoding control part 104 also makes the inverse VLC part 101 perform the decoding processing of the skip macro block corresponding to only the error range. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ブロック単位で動き補償予測を用いた動画像符号化ビットストリームを復号する動画像復号装置および動画像復号方法に係り、特に、伝送・再生時等に画像信号にエラーが発生した際のエラーコンシールメント処理に関するものである。   The present invention relates to a moving image decoding apparatus and a moving image decoding method for decoding a moving image encoded bitstream using motion compensated prediction in units of blocks, and in particular, when an error occurs in an image signal during transmission or playback. This is related to the error concealment processing.

近年、動画像の高能率符号化方法として、MPEG−2やMPEG−4、それを発展させたH.264/MPEG−4 AVC(以下、H.264と呼ぶ)が用いられている(例えば、非特許文献1参照)。   In recent years, MPEG-2 and MPEG-4 have been developed as high-efficiency encoding methods for moving images, and H.264 has been developed. H.264 / MPEG-4 AVC (hereinafter referred to as H.264) is used (see Non-Patent Document 1, for example).

これらの符号化方式では、まず1画面相当のデジタル画像データをマクロブロックと呼ばれるいくつかの画素からなるブロックに分割し、ブロック毎に画像間の動きを示す動きベクトルを検出し、動き補償と呼ばれる予測画像の生成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う動き補償予測符号化方式が用いられている。   In these encoding methods, digital image data corresponding to one screen is first divided into blocks each consisting of several pixels called macroblocks, and a motion vector indicating motion between images is detected for each block, which is called motion compensation. A motion-compensated predictive coding method is used in which a predictive image is generated and a difference value between the obtained predictive image and an encoding target picture is encoded.

この予測画像の生成方法によって、ピクチャはいくつかのタイプに分けられる。参照画像を持たず、画面内の予測のみを用いるものをIピクチャと呼び、1枚の参照画像を用いて画面間予測符号化を行うものをPピクチャと呼び、2枚の参照画像を用いて画面間予測符号化を行うものをBピクチャと呼ぶ。   Pictures are divided into several types according to the method of generating a predicted image. A picture that does not have a reference picture and uses only prediction within the screen is called an I picture, and a picture that performs inter-picture prediction coding using one reference picture is called a P picture, and uses two reference pictures. A picture that performs inter-screen predictive coding is called a B picture.

動き補償とは、参照画像から符号化対象マクロブロックと相関の高い部分を検出し、その動きの大きさである動きベクトルを符号化するものである。従来の動き補償予測符号化においては、マクロブロックをさらに小ブロックに分割し、各小ブロック毎に動きベクトルを算出するのが一般的である。   In the motion compensation, a portion having a high correlation with the encoding target macroblock is detected from the reference image, and a motion vector that is the magnitude of the motion is encoded. In conventional motion compensated predictive coding, a macroblock is generally further divided into small blocks, and a motion vector is calculated for each small block.

ところで、このような動画像を符号化して得られる符号化画像信号を伝送する場合、例えば、伝送路の途中で伝送ビット誤りが発生し、符号化画像信号にエラーが混入することがある。また、同様にディスクからの読み出し過程でも、エラーが発生することがある。符号化画像信号にエラーが発生し、復号することができなくなると、その部分のデータが欠落し、再生時に致命的な画質の劣化を生じることがある。   By the way, when transmitting an encoded image signal obtained by encoding such a moving image, for example, a transmission bit error may occur in the middle of the transmission path, and the error may be mixed into the encoded image signal. Similarly, an error may occur in the process of reading from the disk. If an error occurs in the encoded image signal and it cannot be decoded, the data in that portion may be lost, resulting in fatal image quality degradation during reproduction.

このような問題に対して、従来から、復号装置においてエラーが検出された場合に、そのエラーを隠すエラーコンシールメント処理を行うことが有効とされ、そのための方法が検討されている。   For such a problem, conventionally, when an error is detected in a decoding device, it is effective to perform an error concealment process for concealing the error, and a method for that is being studied.

例えば、特許文献1に記載の従来装置では、エラーが検出された場合に、参照画像リスト内の参照画像の使用頻度などを利用して、可能な限り相関性の高い参照画像内のマクロブロックを用いてエラーコンシールメントを行う方法が提案されている。
特開2005−303487号公報
For example, in the conventional apparatus described in Patent Document 1, when an error is detected, a macroblock in a reference image having as high a correlation as possible is used by using the frequency of use of the reference image in the reference image list. A method of performing error concealment using the proposed method has been proposed.
JP 2005-303487 A

しかし、上記従来装置では、エラーコンシールメント処理を行うために、参照画像インデックスの操作や動き補償動作の操作などが必要であり、その操作の実行のため、回路の大幅な追加変更や、回路規模が増大する、という問題がある。   However, in the above conventional device, in order to perform error concealment processing, it is necessary to operate a reference image index, a motion compensation operation, and the like. There is a problem that increases.

そこで、本発明は、以上の点に着目してなされたものであり、回路の大幅な追加変更や回路規模を増大させることなく、復号エラーが検出された際にエラーコンシールメント処理を行うことができる動画像復号装置および動画像復号方法を提供することを目的とする。   Therefore, the present invention has been made paying attention to the above points, and it is possible to perform error concealment processing when a decoding error is detected without significantly adding or changing the circuit or increasing the circuit scale. An object of the present invention is to provide a moving image decoding apparatus and a moving image decoding method.

上記目的を達成するための手段として、本発明の動画像復号装置は、動画像符号化ビットストリームを復号する動画像復号装置であって、前記動画像符号化ビットストリームを逆VLCにより復号すると共に、復号エラーが発生した場合、エラー情報を出力する逆VLC部と、前記逆VLC部からの前記エラー情報に基づいてエラー範囲を検出するエラー範囲検出部と、前記エラー範囲検出部によって検出されたエラー範囲に含まれる動画像データを非符号化データとして復号するように前記逆VLC部に復号動作を指示する復号制御部と、を有するものである。   As means for achieving the above object, a moving picture decoding apparatus according to the present invention is a moving picture decoding apparatus for decoding a moving picture encoded bit stream, wherein the moving picture encoded bit stream is decoded by inverse VLC. When a decoding error occurs, the reverse VLC unit that outputs error information, the error range detection unit that detects an error range based on the error information from the reverse VLC unit, and the error range detection unit A decoding control unit that instructs the inverse VLC unit to perform a decoding operation so as to decode moving image data included in the error range as unencoded data.

また、本発明の動画像復号方法は、動画像符号化ビットストリームを復号する際の動画像復号方法であって、前記動画像符号化ビットストリームを逆VLCにより復号すると共に、復号エラーが発生した場合、その復号エラーのエラー範囲を検出し、検出されたエラー範囲に含まれる動画像データを非符号化データとして復号する、ものである。   The moving picture decoding method of the present invention is a moving picture decoding method for decoding a moving picture coded bit stream, and the moving picture coded bit stream is decoded by inverse VLC and a decoding error occurs. In this case, an error range of the decoding error is detected, and moving image data included in the detected error range is decoded as non-encoded data.

本発明の動画像復号装置および動画像復号方法によれば、入力された動画像符号化ビットストリームにエラーが検出された場合、エラー範囲の動画像データをスキップマクロブロック等の非符号化データとして復号処理を行うので、動き補償回路などに変更を加えることなく、最小限の回路の追加のみで、エラーコンシールメント処理を行うことができ、良好な再生画像を出力することができる。   According to the moving image decoding apparatus and the moving image decoding method of the present invention, when an error is detected in the input moving image encoded bitstream, the moving image data in the error range is converted into unencoded data such as a skip macroblock. Since the decoding process is performed, the error concealment process can be performed with only the addition of a minimum circuit without changing the motion compensation circuit and the like, and a good reproduced image can be output.

図1は、本発明の動画像復号装置の実施の形態を示すブロック図である。   FIG. 1 is a block diagram showing an embodiment of the moving picture decoding apparatus of the present invention.

以下、図1を用いて本実施の形態の動画像復号装置の動作、すなわち動画像復号方法を説明する。   Hereinafter, the operation of the moving picture decoding apparatus according to the present embodiment, that is, the moving picture decoding method will be described with reference to FIG.

図1において、本実施の形態の動画像復号装置は、逆VLC部101、逆量子化部102、逆DCT部103、復号制御部104、MV計算部105、動き補償部106、フレームメモリ107、加算器108、およびエラー範囲検出部109を有している。   1, the moving picture decoding apparatus according to the present embodiment includes an inverse VLC unit 101, an inverse quantization unit 102, an inverse DCT unit 103, a decoding control unit 104, an MV calculation unit 105, a motion compensation unit 106, a frame memory 107, An adder 108 and an error range detection unit 109 are included.

次に動作を説明する。
本実施の形態の動画像復号装置に入力されるビットストリームは、例えば、ITU−T H.264符号化方式にて符号化されたもので、まず、逆VLC部101に入力される。
Next, the operation will be described.
The bit stream input to the moving picture decoding apparatus according to the present embodiment is, for example, ITU-T H.264. It is encoded by the H.264 encoding method and is first input to the inverse VLC unit 101.

逆VLC部101は、復号制御部104からの制御命令に従い、入力されたビットストリームを符号化した符号化装置におけるVLC部(図示せず)における算術符号化やエントロピー符号化等の可変長符号化(VLC)とは逆に可変長復号(逆VLC)を行い、その結果得られる量子化係数を逆量子化部102に、動きベクトル情報およびマクロブロックタイプ情報をMV計算部105に、符号化制御情報を復号制御部104に出力する。   The inverse VLC unit 101 performs variable length coding such as arithmetic coding and entropy coding in a VLC unit (not shown) in a coding apparatus that codes an input bitstream in accordance with a control command from the decoding control unit 104. Inversely to (VLC), variable length decoding (inverse VLC) is performed, and the resulting quantized coefficients are sent to the inverse quantization unit 102, and motion vector information and macroblock type information are sent to the MV calculation unit 105. Information is output to the decoding control unit 104.

逆量子化部102は、入力された量子化係数を符号化装置(図示せず)における量子化部(図示せず)とは逆に逆量子化して逆DCT部103に出力する。逆DCT部103は、入力された係数に符号化装置(図示せず)におけるDCT部(図示せず)とは逆に逆DCT変換を行って変換係数を加算器107に出力する。   The inverse quantization unit 102 inversely quantizes the input quantization coefficient, contrary to the quantization unit (not shown) in the encoding device (not shown), and outputs the result to the inverse DCT unit 103. The inverse DCT unit 103 performs inverse DCT conversion on the input coefficient, contrary to the DCT unit (not shown) in the encoding device (not shown), and outputs the transform coefficient to the adder 107.

復号制御部104は、逆VLC部101に対し、復号を制御するための制御命令を出力すると共に、逆VLC部101にて復号された符号化制御情報に従い、図示しないDPB(Decode Picture Buffer)の制御や、参照画像の制御などを行い、制御情報をフレームメモリ107に伝送する。   The decoding control unit 104 outputs a control command for controlling decoding to the inverse VLC unit 101 and, according to the encoding control information decoded by the inverse VLC unit 101, a DPB (Decode Picture Buffer) not shown. Control and reference image control are performed, and control information is transmitted to the frame memory 107.

フレームメモリ107は、逆DCT部103からの逆DCT変換された係数と、動き補償部106からの動き補償画像とが加算器108にて加算されて復元された信号を、復号制御部104からの制御情報に従い参照画像として動き補償部106に出力すると共に、出力画像として外部に出力する。   The frame memory 107 adds the signal restored by the addition of the coefficient obtained by inverse DCT conversion from the inverse DCT unit 103 and the motion compensated image from the motion compensation unit 106 by the adder 108, from the decoding control unit 104. In accordance with the control information, it is output as a reference image to the motion compensation unit 106 and output as an output image to the outside.

MV計算部105は、逆VLC部101にて復号された動きベクトル情報およびマクロブロックタイプ情報を用いて動きベクトルを算出し、動き補償部106に出力する。   The MV calculation unit 105 calculates a motion vector using the motion vector information and macroblock type information decoded by the inverse VLC unit 101, and outputs the motion vector to the motion compensation unit 106.

動き補償部106は、MV計算部105から入力された動きベクトルと、フレームメモリ107からの参照画像とを用いて動き補償を行い、動き補償画像を加算器108に出力する。加算器108は、逆DCT部103にて逆DCT変換された変換係数と、動き補償部106からの動き補償画像とを加算して復号画像を作成し、フレームメモリ107に格納する。   The motion compensation unit 106 performs motion compensation using the motion vector input from the MV calculation unit 105 and the reference image from the frame memory 107, and outputs the motion compensated image to the adder 108. The adder 108 adds the transform coefficient obtained by inverse DCT conversion by the inverse DCT unit 103 and the motion compensated image from the motion compensation unit 106 to create a decoded image, and stores the decoded image in the frame memory 107.

ところで、逆VLC部101は、逆VLCを行った結果、動画像符号化ビットストリームにエラーがあり復号が出来ない場合は、その情報をエラー情報としてエラー範囲検出部109に出力する。エラーがなく、正常に復号できた場合には「エラー無し」という情報をエラー情報としてエラー範囲検出部109に出力する。エラー範囲検出部109は、入力されたエラー情報をもとに、エラーが存在する場合にはエラー範囲を特定し、その結果をエラー範囲情報として復号制御部104に出力する。   By the way, as a result of performing the inverse VLC, the inverse VLC unit 101 outputs the information as error information to the error range detection unit 109 when there is an error in the moving image encoded bitstream and decoding is not possible. If there is no error and decoding is successful, information “no error” is output to the error range detection unit 109 as error information. Based on the input error information, the error range detection unit 109 identifies an error range when an error exists, and outputs the result to the decoding control unit 104 as error range information.

次に、本実施の形態の動画像復号装置におけるエラーコンシールメント処理の詳細を説明する。   Next, details of the error concealment process in the moving picture decoding apparatus according to the present embodiment will be described.

復号制御部104は、逆VLC部101に制御命令を出力する。例えば、H.264符号化方式では、固定長符号のほか、ゴロム符号などが用いられているため、復号制御部104は、符号化方式に従って、固定長符号の復号、ゴロム符号の復号などを指示する制御命令を逆VLC部101に出力する。また、逆VLC部101から入力される復号された符号化制御情報に従い、マクロブロックを復号するマクロブロック復号命令や、スキップマクロブロックがあった場合には、スキップマクロブロック復号命令を出力する。   The decoding control unit 104 outputs a control command to the inverse VLC unit 101. For example, since the H.264 encoding method uses a Golomb code in addition to a fixed length code, the decoding control unit 104 instructs decoding of the fixed length code, Golomb code, etc. according to the encoding method. The control command to be output is output to the inverse VLC unit 101. Further, according to the decoded encoding control information input from the inverse VLC unit 101, if there is a macroblock decoding command for decoding a macroblock or a skip macroblock, a skip macroblock decoding command is output.

ここで、本実施の形態におけるH.264符号化方式や、H.264符号化方式におけるマクロブロックやスキップマクロブロックについて簡単に説明する。   Here, H. in this embodiment. H.264 encoding scheme, A macro block and a skip macro block in the H.264 encoding method will be briefly described.

従来のMPEG−2などでは、予測に用いるブロックのサイズは、マクロブロック毎、または8x8画素ブロック単位であったのに対し、H.264符号化方式では、図2(a)に示すように、16x16画素や、16x8画素、8x16画素、8x8画素の各サイズのマクロブロックポーションや、図2(b)に示すように、8x8画素、8x4画素、4x8画素、4x4画素の各サイズのサブマクロブロックポーションを選択できるようになっている。図2は、H.264における動き補償のブロックサイズを示している。   In the conventional MPEG-2 or the like, the size of a block used for prediction is for each macroblock or 8 × 8 pixel block unit. In the H.264 encoding method, as shown in FIG. 2A, 16 × 16 pixels, 16 × 8 pixels, 8 × 16 pixels, and 8 × 8 pixel macroblock portions, as shown in FIG. 2B, 8 × 8 pixels, Sub-macroblock portions having respective sizes of 8 × 4 pixels, 4 × 8 pixels, and 4 × 4 pixels can be selected. FIG. 2 shows the block size of motion compensation in H.264.

動きベクトルの検出は、予測画像との差分値のブロック内での絶対値和や二乗誤差和などを評価値として行われることが多い。この動き補償を行った後、得られた予測画像と符号化対象マクロブロックとの差分値に対してDCTなどの変換を施し、その変換係数を符号化する。変換係数とは別に動きベクトルも、通常、隣接ブロックの動きベクトルとの差分値として符号化される。   Motion vector detection is often performed using an absolute value sum, a square error sum, or the like within a block of a difference value from a predicted image as an evaluation value. After performing the motion compensation, the difference value between the obtained predicted image and the encoding target macroblock is subjected to conversion such as DCT, and the conversion coefficient is encoded. In addition to the transform coefficient, the motion vector is usually encoded as a difference value from the motion vector of the adjacent block.

ところで、このマクロブロック毎の動き補償においては、スキップマクロブロックと呼ばれる非符号化データである非符号化マクロブロックが用いられている。スキップマクロブロックでは、そのマクロブロックがスキップマクロブロックであるという情報が符号化されるのみで、変換係数や動きベクトルなどは符号化されない。復号時の動きベクトルの算出は、動きベクトルの差分値を0としたり、周辺ブロックのベクトル値を用いるなど方法が決められている。   By the way, in the motion compensation for each macroblock, a non-encoded macroblock which is non-encoded data called a skip macroblock is used. In a skip macroblock, only information that the macroblock is a skip macroblock is encoded, and transform coefficients, motion vectors, and the like are not encoded. The calculation of the motion vector at the time of decoding is determined by setting the difference value of the motion vector to 0 or using the vector values of neighboring blocks.

また、H.264符号化方式では、Bピクチャでのスキップマクロブロックは、ダイレクトモードとして扱われる。ダイレクトモードでは、動き情報を符号化済みの動き情報から予測生成するため、Pピクチャにおけるスキップマクロブロックと同様に動きベクトルは符号化されない。H.264符号化方式では、時間方向の相関を利用する時間的ダイレクトモードと、動き情報の空間方向の相関を利用する空間的ダイレクトモードの二つが用いられ、どちらを利用するかはSPS(Sequence Parameter Set)に記述される。   H. In the H.264 encoding system, skip macroblocks in B pictures are handled as direct mode. In the direct mode, since motion information is predicted and generated from encoded motion information, a motion vector is not encoded as in a skip macroblock in a P picture. H. In the H.264 encoding method, two modes, a temporal direct mode that uses correlation in the time direction and a spatial direct mode that uses correlation in the spatial direction of motion information, are used. Which one is used depends on the SPS (Sequence Parameter Set). ).

ダイレクトモードでは、図3(a)〜(d)に示すようにピクチャの符号化対象マクロブロックと同位置のColPicと呼ばれるマクロブロック(Co―located Partition)の動き情報を用いて、現在の符号化対象領域の動き情報を予測生成する。ColPicとは、基本的には参照画像リスト1(List1 Reference)の最初のピクチャである。ColPicおよびCo―located Partitionは、現在の符号化対象領域と参照画像リストに含まれるピクチャの符号化構造によって、それぞれ定義されている。図3(a)〜(d)は、それぞれ、現在の符号化対象領域と参照領域が共にフレーム構造の場合のCo―located Partition、現在の符号化対象領域と参照領域が共にフィールド構造の場合のCo―located Partition、現在の符号化対象領域がフィールド構造で、参照領域がフレーム構造の場合のCo―located Partition、現在の符号化対象領域がフレーム構造で、参照領域がフィールド構造の場合のCo―located Partitionを表している。図3(a)〜(d)に示したように、フレーム同士の場合には空間的に同じ位置に相当する領域がCo―located Partitionとなり、フィールド同士の場合には位相の同じフィールドの空間的に同じ位置に相当する領域がCo―located Partitionとなる。現在の符号化対象領域がフィールド構造で、参照領域がフレーム構造の場合には空間的に同じ位置に相当する領域のトップマクロブロックがCo―located Partitionとなり、現在の符号化対象領域がフレーム構造で、参照領域がフィールド構造の場合には空間的に垂直位置が半分の位置のマクロブロックがCo―located Partitionとなる。   In the direct mode, as shown in FIGS. 3A to 3D, the current encoding is performed using the motion information of a macro block (Co-located Partition) called ColPic at the same position as the macro block to be encoded of the picture. Predictive generation of motion information of the target area. ColPic is basically the first picture in the reference image list 1 (List1 Reference). ColPic and Co-located Partition are respectively defined by the current coding target region and the coding structure of a picture included in the reference image list. 3 (a) to 3 (d) show the Co-located Partition when the current encoding target area and the reference area both have a frame structure, and when the current encoding target area and the reference area both have a field structure. Co-located Partition, Co-located Partition when the current encoding target region has a field structure and the reference region has a frame structure, Co-located Partition when the current encoding target region has a frame structure and the reference region has a field structure This represents a located partition. As shown in FIGS. 3A to 3D, in the case of frames, a region corresponding to the same spatial position is a co-located partition, and in the case of fields, the spatial of the field having the same phase is used. A region corresponding to the same position is a co-located partition. When the current encoding target area has a field structure and the reference area has a frame structure, the top macroblock of the area corresponding to the same spatial position becomes the Co-located Partition, and the current encoding target area has a frame structure. When the reference region has a field structure, a macroblock whose spatial vertical position is half is a co-located partition.

時間的ダイレクトモードでは、図4に示すように、Co―located Partitionの動きベクトルmvColと、参照インデックスList0、List1とを用いて、符号化対象領域の動きベクトルmvL0,mvL1を求める。つまり、図4は、時間的ダイレクトモードの概念を示しており、図4に示すように、Co―located Partitionの動きベクトルmvColを、各ピクチャの時間的な距離td、tbにより内分して符号化対象領域の動きベクトルmvL0,mvL1を求めている。   In the temporal direct mode, as shown in FIG. 4, the motion vectors mvL0 and mvL1 of the encoding target region are obtained using the motion vector mvCol of the Co-located Partition and the reference indexes List0 and List1. That is, FIG. 4 shows the concept of the temporal direct mode. As shown in FIG. 4, the motion vector mvCol of the Co-located Partition is internally divided by the temporal distances td and tb of each picture. The motion vectors mvL0 and mvL1 of the conversion target area are obtained.

一方、空間的ダイレクトモードでは、Co―located Partitionの動きベクトルmvColに値によって、mvL0とmvL1を0とするか、またはmvL0、mvL1を周辺情報から算出する。   On the other hand, in the spatial direct mode, mvL0 and mvL1 are set to 0 or mvL0 and mvL1 are calculated from the peripheral information depending on the value of the motion vector mvCol of the Co-located Partition.

逆VLC部101は、復号制御部104から入力される制御命令に従い、入力された動画像符号化ビットストリームの復号を行い、動画像符号化ビットストリームにエラーが無く、問題無くエントロピー復号等の逆VLCができた場合には、エラー範囲検出部108に「エラー無し」というエラー情報を出力すると共に、従来の方法と同様に、復号した量子化係数や動きベクトル情報、マクロブロックタイプ情報、符号化制御情報を出力する。   The inverse VLC unit 101 performs decoding of the input moving image encoded bitstream in accordance with the control command input from the decoding control unit 104, and there is no error in the moving image encoded bitstream. When the VLC is completed, error information “no error” is output to the error range detection unit 108, and the decoded quantization coefficient, motion vector information, macroblock type information, encoding, and the like, as in the conventional method. Output control information.

すなわち、逆VLC部101は、復号制御部104からマクロブロック復号命令が入力された場合、復号した量子化係数や動きベクトル情報、マクロブロックタイプ情報、符号化制御情報を出力するのに対し、復号制御部104からスキップマクロブロック復号命令が入力された場合には、復号した量子化係数を0、マクロブロックタイプ情報をスキップマクロブロックとして出力する。そして、逆VLC部101は、入力されたビットストリームにエラーが存在し、エントロピー復号処理等の逆VLC処理をすることができない場合には、その情報をエラー情報としてエラー範囲検出部109に出力する。   That is, when a macroblock decoding instruction is input from the decoding control unit 104, the inverse VLC unit 101 outputs the decoded quantization coefficient, motion vector information, macroblock type information, and encoding control information, whereas When a skip macroblock decoding command is input from the control unit 104, the decoded quantization coefficient is output as 0, and the macroblock type information is output as a skip macroblock. Then, when there is an error in the input bitstream and the inverse VLC process such as the entropy decoding process cannot be performed, the inverse VLC unit 101 outputs the information to the error range detection unit 109 as error information. .

エラー範囲検出部109は、逆VLC部101からエラー情報が入力されると、エラー範囲、すなわち、エラーのために復号できない画像範囲を特定する。例えば、マクロブロックアドレス10でエラーが発生し、次に正常に復号可能なデータがマクロブロックアドレス20であるとすると、その情報がエラー情報として逆VLC部101からエラー範囲検出部109に入力され、エラー範囲検出部109は入力されたエラー情報からエラー範囲を特定し、エラー範囲情報として復号制御部104に出力する。すなわち、エラー範囲検出部109は、「エラー開始位置:マクロブロック10、エラー範囲10」というエラー範囲情報を、復号制御部104に出力する。なお、エラー範囲検出部109は、逆VLC部101から入力されたエラー情報が「エラー無し」であれば「エラー範囲0」という情報を出力する。   When error information is input from the inverse VLC unit 101, the error range detection unit 109 identifies an error range, that is, an image range that cannot be decoded due to an error. For example, if an error occurs at the macroblock address 10 and the next normally decodable data is the macroblock address 20, the information is input as error information from the inverse VLC unit 101 to the error range detection unit 109, The error range detection unit 109 identifies an error range from the input error information and outputs it to the decoding control unit 104 as error range information. That is, the error range detection unit 109 outputs error range information “error start position: macroblock 10, error range 10” to the decoding control unit 104. If the error information input from the inverse VLC unit 101 is “no error”, the error range detection unit 109 outputs information “error range 0”.

復号制御部104では、エラー範囲検出部109からエラー範囲情報が入力されると、エラー範囲に含まれるマクロブロックを、スキップマクロブロックとして復号するスキップマクロブロック復号命令を逆VLC部101に出力する。すなわち、エラー範囲情報が「エラー開始位置:マクロブロック10、エラー範囲10」であった場合、復号制御部104は、マクロブロック10から10個のマクロブロックをスキップマクロブロックとして復号するように、スキップマクロブロック復号命令を逆VLC部101に出力する。   When the error range information is input from the error range detection unit 109, the decoding control unit 104 outputs a skip macroblock decoding instruction for decoding a macroblock included in the error range as a skip macroblock to the inverse VLC unit 101. That is, when the error range information is “error start position: macroblock 10, error range 10”, the decoding control unit 104 skips so as to decode 10 macroblocks from the macroblock 10 as skipped macroblocks. The macroblock decoding instruction is output to the inverse VLC unit 101.

次に、復号制御部104におけるスライスヘッダ以降の復号処理動作の詳細を説明する。   Next, details of the decoding processing operation after the slice header in the decoding control unit 104 will be described.

図5は、本実施の形態の復号制御部104におけるスライスヘッダ以降の復号処理動作の流れを示すフローチャートである。   FIG. 5 is a flowchart showing the flow of the decoding processing operation after the slice header in the decoding control unit 104 of the present embodiment.

本実施の形態の復号制御部104は、まず、逆VLC部101にスライスの復号を指示する復号命令を発行して、スライスヘッダデータを取得する(S11)。スライスヘッダデータを取得するのは、本実施の形態の動画像復号装置では、H.264符号化方式を採用しており、H.264符号化方式では、スライス単位に符号化を行うからである。   First, the decoding control unit 104 according to the present embodiment issues a decoding instruction to instruct the inverse VLC unit 101 to decode a slice, and acquires slice header data (S11). The slice header data is acquired in the moving picture decoding apparatus according to the present embodiment. H.264 encoding method is adopted. This is because the H.264 encoding method performs encoding in units of slices.

次に、復号制御部104では、エラー範囲検出部109から入力されるエラー範囲が0であるか否かを判断する(S12)。エラー範囲が0であれば(S12“Y”)、スライスヘッダの逆VLC時にエラーが検出されなかったので、S13以降の処理により、スライスデータに対しエントロピー復号処理等の逆VLC処理を行う。   Next, the decoding control unit 104 determines whether or not the error range input from the error range detection unit 109 is 0 (S12). If the error range is 0 (S12 “Y”), no error was detected during reverse VLC of the slice header, and therefore, reverse VLC processing such as entropy decoding processing is performed on the slice data by the processing after S13.

つまり、復号制御部104は、まず、逆VLC部101におけるエントロピー復号処理等の逆VLC処理をした符号化制御情報の復号データより、スキップマクロブロックか否かを示す値であるmb_skip_runを取得して(S13)、mb_skip_runが0であるか否かを判断する(S14)。   That is, the decoding control unit 104 first obtains mb_skip_run, which is a value indicating whether or not the block is a skip macroblock, from the decoded data of the encoding control information that has been subjected to inverse VLC processing such as entropy decoding processing in the inverse VLC unit 101. (S13), it is determined whether mb_skip_run is 0 (S14).

mb_skip_runが0の場合(S14“Y”)、そのマクロブロックはスキップマクロブロックではないので、復号制御部104は、通常のマクロブロック復号命令を逆VLC部101に対し発行して、通常のマクロブロックのエントロピー復号処理等の逆VLC処理を実行させる(S15)。   When mb_skip_run is 0 (S14 “Y”), since the macroblock is not a skip macroblock, the decoding control unit 104 issues a normal macroblock decoding instruction to the inverse VLC unit 101, and the normal macroblock Inverse VLC processing such as entropy decoding processing is executed (S15).

次に、復号制御部104は、エラー範囲検出部109から入力されるエラー範囲が0であるか否かを判断し(S16)、0であれば(S16“Y”)、スライスの終わりであるか否かの判断を行う(S17)。そして、スライスの終わりであれば(S17“Y”)、スライスの復号処理を終了する一方、スライスの終わりでなければ(S17“N”)、S14の処理に戻り、次のマクロブロックのmb_skip_runが0であるか否かを判断して、それ以降の処理を行う。   Next, the decoding control unit 104 determines whether or not the error range input from the error range detection unit 109 is 0 (S16). If it is 0 (S16 “Y”), it is the end of the slice. Is determined (S17). If the end of the slice is reached (S17 “Y”), the slice decoding process ends. If the end of the slice is not reached (S17 “N”), the process returns to S14, and the mb_skip_run of the next macroblock is changed. Whether it is 0 or not is determined, and the subsequent processing is performed.

これに対し、mb_skip_runが0より大きい場合は(S14“N”)、そのマクロブロックはスキップマクロブロックであるので、復号制御部104は、スキップマクロブロック復号命令を逆VLC部101に対し発行して、スキップマクロブロックの逆VLC処理を実行させる(S18)。   On the other hand, when mb_skip_run is greater than 0 (S14 “N”), since the macroblock is a skip macroblock, the decoding control unit 104 issues a skip macroblock decoding instruction to the inverse VLC unit 101. Then, the inverse VLC process of the skip macroblock is executed (S18).

そして、復号制御部104は、スキップマクロブロックを1つ復号する毎に、mb_skip_runを1減算し(S19)、mb_skip_runが0になれば(S20“Y”)、復号制御部104は、スライスの終了を判断する(S17)。その一方、mb_skip_runが0でなければ(S20“N”)、S18の処理に戻り、スキップマクロブロックの復号を続行する。   Then, every time one skip macroblock is decoded, the decoding control unit 104 subtracts 1 from mb_skip_run (S19). If mb_skip_run becomes 0 (S20 “Y”), the decoding control unit 104 ends the slice. Is determined (S17). On the other hand, if mb_skip_run is not 0 (S20 “N”), the process returns to S18, and decoding of the skip macroblock is continued.

ところで、本実施の形態では、スライスヘッダ取得後にエラー範囲検出部109から入力されるエラー範囲が0でない場合(S12“N”)、すなわちスライスヘッダに復号エラーがあった場合、復号制御部104は、mb_skip_runの値にそのエラー範囲の値を設定し(S21)、逆VLC部101に上述したS18〜S20のスキップマクロブロックの逆VLC処理を実行させる。   By the way, in the present embodiment, when the error range input from the error range detection unit 109 after the slice header acquisition is not 0 (S12 “N”), that is, when there is a decoding error in the slice header, the decoding control unit 104 , Mb_skip_run is set to the value of the error range (S21), and the inverse VLC unit 101 is caused to execute the above-described inverse VLC processing of the skip macroblocks of S18 to S20.

これにより、スライスヘッダの逆VLCの際、復号エラーが発生した場合、復号制御部104は、エラー範囲検出部109からのエラー範囲を示すエラー検出信号に基づいて、mb_skip_runの値にエラー範囲の値を設定して、S18〜S20のスキップマクロブロックの逆VLC処理を行うので、特別に回路規模を増大や改変させることなく、エラーコンシールメント処理を実行できることになる。   Accordingly, when a decoding error occurs during the inverse VLC of the slice header, the decoding control unit 104 sets the error range value to the value of mb_skip_run based on the error detection signal indicating the error range from the error range detection unit 109. Is set, and the reverse VLC process of the skip macroblock in S18 to S20 is performed, so that the error concealment process can be executed without specially increasing or modifying the circuit scale.

同様に、通常のマクロブロック復号命令を発行後にエラー範囲検出部109から入力されるエラー範囲が0でない場合(S16“N”)、すなわちマクロブロックに復号エラーがあった場合も、復号制御部104は、mb_skip_runの値にエラー範囲の値を設定して(S12)、逆VLC部101に上述したS18〜S20のスキップマクロブロックの逆VLC処理を実行させる。   Similarly, when the error range input from the error range detection unit 109 is not 0 after issuing a normal macroblock decoding command (S16 “N”), that is, when there is a decoding error in the macroblock, the decoding control unit 104 Sets the value of the error range to the value of mb_skip_run (S12), and causes the inverse VLC unit 101 to execute the inverse VLC processing of the skip macroblocks of S18 to S20 described above.

これにより、マクロブロックの逆VLCの際、復号エラーが発生した場合、復号制御部104は、エラー範囲検出部109からのエラー範囲を示す信号に基づいて、mb_skip_runの値にエラー範囲の値を設定して、S18〜S20のスキップマクロブロックの逆VLC処理を行うので、この場合にも、特別に回路規模を増大や改変させることなく、エラーコンシールメント処理を実行できることになる。   Thus, when a decoding error occurs during inverse VLC of the macroblock, the decoding control unit 104 sets the error range value to the value of mb_skip_run based on the signal indicating the error range from the error range detection unit 109. Then, since the inverse VLC process of the skip macroblock in S18 to S20 is performed, the error concealment process can be executed without specially increasing or modifying the circuit scale.

このように、本実施の形態の動画像復号装置によれば、入力された動画像符号化ビットストリームのスライスヘッダやマクロブロックデータの復号の際、復号エラーが発生して復号ができなくなった場合、エラー範囲に含まれるマクロブロックをスキップマクロブロックとして復号動作を行うことにより、動き補償部や逆DCT部、逆量子化部などに特にエラーコンシールメントに特化した機能を追加することなく、最小限の回路でエラーコンシールメントを実行でき、良好な再生画像を出力することができる。   As described above, according to the video decoding device of the present embodiment, when decoding a slice header or macroblock data of an input video encoded bitstream, a decoding error occurs and decoding cannot be performed. By performing a decoding operation using a macro block included in the error range as a skip macro block, the motion compensation unit, the inverse DCT unit, the inverse quantization unit, and the like can be minimized without adding a function specialized for error concealment. Error concealment can be executed with a limited circuit, and a good reproduced image can be output.

なお、上記実施の形態では、ITU−T H.264符号化方式により符号化された動画像符号化ビットストリームを復号の対象として説明したが、本発明では、これに限るものではなく、他の符号化方式により符号化された符号化信号を対象としても勿論よい。   In the above embodiment, ITU-T H.264 is used. The video encoded bit stream encoded by the H.264 encoding method has been described as a target for decoding. However, the present invention is not limited to this, and the target is an encoded signal encoded by another encoding method. Of course.

本発明の動画像復号装置の実施の形態を示すブロック図である。トである。It is a block diagram which shows embodiment of the moving image decoding apparatus of this invention. Is. (a),(b)、それぞれ、H.264符号化方式における動き補償ブロックサイズを説明する概念図である。(A), (b), H., respectively. It is a conceptual diagram explaining the motion compensation block size in a H.264 encoding system. (a)〜(d)、それぞれ、動きベクトルを算出する場合のColPicを説明する概念図である。(A)-(d) is a conceptual diagram explaining ColPic in the case of calculating a motion vector, respectively. 時間的ダイレクトモードを説明する概念図である。It is a conceptual diagram explaining temporal direct mode. 本発明の動画像符号化装置における復号制御部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the decoding control part in the moving image encoder of this invention.

符号の説明Explanation of symbols

101 逆VLC部
102 逆量子化部
103 逆DCT部
104 復号制御部
105 MV計算部
106 動き補償部
107 フレームメモリ
108 加算器
109 エラー範囲検出部
DESCRIPTION OF SYMBOLS 101 Inverse VLC part 102 Inverse quantization part 103 Inverse DCT part 104 Decoding control part 105 MV calculation part 106 Motion compensation part 107 Frame memory 108 Adder 109 Error range detection part

Claims (2)

動画像符号化ビットストリームを復号する動画像復号装置であって、
前記動画像符号化ビットストリームを逆VLCにより復号すると共に、復号エラーが発生した場合、エラー情報を出力する逆VLC部と、
前記逆VLC部からの前記エラー情報に基づいてエラー範囲を検出するエラー範囲検出部と、
前記エラー範囲検出部によって検出されたエラー範囲に含まれる動画像データを非符号化データとして復号するように前記逆VLC部に復号動作を指示する復号制御部と、
を有することを特徴とする動画像復号装置。
A video decoding device for decoding a video encoded bitstream,
The video encoded bitstream is decoded by inverse VLC, and when a decoding error occurs, an inverse VLC unit that outputs error information;
An error range detection unit that detects an error range based on the error information from the inverse VLC unit;
A decoding control unit that instructs the inverse VLC unit to perform a decoding operation so as to decode moving image data included in the error range detected by the error range detection unit as unencoded data;
A moving picture decoding apparatus comprising:
動画像符号化ビットストリームを復号する際の動画像復号方法であって、
前記動画像符号化ビットストリームを逆VLCにより復号すると共に、復号エラーが発生した場合、その復号エラーのエラー範囲を検出し、
検出されたエラー範囲に含まれる動画像データを非符号化データとして復号する、
ことを特徴とする動画像復号方法。
A video decoding method for decoding a video encoded bitstream,
The video encoded bitstream is decoded by inverse VLC, and when a decoding error occurs, an error range of the decoding error is detected,
Decoding moving image data included in the detected error range as unencoded data;
A moving picture decoding method characterized by the above.
JP2006065612A 2006-03-10 2006-03-10 Moving image decoding device and moving image decoding method Pending JP2007243784A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006065612A JP2007243784A (en) 2006-03-10 2006-03-10 Moving image decoding device and moving image decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006065612A JP2007243784A (en) 2006-03-10 2006-03-10 Moving image decoding device and moving image decoding method

Publications (1)

Publication Number Publication Date
JP2007243784A true JP2007243784A (en) 2007-09-20

Family

ID=38588832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006065612A Pending JP2007243784A (en) 2006-03-10 2006-03-10 Moving image decoding device and moving image decoding method

Country Status (1)

Country Link
JP (1) JP2007243784A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009040873A1 (en) * 2007-09-26 2009-04-02 Fujitsu Limited Method for storing variable length data into memory, and variable length data storage device
JP2009081576A (en) * 2007-09-25 2009-04-16 Toshiba Corp Motion picture decoding apparatus and motion picture decoding method
JP2010010950A (en) * 2008-06-25 2010-01-14 Toshiba Corp Image coding/decoding method and apparatus
JP2010226376A (en) * 2009-03-23 2010-10-07 Toshiba Corp Image decoding apparatus and computer-executable program
JP2012157061A (en) * 2012-04-12 2012-08-16 Toshiba Corp Method and device for decoding image
JP2016167853A (en) * 2016-04-26 2016-09-15 三菱電機株式会社 Image decoding device, image encoding device and bit stream

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081576A (en) * 2007-09-25 2009-04-16 Toshiba Corp Motion picture decoding apparatus and motion picture decoding method
WO2009040873A1 (en) * 2007-09-26 2009-04-02 Fujitsu Limited Method for storing variable length data into memory, and variable length data storage device
JP4796186B2 (en) * 2007-09-26 2011-10-19 富士通株式会社 Variable length data memory storage method and variable length data storage device
US8458512B2 (en) 2007-09-26 2013-06-04 Fujitsu Limited Variable-length data storing method and variable-length data storing device
JP2010010950A (en) * 2008-06-25 2010-01-14 Toshiba Corp Image coding/decoding method and apparatus
JP2010226376A (en) * 2009-03-23 2010-10-07 Toshiba Corp Image decoding apparatus and computer-executable program
JP2012157061A (en) * 2012-04-12 2012-08-16 Toshiba Corp Method and device for decoding image
JP2016167853A (en) * 2016-04-26 2016-09-15 三菱電機株式会社 Image decoding device, image encoding device and bit stream

Similar Documents

Publication Publication Date Title
CN110800304B (en) Motion-based priority for constructing candidate lists in video coding
JP7319440B2 (en) Video encoding method, video decoding method, and recording medium
US10205960B2 (en) Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
JP3863510B2 (en) Motion vector encoding / decoding method and apparatus
JP4767991B2 (en) Image encoding method and image encoding apparatus
US7359558B2 (en) Spatial scalable compression
JP5061179B2 (en) Illumination change compensation motion prediction encoding and decoding method and apparatus
JP2017017725A (en) Moving image encoding device, moving image encoding method, moving image decoding device, moving image decoding method, and bit stream
CN111492662A (en) Generated affine motion vector
JP5426655B2 (en) Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method
TWI647949B (en) Image prediction decoding method
JP2022505578A (en) Video signal processing methods and equipment with subblock-based motion compensation
JP2005501491A (en) Motion vector coding method and apparatus using global motion parameters
JP2007243784A (en) Moving image decoding device and moving image decoding method
JP2006246277A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
US20060153298A1 (en) Predictive encoding of motion vectors including a flag notifying the presence of coded residual motion vector data
KR100774297B1 (en) Method and apparatus for decoding motion vectors
JP2007221202A (en) Moving picture encoder and moving picture encoding program
JP5718438B2 (en) Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method
JP2024508303A (en) Method and electronic device for decoding inter-predicted video blocks of a video stream
KR100774298B1 (en) Method and apparatus for decoding motion vectors
JP2002374536A (en) Encoder
KR20050089454A (en) Error concealment method in decoding motion picture
JP2005191898A (en) Motion compensation encoding method and motion compensation encoding device
JP2007104012A (en) Moving picture coding apparatus and moving picture coding method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091117