JP2013077865A - Image encoding apparatus, image decoding apparatus, image encoding method and image decoding method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To improve encoding efficiency by generating a time direct vector close to a motion vector of a macro block subjected to encoding.SOLUTION: A time direct vector generator 13 identifies a macro block at the spatially same position as a macro block subjected to encoding from among macro blocks constituting an encoded picture temporally near the macro block subjected to encoding and generates a time direct vector of a time direct mode from motion vectors of four rectangular blocks positioned in the center of the identified macro block.

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法に関するものである。   The present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method used for image compression encoding technology, compressed image data transmission technology, and the like.

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
画像符号化装置及び画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。 For example, in an international standard video encoding method such as MPEG (Moving Picture Experts Group) or “ITU-T H.26x”, a luminance signal 16 × 16 pixels and a color difference signal 8 × corresponding to the luminance signal 16 × 16 pixels are used. A method is adopted in which block data (hereinafter referred to as “macroblock”) including eight pixels is used as a unit for compression based on a motion compensation technique or an orthogonal transform / transform coefficient quantization technique.
In the motion compensation processing in the image encoding device and the image decoding device, a motion vector is detected and a predicted image is generated in units of macroblocks with reference to a front or rear picture.
At this time, a picture that performs inter-frame prediction encoding with reference to only one picture is referred to as a P picture, and a picture that performs inter-frame prediction encoding with reference to two pictures at the same time is referred to as a B picture. .

国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、Ｂピクチャを符号化する際に、ダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、空間的に周囲の符号化済みマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。 AVC / H. Is an international standard system. H.264 (ISO / IEC 14496-10 | ITU-T H.264) can select a coding mode called a direct mode when coding a B picture (see, for example, Non-Patent Document 1). .
That is, the encoding target macroblock does not have motion vector encoded data, and the motion vector of another encoded macroblock or the motion vector of a spatially surrounding encoded macroblock A coding mode for generating a motion vector of a macroblock to be coded can be selected by a predetermined calculation process to be used.

このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。 There are two types of direct mode: temporal direct mode and spatial direct mode.
In the temporal direct mode, the motion vector scaling process is performed according to the time difference between the coded picture and the picture to be coded by referring to the motion vector of the other picture that has been coded. Generate a motion vector of.
In the spatial direct mode, the motion vector of at least one encoded macroblock located around the macroblock to be encoded is referenced, and the motion vector of the macroblock to be encoded is determined from those motion vectors. Generate.
In this direct mode, by using “direct_spatial_mv_pred_flag” which is a flag provided in the slice header, it is possible to select either the temporal direct mode or the spatial direct mode in units of slices.

ここで、図１２は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１２において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。 Here, FIG. 12 is a schematic diagram showing a method of generating a motion vector in the temporal direct mode.
In FIG. 12, “P” represents a P picture, and “B” represents a B picture.
Numbers 0 to 3 indicate the display order of pictures and indicate that the images are displayed at times T0, T1, T2 and T3.
It is assumed that the picture encoding process is performed in the order of P0, P3, B1, and B2.

例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。 For example, it is assumed that the macroblock MB1 in the picture B2 is encoded in the temporal direct mode.
In this case, the motion of the macroblock MB2 which is the motion vector of the picture P3 closest to the picture B2 among the encoded pictures located on the rear side of the picture B2 on the time axis, and is in the same spatial position as the macroblock MB1. Vector MV is used.
The motion vector MV refers to the picture P0, and the motion vectors MVL0 and MVL1 used when encoding the macroblock MB1 are obtained by the following equation (1).

ただし、ピクチャＰ３におけるマクロブロックＭＢ２が２つ以上の矩形ブロックに分割されていた場合、図１３に示すように、マクロブロックＭＢ２の左上の画素を含む矩形ブロックの動きベクトルを動きベクトルＭＶとして用いることが、ＡＶＣ／Ｈ．２６４で定められている。   However, when the macroblock MB2 in the picture P3 is divided into two or more rectangular blocks, the motion vector of the rectangular block including the upper left pixel of the macroblock MB2 is used as the motion vector MV as shown in FIG. However, AVC / H. H.264.

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格MPEG-4 AVC (ISO / IEC 14496-10) / ITU-TH H.264 standard

従来の画像符号化装置は以上のように構成されているので、常にマクロブロックＭＢ２の左上の画素を含む矩形ブロックの動きベクトルを動きベクトルＭＶとして用いている。このため、ピクチャＰ３におけるマクロブロックＭＢ２が２つ以上の矩形ブロックに分割されていた場合、使用する動きベクトルＭＶが、必ずしも符号化対象のマクロブロックＭＢ１と空間的に同じ画素位置の動きを示しているとは限らず、時間ダイレクトベクトルの精度が低下して符号化効率が悪化することがある課題があった。   Since the conventional image coding apparatus is configured as described above, the motion vector of the rectangular block including the upper left pixel of the macro block MB2 is always used as the motion vector MV. For this reason, when the macro block MB2 in the picture P3 is divided into two or more rectangular blocks, the motion vector MV to be used does not necessarily indicate the motion at the same pixel position as the macro block MB1 to be encoded. However, there is a problem that the accuracy of the temporal direct vector is lowered and the coding efficiency may be deteriorated.

この発明は上記のような課題を解決するためになされたもので、符号化対象のマクロブロックの動きに近い時間ダイレクトベクトルを生成して、符号化効率を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、符号化装置と同様の手段で時間ダイレクトベクトルを生成することで、符号化効率の高い符号化ストリームを復号することができる画像復号装置及び画像復号方法を得ることを目的とする。 The present invention has been made in order to solve the above-described problems. An image encoding apparatus and an image which can generate a time direct vector close to the motion of a macroblock to be encoded and can increase encoding efficiency. The object is to obtain an encoding method.
Another object of the present invention is to obtain an image decoding apparatus and an image decoding method capable of decoding an encoded stream with high encoding efficiency by generating a temporal direct vector by means similar to the encoding apparatus. To do.

この発明に係る画像符号化装置は、ダイレクトベクトル生成手段が、符号化対象のブロックの時間的に近傍にある符号化済みピクチャを構成しているブロックの中から、符号化対象のブロックと空間的に同じ位置にあるブロックを特定し、そのブロックの中心に位置している複数の分割領域の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するようにしたものである。   In the image encoding device according to the present invention, the direct vector generation means spatially links the encoding target block from among the blocks constituting the encoded picture that is temporally adjacent to the encoding target block. The block at the same position is specified, and the time direct vector of the time direct mode is generated from the motion vectors of a plurality of divided regions located at the center of the block.

この発明によれば、ダイレクトベクトル生成手段が、符号化対象のブロックの時間的に近傍にある符号化済みピクチャを構成しているブロックの中から、符号化対象のブロックと空間的に同じ位置にあるブロックを特定し、そのブロックの中心に位置している複数の分割領域の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するように構成したので、符号化対象のブロックの動きに近い時間ダイレクトモードの時間ダイレクトベクトルを生成することができるようになり、その結果、符号化対象のブロックの符号化効率を高めることができる効果がある。   According to the present invention, the direct vector generation means is located in the same spatial position as the block to be encoded among the blocks constituting the encoded picture that is temporally adjacent to the block to be encoded. Since a certain block is specified and the time direct vector of the time direct mode is generated from the motion vectors of multiple divided regions located at the center of the block, the time direct that is close to the motion of the block to be encoded It becomes possible to generate a temporal direct vector of the mode, and as a result, there is an effect that the encoding efficiency of the block to be encoded can be increased.

この発明の実施の形態１による画像符号化装置を示す構成図である。It is a block diagram which shows the image coding apparatus by Embodiment 1 of this invention. この発明の実施の形態１による画像符号化装置の動き補償予測部１を示す構成図である。It is a block diagram which shows the motion compensation prediction part 1 of the image coding apparatus by Embodiment 1 of this invention. この発明の実施の形態１による画像復号装置を示す構成図である。It is a block diagram which shows the image decoding apparatus by Embodiment 1 of this invention. この発明の実施の形態１による画像復号装置の動き補償予測部２３を示す構成図である。It is a block diagram which shows the motion compensation estimation part 23 of the image decoding apparatus by Embodiment 1 of this invention. この発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the image coding apparatus by Embodiment 1 of this invention. この発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the image decoding apparatus by Embodiment 1 of this invention. 時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directの生成方法を示す説明図である。It is explanatory drawing which shows the production _| generation method of the time direct vector MV _direct of time direct mode. ブロックサイズに応じた重み付け加算による時間ダイレクトベクトルＭＶ_directの生成方法を示す説明図である。It is explanatory drawing which shows the production _| generation method of the time direct vector _MVdirect by the weighting addition according to block size. 差分動きベクトルに応じた重み付け加算による時間ダイレクトベクトルＭＶ_directの生成方法を示す説明図である。It is explanatory drawing which shows the production _| generation method of the time direct vector _MVdirect by the weighting addition according to a difference motion vector. マクロブロック内の全てのブロックの動きベクトルを用いて、時間ダイレクトベクトルＭＶ_directを生成する方法を示す説明図である。It is explanatory drawing which shows the method of producing _| generating the time direct vector _MVdirect using the motion vector of all the blocks in a macroblock. 非矩形ブロックの動きベクトルの予測処理を示す説明図である。It is explanatory drawing which shows the prediction process of the motion vector of a non-rectangular block. 時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。It is a schematic diagram which shows the method of producing | generating a motion vector in time direct mode. ピクチャＰ３におけるマクロブロックＭＢ２が２つ以上の矩形ブロックに分割されている場合に使用する動きベクトルＭＶを示す説明図である。It is explanatory drawing which shows the motion vector MV used when macroblock MB2 in the picture P3 is divided | segmented into two or more rectangular blocks.

実施の形態１．
この実施の形態１では、入力画像を構成している映像フレームを１６×１６画素の矩形領域（マクロブロック）に均等に分割した単位で、フレーム内に閉じた符号化を行う画像符号化装置と、その画像符号化装置に対応している画像復号装置について説明する。
また、この実施の形態１では、画像符号化装置及び画像復号装置が、ＡＶＣ／Ｈ．２６４規格で採用されている符号化方式を使用している例を説明する。
ただし、この実施の形態１では、画像符号化装置及び画像復号装置が、ダイレクトモードを使用する場合、時間ダイレクトモードを使用するものとするが、必要に応じて空間ダイレクトモードを使用するようにしてもよい。 Embodiment 1 FIG.
In the first embodiment, an image encoding device that performs encoding that is closed in a frame in units obtained by equally dividing a video frame constituting an input image into rectangular regions (macroblocks) of 16 × 16 pixels. An image decoding device corresponding to the image encoding device will be described.
In the first embodiment, the image encoding device and the image decoding device are both AVC / H. An example in which the encoding method employed in the H.264 standard is used will be described.
However, in the first embodiment, when the image encoding device and the image decoding device use the direct mode, the temporal direct mode is used. However, the spatial direct mode is used if necessary. Also good.

図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、動き補償予測部１はフレームメモリ８に格納されている１フレーム以上の動き補償予測用の参照画像の中から１フレームの参照画像を選択し、入力画像を構成しているマクロブロック（あるいは、マクロブロックを分割したサブマクロブロック）の単位で、動き補償予測処理を実行して、当該マクロブロック（符号化対象のマクロブロック）の動きベクトルを生成して予測画像を生成し、それぞれのブロック毎に選択した参照画像の識別番号、動きベクトル及び予測画像等を出力する処理を実施する。
ただし、ここでは、説明の便宜上、マクロブロック単位で、動きベクトルを生成して予測画像を生成するものとする。 FIG. 1 is a block diagram showing an image coding apparatus according to Embodiment 1 of the present invention.
In FIG. 1, the motion compensation prediction unit 1 selects a reference image of one frame from the reference images for motion compensation prediction stored in the frame memory 8 for one or more frames, and constitutes an input image. (Or a sub-macroblock obtained by dividing a macroblock), a motion compensation prediction process is executed, and a motion vector of the macroblock (macroblock to be encoded) is generated to generate a prediction image, A process of outputting the identification number, motion vector, predicted image, and the like of the reference image selected for each block is performed.
However, here, for convenience of explanation, it is assumed that a predicted image is generated by generating a motion vector in units of macroblocks.

即ち、動き補償予測部１は符号化済みピクチャを構成しているマクロブロック（あるいは、マクロブロックを分割したサブマクロブロック）の動きベクトルを格納している動きベクトルメモリ１１（図２を参照）を実装しており、時間ダイレクトモードの場合は入力画像を構成しているマクロブロック毎に、当該マクロブロックの時間的に近傍にある符号化済みピクチャを構成しているマクロブロックの中から、当該マクロブロックと空間的に同じ位置にあるマクロブロックを特定し、そのマクロブロックの中心に位置している例えば４個のブロック（分割領域）の動きベクトル（動きベクトルメモリ１１に格納されている動きベクトル）から時間ダイレクトモードの時間ダイレクトベクトルを生成し、その時間ダイレクトベクトルを用いて動き補償予測処理を実施することで、予測画像を生成する処理を実施する。   That is, the motion compensation prediction unit 1 stores a motion vector memory 11 (see FIG. 2) that stores a motion vector of a macro block (or a sub macro block obtained by dividing the macro block) that constitutes an encoded picture. In the case of temporal direct mode, for each macroblock constituting the input image, the macro is selected from among the macroblocks constituting an encoded picture that is temporally close to the macroblock. A macroblock located in the same spatial position as the block is identified, and motion vectors (motion vectors stored in the motion vector memory 11) of, for example, four blocks (divided areas) located at the center of the macroblock Generate a time direct vector for time direct mode from the time direct vector By carrying out can compensation prediction process, we carry out a process of generating the predicted image.

減算器２は動き補償予測部１により生成された予測画像と入力画像の差分画像を算出して、その差分画像を示す予測差分信号を符号化モード判定部３に出力する処理を実施する。
符号化モード判定部３は減算器２から出力された予測差分信号の予測効率を評価して、減算器２から出力された少なくとも１以上の予測差分信号の中で、最も予測効率が高い予測差分信号を選択し、動き補償予測部１で当該予測差分信号に係る予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ（例えば、当該マクロブロックにおいて使用されている符号化モードが、インターモード又はダイレクトモードのいずれであるかを示す情報を含む）及び参照画像の識別番号を符号化モード情報として可変長符号化部９に出力し、また、最も予測効率が高い予測差分信号を圧縮部４に出力する処理を実施する。 The subtracter 2 calculates a difference image between the prediction image generated by the motion compensation prediction unit 1 and the input image, and outputs a prediction difference signal indicating the difference image to the encoding mode determination unit 3.
The encoding mode determination unit 3 evaluates the prediction efficiency of the prediction difference signal output from the subtracter 2, and among the at least one or more prediction difference signals output from the subtracter 2, the prediction difference having the highest prediction efficiency. A motion vector, a macroblock type / sub-macroblock type (for example, a coding mode used in the macroblock) used to generate a predicted image related to the prediction difference signal in the motion compensation prediction unit 1 Is output to the variable-length encoding unit 9 as encoding mode information, and the prediction differential signal with the highest prediction efficiency is output. Is output to the compression unit 4.

圧縮部４は符号化モード判定部３から出力された予測差分信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化して、量子化後のＤＣＴ係数である圧縮データ（量子化係数）を局部復号部５及び可変長符号化部９に出力する処理を実施する。
なお、減算器２、符号化モード判定部３及び圧縮部４から量子化手段が構成されている。 The compression unit 4 performs DCT (discrete cosine transform) processing on the prediction difference signal output from the coding mode determination unit 3 to calculate a DCT coefficient, quantizes the DCT coefficient, and performs DCT after quantization. A process of outputting compressed data (quantization coefficient) as a coefficient to the local decoding unit 5 and the variable length coding unit 9 is performed.
Note that the subtracter 2, the encoding mode determination unit 3, and the compression unit 4 constitute quantization means.

局部復号部５は圧縮部４から出力された圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ（逆離散コサイン変換）処理を実施することで、符号化モード判定部３から出力された予測差分信号に相当する予測誤差信号を算出する処理を実施する。
加算器６は局部復号部５により算出された予測誤差信号と動き補償予測部１により生成された予測画像を示す予測信号を加算することで、局部復号画像を示す局部復号画像信号を生成する処理を実施する。 The local decoding unit 5 performs inverse quantization on the compressed data output from the compression unit 4 to obtain DCT coefficients, and performs inverse DCT (Inverse Discrete Cosine Transform) processing on the DCT coefficients. Processing for calculating a prediction error signal corresponding to the output prediction difference signal is performed.
The adder 6 adds a prediction error signal calculated by the local decoding unit 5 and a prediction signal indicating the prediction image generated by the motion compensated prediction unit 1 to generate a local decoded image signal indicating a locally decoded image. To implement.

ループフィルタ７は加算器６から出力された局部復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局部復号画像信号が示す局部復号画像を参照画像としてフレームメモリ８に出力する処理を実施する。
フレームメモリ８はループフィルタ７から出力された参照画像を格納するＲＡＭなどの記録媒体である。 The loop filter 7 compensates for the coding distortion included in the locally decoded image signal output from the adder 6 and stores the locally decoded image indicated by the locally decoded image signal after the coding distortion compensation in the frame memory 8 as a reference image. Perform the output process.
The frame memory 8 is a recording medium such as a RAM for storing the reference image output from the loop filter 7.

可変長符号化部９は圧縮部４から出力された圧縮データ及び動き補償予測部１から出力された符号化モード情報（マクロブロックタイプ／サブマクロブロックタイプ、動きベクトル、参照画像の識別番号）をエントロピー符号化して、その符号化結果を示すビットストリーム（符号化データ）を生成し、そのビットストリームを出力する処理を実施する。
なお、可変長符号化部９は可変長符号化手段を構成している。
ただし、動きベクトル情報については、そのまま符号化してもよいし、例えば、Ｈ．２６４／ＡＶＣのように、符号化済みマクロブロックの動きベクトルを用いて予測ベクトルを生成し、その予測ベクトルとの差分を符号化するようにしてもよい。 The variable length encoding unit 9 receives the compressed data output from the compression unit 4 and the encoding mode information (macroblock type / sub macroblock type, motion vector, reference image identification number) output from the motion compensated prediction unit 1. Entropy encoding is performed, a bit stream (encoded data) indicating the encoding result is generated, and processing for outputting the bit stream is performed.
The variable length coding unit 9 constitutes variable length coding means.
However, the motion vector information may be encoded as it is. As in H.264 / AVC, a prediction vector may be generated using a motion vector of an encoded macroblock, and a difference from the prediction vector may be encoded.

非矩形ブロックの動きベクトルを予測する場合には、例えば、図１１のような方法が考えられる。図１１において、矢印は予測ベクトルの導出に利用する周辺の動きベクトルを表している。
○で囲まれている３本の動きベクトルが指し示めしている分割領域の予測ベクトルは、○で囲まれている３本の動きベクトルのメディアン（中央値）によって求められる。 When predicting a motion vector of a non-rectangular block, for example, a method as shown in FIG. 11 is conceivable. In FIG. 11, an arrow represents a peripheral motion vector used for deriving a prediction vector.
The prediction vector of the divided area indicated by the three motion vectors surrounded by circles is obtained by the median (median value) of the three motion vectors surrounded by circles.

図２はこの発明の実施の形態１による画像符号化装置の動き補償予測部１を示す構成図である。
図２において、動きベクトルメモリ１１は符号化済みピクチャを構成しているマクロブロック（あるいは、マクロブロックを分割したサブマクロブロック）の動きベクトルを格納している例えばＲＡＭなどの記録媒体である。
動きベクトル探索部１２は符号化モードがインターモードである旨を示す情報を受信（例えば、外部からインターモードを使用する旨を示す情報を受信）すると、インターモードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部１４及び動きベクトルメモリ１１に出力する処理を実施する。 FIG. 2 is a block diagram showing the motion compensated prediction unit 1 of the image coding apparatus according to Embodiment 1 of the present invention.
In FIG. 2, a motion vector memory 11 is a recording medium such as a RAM that stores motion vectors of macroblocks (or sub-macroblocks obtained by dividing the macroblock) that constitute an encoded picture.
When the motion vector search unit 12 receives information indicating that the coding mode is the inter mode (for example, receives information indicating that the inter mode is used from the outside), the motion vector search unit 12 searches for an optimal motion vector in the inter mode, Processing for outputting the motion vector to the motion compensation processing unit 14 and the motion vector memory 11 is performed.

時間ダイレクトベクトル生成部１３は符号化モードが時間ダイレクトモードである旨を示す情報を受信すると、符号化対象のマクロブロック毎に、当該マクロブロックの時間的に近傍にある符号化済みピクチャを構成しているマクロブロックの中から、当該マクロブロックと空間的に同じ位置にあるマクロブロックを特定し、そのマクロブロックの中心に位置している例えば４個のブロック（分割領域）の動きベクトル（動きベクトルメモリ１１に格納されている動きベクトル）から時間ダイレクトモードの時間ダイレクトベクトルを生成し、その時間ダイレクトベクトルを動きベクトルとして、動き補償処理部１４及び動きベクトルメモリ１１に出力する処理を実施する。
なお、時間ダイレクトベクトル生成部１３はダイレクトベクトル生成手段を構成している。 When the time direct vector generation unit 13 receives information indicating that the coding mode is the time direct mode, the temporal direct vector generation unit 13 configures, for each macroblock to be encoded, a coded picture that is temporally adjacent to the macroblock. A macro block located in the same spatial position as the macro block is identified, and motion vectors (motion vectors) of, for example, four blocks (divided regions) located at the center of the macro block are identified. A time direct vector in the time direct mode is generated from the motion vector stored in the memory 11 and the time direct vector is used as a motion vector to output to the motion compensation processing unit 14 and the motion vector memory 11.
The time direct vector generation unit 13 constitutes a direct vector generation unit.

動き補償処理部１４は動きベクトル探索部１２又は時間ダイレクトベクトル生成部１３から出力された動きベクトルとフレームメモリ８に格納されている１フレームの参照画像を用いて、動き補償予測処理を実施することで、予測画像を生成する処理を実施する。なお、動き補償処理部１４は予測画像生成手段を構成している。   The motion compensation processing unit 14 performs a motion compensation prediction process using the motion vector output from the motion vector search unit 12 or the temporal direct vector generation unit 13 and the reference image of one frame stored in the frame memory 8. Then, the process which produces | generates an estimated image is implemented. The motion compensation processing unit 14 constitutes a predicted image generation unit.

図３はこの発明の実施の形態１による画像復号装置を示す構成図である。
図３において、可変長復号部２１は図１の画像符号化装置から出力されたビットストリーム（符号化データ）を入力し、そのビットストリームから圧縮データ（量子化係数）及び符号化モード情報（マクロブロックタイプ／サブマクロブロックタイプ、動きベクトル、参照画像の識別番号）をエントロピー復号して、その圧縮データを予測誤差復号部２２に出力し、その符号化モード情報を動き補償予測部２３に出力する処理を実施する。なお、可変長復号部２１は可変長復号手段を構成している。 3 is a block diagram showing an image decoding apparatus according to Embodiment 1 of the present invention.
In FIG. 3, a variable length decoding unit 21 receives a bit stream (encoded data) output from the image encoding apparatus of FIG. 1, and from this bit stream, compressed data (quantization coefficient) and encoding mode information (macro Block type / sub-macroblock type, motion vector, reference image identification number) are entropy decoded, the compressed data is output to the prediction error decoding unit 22, and the coding mode information is output to the motion compensation prediction unit 23. Perform the process. The variable length decoding unit 21 constitutes variable length decoding means.

予測誤差復号部２２は可変長復号部２１から出力された圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、差分画像を示す予測誤差信号（図１の符号化モード判定部３から出力された予測差分信号に相当する予測誤差信号）を算出する処理を実施する。なお、予測誤差復号部２２は逆量子化手段を構成している。   The prediction error decoding unit 22 inversely quantizes the compressed data output from the variable length decoding unit 21 to obtain a DCT coefficient, and performs an inverse DCT process on the DCT coefficient to thereby generate a prediction error signal indicating a difference image (FIG. 1). The prediction error signal corresponding to the prediction difference signal output from the encoding mode determination unit 3 is calculated. The prediction error decoding unit 22 constitutes an inverse quantization unit.

動き補償予測部２３はフレームメモリ２６に格納されている１フレーム以上の参照画像の中から、可変長復号部２１から出力された識別番号が示す参照画像を読み出し、可変長復号部２１から出力されたマクロブロックタイプ／サブマクロブロックタイプがインターモードを使用している旨を示している場合、可変長復号部２１から出力された動きベクトルと上記参照画像を用いて、動き補償予測処理を実施することで、予測画像を生成する処理を実施する。
一方、可変長復号部２１から出力されたマクロブロックタイプ／サブマクロブロックタイプがダイレクトモードを使用している旨を示している場合、図１の画像符号化装置における動き補償予測部１と同様にして、時間ダイレクトベクトルを生成し、その時間ダイレクトベクトルと上記参照画像を用いて、動き補償予測処理を実施することで、予測画像を生成する処理を実施する。 The motion compensation prediction unit 23 reads out a reference image indicated by the identification number output from the variable length decoding unit 21 from one or more reference images stored in the frame memory 26, and outputs the reference image from the variable length decoding unit 21. When the macro block type / sub macro block type indicates that the inter mode is used, the motion compensation prediction process is performed using the motion vector output from the variable length decoding unit 21 and the reference image. Thus, a process for generating a predicted image is performed.
On the other hand, when the macroblock type / sub-macroblock type output from the variable length decoding unit 21 indicates that the direct mode is used, the same as the motion compensation prediction unit 1 in the image encoding device of FIG. Then, a temporal direct vector is generated, and a motion compensation prediction process is performed using the temporal direct vector and the reference image, thereby executing a process for generating a predicted image.

加算器２４は動き補償予測部２３により生成された予測画像と予測誤差復号部２２から出力された予測誤差信号が示す差分画像を加算して、図１の画像符号化装置の加算器６から出力された局部復号画像に相当する復号画像を示す復号画像信号を生成する処理を実施する。
ループフィルタ２５は加算器２４により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像としてフレームメモリ２６に格納するとともに、その復号画像を外部に出力する処理を実施する。
なお、加算器２４及びループフィルタ２５から画像加算手段が構成されている。
フレームメモリ２６はループフィルタ２５から出力された参照画像を格納するＲＡＭなどの記録媒体である。 The adder 24 adds the prediction image generated by the motion compensation prediction unit 23 and the difference image indicated by the prediction error signal output from the prediction error decoding unit 22, and outputs the result from the adder 6 of the image encoding device in FIG. A process of generating a decoded image signal indicating a decoded image corresponding to the locally decoded image that has been performed is performed.
The loop filter 25 compensates for the encoding distortion included in the decoded image signal generated by the adder 24, stores the decoded image indicated by the decoded image signal after the encoding distortion compensation in the frame memory 26 as a reference image. Then, a process of outputting the decoded image to the outside is performed.
The adder 24 and the loop filter 25 constitute image adding means.
The frame memory 26 is a recording medium such as a RAM that stores the reference image output from the loop filter 25.

図４はこの発明の実施の形態１による画像復号装置の動き補償予測部２３を示す構成図である。
図４において、動きベクトルメモリ３１は復号済みピクチャを構成しているマクロブロック（あるいは、マクロブロックを分割したサブマクロブロック）の動きベクトルを格納している例えばＲＡＭなどの記録媒体である。 FIG. 4 is a block diagram showing the motion compensation prediction unit 23 of the image decoding apparatus according to Embodiment 1 of the present invention.
In FIG. 4, a motion vector memory 31 is a recording medium such as a RAM that stores motion vectors of macroblocks (or sub-macroblocks obtained by dividing the macroblock) constituting a decoded picture.

時間ダイレクトベクトル生成部３２は可変長復号部２１から出力されたマクロブロックタイプ／サブマクロブロックタイプがダイレクトモードを使用している旨を示している場合、復号対象のマクロブロック毎に、当該マクロブロックの時間的に近傍にある復号済みピクチャを構成しているマクロブロックの中から、当該マクロブロックと空間的に同じ位置にあるマクロブロックを特定し、そのマクロブロックの中心に位置している例えば４個のブロック（分割領域）の動きベクトル（動きベクトルメモリ３１に格納されている動きベクトル）から時間ダイレクトモードの時間ダイレクトベクトルを生成し、その時間ダイレクトベクトルを動きベクトルとして、動き補償処理部３３及び動きベクトルメモリ３１に出力する処理を実施する。
なお、時間ダイレクトベクトル生成部３２はダイレクトベクトル生成手段を構成している。 In the case where the macro block type / sub macro block type output from the variable length decoding unit 21 indicates that the direct mode is used, the temporal direct vector generation unit 32 indicates, for each macro block to be decoded, the macro block Among the macroblocks constituting the decoded picture that is near in time, a macroblock that is spatially located at the same position as the macroblock is identified, and is located at the center of the macroblock, for example, 4 A temporal direct vector in the temporal direct mode is generated from motion vectors (motion vectors stored in the motion vector memory 31) of the individual blocks (divided regions), and the motion compensation processing unit 33 and the temporal direct vector are used as motion vectors. A process of outputting to the motion vector memory 31 is performed.
The time direct vector generation unit 32 constitutes a direct vector generation unit.

動き補償処理部３３はフレームメモリ２６に格納されている１フレーム以上の参照画像の中から、可変長復号部２１から出力された識別番号が示す参照画像を読み出し、マクロブロックタイプ／サブマクロブロックタイプがインターモードを使用している旨を示している場合、可変長復号部２１から出力された動きベクトルと上記参照画像を用いて、動き補償予測処理を実施することで予測画像を生成し、マクロブロックタイプ／サブマクロブロックタイプがダイレクトモードを使用している旨を示している場合、時間ダイレクトベクトル生成部３２から出力された動きベクトルと上記参照画像を用いて、動き補償予測処理を実施することで予測画像を生成する処理を実施する。なお、動き補償処理部３３は予測画像生成手段を構成している。   The motion compensation processing unit 33 reads the reference image indicated by the identification number output from the variable length decoding unit 21 from one or more reference images stored in the frame memory 26, and performs macroblock type / sub macroblock type. Indicates that the inter mode is used, a motion compensation prediction process is performed using the motion vector output from the variable length decoding unit 21 and the reference image, and a predicted image is generated. When the block type / sub-macro block type indicates that the direct mode is used, the motion compensation prediction process is performed using the motion vector output from the temporal direct vector generation unit 32 and the reference image. The process which produces | generates an estimated image is implemented. The motion compensation processing unit 33 constitutes a predicted image generation unit.

図１では、画像符号化装置の構成要素である動き補償予測部１、減算器２、符号化モード判定部３、圧縮部４、局部復号部５、加算器６、ループフィルタ７及び可変長符号化部９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、動き補償予測部１、減算器２、符号化モード判定部３、圧縮部４、局部復号部５、加算器６、ループフィルタ７及び可変長符号化部９の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図５はこの発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。 In FIG. 1, a motion compensation prediction unit 1, a subtracter 2, a coding mode determination unit 3, a compression unit 4, a local decoding unit 5, an adder 6, a loop filter 7 and a variable length code which are components of the image coding apparatus. It is assumed that each of the encoding units 9 is configured by dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer), but the image encoding device is a computer. When configured, the processing contents of the motion compensation prediction unit 1, the subtractor 2, the coding mode determination unit 3, the compression unit 4, the local decoding unit 5, the adder 6, the loop filter 7 and the variable length coding unit 9 are described. The stored program may be stored in the memory of the computer, and the CPU of the computer may execute the program stored in the memory.
FIG. 5 is a flowchart showing the processing contents of the image coding apparatus according to Embodiment 1 of the present invention.

図３では、画像復号装置の構成要素である可変長復号部２１、予測誤差復号部２２、動き補償予測部２３、加算器２４及びループフィルタ２５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部２１、予測誤差復号部２２、動き補償予測部２３、加算器２４及びループフィルタ２５の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図６はこの発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。 In FIG. 3, each of the variable length decoding unit 21, the prediction error decoding unit 22, the motion compensation prediction unit 23, the adder 24, and the loop filter 25, which are components of the image decoding apparatus, is installed with dedicated hardware (for example, a CPU is installed). In the case where the image decoding device is configured by a computer, a variable length decoding unit 21, a prediction error decoding unit 22, A program describing the processing contents of the motion compensation prediction unit 23, the adder 24, and the loop filter 25 is stored in the memory of the computer, and the CPU of the computer executes the program stored in the memory. Also good.
FIG. 6 is a flowchart showing the processing contents of the image decoding apparatus according to Embodiment 1 of the present invention.

次に動作について説明する。
最初に、図１の画像符号化装置の処理内容を説明する。
動き補償予測部１は、入力画像を示す動画像信号を入力すると、その動画像信号の各フレームをマクロブロック単位（あるいは、サブマクロブロック単位）に分割する。
動き補償予測部１は、動画像信号をマクロブロック単位（あるいは、サブマクロブロック単位）に分割すると、フレームメモリ８に格納されている１フレーム以上の動き補償予測用の参照画像の中から１フレームの参照画像を選択し、マクロブロック単位（あるいは、サブマクロブロック単位）で、色成分毎に動き補償予測処理を実行することで、符号化対象のマクロブロック（あるいは、サブマクロブロック）の動きベクトルを生成して予測画像を生成する。 Next, the operation will be described.
First, the processing contents of the image encoding device in FIG. 1 will be described.
When a moving image signal indicating an input image is input, the motion compensation prediction unit 1 divides each frame of the moving image signal into macro block units (or sub macro block units).
When the motion compensation prediction unit 1 divides the video signal into macroblock units (or sub-macroblock units), one frame from the reference images for motion compensation prediction stored in the frame memory 8 is stored in one frame. By selecting a reference image and executing motion compensation prediction processing for each color component in units of macroblocks (or submacroblocks), so that the motion vector of the macroblock (or submacroblock) to be encoded To generate a predicted image.

動き補償予測部１は、符号化対象のマクロブロック（あるいは、サブマクロブロック）の動きベクトルを生成して予測画像を生成すると、その予測画像を減算器２に出力するとともに、その予測画像の生成に用いられた動きベクトル、マクロブロックタイプ／サブマクロブロックタイプ（例えば、当該マクロブロック（あるいは、サブマクロブロック）において使用されている符号化モードが、インターモード又はダイレクトモードのいずれであるかを示す情報を含む）及び参照画像の識別番号を符号化モード判定部３に出力する。
以下、動き補償予測部１の処理内容を具体的に説明する。
ただし、ここでは、説明の便宜上、マクロブロック単位で、動きベクトルを生成して予測画像を生成するものとする。 When the motion compensated prediction unit 1 generates a prediction image by generating a motion vector of a macroblock (or sub-macroblock) to be encoded, the motion compensation prediction unit 1 outputs the prediction image to the subtracter 2 and generates the prediction image. Indicates whether the coding mode used in the macroblock type / sub-macroblock type (for example, the macroblock (or sub-macroblock) is the inter mode or the direct mode). Information) and the identification number of the reference image are output to the encoding mode determination unit 3.
Hereinafter, the processing content of the motion compensation prediction part 1 is demonstrated concretely.
However, here, for convenience of explanation, it is assumed that a predicted image is generated by generating a motion vector in units of macroblocks.

動き補償予測部１の動きベクトル探索部１２は、符号化モードがインターモードである旨を示す情報を受信（例えば、外部からインターモードを使用する旨を示す情報を受信）すると（図５のステップＳＴ１）、インターモードで最適な動きベクトルを探索し、その動きベクトルを動き補償処理部１４に出力する（ステップＳＴ２）。
インターモードで最適な動きベクトルを探索する処理自体は公知の技術であるため詳細な説明を省略する。 When the motion vector search unit 12 of the motion compensation prediction unit 1 receives information indicating that the encoding mode is the inter mode (for example, receives information indicating that the inter mode is used from the outside) (step of FIG. 5). ST1) Search for an optimal motion vector in the inter mode, and output the motion vector to the motion compensation processing unit 14 (step ST2).
Since the process of searching for an optimal motion vector in the inter mode is a known technique, detailed description thereof is omitted.

動き補償予測部１の時間ダイレクトベクトル生成部１３は、符号化モードがダイレクトモードである旨を示す情報を受信すると（ステップＳＴ１）、符号化対象のマクロブロック毎に、当該マクロブロックの時間的に近傍にある符号化済みピクチャを構成しているマクロブロックの中から、当該マクロブロックと空間的に同じ位置にあるマクロブロックを特定する（ステップＳＴ３）。
例えば、符号化対象のマクロブロックが、図１２に示すように、ピクチャＢ２のマクロブロックＭＢ１である場合、マクロブロックＭＢ１の時間的に近傍にある符号化済みピクチャＰ３を構成しているマクロブロックの中から、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定する。 When receiving the information indicating that the coding mode is the direct mode (step ST1), the temporal direct vector generation unit 13 of the motion compensated prediction unit 1 receives the macroblock temporally for each macroblock to be encoded. From the macroblocks constituting the encoded picture in the vicinity, the macroblock located at the same spatial position as the macroblock is identified (step ST3).
For example, when the macroblock to be encoded is the macroblock MB1 of the picture B2, as shown in FIG. 12, the macroblocks constituting the encoded picture P3 that is temporally adjacent to the macroblock MB1. The macro block MB2 located in the same spatial position as the macro block MB1 is identified from the inside.

時間ダイレクトベクトル生成部１３は、符号化対象のマクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定すると、図７に示すように、動きベクトルメモリ１１に格納されている符号化済みの動きベクトルの中から、そのマクロブロックＭＢ２の中心に位置している４個の矩形ブロック（分割領域）の動きベクトルＭＶ_i（ｉ＝１，２，３，４）を取得する（ステップＳＴ４）。
図７の例では、左上の矩形ブロックの動きベクトルをＭＶ₁、右下の矩形ブロックの動きベクトルをＭＶ₄とし、ラスタスキャン順に番号が割り振られている。
時間ダイレクトベクトル生成部１３は、４個の矩形ブロックの動きベクトルＭＶ_i（ｉ＝１，２，３，４）を取得すると、下記の式（２）に示すように、４個の動きベクトルＭＶ_iの加算平均を求めることで、符号化対象のマクロブロックＭＢ１における時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成する（ステップＳＴ５）。 When the temporal direct vector generation unit 13 identifies the macroblock MB2 that is in the same spatial position as the encoding target macroblock MB1, as shown in FIG. From the motion vectors, motion vectors MV _i (i = 1, 2, 3, 4) of four rectangular blocks (divided regions) located at the center of the macro block MB2 are acquired (step ST4).
In the example of FIG. 7, the motion vector of the upper left rectangular block is MV ₁ , the motion vector of the lower right rectangular block is MV _4, and numbers are assigned in the raster scan order.
When the temporal direct vector generation unit 13 acquires the motion vectors MV _i (i = 1, 2, 3, 4) of the four rectangular blocks, as shown in the following equation (2), the four motion vectors MV _By calculating the average of _i , the temporal direct vector MV _direct in the temporal direct mode in the macro block MB1 to be encoded is generated (step ST5).

時間ダイレクトベクトル生成部１３は、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成すると、その時間ダイレクトベクトルＭＶ_directを動きベクトルとして、動き補償処理部１４及び動きベクトルメモリ１１に出力する。 When generating the time direct vector MV _direct in the time direct mode, the time direct vector generation unit 13 outputs the time direct vector MV _direct as a motion vector to the motion compensation processing unit 14 and the motion vector memory 11.

動き補償予測部１の動き補償処理部１４は、符号化モードがインターモードであるとき、動きベクトル探索部１２から動きベクトルを受けると、その動きベクトルとフレームメモリ８に格納されている１フレームの参照画像を用いて、動き補償予測処理を実施することで、予測画像を生成する（ステップＳＴ６）。
一方、符号化モードがダイレクトモードであるとき、時間ダイレクトベクトル生成部１３から動きベクトルとして時間ダイレクトベクトルＭＶ_directを受けると、その時間ダイレクトベクトルＭＶ_directとフレームメモリ８に格納されている１フレームの参照画像を用いて、動き補償予測処理を実施することで、予測画像を生成する（ステップＳＴ６）。
なお、動き補償処理部１４の動き補償予測処理は公知の技術であるため詳細な説明を省略する。 When the motion compensation processing unit 14 of the motion compensation prediction unit 1 receives a motion vector from the motion vector search unit 12 when the coding mode is the inter mode, the motion vector and one frame stored in the frame memory 8 are received. A predicted image is generated by performing motion compensation prediction processing using the reference image (step ST6).
On the other hand, when the encoding mode is the direct mode, when the temporal direct vector MV _direct is received from the temporal direct vector generation unit 13 as a motion vector, the temporal direct vector MV _direct and one frame stored in the frame memory 8 are referenced. By performing the motion compensation prediction process using the image, a predicted image is generated (step ST6).
Note that the motion compensation prediction process of the motion compensation processing unit 14 is a known technique, and thus detailed description thereof is omitted.

減算器２は、動き補償予測部１が予測画像を生成すると、その予測画像と入力画像の差分画像を算出して、その差分画像を示す予測差分信号を符号化モード判定部３に出力する（ステップＳＴ７）。
符号化モード判定部３は、減算器２から予測差分信号を受ける毎に、その予測差分信号の予測効率を評価して、減算器２から出力された少なくとも１以上の予測差分信号の中で、最も予測効率が高い予測差分信号を選択する。
符号化モード判定部３における予測差分信号の予測効率を評価する処理自体は公知の技術であるため詳細な説明を省略する。 When the motion compensated prediction unit 1 generates a prediction image, the subtracter 2 calculates a difference image between the prediction image and the input image, and outputs a prediction difference signal indicating the difference image to the encoding mode determination unit 3 ( Step ST7).
The encoding mode determination unit 3 evaluates the prediction efficiency of the prediction difference signal every time the prediction difference signal is received from the subtracter 2, and among the at least one prediction difference signal output from the subtractor 2, A prediction differential signal with the highest prediction efficiency is selected.
Since the process itself for evaluating the prediction efficiency of the prediction difference signal in the encoding mode determination unit 3 is a known technique, detailed description thereof is omitted.

符号化モード判定部３は、最も予測効率が高い予測差分信号を選択すると、動き補償予測部１において、その予測差分信号に係る予測画像の生成に用いられた動きベクトルと、マクロブロックタイプ／サブマクロブロックタイプ（例えば、当該マクロブロックにおいて使用されている符号化モードが、インターモード又はダイレクトモードのいずれであるかを示す情報を含む）と、参照画像の識別番号とを含む符号化モード情報を可変長符号化部９に出力する。
また、符号化モード判定部３は、最も予測効率が高い予測差分信号を圧縮部４に出力する。
ただし、符号化モード判定部３は、符号化モードがインターモードであれば、予測画像の生成に用いられた動きベクトルを符号化モード情報に含めて、その動きベクトルを含んでいる符号化モード情報を可変長符号化部９に出力するが、符号化モードがダイレクトモードである場合には、予測画像の生成に用いられた動きベクトルを符号化モード情報に含めずに、その動きベクトルを含んでいない符号化モード情報を可変長符号化部９に出力する。 When the coding mode determination unit 3 selects the prediction difference signal with the highest prediction efficiency, the motion compensation prediction unit 1 uses the motion vector used to generate the prediction image related to the prediction difference signal, and the macroblock type / sub Encoding mode information including a macroblock type (for example, including information indicating whether the encoding mode used in the macroblock is an inter mode or a direct mode) and a reference image identification number; It outputs to the variable length encoding part 9.
Also, the encoding mode determination unit 3 outputs a prediction difference signal with the highest prediction efficiency to the compression unit 4.
However, if the encoding mode is the inter mode, the encoding mode determination unit 3 includes the motion vector used for generating the predicted image in the encoding mode information and includes the encoding mode information including the motion vector. Is output to the variable-length encoding unit 9, but when the encoding mode is the direct mode, the motion vector used for generating the predicted image is not included in the encoding mode information but includes the motion vector. The encoding mode information which is not present is output to the variable length encoding unit 9.

圧縮部４は、符号化モード判定部３から予測差分信号を受けると、その予測差分信号に対するＤＣＴ処理を実施することで、ＤＣＴ係数を算出して、そのＤＣＴ係数を量子化する（ステップＳＴ８）。
圧縮部４は、量子化後のＤＣＴ係数である圧縮データを局部復号部５及び可変長符号化部９に出力する。 Upon receiving the prediction difference signal from the coding mode determination unit 3, the compression unit 4 performs DCT processing on the prediction difference signal, thereby calculating a DCT coefficient and quantizing the DCT coefficient (step ST8). .
The compression unit 4 outputs the compressed data that is the DCT coefficient after quantization to the local decoding unit 5 and the variable length coding unit 9.

局部復号部５は、圧縮部４から圧縮データを受けると、その圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、符号化モード判定部３から出力された予測差分信号に相当する予測誤差信号を算出する。
加算器６は、局部復号部５が予測誤差信号を算出すると、その予測誤差信号と動き補償予測部１により生成された予測画像を示す予測信号を加算することで、局部復号画像を示す局部復号画像信号を生成する。
ループフィルタ７は、次の符号化処理に備えるため、加算器６から出力された局部復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局部復号画像信号が示す局部復号画像を参照画像としてフレームメモリ８に格納する。 When receiving the compressed data from the compression unit 4, the local decoding unit 5 dequantizes the compressed data to obtain a DCT coefficient, and performs an inverse DCT process on the DCT coefficient to output from the coding mode determination unit 3. A prediction error signal corresponding to the predicted prediction difference signal is calculated.
When the local decoding unit 5 calculates the prediction error signal, the adder 6 adds the prediction error signal and the prediction signal indicating the prediction image generated by the motion compensated prediction unit 1, thereby local decoding indicating the local decoded image. An image signal is generated.
In order to prepare for the next encoding process, the loop filter 7 compensates for the encoding distortion included in the local decoded image signal output from the adder 6, and the local decoded image signal after the encoding distortion compensation indicates The decoded image is stored in the frame memory 8 as a reference image.

可変長符号化部９は、圧縮部４から圧縮データを受けると、その圧縮データと動き補償予測部１から出力された符号化モード情報（マクロブロックタイプ／サブマクロブロックタイプ、動きベクトル（符号化モードがインターモードの場合）、参照画像の識別番号）をエントロピー符号化して、その符号化結果を示すビットストリームを生成し、そのビットストリームを出力する（ステップＳＴ９）。   When the variable length encoding unit 9 receives the compressed data from the compression unit 4, the variable length encoding unit 9 encodes the compressed data and the encoding mode information (macroblock type / sub macroblock type, motion vector (encoding) When the mode is the inter mode), the reference image identification number) is entropy-encoded, a bit stream indicating the encoding result is generated, and the bit stream is output (step ST9).

次に、図３の画像復号装置の処理内容を説明する。
可変長復号部２１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームから圧縮データ及び符号化モード情報（マクロブロックタイプ／サブマクロブロックタイプ、動きベクトル（符号化モードがインターモードの場合）、参照画像の識別番号）をエントロピー復号して、その圧縮データを予測誤差復号部２２に出力し、その符号化モード情報を動き補償予測部２３に出力する（図６のステップＳＴ１１）。
予測誤差復号部２２は、可変長復号部２１から圧縮データを受けると、その圧縮データを逆量子化してＤＣＴ係数を求め、そのＤＣＴ係数に対する逆ＤＣＴ処理を実施することで、差分画像を示す予測誤差信号（図１の符号化モード判定部３から出力された予測差分信号に相当する予測誤差信号）を算出する（ステップＳＴ１２）。 Next, processing contents of the image decoding apparatus in FIG. 3 will be described.
When the variable length decoding unit 21 receives the bit stream output from the image encoding device in FIG. 1, the variable length decoding unit 21 receives compressed data and encoding mode information (macroblock type / sub macroblock type, motion vector (encoding) from the bitstream. When the mode is the inter mode), the reference image identification number) is entropy decoded, the compressed data is output to the prediction error decoding unit 22, and the coding mode information is output to the motion compensation prediction unit 23 (FIG. 6). Step ST11).
When the prediction error decoding unit 22 receives the compressed data from the variable length decoding unit 21, the prediction error decoding unit 22 inversely quantizes the compressed data to obtain a DCT coefficient, and performs an inverse DCT process on the DCT coefficient, thereby predicting a difference image. An error signal (a prediction error signal corresponding to the prediction difference signal output from the encoding mode determination unit 3 in FIG. 1) is calculated (step ST12).

動き補償予測部２３は、可変長復号部２１から参照画像の識別番号を受けると、フレームメモリ２６に格納されている１フレーム以上の参照画像の中から、その識別番号が示す参照画像の読み出しを行う。
また、動き補償予測部２３は、可変長復号部２１からマクロブロックタイプ／サブマクロブロックタイプを受けると、そのマクロブロックタイプ／サブマクロブロックタイプを参照して、図１の画像符号化装置が符号化モードとして、インターモードを使用しているのか、ダイレクトモードを使用しているのかを判別する（ステップＳＴ１３）。 When the motion compensation prediction unit 23 receives the reference image identification number from the variable length decoding unit 21, the motion compensation prediction unit 23 reads the reference image indicated by the identification number from one or more reference images stored in the frame memory 26. Do.
When the motion compensation prediction unit 23 receives the macroblock type / sub-macroblock type from the variable-length decoding unit 21, the image coding apparatus in FIG. It is determined whether the inter mode or the direct mode is used as the conversion mode (step ST13).

動き補償予測部２３は、図１の画像符号化装置が符号化モードとして、インターモードを使用している場合、可変長復号部２１から出力された動きベクトルと上記参照画像を用いて、動き補償予測処理を実施することで、予測画像を生成する。
一方、図１の画像符号化装置が符号化モードとして、ダイレクトモードを使用している場合、図１の画像符号化装置における動き補償予測部１と同様にして、時間ダイレクトベクトルを生成して、その時間ダイレクトベクトルを用いて、動き補償予測処理を実施することで、予測画像を生成する。 The motion compensation prediction unit 23 uses the motion vector output from the variable length decoding unit 21 and the above reference image when the image coding apparatus in FIG. 1 uses the inter mode as the coding mode. A prediction image is generated by performing the prediction process.
On the other hand, when the image coding apparatus in FIG. 1 uses the direct mode as the coding mode, a temporal direct vector is generated in the same manner as the motion compensation prediction unit 1 in the image coding apparatus in FIG. A predicted image is generated by performing motion compensation prediction processing using the temporal direct vector.

以下、動き補償予測部２３の処理内容を具体的に説明する。
動き補償予測部２３の時間ダイレクトベクトル生成部３２は、可変長復号部２１から出力されたマクロブロックタイプ／サブマクロブロックタイプがダイレクトモードを使用している旨を示している場合、復号対象のマクロブロック毎に、当該マクロブロックの時間的に近傍にある復号済みピクチャを構成しているマクロブロックの中から、当該マクロブロックと空間的に同じ位置にあるマクロブロックを特定する（ステップＳＴ１４）。
例えば、復号対象のマクロブロックが、図１２に示すように、ピクチャＢ２のマクロブロックＭＢ１である場合、マクロブロックＭＢ１の時間的に近傍にある復号済みピクチャＰ３を構成しているマクロブロックの中から、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定する。 Hereinafter, the processing content of the motion compensation prediction part 23 is demonstrated concretely.
The temporal direct vector generation unit 32 of the motion compensated prediction unit 23 indicates that the macroblock type / sub-macroblock type output from the variable length decoding unit 21 indicates that the direct mode is used. For each block, a macroblock located in the same spatial position as the macroblock is identified from among the macroblocks constituting the decoded picture that is temporally adjacent to the macroblock (step ST14).
For example, when the macroblock to be decoded is the macroblock MB1 of the picture B2 as shown in FIG. 12, the macroblock constituting the decoded picture P3 that is temporally adjacent to the macroblock MB1 is selected. The macro block MB2 located in the same spatial position as the macro block MB1 is specified.

時間ダイレクトベクトル生成部３２は、復号対象のマクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定すると、図７に示すように、動きベクトルメモリ３１に格納されている復号済みの動きベクトルの中から、そのマクロブロックＭＢ２の中心に位置している４個の矩形ブロック（分割領域）の動きベクトルＭＶ_i（ｉ＝１，２，３，４）を取得する（ステップＳＴ１５）。
時間ダイレクトベクトル生成部３２は、４個の矩形ブロックの動きベクトルＭＶ_i（ｉ＝１，２，３，４）を取得すると、上記の式（２）に示すように、４個の動きベクトルＭＶ_iの加算平均を求めることで、復号対象のマクロブロックＭＢ１における時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成する（ステップＳＴ１６）。
時間ダイレクトベクトル生成部３２は、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成すると、その時間ダイレクトベクトルＭＶ_directを動きベクトルとして、動き補償処理部３３及び動きベクトルメモリ３１に出力する。 When the temporal direct vector generation unit 32 specifies the macroblock MB2 that is spatially the same position as the macroblock MB1 to be decoded, the decoded motion vector stored in the motion vector memory 31 as shown in FIG. The motion vectors MV _i (i = 1, 2, 3, 4) of the four rectangular blocks (divided regions) located at the center of the macro block MB2 are acquired (step ST15).
When the temporal direct vector generation unit 32 acquires the motion vectors MV _i (i = 1, 2, 3, 4) of the four rectangular blocks, the four motion vectors MV are obtained as shown in the above equation (2). _{By obtaining} the average of _i , the temporal direct vector MV _direct in the temporal direct mode in the decoding target macroblock MB1 is generated (step ST16).
Temporal direct vector generation unit 32, when generating a temporal direct vector MV _direct the temporal direct mode, as a motion vector the temporal direct vector MV _direct, and outputs the motion compensation processing unit 33 and the motion vector memory 31.

動き補償予測部２３の動き補償処理部３３は、可変長復号部２１から参照画像の識別番号を受けると、フレームメモリ２６に格納されている１フレーム以上の参照画像の中から、その識別番号が示す参照画像の読み出しを行う。
動き補償処理部３３は、可変長復号部２１から出力されたマクロブロックタイプ／サブマクロブロックタイプがインターモードを使用している旨を示している場合、可変長復号部２１から出力された動きベクトルと上記参照画像を用いて、動き補償予測処理を実施することで予測画像を生成する（ステップＳＴ１７）。
一方、可変長復号部２１から出力されたマクロブロックタイプ／サブマクロブロックタイプがダイレクトモードを使用している旨を示している場合、時間ダイレクトベクトル生成部３２から動きベクトルとして時間ダイレクトベクトルＭＶ_directを受けると、その時間ダイレクトベクトルＭＶ_directと上記参照画像を用いて、動き補償予測処理を実施することで予測画像を生成する（ステップＳＴ１７）。
なお、動き補償処理部３３の動き補償予測処理は公知の技術であるため詳細な説明を省略する。 When the motion compensation processing unit 33 of the motion compensation prediction unit 23 receives the identification number of the reference image from the variable length decoding unit 21, the identification number is selected from the reference images of one frame or more stored in the frame memory 26. The reference image shown is read out.
When the macroblock type / sub macroblock type output from the variable length decoding unit 21 indicates that the inter mode is used, the motion compensation processing unit 33 outputs the motion vector output from the variable length decoding unit 21. Using the reference image, the motion compensation prediction process is performed to generate a predicted image (step ST17).
On the other hand, when the macroblock type / sub-macroblock type output from the variable length decoding unit 21 indicates that the direct mode is used, the temporal direct vector MV _direct is transmitted from the temporal direct vector generation unit 32 as a motion vector. Then, using the temporal direct vector MV _direct and the reference image, a motion compensation prediction process is performed to generate a prediction image (step ST17).
Since the motion compensation prediction process of the motion compensation processing unit 33 is a known technique, detailed description thereof is omitted.

加算器２４は、動き補償予測部２３が予測画像を生成すると、その予測画像と予測誤差復号部２２から出力された予測誤差信号が示す差分画像を加算して、図１の画像符号化装置の加算器６から出力された局部復号画像に相当する復号画像を示す復号画像信号を生成する（ステップＳＴ１８）。
ループフィルタ２５は、加算器２４が復号画像信号を生成すると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像としてフレームメモリ２６に格納するとともに、その復号画像を外部に出力する（ステップＳＴ１９）。 When the motion compensated prediction unit 23 generates a prediction image, the adder 24 adds the prediction image and the difference image indicated by the prediction error signal output from the prediction error decoding unit 22, and the adder 24 of the image encoding device in FIG. A decoded image signal indicating a decoded image corresponding to the locally decoded image output from the adder 6 is generated (step ST18).
When the adder 24 generates the decoded image signal, the loop filter 25 compensates for the encoding distortion included in the decoded image signal, and uses the decoded image indicated by the decoded image signal after the encoding distortion compensation as a reference image as a frame. While being stored in the memory 26, the decoded image is output to the outside (step ST19).

以上で明らかなように、この実施の形態１によれば、時間ダイレクトベクトル生成部１３が、符号化対象のマクロブロックの時間的に近傍にある符号化済みピクチャを構成しているマクロブロックの中から、符号化対象のマクロブロックと空間的に同じ位置にあるマクロブロックを特定し、そのマクロブロックの中心に位置している４個の矩形ブロックの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するように構成したので、符号化対象のマクロブロックの動きベクトルに近い時間ダイレクトモードの時間ダイレクトベクトルを生成することができるようになり、その結果、符号化対象のマクロブロックの符号化効率を高めることができる画像符号化装置が得られる効果を奏する。   As is apparent from the above, according to the first embodiment, the temporal direct vector generation unit 13 is a macroblock that constitutes an encoded picture that is temporally close to the macroblock to be encoded. To identify a macroblock that is in the same spatial position as the macroblock to be encoded, and generate a temporal direct vector in temporal direct mode from the motion vectors of the four rectangular blocks located at the center of the macroblock As a result, it is possible to generate a temporal direct vector in temporal direct mode that is close to the motion vector of the macroblock to be encoded, and as a result, increase the encoding efficiency of the macroblock to be encoded. There is an effect that an image encoding device that can be used is obtained.

また、この実施の形態１によれば、時間ダイレクトベクトル生成部３２が、復号対象のマクロブロックの時間的に近傍にある復号済みピクチャを構成しているマクロブロックの中から、復号対象のマクロブロックと空間的に同じ位置にあるマクロブロックを特定し、そのマクロブロックの中心に位置している４個の矩形ブロックの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するように構成したので、復号対象のマクロブロックの動きベクトルに近い時間ダイレクトモードの時間ダイレクトベクトルを生成することができるようになり、その結果、復号対象のマクロブロックの符号化効率の高い符号化装置で符号化されたストリームを復号できる画像復号装置が得られる効果を奏する。   Further, according to the first embodiment, the temporal direct vector generation unit 32 selects the decoding target macroblock from among the macroblocks constituting the decoded picture that is temporally adjacent to the decoding target macroblock. Since the macro block located in the same spatial position is identified and the temporal direct vector of the temporal direct mode is generated from the motion vectors of the four rectangular blocks located at the center of the macro block. As a result, it is possible to generate a temporal direct vector in temporal direct mode that is close to the motion vector of the target macroblock. As a result, a stream encoded by the encoding device with high encoding efficiency of the decoding target macroblock can be obtained. There is an effect that an image decoding device capable of decoding can be obtained.

なお、この実施の形態１では、時間ダイレクトベクトル生成部１３，３２が、マクロブロックの中心に位置している４個の矩形ブロックの動きベクトルＭＶ_i（ｉ＝１，２，３，４）から時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するものについて示したが、マクロブロックの中心に位置しているブロックが４個に限るものではなく、マクロブロックの中心に位置しているブロックが３個以下又は５個以上であれば、３個以下又は５個以上のブロックから時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するようにしてもよい。
また、この実施の形態１では、動きベクトルとして時間ダイレクトベクトルを生成するものについて示したが、このベクトルを予測ベクトルとして用いるようにしてもよい。 In the first embodiment, the temporal direct vector generation units 13 and 32 are based on the motion vectors MV _i (i = 1, 2, 3, 4) of the four rectangular blocks located at the center of the macroblock. Although it has been shown that the temporal direct vector MV _direct is generated in the temporal direct mode, the number of blocks located at the center of the macroblock is not limited to four, but three blocks located at the center of the macroblock. The time direct vector MV _direct in the time direct mode may be generated from 3 or less or 5 or more blocks if the number is 5 or less.
In the first embodiment, the temporal direct vector is generated as the motion vector. However, this vector may be used as the prediction vector.

実施の形態２．
上記実施の形態１では、時間ダイレクトベクトル生成部１３，３２が、符号化対象（復号対象）のマクロブロックの中心に位置している４個の矩形ブロックの動きベクトルＭＶ_i（ｉ＝１，２，３，４）の加算平均を求めることで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するものについて示したが、符号化対象（復号対象）のマクロブロック内の複数の分割領域のブロックサイズに応じて、複数の分割領域の動きベクトルＭＶ_iを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するようにしてもよい。 Embodiment 2. FIG.
In the first embodiment, the temporal direct vector generation units 13 and 32 have the motion vectors MV _i (i = 1, 2) of the four rectangular blocks positioned at the center of the macroblock to be encoded (decoded). , 3, 4) has been shown to generate a temporal direct vector MV _direct in temporal direct mode, but the block sizes of a plurality of divided regions within a macroblock to be encoded (decoding target) Accordingly, the temporal direct vector MV _direct in the temporal direct mode may be generated by weighted addition of the motion vectors MV _i of a plurality of divided regions.

以下、時間ダイレクトベクトルＭＶ_directの生成方法を具体的に説明する。
図８はブロックサイズに応じた重み付け加算による時間ダイレクトベクトルＭＶ_directの生成方法を示す説明図である。
時間ダイレクトベクトル生成部１３，３２は、上記実施の形態１と同様に、符号化対象（復号対象）のマクロブロック毎に、当該マクロブロックの時間的に近傍にある符号化済みピクチャ（復号済みピクチャ）を構成しているマクロブロックの中から、当該マクロブロックと空間的に同じ位置にあるマクロブロックを特定する。
例えば、符号化対象（復号対象）のマクロブロックが、図１２に示すように、ピクチャＢ２のマクロブロックＭＢ１である場合、マクロブロックＭＢ１の時間的に近傍にある符号化済みピクチャＰ３（復号済みピクチャＰ３）を構成しているマクロブロックの中から、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定する。 Hereinafter, a method of generating the time direct vector MV _direct will be specifically described.
FIG. 8 is an explanatory diagram showing a method of generating the time direct vector MV _direct by weighted addition according to the block size.
The temporal direct vector generation units 13 and 32, for each macroblock to be encoded (decoding target), encode pictures (decoded pictures) that are temporally adjacent to the macroblock, as in the first embodiment. ) Is identified from among the macroblocks constituting the same macroblock.
For example, if the macroblock to be encoded (decoding target) is the macroblock MB1 of the picture B2, as shown in FIG. 12, the encoded picture P3 (decoded picture) that is temporally adjacent to the macroblock MB1 Among the macroblocks constituting P3), the macroblock MB2 located in the same spatial position as the macroblock MB1 is specified.

時間ダイレクトベクトル生成部１３，３２は、符号化対象（復号対象）のマクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定すると、図８に示すように、動きベクトルメモリ１１，３１に格納されている符号化済みの動きベクトル（復号済みの動きベクトル）の中から、そのマクロブロックＭＢ２の中心に位置している４個のブロック（分割領域）の動きベクトルＭＶ_i（ｉ＝１，２，３，４）を取得する。
図８の例では、左上のブロックの動きベクトルをＭＶ₁、右下のブロックの動きベクトルをＭＶ₄とし、ラスタスキャン順に番号が割り振られている。
また、時間ダイレクトベクトル生成部１３，３２は、マクロブロックＭＢ２の中心から４個のブロックの中心までの距離ｄ_i（ｉ＝１，２，３，４）を取得する。
なお、マクロブロックＭＢ２の中心から４個のブロックの中心までの距離ｄ_iは、当該ブロックのサイズに比例している。 When the temporal direct vector generation units 13 and 32 specify the macroblock MB2 that is spatially the same position as the macroblock MB1 to be encoded (decoding target), as shown in FIG. Among the stored encoded motion vectors (decoded motion vectors), motion vectors MV _i (i = 1, 1) of four blocks (divided regions) located at the center of the macro block MB2. 2, 3, 4).
In the example of FIG. 8, the motion vector of the upper left block is MV ₁ , the motion vector of the lower right block is MV _4, and numbers are assigned in raster scan order.
In addition, the temporal direct vector generation units 13 and 32 obtain distances d _i (i = 1, 2, 3, 4) from the center of the macroblock MB2 to the centers of the four blocks.
Note that the distance d _i from the center of the macro block MB2 to the centers of the four blocks is proportional to the size of the block.

時間ダイレクトベクトル生成部１３，３２は、４個のブロックの動きベクトルＭＶ_iと、マクロブロックＭＢ２の中心から４個のブロックの中心までの距離ｄ_iとを取得すると、下記の式（３）に示すように、４個のブロックの中心までの距離ｄ_iに応じて、４個の動きベクトルＭＶ_iを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成する。 When the temporal direct vector generation units 13 and 32 obtain the motion vector MV _i of the four blocks and the distance d _i from the center of the macroblock MB2 to the center of the four blocks, the following equation (3) is obtained. As shown in the drawing, the time direct vector MV _direct in the time direct mode is generated by weighted addition of the four motion vectors MV _i according to the distance d _i to the center of the four blocks.

以上で明らかなように、この実施の形態２によれば、時間ダイレクトベクトル生成部１３，３２が、複数の分割領域のブロックサイズに応じて、複数の分割領域の動きベクトルＭＶ_iを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するように構成したので、上記実施の形態１のように、マクロブロックの中心に位置している４個の矩形ブロックの動きベクトルＭＶ_iを加算平均して時間ダイレクトベクトルＭＶ_directを生成する場合よりも、符号化対象（復号対象）のマクロブロックＭＢ１の中心位置における動きベクトルを精度よく推定することができるようになり、時間ダイレクトベクトルＭＶ_directの精度を高めることができる効果を奏する。 As is apparent from the above, according to the second embodiment, the temporal direct vector generation units 13 and 32 perform weighted addition of the motion vectors MV _i of the plurality of divided regions according to the block sizes of the plurality of divided regions. Thus, since the temporal direct vector MV _direct in the temporal direct mode is generated, the motion vectors MV _i of the four rectangular blocks positioned at the center of the macro block are obtained as in the first embodiment. than for generating time by adding the average direct vector MV _direct, it will be able to accurately estimate a motion vector at the central position of the macro block MB1 of the encoding target (decoded), temporal direct vector MV _direct The effect which can improve the precision of is produced.

実施の形態３．
上記実施の形態１では、時間ダイレクトベクトル生成部１３，３２が、符号化対象（復号対象）のマクロブロックの中心に位置している４個の矩形ブロックの動きベクトルＭＶ_i（ｉ＝１，２，３，４）の加算平均を求めることで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するものについて示したが、符号化対象（復号対象）のマクロブロック内の複数の分割領域の差分動きベクトルに応じて、複数の分割領域の動きベクトルＭＶ_iを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するようにしてもよい。 Embodiment 3 FIG.
In the first embodiment, the temporal direct vector generation units 13 and 32 have the motion vectors MV _i (i = 1, 2) of the four rectangular blocks positioned at the center of the macroblock to be encoded (decoded). , 3, 4) to generate the temporal direct vector MV _direct in the temporal direct mode by calculating the addition average, the differential motion of a plurality of divided regions in the macroblock to be encoded (decoding target) The time direct vector MV _direct in the time direct mode may be generated by weighted addition of the motion vectors MV _i of a plurality of divided regions according to the vector.

以下、時間ダイレクトベクトルＭＶ_directの生成方法を具体的に説明する。
図９は差分動きベクトルに応じた重み付け加算による時間ダイレクトベクトルＭＶ_directの生成方法を示す説明図である。
時間ダイレクトベクトル生成部１３，３２は、上記実施の形態１と同様に、符号化対象（復号対象）のマクロブロック毎に、当該マクロブロックの時間的に近傍にある符号化済みピクチャ（復号済みピクチャ）を構成しているマクロブロックの中から、当該マクロブロックと空間的に同じ位置にあるマクロブロックを特定する。
例えば、符号化対象（復号対象）のマクロブロックが、図１２に示すように、ピクチャＢ２のマクロブロックＭＢ１である場合、マクロブロックＭＢ１の時間的に近傍にある符号化済みピクチャＰ３（復号済みピクチャＰ３）を構成しているマクロブロックの中から、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定する。 Hereinafter, a method of generating the time direct vector MV _direct will be specifically described.
FIG. 9 is an explanatory diagram showing a method of generating the temporal direct vector MV _direct by weighted addition according to the difference motion vector.
The temporal direct vector generation units 13 and 32, for each macroblock to be encoded (decoding target), encode pictures (decoded pictures) that are temporally adjacent to the macroblock, as in the first embodiment. ) Is identified from among the macroblocks constituting the same macroblock.
For example, if the macroblock to be encoded (decoding target) is the macroblock MB1 of the picture B2, as shown in FIG. 12, the encoded picture P3 (decoded picture) that is temporally adjacent to the macroblock MB1 Among the macroblocks constituting P3), the macroblock MB2 located in the same spatial position as the macroblock MB1 is specified.

時間ダイレクトベクトル生成部１３，３２は、符号化対象（復号対象）のマクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２を特定すると、図９に示すように、動きベクトルメモリ１１，３１に格納されている符号化済みの動きベクトル（復号済みの動きベクトル）の中から、そのマクロブロックＭＢ２の中心に位置している４個のブロック（分割領域）の動きベクトルＭＶ_i（ｉ＝１，２，３，４）を取得する。
図９の例では、左上のブロックの動きベクトルをＭＶ₁、右下のブロックの動きベクトルをＭＶ₄とし、ラスタスキャン順に番号が割り振られている。
また、時間ダイレクトベクトル生成部１３，３２は、マクロブロックＭＢ２の中心に位置している４個のブロックの差分動きベクトルＭＶｄ_i（ｉ＝１，２，３，４）を取得する。 When the temporal direct vector generation units 13 and 32 identify the macroblock MB2 that is spatially the same position as the encoding target (decoding target) macroblock MB1, as shown in FIG. Among the stored encoded motion vectors (decoded motion vectors), motion vectors MV _i (i = 1, 1) of four blocks (divided regions) located at the center of the macro block MB2. 2, 3, 4).
In the example of FIG. 9, the motion vector of the upper left block is MV ₁ , the motion vector of the lower right block is MV _4, and numbers are assigned in raster scan order.
In addition, the temporal direct vector generation units 13 and 32 acquire the differential motion vectors MVd _i (i = 1, 2, 3, 4) of the four blocks located at the center of the macroblock MB2.

時間ダイレクトベクトル生成部１３，３２は、４個のブロックの動きベクトルＭＶ_iと、４個のブロックの差分動きベクトルＭＶｄ_iとを取得すると、下記の式（５）に示すように、４個のブロックの差分動きベクトルＭＶｄ_iに応じて、４個の動きベクトルＭＶ_iを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成する。
ただし、差分動きベクトルＭＶｄ_iが“０”である場合には、重みとして固定値Ａを与えるものとする。 When the temporal direct vector generation units 13 and 32 obtain the motion vector MV _i of four blocks and the differential motion vector MVd _i of four blocks, as shown in the following equation (5), depending on the differential motion vector MVd _i of the block, by weighted addition of four motion vectors MV _i, to generate a temporal direct vector MV _direct the temporal direct mode.
However, when the difference motion vector MVd _i is “0”, a fixed value A is given as a weight.

なお、差分動きベクトルＭＶｄ_iの大きさはベクトルの孤立度を表しており、差分動きベクトルＭＶｄ_iの大きさが大きいほど、孤立度が大きい可能性が高いので、重みの計算式である式（６）において、差分動きベクトルＭＶｄ_iの大きさの逆数を取り入れることで、孤立したベクトルの重みを小さくすることができる。 The magnitude of the difference motion vector MVd _i represents the degree of isolation of the vector, and the greater the magnitude of the difference motion vector MVd _i , the higher the possibility that the degree of isolation is greater. in 6), by incorporating the size inverse of the differential motion vector MVd _i, it is possible to reduce the weight of the isolated vector.

以上で明らかなように、この実施の形態３によれば、時間ダイレクトベクトル生成部１３，３２が、複数の分割領域の差分動きベクトルＭＶｄ_iに応じて、複数の分割領域の動きベクトルＭＶ_iを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成するように構成したので、上記実施の形態１よりも、時間ダイレクトベクトルＭＶ_directの精度を高めることができる効果を奏する。 As is apparent from the above, according to the third embodiment, the temporal direct vector generation units 13 and 32 obtain the motion vectors MV _i of the plurality of divided regions according to the difference motion vectors MVd _i of the plurality of divided regions. Since the time direct vector MV _direct in the time direct mode is generated by weighting addition, the accuracy of the time direct vector MV _direct can be improved as compared with the first embodiment.

実施の形態４．
上記実施の形態２では、複数の分割領域のブロックサイズに応じて、複数の分割領域の動きベクトルＭＶ_iを重み付け加算し、上記実施の形態３では、複数の分割領域の差分動きベクトルＭＶｄ_iに応じて、複数の分割領域の動きベクトルＭＶ_iを重み付け加算するものについて示したが、複数の分割領域の符号化モードに応じて、複数の分割領域の動きベクトルＭＶ_iを重み付け加算するようにしてもよい。 Embodiment 4 FIG.
In the second embodiment, the motion vectors MV _i of the plurality of divided regions are weighted and added according to the block sizes of the plurality of divided regions. In the third embodiment, the difference motion vectors MVd _i of the plurality of divided regions are added. Accordingly, the motion vector MV _i of the plurality of divided regions is weighted and added. However, the motion vector MV _i of the plurality of divided regions is weighted and added according to the encoding mode of the plurality of divided regions. Also good.

例えば、符号化済みブロック（復号済みブロック）である分割領域がイントラブロックである場合は、その分割領域を計算対象から除外して時間ダイレクトベクトルＭＶ_directを生成する方法が考えられる。
具体的には、図８において、例えば、左上のブロック（分割領域）がイントラブロックである場合（図８では、左上のブロックに動きベクトルＭＶ₁が表記されているが、イントラブロックである場合、動きベクトルの情報を持たない）、左上のブロックを計算対象から除外して、残り３つのブロックの動きベクトルＭＶ_i（ｉ＝２，３，４）を重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成する。
イントラブロックは動きベクトルの情報を持たないため、イントラブロックを計算対象から除外することで、不必要に時間ダイレクトベクトルがゼロベクトルにならずに済み、時間ダイレクトベクトルの精度が向上する。 For example, when a divided region that is an encoded block (decoded block) is an intra block, a method of generating the temporal direct vector MV _direct by excluding the divided region from the calculation target can be considered.
Specifically, in FIG. 8, for example, when the upper left block (divided area) is an intra block (in FIG. 8, the motion vector MV ₁ is represented in the upper left block, but when it is an intra block, Time-direct mode time is obtained by excluding the upper left block from the calculation target and weighting and adding the motion vectors MV _i (i = 2, 3, 4) of the remaining three blocks. A direct vector MV _direct is generated.
Since an intra block does not have motion vector information, by excluding an intra block from the calculation target, the time direct vector does not need to be a zero vector unnecessarily, and the accuracy of the time direct vector is improved.

実施の形態５．
上記実施の形態１〜３では、４つのブロックのベクトルを用いて、時間ダイレクトベクトルＭＶ_directを生成するものについて示したが、マクロブロック内の全てのブロックの動きベクトルを用いて、時間ダイレクトベクトルＭＶ_directを生成するようにしてもよい。
図１０はマクロブロック内の全てのブロックの動きベクトルを用いて、時間ダイレクトベクトルＭＶ_directを生成する方法を示す説明図である。 Embodiment 5 FIG.
In the above first to third embodiments, the generation of the temporal direct vector MV _direct using the vectors of the four blocks has been described. However, the temporal direct vector MV using the motion vectors of all the blocks in the macroblock. _Direct may be generated.
FIG. 10 is an explanatory diagram showing a method of generating the temporal direct vector MV _direct using the motion vectors of all the blocks in the macroblock.

符号化対象（復号対象）のマクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２内のｋ個のブロックの動きベクトルをＭＶ_i（０≦ｉ≦ｋ）、ｋ個のブロックの大きさをＳ_i（０≦ｉ≦ｋ）とすると、下記の式（７）を演算することで、時間ダイレクトモードの時間ダイレクトベクトルＭＶ_directを生成する。 MV _i (0 ≦ i ≦ k) is the motion vector of k blocks in the macro block MB2 in the same spatial position as the macro block MB1 to be encoded (decoding target), and the size of the k blocks is When S _i (0 ≦ i ≦ k), the time direct vector MV _direct in the time direct mode is generated by calculating the following equation (7).

１ 動き補償予測部、２ 減算器（量子化手段）、３ 符号化モード判定部（量子化手段）、４ 圧縮部（量子化手段）、５ 局部復号部、６ 加算器、７ ループフィルタ、８ フレームメモリ、９ 可変長符号化部（可変長符号化手段）、１１ 動きベクトルメモリ、１２ 動きベクトル探索部、１３ 時間ダイレクトベクトル生成部（ダイレクトベクトル生成手段）、１４ 動き補償処理部（予測画像生成手段）、２１ 可変長復号部（可変長復号手段）、２２ 予測誤差復号部（逆量子化手段）、２３ 動き補償予測部、２４ 加算器（画像加算手段）、５ ループフィルタ（画像加算手段）、２６ フレームメモリ、３１ 動きベクトルメモリ、３２ 時間ダイレクトベクトル生成部（ダイレクトベクトル生成手段）、３３ 動き補償処理部（予測画像生成手段）。   DESCRIPTION OF SYMBOLS 1 Motion compensation prediction part, 2 Subtractor (quantization means), 3 Encoding mode determination part (quantization means), 4 Compression part (quantization means), 5 Local decoding part, 6 Adder, 7 Loop filter, 8 Frame memory, 9 variable length coding unit (variable length coding unit), 11 motion vector memory, 12 motion vector search unit, 13 time direct vector generation unit (direct vector generation unit), 14 motion compensation processing unit (prediction image generation) Means), 21 variable length decoding section (variable length decoding means), 22 prediction error decoding section (inverse quantization means), 23 motion compensation prediction section, 24 adder (image addition means), 5 loop filter (image addition means) , 26 frame memory, 31 motion vector memory, 32 time direct vector generation unit (direct vector generation means), 33 motion compensation processing unit (preliminary) Image generation means).

Claims (10)

入力画像を構成しているブロック毎に、当該ブロックの時間的に近傍にある符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するダイレクトベクトル生成手段と、上記ダイレクトベクトル生成手段により生成された時間ダイレクトベクトルを用いて、動き補償予測処理を実施することで、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記入力画像の差分画像を量子化し、上記差分画像の量子化係数を出力する量子化手段と、上記量子化手段から出力された量子化係数を可変長符号化して、上記量子化係数の符号化データを出力する可変長符号化手段とを備えるとともに、上記ダイレクトベクトル生成手段は、符号化対象のブロックの時間的に近傍にある符号化済みピクチャを構成しているブロックの中から、符号化対象のブロックと空間的に同じ位置にあるブロックを特定し、上記ブロックの中心に位置している複数の分割領域の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする画像符号化装置。   For each block constituting the input image, a direct vector generation unit that generates a temporal direct vector in temporal direct mode from a motion vector of an encoded picture that is temporally adjacent to the block, and the direct vector generation unit By performing motion compensation prediction processing using the generated temporal direct vector, a prediction image generation unit that generates a prediction image, a difference image between the prediction image generated by the prediction image generation unit and the input image Quantizing means for quantizing and outputting the quantized coefficient of the difference image, and variable length code for encoding the quantized coefficient output from the quantizing means and outputting encoded data of the quantized coefficient And the direct vector generating means is temporally adjacent to the block to be encoded. A block that is in the same spatial position as the encoding target block is identified from among the blocks that make up a certain encoded picture, and the motion vectors of a plurality of divided regions that are located at the center of the block are used. An image encoding apparatus for generating a temporal direct vector in temporal direct mode. ダイレクトベクトル生成手段は、複数の分割領域のブロックサイズに応じて、複数の分割領域の動きベクトルを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする請求項１記載の画像符号化装置。   2. The direct vector generation unit generates a temporal direct vector in a temporal direct mode by weighted addition of motion vectors of a plurality of divided regions according to block sizes of the plurality of divided regions. Image coding apparatus. ダイレクトベクトル生成手段は、複数の分割領域の差分動きベクトルに応じて、複数の分割領域の動きベクトルを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする請求項１記載の画像符号化装置。   2. The direct vector generation means generates a temporal direct vector in temporal direct mode by weighted addition of motion vectors of a plurality of divided regions according to differential motion vectors of the plurality of divided regions. The image encoding device described. ダイレクトベクトル生成手段は、複数の分割領域の符号化モードに応じて、複数の分割領域の動きベクトルを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする請求項１記載の画像符号化装置。   2. The direct vector generation means generates a temporal direct vector in temporal direct mode by weighted addition of motion vectors of a plurality of divided regions according to encoding modes of the plurality of divided regions. The image encoding device described. 符号化データから量子化係数を復号する可変長復号手段と、上記可変長復号手段により復号された量子化係数を逆量子化する逆量子化手段と、復号対象のブロックの時間的に近傍にある復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するダイレクトベクトル生成手段と、上記ダイレクトベクトル生成手段により生成された時間ダイレクトベクトルを用いて、動き補償予測処理を実施することで、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆量子化結果が示す差分画像を加算して、画像符号化装置の入力画像に相当する復号画像を得る画像加算手段とを備えるとともに、上記ダイレクトベクトル生成手段は、復号対象のブロックの時間的に近傍にある復号済みピクチャを構成しているブロックの中から、復号対象のブロックと空間的に同じ位置にあるブロックを特定し、上記ブロックの中心に位置している複数の分割領域の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする画像復号装置。   Variable length decoding means for decoding quantized coefficients from encoded data, inverse quantization means for inverse quantizing the quantized coefficients decoded by the variable length decoding means, and temporally close to the block to be decoded Prediction is achieved by performing a motion compensation prediction process using a direct vector generation unit that generates a temporal direct vector in temporal direct mode from a motion vector of a decoded picture and the temporal direct vector generated by the direct vector generation unit. Corresponding to the input image of the image encoding device by adding the prediction image generating means for generating an image, the prediction image generated by the prediction image generating means and the difference image indicated by the inverse quantization result of the inverse quantization means Image addition means for obtaining a decoded image to be decoded, and the direct vector generation means includes a block to be decoded. A block that is located in the same position as the decoding target block is identified from among the blocks that make up the decoded picture that is near in time, and a plurality of divided regions that are located at the center of the block An image decoding device that generates a temporal direct vector in temporal direct mode from a motion vector of the temporal motion vector. ダイレクトベクトル生成手段は、複数の分割領域のブロックサイズに応じて、複数の分割領域の動きベクトルを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする請求項５記載の画像復号装置。   6. The direct vector generation means generates a temporal direct vector in a temporal direct mode by weighted addition of motion vectors of a plurality of divided regions according to block sizes of the plurality of divided regions. Image decoding apparatus. ダイレクトベクトル生成手段は、複数の分割領域の差分動きベクトルに応じて、複数の分割領域の動きベクトルを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする請求項５記載の画像復号装置。   6. The direct vector generation means generates a temporal direct vector in a temporal direct mode by weighted addition of motion vectors of a plurality of divided regions according to differential motion vectors of the plurality of divided regions. The image decoding device described. ダイレクトベクトル生成手段は、複数の分割領域の符号化モードに応じて、複数の分割領域の動きベクトルを重み付け加算することで、時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする請求項５記載の画像復号装置。   6. The direct vector generation means generates a temporal direct vector in a temporal direct mode by weighted addition of motion vectors of a plurality of divided regions in accordance with encoding modes of the plurality of divided regions. The image decoding device described. ダイレクトベクトル生成手段が入力画像を構成しているブロック毎に、当該ブロックの時間的に近傍にある符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するダイレクトベクトル生成処理ステップと、予測画像生成手段が上記ダイレクトベクトル生成処理ステップで生成された時間ダイレクトベクトルを用いて、動き補償予測処理を実施することで、予測画像を生成する予測画像生成処理ステップと、量子化手段が上記予測画像生成処理ステップで生成された予測画像と上記入力画像の差分画像を量子化し、上記差分画像の量子化係数を出力する量子化処理ステップと、可変長符号化手段が上記量子化処理ステップで出力された量子化係数を可変長符号化して、上記量子化係数の符号化データを出力する可変長符号化処理ステップとを備えるとともに、上記ダイレクトベクトル生成手段がダイレクトベクトル生成処理ステップを実施する際、符号化対象のブロックの時間的に近傍にある符号化済みピクチャを構成しているブロックの中から、符号化対象のブロックと空間的に同じ位置にあるブロックを特定し、上記ブロックの中心に位置している複数の分割領域の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする画像符号化方法。   A direct vector generation processing step for generating a temporal direct vector in temporal direct mode from a motion vector of an encoded picture that is temporally adjacent to the block for each block in which the direct vector generation means constitutes an input image; The prediction image generation means performs the motion compensation prediction processing using the temporal direct vector generated in the direct vector generation processing step, and the prediction means generation processing step for generating a prediction image, and the quantization means performs the prediction Quantize the difference image between the prediction image generated in the image generation processing step and the input image, and output the quantization coefficient of the difference image, and the variable length coding means outputs in the quantization processing step The encoded quantization coefficient is variable-length encoded and encoded data of the quantization coefficient A variable-length encoding processing step for outputting, and when the direct vector generation means performs the direct vector generation processing step, an encoded picture that is temporally adjacent to the block to be encoded is configured. A block located in the same spatial position as the block to be encoded is identified from the blocks, and a temporal direct vector in temporal direct mode is generated from motion vectors of a plurality of divided regions located at the center of the block. An image encoding method characterized by the above. 可変長復号手段が符号化データから量子化係数を復号する可変長復号処理ステップと、逆量子化手段が上記可変長復号処理ステップで復号された量子化係数を逆量子化する逆量子化処理ステップと、ダイレクトベクトル生成手段が復号対象のブロックの時間的に近傍にある復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成するダイレクトベクトル生成処理ステップと、予測画像生成手段が上記ダイレクトベクトル生成処理ステップで生成された時間ダイレクトベクトルを用いて、動き補償予測処理を実施することで、予測画像を生成する予測画像生成処理ステップと、画像加算手段が上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップにおける逆量子化結果が示す差分画像を加算して、画像符号化装置の入力画像に相当する復号画像を得る画像加算処理ステップとを備えるとともに、上記ダイレクトベクトル生成手段がダイレクトベクトル生成処理ステップを実施する際、復号対象のブロックの時間的に近傍にある復号済みピクチャを構成しているブロックの中から、復号対象のブロックと空間的に同じ位置にあるブロックを特定し、上記ブロックの中心に位置している複数の分割領域の動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成することを特徴とする画像復号方法。   A variable length decoding unit in which the variable length decoding unit decodes the quantized coefficient from the encoded data, and an inverse quantization unit in which the inverse quantizing unit dequantizes the quantized coefficient decoded in the variable length decoding step. A direct vector generation processing step in which a direct vector generation means generates a temporal direct vector in temporal direct mode from a motion vector of a decoded picture that is temporally adjacent to a block to be decoded; and a predicted image generation means includes the direct vector The motion compensation prediction process is performed using the temporal direct vector generated in the generation process step, so that a predicted image generation process step for generating a predicted image, and the image addition unit is generated in the predicted image generation process step. Difference between the predicted image and the result of inverse quantization in the inverse quantization process step And an image addition processing step for obtaining a decoded image corresponding to the input image of the image encoding device, and when the direct vector generation means performs the direct vector generation processing step, A block that is in the same position as the decoding target block is identified from among the blocks that make up the decoded picture that is temporally nearby, and a plurality of divided regions that are located at the center of the block are identified. An image decoding method, wherein a temporal direct vector in temporal direct mode is generated from a motion vector.

Images