JP2013098711A - Video encoding device, video decoding device, video encoding method, and video decoding method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To enable enhancement of encoding performance using a motion vector with high prediction accuracy, and enable reduction of the code amount of index information indicating the motion vector.SOLUTION: When motion compensation prediction units 5 and 54 perform motion compensation prediction processing on an encoding block, if the encoding block is divided and motion compensation prediction processing is performed on each divided block, values of index information indicating one or more selectable motion vectors are changed depending on the division shape of the encoding block.

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法に関するものである。   The present invention relates to a moving image encoding device, a moving image decoding device, a moving image encoding method, and a moving image decoding method used for image compression encoding technology, compressed image data transmission technology, and the like.

例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。 For example, in an international standard video encoding method such as MPEG (Moving Picture Experts Group) or “ITU-T H.26x”, a luminance signal 16 × 16 pixels and a color difference signal 8 × corresponding to the luminance signal 16 × 16 pixels are used. A method is adopted in which block data (hereinafter referred to as “macroblock”) including eight pixels is used as a unit for compression based on a motion compensation technique or an orthogonal transform / transform coefficient quantization technique.
In the motion compensation processing in the moving image encoding device and the moving image decoding device, a motion vector is detected and a predicted image is generated in units of macroblocks with reference to a front or rear picture.
At this time, a picture that performs inter-frame prediction encoding with reference to only one picture is referred to as a P picture, and a picture that performs inter-frame prediction encoding with reference to two pictures at the same time is referred to as a B picture. .

国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、Ｂピクチャを符号化する際に、ダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。 AVC / H. Is an international standard system. H.264 (ISO / IEC 14496-10 | ITU-T H.264) can select a coding mode called a direct mode when coding a B picture (see, for example, Non-Patent Document 1). .
That is, the macroblock to be encoded does not have motion vector encoded data, and is a predetermined calculation process using a motion vector of a macroblock of another encoded picture or a motion vector of a surrounding macroblock. The encoding mode for generating the motion vector of the macroblock to be encoded can be selected.

このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。
ただし、ダイレクトモードの中で、変換係数を符号化しないモードをスキップモードと称する。以下、ダイレクトモードと記載するときは、スキップモードも含まれるものとする。 There are two types of direct mode: temporal direct mode and spatial direct mode.
In the temporal direct mode, the motion vector scaling process is performed according to the time difference between the coded picture and the picture to be coded by referring to the motion vector of the other picture that has been coded. Generate a motion vector of.
In the spatial direct mode, the motion vector of at least one encoded macroblock located around the macroblock to be encoded is referenced, and the motion vector of the macroblock to be encoded is determined from those motion vectors. Generate.
In this direct mode, by using “direct_spatial_mv_pred_flag” which is a flag provided in the slice header, it is possible to select either the temporal direct mode or the spatial direct mode in units of slices.
However, a mode in which transform coefficients are not encoded in the direct mode is referred to as a skip mode. Hereinafter, when the direct mode is described, the skip mode is also included.

ここで、図１７は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１７において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。 Here, FIG. 17 is a schematic diagram showing a method of generating a motion vector in the temporal direct mode.
In FIG. 17, “P” represents a P picture, and “B” represents a B picture.
Numbers 0 to 3 indicate the display order of pictures and indicate that the images are displayed at times T0, T1, T2 and T3.
It is assumed that the picture encoding process is performed in the order of P0, P3, B1, and B2.

例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。

For example, it is assumed that the macroblock MB1 in the picture B2 is encoded in the temporal direct mode.
In this case, the motion of the macroblock MB2 which is the motion vector of the picture P3 closest to the picture B2 among the encoded pictures located on the rear side of the picture B2 on the time axis, and is in the same spatial position as the macroblock MB1. Vector MV is used.
The motion vector MV refers to the picture P0, and the motion vectors MVL0 and MVL1 used when encoding the macroblock MB1 are obtained by the following equation (1).

図１８は空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１８において、ｃｕｒｒｅｎｔＭＢは、符号化対象のマクロブロックを表している。
このとき、符号化対象のマクロブロックの左横の符号化済マクロブロックＡの動きベクトルをＭＶａ、符号化対象のマクロブロックの上の符号化済マクロブロックＢの動きベクトルをＭＶｂ、符号化対象のマクロブロックの右上の符号化済マクロブロックＣの動きベクトルをＭＶｃとすると、下記の式（２）に示すように、これらの動きベクトルＭＶａ，ＭＶｂ，ＭＶｃのメディアン（中央値）を求めることにより、符号化対象のマクロブロックの動きベクトルＭＶを算出することができる。
ＭＶ＝ｍｅｄｉａｎ（ＭＶａ、ＭＶｂ、ＭＶｃ） （２）
空間ダイレクトモードでは、前方及び後方のそれぞれについて動きベクトルを求めるが、どちらも上記の方法を用いて求めることが可能である。 FIG. 18 is a schematic diagram showing a method of generating a motion vector in the spatial direct mode.
In FIG. 18, currentMB represents a macroblock to be encoded.
At this time, the motion vector of the encoded macroblock A on the left side of the macroblock to be encoded is MVa, the motion vector of the encoded macroblock B above the macroblock to be encoded is MVb, Assuming that the motion vector of the encoded macro block C at the upper right of the macro block is MVc, by obtaining the median (median value) of these motion vectors MVa, MVb, and MVc as shown in the following equation (2), The motion vector MV of the macroblock to be encoded can be calculated.
MV = median (MVa, MVb, MVc) (2)
In the spatial direct mode, motion vectors are obtained for each of the front and rear, both of which can be obtained using the above method.

なお、予測画像の生成に用いる参照画像は、参照に用いるベクトル毎に、参照画像リストして管理されており、２つのベクトルを用いる場合、各参照画像リストはリスト０、リスト１と称される。
参照画像リストに対して時間的に近いものから順番に格納され、通常はリスト０が前方向の参照画像を示し、リスト１が後方向の参照画像を示している。ただし、リスト１が前方向の参照画像を示し、リスト０が後方向の参照画像を示していてもよいし、リスト０とリスト１の双方が、前方向と後方向の参照画像を示していてもよい。また、並び順も時間的に近いものから並べる必要はない。
例えば、以下の非特許文献１には、参照画像リストをスライス毎に並び替えることが可能であることが記載されている。 Note that the reference images used for generating the predicted image are managed as a reference image list for each vector used for reference. When two vectors are used, the reference image lists are referred to as list 0 and list 1, respectively. .
The reference images are stored in order from the closest to the reference image list, and normally, list 0 indicates a forward reference image and list 1 indicates a backward reference image. However, list 1 may indicate a forward reference image, list 0 may indicate a backward reference image, and both list 0 and list 1 indicate forward and backward reference images. Also good. Also, it is not necessary to arrange the items in order of time.
For example, the following Non-Patent Document 1 describes that the reference image list can be rearranged for each slice.

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格MPEG-4 AVC (ISO / IEC 14496-10) / ITU-TH H.264 standard

従来の動画像符号化装置は以上のように構成されているので、選択可能な１以上の動きベクトルの中から、符号化対象のマクロブロックの予測画像の生成に適する動きベクトルを選択する際、符号化モードとして、時間ダイレクトモードや空間ダイレクトモードなどを選択することが可能であるが、符号化対象のマクロブロックの形状を考慮せずに動きベクトルを選択している。このため、符号化対象のマクロブロックの形状によっては、予測精度が低い動きベクトルを選択してしまって、符号化性能が劣化してしまうことがある課題があった。   Since the conventional moving image encoding apparatus is configured as described above, when selecting a motion vector suitable for generating a prediction image of a macroblock to be encoded from one or more selectable motion vectors, A temporal direct mode, a spatial direct mode, or the like can be selected as an encoding mode, but a motion vector is selected without considering the shape of the macroblock to be encoded. For this reason, depending on the shape of the macroblock to be encoded, there has been a problem that a motion vector with low prediction accuracy may be selected and the encoding performance may deteriorate.

この発明は上記のような課題を解決するためになされたもので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。   The present invention has been made to solve the above-described problems, and can improve the encoding performance by using a motion vector having high prediction accuracy and reduce the code amount of index information indicating the motion vector. It is an object of the present invention to obtain a moving image encoding device, a moving image decoding device, a moving image encoding method, and a moving image decoding method.

この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割するブロック分割手段と、ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、選択可能な１以上の動きベクトルの中から、予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ、符号化制御手段により選択された符号化モード及び動き補償予測手段から出力されたインデックス情報を可変長符号化して、その圧縮データ、その符号化モード及び上記インデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、動き補償予測手段が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにしたものである。   The moving picture coding apparatus according to the present invention determines the maximum size of a coding block that is a processing unit when the prediction process is performed, and sets an upper limit when the coding block of the maximum size is hierarchically divided. A coding control means for selecting a coding mode for determining a coding method of each coding block from one or more available coding modes, and an input image of a predetermined size The block is divided into coding blocks, and until the upper limit number of layers determined by the coding control means is reached, the coding block is divided into hierarchical blocks, and the coding blocks are divided by the block dividing means. When an inter coding mode is selected by the coding control means as a corresponding coding mode, a predicted image is generated from one or more selectable motion vectors. A motion compensation prediction unit that selects a suitable motion vector, uses the motion vector, performs motion compensation prediction processing on the encoded block to generate a prediction image, and outputs index information indicating the motion vector; The difference image generating means for generating a difference image between the encoded block divided by the block dividing means and the predicted image generated by the motion compensation prediction means, and the difference image generated by the difference image generating means is compressed and the difference The image compression means for outputting the compressed data of the image, the compressed data output from the image compression means, the encoding mode selected by the encoding control means, and the index information output from the motion compensation prediction means are variable length encoded. The compressed data, the encoding mode, and the encoded data of the index information are multiplexed. Variable-length encoding means for generating a bitstream, and when the motion compensation prediction means performs motion compensation prediction processing for the encoded block, the encoded block is divided and motion is performed for each of the divided blocks. When the compensation prediction process is performed, the value of index information indicating one or more selectable motion vectors is changed according to the division shape of the encoded block.

この発明によれば、動き補償予測手段が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するように構成したので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる効果がある。   According to this invention, when the motion compensation prediction means performs the motion compensation prediction process for the encoded block, when the encoded block is divided and the motion compensated prediction process is performed for each divided block, Since the index information value indicating one or more selectable motion vectors is changed according to the division shape of the coding block, it is possible to improve the coding performance by using a motion vector with high prediction accuracy. In addition, the code amount of the index information indicating the motion vector can be reduced.

この発明の実施の形態１による動画像符号化装置を示す構成図である。It is a block diagram which shows the moving image encoder by Embodiment 1 of this invention. この発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the moving image encoder by Embodiment 1 of this invention. この発明の実施の形態１による動画像復号装置を示す構成図である。It is a block diagram which shows the moving image decoding apparatus by Embodiment 1 of this invention. この発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。It is a flowchart which shows the processing content of the moving image decoding apparatus by Embodiment 1 of this invention. 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。It is explanatory drawing which shows a mode that the encoding block of the largest size is divided | segmented into a some encoding block hierarchically. （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示す説明図である。(A) shows the distribution of the partitions after the division, and (b) is an explanatory diagram showing a situation where the encoding mode m (B ⁿ ) is assigned to the partition after the hierarchy division as a quadtree graph. 符号化ブロックの分割例を示す説明図である。It is explanatory drawing which shows the example of a division | segmentation of an encoding block. 符号化ブロックを左右に分割した場合の一例を示す説明図である。It is explanatory drawing which shows an example at the time of dividing an encoding block into right and left. 選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。It is explanatory drawing which shows the index information which shows the 1 or more motion vector which can be selected. 選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。It is explanatory drawing which shows the index information which shows the 1 or more motion vector which can be selected. 符号化ブロックＢⁿのサイズがＬⁿ＝ｋＭⁿとなる分割例を示す説明図である。The size of the coding block B ⁿ is an explanatory view showing an exemplary division of the L ⁿ = kM ^n. （Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ／２，Ｍⁿ／２）となる分割例を示す説明図である。 ^{(L n + 1, M n} + 1) = is an explanatory diagram showing an ^{(L n / 2, M n} / 2) to become divided Example. 選択可能な分割例を示す説明図である。It is explanatory drawing which shows the example of a division | segmentation which can be selected. 変換ブロックサイズ単位が階層構造になっている例を示す説明図である。It is explanatory drawing which shows the example in which the conversion block size unit has a hierarchical structure. ２階層目から長方形に分割する方法を示す説明図である。It is explanatory drawing which shows the method of dividing | segmenting into a rectangle from the 2nd hierarchy. 定義されていないブロックの形状が含まれている場合、正方形での変換のみが有効である例を示す説明図である。It is explanatory drawing which shows the example where only the conversion in a square is effective when the shape of the block which is not defined is contained. 時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。It is a schematic diagram which shows the method of producing | generating a motion vector in time direct mode. 空間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。It is a schematic diagram which shows the method of producing | generating a motion vector in spatial direct mode.

実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。 Embodiment 1 FIG.
In the first embodiment, each frame image of a video is input, and after performing compression processing by orthogonal transformation or quantization on a prediction difference signal obtained by performing motion compensation prediction between adjacent frames, the variable length is obtained. A video encoding device that performs encoding to generate a bitstream and a video decoding device that decodes a bitstream output from the video encoding device will be described.

この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。 The moving picture coding apparatus according to the first embodiment adapts to local changes in the spatial and temporal directions of a video signal, divides the video signal into regions of various sizes, and performs intraframe / interframe adaptive coding. It is characterized by performing.
In general, a video signal has a characteristic that the complexity of the signal changes locally in space and time. When viewed spatially, on a particular video frame, there are patterns with uniform signal characteristics in a relatively large image area such as the sky and walls, and small images such as people and paintings with fine textures. A pattern having a complicated texture pattern may be mixed in the region.
Even when viewed temporally, the sky and the wall have small changes in the pattern in the time direction locally, but the moving person or object has a rigid or non-rigid motion in time, so the temporal change does not occur. large.

符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。 The encoding process reduces the overall code amount by generating a prediction difference signal with small signal power and entropy by temporal and spatial prediction, but the parameters for prediction are made uniform in as large an image signal region as possible. If applicable, the code amount of the parameter can be reduced.
On the other hand, if the same prediction parameter is applied to an image signal pattern having a large temporal and spatial change, the number of prediction differential signals cannot be reduced because prediction errors increase.
Therefore, for image signal patterns with large temporal and spatial changes, the prediction target signal power / entropy is reduced even if the prediction target area is reduced and the amount of parameter data for prediction is increased. Is preferable.
In order to perform coding adapted to the general properties of such a video signal, the moving picture coding apparatus of the first embodiment divides the video signal area hierarchically from a predetermined maximum block size, Prediction processing and prediction difference encoding processing are performed for each divided region.

この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。 The video signal to be processed by the moving image coding apparatus according to the first embodiment is a color in an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor. In addition to the video signal, the video frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which the video frame is composed of a horizontal and vertical two-dimensional digital sample (pixel) sequence.
The gradation of each pixel may be 8 bits, or may be gradation such as 10 bits or 12 bits.
However, in the following description, it is assumed that the input video signal is a YUV signal unless otherwise specified. In addition, it is assumed that the two color difference components U and V are subsampled 4: 2: 0 format signals with respect to the luminance component Y.
The processing data unit corresponding to each frame of the video is referred to as “picture”. In the first embodiment, “picture” is described as a signal of a video frame that has been sequentially scanned (progressive scan). However, when the video signal is an interlace signal, the “picture” may be a field image signal which is a unit constituting a video frame.

図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード（ダイレクトモードやマージモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化制御手段を構成している。 1 is a block diagram showing a moving picture coding apparatus according to Embodiment 1 of the present invention.
In FIG. 1, an encoding control unit 1 determines the maximum size of an encoding block that is a processing unit when a motion compensation prediction process (interframe prediction process) or an intra prediction process (intraframe prediction process) is performed. Then, a process of determining the upper limit number of layers when the encoding block of the maximum size is hierarchically divided is performed.
In addition, the encoding control unit 1 has one or more available encoding modes (one or more intra encoding modes, one or more inter encoding modes (including inter encoding modes such as a direct mode and a merge mode)). Then, a process of selecting a coding mode suitable for each coding block divided hierarchically is performed. The encoding control unit 1 constitutes an encoding control unit.

ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。   When the video signal indicating the input image is input, the block dividing unit 2 divides the input image indicated by the video signal into encoded blocks of the maximum size determined by the encoding control unit 1 and determined by the encoding control unit 1. The process of dividing the encoded block hierarchically is performed until the upper limit number of hierarchies is reached. The block dividing unit 2 constitutes block dividing means.

切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。 If the coding mode selected by the coding control unit 1 is the intra coding mode, the changeover switch 3 outputs the coding block divided by the block dividing unit 2 to the intra prediction unit 4, and the coding control unit 1 If the coding mode selected by (2) is the inter coding mode, a process of outputting the coding block divided by the block dividing unit 2 to the motion compensation prediction unit 5 is performed.
When the intra prediction unit 4 receives the encoded block divided by the block dividing unit 2 from the changeover switch 3, the intra prediction unit 4 performs an intra prediction process on the encoded block using the intra prediction parameter output from the encoding control unit 1. Then, a process for generating a predicted image is performed.

動き補償予測部５はブロック分割部２により分割された符号化ブロックに適する符号化モードとして、符号化制御部１によりインター符号化モードが選択された場合、例えば、動きパラメータ候補格納部１４に格納されている選択可能な１以上の動きベクトルの中から、その符号化ブロックの予測画像の生成に適する動きベクトルを選択し、その動きベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を可変長符号化部１３に出力する処理を実施する。   When the inter coding mode is selected by the coding control unit 1 as the coding mode suitable for the coding block divided by the block dividing unit 2, the motion compensated prediction unit 5 stores, for example, in the motion parameter candidate storage unit 14. A motion vector suitable for generating a predicted image of the encoded block is selected from one or more selectable motion vectors, and the motion compensated prediction process for the encoded block is performed using the motion vector. Then, a process of generating a predicted image and outputting index information indicating the motion vector to the variable length coding unit 13 is performed.

具体的には、例えば、符号化制御部１によりダイレクトモードのインター符号化モードが選択された場合、当該符号化ブロックの周囲に位置している符号化済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な符号化済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
また、符号化制御部１によりマージモードのインター符号化モードが選択された場合、動きパラメータ候補格納部１４により格納されている動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）、即ち、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、予測画像の生成に適する動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部１４に格納する。
また、符号化制御部１によりダイレクトモード及びマージモード以外のインター符号化モードが選択された場合、当該符号化ブロックと動き補償予測フレームメモリ１２に格納されている参照画像から動きベクトルを探索し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。 Specifically, for example, when the direct coding inter coding mode is selected by the coding control unit 1, the spatial direct mode space is calculated from the motion vectors of the coded blocks located around the coding block. In addition to generating a direct vector, a temporal direct vector in temporal direct mode is generated from a motion vector of an encoded picture that can be referred to by the encoding block, and between the reference images from the spatial direct vector or temporal direct vector. A direct vector having a higher correlation is selected, and using the direct vector, a motion compensated prediction process is performed on the coding block to generate a predicted image.
When the inter coding mode of the merge mode is selected by the coding control unit 1, the motion parameters (motion vector, reference picture index, prediction direction) stored by the motion parameter candidate storage unit 14, that is, A motion parameter suitable for generating a predicted image is selected from motion parameters used in motion compensated prediction processing for one or more encoded blocks located around the encoded block, and the motion parameter is used. Then, a motion compensation prediction process is performed on the encoded block to generate a predicted image. The motion parameters used in the motion compensation prediction process for the encoded block are stored in the motion parameter candidate storage unit 14.
In addition, when an inter coding mode other than the direct mode and the merge mode is selected by the coding control unit 1, a motion vector is searched from the coding block and a reference image stored in the motion compensated prediction frame memory 12, Using the motion vector, a motion compensated prediction process is performed on the encoded block to generate a predicted image.

ただし、動き補償予測部５は、符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
なお、切替スイッチ３及び動き補償予測部５から動き補償予測手段が構成されている。 However, when the motion compensation prediction unit 5 performs the motion compensation prediction process on the encoded block, the motion compensated prediction unit 5 divides the encoded block and performs the motion compensated prediction process on each of the divided blocks. The value of index information indicating one or more selectable motion vectors is changed according to the division shape of the block.
The changeover switch 3 and the motion compensation prediction unit 5 constitute a motion compensation prediction means.

減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
なお、減算部６及び変換・量子化部７から画像圧縮手段が構成されている。 The subtracting unit 6 subtracts the prediction image generated by the intra prediction unit 4 or the motion compensation prediction unit 5 from the encoded block divided by the block dividing unit 2, thereby obtaining a difference image (= encoded block−predicted image). The process to generate is performed.
The transform / quantization unit 7 performs transform processing (for example, DCT (discrete) of the difference image generated by the subtraction unit 6 in units of transform block size included in the prediction difference encoding parameter output from the encoding control unit 1. Cosine transformation) and orthogonal transformation processing such as KL transformation in which a base design is made in advance for a specific learning sequence) and using the quantization parameter included in the prediction differential encoding parameter, By quantizing the transform coefficient of the difference image, a process of outputting the quantized transform coefficient as compressed data of the difference image is performed.
The subtracting unit 6 and the transform / quantization unit 7 constitute image compression means.

逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。   The inverse quantization / inverse transform unit 8 performs inverse quantization on the compressed data output from the transform / quantization unit 7 using the quantization parameter included in the prediction difference encoding parameter output from the encoding control unit 1. Inverse transform processing (for example, inverse DCT (Inverse Discrete Cosine Transform), inverse KL transform, etc.) of the inverse quantized compressed data in units of transform block sizes included in the prediction difference encoding parameter ), The process of outputting the compressed data after the inverse transform process as a local decoded prediction difference signal is performed.

加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。 The adding unit 9 adds the local decoded prediction difference signal output from the inverse quantization / inverse transform unit 8 and the prediction signal indicating the prediction image generated by the intra prediction unit 4 or the motion compensation prediction unit 5 to thereby perform local decoding. A process of generating a locally decoded image signal indicating an image is performed.
The intra prediction memory 10 is a recording medium such as a RAM that stores a local decoded image indicated by the local decoded image signal generated by the adding unit 9 as an image used in the next intra prediction process by the intra prediction unit 4.

ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。 The loop filter unit 11 compensates for the coding distortion included in the locally decoded image signal generated by the adding unit 9, and performs motion compensation prediction using the locally decoded image indicated by the locally decoded image signal after the coding distortion compensation as a reference image. A process of outputting to the frame memory 12 is performed.
The motion compensated prediction frame memory 12 is a recording medium such as a RAM that stores a locally decoded image after the filtering process by the loop filter unit 11 as a reference image used in the next motion compensated prediction process by the motion compensated prediction unit 5.

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（ダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含む）を可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
動きパラメータ候補格納部１４は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している１以上の符号化済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するＲＡＭなどの記録媒体である。 The variable length encoding unit 13 includes the compressed data output from the transform / quantization unit 7, the encoding mode and prediction differential encoding parameter output from the encoding control unit 1, and the intra output from the intra prediction unit 4. The prediction parameter or the inter prediction parameter (including index information indicating the direct vector or the motion parameter or the motion vector) output from the motion compensated prediction unit 5 is variable-length encoded, and the compressed data, the encoding mode, and the prediction difference Processing for generating a bit stream in which encoded data of encoded parameters and intra prediction parameters / inter prediction parameters is multiplexed is performed. The variable length encoding unit 13 constitutes variable length encoding means.
The motion parameter candidate storage unit 14 is a motion-compensated prediction for one or more encoded blocks located around the encoded block as a motion parameter selection candidate that can be used in the motion-compensated prediction process for the encoded block. It is a recording medium such as a RAM for storing motion parameters used in processing.

図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。 In FIG. 1, a coding control unit 1, a block division unit 2, a changeover switch 3, an intra prediction unit 4, a motion compensation prediction unit 5, a subtraction unit 6, and a transform / quantization unit 7, which are components of the moving image coding apparatus. , The inverse quantization / inverse transform unit 8, the adder unit 9, the loop filter unit 11 and the variable length coding unit 13 each have dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer) However, when the moving image encoding apparatus is configured by a computer, the encoding control unit 1, the block division unit 2, the changeover switch 3, the intra prediction unit 4, the motion compensation A program describing the processing contents of the prediction unit 5, subtraction unit 6, transformation / quantization unit 7, inverse quantization / inverse transformation unit 8, addition unit 9, loop filter unit 11, and variable length coding unit 13 Computer Stored in the memory, CPU of the computer may execute a program stored in the memory.
FIG. 2 is a flowchart showing the processing contents of the moving picture coding apparatus according to Embodiment 1 of the present invention.

図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部５１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（ダイレクトベクトル又は動きパラメータを示すインデックス情報、あるいは、動きベクトルを含む）を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部５５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ５２に出力する処理を実施する。なお、可変長復号部５１は可変長復号手段を構成している。 FIG. 3 is a block diagram showing a moving picture decoding apparatus according to Embodiment 1 of the present invention.
In FIG. 3, the variable length decoding unit 51 includes compressed data, encoding mode, prediction differential encoding parameter, intra, and the like related to each encoding block hierarchically divided from encoded data multiplexed in a bitstream. A prediction parameter / inter prediction parameter (including index information indicating a direct vector or a motion parameter or a motion vector) is subjected to variable length decoding, and the compressed data and the prediction difference encoding parameter are sent to an inverse quantization / inverse transform unit 55. A process of outputting the coding mode and the intra prediction parameter / inter prediction parameter to the changeover switch 52 is performed. The variable length decoding unit 51 constitutes variable length decoding means.

切替スイッチ５２は可変長復号部５１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する処理を実施する。
イントラ予測部５３は切替スイッチ５２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。 The changeover switch 52 outputs the intra prediction parameter output from the variable length decoding unit 51 to the intra prediction unit 53 when the coding mode related to the coding block output from the variable length decoding unit 51 is the intra coding mode. When the coding mode is the inter coding mode, a process of outputting the inter prediction parameter output from the variable length decoding unit 51 to the motion compensation prediction unit 54 is performed.
Using the intra prediction parameter output from the changeover switch 52, the intra prediction unit 53 performs a process of generating a predicted image by performing an intra prediction process on the coding block.

動き補償予測部５４は可変長復号部５１から出力された符号化ブロックに係る符号化モードがインター符号化モードである場合、例えば、動きパラメータ候補格納部６０に格納されている選択可能な１以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、その動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。   When the coding mode related to the coding block output from the variable length decoding unit 51 is the inter coding mode, the motion compensation prediction unit 54, for example, one or more selectable values stored in the motion parameter candidate storage unit 60 A process of selecting a motion vector indicated by the index information related to the encoded block from the motion vector, and performing a motion compensation prediction process on the encoded block using the motion vector to generate a predicted image. carry out.

具体的には、例えば、可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモードのインター符号化モードである場合、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルの中から、切替スイッチ５２から出力されたインター予測パラメータに含まれているインデックス情報が示すダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
動画像符号化装置において、ダイレクトベクトルを示すインデックス情報の符号化データがビットストリームに多重化されない場合には、動画像符号化装置の動き補償予測部５と同様に、当該符号化ブロックの周囲に位置している復号済みブロックの動きベクトルから空間ダイレクトモードの空間ダイレクトベクトルを生成するとともに、当該符号化ブロックが参照可能な復号済みピクチャの動きベクトルから時間ダイレクトモードの時間ダイレクトベクトルを生成し、その空間ダイレクトベクトル又は時間ダイレクトベクトルの中から、参照画像間の相関が高くなる方のダイレクトベクトルを選択し、そのダイレクトベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。 Specifically, for example, when the coding mode related to the coding block output from the variable-length decoding unit 51 is the inter coding mode of the direct mode, the decoded block located around the coding block The direct vector indicated by the index information included in the inter prediction parameter output from the changeover switch 52 is selected from the motion vectors of, and the motion compensated prediction process is performed on the coding block using the direct vector. Then, a process for generating a predicted image is performed.
When the encoded data of the index information indicating the direct vector is not multiplexed into the bit stream in the moving image encoding device, like the motion compensated prediction unit 5 of the moving image encoding device, A spatial direct vector of the spatial direct mode is generated from the motion vector of the decoded block that is positioned, and a temporal direct vector of the temporal direct mode is generated from the motion vector of the decoded picture that can be referred to by the coding block. A direct vector having a higher correlation between reference images is selected from the spatial direct vector or the temporal direct vector, and using the direct vector, a motion compensation prediction process is performed on the coding block, and a predicted image is obtained. Perform the process to generate.

また、可変長復号部５１から出力された符号化ブロックに係る符号化モードがマージモードのインター符号化モードである場合、動きパラメータ候補格納部６０により格納されている動きパラメータ（動きベクトル、参照ピクチャのインデックス、予測方向）、即ち、当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータの中から、切替スイッチ５２から出力されたインター予測パラメータに含まれているインデックス情報が示す動きパラメータを選択し、その動きパラメータを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。当該符号化ブロックに対する動き補償予測処理で用いた動きパラメータは動きパラメータ候補格納部６０に格納する。   Also, when the coding mode related to the coding block output from the variable length decoding unit 51 is the inter coding mode of the merge mode, the motion parameters (motion vector, reference picture) stored in the motion parameter candidate storage unit 60 Index, prediction direction), that is, the inter prediction output from the changeover switch 52 among the motion parameters used in the motion compensation prediction process for one or more decoded blocks located around the coding block. A motion parameter indicated by the index information included in the parameter is selected, and using the motion parameter, a motion compensation prediction process is performed on the encoded block to generate a predicted image. The motion parameters used in the motion compensation prediction process for the coding block are stored in the motion parameter candidate storage unit 60.

また、可変長復号部５１から出力された符号化ブロックに係る符号化モードがダイレクトモード及びマージモード以外のインター符号化モードである場合、切替スイッチ５２から出力されたインター予測パラメータに含まれている動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。   In addition, when the coding mode related to the coding block output from the variable length decoding unit 51 is an inter coding mode other than the direct mode and the merge mode, it is included in the inter prediction parameter output from the changeover switch 52. Using the motion vector, a motion compensated prediction process is performed on the encoded block to generate a predicted image.

ただし、動き補償予測部５４は、符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
なお、切替スイッチ５２及び動き補償予測部５４から動き補償予測手段が構成されている。 However, when the motion compensated prediction unit 54 divides the encoded block when performing the motion compensated predictive process for the encoded block, and performs the motion compensated predictive process for each divided block, the encoding is performed. The value of index information indicating one or more selectable motion vectors is changed according to the division shape of the block.
The changeover switch 52 and the motion compensation prediction unit 54 constitute a motion compensation prediction unit.

逆量子化・逆変換部５５は可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。
加算部５６は逆量子化・逆変換部５５から出力された復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。
なお、逆量子化・逆変換部５５及び加算部５６から復号画像生成手段が構成されている。 The inverse quantization / inverse transform unit 55 uses the quantization parameter included in the prediction difference encoding parameter output from the variable length decoding unit 51 to compress the encoded block output from the variable length decoding unit 51. Data is inversely quantized, and inverse transform processing (for example, inverse DCT (Inverse Discrete Cosine Transform), inverse KL transform, etc.) is performed on the transform block size unit included in the prediction differential encoding parameter. (Inverse transform process) is performed to output the compressed data after the inverse transform process as a decoded prediction difference signal (a signal indicating a difference image before compression).
The addition unit 56 adds the decoded prediction difference signal output from the inverse quantization / inverse conversion unit 55 and the prediction signal indicating the prediction image generated by the intra prediction unit 53 or the motion compensation prediction unit 54, thereby adding the decoded image. The process which produces | generates the decoded image signal shown is implemented.
The inverse quantization / inverse transform unit 55 and the addition unit 56 constitute decoded image generation means.

イントラ予測用メモリ５７はイントラ予測部５３により次回のイントラ予測処理で用いられる画像として、加算部５６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
ループフィルタ部５８は加算部５６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に出力する処理を実施する。 The intra prediction memory 57 is a recording medium such as a RAM that stores a decoded image indicated by the decoded image signal generated by the adding unit 56 as an image used by the intra prediction unit 53 in the next intra prediction process.
The loop filter unit 58 compensates for the encoding distortion included in the decoded image signal generated by the adding unit 56, and uses the decoded image indicated by the decoded image signal after the encoding distortion compensation as a reference image for the motion compensated prediction frame memory 59. Execute the process to output to.

動き補償予測フレームメモリ５９は動き補償予測部５４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部５８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
動きパラメータ候補格納部６０は符号化ブロックに対する動き補償予測処理で用いることが可能な動きパラメータの選択候補として、当該符号化ブロックの周囲に位置している１以上の復号済みブロックに対する動き補償予測処理で用いている動きパラメータを格納するＲＡＭなどの記録媒体である。 The motion compensated prediction frame memory 59 is a recording medium such as a RAM that stores a decoded image after the filtering process by the loop filter unit 58 as a reference image to be used by the motion compensation prediction unit 54 in the next motion compensation prediction process.
The motion parameter candidate storage unit 60 is a motion compensation prediction process for one or more decoded blocks located around the coding block as a motion parameter selection candidate that can be used in the motion compensation prediction process for the coding block. It is a recording medium such as a RAM for storing the motion parameters used in

図３では、動画像復号装置の構成要素である可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部５１、切替スイッチ５２、イントラ予測部５３、動き補償予測部５４、逆量子化・逆変換部５５、加算部５６及びループフィルタ部５８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。 In FIG. 3, a variable length decoding unit 51, a changeover switch 52, an intra prediction unit 53, a motion compensation prediction unit 54, an inverse quantization / inverse transformation unit 55, an addition unit 56, and a loop filter unit, which are components of the moving image decoding apparatus. 58 is assumed to be configured by dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer), but the moving image decoding apparatus is configured by a computer. A program describing the processing contents of the variable length decoding unit 51, the changeover switch 52, the intra prediction unit 53, the motion compensation prediction unit 54, the inverse quantization / inverse transformation unit 55, the addition unit 56, and the loop filter unit 58. May be stored in the memory of the computer, and the CPU of the computer may execute the program stored in the memory.
FIG. 4 is a flowchart showing the processing contents of the video decoding apparatus according to Embodiment 1 of the present invention.

次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。 Next, the operation will be described.
First, the processing contents of the moving picture encoding apparatus in FIG. 1 will be described.
First, the encoding control unit 1 determines the maximum size of an encoding block that is a processing unit when the motion compensation prediction process (interframe prediction process) or the intra prediction process (intraframe prediction process) is performed, The upper limit number of hierarchies when the coding block of the maximum size is divided hierarchically is determined (step ST1 in FIG. 2).

符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。 As a method of determining the maximum size of the encoded block, for example, a method of determining a size corresponding to the resolution of the input image for all the pictures can be considered.
In addition, the difference in complexity of local motion of the input image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. And so on.
The upper limit of the number of hierarchies is set so that, for example, the more the input image moves, the deeper the number of hierarchies, so that finer motion can be detected, and the less the input image moves, the lower the number of hierarchies. A way to do this is conceivable.

また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード（ダイレクトモード及びマージモードのインター符号化モードを含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。 The encoding control unit 1 also has one or more available encoding modes (M types of intra encoding modes, N types of inter encoding modes (including direct encoding and merge mode inter encoding modes)). A coding mode suitable for each coding block divided hierarchically is selected from the inside (step ST2).
Since the encoding mode selection method by the encoding control unit 1 is a known technique, detailed description thereof is omitted. For example, encoding processing is performed on the encoding block using any available encoding mode. Then, there is a method of verifying the encoding efficiency and selecting an encoding mode having the highest encoding efficiency among a plurality of available encoding modes.

ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ⁰であり、輝度成分で（Ｌ⁰，Ｍ⁰）のサイズを有している。
また、図５の例では、最大サイズの符号化ブロックＢ⁰を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢⁿを得ている。 When a video signal indicating an input image is input, the block dividing unit 2 divides the input image indicated by the video signal into encoded blocks of the maximum size determined by the encoding control unit 1, and the encoding control unit 1 The encoded block is hierarchically divided until the determined upper limit number of layers is reached.
Here, FIG. 5 is an explanatory diagram showing a state in which a coding block of the maximum size is hierarchically divided into a plurality of coding blocks.
In the example of FIG. 5, the coding block of the maximum size is the coding block B ⁰ of the 0th layer, and has a size of (L ⁰ , M ⁰ ) as a luminance component.
In the example of FIG. 5, the encoding block B ⁿ is obtained by performing hierarchical division to a predetermined depth with a quadtree structure starting from the maximum size encoding block B ^0. Yes.

深さｎにおいては、符号化ブロックＢⁿはサイズ（Ｌⁿ，Ｍⁿ）の画像領域である。
ただし、ＬⁿとＭⁿは同じであってもよいし異なっていてもよいが、図５の例ではＬⁿ＝Ｍⁿのケースを示している。
以降、符号化ブロックＢⁿのサイズは、符号化ブロックＢⁿの輝度成分におけるサイズ（Ｌⁿ，Ｍⁿ）と定義する。 At the depth n, the coding block B ⁿ is an image area of size (L ⁿ , M ⁿ ).
However, L ⁿ and M ⁿ may be the same or different, but the example of FIG. 5 shows a case of L ⁿ = M ⁿ .
Later, the size of the encoded block B ⁿ is defined as the size of the luminance component of the encoded block ^{B n (L n, M n} ).

ブロック分割部２は、４分木分割を行うため、常に（Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ／２，Ｍⁿ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌⁿ，Ｍⁿ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌⁿ／２，Ｍⁿ／２）である。
以降、第ｎ階層の符号化ブロックＢⁿで選択しうる符号化モードをｍ（Ｂⁿ）と記する。 Since the block division unit 2 performs quadtree division, (L ^{n + 1} , M ^{n + 1} ) = (L ⁿ / 2, M ⁿ / 2) always holds.
However, in a color video signal (4: 4: 4 format) in which all color components have the same number of samples, such as RGB signals, the size of all color components is (L ⁿ , M ⁿ ). When the 4: 2: 0 format is handled, the size of the corresponding color difference component coding block is (L ⁿ / 2, M ⁿ / 2).
Hereinafter, a coding mode that can be selected in the coding block B ⁿ in the n-th layer is denoted as m (B ⁿ ).

複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂⁿ）は、色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂⁿ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢⁿに対して最も符号化効率がよい符号化モードを選択する。 In the case of a color video signal composed of a plurality of color components, the encoding mode m (B ⁿ ) may be configured to use an individual mode for each color component, but hereinafter, unless otherwise specified, YUV The description will be made on the assumption that it indicates the coding mode for the luminance component of the coding block of the signal 4: 2: 0 format.
The coding mode m (B ⁿ ) includes one or more intra coding modes (collectively “INTRA”) and one or more inter coding modes (collectively “INTER”). As described above, the encoding control unit 1 selects an encoding mode with the highest encoding efficiency for the encoding block B ⁿ from all the encoding modes available for the picture or a subset thereof. .

符号化ブロックＢⁿは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢⁿに属するパーティションをＰ_i ⁿ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢⁿに属するパーティションＰ_i ⁿの分割がどのようになされているかは符号化モードｍ（Ｂⁿ）の中に情報として含まれる。
パーティションＰ_i ⁿは、すべて符号化モードｍ（Ｂⁿ）に従って予測処理が行われるが、パーティションＰ_i ⁿ毎に、個別の予測パラメータを選択することができる。 As shown in FIG. 5, the coding block B ⁿ is further divided into one or more prediction processing units (partitions).
Hereinafter, a partition belonging to the coding block B ⁿ is ^denoted as P _i ⁿ (i: partition number in the nth layer).
How the partition P _i ⁿ belonging to the coding block B ⁿ is divided is included as information in the coding mode m (B ⁿ ).
All partitions P _i ⁿ are subjected to prediction processing according to the encoding mode m (B ⁿ ), but individual prediction parameters can be selected for each partition P _i ⁿ .

符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢⁿを特定する。
図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂⁿ）が割り当てられる状況を４分木グラフで示している。
図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂⁿ）が割り当てられたノード（符号化ブロックＢⁿ）を示している。 For example, the encoding control unit 1 generates a block division state as illustrated in FIG. 6 for the encoding block of the maximum size, and specifies the encoding block ^Bn .
6A shows the distribution of the partitions after the division, and FIG. 6B shows the situation in which the encoding mode m (B ⁿ ) is assigned to the partition after the hierarchy division in the quadtree graph. Is shown.
In FIG. 6B, nodes surrounded by squares indicate nodes (encoded blocks B ⁿ ) to which the encoding mode m (B ⁿ ) is assigned.

切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢⁿのパーティションＰ_i ⁿに対して最適な符号化モードｍ（Ｂⁿ）を選択すると、その符号化モードｍ（Ｂⁿ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢⁿのパーティションＰ_i ⁿをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂⁿ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢⁿのパーティションＰ_i ⁿを動き補償予測部５に出力する。 When the coding control unit 1 selects the optimum coding mode m (B ⁿ ) for the partition P _i ^{n of} each coding block B ⁿ , the changeover switch 3 is switched to the coding mode m (B ⁿ ). If it is the intra coding mode (step ST3), the partition P _i ⁿ of the coding block B ⁿ divided by the block dividing unit 2 is output to the intra prediction unit 4.
On the other hand, if the coding mode m (B ⁿ ) is the inter coding mode (step ST3), the partition P _i ⁿ of the coding block B ⁿ divided by the block dividing unit 2 is output to the motion compensation prediction unit 5. To do.

イントラ予測部４は、切替スイッチ３から符号化ブロックＢⁿのパーティションＰ_i ⁿを受けると、符号化制御部１により選択された符号化モードｍ（Ｂⁿ）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢⁿのパーティションＰ_i ⁿに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_i ⁿを生成する（ステップＳＴ４）。
イントラ予測部４は、イントラ予測画像Ｐ_i ⁿを生成すると、そのイントラ予測画像Ｐ_i ⁿを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じイントラ予測画像Ｐ_i ⁿを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
この実施の形態１におけるイントラ予測処理は、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められるアルゴリズムに限定されないが、イントラ予測パラメータとしては、動画像符号化装置側と動画像復号装置側でまったく同じイントラ予測画像を生成するために必要な情報を含む必要がある。 When receiving the partition P _i ⁿ of the coding block B ⁿ from the changeover switch 3, the intra prediction unit 4 uses the intra prediction parameter corresponding to the coding mode m (B ⁿ ) selected by the coding control unit 1. , and out the intra prediction process for partition P _i ⁿ in the coded blocks B ^n, it generates an intra prediction image P _i ⁿ (step ST4).
The intra prediction unit 4 generates the intra predicted image P _i ⁿ and outputs the intra predicted image P _i ⁿ to the subtracting unit 6 and the adding unit 9, but the same intra predicted image P _i is also used in the video decoding device in FIG. ^{In order} to be able to generate ⁿ , the intra prediction parameter is output to the variable length coding unit 13.
The intra prediction process in the first embodiment is an AVC / H. Although not limited to the algorithm defined in the H.264 standard (ISO / IEC 14496-10), the intra prediction parameters are necessary for generating exactly the same intra predicted images on the moving image encoding device side and the moving image decoding device side. Information needs to be included.

動き補償予測部５は、切替スイッチ３から符号化ブロックＢⁿのパーティションＰ_i ⁿを受けると、符号化制御部１により選択された符号化モードｍ（Ｂⁿ）で、符号化ブロックＢⁿのパーティションＰ_i ⁿに対する動き補償予測処理を実施して、インター予測画像Ｐ_i ⁿを生成する（ステップＳＴ５）。 When the motion compensation prediction unit 5 receives the partition P _i ⁿ of the coding block B ⁿ from the changeover switch 3, the motion compensation prediction unit 5 uses the coding mode m (B ⁿ ) selected by the coding control unit 1 to store the coding block B ⁿ . A motion compensation prediction process is performed on the partition P _i ⁿ to generate an inter predicted image P _i ⁿ (step ST5).

動き補償予測部５は、インター予測画像Ｐ_i ⁿを生成すると、そのインター予測画像Ｐ_i ⁿを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じインター予測画像Ｐ_i ⁿを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。インター予測画像の生成に用いられたインター予測パラメータには、下記に示す情報が含まれており、動画像復号装置側でまったく同じインター予測画像を生成するために、可変長符号化部１３によってインター予測パラメータの符号化データがビットストリームに多重化される。
・ 符号化ブロックＢⁿ内のパーティション分割を記述するモード情報
・ 各パーティションの動きベクトル、あるいは、ダイレクトベクトルを示すインデックス情報、あるいは、動きパラメータを示すインデックス情報
・ 動き補償予測フレームメモリ１２内に複数の参照画像を含む構成の場合、いずれの参照画像を用いて予測を行うかを示す参照画像指示インデックス情報
・ 動きパラメータ候補格納部１４内に複数の動きベクトル予測値候補がある場合に、いずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
・ 複数の動き補償内挿フィルタがある場合に、いずれのフィルタを選択して使用するかを示すインデックス情報
・ 当該パーティションの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報 When the motion compensation prediction unit 5 generates the inter prediction image P _i ⁿ , the motion compensation prediction unit 5 outputs the inter prediction image P _i ⁿ to the subtraction unit 6 and the addition unit 9. _In ^order to be able to generate _i ⁿ , the inter prediction parameter is output to the variable length coding unit 13. The inter prediction parameters used for generating the inter prediction image include the following information, and the variable length encoding unit 13 generates the same inter prediction image on the video decoding device side. The encoded data of the prediction parameter is multiplexed into the bit stream.
-Mode information describing partitioning in the coding block ^Bn- Index information indicating motion vector or direct vector of each partition or index information indicating motion parameter-Multiple information in the motion compensated prediction frame memory 12 In the case of a configuration including reference images, when there are a plurality of motion vector prediction value candidates in the reference image instruction index information / motion parameter candidate storage unit 14 indicating which reference image is used for prediction, which motion Index information that indicates whether a vector prediction value is selected and used ・ If there are multiple motion compensation interpolation filters, index information that indicates which filter to select and use ・ If there are multiple motion vectors for the partition Pixel accuracy (half pixel, 1/4 pixel, 1/8 pixel, etc. If it is possible to indicate the selection information indicating whether to use pixel accuracy

ただし、動き補償予測部５は、符号化ブロックＢⁿに対する動き補償予測処理を実施する際、その符号化ブロックＢⁿを分割して、各々のパーティションＰ_i ⁿに対して動き補償予測処理を実施する場合、その符号化ブロックＢⁿの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
具体的には、以下の通りである。 However, when the motion compensation prediction unit 5 performs the motion compensation prediction process on the coding block B ⁿ , the motion compensation prediction unit 5 divides the coding block B ⁿ and performs the motion compensation prediction process on each partition P _i ⁿ . In this case, the value of index information indicating one or more selectable motion vectors is changed according to the division shape of the coding block ^Bn .
Specifically, it is as follows.

まず、符号化ブロックＢⁿ内で異なる動きがある場合、符号化ブロックＢⁿを分割し、各々のパーティションＰ_i ⁿに対して動き補償予測処理を実施することで予測画像を生成することがある。
その場合、図７に示すように、左右が非対称な長方形や上下非対称な長方形に分割することが考えられる。
図８は符号化ブロックＢⁿを左右に分割した場合の一例を示す説明図である。
符号化ブロックＢⁿを左右に分割した場合、符号化処理の順番は、分割ブロックである左のパーティションＰ_i ⁿが先であるため、右のパーティションＰ_i ⁿは左のパーティションＰ_i ⁿから動きパラメータを予測することが可能である。
しかし、符号化ブロックＢⁿの分割は、内部で異なる動きがあるために行われるものであり、分割された一方のブロックからの予測は通常精度が低いと考えられる。 First, if there is a different motion in a coding block B ^n, divides the coded blocks B ^n, it is possible to generate a prediction image by performing motion compensation prediction processing for each of the partitions P _i ⁿ .
In that case, as shown in FIG. 7, it is conceivable to divide the rectangle into right and left asymmetric rectangles or vertically asymmetric rectangles.
FIG. 8 is an explanatory diagram showing an example when the coding block ^Bn is divided into left and right.
Case of dividing the coded blocks B ⁿ on the left and right, the order of the encoding process, since the partition P _i ⁿ the left is a divided block is earlier, the movement right partition P _i ⁿ from the left of the partition P _i ⁿ It is possible to predict the parameters.
However, the division of the encoded block B ⁿ is performed because there are different motions inside, and the prediction from one of the divided blocks is usually considered to have low accuracy.

ここで、図９は選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。
選択可能な動きベクトルを示すインデックス情報は、図９に示すように、通常、左のブロック→上のブロック→ｔｅｍｐｏｒａｌの順番で値が定められている。
可変長符号化部１３で動きベクトルを示すインデックス情報を可変長符号化する際、インデックス情報の値が小さい方が、符号量が少なくなるため、選択される可能性が高い動きベクトルを示すインデックス情報を小さな値に設定することにより符号化効率が改善する。
通常の順序では、符号化ブロックＢⁿの分割時には予測精度が低いと考えられる左のブロックに係る動きベクトルを示すインデックス情報の値を最も小さな値に設定している。 Here, FIG. 9 is an explanatory diagram showing index information indicating one or more selectable motion vectors.
As shown in FIG. 9, the index information indicating the selectable motion vectors is usually determined in the order of left block → upper block → temporal.
When the variable length coding unit 13 performs variable length coding on index information indicating a motion vector, the smaller the index information value, the smaller the code amount, and thus the index information indicating the motion vector that is likely to be selected. Coding efficiency is improved by setting to a small value.
In the normal order, the index information value indicating the motion vector related to the left block, which is considered to have low prediction accuracy when the coding block B ⁿ is divided, is set to the smallest value.

そこで、この実施の形態１では、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値が割り当てられるように、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更している。
例えば、符号化ブロックＢⁿが左右に分割された場合、図９（ａ）に示すように、左のブロックに係る動きベクトルは予測精度が低いと考えられるため、上のブロック→ｔｅｍｐｏｒａｌ→左のブロックの順番に変更している。
また、符号化ブロックが上下に分割された場合、図９（ｂ）に示すように、予測精度が低いと考えられる上のブロックに係る動きベクトルはインデックス順序を後にし、左のブロック→ｔｅｍｐｏｒａｌ→上のブロックの順番に変更している。 Therefore, in the first embodiment, one or more selectable motion vectors are assigned such that a smaller value is assigned to index information indicating a motion vector having a higher prediction accuracy among one or more selectable motion vectors. The index information value shown is changed.
For example, when the coding block B ⁿ is divided into left and right, as shown in FIG. 9A, the motion vector related to the left block is considered to have low prediction accuracy, so the upper block → temporal → left The order of blocks has been changed.
Also, when the encoded block is divided vertically, as shown in FIG. 9B, the motion vector related to the upper block considered to have low prediction accuracy moves the index order later, and the left block → temporal → The order of the upper blocks has been changed.

減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐ_i ⁿ、インター予測画像Ｐ_i ⁿ）を生成すると、ブロック分割部２により分割された符号化ブロックＢⁿのパーティションＰ_i ⁿから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_i ⁿ、インター予測画像Ｐ_i ⁿ）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅ_i ⁿを変換・量子化部７に出力する（ステップＳＴ６）。 When the intra prediction unit 4 or the motion compensated prediction unit 5 generates a prediction image (intra prediction image P _i ⁿ , inter prediction image P _i ⁿ ), the subtraction unit 6 encodes the encoded block B ⁿ divided by the block division unit 2. A difference image is generated by subtracting the prediction image (intra prediction image P _i ⁿ , inter prediction image P _i ⁿ ) generated by the intra prediction unit 4 or the motion compensation prediction unit 5 from the partition P _i ^{n of} The prediction difference signal e _i ⁿ indicating the difference image is output to the transform / quantization unit 7 (step ST6).

変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅ_i ⁿを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。 When the transform / quantization unit 7 receives the prediction difference signal e _i ⁿ indicating the difference image from the subtraction unit 6, the transform / quantization unit 7 performs the transform block size unit included in the prediction difference coding parameter output from the coding control unit 1. The differential image conversion process (for example, DCT (Discrete Cosine Transform) or orthogonal transform process such as KL transform in which a base design is made in advance for a specific learning sequence) is performed, and the prediction differential encoding is performed. The quantization coefficient included in the parameter is used to quantize the transform coefficient of the difference image, so that the quantized transform coefficient is converted into the compressed data of the difference image and the inverse quantization / inverse transform unit 8 and the variable length It outputs to the encoding part 13 (step ST7).

逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号ｅ_i ⁿハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）として加算部９に出力する（ステップＳＴ８）。 When the inverse quantization / inverse transform unit 8 receives the compressed data of the difference image from the transform / quantization unit 7, the inverse quantization / inverse transform unit 8 uses the quantization parameter included in the prediction difference encoding parameter output from the encoding control unit 1. Then, the compressed data of the difference image is inversely quantized, and the inverse quantization processing (for example, inverse DCT (Inverse Discrete Cosine Transform) is performed on the transform block size unit included in the prediction difference encoding parameter. ) Or inverse transformation processing such as inverse KL transformation), the compressed data after the inverse transformation processing is converted into a local decoded prediction difference signal e _i ⁿ hat (“^” attached to alphabetic characters for the purpose of electronic application). Is expressed as a hat) to the adder 9 (step ST8).

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号ｅ_i ⁿハットを受けると、その局所復号予測差分信号ｅ_i ⁿハットと、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐ_i ⁿ、インター予測画像Ｐ_i ⁿ）を示す予測信号を加算することで、局所復号パーティション画像Ｐ_i ⁿハットないしはその集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。 When the adder 9 receives the local decoded prediction difference signal e _i ⁿ hat from the inverse quantization / inverse transform unit 8, the adder 9 performs the local decoded prediction difference signal e _i ⁿ hat and the intra prediction unit 4 or the motion compensation prediction unit 5. By adding a prediction signal indicating the generated prediction image (intra prediction image P _i ⁿ , inter prediction image P _i ⁿ ), a local decoded partition image P _i ⁿ hat or a local decoded encoded block image as a collection thereof is used. A local decoded image is generated (step ST9).
When generating the locally decoded image, the adding unit 9 stores the locally decoded image signal indicating the locally decoded image in the intra prediction memory 10 and outputs the locally decoded image signal to the loop filter unit 11.

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢⁿに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢⁿに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。 Processing in step ST3~ST9 is repeated until processing of all the coding blocks B ⁿ which are hierarchically split is completed, the process proceeds when the processing of all the coding blocks B ⁿ completion process in step ST12 (Steps ST10 and ST11).

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータをエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。 The variable length encoding unit 13 includes the compressed data output from the transform / quantization unit 7, the encoding mode output from the encoding control unit 1 (including information indicating the division state of the encoded block), and the prediction difference The encoding parameter and the intra prediction parameter output from the intra prediction unit 4 or the inter prediction parameter output from the motion compensation prediction unit 5 are entropy encoded.
The variable length encoding unit 13 multiplexes the compressed data, the encoding mode, the prediction differential encoding parameter, and the intra prediction parameter / inter prediction parameter encoded data, which are the entropy encoding results, to generate a bitstream. (Step ST12).

ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１によるフィルタリング処理は、加算部９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。 When the loop filter unit 11 receives the local decoded image signal from the adder unit 9, the loop filter unit 11 compensates for the encoding distortion included in the local decoded image signal, and the local decoded image indicated by the local decoded image signal after the encoding distortion compensation Is stored in the motion compensated prediction frame memory 12 as a reference image (step ST13).
The filtering process by the loop filter unit 11 may be performed in units of maximum encoded blocks or individual encoded blocks of the locally decoded image signal output from the adder unit 9, or local decoding corresponding to a macroblock for one screen. After the image signal is output, it may be performed for one screen.

次に、図３の画像復号装置の処理内容を説明する。
可変長復号部５１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する（図４のステップＳＴ２１）。
可変長復号部５１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。 Next, processing contents of the image decoding apparatus in FIG. 3 will be described.
When the variable length decoding unit 51 receives the bit stream output from the image encoding device in FIG. 1, the variable length decoding unit 51 performs a variable length decoding process on the bit stream and performs a sequence unit or a picture composed of one or more frames. The frame size is decoded in units (step ST21 in FIG. 4).
The variable length decoding unit 51 is a processing unit when the motion compensation prediction process (interframe prediction process) or the intra prediction process (intraframe prediction process) is performed in the same procedure as the encoding control unit 1 in FIG. Is determined, and the upper limit number of layers when the maximum size encoded block is hierarchically divided is determined (step ST22).
For example, in the image encoding apparatus, when the maximum size of the encoded block is determined according to the resolution of the input image, the maximum size of the encoded block is determined based on the frame size that has been decoded first.
When information indicating the maximum size of the encoded block and the upper limit number of layers is multiplexed in the bit stream, the information decoded from the bit stream is referred to.

ビットストリームに多重化されている最大サイズの符号化ブロックＢ⁰の符号化モードｍ（Ｂ⁰）には、最大サイズの符号化ブロックＢ⁰の分割状態を示す情報が含まれているので、可変長復号部５１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ⁰の符号化モードｍ（Ｂ⁰）を復号して、階層的に分割されている各々の符号化ブロックＢⁿを特定する（ステップＳＴ２３）。
可変長復号部５１は、各々の符号化ブロックＢⁿを特定すると、その符号化ブロックＢⁿの符号化モードｍ（Ｂⁿ）を復号し、その符号化モードｍ（Ｂⁿ）に属しているパーティションＰ_i ⁿの情報に基づいて、符号化ブロックＢⁿに属しているパーティションＰ_i ⁿを特定する。
可変長復号部５１は、符号化ブロックＢⁿに属しているパーティションＰ_i ⁿを特定すると、パーティションＰ_i ⁿ毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータを復号する（ステップＳＴ２４）。 Since the coding mode m of the coded blocks B ⁰ maximum size that is multiplexed (B ⁰⁾ in the bit stream includes information representing the split state of the encoded block B ⁰ of the maximum size, variable The long decoding unit 51 decodes the encoding mode m (B ⁰ ) of the maximum size encoding block B ⁰ multiplexed in the bit stream, and each encoding block B ⁿ divided hierarchically. Is specified (step ST23).
When the variable length decoding unit 51 identifies each coding block B ⁿ , the variable length decoding unit 51 decodes the coding mode m (B ⁿ ) of the coding block B ⁿ and belongs to the coding mode m (B ⁿ ). based on the information of the partition P _i ^n, identifies the partition P _i ⁿ that belong to coded blocks B ^n.
When the variable length decoding unit 51 identifies the partition P _i ⁿ belonging to the coding block B ⁿ , the variable length decoding unit 51 determines the compressed data, the coding mode, the prediction difference coding parameter, the intra prediction parameter / inter prediction for each partition P _i ^n. The parameter is decoded (step ST24).

切替スイッチ５２は、可変長復号部５１から符号化ブロックＢⁿに属しているパーティションＰ_i ⁿの符号化モードｍ（Ｂⁿ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたイントラ予測パラメータをイントラ予測部５３に出力する。
一方、パーティションＰ_i ⁿの符号化モードｍ（Ｂⁿ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部５１から出力されたインター予測パラメータを動き補償予測部５４に出力する。
イントラ予測部５３は、切替スイッチ５２からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックＢⁿのパーティションＰ_i ⁿに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_i ⁿを生成する（ステップＳＴ２６）。 When the coding mode m (B ⁿ ) of the partition P _i ⁿ belonging to the coding block B ⁿ is the intra coding mode from the variable length decoding unit 51, the changeover switch 52 is a variable length decoding unit (step ST25). The intra prediction parameter output from 51 is output to the intra prediction unit 53.
On the other hand, when the coding mode m (B ⁿ ) of the partition P _i ⁿ is the inter coding mode (step ST25), the inter prediction parameter output from the variable length decoding unit 51 is output to the motion compensation prediction unit 54.
When the intra prediction unit 53 receives the intra prediction parameter from the changeover switch 52, the intra prediction unit 53 performs the intra prediction process on the partition P _i ⁿ of the coding block B ⁿ using the intra prediction parameter, and performs the intra prediction image P _i. ⁿ is generated (step ST26).

動き補償予測部５４は、切替スイッチ５２からインター予測パラメータを受けると、図１の動き補償予測部５と同様に、可変長復号部５１から出力された符号化モードｍ（Ｂⁿ）で、符号化ブロックＢⁿのパーティションＰ_i ⁿに対する動き補償予測処理を実施して、インター予測画像Ｐ_i ⁿを生成する（ステップＳＴ２７）。
ただし、動き補償予測部５４は、符号化ブロックＢⁿに対する動き補償予測処理を実施する際、その符号化ブロックＢⁿを分割して、各々のパーティションＰ_i ⁿに対して動き補償予測処理を実施する場合、図１の動き補償予測部５と同様に、その符号化ブロックＢⁿの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するようにする。
即ち、動き補償予測部５４は、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値が割り当てられるように、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更する。 When receiving the inter prediction parameter from the changeover switch 52, the motion compensated prediction unit 54 performs coding in the coding mode m (B ⁿ ) output from the variable length decoding unit 51, similarly to the motion compensation prediction unit 5 in FIG. A motion compensation prediction process is performed on the partition P _i ⁿ of the generalized block B ⁿ to generate an inter predicted image P _i ⁿ (step ST27).
However, when the motion compensation prediction unit 54 performs the motion compensation prediction process for the coding block B ⁿ , the motion compensation prediction unit 54 divides the coding block B ⁿ and performs the motion compensation prediction process for each partition P _i ⁿ . When doing so, as in the motion compensated prediction unit 5 in FIG. 1, the value of the index information indicating one or more selectable motion vectors is changed according to the division shape of the coding block B ⁿ .
That is, the motion compensated prediction unit 54 selects one or more selectable motion vectors so that a smaller value is assigned to the index information indicating the motion vector having higher prediction accuracy among the one or more selectable motion vectors. The value of the index information shown is changed.

逆量子化・逆変換部５５は、可変長復号部５１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部５１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部５６に出力する（ステップＳＴ２８）。   The inverse quantization / inverse transform unit 55 uses the quantization parameter included in the prediction difference encoding parameter output from the variable length decoding unit 51 to relate to the coding block output from the variable length decoding unit 51. The compressed data is inversely quantized, and inverse transform processing (for example, inverse DCT (inverse discrete cosine transform) or inverse KL transform) is performed on the transform block size unit included in the prediction differential encoding parameter. By performing the inverse transformation process, etc., the compressed data after the inverse transformation process is output to the adding unit 56 as a decoded prediction difference signal (a signal indicating a difference image before compression) (step ST28).

加算部５６は、逆量子化・逆変換部５５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部５３又は動き補償予測部５４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ５７に格納するとともに、その復号画像信号をループフィルタ部５８に出力する（ステップＳＴ２９）。   When the addition unit 56 receives the decoded prediction difference signal from the inverse quantization / inverse conversion unit 55, the addition unit 56 adds the decoded prediction difference signal and the prediction signal indicating the prediction image generated by the intra prediction unit 53 or the motion compensated prediction unit 54. Thus, a decoded image is generated, and a decoded image signal indicating the decoded image is stored in the intra prediction memory 57, and the decoded image signal is output to the loop filter unit 58 (step ST29).

ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢⁿに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部５８は、加算部５６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ５９に格納する（ステップＳＴ３１）。
ループフィルタ部５８によるフィルタリング処理は、加算部５６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。 The processes of steps ST23 to ST29 are repeatedly performed until the processes for all the encoded blocks ^Bn divided hierarchically are completed (step ST30).
When receiving the decoded image signal from the adding unit 56, the loop filter unit 58 compensates for the encoding distortion included in the decoded image signal, and uses the decoded image indicated by the decoded image signal after the encoding distortion compensation as a reference image. It stores in the motion compensation prediction frame memory 59 (step ST31).
The filtering process by the loop filter unit 58 may be performed in units of maximum encoded blocks or individual encoded blocks of the decoded image signal output from the adder unit 56, or a decoded image signal corresponding to a macroblock for one screen. May be performed for one screen at a time after is output.

以上で明らかなように、この実施の形態１によれば、動き補償予測部５，５４が符号化ブロックに対する動き補償予測処理を実施する際、その符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、その符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更するように構成したので、予測精度が高い動きベクトルを使用して符号化性能を高めることができるとともに、その動きベクトルを示すインデックス情報の符号量を削減することができる効果を奏する。   As is apparent from the above, according to the first embodiment, when the motion compensation prediction units 5 and 54 perform the motion compensation prediction process on the encoded block, the encoded block is divided and each divided block is divided. When the motion compensation prediction process is performed on the image, the index information value indicating one or more selectable motion vectors is changed according to the division shape of the encoded block, so that the prediction accuracy is high. It is possible to improve the encoding performance by using the motion vector, and to reduce the code amount of the index information indicating the motion vector.

即ち、動き補償予測部５，５４が、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てるように構成したので、予測精度が高く、選択される可能性が高い動きベクトルを示すインデックス情報の値が小さくなるため、インデックスの符号量を削減でき、符号化効率改善効果を奏する。   That is, since the motion compensation prediction units 5 and 54 are configured to assign a smaller value to the index information indicating a motion vector having a higher prediction accuracy among one or more selectable motion vectors, the prediction accuracy is higher. Since the value of the index information indicating the motion vector that is highly likely to be selected becomes small, the code amount of the index can be reduced, and the encoding efficiency improvement effect is achieved.

実施の形態２．
上記実施の形態１では、符号化ブロックを分割する際、後に処理する分割ブロックについて、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てるものを示したが、最初に処理する分割ブロックについても、同様の処理を行うようにしてもよい。
図１０は選択可能な１以上の動きベクトルを示すインデックス情報を示す説明図である。
図１０の例では、符号化ブロックが左右に分割された場合、左のブロックに係る動きベクトルの予測精度が、上のブロックに係る動きベクトルの予測精度より高いため、動きベクトルを示すインデックス情報を左のブロック→ｔｅｍｐｏｒａｌ→上のブロックの順番にしている。
また、符号化ブロックが上下に分割された場合、上のブロックに係る動きベクトルの予測精度が、左のブロックに係る動きベクトルの予測精度より高いため、動きベクトルを示すインデックス情報を上のブロック→ｔｅｍｐｏｒａｌ→左のブロックの順番にしている。 Embodiment 2. FIG.
In Embodiment 1 described above, when dividing an encoded block, for a divided block to be processed later, index information indicating a motion vector with higher prediction accuracy is assigned a smaller value. The same processing may also be performed for.
FIG. 10 is an explanatory diagram showing index information indicating one or more selectable motion vectors.
In the example of FIG. 10, when the encoded block is divided into left and right, the prediction accuracy of the motion vector related to the left block is higher than the prediction accuracy of the motion vector related to the upper block. The order is left block → temporal → upper block.
In addition, when the encoded block is divided vertically, the prediction accuracy of the motion vector related to the upper block is higher than the prediction accuracy of the motion vector related to the left block. Temporal → left block order.

上記実施の形態１，２では、動き補償予測部５，５４が符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を一意に変更するものを示したが、例えば、ピクチャパラメータセットやスライスパラメータセットなど、他の上位ヘッダによって、インデックス情報の値を変更するようにしてもよい。
上位ヘッダによって、インデックス情報の値を変更する場合、映像の局所性に応じてインデックス情報の値を変更することが可能になるため、符号化効率の改善に寄与する。 In the first and second embodiments, the motion compensation prediction units 5 and 54 uniquely change the value of the index information indicating one or more selectable motion vectors according to the division shape of the encoded block. However, the value of the index information may be changed by another upper header such as a picture parameter set or a slice parameter set.
When the value of the index information is changed by the upper header, the value of the index information can be changed according to the locality of the video, which contributes to the improvement of the coding efficiency.

実施の形態３．
上記実施の形態１では、図５に示すように、符号化ブロックＢⁿのサイズがＬⁿ＝Ｍⁿであるものを示したが、符号化ブロックＢⁿのサイズがＬⁿ≠Ｍⁿであってもよい。
例えば、図１１に示すように、符号化ブロックＢⁿのサイズがＬⁿ＝ｋＭⁿとなる場合が考えられる。
この場合、次の分割では、（Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ，Ｍⁿ）となり、以降の分割は、図５と同様の分割を行ってもよいし、（Ｌⁿ⁺¹，Ｍⁿ⁺¹）＝（Ｌⁿ／２，Ｍⁿ／２）のように分割を行ってもよい（図１２を参照）。
また、図１３に示すように、図１１の分割又は図１２の分割のいずれかを選択できるようにしてもよい。 Embodiment 3 FIG.
In the first embodiment, as shown in FIG. 5, the coding block B ^{n has} a size of L ⁿ = M ⁿ , but the coding block B ^{n has} a size of L ⁿ ≠ M ^n. May be.
For example, as shown in FIG. 11, the case ^where the size of the encoding block B ⁿ is L ⁿ = kM ⁿ can be considered.
In this case, the following ^{division, (L n + 1, M} n + 1) = (L n, M n) , and the subsequent division may be subjected to the same division as in FIG. 5, (L ⁿ Division may be performed as follows: ⁺¹ , M ^{n + 1} ) = (L ⁿ / 2, M ⁿ / 2) (see FIG. 12).
Moreover, as shown in FIG. 13, you may enable it to select either the division | segmentation of FIG. 11, or the division | segmentation of FIG.

選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献１のＨ．２６４のような１６×１６を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。
上記では、符号化ブロックＢⁿのサイズがＬⁿ＝ｋＭⁿとなる場合を示したが、ｋＬⁿ＝Ｍⁿのように縦に連結したものであっても、同様の考えで、分割が可能であることは言うまでもない。 When the selection is enabled, a flag indicating which division is selected is encoded. This case is described in, for example, H.P. Since it is possible to connect 16 × 16 blocks such as H.264 as one block, it is possible to maintain compatibility with existing systems.
In the above, the case ^where the size of the coding block B ⁿ is L ⁿ = kM ⁿ has been shown. However, even if the blocks are vertically connected such as kL ⁿ = M ⁿ , division is possible with the same idea. Needless to say.

実施の形態１〜３では、変換・量子化部７、逆量子化・逆変換部８，５５が、予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理（逆変換処理）を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図１４に示すように階層構造にしてもよい。この場合、各階層で、分割するか否かを示すフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。
上記変換は、正方形での変換を仮定しているが、長方形など他の矩形での変換であってもよい。 In the first to third embodiments, the transform / quantization unit 7 and the inverse quantization / inverse transform units 8 and 55 perform transform processing (inverse transform processing) in transform block size units included in the prediction difference encoding parameter. Although what is implemented is shown, the conversion block size unit may be uniquely determined by the conversion processing unit, or may be a hierarchical structure as shown in FIG. In this case, a flag indicating whether or not to divide each layer is encoded.
The division may be performed in units of partitions or may be performed in units of encoded blocks.
The above conversion assumes a square conversion, but may be a conversion using another rectangle such as a rectangle.

長方形で分割する場合、例えば、図１５に示すように、最初の階層は分割をせずに、２階層目（第１階層）から長方形に分割するなどの方法が考えられる。
長方形変換を使用することで、動き予測処理などでのブロック分割の形状に直交変換を合わせることができるため、変換効率が高くなり、直交変換係数の符号化効率改善に寄与することができる。 In the case of dividing into rectangles, for example, as shown in FIG. 15, a method of dividing into rectangles from the second layer (first layer) without dividing the first layer can be considered.
By using the rectangular transform, the orthogonal transform can be matched with the shape of the block division in the motion prediction process or the like, so that the transform efficiency is increased and it is possible to contribute to the improvement of the coding efficiency of the orthogonal transform coefficient.

直交変換が水平垂直分離している２次元直交変換などの場合、長方形変換であっても、通常の正方形分割で用いる変換を使用することができるため、直交変換のための回路を増やす必要はない。
２次元直交変換を使用する場合、長方形に分割にすると、正方形では定義されない基底が発生してしまう可能性がある。
例えば、図１６に示すように、４×４のブロックの直交変換までしか定義されていない場合、２×８のブロックの直交変換を行うことができない。そのため、この場合は、分割せずに正方形サイズで直交変換を行うことになる。 In the case of two-dimensional orthogonal transformation in which the orthogonal transformation is horizontally and vertically separated, even the rectangular transformation can use the transformation used in normal square division, so there is no need to increase the number of circuits for the orthogonal transformation. .
When two-dimensional orthogonal transformation is used, if it is divided into rectangles, a base that is not defined by a square may be generated.
For example, as shown in FIG. 16, when only the orthogonal transformation of a 4 × 4 block is defined, the orthogonal transformation of a 2 × 8 block cannot be performed. Therefore, in this case, orthogonal transformation is performed with a square size without division.

上記のように長方形で分割できない場合、動き予測処理のブロック形状と直交変換の形状を合わせることができないため、動き予測処理を長方形で行っても、符号化効率が稼げない可能性がある。
そのため、長方形分割ができない動き予測のブロック形状を上位のフラグで禁止してもよい。
符号化効率に寄与しない分割パターンを予め上位で禁止してしまうことで、演算量の削減効果がある。 When the rectangle cannot be divided as described above, the block shape of the motion prediction process and the shape of the orthogonal transform cannot be matched. Therefore, even if the motion prediction process is performed with a rectangle, there is a possibility that the encoding efficiency cannot be obtained.
Therefore, the block shape of motion prediction that cannot be divided into rectangles may be prohibited by a higher flag.
By prohibiting the division pattern that does not contribute to the encoding efficiency in advance at the upper level, there is an effect of reducing the calculation amount.

直交変換の形状だけではなく、ブロックサイズや解像度によっても、長方形分割による動き予測が符号化効率に寄与しない場合がある。
例えば、ＱＨＤＴＶ解像度のような大きな解像度の場合、ブロックサイズが小さく、かつ、長方形で分割されるケースは少ない。このような場合、上位フラグによって、ある一定値よりも小さいブロックサイズの場合は長方形分割を禁止することで、演算量の削減効果がある。
上位フラグは、スライスヘッダ、シーケンスパラメータセット、ピクチャパラメータセットなどのヘッダ情報として多重してもよいし、プロファイルレベルで規定してもよい。 Depending on the block size and resolution as well as the shape of the orthogonal transform, motion prediction by rectangular division may not contribute to the coding efficiency.
For example, in the case of a large resolution such as QHDTV resolution, the block size is small and there are few cases in which the block is divided into rectangles. In such a case, if the block size is smaller than a certain value by the upper flag, the rectangular division is prohibited, so that the calculation amount can be reduced.
The upper flag may be multiplexed as header information such as a slice header, a sequence parameter set, a picture parameter set, or may be defined at a profile level.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。   In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .

１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ（動き補償予測手段）、４ イントラ予測部、５ 動き補償予測部（動き補償予測手段）、６ 減算部（画像圧縮手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、１４ 動きパラメータ候補格納部、５１ 可変長復号部（可変長復号手段）、５２ 切替スイッチ（動き補償予測手段）、５３ イントラ予測部、５４ 動き補償予測部（動き補償予測手段）、５５ 逆量子化・逆変換部（復号画像生成手段）、５６ 加算部（復号画像生成手段）、５７ イントラ予測用メモリ、５８ ループフィルタ部、５９ 動き補償予測フレームメモリ、６０ 動きパラメータ候補格納部。   DESCRIPTION OF SYMBOLS 1 Encoding control part (encoding control means), 2 Block division part (Block division means), 3 Changeover switch (Motion compensation prediction means), 4 Intra prediction part, 5 Motion compensation prediction part (Motion compensation prediction means), 6 Subtraction unit (image compression means), 7 transformation / quantization unit (image compression means), 8 inverse quantization / inverse transformation unit, 9 addition unit, 10 intra prediction memory, 11 loop filter unit, 12 motion compensated prediction frame memory , 13 Variable length encoding unit (variable length encoding unit), 14 Motion parameter candidate storage unit, 51 Variable length decoding unit (variable length decoding unit), 52 Changeover switch (motion compensation prediction unit), 53 Intra prediction unit, 54 Motion compensation prediction unit (motion compensation prediction unit), 55 Inverse quantization / inverse conversion unit (decoded image generation unit), 56 Addition unit (decoded image generation unit), 57 Intra prediction memo , 58 loop filter unit, 59 motion-compensated prediction frame memory, 60 motion parameter candidate storage unit.

Claims (6)

予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御手段と、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりインター符号化モードが選択された場合、選択可能な１以上の動きベクトルの中から、所定の動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード及び上記動き補償予測手段から出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記動き補償予測手段は、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像符号化装置。 The maximum size of the coding block that is a processing unit when the prediction process is performed is determined, and the upper limit number of layers when the coding block of the maximum size is hierarchically divided is determined to be usable 1 The encoding control means for selecting an encoding mode for determining the encoding method of each encoding block from the above encoding modes, the input image is divided into encoding blocks of a predetermined size, and the above encoding is performed. As the coding mode corresponding to the coding block divided by the block dividing means and the block dividing means for dividing the coding block hierarchically until reaching the upper limit number of hierarchies determined by the control means, the code When the inter coding mode is selected by the encoding control means, a predetermined motion vector is selected from one or more selectable motion vectors, and the motion A motion compensated prediction process is performed on the coded block using a vector to generate a predicted image, and index information indicating the motion vector is output, and the code divided by the block dividing means A difference image generation unit that generates a difference image between the block and the prediction image generated by the motion compensation prediction unit, and compresses the difference image generated by the difference image generation unit and outputs compressed data of the difference image And the compression data output from the image compression means, the encoding mode selected by the encoding control means, and the index information output from the motion compensation prediction means are variable length encoded, and the compression is performed. Bit stream in which encoded data of the data, the encoding mode, and the index information is multiplexed And a variable length coding means for generating a beam,
When performing the motion compensation prediction process for the coded block, the motion compensated prediction unit divides the coded block and performs the motion compensated prediction process for each of the divided blocks. A moving picture encoding apparatus characterized by changing a value of index information indicating one or more selectable motion vectors in accordance with the division shape of the video. 動き補償予測手段は、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てることを特徴とする請求項１記載の動画像符号化装置。   2. The moving picture coding apparatus according to claim 1, wherein the motion compensation prediction means assigns a smaller value to index information indicating a motion vector having a higher prediction accuracy among one or more selectable motion vectors. ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、選択可能な１以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記動き補償予測手段は、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像復号装置。 Variable length decoding means for variable length decoding compressed data, coding mode and index information related to each coding block hierarchically divided from the encoded data multiplexed in the bitstream, and the variable length decoding means When the coding mode related to the variable length decoded coding block is the inter coding mode, the motion vector indicated by the index information related to the coding block is selected from one or more selectable motion vectors, From the motion data, a motion compensation prediction unit that performs a motion compensation prediction process on the encoded block to generate a prediction image, and compressed data related to the encoded block that has been variable length decoded by the variable length decoding unit A difference image generating means for generating a difference image before compression; a difference image generated by the difference image generating means; And a decoded image generating means for adding the predicted image generated by the motion compensation prediction means generates a decoded image,
When performing the motion compensation prediction process for the coded block, the motion compensated prediction unit divides the coded block and performs the motion compensated prediction process for each of the divided blocks. A moving picture decoding apparatus characterized by changing a value of index information indicating one or more selectable motion vectors in accordance with the division shape. 動き補償予測手段は、選択可能な１以上の動きベクトルの中で、予測精度が高い動きベクトルを示すインデックス情報ほど、小さな値を割り当てることを特徴とする請求項３記載の動画像復号装置。   4. The moving picture decoding apparatus according to claim 3, wherein the motion compensation prediction means assigns a smaller value to index information indicating a motion vector having a higher prediction accuracy among one or more selectable motion vectors. 符号化制御手段が、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、各々の符号化ブロックの符号化方法を定める符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を所定のサイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでインター符号化モードが選択された場合、選択可能な１以上の動きベクトルの中から、所定の動きベクトルを選択し、上記動きベクトルを用いて、上記符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルを示すインデックス情報を出力する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップによって出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード及び上記動き補償予測処理ステップによって出力されたインデックス情報を可変長符号化して、上記圧縮データ、上記符号化モード及び上記インデックス情報の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
上記動き補償予測処理ステップでは、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像符号化方法。 The encoding control means determines the maximum size of the encoding block that is a processing unit when the prediction process is performed, and determines the upper limit number of layers when the encoding block of the maximum size is hierarchically divided. And an encoding control processing step for selecting an encoding mode for determining an encoding method for each encoding block from one or more of the available encoding modes, and a block dividing means for converting the input image to a predetermined size A block division processing step for hierarchically dividing the encoded block up to the upper limit number of layers determined in the encoding control processing step, and a motion compensation prediction means, As the coding mode corresponding to the coding block divided in the block division processing step, the inter coding mode is selected in the coding control processing step. In this case, a predetermined motion vector is selected from one or more selectable motion vectors, a motion compensated prediction process is performed on the encoded block using the motion vector, and a predicted image is generated. A motion compensated prediction processing step for outputting index information indicating the motion vector, and a difference image generation means between the encoded block divided in the block division processing step and the prediction image generated in the motion compensated prediction processing step. A difference image generation processing step for generating a difference image, an image compression means for compressing the difference image generated in the difference image generation processing step and outputting compressed data of the difference image, and a variable length The encoding means outputs the compressed data output by the image compression processing step, the encoding control processing step The index information output by the selected encoding mode and the motion compensation prediction processing step is variable-length encoded, and a bit stream in which the compressed data, the encoding mode, and the encoded data of the index information are multiplexed is obtained. A variable-length encoding processing step to generate,
In the motion compensation prediction processing step, when performing the motion compensation prediction processing for the coded block, the coding block is divided, and when the motion compensation prediction processing is performed for each of the divided blocks, the coding is performed. A moving picture coding method, wherein a value of index information indicating one or more selectable motion vectors is changed according to a divided shape of a block. 可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ、符号化モード及びインデックス情報を可変長復号する可変長復号処理ステップと、動き補償予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、選択可能な１以上の動きベクトルの中から、当該符号化ブロックに係るインデックス情報が示す動きベクトルを選択し、上記動きベクトルを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記動き補償予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
上記動き補償予測処理ステップでは、上記符号化ブロックに対する動き補償予測処理を実施する際、上記符号化ブロックを分割して、各々の分割ブロックに対して動き補償予測処理を実施する場合、上記符号化ブロックの分割形状に応じて、選択可能な１以上の動きベクトルを示すインデックス情報の値を変更することを特徴とする動画像復号方法。 A variable-length decoding means, wherein the variable-length decoding means performs variable-length decoding on the compressed data, coding mode and index information relating to each coding block hierarchically divided from the coded data multiplexed in the bitstream; When the coding mode related to the coding block subjected to variable length decoding in the variable length decoding processing step is the inter coding mode, the motion compensation predicting means selects the code from one or more selectable motion vectors. A motion compensation prediction processing step for selecting a motion vector indicated by the index information related to the coding block and performing a motion compensation prediction processing on the coding block using the motion vector to generate a prediction image; and a difference image generation unit Is the difference before compression from the compressed data related to the encoded block subjected to variable length decoding in the variable length decoding processing step. The difference image generation processing step for generating an image and the decoded image generation means add the difference image generated in the difference image generation processing step and the prediction image generated in the motion compensation prediction processing step to obtain a decoded image. A decoded image generation processing step for generating,
In the motion compensation prediction processing step, when performing the motion compensation prediction processing for the coded block, the coding block is divided, and when the motion compensation prediction processing is performed for each of the divided blocks, the coding is performed. A moving picture decoding method characterized by changing a value of index information indicating one or more selectable motion vectors in accordance with a divided shape of a block.

Images