JP2013009164A - Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method - Google Patents
Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method Download PDFInfo
- Publication number
- JP2013009164A JP2013009164A JP2011140608A JP2011140608A JP2013009164A JP 2013009164 A JP2013009164 A JP 2013009164A JP 2011140608 A JP2011140608 A JP 2011140608A JP 2011140608 A JP2011140608 A JP 2011140608A JP 2013009164 A JP2013009164 A JP 2013009164A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- motion
- prediction
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術などに用いられる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法に関するものである。 The present invention relates to a moving image encoding device, a moving image decoding device, a moving image encoding method, and a moving image decoding method used for image compression encoding technology, compressed image data transmission technology, and the like.
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ Ｈ．２６ｘ」などの国際標準映像符号化方式では、輝度信号１６×１６画素と、その輝度信号１６×１６画素に対応する色差信号８×８画素とをまとめたブロックデータ（以下、「マクロブロック」と称する）を一単位として、動き補償技術や直交変換／変換係数量子化技術に基づいて圧縮する方法が採用されている。
動画像符号化装置及び動画像復号装置における動き補償処理では、前方または後方のピクチャを参照して、マクロブロック単位で動きベクトルの検出や予測画像の生成を行う。
このとき、１枚のピクチャのみを参照して、画面間予測符号化を行うものをＰピクチャと称し、同時に２枚のピクチャを参照して、画面間予測符号化を行うものをＢピクチャと称する。
For example, in an international standard video encoding method such as MPEG (Moving Picture Experts Group) or “ITU-T H.26x”, a luminance signal 16 × 16 pixels and a color difference signal 8 × corresponding to the luminance signal 16 × 16 pixels are used. A method is adopted in which block data (hereinafter referred to as “macroblock”) including eight pixels is used as a unit for compression based on a motion compensation technique or an orthogonal transform / transform coefficient quantization technique.
In the motion compensation processing in the moving image encoding device and the moving image decoding device, a motion vector is detected and a predicted image is generated in units of macroblocks with reference to a front or rear picture.
At this time, a picture that performs inter-frame prediction encoding with reference to only one picture is referred to as a P picture, and a picture that performs inter-frame prediction encoding with reference to two pictures at the same time is referred to as a B picture. .
国際標準方式であるＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０｜ＩＴＵ−Ｔ Ｈ．２６４）では、Ｂピクチャを符号化する際に、動き情報を符号化せず符号化済みのデータから予測するダイレクトモードと呼ばれる符号化モードを選択することができる（例えば、非特許文献１を参照）。
即ち、符号化対象のマクロブロックには、動きベクトルの符号化データを持たず、符号化済みの他のピクチャのマクロブロックの動きベクトルや、周囲のマクロブロックの動きベクトルを用いる所定の演算処理で、符号化対象のマクロブロックの動きベクトルを生成する符号化モードを選択することができる。
AVC / H. Is an international standard system. In H.264 (ISO / IEC 14496-10 | ITU-T H.264), when encoding a B picture, a coding mode called a direct mode for predicting from encoded data without encoding motion information is used. (For example, refer nonpatent literature 1).
That is, the macroblock to be encoded does not have motion vector encoded data, and is a predetermined calculation process using a motion vector of a macroblock of another encoded picture or a motion vector of a surrounding macroblock. The encoding mode for generating the motion vector of the macroblock to be encoded can be selected.
このダイレクトモードには、時間ダイレクトモードと空間ダイレクトモードの２種類が存在する。
時間ダイレクトモードでは、符号化済みの他ピクチャの動きベクトルを参照し、符号化済みピクチャと符号化対象のピクチャとの時間差に応じて動きベクトルのスケーリング処理を行うことで、符号化対象のマクロブロックの動きベクトルを生成する。
空間ダイレクトモードでは、符号化対象のマクロブロックの周囲に位置している少なくとも１つ以上の符号化済みマクロブロックの動きベクトルを参照し、それらの動きベクトルから符号化対象のマクロブロックの動きベクトルを生成する。
このダイレクトモードでは、スライスヘッダに設けられたフラグである“ｄｉｒｅｃｔ＿ｓｐａｔｉａｌ＿ｍｖ＿ｐｒｅｄ＿ｆｌａｇ”を用いることにより、スライス単位で、時間ダイレクトモード又は空間ダイレクトモードのいずれか一方を選択することが可能である。
ただし、ダイレクトモードの中で、変換係数を符号化しないモードをスキップモードと称する。以下、ダイレクトモードと記載するときは、スキップモードも含まれるものとする。
There are two types of direct mode: temporal direct mode and spatial direct mode.
In the temporal direct mode, the motion vector scaling process is performed according to the time difference between the coded picture and the picture to be coded by referring to the motion vector of the other picture that has been coded. Generate a motion vector of.
In the spatial direct mode, the motion vector of at least one encoded macroblock located around the macroblock to be encoded is referenced, and the motion vector of the macroblock to be encoded is determined from those motion vectors. Generate.
In this direct mode, by using “direct_spatial_mv_pred_flag” which is a flag provided in the slice header, it is possible to select either the temporal direct mode or the spatial direct mode in units of slices.
However, a mode in which transform coefficients are not encoded in the direct mode is referred to as a skip mode. Hereinafter, when the direct mode is described, the skip mode is also included.
ここで、図１７は時間ダイレクトモードで動きベクトルを生成する方法を示す模式図である。
図１７において、「Ｐ」はＰピクチャを表し、「Ｂ」はＢピクチャを表している。
また、数字０−３はピクチャの表示順を示し、時間Ｔ０，Ｔ１，Ｔ２，Ｔ３の表示画像であることを表している。
ピクチャの符号化処理は、Ｐ０，Ｐ３，Ｂ１，Ｂ２の順番で行われているものとする。
Here, FIG. 17 is a schematic diagram showing a method of generating a motion vector in the temporal direct mode.
In FIG. 17, “P” represents a P picture, and “B” represents a B picture.
Numbers 0 to 3 indicate the display order of pictures and indicate that the images are displayed at times T0, T1, T2 and T3.
It is assumed that the picture encoding process is performed in the order of P0, P3, B1, and B2.
例えば、ピクチャＢ２の中のマクロブロックＭＢ１を時間ダイレクトモードで符号化する場合を想定する。
この場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、マクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルＭＶを用いる。
この動きベクトルＭＶはピクチャＰ０を参照しており、マクロブロックＭＢ１を符号化する際に用いる動きベクトルＭＶＬ０，ＭＶＬ１は、以下の式（１）で求められる。
In this case, the motion of the macroblock MB2 which is the motion vector of the picture P3 closest to the picture B2 among the encoded pictures located on the rear side of the picture B2 on the time axis, and is in the same spatial position as the macroblock MB1. Vector MV is used.
The motion vector MV refers to the picture P0, and the motion vectors MVL0 and MVL1 used when encoding the macroblock MB1 are obtained by the following equation (1).
なお、予測画像の生成に用いる参照画像は、参照に用いるベクトル毎に、参照画像リストして管理されており、２つのベクトルを用いる場合、各参照画像リストはリスト０、リスト１と称される。
参照画像リストに対して時間的に近いものから順番に格納され、通常はリスト０が前方向の参照画像を示し、リスト１が後方向の参照画像を示している。ただし、リスト１が前方向の参照画像を示し、リスト０が後方向の参照画像を示していてもよいし、リスト０とリスト１の双方が、前方向と後方向の参照画像を示していてもよい。また、並び順も時間的に近いものから並べる必要はない。
例えば、以下の非特許文献１には、参照画像リストをスライス毎に並び替えることが可能であることが記載されている。
Note that the reference images used for generating the predicted image are managed as a reference image list for each vector used for reference. When two vectors are used, the reference image lists are referred to as list 0 and
The reference images are stored in order from the closest to the reference image list, and normally, list 0 indicates a forward reference image and
For example, the following Non-Patent
従来の動画像符号化装置は以上のように構成されているので、あるピクチャＢ２内のマクロブロックＭＶ１の動きベクトルを時間ダイレクトモードで生成する場合、ピクチャＢ２の時間軸上後方にある符号化済みピクチャのうち、ピクチャＢ２に一番近いピクチャＰ３の動きベクトルであって、符号化対象のマクロブロックＭＢ１と空間的に同じ位置にあるマクロブロックＭＢ２の動きベクトルが用いられる。このため、符号化対象のマクロブロックＭＢ１内の物体が空間的にほとんど移動しておらず、その物体がマクロブロックＭＢ２内に存在していれば、高精度に動きベクトルを生成することができるが、符号化対象のマクロブロックＭＢ１内の物体が空間的に大きく移動しており、その物体がマクロブロックＭＢ２内に存在していなければ、動きベクトルの生成精度が劣化してしまう課題があった。 Since the conventional moving image coding apparatus is configured as described above, when the motion vector of the macroblock MV1 in a certain picture B2 is generated in the temporal direct mode, the coded data on the time axis rearward of the picture B2 is already coded. Among the pictures, the motion vector of the picture P3 closest to the picture B2 and the motion vector of the macroblock MB2 located in the same spatial position as the encoding target macroblock MB1 is used. For this reason, if the object in the macroblock MB1 to be encoded is hardly moved spatially and the object exists in the macroblock MB2, a motion vector can be generated with high accuracy. If the object in the macroblock MB1 to be encoded has moved greatly in space, and the object does not exist in the macroblock MB2, there is a problem that the generation accuracy of the motion vector deteriorates.
この発明は上記のような課題を解決するためになされたもので、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。 The present invention has been made to solve the above-described problems, and generates a motion vector with high accuracy even when an object in a coding block moves to a block at a spatially different position. It is an object of the present invention to obtain a moving image encoding device, a moving image decoding device, a moving image encoding method, and a moving image decoding method.
この発明に係る動画像符号化装置は、予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、符号化制御手段により選択された符号化モードがインター符号化モードである場合、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファの中から、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出し、その動きベクトルを用いて、その符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、その動きベクトルが格納されているブロックを示すインデックス情報を出力する動き補償予測手段と、ブロック分割手段により分割された符号化ブロックと動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段から出力された圧縮データ、符号化制御手段により選択された符号化モード及び動き補償予測手段から出力されたインデックス情報を可変長符号化して、その圧縮データ、符号化モード及びインデックス情報の符号化データが多重化されているビットストリームを生成する可変長符号化手段とを備え、動き補償予測手段が予測画像を生成する際、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファに格納するようにしたものである。 The moving picture coding apparatus according to the present invention determines the maximum size of a coding block that is a processing unit when the prediction process is performed, and sets an upper limit when the coding block of the maximum size is hierarchically divided. And encoding control means for selecting an encoding mode corresponding to each encoding block divided hierarchically from among one or more available encoding modes, and encoding an input image A block dividing unit that divides the encoded block hierarchically until the maximum number of layers determined by the encoding control unit is reached, If the encoding mode selected by the encoding control means is the inter encoding mode, whether the motion vector buffer stores the motion vector corresponding to each block. Then, a motion vector corresponding to the encoded block divided by the block dividing unit is read, and using the motion vector, a motion compensation prediction process is performed on the encoded block to generate a predicted image, and the motion vector is Motion compensation prediction means for outputting index information indicating stored blocks, and difference image generation means for generating a difference image between the encoded block divided by the block division means and the prediction image generated by the motion compensation prediction means And an image compression unit that compresses the difference image generated by the difference image generation unit and outputs compressed data of the difference image, the compressed data output from the image compression unit, and the encoding selected by the encoding control unit The index information output from the mode and motion compensation prediction means is variable length encoded, Variable length encoding means for generating a bit stream in which the encoded data of the compressed data, encoding mode, and index information is multiplexed. When the motion compensated prediction means generates a predicted image, it is divided by the block dividing means. When the motion vector corresponding to the encoded block is read, the motion vector corresponding to the block indicated by the motion vector is stored in the motion vector buffer as the motion vector corresponding to the block at the position indicated by the motion vector. is there.
この発明によれば、動き補償予測手段が予測画像を生成する際、ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファに格納するように構成したので、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果がある。 According to the present invention, when the motion compensation prediction unit generates a prediction image, when a motion vector corresponding to the encoded block divided by the block division unit is read, the motion vector corresponding to the block at the position indicated by the motion vector Since the motion vector corresponding to the coding block is stored in the motion vector buffer, even if an object in the coding block moves to a block at a spatially different position, it is highly accurate. There is an effect that a motion vector can be generated.
実施の形態１．
この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されたビットストリームを復号する動画像復号装置について説明する。
In the first embodiment, each frame image of a video is input, and after performing compression processing by orthogonal transformation or quantization on a prediction difference signal obtained by performing motion compensation prediction between adjacent frames, the variable length is obtained. A video encoding device that performs encoding to generate a bitstream and a video decoding device that decodes a bitstream output from the video encoding device will be described.
この実施の形態１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
The moving picture coding apparatus according to the first embodiment adapts to local changes in the spatial and temporal directions of a video signal, divides the video signal into regions of various sizes, and performs intraframe / interframe adaptive coding. It is characterized by performing.
In general, a video signal has a characteristic that the complexity of the signal changes locally in space and time. When viewed spatially, on a particular video frame, there are patterns with uniform signal characteristics in a relatively large image area such as the sky and walls, and small images such as people and paintings with fine textures. A pattern having a complicated texture pattern may be mixed in the region.
Even when viewed temporally, the sky and the wall have small changes in the pattern in the time direction locally, but the moving person or object has a rigid or non-rigid motion in time, so the temporal change does not occur. large.
符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分差信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の動画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
The encoding process generates a prediction difference difference signal with low signal power and entropy by temporal and spatial prediction, thereby reducing the overall code amount, but the parameters for prediction are made uniform in as large an image signal region as possible. If applicable, the code amount of the parameter can be reduced.
On the other hand, if the same prediction parameter is applied to an image signal pattern having a large temporal and spatial change, the number of prediction differential signals cannot be reduced because prediction errors increase.
Therefore, for image signal patterns with large temporal and spatial changes, the prediction target signal power / entropy is reduced even if the prediction target area is reduced and the amount of parameter data for prediction is increased. Is preferable.
In order to perform coding adapted to the general properties of such a video signal, the moving picture coding apparatus of the first embodiment divides the video signal area hierarchically from a predetermined maximum block size, Prediction processing and prediction difference encoding processing are performed for each divided region.
この実施の形態１の動画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の諧調は８ビットでもよいし、１０ビット、１２ビットなどの諧調であってもよい。
ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
The video signal to be processed by the moving image coding apparatus according to the first embodiment is a color in an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor. In addition to the video signal, the video frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which the video frame is composed of a horizontal and vertical two-dimensional digital sample (pixel) sequence.
The gradation of each pixel may be 8 bits, or may be gradation such as 10 bits or 12 bits.
However, in the following description, it is assumed that the input video signal is a YUV signal unless otherwise specified. In addition, it is assumed that the two color difference components U and V are subsampled 4: 2: 0 format signals with respect to the luminance component Y.
The processing data unit corresponding to each frame of the video is referred to as “picture”. In the first embodiment, “picture” is described as a signal of a video frame that has been sequentially scanned (progressive scan). However, when the video signal is an interlace signal, the “picture” may be a field image signal which is a unit constituting a video frame.
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード（動き情報を符号化しないインター符号化を含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化制御手段を構成している。
1 is a block diagram showing a moving picture coding apparatus according to
In FIG. 1, an
Also, the
ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
When the video signal indicating the input image is input, the
切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
If the coding mode selected by the
When the
動き補償予測部５は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ５ａを内蔵しており、符号化制御部１により選択された符号化モードがインター符号化モードである場合、動きベクトルバッファ５ａの中から、ブロック分割部２により分割された符号化ブロックに対応する動きベクトルを読み出し、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、ブロック分割部２により分割された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成するとともに、そのインター予測パラメータ（当該動きベクトルが格納されているブロックを示すインデックス情報を含む）を可変長符号化部１３に出力する処理を実施する。
また、動き補償予測部５は予測画像を生成する際、ブロック分割部２により分割された符号化ブロックに対応する動きベクトルを読み出すと、次フレームの動き補償予測処理に備えるため、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その符号化ブロックに対応する動きベクトルを動きベクトルバッファ５ａに格納する処理を実施する。なお、動き補償予測部５は動き補償予測手段を構成している。
図１の例では、動きベクトルバッファ５ａが動き補償予測部５に内蔵されているものを示しているが、動きベクトルバッファ５ａは、動き補償予測部５の外部に設けられていてもよい。
When the motion
Further, when the motion compensated
In the example of FIG. 1, the
減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
The subtracting unit 6 subtracts the prediction image generated by the
The transform /
逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として出力する処理を実施する。
The inverse quantization / inverse transform unit 8 performs inverse quantization on the compressed data output from the transform /
加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
The adding
The intra prediction memory 10 is a recording medium such as a RAM that stores a local decoded image indicated by the local decoded image signal generated by the adding
ループフィルタ部１１は加算部９により生成された局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に出力する処理を実施する。
動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
The
The motion compensated prediction frame memory 12 is a recording medium such as a RAM that stores a locally decoded image after the filtering process by the
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（インデックス情報を含む）を可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
The variable
図１では、動画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容を示すフローチャートである。
In FIG. 1, a
FIG. 2 is a flowchart showing the processing contents of the moving picture coding apparatus according to
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部２１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（インデックス情報を含む）を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部２５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ２２に出力する処理を実施する。なお、可変長復号部２１は可変長復号手段を構成している。
FIG. 3 is a block diagram showing a moving picture decoding apparatus according to
In FIG. 3, the variable
切替スイッチ２２は可変長復号部２１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部２１から出力されたインター予測パラメータを動き補償予測部２４に出力する処理を実施する。
イントラ予測部２３は切替スイッチ２２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して予測画像を生成する処理を実施する。
The
The
動き補償予測部２４は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ２４ａを内蔵しており、切替スイッチ２２から出力された符号化ブロックに係る符号化モードがインター符号化モードである場合、動きベクトルバッファ２４ａの中から、可変長復号部２１により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出し、その動きベクトルと切替スイッチ２２から出力されたインター予測パラメータを用いて、当該符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する処理を実施する。
また、動き補償予測部２４は予測画像を生成する際、インデックス情報が示すブロックに対応する動きベクトルを読み出すと、次フレームの動き補償予測処理に備えるため、その動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、そのインデックス情報が示すブロックに対応する動きベクトルを動きベクトルバッファ２４ａに格納する処理を実施する。なお、動き補償予測部２４は動き補償予測手段を構成している。
図３の例では、動きベクトルバッファ２４ａが動き補償予測部２４に内蔵されているものを示しているが、動きベクトルバッファ２４ａは、動き補償予測部２４の外部に設けられていてもよい。
The motion
In addition, when the motion
In the example of FIG. 3, the
逆量子化・逆変換部２５は可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部２５は差分画像生成手段を構成している。
The inverse quantization /
加算部２６は逆量子化・逆変換部２５から出力された復号予測差分信号とイントラ予測部２３又は動き補償予測部２４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部２６は復号画像生成手段を構成している。
イントラ予測用メモリ２７はイントラ予測部２３により次回のイントラ予測処理で用いられる画像として、加算部２６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
The
The
ループフィルタ部２８は加算部２６により生成された復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ２９に出力する処理を実施する。
動き補償予測フレームメモリ２９は動き補償予測部２４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部２８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
The
The motion compensated
図３では、動画像復号装置の構成要素である可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償予測部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償予測部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容を示すフローチャートである。
In FIG. 3, a variable
FIG. 4 is a flowchart showing the processing contents of the video decoding apparatus according to
次に動作について説明する。
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
Next, the operation will be described.
First, the processing contents of the moving picture encoding apparatus in FIG. 1 will be described.
First, the
符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
As a method of determining the maximum size of the encoded block, for example, a method of determining a size corresponding to the resolution of the input image for all the pictures can be considered.
In addition, the difference in complexity of local motion of the input image is quantified as a parameter, and the maximum size is determined to be a small value for pictures with intense motion, and the maximum size is determined to be a large value for pictures with little motion. And so on.
The upper limit of the number of hierarchies is set so that, for example, the more the input image moves, the deeper the number of hierarchies, so that finer motion can be detected. A way to do this is conceivable.
また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード（動き情報を符号化しないインター符号化を含む））の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
In addition, the
Since the encoding mode selection method by the
ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する。
ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
また、図５の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
When a video signal indicating an input image is input, the
Here, FIG. 5 is an explanatory diagram showing a state in which a coding block of the maximum size is hierarchically divided into a plurality of coding blocks.
In the example of FIG. 5, the coding block of the maximum size is the coding block B 0 of the 0th layer, and has a size of (L 0 , M 0 ) as a luminance component.
Further, in the example of FIG. 5, the encoding block B n is obtained by performing hierarchical division to a predetermined depth determined separately in a quadtree structure with the encoding block B 0 having the maximum size as a starting point. Yes.
深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図５の例ではＬｎ＝Ｍｎのケースを示している。
以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
At the depth n, the coding block B n is an image area of size (L n , M n ).
However, L n and M n may be the same or different, but the example of FIG. 5 shows the case of L n = M n .
Later, the size of the encoded block B n is defined as the size of the luminance component of the encoded block B n (L n, M n ).
ブロック分割部２は、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と記する。
Since the
However, in a color video signal (4: 4: 4 format) in which all color components have the same number of samples, such as RGB signals, the size of all color components is (L n , M n ). When the 4: 2: 0 format is handled, the size of the corresponding color difference component coding block is (L n / 2, M n / 2).
Hereinafter, a coding mode that can be selected in the coding block B n of the n-th layer is described as m (B n ).
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
In the case of a color video signal composed of a plurality of color components, the encoding mode m (B n ) may be configured to use an individual mode for each color component, but hereinafter, unless otherwise specified, YUV The description will be made on the assumption that it indicates the coding mode for the luminance component of the coding block of the signal 4: 2: 0 format.
The coding mode m (B n ) includes one or more intra coding modes (collectively “INTRA”), one or more inter coding modes (collectively “INTER”), As described above, the
符号化ブロックＢｎは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化ブロックＢｎに属するパーティションをＰｉ ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
符号化ブロックＢｎに属するパーティションＰｉ ｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
パーティションＰｉ ｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉ ｎ毎に、個別の予測パラメータを選択することができる。
As shown in FIG. 5, the coding block B n is further divided into one or more prediction processing units (partitions).
Hereinafter, the partition belonging to the coding block B n is denoted as P i n (i: the partition number in the nth layer).
How the partition P i n belonging to the coding block B n is divided is included as information in the coding mode m (B n ).
All partitions P i n are subjected to prediction processing according to the coding mode m (B n ), but individual prediction parameters can be selected for each partition P i n .
符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
For example, the
6A shows the distribution of the partitions after the division, and FIG. 6B shows a situation where the encoding mode m (B n ) is assigned to the partition after the hierarchy division in the quadtree graph. Is shown.
In FIG. 6B, nodes surrounded by squares indicate nodes (encoded blocks B n ) to which the encoding mode m (B n ) is assigned.
切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢｎのパーティションＰｉ ｎに対して最適な符号化モードｍ（Ｂｎ）を選択すると、その符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎをイントラ予測部４に出力する。
一方、その符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ステップＳＴ３）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎを動き補償予測部５に出力する。
On the other hand, if the coding mode m (B n ) is the inter coding mode (step ST 3), the partition P i n of the coding block B n divided by the
イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉ ｎを受けると、符号化制御部１により選択された符号化モードｍ（Ｂｎ）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉ ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉ ｎを生成する（ステップＳＴ４）。
イントラ予測部４は、イントラ予測画像Ｐｉ ｎを生成すると、そのイントラ予測画像Ｐｉ ｎを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じイントラ予測画像Ｐｉ ｎを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
なお、イントラ予測部４のイントラ予測処理は、例えば、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められているアルゴリズムに従うが、このアルゴリズムに限定されるものではない。
When receiving the partition P i n of the coding block B n from the
Note that the intra prediction process of the
動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉ ｎを受けると、各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ５ａの中から、そのパーティションＰｉ ｎに対応する動きベクトルの読み出しを行う。
ここで、図７は各々のブロックに対応する動きベクトルを格納している動きベクトルバッファ５ａと符号化ブロックＢｎを示す説明図である。
動きベクトルバッファ５ａにおける各々のブロックは、符号化ブロックＢｎ内のパーティションＰｉ ｎと対応しており、例えば、図中斜線が施されているパーティションＰｉ ｎに対するイントラ予測処理を実施する場合、そのパーティションＰｉ ｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロック（図中、網掛けが施されているブロック）に格納されている動きベクトルの読み出しを行う。
The motion
Here, FIG. 7 is an explanatory diagram showing a
Each block in the
動き補償予測部５は、動きベクトルバッファ５ａの中から、パーティションＰｉ ｎに対応する動きベクトルを含む動き情報を読み出すと、その動き情報と符号化制御部１から出力されたインター予測パラメータを用いて、そのパーティションＰｉ ｎに対する動き補償予測処理を実施して、インター予測画像Ｐｉ ｎを生成する（ステップＳＴ５）。
ここでは、パーティションＰｉ ｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロックに格納されている動き情報を用いる例（時間予測を用いる例）を示しているが、その動きベクトルを用いるよりも、そのパーティションＰｉ ｎと同じピクチャに属する動きベクトルであって、そのパーティションＰｉ ｎの周辺に位置しているブロックの動き情報を用いる方（空間予測を用いる方）が、符号化効率が高くなる場合には、その動き情報を用いて、インター予測画像Ｐｉ ｎを生成する。
The motion
Here, an example is shown of using the motion information stored in the block in the
動き補償予測部５は、インター予測画像Ｐｉ ｎを生成すると、そのインター予測画像Ｐｉ ｎを減算部６及び加算部９に出力するが、図３の動画像復号装置でも同じインター予測画像Ｐｉ ｎを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。
なお、インター予測パラメータには、下記の情報が含まれている。
（１）符号化ブロックＢｎ内のパーティションＰｉ ｎの分割状況を記述しているモード情報
（２）パーティションＰｉ ｎの動きベクトル
（３）動き補償予測フレームメモリ１２により複数の参照画像が格納されている場合、いずれの参照画像を用いて、動き補償予測処理を実施するかを示す参照画像の指示インデックス情報
（４）複数の動きベクトルの予測値候補がある場合（例えば、パーティションＰｉ ｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロックに格納されている動きベクトル、パーティションＰｉ ｎと同じピクチャに属する動きベクトル）、いずれのブロックの動きベクトルを選択して使用するかを示すインデックス情報
（５）複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報
（６）パーティションＰｉ ｎの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
The motion
The inter prediction parameter includes the following information.
(1) partition P i n a plurality of reference images by division condition mode information describing the (2) partition P i n motion vector (3) of the motion compensated prediction frame memory 12 of the coding block B n is stored If there is a plurality of motion vector prediction value candidates (for example, partition P i n ) (4) Reference index indication index information indicating which reference image is used to perform motion compensation prediction processing spatially motion vector stored in the block in the
また、動き補償予測部５は、インター予測画像Ｐｉ ｎを生成すると、次フレームの動き補償予測処理に備えるため、インター予測画像Ｐｉ ｎの生成に用いた動き情報（パーティションＰｉ ｎに対応する動きベクトル、参照ピクチャインデックス）を動きベクトルバッファ５ａに格納する。
次フレームでは、パーティションＰｉ ｎ内の物体が、インター予測画像Ｐｉ ｎの生成に用いた動きベクトルが指し示す位置のブロックに移動している可能性が高い。
一方、時間予測モードでは、次フレームの動き補償予測処理においても、パーティションＰｉ ｎと空間的に同じ位置にある動きベクトルバッファ５ａ内のブロックに格納されている動きベクトルが読み出される。
そこで、動き補償予測部５は、パーティションＰｉ ｎ内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度な動きベクトルを用いることができるようにするため、インター予測画像Ｐｉ ｎの生成に用いた動きベクトルを、指し示す位置のブロックに対応する動きベクトルとして、インター予測画像Ｐｉ ｎの生成に用いた動きベクトルを動きベクトルバッファ５ａに格納する。
In addition, when the inter prediction image P i n is generated, the motion
In the next frame, there is a high possibility that the object in the partition P i n has moved to the block at the position indicated by the motion vector used to generate the inter-predicted image P i n .
On the other hand, in the temporal prediction mode, the motion compensation prediction processing in the next frame, the motion vector stored in the block in the
Therefore, the motion
例えば、インター予測画像Ｐｉ ｎの生成に用いた動きベクトルが、図７の太枠で示されるブロックの動きベクトルである場合、この動きベクトルは右上のブロック（図中斜線が施されているブロック）を指し示しているので、この動きベクトルは、右上のブロックの動きベクトルとして動きベクトルバッファ５ａに格納される。
具体的には、パーティションＰｉ ｎに対応する動きベクトルが（ＭＶｘ，ＭＶｙ）で表され、パーティションＰｉ ｎの空間的な位置が（ｘ，ｙ）で表される場合、その動きベクトルを格納するブロックの空間的な位置（Ｘ，Ｙ）は、下記の式（２）に示されるようになる。
（Ｘ，Ｙ）＝（ｘ，ｙ）＋（ＭＶｘ，ＭＶｙ） （２）
これにより、パーティションＰｉ ｎの動きを考慮して、動き情報を格納することができるため、その後のフレームを符号化する際に時間ベクトルを使用する場合、符号化対象のブロックの動きに近い動きベクトルを予測に用いることができるようになり、符号化効率の向上に寄与することができる。
For example, a motion vector used for generating the inter prediction image P i n is, when a motion vector of a block indicated by a thick frame in FIG. 7, the motion vector is the upper right of the block (in the drawing hatching is applied block This motion vector is stored in the
Specifically, if the motion vector corresponding to the partition P i n is (MVx, MVy) is represented by the spatial position of the partition P i n is represented by (x, y), stores the motion vector The spatial position (X, Y) of the block to be performed is as shown in the following equation (2).
(X, Y) = (x, y) + (MVx, MVy) (2)
Thus, taking into account the movement of the partition P i n, it is possible to store the motion information, followed in the case of using a time vector in encoding the frame, the motion close to the motion of the block to be coded Vectors can be used for prediction, which can contribute to improvement of coding efficiency.
減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅｉ ｎを変換・量子化部７に出力する（ステップＳＴ６）。
When the
変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅｉ ｎを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
Transform and
逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ８）。
When the inverse quantization / inverse transform unit 8 receives the compressed data of the difference image from the transform /
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を示す予測信号を加算することで、局所復号パーティション画像、ないしは、その集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ９）。
加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
Upon receiving the local decoded prediction difference signal from the inverse quantization / inverse transform unit 8, the
When generating the locally decoded image, the adding
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了するとステップＳＴ１２の処理に移行する（ステップＳＴ１０，ＳＴ１１）。 Processing in step ST3~ST9 is repeated until processing of all the coding blocks B n which are hierarchically split is completed, the process proceeds when the processing of all the coding blocks B n completion process in step ST12 (Steps ST10 and ST11).
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（インデックス情報を含む）をエントロピー符号化する。
可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１２）。
The variable
The variable
ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の局所復号画像信号が示す局所復号画像を参照画像として動き補償予測フレームメモリ１２に格納する（ステップＳＴ１３）。
ループフィルタ部１１によるフィルタリング処理は、加算部９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。
When the
The filtering process by the
次に、図３の動画像復号装置の処理内容を説明する。
可変長復号部２１は、図１の動画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にフレームサイズを復号する（図４のステップＳＴ２１）。
Next, processing contents of the moving picture decoding apparatus in FIG. 3 will be described.
When the variable
可変長復号部２１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
The variable
For example, in the image encoding apparatus, when the maximum size of the encoded block is determined according to the resolution of the input image, the maximum size of the encoded block is determined based on the frame size that has been decoded first.
When information indicating the maximum size of the encoded block and the upper limit number of layers is multiplexed in the bit stream, the information decoded from the bit stream is referred to.
ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）には、最大サイズの符号化ブロックＢ０の分割状態を示す情報が含まれているので、可変長復号部２１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）を復号して、階層的に分割されている各々の符号化ブロックＢｎを特定する（ステップＳＴ２３）。
可変長復号部２１は、各々の符号化ブロックＢｎを特定すると、その符号化ブロックＢｎの符号化モードｍ（Ｂｎ）を復号し、その符号化モードｍ（Ｂｎ）に属しているパーティションＰｉ ｎの情報に基づいて、符号化ブロックＢｎに属しているパーティションＰｉ ｎを特定する。
可変長復号部２１は、符号化ブロックＢｎに属しているパーティションＰｉ ｎを特定すると、パーティションＰｉ ｎ毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（インデックス情報を含む）を復号する（ステップＳＴ２４）。
Since the coding mode m of the coded blocks B 0 maximum size that is multiplexed (B 0) in the bit stream includes information representing the split state of the encoded block B 0 of the maximum size, variable The
When the variable
When the variable
切替スイッチ２２は、可変長復号部２１から出力された符号化ブロックＢｎに属しているパーティションＰｉ ｎの符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力する。
一方、パーティションＰｉ ｎの符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたインター予測パラメータを動き補償予測部２４に出力する。
イントラ予測部２３は、切替スイッチ２２からイントラ予測パラメータを受けると、そのイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉ ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉ ｎを生成する（ステップＳＴ２６）。
The
On the other hand, when the coding mode m (B n ) of the partition P i n is the inter coding mode (step ST25), the inter prediction parameter output from the variable
When the
動き補償予測部２４は、切替スイッチ２２からインター予測パラメータを受けると、動きベクトルバッファ２４ａの中から、そのインター予測パラメータに含まれているインデックス情報が示すブロックに対応する動きベクトルの読み出しを行う。
図１の動き補償予測部５内の動きベクトルバッファ５ａと、動き補償予測部２４内の動きベクトルバッファ２４ａには同じ動きベクトルが格納されているので、動き補償予測部２４がインデックス情報を参照して、動きベクトルの読み出し処理を行うことで、図１の動き補償予測部５がインター予測画像Ｐｉ ｎを生成する際に用いている動きベクトルと同じ動きベクトルを読み出すことができる。
When the motion
Since the same motion vector is stored in the
動き補償予測部２４は、動きベクトルバッファ２４ａの中から、パーティションＰｉ ｎに対応する動きベクトルを読み出すと、その動きベクトルと切替スイッチ２２から出力されたインター予測パラメータを用いて、符号化ブロックＢｎのパーティションＰｉ ｎに対する動き補償予測処理を実施して、インター予測画像Ｐｉ ｎを生成する（ステップＳＴ２７）。
また、動き補償予測部２４は、インター予測画像Ｐｉ ｎを生成すると、次フレームの動き補償予測処理に備えるため、図１の動き補償予測部５と同様に、インター予測画像Ｐｉ ｎの生成に用いた動き情報（パーティションＰｉ ｎに対応する動きベクトル、参照画像インデックス）を動きベクトルバッファ２４ａに格納する。
即ち、動き補償予測部２４は、パーティションＰｉ ｎ内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度な動きベクトルを用いることができるようにするため、インター予測画像Ｐｉ ｎの生成に用いた動きベクトルが指し示す位置のブロックに対応する動き情報として、インター予測画像Ｐｉ ｎの生成に用いた動き情報を動きベクトルバッファ２４ａに格納する。
Motion
The motion
That is, the motion
例えば、インター予測画像Ｐｉ ｎの生成に用いた動き情報が、図７の太枠で示されるブロックの動きベクトルである場合、この動きベクトルは右上のブロック（図中斜線が施されているブロック）を指し示しているので、この動き情報は、右上のブロックの動き情報として動きベクトルバッファ２４ａに格納される。
具体的には、パーティションＰｉ ｎに対応する動きベクトルが（ＭＶｘ，ＭＶｙ）で表され、パーティションＰｉ ｎの空間的な位置が（ｘ，ｙ）で表される場合、その動きベクトルを格納するブロックの空間的な位置（Ｘ，Ｙ）は、下記の式（３）に示されるようになる。
（Ｘ，Ｙ）＝（ｘ，ｙ）＋（ＭＶｘ，ＭＶｙ） （３）
For example, the motion information used for generating the inter prediction image P i n is, when a motion vector of a block indicated by a thick frame in FIG. 7, the motion vector is the upper right of the block (in the drawing hatching is applied block This motion information is stored in the
Specifically, if the motion vector corresponding to the partition P i n is (MVx, MVy) is represented by the spatial position of the partition P i n is represented by (x, y), stores the motion vector The spatial position (X, Y) of the block to be performed is as shown in the following equation (3).
(X, Y) = (x, y) + (MVx, MVy) (3)
逆量子化・逆変換部２５は、可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された符号化ブロックに係る圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部２６に出力する（ステップＳＴ２８）。
The inverse quantization /
加算部２６は、逆量子化・逆変換部２５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部２３又は動き補償予測部２４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ２７に格納するとともに、その復号画像信号をループフィルタ部２８に出力する（ステップＳＴ２９）。
When the
ステップＳＴ２３〜ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
ループフィルタ部２８は、加算部２６から復号画像信号を受けると、その復号画像信号に含まれている符号化歪みを補償し、符号化歪み補償後の復号画像信号が示す復号画像を参照画像として動き補償予測フレームメモリ２９に格納する（ステップＳＴ３１）。
ループフィルタ部２８によるフィルタリング処理は、加算部２６から出力される復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する復号画像信号が出力された後に１画面分まとめて行ってもよい。
The processes in steps ST23 to ST29 are repeatedly performed until the processes for all the hierarchically divided coding blocks Bn are completed (step ST30).
When the
The filtering process by the
以上で明らかなように、この実施の形態１によれば、動きベクトルが指し示す位置のブロックに対応する動き情報として、その符号化ブロックに対応する動き情報を動きベクトルバッファ５ａに格納するように構成したので、動画像符号化装置の動き補償予測部５が予測画像を生成する際、動きベクトルバッファ５ａの中から、ブロック分割部２により分割された符号化ブロックに対応する動き情報を読み出すと、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果を奏する。
As apparent from the above, according to the first embodiment, the motion information corresponding to the encoded block is stored in the
また、この実施の形態１によれば、動きベクトルが指し示す位置のブロックに対応する動き情報として、そのインデックス情報が示すブロックに対応する動き情報を動きベクトルバッファ２４ａに格納するように構成したので、動画像復号装置の動き補償予測部２４が予測画像を生成する際、動きベクトルバッファ２４ａの中から、可変長復号部２１により可変長復号された符号化ブロックに係るインデックス情報が示すブロックに対応する動きベクトルを読み出すと、符号化ブロック内の物体が、空間的に異なる位置にあるブロックに移動していても、高精度に動きベクトルを生成することができる効果を奏する。
Further, according to the first embodiment, as the motion information corresponding to the block at the position indicated by the motion vector, the motion information corresponding to the block indicated by the index information is stored in the
なお、この実施の形態１では、動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するものを示したが、動きベクトルの格納は、ブロック単位で保持することが考えられる。この場合、例えば、最小の動き予測単位である４×４単位で保持することが考えられる。
In the first embodiment, the motion vector is stored in the
この実施の形態１では、動きベクトル（ＭＶｘ，ＭＶｙ）が指し示す位置のブロックに動きベクトルを格納するものを示したが、この場合、異なるパーティションを基点とする複数の動きベクトルが、同じ位置のブロックを指し示すことがある。
この場合、当該ブロックの動きベクトルとして、動きベクトルを上書きするようにしてもよいし、信頼性の高い方の動きベクトルを残すようにしてもよい。動きベクトルの信頼性は、例えば、差分ベクトル（Δｘ，Δｙ）の大きさで測ることができる。
なお、動きベクトルを上書きすることで、処理量を増やさずに、この実施の形態１を適用することができる。一方、動きベクトルの信頼性を考慮することで、処理量が増えるが、更なる性能改善に寄与することができる。
In the first embodiment, the motion vector is stored in the block at the position indicated by the motion vector (MVx, MVy). In this case, however, a plurality of motion vectors based on different partitions are the blocks at the same position. May be pointed to.
In this case, the motion vector may be overwritten as the motion vector of the block, or the motion vector with higher reliability may be left. The reliability of the motion vector can be measured by the magnitude of the difference vector (Δx, Δy), for example.
Note that the first embodiment can be applied without overwriting the motion vector without increasing the processing amount. On the other hand, considering the reliability of the motion vector, the amount of processing increases, but it can contribute to further performance improvement.
この実施の形態１では、動きベクトル（ＭＶｘ，ＭＶｙ）が指し示す位置のブロックに動きベクトルを格納するようにしているため、どの動きベクトルも指し示さない位置のブロックが存在することが考えられる。
この場合、当該ブロックは０ベクトルとしてもよいし、動きベクトルが存在しないため、利用禁止にしてもよい。
In the first embodiment, since the motion vector is stored in the block at the position indicated by the motion vector (MVx, MVy), there may be a block at the position where no motion vector is indicated.
In this case, the block may be a zero vector or may be prohibited from use because there is no motion vector.
この実施の形態１では、動き情報を符号化しないモードのベクトル候補をスライスで決定するようにしてもよい。
どのベクトルを候補とするかはスライスヘッダに多重する。例えば、時間ベクトルに関しては、パンするような映像では時間ベクトルの効果が低いため、選択候補から外すようにする。逆にカメラが固定な映像では空間ベクトルの効果が大きいため、候補に加えるなどといった方法が考えられる。
In the first embodiment, vector candidates in a mode in which motion information is not encoded may be determined by slices.
Which vector is a candidate is multiplexed in the slice header. For example, regarding the time vector, since the effect of the time vector is low in the panning video, it is excluded from the selection candidates. On the other hand, since the effect of the space vector is large in a video with a fixed camera, a method such as adding to a candidate can be considered.
候補となるベクトルが大きい方が、より原画像に近い予測画像を生成することができるが、動画像符号化装置の処理量が増大するため、効果がないベクトルは予め候補から外しておくなど、映像の局所性を考慮して決定することにより、処理量と符号化効率のバランスを図ることができる。
候補となるベクトルの切り替えは、例えば、ベクトル毎にｏｎ／ｏｆｆのフラグを設け、そのフラグがｏｎのベクトルのみを候補とする方法が考えられる。
A larger candidate vector can generate a predicted image that is closer to the original image, but the processing amount of the video encoding device increases, so that an ineffective vector is excluded from the candidates in advance. By determining in consideration of the locality of the video, it is possible to balance the processing amount and the encoding efficiency.
For example, a candidate vector may be switched by providing an on / off flag for each vector and selecting only a vector having the flag on as a candidate.
選択候補となる動きベクトルは、スライスヘッダで切り替えてもよいし、シーケンスヘッダやピクチャヘッダなど、上位レイヤで切り替えるようにしてもよい。
また、選択候補となるセットを一つ以上用意し、その候補セットのインデックスを符号化するようにしてもよい。
また、マクロブロックや符号化ブロックごとに切り替えてもよい。マクロブロックや符号化ブロックごとに切り替えることで、局所性を持たせることができ、符号化効率の改善を図ることができる。
The motion vector to be a selection candidate may be switched by a slice header, or may be switched by an upper layer such as a sequence header or a picture header.
Further, one or more sets as selection candidates may be prepared, and the index of the candidate set may be encoded.
Moreover, you may switch for every macroblock or encoding block. By switching for each macro block or coding block, locality can be provided and coding efficiency can be improved.
また、選択候補はパーティションブロックサイズ毎に一意に決定しておいてもよい。一般的に、ブロックサイズが大きくなると空間的な相関が弱くなるため、メディアン予測で決定されるベクトルの予測精度が悪くなると考えられる。
そのため、例えば、メディアン予測で決定される動きベクトルを候補から外すことで、符号化効率を落とさずに処理量を減らすことができる。
The selection candidate may be uniquely determined for each partition block size. In general, when the block size is increased, the spatial correlation is weakened, so that the vector prediction accuracy determined by the median prediction is considered to be deteriorated.
Therefore, for example, by removing a motion vector determined by median prediction from candidates, the processing amount can be reduced without reducing the encoding efficiency.
この実施の形態１では、動き情報を符号化しないモードの動きベクトルを生成するものを示したが、これは通常の動きベクトルの符号化に使用する予測ベクトルに使用してもよい。予測ベクトルに使用することで、処理量は増加するが、予測の精度が上がるため、符号化効率を向上させることができる。
また、この実施の形態１の動き情報を符号化しないモードでは、２本のベクトルを用いた予測を想定したが、ベクトルの本数は３本以上であってもよい。一般的に、予測画像に用いる参照画像が多いほど性能が向上することが知られている。そのため、処理量は増えるが、符号化効率の向上に寄与する。
In the first embodiment, although a motion vector in a mode in which motion information is not encoded is generated, this may be used as a prediction vector used for encoding a normal motion vector. By using the prediction vector, the amount of processing increases, but the accuracy of prediction increases, so that the coding efficiency can be improved.
Further, in the mode in which the motion information is not encoded according to the first embodiment, prediction using two vectors is assumed, but the number of vectors may be three or more. In general, it is known that performance increases as the number of reference images used for a predicted image increases. Therefore, although the processing amount increases, it contributes to the improvement of coding efficiency.
この実施の形態１では、図５に示すように、符号化ブロックＢｎのサイズがＬｎ＝Ｍｎであるものを示したが、符号化ブロックＢｎのサイズがＬｎ≠Ｍｎであってもよい。
例えば、図８に示すように、符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎとなる場合が考えられる。
次の分割では、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ，Ｍｎ）となり、以降の分割は、図５と同様の分割を行ってもよいし、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）のように分割を行ってもよい（図９を参照）。
In the first embodiment, as shown in FIG. 5, the coding block B n has a size of L n = M n , but the coding block B n has a size of L n ≠ M n. May be.
For example, as shown in FIG. 8, a case where the size of the encoding block B n is L n = kM n can be considered.
In the next division, (L n + 1 , M n + 1 ) = (L n , M n ), and subsequent divisions may be performed in the same manner as in FIG. 5, or (L n + 1 , M n + 1 ) = (L n / 2, Mn / 2) may be performed (see FIG. 9).
また、図１０に示すように、図８と図９の分割のどちらかを選択できるようにしてもよい。選択できるようにした場合は、どちらの分割を選択したかを示すフラグを符号化する。このケースは、例えば、非特許文献１のＨ．２６４のような１６×１６を１つのブロックとするものを横に連結するだけで可能であるため、既存方式との互換性を維持することができる。
上記では、符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎとなる場合を示したが、ｋＬｎ＝Ｍｎのように縦に連結したものであっても、同様の考えで分割が可能であることは言うまでもない。
Moreover, as shown in FIG. 10, you may enable it to select either the division | segmentation of FIG. 8 and FIG. When the selection is enabled, a flag indicating which division is selected is encoded. This case is described in, for example, H.P. Since it is possible to connect 16 × 16 blocks such as H.264 as one block, it is possible to maintain compatibility with existing systems.
In the above, the case where the size of the coding block B n is L n = kM n has been shown. However, even if the coding block B n is vertically connected as kL n = M n , it can be divided in the same way. Needless to say.
上記実施の形態１では、量子化・変換部７、逆量子化・逆変換部８，２５が予測差分符号化パラメータに含まれている変換ブロックサイズ単位で変換処理（逆変換処理）を実施するものを示したが、変換ブロックサイズ単位は、変換処理単位によって一意に決定してもよいし、図１１に示すように階層構造にしてもよい。この場合、各階層では分割するか否かを示すフラグを符号化する。
上記分割は、パーティション単位で行ってもよいし、符号化ブロック単位で行ってもよい。
上記変換は、正方形での変換を仮定しているが、長方形など、他の矩形での変換であってもよい。
In the first embodiment, the quantization /
The division may be performed in units of partitions or may be performed in units of encoded blocks.
The above conversion assumes a square conversion, but may be a conversion using another rectangle such as a rectangle.
実施の形態２．
上記実施の形態１では、動き補償予測部５，２４が、動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、符号化ブロックに対応する動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するものを示したが、この実施の形態２では、符号化ブロックに対応する動きベクトルの大きさが所定の閾値より大きい場合、その動きベクトルを動きベクトルバッファ５ａ，２４ａに格納しないようにすることで、時間ベクトルの信頼性を考慮する方法について述べる。その他の構成は、上記実施の形態１と同様である。
In the first embodiment, the motion
図１２はこの発明の実施の形態２における時間ベクトルの格納方法を示す説明図である。
動き補償予測部５，２４は、インター予測画像Ｐｉ ｎを生成すると、上述したように、次フレームの動き補償予測処理に備えるため、インター予測画像Ｐｉ ｎの生成に用いた動きベクトル（パーティションＰｉ ｎに対応する動きベクトル）を動きベクトルバッファ５ａ，２４ａに格納する。
その際、パーティションＰｉ ｎに対応する動きベクトル（ＭＶｘ，ＭＶｙ）の大きさ｜（ＭＶｘ，ＭＶｙ）｜に対する閾値Ｔｈを設け、その動きベクトル（ＭＶｘ，ＭＶｙ）の大きさ｜（ＭＶｘ，ＭＶｙ）｜が閾値Ｔｈより小さければ（下記の式（４）が成立する場合）、上記実施の形態１と同様に、その動きベクトル（ＭＶｘ，ＭＶｙ）を動きベクトルバッファ５ａ，２４ａに格納するが、その動きベクトル（ＭＶｘ，ＭＶｙ）の大きさ｜（ＭＶｘ，ＭＶｙ）｜が閾値Ｔｈ以上であれば（下記の式（４）が成立しない場合）、その動きベクトル（ＭＶｘ，ＭＶｙ）を動きベクトルバッファ５ａ，２４ａに格納しないようにする。
Ｔｈ ＜ ｜（ＭＶｘ，ＭＶｙ）｜ （４）
FIG. 12 is an explanatory diagram showing a time vector storage method according to
Motion compensated
At that time, the motion vector (MVx, MVy) of a size corresponding to the partition P i n | (MVx, MVy ) | the threshold Th is provided for, the motion vector (MVx, MVy) of magnitude | (MVx, MVy) If | is smaller than the threshold Th (when the following expression (4) is satisfied), the motion vector (MVx, MVy) is stored in the
Th <| (MVx, MVy) | (4)
なお、閾値Ｔｈは、例えば、下記の式（５）のように、ブロックサイズのα倍とすることが考えられる。
Ｔｈ＝｜(block_width，block_height)｜×α （５）
ただし、block_widthはブロックサイズの横の長さを示し、block_heightはブロックサイズの縦の長さを示している。
Note that the threshold Th may be set to α times the block size, for example, as in the following equation (5).
Th = | (block_width, block_height) | × α (5)
However, block_width indicates the horizontal length of the block size, and block_height indicates the vertical length of the block size.
大きな動きベクトルが発生している場合、その動きベクトルを時間ベクトルとして用いるフレームでは、空間的な位置がずれてしまうため、信頼性の低いベクトルとなる。
そのため、予め、大きな動きベクトルを排除することで、信頼性の低いベクトルが予測ベクトル候補に含まれることを避けることができ、インデックスの符号量を減らせるため、符号化効率の向上に寄与することができる。
When a large motion vector is generated, a frame using the motion vector as a time vector is a low-reliability vector because the spatial position is shifted.
Therefore, by eliminating large motion vectors in advance, it is possible to avoid including low-reliability vectors in the prediction vector candidates, and the amount of code of the index can be reduced, which contributes to the improvement of coding efficiency. Can do.
この実施の形態２では、閾値Ｔｈより小さい動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するものを示したが、閾値Ｔｈより小さいか否かの判定は、動きベクトルを動きベクトルバッファ５ａ，２４ａに格納する時点ではなく、予測ベクトル候補を作成する時点であってもよい。
この場合、時間ベクトルのスケーリングを行った後で判定することになるため処理量は増えるが、フレームレートや符号化方式の違いを吸収することができ、符号化効率の向上に寄与することができる。
In the second embodiment, the motion vector smaller than the threshold Th is stored in the
In this case, the amount of processing increases because the determination is performed after scaling of the time vector, but the difference in the frame rate and the coding method can be absorbed, and the coding efficiency can be improved. .
この実施の形態２では、動きベクトルの大きさ｜（ＭＶｘ，ＭＶｙ）｜と閾値Ｔｈを比較するものを示したが、動きベクトルの成分毎に、各成分の閾値Ｔｈｘ，Ｔｈｙと比較し、動きベクトルのｘ成分｜ＭＶｘ｜が閾値Ｔｈｘより小さく、かつ、動きベクトルのｙ成分｜ＭＶｙ｜が閾値Ｔｈｙより小さい場合に、動きベクトルを動きベクトルバッファ５ａ，２４ａに格納するようにしてもよい。
実施の形態１，２では、時間方向の動き情報を動きベクトルバッファ５ａ，２４ａに格納するものを示したが、動きベクトルバッファ５ａ，２４ａのメモリ量を削減するために、動きベクトルバッファ５ａ，２４ａに格納する動きベクトルのデータサイズを圧縮するようにしてもよい。
例えば、最小ブロックサイズが４×４である場合、時間方向の動きベクトルは４×４単位で保持するのが通常であるが、これを１６×１６単位で保持することが考えられる。
In the first and second embodiments, the time direction motion information is stored in the
For example, when the minimum block size is 4 × 4, it is normal to hold the motion vector in the time direction in units of 4 × 4, but it is conceivable to hold this in units of 16 × 16.
上記のように、時間方向の動きベクトルを圧縮して保持する場合、保持する単位よりも小さいブロックサイズで処理を行う際に、参照する位置が正しい位置を示さなくなるという問題がある。
そのため、保持する単位よりも小さいブロックの場合の時間方向の動きベクトルを使用しないという処理を行ってもよい。精度の低いベクトルを候補から外すことで、処理量の削減とインデックス符号量の削減という効果がある。
As described above, when compressing and holding a motion vector in the time direction, there is a problem in that a reference position does not indicate a correct position when processing is performed with a block size smaller than the unit to be held.
Therefore, a process of not using a motion vector in the time direction in the case of a block smaller than the unit to be held may be performed. By removing the low-accuracy vector from the candidates, there is an effect of reducing the processing amount and the index code amount.
また、上記のように、時間方向の動きベクトルを圧縮して保持する場合には、図１３に示すように、対象となるブロックに含まれる動き情報のうち、左上の動き情報を保持してもよいし、図１４に示すように、ブロックの中央に位置する動き情報を候補としてもよい。
あるいは、図１５に示すように、あらかじめＡ〜Ｄのような探索の順番を決めておき、その順番で利用可能な動き情報を探索し、最初に見つけた利用可能な動き情報を保持するようにしてもよい。
Further, as described above, when the motion vector in the time direction is compressed and held, as shown in FIG. 13, the upper left motion information among the motion information included in the target block may be held. Alternatively, as shown in FIG. 14, motion information located at the center of the block may be used as a candidate.
Alternatively, as shown in FIG. 15, the search order such as A to D is determined in advance, the available motion information is searched in that order, and the available motion information found first is held. May be.
実施の形態１，２のように、格納された動き情報を用いて、時間ベクトルを生成して符号化を行う場合、参照先のブロックには、動き情報が存在しない場合が考えられる。
この場合、時間ベクトルは存在しないとして候補から削除してもよいし、図１６に示すように、参照ブロックの空間的に隣接したブロックの時間ベクトルを探索するようにしてもよい。
この場合、処理量は増えるが、候補ベクトルの数が増えるので、符号化効率の改善に寄与する。また、必ず時間ベクトルを候補に加えることで、途中からの再生時やパケットロスなどで参照画像がなくなってしまった場合に対してもベクトルの候補数を減らすことなく、復号できるため、エラー耐性が向上する効果もある。
When encoding is performed by using the stored motion information to generate a time vector as in the first and second embodiments, there may be a case in which there is no motion information in the reference block.
In this case, the time vector may not be present and may be deleted from the candidates, or the time vector of a spatially adjacent block of the reference block may be searched as shown in FIG.
In this case, although the amount of processing increases, the number of candidate vectors increases, which contributes to improvement in coding efficiency. In addition, by always adding a time vector to a candidate, it is possible to perform decoding without reducing the number of vector candidates even when a reference image is lost due to playback from the middle or due to packet loss. There is also an improvement effect.
実施の形態１、２では、動きベクトル符号化時の予測ベクトルに用いる動きベクトルについて述べたが、これは、スキップモードなど、他のモードを選択した際にも同様の方法で格納した時間ベクトルを使用できることは言うまでもない。 In the first and second embodiments, the motion vector used for the prediction vector at the time of encoding the motion vector has been described. However, this also applies to the time vector stored in the same manner when another mode such as the skip mode is selected. It goes without saying that it can be used.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
１ 符号化制御部（符号化制御手段）、２ ブロック分割部（ブロック分割手段）、３ 切替スイッチ、４ イントラ予測部、５ 動き補償予測部（動き補償予測手段）、５ａ 動きベクトルバッファ、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、２１ 可変長復号部（可変長復号手段）、２２ 切替スイッチ、２３ イントラ予測部、２４ 動き補償予測部（動き補償予測手段）、２４ａ 動きベクトルバッファ、２５ 逆量子化・逆変換部（差分画像生成手段）、２６ 加算部（復号画像生成手段）、２７ イントラ予測用メモリ、２８ ループフィルタ部、２９ 動き補償予測フレームメモリ。
DESCRIPTION OF
Claims (6)
上記動き補償予測手段は予測画像を生成する際、上記ブロック分割手段により分割された符号化ブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、その読み出した動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像符号化装置。 The maximum size of the coding block that is a processing unit when the prediction process is performed is determined, and the upper limit number of layers when the coding block of the maximum size is hierarchically divided is determined to be usable 1 A coding control means for selecting a coding mode corresponding to each coding block divided hierarchically from the above coding modes, and an input image having a maximum size determined by the coding control means. A block dividing means for dividing the encoded block hierarchically until the upper limit number of layers determined by the encoding control means is reached, and a code selected by the encoding control means When the coding mode is the inter coding mode, the block division method is selected from the motion vector buffer storing the motion vector corresponding to each block. The motion vector corresponding to the coding block divided by the above is read, the motion compensation prediction process is performed on the coding block using the motion vector to generate a prediction image, and the motion vector is stored Motion compensation prediction means for outputting index information indicating blocks, difference image generation means for generating a difference image between the encoded block divided by the block division means and the prediction image generated by the motion compensation prediction means, An image compression unit that compresses the difference image generated by the difference image generation unit and outputs compressed data of the difference image; a compressed data output from the image compression unit; and a code selected by the encoding control unit Index information output from the motion compensation mode and the motion compensation prediction means is variable-length encoded. And a variable length coding means for producing a bitstream in which the compressed data, encoded data of the encoding mode and the index information are multiplexed,
When the motion compensation predicting unit reads a motion vector corresponding to the encoded block divided by the block dividing unit when generating a predicted image, the motion compensation prediction unit reads the motion vector as a motion vector corresponding to the block at the position indicated by the motion vector. And a motion vector buffer which stores the motion vector in the motion vector buffer.
上記動き補償予測手段は予測画像を生成する際、上記インデックス情報が示すブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像復号装置。 Variable length decoding means for variable length decoding compressed data, coding mode and index information related to each coding block hierarchically divided from coded data multiplexed in the bitstream, and the variable length decoding When the coding mode related to the coding block subjected to variable length decoding by the means is the inter coding mode, the variable length decoding means stores the motion vector corresponding to each block from the motion vector buffer. Motion compensation that reads a motion vector corresponding to a block indicated by index information related to a variable-length-decoded encoded block and performs a motion-compensated prediction process on the encoded block using the motion vector to generate a predicted image Compression relating to a prediction block and a coding block variable-length decoded by the variable-length decoding unit A difference image generation means for generating a difference image before compression from the data, a difference image generated by the difference image generation means and a prediction image generated by the motion compensation prediction means to generate a decoded image A decoded image generating means,
When the motion compensation prediction unit generates a predicted image, when the motion vector corresponding to the block indicated by the index information is read, the motion vector corresponding to the block at the position indicated by the motion vector is converted into the block indicated by the index information. A moving picture decoding apparatus, wherein a corresponding motion vector is stored in the motion vector buffer.
上記動き補償予測処理ステップでは予測画像を生成する際、上記ブロック分割処理ステップで分割された符号化ブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記符号化ブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像符号化方法。 The encoding control means determines the maximum size of the encoding block that is a processing unit when the prediction process is performed, and determines the upper limit number of layers when the encoding block of the maximum size is hierarchically divided. An encoding control processing step for selecting an encoding mode corresponding to each encoding block divided hierarchically from one or more of the available encoding modes, and a block dividing means, A block that divides the encoded block hierarchically until it reaches the upper limit number of layers determined in the encoding control processing step and is divided into encoding blocks of the maximum size determined in the encoding control processing step. When the coding mode selected by the division processing step and the motion compensation prediction means in the coding control processing step is the inter coding mode, each block A motion vector corresponding to the coding block divided in the block division processing step is read out from the motion vector buffer storing the motion vector corresponding to, and the motion for the coding block is read using the motion vector. A motion compensation prediction processing step for generating a prediction image by performing compensation prediction processing and outputting index information indicating a block in which the motion vector is stored, and a difference image generation means are divided in the block division processing step. A difference image generation processing step for generating a difference image between the encoded block and the prediction image generated in the motion compensation prediction processing step; and an image compression means that calculates the difference image generated in the difference image generation processing step. An image compression processing step for compressing and outputting compressed data of the difference image; The variable length encoding means variable length encodes the compressed data output in the image compression processing step, the encoding mode selected in the encoding control processing step, and the index information output in the motion compensation prediction processing step. A variable-length encoding processing step for generating a bit stream in which the encoded data of the compressed data, the encoding mode, and the index information is multiplexed,
When generating a predicted image in the motion compensation prediction processing step, when a motion vector corresponding to the encoded block divided in the block division processing step is read, as a motion vector corresponding to the block at the position indicated by the motion vector, A moving picture coding method, wherein a motion vector corresponding to the coded block is stored in the motion vector buffer.
上記動き補償予測処理ステップでは予測画像を生成する際、上記インデックス情報が示すブロックに対応する動きベクトルを読み出すと、上記動きベクトルが指し示す位置のブロックに対応する動きベクトルとして、上記インデックス情報が示すブロックに対応する動きベクトルを上記動きベクトルバッファに格納することを特徴とする動画像復号方法。 Variable length decoding means for variable length decoding, wherein variable length decoding means variable length decodes compressed data, coding mode and index information related to each coding block hierarchically divided from coded data multiplexed in a bitstream And the motion compensation prediction means stores the motion vector corresponding to each block when the coding mode related to the coding block variable-length decoded in the variable-length decoding processing step is the inter-coding mode. The motion vector corresponding to the block indicated by the index information related to the encoded block that has been variable-length decoded in the variable-length decoding processing step is read out from the existing motion vector buffer, and the motion vector is used to A motion-compensated prediction processing step for generating a predicted image by performing motion-compensated prediction processing; A difference image generation step in which the image generation means generates a difference image before compression from the compressed data relating to the encoded block that has been variable length decoded in the variable length decoding step; and a decoded image generation means includes the difference image generation A decoded image generation processing step of generating a decoded image by adding the difference image generated in the processing step and the prediction image generated in the motion compensation prediction processing step;
In the motion compensation prediction processing step, when generating a predicted image, if a motion vector corresponding to the block indicated by the index information is read, the block indicated by the index information is a motion vector corresponding to the block at the position indicated by the motion vector. A motion vector decoding method characterized by storing a motion vector corresponding to a motion vector in the motion vector buffer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011140608A JP2013009164A (en) | 2011-06-24 | 2011-06-24 | Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011140608A JP2013009164A (en) | 2011-06-24 | 2011-06-24 | Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013009164A true JP2013009164A (en) | 2013-01-10 |
Family
ID=47676162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011140608A Withdrawn JP2013009164A (en) | 2011-06-24 | 2011-06-24 | Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013009164A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111989923A (en) * | 2018-01-30 | 2020-11-24 | 松下电器（美国）知识产权公司 | Encoding device, decoding device, encoding method, and decoding method |
-
2011
- 2011-06-24 JP JP2011140608A patent/JP2013009164A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111989923A (en) * | 2018-01-30 | 2020-11-24 | 松下电器（美国）知识产权公司 | Encoding device, decoding device, encoding method, and decoding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6312787B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture encoding apparatus, moving picture encoding method, moving picture encoded data, and recording medium | |
| JP6261660B2 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
| JP5984911B2 (en) | Video encoding / decoding device and method | |
| JPWO2013065402A1 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, and moving picture decoding method | |
| WO2014051081A1 (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
| JP2013098711A (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
| JP2013009164A (en) | Moving image coding device, moving image decoding device, moving image coding method, and moving image decoding method | |
| JP2012186762A (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
| JP2013098713A (en) | Video encoding device, video decoding device, video encoding method, and video decoding method | |
| JP2014135552A (en) | Dynamic image encoder, dynamic image decoder, dynamic image encoding method, and dynamic image decoding method | |
| JP2012080210A (en) | Moving image encoder, moving image decoder, moving image encoding method, and moving image decoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |