JP2017005749A - Receiver - Google Patents
Receiver Download PDFInfo
- Publication number
- JP2017005749A JP2017005749A JP2016163462A JP2016163462A JP2017005749A JP 2017005749 A JP2017005749 A JP 2017005749A JP 2016163462 A JP2016163462 A JP 2016163462A JP 2016163462 A JP2016163462 A JP 2016163462A JP 2017005749 A JP2017005749 A JP 2017005749A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- motion information
- block
- unit
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像信号の復号技術に関し、特に動き補償予測に利用する動画像復号技術
に関する。
The present invention relates to a moving picture signal decoding technique, and more particularly to a moving picture decoding technique used for motion compensation prediction.
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以後、ＡＶＣ）等に代表される動画像符号化では
、時間方向の相関を利用した情報圧縮として、符号化対象となる画像信号である符号化対
象ピクチャに対して、既に符号化され復号された局部復号信号を参照ピクチャとして用い
、所定の符号化処理単位（以後、符号化対象ブロック）で、対象ピクチャと参照ピクチャ
との間での動き量（以後、動きベクトル）を検出し、予測信号を生成する動き補償予測が
用いられる。
MPEG-4 AVC / H. In moving picture coding represented by H.264 (hereinafter referred to as AVC) and the like, as information compression using correlation in the time direction, a picture to be coded which is a picture signal to be coded is already coded and decoded. The detected local decoded signal is used as a reference picture, and a motion amount (hereinafter referred to as a motion vector) between the target picture and the reference picture is detected and predicted in a predetermined encoding processing unit (hereinafter referred to as an encoding target block). Motion compensated prediction that generates a signal is used.
ＡＶＣでは、動き補償予測において１つの参照ピクチャから１本の動きベクトルを利用
して単一方向に予測信号を生成する単予測と、２つの参照ピクチャから２本の動きベクト
ルを利用して予測信号を生成する双予測が用いられる。これらを、符号化対象ブロックと
なる１６×１６画素の２次元ブロック内で、予測処理対象となっているブロック（以後、
予測対象ブロック）の大きさ（以後、予測ブロックサイズ）を可変にする手法や、複数の
参照ピクチャの中から予測に用いる参照ピクチャを選択する手法に適用すること、また動
きベクトルの精度を１／４画素精度で表現することで、予測信号の精度を向上し、伝送す
る差分（以後、予測誤差）の情報量を削減している。符号化側では、予測モード情報や参
照画像を指定する情報を選択して動きベクトル情報と共に伝送し、復号側では、伝送され
た予測モード情報や参照画像を指定する情報と復号された動きベクトル情報に従って動き
補償予測処理が施される。
In AVC, single prediction for generating a prediction signal in a single direction using one motion vector from one reference picture in motion compensation prediction, and a prediction signal using two motion vectors from two reference pictures Bi-prediction is used to generate These are converted into blocks (hereinafter referred to as prediction processing targets) within a 16 × 16 pixel two-dimensional block to be encoded.
This method is applied to a method of changing the size of the prediction target block (hereinafter referred to as a prediction block size), a method of selecting a reference picture used for prediction from a plurality of reference pictures, and the accuracy of the motion vector is reduced to 1 / By expressing with 4-pixel accuracy, the accuracy of the prediction signal is improved, and the amount of information of the difference to be transmitted (hereinafter, prediction error) is reduced. On the encoding side, information specifying the prediction mode information and the reference image is selected and transmitted together with the motion vector information. On the decoding side, the information specifying the transmitted prediction mode information and the reference image and the decoded motion vector information are transmitted. In accordance with the motion compensation prediction process.
動きベクトルの伝送については、処理対象ブロックに隣接する符号化済みのブロックの
動きベクトルを予測動きベクトル（以降、予測ベクトル）とし、処理対象ブロックの動き
ベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送する
ことで圧縮効率を向上させている。
For motion vector transmission, a motion vector of an encoded block adjacent to the processing target block is set as a prediction motion vector (hereinafter referred to as a prediction vector), and a difference between the motion vector of the processing target block and the prediction vector is obtained. Is transmitted as an encoded vector to improve the compression efficiency.
しかしながら、ＡＶＣにおいては、予測ブロックサイズを小さくした場合に、符号化対
象ブロックの画素に対して、符号化する際に必要となる動きベクトルの数が増大し、予測
誤差を符号化した際に要する符号量に対して、動きベクトルの符号化に要する符号量が増
大し、予測誤差を十分な精度で符号化出来ず、符号化された画像信号の品質が低下する課
題があった。
However, in AVC, when the prediction block size is reduced, the number of motion vectors required for encoding increases with respect to the pixels of the encoding target block, which is required when encoding a prediction error. There is a problem that the amount of code required for coding a motion vector increases with respect to the amount of code, the prediction error cannot be coded with sufficient accuracy, and the quality of the coded image signal is lowered.
動きベクトルの符号化に要する符号量が増大する課題を解決するために、ＡＶＣでは予
測対象ブロックと同一位置にある参照ピクチャのブロックの符号化に用いられた動きベク
トルを利用して、符号化ベクトルを伝送することなく動き補償予測を実現するダイレクト
動き補償予測を用いることが可能になっている。
In order to solve the problem of increasing the amount of code required for coding a motion vector, AVC uses a motion vector used for coding a block of a reference picture at the same position as a prediction target block, It is possible to use direct motion compensated prediction that realizes motion compensated prediction without transmitting.
また、他の解決手段としては、特許文献１のように、符号化装置において予測ブロック
サイズが小さい場合に、双予測を禁止し単予測のみを用いることで、符号化する動きベク
トル数を少なくして、動きベクトルの符号量増大を防ぐ手法が知られている。
Another solution is to reduce the number of motion vectors to be encoded by prohibiting bi-prediction and using only uni-prediction when the prediction block size is small in the encoding device as in
上述したダイレクト動き補償予測は、予測対象ブロックと同一位置にある参照ピクチャ
のブロックにおける時間方向の動きの連続性に着目し、他のブロックの動き情報をそのま
ま利用する。これにより、差分ベクトルを符号化ベクトルとして符号化せずに動き補償予
測処理を行う。
In the direct motion compensated prediction described above, attention is paid to temporal motion continuity in a block of a reference picture at the same position as the prediction target block, and motion information of other blocks is used as it is. Thus, the motion compensation prediction process is performed without encoding the difference vector as an encoded vector.
しかしながら、動きの連続性が十分保たれていない場合や、他ブロックの動き情報にお
ける動きベクトルが正確な動きを示していない場合などに、他のブロックの動き情報をそ
のまま利用する方式を用いた際には、ずれの生じた動き情報を用いた予測画像が生成され
る。その場合、精度良い動き補償予測画像を生成できず、符号化効率が向上しないという
難しい面がある。
However, when the continuity of motion is not sufficiently maintained or when the motion vector in the motion information of other blocks does not indicate an accurate motion, etc. In this case, a predicted image using the motion information in which the shift has occurred is generated. In that case, there is a difficult aspect that a motion compensated prediction image with high accuracy cannot be generated and the encoding efficiency is not improved.
更に、１／４画素の動きベクトル精度で表現された動きベクトルより、予測信号を生成
する際に、隣接する複数画素を用いた補間フィルタを用いて、動きベクトルにより指定さ
れた１／４画素精度の位置に対する予測画素を生成する為に、動き補償予測時に予測信号
を生成するために、予測ブロックサイズに対して水平・垂直それぞれに補間フィルタのタ
ップ数に相当する画素分の領域の参照ピクチャの画像信号を取得する必要があり、特に予
測ブロックサイズを小さくした場合に、参照ピクチャのメモリアクセス量が増大する課題
があり、ダイレクト動き補償予測を用いた際にも同様の課題が残る。
Furthermore, when generating a prediction signal from a motion vector expressed with a motion vector accuracy of 1/4 pixel, an interpolation filter using a plurality of adjacent pixels is used to generate a 1/4 pixel accuracy specified by the motion vector. In order to generate a prediction pixel for the position of the image, in order to generate a prediction signal at the time of motion compensation prediction, a reference picture of an area corresponding to the number of pixels corresponding to the number of taps of the interpolation filter horizontally and vertically with respect to the prediction block size It is necessary to acquire an image signal. In particular, when the prediction block size is reduced, there is a problem that the memory access amount of the reference picture increases, and the same problem remains when direct motion compensation prediction is used.
特許文献１の手法によれば、単予測に予測手法を制限することにより、動きベクトルの
数と共に、符号化装置における参照ピクチャのメモリアクセス量に関しては削減できるが
、復号装置においては、符号化される動きベクトルの数に対する制限を認識できないため
、実時間の復号処理を実現するためには、双予測が施される場合を想定した復号処理能力
が必要となる。また、ダイレクト動き補償予測などの、符号化ベクトルを伝送しない予測
手法を用いた場合に、暗黙で双予測が用いられる条件の場合には、双予測の予測信号生成
が必要となり、復号装置に要求される最大メモリアクセス量を削減する事が出来ず、課題
は解決しない。
According to the method of
本発明はこうした状況に鑑みてなされたものであり、その目的は、動き補償予測を使用
する際の参照ピクチャのメモリアクセス量を所定量以下に制限しつつ、符号化効率を向上
させる技術を提供することにある。
The present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for improving the coding efficiency while limiting the memory access amount of a reference picture to a predetermined amount or less when using motion compensated prediction. There is to do.
ピクチャが複数のブロックに段階的に分割されたブロックから予測ブロックを特定し、
その特定された予測ブロック単位で、動画像が符号化された符号化ストリームを受信して
復号する受信装置であって、前記符号化ストリームがパケット化された符号化データを受
信する受信部と、受信された前記符号化ストリームをパケット処理して元の符号化ストリ
ームを復元する復元部と、復元された前記符号化ストリームから、復号対象となる前記予
測ブロックの動き情報を指定したインデックス情報を復号する復号部と、前記復号対象と
なる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくと
も何れかから動き情報を導出し、前記復号対象となる予測ブロックの動き情報候補として
、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築
する候補リスト構築部と、前記導出された動き情報を組み合わせることで新たな動き情報
候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リ
スト追加部と、前記動き情報候補を変換する動き情報変換部と、前記動き情報候補のうち
の前記インデックス情報により指定された動き情報に基づいて、単予測又は双予測の何れ
かにより動き補償予測を行い前記復号対象となる予測ブロックの予測信号を生成する動き
補償予測部とを備え、前記新たな動き情報候補の予測種別情報は前記双予測であり、前記
動き情報変換部は、前記動き情報候補のうち、前記双予測により前記動き補償予測を行う
ことを示す予測種別情報を、前記候補リスト追加部が前記動き情報候補リストに動き情報
候補を追加した後に、前記単予測により前記動き補償予測を行うことを示す予測種別情報
に変換する予測変換を行い、前記動き補償予測部は、前記復号対象となる予測ブロックの
ブロックサイズが所定の第１サイズの場合であり、かつ前記指定された動き情報の前記予
測種別情報が前記双予測により前記動き補償予測を行うことを示す場合に、前記予測変換
により変換された前記予測種別情報により前記動き補償予測を行い、前記予測変換はＬ１
予測情報を無効にすることでＬ０予測への前記単予測に変換することを特徴とする受信装
置を提供する。
Identify the prediction block from the block where the picture is divided into multiple blocks,
A reception device that receives and decodes an encoded stream in which a moving image is encoded in the specified prediction block unit, and a reception unit that receives encoded data in which the encoded stream is packetized; The received encoded stream is packet-processed to restore the original encoded stream, and the index information specifying the motion information of the prediction block to be decoded is decoded from the restored encoded stream. Motion information is derived from at least one of a block that is spatially close to the prediction block to be decoded and a block that is temporally close to the prediction block to be decoded, and as motion information candidates of the prediction block to be decoded, A candidate list construction unit for registering predetermined motion information from the derived motion information and constructing a motion information candidate list; A candidate list adding unit that generates a new motion information candidate by combining the derived motion information, adds the generated motion information candidate to the motion information candidate list, and motion information conversion that converts the motion information candidate Based on the motion information specified by the index information among the motion information candidates, and performing motion compensation prediction by either uni-prediction or bi-prediction to generate a prediction signal of the prediction block to be decoded A prediction type information of the new motion information candidate is the bi-prediction, and the motion information conversion unit performs the motion compensation prediction by the bi-prediction among the motion information candidates. After the candidate list adding unit adds motion information candidates to the motion information candidate list, the motion compensated prediction is performed by the single prediction. Predictive conversion is performed to convert into prediction type information indicating that the motion compensation prediction unit is a case where a block size of the prediction block to be decoded is a predetermined first size, and the designated motion information When the prediction type information indicates that the motion compensation prediction is performed by the bi-prediction, the motion compensation prediction is performed by the prediction type information converted by the prediction conversion, and the prediction conversion is L1.
Disclosed is a receiving device characterized by converting prediction into the single prediction into L0 prediction by invalidating prediction information.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記
録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有
効である。
It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、参照ピクチャのメモリアクセス量を所定量以下に制限しつつ、符号化
効率を向上させることができる。
According to the present invention, it is possible to improve the coding efficiency while limiting the memory access amount of the reference picture to a predetermined amount or less.
以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、
動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラ
ムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一
符号を付与して重複する説明を省略する。
Hereinafter, a moving picture coding apparatus, a moving picture coding method according to an embodiment of the present invention together with the drawings,
Preferred embodiments of a moving image encoding program, a moving image decoding apparatus, a moving image decoding method, and a moving image decoding program will be described in detail. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
（実施の形態１）
［動画像符号化装置全体構成］
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。以下、
各部の動作について説明する。実施の形態１に係る動画像符号化装置は、入力端子１００
、入力画像メモリ１０１、符号化ブロック取得部１０２、減算部１０３、直交変換・量子
化部１０４、予測誤差符号化部１０５、逆量子化・逆変換部１０６、加算部１０７、フレ
ーム内復号画像バッファ１０８、ループフィルタ部１０９、復号画像メモリ１１０、動き
ベクトル検出部１１１、動き補償予測部１１２、動き補償予測ブロック構造選択部１１３
、イントラ予測部１１４、イントラ予測ブロック構造選択部１１５、予測モード選択部１
１６、符号化ブロック構造選択部１１７、ブロック構造／予測モード情報付加情報符号化
部１１８、予測モード情報メモリ１１９、多重化部１２０、出力端子１２１、及び符号化
ブロック制御パラメータ生成部１２２を備える。
(Embodiment 1)
[Overall configuration of video encoding apparatus]
FIG. 1 is a diagram showing a configuration of a moving picture coding apparatus according to
The operation of each part will be described. The video encoding apparatus according to
,
,
16, a coding block
入力端子１００より入力される画像信号は、入力画像メモリ１０１に格納され、入力画
像メモリ１０１より、符号化対象ピクチャに対する処理対象の画像信号が、符号化ブロッ
ク取得部１０２に入力される。符号化ブロック取得部１０２により符号化対象ブロックの
位置情報に基づいて切り出された符号化対象ブロックの画像信号は、減算部１０３、動き
ベクトル検出部１１１、動き補償予測部１１２、及びイントラ予測部１１４に供給される
。
The image signal input from the
図２は、符号化対象画像の一例を示す図である。実施の形態１に係る予測ブロックサイ
ズに関しては、図２に示すように符号化対象画像が６４×６４画素の符号化ブロック単位
で符号化処理され、予測ブロックは符号化ブロックを基準に構成される。最大予測ブロッ
クサイズは符号化ブロックと同じ６４×６４画素で、最小予測ブロックサイズは４×４画
素である。ＣＵの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への
分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ
）が可能である。水平・垂直への分割の場合は、更に水平・垂直に分割された予測ブロッ
クを符号化ブロック（ＣＵ）として階層的に予測ブロックに分割でき、その階層をＣＵ分
割数で表現する。４分割されたＣＵの上位階層ＣＵから見た分割領域をここでは分割１、
分割２、分割３、分割４と定義する。
FIG. 2 is a diagram illustrating an example of an encoding target image. Regarding the prediction block size according to the first embodiment, as shown in FIG. 2, the encoding target image is encoded in units of 64 × 64 pixel encoding blocks, and the prediction block is configured based on the encoding block. . The maximum prediction block size is 64 × 64 pixels, which is the same as the encoded block, and the minimum prediction block size is 4 × 4 pixels. The division configuration of a CU into prediction blocks includes non-division (2N × 2N), horizontal / vertical division (N × N), horizontal division only (2N × N), and vertical division only (N × 2N
Is possible. In the case of horizontal / vertical division, the prediction block further divided horizontally and vertically can be hierarchically divided into prediction blocks as coding blocks (CU), and the hierarchy is expressed by the number of CU divisions. Here, the divided area viewed from the upper hierarchy CU of the four divided CUs is divided into 1,
It is defined as
図３は、予測ブロックサイズの詳細な定義の一例を示す図である。ＣＵのブロックサイ
ズ（ＣＵサイズ）は、ＣＵ分割数（ＣＵ＿Ｄｅｐｔｈ）が０である６４画素×６４画素か
ら、ＣＵ分割数が３である８×８画素まで定義され、最大の予測ブロックサイズはＣＵ＿
Ｄｅｐｔｈ＝０で非分割（２Ｎ×２Ｎ）の６４画素×６４画素、最小の予測ブロックサイ
ズはＣＵ＿Ｄｅｐｔｈ＝３で水平・垂直への分割（Ｎ×Ｎ）の４画素×４画素までの予測
ブロックサイズが存在することになる。
FIG. 3 is a diagram illustrating an example of a detailed definition of the prediction block size. The block size (CU size) of the CU is defined from 64 pixels × 64 pixels in which the CU division number (CU_Depth) is 0 to 8 × 8 pixels in which the CU division number is 3, and the maximum predicted block size is CU_
Depth = 0 and non-divided (2N × 2N) 64 pixels × 64 pixels, minimum predicted block size is CU_Depth = 3 and horizontal / vertical divided (N × N) 4 pixels × 4 pixels predicted block size Will exist.
画面間の相関を用いて予測を行う、動き補償予測を行う場合の予測ブロックサイズは、
ＣＵの予測ブロックへの分割構成に対して、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方
向のみへの分割（Ｎ×２Ｎ）を可能としており、計１３種類の予測ブロックサイズが定義
可能であるが、画面内の相関を用いて予測を行うイントラ予測の場合の予測ブロックサイ
ズは、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）を可能と
しないため、計５種類の予測ブロックサイズが定義される。
Prediction block size in the case of performing motion compensation prediction that performs prediction using correlation between screens,
The division configuration into prediction blocks of a CU allows division only in the horizontal direction (2N × N) and division only in the vertical direction (N × 2N), and a total of 13 types of prediction block sizes can be defined. However, the prediction block size in the case of intra prediction in which prediction is performed using correlation within the screen can be divided only in the horizontal direction (2N × N), or divided only in the vertical direction (N × 2N). Therefore, a total of five types of prediction block sizes are defined.
本発明の実施の形態１に係る予測ブロックの分割構成に関して、この組み合わせに限定
されない。定義できる符号化ブロックサイズは、図３に示すMaximum_cu_sizeやMinimum_c
u_sizeなどの制御パラメータを用いて最大ＣＵサイズや最小ＣＵサイズを設定し、これら
の制御パラメータを符号化・復号することで、変化させることが可能である。
Regarding the division | segmentation structure of the prediction block which concerns on
The maximum CU size and the minimum CU size are set using control parameters such as u_size, and these control parameters can be changed by encoding and decoding.
図１に戻り、減算部１０３は、符号化ブロック取得部１０２より供給される画像信号と
符号化ブロック構造選択部１１７より供給される予測信号を減算して予測誤差信号を算出
し、予測誤差信号を直交変換・量子化部１０４に供給する。
Returning to FIG. 1, the
直交変換・量子化部１０４は、減算部１０３より供給される予測誤差信号に直交変換及
び量子化を施し、量子化された予測誤差信号を予測誤差符号化部１０５及び逆量子化・逆
変換部１０６に供給する。
The orthogonal transform /
予測誤差符号化部１０５は、直交変換・量子化部１０４より供給される量子化された予
測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化
部１２０に供給する。
The prediction
逆量子化・逆変換部１０６は、直交変換・量子化部１０４より供給される量子化された
予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生
成し加算部１０７に供給する。
The inverse quantization /
加算部１０７は、逆量子化・逆変換部１０６より供給される復号予測誤差信号と、符号
化ブロック構造選択部１１７より供給される予測信号を加算して、復号画像信号を生成し
、復号画像信号をフレーム内復号画像バッファ１０８及びループフィルタ部１０９に供給
する。
The
フレーム内復号画像バッファ１０８は、符号化対象ブロックに隣接した領域の同一フレ
ーム内の復号画像をイントラ予測部１１４に供給すると共に、加算部１０７より供給され
る復号画像信号を格納する。
The intra-frame decoded
ループフィルタ部１０９は、加算部１０７より供給される復号画像信号に対して、符号
化によって生じる歪の除去や符号化前画像に近づける復元処理を、フィルタを施すことに
より行い、フィルタ処理を行った結果の復号画像を復号画像メモリ１１０に供給する。
The
復号画像メモリ１１０は、ループフィルタ部１０９より供給されるフィルタ処理を行っ
た復号画像信号を格納する。また、画像全体の復号が完了した復号画像については参照画
像として１以上の所定画像数記憶し、参照画像信号を動きベクトル検出部１１１と動き補
償予測部１１２に供給する。
The decoded
動きベクトル検出部１１１は、符号化ブロック取得部１０２より供給される符号化対象
ブロックの画像信号と、復号画像メモリ１１０に記憶された参照画像信号の入力を受けて
、各参照画像に対する動きベクトルを検出し、動きベクトル値を動き補償予測部１１２及
び動き補償予測ブロック構造選択部１１３に供給する。
The motion
一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動さ
せた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる
移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和ＳＡＤ（
Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総
和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用する。さらに、動きベク
トルの符号化に関わる符号量も誤差評価値に含めることも可能である。
A general motion vector detection method calculates an error evaluation value for an image signal corresponding to a reference image moved by a predetermined movement amount from the same position as the image signal, and moves the movement amount that minimizes the error evaluation value. Let it be a vector. As the error evaluation value, the sum of the absolute differences SAD for each pixel SAD (
Sum of Absolute Difference), the sum of square error values SSE (Sum of Square Error) for each pixel, and the like are used. Furthermore, the code amount related to the coding of the motion vector can also be included in the error evaluation value.
動き補償予測部１１２は、動き補償予測ブロック構造選択部１１３より指定される予測
ブロック構造を指定する情報及び参照画像指定情報と、動きベクトル検出部１１１より入
力される動きベクトル値に従って、復号画像メモリ１１０内の参照画像指定情報で示され
る参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位
置の画像信号を取得して予測信号を生成する。
The motion compensated
動き補償予測ブロック構造選択部１１３より指定される予測モードが単一の参照画像か
らの予測の場合には、１つの参照画像から取得した予測信号を動き補償予測信号とし、予
測モードが２つの参照画像からの予測の場合には、２つの参照画像から取得した予測信号
を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測モード選択部
１１６に供給する。ここでは双予測の重みづけ平均の比率を１：１とする。
When the prediction mode specified by the motion compensated prediction block
図４（ａ）〜（ｄ）は、動き補償予測の予測種別について説明するための図である。単
一の参照画像からの予測を行う処理を単予測と定義し、単予測の場合はＬ０予測またはＬ
１予測という、参照画像管理リストに登録された２つの参照画像のいずれか一方を利用し
た予測を行う。
4A to 4D are diagrams for explaining the prediction type of motion compensation prediction. A process for performing prediction from a single reference image is defined as single prediction. In the case of single prediction, L0 prediction or L
The prediction using one of the two reference images registered in the reference image management list is performed as one prediction.
図４（ａ）は単予測であってＬ０予測の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画
像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図４（ｂ）は単予測であって
Ｌ０予測の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図
４（ａ）および図４（ｂ）のＬ０予測の参照画像をＬ１予測の参照画像（ＲｅｆＬ１Ｐｉ
ｃ）に置き換えて単予測を行うこともできる。
FIG. 4A shows a case of single prediction and the reference image (RefL0Pic) for L0 prediction is at a time before the encoding target image (CurPic). FIG. 4B shows a case in which the prediction image is a single prediction and the reference image of the L0 prediction is at a time after the encoding target image. Similarly, the L0 prediction reference image of FIG. 4A and FIG. 4B is replaced with the L1 prediction reference image (RefL1Pi).
It can replace with c) and can perform single prediction.
２つの参照画像からの予測を行う処理を双予測と定義し、双予測の場合はＬ０予測とＬ
１予測の双方を利用してＢＩ予測と表現する。図４（ｃ）は双予測であってＬ０予測の参
照画像が符号化対象画像より前の時刻にあって、Ｌ１予測の参照画像が符号化対象画像よ
り後の時刻にある場合を示している。図４（ｄ）は双予測であってＬ０予測の参照画像と
Ｌ１予測の参照画像が符号化対象画像より前の時刻にある場合を示している。このように
、Ｌ０／Ｌ１の予測種別と時間の関係は、Ｌ０が過去方向、Ｌ１が未来方向とは限定され
ずに用いることが可能である。また双予測の場合に、同一の参照ピクチャを用いてＬ０予
測及びＬ１予測のそれぞれを行ってもよい。なお、動き補償予測を単予測で行うか双予測
で行うかの判断は、例えばＬ０予測を利用するか否か及びＬ１予測を利用するか否かを示
す情報（例えば、フラグ）に基づき判断される。
The process of performing prediction from two reference images is defined as bi-prediction, and in the case of bi-prediction, L0 prediction and L
This is expressed as BI prediction by using both of one prediction. FIG. 4C illustrates a case where bi-prediction is performed, and the reference image for L0 prediction is at a time before the encoding target image and the reference image for L1 prediction is at a time after the encoding target image. . FIG. 4D shows a case of bi-prediction, where the reference image for L0 prediction and the reference image for L1 prediction are at a time before the encoding target image. As described above, the relationship between the prediction type of L0 / L1 and time can be used without being limited to L0 being the past direction and L1 being the future direction. In the case of bi-prediction, each of L0 prediction and L1 prediction may be performed using the same reference picture. Note that whether to perform motion compensation prediction by single prediction or bi-prediction is determined based on, for example, information (for example, a flag) indicating whether to use L0 prediction and whether to use L1 prediction. The
双予測は２つの参照画像メモリへの画像情報アクセスが必要となるため、単予測と比較
して２倍以上のメモリ帯域を必要とする場合がある。ハードウェアを構成する場合、動き
補償予測の予測ブロックサイズが小さい場合の双予測がメモリ帯域のボトルネックとなり
、本発明の実施の形態ではメモリ帯域のボトルネックを抑制する。
Bi-prediction requires access to image information to two reference image memories, and therefore may require a memory bandwidth that is twice or more that of single prediction. When hardware is configured, bi-prediction when the prediction block size of motion compensation prediction is small becomes a bottleneck of the memory band, and the bottleneck of the memory band is suppressed in the embodiment of the present invention.
図１に戻り、動き補償予測ブロック構造選択部１１３は、動きベクトル検出部１１１よ
り入力される各参照画像に対して検出された動きベクトル値と、予測モード情報メモリ１
１９に格納された動き情報（予測種別、動きベクトル値、及び参照画像指定情報）をもと
に、符号化ブロック制御パラメータ生成部１２２で生成された、実施の形態１において定
義した予測ブロックサイズ及び動き補償予測モードに関する制御パラメータが入力され、
制御パラメータに基づいて決められた、予測ブロックサイズ及び動き補償予測モードのそ
れぞれに対して用いられる、参照画像指定情報と動きベクトル値を動き補償予測部１１２
に設定する。設定した値によって、動き補償予測部１１２から供給される動き補償予測信
号と、符号化ブロック取得部１０２より供給される符号化対象ブロックの画像信号を用い
て、最適な予測ブロックサイズと動き補償予測モードを決定する。
Returning to FIG. 1, the motion compensation prediction block
19 based on the motion information (prediction type, motion vector value, and reference image designation information) stored in 19, the prediction block size defined in the first embodiment generated by the encoding block control
The reference image designation information and the motion vector value used for each of the prediction block size and the motion compensation prediction mode determined based on the control parameter are used as the motion
Set to. Depending on the set value, the motion compensation prediction signal supplied from the motion
動き補償予測ブロック構造選択部１１３は、決定した予測ブロックサイズ、動き補償予
測モード、予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定す
る情報を、動き補償予測信号及び予測誤差に対する誤差評価値と共に予測モード選択部１
１６に供給する。
The motion compensated prediction block
16 is supplied.
イントラ予測部１１４は、イントラ予測ブロック構造選択部１１５より指定される予測
ブロック構造を指定する情報と定義されたイントラ予測モードに従って、フレーム内復号
画像バッファ１０８より供給される符号化対象ブロックに隣接した同一フレーム内の復号
画像を用いて、イントラ予測信号を生成しイントラ予測ブロック構造選択部１１５に供給
する。
The
イントラ予測ブロック構造選択部１１５は、予測モード情報メモリ１１９に格納された
イントラ予測モード情報と複数の定義されたイントラ予測モードに従って、符号化ブロッ
ク制御パラメータ生成部１２２で生成された、実施の形態１において定義した予測ブロッ
クサイズに関する制御パラメータが入力され、制御パラメータに基づいて決められた予測
ブロックサイズのそれぞれに対して用いられるイントラ予測モードをイントラ予測部１１
４に設定する。設定した値によって、イントラ予測部１１４から供給されるイントラ予測
信号と、符号化ブロック取得部１０２より供給される符号化対象ブロックの画像信号を用
いて、最適な予測ブロックサイズとイントラ予測モードを決定する。
Set to 4. Based on the set value, the optimal prediction block size and intra prediction mode are determined using the intra prediction signal supplied from the
また、イントラ予測ブロック構造選択部１１５は、決定した予測ブロックサイズ、イン
トラ予測モードを特定する情報を、イントラ予測信号及び予測誤差に対する誤差評価値と
共に予測モード選択部１１６に供給する。
In addition, the intra prediction block
予測モード選択部１１６は、動き補償予測ブロック構造選択部１１３より供給される、
決定した予測ブロックサイズ、動き補償予測モード、予測モードに応じた予測種別、動き
ベクトル、参照画像指定情報を特定する情報、及び予測誤差に対する誤差評価値と、イン
トラ予測ブロック構造選択部１１５より供給される、決定した予測ブロックサイズ、イン
トラ予測モード、及び予測誤差に対する誤差評価値より、階層的に構成されるＣＵサイズ
単位の最適な予測モードを、誤差評価値を比較し選択する。
The prediction
The determined prediction block size, motion compensation prediction mode, prediction type according to the prediction mode, motion vector, information specifying the reference image designation information, error evaluation value for prediction error, and the intra prediction block
予測モード選択部１１６により選択された、ＣＵサイズ単位の最適な予測モード情報と
して、予測ブロックサイズ、予測信号、誤差評価値のＣＵサイズ単位の総和と共に、動き
補償予測が選択された場合には、動き補償予測モード、予測モードに応じた予測種別、動
きベクトル、参照画像指定情報を特定する情報、及び動き補償予測信号が、イントラ予測
が選択された場合には、イントラ予測モード、及びイントラ予測信号が、符号化ブロック
構造選択部１１７に供給される。
When motion compensation prediction is selected as the optimal prediction mode information in units of CU size selected by the prediction
符号化ブロック構造選択部１１７は、予測モード選択部１１６より供給されたＣＵサイ
ズ単位の最適な予測モード情報を元に、符号化ブロック制御パラメータ生成部１２２で生
成された、実施の形態１において定義した符号化ブロックサイズに関する制御パラメータ
が入力され、制御パラメータに基づいて決められた符号化ブロックサイズ構成において最
適なＣＵ＿Ｄｅｐｔｈ構成を選択し、ＣＵ分割構成を指定する情報と、指定された分割構
成毎のＣＵサイズにおける最適な予測モード情報と予測モードに関連する付加情報（動き
情報、イントラ予測モード）を、ブロック構造／予測モード情報付加情報符号化部１１８
に供給すると共に、選択した予測信号を減算部１０３及び加算部１０７に供給する。
The coding block
And the selected prediction signal is supplied to the
ブロック構造／予測モード情報付加情報符号化部１１８は、符号化ブロック構造選択部
１１７より供給された、ＣＵ分割構成を指定する情報と、指定した分割構成毎のＣＵサイ
ズにおける最適な予測モード情報と予測モードに関連する付加情報と、符号化ブロック制
御パラメータ生成部１２２より供給された、符号化ブロック及び予測ブロック構造に関す
る制御パラメータを、所定のシンタックス構造に従って符号化することで、符号化ブロッ
ク単位のＣＵ分割構成と予測に用いられたモード情報を符号化し、多重化部１２０に供給
すると共に、これらの情報を予測モード情報メモリ１１９に格納する。
The block structure / prediction mode information additional
予測モード情報メモリ１１９は、ブロック構造／予測モード情報付加情報符号化部１１
８より供給される符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報を、
最小予測ブロックサイズ単位を基準として所定画像分記憶する。実施の形態１は画面間の
予測である動き補償予測に注目したものであるため、モード情報における動き補償予測に
関連する情報である動き情報（予測種別、動きベクトル、及び参照画像インデックス）に
対して、説明を加える。
The prediction
8 and the mode information used for prediction and the CU partitioning configuration in units of coding blocks supplied from FIG.
A predetermined number of images are stored on the basis of the minimum predicted block size unit. Since the first embodiment focuses on motion compensation prediction that is prediction between screens, motion information (prediction type, motion vector, and reference image index) that is information related to motion compensation prediction in mode information is used. And add a description.
動き補償予測の処理対象である予測ブロックの隣接ブロックの動き情報を空間候補ブロ
ック群とし、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその
周辺ブロックの動き情報を時間候補ブロック群とする。
The motion information of the adjacent block of the prediction block that is the processing target of motion compensation prediction is set as a spatial candidate block group, and the motion information of the block on ColPic and the surrounding blocks that are at the same position as the processing target prediction block is the time candidate block group. To do.
ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、復号画
像メモリ１１０に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは直
前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した
参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化
ストリーム中に、ＣｏｌＰｉｃに用いる参照画像を直接指定することも可能である。
ColPic is a decoded image different from the prediction block to be processed, and is stored in the decoded
予測モード情報メモリ１１９は、空間候補ブロック群と時間候補ブロック群の動き情報
を、候補ブロック群の動き情報として動き補償予測ブロック構造選択部１１３に供給する
と共に、イントラ予測ブロックの隣接ブロックのイントラ予測モード情報をイントラ予測
ブロック構造選択部１１５に供給する。
The prediction
多重化部１２０は、予測誤差符号化部１０５から供給される予測誤差の符号化列と、ブ
ロック構造／予測モード情報付加情報符号化部１１８から供給される符号化ブロック単位
のＣＵ分割構成と予測に用いられたモード情報及び付加情報の符号化列を多重化すること
で符号化ビットストリームを生成し、出力端子１２１経由で、記録媒体・伝送路等に当該
符号化ビットストリームを出力する。
The
符号化ブロック制御パラメータ生成部１２２は、実施の形態１における、符号化ブロッ
ク構造を定義するパラメータである、図３に示すMaximum_cu_sizeやMinimum_cu_size等の
制御パラメータや、動き補償予測のブロックサイズ及び予測処理を制限する制御パラメー
タ等の、符号化ブロック構造や予測ブロック構造を定義するためのパラメータを生成し、
動き補償予測ブロック構造選択部１１３、イントラ予測ブロック構造選択部１１５、符号
化ブロック構造選択部１１７、及びブロック構造／予測モード情報付加情報符号化部１１
８に供給する。動き補償予測のブロックサイズ及び予測処理を制限する制御パラメータに
関する詳細については後述する。
The coding block control
Motion compensated prediction block
8 is supplied. Details regarding the block size of motion compensation prediction and control parameters for limiting the prediction process will be described later.
図１に示した動画像符号化装置の構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉ
ｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置等のハー
ドウェアによっても実現可能である。
The configuration of the moving image encoding apparatus shown in FIG. 1 is a CPU (Central Processi
ng Unit), a frame memory, a hard disk, and the like.
図５は、本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流
れを示すフローチャートである。符号化ブロック単位毎に、ＣＵ分割の制御パラメータで
あるＣＵ＿Ｄｅｐｔｈを０に初期化（Ｓ５００）し、符号化ブロック取得部１０２より符
号化処理対象ブロック画像を取得する（Ｓ５０１）。動きベクトル検出部１１１は、符号
化対象ブロック画像よりＣＵ分割に応じた予測対象のブロック画像と復号画像メモリ１１
０に格納された複数の参照画像より、ＣＵ分割に応じた参照画像毎の動きベクトル値を算
出する（Ｓ５０２）。
FIG. 5 is a flowchart showing the flow of the encoding process in the video encoding apparatus according to
A motion vector value for each reference image corresponding to the CU division is calculated from the plurality of reference images stored in 0 (S502).
続いて、動き補償予測ブロック構造選択部１１３は、動きベクトル検出部１１１より供
給される動きベクトルと、予測モード情報メモリ１１９に格納された動き情報及びイント
ラ予測モード情報を用いて、実施の形態１において定義した予測ブロックサイズ、動き補
償予測モードのそれぞれに対する予測信号を、動き補償予測部１１２を用いて取得し、最
適なＣＵ単位の予測ブロックサイズ及び予測モードを選択した結果を出力する。また、イ
ントラ予測ブロック構造選択部１１５は、予測ブロックサイズ、イントラ予測モードのそ
れぞれに対する予測信号を、イントラ予測部１１４を用いて取得し、最適なＣＵ単位の予
測ブロックサイズ及び予測モードを選択した結果を出力する。符号化ブロック構造選択部
１１７は、これらの結果を用いて最適な符号化ブロック構造における予測モードと予測信
号を生成する（Ｓ５０３）。ステップＳ５０３の処理の詳細については後述する。
Subsequently, the motion compensation prediction block
続いて、減算部１０３は、符号化ブロック取得部１０２より供給された符号化処理ブロ
ック画像と、符号化ブロック構造選択部１１７より供給された予測信号との差分を予測誤
差信号として算出する（Ｓ５０４）。ブロック構造／予測モード情報付加情報符号化部１
１８は、符号化ブロック構造選択部１１７より供給される符号化構造、予測モード、動き
補償予測の場合の予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を
特定する情報、イントラ予測の場合のイントラ予測モード情報を、所定のシンタックス構
造に従って符号化し、符号化構造と予測モード情報に関連する付加情報の符号化データを
生成する（Ｓ５０５）。
Subsequently, the
18 is information that specifies the coding type, the prediction mode, the prediction type according to the prediction mode in the case of motion compensated prediction, and reference image designation information supplied from the coding block
続いて、予測誤差符号化部１０５は、直交変換・量子化部１０４で生成された量子化さ
れた予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する（Ｓ５
０６）。多重化部１２０は、ブロック構造／予測モード情報付加情報符号化部１１８から
供給される符号化構造と予測モード情報に関連する付加情報の符号化データと、予測誤差
符号化部１０５から供給される予測誤差の符号化データを多重化し、符号化ビットストリ
ームを生成する（Ｓ５０７）。
Subsequently, the prediction
06). The
加算部１０７は、逆量子化・逆変換部１０６より供給される復号予測誤差信号と、符号
化ブロック構造選択部１１７より供給される予測信号を加算して、復号画像信号を生成す
る（Ｓ５０８）。予測モード情報メモリ１１９は、ブロック構造／予測モード情報付加情
報符号化部１１８より供給される符号化構造と予測モード情報に関連する付加情報として
、動き補償予測が用いられた場合の動き情報（予測種別、動きベクトル、及び参照画像指
定情報）と、イントラ予測が用いられた場合のイントラ予測モード情報を、最小の予測ブ
ロックサイズ単位で格納する（Ｓ５０９）。
The
加算部１０７によって、生成された復号画像信号はフレーム内復号画像バッファ１０８
に格納されると共に、ループフィルタ部１０９において、歪除去のためのループフィルタ
処理が施され（Ｓ５１０）、フィルタを施された復号画像信号が復号画像メモリ１１０に
供給、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる（Ｓ５１
１）。
The decoded image signal generated by the adding
And the
1).
［ＣＵ単位の予測モード／予測信号生成処理の詳細］
次に、図５のフローチャートにおけるステップＳ５０３であるＣＵ単位の予測モード／
予測信号生成処理の詳細について、図６のフローチャートを用いて説明する。
[Details of prediction mode / prediction signal generation processing per CU]
Next, the prediction mode / unit of CU which is step S503 in the flowchart of FIG.
Details of the prediction signal generation processing will be described with reference to the flowchart of FIG.
最初に、設定された最大ＣＵサイズと最小ＣＵサイズの間の階層数を示す値をＭａｘ_
ＣＵ＿Ｄｅｐｔｈとして、対象ＣＵのＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈより
小さいか否かを判定する（Ｓ６００）。実施の形態１においては、図３に示すＣＵ分割構
成を取るものとし、Ｍａｘ＿ＣＵ＿Ｄｅｐｔｈ＝３とする。
First, a value indicating the number of hierarchies between the set maximum CU size and minimum CU size is set to Max_
As CU_Depth, it is determined whether or not the CU_Depth of the target CU is smaller than Max_CU_Depth (S600). In the first embodiment, the CU division configuration shown in FIG. 3 is assumed, and Max_CU_Depth = 3.
ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈより小さい場合には（Ｓ６００：ＹＥＳ
）、ＣＵ＿Ｄｅｐｔｈを１加算して（Ｓ６０１）、現在の対象ＣＵを４分割した一階層下
のＣＵに対する、ＣＵ単位の予測モード／予測信号生成処理を行う（Ｓ６０２−Ｓ６０５
）。図２で示したＣＵの分割領域に対して、分割１領域の処理（Ｓ６０２）、分割２領域
の処理（Ｓ６０３）、分割３領域の処理（Ｓ６０４）、分割４領域の処理（Ｓ６０５）の
順で、再帰的に図６のフローチャートで説明されるＣＵ単位の予測モード／予測信号生成
処理が行われる。
When CU_Depth is smaller than Max_CU_Depth (S600: YES)
), CU_Depth is incremented by 1 (S601), and prediction mode / prediction signal generation processing in units of CUs is performed for the CU one layer below the current target CU (S602 to S605).
). In the order of the
各ＣＵ分割領域の予測モード算出結果の内、誤差評価値が積算され、４つの分割ＣＵの
誤差評価値総和が算出される（Ｓ６０６）。
Of the prediction mode calculation results of each CU divided region, the error evaluation values are integrated, and the total error evaluation value of the four divided CUs is calculated (S606).
一方、ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈ以上の場合（Ｓ６００：ＮＯ）に
は、図１のイントラ予測ブロック構造選択部１１５及びイントラ予測部１１４において、
イントラ予測モードの算出と予測信号の生成が行われ（Ｓ６０７）、対象ＣＵにおけるイ
ントラ予測のモード情報、予測信号と誤差評価値が算出される。
On the other hand, when CU_Depth is greater than or equal to Max_CU_Depth (S600: NO), in intra prediction block
Intra prediction mode calculation and prediction signal generation are performed (S607), and intra prediction mode information, a prediction signal, and an error evaluation value in the target CU are calculated.
続いて、動き補償予測ブロック構造選択部１１３及び動き補償予測部１１２において、
動き補償予測ブロックサイズの選択と、選択された予測ブロック単位の動き補償予測モー
ド及び予測信号生成が行われ（Ｓ６０８）、対象ＣＵにおける動き補償予測の予測ブロッ
クサイズ、モード情報、動き情報、予測信号と誤差評価値が算出される。ステップＳ６０
８の詳細に関しては、後述する。
Subsequently, in the motion compensation prediction block
The selection of the motion compensation prediction block size, the motion compensation prediction mode and the prediction signal generation for the selected prediction block unit are performed (S608), and the prediction block size, mode information, motion information, and prediction signal of motion compensation prediction in the target CU are performed. And an error evaluation value are calculated. Step S60
Details of 8 will be described later.
続いて、符号化ブロック構造選択部１１７は、対象ＣＵにおけるイントラ予測の誤差評
価値と、動き補償予測の誤差評価値を比較して、誤差の少ない予測手法を選択しイントラ
／インター（動き補償予測）の判定を行う（Ｓ６０９）。
Subsequently, the coding block
次に、再帰的に施された図６のフローチャートの処理（図６のＳ６０２−Ｓ６０５）と
誤差評価値の総和算出（Ｓ６０６）によって生成された、対象ＣＵよりも下位階層の（Ｃ
Ｕ＿Ｄｅｐｔｈが大きい）ＣＵに対する誤差評価値と、対象ＣＵの誤差評価値を比較し、
予測に適用するＣＵ＿Ｄｅｐｔｈの判定を行う（Ｓ６１０）。
Next, the recursively executed processing in the flowchart of FIG. 6 (S602 to S605 in FIG. 6) and the sum calculation of error evaluation values (S606) (C
Compare the error evaluation value for the CU with the error evaluation value of the target CU (the U_Depth is large)
Determination of CU_Depth applied to prediction is performed (S610).
再帰的に図６のフローチャートで示される処理が呼び出されるために、最も下位（ＣＵ
＿Ｄｅｐｔｈ＝Ｍａｘ＿ＣＵ＿Ｄｅｐｔｈ）のＣＵから上位のＣＵに対して、順次比較が
行われ、ＣＵの分割領域毎の最適なＣＵ＿Ｄｅｐｔｈと予測モードが選択できる。
Since the processing shown in the flowchart of FIG. 6 is recursively called, the lowest order (CU
_Depth = Max_CU_Depth) CUs are sequentially compared with higher-order CUs, and the optimum CU_Depth and prediction mode can be selected for each divided region of the CU.
最後に、選択された、対象ＣＵと対象ＣＵより下位のＣＵの間での最適ＣＵ＿Ｄｅｐｔ
ｈ、予測モード及び、選択されたイントラ予測または動き補償予測に関する付加情報と、
誤差評価値及び予測信号が格納され（Ｓ６１１）、対象ＣＵにおける予測モード／予測信
号生成処理が終了する。
Finally, the optimum CU_Dept between the selected target CU and a CU below the target CU
h, additional information about the prediction mode and the selected intra prediction or motion compensated prediction;
The error evaluation value and the prediction signal are stored (S611), and the prediction mode / prediction signal generation process in the target CU ends.
［動き補償予測ブロックサイズ選択／予測信号生成処理の詳細］
次に、図６のフローチャートにおけるステップＳ６０８である対象ＣＵにおける動き補
償予測ブロックサイズ選択及び、予測ブロック単位の動き補償予測モード／予測信号生成
処理の詳細について、図７のフローチャートを用いて説明する。
[Details of motion compensation prediction block size selection / prediction signal generation processing]
Next, details of the motion compensated prediction block size selection in step 608 in the flowchart of FIG. 6 and the motion compensation prediction mode / prediction signal generation processing for each prediction block will be described with reference to the flowchart of FIG.
最初に、対象ＣＵに対して予測対象となる符号化ブロック画像を取得する（Ｓ７００）
。次に、図３に示した構成により、ＣＵ内分割モード毎の動き補償予測モード／予測信号
生成処理を行う（Ｓ７０１〜Ｓ７０５）。
First, an encoded block image to be predicted is acquired for the target CU (S700).
. Next, the motion compensation prediction mode / prediction signal generation processing for each intra-CU division mode is performed with the configuration shown in FIG. 3 (S701 to S705).
先ず、ＣＵ内分割モードが２Ｎ×２Ｎの場合の動き補償予測モード／予測信号生成処理
を、分割数を示す値であるＮｕｍＰａｒｔを１に設定して行う（Ｓ７０１）。続いて、Ｎ
ｕｍＰａｒｔを２に設定して、２Ｎ×Ｎの場合（Ｓ７０２）、Ｎ×２Ｎの場合（Ｓ７０３
）の動き補償予測モード／予測信号生成処理を行う。
First, motion compensated prediction mode / prediction signal generation processing when the intra-CU division mode is 2N × 2N is performed by setting NumPart, which is a value indicating the number of divisions, to 1 (S701). Followed by N
When umPart is set to 2, 2N × N (S702), N × 2N (S703)
) Motion compensation prediction mode / prediction signal generation processing.
次に、ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈと等しく且つ、対象ＣＵサイズが
８×８で、後述するinter_4x4_enableフラグが１である場合（Ｓ７０４：ＹＥＳ）、Ｎｕ
ｍＰａｒｔを４に設定して、Ｎ×Ｎの場合の動き補償予測モード／予測信号生成処理を行
う（Ｓ７０５）。ステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ７０５で施される、動き補
償予測モード／予測信号生成処理の詳細は後述する。ステップＳ７０４の条件を満たさな
い場合（Ｓ７０４：ＮＯ）には、ステップＳ７０５をスキップし後続するステップが施さ
れる。
Next, when CU_Depth is equal to Max_CU_Depth, the target CU size is 8 × 8, and an inter_4x4_enable flag described later is 1 (S704: YES), Nu
The mPart is set to 4, and the motion compensated prediction mode / prediction signal generation process in the case of N × N is performed (S705). Details of the motion compensation prediction mode / prediction signal generation processing performed in steps S701, S702, S703, and S705 will be described later. If the condition of step S704 is not satisfied (S704: NO), step S705 is skipped and the subsequent step is performed.
実施の形態１においては、２Ｎ×２Ｎ（Ｓ７０１）、２Ｎ×Ｎ（Ｓ７０２）、Ｎ×２Ｎ
（Ｓ７０３）、及びＮ×Ｎ（Ｓ７０５）の順で、ＣＵ内分割における動き補償予測／予測
信号生成を行っているが、上記ＣＵ分割それぞれのステップの処理順に関しては、順序が
変更されても構わず、また並列処理を可能とするＣＰＵ等で処理を施す場合に、Ｓ７０１
、Ｓ７０２、Ｓ７０３及びＳ７０５を並列に行うことも可能である。
In the first embodiment, 2N × 2N (S701), 2N × N (S702), N × 2N
(S703) and N × N (S705) are motion compensated prediction / prediction signal generation in the intra-CU division, but the processing order of the steps of each of the CU divisions may be changed. Of course, when processing is performed by a CPU or the like that enables parallel processing, S701 is performed.
, S702, S703, and S705 can be performed in parallel.
続いて、動き補償予測モード／予測信号生成を行った、ＣＵ内分割モード毎の誤差評価
値を比較し、最適なＣＵ内分割モードである最適予測ブロックサイズ（ＰＵ）を選択する
（Ｓ７０６）。選択されたＰＵに対する予測モード情報／誤差評価値／予測信号が格納さ
れ（Ｓ７０７）、図６のフローチャートにおけるステップＳ６０８の処理が終了する。
Subsequently, the error evaluation values for each intra-CU division mode for which motion compensation prediction mode / prediction signal generation has been performed are compared, and the optimum prediction block size (PU) that is the optimum intra-CU division mode is selected (S706). Prediction mode information / error evaluation value / prediction signal for the selected PU is stored (S707), and the process of step S608 in the flowchart of FIG. 6 ends.
［実施の形態１における動き補償予測モードの定義］
図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用され
る動き情報を符号化するための２つの予測モードを説明するための図である。
[Definition of Motion Compensation Prediction Mode in Embodiment 1]
FIGS. 8A and 8B are diagrams for explaining two prediction modes for encoding motion information used in motion compensated prediction according to
第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブ
ロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自
身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号
化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。
In the first prediction mode, the prediction target block directly encodes its own motion information using the continuity of motion in the temporal direction and the spatial direction in the prediction target block and the encoded block adjacent to the prediction target block. In this method, the motion information of spatially and temporally adjacent blocks is used for encoding, which is called a joint prediction mode (merge mode).
ここで、空間的に隣接するブロックとは予測対象ブロックと同じ画像に属する符号化済
みブロックの中で、予測対象ブロックに隣接するブロックを指す。ここで、時間的に隣接
するブロックとは予測対象ブロックとは別の符号化済みの画像に属するブロックの中で、
予測対象ブロックと同一空間位置及びその周辺にあるブロックを指す。
Here, spatially adjacent blocks indicate blocks adjacent to the prediction target block among the encoded blocks belonging to the same image as the prediction target block. Here, temporally adjacent blocks are blocks that belong to an encoded image different from the prediction target block.
A block in the same spatial position as the prediction target block and its surroundings.
結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が
定義でき、動き情報は使用する隣接ブロックを指定する情報（結合動き情報インデックス
）を符号化することで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用
いる。更に、結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モ
ードで予測された予測信号を復号ピクチャとするＳｋｉｐモードを定義し、結合した動き
情報のみの少ない情報で復号画像が再生できる構成を有する。ＳｋｉｐモードはＣＵ内分
割モードが２Ｎ×２Ｎの場合に用いることが可能であり、Ｓｋｉｐモードにおいて伝送す
る動き情報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。
In the combined prediction mode, motion information that can be selectively combined from a plurality of adjacent block candidates can be defined, and the motion information is specified by encoding information (joined motion information index) that specifies the adjacent block to be used. The motion information acquired based on the information is used as it is for motion compensation prediction. Further, in the joint prediction mode, a Skip mode is defined in which the prediction signal predicted in the joint prediction mode is a decoded picture without encoding prediction transmission of the prediction difference information, and a decoded image is obtained with information having only the combined motion information. Can be reproduced. The Skip mode can be used when the intra-CU division mode is 2N × 2N, and the motion information transmitted in the Skip mode is the designation information that defines the adjacent block as in the combined prediction mode.
第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対
して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き
検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、双予測であるか単
予測であるかを示す予測種別、参照画像を特定するための情報（参照画像インデックス）
と、動きベクトルを特定するための情報が別々に符号化される。
The second prediction mode is a technique for individually coding all the components of motion information and transmitting motion information with little prediction error to the prediction block, and is called a motion detection prediction mode. The motion detection prediction mode is a prediction type indicating whether the prediction is bi-prediction or uni-prediction, and information for specifying a reference image (reference image index), similarly to the encoding of motion information in conventional motion compensation prediction.
And information for specifying the motion vector are encoded separately.
動き検出予測モードには、単予測と双予測のどちらを使用するか予測モードで指示し、
単予測単予測の場合には１つの参照画像に対する参照画像を特定する情報と、動きベクト
ルの予測ベクトルとの差分ベクトルを符号化する。双予測の場合には２つの参照画像に対
する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される。動きベク
トルに対する予測ベクトルは、ＡＶＣと同様に隣接ブロックの動き情報から生成されるが
、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用いる動きベク
トルを選択でき、動きベクトルは予測ベクトルに使用する隣接ブロックを指定する情報（
予測ベクトルインデックス）と差分ベクトルの２つを符号化することで伝送される。
The motion detection prediction mode indicates whether to use single prediction or bi-prediction in the prediction mode,
In the case of single prediction / single prediction, a difference vector between information specifying a reference image for one reference image and a motion vector prediction vector is encoded. In the case of bi-prediction, information for specifying reference images for two reference images and a motion vector are individually encoded. The prediction vector for the motion vector is generated from the motion information of the adjacent block similarly to the AVC. However, similarly to the combined prediction mode, the motion vector used for the prediction vector can be selected from a plurality of adjacent block candidates, and the motion vector is the prediction vector. Information that specifies the adjacent block used for (
A prediction vector index) and a difference vector are encoded and transmitted.
[実施の形態１における、動き補償予測のブロックサイズ及び予測処理を制限する手法
に関する説明]
次に、動き補償予測における予測時に必要な参照画像メモリ量に関する概算値を図９に
示し、実施の形態１における予測ブロックサイズと予測処理の制限手法の説明を行う。動
き補償予測においては、動きの精度を細かくすることで予測精度を向上させており、ＡＶ
Ｃを例にとると、１／４画素精度で動きベクトルを検出・伝送することが可能となってい
る。
[Explanation Regarding Block Size of Motion Compensated Prediction and Method for Limiting Prediction Processing in Embodiment 1]
Next, an approximate value related to the reference image memory amount required at the time of prediction in motion compensation prediction is shown in FIG. 9, and the prediction block size and the prediction processing restriction method in
Taking C as an example, it is possible to detect and transmit a motion vector with 1/4 pixel accuracy.
実施の形態１においても、１／４画素精度で動きベクトルを検出・伝送する構成を取り
、１／４画素精度の動きに対する動き補償予測信号を生成する際には、参照画像に存在す
る整数動き位置の画素を複数画素用いて、補間フィルタにより１／４画素精度の動き位置
の参照画像の画素を算出する。実施の形態１における動画像符号化装置、動画像復号装置
においては、補間フィルタとして７タップのＦＩＲフィルタを用いる。
Also in the first embodiment, when a motion vector is detected and transmitted with ¼ pixel accuracy and a motion compensated prediction signal for a ¼ pixel accuracy motion is generated, an integer motion existing in the reference image is generated. Using a plurality of pixels at the position, a pixel of the reference image at the motion position with a 1/4 pixel accuracy is calculated by an interpolation filter. In the moving picture encoding apparatus and moving picture decoding apparatus according to
７タップのフィルタを施す為には、対象となる位置に最も近い水平・垂直の整数動き位
置の画素に対して、水平および垂直にプラスマイナス６画素の画素を取得する必要がある
。予測ブロックの右境界部分において３／４画素離れた動き位置の予測画像を取得する際
には、対象となる位置に最も近い整数動き位置の画素が、予測ブロックの１画素外に属す
る画素となるため、更に１画素取得する画素が増加し、予測ブロックサイズに対して、水
平および垂直にタップ数と同じ７画素分のフィルタ処理に必要な参照画像取得が必要とな
る。
In order to apply a 7-tap filter, it is necessary to acquire 6 pixels in the horizontal and vertical directions for the pixel at the horizontal / vertical integer motion position closest to the target position. When a predicted image at a motion position that is 3/4 pixels away from the right boundary portion of the prediction block is acquired, a pixel at an integer motion position that is closest to the target position is a pixel that is outside one pixel of the prediction block. Therefore, the number of pixels to be acquired further increases, and it is necessary to acquire a reference image necessary for filtering processing for the same 7 pixels as the number of taps horizontally and vertically with respect to the predicted block size.
図９は、７タップフィルタを施す場合の、実施の形態１における図３で示した動き補償
予測の定義可能なそれぞれの予測ブロックサイズにおいて、単予測及び双予測を行う際に
メモリ帯域として確保が必要な、参照画像のメモリアクセス量を示す。符号化装置及び復
号装置の参照画像メモリの構成によっては、メモリアクセスが水平４画素単位で可能な構
成や、水平・垂直２×２画素単位で可能な構成など、様々な構成を取ることができるが、
上記メモリアクセス量は、参照画像メモリの構成に関わらず最小限取得が必要なメモリア
クセス量の最大値を示している。
FIG. 9 shows a case where a 7-tap filter is applied and a memory band is secured when performing uni-prediction and bi-prediction in each of the predictable block sizes definable for motion compensated prediction shown in FIG. 3 in the first embodiment. Indicates the required memory access amount of the reference image. Depending on the configuration of the reference image memory of the encoding device and the decoding device, various configurations such as a configuration in which memory access is possible in units of horizontal 4 pixels and a configuration in which units of horizontal and vertical 2 × 2 pixels are possible can be taken. But,
The memory access amount indicates the maximum value of the memory access amount that needs to be obtained at the minimum regardless of the configuration of the reference image memory.
予測ブロックサイズの大きさに関わらず、フィルタ処理の為に追加で取得が必要となる
水平・垂直のサイズは変わらないため、４×４画素サイズの場合が最も符号化ブロックサ
イズ（ＬＣＵ）単位でのメモリアクセス量は大きくなり、６４×６４画素サイズの６倍近
くのアクセスが必要となる。また、双予測の動き補償予測の場合には、異なる位置の参照
画像から２つの予測信号を取得するため、単予測の２倍のメモリアクセスが必要となる。
Regardless of the size of the predicted block size, the horizontal and vertical sizes that need to be additionally acquired for the filtering process do not change, so the 4 × 4 pixel size is the most encoded block size (LCU) unit. The memory access amount becomes larger, and access of nearly 6 times the size of 64 × 64 pixels is required. In addition, in the case of bi-predictive motion compensated prediction, two prediction signals are acquired from reference images at different positions, so that twice as many memory accesses as in single prediction are required.
動き補償予測のブロックサイズが小さい場合や、双予測の動き補償の場合に確保する必
要があるメモリ帯域は、特に符号化する画像サイズが大きくなりハイビジョン以上の高精
細画像になる場合に大きくなり、符号化装置及び復号装置の実現性が困難になる課題があ
る。本発明においては、メモリ帯域を制限するための、参照画像のメモリアクセス最大量
が段階的に制御できる、動き補償予測の制限手法と制限するための制御パラメータの定義
及び設定手法を提供し、高精細画像における動画像符号化装置の実現性と符号化効率を両
立することを可能とする。
The memory bandwidth that needs to be secured when the block size for motion compensation prediction is small or when motion compensation for bi-prediction is large, especially when the image size to be encoded becomes high definition images that are higher than HD. There is a problem that the feasibility of the encoding device and the decoding device becomes difficult. In the present invention, there are provided a motion compensation prediction limiting method and a control parameter definition and setting method for limiting, in which the memory access maximum amount of the reference image can be controlled step by step to limit the memory bandwidth, It is possible to achieve both the feasibility and encoding efficiency of a moving image encoding apparatus for fine images.
続いて、図１０に本発明の実施の形態１における、図１の符号化ブロック制御パラメー
タ生成部１２２において生成する、動き補償予測のブロックサイズ及び予測処理を制限す
る制御パラメータの一例を示し、説明する。
Next, FIG. 10 shows an example of the motion compensation prediction block size and control parameters for limiting the prediction processing, which are generated by the coding block control
制御パラメータは、最も小さな動き補償予測ブロックサイズである４×４画素の動き補
償予測の有効・無効を制御するパラメータである、inter_4x4_enableと、動き補償予測の
内、双予測が施される予測処理のみを禁止するブロックサイズを定義する、inter_bipred
_restriction_idcの２つのパラメータで構成される。
The control parameters are inter_4x4_enable, which is a parameter for controlling the validity / invalidity of motion compensated prediction of 4 × 4 pixels, which is the smallest motion compensated prediction block size, and only prediction processing for which bi-prediction is performed among motion compensated predictions Defines the block size that prohibits inter_bipred
Consists of two parameters, _restriction_idc.
図９の必要な参照画像メモリ量を比較すると、最もアクセス量が大きな条件から、４×
４双予測、４×８／８×４双予測、４×４単予測、８×８双予測、８×１６／１６×８双
予測、４×８／８×４単予測、１６×１６双予測の順となっており、単予測に関しては、
４×４画素の最小予測ブロックサイズ以外は比較的アクセス量が少ない。
Comparing the necessary reference image memory amounts in FIG. 9, 4 ×
4 bi-prediction, 4 × 8/8 × 4 bi-prediction, 4 × 4 mono-prediction, 8 × 8 bi-prediction, 8 × 16/16 × 8 bi-prediction, 4 × 8/8 × 4 mono-prediction, 16 × 16 bi-prediction The order of prediction is as follows.
The access amount is relatively small except for the minimum predicted block size of 4 × 4 pixels.
そのため、最小予測ブロックサイズに関しては、動き補償予測処理そのものを禁止する
制御パラメータであるinter_4x4_enableを用意し、各ブロックサイズに関して、更に双予
測に対する制限を加えるinter_bipred_restriction_idcを制御パラメータとして用意する
ことで、段階的なメモリアクセス量の制御を明示的に実現できる。
Therefore, with regard to the minimum prediction block size, inter_4x4_enable, which is a control parameter for prohibiting the motion compensation prediction process itself, is prepared, and inter_bipred_restriction_idc that further restricts bi-prediction is prepared as a control parameter for each block size. Can control memory access amount explicitly.
ちなみに、４×８／８×４単予測に関しては、１６×１６双予測よりはメモリアクセス
量が多くなるが、４×８／８×４単予測に対して制限を加える場合には、それよりもメモ
リアクセス量の大きな４×４及び４×８／８×４双予測にも制限をかける必要があり、そ
の場合には最小ＣＵサイズを１６×１６に設定することで、ＣＵ内分割モードがＮ×Ｎで
ある８×８ブロックより小さな予測ブロックサイズの動き補償予測全体を禁止できるため
、動き補償予測処理そのものを禁止に関しては、固定的な最小予測ブロックサイズに対す
る制限を有する構成で、段階的なメモリアクセス量の制御が可能である。
By the way, for 4 × 8/8 × 4 single prediction, the amount of memory access is larger than that of 16 × 16 bi-prediction. However, it is also necessary to limit 4 × 4 and 4 × 8/8 × 4 bi-prediction with a large memory access amount. In this case, by setting the minimum CU size to 16 × 16, the intra-CU partitioning mode is Since the entire motion compensated prediction with a prediction block size smaller than an N ×
上記制御を行う場合には、inter_4x4_enableとinter_bipred_restriction_idcに加えて
、最小ＣＵサイズ値を組合せて、メモリアクセス量の制御を行う構成となる。
When the above control is performed, the memory access amount is controlled by combining the minimum CU size value in addition to inter_4x4_enable and inter_bipred_restriction_idc.
実施の形態１においてinter_bipred_restriction_idcは、図１０に示すように０から５
までの値を定義し、双予測に対する制限なしの状態から、１６×１６ブロック以下のサイ
ズの双予測を制限する状態までを、制御可能としているが、定義の範囲は一例であり、こ
の値よりも少なくまたは多くの制御値を定義することも、本発明の実施の形態の別構成と
して実現できる。
In
It is possible to control from a state where there is no restriction on bi-prediction to a state where bi-prediction with a size of 16 × 16 blocks or less is limited, but the range of the definition is an example. It is also possible to define as few or many control values as another configuration of the embodiment of the present invention.
所定サイズの動き補償予測全体の無効化を制御するパラメータと、所定サイズ以下の動
き補償予測の双予測を制限する制御パラメータを組合せて、メモリアクセス量の最大値が
所定範囲内に収まるように制御する手法が、本発明の実施の形態１における構成である。
Control that disables the entire motion compensated prediction of a given size and a control parameter that restricts bi-prediction of motion compensated prediction of less than a given size, and controls the maximum memory access amount to be within the prescribed range This technique is the configuration in the first embodiment of the present invention.
［動画像復号装置全体構成］
図１１は、本発明の実施の形態１に係る動画像復号装置の構成を示す図である。以下、
各部の動作について説明する。実施の形態１に係る動画像復号装置は、入力端子１１００
、多重分離部１１０１、予測差分情報復号部１１０２、逆量子化・逆変換部１１０３、加
算部１１０４、フレーム内復号画像バッファ１１０５、ループフィルタ部１１０６、復号
画像メモリ１１０７、予測モード／ブロック構造復号部１１０８、予測モード／ブロック
構造選択部１１０９、イントラ予測情報復号部１１１０、動き情報復号部１１１１、予測
モード情報メモリ１１１２、イントラ予測部１１１３、動き補償予測部１１１４、及び出
力端子１１１５を備える。
[Overall configuration of video decoding apparatus]
FIG. 11 is a diagram showing a configuration of the moving picture decoding apparatus according to
The operation of each part will be described. The moving picture decoding apparatus according to
,
入力端子１１００より符号化ビットストリームが多重分離部１１０１に供給される。多
重分離部１１０１は、供給された符号化ビットストリームの符号列を予測誤差情報の符号
化列と、符号化ブロック及び予測ブロック構造に関する制御パラメータ、符号化ブロック
単位のＣＵ分割構成と予測に用いられたモード情報である、予測モード、動き補償予測の
場合の予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情
報である動き情報、イントラ予測の場合のイントラ予測モード情報で構成される符号化列
に分離する。当該予測誤差情報の符号化列を予測差分情報復号部１１０２に供給し、制御
パラメータ、及び当該符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報
の符号化列を予測モード／ブロック構造復号部１１０８に供給する。
The encoded bit stream is supplied from the
予測差分情報復号部１１０２は、多重分離部１１０１より供給された予測誤差情報の符
号化列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部１１０２は
、生成した量子化された予測誤差信号を逆量子化・逆変換部１１０３に供給する。
The prediction difference
逆量子化・逆変換部１１０３は、予測差分情報復号部１１０２より供給される、量子化
された予測誤差信号を、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し
、復号予測誤差信号を加算部１１０４に供給する。
The inverse quantization /
加算部１１０４は、逆量子化・逆変換部１１０３より供給される復号予測誤差信号と、
予測モード／ブロック構造選択部１１０９より供給される予測信号を加算して復号画像信
号を生成し、復号画像信号をフレーム内復号画像バッファ１１０５及びループフィルタ部
１１０６に供給する。
The adding
The prediction signals supplied from the prediction mode / block
フレーム内復号画像バッファ１１０５は、図１の動画像符号化装置におけるフレーム内
復号画像バッファ１０８と同じ機能を有し、イントラ予測の参照画像としてイントラ予測
部１１１３に同一フレーム内の復号画像信号を供給すると共に、加算部１１０４から供給
された復号画像信号を格納する。
The intra-frame decoded
ループフィルタ部１１０６は、図１の動画像符号化装置におけるループフィルタ部１０
９と同じ機能を有し、加算部１１０４より供給される復号画像信号に対して、歪除去のフ
ィルタを施し、フィルタ処理を行った結果の復号画像を復号画像メモリ１１０７に供給す
る。
The
9, a distortion removal filter is applied to the decoded image signal supplied from the
復号画像メモリ１１０７は、図１の動画像符号化装置における復号画像メモリ１１０と
同じ機能を有し、ループフィルタ部１１０６から供給された復号画像信号を格納し、参照
画像信号を動き補償予測部１１１４に供給する。また、復号画像メモリ１１０７は、格納
された復号画像信号を再生時刻に合わせて、画像の表示順序に従い出力端子１１１５に供
給する。
The decoded
予測モード／ブロック構造復号部１１０８は、多重分離部１１０１より供給される、符
号化ブロック及び予測ブロック構造に関する制御パラメータより、図３で示されるＣＵ構
造を定義する制御パラメータや、図１０で示されるような動き補償予測のブロック構成及
び予測処理を制限する制御パラメータを生成する。
The prediction mode / block
また、予測モード／ブロック構造復号部１１０８は、多重分離部１１０１より供給され
る、当該符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報の符号化列よ
り、符号化ブロック単位のＣＵ分割構成と予測に用いられたモード情報を復号し、予測ブ
ロックサイズ及び予測モードを生成すると共に、動き補償予測の場合の予測モードに応じ
た予測種別、動きベクトル、及び参照画像指定情報を特定する情報である動き情報、イン
トラ予測の場合のイントラ予測モード情報を分離し、当該符号化ブロック単位のＣＵ分割
構成と、予測モード情報を予測モード／ブロック構造選択部１１０９に供給する。
Also, the prediction mode / block
予測モード／ブロック構造復号部１１０８は、予測ブロックにイントラ予測が用いられ
ている場合には、イントラ予測情報復号部１１１０に予測ブロックサイズと共に、イント
ラ予測モード情報を供給し、動き補償予測が用いられている場合には、動き情報復号部１
１１１に予測ブロックサイズと共に、動き補償予測モード、並びに予測モードに応じた予
測種別、動きベクトル、及び参照画像指定情報を特定する情報を供給する。
When intra prediction is used for the prediction block, the prediction mode / block
Information for specifying the motion compensation prediction mode, the prediction type according to the prediction mode, the motion vector, and the reference image designation information is supplied to 111 along with the prediction block size.
イントラ予測情報復号部１１１０は、予測モード／ブロック構造復号部１１０８より供
給された予測ブロックサイズ、イントラ予測モード情報を復号し、符号化対象ブロックに
対する予測ブロック構造と各予測ブロックにおけるイントラ予測モードを再生する。イン
トラ予測情報復号部１１１０は、再生したイントラ予測モードをイントラ予測部１１１３
に供給すると共に、予測モード情報メモリ１１１２に対しても供給する。
The intra prediction
And also to the prediction
動き情報復号部１１１１は、予測モード／ブロック構造復号部１１０８より供給された
、予測ブロックサイズ、動き補償予測モード、並びに予測モードに応じた予測種別、動き
ベクトル、及び参照画像指定情報を特定する情報を動き情報として復号し、復号した動き
情報と、予測モード情報メモリ１１１２より供給される候補ブロック群の動き情報より、
動き補償予測に用いる予測種別、動きベクトル及び参照画像指定情報を再生し、動き補償
予測部１１１４に供給する。また、動き情報復号部１１１１は再生した動き情報を、予測
モード情報メモリ１１１２に対しても供給する。動き情報復号部１１１１の詳細な構成に
ついては後述する。
The motion
The prediction type, motion vector, and reference image designation information used for motion compensation prediction are reproduced and supplied to the motion
予測モード情報メモリ１１１２は、図１の動画像符号化装置における予測モード情報メ
モリ１１９と同じ機能を持ち、動き情報復号部１１１１より供給される再生した動き情報
、及びイントラ予測情報復号部１１１０から供給されるイントラ予測モードを、最小予測
ブロックサイズ単位を基準として所定画像分記憶する。また、予測モード情報メモリ１１
１２は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き
情報として動き情報復号部１１１１に供給すると共に、同一フレーム内の復号済隣接ブロ
ックのイントラ予測モード情報を、対象予測ブロックのモード情報の予測候補として、イ
ントラ予測情報復号部１１１０に供給する。
The prediction
12 supplies the motion information of the spatial candidate block group and the temporal candidate block group to the motion
イントラ予測部１１１３は、図１の動画像符号化装置におけるイントラ予測部１１４と
同じ機能を持ち、イントラ予測情報復号部１１１０より供給されるイントラ予測モードに
従って、フレーム内復号画像バッファ１１０５よりイントラ予測の参照画像を入力し、イ
ントラ予測信号を生成して、予測モード／ブロック構造選択部１１０９に供給する。
The
動き補償予測部１１１４は、図１の動画像符号化装置における動き補償予測部１１２と
同じ機能を持ち、動き情報復号部１１１１より供給される動き情報に基づいて、復号画像
メモリ１１０７内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロッ
クの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。
動き補償予測の予測種別が双予測であれば、各予測種別の予測信号を平均したものを予測
信号として生成し、予測信号を予測モード／ブロック構造選択部１１０９に供給する。
The motion
If the prediction type of motion compensation prediction is bi-prediction, an average of the prediction signals of each prediction type is generated as a prediction signal, and the prediction signal is supplied to the prediction mode / block
予測モード／ブロック構造選択部１１０９は、予測モード／ブロック構造復号部１１０
８より供給された、当該符号化ブロック単位のＣＵ分割構成と、予測モード情報を元に、
ＣＵ分割を行い、再生された予測ブロック構造単位の予測モードによって、動き補償予測
の場合には、動き補償予測部１１１４より動き補償予測信号を入力し、イントラ予測の場
合には、イントラ予測部１１１３よりイントラ予測信号を入力し、再生された予測信号を
加算部１１０４に供給する。
The prediction mode / block
8 based on the CU partitioning configuration of the coding block unit and prediction mode information supplied from FIG.
In the case of motion compensated prediction, a motion compensated prediction signal is input from the motion compensated
出力端子１１１５は、復号画像メモリ１１０７より供給された復号画像信号を、ディス
プレイなどの表示媒体に出力することで、復号画像信号が再生される。
The
図１１に示した動画像復号装置の構成も、図１に示した動画像符号化装置の構成と同様
に、ＣＰＵ、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェ
アによっても実現可能である。
The configuration of the video decoding device shown in FIG. 11 can also be realized by hardware such as an information processing device including a CPU, a frame memory, a hard disk, and the like, similarly to the configuration of the video encoding device shown in FIG. is there.
図１２は、本発明の実施の形態１に係る動画像復号装置における復号処理の符号化ブロ
ック単位の動作の流れを示すフローチャートである。最初にＣＵ分割の制御パラメータで
あるＣＵ＿Ｄｅｐｔｈを０に初期化（Ｓ１２００）し、多重分離部１１０１は、入力端子
１１００より供給された符号化ビットストリームを予測誤差情報の符号化列と、当該符号
化ブロック単位のＣＵ分割構成と予測に用いられたモード情報の符号化列に分離する（Ｓ
１２０１）。分離された符号化ブロック単位の予測誤差情報の符号化列と、当該符号化ブ
ロック単位のＣＵ分割構成と予測に用いられたモード情報の符号化列が予測差分情報復号
部１１０２及び、予測モード／ブロック構造復号部１１０８に供給され、ＣＵ分割構造を
元にしたＣＵ単位の復号処理が施される（Ｓ１２０２）。ステップＳ１２０２の詳細動作
に関しては、後述する。
FIG. 12 is a flowchart showing a flow of operation in units of coding blocks of decoding processing in the video decoding apparatus according to
1201). The encoded sequence of prediction error information in units of encoded blocks, the CU partition configuration in units of the encoded blocks, and the encoded sequence of mode information used for prediction are the prediction difference
続いて、当該符号化ブロック単位のＣＵ分割構成は、ステップＳ１２０２で予測モード
／ブロック構造復号部１１０８において復号され、復号された符号化構造情報が予測モー
ド情報メモリ１１１２に格納される（Ｓ１２０３）。
Subsequently, the coding block unit CU partitioning configuration is decoded by the prediction mode / block
ＣＵ単位の復号処理（Ｓ１２０２）により復号された復号画像信号は、ループフィルタ
部１１０６においてループフィルタ処理が施され（Ｓ１２０４）、復号画像メモリ１１０
７に格納され（Ｓ１２０５）、符号化ブロック単位の復号処理が終了する。実施の形態１
において、符号化ブロック単位の処理でループフィルタを施しているが、ループフィルタ
を施した復号画像信号は、同一フレームの復号処理には参照されず、後続するフレームの
動き補償予測において参照されるため、符号化ブロック単位の処理を行わずに、フレーム
全体の復号処理完了後に、フレーム全体に対して施すことも可能である。
The decoded image signal decoded by the CU unit decoding process (S1202) is subjected to loop filter processing in the loop filter unit 1106 (S1204), and the decoded
7 (S1205), and the decoding process for each coding block is completed.
However, the decoded image signal subjected to the loop filter is not referred to in the decoding process of the same frame, but is referred to in the motion compensation prediction of the subsequent frame. It is also possible to perform the process on the entire frame after the decoding process for the entire frame is completed without performing the process for each coding block.
［ＣＵ単位の復号処理の詳細］
続いて、図１２のフローチャートにおけるステップＳ１２０２であるＣＵ単位の復号処
理の詳細について、図１３のフローチャートを用いて説明する。
[Details of decryption processing in CU units]
Next, details of the decoding process in units of CUs, which is step S1202 in the flowchart of FIG. 12, will be described using the flowchart of FIG.
最初に、設定された最大ＣＵサイズと最小ＣＵサイズの間の階層数を示す値Ｍａｘ_Ｃ
Ｕ＿Ｄｅｐｔｈに対して、対象ＣＵのＣＵ＿Ｄｅｐｔｈが小さいか否かを判定する（Ｓ１
３００）。図３における最大ＣＵサイズ及び最小ＣＵサイズに関する制御パラメータが符
号化・伝送されるため、復号処理において制御パラメータを復号することで、符号化時の
Ｍａｘ_ＣＵ＿Ｄｅｐｔｈは復号される。Ｍａｘ＿ＣＵ＿Ｄｅｐｔｈを定義する符号化情
報の一例に関しては後述する。
First, a value Max_C indicating the number of layers between the set maximum CU size and minimum CU size.
It is determined whether or not the CU_Depth of the target CU is smaller than U_Depth (S1).
300). Since the control parameters relating to the maximum CU size and the minimum CU size in FIG. 3 are encoded and transmitted, Max_CU_Depth at the time of encoding is decoded by decoding the control parameters in the decoding process. An example of the encoding information that defines Max_CU_Depth will be described later.
ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈより小さい場合には（Ｓ１３００：ＹＥ
Ｓ）、ＣＵ分割情報を取得する（Ｓ１３０１）。一例としては、１ビットのフラグ情報（
cu_split_flag）が、ＣＵを分割するか否かの選択に合わせて、符号化・伝送され、この
フラグ情報を復号することで、ＣＵが分割されているか否かを認識する。
When CU_Depth is smaller than Max_CU_Depth (S1300: YE
S) and CU partition information is acquired (S1301). As an example, 1-bit flag information (
cu_split_flag) is encoded and transmitted in accordance with the selection of whether or not to divide the CU, and by decoding this flag information, it is recognized whether or not the CU is divided.
ＣＵが分割されている場合（Ｓ１３０２：ＹＥＳ）には、ＣＵを分割して復号するため
、ＣＵ分割ＣＵ＿Ｄｅｐｔｈを１加算して（Ｓ１３０３）一階層下のＣＵに対するＣＵ単
位の復号処理を行う（Ｓ１３０４−Ｓ１３０７）、ＣＵの分割領域に対して分割１領域の
処理（Ｓ１３０４）、分割２領域の処理（Ｓ１３０５）、分割３領域の処理（Ｓ１３０６
）、分割４領域の処理（Ｓ１３０７）の順で再帰的に図１３のフローチャートで説明され
る処理が行われる。
When the CU is divided (S1302: YES), in order to divide and decode the CU, 1 is added to the CU division CU_Depth (S1303), and the CU unit decoding process is performed on the CU one layer below (S1304). -S1307),
), The processing described in the flowchart of FIG. 13 is recursively performed in the order of the processing of the divided four regions (S1307).
ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈ以上の場合（Ｓ１３００：ＮＯ）及び、
ＣＵが分割されていない場合（Ｓ１３０２：ＮＯ）には、復号対象となるＣＵの大きさが
確定し、確定したＣＵ内の予測モードに応じた復号処理が施される。
When CU_Depth is greater than or equal to Max_CU_Depth (S1300: NO),
When the CU is not divided (S1302: NO), the size of the CU to be decoded is determined, and a decoding process is performed according to the prediction mode in the determined CU.
最初に、ＣＵ内の予測にイントラ予測が用いられているか、動き補償予測が用いられて
いるかを示す情報を取得する。（Ｓ１３０８）。実施の形態１においては、ＣＵ単位でｓ
ｋｉｐモードであるか否かを示すｓｋｉｐフラグ情報（skip_flag）、また当該ＣＵがｓ
ｋｉｐモードで無い場合にイントラ予測であるか動き補償予測であるかを示す予測モード
フラグ情報（pred_mode_flag）が符号化時にＣＵ単位の予測モード情報として符号化され
ており、これらを復号する事により、イントラ予測であるか、動き補償予測（ｓｋｉｐモ
ードを含む）であるかの情報が取得できる。
First, information indicating whether intra prediction or motion compensation prediction is used for prediction within a CU is acquired. (S1308). In the first embodiment, s in CU units
skip flag information (skip_flag) indicating whether or not the mode is the skip mode, and the CU is s
Prediction mode flag information (pred_mode_flag) indicating whether it is intra prediction or motion compensation prediction when not in the kip mode is encoded as prediction mode information in CU units at the time of encoding, and by decoding these, Information about whether the prediction is intra prediction or motion compensation prediction (including skip mode) can be acquired.
続いて、当該ＣＵがイントラ予測である場合には（Ｓ１３０９：ＹＥＳ）、ＣＵ単位の
イントラ予測復号処理が、図１１のイントラ予測情報復号部１１１０及びイントラ予測部
１１１３で行われ（Ｓ１３１１）、対象ＣＵにおけるイントラ予測信号を生成し、復号誤
差信号と加算されることにより、復号画像信号を生成し（Ｓ１３１２）、ＣＵ単位の復号
処理を終了する。
Subsequently, when the CU is intra prediction (S1309: YES), intra prediction decoding processing for each CU is performed by the intra prediction
当該ＣＵがイントラ予測でない場合には（Ｓ１３０９：ＮＯ）、ＣＵ単位の動き補償予
測復号処理が、図１１の動き情報復号部１１１１及び動き補償予測部１１１４で行われ（
Ｓ１３１０）、対象ＣＵにおける動き補償予測信号を生成し、復号誤差信号と加算される
ことにより、復号画像信号を生成し（Ｓ１３１２）、ＣＵ単位の復号処理を終了する。ス
テップＳ１３１０の動作の詳細に関しては後述する。
When the CU is not intra prediction (S1309: NO), motion compensation prediction decoding processing for each CU is performed by the motion
In step S1310, a motion compensated prediction signal in the target CU is generated and added to the decoding error signal to generate a decoded image signal (S1312), and the decoding process for each CU is terminated. Details of the operation in step S1310 will be described later.
続いて、図１３のフローチャートにおけるステップＳ１３１０である対象ＣＵにおける
動き補償予測復号処理の詳細について、図１４のフローチャートを用いて説明する。最初
に、ＣＵ単位の予測モードを示す情報として復号したｓｋｉｐフラグを取得し（Ｓ１４０
０）、ｓｋｉｐフラグが１である、すなわちｓｋｉｐモードである場合（Ｓ１４０１：Ｙ
ＥＳ）には、ＣＵ内の予測ブロック分割モードは２Ｎ×２Ｎとなり、ＮｕｍＰａｒｔが１
に設定され２Ｎ×２Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４０２）。
Next, details of the motion compensated prediction decoding process in the target CU, which is Step S1310 in the flowchart of FIG. 13, will be described using the flowchart of FIG. First, a skip flag decoded as information indicating a prediction mode in CU units is acquired (S140).
0), when the skip flag is 1, that is, in the skip mode (S1401: Y)
ES), the prediction block division mode in the CU is 2N × 2N, and NumPart is 1.
And 2N × 2N prediction block prediction block decoding is performed (S1402).
ｓｋｉｐ＿ｆｌａｇが０である、すなわちｓｋｉｐモードでない場合（Ｓ１４０１：Ｎ
Ｏ）には、ＣＵ分割（ＰＵ）モードとして、符号化時に当該ＣＵで選択した動き補償予測
ブロックサイズの種別であるＣＵ内分割モード値を、予測モード情報より取得し（Ｓ１４
０３）、ＰＵモードが２Ｎ×２Ｎの場合（Ｓ１４０４：ＹＥＳ）には、ＮｕｍＰａｒｔが
１に設定され２Ｎ×２Ｎ予測ブロックの予測ブロック単位復号が施される（Ｓ１４０２）
。
When skip_flag is 0, that is, when the skip mode is not set (S1401: N)
O), as the CU partition (PU) mode, an intra-CU partition mode value that is the type of the motion compensated prediction block size selected by the CU at the time of encoding is acquired from the prediction mode information (S14).
03) When the PU mode is 2N × 2N (S1404: YES), NumPart is set to 1 and prediction block unit decoding of the 2N × 2N prediction block is performed (S1402).
.
ＰＵモードが２Ｎ×２Ｎでない場合（Ｓ１４０４：ＮＯ）、ＰＵモードが２Ｎ×Ｎの場
合（Ｓ１４０５：ＹＥＳ）には、ＮｕｍＰａｒｔが２に設定され２Ｎ×Ｎ予測ブロックの
予測ブロック単位復号が施される（Ｓ１４０６）。
When the PU mode is not 2N × 2N (S1404: NO) and when the PU mode is 2N × N (S1405: YES), NumPart is set to 2 and prediction block unit decoding of 2N × N prediction blocks is performed. (S1406).
続いて、ＣＵ＿ＤｅｐｔｈがＭａｘ＿ＣＵ＿Ｄｅｐｔｈと等しく且つ、対象ＣＵサイズ
が８×８で、後述するinter_4x4_enableフラグが１である場合（Ｓ１４０７：ＹＥＳ）に
は、更にＰＵモードがＮ×２Ｎであるか否かを判定し（Ｓ１４０９）、ＰＵモードがＮ×
２Ｎである場合（Ｓ１４０９：ＹＥＳ）には、ＮｕｍＰａｒｔが２に設定され、Ｎ×２Ｎ
予測ブロックの予測ブロック単位復号が施される（Ｓ１４０８）。
Subsequently, when CU_Depth is equal to Max_CU_Depth, the target CU size is 8 × 8, and an inter_4x4_enable flag described later is 1 (S1407: YES), it is further determined whether or not the PU mode is N × 2N. (S1409) and PU mode is N ×
In the case of 2N (S1409: YES), NumPart is set to 2 and N × 2N
Prediction block unit decoding of the prediction block is performed (S1408).
ＰＵモードがＮ×２Ｎでない場合（Ｓ１４０９：ＮＯ）には、ＰＵモードはＮ×Ｎとな
り、ＮｕｍＰａｒｔを４に設定して、Ｎ×Ｎ予測ブロックの予測ブロック単位復号が施さ
れる（Ｓ１４１０）。
When the PU mode is not N × 2N (S1409: NO), the PU mode is N × N, NumPart is set to 4, and prediction block unit decoding of the N × N prediction block is performed (S1410).
ステップＳ１４０７の条件を満たさない場合（Ｓ１４０７：ＮＯ）には、当該ＣＵにお
いてＮ×Ｎ予測ブロックは適用されないため、ＮｕｍＰａｒｔが２に設定され、Ｎ×２Ｎ
予測ブロックの予測ブロック単位復号が施される（Ｓ１４０８）。ステップＳ１４０２、
Ｓ１４０６、Ｓ１４０８、Ｓ１４１０で施される、ＰＵモード毎の予測ブロック単位復号
処理の詳細は後述する。
When the condition of step S1407 is not satisfied (S1407: NO), since the N × N prediction block is not applied in the CU, NumPart is set to 2 and N × 2N
Prediction block unit decoding of the prediction block is performed (S1408). Step S1402,
Details of the prediction block unit decoding process for each PU mode performed in S1406, S1408, and S1410 will be described later.
実施の形態１においては、復号したＰＵモードに対する予測ブロック単位の復号処理を
選択するための条件判断に関しては、図１４のフローチャートに示すように、ステップＳ
１４０４からＳ１４０９までに示した順番で処理を行っているが、復号したＰＵモードに
従って、予測ブロック単位の復号処理が施される構成であれば、条件分岐の順番に関して
は異なる構成でも実現可能である。
In the first embodiment, regarding the condition determination for selecting the decoding process in units of prediction blocks for the decoded PU mode, as shown in the flowchart of FIG.
The processing is performed in the order shown from 1404 to S1409. However, as long as the decoding process is performed in units of prediction blocks according to the decoded PU mode, it is possible to realize a different configuration regarding the order of conditional branches. .
ＰＵモード毎の予測ブロック単位復号処理が施された後、ＰＵモード及び予測ブロック
単位の動き情報等のモード情報が、図１１における予測モード情報メモリ１１１２に格納
され（Ｓ１４１１）、当該ＣＵに対する動き補償予測復号処理が終了する。
After the prediction block unit decoding process for each PU mode is performed, mode information such as the PU mode and motion information for each prediction block is stored in the prediction
［実施の形態１の詳細機能説明］
続いて、本発明の実施の形態１に係る動画像符号化装置の動き補償予測ブロック構造選
択部１１３の動作、図７のフローチャートにおけるステップＳ７０１、Ｓ７０２、Ｓ７０
３、Ｓ７０５の処理の詳細動作を、以下説明する。
[Detailed Function Description of Embodiment 1]
Subsequently, the operation of the motion compensated prediction block
3. Detailed operation of the processing of S705 will be described below.
［実施の形態１における動画像符号化装置における動き補償予測ブロック構造選択部の
詳細動作説明］
図１５は、実施の形態１の動画像符号化装置における動き補償予測ブロック構造選択部
１１３の詳細な構成を示す図である。動き補償予測ブロック構造選択部１１３は、最適な
動き補償予測モード及び予測ブロック構造を決定する機能を有する。
[Detailed Operation Explanation of Motion Compensated Prediction Block Structure Selection Unit in Moving Picture Encoding Device in Embodiment 1]
FIG. 15 is a diagram illustrating a detailed configuration of the motion compensated prediction block
動き補償予測ブロック構造選択部１１３は、動き補償予測生成部１５００、予測誤差算
出部１５０１、予測ベクトル算出部１５０２、差分ベクトル算出部１５０３、動き情報符
号量算出部１５０４、予測モード／ブロック構造評価部１５０５、結合動き情報算出部１
５０６、結合動き情報単予測変換部１５０７、及び結合動き補償予測生成部１５０８を含
む。
The motion compensation prediction block
506, a combined motion information single
図１における動き補償予測ブロック構造選択部１１３に対して、動きベクトル検出部１
１１より入力された動きベクトル値が、動き補償予測生成部１５００に供給され、予測モ
ード情報メモリ１１９より入力された動き情報が、予測ベクトル算出部１５０２、及び結
合動き情報算出部１５０６に供給される。
For the motion compensated prediction block
11 is supplied to the motion compensation
また、動き補償予測部１１２に対して、動き補償予測生成部１５００、及び結合動き補
償予測生成部１５０８から、動き補償予測に用いる参照画像指定情報と動きベクトルが出
力され、動き補償予測部１１２より、生成された動き補償予測画像が予測誤差算出部１５
０１に供給される。予測誤差算出部１５０１には更に、符号化ブロック取得部１０２より
符号化対象となる予測ブロックの画像信号が供給される。
In addition, reference image designation information and motion vectors used for motion compensation prediction are output from the motion compensation
01 is supplied. The prediction
また、予測モード／ブロック構造評価部１５０５から、予測モード選択部１１６に対し
て、予測ブロック構造、符号化する動き情報と確定した予測モード情報、及び動き補償予
測信号を供給する。
Also, the prediction mode / block
動き補償予測生成部１５００は、各予測ブロック構造において、予測に使用可能な各参
照画像に対して算出された動きベクトル値を受信し、図１０で示される双予測制限情報に
従って動き補償予測を行い、参照画像指定情報を予測ベクトル算出部１５０２に供給し、
参照画像指定情報と動きベクトルを出力する。
The motion compensation
Reference image designation information and motion vectors are output.
予測誤差算出部１５０１は、入力された動き補償予測画像と処理対象の予測ブロック画
像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベ
クトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和ＳＡＤや、画素毎の
二乗誤差値の総和ＳＳＥ等を使用できる。更に、予測残差の符号化を行う際に施される、
直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、よ
り正確な誤差評価値が算出可能である。この場合には、予測誤差算出部１５０１内に、図
１における減算部１０３、直交変換・量子化部１０４、逆量子化・逆変換部１０６、加算
部１０７の機能を有することで実現できる。
The prediction
A more accurate error evaluation value can be calculated by taking into account the amount of distortion components generated in the decoded image by performing orthogonal transformation and quantization. In this case, the prediction
予測誤差算出部１５０１は、各予測モード及び各予測ブロック構造において算出された
予測誤差評価値と、動き補償予測信号を予測モード／ブロック構造評価部１５０５に供給
する。
The prediction
予測ベクトル算出部１５０２は、動き補償予測生成部１５００より参照画像指定情報を
供給され、予測モード情報メモリ１１９から供給される隣接ブロックの動き情報における
候補ブロック群より、指定された参照画像に対する動きベクトル値を入力し、複数の予測
ベクトルを予測ベクトル候補リストと共に生成し、差分ベクトル算出部１５０３に、参照
画像指定情報と共に供給する。予測ベクトル算出部１５０２は、予測ベクトルの候補を作
成し、予測ベクトル候補として登録する。
The prediction
差分ベクトル算出部１５０３は、予測ベクトル算出部１５０２より供給された、予測ベ
クトル候補のそれぞれに対して、動き補償予測生成部１５００から供給される動きベクト
ル値との差分を計算し、差分ベクトル値を算出する。算出された差分ベクトル値と予測ベ
クトル候補に対する指定情報である予測ベクトルインデックスを符号化した際、符号量が
最も少ない。差分ベクトル算出部１５０３は、最も少ない情報量である予測ベクトルに対
する予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動き情報符
号量算出部１５０４に供給する。
The difference
動き情報符号量算出部１５０４は、差分ベクトル算出部１５０３より供給される、差分
ベクトル値、参照画像指定情報、予測ベクトルインデックス、および予測モードより、各
予測ブロック構造及び各予測モードにおける動き情報に要する符号量を算出する。また、
動き情報符号量算出部１５０４は、結合動き補償予測生成部１５０８より、結合予測モー
ドにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示すための情
報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。
The motion information code
The motion information code
動き情報符号量算出部１５０４は、各予測ブロック構造及び各予測モードにおいて算出
された動き情報及び動き情報に要する符号量を予測モード／ブロック構造評価部１５０５
に供給する。
The motion information code
To supply.
予測モード／ブロック構造評価部１５０５は、予測誤差算出部１５０１より供給された
各予測モードの予測誤差評価値と、動き情報符号量算出部１５０４から供給された各予測
モードの動き情報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し
、最も少ない評価値である予測モード及び予測ブロックサイズを選択し、選択した予測モ
ード、予測ブロックサイズと選択した予測モードに対する動き情報を、予測モード選択部
１１６に出力する。また、予測モード／ブロック構造評価部１５０５は同様に、予測誤差
算出部１５０１より供給された動き補償予測信号に対して、選択した予測モード、予測ブ
ロックサイズにおける予測信号を選択して予測モード選択部１１６に出力する。
The prediction mode / block
結合動き情報算出部１５０６は、予測モード情報メモリ１１９より供給される隣接ブロ
ックの動き情報における候補ブロック群を用いて、単予測であるか双予測であるかを示す
予測種別、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き
情報を結合動き情報候補リストと共に生成し、結合動き情報単予測変換部１５０７に供給
する。
The combined motion
図１６は、結合動き情報算出部１５０６の構成を示す図である。結合動き情報算出部１
５０６は、空間結合動き情報候補リスト生成部１６００、結合動き情報候補リスト削除部
１６０１、時間結合動き情報候補リスト生成部１６０２、第１結合動き情報候補リスト追
加部１６０３および第２結合動き情報候補リスト追加部１６０４を含む。結合動き情報算
出部１５０６は、空間的に隣接する候補ブロック群より所定の順番で動き情報の候補を作
成し、その中から、同一の動き情報を持つ候補を削除したのち、時間的に隣接する候補ブ
ロック群より作成した動き情報の候補を追加することで、有効な動き情報のみを結合動き
情報候補として登録する。この時間結合動き情報候補リスト生成部を結合動き情報候補リ
スト削除部より後段に配置した点が、本実施の形態の特徴的な構成であり、時間結合動き
情報候補を同一の動き情報を削除する処理の対象からはずすことにより、符号化効率を落
とすことなく演算量を削減することが可能である。結合動き情報算出部１５０６の詳細動
作に関しては、後述する。
FIG. 16 is a diagram illustrating a configuration of the combined motion
図１５に戻り、結合動き情報単予測変換部１５０７は、結合動き情報算出部１５０６よ
り供給される結合動き情報候補リスト及び、候補リストに登録される動き情報に対して、
図１０で示される双予測制限情報に従って、予測種別が双予測である動き情報を単予測の
動き情報に変換し、結合動き補償予測生成部１５０８に供給する。
Returning to FIG. 15, the combined motion information single
According to the bi-prediction restriction information shown in FIG. 10, motion information whose prediction type is bi-prediction is converted into uni-prediction motion information and supplied to the combined motion compensation
結合動き補償予測生成部１５０８は、結合動き情報単予測変換部１５０７より供給され
た結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き
情報より、予測種別に応じて１つの参照画像（単予測）もしくは異なる２つの参照画像（
双予測）の参照画像指定情報と動きベクトル値を動き補償予測部１１２に指定して、動き
補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号量
算出部１５０４に供給する。
The combined motion compensated
Bi-prediction reference image designation information and motion vector values are designated to the motion
図１５の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、
予測モード／ブロック構造評価部１５０５で施されるが、予測誤差評価値及び動き情報符
号量を予測誤差算出部１５０１及び動き情報符号量算出部１５０４より受け取り、結合動
き補償予測生成部１５０８内で、最適な結合動き補償予測の結合動きインデックスを確定
させた後に、他の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能
である。
In the configuration of FIG. 15, the prediction mode evaluation in each combined motion information index is
The prediction mode / block
図１７は、図７のフローチャートにおけるステップＳ７０１、Ｓ７０２、Ｓ７０３、Ｓ
７０５ステップの動き補償予測モード／予測信号生成処理の詳細動作を説明するためのフ
ローチャートである。この動作は、図１５の動き補償予測ブロック構造選択部１１３にお
ける詳細動作を示している。
FIG. 17 shows steps S701, S702, S703, and S in the flowchart of FIG.
It is a flowchart for demonstrating the detailed operation | movement of the motion compensation prediction mode / prediction signal production | generation process of 705 step. This operation represents a detailed operation in the motion compensated prediction block
最初に、定義されたＣＵ内の予測ブロックサイズ分割モード（ＰＵ）に従って設定され
たＮｕｍＰａｒｔに基づき、対象ＣＵ内をＰＵ分割した予測ブロックサイズ毎に（Ｓ１７
００）、ステップＳ１７０１からステップＳ１７０８までのステップが実行される（Ｓ１
７０９）。先ず、結合動き情報候補リスト生成を行う（Ｓ１７０１）。
First, based on the NumPart set according to the predicted block size division mode (PU) in the defined CU, for each prediction block size obtained by performing PU division on the target CU (S17).
00), steps from step S1701 to step S1708 are executed (S1).
709). First, a combined motion information candidate list is generated (S1701).
続いて、予測ブロックサイズが、図１０に示した双予測を制限する制御パラメータinte
r_bipred_restriction_idcにより設定される双予測を制限する予測ブロックサイズである
bipred_restriction_size以下である場合（Ｓ１７０２：ＹＥＳ）には、生成された結合
動き情報候補リスト内の各候補における双予測の動き情報を単予測の動き情報に置き換え
る、結合動き情報候補単予測変換を行う（Ｓ１７０３）。予測ブロックサイズが、bipred
_restriction_size以下でない場合（Ｓ１７０２：ＮＯ）には、続くステップＳ１７０４
に進む。
Subsequently, the prediction block size is a control parameter inte that limits the bi-prediction shown in FIG.
Prediction block size that restricts bi-prediction set by r_bipred_restriction_idc
If it is equal to or less than bipred_restriction_size (S1702: YES), combined motion information candidate uni-prediction conversion is performed in which bi-prediction motion information in each candidate in the generated combined motion information candidate list is replaced with uni-prediction motion information ( S1703). Predicted block size is bipred
If it is not less than _restriction_size (S1702: NO), the following step S1704
Proceed to
次に、生成または置き換えられた結合動き情報候補リストの動き情報を元に、結合予測
モード評価値を生成する（Ｓ１７０４）。続いて、予測モード評価値を生成し（Ｓ１７０
５）、生成した評価値を比較することで最適な予測モードを選択する（Ｓ１７０６）。た
だし、ステップＳ１７０４及びＳ１７０５の評価値生成の順序はこれに限らない。
Next, a combined prediction mode evaluation value is generated based on the motion information in the combined motion information candidate list generated or replaced (S1704). Subsequently, a prediction mode evaluation value is generated (S170).
5) The optimum prediction mode is selected by comparing the generated evaluation values (S1706). However, the order of evaluation value generation in steps S1704 and S1705 is not limited to this.
選択された予測モードに従い予測信号を出力し（Ｓ１７０７）、選択された予測モード
に従い動き情報を出力する（Ｓ１７０８）ことで、予測ブロック単位の動き補償予測モー
ド／予測信号生成処理が終了する。ステップＳ１７０１、Ｓ１７０３、Ｓ１７０４及びＳ
１７０５の詳細動作に関しては後述する。
The prediction signal is output according to the selected prediction mode (S1707), and the motion information is output according to the selected prediction mode (S1708), thereby completing the motion compensation prediction mode / prediction signal generation processing for each prediction block. Steps S1701, S1703, S1704 and S
The
図１８は、図１７のステップＳ１７０１の結合動き情報候補リスト生成の詳細動作を説
明するためのフローチャートである。この動作は、図１５の結合動き情報算出部１５０６
における構成の詳細動作を示している。
FIG. 18 is a flowchart for explaining the detailed operation of generating the combined motion information candidate list in step S1701 of FIG. This operation is performed by the combined motion
The detailed operation of the configuration is shown.
図１６の空間結合動き情報候補リスト生成部１６００は、予測モード情報メモリ１１９
より供給される空間候補ブロック群から領域外である候補ブロックや、イントラモードで
ある候補ブロックを除いた候補ブロックから空間結合動き情報候補リストを生成する（Ｓ
１８００）。空間結合動き情報候補リスト生成の詳細な動作は後述する。
The spatially coupled motion information candidate
A spatial combination motion information candidate list is generated from candidate blocks excluding candidate blocks that are out of the region or candidate blocks that are in the intra mode from the spatial candidate block group that is supplied more (S
1800). Detailed operations for generating the spatially coupled motion information candidate list will be described later.
続いて、結合動き情報候補リスト削除部１６０１において、生成された空間結合動き情
報候補リストより、同一の動き情報を持つ結合動き情報候補を削除して動き情報候補リス
トを更新する（Ｓ１８０１）。結合動き情報候補削除の詳細な動作は後述する。
Subsequently, the combined motion information candidate
時間結合動き情報候補リスト生成部１６０２は、続いて予測モード情報メモリ１１９よ
り供給される時間候補ブロック群から領域外である候補ブロックや、イントラモードであ
る候補ブロックを除いた候補ブロックから時間結合動き情報候補リストを生成し（Ｓ１８
０２）、時間結合動き情報候補リストと結合して結合動き情報候補リストとする。時間結
合動き情報候補リスト生成の詳細な動作は後述する。
The temporally combined motion information candidate
02) Combined with the temporally combined motion information candidate list to form a combined motion information candidate list. Detailed operation of the time combination motion information candidate list generation will be described later.
次に、第１結合動き情報候補リスト追加部１６０３は、時間結合動き情報候補リスト生
成部１６０２で生成された結合動き情報候補リストに登録された結合動き情報候補から０
個から２個の第１結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１８
０３）、当該結合動き情報候補リストを第２結合動き情報候補リスト追加部１６０４に供
給する。第１結合動き情報候補リスト追加の詳細な動作は後述する。
Next, the first combined motion information candidate
First to second combined motion information candidates are generated and added to the combined motion information candidate list (S18).
03), the combined motion information candidate list is supplied to the second combined motion information candidate
次に、第２結合動き情報候補リスト追加部１６０４は、第１結合動き情報候補リスト追
加部１６０３より供給される結合動き情報候補リストに依存しない０個から４個の第２結
合動き情報候補を生成して第１結合動き情報候補リスト追加部１６０３より供給される結
合動き情報候補リストに追加し（Ｓ１８０４）、処理を終了する。第２結合動き情報候補
リスト追加の詳細な動作は後述する。
Next, the second combined motion information candidate
予測モード情報メモリ１１９より、結合動き情報算出部１５０６に供給される動き情報
の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空
間結合動き情報候補リスト生成について説明する。
The candidate block group of motion information supplied from the prediction
図１９は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図であ
る。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像
のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、候
補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、隣接ブロックの予
測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予測ブロックサイズ
内の全ての候補ブロックに同一の動き情報が格納される。実施の形態１においては、隣接
するブロック群の内、図１９に示すようなブロックＡ０、ブロックＡ１、ブロックＢ０、
ブロックＢ１、ブロックＢ２の５ブロックを空間候補ブロック群とする。
FIG. 19 is a diagram illustrating a spatial candidate block group used for generating a spatially coupled motion information candidate list. The spatial candidate block group indicates a block of the same image adjacent to the prediction target block of the encoding target image. The block group is managed in units of the minimum prediction block size, and the position of the candidate block is managed in units of the minimum prediction block size, but when the prediction block size of the adjacent block is larger than the minimum prediction block size The same motion information is stored in all candidate blocks within the predicted block size. In the first embodiment, among adjacent block groups, block A0, block A1, block B0, as shown in FIG.
Five blocks of block B1 and block B2 are set as a space candidate block group.
図２０は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャー
トである。空間候補ブロック群に含まれる５つの候補ブロックのうち、ブロックＡ０、ブ
ロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２について、ブロックＡ１、ブロ
ックＢ１、ブロックＢ０、ブロックＡ０の順序で以下の処理を繰り返し行う（Ｓ２０００
〜Ｓ２００３）。
FIG. 20 is a flowchart for explaining the detailed operation of generating the spatially coupled motion information candidate list. Of the five candidate blocks included in the spatial candidate block group, the following processing is repeated for block A0, block A1, block B0, block B1, and block B2 in the order of block A1, block B1, block B0, and block A0. (S2000
~ S2003).
最初に候補ブロックの有効性を検査する（Ｓ２００１）。候補ブロックが領域外でなく
イントラモードでない場合、候補ブロックは有効となる。候補ブロックが有効であれば（
Ｓ２００１：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加す
る（Ｓ２００２）。
First, the validity of the candidate block is checked (S2001). If the candidate block is not out of the region and not in the intra mode, the candidate block is valid. If the candidate block is valid (
(S2001: YES), the motion information of the candidate block is added to the spatially coupled motion information candidate list (S2002).
ステップＳ２０００からＳ２００３までの繰り返し処理に続いて、空間結合動き情報候
補リストに追加された候補数が４未満だった場合（Ｓ２００４：ＹＥＳ）、候補ブロック
Ｂ２の有効性を検査する（Ｓ２００５）。ブロックＢ２が領域外でなくイントラモードで
ない場合（Ｓ２００５：ＹＥＳ）、ブロックＢ２の動き情報を空間結合動き情報候補リス
トに追加する（Ｓ２００６）。
Following the iterative processing from step S2000 to S2003, when the number of candidates added to the spatially coupled motion information candidate list is less than 4 (S2004: YES), the validity of the candidate block B2 is checked (S2005). When the block B2 is not out of the region and is not in the intra mode (S2005: YES), the motion information of the block B2 is added to the spatially coupled motion information candidate list (S2006).
ここでは、空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれ
るとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以
上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リ
ストの数が変動すればよく、これに限定されない。
Here, it is assumed that the spatial combination motion information candidate list includes motion information of four or less candidate blocks, but the spatial candidate block group is at least one or more processed blocks adjacent to the prediction block to be processed. The number of spatially coupled motion information candidate lists may be changed depending on the effectiveness of the candidate block, and the present invention is not limited to this.
図２１は、結合動き情報候補削除の詳細動作を説明するためのフローチャートである。
空間結合動き情報候補リスト作成処理により、生成される結合動き情報候補の最大数をＭ
ａｘＳｐａｔｉａｌＣａｎｄとすると、ｉ＝ＭａｘＳｐａｔｉａｌＣａｎｄ−１からｉ＞
０までの結合動き情報候補（候補（ｉ））に対して以下の処理を繰り返し行う（Ｓ２１０
０〜Ｓ２１０６）。
FIG. 21 is a flowchart for explaining the detailed operation of combined motion information candidate deletion.
The maximum number of combined motion information candidates generated by the spatial combined motion information candidate list creation process is M
If axSpatialCand, then i = MaxSpatialCand-1 to i>
The following processing is repeated for the combined motion information candidates up to 0 (candidate (i)) (S210).
0-S2106).
候補（ｉ）が存在していれば（Ｓ２１０１のＹＥＳ）、ｉｉ＝ｉ−１からｉｉ＞＝０ま
での結合動き情報候補（候補（ｉｉ））に対して以下の処理を繰り返し行い（Ｓ２１０２
〜Ｓ２１０５）、候補（ｉ）が存在しない場合（Ｓ２１０１のＮＯ）はステップＳ２１０
２からＳ２１０５までの候補（ｉｉ）についての繰り返し処理をスキップする。
If the candidate (i) exists (YES in S2101), the following processing is repeated for the combined motion information candidates (candidate (ii)) from ii = i−1 to ii> = 0 (S2102).
To S2105), when there is no candidate (i) (NO in S2101), step S210.
The iterative process for the candidate (ii) from 2 to S2105 is skipped.
まず、候補（ｉ）の動き情報（動き情報（ｉ））と候補（ｉｉ）の動き情報（動き情報
（ｉｉ））が同一であるか検査し（Ｓ２１０３）、同じである場合（Ｓ２１０３のＹＥＳ
）、候補（ｉ）を結合動き情報候補リストから削除し（Ｓ２１０４）、候補（ｉｉ）につ
いての繰り返し処理を終了する。
First, whether the motion information (motion information (i)) of the candidate (i) and the motion information (motion information (ii)) of the candidate (ii) are the same is checked (S2103), and if they are the same (YES in S2103)
), Candidate (i) is deleted from the combined motion information candidate list (S2104), and the iterative process for candidate (ii) ends.
動き情報（ｉ）と動き情報（ｉｉ）が同一でない場合（Ｓ２１０３のＮＯ）、ｉｉから
１を減算し、候補（ｉｉ）についての処理を繰り返す（Ｓ２１０２〜Ｓ２１０５）。
When the motion information (i) and the motion information (ii) are not the same (NO in S2103), 1 is subtracted from ii, and the process for the candidate (ii) is repeated (S2102 to S2105).
ステップＳ２１００からＳ２１０５までの繰り返し処理に続いて、ｉから１を減算し、
候補（ｉ）についての処理を繰り返す（Ｓ２１００〜Ｓ２１０６）。
Subsequent to the iterative process from step S2100 to S2105, 1 is subtracted from i,
The process for candidate (i) is repeated (S2100 to S2106).
図２２に結合動き情報候補が４つの場合のリスト中の候補の比較関係を示す。すなわち
時間結合動き情報候補を含まない４つの空間結合動き情報候補について総当たりで比較し
て同一性を判定し、重複する候補を削除する。
FIG. 22 shows a comparison relationship of candidates in the list when there are four combined motion information candidates. That is, four spatially combined motion information candidates that do not include temporally combined motion information candidates are compared by brute force to determine identity, and duplicate candidates are deleted.
ここで、結合予測モードは時間方向や空間方向の動きの連続性を用いて、予測対象ブロ
ックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情
報を符号化に使用する手法であるが、空間結合動き情報候補が空間方向の連続性を基づい
ているのに対し、時間結合動き情報候補は時間方向の連続性に基づいて後述する方法で生
成されており、これらの性質は異なるものである。よって時間結合動き情報候補と空間結
合動き情報候補に同一の動き情報が含まれることは稀であり、同一の動き情報を削除する
ための結合動き情報候補削除処理の対象から時間結合動き情報候補を除いても、最終的に
得られる結合動き情報候補リストに同一の動き情報が含まれることは稀である。
Here, the joint prediction mode uses temporal and spatial continuity of motion, and the prediction target block encodes motion information of spatially and temporally adjacent blocks without directly encoding its own motion information. Although the spatially coupled motion information candidate is based on continuity in the spatial direction, the temporally coupled motion information candidate is generated by the method described later based on the temporal direction continuity. These properties are different. Therefore, it is rare that the same motion information is included in the temporally combined motion information candidate and the spatially combined motion information candidate, and the temporally combined motion information candidate is removed from the target of the combined motion information candidate deletion process for deleting the same motion information. Even if they are excluded, it is rare that the same motion information is included in the finally obtained combined motion information candidate list.
また、後述するように時間結合動き情報候補ブロックは最小予測ブロックよりも大きな
サイズである最小時間予測ブロック単位で管理されるため、時間的に隣接する予測ブロッ
クの大きさが最小時間予測ブロックよりも小さな場合には、本来の位置とはずれた位置の
動き情報が用いられることとなり、その結果、動き情報に誤差を含む場合が多い。そのた
め、空間結合動き情報候補の動き情報とは異なる動き情報となることが多く、同一の動き
情報を削除するための結合動き情報候補削除処理の対象から除いても影響が少ない。
Also, as will be described later, temporally combined motion information candidate blocks are managed in units of minimum time prediction blocks that are larger in size than the minimum prediction block, so that the size of prediction blocks that are temporally adjacent are larger than the minimum time prediction block. If it is small, motion information at a position deviating from the original position is used, and as a result, the motion information often includes an error. Therefore, the motion information is often different from the motion information of the spatially coupled motion information candidate, and there is little influence even if the motion information is excluded from the target of the combined motion information candidate deletion process for deleting the same motion information.
図２３は、空間結合動き情報候補の最大数が４である場合の結合動き情報候補削除にお
ける候補の比較内容の一例である。図２３（ａ）は空間結合動き情報候補のみを結合動き
情報候補削除処理の対象とした場合の比較内容であり、図２３（ｂ）は空間結合動き情報
候補と時間結合動き情報を処理の対象とした場合の比較内容である。空間結合動き情報候
補のみを結合動き情報候補削除処理の対象とすることにより、動き情報を比較の回数が１
０回から６回に減少している。
FIG. 23 is an example of comparison contents of candidates in combined motion information candidate deletion when the maximum number of spatially combined motion information candidates is four. FIG. 23A shows the comparison contents when only the spatially coupled motion information candidate is the target of the coupled motion information candidate deletion process, and FIG. 23B is the target of processing the spatially coupled motion information candidate and the temporally coupled motion information. It is a comparison content in the case of. Since only the spatially combined motion information candidate is the target of the combined motion information candidate deletion process, the number of comparisons of motion information is 1.
Decrease from 0 to 6 times.
このように、時間結合動き情報候補を結合動き情報候補削除処理の対象にしないことに
より、同一の動き情報を適切に削除しながら、動き情報の比較の回数を１０回から６回に
削減することが可能である。
Thus, by not deleting the temporally combined motion information candidate as the target of the combined motion information candidate deletion process, the number of motion information comparisons is reduced from 10 to 6 while appropriately deleting the same motion information. Is possible.
また、すべての空間予測候補の同一を比較せず、空間的な位置が近い候補間同士の比較
のみ行うことで 結合動き情報候補削除処理の回数を削減することも可能である。具体的
には、図１９のＢ１位置から算出された結合動き情報はＡ１位置の結合動き情報と比較し
、Ｂ０位置から算出された結合動き情報はＢ１位置の結合動き情報のみと比較し、Ａ０位
置から算出された結合動き情報はＡ１のみと比較し、Ｂ２位置から算出された結合動き情
報はＡ１、Ｂ１のみと比較することで、動き情報の比較回数を最大５回に制限できる。
It is also possible to reduce the number of combined motion information candidate deletion processes by comparing only candidates that are close in spatial position without comparing the same of all spatial prediction candidates. Specifically, the combined motion information calculated from the B1 position in FIG. 19 is compared with the combined motion information at the A1 position, the combined motion information calculated from the B0 position is compared with only the combined motion information at the B1 position, and A0 By comparing the combined motion information calculated from the position with only A1 and the combined motion information calculated from the B2 position with only A1 and B1, the number of motion information comparisons can be limited to a maximum of five.
上記のように特定の空間予測候補のみ結合動き情報の同一比較を行う場合、空間結合動
き情報候補リスト生成中に（Ｓ１８００）、結合動き情報候補削減処理（Ｓ１８０１）を
行った方が、同一結合動き情報が残存してしまうことによる符号化効率低下の影響が少な
い。つまり、空間結合動き情報候補リスト生成時に結合動き情報の同一比較を行うことで
、不要な結合動き情報を追加せずにすむため、図２０のステップＳ２００４の最大空間予
測候補数を４つに制限する場合に、Ｂ２位置から算出される結合動き情報が追加できる可
能性が高まるためである。
When the same comparison of combined motion information is performed only for a specific spatial prediction candidate as described above, it is better to perform the combined motion information candidate reduction process (S1801) during the generation of the spatial combined motion information candidate list (S1800). There is little influence of a decrease in coding efficiency due to motion information remaining. That is, by performing the same comparison of the combined motion information when generating the spatially combined motion information candidate list, it is possible to avoid adding unnecessary combined motion information, so the maximum number of spatial prediction candidates in step S2004 in FIG. 20 is limited to four. This is because the possibility that the combined motion information calculated from the B2 position can be added increases.
続いて、時間結合動き情報候補リスト生成について説明する。図２４は、時間結合動き
情報候補リスト生成に用いる時間方向周辺予測ブロックの定義を説明する図である。時間
候補ブロック群は、予測対象ブロックが属する画像とは別の復号済みの画像ＣｏｌＰｉｃ
に属するブロックの中で、予測対象ブロックと同位置及びその周辺にあるブロックを示す
。ブロック群は、その管理が最小時間予測ブロックサイズ単位で行われ、候補ブロックの
位置は、最小時間予測ブロックサイズの単位で管理される。本発明の実施の形態１におい
ては、最小時間予測ブロックサイズは最小予測ブロックサイズを垂直方向、水平方向にそ
れぞれ２倍した大きさとする。時間的に隣接するブロックの予測ブロックのサイズが最小
時間予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内のすべての候補ブ
ロックに同一の動きの情報が格納される。一方、予測ブロックのサイズが最小時間予測ブ
ロックサイズよりも小さな場合には、時間方向周辺予測ブロックの左上に位置する予測ブ
ロックの動きの情報を時間方向周辺予測ブロックの情報とする。図２４（ｂ）に予測ブロ
ックサイズが最小時間予測ブロックサイズより小さい場合の時間方向周辺予測ブロックの
動き情報を示す。
Subsequently, generation of a time combination motion information candidate list will be described. FIG. 24 is a diagram illustrating the definition of the temporal direction peripheral prediction block used for generating the temporally combined motion information candidate list. The temporal candidate block group is a decoded image ColPic different from the image to which the prediction target block belongs.
Among the blocks belonging to, blocks at the same position as the prediction target block and in the vicinity thereof are shown. The block group is managed in units of minimum time prediction block size, and the positions of candidate blocks are managed in units of minimum time prediction block size. In
図２４（ａ）におけるＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ、Ｄ、Ｅ、Ｆ１〜Ｆ４、Ｇ１〜Ｇ４
、Ｈ、Ｉ１〜Ｉ１６の位置のブロックが、時間的に隣接するブロック群となる。実施の形
態１においては、これら時間的に隣接するブロック群の内、時間候補ブロック群をブロッ
クＨとブロックＩ６の２ブロックとする。
A1-A4, B1-B4, C, D, E, F1-F4, G1-G4 in FIG.
, H, and I1 to I16 are blocks adjacent in time. In the first embodiment, among these temporally adjacent block groups, the temporal candidate block group is assumed to be two blocks, block H and block I6.
図２５は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャー
トである。時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロッ
クＩ１１について（Ｓ２５００、Ｓ２５０５）、ブロックＨ、ブロックＩ１１の順序で候
補ブロックの有効性を検査する（Ｓ２５０１）。候補ブロックが有効である場合（Ｓ２５
０１：ＹＥＳ）、ステップＳ２５０２〜ステップＳ２５０４の処理が行われ、生成された
動き情報が時間結合動き情報候補リストに登録され、処理が終了する。候補ブロックが画
面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合（Ｓ２５
０１：ＮＯ）、候補ブロックが有効でなく、次の候補ブロックの有効／無効判定が行われ
る。
FIG. 25 is a flowchart for explaining the detailed operation of generating the time combination motion information candidate list. Regarding the block H and the block I11 that are two candidate blocks included in the time candidate block group (S2500, S2505), the validity of the candidate block is checked in the order of the block H and the block I11 (S2501). If the candidate block is valid (S25)
01: YES), the processing from step S2502 to step S2504 is performed, the generated motion information is registered in the temporally combined motion information candidate list, and the processing ends. When the candidate block indicates a position outside the screen area, or when the candidate block is an intra prediction block (S25)
01: NO), the candidate block is not valid, and valid / invalid determination of the next candidate block is performed.
候補ブロックが有効である場合（Ｓ２５０１：ＹＥＳ）、候補ブロックの動き情報をも
とに結合動き情報候補に登録する参照画像選択候補を確定する（Ｓ２５０２）。実施の形
態１ではＬ０予測の参照画像を、Ｌ０予測の参照画像のうち処理対象画像に最も近い距離
にある参照画像とし、Ｌ１予測の参照画像を、Ｌ１予測の参照画像のうち処理対象画像に
最も近い距離にある参照画像とする。
If the candidate block is valid (S2501: YES), the reference image selection candidate to be registered in the combined motion information candidate is determined based on the motion information of the candidate block (S2502). In the first embodiment, the L0 prediction reference image is the reference image that is the closest to the processing target image among the L0 prediction reference images, and the L1 prediction reference image is the processing target image among the L1 prediction reference images. The reference image is the closest distance.
ここでの参照画像選択候補の確定手法は、Ｌ０予測の参照画像とＬ１予測の参照画像が
決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像
を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、
例えばＬ０予測の参照画像及びＬ１予測の参照画像の参照画像インデックスが０である参
照画像を選択する手法や、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画
像を選択する手法や、符号化ストリーム中で各予測種別の参照画像を指定する手法を用い
ることが可能である。
The determination method of the reference image selection candidate here is not limited to this as long as the reference image for L0 prediction and the reference image for L1 prediction can be determined. The reference image intended at the time of encoding can be determined by determining the reference image by the same method in the encoding process and the decoding process. Other deterministic methods include
For example, a method for selecting a reference image for which the reference image index of the reference image for L0 prediction and the reference image for L1 prediction is 0, a method for selecting the L0 reference image and the L1 reference image used by spatial adjacent blocks, It is possible to use a technique for designating a reference image of each prediction type in a stream.
次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を
確定する（Ｓ２５０３）。実施の形態１における、時間結合動き情報は、候補ブロックの
動き情報で有効な予測種別である動きベクトル値をもとに、双予測の動き情報を算出する
。候補ブロックの予測種別がＬ０予測もしくはＬ１予測の単予測の場合には、予測に用い
られている予測種別（Ｌ０予測或いはＬ１予測）の動き情報を選択し、その参照画像指定
情報と動きベクトル値を双予測動き情報生成の基準値とする。
Next, the motion vector value to be registered in the combined motion information candidate is determined based on the motion information of the candidate block (S2503). In the first embodiment, the temporally coupled motion information calculates bi-prediction motion information based on motion vector values that are effective prediction types in motion information of candidate blocks. When the prediction type of the candidate block is L0 prediction or L1 prediction single prediction, motion information of the prediction type (L0 prediction or L1 prediction) used for prediction is selected, and its reference image designation information and motion vector value are selected. Is a reference value for generating bi-predictive motion information.
候補ブロックの予測種別が双予測である場合には、Ｌ０予測或いはＬ１予測のどちらか
一方の動き情報を基準値として選択する。基準値の選択方法は、例えばＣｏｌＰｉｃと同
じ予測種別に存在する動き情報を選択する、候補ブロックのＬ０予測、Ｌ１予測のそれぞ
れの参照画像でＣｏｌＰｉｃとの画像間距離が近い方を選択する、符号化側で選択してシ
ンタックスで明示的に伝送する等が挙げられる。
If the prediction type of the candidate block is bi-prediction, motion information of either L0 prediction or L1 prediction is selected as a reference value. The reference value selection method selects, for example, motion information existing in the same prediction type as ColPic, and selects a reference image having a shorter inter-image distance from ColPic in each of L0 prediction and L1 prediction of a candidate block. For example, it is possible to select the transmission side and explicitly transmit the syntax.
双予測動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登
録する動きベクトル値を算出する。
When the motion vector value used as a reference for bi-predictive motion information generation is determined, a motion vector value to be registered in the combined motion information candidate is calculated.
図２６は、時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予
測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明
するための図である。
FIG. 26 is a diagram for explaining a calculation method of motion vector values mvL0t and mvL1t registered for the L0 prediction and the L1 prediction with respect to the reference motion vector value ColMv for the temporally combined motion information.
基準動きベクトル値ＣｏｌＭｖに対するＣｏｌＰｉｃと候補ブロックの基準とする動き
ベクトルの対象となる参照画像との画像間距離をＣｏｌＤｉｓｔとする。Ｌ０予測、Ｌ１
予測の各参照画像と処理対象画像との画像間距離をＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１
Ｄｉｓｔとする。ＣｏｌＭｖを、ＣｏｌＤｉｓｔとＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１
Ｄｉｓｔの距離比率でスケーリングした動きベクトルを、それぞれに登録する動きベクト
ルとする。具体的には、登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔは、下記式１、
２で算出される。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式１）
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式２）
となる。
The distance between images between ColPic for the reference motion vector value ColMv and the reference image that is the target of the motion vector used as a reference for the candidate block is defined as ColDist. L0 prediction, L1
The inter-image distance between each prediction reference image and the processing target image is set to CurrL0Dist, CurrL1.
Let it be Dist. ColMv, ColDist, CurrL0Dist, CurrL1
The motion vector scaled by the distance ratio of Dist is set as a motion vector to be registered for each. Specifically, the motion vector values mvL0t and mvL1t to be registered are expressed by the following
2 is calculated.
mvL0t = mvCol × CurrL0Dist / ColDist (Formula 1)
mvL1t = mvCol × CurrL1Dist / ColDist (Formula 2)
It becomes.
図２５に戻り、このようにして生成された、双予測の参照画像選択情報（インデックス
）と、動きベクトル値を結合動き情報候補に追加し（Ｓ２５０４）、時間結合動き情報候
補リスト作成処理が終了する。
Returning to FIG. 25, the bi-predicted reference image selection information (index) and the motion vector value generated in this way are added to the combined motion information candidates (S2504), and the temporal combined motion information candidate list creation process ends. To do.
続いて、第１結合動き情報候補リスト追加部１６０３の詳細な動作について説明する。
図２７は、第１結合動き情報候補リスト追加部１６０３の動作を説明するためのフローチ
ャートである。最初に、時間結合動き情報候補リスト生成部１６０２より供給される結合
動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結
合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報
候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式３より算出する（Ｓ２７０
０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>１)
MaxNumGenCand=0; (NumCandList<=1) （式３）
Next, a detailed operation of the first combined motion information candidate
FIG. 27 is a flowchart for explaining the operation of the first combined motion information candidate
0).
MaxNumGenCand = MaxNumMergeCand-NumCandList; (NumCandList> 1)
MaxNumGenCand = 0; (NumCandList <= 1) (Formula 3)
次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ２７０１）。Ｍａｘ
ＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ２７０１：ＮＯ）、処理を終了する。
ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ２７０１：ＹＥＳ）、以下の処理を
行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍ
ｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐ
Ｔｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ２７０２）。こ
こで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の
処理を繰り返し行う（Ｓ２７０２からＳ２７０８）。
Next, it is inspected whether MaxNumGenCand is larger than 0 (S2701). Max
If NumGenCand is not greater than 0 (S2701: NO), the process ends.
If MaxNumGenCand is greater than 0 (S2701: YES), the following processing is performed. First, loopTimes that is the number of combination inspections is determined. loopTim
es is set to NumCandList × NumCandList. However, loop
If Times exceeds 8, loopTimes is limited to 8 (S2702). Here, loopTimes is an integer from 0 to 7. The following processing is repeatedly performed for loopTimes (S2702 to S2708).
結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ２７０３）。こ
こで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説
明する。
A combination of the combined motion information candidate M and the combined motion information candidate N is determined (S2703). Here, the relationship between the number of combination inspections, the combined motion information candidate M, and the combined motion information candidate N will be described.
図２８は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明
するための図である。図２８のようにＭとＮは異なる値であって、まずＭを０に固定して
Ｎの値を１〜４（最大値はNumCandList）に変化させ、その後、Ｎの値を０に固定してＭ
の値を１〜４（最大値はNumCandList）に変化させる。このような組み合わせ定義は、最
も選択される確率の高い動き情報である結合動き情報候補リスト内で最初の動き情報を有
効に活用しつつ、実際には組み合わせテーブルを持たずに計算で組み合わせパターンを算
出できる効果がある。
FIG. 28 is a diagram for explaining the relationship between the number of combination tests, the combined motion information candidate M, and the combined motion information candidate N. As shown in FIG. 28, M and N are different values. First, M is fixed to 0, the value of N is changed to 1 to 4 (the maximum value is NumCandList), and then the value of N is fixed to 0. M
Is changed to 1 to 4 (the maximum value is NumCandList). Such a combination definition makes effective use of the first motion information in the combined motion information candidate list, which is the motion information with the highest probability of being selected, and actually calculates the combination pattern without having a combination table. There is an effect that can be calculated.
結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であ
るか検査する（Ｓ２７０４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報
候補ＮのＬ１予測が有効であれば（Ｓ２７０４：ＹＥＳ）、結合動き情報候補ＭのＬ０予
測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像
と組み合わせて双結合動き情報候補を生成する（Ｓ２７０５）。結合動き情報候補ＭのＬ
０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ２７０４：ＮＯ
）、次の組み合わせを処理する。ここで、第１追加結合動き情報候補として、Ｌ０予測の
動き情報とＬ１予測が同一である場合があり、動き補償を双予測で行ってもＬ０予測もし
くはＬ１予測の単予測と同じ結果が得られるため、Ｌ０予測の動き情報とＬ１予測の動き
情報が同一である追加結合動き情報候補生成は、動き補償予測の演算量を増加させる要因
となる。そのため、通常は、Ｌ０予測の動き情報とＬ１予測の動き情報が同一であるかど
うか比較し、同一でない場合にのみ、第１追加結合動き情報候補とする。
It is checked whether the L0 prediction of the combined motion information candidate M is valid and the L1 prediction of the combined motion information candidate N is valid (S2704). If the L0 prediction of the combined motion information candidate M is valid and the L1 prediction of the combined motion information candidate N is valid (S2704: YES), the combined motion information candidate uses the motion vector of the L0 prediction of the combined motion information candidate M and the reference image. A combined motion information candidate is generated by combining the motion vector of N L1 predictions and the reference image (S2705). L of combined motion information candidate M
If 0 prediction is not valid and L1 prediction of the combined motion information candidate N is not valid (S2704: NO)
), Process the next combination. Here, as the first additional combined motion information candidate, the motion information of the L0 prediction and the L1 prediction may be the same, and even if motion compensation is performed by bi-prediction, the same result as the single prediction of the L0 prediction or the L1 prediction is obtained. Therefore, the additional combined motion information candidate generation in which the motion information of the L0 prediction and the motion information of the L1 prediction are the same is a factor that increases the amount of calculation of the motion compensation prediction. For this reason, normally, whether or not the motion information of the L0 prediction and the motion information of the L1 prediction are the same is compared, and only when the motion information is not the same, it is determined as the first additional combined motion information candidate.
ステップＳ２７０５に続いて、双結合動き情報候補を結合動き情報候補リストに追加す
る（Ｓ２７０６）。ステップＳ２７０６に続いて、生成した双結合動き情報の数がＭａｘ
ＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ２７０７）。生成された双結合動き情報の数
がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ２７０７のＹＥＳ）、処理を終了する。生成
された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ２７０７のＮＯ
）、次の組み合わせを処理する。
Subsequent to step S2705, a double-coupled motion information candidate is added to the combined motion information candidate list (S2706). Subsequent to step S2706, the number of generated double coupled motion information is Max.
It is inspected whether it is NumGenCand (S2707). If the number of generated double coupled motion information is MaxNumGenCand (YES in S2707), the process ends. If the number of generated double coupled motion information is not MaxNumGenCand (NO in S2707)
), Process the next combination.
ここで、第１追加結合動き情報候補は、結合動き情報候補リストに登録された結合動き
情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動
き情報候補リストに登録された結合動き情報候補の動き情報を修正して有効な結合動き情
報候補を生成することで、符号化効率を高めることができる。
Here, the first additional combined motion information candidate is a combined motion information candidate when there is a slight difference between the motion information of the combined motion information candidate registered in the combined motion information candidate list and the motion information candidate motion to be processed. Coding efficiency can be improved by correcting the motion information of the combined motion information candidates registered in the list to generate effective combined motion information candidates.
続いて、第２結合動き情報候補リスト追加部１６０４の詳細な動作について説明する。
図２９は、第２結合動き情報候補リスト追加部１６０４の動作を説明するためのフローチ
ャートである。最初に、第１結合動き情報候補リスト追加部１６０３より供給される結合
動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結
合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報
候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式４より算出する（Ｓ２９０
０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; （式４）
Next, the detailed operation of the second combined motion information candidate
FIG. 29 is a flowchart for explaining the operation of the second combined motion information candidate
0).
MaxNumGenCand = MaxNumMergeCand-NumCandList; (Formula 4)
次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ２９０
１からＳ２９０５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる
。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動
きベクトルが（０，０）、参照インデックスがｉである予測種別が双予測である第２追加
結合動き情報候補を生成する（Ｓ２９０２）。第２追加結合動き情報候補を結合動き情報
候補リストに追加する（Ｓ２９０３）。次のｉについて処理する（Ｓ２９０４）。
Next, the following process is repeated MaxNumCand times for i (S290).
1 to S2905). Here, i is an integer from 0 to MaxNumGenCand-1. The second additional combined motion in which the motion vector for L0 prediction is (0,0), the reference index is i, the motion vector for L1 prediction is (0,0), and the prediction type is i for the reference index is bi-prediction. Information candidates are generated (S2902). The second additional combined motion information candidate is added to the combined motion information candidate list (S2903). The next i is processed (S2904).
ここでは、第２追加結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照
インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスが
ｉである予測種別が双予測である結合動き情報候補とした。これは、一般的な動画像にお
いて、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情
報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合
動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば
、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０
）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設
定してもよい。また、第２追加結合動き情報候補を符号化済みの画像や符号化済みの画像
の一部の発生頻度の高い動き情報とし、符号化ストリームに符号化して伝送して設定する
こともできる。なお、ここではＢピクチャ（Ｂスライス）について説明したが、Ｐピクチ
ャ（Ｐスライス）の場合は、Ｌ０予測の動きベクトルが（０，０）で、予測種別がＬ０予
測である第２追加結合動き情報候補を生成する。
Here, the second additional combined motion information candidate has a motion vector for L0 prediction of (0, 0), a reference index of i, a motion vector of L1 prediction of (0, 0), and a reference index of i. The combined motion information candidate whose prediction type is bi-prediction was used. This is because, in a general moving image, the frequency of occurrence of combined motion information candidates in which the motion vector for L0 prediction and the motion vector for L1 prediction are (0, 0) is statistically high. The present invention is not limited to this as long as it is a combined motion information candidate that is statistically frequently used without depending on the motion information of the combined motion information candidate registered in the combined motion information candidate list. For example, the motion vectors of L0 prediction and L1 prediction are (0, 0
) Vector values other than () may be used, and the L0 prediction and the L1 prediction may have different reference indices. Alternatively, the second additional combined motion information candidate can be set as an encoded image or motion information with a high occurrence frequency of a part of the encoded image, encoded in an encoded stream, and transmitted. Although the B picture (B slice) has been described here, in the case of the P picture (P slice), the second additional combined motion in which the motion vector for L0 prediction is (0, 0) and the prediction type is L0 prediction. Generate information candidates.
ここで、第２追加結合動き情報候補として、Ｌ０予測の参照画像とＬ１予測の参照画像
が同一である場合、第１追加結合動き情報候補リスト生成部と同様に、動き補償を双予測
で行ってもＬ０予測もしくはＬ１予測の単予測と同じ結果が得られため、Ｌ０予測の参照
画像とＬ１予測の参照画像が同一である追加結合動き情報候補生成は、動き補償予測の演
算量を増加させる要因となる。しかし、本発明の実施の形態では後述する動き補償部で一
括して双予測を単予測に変換する処理を行うため、第２追加結合動き情報候補リスト追加
部でのＬ０予測の動き情報とＬ１予測の動き情報の同一性判断を行う必要はなく演算量が
削減できる。
Here, when the reference image for L0 prediction and the reference image for L1 prediction are the same as the second additional combined motion information candidate, motion compensation is performed by bi-prediction in the same manner as the first additional combined motion information candidate list generation unit. However, since the same result as the single prediction of the L0 prediction or the L1 prediction is obtained, the additional combined motion information candidate generation in which the reference image of the L0 prediction and the reference image of the L1 prediction are the same increases the calculation amount of the motion compensation prediction. It becomes a factor. However, in the embodiment of the present invention, the motion compensation unit to be described later performs a process of collectively converting bi-prediction into single prediction, so that the motion information and L1 of the L0 prediction in the second additional combined motion information candidate list adding unit It is not necessary to determine the identity of predicted motion information, and the amount of calculation can be reduced.
ここで、第２追加結合動き情報候補として結合動き情報候補リストに登録された結合動
き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに
登録された結合動き情報候補が０個である場合に、結合予測モードを利用することを可能
とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録され
た結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、新たな
結合動き情報候補を生成して選択肢の幅を広げることで、符号化効率を向上させることが
できる。
Here, by setting a combined motion information candidate that does not depend on the combined motion information candidate registered in the combined motion information candidate list as the second additional combined motion information candidate, the combined motion information candidate registered in the combined motion information candidate list When the number is zero, it is possible to use the joint prediction mode and improve the encoding efficiency. In addition, when the motion information of the combined motion information candidate registered in the combined motion information candidate list and the motion information candidate motion to be processed are different, by generating a new combined motion information candidate and expanding the range of options, Encoding efficiency can be improved.
図３０は、図１７のステップＳ１７０３における結合動き情報候補単予測変換処理の詳
細動作を説明するためのフローチャートである。最初に、結合動き情報候補リスト生成処
理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると
、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理
を繰り返し行う（Ｓ３０００からＳ３００５）。
FIG. 30 is a flowchart for explaining detailed operation of the combined motion information candidate single prediction conversion process in step S1703 of FIG. First, if the number of combined motion information candidate lists generated by the combined motion information candidate list generation process is num_of_index, the following processing is repeated for combined motion information candidates from i = 0 to num_of_index-1 (from S3000). S3005).
先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（
Ｓ３００１）。続いて、動き情報の予測種別が単予測である場合（Ｓ３００２：ＹＥＳ）
、そのままインデックスｉに格納された動き情報に対しての処理を終了し、次のインデッ
クスに進む（Ｓ３００５）。
First, the motion information stored in the index i is acquired from the combined motion information candidate list (
S3001). Subsequently, when the prediction type of motion information is simple prediction (S3002: YES)
Then, the process for the motion information stored in the index i is finished as it is, and the process proceeds to the next index (S3005).
動き情報が単予測でない場合、つまり動き情報が双予測である場合（Ｓ３００２：ＮＯ
）には、双予測の動き情報を単予測に変換するために、インデックスｉに格納された動き
情報のＬ１情報を無効にする（Ｓ３００３）。実施の形態１においては、このようにＬ１
情報を無効にすることで双予測の動き情報をＬ０予測の単予測に変換させているが、逆に
Ｌ０情報を無効にして、双予測の動き情報をＬ１予測の単予測に変換させることも可能で
あり、暗黙に単予測に変換する際の無効にする予測種別を定義することで実現できる。
When the motion information is not uni-prediction, that is, when the motion information is bi-prediction (S3002: NO)
), The L1 information of the motion information stored in the index i is invalidated in order to convert the motion information of bi-prediction into single prediction (S3003). In the first embodiment, L1 is thus obtained.
The motion information of bi-prediction is converted to single prediction of L0 prediction by invalidating the information, but conversely, the motion information of bi-prediction may be converted to single prediction of L1 prediction by invalidating L0 information. This is possible and can be realized by defining a prediction type to be invalidated when implicitly converted to single prediction.
次に、単予測に変換したインデックスｉの動き情報を格納し（Ｓ３００４）、次のイン
デックスに進む（Ｓ３００５）。ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動
き情報候補について処理を行い、結合動き情報候補単予測変換処理が終了する。
Next, the motion information of index i converted to single prediction is stored (S3004), and the process proceeds to the next index (S3005). The combined motion information candidates from i = 0 to num_of_index-1 are processed, and the combined motion information candidate single prediction conversion process is completed.
実施の形態１において、予測ブロックサイズによる結合動き情報の双予測制限は、結合
動き情報候補リストを一旦生成した後に、図３０のフローチャートに示す結合動き情報候
補の単予測変換処理を行っている。結合動き情報の単予測変換処理に関しては、結合動き
情報候補生成処理である図１８のフローチャートで示される処理の内部で、候補生成毎に
判断を加えて、単予測の結合動き情報候補リストを生成することも可能であるが、その場
合には、予測ブロックサイズによる条件判断が各処理に入ることになり、処理が複雑にな
り、リスト構築処理の負荷が増大する。実施の形態１では、一旦リストを構築した後に単
予測への動き情報の変換処理を施すことで、リスト構築処理の負荷増大を防いだ、双予測
の制限処理を実現できる効果を有する。
In the first embodiment, the combined motion information bi-prediction restriction based on the prediction block size is performed after the combined motion information candidate list is generated once and then the combined motion information candidate single prediction conversion process shown in the flowchart of FIG. 30 is performed. With regard to the combined motion information single prediction conversion process, a determination is made for each candidate generation within the process shown in the flowchart of FIG. 18 which is a combined motion information candidate generation process, and a combined motion information candidate list for single prediction is generated. However, in this case, the condition judgment based on the predicted block size enters each process, which complicates the process and increases the load of the list construction process. The first embodiment has an effect of realizing a bi-prediction restriction process that prevents an increase in the load of the list building process by performing a process of converting motion information into a single prediction after building a list once.
図３１は、図１１のステップＳ１７０２における結合予測モード評価値生成処理の詳細
動作を説明するためのフローチャートである。この動作は、図１５の結合動き補償予測生
成部１５０８を用いた構成の詳細動作を示している。
FIG. 31 is a flowchart for explaining the detailed operation of the combined prediction mode evaluation value generation process in step S1702 of FIG. This operation shows a detailed operation of the configuration using the combined motion compensation
最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデッ
クスを初期化（例えば、−１などのリスト外の値）する（Ｓ３１００）。結合動き情報候
補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎ
ｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補につ
いて以下の処理を繰り返し行う（Ｓ３１０１からＳ３１０９）。
First, the prediction error evaluation value is set to the maximum value, and the combined motion information index that minimizes the prediction error is initialized (for example, a value outside the list such as −1) (S3100). The number of combined motion information candidate lists generated by the combined motion information candidate list generation process is set to num_of_in.
If dex is assumed, the following processing is repeatedly performed for the combined motion information candidates from i = 0 to num_of_index-1 (S3101 to S3109).
先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（
Ｓ３１０２）。続いて動き情報符号量を算出する（Ｓ３１０３）。結合予測モードにおい
ては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスの
みが動き情報符号量となる。
First, the motion information stored in the index i is acquired from the combined motion information candidate list (
S3102). Subsequently, a motion information code amount is calculated (S3103). In the joint prediction mode, since only the joint motion information index is encoded, only the joint motion information index becomes the motion information code amount.
結合動き情報インデックスの符号列としては、実施の形態１では、Ｔｒｕｎｃａｔｅｄ
Ｕｎａｒｙ符号列を用いる。図３２は、結合動き情報候補数が５の場合のＴｒｕｎｃａ
ｔｅｄ Ｕｎａｒｙ符号列を示す図である。Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用
いて結合動き情報インデックスの値を符号化する場合には、結合動き情報インデックスが
小さいほど、結合動き情報インデックスに割り当てられる符号ビットが小さくなる。例え
ば、結合動き情報候補数が５個である場合、結合動き情報インデックスが１であれば'１
０'の２ビットで表現されるが、結合動き情報インデックスが３であれば'１１１０'の４
ビットで表現される。なお、ここでは上記のように結合動き情報インデックスの符号化に
Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を利用しているが、他の符号列生成手法を用いる
ことも可能であり、これに限定されない。
In the first embodiment, the code sequence of the combined motion information index is Truncated.
An Unary code string is used. FIG. 32 shows the trunk when the number of combined motion information candidates is 5
It is a figure which shows a ted Unary code sequence. When the value of the combined motion information index is encoded using the Truncated Unary code string, the smaller the combined motion information index, the smaller the code bit assigned to the combined motion information index. For example, when the number of combined motion information candidates is 5, if the combined motion information index is 1, '1
It is expressed by 2 bits of 0, but if the combined motion information index is 3, 4 of '1110'
Expressed in bits. Here, as described above, the Truncated Unary code string is used for encoding the combined motion information index, but other code string generation methods can be used, and the present invention is not limited to this.
続いて、動き情報の予測種別が単予測である場合（Ｓ３１０４：ＹＥＳ）、１つの参照
画像に対する参照画像指定情報と動きベクトルを、図１における動き補償予測部１１２に
設定して、動き補償単予測ブロックを生成する（Ｓ３１０５）。動き情報が単予測でない
場合、つまり動き情報が双予測である場合（Ｓ３１０４：ＮＯ）には、２つの参照画像に
対する参照画像指定情報と動きベクトルを動き補償予測部１１２に設定して、動き補償双
予測ブロックを生成する（Ｓ３１０５）。
Subsequently, when the motion information prediction type is single prediction (S3104: YES), the reference image designation information and the motion vector for one reference image are set in the motion
続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、
予測誤差評価値を算出し（Ｓ３１０７）、予測誤差評価値が最小値である場合には評価値
を更新すると共に、予測誤差最小インデックスを更新する（Ｓ３１０８）。
Subsequently, from the prediction error and the motion information code amount of the motion compensated prediction block and the prediction target block,
A prediction error evaluation value is calculated (S3107). When the prediction error evaluation value is the minimum value, the evaluation value is updated and the prediction error minimum index is updated (S3108).
全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測
誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予
測誤差最小値、動き補償予測ブロックと共に出力し（Ｓ３１０９）、結合予測モード評価
値生成処理を終了する。
As a result of comparison of the prediction error evaluation values for all the combined motion information candidates, the selected prediction error minimum index is output together with the prediction error minimum value and the motion compensated prediction block as a combined motion information index used in the combined prediction mode. (S3109), the combined prediction mode evaluation value generation process is terminated.
図３３は、図１７のステップＳ１７０３の予測モード評価値生成処理の詳細動作を説明
するためのフローチャートである。
FIG. 33 is a flowchart for explaining detailed operation of the prediction mode evaluation value generation processing in step S1703 of FIG.
最初に、予測モードが単予測であるか否かを判別する（Ｓ３３００）。図３４に予測ブ
ロックの動き情報に関するシンタックスを示す。図３４中のmerge_flagは結合予測モード
であるかどうかを示し、merge_flagが０の場合が動き検出予測モードを示す。動き検出予
測モードである場合で双予測を用いることが可能なＢスライスの場合、予測種別が単予測
であるか双予測であるかを示すフラグinter_pred_flagを伝送する。ここで、予測ブロッ
クのサイズが双予測制限ブロックサイズ以下である場合にも双予測を禁止せずinter_pred
_flagを伝送する。これは、予測ブロックのサイズが双予測制限ブロックサイズ以下であ
るかどうかに応じてinter_pred_flagを伝送するかどうかを切り替えると、エントロピー
符号化・復号化に条件分岐が必要になるため、処理が複雑になるのを防止するためである
。
First, it is determined whether or not the prediction mode is single prediction (S3300). FIG. 34 shows a syntax regarding motion information of a prediction block. In FIG. 34, merge_flag indicates whether or not the mode is a joint prediction mode, and when merge_flag is 0, the motion detection prediction mode is indicated. In the case of a B slice in which bi-prediction can be used in the motion detection prediction mode, a flag inter_pred_flag indicating whether the prediction type is uni-prediction or bi-prediction is transmitted. Here, bi_prediction is not prohibited even when the size of the prediction block is less than or equal to the bi-prediction restricted block size.
_flag is transmitted. This is because the conditional branch is necessary for entropy coding / decoding when switching whether to transmit inter_pred_flag depending on whether the size of the prediction block is less than or equal to the bi-prediction restricted block size. This is to prevent this from happening.
図３３のフローチャートに戻り、単予測であれば（Ｓ３３００：ＹＥＳ）、処理対象と
する参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（Ｓ３３０１
）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ３３０２）
。
Returning to the flowchart of FIG. 33, if it is single prediction (S3300: YES), the reference image list (LX) to be processed is set as the reference image list used for prediction (S3301).
). If it is not uni-prediction, it is bi-prediction. In this case, LX is set to L0 (S3302).
.
次に、ＬＸ予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得す
る（Ｓ３３０３）。続いて、予測ベクトル候補リストを生成し（Ｓ３３０４）、予測ベク
トルの中から最適予測ベクトルを選択し、差分ベクトルを生成する（Ｓ３３０５）。最適
予測ベクトルの選択手法は、予測ベクトルと伝送する動きベクトルの差分ベクトルを実際
に符号化する際の符号量が最も少ないものを選択することが望ましいが、単純に差分ベク
トルの水平・垂直成分の絶対値の総和が小さいものを選択するなどの手法で、簡易的に算
出してもよい。
Next, reference image designation information (index) and motion vector values for LX prediction are acquired (S3303). Subsequently, a prediction vector candidate list is generated (S3304), an optimal prediction vector is selected from the prediction vectors, and a difference vector is generated (S3305). It is desirable to select the optimal prediction vector with the least amount of code when the difference vector between the prediction vector and the motion vector to be transmitted is actually encoded. However, the horizontal and vertical components of the difference vector are simply selected. The calculation may be simplified by a method such as selecting one having a small absolute sum.
続いて、再度予測モードが単予測である否かを判別し（Ｓ３３０６）、予測モードが単
予測であればステップＳ３３１１に進む。単予測でない、すなわち、双予測であれば、処
理対象の参照リストＬＸがＬ１か否かを判定する（Ｓ３３０７）。参照リストＬＸがＬ１
であれば、ステップＳ３３１１に進み、Ｌ１でない、すなわちＬ０の場合には、予測ブロ
ックサイズがbipred_restriction_size以下である場合（Ｓ３３０８：ＹＥＳ）には、Ｌ
１予測に対する情報を算出せず、予測モードを単予測に変換し（Ｓ３３１０）、ステップ
Ｓ３３１１に進む。
Subsequently, it is determined again whether or not the prediction mode is single prediction (S3306). If the prediction mode is single prediction, the process proceeds to step S3311. If it is not uni-prediction, that is, if it is bi-prediction, it is determined whether or not the reference list LX to be processed is L1 (S3307). Reference list LX is L1
If so, the process proceeds to step S3311, and if it is not L1, that is, if it is L0, if the predicted block size is equal to or smaller than bipred_restriction_size (S3308: YES), L
Without calculating information for one prediction, the prediction mode is converted to single prediction (S3310), and the process proceeds to step S3311.
予測ブロックサイズがbipred_restriction_sizeより大きい場合（Ｓ３３０８：ＮＯ）
には、ＬＸをＬ１として（Ｓ３３０９）、ステップＳ３３０３からステップＳ３３０６ま
での処理と同じ処理が行われる。
When the predicted block size is larger than bipred_restriction_size (S3308: NO)
In this case, LX is set to L1 (S3309), and the same processing as the processing from step S3303 to step S3306 is performed.
実施の形態１においては、復号装置において、図３４に示された予測ブロックの動き情
報に関するシンタックスに従い復号を行った場合に、予測ブロックサイズに対する双予測
制限時に対象となる予測ブロックサイズで双予測の動き情報が復号されないように、ステ
ップＳ３３０８及びステップＳ３３１０の処理を用いて、予測モード評価値生成処理で双
予測を制限する構成を取っている。
In the first embodiment, when decoding is performed according to the syntax related to motion information of the prediction block shown in FIG. 34 in the decoding apparatus, bi-prediction is performed with the target prediction block size when bi-prediction restriction is performed on the prediction block size. In order to prevent the motion information from being decoded, the process of steps S3308 and S3310 is used to limit the bi-prediction in the prediction mode evaluation value generation process.
動きベクトル検出時に、双予測を想定した動きベクトル検出を行った場合には、単予測
で用いられる動きベクトル情報と、上記ステップにおいて双予測を制限することで生成さ
れた単予測の動きベクトル情報が異なる場合があるため、単予測の新たな動き情報候補が
登録されることで、単純に双予測の動き情報を使用しないように制限した場合よりも、符
号化効率を向上させることができる。
When motion vector detection assuming bi-prediction is performed at the time of motion vector detection, motion vector information used in single prediction and motion vector information of single prediction generated by restricting bi-prediction in the above step are Since there may be different cases, by registering a new motion information candidate for uni-prediction, it is possible to improve the encoding efficiency as compared with the case where the motion information for bi-prediction is simply not used.
続いて、動き情報符号量を算出する（Ｓ３３１１）。単予測モードの場合に、符号化す
る動き情報としては、１つの参照画像に対する、参照画像指定情報、差分ベクトル値、及
び予測ベクトルインデックスの３要素、双予測モードの場合には、Ｌ０とＬ１の２つの参
照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの
計６要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。本
実施の形態における予測ベクトルインデックスの符号列生成手法としては、結合動き情報
インデックスの符号列と同様にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いるものとす
る。
Subsequently, a motion information code amount is calculated (S3311). In the case of the uni-prediction mode, the motion information to be encoded includes three elements of reference image designation information, a difference vector value, and a prediction vector index for one reference image. In the case of the bi-prediction mode, L0 and L1 The reference image designation information, the difference vector value, and the prediction vector index for the two reference images are a total of six elements, and the total amount of the encoded amount is calculated as the motion information code amount. As a prediction vector index code string generation method according to the present embodiment, a Trunked Unary code string is used in the same manner as the combined motion information index code string.
続いて、参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予
測部１１２に設定して、動き補償予測ブロックを生成する（Ｓ３３１２）。
Subsequently, the reference image designation information and the motion vector for the reference image are set in the motion compensated
さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、
予測誤差評価値を算出し（Ｓ３３１３）、予測誤差評価値と、参照画像に対する動き情報
である、参照画像指定情報と差分ベクトル値と予測ベクトルインデックスを動き補償予測
ブロックと共に出力し（Ｓ３３１４）、予測モード評価値生成処理を終了する。
Furthermore, from the prediction error and the motion information code amount of the motion compensated prediction block and the prediction target block,
The prediction error evaluation value is calculated (S3313), the prediction error evaluation value, the reference image designation information, the difference vector value, and the prediction vector index, which are motion information for the reference image, are output together with the motion compensated prediction block (S3314). The mode evaluation value generation process is terminated.
以上の処理が、実施の形態１における動画像符号化装置における動き補償予測ブロック
構造選択部１１３の詳細動作となる。
The above process is the detailed operation of the motion compensated prediction block
本発明の実施の形態１において、動き補償予測におけるメモリアクセス量を制限するた
めの制御パラメータである、図１０に示した、inter_4x4_enable及びinter_bipred_restr
iction_idcを、復号装置で認識するために伝送するシンタックスの一例を図３５に示す。
In
An example of the syntax for transmitting iction_idc for recognition by the decoding apparatus is shown in FIG.
図３５においては、図１０に示した制御パラメータ値をそのまま、シーケンスや画像単
位で設定するヘッダ情報の一部として伝送する構成を取っている。一例では、シーケンス
単位のパラメータを伝送するｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）の内部
において伝送され、図３に示す最小ＣＵサイズに対する情報がlog2_min_coding_block_si
ze_minus3で８を基準とした（８×８を示す）２のべき乗値で定義され、最大ＣＵサイズ
（実施の形態１における符号化ブロックサイズ）が最大ＣＵ分割数（Max_CU_Depth）を示
す値となるlog2_diff_max_min_coding_block_sizeとして、伝送される。
In FIG. 35, the control parameter values shown in FIG. 10 are transmitted as they are as part of the header information set for each sequence or image. In one example, it is transmitted inside seq_parameter_set_rbsp () that transmits parameters in sequence units, and information on the minimum CU size shown in FIG. 3 is log2_min_coding_block_si.
log2_diff_max_min_coding_block_size defined as a power of 2 with ze_minus3 as a reference (indicating 8 × 8), and the maximum CU size (coding block size in the first embodiment) is a value indicating the maximum number of CU divisions (Max_CU_Depth) As transmitted.
inter_4x4_enableは、inter_4x4_enable_flagとして、log2_min_coding_block_size_mi
nus3が０すなわち最小ＣＵサイズが８×８の場合にのみ伝送されることで、inter_4x4_en
ableによる制御が有効な条件の時にのみ制御パラメータを送ることで、無効な制御情報の
伝送を防ぐことができる。一方、inter_bipred_restriction_idcに関しては、最小ＣＵサ
イズが１６×１６の場合においても制御に必要となるため、常に伝送される構成を取る。
inter_4x4_enable is a log2_min_coding_block_size_mi as inter_4x4_enable_flag
By transmitting only when nus3 is 0, that is, when the minimum CU size is 8 × 8, inter_4x4_en
By transmitting the control parameter only when the control by able is valid, it is possible to prevent transmission of invalid control information. On the other hand, since inter_bipred_restriction_idc is necessary for control even when the minimum CU size is 16 × 16, a configuration in which it is always transmitted is adopted.
実施の形態１においては、これらの制御パラメータ値をシーケンス単位のパラメータで
符号化伝送する構成を示したが、フレーム単位等の所定符号化ブロック単位以上の間隔で
設定を変更させることも可能であり、シーケンス単位での制御パラメータ構成に制限され
ることはなく、所定単位に制御パラメータを復号装置が取得できることが、実施の形態１
における構成の特徴である。
In the first embodiment, a configuration is shown in which these control parameter values are encoded and transmitted using parameters in sequence units. However, it is also possible to change the setting at intervals of a predetermined encoded block unit or more such as a frame unit.
It is the characteristic of the structure in.
［実施の形態１における動画像復号装置における動き情報復号部の詳細動作説明］
図３６は、図１１に示した実施の形態１の動画像復号装置における動き情報復号部１１
１１の詳細な構成を示す図である。動き情報復号部１１１１は、動き情報ビットストリー
ム復号部３６００、予測ベクトル算出部３６０１、ベクトル加算部３６０２、動き補償予
測復号部３６０３、結合動き情報算出部３６０４、結合動き情報単予測変換部３６０５、
及び結合動き補償予測復号部３６０６を含む。
[Detailed Operation Description of Motion Information Decoding Unit in Moving Picture Decoding Device in Embodiment 1]
FIG. 36 shows the motion information decoding unit 11 in the video decoding device in the first embodiment shown in FIG.
11 is a diagram showing a detailed configuration of 11. FIG. The motion
And a joint motion compensated
図１１における動き情報復号部１１１１に対して、予測モード／ブロック構造復号部１
１０８より入力された動き情報に関するビットストリームが、動き情報ビットストリーム
復号部３６００に供給され、予測モード情報メモリ１１１２より入力された動き情報が、
予測ベクトル算出部３６０１、及び結合動き情報算出部３６０４に供給される。
In contrast to the motion
The bit stream regarding the motion information input from 108 is supplied to the motion information bit
The prediction
また、動き情報復号部１１１１に対して、動き補償予測復号部３６０３、及び結合動き
補償予測復号部３６０６から、動き補償予測に用いる参照画像指定情報と動きベクトルが
出力され、予測種別を示す情報を含めた復号された動き情報が、動き補償予測部１１１４
及び予測モード情報メモリ１１１２に供給される。
Also, reference image designation information and motion vectors used for motion compensation prediction are output from the motion compensation
And supplied to the prediction
動き情報ビットストリーム復号部３６００は、入力された動き情報ビットストリームを
符号化シンタックスに従って復号していくことで、伝送された予測モードと、予測モード
に応じた動き情報を生成する。生成した動き情報の中で、結合動き情報インデックスは、
結合動き補償予測復号部３６０６に供給され、参照画像指定情報が予測ベクトル算出部３
６０１に供給され、予測ベクトルインデックスがベクトル加算部３６０２に供給され、差
分ベクトル値がベクトル加算部３６０２に供給される。
The motion information
This is supplied to the joint motion compensation
601, the prediction vector index is supplied to the
予測ベクトル算出部３６０１は、予測モード情報メモリ１１１２より供給された隣接ブ
ロックの動き情報と、動き情報ビットストリーム復号部３６００より供給された参照画像
指定情報から、動き補償予測の対象となる参照画像に対する予測ベクトル候補リストを生
成し、参照画像指定情報と共にベクトル加算部３６０２に供給する。予測ベクトル算出部
３６０１の動作に関しては、動画像符号化装置における図１５の予測ベクトル算出部１５
０２と同一の動作が行われ、符号化時の予測ベクトル候補リストと同一の候補リストが生
成される。
The prediction
The same operation as 02 is performed, and a candidate list identical to the prediction vector candidate list at the time of encoding is generated.
ベクトル加算部３６０２は、予測ベクトル算出部３６０１より供給された予測ベクトル
候補リスト及び参照画像指定情報と、動き情報ビットストリーム復号部３６００から供給
された予測ベクトルインデックス及び差分ベクトルより、予測ベクトルインデックスで示
された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予
測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル
値は、参照画像指定情報と共に、動き補償予測復号部３６０３に供給される。
The
動き補償予測復号部３６０３は、ベクトル加算部２６０２より参照画像に対する、再生
された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情
報を動き補償予測部１１１４に設定することで、動き補償予測信号を生成する。
The motion compensation
結合動き情報算出部３６０４は、予測モード情報メモリ１１１２から供給される隣接ブ
ロックの動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリ
スト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値を、結合
動き情報単予測変換部３６０５に供給する。
The combined motion
結合動き情報算出部３６０４の動作に関しては、動画像符号化装置における図１５の結
合動き情報算出部１５０６と同一の動作が行われ、符号化時の結合動き情報候補リストと
同一の候補リストが生成される。
Regarding the operation of the combined motion
結合動き情報単予測変換部３６０５では、動画像符号化装置における図１５の結合動き
情報単予測変換部１５０７と同一の動作が行われ、結合動き情報算出部３６０４より供給
される結合動き情報候補リスト及び、候補リストに登録される動き情報に対して、図１０
で示される双予測制限情報に従って、予測種別が双予測である動き情報を単予測の動き情
報に変換し、結合動き補償予測復号部３６０６に供給する。
The combined motion information single
The motion information whose prediction type is bi-prediction is converted into motion information of single prediction in accordance with
結合動き補償予測復号部３６０６は、結合動き情報単予測変換部３６０５より供給され
る結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定
情報と動きベクトル値と、動き情報ビットストリーム復号部３６００より供給される結合
動き情報インデックスより、結合動き情報インデックスで示された結合動き情報候補リス
トにおける参照画像指定情報と動きベクトル値を再生し、動き補償予測部１１１４に設定
することで、動き補償予測信号を生成する。
The combined motion compensated
図３７は、図１４のステップＳ１４０２、Ｓ１４０５、Ｓ１４０８、Ｓ１４１０の予測
ブロック単位復号処理の詳細動作を説明するためのフローチャートである。最初に、ＣＵ
単位の符号化ストリームを取得し（Ｓ３７００）、ＣＵ内の予測ブロックサイズ分割モー
ド（ＰＵ）に従って設定されたＮｕｍＰａｒｔに基づき、対象ＣＵ内をＰＵ分割した予測
ブロックサイズ毎に（Ｓ３７０１）、ステップＳ３７０２からステップＳ３７０６までの
ステップが実行される（Ｓ３７０７）。
FIG. 37 is a flowchart for explaining detailed operations of the prediction block unit decoding processing in steps S1402, S1405, S1408, and S1410 of FIG. First, CU
A unit encoded stream is acquired (S3700), and for each predicted block size obtained by performing PU partitioning on the target CU based on NumPart set according to the predicted block size partitioning mode (PU) in the CU (S3701), from step S3702 Steps up to step S3706 are executed (S3707).
ＣＵ単位の符号化ストリームより分離された動き情報の符号化列は、図１１の予測モー
ド／ブロック構造復号部１１０８より動き情報復号部１１１１に供給され、予測モード情
報メモリ１１１２より供給される候補ブロック群の動き情報を用いて、復号対象ブロック
の動き情報を復号する（Ｓ３７０２）。ステップＳ３７０２の処理の詳細については後述
する。
The encoded sequence of motion information separated from the encoded stream of the CU unit is supplied to the motion
分離された予測誤差情報の符号化列は、予測差分情報復号部１１０２に供給され、量子
化された予測誤差信号として復号され、逆量子化・逆変換部１１０３で逆量子化や逆直交
変換などの処理を施されることで、復号予測誤差信号が生成される（Ｓ３７０３）。
The separated coded sequence of prediction error information is supplied to the prediction difference
動き情報復号部１１１１より、復号対象ブロックの動き情報が動き補償予測部１１１４
に供給され、動き補償予測部１１１４は動き情報にしたがって動き補償予測を行い、予測
信号を算出する（Ｓ３７０４）。加算部１１０４は、逆量子化・逆変換部１１０３から供
給された復号予測誤差信号と、動き補償予測部１１１４から予測モード／ブロック構造選
択部１１０９に供給され、更に予測モードで動き補償予測が選択されることで加算部１１
０４に供給された予測信号とを加算し、復号画像信号を生成する（Ｓ３７０５）。
From the motion
The motion
The prediction signal supplied to 04 is added to generate a decoded image signal (S3705).
加算部１１０４より供給された復号画像信号は、フレーム内復号画像バッファ１１０５
に格納されると共に、ループフィルタ部１１０６に供給される。また、動き情報復号部１
１１１より供給された復号対象ブロックの動き情報が予測モード情報メモリ１１１２に格
納される（Ｓ３７０６）。これが、対象ＣＵ内のすべての予測ブロックに対して施される
ことにより、予測ブロック単位の復号処理が終了する。
The decoded image signal supplied from the adding
And is supplied to the
The motion information of the decoding target block supplied from 111 is stored in the prediction mode information memory 1112 (S3706). This is applied to all the prediction blocks in the target CU, thereby completing the decoding process for each prediction block.
図３８は、図３７のステップＳ３７０２の動き情報復号処理の詳細動作を説明するため
のフローチャートである。動き情報ビットストリーム復号部３６００と予測ベクトル算出
部３６０１、及び結合動き情報算出部３６０４により、図３７のステップＳ３７０２の動
き情報復号処理が行われる。
FIG. 38 is a flowchart for explaining the detailed operation of the motion information decoding process in step S3702 of FIG. The motion information decoding process of step S3702 of FIG. 37 is performed by the motion information
動き情報復号処理は、特定のシンタックス構造で符号化された符号化ビットストリーム
より動き情報を復号する処理である。最初に符号化ブロックのＣＵ単位で復号されたＳｋ
ｉｐフラグがＳｋｉｐモードを示している場合（Ｓ３８００：ＹＥＳ）、結合予測動き情
報復号を行う（Ｓ３８０１）。ステップＳ３８０１の詳細処理については、後述する。
The motion information decoding process is a process of decoding motion information from an encoded bit stream encoded with a specific syntax structure. Sk decoded first in CU unit of coding block
When the ip flag indicates the Skip mode (S3800: YES), joint prediction motion information decoding is performed (S3801). Detailed processing in step S3801 will be described later.
一方、Ｓｋｉｐモードでない場合には（Ｓ３８００：ＮＯ）、マージフラグを復号する
（Ｓ３８０２）。マージフラグが１を示している場合（Ｓ３８０３：ＹＥＳ）には、ステ
ップＳ３８０１の結合予測動き情報復号に進む。
On the other hand, when the mode is not the Skip mode (S3800: NO), the merge flag is decoded (S3802). When the merge flag indicates 1 (S3803: YES), the process proceeds to joint prediction motion information decoding in step S3801.
マージフラグが１でない場合（Ｓ３８０３：ＮＯ）、動き予測フラグを復号し（Ｓ３８
０４）、予測動き情報復号を行い（Ｓ３８０５）、処理を終了する。ステップＳ３８０５
の詳細動作については、後述する。
If the merge flag is not 1 (S3803: NO), the motion prediction flag is decoded (S38).
04), predictive motion information decoding is performed (S3805), and the process is terminated. Step S3805
The detailed operation will be described later.
図３９は、図３８のステップＳ３８０１の結合予測動き情報復号処理の詳細動作を説明
するためのフローチャートである。
FIG. 39 is a flowchart for explaining detailed operation of the joint prediction motion information decoding process in step S3801 of FIG.
最初に予測モードに結合予測モードを設定し（Ｓ３９００）、結合動き情報候補リスト
を生成する（Ｓ３９０１）。ステップＳ３９０１の処理は、動画像符号化装置における図
１７のステップＳ１７０１の結合動き情報候補リスト生成処理と同一の処理である。
First, the combined prediction mode is set as the prediction mode (S3900), and a combined motion information candidate list is generated (S3901). The process of step S3901 is the same process as the combined motion information candidate list generation process of step S1701 of FIG. 17 in the video encoding device.
続いて、予測ブロックサイズが、図１０に示した双予測を制限する制御パラメータinte
r_bipred_restriction_idcにより設定される双予測を制限する予測ブロックサイズである
bipred_restriction_size以下である場合（Ｓ３９０２：ＹＥＳ）には、格納された結合
動き情報候補リスト内の各候補における双予測の動き情報を単予測の動き情報に置き換え
る、結合動き情報候補単予測変換を行う（Ｓ３９０３）。この処理では、図３０のフロー
チャートで示した符号化装置における結合動き情報単予測変換処理と同じ処理が施される
。予測ブロックサイズが、bipred_restriction_size以下でない場合（Ｓ３９０２：ＮＯ
）には、ステップＳ３９０４に進む。
Subsequently, the prediction block size is a control parameter inte that limits the bi-prediction shown in FIG.
Prediction block size that restricts bi-prediction set by r_bipred_restriction_idc
If it is equal to or less than bipred_restriction_size (S3902: YES), combined motion information candidate uni-prediction conversion is performed in which the motion information of bi-prediction in each candidate in the stored combined motion information candidate list is replaced with motion information of uni-prediction ( S3903). In this process, the same process as the combined motion information single prediction conversion process in the encoding apparatus shown in the flowchart of FIG. 30 is performed. When the predicted block size is not less than or equal to bipred_restriction_size (S3902: NO)
), The process proceeds to step S3904.
つぎに、結合動き情報インデックスを復号し（Ｓ３９０４）、続いて、結合動き情報候
補リストより、結合動き情報インデックスで示す位置に格納されている動き情報を取得す
る（Ｓ３９０５）。取得する動き情報としては、単予測／双予測を示す予測種別、参照画
像指定情報、動きベクトル値となる。
Next, the combined motion information index is decoded (S3904), and then the motion information stored at the position indicated by the combined motion information index is acquired from the combined motion information candidate list (S3905). The motion information to be acquired includes a prediction type indicating single prediction / bi-prediction, reference image designation information, and a motion vector value.
実施の形態１においては、結合動き情報の双予測から単予測への変換処理は、結合動き
情報のインデックスの値を変更することがないため、復号装置においては復号に必要なイ
ンデックスの結合動き情報にのみ変換処理を行うことも可能であり、その場合には図３９
のステップＳ３９０４及びステップＳ３９０５を行った後に、予測ブロックサイズによる
双予測の制限を行うステップＳ３９０２及びステップＳ３９０３が行われる。
In
After performing Steps S3904 and S3905, Steps S3902 and S3903 for restricting bi-prediction based on the prediction block size are performed.
生成された動き情報は、結合予測モードの動き情報として格納され（Ｓ３９０６）、結
合動き補償予測復号部３６０６に供給される。
The generated motion information is stored as motion information in the joint prediction mode (S3906), and is supplied to the joint motion compensation
図４０は、図３８のステップＳ３８０５の予測動き情報復号処理の詳細動作を説明する
ためのフローチャートである。
FIG. 40 is a flowchart for explaining the detailed operation of the prediction motion information decoding process in step S3805 of FIG.
最初に、予測種別が単予測であるか否かを判別する（Ｓ４０００）。単予測であれば、
処理対象とする参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（
Ｓ４００１）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ
４００２）。
First, it is determined whether or not the prediction type is single prediction (S4000). If it is simple prediction,
A reference image list (LX) to be processed is set as a reference image list used for prediction (
S4001). If it is not uni-prediction, it is bi-prediction. In this case, LX is set to L0 (S
4002).
次に、参照画像指定情報を復号し（Ｓ４００３）、差分ベクトル値を復号する（Ｓ４０
０４）。次に、予測ベクトル候補リストを生成し（Ｓ４００５）、予測ベクトル候補リス
トが１より大きな場合（Ｓ４００６：ＹＥＳ）、予測ベクトルインデックスを復号し（Ｓ
４００７）、予測ベクトル候補リストが１の場合（Ｓ４００６：ＮＯ）、予測ベクトルイ
ンデックスに０を設定する（Ｓ４００８）。
Next, the reference image designation information is decoded (S4003), and the difference vector value is decoded (S40).
04). Next, a prediction vector candidate list is generated (S4005). When the prediction vector candidate list is larger than 1 (S4006: YES), the prediction vector index is decoded (S400).
4007), when the prediction vector candidate list is 1 (S4006: NO), 0 is set to the prediction vector index (S4008).
ここで、ステップＳ４００５では、動画像符号化装置における図３３のフローチャート
のステップＳ３３０４と同様の処理が行われる。
Here, in step S4005, processing similar to that in step S3304 in the flowchart of FIG. 33 in the video encoding device is performed.
次に、予測ベクトル候補リストより、予測ベクトルインデックスで示す位置に格納され
ている動きベクトル値を取得する（Ｓ４００９）。復号した差分ベクトル値と動きベクト
ル値を加算することで動きベクトルを再生する（Ｓ４０１０）。
Next, the motion vector value stored at the position indicated by the prediction vector index is acquired from the prediction vector candidate list (S4009). A motion vector is reproduced by adding the decoded difference vector value and motion vector value (S4010).
続いて、再度予測種別が単予測である否かを判別し（Ｓ４０１１）、予測種別が単予測
であればステップＳ４０１４に進む。単予測でない、すなわち、双予測であれば、処理対
象の参照リストＬＸがＬ１か否かを判定する（Ｓ４０１２）。参照リストＬＸがＬ１であ
れば、ステップＳ４０１４に進み、Ｌ１でない、すなわち、Ｌ０であれば予測ブロックサ
イズがbipred_restrcition_size以下である場合には（Ｓ４０１３：ＹＥＳ）、ステップ
Ｓ４０１６に進み、予測ブロックサイズがbipred_restriction_sizeより大きい場合には
（Ｓ４０１３：ＮＯ）、ＬＸをＬ１として（Ｓ４０１５）、ステップＳ４００３からステ
ップＳ４０１１までの処理と同じ処理が行われる。
Subsequently, it is determined again whether or not the prediction type is single prediction (S4011). If the prediction type is single prediction, the process proceeds to step S4014. If it is not uni-prediction, that is, if it is bi-prediction, it is determined whether or not the reference list LX to be processed is L1 (S4012). If the reference list LX is L1, the process proceeds to step S4014. If it is not L1, that is, if it is L0, the predicted block size is equal to or less than bipred_restrcition_size (S4013: YES), the process proceeds to step S4016, and the predicted block size is bipred_restriction_size. If larger (S4013: NO), LX is set to L1 (S4015), and the same processing as the processing from step S4003 to step S4011 is performed.
予測ブロックサイズがbipred_restrcition_size以下である場合には、双予測の動き補
償が禁止されるため、復号装置におけるメモリアクセス量の制限を確実にするために、伝
送された動き情報を単予測に変換して（Ｓ４０１６）、ステップＳ４０１４に進む。
When the prediction block size is less than or equal to bipred_restrcition_size, bi-prediction motion compensation is prohibited, so the transmitted motion information is converted to single prediction to ensure the memory access amount limit in the decoding device. (S4016), the process proceeds to step S4014.
続いて、生成された動き情報として、単予測の場合には、１つの参照画像に対する参照
画像指定情報と動きベクトル値が、双予測の場合には、２つの参照画像に対する参照画像
指定情報と動きベクトル値が、動き情報として格納され（Ｓ４０１４）、動き補償予測復
号部３６０３に供給される。
Subsequently, as the generated motion information, in the case of single prediction, reference image designation information and motion vector values for one reference image, and in the case of bi-prediction, reference image designation information and motion for two reference images. The vector value is stored as motion information (S4014) and supplied to the motion compensated
実施の形態１における、予測動き情報復号処理においては、符号化時に伝送された動き
情報に対してシンタックスに従って復号を行うため、動画像符号化装置における、図３３
の予測モード評価値生成処理において施しているような、メモリアクセス量の制限を確実
にするために双予測制限に関する条件分岐を行う、ステップＳ４０１３の条件判断及びス
テップＳ４０１６の処理を省略する形態においても実現可能であるが、実施の形態１にお
いては、メモリ帯域の制限を復号装置においても確実にする構成として、図４０のフロー
チャートによる予測動き情報復号処理をとる。
In the prediction motion information decoding process according to the first embodiment, the motion information transmitted at the time of encoding is decoded according to the syntax.
As in the prediction mode evaluation value generation process, the conditional branching regarding the bi-prediction restriction is performed in order to ensure the restriction of the memory access amount, and the condition determination in step S4013 and the process in step S4016 are omitted. Although it is feasible, in
図４１は、図３５に示したような、シーケンス単位のパラメータを伝送するｓｅｑ＿ｐ
ａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）等で、符号化処理／復号処理の最大画像サイズ
もしくは所定時間単位の最大処理画素数を定義するlevel_idcが伝送される場合に、参照
画像のメモリアクセス量の負荷は、最大処理画素数に比例して増大するため、使用可能な
最大処理画素数に連動させて、動き補償予測の予測ブロックサイズと双予測の制限を加え
る構成の一例である。符号化装置で定義され伝送されるlevel_idcに応じて、inter_4x4_e
nable及びinter_bipred_restriction_idcの取り得る値に制限を加えることで、符号化装
置・復号装置の想定される画像サイズに応じたメモリアクセスの制限をかけることが可能
となり、符号化装置及び復号装置の用途に応じて、必要なメモリ帯域を確保できる、処理
負荷及び装置の規模を削減しつつ符号化効率を維持できる符号化装置及び復号装置が実現
できる。
FIG. 41 shows seq_p that transmits parameters in sequence units as shown in FIG.
When level_idc that defines the maximum image size of the encoding / decoding process or the maximum number of processing pixels in a predetermined time unit is transmitted with the parameter_set_rbsp () or the like, the load of the memory access amount of the reference image is the maximum number of processing pixels This is an example of a configuration in which the prediction block size for motion compensation prediction and the restriction for bi-prediction are added in conjunction with the maximum number of usable processing pixels. Depending on the level_idc defined and transmitted by the encoder, inter_4x4_e
By limiting the possible values of nable and inter_bipred_restriction_idc, it is possible to limit the memory access according to the assumed image size of the encoding device / decoding device, depending on the use of the encoding device and decoding device Thus, it is possible to realize an encoding device and a decoding device that can secure the necessary memory bandwidth and can maintain the encoding efficiency while reducing the processing load and the scale of the device.
図４１は、一例としてlevel_idcが６段階に設定されている場合に、少ない画素数の符
号化を想定した条件の場合には、inter_4x4_enableは制約なく（０と１のどちらも設定可
能）、inter_bipred_restriction_idcに対しても定義された値のすべてを設定可能として
いるが、level_idcの増加に伴い、図９で示したメモリアクセス量の大きな予測処理から
段階的に予測ブロックサイズ及び双予測の制限を加えることで、inter_4x4_enable（常に
０のみにする）及びinter_bipred_restriction_idc（取り得る値の最小値を大きくする）
を、最大画像サイズや最大処理画素数と連動して制御することができる。
In FIG. 41, as an example, when level_idc is set to 6 levels, inter_4x4_enable is not restricted (in the case of 0 and 1 can be set) under the condition that encoding with a small number of pixels is assumed, inter_bipred_restriction_idc All of the defined values can be set, but with the increase of level_idc, the prediction block size and bi-prediction restrictions are added step by step from the prediction process with a large memory access amount shown in FIG. , Inter_4x4_enable (always set to 0 only) and inter_bipred_restriction_idc (increase the minimum possible value)
Can be controlled in conjunction with the maximum image size and the maximum number of processed pixels.
また、図４１のように、level_idcを基準に最大画像サイズや最大処理画素数と連動し
てinter_4x4_enableやinter_bipred_restriction_idcの値を、伝送せずに暗黙で制限下の
固定値に設定し、符号化装置・復号装置にて、設定された制限による動き補償予測及び双
予測の制限をおこなうことも可能であり、その場合にはlevel_idcが伝送されることで、
対応したinter_4x4_enableやinter_bipred_restriction_idcの値が復号できる構成になる
。
Further, as shown in FIG. 41, the value of inter_4x4_enable and inter_bipred_restriction_idc is implicitly set to a fixed value under restriction without being transmitted in conjunction with the maximum image size and the maximum number of processed pixels with reference to level_idc. In the decoding device, it is also possible to restrict motion compensation prediction and bi-prediction by the set restriction, in which case level_idc is transmitted,
The corresponding inter_4x4_enable and inter_bipred_restriction_idc values can be decoded.
実施の形態１においては、inter_4x4_enableという４×４予測ブロックサイズの動き補
償予測を禁止する制御パラメータを用いているが、動き補償予測の予測ブロック制限に関
しても、inter_bipred_restriction_idcと同様に、指定された予測ブロックサイズ以下の
ブロックサイズの動き補償予測を禁止する制御パラメータを用いることも可能であり、よ
りメモリアクセス量を細かく制御することを可能にする。
In
実施の形態１において、４×８画素と８×４画素のように、予測ブロックサイズの面積
は同一で水平・垂直の画素数が異なる場合の双予測の制限を、同一基準で行っているが、
一般的に参照画像メモリのアクセス単位が水平方向に４画素や８画素などの複数画素で構
成される場合が多いことを想定し、水平方向の画素数が少ない４×８画素を、よりメモリ
アクセス量が多い予測ブロックサイズであると定義して、動き補償予測や双予測の制限を
加えることも可能であり、より復号装置の構成に適したメモリアクセス量の制御が可能と
なる。
In the first embodiment, bi-prediction restriction is performed on the same basis when the area of the prediction block size is the same and the number of horizontal and vertical pixels is different, such as 4 × 8 pixels and 8 × 4 pixels. ,
Assuming that the access unit of the reference image memory is generally composed of a plurality of pixels such as 4 pixels or 8 pixels in the horizontal direction, 4 × 8 pixels with a small number of pixels in the horizontal direction are more memory accessed. It is possible to define motion block prediction and bi-prediction by defining a large prediction block size, and it is possible to control the memory access amount more suitable for the configuration of the decoding device.
また、実施の形態１において、動き補償予測の効率を向上させるために、図４２に示す
ように、ＣＵ内の分割を更に細かくて左右や上下が非対称の予測ブロックを定義する場合
においても、非対称のブロックに対する、予測ブロックサイズの制限を加えることにより
、段階的なメモリアクセス量の制御が可能である。
Further, in the first embodiment, in order to improve the efficiency of motion compensation prediction, as shown in FIG. 42, even when a prediction block having a more detailed division within the CU and asymmetric left and right and up and down is defined. By adding a restriction on the predicted block size for these blocks, it is possible to control the memory access amount in stages.
図４２に示す、実施の形態１の別構成における、ＣＵの予測ブロックへの分割構成は、
非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×
Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）に加えて、水平方向のみへの上１／４、下３／
４の非対称分割（２Ｎ×ｎＵ）、水平方向のみへの上３／４、下１／４の非対称分割（２
Ｎ×ｎＤ）、垂直方向のみへの左１／４、右３／４の非対称分割（ｎＬ×２Ｎ）、垂直方
向のみへの左３／４、右１／４の非対称分割（ｎＲ×２Ｎ）となっており、水平４画素、
垂直４画素未満の予測ブロックサイズを適用しないように、ＣＵサイズが１６×１６以上
のＣＵにのみ、非対称分割の分割構成が適用可能になっている。
In the different configuration of the first embodiment shown in FIG.
Non-division (2N × 2N), horizontal / vertical division (N × N), horizontal division only (2N ×
N) In addition to the division only in the vertical direction (N × 2N), the upper 1/4, the lower 3 /
4 asymmetric divisions (2N × nU), upper 3/4 horizontal only, lower 1/4 asymmetric division (2
N × nD), left 1/4 in the vertical direction only, right 3/4 asymmetric division (nL × 2N), left in the vertical direction only 3/4, right 1/4 asymmetric division (nR × 2N) 4 pixels horizontally,
In order not to apply a prediction block size of less than 4 vertical pixels, the asymmetric division configuration can be applied only to a CU having a CU size of 16 × 16 or more.
続いて、図４３に図４２の予測ブロック構成における、動き補償予測のブロックサイズ
及び予測処理を制限する制御パラメータの一例を示し、説明する。制御パラメータは、最
も小さなＣＵサイズである８×８ブロックを分割する構成である、４×４、４×８及び８
×４予測ブロックの動き補償予測の有効・無効を制御するパラメータである、inter_pred
_enable_idcと、動き補償予測の内、双予測が施される予測処理のみを禁止するブロック
サイズを定義する、inter_bipred_restriction_idcの２つのパラメータで構成される。
Next, FIG. 43 shows an example of the block size of motion compensation prediction and control parameters for limiting the prediction processing in the prediction block configuration of FIG. The control parameter is configured to divide the 8 × 8 block which is the smallest CU size, 4 × 4, 4 × 8 and 8
Inter_pred is a parameter that controls the validity / invalidity of motion compensated prediction of × 4 prediction block
_enable_idc and inter_bipred_restriction_idc that defines a block size that prohibits only prediction processing for which bi-prediction is performed among motion compensation predictions.
図４３の制御パラメータの構成では、inter_bipred_restriction_idcに対して、水平・
垂直の画素数のメモリアクセスに与える影響を加味した、１６×１６画素以下の予測ブロ
ックサイズの大きさの順番を小さい方から、４×４、４×８、８×４、８×８、４×１６
／１２×１６（ｎＬ×２Ｎ／ｎＲ×２Ｎ）、８×１６、１６×１２／１６×４（２Ｎ×ｎ
Ｕ／２Ｎ×ｎＤ）、１６×８、１６×１６と定義し、双予測を制限する予測ブロックサイ
ズの値を設定する。これにより、動き補償予測の効率を向上させた非対称構成の予測ブロ
ックに対しても、図１０で示した制御パラメータを用いた構成と同様に、細かい単位での
メモリアクセス量の制御を行うことが可能となり、動き補償予測の効率を向上させたうえ
で、許容されるメモリ帯域に応じた、メモリアクセス量の制御を可能とする。
In the configuration of the control parameters in FIG. 43, the horizontal and the inter_bipred_restriction_idc
In consideration of the influence of the number of vertical pixels on memory access, the order of the size of the predicted block size of 16 × 16 pixels or less is from 4 × 4, 4 × 8, 8 × 4, 8 × 8, 4 × 16
/ 12 × 16 (nL × 2N / nR × 2N), 8 × 16, 16 × 12/16 × 4 (2N × n
U / 2N × nD), 16 × 8, 16 × 16, and sets a prediction block size value that restricts bi-prediction. As a result, the memory access amount can be controlled in a fine unit even for a prediction block having an asymmetric configuration in which the efficiency of motion compensation prediction is improved, as in the configuration using the control parameters shown in FIG. Thus, the efficiency of motion compensation prediction is improved, and the memory access amount can be controlled according to the allowable memory bandwidth.
実施の形態１においては、inter_bipred_restriction_idcで定義された予測ブロックサ
イズを基準に、定義されたサイズ以下の予測ブロックに双予測の制限を加えているが、値
による制限を、定義されたサイズ未満の予測ブロックに双予測の制限を加えるようにする
ことも、双予測の制限を加える予測ブロックサイズ未満の予測ブロックサイズにおいて動
き補償予測を行わない場合に、定義されたサイズの予測ブロックに双予測の制限を加える
ようにすることも、本発明を実現する構成として可能である。定義されたサイズ未満の予
測ブロックに双予測の制限を加えるようにする場合には、実施の形態１の符号化装置にお
ける、図１７のフローチャートで示すステップＳ１７０２、図３３のフローチャートで示
すステップＳ３３０８、実施の形態１の復号装置における、図３９のフローチャートで示
すステップＳ３９０２、図４０のフローチャートで示すステップＳ４０１３における条件
判断が、bipred_restriction_size未満で有るか否かになると共に、inter_bipred_restri
ction_idcで定義する予測ブロックサイズの値が１つ大きい予測ブロックサイズとして設
定されることで、実現される。
In
This is realized by setting the prediction block size value defined by ction_idc as one larger prediction block size.
実施の形態１においては、図３５に示したように、動き補償予測におけるメモリアクセ
ス量を制限するための制御パラメータである、inter_4x4_enable及びinter_bipred_restr
iction_idcを、それぞれ個別のパラメータとして符号化伝送する構成を一例として示した
が、これらの制御パラメータ情報が、動画像符号化装置及び動画像復号装置のメモリアク
セス量制限を制御するパラメータとして伝送できる構成であれば、図４４に示すようなin
ter_4x4_enableとinter_bipred_restriction_idcの組合せで定義する情報（inter_mc_res
trcution_idc）を符号化伝送する構成も可能であり、所定もしくは所定以下の予測ブロッ
クサイズでの動き補償予測処理を行わないように制御する情報と、所定以下の予測ブロッ
クサイズでの双予測を行わないように制御する情報により、更に動き補償予測及び結合動
き情報候補の単予測制限を行う処理を１つの指示情報に統合して符号化伝送及び復号でき
る効果が生じる。
In the first embodiment, as shown in FIG. 35, inter_4x4_enable and inter_bipred_restr, which are control parameters for limiting the memory access amount in motion compensation prediction.
The configuration in which iction_idc is encoded and transmitted as an individual parameter has been shown as an example. However, the configuration in which these control parameter information can be transmitted as a parameter for controlling the memory access amount limit of the video encoding device and the video decoding device. Then, in as shown in FIG.
Information defined by the combination of ter_4x4_enable and inter_bipred_restriction_idc (inter_mc_res
trcution_idc) can be encoded and transmitted, and information for controlling not to perform motion compensation prediction processing with a prediction block size of a predetermined or less than a predetermined value and bi-prediction with a prediction block size of a predetermined value or less are not performed. The information that is controlled in this way has the effect of further integrating the processing for performing motion compensation prediction and single prediction restriction of combined motion information candidates into one piece of instruction information for encoding transmission and decoding.
また、実施の形態１においては、動き補償予測に対してメモリアクセス量を制限するた
めの、結合動き補償予測に用いられる双予測を禁止する手段として、結合動き情報候補イ
ンデックスに格納された後の動き情報を、条件に応じて双予測の動き情報から単予測の動
き情報に変換し格納し、予測処理に使用するため、双予測の結合動き情報候補を禁止する
のでなく、単予測の動き情報として用いることが可能となり、双予測を禁止する条件の予
測ブロックサイズにおける動き補償予測の予測精度が向上し、符号化効率が向上する効果
を有する。
Further, in the first embodiment, as a means for prohibiting bi-prediction used for joint motion compensation prediction to limit the memory access amount with respect to motion compensation prediction, after being stored in the joint motion information candidate index Motion information is converted from bi-prediction motion information to uni-prediction motion information according to conditions, stored, and used for prediction processing. As a result, the prediction accuracy of motion compensated prediction in the prediction block size under the condition prohibiting bi-prediction is improved, and the coding efficiency is improved.
（実施の形態２）
続いて、本発明の実施の形態２に係る動画像符号化装置及び動画像復号装置の説明を行
う。実施の形態２においては、実施の形態１と同様に、予測ブロックサイズによる動き補
償予測の制限と、予測ブロックサイズ以下の双予測の制限の組合せで、最大メモリアクセ
ス量を制限する構成は同一であるが、双予測の制限を定義するパラメータを制限する予測
ブロックサイズを示す情報ではなく、最小ＣＵサイズにおけるＣＵ分割構造に対する双予
測の制限を加える構造を取る。
(Embodiment 2)
Next, the video encoding device and video decoding device according to
図４５に本発明の実施の形態２における、動き補償予測のブロックサイズ及び予測処理
を制限する制御パラメータの一例を示し、説明する。
FIG. 45 shows an example of the motion-compensated prediction block size and control parameters for limiting the prediction processing in
制御パラメータは、最も小さな動き補償予測ブロックサイズである４×４画素の動き補
償予測の有効・無効を制御するパラメータである、inter_4x4_enableと、動き補償予測の
内、双予測が施される予測処理のみを禁止する最小ＣＵサイズにおけるＣＵ分割構造を定
義する、inter_bipred_restriction_for_mincb_idcの２つのパラメータで構成される。
The control parameters are inter_4x4_enable, which is a parameter for controlling the validity / invalidity of motion compensated prediction of 4 × 4 pixels, which is the smallest motion compensated prediction block size, and only prediction processing for which bi-prediction is performed among motion compensated predictions It consists of two parameters of inter_bipred_restriction_for_mincb_idc that define the CU partition structure in the minimum CU size that prohibits.
inter_bipred_restriction_for_mincb_idcは、４つの値を定義し、制限なし、Ｎ×Ｎ制
限、Ｎ×２Ｎ／２Ｎ×Ｎ以下制限、ＣＵ内すべての分割（ＰＵ）で制限の４つの状態を制
御する。最小ＣＵサイズは、実施の形態１における、図３５のシンタックスで示されるよ
うにlog2_min_coding_block_size_minus3で８を基準とした（８×８を示す）２のべき乗
値で定義され、inter_bipred_restriction_for_mincb_idcの値と最小ＣＵサイズの連動に
より、双予測を制限するブロックサイズbipred_restriction_sizeが設定される。
inter_bipred_restriction_for_mincb_idc defines four values and controls four states of no restriction, N × N restriction, N × 2N / 2N × N or less restriction, and all divisions (PUs) in the CU. The minimum CU size is defined as a power of 2 based on 8 in log2_min_coding_block_size_minus3 (indicating 8 × 8) as shown in the syntax of FIG. 35 in
実施の形態２における、符号化装置及び復号装置の構成は、実施の形態１と同様の構成
をとることができ、実施の形態１におけるbipred_restriction_sizeが、上記log2_min_co
ding_block_size_minus3とinter_bipred_restriction_for_mincb_idcの組合せで定義され
る点が、異なる構成となっている。具体的なbipred_restriction_sizeの定義を図４６に
示す。
The configuration of the encoding device and the decoding device in the second embodiment can be the same as in the first embodiment, and bipred_restriction_size in the first embodiment is equal to the log2_min_co
The point of being defined by the combination of ding_block_size_minus3 and inter_bipred_restriction_for_mincb_idc is a different configuration. A specific definition of bipred_restriction_size is shown in FIG.
inter_bipred_restriction_for_mincb_idcは、図４７に示すシンタックスの一例に示さ
れるように、実施の形態１における図３５のシンタックスと同様に構成され、シーケンス
単位のパラメータとしてｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ（）で伝送され
、inter_bipred_restriction_idcに代わってinter_bipred_restriction_for_mincb_idcが
伝送する値となる。
As shown in an example of the syntax shown in FIG. 47, inter_bipred_restriction_for_mincb_idc is configured in the same way as the syntax of FIG. 35 in
メモリアクセス量が大きくなり、メモリ帯域の制限が必要になる状態は、符号化時の最
小ＣＵサイズに対して生じるため、最小ＣＵサイズと連動して双予測の制限を加える構成
は、管理・伝送するパラメータの無駄が少なく、なお且つ符号化装置においてメモリアク
セス量の制限を加えたい場合に、より大きなサイズでの双予測制限を少ない制御パラメー
タ値で定義できる効果を有する。
Since the memory access amount becomes large and the state where the memory bandwidth needs to be limited occurs with respect to the minimum CU size at the time of encoding, the configuration for limiting the bi-prediction in conjunction with the minimum CU size is managed and transmitted. When there is little wasted parameter, and it is desired to limit the memory access amount in the encoding apparatus, the bi-prediction limitation at a larger size can be defined with a small control parameter value.
さらに、実施の形態２においては、ＣＵ内の分割を更に細かくて左右や上下が非対称の
予測ブロックを定義して、動き補償予測効率を向上させる場合においても、ブロックサイ
ズ毎のサイズ制限を各ＣＵ階層で追加しなくても、最小ＣＵサイズにおける定義のみを追
加すれば良いため、拡張性も高いと共に、ハイビジョンを終える超高精細画像の符号化・
復号処理を行う際に、予測ブロックサイズの大きさや双予測の制限を明示的に行うことが
容易に実現できる効果を有する。
Furthermore, in the second embodiment, even when the prediction within the CU is further finely divided and the left and right and up and down asymmetric prediction blocks are defined to improve the motion compensation prediction efficiency, the size restriction for each block size is set for each CU. Even if it is not added in the hierarchy, it is only necessary to add the definition in the minimum CU size, so it has high expandability and encoding of ultra-high definition images that finish high-definition.
When performing the decoding process, it is possible to easily realize explicitly limiting the prediction block size and bi-prediction.
（実施の形態３）
続いて、本発明の実施の形態３に係る動画像符号化装置及び動画像復号装置の説明を行
う。実施の形態３においては、メモリアクセス量を制限する為の動き補償予測や双予測の
制限に加えて、予測ブロックサイズが小さくなった際の結合動き予測候補生成処理の動作
回数を制限することで、結合動き予測候補生成に要する処理負荷を軽減させる構成を取る
。
(Embodiment 3)
Next, the video encoding device and video decoding device according to
具体的には、所定のＣＵサイズ以下予測ブロックサイズにおける、各予測ブロックにお
いて、同一の隣接ブロックの動き情報を用いて同一の結合動き情報候補生成処理を行う構
成となる。実施の形態３では、最小ＣＵサイズである８×８ＣＵサイズの予測ブロックに
対して、上記構成を取る構成を取り、実施の形態３の８×８ＣＵサイズの結合動き情報候
補生成における空間周辺予測ブロックの位置を、図４８を用いて説明する。
Specifically, the same combined motion information candidate generation process is performed using the motion information of the same adjacent block in each prediction block in a prediction block size equal to or smaller than a predetermined CU size. In
８×８ＣＵにおいて、８×８画素の予測ブロック（２Ｎ×２Ｎ）に対する空間候補ブロ
ック群のブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２の５
ブロックの位置は、図４８（ａ）に示すように、図１９に示した、実施の形態１における
空間候補ブロック群の定義と同一の位置を示す。
In the 8 × 8 CU, 5 of the block A0, the block A1, the block B0, the block B1, and the block B2 of the spatial candidate block group for the prediction block (2N × 2N) of 8 × 8 pixels.
As shown in FIG. 48 (a), the block position indicates the same position as the definition of the space candidate block group in the first embodiment shown in FIG.
これに対して、４×８画素の予測ブロック（Ｎ×２Ｎ）、８×４画素の予測ブロック（
２Ｎ×Ｎ）、４×４画素の予測ブロック（Ｎ×Ｎ）に対する空間候補ブロック群の位置に
関しては、図４８（ｂ）、（ｃ）、（ｄ）に示すように、図１９に示した、実施の形態１
における空間候補ブロック群の定義で示される、対象予測ブロックの隣接位置のブロック
ではなく、８×８画素に対する空間候補ブロック群と同じ位置が、すべての予測ブロック
に対して用いられる。時間候補ブロック群の位置に関しても同様に、８×８画素の予測ブ
ロックと同一の位置が、４×８画素、８×４画素、４×４画素すべての予測ブロックに対
して用いられる。
In contrast, a prediction block of 4 × 8 pixels (N × 2N), a prediction block of 8 × 4 pixels (
2N × N), the position of the spatial candidate block group for the 4 × 4 pixel prediction block (N × N) is shown in FIG. 19 as shown in FIGS. 48 (b), (c), and (d).
The same position as the space candidate block group for 8 × 8 pixels is used for all prediction blocks, not the block at the adjacent position of the target prediction block shown in the definition of the space candidate block group in FIG. Similarly, regarding the position of the temporal candidate block group, the same position as the prediction block of 8 × 8 pixels is used for all prediction blocks of 4 × 8 pixels, 8 × 4 pixels, and 4 × 4 pixels.
すなわち、対象となる８×８ＣＵに対して、構成されるすべての予測ブロック構造にお
いて、同一の結合動き情報候補が用いられることになり、符号化装置及び復号装置におけ
る結合動き情報生成処理は１回の生成処理で実現できる。
That is, for the
続いて、実施の形態３における、動画像符号化装置の符号化ブロック単位の符号化処理
の説明を行う。実施の形態１における符号化ブロック単位の符号化処理に対して、図７の
フローチャートで示される動き補償予測ブロックサイズ選択／予測信号生成処理と、図１
７のフローチャートで示される動き補償予測モード／予測信号生成処理のみが異なるため
、これらの処理に関して説明する。
Subsequently, an encoding process for each encoding block of the moving image encoding apparatus according to the third embodiment will be described. In contrast to the coding block unit coding process in the first embodiment, the motion compensated prediction block size selection / prediction signal generation process shown in the flowchart of FIG.
Since only the motion compensation prediction mode / prediction signal generation process shown in the flowchart of FIG. 7 is different, these processes will be described.
図４９に実施の形態３における動き補償予測ブロックサイズ選択／予測信号生成処理の
フローチャートを示す。実施の形態１の図７のフローチャートと同一のステップに関して
は、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。
FIG. 49 shows a flowchart of motion compensation prediction block size selection / prediction signal generation processing in the third embodiment. Regarding the same steps as those in the flowchart of FIG. 7 of the first embodiment, the same numbers are assigned and new step numbers are assigned only to different portions.
最初に、対象ＣＵに対して予測対象となる符号化ブロック画像を取得する（Ｓ７００）
。次に、対象ＣＵのＣＵサイズが８×８であるか否かを判定する（Ｓ４９０８）。対象Ｃ
ＵのＣＵサイズが８×８である場合（Ｓ４９０８：ＹＥＳ）には、結合動き情報候補リス
ト生成処理が行われる（Ｓ４９０９）。対象ＣＵのＣＵサイズが８×８でない場合（Ｓ４
９０８：ＮＯ）には、ステップＳ７０１に進む。ステップＳ４９０９の詳細に関しては、
実施の形態１における図１８の結合動き情報候補リスト生成処理と同一の処理が行われる
。
First, an encoded block image to be predicted is acquired for the target CU (S700).
. Next, it is determined whether or not the CU size of the target CU is 8 × 8 (S4908). Target C
When the CU size of U is 8 × 8 (S4908: YES), combined motion information candidate list generation processing is performed (S4909). When the CU size of the target CU is not 8 × 8 (S4
(908: NO), the process proceeds to step S701. Regarding details of step S4909,
The same process as the combined motion information candidate list generation process of FIG. 18 in the first embodiment is performed.
ステップＳ４９０９を行った後、対象ＣＵ内の最小予測ブロックサイズがbipred_restr
iction_size以下である場合（Ｓ４９１０：ＹＥＳ）、結合動き情報候補単予測変換処理
が行われる（Ｓ４９１１）。対象ＣＵ内の最小予測ブロックサイズがbipred_restriction
_size以下でない場合には（Ｓ４９１０：ＮＯ）、ステップＳ７０１に進む。ステップＳ
４９１１の詳細に関しては、実施の形態１における図３０の結合動き情報候補単予測変換
処理と同一の処理が行われる。
After performing step S4909, the minimum prediction block size in the target CU is bipred_restr.
When it is less than or equal to iction_size (S4910: YES), combined motion information candidate single prediction conversion processing is performed (S4911). The minimum predicted block size in the target CU is bipred_restriction
If it is not less than _size (S4910: NO), the process proceeds to step S701. Step S
Regarding the details of 4911, the same processing as the combined motion information candidate single prediction conversion processing of FIG. 30 in
実施の形態３においては、双予測を制限する予測ブロックサイズであるbipred_restric
tion_sizeにおける結合動き情報候補生成処理が、対象となるＣＵにおいて用いられる予
測ブロックサイズである場合（inter_4x4_enableが１の場合には、４×４／４×８／８×
４／８×８の予測ブロック、inter_4x4_enableが０の場合には、４×８／８×４／８×８
の予測ブロック）には、対象ＣＵに対して同一に生成する結合動き情報候補リストに対し
て双予測の動き情報を単予測に変換する処理を行う。つまり、bipred_restriction_size
が３（８×８以下制限）に拡張された処理が行われることになる。
In the third embodiment, bipred_restric which is a prediction block size for limiting bi-prediction
When the combined motion information candidate generation process in the option_size is the predicted block size used in the target CU (when inter_4x4_enable is 1, 4 × 4/4 × 8/8 ×
4/8 × 8 prediction block, if inter_4x4_enable is 0, 4 × 8/8 × 4/8 × 8
(Prediction block) is a process for converting bi-prediction motion information into single prediction for the combined motion information candidate list generated identically for the target CU. That is, bipred_restriction_size
Is expanded to 3 (8 × 8 or less limit).
図４９の説明に戻り、ステップＳ４９１１の結合動き情報候補単予測変換処理を行った
後、ステップＳ７０１に進む。ステップＳ７０１以降、ステップＳ７０７までの処理に関
しては、実施の形態１における図７のフローチャートにおけるステップＳ７０１からステ
ップＳ７０７までの処理と同一の処理が行われる。
Returning to the description of FIG. 49, after performing the combined motion information candidate single prediction conversion process of step S4911, the process proceeds to step S701. The processing from step S701 to step S707 is the same as the processing from step S701 to step S707 in the flowchart of FIG. 7 in the first embodiment.
実施の形態３においては、８×８ＣＵサイズに対する、結合動き情報候補リスト生成処
理と結合動き情報候補単予測変換処理が同一の動作で行われ、符号化装置においては１回
の生成処理によって、８×８ＣＵサイズ内のすべての結合動き情報候補を生成することが
可能となる効果を有する。また、実施の形態３において、図４９のフローチャートのステ
ップＳ４９１０の処理を行わない構成においては、８×８ＣＵサイズに対して結合動き情
報候補リスト生成処理が同一の動作で行われ、且つbipred_restriction_sizeを拡張しな
い状態での結合動き情報候補単予測変換処理を可能とする効果を有するが、符号化装置に
おいては８×８ＣＵサイズ内の予測ブロックサイズ毎の結合動き情報候補単予測変換処理
が必要となる。
In the third embodiment, the combined motion information candidate list generation process and the combined motion information candidate uni-prediction conversion process for the 8 × 8 CU size are performed by the same operation, and the encoding device performs 8 generations by one generation process. There is an effect that it becomes possible to generate all combined motion information candidates within the × 8 CU size. In
次に、図５０に実施の形態３における動き補償予測モード／予測信号生成処理のフロー
チャートを示し説明する。実施の形態１の図１７のフローチャートと同一のステップに関
しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。
Next, FIG. 50 shows a flowchart of motion compensation prediction mode / prediction signal generation processing in the third embodiment. With respect to the same steps as those in the flowchart of FIG. 17 of the first embodiment, the same numbers are assigned and new step numbers are assigned only to different portions.
定義されたＣＵ内の予測ブロックサイズ分割モード（ＰＵ）に従って設定されたＮｕｍ
Ｐａｒｔに基づき、対象ＣＵ内をＰＵ分割した予測ブロックサイズ毎に（Ｓ１７００）、
対象ＣＵサイズが８×８でない場合（Ｓ５０１０：ＮＯ）には、ステップＳ１７０１から
ステップＳ１７０８までのステップが実行される（Ｓ１７０９）。ステップＳ１７０１か
らステップＳ１７０８までの処理に関しては、実施の形態１における図１７のフローチャ
ートと同一の処理が行われる。
Num set according to the predicted block size partition mode (PU) in the defined CU
Based on the Part, for each predicted block size obtained by performing PU division on the target CU (S1700),
If the target CU size is not 8 × 8 (S5010: NO), steps from step S1701 to step S1708 are executed (S1709). Regarding the processing from step S1701 to step S1708, the same processing as the flowchart of FIG. 17 in the first embodiment is performed.
対象ＣＵサイズが８×８である場合（Ｓ５０１０：ＹＥＳ）には、ステップＳ１７０１
からステップＳ１７０３までの処理を行わずに、ステップＳ１７０４に進む。すなわち、
対象ＣＵサイズが８×８である、予測ブロックサイズの場合には、図４９で示した動き補
償予測ブロックサイズ選択／予測信号生成処理のフローチャート内の処理で生成された結
合動き情報候補をそのまま使用して、結合予測モードの動き補償予測を行う構成となって
いる。
If the target CU size is 8 × 8 (S5010: YES), step S1701 is performed.
The process proceeds to step S1704 without performing the processing from step S1703 to step S1703. That is,
When the target CU size is 8 × 8 and the prediction block size is used, the combined motion information candidate generated by the process in the flowchart of the motion compensated prediction block size selection / prediction signal generation process shown in FIG. 49 is used as it is. Thus, the motion compensation prediction in the combined prediction mode is performed.
続いて、実施の形態３における、動画像復号装置の符号化ブロック単位の復号処理は実
施の形態１と同一の処理を行い、結合動き予測における結合動き情報候補リスト生成のた
めに用いる候補ブロックの位置のみを対象となるＣＵが８×８の場合に、図４８で示した
ようにすべての予測ブロックで同一位置の候補ブロックを取得し、図３９のフローチャー
トで示された結合動き情報復号処理におけるステップＳ３９０２の判断条件として、ＣＵ
サイズが８×８の場合には、ＣＵ内で定義可能な最小予測ブロックサイズがbipred_restr
iction_size以下であるか否かの条件に置き換わる構成で実現できる。
Subsequently, the decoding process in units of coding blocks of the video decoding device in the third embodiment performs the same process as in the first embodiment, and the candidate blocks used for generating the combined motion information candidate list in the combined motion prediction. In the case where the CU targeted for only the position is 8 × 8, candidate blocks at the same position are obtained in all the prediction blocks as shown in FIG. 48, and in the combined motion information decoding process shown in the flowchart of FIG. As a judgment condition of step S3902, CU
When the size is 8 × 8, the minimum prediction block size that can be defined in the CU is bipred_restr.
It can be realized with a configuration that replaces the condition of whether or not it is less than or equal to iction_size.
なお、実施の形態３において、図３９のフローチャートで示された結合動き情報復号処
理におけるステップＳ３９０２の判断条件を変更しない構成で実現した場合には、８×８
ＣＵサイズに対して結合動き情報候補リスト生成処理を同一の動作で行い、且つbipred_r
estriction_sizeを拡張しない状態での結合動き情報候補単予測変換処理を可能とする効
果を有する。復号装置においては、符号化ストリームを復号することで、復号対象ブロッ
クに対する予測ブロックサイズは特定されるため、特定された予測ブロックサイズに対す
る単一の結合動き情報候補単予測変換処理が行われる。
In the third embodiment, when the configuration in which the determination condition in step S3902 in the combined motion information decoding process shown in the flowchart of FIG.
The combined motion information candidate list generation process is performed with the same operation for the CU size, and bipred_r
This has the effect of enabling combined motion information candidate single prediction conversion processing in a state where estriction_size is not expanded. In the decoding apparatus, since the prediction block size for the decoding target block is specified by decoding the encoded stream, a single combined motion information candidate single prediction conversion process is performed for the specified prediction block size.
また、実施の形態３における、動画像復号装置において、更に結合動き情報候補生成処
理を少ない処理で実現できる構成として、実施の形態１における符号化ブロック単位の復
号処理に対して、図３９の結合動き情報復号処理を図５１で示すフローチャートの処理に
置き換える構成をとることが可能であり、その動作を説明する。図３９のフローチャート
と同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつ
けている。
In addition, in the moving picture decoding apparatus according to the third embodiment, the combined motion information candidate generation process can be realized with fewer processes. It is possible to replace the motion information decoding process with the process of the flowchart shown in FIG. 51, and the operation will be described. With respect to the same steps as those in the flowchart of FIG. 39, the same numbers are assigned and new step numbers are assigned only to different portions.
予測モードに結合予測モードを設定した後（Ｓ３９００）、対象となっている予測ブロ
ックのＣＵサイズが８×８であるか否かを判断する（Ｓ５１０７）。ＣＵサイズが８×８
でない場合（Ｓ５１０７：ＮＯ）には、ステップＳ３９０１に進み、実施の形態１と同様
の結合予測動き情報復号処理が行われる。
After the combined prediction mode is set as the prediction mode (S3900), it is determined whether or not the CU size of the target prediction block is 8 × 8 (S5107). CU size is 8x8
If not (S5107: NO), the process proceeds to step S3901, and the joint prediction motion information decoding process similar to that of the first embodiment is performed.
一方、ＣＵサイズが８×８である場合には（Ｓ５１０７：ＹＥＳ）、対象となっている
予測ブロックが対象ＣＵ内の最初の結合予測モードであるか否かを判断する（Ｓ５１０８
）。最初の結合予測モードである場合には（Ｓ５１０８：ＹＥＳ）、結合動き情報候補リ
スト生成処理が行われる（Ｓ５１０９）。ステップＳ５１０９においては、図４８で示し
たように、ＣＵ内の全予測ブロックで同一位置の候補ブロックを取得する構成で、ステッ
プＳ３９０１と同じ処理が行われる。
On the other hand, when the CU size is 8 × 8 (S5107: YES), it is determined whether or not the target prediction block is the first combined prediction mode in the target CU (S5108).
). If it is the first combined prediction mode (S5108: YES), combined motion information candidate list generation processing is performed (S5109). In step S5109, as shown in FIG. 48, the same processing as that in step S3901 is performed with a configuration in which candidate blocks at the same position are acquired for all prediction blocks in the CU.
最初の結合予測モードでない場合には（Ｓ５１０８：ＮＯ）、既に対象ＣＵで同一に生
成される結合動き情報候補リストが生成済であるため、結合動き情報候補リスト生成処理
を行わず、ステップＳ３９０４に進む。対象ＣＵにおいて一度の結合動き情報候補リスト
生成で復号処理が可能となるため、８×８ＣＵ内に複数の結合予測モードが存在する場合
の結合動き情報候補リスト生成処理が削減される。
If it is not the first combined prediction mode (S5108: NO), since the combined motion information candidate list generated in the same way in the target CU has already been generated, the combined motion information candidate list generation processing is not performed, and the process proceeds to step S3904. move on. Since decoding processing can be performed by generating a combined motion information candidate list once in the target CU, combined motion information candidate list generation processing when a plurality of combined prediction modes exist in the 8 × 8 CU is reduced.
ステップＳ５１０９を行った後、ＣＵ内で定義可能な最小予測ブロックサイズがbipred
_restriction_size以下であるか否かの判断を行い（Ｓ５１１０）、最小予測ブロックサ
イズがbipred_restriction_size以下である場合（Ｓ５１１０：ＹＥＳ）には、結合動き
情報候補単予測変換処理を行い（Ｓ３９０３）、最小予測ブロックサイズがbipred_restr
iction_sizeより大きい場合（Ｓ５１１０：ＮＯ）には、ステップＳ３９０４に進む。
After performing step S5109, the minimum prediction block size that can be defined in the CU is bipred.
It is determined whether or not it is equal to or smaller than _restriction_size (S5110). If the minimum predicted block size is equal to or smaller than bipred_restriction_size (S5110: YES), combined motion information candidate single prediction conversion processing is performed (S3903), and the minimum predicted block is determined. Size is bipred_restr
If larger than iction_size (S5110: NO), the process proceeds to step S3904.
ステップＳ３９０４からステップＳ３９０６の処理に関しては、実施の形態１における
図３９のフローチャートの処理と同一の処理が行われ、結合予測モードの動き情報が復号
され格納される。
Regarding the processing from step S3904 to step S3906, the same processing as the processing in the flowchart of FIG. 39 in the first embodiment is performed, and the motion information in the joint prediction mode is decoded and stored.
実施の形態３における動画像符号化装置及び動画像復号装置によれば、メモリアクセス
量を制限する為の動き補償予測や双予測の制限と予測ブロックサイズが小さくなった際の
結合動き予測候補生成処理の処理削減を、それぞれの制限に対して整合がとれた構成で実
現可能とし、メモリ帯域の制限及び結合動き情報候補生成処理削減を両立しつつ符号化効
率を向上させることができる。
According to the moving picture coding apparatus and the moving picture decoding apparatus in the third embodiment, combined motion prediction candidate generation when the motion compensation prediction for limiting the memory access amount, the restriction of bi-prediction, and the prediction block size are reduced It is possible to realize processing reduction with a configuration that is consistent with each restriction, and to improve the coding efficiency while simultaneously reducing the memory bandwidth and reducing the combined motion information candidate generation process.
実施の形態３における同一結合動き情報候補リストを構成する単位は、８×８サイズと
して説明を行ったが、８×８サイズに限定される必要はなく、ピクチャ単位やシーケンス
単位などの所定単位で、同一リストを生成する最大予測ブロックサイズを定義するパラメ
ータ情報を伝送することで、その単位を変化されることが可能である。パラメータとして
は、例えばlog2_parallel_merge_level_minus2として、同一リストを生成する予測ブロッ
クサイズの水平・垂直サイズの基準となる、２のべき乗値に対応する値が定義できる。
The unit constituting the same combined motion information candidate list in
（実施の形態４）
続いて、本発明の実施の形態４に係る動画像符号化装置及び動画像復号装置の説明を行
う。実施の形態４においては、実施の形態３と同様に、メモリアクセス量を制限する為の
動き補償予測や双予測の制限に加えて、予測ブロックサイズが小さくなった際の結合動き
予測候補生成処理の動作回数を制限することで、結合動き予測候補生成に要する処理負荷
を軽減させる構成を取る。
(Embodiment 4)
Next, the video encoding device and video decoding device according to
実施の形態４における、動画像符号化装置においては、実施の形態１に示した動画像符
号化装置に対して、図１５に示す、動き補償予測ブロック構造選択部１１３において、結
合動き情報単予測変換部１５０７が無くなり、結合動き情報算出部１５０６より出力され
た、動きベクトル、参照画像指定情報、結合動き情報候補リストが直接、結合動き補償予
測生成部１５０８に供給される構成を取る。
In the moving picture coding apparatus according to the fourth embodiment, the combined motion information single prediction is performed in the motion compensated prediction block
また、実施の形態４における、動画像復号装置においては、実施の形態１に示した動画
像復号装置に対して、図３６に示す、動き情報復号部１１１１において、結合動き情報単
予測変換部３６０５が無くなり、結合動き情報算出部３６０４より出力された、動きベク
トル、参照画像指定情報、結合動き情報候補リストが直接、結合動き補償予測復号部３６
０６に供給される構成を取る。
In addition, in the video decoding device in the fourth embodiment, the combined motion information single
The configuration supplied to 06 is taken.
実施の形態４においては、結合動き情報単予測変換部で行われていた動き情報の双予測
から単予測への変換処理の変わりに、動き補償予測時に予測ブロックサイズがbipred_res
triction_size以下の場合に双予測の動き情報のＬ０予測もしくはＬ１予測の一方の動き
情報のみを用いた単予測の動き補償を行うことで、メモリアクセス量に制限を加えた動き
補償予測をおこなう構造を取る。
In the fourth embodiment, instead of the motion information bi-prediction to uni-prediction conversion processing performed in the combined motion information uni-prediction conversion unit, the prediction block size is bipred_res during motion compensation prediction.
A structure that performs motion compensation prediction with a limited memory access amount by performing motion compensation of single prediction using only one of the motion information of L0 prediction or L1 prediction of bi-prediction motion information when triction_size or less. take.
具体的には、実施の形態４における符号化処理では、実施の形態１における、図１７の
フローチャートで示される動き補償予測モード／予測信号生成処理において、ステップＳ
１７０２及びステップＳ１７０３の処理が無くなり、図３１のフローチャートで示される
結合予測モード評価値生成処理におけるステップＳ３１０５及びステップＳ３１０６で行
われる、動き補償（単／双）予測ブロック生成処理の内部、及び図３３のフローチャート
で示される予測モード評価値生成処理のステップＳ３３１２で行われる動き補償予測ブロ
ック生成処理の内部で、単予測への制限処理が行われる。
Specifically, in the encoding process in the fourth embodiment, in the motion compensated prediction mode / predicted signal generation process shown in the flowchart of FIG.
The processing of 1702 and step S1703 is eliminated, the inside of the motion compensation (mono / bi) prediction block generation processing performed in step S3105 and step S3106 in the combined prediction mode evaluation value generation processing shown in the flowchart of FIG. 31, and FIG. Within the motion compensated prediction block generation process performed in step S3312 of the prediction mode evaluation value generation process shown in the flowchart of FIG.
実施の形態４において、図３１のフローチャートのステップＳ３１０５、ステップＳ３
１０６及び、図３３のフローチャートのステップＳ３３１２で施される動き補償予測ブロ
ック生成の動作を、図５２のフローチャートに示し、説明する。図５２のフローチャート
は実施の形態４において、図１に示す動画像符号化装置における動き補償予測部１１２の
詳細動作となり、以下の動作を行う。
In the fourth embodiment, step S3105 and step S3 in the flowchart of FIG.
106 and the motion compensated prediction block generation operation performed in step S3312 of the flowchart of FIG. 33 are described with reference to the flowchart of FIG. The flowchart of FIG. 52 is the detailed operation of the motion
供給された動き情報の予測種別が単予測である場合（Ｓ５２００：ＹＥＳ）、１つの参
照画像に対する参照画像指定情報と動きベクトルを用いて動き補償単予測ブロックを生成
する（Ｓ５２０３）。
When the prediction type of the supplied motion information is single prediction (S5200: YES), a motion compensated single prediction block is generated using reference image designation information and a motion vector for one reference image (S5203).
供給された動き情報が単予測でない場合、つまり動き情報が双予測である場合（Ｓ５２
００：ＮＯ）、Ｌ０予測の動き情報とＬ１予測の動き情報（参照画像情報及び動きベクト
ル）が同一であるかどうか判定し、Ｌ０予測の動き情報とＬ１予測の動き情報が同一であ
る場合（Ｓ５２０１：ＹＥＳ）、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予
測を行う（Ｓ５２０４）。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更
しない。
When the supplied motion information is not uni-prediction, that is, when the motion information is bi-prediction (S52
00: NO), it is determined whether the motion information for L0 prediction and the motion information for L1 prediction (reference image information and motion vector) are the same, and the motion information for L0 prediction and the motion information for L1 prediction are the same ( S5201: YES), L0 single prediction motion compensation prediction is performed using only the motion information of L0 prediction (S5204). However, the motion information of bi-prediction is maintained and the motion information of L1 prediction is not changed.
供給されたＬ０予測の動き情報とＬ１予測の動き情報が同一でない場合（Ｓ５２０１：
ＮＯ）、予測ブロックサイズがbipred_restriction_size以下であるかどうかを判定し、
予測ブロックサイズがbipred_restriction_size以下である場合（Ｓ５２０２：ＹＥＳ）
、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である場合（Ｓ５２０１：ＹＥＳ）と
同様に、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予測を行う（Ｓ５２０４）
。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更しない。双予測制限は双
予測を単予測に制限することで動き補償予測のメモリ帯域を抑制することが目的であるた
め、双予測制限によって制限される予測リスト（Ｌ０／Ｌ１）は、Ｌ１単予測にしても良
い。
When the supplied motion information of the L0 prediction and the motion information of the L1 prediction are not the same (S5201:
NO), determine if the predicted block size is less than or equal to bipred_restriction_size,
When the predicted block size is equal to or smaller than bipred_restriction_size (S5202: YES)
Similarly, when the motion information of the L0 prediction and the motion information of the L1 prediction are the same (S5201: YES), the L0 single prediction motion compensation prediction is performed using only the motion information of the L0 prediction (S5204).
. However, the motion information of bi-prediction is maintained and the motion information of L1 prediction is not changed. The purpose of the bi-prediction restriction is to limit the memory band of motion compensation prediction by restricting the bi-prediction to the single prediction. Therefore, the prediction list (L0 / L1) restricted by the bi-prediction restriction is set to the L1 single prediction. May be.
供給された予測ブロックサイズがbipred_restriction_sizeより大きい場合（Ｓ５２０
２：ＮＯ）、２つの参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償
双予測ブロックを生成する（Ｓ５２０５）。
When the supplied prediction block size is larger than bipred_restriction_size (S520)
2: NO) A motion compensated bi-prediction block is generated using reference image designation information and motion vectors for two reference images (S5205).
また、実施の形態４における復号処理では、実施の形態１における、図３９のフローチ
ャートで示される結合予測動き情報復号処理において、ステップＳ３９０２及びステップ
Ｓ３９０３の処理が無くなり、図３７のフローチャートで示される予測ブロック単位復号
処理におけるステップＳ３７０４で行われる、動き補償予測信号算出処理の内部で、単予
測への制限処理が、符号化処理と同様に、図５２のフローチャートで示した処理で行われ
る。
Further, in the decoding process in the fourth embodiment, in the joint prediction motion information decoding process shown in the flowchart of FIG. 39 in the first embodiment, the processes in steps S3902 and S3903 are eliminated, and the prediction shown in the flowchart of FIG. Within the motion compensated prediction signal calculation process performed in step S3704 in the block unit decoding process, the process for limiting to single prediction is performed by the process shown in the flowchart of FIG. 52, similarly to the encoding process.
実施の形態４においては、双予測の制限処理を結合動き情報候補リストを単予測に変換
する構成を用いずに、動き補償予測時に双予測の動き情報のうち、Ｌ０予測もしくはＬ１
予測の一方の動き情報のみを用いて、単予測の動き補償予測を行う構成を用いることで、
メモリアクセス量の制限を実現する。
In the fourth embodiment, L0 prediction or L1 out of bi-prediction motion information at the time of motion compensation prediction without using a configuration in which the combined motion information candidate list is converted into single prediction in the bi-prediction restriction process.
By using a configuration that performs motion compensation prediction of single prediction using only one motion information of prediction,
Realize limited memory access.
また、双予測の制限処理において、予測信号としては単予測と同一でありながら、動き
情報は双予測となる結合動き情報候補を維持することができる。これにより、bipred_res
triction_size以下の予測ブロックであっても、Ｌ０予測、Ｌ１予測ともに動き情報が保
存されるため、以降に符号化・復号される予測ブロックの隣接参照動き情報として双予測
の情報がそのまま利用でき、以降に符号化・復号される予測ブロックの動き予測処理の予
測効率を向上させることができる。
Further, in the bi-prediction restriction process, the prediction information is the same as the single prediction, but the motion information can maintain a combined motion information candidate that becomes bi-prediction. This makes bipred_res
Even for a prediction block of triction_size or less, since motion information is stored for both L0 prediction and L1 prediction, bi-prediction information can be directly used as adjacent reference motion information of a prediction block to be encoded / decoded thereafter. Thus, it is possible to improve the prediction efficiency of the motion prediction process of the prediction block encoded and decoded.
また、結合動き情報候補リストとしては同じ動き情報を用いる、異なる大きさの予測ブ
ロックサイズにおいて、動き補償予測時の双予測制限で、メモリアクセス量の制限を可能
とするため、予測ブロックサイズが小さくなった際に、同一の結合動き予測候補リスト生
成を行う場合に、同一リストを構成する基準の予測ブロックサイズとbipred_restriction
_sizeが異なる場合でも、実施の形態４の構成をとることにより、結合動き情報候補リス
ト生成時に同一リスト構成と双予測制限の両方を加味した条件判断を加える必要がなく、
動き補償予測時の双予測制限だけで機能を実現できる効果を有すると共に、メモリアクセ
スの制限を行うために制御するbipred_restriction_sizeより大きな予測ブロックサイズ
において、結合動き情報に双予測の制限を加える必要がなくなるため、符号化効率を向上
させる効果を有する。
In addition, the same motion information is used as the combined motion information candidate list, and the prediction block size is small because the memory access amount can be limited by the bi-prediction restriction at the time of motion compensation prediction in the prediction block sizes of different sizes. When the same combined motion prediction candidate list is generated, the reference prediction block size and bipred_restriction constituting the same list are generated.
Even when _size is different, by adopting the configuration of the fourth embodiment, it is not necessary to add a condition judgment that considers both the same list configuration and the bi-prediction restriction when generating the combined motion information candidate list,
It has the effect that functions can be realized only by bi-prediction restriction at the time of motion compensation prediction, and there is no need to add bi-prediction restriction to combined motion information in a prediction block size larger than bipred_restriction_size that is controlled to restrict memory access Therefore, it has the effect of improving the encoding efficiency.
また、動き補償予測時に双予測制限する構成では、動き情報を符号化するための２つの
予測モード（結合予測モード、動き検出予測モード）の双方の双予測制限を一括して対応
可能であるため、最小の構成で双予測制限を実現できる。
In addition, in the configuration in which bi-prediction restriction is performed at the time of motion compensation prediction, both the bi-prediction restrictions of two prediction modes (joint prediction mode and motion detection prediction mode) for encoding motion information can be handled in a lump. The bi-prediction restriction can be realized with the minimum configuration.
（実施の形態５）
続いて、本発明の実施の形態５に係る動画像符号化装置及び動画像復号装置の説明を行
う。実施の形態５においては、実施の形態１と同様に、メモリアクセス量の制限を行うた
めの、予測ブロックサイズによる動き補償予測制限と、双予測動き補償の制限を行うが、
双予測の制限を行うための、結合動き情報候補リストの動き情報に対する双予測から単予
測への変換手法が異なる構成を取る。
(Embodiment 5)
Next, the video encoding device and video decoding device according to
The bi-prediction to uni-prediction conversion method is different for motion information in the combined motion information candidate list to restrict bi-prediction.
実施の形態５においては、実施の形態１と同様の構成及び処理を行うが、実施の形態１
における、図１８のフローチャートで示される、結合動き情報候補リスト生成処理、及び
図３０のフローチャートで示される、結合動き情報候補単予測変換処理が異なる構成を取
る。
In the fifth embodiment, the same configuration and processing as in the first embodiment are performed.
The combined motion information candidate list generation process shown in the flowchart of FIG. 18 and the combined motion information candidate single prediction conversion process shown in the flowchart of FIG. 30 are different.
図５１のフローチャートで、実施の形態５における結合動き情報候補リスト生成処理の
説明を行う。実施の形態５においては、符号化処理に対する図１７のフローチャートにお
けるステップＳ１７０１及び、復号処理に対する図３９のフローチャートにおけるステッ
プＳ３９０１において、図５３に示される処理が施される。実施の形態１の図１８のフロ
ーチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新しいステッ
プ番号をつけている。
The combined motion information candidate list generation process in the fifth embodiment will be described with reference to the flowchart of FIG. In the fifth embodiment, the process shown in FIG. 53 is performed in step S1701 in the flowchart of FIG. 17 for the encoding process and in step S3901 in the flowchart of FIG. 39 for the decoding process. With respect to the same steps as those in the flowchart of FIG. 18 of the first embodiment, the same numbers are assigned and new step numbers are assigned only to different portions.
ステップＳ１８００からステップＳ１８０２までの処理によって、結合動き情報の候補
となる、空間候補ブロック群から同一の情報を削除した形での空間結合動き情報候補と、
時間結合動き情報候補が算出され、候補ブロックの動き情報から算出された結合動き情報
が生成される。次に、ステップＳ１８０２までに生成された結合動き情報の数である、nu
m_list_before_combined_mergeを格納する（Ｓ５３０５）。この値は、後述する結合動き
情報候補単予測変換処理において用いられる。
By the processing from step S1800 to step S1802, a candidate for combined motion information, a spatially combined motion information candidate in a form in which the same information is deleted from the spatial candidate block group,
Temporal combined motion information candidates are calculated, and combined motion information calculated from the motion information of candidate blocks is generated. Next, nu, which is the number of combined motion information generated up to step S1802.
m_list_before_combined_merge is stored (S5305). This value is used in the combined motion information candidate single prediction conversion process described later.
続いて、ステップＳ１８０３からステップＳ１８０４までの処理によって、結合動き情
報候補リストに登録された複数の結合動き情報候補の動き情報を組合せて生成した、第１
結合動き情報候補と、結合動き情報候補リストに登録された動き情報に依存せずに生成し
た、第２結合動き情報候補が必要に応じて追加され、結合動き情報候補リスト生成処理を
終了する。
Subsequently, by the processing from step S1803 to step S1804, the motion information of a plurality of combined motion information candidates registered in the combined motion information candidate list is generated in combination.
The combined motion information candidate and the second combined motion information candidate generated without depending on the motion information registered in the combined motion information candidate list are added as necessary, and the combined motion information candidate list generation process is terminated.
実施の形態５における、結合動き情報候補リスト生成処理においての実施の形態１と異
なる処理は、num_list_before_combined_mergeの格納処理であり、隣接ブロックより定義
される候補ブロック群の動き情報を登録した結合動き情報と、候補ブロック群の動き情報
の組合せや、候補ブロックの動き情報に依存しない動き情報を登録した結合動き情報の、
境界のリスト番号を保存している。
The processing different from the first embodiment in the combined motion information candidate list generation processing in the fifth embodiment is a storage process of num_list_before_combined_merge, and the combined motion information in which the motion information of a candidate block group defined by adjacent blocks is registered. , A combination of motion information of candidate block groups, and combined motion information in which motion information that does not depend on motion information of candidate blocks is registered,
Stores the list number of the boundary.
続いて、図５４のフローチャートで、実施の形態５における結合動き情報候補単予測変
換処理の説明を行う。実施の形態５においては、符号化処理に対する図１７のフローチャ
ートにおけるステップＳ１７０３及び、復号処理に対する図３９のフローチャートにおけ
るステップＳ３９０３において、図５４に示される処理が施される。実施の形態１の図３
０のフローチャートと同一のステップに関しては、同一番号をつけ異なる部分にのみ新し
いステップ番号をつけている。
Subsequently, the combined motion information candidate single prediction conversion process in
The same steps as those in the flowchart of 0 are given the same numbers, and new steps are assigned only to different parts.
図５２のフローチャートで示す結合動き情報候補単予測変換処理は、図３０のフローチ
ャートに対して、動き情報が単予測でない場合（Ｓ３００２：ＮＯ）の処理が異なり、結
合動き情報候補リストのインデックスｉがnum_list_before_combined_mergeより小さい場
合（Ｓ５４０７：ＹＥＳ）には、双予測の動き情報を単予測に変換するために、インデッ
クスｉに格納された動き情報のＬ１情報を無効にする（Ｓ３００３）。
The combined motion information candidate single prediction conversion process shown in the flowchart of FIG. 52 differs from the flowchart of FIG. 30 in the case where the motion information is not a single prediction (S3002: NO), and the index i of the combined motion information candidate list is If smaller than num_list_before_combined_merge (S5407: YES), the L1 information of the motion information stored in the index i is invalidated in order to convert the motion information of bi-prediction into single prediction (S3003).
一方、インデックスｉがnum_list_before_combined_merge以上である場合（Ｓ５４０７
：ＮＯ）には、双予測の動き情報を単予測に変換するために、インデックスｉに格納され
た動き情報のＬ０情報を無効にする（Ｓ５４０８）。
On the other hand, if the index i is greater than or equal to num_list_before_combined_merge (S5407)
: NO), the L0 information of the motion information stored in the index i is invalidated in order to convert the motion information of bi-prediction into single prediction (S5408).
ステップＳ３００３及びステップＳ５４０８で、単予測に変換されたインデックスｉの
動き情報が結合動き情報候補リストに格納され（Ｓ３００４）、次のインデックスに進む
（Ｓ３００５）。
In step S3003 and step S5408, the motion information of index i converted to single prediction is stored in the combined motion information candidate list (S3004), and the process proceeds to the next index (S3005).
実施の形態５における、結合動き情報候補単予測変換においては、結合動き情報候補リ
スト内の候補動き情報を、隣接する候補ブロックの動き情報から算出された動き情報と、
登録された複数の動き情報の組合せや、候補ブロックの動き情報に依存せずに生成した動
き情報に対して、単予測変換時に無効にする動き情報を予測種別（Ｌ０予測／Ｌ１予測）
で切り替える。これにより、特に第１結合動き情報候補リスト追加部で追加された動き情
報に対して、単予測変換時に無効にされた予測種別の動き情報を残して、単予測変換時に
有効にされた予測種別の動き情報を無効にすることができ、結合動き情報として有効な動
き情報を多く残すことが可能となり、符号化効率を向上させることができる。
In the combined motion information candidate single prediction conversion in
For motion information generated without depending on a combination of a plurality of registered motion information or motion information of candidate blocks, motion information to be invalidated at the time of single prediction conversion is predicted (L0 prediction / L1 prediction).
Switch with. Thereby, especially with respect to the motion information added by the first combined motion information candidate list adding unit, the motion information of the prediction type disabled during the single prediction conversion is left, and the prediction type enabled during the single prediction conversion Motion information can be invalidated, and it is possible to leave a lot of valid motion information as combined motion information, thereby improving the coding efficiency.
また、双予測が制限された予測ブロックサイズにおいて、Ｌ０予測とＬ１予測が偏らず
に候補として用いられるため、符号化・復号時に用いられた動き情報として保存される動
き情報においてもＬ０予測とＬ１予測の偏りが少なくなる。そのため、後続する予測ブロ
ックの結合動き情報候補生成時に、第１結合動き情報候補リスト追加部で生成できる双予
測の動き情報の精度が向上し、符号化効率を向上させることができる。
In addition, in the prediction block size in which bi-prediction is limited, L0 prediction and L1 prediction are used as candidates without being biased. Therefore, even in motion information stored as motion information used at the time of encoding / decoding, L0 prediction and L1 Forecast bias is reduced. Therefore, the accuracy of the bi-prediction motion information that can be generated by the first combined motion information candidate list adding unit at the time of generating the combined motion information candidate of the subsequent prediction block can be improved, and the encoding efficiency can be improved.
実施の形態５においては、インデックスｉがnum_list_before_combined_mergeより小さ
い時にＬ１情報を無効にし、インデックスｉがnum_list_before_combined_merge以上の場
合にＬ０情報を無効にしたが、num_list_before_combined_mergeを基準に無効にする予測
種別を切り替えることが、この実施の形態における特徴であり、インデックスｉがnum_li
st_before_combined_mergeより小さい時にＬ０情報を無効にし、インデックスｉがnum_li
st_before_combined_merge以上の場合にＬ１情報を無効にする構成を取ることも可能であ
る。
In the fifth embodiment, the L1 information is invalidated when the index i is smaller than num_list_before_combined_merge, and the L0 information is invalidated when the index i is equal to or larger than num_list_before_combined_merge. A feature of this embodiment is that index i is num_li
L0 information is invalidated when it is smaller than st_before_combined_merge, and index i is num_li
It is also possible to adopt a configuration in which the L1 information is invalidated in the case of st_before_combined_merge or more.
（実施の形態６）
続いて、本発明の実施の形態６に係る動画像符号化装置及び動画像復号装置の説明を行
う。実施の形態６においては、実施の形態５と同様の構成をとり、結合動き情報候補単予
測変換における無効にする予測種別（Ｌ０予測／Ｌ１予測）を切り替える点が特徴である
が、インデックスの固定位置を基準に切り替える構成を取る。
(Embodiment 6)
Next, the video encoding device and video decoding device according to
実施の形態６においては、実施の形態５と同様の構成及び処理を行うが、実施の形態５
における、図５３のフローチャートで示される、結合動き情報候補リスト生成処理は行わ
ず、実施の形態１と同一の、図１８のフローチャートで示される、結合動き情報候補リス
ト生成処理が行われる。
In the sixth embodiment, the same configuration and processing as in the fifth embodiment are performed.
In FIG. 53, the combined motion information candidate list generation process shown in the flowchart of FIG. 18 which is the same as that of the first embodiment is performed without performing the combined motion information candidate list generation process shown in the flowchart of FIG.
また、実施の形態６においては、実施の形態５における、図５４のフローチャートで示
される、結合動き情報候補単予測変換処理が、図５５のフローチャートで示される処理に
置き換わる構成を取る。実施の形態６においては、符号化処理に対する図１７のフローチ
ャートにおけるステップＳ１７０３及び、復号処理に対する図３９のフローチャートにお
けるステップＳ３９０３において、図５５に示される処理が施される。
In
以下、図５５のフローチャートの説明を行う。図５４のフローチャートと同一のステッ
プに関しては、同一番号をつけ異なる部分にのみ新しいステップ番号をつけている。
Hereinafter, the flowchart of FIG. 55 will be described. The same steps as those in the flowchart of FIG. 54 are given the same numbers, and new step numbers are given only to different parts.
図５５のフローチャートで示す結合動き情報候補単予測変換処理は、図５４のフローチ
ャートに対して、動き情報が単予測でない場合（Ｓ３００２：ＮＯ）の処理が異なり、結
合動き情報候補リストのインデックスｉが２より小さい場合（Ｓ５５０７：ＹＥＳ）には
、双予測の動き情報を単予測に変換するために、インデックスｉに格納された動き情報の
Ｌ１情報を無効にする（Ｓ３００３）。
The combined motion information candidate single prediction conversion process shown in the flowchart of FIG. 55 is different from the flowchart of FIG. 54 in the case where the motion information is not a single prediction (S3002: NO), and the index i of the combined motion information candidate list is If it is smaller than 2 (S5507: YES), the L1 information of the motion information stored in the index i is invalidated in order to convert the motion information of bi-prediction into single prediction (S3003).
一方、インデックスｉが２以上である場合（Ｓ５５０７：ＮＯ）には、双予測の動き情
報を単予測に変換するために、インデックスｉに格納された動き情報のＬ０情報を無効に
する（Ｓ５４０８）。
On the other hand, when the index i is 2 or more (S5507: NO), the L0 information of the motion information stored in the index i is invalidated in order to convert the motion information of bi-prediction into single prediction (S5408). .
ステップＳ３００３及びステップＳ５４０８で、単予測に変換されたインデックスｉの動
き情報が結合動き情報候補リストに格納され（Ｓ３００４）、次のインデックスに進む（
Ｓ３００５）。
In step S3003 and step S5408, the motion information of index i converted to single prediction is stored in the combined motion information candidate list (S3004), and proceeds to the next index (step S3004).
S3005).
実施の形態６における、結合動き情報候補単予測変換においては、結合動き情報候補リ
スト内の候補動き情報を、隣接する候補ブロックの動き情報から算出された動き情報によ
って第１結合動き情報候補リスト追加部で、双予測の追加動き情報を生成するために必要
な最小限の動き情報である２つの動き情報と、リストの後半で登録される第１結合動き情
報候補リスト追加部及び第２結合動き情報候補リスト追加部で追加された動き情報に対し
て、インデックスの位置で固定的に単予測変換時に無効にする動き情報を予測種別（Ｌ０
予測／Ｌ１予測）を切り替える構成を取る。
In combined motion information candidate single prediction conversion in
Prediction / L1 prediction) is switched.
実施の形態６における、結合動き情報候補単予測変換においては、実施の形態５に対し
て、隣接ブロックより定義される候補ブロック群の動き情報を登録した結合動き情報と、
候補ブロック群の動き情報の組合せや、候補ブロックの動き情報に依存しない動き情報を
登録した結合動き情報の、境界のリスト番号を保存する処理を無くすことができるため、
処理負荷が軽減できると共に、実施の形態５と同様に、第１結合動き情報候補リスト追加
部で追加された動き情報に対して、単予測変換時に無効にされた予測種別の動き情報を残
して、単予測変換時に有効にされた予測種別の動き情報を無効にすることができ、結合動
き情報として有効な動き情報を多く残すことが可能となり、符号化効率を向上させること
ができる。
In the combined motion information candidate single prediction conversion in the sixth embodiment, the combined motion information in which the motion information of the candidate block group defined by the adjacent blocks is registered with respect to the fifth embodiment,
Since it is possible to eliminate the process of storing the boundary list number of the combined motion information in which the motion information not depending on the motion information of the candidate block group and the motion information of the candidate block is registered,
The processing load can be reduced and, similarly to the fifth embodiment, the motion information of the prediction type invalidated at the time of the single prediction conversion is left for the motion information added by the first combined motion information candidate list adding unit. Therefore, it is possible to invalidate the motion information of the prediction type that is enabled at the time of the single prediction conversion, and it is possible to leave a lot of effective motion information as the combined motion information, thereby improving the encoding efficiency.
また、実施の形態６では、第１結合動き情報候補、第２結合動き情報候補だけでなく、
空間予測候補や時間予測候補に対しても無効にする予測種別を切り替えることができるた
め、予測種別が双予測で同一の動き情報が登録されている場合に、結合動き情報としてＬ
０単予測、Ｌ１単予測の動き情報をそれぞれ利用可能になるため、符号化効率を向上させ
ることができる。
In the sixth embodiment, not only the first combined motion information candidate and the second combined motion information candidate,
Since the prediction type to be invalidated for the spatial prediction candidate and the temporal prediction candidate can be switched, when the prediction type is bi-prediction and the same motion information is registered, L is used as the combined motion information.
Since motion information of 0 single prediction and L1 single prediction can be used, encoding efficiency can be improved.
実施の形態６における、結合動き情報候補単予測変換において、無効にする予測種別（
Ｌ０予測／Ｌ１予測）を切り替えるインデックスの位置を２に固定しているが、固定のイ
ンデックスで予測種別を切り替えることが実施の形態６における特徴であり、空間結合動
き情報候補、時間結合動き情報候補、第１結合動き情報候補、第２結合動き情報候補とし
て登録可能な動き情報の数と、最大で登録可能な結合動き情報候補の数に応じて、固定に
する切り替え位置のインデックスの値を設定することも可能である。
The prediction type (invalidated in combined motion information candidate single prediction conversion in Embodiment 6)
The position of the index for switching (L0 prediction / L1 prediction) is fixed to 2, but switching the prediction type with a fixed index is a feature in
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実
施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォ
ーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータ
フォーマットの符号化ストリームを復号することができる。
The moving image encoded stream output from the moving image encoding apparatus of the embodiment described above has a specific data format so that it can be decoded according to the encoding method used in the embodiment. Therefore, the moving picture decoding apparatus corresponding to the moving picture encoding apparatus can decode the encoded stream of this specific data format.
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有
線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に
適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符
号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネット
ワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ス
トリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
When a wired or wireless network is used to exchange an encoded stream between a moving image encoding device and a moving image decoding device, the encoded stream is converted into a data format suitable for the transmission form of the communication path. It may be transmitted. In that case, a video transmission apparatus that converts the encoded stream output from the video encoding apparatus into encoded data in a data format suitable for the transmission form of the communication channel and transmits the encoded data to the network, and receives the encoded data from the network Then, a moving image receiving apparatus that restores the encoded stream and supplies the encoded stream to the moving image decoding apparatus is provided.
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモ
リと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化デ
ータをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化さ
れた符号化データをネットワークを介して受信する受信部と、受信された符号化データを
バッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動
画像復号装置に提供するパケット処理部とを含む。
The moving image transmitting apparatus is a memory that buffers the encoded stream output from the moving image encoding apparatus, a packet processing unit that packetizes the encoded stream, and transmission that transmits the packetized encoded data via the network. Part. The moving image receiving apparatus generates a coded stream by packetizing the received data, a receiving unit that receives the packetized coded data via a network, a memory that buffers the received coded data, and packet processing. And a packet processing unit provided to the video decoding device.
また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信
装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍ
ｏｒｙ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソ
フトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウ
ェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、
有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛
星ディジタル放送のデータ放送として提供することも可能である。
Further, the above-described processing relating to encoding and decoding can be realized as a transmission, storage, and reception device using hardware, as well as a ROM (Read Only Mem).
ory), firmware stored in a flash memory or the like, or software such as a computer. Recording the firmware program and software program in a computer-readable recording medium and providing the same
It can be provided from a server through a wired or wireless network, or can be provided as terrestrial or satellite digital broadcast data broadcast.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構
成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変
形例も本発明の範囲にあることは当業者に理解されるところである。
The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
１００ 入力端子、 １０１ 入力画像メモリ、 １０２ 符号化ブロック取得部、
１０３ 減算部、 １０４ 直交変換・量子化部、 １０５ 予測誤差符号化部、 １０
６ 逆量子化・逆変換部、 １０７ 加算部、 １０８ フレーム内復号画像バッファ、
１０９ ループフィルタ部、 １１０ 復号画像メモリ、 １１１ 動きベクトル検出
部、 １１２ 動き補償予測部、 １１３ 動き補償予測ブロック構造選択部、 １１４
イントラ予測部、 １１５ イントラ予測ブロック構造選択部、 １１６ 予測モード
選択部、 １１７ 符号化ブロック構造選択部、 １１８ ブロック構造／予測モード情
報付加情報符号化部、 １１９ 予測モード情報メモリ、 １２０ 多重化部、 １２１
出力端子、 １２２ 符号化ブロック制御パラメータ生成部、 １１００ 入力端子、
１１０１ 多重分離部、 １１０２ 予測差分情報復号部、 １１０３ 逆量子化・逆
変換部、 １１０４ 加算部、 １１０５ フレーム内復号画像バッファ、 １１０６
ループフィルタ部、 １１０７ 復号画像メモリ、 １１０８ 予測モード／ブロック構
造復号部、 １１０９ 予測モード／ブロック構造選択部、 １１１０ イントラ予測情
報復号部、 １１１１ 動き情報復号部、 １１１２ 予測モード情報メモリ、 １１１
３ イントラ予測部、 １１１４ 動き補償予測部、 １１１５ 出力端子、 １５００
動き補償予測生成部、 １５０１ 予測誤差算出部、 １５０２ 予測ベクトル算出部
、 １５０３ 差分ベクトル算出部、 １５０４ 動き情報符号量算出部、 １５０５
予測モード／ブロック構造評価部、 １５０６ 結合動き情報算出部、 １５０７ 結合
動き情報単予測変換部、 １５０８ 結合動き補償予測生成部、 １６００ 空間結合動
き情報候補リスト生成部、 １６０１ 結合動き情報候補リスト削除部、 １６０２ 時
間結合動き情報候補リスト生成部、 １６０３ 第１結合動き情報候補リスト追加部、
１６０４ 第２結合動き情報候補リスト追加部、 ３６００ 動き情報ビットストリーム
復号部、 ３６０１ 予測ベクトル算出部、 ３６０２ ベクトル加算部、 ３６０３
動き補償予測復号部、 ３６０４ 結合動き情報算出部、 ３６０５ 結合動き情報単予
測変換部、 ３６０６ 結合動き補償予測復号部。
100 input terminals, 101 input image memory, 102 encoded block acquisition unit,
103 subtraction unit, 104 orthogonal transform / quantization unit, 105 prediction error encoding unit, 10
6 inverse quantization / inverse transform unit, 107 addition unit, 108 intra-frame decoded image buffer,
109 loop filter unit, 110 decoded image memory, 111 motion vector detection unit, 112 motion compensation prediction unit, 113 motion compensation prediction block structure selection unit, 114
Intra prediction unit, 115 Intra prediction block structure selection unit, 116 Prediction mode selection unit, 117 Coding block structure selection unit, 118 Block structure / prediction mode information additional information coding unit, 119 Prediction mode information memory, 120 Multiplexing unit, 121
Output terminal, 122 encoding block control parameter generation unit, 1100 input terminal,
1101 Demultiplexer, 1102 Prediction difference information decoder, 1103 Inverse quantization / inverse transformer, 1104 Adder, 1105 Intraframe decoded image buffer, 1106
Loop filter unit, 1107 decoded image memory, 1108 prediction mode / block structure decoding unit, 1109 prediction mode / block structure selection unit, 1110 intra prediction information decoding unit, 1111 motion information decoding unit, 1112 prediction mode information memory, 111
3 Intra prediction unit, 1114 motion compensation prediction unit, 1115 output terminal, 1500
Motion compensation
Prediction mode / block structure evaluation unit, 1506 combined motion information calculation unit, 1507 combined motion information single prediction conversion unit, 1508 combined motion compensation prediction generation unit, 1600 spatial combined motion information candidate list generation unit, 1601 combined motion information candidate
1604 second combined motion information candidate list addition unit, 3600 motion information bitstream decoding unit, 3601 prediction vector calculation unit, 3602 vector addition unit, 3603
A motion compensation prediction decoding unit; 3604 a combined motion information calculation unit; 3605 a combined motion information single prediction conversion unit; and 3606 a combined motion compensation prediction decoding unit.
Claims (1)
前記符号化ストリームがパケット化された符号化データを受信する受信部と、
受信された前記符号化ストリームをパケット処理して元の符号化ストリームを復元する復元部と、
復元された前記符号化ストリームから、復号対象となる前記予測ブロックの動き情報を指定したインデックス情報を復号する復号部と、
前記復号対象となる予測ブロックに空間的に近接するブロック及び時間的に近接するブロックの少なくとも何れかから動き情報を導出し、前記復号対象となる予測ブロックの動き情報候補として、その導出された動き情報の中から所定の動き情報を登録して動き情報候補リストを構築する候補リスト構築部と、
前記導出された動き情報を組み合わせることで新たな動き情報候補を生成し、生成された前記動き情報候補を前記動き情報候補リストに追加する候補リスト追加部と、
前記動き情報候補を変換する動き情報変換部と、
前記動き情報候補のうちの前記インデックス情報により指定された動き情報に基づいて、単予測又は双予測の何れかにより動き補償予測を行い前記復号対象となる予測ブロックの予測信号を生成する動き補償予測部とを備え、
前記新たな動き情報候補の予測種別情報は前記双予測であり、
前記動き情報変換部は、前記動き情報候補のうち、前記双予測により前記動き補償予測を行うことを示す予測種別情報を、前記候補リスト追加部が前記動き情報候補リストに動き情報候補を追加した後に、前記単予測により前記動き補償予測を行うことを示す予測種別情報に変換する予測変換を行い、
前記動き補償予測部は、前記復号対象となる予測ブロックのブロックサイズが所定の第１サイズの場合であり、かつ前記指定された動き情報の前記予測種別情報が前記双予測により前記動き補償予測を行うことを示す場合に、前記予測変換により変換された前記予測種別情報により前記動き補償予測を行い、
前記予測変換はＬ１予測情報を無効にすることでＬ０予測への前記単予測に変換することを特徴とする受信装置。 A receiving device that identifies a prediction block from a block in which a picture is divided into a plurality of blocks in stages, and receives and decodes an encoded stream in which a moving image is encoded in the specified prediction block unit. ,
A receiving unit that receives encoded data in which the encoded stream is packetized;
A restoration unit that packet-processes the received encoded stream to restore the original encoded stream;
A decoding unit that decodes index information that specifies motion information of the prediction block to be decoded from the restored encoded stream;
Motion information is derived from at least one of a block spatially adjacent to the prediction block to be decoded and a block temporally adjacent to the prediction block, and the derived motion is used as a motion information candidate of the prediction block to be decoded. A candidate list construction unit for registering predetermined motion information from the information and constructing a motion information candidate list;
A candidate list adding unit that generates a new motion information candidate by combining the derived motion information, and adds the generated motion information candidate to the motion information candidate list;
A motion information conversion unit for converting the motion information candidates;
Motion compensated prediction based on the motion information specified by the index information of the motion information candidates, and performing motion compensation prediction by either uni-prediction or bi-prediction to generate a prediction signal of the prediction block to be decoded With
The prediction type information of the new motion information candidate is the bi-prediction,
The motion information conversion unit adds prediction type information indicating that the motion compensated prediction is performed by the bi-prediction among the motion information candidates, and the candidate list addition unit adds a motion information candidate to the motion information candidate list. Later, performing prediction conversion to convert into prediction type information indicating that the motion compensation prediction is performed by the single prediction,
The motion compensation prediction unit is a case where the block size of the prediction block to be decoded is a predetermined first size, and the prediction type information of the designated motion information is the motion compensated prediction by the bi-prediction. When indicating to perform the motion compensation prediction by the prediction type information converted by the prediction conversion,
The said prediction conversion converts into the said single prediction to L0 prediction by invalidating L1 prediction information, The receiver characterized by the above-mentioned.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012093092 | 2012-04-16 | ||
| JP2012093092 | 2012-04-16 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016142778A Division JP6004134B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017005749A true JP2017005749A (en) | 2017-01-05 |
| JP6226044B2 JP6226044B2 (en) | 2017-11-08 |
Family
ID=49764680
Family Applications (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013085473A Active JP5987767B2 (en) | 2012-04-16 | 2013-04-16 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142780A Active JP6004136B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142781A Active JP6004137B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142778A Active JP6004134B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142779A Active JP6004135B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016163462A Active JP6226044B2 (en) | 2012-04-16 | 2016-08-24 | Receiver |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013085473A Active JP5987767B2 (en) | 2012-04-16 | 2013-04-16 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142780A Active JP6004136B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142781A Active JP6004137B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142778A Active JP6004134B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
| JP2016142779A Active JP6004135B1 (en) | 2012-04-16 | 2016-07-20 | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program |
Country Status (1)
| Country | Link |
|---|---|
| JP (6) | JP5987767B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020084475A1 (en) | 2018-10-22 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Utilization of refined motion vector |
| EP3857879A4 (en) | 2018-11-12 | 2022-03-16 | Beijing Bytedance Network Technology Co., Ltd. | Simplification of combined inter-intra prediction |
| KR20210091161A (en) | 2018-11-20 | 2021-07-21 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Difference calculation based on partial location |
| KR102635518B1 (en) | 2019-03-06 | 2024-02-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Use of converted single prediction candidates |
-
2013
- 2013-04-16 JP JP2013085473A patent/JP5987767B2/en active Active
-
2016
- 2016-07-20 JP JP2016142780A patent/JP6004136B1/en active Active
- 2016-07-20 JP JP2016142781A patent/JP6004137B1/en active Active
- 2016-07-20 JP JP2016142778A patent/JP6004134B1/en active Active
- 2016-07-20 JP JP2016142779A patent/JP6004135B1/en active Active
- 2016-08-24 JP JP2016163462A patent/JP6226044B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013240046A (en) | 2013-11-28 |
| JP6004134B1 (en) | 2016-10-05 |
| JP6226044B2 (en) | 2017-11-08 |
| JP2016197902A (en) | 2016-11-24 |
| JP2016197903A (en) | 2016-11-24 |
| JP2016197900A (en) | 2016-11-24 |
| JP2016197901A (en) | 2016-11-24 |
| JP6004137B1 (en) | 2016-10-05 |
| JP6004135B1 (en) | 2016-10-05 |
| JP5987767B2 (en) | 2016-09-07 |
| JP6004136B1 (en) | 2016-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2013157251A1 (en) | Video encoding device, video encoding method, video encoding program, transmission device, transmission method, transmission program, video decoding device, video decoding method, video decoding program, reception device, reception method, and reception program | |
| JP6226044B2 (en) | Receiver | |
| JP6428869B2 (en) | Moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program | |
| JP5786498B2 (en) | Image coding apparatus, image coding method, and image coding program | |
| JP5786499B2 (en) | Image decoding apparatus, image decoding method, and image decoding program | |
| JP6172326B2 (en) | Image encoding device, image encoding method, image encoding program, transmission device, transmission method, and transmission program | |
| JP6172324B2 (en) | Image decoding apparatus, image decoding method, image decoding program, receiving apparatus, receiving method, and receiving program | |
| JP6172325B2 (en) | Image decoding apparatus, image decoding method, image decoding program, receiving apparatus, receiving method, and receiving program | |
| TWI657696B (en) | Motion image encoding device, motion image encoding method, and recording medium for recording motion image encoding program | |
| JP6172327B2 (en) | Image encoding device, image encoding method, image encoding program, transmission device, transmission method, and transmission program | |
| JP6172328B2 (en) | Image encoding device, image encoding method, image encoding program, transmission device, transmission method, and transmission program | |
| JP2016167856A (en) | Image decoder, image decoding method, image decoding program, receiver, receiving method and receiving program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170912 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6226044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |