JP2013102260A - Moving image decoder, moving image decoding method and moving image decoding program - Google Patents
Moving image decoder, moving image decoding method and moving image decoding program Download PDFInfo
- Publication number
- JP2013102260A JP2013102260A JP2011243410A JP2011243410A JP2013102260A JP 2013102260 A JP2013102260 A JP 2013102260A JP 2011243410 A JP2011243410 A JP 2011243410A JP 2011243410 A JP2011243410 A JP 2011243410A JP 2013102260 A JP2013102260 A JP 2013102260A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- inter
- picture
- information
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像復号技術に関し、特に動き補償予測を利用した動画像復号技術に関する。 The present invention relates to a moving picture decoding technique, and more particularly to a moving picture decoding technique using motion compensated prediction.
動画像の圧縮符号化方式の代表的なものとして、MPEG−4 AVC/H.264の規格がある。MPEG−4 AVC/H.264では、ピクチャを複数の矩形ブロックに分割し、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動きを予測する動き補償が用いられている。この動き補償により動きを予測する手法をインター予測または動き補償予測と呼ぶ。MPEG−4 AVC/H.264でのインター予測では、複数のピクチャを参照ピクチャとして用いることができ、これらの複数の参照ピクチャから最も適した参照ピクチャをブロック毎に選択して動き補償を行う。そこで、それぞれの参照ピクチャには参照インデックスが割り当てられ、この参照インデックスにより、参照ピクチャを特定する。なお、Bピクチャでは、符号化・復号済みの参照ピクチャから最大で2枚を選択してインター予測に用いることができる。それらの2枚の参照ピクチャからの予測をそれぞれ主に前方向の予測として使われるL0予測(リスト0予測)、主に後方向の予測として使われるL1予測(リスト1予測)として区別している。
As a typical moving image compression encoding method, MPEG-4 AVC / H. There are H.264 standards. MPEG-4 AVC / H. In H.264, motion compensation is used in which a picture is divided into a plurality of rectangular blocks, a picture that has already been encoded / decoded is used as a reference picture, and motion from the reference picture is predicted. This method of predicting motion by motion compensation is called inter prediction or motion compensated prediction. MPEG-4 AVC / H. In the inter prediction in H.264, a plurality of pictures can be used as reference pictures, and the most suitable reference picture is selected for each block from the plurality of reference pictures to perform motion compensation. Therefore, a reference index is assigned to each reference picture, and the reference picture is specified by this reference index. Note that, for B pictures, a maximum of two reference pictures that have been encoded and decoded can be selected and used for inter prediction. The predictions from these two reference pictures are distinguished as L0 prediction (
さらに、L0予測とL1予測の2つのインター予測を共に用いる双予測も定義されている。双予測の場合は、L0予測、L1予測のそれぞれのインター予測された信号に重み付け係数を掛け算し、オフセット値を加算して重畳し、最終的なインター予測画像信号を生成する。重み付け予測に用いる重み付け係数及びオフセット値はピクチャ単位で各リストの参照ピクチャ毎に代表的な値が設定され、符号化される。インター予測に関する符号化情報には、ブロック毎に、L0予測とL1予測、双予測を区別する予測モード、ブロック毎の参照リスト毎に、参照ピクチャを特定する参照インデックス、ブロックの移動方向・移動量を表す動きベクトルがあり、これらの符号化情報を符号化・復号する。 Furthermore, bi-prediction using both inter predictions of L0 prediction and L1 prediction is also defined. In the case of bi-prediction, each inter-predicted signal of L0 prediction and L1 prediction is multiplied by a weighting coefficient, an offset value is added and superimposed, and a final inter-predicted image signal is generated. As weighting coefficients and offset values used for weighted prediction, representative values are set for each reference picture in each list and encoded. The encoding information related to inter prediction includes, for each block, a prediction mode for distinguishing between L0 prediction and L1 prediction and bi-prediction, a reference index for specifying a reference picture for each reference list for each block, and a moving direction and a moving amount of the block. There is a motion vector that expresses and encodes and decodes the encoded information.
さらに、MPEG−4 AVC/H.264では、符号化/復号済みのブロックのインター予測情報から符号化/復号対象のブロックのインター予測情報を生成するダイレクトモードが定義されている。ダイレクトモードはインター予測情報の符号化が不要となるので、符号化効率が向上する。 Furthermore, MPEG-4 AVC / H. H.264 defines a direct mode for generating inter prediction information of a block to be encoded / decoded from inter prediction information of an encoded / decoded block. In the direct mode, encoding of inter prediction information is not necessary, so that encoding efficiency is improved.
時間方向のインター予測情報の相関を利用する時間ダイレクトモードについて図31を用いて説明する。L1の参照インデックスが0に登録されているピクチャを基準ピクチャcolPicとする。基準ピクチャcolPic内で符号化/復号対象ブロックと同じ位置のブロックを基準ブロックとする。 A temporal direct mode using the correlation of inter prediction information in the time direction will be described with reference to FIG. A picture in which the reference index of L1 is registered as 0 is defined as a reference picture colPic. A block in the same position as the encoding / decoding target block in the reference picture colPic is set as a reference block.
基準ブロックがL0予測を用いて符号化されていれば、基準ブロックのL0の動きベクトルを基準動きベクトルmvColとし、基準ブロックがL0予測を用いて符号化されておらず、L1予測を用いて符号化されていれば、基準ブロックのL1の動きベクトルを基準動きベクトルmvColとする。基準動きベクトルmvColが参照するピクチャを時間ダイレクトモードのL0の参照ピクチャとし、基準ピクチャcolPicを時間ダイレクトモードのL1の参照ピクチャとする。 If the reference block is encoded using the L0 prediction, the L0 motion vector of the reference block is set as the reference motion vector mvCol, and the reference block is not encoded using the L0 prediction and is encoded using the L1 prediction. If this is the case, the L1 motion vector of the reference block is set as the reference motion vector mvCol. The picture referred to by the reference motion vector mvCol is the L0 reference picture in the temporal direct mode, and the reference picture colPic is the L1 reference picture in the temporal direct mode.
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのL0の動きベクトルmvL0とL1の動きベクトルmvL1を導出する。 From the reference motion vector mvCol, the L0 motion vector mvL0 and the L1 motion vector mvL1 in the temporal direct mode are derived by scaling calculation processing.
基準ピクチャcolPicのPOCから、時間ダイレクトモードのL0の参照ピクチャのPOCを減算してピクチャ間距離tdを導出する。なお、POCは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力/表示順序で1ずつ増加する値が設定される。2つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
td=基準ピクチャcolPicのPOC−時間ダイレクトモードのL0の参照ピクチャのPOC
The inter-picture distance td is derived by subtracting the POC of the L0 reference picture in the temporal direct mode from the POC of the base picture colPic. Note that POC is a variable associated with a picture to be encoded, and is set to a value that increases by 1 in the picture output / display order. The difference in POC between two pictures indicates the inter-picture distance in the time axis direction.
td = POC of base picture colPic-POC of L0 reference picture in temporal direct mode
符号化/復号対象ピクチャのPOCから時間ダイレクトモードのL0の参照ピクチャのPOCを減算してピクチャ間距離tbを導出する。
tb=符号化/復号対象ピクチャのPOC−時間ダイレクトモードのL0の参照ピクチャのPOC
The inter-picture distance tb is derived by subtracting the POC of the L0 reference picture in the temporal direct mode from the POC of the picture to be encoded / decoded.
tb = POC of picture to be encoded / decoded-POC of L0 reference picture in temporal direct mode
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのL0の動きベクトルmvL0を導出する。
mvL0=tb / td * mvCol
The motion vector mvL0 of L0 in the temporal direct mode is derived from the reference motion vector mvCol by scaling calculation processing.
mvL0 = tb / td * mvCol
時間ダイレクトモードのL0の動きベクトルmvL0から基準動きベクトルmvColを減算しL1の動きベクトルmvL1を導出する。
mvL1=mvL0 - mvCol
The motion vector mvL1 of L1 is derived by subtracting the reference motion vector mvCol from the motion vector mvL0 of L0 in the temporal direct mode.
mvL1 = mvL0-mvCol
従来の方法では、動き補償でブロック毎に参照する動き情報の候補の数が固定されていたため、符号化効率が上がらないことがあった。 In the conventional method, since the number of motion information candidates to be referenced for each block in motion compensation is fixed, the encoding efficiency may not increase.
このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。 Under such circumstances, the present inventors have come to recognize the necessity of further compressing the encoded information and reducing the overall code amount in the moving image encoding scheme using motion compensation prediction.
本発明はこうした状況に鑑みてなされたものであり、その目的は、符号化情報の候補を算出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる動画像復号技術を提供することにある。 The present invention has been made in view of such a situation, and an object of the present invention is to obtain a moving picture decoding technique that improves encoding efficiency by reducing the amount of encoded information by calculating encoding information candidates. Is to provide.
上記課題を解決するために、本発明のある態様の動画像復号装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出部(230、231、232)と、前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が1であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充部(236)と、前記候補補充部による補充後の前記インター予測情報の候補から1つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測部(206)とを備える。 In order to solve the above problem, a moving picture decoding apparatus according to an aspect of the present invention decodes a coded bit string obtained by coding the moving picture using motion compensation prediction in units of blocks obtained by dividing each picture of the moving picture. A decoding block that is adjacent to the prediction block to be decoded or is present at the same position as or near the prediction block to be decoded in a decoded picture that is temporally different from the prediction block to be decoded A prediction information deriving unit (230, 231 and 232) for deriving a candidate of inter prediction information including motion vector information and reference picture information from the prediction block to be decoded, and the picture including the prediction block to be decoded and the reference Scale by multiplying motion vectors of inter prediction information candidates whose inter-picture distance is 1 by an integer. A candidate interpolating unit (236) for generating a new candidate for inter prediction information by calculation and supplementing it as a candidate for inter prediction information, and one inter prediction from the inter prediction information candidates after supplementing by the candidate supplementing unit A motion compensation prediction unit (206) that selects information candidates and performs inter prediction of the prediction block to be decoded based on the selected inter prediction information candidates.
本発明の別の態様もまた、動画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部(230、231、232)と、前記復号対象の予測ブロックを含むピクチャと第1予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第1予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第2予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第2予測の動きベクトルを整数倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部(236)と、前記候補補充部による補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部(206)とを備える。
Another aspect of the present invention is also a video decoding device. This apparatus is a moving picture decoding apparatus that decodes a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture, and predicting a decoding target in a B slice From the prediction block adjacent to the block or the prediction block existing in the same position as or near the prediction block in the decoded picture temporally different from the prediction block to be decoded, the motion vector information and the reference picture A prediction information deriving unit (230, 231 and 232) for deriving bi-prediction inter prediction information candidates including information, and a picture-to-picture distance between the picture including the prediction block to be decoded and the reference picture of the
本発明のさらに別の態様もまた、動画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部(230、231、232)と、前記復号対象の予測ブロックを含むピクチャと第1予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第1予測の動きベクトルを−1倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第2予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第2予測の動きベクトルを−1倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部(236)と、前記候補補充部による補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部(206)とを備える。 Yet another embodiment of the present invention is also a moving picture decoding apparatus. This apparatus is a moving picture decoding apparatus that decodes a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture, and predicting a decoding target in a B slice From the prediction block adjacent to the block or the prediction block existing in the same position as or near the prediction block in the decoded picture temporally different from the prediction block to be decoded, the motion vector information and the reference picture A prediction information deriving unit (230, 231 and 232) for deriving bi-prediction inter prediction information candidates including information, and the inter-picture distance between the picture including the prediction block to be decoded and the reference picture of the first prediction is 1 In the inter prediction information candidates other than bi-prediction, the motion vector of the first prediction is scaled by −1. A new bi-prediction inter prediction information candidate is generated by using the calculated motion vector for the other second prediction, or the picture including the prediction block to be decoded and the second prediction reference In a bi-prediction inter prediction information candidate having a picture inter-picture distance other than 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction by -1 times is used as a new prediction motion vector. A candidate supplementing unit (236) that generates prediction inter prediction information candidates and supplements them as bi-prediction inter prediction information candidates, and one candidate from the bi-prediction inter prediction information candidates after supplementation by the candidate supplementing unit. A candidate for inter prediction information for bi-prediction is selected, and the bi-prediction of the prediction block to be decoded is selected based on the selected candidate for inter-prediction information for bi-prediction. And a motion compensation prediction unit (206) for performing inter prediction.
本発明のさらに別の態様は、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が1であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記インター予測情報の候補から1つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備える。 Yet another aspect of the present invention is a video decoding method. This method is a moving picture decoding method for decoding a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture, and is adjacent to the prediction block to be decoded. Motion vector information and reference picture information from a prediction block existing at or near the same position as the prediction block to be decoded in a decoded picture temporally different from the prediction block to be decoded or the prediction block to be decoded A prediction information deriving step for deriving a candidate for inter prediction information, and by multiplying a motion vector of a candidate for inter prediction information whose inter-picture distance between the picture including the prediction block to be decoded and the reference picture is 1 by an integer Scaling operation is performed to generate new inter prediction information candidates. Candidate interpolating step to be supplemented as one inter prediction information candidate selected from the inter prediction information candidates after supplementing in the candidate supplementing step, and the decoding target prediction block based on the selected inter prediction information candidate A motion compensation prediction step for performing inter prediction.
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと第1予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第1予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第2予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第2予測の動きベクトルを整数倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備える。 Yet another embodiment of the present invention is also a moving image decoding method. This method is a moving picture decoding method for decoding a coded bit sequence in which the moving picture is coded using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture, and predicting a decoding target in a B slice From the prediction block adjacent to the block or the prediction block existing in the same position as or near the prediction block in the decoded picture temporally different from the prediction block to be decoded, the motion vector information and the reference picture A prediction information deriving step for deriving bi-prediction inter prediction information candidates including information, and a bi-prediction inter-picture distance between a picture including the prediction block to be decoded and the reference picture of the first prediction is 1. In the prediction information candidate, the motion vector of the first prediction is scaled to an integral multiple. By generating a motion vector for the other second prediction, a new candidate for inter prediction information for bi-prediction is generated, or a picture including a prediction block to be decoded and a reference picture for the second prediction In a bi-prediction inter prediction information candidate having an inter-picture distance of 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction to an integer multiple is used as a first prediction motion vector, whereby a new bi-prediction inter prediction information is obtained. A candidate replenishment step for generating a prediction information candidate and replenishing it as a candidate for bi-prediction inter prediction information, and one inter-prediction information for bi-prediction from the candidates for inter-prediction information for bi-prediction after supplementation in the candidate replenishment step And the bi-prediction event of the prediction block to be decoded is selected according to the selected bi-prediction inter prediction information candidate. And a motion compensated prediction step of performing ter prediction.
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと第1予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第1予測の動きベクトルを−1倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第2予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第2予測の動きベクトルを−1倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備える。 Yet another embodiment of the present invention is also a moving image decoding method. This method is a moving picture decoding method for decoding a coded bit sequence in which the moving picture is coded using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture, and predicting a decoding target in a B slice From the prediction block adjacent to the block or the prediction block existing in the same position as or near the prediction block in the decoded picture temporally different from the prediction block to be decoded, the motion vector information and the reference picture A prediction information deriving step for deriving bi-prediction inter prediction information candidates including information, and a bi-prediction inter prediction in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture of the first prediction is other than 1. An information candidate obtained by scaling the motion vector of the first prediction by -1 times By generating a motion vector for the second prediction of the other one, a new candidate for inter prediction information for bi-prediction is generated, or the inter-picture distance between the picture including the prediction block to be decoded and the reference picture for the second prediction In the bi-prediction inter prediction information candidates other than 1, the bi-prediction inter-prediction information obtained by scaling the second prediction motion vector to -1 is used as the first prediction motion vector. A candidate replenishment step for generating a candidate for inter prediction information for bi-prediction, and a candidate for inter-prediction information for bi-prediction from the candidates for inter-prediction information for bi-prediction after supplementation in the candidate supplement step And the bi-prediction inter prediction of the prediction block to be decoded is performed according to the selected bi-prediction inter prediction information candidate. Cormorants and a motion compensated prediction step.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、伝送する符号化情報の発生符号量を削減させて、符号化効率を向上させることができる。 According to the present invention, it is possible to reduce the amount of generated code of encoded information to be transmitted and improve the encoding efficiency.
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符号化効率を向上させる為に、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化対象のブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号化することによって符号量を削減する。あるいは、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの符号化情報を利用することにより、符号化対象ブロックの符号化情報を導出することによって符号量を削減する。また、動画像の復号の場合は、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算出して復号する。あるいは、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を導出する。 In the present embodiment, with regard to moving picture coding, in particular, to improve coding efficiency in moving picture coding in which a picture is divided into rectangular blocks of an arbitrary size and shape and motion compensation is performed in units of blocks between pictures. Next, a plurality of predicted motion vectors are derived from the motion vectors of the block adjacent to the encoding target block or the block of the encoded picture, and the difference vector between the motion vector of the encoding target block and the selected prediction motion vector The amount of code is reduced by calculating and encoding. Alternatively, the coding amount is reduced by deriving the coding information of the coding target block by using the coding information of the block adjacent to the coding target block or the block of the coded picture. Also, in the case of decoding a moving image, a plurality of predicted motion vectors are calculated from the motion vectors of a block adjacent to the decoding target block or a decoded picture block, and selected from the difference vector decoded from the encoded stream The motion vector of the decoding target block is calculated from the predicted motion vector and decoded. Alternatively, the encoding information of the decoding target block is derived by using the encoding information of the block adjacent to the decoding target block or the block of the decoded picture.
まず、本実施の形態において使用する技術、及び技術用語を定義する。 First, techniques used in the present embodiment and technical terms are defined.
(ツリーブロック、符号化ブロックについて)
実施の形態では、ピクチャを1つまたは複数分割したスライスが符号化の基本単位となっており、スライス毎にスライスの種類を示す情報であるスライスタイプが設定される。図3に示されるように、スライス内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、スライス内での符号化/復号対象ブロック(符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。)を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは1つの輝度信号と2つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、2のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に4分割(縦横に2分割ずつ)して、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも1つの輝度信号と2つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、2のべき乗のサイズで自由に設定することができる。
(About tree blocks and coding blocks)
In the embodiment, a slice obtained by dividing a picture into one or more is a basic unit of encoding, and a slice type, which is information indicating a slice type, is set for each slice. As shown in FIG. 3, the slice is equally divided into square units of any same size. This unit is defined as a tree block, and is a block to be encoded / decoded in a slice (a block to be encoded in the encoding process and a block to be decoded in the decoding process. Hereinafter, unless otherwise specified, It is used as a basic unit of address management for specifying. Except for monochrome, the tree block is composed of one luminance signal and two color difference signals. The size of the tree block can be freely set to a power of 2 depending on the picture size and the texture in the picture. In order to optimize the encoding process according to the texture in the picture, the tree block divides the luminance signal and chrominance signal in the tree block hierarchically into four parts (two parts vertically and horizontally) as necessary, The block can be made smaller in block size. Each block is defined as a coding block, and is a basic unit of processing when performing coding and decoding. Except for monochrome, the coding block is also composed of one luminance signal and two color difference signals. The maximum size of the coding block is the same as the size of the tree block. An encoded block having the minimum size of the encoded block is called a minimum encoded block, and can be freely set to a power of 2.
図3においては、符号化ブロックAは、ツリーブロックを分割せず、1つの符号化ブロックとしたものである。符号化ブロックBは、ツリーブロックを4分割してできた符号化ブロックである。符号化ブロックCは、ツリーブロックを4分割してできたブロックをさらに4分割してできた符号化ブロックである。符号化ブロックDは、ツリーブロックを4分割してできたブロックをさらに階層的に2度4分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。 In FIG. 3, the encoding block A is a single encoding block without dividing the tree block. The encoding block B is an encoding block formed by dividing a tree block into four. The coding block C is a coding block obtained by further dividing the block obtained by dividing the tree block into four. The coding block D is a coding block obtained by further dividing the block obtained by dividing the tree block into four parts and further dividing the block into four hierarchically, and is a coding block of the minimum size.
(予測モードについて)
符号化ブロック単位で、符号化/復号済み(符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。)の周囲の画像信号から予測を行うイントラ予測(MODE_INTRA)、及び符号化/復号済みのピクチャの画像信号から予測を行うインター予測(MODE_INTER)を切り替える。このイントラ予測(MODE_INTRA)とインター予測(MODE_INTER)を識別するモードを予測モード(PredMode)と定義する。予測モード(PredMode)はイントラ予測(MODE_INTRA)、またはインター予測(MODE_INTER)を値として持ち、選択して符号化できる。
(About prediction mode)
Encoded / decoded in units of coding blocks (used in encoded processing for encoded picture, predicted block, image signal, etc., and used in decoded processing for decoded picture, predicted block, image signal, etc.) (Used in this sense unless otherwise noted.) Intra prediction (MODE_INTRA) in which prediction is performed from surrounding image signals, and inter prediction (MODE_INTER) in which prediction is performed from encoded / decoded picture image signals Switch. A mode for identifying the intra prediction (MODE_INTRA) and the inter prediction (MODE_INTER) is defined as a prediction mode (PredMode). The prediction mode (PredMode) has intra prediction (MODE_INTRA) or inter prediction (MODE_INTER) as a value, and can be selected and encoded.
(分割モード、予測ブロック、予測ユニットについて)
ピクチャ内をブロックに分割してイントラ予測(MODE_INTRA)及びインター予測(MODE_INTER)を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード(PartMode)と定義する。さらに、この分割されたブロックを予測ブロックと定義する。図4に示すように、符号化ブロックの輝度信号の分割方法に応じて4種類の分割モード(PartMode)を定義する。
符号化ブロックの輝度信号を分割せず1つの予測ブロックとみなしたもの(図4(a))の分割モード(PartMode)を2N×2N分割(PART_2Nx2N)、符号化ブロックの輝度信号を水平方向に2分割し、2つの予測ブロックとしたもの(図4(b))の分割モード(PartMode)を2N×N分割(PART_2NxN)、符号化ブロックの輝度信号を垂直方向に分割し、符号化ブロックを2つの予測ブロックとしたもの(図4(c))の分割モード(PartMode)をN×2N分割(PART_Nx2N)、符号化ブロックの輝度信号を水平と垂直の均等分割により4つの予測ブロックとしたもの(図4(d))の分割モード(PartMode)をN×N分割(PART_NxN)とそれぞれ定義する。なお、イントラ予測(MODE_INTRA)のN×N分割(PART_NxN)を除き、各分割モード(PartMode)毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
(About split mode, prediction block, prediction unit)
When performing intra prediction (MODE_INTRA) and inter prediction (MODE_INTER) by dividing the picture into blocks, the coded block is divided as necessary to reduce the unit for switching the intra prediction and inter prediction methods. Make predictions. A mode for identifying the division method of the luminance signal and the color difference signal of the coding block is defined as a division mode (PartMode). Furthermore, this divided block is defined as a prediction block. As shown in FIG. 4, four types of partition modes (PartMode) are defined according to the method of dividing the luminance signal of the coding block.
The division mode (PartMode) of what is regarded as one prediction block without dividing the luminance signal of the coding block (FIG. 4A) is 2N × 2N division (PART_2Nx2N), and the luminance signal of the coding block is horizontally The division mode (PartMode) of the two prediction blocks (FIG. 4B) is divided into 2N × N divisions (PART_2NxN), the luminance signal of the encoded block is divided in the vertical direction, and the encoded block is The division mode (PartMode) of the two prediction blocks (FIG. 4 (c)) is N × 2N division (PART_Nx2N), and the luminance signal of the encoded block is divided into four prediction blocks by horizontal and vertical equal divisions. The division mode (PartMode) of (FIG. 4D) is defined as N × N division (PART_NxN), respectively. Except for N × N division (PART_NxN) of intra prediction (MODE_INTRA), the color difference signal is also divided for each division mode (PartMode) in the same manner as the vertical / horizontal division ratio of the luminance signal.
符号化ブロック内部において、各予測ブロックを特定する為に、0から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図4の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図4(b)に示す2N×N分割(PART_2NxN)では上の予測ブロックの分割インデックスPartIdxを0とし、下の予測ブロックの分割インデックスPartIdxを1とする。図4(c)に示すN×2N分割(PART_Nx2N)では左の予測ブロックの分割インデックスPartIdxを0とし、右の予測ブロックの分割インデックスPartIdxを1とする。図4(d)に示すN×N分割(PART_NxN)では、左上の予測ブロックの分割インデックスPartIdxを0とし、右上の予測ブロックの分割インデックスPartIdxを1とし、左下の予測ブロックの分割インデックスPartIdxを2とし、右下の予測ブロックの分割インデックスPartIdxを3とする。 In order to specify each prediction block within the coding block, a number starting from 0 is assigned to the prediction block existing inside the coding block in the coding order. This number is defined as a split index PartIdx. A number described in each prediction block of the encoded block in FIG. 4 represents a partition index PartIdx of the prediction block. In the 2N × N division (PART_2NxN) shown in FIG. 4B, the division index PartIdx of the upper prediction block is set to 0, and the division index PartIdx of the lower prediction block is set to 1. In the N × 2N division (PART_Nx2N) shown in FIG. 4C, the division index PartIdx of the left prediction block is set to 0, and the division index PartIdx of the right prediction block is set to 1. In the N × N partition (PART_NxN) shown in FIG. 4D, the partition index PartIdx of the upper left prediction block is 0, the partition index PartIdx of the upper right prediction block is 1, and the partition index PartIdx of the lower left prediction block is 2. And the division index PartIdx of the prediction block at the lower right is set to 3.
予測モード(PredMode)がインター予測(MODE_INTER)では、最小の符号化ブロックである符号化ブロックD以外では、分割モード(PartMode)は2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、及びN×2N分割(PART_Nx2N)を定義し、最小の符号化ブロックである符号化ブロックDのみ、分割モード(PartMode)は2N×2N分割(PART_2Nx2N)、2N×N分割(PART_2NxN)、及びN×2N分割(PART_Nx2N)に加えてN×N分割(PART_NxN)を定義する。なお、最小の符号化ブロック以外にN×N分割(PART_NxN)を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを4分割して小さな符号化ブロックを表現できるからである。 When the prediction mode (PredMode) is inter prediction (MODE_INTER), except for the coding block D which is the smallest coding block, the partition mode (PartMode) is 2N × 2N partition (PART_2Nx2N), 2N × N partition (PART_2NxN), and N × 2N partition (PART_Nx2N) is defined, and only the coding block D which is the smallest coding block, the partition mode (PartMode) is 2N × 2N partition (PART_2Nx2N), 2N × N partition (PART_2NxN), and N × 2N In addition to the division (PART_Nx2N), N × N division (PART_NxN) is defined. The reason why N × N division (PART_NxN) is not defined other than the smallest coding block is that, except for the smallest coding block, the coding block can be divided into four to represent a small coding block.
(ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置)
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点(0,0)とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を(x,y)の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の1画素単位である。輝度信号と色差信号で画像サイズ(画素数)が同じである色差フォーマットが4:4:4の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ(画素数)が異なる色差フォーマットが4:2:0、4:2:2の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の1画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。
(Position of tree block, coding block, prediction block, transform block)
The position of each block including the tree block, the encoding block, the prediction block, and the transform block according to the present embodiment has the position of the pixel of the luminance signal at the upper left of the luminance signal screen as the origin (0, 0). The pixel position of the upper left luminance signal included in each block area is represented by two-dimensional coordinates (x, y). The direction of the coordinate axis is a right direction in the horizontal direction and a downward direction in the vertical direction, respectively, and the unit is one pixel unit of the luminance signal. Of course, the luminance signal and the color difference signal have the same image size (number of pixels) and the color difference format is 4: 4: 4. Of course, the luminance signal and the color difference signal have a different color size format of 4: 4. Even in the case of 2: 0, 4: 2: 2, the position of each block of the color difference signal is represented by the coordinates of the pixel of the luminance signal included in the block area, and the unit is one pixel of the luminance signal. In this way, not only can the position of each block of the color difference signal be specified, but also the relationship between the positions of the luminance signal block and the color difference signal block can be clarified only by comparing the coordinate values.
(インター予測モード、参照リストについて)
本発明の実施の形態においては、符号化/復号済みのピクチャの画像信号から予測を行うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照インデックスを付ける。予測ブロック毎に任意の2枚の参照ピクチャを選択してインター予測ことができ、インター予測モードとしてL0予測(Pred_L0)、L1予測(Pred_L1)、双予測(Pred_BI)がある。参照ピクチャはリスト構造のL0(参照リスト0)とL1(参照リスト1)で管理され、L0またはL1の参照インデックスを指定することにより参照ピクチャを特定することができる。L0予測(Pred_L0)はL0で管理されている参照ピクチャを参照するインター予測であり、L1予測(Pred_L1)はL1で管理されている参照ピクチャを参照するインター予測であり、双予測(Pred_BI)はL0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つずつの参照ピクチャを参照するインター予測である。スライスタイプがPスライスのインター予測ではL0予測のみが利用でき、スライスタイプがBスライスのインター予測ではL0予測、L1予測、L0予測とL1予測を平均または重み付け加算する双予測(Pred_BI)が利用できる。以降の処理において出力に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われることを前提とする。
(Inter prediction mode, reference list)
In the embodiment of the present invention, in inter prediction in which prediction is performed from an image signal of a coded / decoded picture, a plurality of decoded pictures can be used as reference pictures. In order to identify a reference picture selected from a plurality of reference pictures, a reference index is attached to each prediction block. Any two reference pictures can be selected for each prediction block and inter prediction can be performed, and there are L0 prediction (Pred_L0), L1 prediction (Pred_L1), and bi-prediction (Pred_BI) as inter prediction modes. The reference picture is managed by L0 (reference list 0) and L1 (reference list 1) of the list structure, and the reference picture can be specified by specifying the reference index of L0 or L1. L0 prediction (Pred_L0) is inter prediction that refers to a reference picture managed in L0, L1 prediction (Pred_L1) is inter prediction that refers to a reference picture managed in L1, and bi-prediction (Pred_BI) is This is inter prediction in which both L0 prediction and L1 prediction are performed and one reference picture managed by each of L0 and L1 is referred to. Only L0 prediction can be used for inter prediction with a slice type of P slice, and L0 prediction, L1 prediction, and bi-prediction (Pred_BI) that averages or weights and adds L0 prediction and L1 prediction can be used for inter prediction with a slice type of B slice. . In the subsequent processing, it is assumed that the constants and variables with the subscript LX in the output are processed for each of L0 and L1.
(マージモード、マージ候補)
マージモードとは、符号化/復号対象の予測ブロックの予測モード、参照インデックス、動きベクトル等のインター予測情報を符号化/復号するのではなく、符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予測ブロック、あるいは符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャの符号化/復号対象の予測ブロックと同一位置あるいはその付近(近傍の位置)に存在する予測ブロックのインター予測情報から符号化/復号対象の予測ブロックのインター予測情報を導出することによりインター予測を行うモードである。符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予測ブロック及びその予測ブロックのインター予測情報を空間マージ候補、符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャの符号化/復号対象の予測ブロックと同一位置あるいはその付近(近傍の位置)に存在する予測ブロック及びその予測ブロックのインター予測情報から導出されるインター予測情報を時間マージ候補とする。それぞれのマージ候補はマージ候補リストに登録され、マージインデックスによりインター予測で用いるマージ候補を特定する。
(Merge mode, merge candidate)
The merge mode does not encode / decode inter prediction information such as a prediction mode, a reference index, and a motion vector of a prediction block to be encoded / decoded, but within the same picture as a prediction block to be encoded / decoded. The prediction block adjacent to the prediction block to be encoded / decoded, or the same position as the prediction block to be encoded / decoded of a coded / decoded picture that is temporally different from the prediction block to be encoded / decoded or its position In this mode, inter prediction is performed by deriving inter prediction information of a prediction block to be encoded / decoded from inter prediction information of a prediction block existing in the vicinity (neighboring position). The prediction block adjacent to the prediction block to be encoded / decoded in the same picture as the prediction block to be encoded / decoded and inter prediction information of the prediction block are spatial merge candidates, the prediction block to be encoded / decoded, and the time. Prediction information derived from a prediction block existing at the same position as or near (previously near) a prediction block to be encoded / decoded of a differently encoded / decoded picture and inter prediction information of the prediction block Are time merge candidates. Each merge candidate is registered in the merge candidate list, and the merge candidate used in the inter prediction is specified by the merge index.
(隣接する予測ブロックについて)
図5、図6、図7及び図8は符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予測ブロックを説明する図である。図9は符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャにおいて、符号化/復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化/復号済みの予測ブロックを説明する図である。図5、図6、図7、図8及び図9を用いて符号化/復号対象の予測ブロックの空間方向に隣接する予測ブロック、及び異なる時間の同一位置の予測ブロックについて説明する。
(About adjacent prediction blocks)
5, 6, 7 and 8 are diagrams for explaining a prediction block adjacent to a prediction block to be encoded / decoded within the same picture as the prediction block to be encoded / decoded. FIG. 9 shows an already encoded / decoded prediction in an encoded / decoded picture that is temporally different from the prediction block to be encoded / decoded and exists at or near the same position as the prediction block to be encoded / decoded. It is a figure explaining a block. A prediction block adjacent in the spatial direction of a prediction block to be encoded / decoded and a prediction block at the same position at different times will be described with reference to FIGS. 5, 6, 7, 8, and 9.
図5に示すように、符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックの左側の辺に隣接する予測ブロックA、上側の辺に隣接する予測ブロックB、右上の頂点に隣接する予測ブロックC、左下の頂点に隣接する予測ブロックD、および左上の頂点に隣接する予測ブロックEを空間方向に隣接する予測ブロックと定義する。 As shown in FIG. 5, a prediction block A adjacent to the left side of the prediction block to be encoded / decoded in the same picture as the prediction block to be encoded / decoded, a prediction block B adjacent to the upper side, A prediction block C adjacent to the upper right vertex, a prediction block D adjacent to the lower left vertex, and a prediction block E adjacent to the upper left vertex are defined as prediction blocks adjacent in the spatial direction.
なお、図6に示すように、符号化/復号対象の予測ブロックの左側の辺に隣接する予測ブロックのサイズが符号化/復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も下の予測ブロックA10だけを左側の辺に隣接する予測ブロックAとする。 As shown in FIG. 6, when the size of the prediction block adjacent to the left side of the prediction block to be encoded / decoded is smaller than the prediction block to be encoded / decoded, and there are a plurality of prediction blocks, this embodiment In the embodiment, only the lowest prediction block A10 among the prediction blocks adjacent to the left side is set as the prediction block A adjacent to the left side.
同様に、符号化/復号対象の予測ブロックの上側の辺に隣接する予測ブロックのサイズが符号化/復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も右の予測ブロックB10だけを上側の辺に隣接する予測ブロックB1とする。 Similarly, when the size of the prediction block adjacent to the upper side of the prediction block to be encoded / decoded is smaller than the prediction block to be encoded / decoded, and there are a plurality of prediction blocks, the left side in the present embodiment Only the rightmost prediction block B10 among the prediction blocks adjacent to is assumed as the prediction block B1 adjacent to the upper side.
なお、図7に示すように、符号化/復号対象の予測ブロックの左側に隣接する予測ブロックFのサイズが符号化/復号対象の予測ブロックより大きい場合にも、前記条件に従い、左側に隣接する予測ブロックFがその符号化/復号対象の予測ブロックの左側の辺に隣接していれば予測ブロックAとし、符号化/復号対象の予測ブロックの左下の頂点に隣接していれば予測ブロックDとし、符号化/復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックEとする。図6の例では、予測ブロックA、予測ブロックE及び予測ブロックEは同一の予測ブロックとなる。 In addition, as shown in FIG. 7, even when the size of the prediction block F adjacent to the left side of the prediction block to be encoded / decoded is larger than the prediction block to be encoded / decoded, it is adjacent to the left side according to the above condition. If the prediction block F is adjacent to the left side of the prediction block to be encoded / decoded, the prediction block A is determined. If the prediction block F is adjacent to the lower left vertex of the prediction block to be encoded / decoded, the prediction block D is determined. If it is adjacent to the top left vertex of the prediction block to be encoded / decoded, the prediction block E is determined. In the example of FIG. 6, the prediction block A, the prediction block E, and the prediction block E are the same prediction block.
なお、図8に示すように、符号化/復号対象の予測ブロックの上側に隣接する予測ブロックGのサイズが符号化/復号対象の予測ブロックより大きい場合にも、前記条件に従い、上側に隣接する予測ブロックGがその符号化/復号対象の予測ブロックの上側の辺に隣接していれば予測ブロックBとし、符号化/復号対象の予測ブロックの右上の頂点に隣接していれば予測ブロックCとし、符号化/復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックEとする。図8の例では、予測ブロックB、予測ブロックC及び予測ブロックEは同一の予測ブロックとなる。 As shown in FIG. 8, even when the size of the prediction block G adjacent to the upper side of the prediction block to be encoded / decoded is larger than the prediction block to be encoded / decoded, it is adjacent to the upper side according to the above condition. If the prediction block G is adjacent to the upper side of the prediction block to be encoded / decoded, the prediction block B is determined. If the prediction block G is adjacent to the upper right vertex of the prediction block to be encoded / decoded, the prediction block C is determined. If it is adjacent to the top left vertex of the prediction block to be encoded / decoded, the prediction block E is determined. In the example of FIG. 8, the prediction block B, the prediction block C, and the prediction block E are the same prediction block.
図9に示すように、符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャにおいて、符号化/復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化/復号済みの予測ブロックT0およびT1を異なる時間の同一位置の予測ブロックと定義する。 As shown in FIG. 9, in an already encoded / decoded picture that is temporally different from the prediction block to be encoded / decoded, an already encoded / decoded picture that exists at or near the same position as the prediction block to be encoded / decoded. The decoded prediction blocks T0 and T1 are defined as prediction blocks at the same position at different times.
(POCについて)
POCは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力/表示順序で1ずつ増加する値が設定される。POCの値によって、同じピクチャであるかを判別したり、出力/表示順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一のピクチャであると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値が小さいピクチャのほうが、先に出力/表示されるピクチャであると判断でき、2つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。
(About POC)
POC is a variable associated with the picture to be encoded, and is set to a value that increases by 1 in the picture output / display order. Based on the POC value, it is possible to determine whether they are the same picture, to determine the front-to-back relationship between pictures in the output / display order, or to derive the distance between pictures. For example, if the POCs of two pictures have the same value, it can be determined that they are the same picture. When the POCs of two pictures have different values, it can be determined that the picture with the smaller POC value is the picture to be output / displayed first, and the difference between the POCs of the two pictures is the time axis direction difference between the pictures. Indicates distance.
以下、図面と共に本発明の実施の形態を説明する。図1は本発明の実施の形態に係る動画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像メモリ101、ヘッダ情報設定部117、動きベクトル検出部102、差分動きベクトル算出部103、インター予測情報導出部104、動き補償予測部105、イントラ予測部106、予測方法決定部107、残差信号生成部108、直交変換・量子化部109、第1符号化ビット列生成部118、第2符号化ビット列生成部110、第3符号化ビット列生成部111、多重化部112、逆量子化・逆直交変換部113、復号画像信号重畳部114、符号化情報格納メモリ115、および復号画像メモリ116を備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to an embodiment of the present invention. The moving image encoding apparatus according to the embodiment includes an
ヘッダ情報設定部117は、シーケンス、ピクチャ、スライス単位の情報を設定する。設定されたシーケンス、ピクチャ、スライス単位の情報はインター予測情報導出部104、第1符号化ビット列生成部118に供給するとともに、図示していないがすべてのブロックに供給する。
The header
画像メモリ101は、撮影/表示時間順に供給された符号化対象のピクチャの画像信号を一時格納する。画像メモリ101は、格納された符号化対象のピクチャの画像信号を、所定の画素ブロック単位で、動きベクトル検出部102、予測方法決定部107、および残差信号生成部108に供給する。その際、撮影/表示時間順に格納されたピクチャの画像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ101から出力される。
The
動きベクトル検出部102は、画像メモリ101から供給される画像信号と復号画像メモリ116から供給される参照ピクチャ間でブロックマッチング等により各予測ブロックサイズ、各予測モードのそれぞれの動きベクトルを各予測ブロック単位で検出し、検出された動きベクトルを動き補償予測部105、差分動きベクトル算出部103、および予測方法決定部107に供給する。
The motion
差分動きベクトル算出部103は、符号化情報格納メモリ115に記憶されている既に符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部102が検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差分動きベクトルを予測方法決定部107に供給する。さらに、予測動きベクトルリストに登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動きベクトルインデックスを予測方法決定部107に供給する。
The difference motion
インター予測情報導出部104は、マージモードでのマージ候補を導出する。符号化情報格納メモリ115に記憶されている既に符号化された予測ブロックの符号化情報を用いて、複数のマージ候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から適したマージ候補を選択し、選択されたマージ候補の各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部105に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部107に供給する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部104の詳細な構成と動作は後述する。
The inter prediction
動き補償予測部105は、動きベクトル検出部102およびインター予測情報導出部104により検出された動きベクトルを用いて参照ピクチャからインター予測(動き補償予測)により予測画像信号を生成し、予測画像信号を予測方法決定部107に供給する。なお、L0予測、及びL1予測では、片方向の予測を行う。双予測(Pred_BI)の場合は、双方向の予測を行い、L0予測、L1予測のそれぞれのインター予測された信号に適応的に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成する。
The motion compensated
イントラ予測部106は、各イントラ予測モードについてイントラ予測を行う。復号画像メモリ116に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部107に供給する。
The
予測方法決定部107は符号化情報及び残差信号の符号量、予測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、最適な符号化ブロック単位でインター予測(PRED_INTER)かイントラ予測(PRED_INTRA)かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測(PRED_INTER)では予測ブロック単位でマージモードか否かを決定し、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、L0、L1の参照インデックス、差分動きベクトル等を決定して、決定に応じた符号化情報を第2符号化ビット列生成部110に供給する。
The prediction
さらに、予測方法決定部107は、決定された予測方法を示す情報、及び決定された予測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ115に格納する。ここで格納する符号化情報は、各符号化ブロックの予測モードPredMode、分割モードPartMode、各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。なお、予測モードPredModeがインター予測(MODE_INTER)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、L1予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に0である。一方、予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は1, L1予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は0である。インター予測モードがL1予測(Pred_L1)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は1である。インター予測モードが双予測(Pred_BI)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、L1予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に1である。予測方法決定部107は、決定された予測モードに応じた予測画像信号を残差信号生成部108と復号画像信号重畳部114に供給する。
Further, the prediction
残差信号生成部108は、符号化する画像信号と予測画像信号との減算を行うことにより残差信号を生成し、直交変換・量子化部109に供給する。
直交変換・量子化部109は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第3符号化ビット列生成部111と逆量子化・逆直交変換部113に供給する。さらに、直交変換・量子化部109は、量子化パラメータを符号化情報格納メモリ115に格納する。
The residual
The orthogonal transform /
第1符号化ビット列生成部118は、ヘッダ情報設定部117で設定されたシーケンス、ピクチャ、スライス単位の情報を符号化する。第1の符号化ビット列を生成し、多重化部112に供給する。
The first encoded bit
第2符号化ビット列生成部110は、符号化ブロック及び予測ブロック毎に予測方法決定部107によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredMode、分割モードPartMode、インター予測(PRED_INTER)の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従って符号化して第2の符号化ビット列を生成し、多重化部112に供給する。
The 2nd coding bit stream production |
第3符号化ビット列生成部111は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第3の符号化ビット列を生成し、多重化部112に供給する。多重化部112で、第1の符号化ビット列、第2の符号化ビット列および第3の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
The third encoded bit
逆量子化・逆直交変換部113は、直交変換・量子化部109から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部114に供給する。復号画像信号重畳部114は、予測方法決定部107による決定に応じた予測画像信号と逆量子化・逆直交変換部113で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ116に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ116に格納されることもある。
The inverse quantization / inverse
図2は図1の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、分離部201、第1符号化ビット列復号部212、第2符号化ビット列復号部202、第3符号化ビット列復号部203、動きベクトル算出部204、インター予測情報導出部205、動き補償予測部206、イントラ予測部207、逆量子化・逆直交変換部208、復号画像信号重畳部209、符号化情報格納メモリ210、および復号画像メモリ211を備える。
FIG. 2 is a block diagram showing the configuration of the moving picture decoding apparatus according to the embodiment of the present invention corresponding to the moving picture encoding apparatus of FIG. The moving picture decoding apparatus according to the embodiment includes a
図2の動画像復号装置の復号処理は、図1の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図2の動き補償予測部206、逆量子化・逆直交変換部208、復号画像信号重畳部209、符号化情報格納メモリ210、および復号画像メモリ211の各構成は、図1の動画像符号化装置の動き補償予測部105、逆量子化・逆直交変換部113、復号画像信号重畳部114、符号化情報格納メモリ115、および復号画像メモリ116の各構成とそれぞれ対応する機能を有する。
The decoding process of the moving picture decoding apparatus in FIG. 2 corresponds to the decoding process provided in the moving picture encoding apparatus in FIG. 1, so the motion
分離部201に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第1符号化ビット列復号部212、第2符号化ビット列復号部202、第3符号化ビット列復号部203に供給される。
The bit stream supplied to the
第1符号化ビット列復号部212は、供給された符号化ビット列を復号して、シーケンス、ピクチャ、スライス単位の情報を得る。得られたシーケンス、ピクチャ、スライス単位の情報は図示していないがすべてのブロックに供給される。
The first encoded bit
第2符号化ビット列復号部202は、供給された符号化ビット列を復号して、符号化ブロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測(PRED_INTER)かイントラ予測(PRED_INTRA)かを判別する予測モードPredMode、分割モードPartMode、インター予測(PRED_INTER)の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、符号化情報を動きベクトル算出部204、インター予測情報導出部205またはイントラ予測部207に供給する。
The second encoded bit
第3符号化ビット列復号部203は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部208に供給する。
The third encoded bit
動きベクトル算出部204は、復号対象の予測ブロックの予測モードPredModeがインター予測(PRED_INTER)でマージモードでない時に、符号化情報格納メモリ210に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第2符号化ビット列復号部202で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第2符号化ビット列復号部202で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに動き補償予測部206に供給するとともに、符号化情報格納メモリ210に格納する。ここで供給・格納する予測ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、L0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は1, L1予測を利用するかどうかを示すフラグpredFlagL1は0である。インター予測モードがL1予測(Pred_L1)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は0, L1予測を利用するかどうかを示すフラグpredFlagL1は1である。インター予測モードが双予測(Pred_BI)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0、L1予測を利用するかどうかを示すフラグpredFlagL1は共に1である。
When the prediction mode PredMode of the prediction block to be decoded is inter prediction (PRED_INTER) and not the merge mode, the motion
インター予測情報導出部205は、復号対象の予測ブロックの予測モードPredModeがインター予測(PRED_INTER)でマージモードの時に、マージ候補を導出する。符号化情報格納メモリ210に記憶されている既に復号された予測ブロックの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から第2符号化ビット列復号部202で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のL0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、L0、L1の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、L0、L1の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部206に供給するとともに、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部205の詳細な構成と動作は後述する。
The inter prediction
動き補償予測部206は、動きベクトル算出部204またはインター予測情報導出部205で算出されたインター予測情報を用いて復号画像メモリ211に格納されている参照ピクチャからインター予測(動き補償予測)により予測画像信号を生成し、予測画像信号を復号画像信号重畳部209に供給する。なお、双予測(Pred_BI)の場合は、L0予測、L1予測の2つの動き補償予測画像信号に適応的に重み係数を掛け算して重畳し、最終的な予測画像信号を生成する。
The motion
イントラ予測部207は、復号対象の予測ブロックの予測モードPredModeがイントラ予測(PRED_INTRA)の時に、イントラ予測を行う。第1符号化ビット列復号部で復号された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号画像メモリ211に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部209に供給する。L0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]を共に0に設定し、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。
The
逆量子化・逆直交変換部208は、第2符号化ビット列復号部202で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
The inverse quantization / inverse
復号画像信号重畳部209は、動き補償予測部206でインター予測された予測画像信号、またはイントラ予測部207でイントラ予測された予測画像信号と、逆量子化・逆直交変換部208により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ211に格納する。復号画像メモリ211に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ211に格納されることもある。
The decoded image
次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共通規則であるシンタックスについて説明する。 Next, a syntax that is a common rule for encoding and decoding a bit stream of a moving image that is encoded by a moving image encoding device including the motion vector prediction method according to the present embodiment and decoded by the decoding device explain.
図10は予測ブロック単位に記述されるシンタックス規則を示す。予測ブロックの予測モードPredModeの値がインター予測(MODE_INTER)の場合、マージモードかどうかを示すmerge_flag[x0][y0]が設置される。ここで、x0、y0は輝度信号のピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_flag[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージモードかどうかを示すフラグである。 FIG. 10 shows syntax rules described in units of prediction blocks. When the value of the prediction mode PredMode of the prediction block is inter prediction (MODE_INTER), merge_flag [x0] [y0] indicating whether the mode is the merge mode is set. Here, x0 and y0 are indices indicating the position of the upper left pixel of the prediction block in the picture of the luminance signal, and merge_flag [x0] [y0] is the prediction block located at (x0, y0) in the picture It is a flag indicating whether or not merge mode.
次に、merge_flag[x0][y0]が1の場合、マージモードであることを示し、参照するマージ候補のリストであるマージリストのインデックスのシンタックス要素merge_idx[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_idx[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージインデックスである。マージインデックスをエントロピー符号化/復号する場合、マージ候補数が小さい程、小さい符号量で符号化/復号することができ、少ない処理量で符号化/復号することができる。図11はマージインデックスのシンタックス要素merge_idx[x0][y0]のエントロピー符号(コード)の一例である。マージ候補数が3の場合、マージインデックスが0, 1, 2の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'0'、'10'、'11'となる。マージ候補数が4の場合、マージインデックスが0, 1, 2, 3の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'0'、'10'、'110'、'111'となる。マージ候補数が5の場合、マージインデックスが0, 1, 2, 3, 4の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'0'、'10'、'110'、'1110'、'1111'となる。つまり、マージ候補数がわっている場合、マージ候補数が少ない方がマージインデックスを小さい符号量で表現可能である。本実施例においては、図11に示すようにスライス単位で設定されるマージ候補数に基づいて、マージインデックスのそれぞれの値を示す符号を切り替えることで符号量を削減する。 Next, when merge_flag [x0] [y0] is 1, it indicates merge mode, and a merge list index syntax element merge_idx [x0] [y0] is set, which is a list of merge candidates to be referred to. . Here, x0 and y0 are indices indicating the position of the upper left pixel of the prediction block in the picture, and merge_idx [x0] [y0] is the merge index of the prediction block located at (x0, y0) in the picture. is there. When entropy encoding / decoding of a merge index is performed, the smaller the number of merge candidates is, the more encoding / decoding can be performed with a small code amount, and the encoding / decoding can be performed with a small amount of processing. FIG. 11 shows an example of the entropy code (code) of the merge index syntax element merge_idx [x0] [y0]. When the number of merge candidates is 3, when the merge index is 0, 1, 2, the codes of the merge index syntax elements merge_idx [x0] [y0] are “0”, “10”, and “11”, respectively. When the number of merge candidates is 4, when the merge index is 0, 1, 2, 3, the signs of the merge index syntax elements merge_idx [x0] [y0] are '0', '10', '110', It becomes '111'. When the number of merge candidates is 5, when the merge index is 0, 1, 2, 3, 4, the signs of the merge index syntax elements merge_idx [x0] [y0] are “0”, “10”, and “110”, respectively. ',' 1110 ', and' 1111 '. That is, when the number of merge candidates is different, the merge index can be expressed with a smaller code amount when the number of merge candidates is smaller. In this embodiment, as shown in FIG. 11, the code amount is reduced by switching the code indicating each value of the merge index based on the number of merge candidates set in slice units.
一方、merge_flag[x0][y0]が0の場合、マージモードでないことを示し、スライスタイプがBスライスの場合、インター予測モードを識別するシンタックス要素inter_pred_flag[x0][y0]が設置され、このシンタックス要素でL0予測(Pred_L0)、L1予測(Pred_L1)、双予測(Pred_BI)を識別する。L0、L1ごとに、参照ピクチャを特定するための参照インデックスのシンタックス要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]、動きベクトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルのシンタックス要素mvd_l0[x0][y0][j]、mvd_l1[x0][y0][j]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのL0の参照インデックス、及び差分動きベクトルであり、ref_idx_l1[x0][y0]、mvd_l1[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのL1の参照インデックス、及び差分動きベクトルである。また、jは差分動きベクトルの成分を表し、jが0はx成分を、jが1はy成分を表す。次に、参照する予測動きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのL0、L1の予測動きベクトルインデックスである。本発明の本実施の形態においてはこれらの候補数の値を2と設定する。 On the other hand, when merge_flag [x0] [y0] is 0, it indicates that the mode is not merge mode. When the slice type is B slice, a syntax element inter_pred_flag [x0] [y0] for identifying the inter prediction mode is installed. The syntax element identifies L0 prediction (Pred_L0), L1 prediction (Pred_L1), and bi-prediction (Pred_BI). For each of L0 and L1, syntax elements ref_idx_l0 [x0] [y0] and ref_idx_l1 [x0] [y0] of the reference index for specifying the reference picture, the motion vector and prediction of the prediction block obtained by motion vector detection The differential motion vector syntax elements mvd_l0 [x0] [y0] [j] and mvd_l1 [x0] [y0] [j], which are the differences from the motion vector, are provided. Here, x0 and y0 are indexes indicating the position of the upper left pixel of the prediction block in the picture, and ref_idx_l0 [x0] [y0] and mvd_l0 [x0] [y0] [j] are respectively (x0 , y0) is the reference index of L0 of the prediction block and the differential motion vector, and ref_idx_l1 [x0] [y0] and mvd_l1 [x0] [y0] [j] are respectively (x0, y0) in the picture It is the reference index of L1 of the prediction block located, and a difference motion vector. Further, j represents a differential motion vector component, j represents 0 as an x component, and j represents 1 as a y component. Next, syntax elements mvp_idx_l0 [x0] [y0] and mvp_idx_l1 [x0] [y0] of an index of a predicted motion vector list that is a list of predicted motion vector candidates to be referred to are set. Here, x0 and y0 are indices indicating the position of the upper left pixel of the prediction block in the picture, and mvp_idx_l0 [x0] [y0] and mvp_idx_l1 [x0] [y0] are in (x0, y0) in the picture It is the prediction motion vector index of L0 and L1 of the prediction block located. In the present embodiment of the present invention, the value of the number of candidates is set to 2.
実施の形態に係るインター予測情報導出方法は、図1の動画像符号化装置のインター予測情報導出部104及び図2の動画像復号装置のインター予測情報導出部205において実施される。
The inter prediction information deriving method according to the embodiment is implemented in the inter prediction
実施の形態に係るインター予測情報導出方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードPredModeがインター予測(MODE_INTER)で、マージモードの場合に、符号化の場合、符号化済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して符号化対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際、復号の場合、復号済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して復号対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際に実施される。 The inter prediction information derivation method according to the embodiment is performed in any of encoding and decoding processes for each prediction block constituting the encoding block. When the prediction mode PredMode of the prediction block is inter prediction (MODE_INTER) and in the merge mode, in the case of encoding, the prediction block to be encoded using the prediction mode, reference index, and motion vector of the encoded prediction block When the prediction mode, the reference index, and the motion vector are derived, in the case of decoding, the prediction mode, the reference index, and the motion vector of the prediction block to be decoded using the prediction mode, the reference index, and the motion vector of the decoded prediction block It is carried out when deriving.
マージモードは図5、図6、図7及び図8を用いて説明した左に隣接する予測ブロックA、上に隣接する予測ブロックB、右上に隣接する予測ブロックC、左下に隣接する予測ブロックD、左上に隣接する予測ブロックEに加えて、図9を用いて説明した異なる時間の同一位置あるいはその付近に存在する予測ブロックCol(T0、T1のいずれか)の予測ブロックを候補とする。動画像符号化装置のインター予測情報導出部104、及び動画像復号装置のインター予測情報導出部205はそれらの候補を符号化側と復号側で共通の規定の順序でマージ候補リストに登録し、動画像符号化装置のインター予測情報導出部104がマージ候補リストの要素を特定するマージインデックスを決定して第2符号化ビット列生成部110を経由して符号化し、動画像復号装置のインター予測情報導出部205は第2符号化ビット列復号部202で復号されたマージインデックスが供給されて、そのマージインデックスに応じた予測ブロックをマージ候補リストから選択し、その選択されたマージ候補の予測モード、参照インデックス、動きベクトル等のインター予測情報を用いて、動き補償予測を行う。
The merge mode includes the prediction block A adjacent to the left, the prediction block B adjacent to the upper side, the prediction block C adjacent to the upper right, and the prediction block D adjacent to the lower left described with reference to FIGS. 5, 6, 7, and 8. In addition to the prediction block E adjacent to the upper left, the prediction block Col (any one of T0 and T1) existing at or near the same position at different times described with reference to FIG. The inter prediction
スライス単位でマージ候補リストmergeCandListに登録される最終的なマージ候補数finalNumMergeCandを設定する。本実施の形態においては、finalNumMVPCandを5に設定する。 Set the final number of merge candidates finalNumMergeCand registered in the merge candidate list mergeCandList in slice units. In the present embodiment, finalNumMVPCand is set to 5.
実施の形態に係るインター予測情報導出方法を図面を用いて説明する。図12は、図1の動画像符号化装置のインター予測情報導出部104の詳細な構成を示す図である。また、図13は、図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図である。
An inter prediction information derivation method according to an embodiment will be described with reference to the drawings. FIG. 12 is a diagram illustrating a detailed configuration of the inter prediction
図12及び図13の太枠線で囲まれる部分はそれぞれ、インター予測情報導出部104及びインター予測情報導出部205を示している。
The portions surrounded by the thick frame lines in FIGS. 12 and 13 indicate the inter prediction
更に、それらの内部の太点線で囲まれる部分は後述するインター予測情報導出方法の動作部を示しており、実施の形態の動画像符号化装置と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結果を得られるようにしている。 Furthermore, the part enclosed by the thick dotted line inside shows the operation | movement part of the inter prediction information derivation method mentioned later, and is similarly installed in the moving image decoding apparatus corresponding to the moving image encoding apparatus of embodiment. Thus, the same determination result consistent with encoding and decoding can be obtained.
インター予測情報導出部104は、空間マージ候補生成部130、時間マージ候補の参照インデックス導出部131、時間マージ候補生成部132、マージ候補登録部133、マージ候補同一判定部134、マージ候補数制限部135、マージ候補補充部136、および符号化情報選択部137を含む。
The inter prediction
インター予測情報導出部205は、空間マージ候補生成部230、時間マージ候補の参照インデックス導出部231、時間マージ候補生成部232、マージ候補登録部233、マージ候補同一判定部234、マージ候補数制限部235、マージ候補補充部236、および符号化情報選択部237を含む。
The inter prediction
図14は本発明の実施の形態による動画像符号化装置のインター予測情報導出部104及び動画像復号装置のインター予測情報導出部205とで共通する機能を有するマージ候補の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りスライスタイプslice_typeがBスライスの場合について説明するが、Pスライスの場合にも適用できる。ただし、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
FIG. 14 is a merge candidate derivation process and a merge candidate list having functions common to the inter prediction
Hereinafter, the processes will be described in order. In the following description, a case where the slice type slice_type is a B slice will be described unless otherwise specified, but the present invention can also be applied to a P slice. However, when the slice type slice_type is a P slice, only the L0 prediction (Pred_L0) is provided as the inter prediction mode, and there is no L1 prediction (Pred_L1) and bi-prediction (Pred_BI). Therefore, the processing related to L1 can be omitted.
動画像符号化装置のインター予測情報導出部104の空間マージ候補生成部130及び動画像復号装置のインター予測情報導出部205の空間マージ候補生成部230では、符号化/復号対象ブロックに隣接するそれぞれの予測ブロックA,B,C,D,Eからの空間マージ候補A,B,C,D,Eを導出する。ここで、A,B,C,D,EまたはColのいずれかを示すNを定義する。予測ブロックNのインター予測情報がマージ候補Nとして利用できるかどうかを示すフラグavailableFlagN、L0の参照インデックスrefIdxL0N及びL1の参照インデックスrefIdxL1N、L0予測が行われるかどうかを示すL0予測フラグpredFlagL0NおよびL1予測が行われるかどうかを示すL1予測フラグpredFlagL1N、L0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを出力する(ステップS101)。
ステップS101の詳細な処理手順については図15のフローチャートを用いて後ほど詳細に説明する。
In the spatial merge
The detailed processing procedure of step S101 will be described later in detail using the flowchart of FIG.
続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補の参照インデックス導出部131及び動画像復号装置のインター予測情報導出部205の時間マージ候補の参照インデックス導出部231では、符号化/復号対象ブロックに隣接する予測ブロックから時間マージ候補の参照インデックスを導出する(ステップS102)。スライスタイプslice_typeがPスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、L0予測(Pred_L0)を行うために、L0の参照インデックスだけを導出し、スライスタイプslice_typeがBスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、双予測(Pred_BI)を行うために、L0とL1のそれぞれの参照インデックスを導出する。ステップS102の詳細な処理手順については図16のフローチャートを用いて後ほど詳細に説明する。
Subsequently, the temporal merge candidate reference
続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補生成部132及び動画像復号装置のインター予測情報導出部205の時間マージ候補生成部232では、異なる時間のピクチャからの時間マージ候補を導出し、利用できるかどうかを示すフラグavailableFlagCol、L0予測が行われるかどうかを示すL0予測フラグpredFlagL0ColおよびL1予測が行われるかどうかを示すL1予測フラグpredFlagL1Col、及びL0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを出力する(ステップS103)。ステップS103の詳細な処理手順については図17のフローチャートを用いて後ほど詳細に説明する。
Subsequently, in the temporal merge
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補登録部133及び動画像復号装置のインター予測情報導出部205のマージ候補登録部233では、マージ候補リストmergeCandListを作成し、予測ベクトルの候補A,B,C,D,E,Colを追加する(ステップS104)。ステップS104の詳細な処理手順については図24のフローチャートを用いて後ほど詳細に説明する。
Subsequently, the merge
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補同一判定部134及び動画像復号装置のインター予測情報導出部205のマージ候補同一判定部234では、マージ候補リストmergeCandList内で、マージ候補が同じ参照インデックスの動きベクトルが同じ値を持っている場合に、最も小さい順番のマージ候補を除いてそのマージ候補を取り除く(ステップS105)。
Subsequently, in the merge candidate
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補数制限部135及び動画像復号装置のインター予測情報導出部205のマージ候補数制限部235では、マージ候補リストmergeCandList内に登録されているマージ候補の数をカウントし、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最終マージ候補数finalNumMergeCandより大きい場合(ステップS106のYES)、マージ候補リストmergeCandList内のインデックスiが(finalNumMergeCand-1)よりも大きいすべてのマージ候補を削除することでマージ候補を最終マージ候補数finalNumMergeCandに制限し、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandの値を最終マージ候補数finalNumMergeCandに更新する(ステップS107)。
Subsequently, the merge candidate
続いて、動画像符号化装置のインター予測情報導出部104のマージ候補補充部136及び動画像復号装置のインター予測情報導出部205のマージ候補補充部236では、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最終マージ候補数finalNumMergeCandより小さい場合(ステップS108のYES)、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandを上限としてマージ候補を補充(導出・登録)する(ステップS109)。最終マージ候補数finalNumMergeCandを上限として、Pスライスでは、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基に動きベクトルを整数倍でスケーリングすることにより導出されるインター予測モードが単予測であるL0予測(Pred_L0)のマージ候補を追加する。Bスライスでは、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基にの一方の動きベクトルを整数倍でスケーリングすることにより導出されるインター予測モードが双予測(Pred_BI)のマージ候補を追加する。ステップS109の詳細な処理手順については図25のフローチャートを用いて後ほど詳細に説明する。
Subsequently, the merge
本実施の形態においては、スライス単位で最終候補数finalNumMVPCandを固定した数に設定している。最終候補数finalNumMVPCandを固定する理由は最終候補数finalNumMVPCandがマージ候補リストの構築状態に応じて変動すると、エントロピー復号とマージ候補リストの構築に依存関係が生じ、復号側では予測ブロック毎にマージ候補リストを構築し最終候補数finalNumMVPCandを導出してからでないと、マージインデックスをエントロピー復号することができず、マージインデックスの復号に遅延が生じるとともにエントロピー復号が複雑になるためである。さらに、エントロピー復号が異なる時間のピクチャの予測ブロックから導出されたマージ候補Colを含むマージ候補リストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時にエラーが発生した際に現在のピクチャの符号化ビット列もそのエラーの影響を受けて正常な最終候補数finalNumMVPCandを導出することができず正常にエントロピー復号を続けることができない問題がある。本実施の形態の様にスライス単位で最終候補数finalNumMVPCandを固定した数に設定すると、予測ブロック単位での最終候補数finalNumMVPCandの導出が不要となり、マージ候補リストの構築と独立して、マージインデックスをエントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時にエラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー復号を続けることができる。 In the present embodiment, the final candidate number finalNumMVPCand is set to a fixed number for each slice. The reason for fixing the final candidate number finalNumMVPCand is that if the final candidate number finalNumMVPCand fluctuates according to the construction state of the merge candidate list, a dependency relationship occurs between the entropy decoding and the merge candidate list construction, and the decoding candidate merge candidate list for each prediction block This is because the merge index cannot be entropy decoded unless the final candidate number finalNumMVPCand is derived and the merge index is delayed and the entropy decoding becomes complicated. Furthermore, if entropy decoding depends on the construction state of the merge candidate list including the merge candidate Col derived from the prediction block of the picture at different times, the current picture when an error occurs when decoding the encoded bit string of another picture The encoded bit string of the above is also affected by the error, so that the normal final candidate number finalNumMVPCand cannot be derived and the entropy decoding cannot be continued normally. When the final candidate number finalNumMVPCand is set to a fixed number in slice units as in this embodiment, derivation of the final candidate number finalNumMVPCand in prediction block units becomes unnecessary, and the merge index is set independently of the merge candidate list construction. Entropy decoding can be performed, and entropy decoding of the encoded bit string of the current picture can be continued without being affected by an error even when an encoded bit string of another picture is decoded.
次に、図14のステップS101の処理手順である符号化/復号対象ブロックに隣接する予測ブロックNからのマージ候補Nの導出方法について詳細に説明する。図15は図14のステップS101の空間マージ候補導出処理手順を説明するフローチャートである。
Nには隣接する予測ブロックの領域を表すA(左側)、B(上側)、C(右上)、D(左下)またはE(左上)が入る。なお、本実施の形態においては、空間マージ候補数の上限値maxNumSpatialMergeCandを4とし、隣接する5つの予測ブロックから最大4つの空間マージ候補を導出する。
Next, a method for deriving the merge candidate N from the prediction block N adjacent to the encoding / decoding target block, which is the processing procedure of step S101 in FIG. 14, will be described in detail. FIG. 15 is a flowchart for explaining the spatial merge candidate derivation processing procedure in step S101 of FIG.
In N, A (left side), B (upper side), C (upper right), D (lower left), or E (upper left) representing an area of an adjacent prediction block is entered. In the present embodiment, the upper limit value maxNumSpatialMergeCand of the number of spatial merge candidates is set to 4, and a maximum of four spatial merge candidates are derived from five adjacent prediction blocks.
図15で、変数NをAとして符号化/復号対象の予測ブロックの左側に隣接する予測ブロックAの符号化情報を調べてマージ候補Aを導出し、変数NをBとして上側に隣接する予測ブロックBの符号化情報を調べてマージ候補Bを導出し、変数NをCとして右上側に隣接する予測ブロックCの符号化情報を調べてマージ候補Cを導出し、変数NをDとして左下側に隣接する予測ブロックDの符号化情報を調べてマージ候補Dを導出し、変数NをEとして左上側に隣接する予測ブロックEの符号化情報を調べてマージ候補Eを導出する(ステップS1101〜ステップS1112)。 In FIG. 15, the encoding information of the prediction block A adjacent to the left side of the prediction block to be encoded / decoded is checked with the variable N as A, the merge candidate A is derived, and the prediction block adjacent to the upper side with the variable N as B The encoding information of B is examined to derive a merge candidate B, the variable N is set as C, the encoding information of the prediction block C adjacent on the upper right side is checked, the merge candidate C is derived, and the variable N is set as D to the lower left side. The encoding information of the adjacent prediction block D is checked to derive the merge candidate D, and the variable N is set as E to check the encoding information of the prediction block E adjacent to the upper left to derive the merge candidate E (step S1101 to step S1101). S1112).
まず、これまでに導出できた(availableFlagが1となった)空間マージ候補の合計が空間マージ候補数の上限値maxNumSpatialMergeCandの場合(ステップS1102のYES)、すなわち4つの空間マージ候補が導出された場合、マージ候補NのフラグavailableFlagNを0に設定し(ステップS1105)、マージ候補Nの動きベクトルmvL0N, mvL1Nの値を共に(0,0)に設定し(ステップS1106)、マージ候補NのフラグpredFlagL0N、predFlagL1Nの値を共に0に設定し(ステップS1107)、本空間マージ候補導出処理を終了する。
本実施の形態においては、隣接する予測ブロックから4つのマージ候補を導出するので、既に4つの空間マージ候補が導出された場合はそれ以上の空間マージ候補の導出処理を行う必要がない。
First, when the total number of spatial merge candidates that can be derived so far (availableFlag is 1) is the upper limit value maxNumSpatialMergeCand of the number of spatial merge candidates (YES in step S1102), that is, when four spatial merge candidates are derived The flag availableFlagN of the merge candidate N is set to 0 (step S1105), the values of the motion vectors mvL0N and mvL1N of the merge candidate N are both set to (0, 0) (step S1106), and the flag predFlagL0N of the merge candidate N is set. Both values of predFlagL1N are set to 0 (step S1107), and this space merge candidate derivation process is terminated.
In the present embodiment, four merge candidates are derived from adjacent prediction blocks. Therefore, when four spatial merge candidates are already derived, it is not necessary to perform further spatial merge candidate derivation processing.
一方、これまでに導出できた(availableFlagが1となった)空間マージ候補の合計が空間マージ候補数の上限値maxNumSpatialMergeCandでない場合(ステップS1102のNO)、符号化/復号対象の予測ブロックに隣接する予測ブロックNを特定し、それぞれの予測ブロックNが利用できる場合は符号化情報格納メモリ115または210から予測ブロックNの符号化情報を取得する(ステップS1103)。
On the other hand, when the sum of spatial merge candidates that can be derived so far (availableFlag is 1) is not the upper limit value maxNumSpatialMergeCand of the number of spatial merge candidates (NO in step S1102), it is adjacent to the prediction block to be encoded / decoded. The prediction block N is specified, and when each prediction block N can be used, the encoding information of the prediction block N is acquired from the encoding
隣接する予測ブロックNが利用できないか、予測ブロックNの予測モードPredModeがイントラ予測(MODE_INTRA)である場合(ステップS1104のNO)、マージ候補NのフラグavailableFlagNの値を0に設定し(ステップS1105)、マージ候補Nの動きベクトルmvL0N, mvL1Nの値を共に(0,0)に設定し(ステップS1106)、マージ候補NのフラグpredFlagL0N、predFlagL1Nの値を共に0に設定する(ステップS1107)。 When the adjacent prediction block N cannot be used or the prediction mode PredMode of the prediction block N is intra prediction (MODE_INTRA) (NO in step S1104), the value of the flag availableFlagN of the merge candidate N is set to 0 (step S1105). The values of the motion vectors mvL0N and mvL1N of the merge candidate N are both set to (0, 0) (step S1106), and the values of the flags predFlagL0N and predFlagL1N of the merge candidate N are both set to 0 (step S1107).
一方、隣接する予測ブロックNが利用でき、予測ブロックNの予測モードPredModeがイントラ予測(MODE_INTRA)でない場合(ステップS1104のYES)、予測ブロックNのインター予測情報をマージ候補Nのインター予測情報とする。マージ候補NのフラグavailableFlagNの値を1に設定し(ステップS1108)、マージ候補Nの動きベクトルmvL0N, mvL1Nをそれぞれ予測ブロックNの動きベクトルmvL0N[xN][yN], mvL1N[xN][yN]と同じ値に設定し(ステップS1109)、マージ候補Nの参照インデックスrefIdxL0N, refIdxL1Nをそれぞれ予測ブロックNの参照インデックスrefIdxL0[xN][yN], refIdxL1[xN][yN]と同じ値に設定し(ステップS1110)、マージ候補NのフラグpredFlagL0N, predFlagL1Nをそれぞれ予測ブロックNのフラグpredFlagL0[xN][yN], predFlagL1[xN][yN]に設定する(ステップS1111)。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すインデックスである。 On the other hand, when the adjacent prediction block N can be used and the prediction mode PredMode of the prediction block N is not intra prediction (MODE_INTRA) (YES in step S1104), the inter prediction information of the prediction block N is used as the inter prediction information of the merge candidate N. . The value of the flag availableFlagN of the merge candidate N is set to 1 (step S1108), and the motion vectors mvL0N and mvL1N of the merge candidate N are respectively used as the motion vectors mvL0N [xN] [yN] and mvL1N [xN] [yN] of the prediction block N. (Step S1109), the reference indexes refIdxL0N and refIdxL1N of the merge candidate N are set to the same values as the reference indexes refIdxL0 [xN] [yN] and refIdxL1 [xN] [yN] of the prediction block N, respectively ( In step S1110), the flags predFlagL0N and predFlagL1N of the merge candidate N are set to the flags predFlagL0 [xN] [yN] and predFlagL1 [xN] [yN] of the prediction block N, respectively (step S1111). Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture.
以上のステップS1102〜ステップS1111の処理をN=A,B,C,D,Eについてそれぞれ繰り返す(ステップS1101〜ステップS1112)。 The processes in steps S1102 to S1111 are repeated for N = A, B, C, D, and E (steps S1101 to S1112).
次に、図14のS102の時間マージ候補の参照インデックスを導出する方法について詳細に説明する。時間マージ候補のL0とL1のそれぞれの参照インデックスを導出する。 Next, a method for deriving the reference index of the time merge candidate in S102 of FIG. 14 will be described in detail. The reference indices of L0 and L1 as temporal merge candidates are derived.
本実施の形態においては、空間マージ候補の参照インデックス、即ち符号化/復号対象ブロックに隣接する予測ブロックで利用された参照インデックスを利用して時間マージ候補の参照インデックスを導出する。これは、時間マージ候補が選択される場合において、符号化/復号対象の予測ブロックの参照インデックスは空間マージ候補となる符号化/復号対象ブロックに隣接する予測ブロックの参照インデックスと高い相関を持つからである。特に、本実施の形態においては、符号化/復号対象の予測ブロックの左の辺に隣接する予測ブロックA、及び上の辺に隣接する予測ブロックBの参照インデックスだけを利用する。なぜなら、空間マージ候補でもある隣接する予測ブロックA,B,C,D,Eの中でも符号化/復号対象の予測ブロックの辺に接している予測ブロックA,Bは、符号化/復号対象の予測ブロックの頂点のみに接している予測ブロックC,D,Eよりも相関が高いからである。相対的に相関の低い予測ブロックC,D,Eを利用せずに、利用する予測ブロックを予測ブロックA,Bに限定することで、時間マージ候補の参照インデックスの導出による符号化効率の改善効果を得るとともに、時間マージ候補の参照インデックス導出処理に関する演算量及びメモリアクセス量を削減する。 In the present embodiment, the reference index of the temporal merge candidate is derived using the reference index of the spatial merge candidate, that is, the reference index used in the prediction block adjacent to the encoding / decoding target block. This is because when the temporal merge candidate is selected, the reference index of the prediction block to be encoded / decoded has a high correlation with the reference index of the prediction block adjacent to the encoding / decoding target block to be the spatial merge candidate. It is. In particular, in the present embodiment, only the reference indexes of the prediction block A adjacent to the left side of the prediction block to be encoded / decoded and the prediction block B adjacent to the upper side are used. This is because prediction blocks A and B that are in contact with a side of a prediction block to be encoded / decoded among adjacent prediction blocks A, B, C, D, and E that are also spatial merge candidates are predicted to be encoded / decoded. This is because the correlation is higher than prediction blocks C, D, and E that are in contact with only the vertices of the block. By limiting the prediction blocks to be used to the prediction blocks A and B without using the prediction blocks C, D, and E having relatively low correlation, the effect of improving the coding efficiency by deriving the reference index of the temporal merge candidate In addition, the amount of computation and the amount of memory access related to the reference index derivation process of the temporal merge candidate are reduced.
本実施の形態では、予測ブロックA、予測ブロックBが共にLX予測(L0またはL1で、時間マージ候補の参照インデックスの導出対象のリストをLXとし、LXを用いた予測をLX予測とする。以下、断りのない限り、この意味で用いる。)を行う場合は予測ブロックA、予測ブロックBのLXの参照インデックスの値の小さい方を時間マージ候補のLXの参照インデックスの値として採用する。ただし、予測ブロックA、予測ブロックBのいずれか一方しかLX予測を行わない場合はLX予測を行う方の予測ブロックのLXの参照インデックスの値を時間マージ候補のLXの参照インデックスの値として採用し、予測ブロックA、予測ブロックBが共にLX予測を行わない場合は時間マージ候補のLXの参照インデックスの値をデフォルト値の0とする。 In the present embodiment, both the prediction block A and the prediction block B are LX predictions (L0 or L1, the list from which reference indexes of temporal merge candidates are derived is LX, and prediction using LX is LX prediction. In this case, the smaller LX reference index value of the prediction block A and the prediction block B is adopted as the LX reference index value of the temporal merge candidate. However, when only one of the prediction block A and the prediction block B is subjected to LX prediction, the LX reference index value of the prediction block on which LX prediction is performed is adopted as the LX reference index value of the temporal merge candidate. When both the prediction block A and the prediction block B do not perform LX prediction, the value of the reference index of the LX that is a temporal merge candidate is set to 0 as the default value.
予測ブロックA、予測ブロックBが共にLX予測を行わない場合に時間マージ候補のLXの参照インデックスのデフォルト値を0とする理由は、インター予測において参照インデックスの値が0に対応する参照ピクチャが最も選択される確率が高いからである。ただし、これに限定されず、参照インデックスのデフォルト値を0以外の値(1、2など)としても良いし、シーケンス単位、ピクチャ単位、またはスライス単位で符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。 When both the prediction block A and the prediction block B do not perform LX prediction, the default value of the reference index of the LX that is a temporal merge candidate is set to 0 because the reference picture corresponding to the reference index value of 0 is the most in inter prediction. This is because the probability of being selected is high. However, the present invention is not limited to this, and the default value of the reference index may be a value other than 0 (1, 2, etc.), and the default value of the reference index may be set in the encoded stream in sequence units, picture units, or slice units. The syntax element shown may be installed and transmitted so that it can be selected on the encoding side.
図16は本実施の形態の図14のステップS102の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ115または210から左に隣接する予測ブロックAの符号化情報、及び予測ブロックBの符号化情報を取得する(ステップS2101、ステップS2102)。
続くステップS2104からステップS2110までの処理をL0,L1それぞれにおいて行う(ステップS2103〜S2111)。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただし、スライスタイプslice_typeがPスライスの場合、インター予測モードとしてL0予測(Pred_L0)だけがあり、L1予測(Pred_L1)、双予測(Pred_BI)がないので、L1に纏わる処理を省略することができる。
FIG. 16 is a flow chart for explaining the procedure for deriving the reference index of the time merge candidate in step S102 of FIG. 14 of the present embodiment. First, the encoding information of the prediction block A adjacent to the left and the encoding information of the prediction block B are acquired from the encoding
The subsequent processing from step S2104 to step S2110 is performed in each of L0 and L1 (steps S2103 to S2111). Note that LX is set to L0 when deriving the L0 reference index of the temporal merge candidate, and LX is set to L1 when deriving the L1 reference index. However, when the slice type slice_type is a P slice, only the L0 prediction (Pred_L0) is provided as the inter prediction mode, and there is no L1 prediction (Pred_L1) and bi-prediction (Pred_BI). Therefore, the processing related to L1 can be omitted.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]と予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が共に0でない場合(ステップS2104のYES)、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]と予測ブロックBのLXの参照インデックスrefIdxLX[xB][yB]の値の小さい方と同じ値に設定する(ステップS2105)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の画素の位置を示すインデックスである。ここで、xB、yBはピクチャ内での予測ブロックBの左上の画素の位置を示すインデックスである。 When both the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A and the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B are not 0 (in step S2104) YES), the LX reference index refIdxLXCol of the temporal merge candidate is the smaller of the LX reference index refIdxLX [xA] [yA] of the prediction block A and the LX reference index refIdxLX [xB] [yB] of the prediction block B The same value is set (step S2105). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture. Here, xB and yB are indexes indicating the position of the upper left pixel of the prediction block B in the picture.
なお、本実施の形態においては、予測ブロックN(N=A,B)において、予測ブロックNが符号化/復号対象のスライス外で利用できない場合や予測ブロックNが符号化/復号順序で符号化/復号対象の予測ブロックよりも後のために符号化/復号されておらず利用できない場合や予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)の場合、L0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に0である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すインデックスである。
予測ブロックNの予測モードPredModeがインター予測(MODE_INTER)で、インター予測モードがL0予測(Pred_L0)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]は1, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は0である。予測ブロックNのインター予測モードがL1予測(Pred_L1)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]は0, L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は1である。予測ブロックNのインター予測モードが双予測(Pred_BI)の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、L1予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に1である。
In the present embodiment, in the prediction block N (N = A, B), when the prediction block N cannot be used outside the slice to be encoded / decoded or the prediction block N is encoded in the encoding / decoding order. / A flag indicating whether or not to use L0 prediction when it is not encoded / decoded after the prediction block to be decoded and cannot be used, or when the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) Both predFlagL0 [xN] [yN] and the flag predFlagL1 [xN] [yN] indicating whether to use the L1 prediction of the prediction block N are 0. Here, xN and yN are indexes indicating the position of the upper left pixel of the prediction block N in the picture.
When the prediction mode PredMode of the prediction block N is inter prediction (MODE_INTER) and the inter prediction mode is L0 prediction (Pred_L0), the flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N is 1 , Flag predFlagL1 [xN] [yN] indicating whether to use L1 prediction is zero. When the inter prediction mode of the prediction block N is L1 prediction (Pred_L1), a flag predFlagL0 [xN] [yN] indicating whether or not to use the L0 prediction of the prediction block N is 0 and a flag indicating whether or not to use the L1 prediction predFlagL1 [xN] [yN] is 1. When the inter prediction mode of the prediction block N is bi-prediction (Pred_BI), a flag predFlagL0 [xN] [yN] indicating whether to use the L0 prediction of the prediction block N, and a flag predFlagL1 [indicating whether to use the L1 prediction xN] [yN] are both 1.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0でなく、予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0である場合(ステップS2104のNOで、ステップS2106のYES)、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLX[xA][yA]と同じ値に設定する(ステップS2107)。ここで、xA、yAはピクチャ内での予測ブロックAの左上の画素の位置を示すインデックスであり、xB、yBはピクチャ内での予測ブロックBの左上の画素の位置を示すインデックスである。 When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is not 0 and the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is 0 (NO in step S2104, YES in step S2106), the LX reference index refIdxLXCol of the temporal merge candidate is set to the same value as the LX reference index refIdxLX [xA] [yA] of the prediction block A (step S2107). Here, xA and yA are indexes indicating the position of the upper left pixel of the prediction block A in the picture, and xB and yB are indexes indicating the position of the upper left pixel of the prediction block B in the picture.
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が0であり、予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が0でない場合(ステップS2104のNOで、ステップS2106のNOで、ステップS2108のYES)、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックBのLXの参照インデックスpredFlagLX[xB][yB]と同じ値に設定する(ステップS2109)。 When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A is 0 and the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B is not 0 ( In step S2104 NO, step S2106 NO, step S2108 YES), the LX reference index refIdxLXCol of the temporal merge candidate is set to the same value as the LX reference index predFlagLX [xB] [yB] of the prediction block B ( Step S2109).
予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLX[xA][yA]と予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が共に0である場合(ステップS2104のNOで、ステップS2106のNOで、ステップS2108のNO)、時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定する(ステップS2110)。 When the flag predFlagLX [xA] [yA] indicating whether to perform LX prediction of the prediction block A and the flag predFlagLX [xB] [yB] indicating whether to perform LX prediction of the prediction block B are both 0 (step S2104) NO in step S2106 and NO in step S2108), the reference index refIdxLXCol of the LX that is a candidate for time merge is set to a default value of 0 (step S2110).
L0,L1それぞれにおいて行うステップS2104からステップS2110までの処理を行い(ステップS2103〜S2111)、本参照インデックス導出処理を終了する。 The processing from step S2104 to step S2110 performed in each of L0 and L1 is performed (steps S2103 to S2111), and this reference index derivation processing is terminated.
次に、図14のS103の異なる時間のマージ候補の導出方法について詳細に説明する。図17は図14のステップS103の時間マージ候補導出処理手順を説明するフローチャートである。 Next, the method for deriving merge candidates at different times in S103 of FIG. 14 will be described in detail. FIG. 17 is a flowchart illustrating the time merge candidate derivation processing procedure in step S103 of FIG.
まず、図26のビットストリームの符号化および復号の共通規則であるシンタックス規則の一例に示すように、スライス単位でスライスヘッダに記述されるスライスタイプslice_typeと時間方向の予測動きベクトルの候補、またはマージ候補を導出する際に用いる異なる時間のピクチャcolPicが処理対象の予測ブロックが含まれるピクチャのL0の参照リスト或いはL1の参照リストのどちらに登録されている参照ピクチャを使用するかを示すフラグcollocated_from_l0_flagにより、異なる時間のピクチャcolPicを導出する(ステップS3101)。 First, as shown in an example of a syntax rule that is a common rule for encoding and decoding a bitstream in FIG. 26, a slice type slice_type described in a slice header in units of slices and a candidate for a predicted motion vector in the time direction, or Flag collocated_from_l0_flag indicating whether a picture colPic at a different time used when deriving merge candidates uses a reference picture registered in the L0 reference list or the L1 reference list of the picture including the prediction block to be processed Thus, pictures colPic at different times are derived (step S3101).
図18は図17のステップS3101の異なる時間のピクチャcolPicの導出処理手順を説明するフローチャートである。スライスタイプslice_typeがBスライスで、フラグcollocated_from_l0_flagが0の場合(ステップS3201のYES、ステップS3202のYES)、RefPicList1[0]、すなわち参照リストL1の参照インデックスが0のピクチャが異なる時間のピクチャcolPicとなる(ステップS3203)。そうでない場合、すなわちスライスタイプslice_typeがBスライスで前述のフラグcollocated_from_l0_flagが1の場合(ステップS3201のYES、ステップS3202のNO)、またはスライスタイプslice_typeがPスライスの場合(ステップS3201のNO、S3204のYES)、RefPicList0[0]、すなわち参照リストL0の参照インデックスが0のピクチャが異なる時間のピクチャcolPicとなる(ステップS3205)。
FIG. 18 is a flowchart for explaining the procedure for deriving the picture colPic at different times in step S3101 of FIG. When the slice type slice_type is a B slice and the flag collocated_from_l0_flag is 0 (YES in step S3201 and YES in step S3202), RefPicList1 [0], that is, the picture colPic of the reference list L1 with a reference index of 0 is a different time. (Step S3203). Otherwise, that is, when the slice type slice_type is B slice and the aforementioned flag collocated_from_l0_flag is 1 (YES in step S3201, NO in step S3202), or when the slice type slice_type is P slice (NO in step S3201 and YES in S3204) ), RefPicList0 [0], that is, the picture colPic of the reference list L0 with the
次に、図17のフローチャートに戻り、異なる時間の予測ブロックcolPUを導出し、符号化情報を取得する(ステップS3102)。 Next, returning to the flowchart of FIG. 17, a prediction block colPU at a different time is derived, and encoded information is acquired (step S3102).
図19は図17のステップS3102の異なる時間のピクチャcolPicの予測ブロックcolPUの導出処理手順を説明するフローチャートである。 FIG. 19 is a flowchart for explaining the procedure for deriving the prediction block colPU of the picture colPic at different times in step S3102 of FIG.
まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下(外側)に位置する予測ブロックを異なる時間の予測ブロックcolPUとする(ステップS3301)。この予測ブロックは図9の予測ブロックT0に相当する。 First, a prediction block located in the lower right (outside) of the same position as a processing target prediction block in a picture colPic at a different time is set as a prediction block colPU at a different time (step S3301). This prediction block corresponds to the prediction block T0 in FIG.
次に、異なる時間の予測ブロックcolPUの符号化情報を取得する(ステップS3302)。異なる時間の予測ブロックcolPUのPredModeが利用できないか、異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測(MODE_INTRA)である場合(ステップS3303のYES、ステップS3304のYES)、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の中央左上に位置する予測ブロックを異なる時間の予測ブロックcolPUとする(ステップS3305)。この予測ブロックは図9の予測ブロックT1に相当する。 Next, encoding information of the prediction block colPU at different times is acquired (step S3302). When PredMode of a prediction block colPU at a different time cannot be used, or when the prediction mode PredMode of a prediction block colPU at a different time is intra prediction (MODE_INTRA) (YES in step S3303, YES in step S3304), the picture colPic in a different time The prediction block located in the upper left center of the same position as the processing target prediction block is set as a prediction block colPU at a different time (step S3305). This prediction block corresponds to the prediction block T1 in FIG.
次に、図17のフローチャートに戻り、符号化/復号対象の予測ブロックと同位置の他ピクチャの予測ブロックから導出されるL0の予測動きベクトルmvL0Colと時間マージ候補Colが有効か否かを示すフラグavailableFlagL0Colを導出するとともに(ステップS3103)、L1の予測動きベクトルmvL1Colと時間マージ候補Colが有効か否かを示すフラグavailableFlagL1Colを導出する。さらに、フラグavailableFlagL0Col またはフラグavailableFlagL1Colが1の場合に、時間マージ候補Colが有効か否かを示すフラグavailableFlagColを1に設定する。 Next, returning to the flowchart of FIG. 17, a flag indicating whether or not the L0 predicted motion vector mvL0Col and the temporal merge candidate Col derived from the prediction block of another picture at the same position as the prediction block to be encoded / decoded are valid. In addition to deriving availableFlagL0Col (step S3103), a flag availableFlagL1Col indicating whether the prediction motion vector mvL1Col of L1 and the temporal merge candidate Col are valid is derived. Further, when the flag availableFlagL0Col or the flag availableFlagL1Col is 1, a flag availableFlagCol indicating whether the time merge candidate Col is valid is set to 1.
図20は図17のステップS3103、ステップS3104の時間マージ候補のインター予測情報の導出処理手順を説明するフローチャートである。L0またはL1で、時間マージ候補の導出対象のリストをLXとし、LXを用いた予測をLX予測とする。以下、断りのない限り、この意味で用いる。時間マージ候補のL0の導出処理であるステップS3103として呼び出される際には、LXがL0となり、時間マージ候補のL1の導出処理であるステップS3104として呼び出される際には、LXがL1となる。 FIG. 20 is a flowchart for explaining the process of deriving inter prediction information of the temporal merge candidate in step S3103 and step S3104 in FIG. In L0 or L1, the list of time merge candidate derivation targets is LX, and the prediction using LX is LX prediction. Hereinafter, unless otherwise noted, this meaning is used. LX becomes L0 when called as step S3103, which is a time merge candidate L0 derivation process, and LX becomes L1, when called as step S3104, which is a time merge candidate L1 derivation process.
異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測(MODE_INTRA)か、利用できない場合(ステップS3401のNO、ステップS3402のNO)、フラグavailableFlagLXColとフラグpredFlagLXColを共に0とし(ステップS3403)、動きベクトルmvLXColを(0,0)として(ステップS3404)、本時間マージ候補のインター予測情報の導出処理を終了する。 When the prediction mode PredMode of the prediction block colPU at different time is intra prediction (MODE_INTRA) or cannot be used (NO in step S3401 and NO in step S3402), both the flag availableFlagLXCol and the flag predFlagLXCol are set to 0 (step S3403), and the motion vector mvLXCol Is set to (0, 0) (step S3404), and the process of deriving inter prediction information of the current time merge candidate ends.
予測ブロックcolPUが利用できて予測モードPredModeがイントラ予測(MODE_INTRA)でない場合(ステップS3401のYES、ステップS3402のYES)、以下の手順でmvColとrefIdxColとavailableFlagColを導出する。 When the prediction block colPU is available and the prediction mode PredMode is not intra prediction (MODE_INTRA) (YES in step S3401 and YES in step S3402), mvCol, refIdxCol, and availableFlagCol are derived by the following procedure.
予測ブロックcolPUのL0予測が利用されているかどうかを示すフラグPredFlagL0[xPCol][yPCol]が0の場合(ステップS3405のYES)、予測ブロックcolPUの予測モードはPred_L1であるので、動きベクトルmvColが予測ブロックcolPUのL1の動きベクトルであるMvL1[xPCol][yPCol]と同じ値に設定され(ステップS3406)、参照インデックスrefIdxColがL1の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され(ステップS3407)、リストListColがL1に設定される(ステップS3408)。ここで、xPCol、yPColは異なる時間のピクチャcolPic内での予測ブロックcolPUの左上の画素の位置を示すインデックスである。 When the flag PredFlagL0 [xPCol] [yPCol] indicating whether or not the L0 prediction of the prediction block colPU is used (YES in step S3405), the prediction mode of the prediction block colPU is Pred_L1, and therefore the motion vector mvCol is predicted. The same value as MvL1 [xPCol] [yPCol] that is the L1 motion vector of the block colPU is set (step S3406), and the reference index refIdxCol is set to the same value as the reference index RefIdxL1 [xPCol] [yPCol] of L1 (step S3406). In step S3407, the list ListCol is set to L1 (step S3408). Here, xPCol and yPCol are indexes indicating the position of the upper left pixel of the prediction block colPU in the picture colPic at different times.
一方、予測ブロックcolPUのL0予測フラグPredFlagL0[xPCol][yPCol]が0でない場合(図20のステップS3405のNO)、予測ブロックcolPUのL1予測フラグPredFlagL1[xPCol][yPCol]が0かどうかを判定する。予測ブロックcolPUのL1予測フラグPredFlagL1[xPCol][yPCol]が0の場合(ステップS3409のYES)、動きベクトルmvColが予測ブロックcolPUのL0の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され(ステップS3410)、参照インデックスrefIdxColがL0の参照インデックスRefIdxL0[xPCol][yPCol]と同じ値に設定され(ステップS3411)、リストListColがL0に設定される(ステップS3412)。 On the other hand, when the L0 prediction flag PredFlagL0 [xPCol] [yPCol] of the prediction block colPU is not 0 (NO in step S3405 in FIG. 20), it is determined whether the L1 prediction flag PredFlagL1 [xPCol] [yPCol] of the prediction block colPU is 0. To do. When the L1 prediction flag PredFlagL1 [xPCol] [yPCol] of the prediction block colPU is 0 (YES in step S3409), the motion vector mvCol becomes the same value as MvL0 [xPCol] [yPCol], which is the L0 motion vector of the prediction block colPU. It is set (step S3410), the reference index refIdxCol is set to the same value as the reference index RefIdxL0 [xPCol] [yPCol] of L0 (step S3411), and the list ListCol is set to L0 (step S3412).
予測ブロックcolPUのL0予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPUのL1予測フラグPredFlagL1[xPCol][yPCol]が共に0でない場合(ステップS3405のNO、ステップS3409のNO)、予測ブロックcolPUのインター予測モードは双予測(Pred_BI)であるので、L0、L1の2つの動きベクトルから、一方を選択する(ステップS3413)。 When the L0 prediction flag PredFlagL0 [xPCol] [yPCol] of the prediction block colPU and the L1 prediction flag PredFlagL1 [xPCol] [yPCol] of the prediction block colPU are not 0 (NO in step S3405, NO in step S3409), the prediction block colPU Since the inter prediction mode is bi-prediction (Pred_BI), one of the two motion vectors L0 and L1 is selected (step S3413).
図21は予測ブロックcolPUのインター予測モードが双予測(Pred_BI)のときの時間マージ候補のインター予測情報の導出処理手順を示すフローチャートである。 FIG. 21 is a flowchart showing a procedure for deriving inter prediction information of temporal merge candidates when the inter prediction mode of the prediction block colPU is bi-prediction (Pred_BI).
まず、すべての参照リストに登録されているすべてのピクチャのPOCが現在の符号化/復号対象ピクチャのPOCより小さいかどうかを判定し(ステップS3501)、予測ブロックcolPUのすべての参照リストであるL0及びL1に登録されているすべてのピクチャのPOCが現在の符号化/復号対象ピクチャのPOCより小さい場合で(ステップS3501のYES)、LXがL0、即ち符号化/復号対象ピクチャのL0の動きベクトルの予測ベクトル候補を導出している場合(ステップS3502のYES)、予測ブロックcolPUのL0の方のインター予測情報を選択し、LXがL1、即ち符号化/復号対象ピクチャのL1の動きベクトルの予測ベクトル候補を導出している場合(ステップS3502のNO)、予測ブロックcolPUのL1の方のインター予測情報を選択する。一方、予測ブロックcolPUのすべての参照リストL0及びL1に登録されているピクチャのPOCの少なくとも1つが現在の符号化/復号対象ピクチャのPOCより大きい場合で(ステップS3501のNO)、フラグcollocated_from_l0_flagが0の場合(ステップS3503のYES)、予測ブロックcolPUのL0の方のインター予測情報を選択し、フラグcollocated_from_l0_flagが1の場合(ステップS3503のNO)、予測ブロックcolPUのL1の方のインター予測情報を選択する。 First, it is determined whether or not the POC of all the pictures registered in all the reference lists is smaller than the POC of the current encoding / decoding target picture (step S3501), and L0 which is all the reference lists of the prediction block colPU. When the POC of all the pictures registered in L1 is smaller than the POC of the current encoding / decoding target picture (YES in step S3501), LX is L0, that is, the motion vector of L0 of the encoding / decoding target picture If the prediction vector candidate is derived (YES in step S3502), the inter prediction information of L0 of the prediction block colPU is selected, and LX is L1, that is, the prediction of the motion vector of L1 of the encoding / decoding target picture. When the vector candidate is derived (NO in step S3502), the prediction block colPU L1 To select the inter prediction information. On the other hand, when at least one of the POCs of pictures registered in all the reference lists L0 and L1 of the prediction block colPU is larger than the POC of the current encoding / decoding target picture (NO in step S3501), the flag collocated_from_l0_flag is 0. (YES in step S3503), the L0 inter prediction information of the prediction block colPU is selected. If the flag collocated_from_l0_flag is 1 (NO in step S3503), the L1 inter prediction information of the prediction block colPU is selected. To do.
予測ブロックcolPUのL0の方のインター予測情報を選択する場合(ステップのYES、ステップS3503のYES)、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に設定され(ステップS3504)、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol]と同じ値に設定され(ステップS3505)、リストListColがL0に設定される(ステップS3506)。 When the inter prediction information of L0 of the prediction block colPU is selected (YES in step, YES in step S3503), the motion vector mvCol is set to the same value as MvL0 [xPCol] [yPCol] (step S3504), and the reference index refIdxCol is set to the same value as RefIdxL0 [xPCol] [yPCol] (step S3505), and the list ListCol is set to L0 (step S3506).
予測ブロックcolPUのL1の方のインター予測情報を選択する場合(ステップS2502のNO、ステップS3503のNO)、動きベクトルmvColがMvL1[xPCol][yPCol]と同じ値に設定され(ステップS3507)、参照インデックスrefIdxColがRefIdxL1[xPCol][yPCol]と同じ値に設定され(ステップS3508)、リストListColがL1に設定される(ステップS3509)。 When the inter prediction information of L1 of the prediction block colPU is selected (NO in step S2502 and NO in step S3503), the motion vector mvCol is set to the same value as MvL1 [xPCol] [yPCol] (step S3507). The index refIdxCol is set to the same value as RefIdxL1 [xPCol] [yPCol] (step S3508), and the list ListCol is set to L1 (step S3509).
図20に戻り、予測ブロックcolPUからインター予測情報が取得できたらフラグavailableFlagLXColとフラグpredFlagLXColを共に1とする(ステップS3414)。 Returning to FIG. 20, if inter prediction information can be acquired from the prediction block colPU, both the flag availableFlagLXCol and the flag predFlagLXCol are set to 1 (step S3414).
続いて、動きベクトルmvColをスケーリングして時間マージ候補のLXの動きベクトルmvLXColとする(ステップS3415)。この動きベクトルのスケーリング演算処理手順を図22及び図23を用いて説明する。 Subsequently, the motion vector mvCol is scaled to obtain an LX motion vector mvLXCol as a temporal merge candidate (step S3415). The motion vector scaling calculation processing procedure will be described with reference to FIGS.
図22は図20のステップS3415の動きベクトルのスケーリング演算処理手順を示すフローチャートである。 FIG. 22 is a flowchart showing the motion vector scaling calculation processing procedure in step S3415 of FIG.
異なる時間のピクチャcolPicのPOCから、予測ブロックcolPUのリストListColで参照する参照インデックスrefIdxColに対応する参照ピクチャのPOCを減算してピクチャ間距離tdを導出する(ステップS3601)。なお、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で前の場合、ピクチャ間距離tdは正の値となり、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で後の場合、ピクチャ間距離tdは負の値となる。
td=異なる時間のピクチャcolPicのPOC−予測ブロックcolPUのリストListColで参照する参照ピクチャのPOC
The inter-picture distance td is derived by subtracting the POC of the reference picture corresponding to the reference index refIdxCol referenced in the list ListCol of the prediction block colPU from the POC of the picture colPic at different times (step S3601). Note that when the POC of the reference picture referenced in the list Col of the prediction block colPU is earlier in the display order than the picture colPic at a different time, the inter-picture distance td is a positive value, and the prediction is more accurate than the picture colPic at a different time. When the POC of the reference picture referenced in the list ListCol of the block colPU is later in the display order, the inter-picture distance td is a negative value.
td = POC of picture colPic at different time-POC of reference picture referenced by list ListCol of prediction block colPU
現在の符号化/復号対象ピクチャのPOCから図14のステップS102で導出された時間マージ候補のLXの参照インデックスに対応する参照ピクチャのPOCを減算してピクチャ間距離tbを導出する(ステップS3602)。なお、現在の符号化/復号対象ピクチャよりも現在の符号化/復号対象ピクチャのリストLXで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離tbは正の値となり、現在の符号化/復号対象ピクチャのリストLXで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離tbは負の値となる。
tb=現在の符号化/復号対象ピクチャのPOC−時間マージ候補のLXの参照インデックスに対応する参照ピクチャのPOC
The inter-picture distance tb is derived by subtracting the POC of the reference picture corresponding to the reference index of the temporal merge candidate LX derived in step S102 of FIG. 14 from the POC of the current encoding / decoding target picture (step S3602). . When the reference picture referred to in the current encoding / decoding target picture list LX is earlier in the display order than the current encoding / decoding target picture, the inter-picture distance tb becomes a positive value, When the reference picture referred to in the encoding / decoding target picture list LX is later in the display order, the inter-picture distance tb is a negative value.
tb = POC of current encoding / decoding target picture—POC of reference picture corresponding to LX reference index of temporal merge candidate
続いて、ピクチャ間距離tdとtbを比較し(ステップS3603)、ピクチャ間距離tdとtbが等しい場合(ステップS3603のYES)、時間マージ候補のLXの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して(ステップS3604)、本スケーリング演算処理を終了する。
mvLXCol=mvCol
Subsequently, the inter-picture distances td and tb are compared (step S3603). If the inter-picture distances td and tb are equal (YES in step S3603), the LX motion vector mvLXCol as a temporal merge candidate is set to the same value as the motion vector mvCol. After setting (step S3604), the scaling calculation process is terminated.
mvLXCol = mvCol
一方、ピクチャ間距離tdとtbが等しくない場合(ステップS3603のNO)、次式によりmvColにスケール係数tb/tdを乗じることでスケーリング演算処理を行い(ステップS3605)、スケールされた時間マージ候補のLXの動きベクトルmvLXColを得る。
mvLXCol=tb / td * mvCol
On the other hand, when the inter-picture distances td and tb are not equal (NO in step S3603), scaling calculation processing is performed by multiplying mvCol by the scale factor tb / td according to the following equation (step S3605), and the scaled temporal merge candidate Obtain the motion vector mvLXCol of LX.
mvLXCol = tb / td * mvCol
また、ステップS3605のスケーリング演算を整数精度の演算で行う場合の例を図23に示す。図23のステップS3606〜ステップS3608の処理が、図22のステップS3605の処理に相当する。 FIG. 23 shows an example of the case where the scaling operation in step S3605 is performed with integer precision arithmetic. The processing from step S3606 to step S3608 in FIG. 23 corresponds to the processing in step S3605 in FIG.
まず、図22のフローチャートと同様に、ピクチャ間距離tdとピクチャ間距離tbを導出する(ステップS3601、ステップS3602)。 First, as in the flowchart of FIG. 22, the inter-picture distance td and the inter-picture distance tb are derived (steps S3601 and S3602).
続いて、ピクチャ間距離tdとtbを比較し(ステップS3603)、ピクチャ間距離tdとtbが等しい場合(ステップS3603のYES)、図22のフローチャートと同様に、時間マージ候補のLXの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して(ステップS3604)、本スケーリング演算処理を終了する。
mvLXCol=mvCol
Subsequently, the inter-picture distances td and tb are compared (step S3603). If the inter-picture distances td and tb are equal (YES in step S3603), the LX motion vector mvLXCol as a temporal merge candidate is obtained, as in the flowchart of FIG. Is set to the same value as the motion vector mvCol (step S3604), and this scaling calculation process is terminated.
mvLXCol = mvCol
一方、ピクチャ間距離tdとtbが等しくない場合(ステップS3603のNO)、次式により変数txを導出する(ステップS3606)。
tx = ( 16384 + Abs( td / 2 ) ) / td
On the other hand, if the inter-picture distances td and tb are not equal (NO in step S3603), a variable tx is derived from the following equation (step S3606).
tx = (16384 + Abs (td / 2)) / td
続いて、次式によりスケール係数DistScaleFactorを導出する(ステップS3607)。
DistScaleFactor = ( tb * tx + 32 ) >> 6
Subsequently, the scale coefficient DistScaleFactor is derived from the following equation (step S3607).
DistScaleFactor = (tb * tx + 32) >> 6
続いて、次式により、スケールされた時間マージ候補のLXの動きベクトルmvLXColを得る(ステップS3608)。
mvLXCol = ClipMv( Sign( DistScaleFactor * mvCol ) * ( (Abs( DistScaleFactor * mvCol ) + 127 ) >> 8 ) )
Subsequently, the LX motion vector mvLXCol of the scaled temporal merge candidate is obtained by the following equation (step S3608).
mvLXCol = ClipMv (Sign (DistScaleFactor * mvCol) * ((Abs (DistScaleFactor * mvCol) + 127) >> 8))
次に、図14のステップS104のマージ候補をマージ候補リストに登録する方法について詳細に説明する。図24はマージ候補リストへのマージ候補の登録処理手順を示すフローチャートである。本方式では、優先順位をつけて、優先順位の高いものからマージ候補リストmergeCandListに予測動きベクトルの候補を登録することで、マージインデックスmerge_idx[x0][y0]の符号量を削減する。優先順位の高い要素をマージ候補リストの前方に配置することで、符号量を削減する。例えば、マージ候補リストmergeCandListの要素が5個の場合、マージ候補リストのインデックス0を「0」、インデックス1を「10」、インデックス2を「110」、インデックス3を「1110」、インデックス4を「11110」とすることで、インデックス0を表す符号量が1ビットとなり、インデックス0に発生頻度が高いと考えられる要素を登録することで、符号量を削減する。
Next, a method for registering the merge candidate in step S104 of FIG. 14 in the merge candidate list will be described in detail. FIG. 24 is a flowchart showing the procedure for registering merge candidates in the merge candidate list. In this method, priorities are assigned and the motion vector candidates are registered in the merge candidate list mergeCandList in descending order of priority, thereby reducing the code amount of the merge index merge_idx [x0] [y0]. The amount of codes is reduced by placing elements with higher priorities in front of the merge candidate list. For example, when there are five elements in the merge candidate list mergeCandList, the
マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は0から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスiのマージ候補となる予測ブロックは、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記をすることで区別することとする。 The merge candidate list mergeCandList has a list structure, and is provided with a merge index indicating the location within the merge candidate list and a storage area for storing merge candidates corresponding to the index as elements. The number of the merge index starts from 0, and merge candidates are stored in the storage area of the merge candidate list mergeCandList. In the subsequent processing, a prediction block that is a merge candidate of the merge index i registered in the merge candidate list mergeCandList is represented by mergeCandList [i], and is distinguished from the merge candidate list mergeCandList by array notation. To do.
まず、availableFlagAが1の場合(ステップS4101のYES)、マージ候補リストmergeCandListの先頭にマージ候補Aを登録する(ステップS4102)。
続いて、availableFlagBが1の場合(ステップS4103のYES)、マージ候補リストmergeCandListの最後にマージ候補Bを登録する(ステップS4104)。
続いて、availableFlagCが1の場合(ステップS4105のYES)、マージ候補リストmergeCandListの最後にマージ候補Cを登録する(ステップS4106)。
続いて、availableFlagDが1の場合(ステップS4107のYES)、マージ候補リストmergeCandListの最後にマージ候補Dを登録する(ステップS4108)。
続いて、availableFlagEが1の場合(ステップS4109のYES)、マージ候補リストmergeCandListの最後にマージ候補Eを登録する(ステップS4110)。
続いて、availableFlagColが1の場合(ステップS4109のYES)、マージ候補リストmergeCandListの最後にマージ候補Colを登録する(ステップS4110)。
First, when availableFlagA is 1 (YES in step S4101), merge candidate A is registered at the head of the merge candidate list mergeCandList (step S4102).
Subsequently, when availableFlagB is 1 (YES in step S4103), merge candidate B is registered at the end of the merge candidate list mergeCandList (step S4104).
Subsequently, when availableFlagC is 1 (YES in step S4105), the merge candidate C is registered at the end of the merge candidate list mergeCandList (step S4106).
Subsequently, when availableFlagD is 1 (YES in step S4107), the merge candidate D is registered at the end of the merge candidate list mergeCandList (step S4108).
Subsequently, when availableFlagE is 1 (YES in step S4109), the merge candidate E is registered at the end of the merge candidate list mergeCandList (step S4110).
Subsequently, when availableFlagCol is 1 (YES in step S4109), the merge candidate Col is registered at the end of the merge candidate list mergeCandList (step S4110).
なお、マージモードにおいて、左に隣接する予測ブロックA及び上に隣接する予測ブロックBは符号化/復号対象の予測ブロックと一体となる動きになることが多いので、予測ブロックA、Bのインター予測情報が取得できる場合には、マージ候補A、Bを他のマージ候補C,D,E,Colよりも優先的にマージ候補リストの前方に登録する。 In the merge mode, the prediction block A adjacent to the left and the prediction block B adjacent to the top often move together with the prediction block to be encoded / decoded. When the information can be acquired, the merge candidates A and B are registered ahead of the merge candidate list in preference to the other merge candidates C, D, E, and Col.
図12において、動画像符号化装置のインター予測情報導出部104の符号化情報選択部137では、マージ候補リストに登録されているマージ候補の中から、マージ候補を選択し、マージインデックスおよびマージインデックスに対応するマージ候補のインター予測情報を動き補償予測部105に供給する。
In FIG. 12, the encoding
マージ候補の選択においては、予測方法決定部107と同様の方法を用いることができる。それぞれのマージ候補ごとに符号化情報及び残差信号の符号量と予測画像信号と画像信号との間の符号化歪を導出し、最も少ない発生符号量と符号化歪となるマージ候補が決定される。それぞれのマージ候補毎にマージモードの符号化情報であるマージインデックスのシンタックス要素merge_idxのエントロピー符号化を行い、符号化情報の符号量を算出する。さらに、それぞれのマージ候補毎に動き補償予測部105と同様の方法で各マージ候補のインター予測情報に応じて動き補償した予測画像信号と、画像メモリ101から供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を算出する。符号化情報、即ちマージインデックスの符号量と予測残差信号の符号量とが加算された総発生符号量を算出し評価値とする。
In selecting a merge candidate, the same method as the prediction
また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じる元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と符号化歪とをマージ候補毎に比較することで、少ない発生符号量と符号化歪となる符号化情報が決定される。決定された符号化情報に対応するマージインデックスが、予測ブロック単位の第2のシンタックスパターンで表されるフラグmerge_idxとして符号化される。
尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが望ましいが、簡便に近似したり、概算することも可能である。
Further, after encoding such a prediction residual signal, it is decoded for distortion amount evaluation, and the encoding distortion is calculated as a ratio representing an error from the original image signal caused by the encoding. By comparing the total generated code amount and the encoding distortion for each merge candidate, encoding information with a small generated code amount and encoding distortion is determined. A merge index corresponding to the determined encoding information is encoded as a flag merge_idx represented by a second syntax pattern in units of prediction blocks.
The generated code amount calculated here is preferably a simulation of the encoding process, but can be approximated or approximated easily.
一方、図13において、動画像符号化装置のインター予測情報導出部205の符号化情報選択部237では、マージ候補リストに登録されているマージ候補の中から、供給されたマージインデックスに対応するマージ候補を選択し、マージ候補のインター予測情報を動き補償予測部206に供給するとともに、符号化情報格納メモリ210に格納する。
On the other hand, in FIG. 13, the encoding
次に、図14のステップS109のマージ候補を補充(導出・登録)する方法について詳細に説明する。図25はマージ候補の補充処理手順を示すフローチャートである。設定された最終マージ候補数finalNumMergeCandを上限として、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基に新たなマージ候補を生成し、マージ候補リストに登録することでマージ候補数を補充し、マージ候補の選択の幅を広げて、符号量を削減する。 Next, a method for supplementing (derivation / registration) of merge candidates in step S109 in FIG. 14 will be described in detail. FIG. 25 is a flowchart showing a merge candidate supplement processing procedure. A new merge candidate is generated based on the merge candidates already registered in the merge candidate list mergeCandList up to the set final merge candidate number finalNumMergeCand and added to the merge candidate list to replenish the merge candidate number. The code amount is reduced by widening the selection range of merge candidates.
スライスタイプslice_typeがPスライスの場合(ステップS5101のYES)、整数倍のスケール係数を導出し、インター予測モードがL0予測(Pred_L0)の整数倍のスケーリング単予測マージ候補を補充(導出・登録)する(ステップS5103)。スライスタイプslice_typeがBスライスの場合(ステップS5101のNO、ステップS5102のYES)、整数倍のスケール係数を導出し、インター予測モードが双予測(Pred_BI)の整数倍のスケーリング双予測マージ候補を補充(導出・登録)する(ステップS5104)。 When the slice type slice_type is a P slice (YES in step S5101), an integer multiple scale factor is derived, and an inter prediction mode is supplemented (derived / registered) with a scaling single prediction merge candidate having an integer multiple of L0 prediction (Pred_L0). (Step S5103). When the slice type slice_type is a B slice (NO in step S5101, YES in step S5102), an integer multiple scale factor is derived, and inter-prediction modes are supplemented with scaling bi-prediction merge candidates with an integer multiple of bi-prediction (Pred_BI) ( (Derivation / registration) (step S5104).
次に、図25のS5103のスライスタイプslice_typeがPスライスでの整数倍のスケーリング単予測マージ候補の補充(導出・登録)方法について詳細に説明する。図26は図25のステップS5103のスライスタイプslice_typeがPスライスでの整数倍のスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。 Next, a method for supplementing (derivation / registration) of scaling single prediction merge candidates in which the slice type slice_type of S5103 in FIG. 25 is an integer multiple of P slices will be described in detail. FIG. 26 is a flowchart for explaining a supplement processing procedure for scaling single prediction merge candidates in which the slice type slice_type in step S5103 in FIG.
まず、L0の参照ピクチャRefPicListL0の参照ピクチャの数が1より大きいかどうかを判別し、参照ピクチャの数が1以下の場合(ステップS5201のNO)、図26のスケーリング単予測マージ候補補充処理手順を終了する。一方、参照ピクチャの数が1より大きい場合(ステップS5201のYES)、マージ候補リストのマージインデックスi、スケールされたマージ候補数を示す変数numScaledCandを0に初期化し、これまでにマージ候補リストに登録されたマージ候補数を示す変数である第一マージ候補数numFirstMergeCandを現在のマージ候補数numMergeCandの値に設定する(ステップS5202)。続いて、ステップS5203以降の繰り返し処理を行う。現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandより小さい場合に(ステップS5204のYES)、ステップS5205以降の処理を行い、現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCand以上の場合に(ステップS5204のNO)、図26のスケーリング単予測マージ候補補充処理手順を終了する。次に、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCandより小さい場合に(S5205のYES)、ステップS5206以降の処理を行い、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCand以上の場合に(S5205のNO)、図26のスケーリング単予測マージ候補補充処理手順を終了する。最大スケーリングマージ候補導出処理回数maxNumScaledCandを大きくすると、演算処理回数は大きくなるが、マージ候補の選択の幅が広がり、符号化効率が向上する。例えば、最終マージ候補数finalNumMergeCandの値が5の場合、マージ候補導出処理回数maxNumScaledCandの値は1から3程度に規定するとよい。 First, it is determined whether or not the number of reference pictures of the reference picture RefPicListL0 of L0 is larger than 1. If the number of reference pictures is 1 or less (NO in step S5201), the scaling single prediction merge candidate supplement processing procedure of FIG. finish. On the other hand, if the number of reference pictures is greater than 1 (YES in step S5201), the merge index i of the merge candidate list and the variable numScaledCand indicating the number of scaled merge candidates are initialized to 0 and registered in the merge candidate list so far The first merge candidate number numFirstMergeCand, which is a variable indicating the number of merge candidates, is set to the value of the current merge candidate number numMergeCand (step S5202). Subsequently, the iterative process after step S5203 is performed. If the current merge candidate number numMergeCand is smaller than the final merge candidate number finalNumMergeCand (YES in step S5204), the processing from step S5205 is performed, and if the current merge candidate number numMergeCand is greater than or equal to the final merge candidate number finalNumMergeCand (step S5204). NO), the scaling single prediction merge candidate supplement processing procedure of FIG. 26 is terminated. Next, when the scaled merge candidate number numScaledCand is smaller than the specified maximum scaling merge candidate derivation processing number maxNumScaledCand (YES in S5205), the processing after step S5206 is performed, and the scaled merge candidate number numScaledCand is defined. When the maximum scaling merge candidate derivation processing count maxNumScaledCand is greater than or equal to (NO in S5205), the scaling single prediction merge candidate supplement processing procedure in FIG. Increasing the maximum scaling merge candidate derivation processing number maxNumScaledCand increases the number of arithmetic processings, but increases the selection range of merge candidates and improves the coding efficiency. For example, when the value of the final merge candidate number finalNumMergeCand is 5, the value of the merge candidate derivation processing number maxNumScaledCand may be defined to be about 1 to 3.
次に、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるL0予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合(ステップS5206のYES)、図27のスケーリング単予測マージ候補補充処理を行い(ステップS5207)、ピクチャ間距離の値が1でない場合(ステップS5206のNO)、図27のスケーリング単予測マージ候補補充処理を行わず、ステップS5208以降の処理を行う。本実施の形態においては、スライスタイプslice_typeがPスライスの際に、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるL0予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合にのみ整数倍のスケール係数ScaleFactorを導出するスケーリング単予測マージ候補の補充処理を行う。このように、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるL0予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合にのみスケーリング単予測マージ候補の補充を行うことで、スケール係数ScaleFactorの導出処理を単純化するとともに、演算量の多い除算を含むスケーリング演算処理を除外し、除算に比べて演算量の少ない乗算のみによるスケーリング演算処理を行う。 Next, the inter-picture derived by subtracting the POC of the reference picture of the L0 prediction referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. If the distance value is 1 (YES in step S5206), the scaling single prediction merge candidate supplement process of FIG. 27 is performed (step S5207). If the inter-picture distance value is not 1 (NO in step S5206), FIG. The process after step S5208 is performed without performing the scaling single prediction merge candidate supplement process. In the present embodiment, when the slice type slice_type is P slice, the L0 prediction of the L0 prediction referred to by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. Only when the inter-picture distance value derived by subtracting the POC of the reference picture is 1, a supplementary process of scaling single prediction merge candidates for deriving an integer multiple scale factor ScaleFactor is performed. In this way, the picture derived by subtracting the POC of the L0 prediction reference picture referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. By supplementing scaling single prediction merge candidates only when the value of the inter-distance is 1, simplification of the derivation process of the scale factor ScaleFactor, excluding the scaling calculation process including division with a large amount of calculation, The scaling calculation process is performed only by multiplication with a smaller calculation amount.
図27は図26のステップS5207の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行うスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のL0の動きベクトルから整数倍によるスケーリング演算処理によりL0の動きベクトルを導出して単予測マージ候補とする。 FIG. 27 is a flowchart for explaining a scaling single prediction merge candidate replenishment processing procedure for deriving an integer multiple scale factor ScaleFactor in step S5207 in FIG. 26 and performing scaling calculation processing. The L0 motion vector is derived from the L0 motion vectors of the merge candidates already registered in the merge candidate list by a scaling operation process by integer multiples, and set as a single prediction merge candidate.
まず、スケーリング単予測マージ候補のL0の参照インデックスrefIdxL0Scaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のL0の参照インデックスrefIdxL0とは別の発生確率の高いインデックス値に設定する(ステップS5301〜S5303)。マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のL0の参照インデックスrefIdxL0が第1のデフォルト値の0の場合(ステップS5301のYES)、スケーリング単予測マージ候補のL0の参照インデックスrefIdxL0Scaledを第2のデフォルト値の1に設定し(ステップS5302)、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のL0の参照インデックスrefIdxL0が第1のデフォルト値の0でない場合(ステップS5301のNO)、スケーリング単予測マージ候補のL0の参照インデックスrefIdxL0Scaledを第1のデフォルト値の0に設定する(ステップS5303)。第1のデフォルト値は最も発生確率の高い参照インデックスの値に規定され、第2のデフォルト値は2番目に発生確率の高い参照インデックスの値に規定される。本実施の形態においては、最も発生確率の高い参照インデックスが0であるものとして第1のデフォルト値を0に規定し、2番目に発生確率の高い参照インデックスが1であるものとして第2のデフォルト値を1に規定する。ただし、これに限定されず、参照インデックスの第1及び第2のデフォルト値を別の値としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスの第1及び第2のデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。 First, the L0 reference index refIdxL0Scaled of the scaling single prediction merge candidate is changed to an index value with a high occurrence probability different from the L0 reference index refIdxL0 of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list. Setting is performed (steps S5301 to S5303). When the L0 reference index refIdxL0 of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list is the first default value 0 (YES in step S5301), the scaling single prediction merge candidate L0 The reference index refIdxL0Scaled is set to the second default value 1 (step S5302), and the reference index refIdxL0 of L0 of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list is the first default value. If it is not 0 (NO in step S5301), the reference index refIdxL0Scaled of L0 of the scaling single prediction merge candidate is set to the first default value 0 (step S5303). The first default value is defined as the value of the reference index having the highest probability of occurrence, and the second default value is defined as the value of the reference index having the second highest probability of occurrence. In the present embodiment, the first default value is defined as 0 on the assumption that the reference index with the highest occurrence probability is 0, and the second default is assumed on the assumption that the reference index with the second highest occurrence probability is 1. The value is defined as 1. However, the present invention is not limited to this, and the first and second default values of the reference index may be different values, and the first and second reference indices may be included in the encoded stream at the sequence level, the picture level, or the slice level. A syntax element indicating a default value of 2 may be installed and transmitted so that it can be selected on the encoding side.
続いて、次式により、スケール係数ScaleFactorを、現在のピクチャのPOCから、L0の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値に設定する(ステップS5304)。
ScaleFactor=現在のピクチャのPOC−L0の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのPOC
Subsequently, according to the following equation, the scale coefficient ScaleFactor is set to the value of the inter-picture distance derived by subtracting the POC of the reference picture corresponding to the reference index refIdxL0Scaled of L0 from the POC of the current picture (step S5304). ).
ScaleFactor = POC of the reference picture corresponding to the POC-L0 reference index refIdxL0Scaled of the current picture
なお、ピクチャ間距離、及びスケール係数ScaleFactorは正の値に限らず、負の値となることもある。 Note that the inter-picture distance and the scale factor ScaleFactor are not limited to positive values but may be negative values.
本実施の形態においては、図26のステップS5206において、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるL0予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合にのみ、スケーリング単予測マージ候補の補充処理を行うことにしているため、スケール係数ScaleFactorを、現在のピクチャのPOCから、L0の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値に設定することができ、スケール係数ScaleFactor導出処理を単純化することができる。さらに、スケール係数ScaleFactorは整数となり、演算量の多い除算を伴わない整数倍のスケーリング演算処理を行うことができる。 In the present embodiment, in step S5206 of FIG. 26, the reference picture of the L0 prediction referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. Only when the inter-picture distance value derived by subtracting the POC is 1, the scaling uni-predictive merge candidate is replenished. Therefore, the scale factor ScaleFactor is calculated from the POC of the current picture as L0. Can be set to the value of the inter-picture distance derived by subtracting the POC of the reference picture corresponding to the reference index refIdxL0Scaled, and the scale factor ScaleFactor derivation process can be simplified. Furthermore, the scale factor ScaleFactor is an integer, and an integer multiple scaling operation process can be performed without a large division.
続いて、次式によりマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のL0の動きベクトルmvL0にスケール係数ScaleFactorを乗じることでスケーリング演算処理を行い、スケールされた単予測マージ候補のL0の動きベクトルmvL0Scaledを導出する(ステップS5305)。
mvL0Scaled=ScaleFactor * mergeCandList[i]のL0の動きベクトルmvL0
Subsequently, scaling operation processing is performed by multiplying the L0 motion vector mvL0 of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list by the following equation by the scale factor ScaleFactor, and the scaled single prediction The L0 motion vector mvL0Scaled of the merge candidate is derived (step S5305).
mvL0Scaled = ScaleFactor * mergeCandList [i] L0 motion vector mvL0
続いて、フラグpredFlagL0Scaledを1に設定し、フラグpredFlagL1Scaledを0に設定する(ステップS5306)。 Subsequently, the flag predFlagL0Scaled is set to 1 and the flag predFlagL1Scaled is set to 0 (step S5306).
続いて、スケールされた単予測マージ候補数numScaledCandがmaxNumScaledCandに1を加算する(ステップS5307)。 Subsequently, the scaled number of single prediction merge candidates numScaledCand adds 1 to maxNumScaledCand (step S5307).
続いて、マージ候補リストmergeCandList内に登録されているすべてのマージ候補と導出されたスケーリング単予測マージ候補を比較する(ステップS5308)。マージ候補リスト内に導出されたスケーリング単予測マージ候補と同じマージ候補が存在しない場合(ステップS5309のYES)、マージ候補リストmergeCandListの最後に導出されたスケーリング単予測マージ候補を登録し(ステップS5310)、現在のマージ候補数numMergeCandに1を加算し(ステップS5311)、図27のスケーリング単予測マージ候補補充処理を終了する。マージ候補リスト内に導出されたスケーリング単予測マージ候補と同じマージ候補が存在する場合(ステップS5309のNO)、導出されたスケーリング単予測マージ候補をマージ候補リストに登録せずに、図27のスケーリング単予測マージ候補補充処理を終了する。 Subsequently, all merge candidates registered in the merge candidate list mergeCandList are compared with the derived scaling single prediction merge candidates (step S5308). If the same merge candidate as the scaling single prediction merge candidate derived in the merge candidate list does not exist (YES in step S5309), the scaling single prediction merge candidate derived at the end of the merge candidate list mergeCandList is registered (step S5310). Then, 1 is added to the current number of merge candidates numMergeCand (step S5311), and the scaling single prediction merge candidate supplement process of FIG. 27 is terminated. When the same merge candidate as the scaling single prediction merge candidate derived in the merge candidate list exists (NO in step S5309), the scaling single prediction merge candidate derived in FIG. 27 is not registered in the merge candidate list. The single prediction merge candidate supplement process is terminated.
再び、図26に戻り、インデックスiに1を加算する(ステップS5208)。 Returning again to FIG. 26, 1 is added to the index i (step S5208).
インデックスiが第一マージ候補数numFirstMergeCandより小さい場合は、ステップS5204からステップS5208までの処理を繰り返し(ステップS5203〜S5209)、条件を満たさない場合に、図27のスケーリング単予測マージ候補補充処理を終了する。 When the index i is smaller than the first merge candidate number numFirstMergeCand, the processing from step S5204 to step S5208 is repeated (steps S5203 to S5209), and when the condition is not satisfied, the scaling single prediction merge candidate supplement processing in FIG. To do.
次に、図25のS5104のスライスタイプslice_typeがBスライスでのスケーリング双予測マージ候補の補充(導出・登録)方法について詳細に説明する。図28は図25のステップS5104のスライスタイプslice_typeがBスライスでの整数倍のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。 Next, a method for supplementing (derivation / registration) of scaling bi-predictive merge candidates with the slice type slice_type of B slice in S5104 in FIG. 25 will be described in detail. FIG. 28 is a flowchart for explaining the replenishment processing procedure for scaling bi-predictive merge candidates in which the slice type slice_type in step S5104 in FIG.
まず、マージ候補リストのインデックスi、スケールされたマージ候補数を示す変数numScaledCandを0に初期化し、これまでにマージ候補リストに登録されたマージ候補数を示す変数である第一マージ候補数numFirstMergeCandを現在のマージ候補数numMergeCandの値に設定する(ステップS5401)。続いて、ステップS5402以降の繰り返し処理を行う。変数jを0に初期化する(ステップS5403)。続いて、ステップS5404以降の繰り返し処理を行う。現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandより小さい場合に(ステップS5405のYES)、ステップS5406以降の処理を行い、現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCand以上の場合に(ステップS5405のNO)、図28のスケーリング双予測マージ候補補充処理手順を終了する。次に、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCandより小さい場合に(S5406のYES)、ステップS5407以降の処理を行い、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCand以上の場合に(S5406のNO)、図28のスケーリング双予測マージ候補補充処理手順を終了する。次に、変数jが0の際に(ステップS5407のYES)、LXはL0、LYはL1とし(ステップS5408)、変数jが1の際に(ステップS5407のNO)、LXはL1、LYはL0とする(ステップS5409)。続いて、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]でLX予測されている場合(ステップS5410のYES)、ステップS5411以降のスケーリング双予測マージ候補補充処理を行い、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]でLX予測されていない場合(ステップS5410のNO)、ステップS5411からステップS5413のスケーリング双予測マージ候補補充処理を行わずに、ステップS5414以降の処理を行う。 First, the index i of the merge candidate list and the variable numScaledCand indicating the number of scaled merge candidates are initialized to 0, and the first merge candidate number numFirstMergeCand, which is a variable indicating the number of merge candidates registered in the merge candidate list so far, is set. The current number of merge candidates is set to the value of numMergeCand (step S5401). Subsequently, iterative processing after step S5402 is performed. Variable j is initialized to 0 (step S5403). Subsequently, iterative processing from step S5404 is performed. When the current merge candidate number numMergeCand is smaller than the final merge candidate number finalNumMergeCand (YES in step S5405), the processing from step S5406 is performed, and when the current merge candidate number numMergeCand is greater than or equal to the final merge candidate number finalNumMergeCand (step S5405). NO), the scaling bi-predictive merge candidate supplement processing procedure in FIG. 28 ends. Next, when the number of scaled merge candidates numScaledCand is smaller than the specified maximum scaling merge candidate derivation processing count maxNumScaledCand (YES in S5406), the processing after step S5407 is performed to define the scaled merge candidate number numScaledCand. If the maximum scaling merge candidate derivation processing count maxNumScaledCand is greater than or equal to (NO in S5406), the scaling bi-predictive merge candidate supplement processing procedure in FIG. 28 ends. Next, when the variable j is 0 (YES in step S5407), LX is L0 and LY is L1 (step S5408), and when the variable j is 1 (NO in step S5407), LX is L1 and LY is L0 is set (step S5409). Subsequently, when the LX prediction is performed with the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list (YES in step S5410), the scaling bi-predictive merge candidate supplement process after step S5411 is performed. When LX prediction is not performed on the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list (NO in step S5410), the scaling bi-predictive merge candidate supplement process from step S5411 to step S5413 is not performed. Then, the processing after step S5414 is performed.
次に、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるLX予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合(ステップS5411のYES)、図29の第1のスケーリング双予測マージ候補の補充処理を行い(ステップS5412)、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるLX予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1でない場合(ステップS5411のNO)、図30の第2のスケーリング双予測マージ候補の補充処理を行う(ステップS5413)。本実施の形態においては、スライスタイプslice_typeがBスライスの際に、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるL0予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合に整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第1のスケーリング双予測マージ候補の補充処理を行う。さらに、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるL0予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1でない場合に−1倍のスケール係数ScaleFactorとして、−1倍に対応するフレーム間距離の参照ピクチャを選択し、スケーリング演算処理を行う第2のスケーリング双予測マージ候補の補充処理を行う。このように、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるL0予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合にのみスケール係数ScaleFactorを算出し、導出されるピクチャ間距離の値が1でない場合は−1倍のスケール係数ScaleFactorとし、−1倍に対応するフレーム間距離の参照ピクチャを選択することで、スケール係数ScaleFactorの導出処理を単純化するとともに、演算量の多い除算を含むスケーリング演算処理を除外し、除算に比べて演算量の少ない乗算のみによるスケーリング演算処理を行う。 Next, an inter-picture derived by subtracting the POC of the reference picture of the LX prediction referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture When the distance value is 1 (YES in step S5411), the first scaling bi-predictive merge candidate supplement process of FIG. 29 is performed (step S5412), and the merge candidate indicated by the index i registered in the merge candidate list is performed. When the inter-picture distance value derived by subtracting the POC of the reference picture of the LX prediction referenced by mergeCandList [i] is not 1 (NO in step S5411), the second scaling bi-predictive merge candidate in FIG. The replenishment process is performed (step S5413). In the present embodiment, when the slice type slice_type is B slice, the L0 prediction of the L0 prediction referred to by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. When the inter-picture distance value derived by subtracting the POC of the reference picture is 1, a scale factor ScaleFactor that is an integer multiple is derived, and a scaling operation process is performed. The first scaling bi-predictive merge candidate supplement process is performed. . Further, the inter-picture distance derived by subtracting the POC of the reference picture of the L0 prediction referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. When the value of is not 1, the reference picture of the inter-frame distance corresponding to −1 is selected as the scale factor ScaleFactor of −1, and the supplement processing of the second scaling bi-predictive merge candidate for performing the scaling operation processing is performed. . In this way, the picture derived by subtracting the POC of the L0 prediction reference picture referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. The scale factor ScaleFactor is calculated only when the inter-distance value is 1, and when the derived inter-picture distance value is not 1, the scale factor ScaleFactor is set to -1, and the inter-frame distance corresponding to -1 is referred. By selecting a picture, the derivation process of the scale coefficient ScaleFactor is simplified, and the scaling calculation process including the division with a large calculation amount is excluded, and the scaling calculation process by only the multiplication with the small calculation amount compared with the division is performed.
図29は図28のステップS5412の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第1のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のL0またはL1の一方の動きベクトルから整数倍によるスケーリング演算処理によりもう一方の動きベクトルを導出してこれら2つの動きベクトルを利用する双予測マージ候補とする。 FIG. 29 is a flowchart for explaining the first scaling bi-predictive merge candidate supplement processing procedure for deriving an integer multiple scale factor ScaleFactor in step S5412 of FIG. 28 and performing scaling calculation processing. A bi-predictive merge candidate that uses these two motion vectors by deriving the other motion vector from one of the motion vectors L0 or L1 of the merge candidates already registered in the merge candidate list by a scaling operation by integer multiples; To do.
まず、LYの参照インデックスkを0に初期化する(ステップS5501)。続いて、ステップS5502以降の繰り返し処理を行う。マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるLX予測の参照ピクチャのPOCとLYの参照インデックスkに対応する参照ピクチャRefPicListLY[k]のPOCが異なる場合(ステップS5503−1のYES)、ステップS5504−1以降の整数倍によるスケーリング演算処理を行い、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるLX予測の参照ピクチャのPOCとLYの参照インデックスkに対応する参照ピクチャRefPicListLY[k]のPOCが同じ場合(ステップS5503−1のNO)、ステップS5504−1以降の処理を行わずに、参照インデックスkに1を加算する(S5513)。参照インデックスkがLYの参照インデックス数numRefIdxLYより小さい場合は(ステップS5502〜S5514)、再びステップS5503−1の条件判断を行い(ステップS5503−1)、参照インデックスkがLYの参照インデックス数numRefIdxLYに達した場合は、図29の第1のスケーリング双予測マージ候補補充処理を終了する。ただし、図29の第1のスケーリング双予測マージ候補の補充処理手順においては、LYの参照リストRefPicListLYには同じ参照ピクチャが複数登録されることが無いので、ステップS5503−1の条件が2回以上NOとなることが無く、ステップS5502からS5514までの繰り返し処理が3回以上繰り返されることは無い。 First, the reference index k of LY is initialized to 0 (step S5501). Subsequently, the iterative process after step S5502 is performed. When the POC of the reference picture for LX prediction referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list is different from the POC of the reference picture RefPicListLY [k] corresponding to the LY reference index k (YES in step S5503-1), scaling calculation processing by integer multiples after step S5504-1 is performed, and the LX prediction referred to by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list When the POC of the reference picture RefPicListLY [k] corresponding to the reference picture POC and the LY reference index k is the same (NO in step S5503-1), the process after step S5504-1 is not performed, and the reference index k is set to 1. Are added (S5513). If the reference index k is smaller than the LY reference index number numRefIdxLY (steps S5502 to S5514), the condition determination in step S5503-1 is performed again (step S5503-1), and the reference index k reaches the LY reference index number numRefIdxLY. In such a case, the first scaling bi-predictive merge candidate supplement process in FIG. 29 ends. However, in the first scaling bi-predictive merge candidate replenishment processing procedure of FIG. 29, the same reference picture is not registered in the LY reference list RefPicListLY, so the condition of step S5503-1 is two or more times. There is no NO, and the repeating process from step S5502 to S5514 is not repeated three times or more.
ステップS5503−1においてYESの場合、次式により、スケール係数ScaleFactorを、現在のピクチャのPOCから、LYの参照インデックスkに対応する参照ピクチャRefPicListLY[k]のPOCを減算することにより導出されるピクチャ間距離の値に設定する(ステップS5504−1)。
ScalingFactor=現在のピクチャのPOC−LYの参照インデックスkに対応する参照ピクチャRefPicListLY[k]のPOC
If YES in step S5503-1, the picture derived by subtracting the POC of the reference picture RefPicListLY [k] corresponding to the reference index k of LY from the POC of the current picture from the POC of the current picture according to the following equation: The distance value is set (step S5504-1).
ScalingFactor = POC of the reference picture RefPicListLY [k] corresponding to the POC-LY reference index k of the current picture
なお、ピクチャ間距離、及びスケール係数ScaleFactorは正の値に限らず、負の値となることもある。 Note that the inter-picture distance and the scale factor ScaleFactor are not limited to positive values but may be negative values.
本実施の形態においては、図28のステップS5411において、現在のピクチャのPOCから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるLX予測の参照ピクチャのPOCを減算することにより導出されるピクチャ間距離の値が1の場合にのみ、第1のスケーリング双予測マージ候補の補充処理を行うことにしているため、スケール係数ScaleFactorを、現在のピクチャのPOCから、LYの参照インデックスkに対応する参照ピクチャRefPicListLY[k]のPOCを減算することにより導出されるピクチャ間距離の値に設定することができ、スケール係数ScaleFactor導出処理を単純化することができる。さらに、スケール係数ScaleFactorは整数となり、演算量の多い除算を伴わない整数倍のスケーリング演算処理を行うことができる。 In the present embodiment, in step S5411 of FIG. 28, the reference picture of the LX prediction referenced by the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. Since the supplementary processing of the first scaling bi-predictive merge candidate is performed only when the inter-picture distance value derived by subtracting the POC is 1, the scale coefficient ScaleFactor is set to the POC of the current picture. Can be set to the value of the inter-picture distance derived by subtracting the POC of the reference picture RefPicListLY [k] corresponding to the reference index k of LY, and the scale factor ScaleFactor derivation process can be simplified. . Furthermore, the scale factor ScaleFactor is an integer, and an integer multiple scaling operation process can be performed without a large division.
続いて、スケールされた双予測マージ候補のLXの動きベクトルmvLXScaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のLXの動きベクトルmvLXの値に設定し、次式によりマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のLXの動きベクトルmvLXにスケール係数ScaleFactorを乗じることでスケーリング演算処理を行い、スケールされた双予測マージ候補のLYの動きベクトルmvLYScaledを導出する(ステップS5505)。
mvLXScaled=mergeCandList[i]のLXの動きベクトルmvLX
mvLYScaled=ScaleFactor * mergeCandList[i]のLXの動きベクトルmvLX
Subsequently, the scaled bi-predictive merge candidate LX motion vector mvLXScaled is set to the value of the LX motion vector mvLX of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list. The scaling operation processing is performed by multiplying the LX motion vector mvLX of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list by the scale factor ScaleFactor, and the scaled bi-predictive merge candidate LY A motion vector mvLYScaled is derived (step S5505).
mvLXScaled = LX motion vector mvLX of mergeCandList [i]
mvLYScaled = ScaleFactor * LX motion vector mvLX of mergeCandList [i]
続いて、スケールされた双予測マージ候補のLXの参照インデックスrefIdxLXScaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のLXの参照インデックスrefIdxLXの値に設定し、スケールされた双予測マージ候補のLYの参照インデックスrefIdxLYScaledを参照インデックスkの値に設定する(ステップS5506)。 Subsequently, the scaled bi-predictive merge candidate LX reference index refIdxLXScaled is set to the value of the LX reference index refIdxLX of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list. The bi-predictive merge candidate LY reference index refIdxLYScaled is set to the value of the reference index k (step S5506).
続いて、フラグpredFlagL0Scaled及びフラグpredFlagL1Scaledを共に1に設定する(ステップS5507)。 Subsequently, both the flag predFlagL0Scaled and the flag predFlagL1Scaled are set to 1 (step S5507).
続いて、スケールされたマージ候補数numScaledCandがmaxNumScaledCandに1を加算する(ステップS5508)。 Subsequently, the scaled merge candidate number numScaledCand adds 1 to maxNumScaledCand (step S5508).
続いて、マージ候補リストmergeCandList内に登録されているすべてのマージ候補と導出されたスケーリング双予測マージ候補を比較する(ステップS5509)。マージ候補リスト内に導出されたスケーリング双予測マージ候補と同じマージ候補が存在しない場合(ステップS5510のYES)、導出されたスケーリング双予測マージ候補をマージ候補リストに登録し(ステップS5511)、現在のマージ候補数numMergeCandに1を加算し(ステップS5512)、図29のスケーリング双予測マージ候補補充処理を終了する。マージ候補リスト内に導出されたスケーリング双予測マージ候補と同じマージ候補が存在する場合(ステップS5510のNO)、導出されたスケーリング双予測マージ候補をマージ候補リストに登録せずに、図29のスケーリング双予測マージ候補補充処理を終了する。 Subsequently, all merge candidates registered in the merge candidate list mergeCandList are compared with the derived scaled bi-predictive merge candidates (step S5509). If the same merge candidate as the scaling bi-predictive merge candidate derived in the merge candidate list does not exist (YES in step S5510), the derived scaling bi-predictive merge candidate is registered in the merge candidate list (step S5511). 1 is added to the number of merge candidates numMergeCand (step S5512), and the scaling bi-predictive merge candidate supplement process in FIG. 29 is terminated. When the same merge candidate as the scaling bi-predictive merge candidate derived in the merge candidate list exists (NO in step S5510), the derived scaling bi-predictive merge candidate is not registered in the merge candidate list, and the scaling of FIG. The bi-predictive merge candidate supplement process is terminated.
次に、図28のステップS5413の第2のスケーリング双予測マージ候補の補充処理手順を説明する。図30は図28のステップS5413の−1倍のスケール係数ScaleFactorとしてスケーリング演算処理を行う第2のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のL0またはL1の一方の動きベクトルから−1倍によるスケーリング演算処理によりもう一方の動きベクトルを導出してこれら2つの動きベクトルを利用する双予測マージ候補とする。図30の第2のスケーリング双予測マージ候補の補充処理手順は、図29の第1のスケーリング双予測マージ候補の補充処理手順とはステップ5503−1及びステップ5504−1がそれぞれステップS5503−2及びステップ5504−2となっている点が異なり、それ以外のステップの処理は同じである。そこで、図29の第1のスケーリング双予測マージ候補の補充処理手順と異なるステップS5503−2及びステップ5504−2についてのみ説明する。 Next, the replenishment processing procedure for the second scaling bi-predictive merge candidate in step S5413 in FIG. 28 will be described. FIG. 30 is a flowchart for explaining a second scaling bi-predictive merge candidate replenishment processing procedure in which the scaling calculation processing is performed as the scale factor ScaleFactor of −1 times of step S5413 in FIG. A bi-predictive merge candidate that uses the two motion vectors by deriving the other motion vector from a motion vector of one of the merge candidates L0 or L1 already registered in the merge candidate list by a scaling operation by −1 And The second scaling bi-predictive merge candidate supplement processing procedure of FIG. 30 is different from the first scaling bi-predictive merge candidate supplement processing procedure of FIG. 29 in that step 5503-1 and step 5504-1 are step S550-2 and step S5502, respectively. Step 5504-2 is different, and the processing of the other steps is the same. Therefore, only step S5502-2 and step 5504-2, which are different from the first scaling bi-predictive merge candidate supplement processing procedure of FIG. 29, will be described.
現在のピクチャのPOCからマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のLX予測の参照ピクチャのPOCを減算したピクチャ間距離と、現在のピクチャのPOCからLYの参照インデックスkに対応する参照ピクチャRefPicListLY[k]のPOCを減算したピクチャ間距離の大きさ(絶対値の値)が同じで正負の符号が異なる場合(ステップS5503−2のYES)、ステップS5504−2以降の−1倍によるスケーリング演算処理を行い、それ以外の場合(ステップS5503−2のNO)、ステップS5513以降の処理を行う。 The inter-picture distance obtained by subtracting the POC of the reference picture of the LX prediction of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture, and the reference of LY from the POC of the current picture When the magnitude (absolute value) of the inter-picture distance obtained by subtracting the POC of the reference picture RefPicListLY [k] corresponding to the index k is the same and the sign of the sign is different (YES in step S5502-2), step S5504-2 Subsequent scaling calculation processing by −1 is performed, and otherwise (NO in step S5503-2), processing in step S5513 and subsequent steps is performed.
ステップS5503−2においてYESの場合、スケール係数ScaleFactorを−1に設定する(ステップS5504−2)。 If YES in step S5503-2, the scale coefficient ScaleFactor is set to −1 (step S5504-2).
本実施の形態においては、図30のステップS5503−2において、現在のピクチャのPOCからマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のLX予測の参照ピクチャのPOCを減算したピクチャ間距離と、現在のピクチャのPOCからLYの参照インデックスkに対応する参照ピクチャRefPicListLY[k]のPOCを減算したピクチャ間距離の大きさ(絶対値の値)が同じで正負の符号が異なる場合を判別して、その条件を満たすLYの参照インデックスkに決定することとし、スケール係数ScaleFactorを−1に設定することで、スケール係数ScaleFactor導出処理を単純化している。さらに、スケール係数ScaleFactorは−1であるので、演算量の多い除算を伴わないスケーリング演算処理を行うことができる。 In this embodiment, in step S5502-2 of FIG. 30, the POC of the reference picture for LX prediction of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list from the POC of the current picture. The subtracted inter-picture distance and the inter-picture distance obtained by subtracting the POC of the reference picture RefPicListLY [k] corresponding to the reference index k of LY from the POC of the current picture have the same sign. Are determined, the LY reference index k satisfying the condition is determined, and the scale factor ScaleFactor derivation process is simplified by setting the scale factor ScaleFactor to -1. Furthermore, since the scale factor ScaleFactor is −1, it is possible to perform scaling calculation processing that does not involve division with a large calculation amount.
続くステップS5505以降の処理は図29と同様である。ただし、ステップS5505において、スケール係数ScaleFactorは−1であるので、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のLXの動きベクトルmvLXにスケール係数ScaleFactorである−1を乗算することで、スケールされた双予測マージ候補のLYの動きベクトルmvLYScaledを導出する代わりに、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のLXの動きベクトルmvLXの正負の符号を反転した値にスケールされた双予測マージ候補のLYの動きベクトルmvLYScaledを設定してもよい。 The subsequent processing from step S5505 is the same as in FIG. However, since the scale factor ScaleFactor is −1 in step S5505, the scale factor ScaleFactor −1 is added to the LX motion vector mvLX of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list. By multiplying, instead of deriving the LY motion vector mvLYScaled of the scaled bi-predictive merge candidate, the LX motion vector mvLX of the merge candidate mergeCandList [i] indicated by the index i registered in the merge candidate list The LY motion vector mvLYScaled of the bi-predictive merge candidate scaled to a value obtained by inverting the positive / negative sign may be set.
再び図28に戻り、変数jに1を加算する(ステップS5414)。
変数jが2より小さい場合に、ステップS5405からステップS5414までの処理を繰り返す(ステップS5404〜S5415)。
Returning again to FIG. 28, 1 is added to the variable j (step S5414).
When the variable j is smaller than 2, the processing from step S5405 to step S5414 is repeated (steps S5404 to S5415).
ステップS5404〜S5415の繰り返し処理が終了した後、インデックスiに1を加算する(ステップS5416)。 After the repetition processing of steps S5404 to S5415 is completed, 1 is added to the index i (step S5416).
インデックスiが第一マージ候補数numFirstMergeCandより小さい場合は、ステップS5403からステップS5416までの処理を繰り返し(ステップS5402〜S5417)、条件を満たさない場合に、図28のスケーリング双予測マージ候補補充処理手順を終了する。 When the index i is smaller than the first merge candidate number numFirstMergeCand, the processing from step S5403 to step S5416 is repeated (steps S5402 to S5417), and when the condition is not satisfied, the scaling bi-predictive merge candidate supplement processing procedure of FIG. finish.
なお、本実施の形態においては、図28のスケーリング双予測マージ候補補充処理において、ステップS5412の第1のスケーリング双予測マージ候補補充処理とS5413の第2のスケーリング双予測マージ候補補充処理を共に利用するものとして説明したが、いずれか一方のみを利用する構成であってもよい。 In the present embodiment, the scaling bi-predictive merge candidate supplement process in FIG. 28 uses both the first scaling bi-predictive merge candidate supplement process in step S5412 and the second scaling bi-predictive merge candidate supplement process in S5413. However, it may be configured to use only one of them.
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。 The moving image encoded stream output from the moving image encoding apparatus of the embodiment described above has a specific data format so that it can be decoded according to the encoding method used in the embodiment. Therefore, the moving picture decoding apparatus corresponding to the moving picture encoding apparatus can decode the encoded stream of this specific data format.
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。 When a wired or wireless network is used to exchange an encoded stream between a moving image encoding device and a moving image decoding device, the encoded stream is converted into a data format suitable for the transmission form of the communication path. It may be transmitted. In that case, a video transmission apparatus that converts the encoded stream output from the video encoding apparatus into encoded data in a data format suitable for the transmission form of the communication channel and transmits the encoded data to the network, and receives the encoded data from the network Then, a moving image receiving apparatus that restores the encoded stream and supplies the encoded stream to the moving image decoding apparatus is provided.
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。 The moving image transmitting apparatus is a memory that buffers the encoded stream output from the moving image encoding apparatus, a packet processing unit that packetizes the encoded stream, and transmission that transmits the packetized encoded data via the network. Part. The moving image receiving apparatus generates a coded stream by packetizing the received data, a receiving unit that receives the packetized coded data via a network, a memory that buffers the received coded data, and packet processing. And a packet processing unit provided to the video decoding device.
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。 The above processing relating to encoding and decoding can be realized as a transmission, storage, and reception device using hardware, and is stored in a ROM (Read Only Memory), a flash memory, or the like. It can also be realized by firmware or software such as a computer. The firmware program and software program can be recorded on a computer-readable recording medium, provided from a server through a wired or wireless network, or provided as a data broadcast of terrestrial or satellite digital broadcasting Is also possible.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
101 画像メモリ、 117 ヘッダ情報設定部、 102 動きベクトル検出部、 103 差分動きベクトル算出部、 104 インター予測情報導出部、 105 動き補償予測部、 106 イントラ予測部、 107 予測方法決定部、 108 残差信号生成部、 109 直交変換・量子化部、 118 第1符号化ビット列生成部、110 第2符号化ビット列生成部、 111 第3符号化ビット列生成部、 112 多重化部、 113 逆量子化・逆直交変換部、 114 復号画像信号重畳部、 115 符号化情報格納メモリ、 116 復号画像メモリ、 130 空間マージ候補生成部、 131 時間マージ候補の参照インデックス導出部、 132 時間マージ候補生成部、 133 マージ候補登録部、 134 マージ候補同一判定部、 135 マージ候補数制限部、 136 マージ候補補充部、 137 符号化情報選択部、 201 分離部、 212 第1符号化ビット列復号部、 202 第2符号化ビット列復号部、 203 第3符号化ビット列復号部、 204 動きベクトル算出部、 205 インター予測情報導出部、 206 動き補償予測部、 207 イントラ予測部、 208 逆量子化・逆直交変換部、 209 復号画像信号重畳部、 210 符号化情報格納メモリ、 211 復号画像メモリ、 230 空間マージ候補生成部、 231 時間マージ候補の参照インデックス導出部、 232 時間マージ候補生成部、 233 マージ候補登録部、 234 マージ候補同一判定部、 235 マージ候補数制限部、 236 マージ候補補充部、 237 符号化情報選択部。 DESCRIPTION OF SYMBOLS 101 Image memory, 117 Header information setting part, 102 Motion vector detection part, 103 Differential motion vector calculation part, 104 Inter prediction information derivation part, 105 Motion compensation prediction part, 106 Intra prediction part, 107 Prediction method determination part, 108 Residual Signal generation unit, 109 orthogonal transform / quantization unit, 118 first encoded bit string generation unit, 110 second encoded bit string generation unit, 111 third encoded bit string generation unit, 112 multiplexing unit, 113 inverse quantization / inverse Orthogonal transform unit, 114 decoded image signal superimposing unit, 115 encoded information storage memory, 116 decoded image memory, 130 spatial merge candidate generating unit, 131 time merge candidate reference index deriving unit, 132 time merge candidate generating unit, 133 merge candidate Registration part, 134 merge candidate same size Fixed unit, 135 merge candidate number limiting unit, 136 merge candidate supplementing unit, 137 encoded information selecting unit, 201 separating unit, 212 first encoded bit sequence decoding unit, 202 second encoded bit sequence decoding unit, 203 third encoding Bit sequence decoding unit, 204 motion vector calculation unit, 205 inter prediction information deriving unit, 206 motion compensation prediction unit, 207 intra prediction unit, 208 inverse quantization / inverse orthogonal transform unit, 209 decoded image signal superimposing unit, 210 encoding information storage Memory, 211 decoded image memory, 230 spatial merge candidate generating unit, 231 time merge candidate reference index deriving unit, 232 time merge candidate generating unit, 233 merge candidate registering unit, 234 merge candidate identical determining unit, 235 merge candidate number limiting unit 236 Merge candidate supplement section 237 Encoding information selection unit.
Claims (12)
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が1であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記インター予測情報の候補から1つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。 A moving picture decoding apparatus for decoding a coded bit string obtained by coding the moving picture using motion compensation prediction in units of blocks obtained by dividing each picture of the moving picture,
Motion vector information from a prediction block adjacent to a decoding target prediction block, or a prediction block existing in the same position as or near the decoding target prediction block in a decoded picture temporally different from the prediction target decoding block And a prediction information deriving unit for deriving a candidate of inter prediction information including information on the reference picture,
A new inter prediction information candidate is generated by performing a scaling operation by multiplying a motion vector of an inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture is 1, by integer multiplication A candidate supplementing unit that supplements the candidate as inter prediction information candidates;
Motion compensated prediction in which one inter prediction information candidate is selected from the inter prediction information candidates after being supplemented by the candidate supplementing unit, and inter prediction of the prediction block to be decoded is performed based on the selected inter prediction information candidate A moving picture decoding apparatus.
前記ピクチャ間距離が1であるインター予測情報の候補における参照ピクチャの参照インデックスが第1の規定値である場合、前記新たなインター予測情報の候補における参照ピクチャの参照インデックスを第2の規定値に設定し、
前記ピクチャ間距離が1であるインター予測情報の候補における参照ピクチャの参照インデックスが第1の規定値でない場合、前記新たなインター予測情報の候補における参照ピクチャの参照インデックスを第1の規定値に設定することを特徴とする請求項1に記載の動画像復号装置。 The candidate supplement part is
When the reference index of the reference picture in the inter prediction information candidate whose inter-picture distance is 1 is the first specified value, the reference index of the reference picture in the new inter prediction information candidate is set to the second specified value. Set,
When the reference index of the reference picture in the inter prediction information candidate whose inter-picture distance is 1 is not the first specified value, the reference index of the reference picture in the new inter prediction information candidate is set to the first specified value The moving picture decoding apparatus according to claim 1, wherein:
Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと第1予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第1予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第2予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第2予測の動きベクトルを整数倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。 A moving picture decoding apparatus for decoding a coded bit string obtained by coding the moving picture using motion compensation prediction in units of blocks obtained by dividing each picture of the moving picture,
From a prediction block adjacent to a prediction block to be decoded in a B slice, or a prediction block existing at the same position or in the vicinity of the prediction block to be decoded in a decoded picture temporally different from the prediction block to be decoded. A prediction information deriving unit for deriving candidates for bi-prediction inter prediction information including vector information and reference picture information;
A bi-prediction inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture of the first prediction is 1, and the motion vector of the first prediction is scaled to an integral multiple Is used as another second prediction motion vector to generate a new bi-prediction inter prediction information candidate, or the picture including the prediction block to be decoded and the reference picture of the second prediction In a candidate for bi-prediction inter prediction information having a inter-picture distance of 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction to an integral multiple is used as the first prediction motion vector, thereby generating a new bi-prediction motion vector. A candidate supplementing unit that generates inter prediction information candidates and supplements them as bi-prediction inter prediction information candidates;
One candidate of inter prediction information for bi-prediction is selected from the candidates for inter-prediction information for bi-prediction after being supplemented by the candidate supplement unit, and prediction of the decoding target is performed based on the candidate for inter-prediction information for bi-prediction selected. A motion decoding apparatus comprising: a motion compensation prediction unit that performs inter prediction of block bi-prediction.
前記復号対象の予測ブロックを含むピクチャと第1予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第1予測の動きベクトルを整数倍にスケーリング演算したものを第2予測の動きベクトルとする場合は、第2予測の参照ピクチャの参照インデックスを0から順番に調べて、整数倍にスケーリング演算された第2予測の動きベクトルに合った参照インデックスに設定し、
前記復号対象の予測ブロックを含むピクチャと前記第2予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第2予測の動きベクトルを整数倍にスケーリング演算したものを第1予測の動きベクトルとする場合は、第1予測の参照ピクチャの参照インデックスを0から順番に調べて、整数倍にスケーリング演算された第1予測の動きベクトルに合った参照インデックスに設定することを特徴とする請求項3に記載の動画像復号装置。 The candidate supplement part is
A bi-prediction inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture of the first prediction is 1, and the motion vector of the first prediction is scaled to an integral multiple Is used as the motion vector of the second prediction, the reference index of the reference picture of the second prediction is checked in order from 0 and set to a reference index that matches the motion vector of the second prediction that has been scaled to an integral multiple. ,
The motion vector of the second prediction is scaled to an integer multiple in a bi-prediction inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture of the second prediction is 1. When the motion vector of the first prediction is used, the reference index of the reference picture of the first prediction is checked in order from 0 and set to the reference index that matches the motion vector of the first prediction scaled to an integer multiple. The moving picture decoding apparatus according to claim 3, wherein:
Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと第1予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第1予測の動きベクトルを−1倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第2予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第2予測の動きベクトルを−1倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。 A moving picture decoding apparatus for decoding a coded bit string obtained by coding the moving picture using motion compensation prediction in units of blocks obtained by dividing each picture of the moving picture,
From a prediction block adjacent to a prediction block to be decoded in a B slice, or a prediction block existing at the same position or in the vicinity of the prediction block to be decoded in a decoded picture temporally different from the prediction block to be decoded. A prediction information deriving unit for deriving candidates for bi-prediction inter prediction information including vector information and reference picture information;
A bi-prediction inter prediction information candidate having an inter-picture distance between the picture including the prediction block to be decoded and the first prediction reference picture other than 1, and the motion vector of the first prediction is scaled by −1 Is used as another second prediction motion vector to generate a new bi-prediction inter prediction information candidate, or a picture including a prediction block to be decoded and a picture of a second prediction reference picture In a candidate for bi-prediction inter prediction information having an inter-distance other than 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction by −1 times is used as a first prediction motion vector, whereby a new bi-prediction inter prediction information is obtained. A candidate supplementing unit that generates prediction information candidates and supplements them as candidates for bi-prediction inter prediction information;
One candidate of inter prediction information for bi-prediction is selected from the candidates for inter-prediction information for bi-prediction after being supplemented by the candidate supplement unit, and prediction of the decoding target is performed based on the candidate for inter-prediction information for bi-prediction selected. A motion decoding apparatus comprising: a motion compensation prediction unit that performs inter prediction of block bi-prediction.
前記復号対象の予測ブロックを含むピクチャと第1予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第1予測の動きベクトルを−1倍にスケーリング演算したものを第2予測の動きベクトルとする場合は、第2予測の参照ピクチャの参照インデックスを0から順番に調べて、−1倍にスケーリング演算された第2予測の動きベクトルに合った参照インデックスに設定し、
前記復号対象の予測ブロックを含むピクチャと第2予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第2予測の動きベクトルを−1倍にスケーリング演算したものを第1予測の動きベクトルとする場合は、第1予測の参照ピクチャの参照インデックスを0から順番に調べて、−1倍にスケーリング演算された第1予測の動きベクトルに合った参照インデックスに設定することを特徴とする請求項5に記載の動画像復号装置。 The candidate supplement part is
A bi-prediction inter prediction information candidate having an inter-picture distance between the picture including the prediction block to be decoded and the first prediction reference picture other than 1, and the motion vector of the first prediction is scaled by −1 Is used as the motion vector of the second prediction, the reference index of the reference picture of the second prediction is checked in order from 0 and set to a reference index that matches the motion vector of the second prediction that has been scaled by −1. And
A candidate for bi-prediction inter prediction information in which the inter-picture distance between the picture including the prediction block to be decoded and the second prediction reference picture is other than 1, and the motion vector of the second prediction is scaled by −1 Is used as the motion vector of the first prediction, the reference index of the reference picture of the first prediction is examined in order from 0 and set to the reference index that matches the motion vector of the first prediction that has been scaled by −1. The moving picture decoding apparatus according to claim 5, wherein:
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が1であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記インター予測情報の候補から1つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。 A moving picture decoding method for decoding a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture,
Motion vector information from a prediction block adjacent to a decoding target prediction block, or a prediction block existing in the same position as or near the decoding target prediction block in a decoded picture temporally different from the prediction target decoding block And a prediction information deriving step for deriving a candidate of inter prediction information including the information of the reference picture,
A new inter prediction information candidate is generated by performing a scaling operation by multiplying a motion vector of an inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture is 1, by integer multiplication A candidate replenishment step for replenishing as candidates for inter prediction information;
Motion compensated prediction in which one inter prediction information candidate is selected from the inter prediction information candidates after supplementation in the candidate supplementation step, and the prediction block to be decoded is inter-predicted by the selected inter prediction information candidate A moving picture decoding method comprising the steps of:
Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第1予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第1予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第2予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第2予測の動きベクトルを整数倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。 A moving picture decoding method for decoding a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture,
From a prediction block adjacent to a prediction block to be decoded in a B slice, or a prediction block existing at the same position or in the vicinity of the prediction block to be decoded in a decoded picture temporally different from the prediction block to be decoded. A prediction information deriving step for deriving candidates for bi-prediction inter prediction information including vector information and reference picture information;
A bi-prediction inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture of the first prediction is 1, and the motion vector of the first prediction is scaled to an integral multiple Is used as another second prediction motion vector to generate a new bi-prediction inter prediction information candidate, or the picture including the prediction block to be decoded and the reference picture of the second prediction In a candidate for bi-prediction inter prediction information having a inter-picture distance of 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction to an integral multiple is used as the first prediction motion vector, thereby generating a new bi-prediction motion vector. A candidate replenishment step of generating candidates for inter prediction information and replenishing them as candidates for bi prediction inter prediction information;
One candidate of inter prediction information for bi-prediction is selected from the candidates for inter-prediction information for bi-prediction after supplementation in the candidate supplementation step, and prediction of the decoding target is performed based on the candidate for inter-prediction information for bi-prediction selected. And a motion compensation prediction step for performing inter prediction of bi-prediction of blocks.
Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第1予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第1予測の動きベクトルを−1倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第2予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第2予測の動きベクトルを−1倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。 A moving picture decoding method for decoding a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture,
From a prediction block adjacent to a prediction block to be decoded in a B slice, or a prediction block existing at the same position or in the vicinity of the prediction block to be decoded in a decoded picture temporally different from the prediction block to be decoded. A prediction information deriving step for deriving candidates for bi-prediction inter prediction information including vector information and reference picture information;
A bi-prediction inter prediction information candidate having an inter-picture distance between the picture including the prediction block to be decoded and the first prediction reference picture other than 1, and the motion vector of the first prediction is scaled by −1 Is used as another second prediction motion vector to generate a new bi-prediction inter prediction information candidate, or a picture including a prediction block to be decoded and a picture of a second prediction reference picture In a candidate for bi-prediction inter prediction information having an inter-distance other than 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction by −1 times is used as a first prediction motion vector, whereby a new bi-prediction inter prediction information is obtained. A candidate replenishment step of generating prediction information candidates and replenishing them as bi-prediction inter prediction information candidates;
One candidate of inter prediction information for bi-prediction is selected from the candidates for inter-prediction information for bi-prediction after supplementation in the candidate supplementation step, and prediction of the decoding target is performed based on the candidate for inter-prediction information for bi-prediction selected. And a motion compensation prediction step for performing inter prediction of bi-prediction of blocks.
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が1であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記インター予測情報の候補から1つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。 A moving picture decoding program for decoding a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture,
Motion vector information from a prediction block adjacent to a decoding target prediction block, or a prediction block existing in the same position as or near the decoding target prediction block in a decoded picture temporally different from the prediction target decoding block And a prediction information deriving step for deriving a candidate of inter prediction information including the information of the reference picture,
A new inter prediction information candidate is generated by performing a scaling operation by multiplying a motion vector of an inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture is 1, by integer multiplication A candidate replenishment step for replenishing as candidates for inter prediction information;
Motion compensated prediction in which one inter prediction information candidate is selected from the inter prediction information candidates after supplementation in the candidate supplementation step, and the prediction block to be decoded is inter-predicted by the selected inter prediction information candidate And a step of causing a computer to execute the steps.
Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第1予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第1予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第2予測の前記参照ピクチャのピクチャ間距離が1である双予測のインター予測情報の候補において、前記第2予測の動きベクトルを整数倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。 A moving picture decoding program for decoding a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture,
From a prediction block adjacent to a prediction block to be decoded in a B slice, or a prediction block existing at the same position or in the vicinity of the prediction block to be decoded in a decoded picture temporally different from the prediction block to be decoded. A prediction information deriving step for deriving candidates for bi-prediction inter prediction information including vector information and reference picture information;
A bi-prediction inter prediction information candidate in which the inter-picture distance between the picture including the prediction block to be decoded and the reference picture of the first prediction is 1, and the motion vector of the first prediction is scaled to an integral multiple Is used as another second prediction motion vector to generate a new bi-prediction inter prediction information candidate, or the picture including the prediction block to be decoded and the reference picture of the second prediction In a candidate for bi-prediction inter prediction information having a inter-picture distance of 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction to an integral multiple is used as the first prediction motion vector, thereby generating a new bi-prediction motion vector. A candidate replenishment step of generating candidates for inter prediction information and replenishing them as candidates for bi prediction inter prediction information;
One candidate of inter prediction information for bi-prediction is selected from the candidates for inter-prediction information for bi-prediction after supplementation in the candidate supplementation step, and prediction of the decoding target is performed based on the candidate for inter-prediction information for bi-prediction selected. A moving picture decoding program which causes a computer to execute a motion compensation prediction step for performing inter prediction of bi-prediction of a block.
Bスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第1予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第1予測の動きベクトルを−1倍にスケーリング演算したものをもう一方の第2予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第2予測の参照ピクチャのピクチャ間距離が1以外の双予測のインター予測情報の候補において、前記第2予測の動きベクトルを−1倍にスケーリング演算したものを第1予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から1つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。 A moving picture decoding program for decoding a coded bit string obtained by coding the moving picture using motion compensated prediction in units of blocks obtained by dividing each picture of the moving picture,
From a prediction block adjacent to a prediction block to be decoded in a B slice, or a prediction block existing at the same position or in the vicinity of the prediction block to be decoded in a decoded picture temporally different from the prediction block to be decoded. A prediction information deriving step for deriving candidates for bi-prediction inter prediction information including vector information and reference picture information;
A bi-prediction inter prediction information candidate having an inter-picture distance between the picture including the prediction block to be decoded and the first prediction reference picture other than 1, and the motion vector of the first prediction is scaled by −1 Is used as another second prediction motion vector to generate a new bi-prediction inter prediction information candidate, or a picture including a prediction block to be decoded and a picture of a second prediction reference picture In a candidate for bi-prediction inter prediction information having an inter-distance other than 1, a motion vector of the second prediction obtained by scaling the motion vector of the second prediction by −1 times is used as a first prediction motion vector, whereby a new bi-prediction inter prediction information is obtained. A candidate replenishment step of generating prediction information candidates and replenishing them as bi-prediction inter prediction information candidates;
One candidate of inter prediction information for bi-prediction is selected from the candidates for inter-prediction information for bi-prediction after supplementation in the candidate supplementation step, and prediction of the decoding target is performed based on the candidate for inter-prediction information for bi-prediction selected. A moving picture decoding program which causes a computer to execute a motion compensation prediction step for performing inter prediction of bi-prediction of a block.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243410A JP2013102260A (en) | 2011-11-07 | 2011-11-07 | Moving image decoder, moving image decoding method and moving image decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243410A JP2013102260A (en) | 2011-11-07 | 2011-11-07 | Moving image decoder, moving image decoding method and moving image decoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013102260A true JP2013102260A (en) | 2013-05-23 |
Family
ID=48622498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011243410A Pending JP2013102260A (en) | 2011-11-07 | 2011-11-07 | Moving image decoder, moving image decoding method and moving image decoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013102260A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111066325A (en) * | 2017-09-26 | 2020-04-24 | 松下电器(美国)知识产权公司 | Encoding device, decoding device, encoding method, and decoding method |
CN113767622A (en) * | 2019-06-20 | 2021-12-07 | Jvc建伍株式会社 | Moving picture encoding device, moving picture encoding method, moving picture encoding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program |
CN114303379A (en) * | 2019-09-20 | 2022-04-08 | Kddi 株式会社 | Image decoding device, image decoding method, and program |
-
2011
- 2011-11-07 JP JP2011243410A patent/JP2013102260A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111066325A (en) * | 2017-09-26 | 2020-04-24 | 松下电器(美国)知识产权公司 | Encoding device, decoding device, encoding method, and decoding method |
CN111066325B (en) * | 2017-09-26 | 2023-08-22 | 松下电器(美国)知识产权公司 | Encoding device, decoding device, encoding method, and decoding method |
CN113767622A (en) * | 2019-06-20 | 2021-12-07 | Jvc建伍株式会社 | Moving picture encoding device, moving picture encoding method, moving picture encoding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program |
CN114303379A (en) * | 2019-09-20 | 2022-04-08 | Kddi 株式会社 | Image decoding device, image decoding method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013153823A1 (en) | Video encoding device, video encoding method, video encoding program, transmission device, transmission method, and transmission program, and video decoding device, video decoding method, video decoding program, receiving device, receiving method, and receiving program | |
JP6418300B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP5633597B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP6229806B2 (en) | Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, receiving apparatus, receiving method, and receiving program | |
JP6020763B1 (en) | Moving picture coding apparatus, moving picture coding method, moving picture coding program, transmission apparatus, transmission method, and transmission program | |
JP6264476B2 (en) | Moving picture coding apparatus, moving picture coding method, moving picture coding program, transmission apparatus, transmission method, and transmission program | |
WO2013065301A1 (en) | Video coding device, video coding method, video coding program, transmission device, transmission method, and transmission program, as well as video decoding device, video decoding method, video decoding program, reception device, reception method, and reception program | |
JP2013102260A (en) | Moving image decoder, moving image decoding method and moving image decoding program | |
JP2013098733A (en) | Moving image decoder, moving image decoding method and moving image decoding program | |
JP2013102259A (en) | Moving image encoder, moving image encoding method and moving image encoding program | |
JP2013098732A (en) | Moving image encoder, moving image encoding method and moving image encoding program | |
JP2013118624A (en) | Moving image encoding apparatus, moving image encoding method, moving image encoding program, transmitting apparatus, transmitting method and transmitting program |