JP7026064B2 - Image decoder, image decoding method and program - Google Patents

Image decoder, image decoding method and program Download PDF

Info

Publication number
JP7026064B2
JP7026064B2 JP2019044305A JP2019044305A JP7026064B2 JP 7026064 B2 JP7026064 B2 JP 7026064B2 JP 2019044305 A JP2019044305 A JP 2019044305A JP 2019044305 A JP2019044305 A JP 2019044305A JP 7026064 B2 JP7026064 B2 JP 7026064B2
Authority
JP
Japan
Prior art keywords
subblock
image
prediction
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019044305A
Other languages
Japanese (ja)
Other versions
JP2020150342A (en
Inventor
圭 河村
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019044305A priority Critical patent/JP7026064B2/en
Priority to PCT/JP2020/008774 priority patent/WO2020184264A1/en
Publication of JP2020150342A publication Critical patent/JP2020150342A/en
Application granted granted Critical
Publication of JP7026064B2 publication Critical patent/JP7026064B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。 The present invention relates to an image decoding device, an image decoding method and a program.

従来、イントラ予測又はインター予測、予測残差信号の変換・量子化、エントロピー符号化を用いた画像符号化方式が提案されている（例えば、非特許文献１参照）。 Conventionally, an image coding method using intra-prediction or inter-prediction, conversion / quantization of predicted residual signal, and entropy coding has been proposed (see, for example, Non-Patent Document 1).

また、インター予測方式の１つとして、アフィン動き補償予測方式が、次世代動画像符号化方式ＷＣで提案されている（例えば、非特許文献２参照）。アフィン動き補償予測方式は、動き補償予測方式の一種であり、動きベクトル及び平行移動モデルにより予測画像を生成するように構成されている。 Further, as one of the inter-prediction methods, an affine motion compensation prediction method has been proposed in the next-generation moving image coding method WC (see, for example, Non-Patent Document 2). The affine motion compensation prediction method is a kind of motion compensation prediction method, and is configured to generate a prediction image by a motion vector and a translation model.

図８に示すように、アフィン動き補償予測方式では、平行移動モデルを適用するブロックサイズを４×４画素のサブブロックとする一方で、アフィン変換によりサブブロックごとに異なる動きベクトルを導出する。 As shown in FIG. 8, in the affine motion compensation prediction method, the block size to which the translation model is applied is a subblock of 4 × 4 pixels, while a different motion vector is derived for each subblock by the affine transformation.

ここで、アフィン変換のパラメータは、既存の画像符号化方式との整合性を取るため、アフィン動き補償予測を行う対象ブロックの頂点における動きベクトルとして表現する。なお、各頂点における動きベクトルを「制御点」と呼ぶ。 Here, the parameters of the affine transformation are expressed as motion vectors at the vertices of the target block for which the affine motion compensation prediction is performed in order to be consistent with the existing image coding method. The motion vector at each vertex is called a "control point".

図９（ａ）に示す４パラメータモデルの場合の任意の画素位置における動きベクトル（ｍｖｘ，ｍｖｙ）は、（式１）によって導出され、図９（ｂ）に示す６パラメータモデルの場合の任意の画素位置における動きベクトル（ｍｖｘ，ｍｖｙ）は、（式２）によって導出される。 The motion vector (mv x , mv y ) at an arbitrary pixel position in the case of the 4-parameter model shown in FIG. 9A is derived by (Equation 1), and in the case of the 6-parameter model shown in FIG. 9B. The motion vector (mv x , mvy ) at an arbitrary pixel position is derived by (Equation 2).

Figure 0007026064000001
Figure 0007026064000001

Figure 0007026064000002
Figure 0007026064000002

ここで、（ｍｖ０ｘ，ｍｖ０ｙ）は、対象ブロック（サブブロック）の左上頂点の制御点（動きベクトル）であり、（ｍｖ１ｘ，ｍｖ１ｙ）は、対象ブロックの右上頂点の制御点であり、（ｍｖ２ｘ，ｍｖ２ｙ）は、対象ブロックの左下頂点の制御点である。また、Ｗは、対象ブロックの幅であり、Ｈは、対象ブロックの高さである。 Here, (mv 0x , mv 0y ) is the control point (motion vector) of the upper left vertex of the target block (subblock), and (mv 1x , mv 1y ) is the control point of the upper right vertex of the target block. , (Mv 2x , mv 2y ) are control points at the lower left vertex of the target block. Further, W is the width of the target block, and H is the height of the target block.

また、かかる動きベクトル（ｍｖｘ，ｍｖｙ）を導出する式は、任意の画素位置に適用可能だが、上述のように、４×４画素のサブブロックで１つの動きベクトルを共有する。 Further, the equation for deriving the motion vector (mv x , mvy ) can be applied to any pixel position, but as described above, one motion vector is shared by the subblocks of 4 × 4 pixels.

ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ ＣｏｄｉｎｇITU-T H.265 High Efficiency Video Coding Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ４）Versatile Video Coding (Draft 4)

しかしながら、上述の技術では、既存の動き補償予測方式との整合性を優先するために、４×４画素のサブブロック単位でしかアフィン動き補償予測を行うことができず、予測性能が低いというという問題点があった。 However, in the above-mentioned technology, in order to prioritize consistency with the existing motion compensation prediction method, affine motion compensation prediction can be performed only in units of 4 × 4 pixel subblocks, and the prediction performance is low. There was a problem.

そこで、本発明は、上述の課題に鑑みてなされたものであり、サブブロック数の増加割合を一定に抑えつつ、予測性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。 Therefore, the present invention has been made in view of the above-mentioned problems, and provides an image decoding device, an image decoding method, and a program capable of improving the prediction performance while keeping the increase rate of the number of subblocks constant. The purpose is.

本発明の第１の特徴は、画像復号装置であって、異なる分割位置で予測対象ブロックを分割することによって第１サブブロック及び第２サブブロックを取得するように構成されているサブブロック分割部と、前記第１サブブロック及び前記第２サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている動きベクトル生成部と、前記動きベクトルに基づいて、前記第１サブブロック及び前記第２サブブロックの予測画像を生成するように構成されている動き補償予測部と、前記第１サブブロックの予測画像及び前記第２サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有することを要旨とする。 The first feature of the present invention is an image decoding device, which is a subblock division unit configured to acquire a first subblock and a second subblock by dividing a prediction target block at different division positions. And the motion vector generator configured to output the motion vector obtained by the affine transformation corresponding to the first subblock and the second subblock, and the first sub based on the motion vector. The prediction target block is based on the motion compensation prediction unit configured to generate the prediction image of the block and the second subblock, the prediction image of the first subblock, and the prediction image of the second subblock. The gist is to have an interpolation unit configured to generate a predicted image of.

本発明の第２の特徴は、画像復号方法であって、異なる分割位置で予測対象ブロックを分割することによって第１サブブロック及び第２サブブロックを取得する工程Ａと、前記第１サブブロック及び前記第２サブブロックに対応するアフィン変換によって得られた動きベクトルを出力する工程Ｂと、前記動きベクトルに基づいて、前記第１サブブロック及び前記第２サブブロックの予測画像を生成する工程Ｃと、前記第１サブブロックの予測画像及び前記第２サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成する工程Ｄとを有することを要旨とする。 The second feature of the present invention is an image decoding method, which is a step A of acquiring a first subblock and a second subblock by dividing a prediction target block at different division positions, and the first subblock and the first subblock. A step B for outputting a motion vector obtained by an affine transformation corresponding to the second subblock, and a step C for generating a predicted image of the first subblock and the second subblock based on the motion vector. It is a gist to have a step D of generating a predicted image of the prediction target block based on the predicted image of the first subblock and the predicted image of the second subblock.

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、 異なる分割位置で予測対象ブロックを分割することによって第１サブブロック及び第２サブブロックを取得するように構成されているサブブロック分割部と、前記第１サブブロック及び前記第２サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている動きベクトル生成部と、前記動きベクトルに基づいて、前記第１サブブロック及び前記第２サブブロックの予測画像を生成するように構成されている動き補償予測部と、前記第１サブブロックの予測画像及び前記第２サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有することを要旨とする。 A third feature of the present invention is a program that causes a computer to function as an image decoding device, and the image decoding device divides a prediction target block at different division positions to perform a first subblock and a second subblock. A sub-block dividing unit configured to acquire A motion compensation prediction unit configured to generate a predicted image of the first subblock and the second subblock based on the motion vector, and a predicted image of the first subblock and the second subblock. The gist is to have an interpolation unit configured to generate a predicted image of the predicted target block based on the predicted image of the sub-block.

本発明によれば、サブブロック数の増加割合を一定に抑えつつ、予測性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。 According to the present invention, it is possible to provide an image decoding device, an image decoding method and a program capable of improving the prediction performance while suppressing the increase rate of the number of subblocks to a constant level.

一実施形態に係る画像処理システム１００の構成の一例を示す図である。It is a figure which shows an example of the structure of the image processing system 100 which concerns on one Embodiment. 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block of the image coding apparatus 100 which concerns on one Embodiment. 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block of the image decoding apparatus 200 which concerns on one Embodiment. 一実施形態に係る画像符号化装置１００のインター予測部１０１及び画像復号装置２００のインター予測部２０３の機能ブロックの一例を示す図である。It is a figure which shows an example of the functional block of the inter-prediction unit 101 of the image coding apparatus 100 and the inter-prediction unit 203 of the image decoding apparatus 200 which concerns on one Embodiment. 一実施形態に係る画像符号化装置１００のインター予測部１０１及び画像復号装置２００のインター予測部２０３の追加サブブロック分割部１０１Ｂによって分割されるサブブロック及び通常サブブロック分割部１０１Ａによって分割されるサブブロックの一例を示す図である。Sub-blocks divided by the additional sub-block division unit 101B of the inter-prediction unit 101 of the image coding device 100 and the inter-prediction unit 203 of the image decoding device 200 according to the embodiment, and sub-blocks divided by the normal sub-block division unit 101A. It is a figure which shows an example of a block. 一実施形態に係る画像復号装置２００の動作の一例を示すフローチャートである。It is a flowchart which shows an example of the operation of the image decoding apparatus 200 which concerns on one Embodiment. 一実施形態に係る画像符号化装置１００のインター予測部１０１及び画像復号装置２００のインター予測部２０３の追加サブブロック分割部１０１Ｂによって分割されるサブブロック及び通常サブブロック分割部１０１Ａによって分割されるサブブロックの一例を示す図である。Sub-blocks divided by the additional sub-block division unit 101B of the inter-prediction unit 101 of the image coding device 100 and the inter-prediction unit 203 of the image decoding device 200 according to the embodiment, and sub-blocks divided by the normal sub-block division unit 101A. It is a figure which shows an example of a block. 従来技術を説明するための図である。It is a figure for demonstrating the prior art. 従来技術を説明するための図である。It is a figure for demonstrating the prior art.

以下、本発明の実施の形態について図面を参照しながら、説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The components in the following embodiments can be replaced with existing components as appropriate, and various variations including combinations with other existing components are possible. Therefore, the description of the following embodiments does not limit the content of the invention described in the claims.

（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理システム１の機能ブロックの一例を示す図である。画像処理システム１は、動画像を符号化して符号化データを生成する画像符号化装置１００と、画像符号化装置１００により生成された符号化データを復号する画像復号装置２００とを備える。画像符号化装置１００と画像復号装置２００との間では、上述の符号化データが、例えば、伝送路を介して送受信される。 (First Embodiment)
FIG. 1 is a diagram showing an example of a functional block of the image processing system 1 according to the first embodiment of the present invention. The image processing system 1 includes an image coding device 100 that encodes a moving image to generate coded data, and an image decoding device 200 that decodes the coded data generated by the image coding device 100. The above-mentioned coded data is transmitted and received between the image coding device 100 and the image decoding device 200, for example, via a transmission line.

図２は、画像符号化装置１００の機能ブロックの一例を示す図である。図２に示すように、画像符号化装置１００は、インター予測部１０１と、イントラ予測部１０２と、変換・量子化部１０３と、エントロピー符号化部１０４と、逆変換・逆量子化部１０５と、インループフィルタ１０６と、フレームバッファ１０７とを備える。 FIG. 2 is a diagram showing an example of a functional block of the image coding device 100. As shown in FIG. 2, the image coding apparatus 100 includes an inter-prediction unit 101, an intra-prediction unit 102, a conversion / quantization unit 103, an entropy coding unit 104, and an inverse conversion / dequantization unit 105. , An in-loop filter 106 and a frame buffer 107.

インター予測部１０１は、入力画像及びフレームバッファ１０９から入力されるフィルタ後局所復号画像（後述）を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。 The inter-prediction unit 101 is configured to perform inter-prediction using the input image and the filtered local decoded image (described later) input from the frame buffer 109 to generate and output the inter-prediction image.

イントラ予測部１０２は、入力画像及びフィルタ前局所復号画像（後述）を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。 The intra prediction unit 102 is configured to generate and output an intra prediction image by performing intra prediction using an input image and a locally decoded image before filtering (described later).

変換・量子化部１０３は、減算部１０６から入力される残差信号に対して直交変換処理を行い、かかる直交変換処理により得られる変換係数に対して量子化処理を行って得られる量子化係数レベル値を出力するように構成されている。 The conversion / quantization unit 103 performs orthogonal transformation processing on the residual signal input from the subtraction unit 106, and performs quantization processing on the conversion coefficient obtained by the orthogonal transformation processing. It is configured to output a level value.

エントロピー符号化部１０４は、変換・量子化部１０３から入力される量子化係数レベル値、変換ユニットサイズ及び変換サイズ、動き補償方式等をエントロピー符号化して符号化データとして出力するように構成されている。 The entropy coding unit 104 is configured to entropy-code the quantization coefficient level value, conversion unit size and conversion size, motion compensation method, etc. input from the conversion / quantization unit 103 and output them as coded data. There is.

逆変換・逆量子化部１０５は、変換・量子化部１０３から入力される量子化係数レベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた変換係数に対して逆直交変換処理を行って得られる残差信号を出力するように構成されている。 The inverse transformation / inverse quantization unit 105 performs an inverse quantization process on the quantization coefficient level value input from the transformation / quantization unit 103, and reverses the transformation coefficient obtained by the inverse quantization process. It is configured to output a residual signal obtained by performing orthogonal transformation processing.

減算部１０６は、入力画像とイントラ予測画像或いはインター予測画像との差分である残差信号を出力するように構成されている。 The subtraction unit 106 is configured to output a residual signal which is a difference between the input image and the intra prediction image or the inter prediction image.

加算部１０７は、逆変換・逆量子化部１０５から入力される残差信号とイントラ予測画像或いはインター予測画像とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。 The addition unit 107 is configured to output a pre-filter locally decoded image obtained by adding the residual signal input from the inverse transformation / inverse quantization unit 105 to the intra-prediction image or the inter-prediction image.

インループフィルタ部１０８は、加算部１０７から入力されるフィルタ前局所復号画像に対して、デブロッキングフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。 The in-loop filter unit 108 applies in-loop filter processing such as deblocking filter processing to the pre-filter locally decoded image input from the addition unit 107 to generate and output the post-filtered locally decoded image. It is configured.

フレームバッファ１０９は、フィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部に供給する。 The frame buffer 109 accumulates the filtered locally decoded image and appropriately supplies it to the inter-prediction unit as the filtered locally decoded image.

図３は、画像復号装置２００のブロック図である。図３に示すように、画像復号装置２００は、エントロピー復号部２０１と、逆変換・逆量子化部２０２と、インター予測部２０３と、イントラ予測部２０４と、加算部２０５と、インループフィルタ２０６と、フレームバッファ２０７とを備える。 FIG. 3 is a block diagram of the image decoding device 200. As shown in FIG. 3, the image decoding device 200 includes an entropy decoding unit 201, an inverse conversion / inverse quantization unit 202, an inter-prediction unit 203, an intra-prediction unit 204, an addition unit 205, and an in-loop filter 206. And a frame buffer 207.

エントロピー復号部２０１は、符号化データをエントロピー復号し、量子化係数レベル値、変換ユニットサイズ及び変換サイズ、動き補償方式等を導出して出力するように構成されている。 The entropy decoding unit 201 is configured to entropy-decode the coded data, derive the quantization coefficient level value, the conversion unit size and the conversion size, the motion compensation method, and the like, and output the coded data.

逆変換・逆量子化部２０２は、エントロピー復号部２０１から入力される量子化係数レベル値に対して逆量子化処理を行い、かかる逆量子化処理により得られた結果に対して逆直交変換処理を行って残差信号として出力するように構成されている。 The inverse transformation / inverse quantization unit 202 performs an inverse quantization process on the quantization coefficient level value input from the entropy decoding unit 201, and an inverse orthogonal transformation process on the result obtained by the inverse quantization process. Is configured to be output as a residual signal.

インター予測部２０３は、フレームバッファ２０７から入力されるフィルタ後局所復号画像を用いて、インター予測を行ってインター予測画像を生成して出力するように構成されている。 The inter-prediction unit 203 is configured to perform inter-prediction using the filtered locally decoded image input from the frame buffer 207 to generate and output an inter-prediction image.

イントラ予測部２０４は、加算部２０５から入力されるフィルタ前局所復号画像を用いて、イントラ予測を行ってイントラ予測画像を生成して出力するように構成されている。 The intra prediction unit 204 is configured to perform intra prediction using the pre-filter locally decoded image input from the addition unit 205 to generate and output an intra prediction image.

加算部２０５は、逆変換・逆量子化部２０２から入力される残差信号と予測画像（インター予測部２０３から入力されるインター予測画像或いはイントラ予測部２０４から入力されるイントラ予測画像）とを加算して得られるフィルタ前局所復号画像を出力するように構成されている。 The addition unit 205 combines the residual signal input from the inverse conversion / inverse quantization unit 202 and the prediction image (inter prediction image input from the inter prediction unit 203 or intra prediction image input from the intra prediction unit 204). It is configured to output the pre-filter locally decoded image obtained by addition.

ここで、予測画像とは、インター予測部２０３から入力されるインター予測画像及びイントラ予測部２０４から入力されるイントラ予測画像のうち、エントロピー復号により得られた最も高い符号化性能の期待される予測方法により算出された予測画像のことである。 Here, the prediction image is the prediction with the highest expected coding performance obtained by entropy decoding among the inter prediction image input from the inter prediction unit 203 and the intra prediction image input from the intra prediction unit 204. It is a predicted image calculated by the method.

インループフィルタ２０６は、加算部２０５から入力されるフィルタ前局所復号画像に対してデブロックフィルタ処理等のインループフィルタ処理を適用してフィルタ後局所復号画像を生成して出力するように構成されている。 The in-loop filter 206 is configured to apply in-loop filter processing such as deblocking filter processing to the pre-filter locally decoded image input from the addition unit 205 to generate and output the post-filter locally decoded image. ing.

フレームバッファ２０７は、インループフィルタ２０６から入力されるフィルタ後局所復号画像を蓄積し、適宜、フィルタ後局所復号画像としてインター予測部２０３に供給するとともに、復号済み画像として出力するように構成されている。 The frame buffer 207 is configured to accumulate the post-filtered locally decoded image input from the in-loop filter 206, appropriately supply it to the inter-prediction unit 203 as a post-filtered locally decoded image, and output it as a decoded image. There is.

図４～図６を参照して、画像符号化装置１００のインター予測部１０１及び画像復号装置２００のインター予測部２０３について説明する。画像符号化装置１００のインター予測部１０１の機能及び画像復号装置２００のインター予測部２０３の機能は、基本的に同一であるため、以下、画像復号装置２００のインター予測部２０３の機能を例に挙げて説明する。 The inter-prediction unit 101 of the image coding device 100 and the inter-prediction unit 203 of the image decoding device 200 will be described with reference to FIGS. 4 to 6. Since the functions of the inter-prediction unit 101 of the image coding device 100 and the functions of the inter-prediction unit 203 of the image decoding device 200 are basically the same, the functions of the inter-prediction unit 203 of the image decoding device 200 will be taken as an example below. I will explain it by citing it.

図４に示すように、画像復号装置２００のインター予測部２０３は、通常サブブロック分割部１０１Ａと、追加サブブロック分割部１０１Ｂと、動きベクトル生成部１０１Ｃと、アフィン動きベクトル生成部１０１Ｄ１/１０１Ｄ２と、フレームバッファ１０１Ｅと、動き補償予測部１０１Ｆ１～１０１Ｆ３と、加算部１０１Ｇと、選択部１０１Ｈとを備える。 As shown in FIG. 4, the inter-prediction unit 203 of the image decoding device 200 includes a normal sub-block division unit 101A, an additional sub-block division unit 101B, a motion vector generation unit 101C, and an affine motion vector generation unit 101D1 / 101D2. , The frame buffer 101E, the motion compensation prediction units 101F1 to 101F3, the addition unit 101G, and the selection unit 101H are provided.

通常サブブロック分割部１０１Ａは、第１分割位置で予測対象ブロックを分割することによって第１サブブロックを取得するように構成されている。 Normally, the sub-block division unit 101A is configured to acquire the first sub-block by dividing the prediction target block at the first division position.

具体的には、通常サブブロック分割部１０１Ａは、入力された予測対象ブロックの座標及びブロックサイズに基づいて予測対象ブロックを分割して第１サブブロックを取得し、かかる第１サブブロックの座標及びブロックサイズを出力するように構成されている。 Specifically, the normal sub-block division unit 101A divides the prediction target block based on the input coordinates and block size of the prediction target block to acquire the first sub-block, and obtains the coordinates and the coordinates of the first sub-block. It is configured to output the block size.

例えば、図５（ｂ）に示すように、通常サブブロック分割部１０１Ａは、第１分割位置Ｘにおいて予測対象ブロックを分割し、１６個のサブブロック（４×４の画素からなるブロック）Ｂ１を取得するように構成されていてもよい。 For example, as shown in FIG. 5B, the normal sub-block division unit 101A divides the prediction target block at the first division position X, and divides 16 sub-blocks (blocks composed of 4 × 4 pixels) B1. It may be configured to acquire.

追加サブブロック分割部１０１Ｂは、第１分割位置から所定画素分だけずれた位置である第２分割位置で予測対象ブロックを分割することによって第２サブブロックを取得するように構成されている。 The additional sub-block division unit 101B is configured to acquire the second sub-block by dividing the prediction target block at the second division position, which is a position deviated from the first division position by a predetermined pixel.

具体的には、追加サブブロック分割部１０１Ｂは、入力された予測対象ブロックの座標及びブロックサイズから第１分割位置を把握し、かかる第１分割位置から所定画素分だけずらした位置である第２分割位置で予測対象ブロックを分割して第２サブブロックを取得し、かかる第２サブブロックの座標及びブロックサイズを出力するように構成されている。 Specifically, the additional sub-block division unit 101B grasps the first division position from the input coordinates and block size of the prediction target block, and is a position shifted by a predetermined pixel from the first division position. It is configured to divide the prediction target block at the division position, acquire the second subblock, and output the coordinates and block size of the second subblock.

ここで、第２分割位置は、第１分割位置から第１サブブロックの半分の画素分だけ縦方向及び横方向にずれた位置であってもよい。 Here, the second division position may be a position shifted in the vertical direction and the horizontal direction by half a pixel of the first subblock from the first division position.

例えば、図５（ａ）に示すように、追加サブブロック分割部１０１Ｂは、第１分割位置Ｘから２画素分だけ縦方向及び横方向にずらした第２分割位置Ｙで予測対象ブロックを分割し、９個の第２サブブロック（４×４の画素からなるブロック）Ｂ２を取得するように構成されていてもよい。 For example, as shown in FIG. 5A, the additional sub-block division unit 101B divides the prediction target block at the second division position Y shifted in the vertical and horizontal directions by two pixels from the first division position X. , Nine second subblocks (blocks consisting of 4 × 4 pixels) B2 may be configured to be acquired.

アフィン動き補償予測は、４×４画素のサブブロック単位で行われるため、図５の例では、追加サブブロック分割部１０１Ｂは、４×４の画素からなる９個の第２サブブロックの座標及びブロックサイズを出力するように構成されている。 Since the affine motion compensation prediction is performed in units of 4 × 4 pixel subblocks, in the example of FIG. 5, the additional subblock division portion 101B has the coordinates of nine second subblocks composed of 4 × 4 pixels and the coordinates and It is configured to output the block size.

ここで、通常サブブロック分割部１０１Ａ及び追加サブブロック分割部１０１Ｂは、異なる分割位置で予測対象ブロックを分割することによって第１サブブロック及び第２サブブロックを取得するように構成されているサブブロック分割部を構成する。 Here, the normal sub-block division unit 101A and the additional sub-block division unit 101B are configured to acquire the first sub-block and the second sub-block by dividing the prediction target block at different division positions. It constitutes a division part.

動きベクトル生成部１０１Ｃは、入力された予測対象ブロックの座標及び制御点を取得し、かかる予測対象ブロックの右上の頂点の制御点を動きベクトルとして出力するように構成されている。 The motion vector generation unit 101C is configured to acquire the input coordinates and control points of the prediction target block and output the control points of the upper right vertex of the prediction target block as a motion vector.

アフィン動きベクトル生成部１０１Ｄ１は、第１サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている。同様に、アフィン動きベクトル生成部１０１Ｄ２は、第２サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている。 The affine motion vector generation unit 101D1 is configured to output the motion vector obtained by the affine transformation corresponding to the first subblock. Similarly, the affine motion vector generation unit 101D2 is configured to output the motion vector obtained by the affine transformation corresponding to the second subblock.

具体的には、アフィン動きベクトル生成部１０１Ｄ１/１０１Ｄ２は、入力された第１サブブロック及び第２サブブロックの座標、ブロックサイズ及び制御点を用いてアフィン変換を行い、第１サブブロック及び第２サブブロックに対応する動きベクトルを出力するように構成されている。 Specifically, the affine motion vector generation units 101D1 / 101D2 perform affine transformation using the input coordinates, block size and control points of the first subblock and the second subblock, and perform affine transformation, and the first subblock and the second subblock and the second subblock. It is configured to output the motion vector corresponding to the subblock.

フレームバッファ１０１Ｅは、入力された参照画像添字及びブロック（又は、サブブロック）の動きベクトルに基づいて、かかる参照画素添字によって示される参照画素及び動きベクトルの小数部分を出力するように構成されている。なお、フレームバッファ１０１Ｅは、フレームバッファ１０９/２０７によって代用されてよい。 The frame buffer 101E is configured to output a fractional portion of the reference pixel and motion vector indicated by such reference pixel subscript based on the input reference image subscript and motion vector of the block (or subblock). .. The frame buffer 101E may be substituted by the frame buffer 109/207.

動き補償予測部１０１Ｆ１/１０１Ｆ２は、上述の動きベクトルに基づいて、第１サブブロック及び第２サブブロックの予測画像（補間画像）を生成するように構成されている。 The motion compensation prediction unit 101F1 / 101F2 is configured to generate predicted images (interpolated images) of the first subblock and the second subblock based on the above-mentioned motion vector.

具体的には、動き補償予測部１０１Ｆ１は、フレームバッファ１０１Ｅから出力される第２サブブロックに対応する動きベクトルに基づいて、第２サブブロックの予測画像を生成するように構成されている。 Specifically, the motion compensation prediction unit 101F1 is configured to generate a prediction image of the second subblock based on the motion vector corresponding to the second subblock output from the frame buffer 101E.

より具体的には、動き補償予測部１０１Ｆ１は、フレームバッファ１０１Ｅから出力される参照画素及び第２サブブロックに対応する動きベクトルの小数部分から、第２サブブロックの予測画像を生成するように構成されている。 More specifically, the motion compensation prediction unit 101F1 is configured to generate a prediction image of the second subblock from the reference pixel output from the frame buffer 101E and the fractional part of the motion vector corresponding to the second subblock. Has been done.

また、動き補償予測部１０１Ｆ２は、フレームバッファ１０１Ｅから出力される第１サブブロックに対応する動きベクトルに基づいて、第１サブブロックの予測画像を生成するように構成されている。 Further, the motion compensation prediction unit 101F2 is configured to generate a prediction image of the first subblock based on the motion vector corresponding to the first subblock output from the frame buffer 101E.

より具体的には、動き補償予測部１０１Ｆ２は、フレームバッファ１０１Ｅから出力される参照画素及び第１サブブロックに対応する動きベクトルの小数部分から、第１サブブロックの予測画像を生成するように構成されている。 More specifically, the motion compensation prediction unit 101F2 is configured to generate a prediction image of the first subblock from a reference pixel output from the frame buffer 101E and a fractional part of the motion vector corresponding to the first subblock. Has been done.

また、動き補償予測部１０１Ｆ３は、フレームバッファ１０１Ｅから出力される参照画素及び予測対象ブロックに対応する動きベクトルの小数部分から、予測対象ブロックの予測画像を生成するように構成されている。 Further, the motion compensation prediction unit 101F3 is configured to generate a prediction image of the prediction target block from a fractional part of the motion vector corresponding to the reference pixel and the prediction target block output from the frame buffer 101E.

加算部１０１Ｇは、第１サブブロックの予測画像及び第２サブブロックの予測画像に基づいて、予測対象ブロックの予測画像を生成するように構成されている補間部を構成する。 The addition unit 101G constitutes an interpolation unit configured to generate a prediction image of the prediction target block based on the prediction image of the first subblock and the prediction image of the second subblock.

具体的には、加算部１０１Ｇは、第１サブブロックの予測画像と第２サブブロックの予測画像とを一定の比率で加重平均することによって、予測対象ブロックの予測画像を生成するように構成されている。 Specifically, the addition unit 101G is configured to generate a prediction image of the prediction target block by weighted averaging the prediction image of the first subblock and the prediction image of the second subblock at a constant ratio. ing.

選択部１０１Ｈは、加算部１０１Ｇから出力される予測対象ブロックの予測画像及び動き補償予測部１０１Ｆ３から出力される予測対象ブロックの予測画像（サブブロックを使わない場合）から、インター予測モードに応じた予測画像を選択して出力するように構成されている。なお、かかる選択は、図示しない制御部により判定され、動き補償方式として画像符号化装置１００から画像復号装置２００にシグナリングされる。 The selection unit 101H corresponds to the inter-prediction mode from the prediction image of the prediction target block output from the addition unit 101G and the prediction image of the prediction target block (when no subblock is used) output from the motion compensation prediction unit 101F3. It is configured to select and output a predicted image. The selection is determined by a control unit (not shown), and is signaled from the image coding device 100 to the image decoding device 200 as a motion compensation method.

図６を参照して、本実施形態に係る画像復号装置２００の動作の一例について説明する。 An example of the operation of the image decoding apparatus 200 according to the present embodiment will be described with reference to FIG.

図６に示すように、ステップＳ１０１において、画像復号装置２００は、予測対象ブロックを分割することによって第１サブブロック及び第２サブブロックを取得する。 As shown in FIG. 6, in step S101, the image decoding device 200 acquires the first subblock and the second subblock by dividing the prediction target block.

ステップＳ１０２において、画像復号装置２００は、第１サブブロックに対応する動きベクトル、第２サブブロックに対応する動きベクトル及び予測対象サブブロックに対応する動きベクトルを生成する。 In step S102, the image decoding device 200 generates a motion vector corresponding to the first subblock, a motion vector corresponding to the second subblock, and a motion vector corresponding to the prediction target subblock.

ステップＳ１０３において、画像復号装置２００は、第１サブブロックに対応する動きベクトルに基づいて第１サブブロックの予測画像を生成し、第２サブブロックに対応する動きベクトルに基づいて第２サブブロックの予測画像を生成し、予測対象ブロックに対応する動きベクトルに基づいて予測対象ブロックの予測画像（サブブロックを使用しない場合）を生成する。 In step S103, the image decoding device 200 generates a predicted image of the first subblock based on the motion vector corresponding to the first subblock, and the image decoding device 200 generates a predicted image of the second subblock based on the motion vector corresponding to the second subblock. A prediction image is generated, and a prediction image (when no subblock is used) of the prediction target block is generated based on the motion vector corresponding to the prediction target block.

ステップＳ１０４において、画像復号装置２００は、第１サブブロックの予測画像と第２サブブロックの予測画像とを一定の比率で加重平均することによって、予測対象ブロックの予測画像を生成する。 In step S104, the image decoding device 200 generates a predicted image of the prediction target block by weighted averaging the predicted image of the first subblock and the predicted image of the second subblock at a constant ratio.

ステップＳ１０５において、画像復号装置２００は、ステップＳ１０４において生成された予測対象ブロックの予測画像及びステップＳ１０３において生成された予測対象ブロックの予測画像から、インター予測モードに応じた予測画像を選択する。 In step S105, the image decoding device 200 selects a prediction image according to the inter-prediction mode from the prediction image of the prediction target block generated in step S104 and the prediction image of the prediction target block generated in step S103.

本実施形態に係る画像処理システム１によれば、第２サブブロックの参照画素の領域は、第１サブブロックの参照画素の領域よりも広がらないため、メモリ帯域を増加させることなく、サブブロックごとの処理単位も維持しつつ、予測性能を向上することができる。 According to the image processing system 1 according to the present embodiment, the area of the reference pixel of the second subblock is not wider than the area of the reference pixel of the first subblock, so that each subblock does not increase the memory bandwidth. Prediction performance can be improved while maintaining the processing unit of.

（第２実施形態）
以下、図７を参照して、本発明の第２実施形態に係る画像処理システム１について、上述の第１実施形態に係る画像処理システム１との相違点に着目して説明する。 (Second Embodiment)
Hereinafter, the image processing system 1 according to the second embodiment of the present invention will be described with reference to FIG. 7, focusing on the differences from the image processing system 1 according to the first embodiment described above.

本実施形態において、追加サブブロック分割部１０１Ｂは、第２サブブロックの一部について出力するように構成されている。 In the present embodiment, the additional sub-block division unit 101B is configured to output a part of the second sub-block.

具体的には、追加サブブロック分割部１０１Ｂは、通常サブブロック分割部１０１Ａによって取得される第１サブブロックの個数の一定割合（例えば、半分等）以下に限定して第２サブブロックを出力するように構成されている。 Specifically, the additional sub-block division unit 101B outputs the second sub-block only to a certain percentage (for example, half, etc.) or less of the number of the first sub-blocks normally acquired by the sub-block division unit 101A. It is configured as follows.

例えば、図７（ｂ）に示すように、通常サブブロック分割部１０１Ａによって１６個の第１サブブロックが生成され、図７（ａ）に示すように、追加サブブロック分割部１０１Ｂによって９個の第２サブブロックが生成される。 For example, as shown in FIG. 7B, 16 first subblocks are normally generated by the subblock dividing unit 101A, and 9 additional subblocks are generated by the additional subblock dividing unit 101B as shown in FIG. 7A. A second subblock is generated.

追加サブブロック分割部１０１Ｂは、第２サブブロックの個数を第１サブブロックの個数の半分以下とする場合、図７（ａ）に示すように、第２サブブロックの一部を除く斜線部分の８個の第２サブブロックを出力するように構成されている。 When the number of the second sub-blocks is half or less of the number of the first sub-blocks, the additional sub-block division portion 101B is a shaded portion excluding a part of the second sub-blocks as shown in FIG. 7 (a). It is configured to output eight second subblocks.

同様に、通常ブロック分割部１０１Ａによって６４個の第１サブブロックが出力される場合、追加サブブロック分割部１０１Ｂは、上述の第１実施形態では、４９個の第２サブブロックを出力するが、本実施形態では、３２個以下の第２サブブロックを出力するように構成されていてもよい。 Similarly, when 64 first sub-blocks are output by the normal block division unit 101A, the additional sub-block division unit 101B outputs 49 second sub-blocks in the above-mentioned first embodiment. In the present embodiment, it may be configured to output 32 or less second subblocks.

例えば、追加サブブロック分割部１０１Ｂは、市松模様となるように第２サブブロックを削減する場合、２５個の第２サブブロックを出力するように構成されている。 For example, the additional sub-block dividing unit 101B is configured to output 25 second sub-blocks when the second sub-block is reduced so as to have a checkered pattern.

或いは、追加サブブロック分割部１０１Ｂは、任意の順序付けされたブロックのうち先頭ｎ個の第２サブブロックを出力するように構成されている。ここで、ｎは整数であり、増加率を５割とする場合には「３２」となる。 Alternatively, the additional sub-block dividing unit 101B is configured to output the first n second sub-blocks among the arbitrarily ordered blocks. Here, n is an integer, and is "32" when the rate of increase is 50%.

本実施形態に係る画像処理システム１によれば、第２サブブロックの個数を一定割合に抑えているため、追加の演算コストもワーストケースにおいても一定割合の増加となるにもかかわらず、予測精度を向上させることができる。 According to the image processing system 1 according to the present embodiment, since the number of the second subblocks is suppressed to a certain ratio, the prediction accuracy is increased even in the worst case even though the additional calculation cost is increased by a certain ratio. Can be improved.

１…画像処理システム
１００…画像符号化装置
１０１、２０３…インター予測部
１０１Ａ…通常サブブロック分割部
１０１Ｂ…追加サブブロック分割部
１０１Ｃ…動きベクトル生成部
１０１Ｄ１、１０１Ｄ２…アフィン動きベクトル生成部
１０１Ｆ１～１０１Ｆ３…動き補償予測部
１０２、２０４…イントラ予測部
１０３…変換・量子化部
１０４…エントロピー符号化部
１０５、２０２…逆変換・逆量子化部
１０６…減算部
１０１Ｇ、１０７、２０５…加算部
１０８、２０６…インループフィルタ
１０１Ｅ、１０９、２０７…フレームバッファ
２００…エントロピー復号部 1 ... Image processing system 100 ... Image coding device 101, 203 ... Inter-prediction unit 101A ... Normal sub-block division unit 101B ... Additional sub-block division unit 101C ... Motion vector generation units 101D1, 101D2 ... Affine motion vector generation units 101F1 to 101F3 ... Motion compensation prediction unit 102, 204 ... Intra prediction unit 103 ... Conversion / quantization unit 104 ... Entropy coding unit 105, 202 ... Inverse conversion / inverse quantization unit 106 ... Subtraction unit 101G, 107, 205 ... Addition unit 108, 206 ... In-loop filter 101E, 109, 207 ... Frame buffer 200 ... Entropy decoding unit

Claims (4)

第１分割位置で予測対象ブロックを分割することによって第１サブブロックを取得して出力するように構成されている通常サブブロック分割部と、
前記第１分割位置から所定画素分だけずれた位置である第２分割位置で前記予測対象ブロックを分割することによって第２サブブロックを取得して出力するように構成されている追加サブブロック分割部と、
アフィン変換によって前記第１サブブロック及び前記第２サブブロックに対応する動きベクトルを取得するように構成されている動きベクトル生成部と、
前記動きベクトルに基づいて、前記第１サブブロック及び前記第２サブブロックの予測画像を生成するように構成されている動き補償予測部と、
前記第１サブブロック及び前記第２サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有し、
前記追加サブブロック分割部は、前記第１サブブロックの個数の一定割合以下に限定して前記第２サブブロックを出力するように構成されていることを特徴とする画像復号装置。 A normal subblock division unit configured to acquire and output the first subblock by dividing the prediction target block at the first division position, and
An additional sub-block division unit configured to acquire and output a second sub-block by dividing the prediction target block at a second division position which is a position deviated from the first division position by a predetermined pixel. When,
A motion vector generation unit configured to acquire motion vectors corresponding to the first subblock and the second subblock by affine transformation, and
A motion compensation prediction unit configured to generate a prediction image of the first subblock and the second subblock based on the motion vector, and a motion compensation prediction unit.
It has an interpolation unit configured to generate a predicted image of the predicted target block based on the predicted image of the first subblock and the second subblock.
The image decoding device is characterized in that the additional sub-block division unit is configured to output the second sub-block only to a certain ratio or less of the number of the first sub-blocks . 前記第２分割位置は、前記第１分割位置から前記第１サブブロックの半分の画素分だけ縦方向及び横方向にずれた位置であることを特徴とする請求項１に記載の画像復号装置。 The image decoding apparatus according to claim 1 , wherein the second division position is a position deviated from the first division position by half a pixel of the first subblock in the vertical direction and the horizontal direction. 第１分割位置で予測対象ブロックを分割することによって第１サブブロックを取得して出力する工程Ａと、
前記第１分割位置から所定画素分だけずれた位置である第２分割位置で前記予測対象ブロックを分割することによって第２サブブロックを取得して出力する工程Ｂと、
前記第１サブブロック及び前記第２サブブロックに対応するアフィン変換によって得られた動きベクトルを出力する工程Ｃと、
前記動きベクトルに基づいて、前記第１サブブロック及び前記第２サブブロックの予測画像を生成する工程Ｄと、
前記第１サブブロックの予測画像及び前記第２サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成する工程Ｅとを有し、
前記工程Ｂにおいて、前記第１サブブロックの個数の一定割合以下に限定して前記第２サブブロックを出力することを特徴とする画像復号方法。 Step A to acquire and output the first subblock by dividing the prediction target block at the first division position, and
Step B of acquiring and outputting the second subblock by dividing the prediction target block at the second division position, which is a position deviated from the first division position by a predetermined pixel,
Step C to output the motion vector obtained by the affine transformation corresponding to the first subblock and the second subblock, and
Step D to generate a predicted image of the first subblock and the second subblock based on the motion vector, and
It has a step E of generating a predicted image of the predicted target block based on the predicted image of the first subblock and the predicted image of the second subblock.
The image decoding method, characterized in that , in the step B, the second subblock is output only to a certain ratio or less of the number of the first subblock . コンピュータを、画像復号装置として機能させるプログラムであって、
前記画像復号装置は、
第１分割位置で予測対象ブロックを分割することによって第１サブブロック及び第２サブブロックを取得するように構成されている通常サブブロック分割部と、
前記第１分割位置から所定画素分だけずれた位置である第２分割位置で前記予測対象ブロックを分割することによって第２サブブロックを取得して出力するように構成されている追加サブブロック分割部と、
前記第１サブブロック及び前記第２サブブロックに対応するアフィン変換によって得られた動きベクトルを出力するように構成されている動きベクトル生成部と、
前記動きベクトルに基づいて、前記第１サブブロック及び前記第２サブブロックの予測画像を生成するように構成されている動き補償予測部と、
前記第１サブブロックの予測画像及び前記第２サブブロックの予測画像に基づいて、前記予測対象ブロックの予測画像を生成するように構成されている補間部とを有し、
前記追加サブブロック分割部は、前記第１サブブロックの個数の一定割合以下に限定して前記第２サブブロックを出力するように構成されていることを特徴とするプログラム。 A program that makes a computer function as an image decoder
The image decoding device is
A normal subblock division unit configured to acquire the first subblock and the second subblock by dividing the prediction target block at the first division position, and
An additional sub-block division unit configured to acquire and output a second sub-block by dividing the prediction target block at a second division position which is a position deviated from the first division position by a predetermined pixel. When,
A motion vector generator configured to output a motion vector obtained by an affine transformation corresponding to the first subblock and the second subblock, and a motion vector generator.
A motion compensation prediction unit configured to generate a prediction image of the first subblock and the second subblock based on the motion vector, and a motion compensation prediction unit.
It has an interpolation unit configured to generate a predicted image of the predicted target block based on the predicted image of the first subblock and the predicted image of the second subblock.
The program characterized in that the additional sub-block division unit is configured to output the second sub-block only to a certain ratio or less of the number of the first sub-block .
JP2019044305A 2019-03-11 2019-03-11 Image decoder, image decoding method and program Active JP7026064B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019044305A JP7026064B2 (en) 2019-03-11 2019-03-11 Image decoder, image decoding method and program
PCT/JP2020/008774 WO2020184264A1 (en) 2019-03-11 2020-03-02 Image decoding device, image decoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019044305A JP7026064B2 (en) 2019-03-11 2019-03-11 Image decoder, image decoding method and program

Publications (2)

Publication Number Publication Date
JP2020150342A JP2020150342A (en) 2020-09-17
JP7026064B2 true JP7026064B2 (en) 2022-02-25

Family

ID=72427904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019044305A Active JP7026064B2 (en) 2019-03-11 2019-03-11 Image decoder, image decoding method and program

Country Status (2)

Country Link
JP (1) JP7026064B2 (en)
WO (1) WO2020184264A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180070102A1 (en) 2015-05-15 2018-03-08 Huawei Technologies Co., Ltd. Adaptive Affine Motion Compensation Unit Determing in Video Picture Coding Method, Video Picture Decoding Method, Coding Device, and Decoding Device
WO2020008334A1 (en) 2018-07-01 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Efficient affine merge motion vector derivation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180070102A1 (en) 2015-05-15 2018-03-08 Huawei Technologies Co., Ltd. Adaptive Affine Motion Compensation Unit Determing in Video Picture Coding Method, Video Picture Decoding Method, Coding Device, and Decoding Device
WO2020008334A1 (en) 2018-07-01 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Efficient affine merge motion vector derivation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kai Zhang et al.，CE4-related: Interweaved Prediction for Affine Motion Compensation，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0102-v2，11th Meeting: Ljubljana, SI，2018年07月，pp.1-4
Kai Zhang et al.，Non-CE2: Interweaved Prediction for Affine Motion Compensation，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0268-v3，13th Meeting: Marrakech, MA，2019年01月，pp.1-4

Also Published As

Publication number Publication date
JP2020150342A (en) 2020-09-17
WO2020184264A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
KR102668077B1 (en) Apparatus and method for image coding and decoding
KR101239567B1 (en) Methods and apparatus for adaptively choosing a search range for motion estimation
JP6535744B2 (en) Image coding apparatus, image decoding apparatus, and programs therefor
JP7199598B2 (en) PROF method, computing device, computer readable storage medium, and program
JP2010011075A (en) Method and apparatus for encoding and decoding moving image
KR20110015625A (en) Methods and apparatus for locally adaptive filtering for motion compensation interpolation and reference picture filtering
WO2014157386A1 (en) Video encoding device and video decoding device
JP2023164968A (en) Method and apparatus on prediction refinement with optical flow
JP2023100979A (en) Methods and apparatuses for prediction refinement with optical flow, bi-directional optical flow, and decoder-side motion vector refinement
KR20150135457A (en) Method for encoding a plurality of input images and storage medium and device for storing program
JP2024024080A (en) Image encoder, image encoding method, image decoder, and image decoding method
JP2022525688A (en) Methods and devices for improving predictions using optical flow
JP7026064B2 (en) Image decoder, image decoding method and program
JP2007288810A (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program and computer readable recording medium
JP6539580B2 (en) Inter prediction apparatus, inter prediction method, moving picture coding apparatus, moving picture decoding apparatus, and computer readable recording medium
JP2018107692A (en) Moving image decoder, moving image decoding method, moving image encoder, moving image encoding method and computer readable recording medium
JP2020150314A (en) Image decoder, image decoding method, and program
KR20200134302A (en) Image processing apparatus and method
JP2013138502A (en) Coding apparatus, control method of the same, and computer program
JP7134118B2 (en) Image decoding device, image decoding method and program
JP7034363B2 (en) Image decoder, image decoding method and program
WO2011142221A1 (en) Encoding device and decoding device
JP2022087335A (en) Image decoder, image decoding method, and program
JP2022079469A (en) Image decoder, image decoding method, and program
JP6071618B2 (en) Image processing apparatus and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210127

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R150 Certificate of patent or registration of utility model

Ref document number: 7026064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150