JP7194539B2 - Encoding device, decoding device and program - Google Patents
Encoding device, decoding device and program Download PDFInfo
- Publication number
- JP7194539B2 JP7194539B2 JP2018171407A JP2018171407A JP7194539B2 JP 7194539 B2 JP7194539 B2 JP 7194539B2 JP 2018171407 A JP2018171407 A JP 2018171407A JP 2018171407 A JP2018171407 A JP 2018171407A JP 7194539 B2 JP7194539 B2 JP 7194539B2
- Authority
- JP
- Japan
- Prior art keywords
- intra prediction
- encoding
- prediction mode
- target block
- scan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、符号化装置、復号装置及びプログラムに関する。 The present invention relates to an encoding device, a decoding device and a program.
次世代映像圧縮技術に代表されるＨ.２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）動画像（映像）符号化方式においては、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の２種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理、ループフィルタ処理、及びエントロピー符号化処理を行う。そして、このエントロピー符号化処理により得られたストリームを出力するように構成されている。 In the H.265/HEVC (High Efficiency Video Coding) moving image (video) coding system represented by next-generation video compression technology, inter prediction using temporal correlation between frames and spatial correlation within a frame are After generating a residual signal by performing prediction while switching between two types of intra prediction used, orthogonal transform processing, loop filter processing, and entropy coding processing are performed. Then, it is configured to output a stream obtained by this entropy coding process.
ＨＥＶＣにおけるイントラ予測には、Ｐｌａｎａｒ予測やＤＣ予測や方向予測等を含む計３５種類のイントラ予測モードが用意されている。復号装置では、符号化装置（エンコーダ）で決定されたイントラ予測モードに従って、隣接する復号済み参照画素を用いてイントラ予測を行い、予測画像を生成するように構成されている。以下、特に記載が無い場合には、「参照画素」とは、復号済み参照画素をいうものとする。 A total of 35 types of intra prediction modes including planar prediction, DC prediction, directional prediction, and the like are prepared for intra prediction in HEVC. The decoding device is configured to perform intra prediction using adjacent decoded reference pixels according to an intra prediction mode determined by an encoding device (encoder), and generate a predicted image. Hereinafter, unless otherwise specified, "reference pixels" refer to decoded reference pixels.
従来のＨＥＶＣは、動画像を構成するフレーム単位の原画像を固定の大きさの複数のブロック（以下、ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔと呼ぶ）に分割した後、各ＣＴＵに対して階層的な四分木分割を適用することにより符号化するように構成されている。 In conventional HEVC, after dividing an original frame-by-frame image that constitutes a moving image into a plurality of fixed-size blocks (hereinafter referred to as CTUs: Coding Tree Units), each CTU is hierarchically divided into four blocks. It is configured to encode by applying tree partitioning.
符号化装置は、分割された符号化対象ブロック（以下、ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔと呼ぶ）に対してイントラ予測とインター予測とを切り替えながら符号化処理を施す。そして、この符号化処理は、左上から右下に向かって予め規定された符号化処理順（左上のＣＵ→右上のＣＵ→左下のＣＵ→右下のＣＵというような符号化処理順、以下、Ｚスキャンと呼ぶ）で行われる。 An encoding apparatus performs encoding processing while switching between intra-prediction and inter-prediction on divided encoding target blocks (hereinafter referred to as CUs: Coding Units). This encoding process is performed in a predetermined encoding process order from upper left to lower right (upper left CU→upper right CU→lower left CU→lower right CU). Z scan).
上述のように、イントラ予測モードは、参照画素を利用して予測画像を生成する。しかしながら、このイントラ予測モードは、符号化処理の順序を後述するＺスキャンで進めるため、ＣＵの右上や左下の参照画素が復号済みでない場合がある。 As described above, the intra prediction mode uses reference pixels to generate a predicted image. However, in this intra-prediction mode, the order of encoding processing is advanced by Z-scan, which will be described later, so there are cases where the upper right and lower left reference pixels of the CU have not been decoded.
このような場合には、参照画素として最も近い復号済み参照画素を０次外挿した値を用いて予測画像を生成するように構成されている(例えば、非特許文献１参照)。 In such a case, a prediction image is generated using a zero-order extrapolated value of the closest decoded reference pixel as the reference pixel (see, for example, Non-Patent Document 1).
また、ＨＥＶＣでは、フレーム内の最も左上に位置するブロック等、隣接する復号済み参照画素が存在しないブロックでは、規定した値（例えば、１０ビットの動画像であれば「５１２」等)を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。 In addition, in HEVC, in a block that does not have an adjacent decoded reference pixel, such as the upper left block in the frame, a specified value (for example, "512" for a 10-bit moving image) is filled. is configured to generate reference pixels used when generating a predicted image.
上述のように、復号済みでない参照画素が存在する場合、復号済みでない参照画素の位置する方向からの方向予測を行うと予測精度が低下するため、符号化効率が低減してしまう。 As described above, when there is a reference pixel that has not been decoded, if directional prediction is performed from the direction in which the reference pixel that has not been decoded is located, the prediction accuracy will decrease, and the encoding efficiency will decrease.
そこで、イントラ予測において、Ｚスキャンの他、逆Ｎスキャン（右上のＣＵ→右下のＣＵ→左上のＣＵ→左下のＣＵというような符号化処理順）や逆Ｚスキャン（左下のＣＵ→右下のＣＵ→左上のＣＵ→右上のＣＵというような符号化処理順）のように符号化処理順に自由度を持たせることによって予測精度の向上を図る技術が知られている（非特許文献２参照）。 Therefore, in intra prediction, in addition to Z scan, reverse N scan (upper right CU → lower right CU → upper left CU → lower left CU in encoding processing order) and reverse Z scan (lower left CU → lower right There is a known technique for improving prediction accuracy by giving flexibility to the order of encoding processing, such as the CU of the top left CU → the top right CU (see Non-Patent Document 2). ).
非特許文献２に規定されている技術では、ＣＵ単位でどのような符号化処理順を用いるのかについてのフラグを伝送した上で、各ＣＵに適用可能なイントラ予測モードを示すフラグを伝送するように構成されている。
In the technique defined in
また、非特許文献２に規定されている技術では、各ＣＵのイントラ予測モードは、ＨＥＶＣと同様に、固定の３５個のイントラ予測モードの中から選択するように構成されており、伝送するイントラ予測モードのエントロピー符号化処理もＨＥＶＣと同様になっている。
Further, in the technology defined in
しかしながら、非特許文献２のように、符号化処理順（スキャン順）を選択可能とした場合であって、逆ＺスキャンやＮスキャンを選択したときであってもイントラ予測の精度が低下してしまう場合があるという問題点があった。
However, as in
例えば、図９に示すように、分割されたＣＵに対する符号化処理順に逆Ｚスキャンを選択した場合には、ＣＵ＃３（左下のＣＵ）→ＣＵ＃４（右下のＣＵ）→ＣＵ＃１（左上のＣＵ）→ＣＵ＃２（右上のＣＵ）という順でイントラ予測処理が行われる。
For example, as shown in FIG. 9, when the reverse Z scan is selected in the encoding processing order for the divided CUs, CU#3 (bottom left CU)→CU#4 (bottom right CU)→
ここで、図９の例のように、各ＣＵのイントラ予測モードが、左側や上側に隣接する参照画素を利用するようなイントラ予測モードである場合には、符号化処理が、逆Ｚスキャンで行われる。このため、ＣＵ＃４（右下のＣＵ）やＣＵ＃３（左下のＣＵ）では、Ｚスキャンであれば参照可能な上側の参照画素が利用不可能となる。 Here, as in the example of FIG. 9, when the intra prediction mode of each CU is an intra prediction mode that uses reference pixels adjacent to the left side or the upper side, the encoding process is a reverse Z scan. done. Therefore, in CU#4 (lower right CU) and CU#3 (lower left CU), upper reference pixels that can be referred to in Z scan cannot be used.
つまり、図９の例のように、逆Ｚスキャンが選択された場合には、左側や上側に位置する参照画素を利用するイントラ予測モードが選択される可能性は低くなる。 That is, as in the example of FIG. 9, when the reverse Z scan is selected, the possibility of selecting the intra prediction mode using the reference pixels located on the left side or the upper side is low.
上述したように、非特許文献２では、符号化処理順によって選択されるイントラ予測モードの確率に偏りがあるにもかかわらずイントラ予測モードを示すフラグのエントロピー符号化をＨＥＶＣと同様としており、上述したイントラ予測モードの確率の偏りについて考慮されていない。
As described above, in
また、非特許文献２では、全ての選択可能な符号化処理順において、各ＣＵに対しどのようなイントラ予測モードを選択するかについて、符号化装置側で全ての組み合わせを試す必要があり、符号化装置側の計算時間が増大してしまうという問題点があった。
In addition, in Non-Patent
そこで、本発明は、上述した課題を解決するためになされたものであり、符号化装置によって伝送する情報量を低減し、符号化装置側の計算時間を低減しつつ、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above-described problems. An object of the present invention is to provide an encoding device, a decoding device, and a program that can
本発明の第１の特徴は、動画像を構成するフレーム単位の原画像をブロックに分割して符号化するように構成されている符号化装置であって、符号化対象ブロックの符号化処理順を決定するように構成されている符号化処理順決定部と、前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、前記イントラ予測モード候補の中から前記符号化対象ブロックに適用するイントラ予測モードを決定するように構成されているイントラ予測モード決定部と、決定された前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部と、前記符号化処理順及び前記イントラ予測モードに対して、エントロピー符号化処理を施すように構成されているエントロピー符号化部とを具備することを要旨とする。 A first feature of the present invention is an encoding device configured to divide and encode an original image of each frame constituting a moving image into blocks, wherein the encoding processing order of the encoding target block is a coding processing order determining unit configured to determine the coding processing order; a generating unit configured to generate intra prediction mode candidates for the coding target block based on the coding processing order; Based on an intra prediction mode determination unit configured to determine an intra prediction mode to be applied to the encoding target block from prediction mode candidates, and the determined encoding processing order and the intra prediction mode, An intra prediction unit configured to perform intra prediction processing on the encoding target block; and an entropy code configured to perform entropy coding processing on the encoding processing order and the intra prediction mode. The gist is to comprise a chemical part.
本発明の第２の特徴は、動画像を構成するフレーム単位の画像を分割したブロックごとに復号するように構成されている復号装置であって、符号化装置から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化対象ブロックの符号化処理順を取得するように構成されている符号化処理順復号部と、前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、前記イントラ予測モード候補に基づいて、前記ストリームに対してエントロピー復号処理を施すことによって、前記符号化対象ブロックに適用するイントラ予測モードを取得するように構成されているイントラ予測モード復号部と、前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部とを具備することを要旨とする。 A second feature of the present invention is a decoding device configured to decode a frame-based image that constitutes a moving image for each divided block, wherein the entropy of a stream output from the encoding device is A coding processing order decoding unit configured to obtain a coding processing order of a coding target block by performing decoding processing, and an intra prediction mode of the coding target block based on the coding processing order. obtaining an intra prediction mode to be applied to the current block by performing an entropy decoding process on the stream based on the intra prediction mode candidate; and a generator configured to generate a candidate. and an intra prediction unit configured to perform intra prediction processing on the encoding target block based on the encoding processing order and the intra prediction mode. The gist is to
本発明の第３の特徴は、コンピュータを、上述の第１の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。 A gist of a third aspect of the present invention is a program for causing a computer to function as the encoding device according to the first aspect.
本発明の第４の特徴は、コンピュータを、上述の第２の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。 A gist of a fourth aspect of the present invention is a program for causing a computer to function as the decoding device according to the second aspect.
本発明によれば、符号化装置によって伝送する情報量を低減し、符号化装置側の計算時間を低減しつつ、符号化効率を向上させることができる符号化装置、復号装置及びプログラムを提供することができる。 According to the present invention, there is provided an encoding device, a decoding device, and a program capable of improving encoding efficiency while reducing the amount of information transmitted by the encoding device and reducing the calculation time on the encoding device side. be able to.
（第１の実施形態）
以下、図１～図６を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。
(First embodiment)
An
ここで、本実施形態に係る符号化装置１及び復号装置３は、ＨＥＶＣ等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置１及び復号装置３は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
Here, the
本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像を符号化対象ＣＵに分割して符号化するように構成されている。以下、本実施形態では、動画像を構成するフレーム単位の原画像を階層的に四分木分割して符号化するケースを例に挙げて説明する。
The
図１に示すように、本実施形態に係る符号化装置１は、符号化処理順決定部１１と、イントラ予測モード候補生成部１２と、イントラ予測モード決定部１３と、イントラ予測部１４と、エントロピー符号化部１５とを具備している。
As shown in FIG. 1, the
符号化処理順決定部１１は、符号化対象ＣＵ（符号化対象ブロック）の符号化処理順（以下、スキャン順）を決定（選択）するように構成されている。
The encoding processing
具体的には、符号化処理順決定部１１は、分割された各ＣＵをどのような順序で符号化処理してくかについて決定するように構成されている。
Specifically, the encoding process
図２に、符号化処理順決定部１１によって選択可能なスキャン順の例を示す。図２（ａ）に示すスキャン順は、Ｚスキャン（左上のＣＵ→右上のＣＵ→左下のＣＵ→右下のＣＵ）と呼ばれ、図２（ｂ）に示す符号化処理順は、逆Ｚスキャン（左下のＣＵ→右下のＣＵ→左上のＣＵ→右上のＣＵ）と呼ばれ、図２（ｂ）に示すスキャン順は、Ｎスキャン（右上のＣＵ→右下のＣＵ→左上のＣＵ→左下のＣＵ）と呼ばれるものとする。
FIG. 2 shows an example of scan orders that can be selected by the encoding process
本明細書では、以後、符号化処理順決定部１１によってＺスキャンや逆ＺスキャンやＮスキャンが選択可能である場合を例に挙げて説明するが、本発明は、図２に示すスキャン順の他、図３に示すスキャン順にも適用可能である。
In this specification, a case where the encoding process
ここで、図３（ａ）に示すスキャン順が適用される場合には、Ｎスキャンと同様の処理が適用可能であり、図３（ｂ）に示すスキャン順が適用される場合には、逆Ｚスキャンと同様の処理が適用可能である。 Here, when the scan order shown in FIG. 3A is applied, the same processing as N scan can be applied, and when the scan order shown in FIG. Processing similar to Z scanning is applicable.
イントラ予測モード候補生成部１２は、符号化処理順決定部１１によって決定（選択）されたスキャン順に基づいて、符号化対象ＣＵのイントラ予測モード候補を生成するように構成されている。
The intra prediction
以下、ＨＥＶＣで適用可能なイントラ予測モードを例に挙げて説明する。 Hereinafter, intra prediction modes applicable in HEVC will be described as an example.
図４に示すように、３５個のイントラ予測モードについて、参照する方向別に、Ａ、Ｂ、Ｃにカテゴリ分けを行う。 As shown in FIG. 4, 35 intra-prediction modes are categorized into A, B, and C according to the direction of reference.
本実施形態では、ＨＥＶＣのイントラ予測モードを例に説明するが、隣接する復号済み参照画素を用いてイントラ予測を行うどのような符号化処理に対しても適用可能である。 In this embodiment, the intra prediction mode of HEVC will be described as an example, but the present embodiment can be applied to any encoding process that performs intra prediction using adjacent decoded reference pixels.
ＨＥＶＣにおいて、モード２からモード１０の計９個のイントラ予測モードについては、カテゴリＡとし、モード１１からモード２５までの計１５個のイントラ予測モードをカテゴリＢとし、モード２６からモード３４の計９個のイントラ予測モードをカテゴリＣとする。
In HEVC, a total of 9 intra prediction modes from
なお、ＨＥＶＣ以外の方式等において、適用可能なイントラ予測モードのうち方向予測を行うモードについて、上側に位置する参照画素を利用しないイントラ予測モード群をカテゴリＡとし、左側に位置する参照画素を利用しないイントラ予測モード群をカテゴリＣとし、上側及び左側に位置する参照画素のどちらも利用するイントラ予測モード群をカテゴリＢとなるように設定する。 In methods other than HEVC, among applicable intra prediction modes, for modes that perform directional prediction, an intra prediction mode group that does not use the reference pixels located on the upper side is set as category A, and the reference pixels located on the left side are used. The group of intra prediction modes that do not use any reference pixels is set as category C, and the group of intra prediction modes that use both upper and left reference pixels is set as category B.
イントラ予測モード候補生成部１２は、符号化処理順決定部１１によって決定されたスキャン順に基づいて、符号化対象ＣＵのイントラ予測モード候補を生成するように構成されている。
The intra prediction mode
例えば、イントラ予測モード候補生成部１２は、符号化処理順決定部１１で決定されたスキャン順がＺスキャンである場合には、ＨＥＶＣのケースと同様に、Ａ、Ｂ、Ｃの３個のカテゴリ、ＤＣモード及びＰｌａｎａｒモードを、各ＣＵに対して選択可能なイントラ予測モード候補とするように構成されている。
For example, when the scan order determined by the encoding process
一方、イントラ予測モード候補生成部１２は、符号化処理順決定部１１で決定された符号化処理の順序が逆Ｚスキャンである場合には、カテゴリＡに属するイントラ予測モード、ＤＣモード及びＰｌａｎａｒモードを、各ＣＵに対して選択可能なイントラ予測モード候補とするように構成されている。
On the other hand, when the encoding process order determined by the encoding process
さらに、イントラ予測モード候補生成部１２は、符号化処理順決定部１１で決定されたスキャン順がＮスキャンである場合には、カテゴリＣに属するイントラ予測モード、ＤＣモード及びＰｌａｎａｒモードを、各ＣＵに対して選択可能なイントラ予測モード候補とするように構成されている。
Furthermore, when the scan order determined by the encoding process
イントラ予測モード決定部１３は、イントラ予測モード候補生成部１２によって生成されたイントラ予測モード候補の中から符号化対象ＣＵに適用するイントラ予測モードを決定するように構成されている。
The intra-prediction
例えば、イントラ予測モード決定部１３は、イントラ予測モード候補生成部１２によって定められたカテゴリに所属するイントラ予測モードのうち、符号化装置１側での最適化等により各ＣＵに適用するイントラ予測モードを決定するよう構成されている。
For example, the intra prediction
イントラ予測部１４は、符号化処理順決定部１１によって決定されたスキャン順及びイントラ予測モード決定部１３によって決定されたイントラ予測モードに基づいて、符号化対象ＣＵに対するイントラ予測処理を施すように構成されている。
The
具体的には、イントラ予測部１４は、各ＣＵに適用するイントラ予測モード及び各ＣＵに隣接する復号済み参照画素の存在する位置に応じて、符号化対象ＣＵに対するイントラ予測処理を施すよう構成されている。
Specifically, the
以下、図５を参照して、本実施形態に係るイントラ予測処理の一例について説明する。 An example of intra prediction processing according to the present embodiment will be described below with reference to FIG. 5 .
上述のように、イントラ予測モード候補生成部１２は、符号化処理順決定部１１で決定されスキャン順が逆Ｚスキャンである場合には、カテゴリＡに属するイントラ予測モード、ＤＣモード及びＰｌａｎａｒモードを、各ＣＵに対して選択可能なイントラ予測モード候補とする。
As described above, the intra prediction mode
図５（ａ）及び図５（ｂ）に示すように、イントラ予測部１４は、ＣＵ＃３（左下のＣＵ）及びＣＵ＃４（右下のＣＵ）については、従来のＨＥＶＣと同様にイントラ予測処理を行うように構成されている。ＨＥＶＣでは、イントラ予測処理が行われる場合、復号画像を逐次生成することで、後続に符号化処理を行うＣＵにおけるイントラ予測処理において、かかる復号画像を再利用可能となるように構成されている。
As shown in FIGS. 5(a) and 5(b), the
そのため、図５（ｃ）及び図５（ｄ）に示すように、イントラ予測部１４は、ＣＵ＃１（左上のＣＵ）及びＣＵ＃２（右上のＣＵ）に対するイントラ予測を行う際には、下側に位置するＣＵ（ＣＵ＃３及びＣＵ＃４）が復号済みであるため、これらのＣＵの復号画像を参照画素として再利用可能である。
Therefore, as shown in FIGS. 5(c) and 5(d), the
そこで、イントラ予測部１４は、各ＣＵのスキャン順が逆Ｚスキャンである場合には、下側のＣＵが既に復号済みのＣＵに対しては、通常のＨＥＶＣで行われるイントラ予測処理の代わりに、少なくとも下側及び左側に隣接する参照画素を用いてイントラ予測処理を行うように構成されている。
Therefore, when the scan order of each CU is reverse Z scan, the
同様に、イントラ予測部１４は、各ＣＵのスキャン順がＮスキャンである場合には、右側のＣＵが既に復号済みのＣＵに対しては、通常のＨＥＶＣで行われるイントラ予測処理の代わりに、少なくとも右側及び上側に隣接する参照画素を用いてイントラ予測処理を行うように構成されている。
Similarly, when the scan order of each CU is N-scan, the
エントロピー符号化部１５は、符号化処理順決定部１１によって決定されたスキャン順及びイントラ予測モード決定部１３によって決定されたイントラ予測モードに対して、エントロピー符号化処理を施すように構成されている。
The
具体的には、図１に示すように、エントロピー符号化部１５は、符号化処理順符号化部１５１と、イントラ予測モード符号化部１５２とを具備している。
Specifically, as shown in FIG. 1 , the
符号化処理順符号化部１５１は、符号化処理順決定部１１により決定されたスキャン順に対してエントロピー符号化処理を施すように構成されている。
The encoding processing
イントラ予測モード符号化部１５２は、イントラ予測モード候補生成部１２により生成されたイントラ予測モード候補及びイントラ予測モード決定部１３により決定されたイントラ予測モードに基づいて、イントラ予測モードに対してエントロピー符号化処理を施すように構成されている。
The intra prediction
従来のＨＥＶＣでは、３５個のイントラ予測モードのうち、より選択される確率の高いＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）に登録されている３個のイントラ予測モードを除いた３２個のイントラ予測モードに対して、５ビットのフラグ情報をストリーム出力するよう構成されている。 In the conventional HEVC, of the 35 intra prediction modes, 32 intra prediction modes excluding 3 intra prediction modes registered in MPM (Most Probable Mode) with a higher probability of being selected , 5-bit flag information is stream-output.
一方、本実施形態では、イントラ予測モード符号化部１５２は、イントラ予測モード候補生成部１２によってカテゴリＡに属するイントラ予測モード、ＤＣモード及びＰｌａｎａｒモードのみが選択可能であると判定された場合（すなわち、符号化対象ＣＵに逆Ｚスキャンが適用されると判定された場合）、或いは、イントラ予測モード候補生成部１２によってカテゴリＣに属するイントラ予測モード、ＤＣモード及びＰｌａｎａｒモードのみが選択可能であると判定された場合（すなわち、符号化対象ＣＵにＮスキャンが適用されると判定された場合）には、選択される可能性のあるイントラ予測モードは、計１０個となることから、ＭＰＭに登録されている３個のイントラ予測モードを除いた７個のモードに対して、３ビットのフラグ情報をストリーム出力するように構成することができる。かかる構成によれば、イントラ予測モードの符号化に必要な情報量を削減することができ、符号化効率が向上する。
On the other hand, in the present embodiment, the intra prediction
上述の例では、固定長符号化した場合を例に３ビットと説明したが、可変長符号化やコンテキスト適応算術符号化（ＣＡＢＡＣ）等を用いてエントピー符号化を行う場合には、ストリーム出力されるビット数は３ビットとは限らない。 In the above example, fixed-length coding is described as 3 bits. The number of bits used is not limited to 3 bits.
また、本実施形態に係る復号装置３は、動画像を構成するフレーム単位の画像を分割したＣＵごとに復号するように構成されている。ここで、本実施形態に係る復号装置３は、本実施形態に係る符号化装置１と同様に、動画像を構成するフレーム単位の画像を階層的に四分木分割することができるように構成されている。
Further, the
図６に示すように、本実施形態に係る復号装置３は、エントロピー復号部３１と、イントラ予測モード候補生成部３２と、イントラ予測部３３とを具備している。
As shown in FIG. 6 , the
エントロピー復号部３１は、符号化装置１から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化対象ＣＵの符号化処理順を取得するように構成されている。
The
具体的には、エントロピー復号部３１は、符号化処理順復号部３１１と、イントラ予測モード復号部３１２とを具備している。
Specifically, the
符号化処理順復号部３１１は、符号化装置1から出力されたストリームに対してエントロピー復号処理を施すことによって、各ＣＵに対するスキャン順を示すフラグ情報を取得するように構成されている。
The encoding process
イントラ予測モード候補生成部３２は、符号化処理順復号部３１１によって復号されたフラグ情報によって示されているスキャン順に基づいて、符号化対象ＣＵのイントラ予測モード候補を生成するように構成されている。
The intra prediction mode
具体的には、イントラ予測モード候補生成部３２は、符号化装置１を構成するイントラ予測モード候補生成部１２と同様に、各ＣＵに適用するスキャン順に基づいて、図４に示すカテゴリＡ、Ｂ、Ｃ、ＤＣモード、Ｐｌａｎａｒモードのうち、各ＣＵに適用可能なイントラ予測モード候補を生成するよう構成されている。
Specifically, similar to the intra prediction mode
イントラ予測モード復号部３１２は、イントラ予測モード候補生成部３２によって生成されたイントラ予測モード候補に基づいて、符号化装置１から出力されたストリームに対してエントロピー復号処理を施すことによって、各ＣＵに適用するイントラ予測モードを取得するよう構成されている。
The intra prediction
イントラ予測部３３は、符号化処理順復号部３１１によって取得されたスキャン順及びイントラ予測モード復号部３１２によって取得されたイントラ予測モードに基づいて、符号化対象ＣＵに対するイントラ予測処理を施すように構成されている。
The
具体的には、イントラ予測部３３は、符号化装置１を構成するイントラ予測部１４と同様に、各ＣＵに適用するイントラ予測モード及び各ＣＵに隣接する復号済み参照画素の存在する位置に応じて、イントラ予測処理を施すよう構成されている。
Specifically, similar to the
本実施形態に係る符号化装置１及び復号装置３によれば、符号化装置１によってスキャン順を制御することにより、イントラ予測効率を向上させることができ、また、適用するスキャン順に基づいて伝送するイントラ予測モードの情報量を低減することができ、符号化効率を向上させることができる。
According to the
（第２の実施形態）
以下、図７を参照して、本発明の第２の実施形態に係る符号化装置１及び復号装置３について、上述の第１の実施形態に係る符号化装置１及び復号装置３との相違点に着目して説明する。
(Second embodiment)
Hereinafter, with reference to FIG. 7, regarding the
本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像を階層的な二分木分割によりＣＵに分割して符号化するように構成されている。
The
上述の第１の実施形態では、四分木分割によって分割されているＣＵに対するスキャン順の決定、イントラ予測モード候補の生成、イントラ予測モード及びスキャン順に対するエントロピー符号化処理について記載したが、本実施形態では、ＣＵに対して二分木分割を適用した場合について記載する。 In the above-described first embodiment, determination of the scan order for CUs divided by quadtree partitioning, generation of intra prediction mode candidates, and entropy coding processing for intra prediction modes and scan orders have been described. The form describes the case where binary tree partitioning is applied to the CU.
ＣＵに対して二分木分割を適用する場合には、縦長の２つのＣＵに分割する場合と、横長の２つのＣＵに分割する場合の２種類の分割方法からさらに選択可能である。 When applying binary tree partitioning to a CU, it is possible to further select from two types of partitioning methods: partitioning into two vertically elongated CUs and partitioning into two horizontally elongated CUs.
さらに、縦長の２つのＣＵに分割する場合には、図７（ａ）に示すＣＵ＃１（左側のＣＵ）→ＣＵ＃２（右側のＣＵ）の左右順スキャンと、図７（ｂ）に示すＣＵ＃２（右側のＣＵ）→ＣＵ＃１（左側のＣＵ）の左右逆スキャンの２種類のスキャン順が選択可能である。 Furthermore, when splitting into two vertically long CUs, CU #1 (left CU) → CU #2 (right CU) shown in FIG. It is possible to select two types of scan order of left-right reverse scan of CU#2 (CU on the right side)→CU#1 (CU on the left side).
一方、横長の２つのＣＵに分割する場合には、図７（ｃ）に示すＣＵ＃１（上側のＣＵ）→ＣＵ＃２（下側のＣＵ）の上下順スキャンと、図７（ｄ）に示すＣＵ＃２（下側のＣＵ）→ＣＵ＃１（上側のＣＵ）の上下逆スキャンの２種類のスキャン順が選択可能である。 On the other hand, when splitting into two horizontally long CUs, CU#1 (upper CU)→CU#2 (lower CU) shown in FIG. can be selected from two types of scanning order, ie, upside down scanning of CU#2 (lower CU)→CU#1 (upper CU) shown in FIG.
符号化処理順決定部１１は、ＣＵを縦長の２つのＣＵに分割する場合には、左右順スキャン及び左右逆スキャンのうちのどちらの符号化処理を適用するかについて決定するように構成されている。
The encoding process
一方、符号化処理順決定部１１は、ＣＵを横長の２つのＣＵに分割する場合には、上下順スキャン及び上下逆スキャンのうちのどちらのスキャン順を適用するかについて決定するように構成されている。
On the other hand, when dividing a CU into two horizontally long CUs, the encoding process
イントラ予測モード候補生成部１２は、符号化処理順決定部１１によって決定されたスキャン順に基づいて、各ＣＵに適用可能なイントラ予測モード候補を生成するように構成されている。
The intra prediction mode
以下、本実施形態に係るイントラ予測処理について説明する。 Intra prediction processing according to the present embodiment will be described below.
イントラ予測モード候補生成部１２は、符号化処理順決定部１１によって決定されたスキャン順が左右順スキャン及び上下順スキャンである場合には、Ａ、Ｂ、Ｃの３つのカテゴリ、ＤＣモード及びＰｌａｎａｒモードを、各ＣＵの選択可能なイントラ予測モード候補とするように構成されている（すなわち、ＨＥＶＣでのイントラ予測モードの候補と同様)。
When the scan order determined by the encoding process
一方、イントラ予測モード候補生成部１２は、符号化処理順決定部１１によって決定されたスキャン順が左右逆スキャンである場合には、カテゴリＣに属するイントラ予測モード、ＤＣモード及びＰｌａｎａｒモードを、各ＣＵの選択可能なイントラ予測モード候補とするように構成されている。
On the other hand, when the scan order determined by the encoding process
さらに、イントラ予測モード候補生成部１２は、符号化処理順決定部１１によって決定されたスキャン順が上下逆スキャン順である場合には、カテゴリＡに属するイントラ予測モード、ＤＣモード及びＰｌａｎａｒモードを、各ＣＵの選択可能なイントラ予測モード候補とするように構成されている。
Further, when the scan order determined by the encoding process
なお、上述の第１の実施形態では、階層的な四分木分割の場合について説明し、本実施形態では、階層的な二分木分割の場合について説明したが、これらのどちらも選択可能な階層分割可能な符号化方式に対しても各ＣＵが四分木分割及び二分木分割のどちらの分割を選択したかに応じて切り替えることで適用可能である。 In the above-described first embodiment, the case of hierarchical quadtree partitioning was explained, and in the present embodiment, the case of hierarchical binary tree partitioning was explained. It can also be applied to a splittable encoding method by switching according to whether each CU has selected quadtree splitting or binary tree splitting.
すなわち、符号化対象ＣＵは、原画像に対して四分木分割及び二分木分割の少なくとも一方を階層的に適用することによって得られるように構成されていてもよい。 That is, the encoding target CU may be configured to be obtained by hierarchically applying at least one of quadtree partitioning and binary tree partitioning to the original image.
（その他の実施形態）
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As noted above, the present invention has been described through the above-described embodiments, but the statements and drawings forming part of the disclosure in such embodiments should not be understood to limit the present invention. From such disclosure, various alternative embodiments, implementations and operational techniques will become apparent to those skilled in the art.
また、上述の実施形態では特に触れていないが、上述の符号化装置１及び復号装置３によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。
Moreover, although not particularly mentioned in the above-described embodiment, a program may be provided that causes a computer to execute each process performed by the above-described
或いは、上述の符号化装置１及び復号装置３内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
Alternatively, a chip configured by a memory storing a program for realizing at least part of the functions in the
１…符号化装置
１１…符号化処理順決定部
１２…イントラ予測モード候補生成部
１３…イントラ予測モード決定部
１４…イントラ予測部
１５…エントロピー符号化部
１５１…符号化処理順符号化部
１５２…イントラ予測モード符号化部
３…復号装置
３１…エントロピー復号部
３１１…符号化処理順復号部
３１２…イントラ予測モード復号部
３２…イントラ予測モード候補生成部
３３…イントラ予測部
Claims (6)
前記符号化の対象である符号化対象ブロックの符号化処理順を決定するように構成されている符号化処理順決定部と、
前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、
前記イントラ予測モード候補の中から前記符号化対象ブロックに適用するイントラ予測モードを決定するように構成されているイントラ予測モード決定部と、
決定された前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部と、
前記符号化処理順及び前記イントラ予測モードに対して、エントロピー符号化処理を施すように構成されているエントロピー符号化部とを具備し、
前記生成部は、前記符号化処理順が逆Ｚスキャンである場合、下側及び左側に隣接する参照画素を用いるイントラ予測モード群を前記イントラ予測モード候補として生成し、
前記生成部は、前記符号化処理順がＮスキャンである場合、右側及び上側に隣接する参照画素を用いるイントラ予測モード群を前記イントラ予測モード候補として生成することを特徴とする符号化装置。 An encoding device configured to divide and encode an original image in units of frames constituting a moving image into blocks,
an encoding processing order determination unit configured to determine the encoding processing order of the encoding target block to be encoded;
a generation unit configured to generate intra prediction mode candidates for the encoding target block based on the encoding processing order;
an intra prediction mode determination unit configured to determine an intra prediction mode to be applied to the encoding target block from among the intra prediction mode candidates;
an intra prediction unit configured to perform intra prediction processing on the encoding target block based on the determined encoding processing order and the intra prediction mode;
an entropy coding unit configured to perform entropy coding processing on the coding processing order and the intra prediction mode ;
When the encoding process order is reverse Z scan, the generation unit generates an intra prediction mode group using reference pixels adjacent to the lower side and the left side as the intra prediction mode candidates,
The encoding device, wherein the generation unit generates, as the intra prediction mode candidates, an intra prediction mode group using reference pixels adjacent to the right side and upper side when the encoding processing order is N scan .
符号化装置から出力されたストリームに対してエントロピー復号処理を施すことによって、前記符号化対象ブロックの符号化処理順を取得するように構成されている符号化処理順復号部と、
前記符号化処理順に基づいて、前記符号化対象ブロックのイントラ予測モード候補を生成するように構成されている生成部と、
前記イントラ予測モード候補に基づいて、前記ストリームに対してエントロピー復号処理を施すことによって、前記符号化対象ブロックに適用するイントラ予測モードを取得するように構成されているイントラ予測モード復号部と、
前記符号化処理順及び前記イントラ予測モードに基づいて、前記符号化対象ブロックに対するイントラ予測処理を施すように構成されているイントラ予測部とを具備し、
前記生成部は、前記符号化処理順が逆Ｚスキャンである場合、下側及び左側に隣接する参照画素を用いるイントラ予測モード群を前記イントラ予測モード候補として生成し、
前記生成部は、前記符号化処理順がＮスキャンである場合、右側及び上側に隣接する参照画素を用いるイントラ予測モード群を前記イントラ予測モード候補として生成することを特徴とする復号装置。 A decoding device configured to divide and decode an original image of each frame constituting a moving image into blocks to be encoded ,
an encoding processing order decoding unit configured to acquire the encoding processing order of the encoding target block by performing entropy decoding processing on a stream output from an encoding device;
a generation unit configured to generate intra prediction mode candidates for the encoding target block based on the encoding processing order;
an intra prediction mode decoding unit configured to acquire an intra prediction mode to be applied to the encoding target block by performing entropy decoding processing on the stream based on the intra prediction mode candidate;
an intra prediction unit configured to perform intra prediction processing on the encoding target block based on the encoding processing order and the intra prediction mode ;
When the encoding process order is reverse Z scan, the generation unit generates an intra prediction mode group using reference pixels adjacent to the lower side and the left side as the intra prediction mode candidates,
The decoding device, wherein the generation unit generates, as the intra prediction mode candidates, an intra prediction mode group using reference pixels adjacent to the right side and upper side when the encoding processing order is N scan .
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017177136 | 2017-09-14 | ||
| JP2017177136 | 2017-09-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019054517A JP2019054517A (en) | 2019-04-04 |
| JP7194539B2 true JP7194539B2 (en) | 2022-12-22 |
Family
ID=66015426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018171407A Active JP7194539B2 (en) | 2017-09-14 | 2018-09-13 | Encoding device, decoding device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7194539B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7410033B2 (en) | 2018-08-20 | 2024-01-09 | 日本放送協会 | Encoding device, decoding device and program |
| CN113098234B (en) | 2020-01-08 | 2022-11-01 | 台达电子企业管理（上海）有限公司 | Power supply system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004253826A (en) | 2002-10-03 | 2004-09-09 | Matsushita Electric Ind Co Ltd | Adaptive macroblock scanning method for video and image compression |
| WO2008012918A1 (en) | 2006-07-28 | 2008-01-31 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and apparatus |
| WO2008084817A1 (en) | 2007-01-09 | 2008-07-17 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and device |
| WO2017131233A1 (en) | 2016-01-28 | 2017-08-03 | 日本放送協会 | Encoding device, decoding device, and program |
-
2018
- 2018-09-13 JP JP2018171407A patent/JP7194539B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004253826A (en) | 2002-10-03 | 2004-09-09 | Matsushita Electric Ind Co Ltd | Adaptive macroblock scanning method for video and image compression |
| WO2008012918A1 (en) | 2006-07-28 | 2008-01-31 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and apparatus |
| WO2008084817A1 (en) | 2007-01-09 | 2008-07-17 | Kabushiki Kaisha Toshiba | Image encoding and decoding method and device |
| WO2017131233A1 (en) | 2016-01-28 | 2017-08-03 | 日本放送協会 | Encoding device, decoding device, and program |
Non-Patent Citations (1)
| Title |
|---|
| Han Huang et al.，EE2.1: Quadtree plus binary tree structure integration with JEM tools，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-C0024_r1，3rd Meeting: Geneva, CH，2016年05月，pp.1-5 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019054517A (en) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI627856B (en) | Method and apparatus of video coding and decoding | |
| US11259044B2 (en) | Method for encoding and decoding motion information, and apparatus for encoding and decoding motion information | |
| US11870999B2 (en) | Method for encoding and decoding motion information and device for encoding and decoding motion information | |
| KR20190084235A (en) | Apparatus and method for video coding and decoding | |
| US10178405B2 (en) | Enhanced coding and decoding using intra block copy mode | |
| KR20130085977A (en) | Multiple sign bit hiding within a transform unit | |
| US20180376150A1 (en) | Encoding device, decoding device, and program | |
| US11871030B2 (en) | Methods and apparatuses for encoding and decoding motion vector difference using sequence MMVD information | |
| US20200275117A1 (en) | Method for encoding and decoding motion information, and apparatus for encoding and decoding motion information | |
| US20210006824A1 (en) | Encoding and decoding method for motion information, and encoding and decoding device for motion information | |
| JP7194539B2 (en) | Encoding device, decoding device and program | |
| KR20130004181A (en) | Method and apparatus for encoding and decoding motion information using skip mode | |
| JP7415058B2 (en) | Determination device, encoding device, decoding device and program | |
| JP7093152B2 (en) | Encoding device, decoding device and program | |
| JP7410033B2 (en) | Encoding device, decoding device and program | |
| JP2021090221A (en) | Encoder, decoder and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200529 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20200612 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210813 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7194539 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |