JP7179080B2 - 画像境界処理を使用して画像を符号化および復号する装置および方法 - Google Patents

画像境界処理を使用して画像を符号化および復号する装置および方法 Download PDF

Info

Publication number
JP7179080B2
JP7179080B2 JP2020552780A JP2020552780A JP7179080B2 JP 7179080 B2 JP7179080 B2 JP 7179080B2 JP 2020552780 A JP2020552780 A JP 2020552780A JP 2020552780 A JP2020552780 A JP 2020552780A JP 7179080 B2 JP7179080 B2 JP 7179080B2
Authority
JP
Japan
Prior art keywords
split
image
modes
block
partitioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020552780A
Other languages
English (en)
Other versions
JP2021519547A (ja
Inventor
ウィエコウスキ,アダム
ゲオルク,ワレリ
ヒンツ,トビアス
シュヴァルツ,ハイコ
マルペ,デトレフ
ウィーガント,トーマス
マ,ジャッキー
ブランデンブルク,イェンス
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2021519547A publication Critical patent/JP2021519547A/ja
Priority to JP2022182494A priority Critical patent/JP2023017980A/ja
Application granted granted Critical
Publication of JP7179080B2 publication Critical patent/JP7179080B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像およびビデオの符号化に関する。本発明の実施形態は、特定サイズの入力画像およびビデオデータをより小さな要素(エンティティ)に分割する特定の方法に関する。特に、本発明の実施形態は、再帰的画像信号分割における画像境界処理に関する。
最新のビデオコーディングアプリケーションでは、特定サイズの入力ビデオ信号がより小さなチャンクに分割される[1]。この分割は、各レベルに関連付けられた特定の情報および記述を有する多数の構造で構成される。最先端のビデオコーデックH.265/HEVC[1]では、最も重要な細分割はマクロブロックへの細分割である。これらのマクロブロック、またはコーディングツリーユニット(CTU)は、符号化された画像上の固定グリッドにまたがる事前定義されたサイズ(32x32または64x64の輝度サンプルなど)の二次構造である。他の全ての分割レベルは、この固定の細分割を単位として定義される。例えば、スライスおよびタイルへのより粗い高レベル分割は、含まれるCTUを単位として定義される。
H.265/HEVC[1]では、各CTUから開始して、クワッドツリー構造は、固定CTUをフレキシブルサブ構造に再帰的に分割する手段を提供するよう信号伝送される。各レベルでは、定義されたパラメータ範囲で、4つのサブブロックに分割するか、指定したレベルで符号化する必要があるブロックが推測または信号伝達される。このプロセスは、現在の高レベルパラメータで定義されているようにそれ以上の分割が不可能になるか、現在のレベルでそれ以上の分割を実行する必要がないことを示すフラグが読み取られるまで、再帰的に繰り返される。この場合、符号化ユニットの信号と、そのサブ構造の信号が読み取られる。
クワッドツリー分割の信号は、時々、省略され、真または偽のいずれかとして推測される場合がある。最も注目すべきは、固定的な性質のため、CTUは必ずしもビデオ画像境界と整列しているとは限らない。この場合、クワッドツリー分割構造のCTUまたはサブブロックが画像境界に完全に含まれていなければ、分割フラグは明示的なシグナリングなしで正と推測される。分割後、サブブロックがビデオ画像境界の完全に外側にあれば、このブロックのそれ以上のシグナリングは読み取られない。
H.265/HEVC[1]を超える機能を備えた将来のビデオ規格の開発では、クワッドツリー再帰分割構造がさまざまな分割構成によって拡張される[2]。ブロックが4つの二次サブパートに分割されていない場合、2分割が信号伝達されて、1/2の分割比を使用してこのブロックを2つの長方形ブロックに分割する必要があることを示す。この信号にはまた、分割を水平方向に適用すべきか垂直方向に適用すべきかについての情報も含まれる。このような長方形のブロックは、バイナリツリー分割シンタックスを使用して、より小さな二次または長方形のブロックにさらに再帰的に分割できる。この拡張された分割ツリーはQTBTと呼ばれる[2]。QTBTは、H.265/HEVC規格[1]とまったく同じように、暗黙的な4分割を使用して画像境界を処理する。QTBTでは、ブロックが画像境界を越えると、4分割が推測され、信号は読み取られない。
特許文献5では、新しい分割方法である汎用2分割(Generalized Binary Splitting(GBS))について説明しており、これは、4分割を含まない場合もあるが、4分割と共に使用する場合もある。この方法では、2分割は、1/2以外の分割比で分割を実行するように信号伝達できる(QTBTでは、2分割は現在のブロックの中央で分割を実行する)。この分割は、以前の分割に関連するシンタックスを使用して信号伝達される場合もある(例えば、水平および垂直ではなく、垂直および平行)。
しかしながら、従来の分割方法は、画像境界の処理においてかなり厳密である。上で説明したように、従来の分割方法では、画像境界で暗黙的な4分割を使用できる。すなわち、従来技術は、画像境界で完全に暗黙的な分割導出を使用している。そのような暗黙的な信号処理は、良好な信号処理効率を可能にする場合がある。しかしながら、これでは柔軟性が低くなる場合がある。
したがって、本発明の目的は、既存の分割方法を拡張して、画像境界処理においてより柔軟にすると同時に、画像境界処理の信号処理のためのビット配分を縮小することである。
本発明は、請求項1に記載の画像を符号化する装置と、請求項10に記載の画像を復号する装置と、請求項19に記載の画像を符号化する方法と、請求項20に記載の画像を復号する方法と、請求項21に記載のコンピュータプログラムと、を提供することによる解決策を提供する。
第1の態様は、画像を符号化する装置に関する。装置は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するように構成されている。すなわち、装置は、当該再帰的なマルチツリー分割を使用して画像をより小さなチャンクに分割するように構成されている。この小さなチャンクは、特定サイズのブロックであり得る。マルチツリーのステップを行うことにより、画像の分割は第1レベルのツリールートブロックから始まり、リーフブロックで終わる場合があり、該リーフブロックは、マルチツリーの最後ブロックであり、したがって、分割の最小の要素である。ツリールートブロックと分割されたリーフブロックとの間で、装置は、1つの分割ツリーレベルから1つまたは複数の後続の分割ツリーレベルに段階的に実行することができ、各ツリーレベルで、特定のツリーレベルの現在のブロックが2つ以上のより小さなブロックに分割される。例えば、HEVCでは、ツリールートブロックは、いわゆるマクロブロックまたはコーディングツリーユニット(CTU)と称され、リーフブロックは、いわゆるサブブロックまたはコーディングユニット(CU)と称される。したがって、CTUは、1つまたは複数のCUに分割することができ、リーフブロック、またはツリールートブロックとリーフブロックとの間のツリーレベルでの任意のブロックをサブブロックと呼ぶことができる。さらに、本開示では、ツリールートブロック、またはリーフブロック、またはツリールートブロックとリーフブロックとの間のツリーレベルでの任意のブロックを所定のブロックと呼ぶことができる。したがって、所定のブロックは、マルチツリー分割の所定のツリーレベルに対応し得る。装置は、ブロックベースのコード体系を利用することができ、すなわち、装置は、画像のリーフブロックへの分割を使用することによって、画像をデータストリームにブロックベースで符号化するように構成される。分割は、スプリットと呼ばれることもある。ツリールートブロックを分割し、より小さなリーフブロックとするには、特定の分割手順を使用して、ブロックをより小さなサブブロックに分割することができる。これらの分割手順は、分割モードと呼ばれることもあり、ツリーレベルごとに分割モードが異なる場合がある。さらに、所定のブロックは、所定のサイズを含み得る。所定のブロックを画像上にグリッドとして配置する場合、そのサイズのために、所定のブロックのいくつかが画像境界を越えて延びる場合がある。例えば、所定のブロックの第1の部分は、画像の内側に置かれ、一方、当該所定のブロックの第2の部分は、画像の外側に置かれることがある。したがって、画像境界は、所定のブロックと交差し得る。一般に、画像境界は、異なる位置で所定のブロックと交差し得る。例えば、画像の角が所定ブロックに含まれると、画像境界は、水平方向、垂直方向、またはその両方で所定のブロックと交差し得る。これらの状況を処理するために、本発明は以下の解決策を提供する。画像をリーフブロックに分割する一方で、装置は、従来技術によって使用される完全に暗黙的な分割導出と比較される分割モードの縮小されたセットを使用することによって、マルチツリー分割の所定のツリーレベルに対応し、かつ画像の境界を越えて延びる所定のブロックを分割するように構成される。本発明によれば、装置は、画像境界が当該所定のブロックと交差する上記の位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを少なくするように構成される。したがって、装置は、1つまたは複数の分割モードの縮小されたセットを得る。縮小されたセットは、分割モードの縮小されたセットで利用可能な分割モードの数を示すカーディナリティを含み得る。したがって、縮小されたセットのカーディナリティが1である場合、すなわち、縮小されたセットが1つの分割モードのみを含む場合、装置は、所定のブロックを分割するためのこの縮小されたセットの分割モードを適用するように構成される。縮小されたセットのカーディナリティが1より大きい場合、すなわち、縮小されたセットが2つ以上の異なる分割モードを含む場合、装置は、縮小されたセットのこれらの分割モードの1つを選択し、所定のブロックを分割するための分割モードの選択された1つを適用するように構成され、装置は、データストリームにおけるそれぞれの選択を信号伝達する。言い換えれば、本発明の装置は、現在の所定のブロックを分割するための分割モードの縮小されたセットを事前に選択することができる。当該事前選択は、画像境界に対するブロックの現在の位置に依存し得る。結果として、本発明の装置は、分割モードの事前に選択された縮小されたセットから好適な分割モードを選択するだけでよい場合がある。これにより、データストリームで選択された分割モードを信号伝達するビット配分が縮小される。これは、分割自体に関する情報を転送する必要がなく、縮小された分割セットが2つ以上の分割モードを含む場合、例えば、1つのビン(bin)で、残りの不確実性のみを信号伝達する必要があるためである。
第2の態様は、画像を復号する装置に関する。装置は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するように構成されている。装置はさらに、画像のリーフブロックへの分割を使用して、画像をデータストリームからブロックベースで復号するように構成される。装置は、画像をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、画像の境界を越えて延びる所定のブロックについて、境界が、1つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するようにさらに構成される。縮小されたセットのカーディナリティが1である場合、装置は、所定のブロックを分割するための縮小されたセットの分割モードを適用するように構成され、縮小されたセットのカーディナリティが1より大きい場合、装置は、縮小されたセットの分割モードの1つを選択し、データストリームにおける信号伝達に従って、所定のブロックを分割するための分割モードの選択された1つを適用するように構成される。当該画像を復号する装置の利点に関しては、画像を符号化する装置の利点を説明する上記の一節を参照されたい。
第3の態様は、画像を符号化する方法に関し、本方法は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するステップを含む。本方法はさらに、画像のリーフブロックへの分割を使用して、画像をデータストリームにブロックベースで符号化するステップを含む。本方法は、画像をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、かつ画像の境界を越えて延びる所定のブロックについて、境界が、1つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するステップをさらに含む。縮小されたセットのカーディナリティが1である場合、本方法は、所定のブロックを分割するための縮小されたセットの分割モードを適用するステップを含み、縮小されたセットのカーディナリティが1より大きい場合、本方法は、縮小されたセットの分割モードの1つを選択するステップと、所定のブロックを分割するための分割モードの選択された1つを適用するステップと、データストリームにおける選択を信号伝達するステップと、を含む。当該画像を符号化する方法の利点に関しては、画像を符号化する装置の利点を説明する上記の一節を参照されたい。
第4の態様は、画像を復号する方法に関し、本方法は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するステップを含む。本方法はさらに、画像のリーフブロックへの分割を使用して、画像をデータストリームからブロックベースで復号するステップを含む。本方法は、画像をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、かつ画像の境界を越えて延びる所定のブロックについて、境界が、1つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するステップをさらに含む。縮小されたセットのカーディナリティが1である場合、本方法は、所定のブロックを分割するための縮小されたセットの分割モードを適用するステップをさらに含み、縮小されたセットのカーディナリティが1より大きい場合、本方法は、縮小されたセットの分割モードの1つを選択するステップと、データストリームにおける信号伝達に従って、所定のブロックを分割するための分割モードの選択された1つを適用するステップと、をさらに含む。当該画像を復号する方法の利点に関しては、画像を符号化する装置の利点を説明する上記の一節を参照されたい。
第5の態様によれば、コンピュータプログラムが提供され、コンピュータプログラムの各々は、コンピュータまたは信号プロセッサ上で実行されるときに上記の方法を実装するように構成され、その結果、上記の方法は、コンピュータプログラムのうちの1つによって実装される。
本発明の有利な態様は、独立請求項の主題である。従属請求項に定義されている本出願の好ましい実施形態は、図に関して以下に例示的に説明される。
本出願の実施形態によるイントラ予測概念を実装することができるエンコーダの例として画像を予測的にコード化する装置のブロック図を示す。 本出願の実施形態によるイントラ予測概念を実装することができるデコーダの例として、図1の装置に合う、画像を予測的に復号する装置のブロック図を示す。 予測残差信号、予測信号、および再構成信号の間の関係の例を示す概略図を示しており、それぞれ、コーディングモード選択、変換選択、および変換性能の細分割の設定が可能であることを示す。 本概念によるエンコーダの実施形態を示す。 本概念によるデコーダの実施形態を示す。 利用可能な分割モードのフルセットを含む完全に制限のない決定ツリーを示す。 本概念による分割モードの縮小されたセットを含む制限のある決定ツリーを示す。 利用可能な分割モードのフルセットを含むさらに完全に制限のない決定ツリーを示す。 本概念による分割モードの縮小されたセットを含む制限のある決定ツリーを示す。 ブロックが画像境界を越えて延びるさまざまなケースの概略図を示す。 4分割モードの例を示す。 垂直方向の2分割モードの例を示す。 水平方向の2分割モードの例を示す。 垂直方向の3分割モードの例を示す。 水平方向の3分割モードの例を示す。 4分割のみを使用してマクロブロックをリーフブロックに分割する例を示す。 分割モードの縮小されたセットから選択された4分割、垂直方向の4分割、および水平方向の4分割を使用してマクロブロックをリーフブロックに分割する例を示す。 本概念による画像を符号化する方法のブロック図を示す。 本概念による画像を復号する方法のブロック図を示す。
以下の説明では、等しいまたは同等の機能を有する、等しいまたは同等の1つまたは複数の要素は、等しいまたは同等の参照番号で示される。
図の以下の説明は、本明細書で説明される概念の多数の例示的かつ非限定的な例および実施形態のいくつかを説明するだけであり得る。CTUは、マクロブロックの非限定的な例として説明され得、一方、CUは、サブブロックの非限定的な例として説明され得る。さらに、(例えば、長方形の)画像は、例えば、多数のタイルから構成されてもよく、各々が画像自体を表す。HEVC[1]では、このようなタイリングは、例えば、全方向性ビデオ用に、画像タイルの高レベル概念によって使用および処理される。このようなタイリングは、CTU解像度で利用できる。このような制限が緩和された場合、「符号化された画像」が多数のタイルで構成され、各々が独自の境界および独自のコンテンツを有する場合がある。その意味で、符号化された画像は、より多くの画像境界を含み得、各タイルが、独自の「画像データ」境界を有する独自の「画像データ」を構成し、本発明で説明されるのと同じ規則が適用され得る。したがって、本明細書で「画像境界」という用語が使用される場合、これは、例えば、1つまたは複数のタイルに属する「現在の画像データ境界」も含み得る。
以下の図の説明は、実施形態を組み込むことができるコーディングフレームワークの例を形成するために、ビデオの画像を符号化するためのブロックベースの予測符号化のエンコーダおよびデコーダの説明の提示から始まる。エンコーダおよびデコーダについては、図1~図3で説明する。以下、本出願の概念の実施形態の説明は、そのような概念を図1および図2のエンコーダおよびデコーダにそれぞれどのように組み込むことができるかに関する説明と共に提示されるが、後続の図4および以下で説明される実施形態を使用して、図1および図2のエンコーダおよびデコーダの基礎となるコーディングフレームワークに従って動作しないエンコーダおよびデコーダを形成することもできる。
図1は、変換ベースの残差符号化を使用して、画像12をデータストリーム14に予測符号化する装置の一例を示す。符号化装置、またはエンコーダは、符号10で示される。図2は、対応する復号装置、またはデコーダ20を示し、これはまた、変換ベースの残差復号を使用して、データストリーム14から画像12’を予測的に復号するように構成された装置であり、ここで、アポストロフィは、デコーダ20によって再構成された画像12’が、予測残差信号の量子化によってもたらされた符号化損失という観点で、装置10によって最初に符号化された画像12から逸脱し得ることを示すために使用されている。図1および図2は、変換ベースの予測残差符号化を例示的に使用するが、本出願の実施形態は、この種の予測残差符号化に限定されない。これは、以下に概説されるように、図1および図2に関して説明される他の詳細にも当てはまる。
エンコーダ10は、予測残差信号を空間-スペクトル変換にかけ、こうして得られた予測残差信号をデータストリーム14に符号化するように構成され得る。同様に、デコーダ20は、データストリーム14からの予測残差信号を復号し、こうして得られた予測残差信号をスペクトル-空間変換にかけるように構成され得る。
内部的に、エンコーダ10は、元の信号、すなわち画像12からの信号と予測信号26との偏差を測定するための予測残差24を生成する予測残差信号形成器22を含み得る。予測残差信号形成器22は、例えば、元の信号、すなわち画像12の信号から予測信号を減算する減算器であり得る。エンコーダ10は、予測残差信号24を空間-スペクトル変換し、スペクトル領域予測残差信号24’を取得する変換器28をさらに含み、スペクトル領域予測残差信号24’は、エンコーダ10に含まれる量子化器32によって量子化される。このように量子化された予測残差信号24’’は、ビットストリーム14に符号化される。この目的のために、エンコーダ10は、データストリーム14に変換および量子化される予測残差信号をエントロピー符号化するエントロピー符号化器34を任意選択により備えることができる。予測残差26は、データストリーム14に符号化され、またデータストリーム14から復号可能な予測残差信号24’’に基づいて、エンコーダ10の予測ステージ36によって生成される。この目的のために、予測ステージ36は、図1に示されるように、量子化損失を除いて信号24’に対応するスペクトル領域予測残差信号24’’’を得るために予測残差信号24’’を逆量子化する逆量子化器38と、続いて、量子化損失を除いて元の予測残差信号24に対応する予測残差信号24’’’’を得るために、予測残差信号24’’’を逆変換、すなわちスペクトル-空間変換にかける逆変換器40と、を内部的に含み得る。次に、予測ステージ36の合成器42は、再構成信号46、すなわち元の信号12の再構成を得るために、予測信号26と予測残差信号24’’’’とを加算し、再合成する。再構成信号46は、信号12’に対応し得る。次に、予測ステージ36の予測モジュール44は、例えば、空間予測、すなわち、イントラ予測、および/または時間予測、すなわち、インター予測を使用することによって、信号46に基づいて予測信号26を生成する。
同様に、図2に示されるように、デコーダ20は、予測ステージ36に対応し、予測ステージ36に対応する方法で相互接続されるコンポーネントから内部的に構成されてもよい。特に、デコーダ20のエントロピー復号器50は、データストリームからの量子化されたスペクトル領域予測残差信号24’’をエントロピー復号することができ、その後、逆量子化器52、逆変換器54、合成器56、および予測モジュール58は、予測ステージ36のモジュールに関して上述した方法で相互接続および協働し、図2に示されるように、合成器56の出力が再構成信号、すなわち画像12’をもたらすように、予測残差信号24’’に基づいて再構成信号を出力する。
上記に具体的に記載されていないが、エンコーダ10が、例えば、あるレートや歪みに関連する基準、すなわち、符号化コストを最適化する方法などのいくつかの最適化スキームに従って、例えば、予測モード、モーションパラメータなどを含むいくつかの符号化パラメータを設定できることは容易に明らかである。例えば、エンコーダ10およびデコーダ20ならびに対応するモジュール44、58は、それぞれ、イントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートすることができる。エンコーダおよびデコーダがこれらの予測モードタイプを切り替える粒度は、画像12および12’それぞれの符号化セグメントまたは符号化ブロックへの細分割に対応し得る。これらの符号化セグメントのユニットで、例えば、画像は、イントラ符号化されたブロックとインター符号化されたブロックとに細分割され得る。以下でより詳細に概説するように、イントラ符号化されたブロックは、それぞれのブロックの空間的で、既に符号化/復号された近傍に基づいて予測される。いくつかのイントラ符号化モードが存在し、方向または角度のイントラ符号化モードを含むそれぞれのイントラ符号化されたセグメントに対して選択され得、これにより、それぞれの方向のイントラ符号化モードに特有の特定の方向に沿って近傍のサンプル値を、それぞれのイントラ符号化されたセグメントに外挿することにより、それぞれのセグメントが満たされる。イントラ符号化モードは、例えば、DC符号化モード(これにより、それぞれのイントラ符号化されたブロックの予測がそれぞれのイントラ符号化されたセグメント内のすべてのサンプルにDC値を割り当てる)および/または平面イントラ符号化モード(これにより、隣接するサンプルに基づいて、2次元線形関数によって定義される平面の駆動の傾きとオフセットを用いて、それぞれのブロックの予測が、それぞれのイントラ符号化されたブロックのサンプル位置にわたる2次元線形関数によって記述されるサンプル値の空間分布であると近似または決定される)などの1つまたは複数のさらなるモードを含むことができる。それと比較して、インター符号化ブロックは、例えば、時間的に予測され得る。インター符号化ブロックの場合、動きベクトルはデータストリーム内で信号伝達され得、動きベクトルは、それぞれのインター符号化ブロックの予測信号を得るために、以前に符号化/復号された画像がサンプリングされる場所での、画像12が属するビデオの以前に符号化された画像の部分の空間変位を示す。これは、量子化されたスペクトル領域予測残差信号24’’を表すエントロピー符号化変換係数レベルなど、データストリーム14に含まれる残差信号符号化に加えて、データストリーム14は、符号化モードをさまざまなブロックに割り当てる符号化モードパラメータ、インター符号化セグメント用のモーションパラメータなどのブロックのいくつかのための予測パラメータ、ならびに画像12および12’の細分割をそれぞれセグメントに制御および信号伝達するパラメータなどの任意選択の追加パラメータに符号化されてもよいことを意味する。デコーダ20は、これらのパラメータを使用して、エンコーダが行ったのと同じ方法で画像を細分割し、同じ予測モードをセグメントに割り当て、同じ予測を実行して同じ予測信号を生成する。
図3は、再構成画像12’の再構成信号と、データストリームで信号伝達される予測残差信号24’’’’と、予測信号26との組み合わせの関係を示す。上述したように、組み合わせは追加であり得る。予測信号26は、図3において、ハッチングを使用して例示的に示されるイントラ符号化されたブロック、およびハッチングなしで例示的に示されるインター符号化ブロックへの画像領域の細分として示される。細分割は、ブロックの行および列への画像領域の通常の細分割などの任意の細分割、またはブロックへのクワッドツリー細分割などのさまざまなサイズのリーフブロックへの画像12のマルチツリー細分割であり得、それらの混合が図3に示され、ここで、画像領域は、最初にツリールートブロックの行および列に細分割され、次に、再帰的なマルチツリー細分割に従ってさらに細分割される。この場合も、データストリーム14は、イントラ符号化されたブロック80のために、いくつかのサポートされたイントラ符号化モードのうちの1つをそれぞれのイントラコード化されたブロック80に割り当てるイントラ符号化モードを有し得る。さらなる詳細を以下で説明する。インター符号化ブロック82の場合、データストリーム14は、その中に符号化された1つまたは複数のモーションパラメータを有することができる。一般的に言えば、インター符号化ブロック82は、時間的符号化に限定されない。あるいは、インター符号化ブロック82は、画像12が属するビデオの以前に符号化された画像、または別のビューもしくはそれぞれスケーラブルなエンコーダおよびデコーダであるエンコーダ10およびデコーダ20の場合の階層的に下層の画像などの現在の画像12自体を超えて以前に符号化された部分から予測された任意のブロックであり得る。図3の予測残差信号24’’’’はまた、ブロック84への画像領域の細分割として示される。これらのブロックは、符号化ブロック80および82と区別するために、変換ブロックと呼ばれる場合がある。事実上、図3は、エンコーダ10およびデコーダ20を、それぞれ、画像12および画像12’の異なる細分割を使用してブロックにしている。すなわち、一方はそれぞれ符号化ブロック80および82への細分割、別の方は変換ブロック84への細分割に使用できることを示している。両方の細分割は同じである場合があり、すなわち、各符号化ブロック80および82は、同時に変換ブロック84を形成することができるが、図3は、例えば、変換ブロック84への細分割が、符号化ブロック80、82への細分割の拡張を形成する場合を示し、これにより、ブロック80と82との2つのブロック間の任意の境界が2つのブロック84間の境界に重なるか、または代替的に言えば、各ブロック80、82は、変換ブロック84の1つと一致するか、または変換ブロック84のクラスターと一致する。しかしながら、細分割はまた、変換ブロック84がブロック80、82の間のブロック境界を交互に横切ることができるように、互いに独立して決定または選択され得る。したがって、変換ブロック84への細分割に関する限り、ブロック80、82への細分割に関して提起されたものと同様のステートメントが当てはまり、すなわち、ブロック84は、画像領域の行および列に配置されたブロックへの通常の細分割の結果、画像領域の再帰的なマルチツリー細分割の結果、またはそれらの組み合わせ、またはその他の種類のブロック化であり得る。余談であるが、ブロック80、82、および84は、二次、長方形、または任意の他の形状に限定されないことに留意されたい。
図3は、予測信号26と予測残差信号24’’’’との組み合わせが、結果として直接再構成信号12’となることを示す。しかしながら、代替実施形態によれば、2つ以上の予測信号26を予測残差信号24’’’’と組み合わせて、結果として画像12’を得ることができることに留意されたい。
図3では、変換ブロック84は、以下の意味を有するものとする。変換器28および逆変換器54は、これらの変換ブロック84のユニットでそれらの変換を実行する。例えば、多くのコーデックは、すべての変換ブロック84に、ある種のDSTまたはDCTを使用する。いくつかのコーデックは、変換をスキップすることを可能にするので、変換ブロック84のいくつかについて、予測残差信号は、空間領域で直接符号化される。しかしながら、以下に説明する実施形態によれば、エンコーダ10およびデコーダ20は、それらがいくつかの変換をサポートするように構成される。例えば、エンコーダ10およびデコーダ20によってサポートされる変換は、以下を含むことができる。
DCT-II(またはDCT-III)、DCTは離散コサイン変換の略
DST-IV、DSTは離散サイン変換の略
DCT-IV
DST-VII
恒等変換(IT)
当然、変換器28はこれらの変換のすべての順方向変換バージョンをサポートするが、デコーダ20または逆変換器54はその対応する逆方向または逆バージョンをサポートするであろう。
逆DCT-II(または逆DCT-III)
逆DST-IV
逆DCT-IV
逆DST-VII
恒等変換(IT)
以下の説明は、エンコーダ10およびデコーダ20によってサポートされ得る変換についてのさらなる詳細を提供する。いずれの場合でも、サポートされる変換のセットは、1つのスペクトル-空間または空間-スペクトル変換など、1つの変換のみを含む場合があることに留意されたい。
既に上で概説したように、図1~図3は、本出願によるエンコーダ10およびデコーダ20の特定の例を形成するために、以下でさらに説明する概念を実装できる例として提示されている。これまでのところ、図1および図2のエンコーダ10およびデコーダ20は、それぞれ、本明細書で以下に説明するエンコーダおよびデコーダの可能な実装を表す。ただし、図1および図2は単なる例である。本出願の実施形態によるエンコーダは、後に詳述するように、図1に示したエンコーダとは異なる概念を使用して画像12のブロックベースの符号化を実行することができる。例えば、ビデオエンコーダではないが、静止画エンコーダであり、またインター予測をサポートしていないが、ブロック80への細分割が図3に例示されているのとは異なる方法で実行されている。さらにはこのエンコーダは、変換予測残差コーディングを使用せず、代わりに、例えば、空間領域で予測残差を直接符号化する。同様に、本出願の実施形態によるデコーダは、以下でさらに概説されるように、データストリーム14からの画像12’のブロックベースの復号を実行することができるが、例えば、図2のデコーダ20とは異なる場合があり、ビデオデコーダでないが、静止画デコーダである。同じようにイントラ予測をサポートしていない、または同じように図3に関して説明された方法とは異なる方法でブロックへの画像12’をブロックに細分割する、および/または同じように変換領域では、データストリーム14から予測残差を導出しないが、例えば空間領域では導出する。
図4Aは、画像12をデータストリーム14に符号化する装置10の実施形態を示す。画像12は、ブロックに細分割され得るか、または例えば、HEVCベースのコーデックの場合、マクロブロックに細分割され得、CTU、101a、101b、…、101oとも呼ばれる。
以下ではエンコーダ10とも呼ばれる装置10は、マクロブロック101a、101b、…、101oをより小さなサブブロック102a、102b、102c、102dに、そして最後にリーフブロック(リーフブロックは、まだ図4Aに示されていないが、これについては後で図8Aおよび図8Bを参照して説明する)にさらに分割するように構成される。エンコーダ10は、再帰的なマルチツリー分割を使用して画像12をリーフブロックに分割するように構成されている。当該リーフブロックをさらに処理するために、エンコーダ10は、画像12をデータストリーム14にブロックベースで符号化するように、すなわち、リーフブロックを符号化することによって、構成される。
画像12をデータストリーム14とするブロックベースの符号化は、データストリーム14内のそれぞれの信号を含み得、その信号は、とりわけ、データストリーム14への分割に関する指示、例えば、1つまたは複数の分割パラメータを示す指示、例えば、現在のブロックの分割に使用されている分割モードおよび分割比を含み得る。
マルチツリー分割に関して、ブロックは分割ツリーに沿って分割することができ(例えば、図5A~図5D)、分割ツリーの各ノードは、画像内のそれぞれのブロックに属することができる。ブロックが分割されている場合、分割されたツリーは、分割レベルとも呼ばれる後続の分割レベルで後続のツリーノードに続くことができる。データストリーム14における上記の信号は、1つまたは複数の分割レベルで行うことができる。いくつかの例によれば、分割パラメータ(例えば、分割モード、分割比など)は、1つまたは複数の分割レベルでデータストリーム14中に信号伝達することができ、いくつかの他の例では、分割パラメータ(例えば、分割モード、分割比など)は、各分割レベルでデータストリーム14中に信号伝達することができる。さらなる例によれば、分割パラメータは、分割ツリーの分割レベルでデータストリーム14中に信号伝達することができ、当該分割レベルのツリーノードは、符号化される画像12の画像境界に置かれる1つまたは複数のブロックに属することができる。データストリーム14における上記の信号は、本明細書に記載される本発明の概念および対応する実施形態の各々に関連して使用され得る。
図4Aに戻ると、マクロブロック101a、101b、…、101oは、画像12上の固定グリッドにまたがる所定のサイズの二次構造であることがわかる。この固定グリッドは画像12のサイズを超える可能性があるため、当該グリッドのマクロブロック101a、101b、…、101oのいくつかが画像12の境界を越える可能性があることが時々起こり得る。図4Aでは、そのようなシナリオは、マクロブロック101e、101m、および101oによって例示的に示されている。
例えば、マクロブロック101eに関して、マクロブロック101eの左上部分および左下部分は、画像12の内側に置かれ、一方、マクロブロック101eの右上部分および右下部分は、画像12の外側に置かれる。したがって、マクロブロック101eは、画像12の境界を越えて延び、これにより、画像12の当該境界が特定の位置、すなわち、マクロブロック101eの左上部分および左下部分が画像12の内側に置かれ、一方、マクロブロック101eの右上部分および右下部分が画像12の外側に置かれるような位置でマクロブロック101eと交差する。
例えば、マクロブロック101oに関して、マクロブロック101oの左上部分のみが画像12の内側に置かれ、一方、マクロブロック101oの右上、右下、および左下の部分は、画像12の外側に置かれる。さらに、マクロブロック101mについては、マクロブロック101mの左上部分および右上部分が画像12の内側に置かれ、マクロブロック101mの左下部分および右下部分が画像12の外側に置かれる。したがって、画像12のそれぞれの境界は、異なる位置でそれぞれのマクロブロック101e、101m、101oと交差する。マクロブロックの位置、特に画像12の境界に対するマクロブロック101e、101m、101oの位置に関する詳細は、図6を参照して本文のいくらか後で説明される。
上記のように、マクロブロック101a、101b、…、101oは、より小さなサブブロックに分割され得、最後にリーフブロックに分割され得る。サブブロック102a、102b、102c、102dに関して、非限定的な例が示されている。サブブロック自体は、リーフブロックに到達するまで分割にかけられ得る。分割はスプリットとも呼ばれ、マクロブロックおよびサブブロックのそのようなスプリットは、異なる分割モードを使用することによって実行することができる。例としては、4分割、水平方向の2分割(バイスプリットとも呼ばれる)、垂直方向の2分割、水平方向の3分割(トリスプリットとも呼ばれる)、および垂直方向の3分割があり得る。スプリットシグナリングは、バイナリ決定ツリーを使用して実行することができ、当該スプリットシグナリングは、前述の方法でデータストリーム14に示され得る。
このような決定ツリーの簡単な説明については、図5A~図5Dを参照すればよく、これらの図では、画像境界でのスプリットシグナリングと画像内のスプリットシグナリングとを比較している。図5Aおよび図5Cは、画像内のスプリットシグナリングに使用できる完全に制限のない決定ツリーを示し、図5Bおよび図5Dは、画像境界でのスプリットシグナリングに使用できる本概念による例示的な制限のある決定ツリーを示す。
図5Aの完全に制限のない決定ツリーは、例えば、非特許文献2で説明されるようなクワッドツリープラスバイナリツリー(QTBT)構造に基づき得る利用可能な分割モードのセットとして本概念で使用され得る。QTBTスキームは、ブロックをより小さなブロックに分割するための利用可能な分割モードのセットを含み、利用可能な分割モードのセットは、4つの示された分割モード、すなわち、4分割、分割なし、垂直方向の分割、または水平方向の分割を含む。したがって、ブロックをより小さなブロックに分割するたびに、従来技術のエンコーダは、完全に制限のない決定ツリー、すなわち利用可能な分割モードの完全なセットを常に実行しなければならない場合がある。見てわかるように、決定ツリーで水平方向または垂直方向の分割(すなわち、リーフブロック)に到達するには、3つのビン(bins)を費やす必要がある。エンコーダはさらに、データストリームでそれぞれ選択された分割モードを信号伝達する必要がある。しかしながら、画像境界において、従来技術は、暗黙的な4分割を実行し、データストリーム内の関連する指示を信号伝達することを控えることができる。これにより、画像境界でのブロックの処理が非常に柔軟でなくなる。
図5Cの完全に制限のない決定ツリーは、例えば、非特許文献2および非特許文献3で説明されるようなクワッドツリープラスバイナリツリー(QTBT)プラスマルチタイプツリー(MTT)構造に基づき得る利用可能な分割モードのセットとして本概念で使用され得る。QTBT+MTTスキームは、ブロックをより小さなブロックに分割するための利用可能な分割モードのセットを含み、利用可能な分割モードのセットは、6つの示された分割モード、すなわち、4分割、分割なし、垂直方向の2分割、垂直方向の3分割、水平方向の2分割、および水平方向の3分割を含む。したがって、ブロックをより小さなブロックに分割するたびに、従来技術のエンコーダは、完全に制限のない決定ツリー、すなわち利用可能な分割モードの完全なセットを常に実行しなければならない場合がある。この例では、決定ツリーで水平方向または垂直方向の分割(すなわち、リーフブロック)に到達するには、4つのビン(bins)を費やす必要がある。エンコーダはさらに、データストリームでそれぞれ選択された分割モードを信号伝達する必要がある。しかしながら、画像境界において、従来技術は、暗黙的な4分割を実行し、データストリーム内の関連する指示を信号伝達することを控えることができる。これにより、図5Aと比較して、画像境界でのブロックの処理がさらに柔軟でなくなる。
したがって、本発明によれば、エンコーダ10は、利用可能な分割モードのセットを縮小して、図4Aに示される所定のブロック101e、101m、および101oを参照して以前に例示的に説明されたように、少なくとも画像境界に置かれる(すなわち、少なくとも部分的に画像12の内側にある)所定のブロック(マクロブロックまたはサブブロック)に対して、分割モードの縮小されたセットを提供するように構成される。
図5Bおよび図5Dに例示的に示されるように、前述の分割モードの縮小されたセットは、例えば、正確に2つの分割モードを含み得る。あるいは、分割モードの縮小されたセットは、3つ以上の分割モード、または正確に1つの分割モードを含み得る。
例えば、分割モードの縮小されたセットは、4分割(図7A)および垂直方向の分割を含み得る。垂直方向の分割は、例えば、垂直方向の2分割(図7B)または垂直方向の3分割(図7D)であり得る。
追加的または代替的に、分割モードの縮小されたセットは、例えば、4分割および水平方向の分割を含み得る。水平方向の分割は、例えば、水平方向の2分割(図7C)または水平方向の3分割(図7E)であり得る。
追加的または代替的に、分割モードの縮小されたセットは、例えば、垂直方向の分割および水平方向の分割を含み得る。水平方向の分割は、例えば、水平方向の2分割または水平方向の3分割であり得、垂直方向の分割は、例えば、垂直方向の2分割または垂直方向の3分割であり得る。
追加的または代替的に、分割モードの縮小されたセットは、例えば、4分割のみを含み得る。
追加的または代替的に、分割モードの縮小されたセットは、例えば、4分割が利用できない場合に、水平方向の(2または3)分割または垂直方向の(2または3)分割のいずれかを含み得る。
追加的または代替的に、縮小された分割モードは、例えば、水平方向の分割または垂直方向の分割のいずれかであり得る正確に1つの所定の分割モードを含み得る。どの分割を選択するかは、それぞれの画像境界に対する所定のブロックの位置に依存し得、例えば、水平方向の分割は、画像下部の境界の場合に選択され得、一方、垂直方向のスプリットは、画像の右の境界の場合に選択され得る。水平方向の分割は、水平方向の2分割または水平方向の3分割であり得る。垂直方向の分割は、垂直方向の2分割または垂直方向の3分割であり得る。決定ツリーを見てわかるように、例えば、図5Dでは、水平方向または垂直方向の分割の1つだけが縮小されたセットで利用可能であり得る。
上記の各場合において、2分割のうちの1つまたは複数は、例えば、1/2の分割比を含み得る。
より一般的な用語で要約すると、本明細書に記載の革新的な原理による縮小された分割セットは、以下のスプリット(分割)を含み得る。
(a)そのようなスプリットが存在する場合、適用されたときに、所与のブロックのさらなるサブ分割を妨げない制限のないスプリット。
(b)そのようなスプリットが存在する場合、画像境界に平行なエッジを設定するスプリット、および
i.そのようなスプリットが存在し、所与のブロックで許可されている場合、スプリットブロックの中央に位置するスプリット、または
ii.そのようなスプリットが存在し、所与のブロックで許可されている場合、画像境界に併置された分割エッジを設定するスプリット。
QTBTに基づくが、非特許文献3および非特許文献4、ならびに上記の異なるスプリットの可能性を提供する他の分割スキーム:4分割、垂直方向の3分割、垂直方向の2分割(例えば、分割比が1/2)、水平方向の3分割、および水平方向の2分割(例えば、分割比が1/2)(図7A~図7E参照)に対しても有効である本発明の特定の非限定的な実施形態では、本明細書に記載の革新的な原理による縮小されたスプリットセットは、次のようになり得る。
・ 4分割(a)および垂直方向の2分割(例えば、分割比1/2)(b)-iまたは垂直方向の3分割(b)-ii
・ 4分割(a)および水平方向の2分割(例えば、分割比1/2)(b)-iまたは水平方向の3分割(b)-ii
・ 4分割(a)、または水平方向もしくは垂直方向の2分割もしくは3分割、例えば、分割比1/2(例えば、いくつかの制約のために4分割が利用不可であり得る場合)
したがって、革新的な原理による分割モードの縮小されたセットは、画像境界でブロックを分割する分割モードの事前に選択されたものを含み得る。エンコーダ10は、画像境界でブロックを分割する分割モードの縮小されたセットに含まれる分割モードの1つを選択することができ、エンコーダ10は、データストリーム14において選択された分割モードを信号伝達することができる。したがって、本概念は、従来技術における暗黙的な4分割と比較した場合、画像境界でのブロックのシグナリングを拡張することができる。しかしながら、エンコーダ10は、データストリーム14の不確実性を信号伝達する必要があるだけであり得、これは、シグナリングの労力を無視できないレベルに保つ。しかしながら、本概念は、従来技術と比較して、画像境界でブロックを分割する際にはるかに高い柔軟性を提供する。この柔軟性の向上は、わずかに高いシグナリングの労力を補う、および/または上回る場合がある。
図5Bは、2つの異なる分割モード、すなわち4分割および垂直方向の2分割を含む分割モードの縮小されたセットを例示的に示し得るが、縮小されたセットはまた、4分割および水平方向の2分割、または垂直方向の2分割および水平方向の2分割、または上記の任意の他の組み合わせを含み得る。一例によれば、分割モードの縮小されたセットは、少なくとも1つの分割モードを含み得る。さらなる例によれば、分割モードの縮小されたセットは、少なくとも2つの異なる分割モードを含み得る。さらなる例によれば、分割モードの縮小されたセットは、利用可能な分割モードのセットがこれらの2つの異なる分割モードより多くを含み得るとしても、正確に2つの異なる分割モードのみを含み得る。
分割モードの縮小されたセットに含まれるべき分割モードの選択は、画像12の境界に対するそれぞれの所定のブロック101e、101m、101oの位置に依存し得、すなわち、画像12の境界が所定のブロック101e、101m、101oと交差する位置に依存する。
言い換えれば、エンコーダ10は、画像12をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、画像12の境界を越えて延びる所定のブロック101e、101m、101oについて、画像12の境界が、1つまたは複数の分割モードの縮小されたセットを得るように所定のブロック101e、101m、101oと交差する位置に応じて、所定のブロック101e、101m、101oを分割するための利用可能な分割モードのセットを縮小するように構成される。
本発明によれば、縮小されたセットのカーディナリティが1である場合、すなわち、分割モードの縮小されたセットが1つの分割モードのみを含み得る場合、エンコーダ10は、所定のブロック101e、101m、101oを分割するためのこの縮小されたセットの分割モードを適用するように構成される。
しかしながら、縮小されたセットのカーディナリティが1より大きい場合、すなわち、分割モードの縮小されたセットが2つ以上の分割モードを含む場合、エンコーダ10は、縮小されたセットのこれらの分割モードの1つを選択し、所定のブロック101e、101m、101oを分割するための分割モードの選択された1つを適用するように構成される。さらに、エンコーダ10は、上で説明した方法で、データストリーム14内でそれぞれの選択、すなわち選択された分割モードを信号伝達するように構成される。例えば、エンコーダ10は、1ビットフラグを設定することによって選択を信号伝達することができる。しかしながら、上記のように、分割モードの既に縮小されたセットに含まれる分割モード間の不確実性のみが、データストリーム14で信号伝達されなければならない場合がある。
上記のように、縮小されたセットのカーディナリティは、例えば、正確に1つまたは正確に2つであり得る。
図4Bは、データストリーム14内の画像12を復号するために対応する装置20を示し、当該装置は、以下ではデコーダ20とも称す。
デコーダ20は、再帰的なマルチツリー分割を使用して、画像12をリーフブロックに分割し、画像12のリーフブロックへの分割を使用して、データストリーム14から画像12をブロックベースで復号するように構成される。
デコーダ20は、画像12をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、画像12の境界を越えて延びる所定のブロックについて、画像12の境界が、1つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するようにさらに構成される。
この場合も、縮小されたセットのカーディナリティが1である場合、すなわち、分割モードの縮小されたセットが1つの分割モードのみを含み得る場合、デコーダ20は、所定のブロックを分割するための縮小されたセットの分割モードを適用するように構成される。
縮小されたセットのカーディナリティが1より大きい場合、すなわち、分割モードの縮小されたセットが2つ以上の分割モードを含む場合、デコーダ20は、縮小されたセットの分割モードの1つを選択し、データストリーム14における信号伝達に従って、所定のブロックを分割するための分割モードの選択された1つを適用するように構成される。すなわち、デコーダ20は、データストリーム14から信号を導出し、どの分割モードを分割に使用するかをデコーダ20に向けて示すことができる。この信号は、エンコーダ10によってデータストリームに以前に含められた可能性がある上記の1ビットフラグであり得る。
したがって、本明細書に記載の概念は、境界処理の新しいメカニズムを提供する。これは、通常、特定のレベルで2つ以上の分割を許可するすべての再帰的な分割方法に適用できる場合がある。この場合も、本概念は、従来技術の暗黙的な分割と比較した場合、画像境界でのブロックの信号処理を拡張することができる。しかしながら、本概念は、従来技術と比較して、画像境界でブロックを分割する際にはるかに高い柔軟性を提供する。この柔軟性の向上は、本概念により、分割モードの縮小されたセットのわずかに高いシグナリングの労力を補う、および/または上回る場合がある。
本概念の非限定的な例が、図4Aと同様の分割された画像12を図6に示す。しかしながら、図6は、いくつかのさらなる詳細、すなわち、サイズw×h(幅×高さ)を有する画像12を示しており、この画像12は、ブロック、例えば、マクロブロック101a、101b、…、101o、より小さなサブブロック、および最後にリーフブロックに細分割される。3つの特定のマクロブロックが強調表示され、丸で囲まれた番号1、2、および3で番号が付けられる。これらの例示的な強調表示されたマクロブロックは、図4に示した、前述のマクロブロック101e、101m、101oに対応し得る。さらに、リーフブロックについては、図8Aおよび図8Bを参照して、本文の後半で詳しく説明する。
図6は、画像12を固定サイズの厳密なマクロブロック構造に分割することを示している(例えば、H.265/HEVC[1]でのCTU分割またはH.265/HEVC[2]を超える機能を備えた将来のビデオ規格)。この例では、ビデオ信号の解像度は、単一のマクロブロック101a、101b、…、101oのサイズの倍数に空間的に制限されない場合があると想定され得る。これらの前提条件が与えられている場合、マクロブロック行の最後のマクロブロックおよび/または最後のマクロブロック行のすべてのマクロブロックが、画像12の少なくとも1つの境界を越える場合があると推測され得る。このような場合、このマクロブロックのコーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)への低レベル分割、または任意の他のタイプのサブCTUレベル分割は、コード化された分割が画像12の境界の内側に置かれることを確実にする必要がある。本明細書に記載の概念は、ブロックを分割する縮小されたスプリットセットの定義を可能にすることができ、例えば、マクロブロック101mは、幅w、および高さhを有する位置x、yによって定義され、このブロックは、以下の6つのケースのうちの少なくとも1つでサイズw×hの画像12の境界を越える場合がある。
C1:ブロック101eに対応、すなわち、ブロック101eの右上角は画像12に含まれず、左下角は画像12に含まれる(左上角は画像12の内側にある):
+w>w;y+h≦h;x≧0;y≧0、
C2:ブロック101mに対応、すなわち、ブロック101mの右上角は画像12に含まれ、左下角は画像12に含まれない(左上角は画像12の内側にある):
+w≦w;y+h>h;x≧0;y≧0、
C3:ブロック101oに対応、すなわち、右上角および左下角の両方は画像12に含まれない(左上角は画像12の内側にある):
+w>w;y+h>h;x≧0;y≧0、
C4:ブロックの左上角は画像に含まれず、左下角は画像12に含まれず、右上角は画像12に含まれる:
<0;y≧0;x+w>0(このケースは、ケース1と同等に処理され、個別に指定されない場合がある)、
C5:ブロックの左上角は画像12に含まれず、右上角は画像12に含まれず、左下角は画像12に含まれる:
≧0;y<0;y+h>0(このケースは、ケース2と同等に処理され、個別に指定されない場合がある)、
C6:次のブロック角の1つだけが画像12に含まれる:右下、右上、または左下(このケースは、ケース3と同等に処理され、個別に指定されない)。
ケースC1~C6のいずれもが特定の所定のブロックおよび画像12に当てはまらない場合、所定のブロックは画像12の境界の外側にあり得、本明細書に記載の概念にそれ以上関心がない場合がある。2つ以上のケースが同時に当てはまる場合があり、具体的には、ケースペアC1およびC4、C2およびC5、またはC3およびC6が同時に当てはまる場合がある。これらのケースペアはすべて同等に処理されるため、特定のコンステレーションを個別に処理する必要はない。
これらのケースC1~C6のうちの少なくとも1つを処理するために、本概念は、実際に利用可能な分割モードのセットから選択された1つまたは複数の分割モードを含み得る分割モードの縮小されたセットを提供する。
この実際に利用可能な分割モードのセットは、使用されるブロックベースの符号化スキームに応じて、エンコーダ10によって選択され得る。一例によれば、エンコーダ10は、
・画像境界に対する所定のブロックの場所から独立して、および/または
・所定のブロックが出現する先行するツリーレベルの分割モードのシーケンスに依存して、
所定のブロックの利用可能な分割モードのセットを決定するように構成されてもよい。
同じことがデコーダ20にも当てはまる。一例によれば、デコーダ20は、
・ 画像境界に対する所定のブロックの場所から独立して、および/または
・ 所定のブロックが出現する先行するツリーレベルの分割モードのシーケンスに依存して、
所定のブロックの利用可能な分割モードのセットを決定するように構成されてもよい。
この場合も、上記のケースC1~C6のうちの少なくとも1つを処理するために、本概念は、実際に利用可能な分割モードのセットから選択された1つまたは複数の分割モードを含み得る分割モードの縮小されたセットを提供する。
例えば、縮小されたスプリットセットは、次のスプリットで構成されている場合がある。
(a)そのようなスプリットが存在する場合:適用されたときに、所与のブロックのさらなるスプリットに制限を課さない制限のないスプリット。
(b)ケースC1およびC2の場合、そのようなスプリットが存在する場合:画像12の境界に平行なエッジを設定するスプリット。
i.そのようなスプリットが存在し、所与のブロックで許可されている場合、スプリットブロックの中央に位置するスプリット。
ii.そのようなスプリットが存在し、所与のブロックで許可されている場合、画像12の境界に併置された分割エッジを設定するスプリット。
言い換えれば、エンコーダ10は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 所定のツリーレベルに続く後続のツリーレベルの1つまたは複数の後続のスプリットに制限を課さない分割(例えば、上記のスプリット(a)参照)を含む第1の分割モード、および
・ 少なくとも1つのスプリット線に沿って所定のブロックを2つまたは3つのサブブロックに分割するスプリットを含む第2の分割モードのうちの少なくとも1つを選択するように構成されてもよく、
分割線は、所定のブロック内の境界の位置に平行であり、分割線が、所定のブロックの内側に中央に配置されているもの(例えば、上記のスプリット(b)-i参照)、および画像12の境界に併置されるもの(例えば、上記のスプリット(b)-ii参照)のうちの少なくとも1つである。
同じことがデコーダ20にもそれぞれ当てはまる。すなわち、デコーダ20は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 所定のツリーレベルに続く後続のツリーレベルの1つまたは複数の後続のスプリットに制限を課さない分割(例えば、上記のスプリット(a)参照)を含む第1の分割モード、および
・ 少なくとも1つの分割線に沿って所定のブロックを2つまたは3つのサブブロックに分割するスプリットを含む第2の分割モードのうちの少なくとも1つを選択するように構成されてもよく、
分割線は、所定のブロック内の境界の位置に平行であり、分割線が、所定のブロックの内側に中央に配置されているもの(例えば、上記のスプリット(b)-i参照)、および画像12の境界に併置されるもの(例えば、上記のスプリット(b)-ii参照)のうちの少なくとも1つである。
スプリット(b)-iiが指定したブロックに使用される分割方法で利用可能でない場合、スプリット(b)-iは縮小されたスプリットセットに含まれる場合がある。スプリット(b)-iは、一般的にスプリット(b)-iiよりも優先される場合がある。上記のように、少なくとも1つのスプリットが縮小されたスプリットセットに含まれ得る。
一例によれば、スプリット(a)は4分割であり得、スプリット(b)-iは水平方向の2分割または垂直方向の2分割のうちの少なくとも1つであり得る。さらなる例によれば、非特許文献3および非特許文献4で説明されているように追加で導入されたスプリットの1つは、画像12の境界が分割されたブロックの1/4または3/4にある場合、(b)-iiに使用できる。特定の実装では、非特許文献3および/または非特許文献4で導入された追加のスプリットよりも、分割比が1/2の垂直方向または水平方向の分割が優先される場合がある。
上記の分割は、図7A~図7Eに概略的に示される。図7Aは、所定のブロック701(マクロブロックまたはサブブロック)が4つの等しい区分71a、71b、71c、71dに分割される4分割(4スプリット)を示す。図7Bは、分割比1/2の垂直方向の2分割(2スプリット)を示し、所定のブロック702(マクロブロックまたはサブブロック)が2つの等しい垂直方向の区分72a、72bに分割される。図7Cは、分割比1/2の水平方向の2分割を示し、所定のブロック703(マクロブロックまたはサブブロック)が2つの等しい水平方向の区分73a、73bに分割される。図7Dは、非特許文献3に記載されているような垂直方向の3分割を示し、所定のブロック704(マクロブロックまたはサブブロック)が3つの垂直方向の区分74a、74b、74cに分割される。図7Eは、非特許文献3に記載されているような水平方向の3分割を示し、所定のブロック705(マクロブロックまたはサブブロック)が3つの水平方向の区分75a、75b、75cに分割される。
一例によれば、図7Bに示されるような垂直方向の2分割は、画像12のそれぞれの境界がそれぞれの所定のブロック702と交差し、その結果、それぞれのブロック702の内側に置かれる画像12の境界もまた、垂直、すなわち、垂直方向のスプリット線に平行である場合に適用され得る。このような場合は、例えば、図6に示すようにブロック101eに当てはまり得る。
図7Cに示されるような水平方向の2分割は、画像12のそれぞれの境界がそれぞれの所定のブロック703と交差し、その結果、それぞれのブロック703の内側に置かれる画像12の境界もまた、水平、すなわち、水平方向のスプリット線に平行である場合に適用され得る。このような場合は、例えば、図6に示されるようにブロック101mに当てはまり得る。
一般化された2分割((Generalized Binary Splitting(GBS))を使用できるさらなる例によれば、一般化されたGBSツリーがクワッドツリー構造のサブツリーとして使用された場合、スプリット(a)は、分割比が1/2の垂直分割(GBSのデフォルトスプリットであり得る、ただし、分割ツリーがこれまでのところ制限されていない場合)または4分割である場合がある。垂直/平行セマンティクスに変換される可能性のある垂直方向および水平方向の分割は、スプリット(b)-iまたは(b)-iiとして使用できる(おそらく、それに応じて調整された分割修飾子(スプリットモディファイヤー)を使用)。この場合も、他のスプリットが画像12の境界に併置されたスプリットを提供する場合でも、修飾子1/2を使用した分割が優先される場合がある。
QTBTに基づき得るが、非特許文献3および非特許文献4で説明されているスキーム、および次の3つのスプリット(4分割、分割比が1/2の垂直方向の分割、および分割比が1/2の水平方向の分割)の可能性を提供する任意の他の分割スキームにも有効であり得るさらなる例では、3つの例示的な縮小されたスプリットセット(RSS)は、
RSS1:4分割(a)および分割比が1/2の垂直方向のスプリット(b)-i、
RSS2:4分割(a)および分割比が1/2の水平方向のスプリット(b)-i、
RSS3:4分割(a)または分割比が1/2の垂直方向もしくは水平方向のスプリット(b)-iのいずれか、であってもよい。
分割モードのこれらの例示的な縮小されたセット、すなわち、RSS1、RSS2、およびRSS3は、利用可能な分割モードのセットのサブセットの1つの非限定的な例であり得る。すなわち、分割モードの縮小されたセットは、利用可能な分割モードのセットで(所定のツリーレベルの所定のブロックに対して)利用可能である1つまたは複数の利用可能なスプリットを含み得る。利用可能な分割モードのセットに含まれるスプリットの数は、符号化スキームに応じて変化する場合があり、分割モードの縮小されたセットに含まれるスプリットの数は、画像12の境界に対するそれぞれの所定のブロック(つまり、現在のツリーレベルで分割される)の位置に応じて変化する場合がある。
上記のように、エンコーダ10は、利用可能な分割モードのセットを決定することができる。すなわち、エンコーダ10は、どの分割モード(例えば、4分割、垂直方向の2分割、水平方向の2分割など)が利用可能な分割モードのセットに含まれるかを選択的に選択することができる。
例えば、上記のブロックベースの符号化スキームは、4分割、少なくとも1つの水平方向の2分割(おそらく異なる修飾子を使用)、および少なくとも1つの垂直方向の2分割(おそらく異なる修飾子を使用)を含む分割モードの基本セットを含み得る。
しかしながら、一部のスプリット、特に一部の2分割は制限的である場合がある。例えば、2分割が所定のブロックに適用された場合、4分割は後続のスプリットとして許可されない場合がある。言い換えれば、4分割は、以前のツリーレベルの先行するスプリットが制限的スプリットの1つ、特に制限的2分割の1つを含まない場合にのみ、特定のツリーレベルでのみ許可される場合がある。
したがって、制限的スプリットの1つ、特に制限的2分割の1つが、所定のツリーレベルで所定のブロックに適用された場合、後続のスプリットは、上記のプリミティブセットのみを含み、4分割を含まない場合がある。
したがって、一実施形態によれば、エンコーダ10は、
・ 所定のブロックが出現する先行するツリーレベルのすべての分割モードが2分割の制限されたセットではない場合、4分割、少なくとも1つの水平方向の2分割、および少なくとも1つの垂直方向の2分割を含む分割モードのプリミティブセットに等しくなり、
・ 所定のブロックが出現する先行するツリーレベルの分割モードが2分割の制限されたセットの1つである場合、分割モードのプリミティブセットから4分割を差し引いたものに等しくなるように、
利用可能な分割モードのセットを決定するように構成されてもよい。
同じことがデコーダ20にも当てはまる。したがって、デコーダ20は、
・ 所定のブロックが出現する先行するツリーレベルのすべての分割モードが2分割の制限されたセットではない場合、4分割、少なくとも1つの水平方向の2分割、および少なくとも1つの垂直方向の2分割を含む分割モードのプリミティブセットに等しくなり、
所定のブロックが出現する先行するツリーレベルの分割モードが2分割の制限されたセットの1つである場合、分割モードのプリミティブセットから4分割を差し引いたものに等しくなるように、
利用可能な分割モードのセットを決定するように構成されてもよい。
追加的または代替的に、分割モードの上記のプリミティブセットは、少なくとも1つの水平方向の3分割(おそらく異なる修飾子を使用)、および少なくとも1つの垂直方向の3分割(おそらく異なる修飾子を使用)を含み得る。
上記のように、エンコーダ10は、分割モードの縮小されたセットを提供するために、利用可能な分割モードのセットを縮小することができる。したがって、エンコーダ10は、所定のブロックごとに、上記の利用可能な分割モードのセットから分割モードの縮小されたサブセット(すなわち、1つまたは複数の分割モード)を選択的に選択することができる。これらの選択的に選択された分割モードのみが、分割モードの縮小されたセットに含まれる場合がある。したがって、分割モードの縮小されたセットは、スプリット(a)による上記の4分割、およびスプリット(b)-iまたはスプリット(b)-iiによるスプリットの1つのうちの少なくとも1つを含み得る。
したがって、一実施形態によれば、エンコーダ10は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 4分割(a)、および
・ スプリット線に沿って所定のブロック702、703を2つのサブブロック72a、72b、73a、73bに分割する2分割のうちの少なくとも1つを選択するように構成されてもよく、スプリット線は、所定のブロック702、703内の画像境界の位置に平行であり、かつスプリット線がスプリット(b)-iに従って所定のブロックの内側に中央に配置されているもの、およびスプリット(b)-iiに従って境界に併置されるもののうちの少なくとも1つ
である。
この場合も、同じことがデコーダ20にも当てはまる。したがって、デコーダ20は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 4分割(a)、および
・ スプリット線に沿って所定のブロック702、703を2つのサブブロック72a、72b、73a、73bにスプリットする2分割のうちの少なくとも1つを選択するように構成されてもよく、スプリット線は、所定のブロック702、703内の画像境界の位置に平行であり、かつスプリット線がスプリット(b)-iに従って所定のブロックの内側に中央に配置されているもの、およびスプリット(b)-iiに従って境界に併置されるもののうちの少なくとも1つ
である。
この場合も、スプリット(b)-iは2分割(おそらく異なる修飾子を使用するが、好ましくは分割比1/2を使用)を含み得、スプリット(b)-iiは2分割および/または3分割(おそらく異なる修飾子を使用)を含み得る。
したがって、一実施形態によれば、エンコーダ10は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 4分割(a)、および
・ スプリット線に沿って所定のブロック704、705を3つのサブブロック74a、74b、74c、75a、75b、75cに分割する3分割のうちの少なくとも1つを選択するように構成されてもよく、スプリット線は、所定のブロック704、705内の画像境界の位置に平行であり、かつスプリット線がスプリット(b)-iiに従って境界に併置される。
この場合も、同じことがデコーダ20にも当てはまる。したがって、デコーダ20は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 4分割(a)、および
・ スプリット線に沿って所定のブロック704、705を3つのサブブロック74a、74b、74c、75a、75b、75cに分割する3分割のうちの少なくとも1つを選択するように構成されてもよく、スプリット線は、所定のブロック704、705内の画像境界の位置に平行であり、かつスプリット線がスプリット(b)-iiに従って境界に併置される。
図8Aおよび図8Bは、本明細書に記載の概念を、画像境界処理と共にブロックベースの符号化スキームに適用する方法の例を示す。
図8Aは、この例では、図6に示されるようなマクロブロック101oに対応し得る所定のブロックの分割を示す。ブロック101oのハッチングされた部分は、画像12の右下角の位置を表す。この例は、4分割のみを適用することによる、マクロブロック101oのより小さなサブブロックへの分割を示している。
それぞれのサブブロックに示される数字は、図8Aに示されるように、マクロブロック101oのリーフブロック分割に到達するために適用する必要がある4分割の数を示し得る。第1の4分割は、マクロブロック101oを4つの等しいサブブロック801a、801b、801c、801dに分化する。見てわかるように、左側の2つのサブブロック801a、801dのみが、依然として画像12の境界を含み得る。右側の2つのサブブロック801b、801cは、画像12の外側に置かれ、画像12の境界をもはや含まない。それらは破棄され得る。
第2の4分割は、左側の2つのサブブロック801a、801dを再び4つのより小さなサブブロックに分化する。見てわかるように、左側の2つのサブブロック802a、802b(第2の4分割に由来する)は、画像12の内側に置かれ、画像境界をもはや含まない。したがって、これらの2つのサブブロック802a、802bは、使用される分割方法に従って、制限のないスプリットセットを使用してさらに分割することができる。これらのブロックのさらなる分割は、本概念に関して本明細書でさらに詳細に説明されない場合がある。
しかしながら、残りのサブブロック(第2の4分割から導出)は、すべてに画像境界が含まれている場合があるため、3回目の分割が必要である。当該第3の分割は、番号「3」で示されるリーフブロックにつながる。
図8Bは、本明細書で説明されている縮小されたスプリットセットの概念を適用する代替の分割を示す。各サブブロックの数字は、図8Bに示されるように、マクロブロック101oのリーフブロック分割に到達するために適用する必要がある4分割および非4分割(例えば、2分割)の数を示す。第1の数字は4分割の数を示し得、第2の数字は非4分割の数を示し得る。
例えば、左上のリーフブロック802a(1,1)には、1つの4分割および1つの垂直方向の2分割が適用される。隣接する右のリーフブロック803a(1,2)には、1つの4分割および2つの垂直方向の2分割が適用される。隣接する下のリーフブロック803b(2,1)には、2つの4分割および1つの水平方向の2分割が適用される。画像12の右下角にあるリーフブロック803c(3,0)には、3つの4分割が適用され、非4分割は適用されなかった。
図8Bでは、実線は4分割によって設定されたエッジ(スプリット線)を示し、破線は垂直方向の2分割によって設定されたエッジ(スプリット線)を示し、一点鎖線は水平方向の2分割によって設定されたエッジ(スプリット線)を示す。
より詳細には、第1のツリーレベルでの第1のスプリットとして、4分割が適用され、その結果、4つの等しいサブブロック801a、801b、801c、801dがもたらされる。見てわかるように、左側の2つのサブブロック801a、801dのみが、依然として画像12の境界を含み得る。右側の2つのサブブロック801b、801cは、画像12の外側に置かれ、画像12の境界をもはや含まない。それらは破棄され得る。
左上のサブブロック801aは、第2のツリーレベルでさらに分割され得る。サブブロック801aの分割のために、縮小されたスプリットセットを提供し得る。例えば、4分割および垂直方向の2分割のうちの少なくとも1つを含むか、または垂直方向の2分割のみを含む縮小されたスプリットセットを提供し得る。図8Bに示される例では、サブブロック801aは、第2のツリーレベルで修飾子1/2を用いて垂直方向の2分割にかけられてもよく、スプリット線811は、ブロック801aの内側に中央に配置される。したがって、結果として、左上のサブブロック802aを設定することができる。
本概念では、リーフブロックであるサブブロック802aに到達するために、1つの4分割および1つの垂直方向の2分割(したがって、2つのツリーレベルのみ)を適用する必要があるだけである。代わりに、図8Aでは、図8Bの1つのみのブロック802aと同じ画像12の領域をカバーするために、2つのブロック802a、802bが必要である。
さらに、図8Bの右隣接ブロック802bは、次に第3のツリーレベルでさらに分割される。サブブロック802bの分割のために、縮小されたスプリットセットを提供し得る。例えば、以前のスプリットは既に垂直方向の2分割であり、これにより、後続の4分割が許可されない場合があるため、少なくとも垂直方向の2分割を含む縮小されたスプリットセットを提供し得る。図8Bに示される例では、サブブロック802bは、第3のツリーレベルで修飾子1/2を用いて垂直方向の2分割にかけられてもよく、スプリット線812は、ブロック802bの内側に中央に配置され、画像境界に併置される。したがって、左サブブロック803aは、結果として第3のツリーレベルで設定され得、当該左サブブロック803aは、リーフブロックであるが、それはまた、使用される分割方法でさらに分割され得る。
本概念では、リーフブロックであるサブブロック803aに到達するために、1つの4分割および2つの垂直方向の2分割(したがって、3つのツリーレベルのみ)を適用する必要があるだけである。代わりに、図8Aでは、図8Bの1つのみのブロック803aと同じ画像12の領域をカバーするために、4つのブロックが必要である。しかしながら、エンコーダ10がそのように決定する場合、4分割が常に縮小されたスプリットセットから選択されるならば、図8Aのように適用され得る。
さらに、図8Bの下隣接ブロック802dは、それぞれ第1および第2のツリーレベルでの2つの連続する4分割から派生し得、ブロック802dは、第3のツリーレベルでさらに分割され得る。サブブロック802dの分割のために、縮小されたスプリットセットを提供し得る。例えば、少なくとも4分割および水平方向の2分割を含む縮小されたスプリットセット、または水平方向の2分割のみを含む縮小されたスプリットセットを提供し得る。図8Bに示される例では、サブブロック802dは、第3のツリーレベルで修飾子1/2を用いて水平方向の2分割にかけられてもよく、スプリット線813は、ブロック802dの内側に中央に配置され、画像境界に併置される。したがって、サブブロック803bは、結果として第3のツリーレベルで設定され得、ここで、当該サブブロック803bは、リーフブロックである。
本概念では、リーフブロックであるサブブロック803bに到達するために、2つの4分割および1つの水平方向の2分割(したがって、3つのツリーレベルのみ)を適用する必要があるだけである。代わりに、図8Aでは、図8Bの1つのみのブロック803bと同じ画像12の領域をカバーする1つのみのために、2つのブロックが必要である。
ブロック803cはまた、3つの連続する4分割から導出され得るリーフブロックであり得る。リーフブロック803cのこの例は、図8Aに示される同じブロックの4分割と同一であり得る。画像12の角はリーフブロック803cにつながるブロックに含まれているので、シンタックスは分割モードの縮小されたセットでのみ4分割を提供することを可能にし得る。
一例によれば、エンコーダ10は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、所定のブロックが画像12の角を越えて延びる場合にのみ、利用可能な分割モードのセットから、4分割を選択するように構成され得る。
同じことがデコーダ20にも当てはまる。したがって、デコーダ20は、利用可能な分割モードのセットを1つまたは複数の分割モードの縮小されたセットに縮小するように、所定のブロックが画像12の角を越えて延びる場合にのみ、利用可能な分割モードのセットから、4分割を選択するように構成され得る。
図8Bに示されるように、結果として得られるリーフブロック802a、803a、803b、803cは、画像12の境界を処理するために必要とされる最小の分割を表す。追加的または代替的に、結果として得られるリーフブロック802a、803a、803b、803cは、使用される分割方法の所与の制限内でさらに分割され得る。
一般に、最後に少なくとも1つの有効なスプリットが含まれる場合、縮小されたスプリットセットにはさらに制限が課せられる場合がある。これらの制限は、
・ 指定されたブロックサイズの分割可能性(図8Bを参照)、
・ 指定された深さの分割可能性、
であり得るが、これらに限定されない。
後者の箇条書き「指定した深さでの分割可能性」は、次の例を使用して、また図5Aおよび図5Bを参照して簡単に説明する。
最適な効率を確保するために、純粋に暗黙的な分割導出の代わりに一部のシグナリングが使用されるが、シグナリングする必要があるのは限られた情報のみである。特に、分割自体に関する情報を転送する必要はない。上記の画像境界のケースC1~C3(図6を参照)では、分割が実行される。縮小されたスプリットセットに2つ以上の要素が含まれている場合は、残りの不確実性のみを信号伝達する必要がある。上記のQTBTに基づく特定の実施形態では、ケースC1(図5Bを参照)およびC2について1つのバイナリ信号を転送する必要があり、また、C1は4分割および垂直方向の2分割を含む縮小されたスプリットセットを含み得、C2は4分割および水平方向の2分割を含む縮小されたスプリットセットを含み得、ならびにC3は4分割のみを含む縮小されたスプリットセットを含み得るので、ケースC3ではシグナリングは必要ない。
本概念には、さらなるシンタックスの制限が適用される場合がある。例えば、分割によって追加の制限が発生した場合、分割されたブロックが画像境界と重なると、それらは完全にまたは部分的に破棄される場合がある。一例によれば、(4分割とは対照的に)後続の2分割の数が制限される場合がある(例えば、分割制限のあるツリーの一部である場合、当該分割がデフォルトの分割でない場合、または本方法がクワッドツリー構造を補完するように使用される場合)。
縮小されたセットの一部として画像境界を越えて2分割が適用された場合、この制限の実施ではカウントされない場合がある。
したがって、一例によれば、縮小されたセットからの2分割が適用され、連続する2分割の数が所定の最大数の連続する2分割に制限される場合、連続する2分割が画像境界を越えて適用される場合、エンコーダ10が、連続する2分割をカウントしないように構成されてもよい。
同じことがデコーダ20にも当てはまる。したがって、縮小されたセットからの2分割が適用され、連続する2分割の数が所定の最大数の連続する2分割に制限される場合、連続する2分割が画像境界を越えて適用される場合、デコーダ20が、連続する2分割をカウントしないように構成されてもよい。
他の制限、例えば、4分割以外のスプリットに続く4分割の禁止は、画像境界を越えても(例えば、クワッドツリー構造を補完するものとして使用される場合)、さらに強制される場合がある。
図9は、本概念による画像12を符号化する方法のブロック図を示す。
ブロック901では、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割する。
ブロック902では、画像のリーフブロックへの分割を使用して、画像をデータストリームにブロックベースで符号化する。
ブロック903では、所定のブロックについて、画像の境界が所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小して、1つまたは複数の分割モードの縮小されたセットが得る。
縮小されたセットのカーディナリティが1(C=1)である場合、ブロック904に示すように、縮小されたセットの分割モードが、所定のブロックを分割するために適用される。
縮小されたセットのカーディナリティが1より大きい場合、ブロック905に示すように、縮小されたセットの分割モードの1つが選択され、分割モードの選択された1つが所定のブロックを分割するために適用される。
ブロック906では、選択、すなわち、分割モードの縮小されたセットからの分割モードの選択された1つは、データストリームにおいて信号伝達される。
図10は、本概念による画像12を復号する方法のブロック図を示す。
ブロック1001では、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割する。
ブロック1002では、画像のリーフブロックへの分割を使用して、画像をデータストリームからブロックベースで復号する。
ブロック1003では、所定のブロックについて、画像の境界が所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小して、1つまたは複数の分割モードの縮小されたセットを得る。
縮小されたセットのカーディナリティが1(C=1)である場合、ブロック1004に示すように、縮小されたセットの分割モードが、所定のブロックを分割するために適用される。
縮小されたセットのカーディナリティが1より大きい場合、ブロック1005に示すように、縮小されたセットの分割モードの1つが選択され、分割モードの選択された1つが所定のブロックを分割するために適用される。
ブロック1006に示されるように、分割モードの縮小されたセットからの分割モードの1つの選択は、データストリームにおける信号伝達に基づく。
図9および図10のブロック図のブロックによってそれぞれ表される方法ステップはまた、示されるものとは異なる順序で実行することができる。
いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部またはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または使用して)実行することができる。いくつかの実施形態では、最も重要な方法ステップの1つまたは複数は、そのような装置によって実行することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアで、もしくはソフトウェアで、または少なくとも部分的にハードウェアで、もしくは少なくとも部分的にソフトウェアで実装することができる。実装は、電子的に可読な制御信号が格納されているデジタル記憶媒体、例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して実行でき、そこで、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する(または協働することができる)。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
本発明によるいくつかの実施形態は、本明細書に記載の方法の1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読な制御信号を有するデータキャリアを含む。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに本方法の1つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納されてもよい。
他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法の1つを実行するコンピュータプログラムを含む。
したがって、言い換えれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するコンピュータプログラムを含む(記録した)データキャリア(またはデジタル記憶媒体、またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および/または非一時的である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の1つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書に記載の方法の1つを実行するように構成または適合されたプロセス手段、例えば、コンピュータまたはプログラム可能なロジックデバイスを含む。
さらなる実施形態は、本明細書に記載の方法の1つを実行するコンピュータプログラムがインストールされているコンピュータを含む。
本発明によるさらなる実施形態は、本明細書に記載の方法の1つを実行するコンピュータプログラムを(例えば、電子的または光学的に)受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。
いくつかの実施形態では、プログラム可能なロジックデバイス(例えば、FPGA)を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、FPGAは、本明細書に記載の方法の1つを実行するために、マイクロプロセッサと協働し得る。一般に、本方法は、好ましくは、任意のハードウェア装置によって実行される。
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実装することができる。
本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実行することができる。
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載された配置および詳細の修正および変形は、当業者には明らかであろうことが理解される。したがって、特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明として提示された特定の詳細によって限定されないことが意図されている。
参考文献
[1]ITU-T and ISO/IEC.High efficiency video coding.ITU-T Recommendation H.265|ISO/IEC23008 10(HEVC)、edition1、2013;edition2、2014.
[2]J.Chen、E.Alshina、G.J.Sullivan、J-R.Ohm、J.Boyce、Algorithm Description of Joint Exploration Test Model 6(JEM 6)、JVET、doc.JVET-F1001、April 2017.
[3]X.Li、H.-C.Chuang、J.Chen、M.Karczewicz、L.Zhang、X.Zhao、A.Said、Multi-Type-Tree、JVET、doc.JVET-D0117、Oct.2016.
[4]F.Le Leannec、T.Poirier、F.Urban、Asymmetric Coding Units in QTBT、JVET、doc.JVET-D0064、Oct.2016.
[5]未公開欧州特許出願第17182209.1号

Claims (19)

  1. 画像(12)を符号化する装置(10)であって、
    再帰的なマルチツリー分割を使用して、前記画像(12)をリーフブロックに分割し、
    前記画像(12)の前記リーフブロックへの前記分割を使用して、前記画像(12)をデータストリーム(14)にブロックベースで符号化する
    ように構成され、
    前記装置(10)は、前記画像(12)を前記リーフブロックに分割する際に、
    前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像(12)の境界を越えて延びる所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)について、前記画像(12)の前記境界が、1つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)と交差する位置に応じて、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する利用可能な分割モードのセットを縮小し、
    前記縮小されたセットのカーディナリティが1である場合、前記装置(10)は、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記縮小されたセットの前記分割モードを適用するように構成され、
    前記縮小されたセットのカーディナリティが1より大きい場合、前記装置(10)は、前記縮小されたセットの前記分割モードの1つを選択し、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記分割モードの前記選択された1つを適用し、前記データストリーム(14)における前記選択を信号伝達するように構成され、
    前記装置(10)は、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルのすべての分割モードが2分割の制限されたセットではない場合、4分割、少なくとも1つの水平方向の2分割、および少なくとも1つの垂直方向の2分割を含む分割モードのプリミティブセットに等しくなり、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルの分割モードが2分割の前記制限されたセットの1つである場合、分割モードの前記プリミティブセットから前記4分割を差し引いたものに等しくなるように、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の前記利用可能な分割モードのセットを決定するように構成される、
    画像(12)を符号化する装置(10)。
  2. 前記装置(10)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
    前記所定のツリーレベルに続く後続のツリーレベルの1つまたは複数の後続の分割に制限を課さない第1の分割モード、および
    スプリット線(811)に沿って前記所定のブロック(801a)を2つのサブブロック(802a、802b)にスプリットする第2の分割モードのうちの少なくとも1つを選択するように構成され、
    前記スプリット線(811)は、前記所定のブロック(801a)内の前記画像境界の位置に平行であり、かつ前記スプリット線(811)が前記画像(12)の前記境界に併置されるもの、および前記所定のブロック(801a)の内側に中央に配置されているもののうちの少なくとも1つである、
    請求項1に記載の装置(10)。
  3. 前記装置(10)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
    前記所定のブロック(801a;802d)内の前記画像境界の位置に平行であり、かつスプリット線(811;813)が前記画像(12)の前記境界に併置されるもの、および前記所定のブロック(801a)の内側に中央に配置されているもののうちの少なくとも1つである、第1のスプリット線(811;813)に沿って前記所定のブロック(801a;802d)を2つのサブブロック(802a、802b;803b、803d)に分割する1つの所定の分割モード
    を選択するように構成される、請求項1に記載の装置(10)。
  4. 前記所定の分割モードが、垂直方向の2分割または水平方向の2分割のいずれかである、
    請求項3に記載の装置(10)。
  5. 前記装置(10)が、
    前記画像境界に対する前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の場所から独立して、および/または
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルの分割モードのシーケンスに依存して、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の前記利用可能な分割モードのセットを決定するように構成される、
    請求項1から4のいずれか一項に記載の装置(10)。
  6. 前記装置(10)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
    前記4分割、および
    スプリット線(811;813)に沿って前記所定のブロック(801a;802d)を2つのサブブロック(802a、802b;803b、803d)に分割する2分割のうちの少なくとも1つを選択するように構成され、
    前記スプリット線(811、813)は、前記所定のブロック(801a;802d)内の前記画像境界の位置に平行であり、かつ前記スプリット線(811;813)が前記画像境界に併置されるもの、および前記所定のブロック(801a;802d)の内側に中央に配置されているもののうちの少なくとも1つである、
    請求項に記載の装置(10)。
  7. 前記縮小されたセットからの2分割が適用され、連続する2分割の数が所定の最大数の連続する2分割に制限される場合、前記連続する2分割が画像境界を越えて適用される場合、前記装置(10)が、連続する2分割をカウントしないように構成される、請求項に記載の装置(10)。
  8. 前記装置(10)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が前記画像12の角を越えて延びる場合にのみ、前記利用可能な分割モードのセットから、前記4分割を選択するように構成される、請求項に記載の装置(10)。
  9. 画像(12)を復号する装置(20)であって、
    再帰的なマルチツリー分割を使用して、前記画像(12)をリーフブロックに分割し、
    前記画像(12)のリーフブロックへの前記分割を使用して、前記画像(12)をデータストリーム(14)からブロックベースで復号する
    ように構成され、
    前記装置(20)は、前記画像(12)を前記リーフブロックに分割する際に、
    前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像(12)の境界を越えて延びる所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)について、前記画像境界が、1つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)と交差する位置に応じて、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する利用可能な分割モードのセットを縮小し、
    前記縮小されたセットのカーディナリティが1である場合、前記装置(20)は、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記縮小されたセットの前記分割モードを適用するように構成され、
    前記縮小されたセットのカーディナリティが1より大きい場合、前記装置(20)は、前記縮小されたセットの前記分割モードの1つを選択し、前記データストリームにおける信号伝達に従って、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記分割モードの前記選択された1つを適用するように構成され、
    前記装置(20)は、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルのすべての分割モードが2分割の制限されたセットではない場合、4分割、少なくとも1つの水平方向の2分割、および少なくとも1つの垂直方向の2分割を含む分割モードのプリミティブセットに等しくなり、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルの分割モードが2分割の前記制限されたセットの1つである場合、分割モードの前記プリミティブセットから前記4分割を差し引いたものに等しくなるように、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の前記利用可能な分割モードのセットを決定するように構成される、
    装置(20)。
  10. 前記装置(20)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
    前記所定のツリーレベルに続く後続のツリーレベルの1つまたは複数の後続の分割に制限を課さない第1の分割モード、および
    前記所定のブロック(801a)内の前記画像境界の位置に平行であり、かつスプリット線(811)が前記画像境界に併置されるもの、および前記所定のブロック(801a)の内側に中央に配置されているもののうちの少なくとも1つである、スプリット線(811)に沿って前記所定のブロック(801a)を2つのサブブロック(802a、802b)に分割する第2の分割モードのうちの少なくとも1つを選択するように構成される、
    請求項に記載の装置(20)。
  11. 前記装置(20)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
    第1のスプリット線(811;813)に沿って前記所定のブロック(801a;802d)を2つのサブブロック(802a、802b;803b、803d)に分割する1つの所定の分割モードを選択するように構成され、
    前記第1のスプリット線(811;813)は、前記所定のブロック(801a;802d)内の前記画像境界の位置に平行であり、かつスプリット線(811;813)が前記画像(12)の前記境界に併置されるもの、および前記所定のブロック(801a;802d)の内側に中央に配置されているもののうちの少なくとも1つである、
    請求項に記載の装置(20)。
  12. 前記所定の分割モードが、垂直方向の2分割または水平方向の2分割のいずれかである、
    請求項11に記載の装置(20)。
  13. 前記装置(20)が、
    前記画像境界に対する前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の場所から独立して、および/または
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルの分割モードのシーケンスに依存して、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の前記利用可能な分割モードのセットを決定するように構成される、
    請求項から12のいずれか一項に記載の装置(20)。
  14. 前記装置(20)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
    前記4分割、および
    スプリット線(811)に沿って前記所定のブロック(801a)を2つのサブブロック(802a、802b)に分割する2分割のうちの少なくとも1つを選択するように構成され、
    前記スプリット線(811)は、前記所定のブロック(801a)内の前記画像境界の位置に平行であり、かつ前記スプリット線(811)が前記画像境界に併置されるもの、および前記所定のブロック(801a)の内側に中央に配置されているもののうちの少なくとも1つである、
    請求項に記載の装置(20)。
  15. 前記縮小されたセットからの2分割が適用され、連続する2分割の数が所定の最大数の連続する2分割に制限される場合、前記連続する2分割が画像境界を越えて適用される場合、前記装置(20)が、連続する2分割をカウントしないように構成される、請求項14に記載の装置(20)。
  16. 前記装置(20)が、前記利用可能な分割モードのセットを1つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が前記画像(12)の角を越えて延びる場合にのみ、前記利用可能な分割モードのセットから、前記4分割を選択するように構成される、請求項に記載の装置(20)。
  17. 画像(12)を符号化する方法であって、
    再帰的なマルチツリー分割を使用して、前記画像(12)をリーフブロックに分割するステップと、
    前記画像(12)の前記リーフブロックへの前記分割を使用して、前記画像(12)をデータストリーム(14)にブロックベースで符号化するステップと、
    を含み、
    前記方法は、前記画像(12)を前記リーフブロックに分割する際に、
    前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像(12)の境界を越えて延びる所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)について、
    前記画像境界が、1つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)と交差する位置に応じて、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する利用可能な分割モードのセットを縮小するステップをさらに含み、
    前記縮小されたセットのカーディナリティが1である場合、前記方法は、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記縮小されたセットの前記分割モードを適用するステップを含み、
    前記縮小されたセットのカーディナリティが1より大きい場合、前記方法は、前記縮小されたセットの前記分割モードの1つを選択するステップと、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記分割モードの前記選択された1つを適用するステップと、前記データストリーム(14)において前記選択を信号伝達するステップと、を含
    前記方法は、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルのすべての分割モードが2分割の制限されたセットではない場合、4分割、少なくとも1つの水平方向の2分割、および少なくとも1つの垂直方向の2分割を含む分割モードのプリミティブセットに等しくなり、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルの分割モードが2分割の前記制限されたセットの1つである場合、分割モードの前記プリミティブセットから前記4分割を差し引いたものに等しくなるように、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の前記利用可能な分割モードのセットを決定するステップをさらに含む、
    方法。
  18. 画像(12)を復号する方法であって、
    再帰的なマルチツリー分割を使用して、前記画像(12)をリーフブロックに分割するステップと、
    前記画像(12)のリーフブロックへの前記分割を使用して、前記画像(12)をデータストリーム(14)からブロックベースで復号するステップと、
    を含み、
    前記方法は、前記画像(12)を前記リーフブロックに分割する際に、
    前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像(12)の境界を越えて延びる所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)について、前記画像境界が、1つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)と交差する位置に応じて、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する利用可能な分割モードのセットを縮小するステップをさらに含み、
    前記縮小されたセットのカーディナリティが1である場合、前記方法は、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記縮小されたセットの前記分割モードを適用するステップをさらに含み、
    前記縮小されたセットのカーディナリティが1より大きい場合、前記方法は、前記縮小されたセットの前記分割モードの1つを選択するステップと、前記データストリーム(14)における信号伝達に従って、前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)を分割する前記分割モードの前記選択された1つを適用するステップと、
    をさらに含
    前記方法は、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルのすべての分割モードが2分割の制限されたセットではない場合、4分割、少なくとも1つの水平方向の2分割、および少なくとも1つの垂直方向の2分割を含む分割モードのプリミティブセットに等しくなり、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)が出現する先行するツリーレベルの分割モードが2分割の前記制限されたセットの1つである場合、分割モードの前記プリミティブセットから前記4分割を差し引いたものに等しくなるように、
    前記所定のブロック(801a、801b、801c、801d、802a、802b、802d、803a、803b、803c)の前記利用可能な分割モードのセットを決定するステップをさらに含む、
    方法。
  19. コンピュータまたは信号プロセッサ上で実行されるときに請求項17または18に記載の方法を実装するコンピュータプログラム。
JP2020552780A 2018-03-29 2019-03-21 画像境界処理を使用して画像を符号化および復号する装置および方法 Active JP7179080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022182494A JP2023017980A (ja) 2018-03-29 2022-11-15 画像境界処理を使用して画像を符号化および復号する装置および方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18165218.1 2018-03-29
EP18165218 2018-03-29
PCT/EP2019/057170 WO2019185456A1 (en) 2018-03-29 2019-03-21 Apparatus and method for encoding and decoding a picture using picture boundary handling

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022182494A Division JP2023017980A (ja) 2018-03-29 2022-11-15 画像境界処理を使用して画像を符号化および復号する装置および方法

Publications (2)

Publication Number Publication Date
JP2021519547A JP2021519547A (ja) 2021-08-10
JP7179080B2 true JP7179080B2 (ja) 2022-11-28

Family

ID=61868349

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020552780A Active JP7179080B2 (ja) 2018-03-29 2019-03-21 画像境界処理を使用して画像を符号化および復号する装置および方法
JP2022182494A Pending JP2023017980A (ja) 2018-03-29 2022-11-15 画像境界処理を使用して画像を符号化および復号する装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022182494A Pending JP2023017980A (ja) 2018-03-29 2022-11-15 画像境界処理を使用して画像を符号化および復号する装置および方法

Country Status (7)

Country Link
US (3) US11146789B2 (ja)
EP (2) EP4192010A1 (ja)
JP (2) JP7179080B2 (ja)
KR (3) KR102480688B1 (ja)
CN (2) CN118301371A (ja)
TW (2) TWI796638B (ja)
WO (1) WO2019185456A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11470359B2 (en) * 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
WO2019234605A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks and different tree for chroma
JP6835177B2 (ja) 2018-11-30 2021-02-24 株式会社Jvcケンウッド 画像復号化装置、画像復号化方法及び画像復号化プログラム
CN117256141A (zh) * 2021-04-13 2023-12-19 抖音视界有限公司 用于编解码树划分的边界处理

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373766A1 (en) 2015-06-22 2016-12-22 Cisco Technology, Inc. Block-based video coding using a mixture of square and rectangular blocks
WO2019077751A1 (ja) 2017-10-20 2019-04-25 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP2020516156A (ja) 2017-03-27 2020-05-28 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 画像の符号化および復号のための方法および装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003021971A1 (en) * 2001-08-28 2003-03-13 Ntt Docomo, Inc. Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method, decoding method, and program usable for the same
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
HUE057597T2 (hu) * 2010-04-13 2022-05-28 Ge Video Compression Llc Videó kódolás képek többes fa struktúrájú alosztásainak használatával
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN107360427B (zh) * 2010-10-08 2020-09-01 Ge视频压缩有限责任公司 编码器和编码方法与解码器和解码方法
WO2013082291A2 (en) * 2011-11-29 2013-06-06 Huawei Technologies Co., Ltd. Unified partitioning structures and signaling methods for high efficiency video coding
US9693060B2 (en) * 2012-11-16 2017-06-27 Qualcomm Incorporated Device and method for scalable coding of video information
WO2017008263A1 (en) * 2015-07-15 2017-01-19 Mediatek Singapore Pte. Ltd. Conditional binary tree block partitioning structure
CN114786009A (zh) * 2016-03-16 2022-07-22 寰发股份有限公司 视频编码中限制块尺寸的视频数据处理方法与装置
CA3025477C (en) 2016-05-25 2023-10-03 Arris Enterprises Llc Jvet coding block structure with asymmetrical partitioning
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160373766A1 (en) 2015-06-22 2016-12-22 Cisco Technology, Inc. Block-based video coding using a mixture of square and rectangular blocks
JP2020516156A (ja) 2017-03-27 2020-05-28 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 画像の符号化および復号のための方法および装置
WO2019077751A1 (ja) 2017-10-20 2019-04-25 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MA, Jackie et al.,Quadtree plus binary tree with shifting,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018, [JVET-J0035],JVET-J0035 (version 1),ITU-T,2018年04月03日,<URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0035-v1.zip>: JVET-J0035.docx: pp. 1-12

Also Published As

Publication number Publication date
CN112204968B (zh) 2024-03-15
TW202131699A (zh) 2021-08-16
US20240064300A1 (en) 2024-02-22
TW201943280A (zh) 2019-11-01
EP3777147A1 (en) 2021-02-17
TWI723365B (zh) 2021-04-01
US20220078421A1 (en) 2022-03-10
TWI796638B (zh) 2023-03-21
CN118301371A (zh) 2024-07-05
EP4192010A1 (en) 2023-06-07
KR102480688B1 (ko) 2022-12-23
KR20240067981A (ko) 2024-05-17
KR102665985B1 (ko) 2024-05-21
EP3777147B1 (en) 2023-02-01
KR20200143694A (ko) 2020-12-24
KR20230003413A (ko) 2023-01-05
CN112204968A (zh) 2021-01-08
US20210014490A1 (en) 2021-01-14
US11843774B2 (en) 2023-12-12
JP2021519547A (ja) 2021-08-10
WO2019185456A1 (en) 2019-10-03
US11146789B2 (en) 2021-10-12
JP2023017980A (ja) 2023-02-07

Similar Documents

Publication Publication Date Title
JP6856554B2 (ja) ブロック統合およびスキップモードをサポートする画像符号化
JP7179080B2 (ja) 画像境界処理を使用して画像を符号化および復号する装置および方法
JP2023022221A (ja) パーティションベースのイントラ符号化概念
AU2016332318A1 (en) Non-separable secondary transform for video coding with reorganizing
JP2022538160A (ja) イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
TWI830012B (zh) 圖片編碼的裝置和方法
CN113507603B (zh) 图像信号编码/解码方法及其设备
KR20200139116A (ko) 영상 정보 부호화 방법 및 복호화 방법
KR20210132009A (ko) 유연한 크기의 화상 파티션에 대한 복잡도가 처리된 인코더 및 디코더, 인코딩 방법 및 디코딩 방법
JP7513813B2 (ja) 実装効率の良いパーティションベースのイントラ符号化概念
JP7436663B2 (ja) サンプルブロックの変換済み表現についてのコーディングコンセプト

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220315

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221115

R150 Certificate of patent or registration of utility model

Ref document number: 7179080

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150