JP2021520698A - ビデオのコード化および復号。 - Google Patents
ビデオのコード化および復号。 Download PDFInfo
- Publication number
- JP2021520698A JP2021520698A JP2020550645A JP2020550645A JP2021520698A JP 2021520698 A JP2021520698 A JP 2021520698A JP 2020550645 A JP2020550645 A JP 2020550645A JP 2020550645 A JP2020550645 A JP 2020550645A JP 2021520698 A JP2021520698 A JP 2021520698A
- Authority
- JP
- Japan
- Prior art keywords
- block
- subblock
- determining
- conversion
- transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ビデオを符号化するための方法および装置が開示される。ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックは、ブロックの形状に応じて決定され(1600)、ブロックは、決定された変換サブブロックに少なくとも基づいて符号化される(1630)。対応する復号方法および装置が開示される。【選択図】図16
Description
ビデオをビットストリームに符号化する方法および装置が開示される。対応する復号方法および装置がさらに開示される。
ビデオ圧縮の分野では、圧縮効率は常に難しい課題である。
既存のビデオ符号化標準では、符号化されるピクチャは、規則的な正方形ブロックまたは単位に分割される。予測、エラー残差の変換、および量子化は、通常、このような正方形単位で実行される。次に、量子化された変換係数がエントロピー符号化され、ビットレートがさらに削減される。量子化された変換係数の符号化段階になると、正方形単位での係数の構文解析が、符号化構文と、係数を再構成するために符号化する情報とを最適化するために重要な役割を果たすいくつかのスキームが提案されている。
新しいビデオ符号化スキームの出現により、コード化に使用される単位は必ずしも正方形単位ではなく、長方形単位が予測と変換に使用される場合がある。長方形単位が使用されている場合、正方形単位に対して定義された従来の構文解析スキームは適切ではない場合があるようである。
「A novel scanning pattern for entropy coding under non−square quadtree transform (NSQT)」、OPTIK、WISSENSCHAFTLICHE VERLAG GMBH、ドイツ、125巻、第19号、2014年8月27日、5651〜5659頁において、ZHONG GUOYUNらは、32×32から4×4まで変化するHEVCの変換サイズ、32×8、8×32、16×4、および4×16を含むNSQT(HEVCでは最終的に採用されないツール)での変換サイズを説明し、4×1変換単位に基づくNSQT(非正方形変換)の可変構文解析スキームを開示している。ただし、このような4×4より大きい変換サイズと変換サブブロックの配置は、新しい分割の可能性にまだ適応しない場合がある。
2011年11月28日〜2011年12月2日のジュネーブのMPEG会議での「CE6.c:Harmonization of HE residual coding with nonsquare block transforms」において、SOLE Jらは、水平、垂直、および斜め走査と呼ばれる非正方形変換ブロックの3つの走査について説明している。ただし、SOLEは、変換サブブロックサイズの適応については何も述べていない。
したがって、ビデオを符号化および復号するための新しい方法が必要である。
本開示の態様によれば、ビデオを符号化する方法が開示される。そのような方法は、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定することと、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを符号化することとを含み、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の別の態様によれば、ビデオを符号化するための装置が開示される。そのような装置は、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定する手段と、その少なくとも1つの変換サブブロックに少なくとも基づいて、そのブロックを符号化する手段とを含み、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の態様によれば、ビデオを符号化するための装置が提供され、この装置は、プロセッサと、プロセッサに結合された少なくとも1つのメモリとを含み、プロセッサは、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定し、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを符号化するように構成されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の別の態様によれば、ビデオを復号するための方法が開示される。そのような方法は、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定することと、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを復号することとを含み、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の別の態様によれば、ビデオを復号するための装置が開示される。そのような装置は、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定する手段と、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを復号する手段とを備え、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の態様によれば、ビデオを復号するための装置が提供され、この装置は、プロセッサと、プロセッサに結合された少なくとも1つのメモリとを含み、プロセッサは、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定し、少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを復号するように構成されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の態様によれば、装置が提供され、この装置は、プロセッサと、プロセッサに結合された少なくとも1つのメモリとを含み、プロセッサは、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定し、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを復号するように構成されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。また、この装置は、復号されたブロックを表示するように構成されたディスプレイを含む。
本開示の態様によれば、装置が提供され、この装置は、ビデオ信号を含む特定のチャネルを調整するように構成されたチューナと、プロセッサと、プロセッサに結合された少なくとも1つのメモリとを含み、プロセッサは、ビデオ信号のピクチャのブロック内の少なくとも1つの変換サブブロックを決定し、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを復号するように構成されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の態様によれば、装置が提供され、この装置は、無線でビデオ信号を受信するように構成されたアンテナと、プロセッサと、プロセッサに結合された少なくとも1つのメモリと、を含み、プロセッサは、ビデオ信号のピクチャのブロック内の少なくとも1つの変換サブブロックを決定し、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを復号するように構成されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示はまた、コンピュータプログラムがプロセッサによって実行されるときに、以下に開示される実施形態のうちのいずれか1つに従ってビデオを符号化する方法を実行するためのソフトウェアコード命令を含むコンピュータプログラムに関する。
本開示はまた、コンピュータプログラムがプロセッサによって実行されるときに、以下に開示される実施形態のうちのいずれか1つに従ってビデオを復号するための方法を実行するためのソフトウェアコード命令を含むコンピュータプログラムに関する。
本開示の態様によれば、ビットストリームは、ピクチャのブロックを表すコード化データを含むようにフォーマットされており、コード化データは、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定することと、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックをコード化することとによって、コード化されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の態様によれば、信号は、ピクチャのブロックを表すコード化データを含むようにフォーマットされたビットストリームを含み、コード化データは、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定することと、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを符号化することとによって、コード化されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
本開示の態様によれば、装置が提供され、この装置は、ビデオのピクチャのブロックを含むデータにアクセスするように構成されたアクセスユニットと、ピクチャのブロックを表すコード化データを含むデータを送信するように構成された送信機とを含み、コード化データは、ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定することと、その少なくとも1つの変換サブブロックに少なくとも基づいてそのブロックを符号化することとによって、コード化されており、少なくとも1つの変換サブブロックの決定は、そのブロックの形状に依存する。
上記は、主題の実施形態のいくつかの態様の基本的な理解を提供するために、主題の簡略化された概要を提示する。この要約は主題の広範な概要ではない。実施形態の主要な/重要な要素を特定すること、または主題の範囲を線引きすることは意図されていない。その唯一の目的は、後で提示されるより詳細な説明の前置きとして、主題のいくつかの概念を簡略化した形式で提示することである。
本開示の追加の特徴および利点は、添付の図面を参照して進められる例示的な実施形態の以下の発明を実施するための形態から明らかになるであろう。
少なくとも1つの実施形態は、ビデオ圧縮の分野に関する。より具体的には、少なくとも1つのそのような実施形態は、既存のビデオ圧縮システムと比較して改善された圧縮効率に関する。
少なくとも1つの実施形態は、変換サブブロックサイズの適応を提案する。
少なくとも1つの実施形態は、変換サブブロックサイズの適応を提案する。
HEVCビデオ圧縮標準(ITU−T H.265 ITUの電気通信標準化部門(10/2014)、シリーズH:視聴覚およびマルチメディアシステム、視聴覚サービスのインフラストラクチャ−動画の符号化、高効率ビデオ符号化、推奨ITU−T H.265)では、ピクチャは、いわゆる符号化ツリー単位(CTU)に分割され、そのサイズは、通常、64×64、128×128、または256×256ピクセルである。各CTUは、圧縮ドメインの符号化ツリーによって表現される。図3に示すように、このような符号化ツリーは、CTUの四分木分割であり、各葉は、符号化単位(CU)と呼ばれる。
次に、各CUには、イントラまたはインター予測パラメータ(予測情報)がいくつか与えられる。そのために、CUは、1つ以上の予測単位(PU)に空間的に分割され、各PUには、いくつかの予測情報が割り当てられる。CUに分割されてコード化されるピクチャのCTU、およびPUとTU(変換単位)に分割されるCUを示す図4に示されるように、イントラまたはインター符号化モードは、CUレベルで割り当てられる。
新たに出現したビデオ圧縮ツールには、ピクチャデータを圧縮ドメインでより柔軟に表現するために、圧縮ドメインの符号化ツリー単位表現が含まれている。このような符号化ツリーの表現の利点は、HEVC標準のCU/PU/TU配置と比較して圧縮効率が向上することである。
四分木+二分木(QTBT)符号化ツールは、「Algorithm Description of Joint Exploration Test Model 3」、文書JVET−C1001_v3、ISO/IEC JTC1/SC29/WG11の共同ビデオ探索チーム、第3回会議、2015年5月26日〜6月1日、ジュネーブ、スイスで提案されている。このような表現により、柔軟性が向上する。これは、符号化ツリーで構成され、符号化単位は、四分木と二分木の両方に分割できる。符号化ツリー単位のそのような符号化ツリー表現を図5に示す。
符号化単位の分割は、最小のレート歪みコストでCTUのQTBT表現を決定するレート歪み最適化手順を通じて、エンコーダ側で決定される。
QTBTテクノロジでは、CUの形状は正方形または長方形である。符号化単位のサイズは2の累乗であり、通常は4〜128である。
符号化単位のこのさまざまな長方形の形状に加えて、新しいCTU表現には、HEVC標準と比較して次の異なる特性がある。
・CTUのQTBT分解は2つのステージで構成される。すなわち、最初にCTUが四分木方式で分割され、次に各四分木の葉がバイナリ方式でさらに分割される。これは図5の右側に示されている。実線は四分木分解フェーズを表し、破線は四分木の葉に空間的に埋め込まれたバイナリ分解を表す。
・イントラスライスでは、ルマおよびクロマのブロック分割構造が分離され、独立して決定される。
・予測単位または変換単位へのCU分割はもはや使用されない。言い換えると、各符号化単位は体系的に、単一の予測単位(2N×2N予測単位分割タイプ)と単一の変換単位(変換ツリーへの分割なし)で構成されている。
符号化単位のこのさまざまな長方形の形状に加えて、新しいCTU表現には、HEVC標準と比較して次の異なる特性がある。
・CTUのQTBT分解は2つのステージで構成される。すなわち、最初にCTUが四分木方式で分割され、次に各四分木の葉がバイナリ方式でさらに分割される。これは図5の右側に示されている。実線は四分木分解フェーズを表し、破線は四分木の葉に空間的に埋め込まれたバイナリ分解を表す。
・イントラスライスでは、ルマおよびクロマのブロック分割構造が分離され、独立して決定される。
・予測単位または変換単位へのCU分割はもはや使用されない。言い換えると、各符号化単位は体系的に、単一の予測単位(2N×2N予測単位分割タイプ)と単一の変換単位(変換ツリーへの分割なし)で構成されている。
HEVCでは、図6に示すように、変換係数は階層的アプローチで符号化される。符号化ブロックフラグ(cbf)は、ブロック(図6の符号化ブロック)に少なくとも1つの非ゼロ係数があるかどうかを示すために通知される。4×4より大きい変換ブロック(つまり、変換単位)は、変換サブブロック(TSB)と呼ばれるいくつかの4×4係数に分割される。
符号化されたサブブロックフラグは、TSB内に少なくとも1つの非ゼロ係数があるか否かを示す。次に、TSB内の各係数について、この係数の有意性を指定するために有意係数フラグが符号化される。次に、greaterThanOne、greaterThanTwoフラグ、残りの値、および各係数の符号が符号化される。
Joint Video Exploration TeamモデルJEMでは、変換単位はもはやない。図7に示すように、長方形ブロックが導入される。
一部のブロックは、図8の例に示すように、特にクロマ成分の場合、サイズ2の片側を持つ場合がある。この種類のブロックでは、変換サブブロックのサイズは2×2である。
本原理によれば、少なくとも1つの実施形態は、正方形のTSBがブロックの形状に適応されていない長方形のブロックに含まれる変換係数を、符号化設計の複雑度の増加が少ないか最小限の状態と共に(レート歪み性能に関して)良好な圧縮効率を提供する方法で効率的にコード化する。
さらに、2×2 TSBを備えた2×NまたはN×2サイズのブロックの場合、有意性マップのコストは高くなり、レート歪みの最適化は実行されないため、性能は最適以下である。
さらに、2×2 TSBを備えた2×NまたはN×2サイズのブロックの場合、有意性マップのコストは高くなり、レート歪みの最適化は実行されないため、性能は最適以下である。
本原理によれば、少なくとも1つの実装は、変換サブブロックの形状およびサイズを、変換係数の符号化におけるブロックサイズに適応させる。実施形態の別の変形では、変換サブブロックサイズは、非正方形符号化ブロック内で異なる。左上の正方形では、4×4 TSBが使用される。残りの長方形のサブブロックでは、長方形のTSBが使用される。
1つの寸法が2に等しいブロックについて、係数の数が16の倍数(たとえば、2×8)である場合、変換サブブロックサイズを2×2から2×8に変更できる。この場合、TSBの数を減らすことができるため、ブロックの符号化に使用される構文全体を減らすことができる。
様々な実施形態において、変換サブブロックサイズの適応はまた、係数の走査方向に従うために、イントラ予測モードに依存する。
以下では、少なくとも1つの実装について説明する。これは、以下のように構成されている。最初に、量子化係数のエントロピー符号化について説明する。次に、変換サブブロックの適応サイズの異なる実施形態が提案される。
実施形態によれば、ブロックのサイズに応じて、適応変換サブブロックサイズが使用される。
別の実施形態によれば、2×NまたはN×2サイズのブロックに対してTSBサイズが修正される。最後の1つでは、TSBの形状はイントラ予測モードに依存する。
次に、本開示の実施形態による、いわゆる変換ブロック(TB)に含まれる量子化係数がエンコーダおよびデコーダでどのように走査されるかについて説明する。
最初に、変換ブロックは、変換サブブロックと呼ばれる量子化係数の4×4サブブロックに分割される。エントロピー符号化/復号はいくつかの走査パスで構成され、これは、いくつかの可能な走査パターンから選択された走査パターンに従って変換ブロックを走査する。
HEVCの変換係数の符号化には、5つの主要なステップ、すなわち、走査、最後の有意係数の符号化、有意性マップの符号化、係数レベルの符号化、および符号データの符号化が含まれる。
図9は、8×8変換ブロックにおいてHEVC標準によってサポートされる走査順序を示す。変換ブロックの斜め、水平、および垂直の走査順序が可能である。
イントラブロックの場合、図9の左側の斜め走査が使用されるが、4×4および8×8イントラブロックの場合、走査順序は、そのブロックでアクティブなイントラ予測モードに依存する。水平モードは垂直走査を使用し、垂直モードは水平走査を使用し、斜めモードは斜め走査を使用する。
TB上の走査パスには、3つの走査順序(斜め、水平、垂直)のいずれか1つに従って各TSBを順次処理することが含まれ、各TSB内の16個の係数もまた、考慮された走査順序に従って走査される。走査パスは、TBの最後の有意係数から開始し、DC係数まで全ての係数を処理する。
変換ブロック内の変換係数を走査して、走査の開始時にゼロの数を最大にすることを試みる。高周波係数(つまり、変換ブロックの右下の係数)は、一般にゼロになる確率が高くなる。
長方形ブロックの場合、ブロックの長い方の寸法にゼロ係数がより多くなる。本開示の実施形態によれば、TSBのサイズまたは形状は、そのようなブロックの統計に適応させることができる。
たとえば、図10では、垂直2×8 TSBが高さよりも幅の広い長方形のブロックで使用されている。
この解決策の1つの影響は、ブロックの低周波部分において係数がゼロになる確率が正方形と長方形のブロックで同じであっても、低周波係数のTSBのサイズまたは形状も修正されることである。
本開示の別の実施形態によれば、図11に示されるように、正方形および長方形のTSBの混合が使用される。図11では、ブロックの低周波部分(ブロック内の左上にある大きな正方形、8×16ブロックでは、左上の8×8正方形の部分)、正方形の4×4 TSBが使用され、2×8または8×2 TSBは、ブロックの残りの高周波部分に使用される。少なくとも1つのそのような実施形態では、圧縮効率が向上している。
JEM6.0では、一部のクロマブロックのサイズが2×NまたはN×2になる場合がある。この種類のブロックでは、図12に示すように2×2 TSBが使用される。
発明者らは、そのようなブロックの符号化は、符号化するための追加の有意性マップ構文のために、通常は非効率的であることを認識した。実際、このTSBの有意性を指定するために、各TSBにフラグが符号化される。4×4 TSBでは、フラグは16個の係数に対して符号化され、一方で、2×2 TSBでは、フラグは4個の係数に対して符号化される。
発明者らは、そのようなブロックの符号化は、符号化するための追加の有意性マップ構文のために、通常は非効率的であることを認識した。実際、このTSBの有意性を指定するために、各TSBにフラグが符号化される。4×4 TSBでは、フラグは16個の係数に対して符号化され、一方で、2×2 TSBでは、フラグは4個の係数に対して符号化される。
2×8または8×2 TSBを使用することにより、発明者らは、少なくとも1つの実施形態が構文のコストを削減し、次いで符号化効率を改善できることを認識した。図13は、TSBが2x8の形状である、すなわち変換ブロック2x8と同じ形状であるそのような実施形態を示す。このようにして、16個の係数に対して1つの符号化ブロックフラグのみが符号化される。
一般的な方法では、Nが8の倍数である2×Nブロックの場合、2×8 TSBが少なくとも1つの実装で使用される。Nが8の倍数ではない場合、2×8、2×4、または2×2 TSBの組み合わせが少なくとも1つの実装で使用される。サイズ2×12の変換ブロックと、サイズ2×8のTSBおよびサイズ2×4のTSBの配置を示す例を図14に示す。
一般的な方法では、Nが8の倍数である2×Nブロックの場合、2×8 TSBが少なくとも1つの実装で使用される。Nが8の倍数ではない場合、2×8、2×4、または2×2 TSBの組み合わせが少なくとも1つの実装で使用される。サイズ2×12の変換ブロックと、サイズ2×8のTSBおよびサイズ2×4のTSBの配置を示す例を図14に示す。
HEVCでは、係数とTSBの走査順序は、イントラブロックのイントラ予測モードに依存する。水平モードの場合、垂直走査が使用され、一方、垂直モードの場合、水平走査が使用される。他のイントラ予測モードまたはインターモードでは、斜め走査が使用される。
この走査適応は、走査の開始時にゼロ係数の数を増やす試みに使用される。
この走査適応は、走査の開始時にゼロ係数の数を増やす試みに使用される。
このような適応は、変換ブロックのすべての形状に対して実行できる。
たとえば、水平方向で符号化されたイントラブロックの垂直走査を用いる2×8 TSBを使用できる。
たとえば、水平方向で符号化されたイントラブロックの垂直走査を用いる2×8 TSBを使用できる。
水平イントラモードで符号化されたブロックでは、ブロックの右側部分の係数は通常、ゼロになる確率が高くなる。図15は、垂直走査に垂直2×8変換サブブロックを使用することによるそのような適応を示す。少なくとも1つの実装では、走査の開始時にゼロ係数の数を増やす。
同様に、垂直イントラモードで符号化されたイントラブロックの場合、水平TSBを伴う水平走査が少なくとも1つの実施形態で使用される。
同様に、垂直イントラモードで符号化されたイントラブロックの場合、水平TSBを伴う水平走査が少なくとも1つの実施形態で使用される。
図16は、本開示の実施形態によるビデオを符号化または復号するための例示的な方法を示す。ステップ1600では、符号化または復号するビデオのピクチャのブロック内の少なくとも1つの変換サブブロックが決定される。
好ましい実施形態では、変換サブブロックは16個の係数を含む。この実施形態によれば、一般的なビデオ圧縮規格で使用される既存の構文および復号プロセスは、いかなる修正も必要とせずに再利用することができる。
実施形態によれば、ステップ1600は、変換サブブロックの形状を決定することを含む。ブロックのサイズ、すなわちブロックに含まれるいくつかの変換係数に応じて、変換サブブロックは1つまたは複数の変換サブブロックを含むことができる。ブロックが複数の変換サブブロックを含む場合、変換サブブロックの形状を決定することは、符号化または復号するためにブロック内の変換サブブロックの配置を決定することを暗黙的に含む。
好ましい実施形態では、変換サブブロックは16個の係数を含む。この実施形態によれば、一般的なビデオ圧縮規格で使用される既存の構文および復号プロセスは、いかなる修正も必要とせずに再利用することができる。
実施形態によれば、ステップ1600は、変換サブブロックの形状を決定することを含む。ブロックのサイズ、すなわちブロックに含まれるいくつかの変換係数に応じて、変換サブブロックは1つまたは複数の変換サブブロックを含むことができる。ブロックが複数の変換サブブロックを含む場合、変換サブブロックの形状を決定することは、符号化または復号するためにブロック内の変換サブブロックの配置を決定することを暗黙的に含む。
ここで説明される実施形態によれば、変換サブブロックの形状は、上述の実施形態のいずれか1つに従って決定される。
たとえば、ブロックが第1の寸法が第2の寸法よりも大きい長方形である場合、第1の寸法に沿った変換サブブロックのサイズまたは形状は、第2の寸法に沿った変換サブブロックのサイズよりも小さくなる。
別の例によれば、その少なくとも1つの変換サブブロックの形状は、そのブロック内のその少なくとも1つの変換サブブロックの位置に基づく。たとえば、高周波係数を含む変換サブブロックは長方形の形状を有し、一方、低周波係数を含む変換サブブロックは正方形の形状を有する。
別の例によれば、その少なくとも1つの変換サブブロックの形状は、ブロックを予測するために使用されるイントラ予測モードに基づく。
ステップ1630では、ブロック内の変換サブブロックの配置および形状に従って、符号化または復号のためのブロック内の変換係数の構文解析順序が決定される。
たとえば、ブロック内の変換サブブロックの形状がブロックの予測に使用されるイントラ予測モード、たとえば水平イントラ予測モードに依存する場合、変換サブブロックは垂直方向の長方形の形状を有し、ブロックの変換係数の構文解析順序は、図15に示すように、そのブロック内の右下の係数から開始する垂直方向の右下から左上への構文解析である。
他の例では、ブロックが垂直イントラ予測モードに従って予測される場合、変換サブブロックは水平方向の長方形の形状を有し、ブロックの変換係数の構文解析順序は、そのブロック内の右下から開始する水平方向の右下から左上への構文解析である。
別の実施形態によれば、構文解析順序は、走査の開始時に、より長いゼロのストリングの発生を優先するように決定される。
ステップ1630で、ブロックは、ブロック内の変換サブブロックの決定された配置および構文解析順序を使用して符号化または復号される。
ステップ1630で、ブロックは、ブロック内の変換サブブロックの決定された配置および構文解析順序を使用して符号化または復号される。
本文書では、ツール、特徴、実施形態、モデル、アプローチなどを含むさまざまな態様について説明する。これらの態様の多くは、特異的に説明されており、少なくとも個々の特性を示すために、しばしば限定的に聞こえ得るように説明される。ただし、これは説明を明確にするためのものであり、これらの態様の適用または範囲を限定するものではない。実際、さまざまな態様のすべてを組み合わせて交換し、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせて交換することもできる。
本文書で説明および企図される態様は、多くの異なる形式で実装できる。以下の図1、2、および17はいくつかの実施形態を提供するが、他の実施形態が企図され、図1、2、および17の議論は実装の幅を制限しない。これらの態様のうちの少なくとも1つは、概して、ビデオコード化および復号に関連し、少なくとも1つの他の態様は、概して、生成またはコード化されたビットストリームを送信することに関連する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータをコード化または復号するための命令を記憶したコンピュータ可読記憶媒体、および/または説明された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装できる。
本出願では、「再構築された」および「復号された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」および「フレーム」という用語は互換的に使用され得る。必ずしもではないが、通常は、「再構築された」という用語は、エンコーダ側で使用され、一方で「復号された」は、デコーダ側で使用される。
様々な方法が上で説明されており、各方法は、説明された方法を達成するための1つ以上のステップまたは動作を含む。本方法の正しい運用のために特定のステップまたは動作の順序が必要でない限り、特定のステップおよび/または動作の順序および/または使用を、修正するかまたは組み合わせてもよい。
様々な方法が上で説明されており、各方法は、説明された方法を達成するための1つ以上のステップまたは動作を含む。本方法の正しい運用のために特定のステップまたは動作の順序が必要でない限り、特定のステップおよび/または動作の順序および/または使用を、修正するかまたは組み合わせてもよい。
本文書で説明されているさまざまな方法やその他の態様を使用して、モジュール、たとえば、JVET(「JVET common test conditions and software reference configurations」、文書:JVET−B1010、ITU−T SG16 WP3のJoint Video Exploration Team(JVET)およびISO/IEC JTC1/SC29/WG11、第2回会議:米国、サンディエゴ、2016年2月20〜26日)のエントロピー符号化145、エントロピー復号230、画像分割102、分割235などのモジュール、または図1および図2に示されるHEVCエンコーダ100およびデコーダ200を変更することができる。
さらに、本態様はJVETまたはHEVCに限定されず、たとえば、既存または将来開発されたものであるかどうかにかかわらず、他の標準および推奨事項、およびそのような標準および推奨事項(JVETおよびHEVCを含む)の拡張に適用できる。特に明記されていない限り、または技術的に除外されていない限り、本文書で説明されている態様は、個別に、または組み合わせて使用できる。
本分書では様々な数値を使用している。特定の値は例示を目的とし、説明される態様はこれらの特定の値に限定されない。
図1は、本開示の実施形態による例示的なエンコーダ100を示し、上述の実施形態のいずれか1つを実施することができる。このエンコーダ100の変形が企図されるが、エンコーダ100は、すべての予想される変形を説明することなく、明確にするために以下に説明される。
コード化される前に、ビデオシーケンスは事前コード化処理(101)、たとえば、入力色ピクチャに色変換(たとえば、RGB 4:4:4からYCbCr 4:2:0への変換)を適用すること、または、(たとえば、色成分の1つのヒストグラム等化を使用して)圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実行することを経る場合がある。メタデータは事前処理に関連付けられ得、ビットストリームに添付され得る。
図1は、本開示の実施形態による例示的なエンコーダ100を示し、上述の実施形態のいずれか1つを実施することができる。このエンコーダ100の変形が企図されるが、エンコーダ100は、すべての予想される変形を説明することなく、明確にするために以下に説明される。
コード化される前に、ビデオシーケンスは事前コード化処理(101)、たとえば、入力色ピクチャに色変換(たとえば、RGB 4:4:4からYCbCr 4:2:0への変換)を適用すること、または、(たとえば、色成分の1つのヒストグラム等化を使用して)圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実行することを経る場合がある。メタデータは事前処理に関連付けられ得、ビットストリームに添付され得る。
例示的なエンコーダ100において、ピクチャは、以下に説明するように、エンコーダ要素によってコード化される。コード化されるピクチャは分割され(102)、たとえばCUの単位で処理される。各単位は、たとえば、イントラモードまたはインターモードのいずれかを使用してコード化される。単位がイントラモードでコード化されるとき、イントラ予測を実行する(160)。インターモードにおいて、動き推定(175)および動き補償(170)が行われる。エンコーダは、イントラモードまたはインターモードのどちらをその単位のコード化に使用するかを判断し(105)、たとえば、予測モードフラグによって、イントラ/インター判断を示す。予測残差は、たとえば、元の画像ブロックから予測されたブロックを減算すること(110)によって、計算される。
次いで、予測残差が変換され(125)、量子化される(130)。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピー符号化される(145)。エンコーダは、変換をスキップし、非変換残差信号に直接量子化を適用し得る。エンコーダは、変換および量子化の両方をバイパスすることもでき、すなわち、残差は、変換または量子化プロセスを適用せずに直接符号化される。
エンコーダは、コード化されたブロックを復号して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され(140)、逆変換され(150)、予測残差を復号する。復号された予測残差と予測されたブロックとを組み合わせて(155)、画像ブロックが再構築される。ループ内フィルタ(165)は、再構築されたピクチャに適用され、たとえば、デブロッキング/SAO(サンプル適応オフセット)フィルタリングを行い、コード化アーティファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ(180)に記憶される。
図2は、上述の実施形態のいずれか1つを実施することができる例示的なビデオデコーダ200のブロック図を示す。例示的なデコーダ200において、ビットストリームは、以下に説明するように、デコーダ要素によって復号される。ビデオデコーダ200は、一般に、図1で説明されたようなコード化パスの逆の復号パスを行う。エンコーダ100はまた、一般に、ビデオデータをコード化することの一部としてビデオ復号を実行する。
特に、デコーダの入力は、ビデオエンコーダ100によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号され(230)、変換係数、動きベクトル、および他の符号化された情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号されたピクチャ分割情報に従ってピクチャを分割することができる(235)。変換係数は非量子化され(240)、逆変換され(250)、予測残差を復号する。復号された予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構築される。予測されたブロックは、イントラ予測(260)または動き補償予測(即ち、インター予測)(275)から取得され得る(270)。ループ内フィルタ(265)は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
特に、デコーダの入力は、ビデオエンコーダ100によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号され(230)、変換係数、動きベクトル、および他の符号化された情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号されたピクチャ分割情報に従ってピクチャを分割することができる(235)。変換係数は非量子化され(240)、逆変換され(250)、予測残差を復号する。復号された予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構築される。予測されたブロックは、イントラ予測(260)または動き補償予測(即ち、インター予測)(275)から取得され得る(270)。ループ内フィルタ(265)は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
復号されたピクチャは、復号後処理(285)、たとえば、逆色変換(たとえば、YCbCr 4:2:0からRGB 4:4:4への変換)または事前コード化処理(101)で行われる再マッピングプロセスの逆を実行する逆再マッピングをさらに経ることができる。復号後処理では、事前コード化処理で導出され、ビットストリームで通知されるメタデータを使用できる。
図17は、様々な態様および例示的な実施形態が実装される例示的なシステムのブロック図を示す。システム1700は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文書で説明される態様の1つ以上を実行するように構成される。このようなデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続された家電製品、およびサーバを含むが、これらに限定されない。システム1700は、図17に示され、かつ当業者には周知であるような通信チャネルを介して、他の同様のシステムに、またディスプレイに通信可能に結合され、本文書に説明された様々な態様を実装し得る。
システム1700は、本文書に説明された様々な態様を実装するために、その中にロードされた命令を実行するように構成された少なくとも1つのプロセッサ1710を含むことができる。プロセッサ1710は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム1700は、少なくとも1つのメモリ1720(たとえば、揮発性メモリデバイス、不揮発性メモリデバイス)を含むことができる。システム1700はストレージデバイス1720を含むことができ、このストレージデバイスには、EEPROM、ROM、PROM、RAM、DRAM、SRAM、フラッシュ、磁気ディスクドライブ、および/または光ディスクドライブを含むが、これらに限定されない不揮発性メモリが含まれ得る。ストレージデバイス1740は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および/またはネットワークアクセス可能なストレージデバイスを含み得る。システム1700は、データを処理して、コード化されたビデオまたは復号されたビデオを提供するように構成されたエンコーダ/デコーダモジュール1030を含むことができる。
エンコーダ/デコーダモジュール1730は、コード化および/または復号機能を実行するためにデバイスに含まれ得るモジュール(複数可)を表す。周知であるように、デバイスは、コード化および復号モジュールの一方または両方を含み得る。さらに、エンコーダ/デコーダモジュール1730は、システム1700の別個の要素として実装されてもよく、または当業者には周知であるようなハードウェアとソフトウェアの組み合わせとしてプロセッサ1710内に組み込まれてもよい。
本文書に説明された様々な態様を実行するためにプロセッサ1710上にロードされるプログラムコードは、ストレージデバイス1740内に記憶され、その後、プロセッサ1710による実行のためにメモリ1720上にロードされ得る。例示的な実施形態によれば、プロセッサ(複数可)1710、メモリ1720、ストレージデバイス1740、およびエンコーダ/デコーダモジュール1730のうちの1つ以上は、本文書内で説明されたプロセスの実行中に、入力ビデオ、復号ビデオ、ビットストリーム、方程式、数式、行列、変数、演算、および演算ロジックを含むが、これらに限定されない様々な項目のうちの1つ以上を記憶することができる。
システム1700は、通信チャネル1760を介して他のデバイスとの通信を可能にする通信インターフェース1750を含むことができる。通信インターフェース1750は、通信チャネル1760からデータを送受信するように構成されたトランシーバを含み得るが、これに限定されない。通信インターフェースは、モデムまたはネットワークカードを含み得るが、これらに限定されず、通信チャネルは、有線および/または無線媒体内部に実装され得る。システム1700の様々な構成要素は、内部バス、ワイヤ、およびプリント回路基板を含むが、これらに限定されない様々な好適な接続を使用して共に接続または通信可能に結合され得る。
例示的な実施形態は、プロセッサ1710によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアとソフトウェアの組み合わせによって、実施されてもよい。非限定的な例として、例示的な実施形態は、1つ以上の集積回路によって実装され得る。メモリ1720は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能メモリ等の任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ1710は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含し得る。
本明細書で説明された実装形態および態様は、たとえば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。単一形態の実装形態の文脈でのみ議論された(たとえば、方法としてのみ議論された)としても、議論された特徴の実装形態はまた、他の形態(たとえば、装置またはプログラム)で実装されてもよい。装置は、たとえば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。方法は、たとえば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理デバイスを一般的に指す、たとえばプロセッサのような装置で実装することができる。プロセッサは、通信デバイス、たとえば、コンピュータ、携帯電話、ポータブル/パーソナルデジタルアシスタンス(「PDA」)、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなども含む。
「一実施形態(one embodiment)」もしくは「実施形態(an embodiment)」または「一実装形態(one implementation)」もしくは「実装形態(an implementation)」、ならびにそれらの他の変形への言及は、当該実施形態に関連して説明された特定の特徴、構造、特性等が、少なくとも1つの実施形態に含まれることを意味する。したがって、本文書の全体にわたって様々な箇所においてみられる、「一実施形態において」もしくは「実施形態において」または「一実装形態において」もしくは「実装形態において」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態に言及しているわけではない。
さらに、本文書は、情報の様々な部分を「決定すること」に言及し得る。情報の決定には、たとえば、情報の推定、情報の計算、情報の予測、またはメモリからの情報の取り出しのうちの1つ以上が挙げられ得る。
さらに、本文書は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報へのアクセスには、たとえば、情報の受信、(たとえば、メモリからの)情報の取り出し、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定のうちの1つ以上が挙げられ得る。
さらに、本文書は、情報の様々な部分を「受信すること」に言及し得る。受信には、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、たとえば、情報へのアクセス、または(たとえば、メモリからの)情報の取り出しのうちの1つ以上が挙げられ得る。さらに、「受信すること」は、典型的には、何らかの方法で、たとえば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定等の動作中に含まれる。
当業者には明らかであるように、実装形態は、たとえば、記憶または送信され得る情報を搬送するようにフォーマットされる多種多様な信号を生成することができる。情報は、たとえば方法を実行するための命令、または説明される実装形態のうちの1つにより生成されたデータを含むことができる。たとえば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。このような信号は、(たとえば、スペクトルの無線周波数部分を使用して)たとえば、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、たとえば、データストリームをコード化することと、キャリアをコード化データストリームで変調することと、を含むことができる。信号が搬送する情報は、たとえば、アナログまたはデジタル情報とすることができる。信号は、既知の如く、種々の異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。
いくつかの実施形態を説明してきた。これらの実施形態は、少なくとも、以下の一般化された発明および請求項を、さまざまな異なる請求項のカテゴリおよびタイプにわたって、すべての組み合わせを含めて提供する。
・実施形態の組み合わせを含む、議論された実施形態のいずれかによる変換係数のブロックの形状および/またはサイズを適応/修正/決定する。
・変換サブブロックの形状および/またはサイズを適応/修正/決定する
o適応はブロックのサイズに依存する。
o変換サブブロックのサイズは非正方形の符号化ブロック内で異なる。
o変換サブブロックのサイズが非正方形であり、たとえば、2×Mを含み、M>2であり、たとえば8の場合がある。
o各変換サブブロックに対して符号化される構文に関連するオーバーヘッドを削減する変換サブブロックサイズが選択される。
o変換サブブロックのサイズは、イントラ予測モードに基づいて選択される。
o変換サブブロックサイズは、イントラ予測モードの走査方向に基づいて選択される。
o走査の開始時にゼロの長い文字列が発生することを好む傾向がある変換サブブロックサイズが選択される。
・実施形態の組み合わせを含む、議論された実施形態のいずれかによる変換係数のブロックの形状および/またはサイズを適応/修正/決定する。
・エンコーダおよび/またはデコーダで使用される変換サブブロックの形状および/またはサイズを適応させるための説明された実施形態のうちの1つ以上を可能にする。
・1つ以上の実施形態で説明されているように、変換サブブロックサイズなどのブロックサイズを示すシグナリング構文要素を挿入する。
・1つ以上の実施形態で説明されるように、デコーダが変換サブブロックサイズなどのブロックサイズを特定できるようにするシグナリング構文要素を挿入する。
・変換係数のブロックサイズを説明するための、説明された構文要素のうちの1つ以上、またはその変形もしくは組み合わせを含むビットストリームまたは信号。
・説明された実施形態の、それらの組み合わせまたは変形のうちの1つ以上に従う変換係数のブロックサイズの1つまたは指示(構文またはその他)を含むビットストリームまたは信号を作成および/または送信および/または受信および/または復号する。
・説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像のコード化および/または復号を実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像のコード化および/または復号を実行し、かつ(たとえば、モニタ、スクリーン、または他のタイプのディスプレイを使用して)結果の画像を表示するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・(たとえば、チューナを使用して)チャネルを調整してコード化された画像を含む信号を受信し、説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像を復号するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・コード化された画像を含む信号を(たとえば、アンテナを使用して)無線で受信し、説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像を復号するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
様々な他の一般化された、ならびに特定化された発明および請求項もまた、本開示全体を通してサポートおよび企図される。
・実施形態の組み合わせを含む、議論された実施形態のいずれかによる変換係数のブロックの形状および/またはサイズを適応/修正/決定する。
・変換サブブロックの形状および/またはサイズを適応/修正/決定する
o適応はブロックのサイズに依存する。
o変換サブブロックのサイズは非正方形の符号化ブロック内で異なる。
o変換サブブロックのサイズが非正方形であり、たとえば、2×Mを含み、M>2であり、たとえば8の場合がある。
o各変換サブブロックに対して符号化される構文に関連するオーバーヘッドを削減する変換サブブロックサイズが選択される。
o変換サブブロックのサイズは、イントラ予測モードに基づいて選択される。
o変換サブブロックサイズは、イントラ予測モードの走査方向に基づいて選択される。
o走査の開始時にゼロの長い文字列が発生することを好む傾向がある変換サブブロックサイズが選択される。
・実施形態の組み合わせを含む、議論された実施形態のいずれかによる変換係数のブロックの形状および/またはサイズを適応/修正/決定する。
・エンコーダおよび/またはデコーダで使用される変換サブブロックの形状および/またはサイズを適応させるための説明された実施形態のうちの1つ以上を可能にする。
・1つ以上の実施形態で説明されているように、変換サブブロックサイズなどのブロックサイズを示すシグナリング構文要素を挿入する。
・1つ以上の実施形態で説明されるように、デコーダが変換サブブロックサイズなどのブロックサイズを特定できるようにするシグナリング構文要素を挿入する。
・変換係数のブロックサイズを説明するための、説明された構文要素のうちの1つ以上、またはその変形もしくは組み合わせを含むビットストリームまたは信号。
・説明された実施形態の、それらの組み合わせまたは変形のうちの1つ以上に従う変換係数のブロックサイズの1つまたは指示(構文またはその他)を含むビットストリームまたは信号を作成および/または送信および/または受信および/または復号する。
・説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像のコード化および/または復号を実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像のコード化および/または復号を実行し、かつ(たとえば、モニタ、スクリーン、または他のタイプのディスプレイを使用して)結果の画像を表示するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・(たとえば、チューナを使用して)チャネルを調整してコード化された画像を含む信号を受信し、説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像を復号するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・コード化された画像を含む信号を(たとえば、アンテナを使用して)無線で受信し、説明された実施形態のうちの1つ以上、または変形もしくは組み合わせに従う変換係数のためのブロックサイズに基づいて画像を復号するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
様々な他の一般化された、ならびに特定化された発明および請求項もまた、本開示全体を通してサポートおよび企図される。
Claims (12)
- ビデオを符号化するための方法であって、
−前記ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定することと(1600)、
−前記少なくとも1つの変換サブブロックに少なくとも基づいて前記ブロックを符号化することと(1630)、を含み、
前記ブロックの幅が前記ブロックの高さよりも大きい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックが垂直2×8サブブロックである、決定することを含み、あるいは前記ブロックの幅が前記ブロックの高さよりも小さい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックが水平8×2サブブロックである、決定することを含む、方法。 - ビデオを符号化するための装置であって、
−前記ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定するための手段(1710、1730)と、
−前記少なくとも1つの変換サブブロックに少なくとも基づいて前記ブロックを符号化するための手段(1710、1730)と、を備え、
前記ブロックの幅が前記ブロックの高さよりも大きい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックが垂直2×8サブブロックである、決定することを含み、あるいは前記ブロックの幅が前記ブロックの高さよりも小さい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックが水平8×2サブブロックである、決定することを含む、装置。 - ビデオを復号するための方法であって、
−前記ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定することと(1600)、
−前記少なくとも1つの変換サブブロックに少なくとも基づいて前記ブロックを復号することと(1630)、を含み、
前記ブロックの幅が高さよりも大きい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックは、垂直2×8サブブロックである、決定することと、あるいは前記ブロックの幅が高さよりも小さい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックは、水平8×2サブブロックである、決定することと、を含む、方法。 - ビデオを復号するための装置であって、
−前記ビデオのピクチャのブロック内の少なくとも1つの変換サブブロックを決定するための手段(1710、1730)と、
−前記少なくとも1つの変換サブブロックに少なくとも基づいて前記ブロックを復号するための手段(1710、1730)と、を含み、
前記ブロックの幅が前記ブロックの高さよりも大きい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックが垂直2×8サブブロックである、決定することを含み、あるいは前記ブロックの幅が前記ブロックの高さよりも小さい長方形の場合、少なくとも1つの変換サブブロックを決定することは、前記ブロック内の少なくとも1つの変換サブブロックの配置を決定することであって、少なくとも1つの変換サブブロックが水平8×2サブブロックである、決定することを含む、装置。 - 前記ブロック内の少なくとも1つの変換サブブロックの前記配置は、少なくとも1つの変換4×4サブブロックをさらに含む、請求項1または3に記載の方法、または請求項2または4に記載の装置。
- 前記ブロック内の少なくとも1つの変換サブブロックの前記配置における前記変換サブブロックのサイズは、前記ブロック内の前記変換サブブロックの位置に基づく、請求項1、3または5〜8のいずれか一項に記載の方法、または請求項2、4または5〜8のいずれか一項に記載の装置。
- 前記ブロックは、2×NまたはN×2係数の形状を有し、Nは整数であり、Nは8の倍数である、請求項1、3または5〜8のいずれか一項に記載の方法、または請求項2、4または5〜8のいずれか一項に記載の装置。
- 前記ブロックは、2×NまたはN×2係数の形状を有し、Nは整数であり、Nは2の倍数であるが、Nは8の倍数ではなく、前記ブロック内の少なくとも1つの変換サブブロックの前記配置は、サイズ2x8、2x4、2X2または8x2、4x2、2x2の変換サブブロックを含む、請求項1、3または5〜8のいずれか一項に記載の方法、または請求項2、4または5〜8のいずれかに記載の装置。
- 前記ピクチャのブロック内の少なくとも1つの変換サブブロックを決定することは、前記ブロックを予測するために使用されるイントラ予測モードにさらに基づく、請求項1、3または5〜7のいずれか一項に記載の方法、または請求項2、4または5〜8のいずれかに記載の装置。
- 前記ブロックが水平イントラ予測モードに従って予測される場合、前記少なくとも1つの変換サブブロックを決定することは、垂直2×8サブブロックのタイプの少なくとも1つの変換サブブロックの前記ブロック内の配置を決定することと、前記ブロックの変換係数の構文解析順序を決定することであって、前記構文解析順序が、前記ブロック内の右下の係数で開始する垂直方向に右下から左上への構文解析である、決定することと、を含む、請求項9に記載の方法または装置。
- 前記ブロックが垂直イントラ予測モードに従って予測される場合、前記少なくとも1つの変換サブブロックを決定することは、水平8X2サブブロックのタイプの少なくとも1つの変換サブブロックの前記ブロック内の配置を決定することと、前記ブロックの変換係数の構文解析順序を決定することであって、前記構文解析順序が、前記ブロック内の右下の係数で開始する水平方向に右下から左上への構文解析である、決定することと、を含む、請求項9に記載の方法または装置。
- コンピュータプログラムがプロセッサによって実行されるときに、請求項1、3または5〜11のいずれか一項に記載の方法を実行するためのソフトウェアコード命令を含む前記コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18305542 | 2018-05-02 | ||
EP18305542.5 | 2018-05-02 | ||
EP18305673.8 | 2018-05-31 | ||
EP18305673.8A EP3576408A1 (en) | 2018-05-31 | 2018-05-31 | Adaptive transformation and coefficient scan order for video coding |
PCT/US2019/028864 WO2019212816A1 (en) | 2018-05-02 | 2019-04-24 | Encoding and decoding a video |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021520698A true JP2021520698A (ja) | 2021-08-19 |
JPWO2019212816A5 JPWO2019212816A5 (ja) | 2022-05-02 |
Family
ID=66669043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020550645A Withdrawn JP2021520698A (ja) | 2018-05-02 | 2019-04-24 | ビデオのコード化および復号。 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210243445A1 (ja) |
EP (1) | EP3788784A1 (ja) |
JP (1) | JP2021520698A (ja) |
KR (1) | KR20210002506A (ja) |
CN (1) | CN112042193A (ja) |
BR (1) | BR112020020046A2 (ja) |
WO (1) | WO2019212816A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100095992A (ko) * | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
US9247254B2 (en) * | 2011-10-27 | 2016-01-26 | Qualcomm Incorporated | Non-square transforms in intra-prediction video coding |
CN106851277B (zh) * | 2012-04-13 | 2021-05-07 | 佳能株式会社 | 视频数据的变换单位的子集的编解码的方法、设备和*** |
US9544597B1 (en) * | 2013-02-11 | 2017-01-10 | Google Inc. | Hybrid transform in video encoding and decoding |
US10306229B2 (en) * | 2015-01-26 | 2019-05-28 | Qualcomm Incorporated | Enhanced multiple transforms for prediction residual |
-
2019
- 2019-04-24 BR BR112020020046-8A patent/BR112020020046A2/pt not_active IP Right Cessation
- 2019-04-24 JP JP2020550645A patent/JP2021520698A/ja not_active Withdrawn
- 2019-04-24 US US17/051,682 patent/US20210243445A1/en not_active Abandoned
- 2019-04-24 KR KR1020207030898A patent/KR20210002506A/ko not_active Application Discontinuation
- 2019-04-24 WO PCT/US2019/028864 patent/WO2019212816A1/en unknown
- 2019-04-24 EP EP19727156.2A patent/EP3788784A1/en not_active Withdrawn
- 2019-04-24 CN CN201980029196.8A patent/CN112042193A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2019212816A1 (en) | 2019-11-07 |
EP3788784A1 (en) | 2021-03-10 |
KR20210002506A (ko) | 2021-01-08 |
US20210243445A1 (en) | 2021-08-05 |
CN112042193A (zh) | 2020-12-04 |
BR112020020046A2 (pt) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110720218B (zh) | 与视频译码中的变换处理一起应用的帧内滤波 | |
US11778234B2 (en) | Video intra prediction using hybrid recursive filters | |
CN107710765B (zh) | 用于译码视频数据的方法和装置及计算机可读存储介质 | |
EP2854398B1 (en) | Method for encoding videos sharing sao parameter according to color component | |
CN107211139B (zh) | 用于译码视频数据的方法、装置和计算机可读存储媒体 | |
KR20150090172A (ko) | 비디오 코딩에 있어서 제약된 인트라 블록 경계들에 걸친 루프 필터링 | |
EP2769548A1 (en) | Adaptive loop filtering for chroma components | |
TW201313031A (zh) | 用於大色度區塊的可變長度寫碼係數寫碼 | |
US11039166B2 (en) | Devices and methods for using base layer intra prediction mode for enhancement layer intra mode prediction | |
JP2021525468A (ja) | 部分的に共有されている輝度および彩度のコード化木を用いたビデオ符号化および復号化の方法および装置 | |
US20190320172A1 (en) | Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding | |
CN114631311A (zh) | 将同质语法与编码工具一起使用的方法和装置 | |
KR20140016983A (ko) | 비디오 코딩을 위한 런-모드 기반 계수 코딩 | |
US11463712B2 (en) | Residual coding with reduced usage of local neighborhood | |
JP7520853B2 (ja) | ビデオコード化のための残差コード化における通常のビンの柔軟な割り当て | |
CN114208204A (zh) | 上下文编解码二进制位(ccb)计数方法的统一 | |
EP3883244A1 (en) | Inter-frame prediction method and related device | |
CN115442608B (zh) | 图像编码/解码方法及发送数据的方法 | |
JP2021520698A (ja) | ビデオのコード化および復号。 | |
EP3576408A1 (en) | Adaptive transformation and coefficient scan order for video coding | |
RU2772813C1 (ru) | Видеокодер, видеодекодер и соответствующие способы кодирования и декодирования | |
RU2816154C2 (ru) | Режим сжатия без потерь для универсального кодирования видео | |
WO2021028321A1 (en) | Quantization matrix prediction for video encoding and decoding | |
CN116260980A (zh) | 用于图像编解码方法的编解码设备和发送图像数据的设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20220615 |