JP2022543627A - 描画面サイズ拡張可能ビデオコーディング - Google Patents

描画面サイズ拡張可能ビデオコーディング Download PDF

Info

Publication number
JP2022543627A
JP2022543627A JP2022507445A JP2022507445A JP2022543627A JP 2022543627 A JP2022543627 A JP 2022543627A JP 2022507445 A JP2022507445 A JP 2022507445A JP 2022507445 A JP2022507445 A JP 2022507445A JP 2022543627 A JP2022543627 A JP 2022543627A
Authority
JP
Japan
Prior art keywords
offset
layer
picture
roi
ref
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022507445A
Other languages
English (en)
Inventor
ルゥ，タオラン
プゥ，ファーンジュイン
イン，プオン
トーマス マッカーシー，ショーン
チェン，タオ
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2022543627A publication Critical patent/JP2022543627A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオコーディングビットストリームの同じ又は異なるビットストリームレイヤに渡る描画面サイズ拡張可能性のための方法及びシステムが記載される。適合ウインドウのオフセットパラメータ、参照レイヤの参照関心領域（ROI）、及び現在レイヤの現在ROIが受信される。現在ROI及び参照ROIの幅及び高さは、オフセットパラメータに基づき計算され、それらは、現在ROI及び参照ROIに基づき出力ピクチャを生成するために参照ピクチャ再サンプリングユニットにより使用されるべき幅及び高さ倍率を生成するために使用される。

Description

［関連出願］
本願は、米国仮出願番号第６２/８８３,１９５号、２０１９年８月６日出願、第６２/９０２,８１８号、２０１９年９月１９日出願、及び第６２/９４５,９３１号、２０１９年１２月１０日出願、の優先権の利益を主張する。
［技術分野］
本願明細書は、概して画像に関連する。より具体的には、本発明の実施形態は、描画面サイズ拡張可能ビデオコーディングに関する。
本願明細書で使用されるとき、用語「ダイナミックレンジ（dynamic range (DR)）」は、例えば最も暗い灰色（黒）から最も明るい白色（ハイライト）までの画像内の強度（例えば、輝度、ルマ）範囲を知覚する人間の視覚システム（human visual system (HVS)）の能力に関連し得る。このシーンでは、DRは「シーン参照」強度に関連する。DRは、特定幅の強度範囲を適切に又は近似的にレンダリングするディスプレイ装置の能力にも関連してよい。このシーンでは、DRは「ディスプレイ参照」強度に関連する。本願明細書の説明の任意の点において、特定のシーンが特定の重要度を有すると明示的に指定されない限り、用語はいずれかのシーンで、例えば同義的に使用されてよいことが推定されるべきである。
本願明細書で使用されるとき、用語「高ダイナミックレンジ（high dynamic range (HDR)）」は、人間の視覚システム（HVS）の大きさの１４～１５倍またはそれより大きな程度に渡るDR幅に関連する。実際に、人間が強度範囲の中の広範な幅を同時に知覚し得るDRは、HDRに関連して、何らかの方法で省略され得る。
実際には、画像は１つ以上の色成分（例えば、ルマY及びクロマCb及びCr）を含み、各色成分はピクセル当たりnビット（例えば、n=８）の精度により表される。非線形輝度コーディングを使用すると、n≦８である画像（例えば、カラー２４ビットJPEG画像）は、標準ダイナミックレンジ（standard dynamic range (SDR)）の画像であると考えられる。一方で、n＞８である画像は、拡張ダイナミックレンジの画像であると考えられてよい。HDR画像は、Industrial Light and Magicにより開発されたOpenEXRファイルフォーマットのような高精細（例えば、１６ビット）浮動小数点フォーマットを用いて格納され配信されてもよい。
現在、Dolby laboratoriesのDolby Vision又はBlue-Ray（登録商標）におけるHDR１０のようなビデオ高ダイナミックレンジコンテンツの配信は、多くの再生装置の能力により、４K解像度（例えば、４０９６×２１６０、又は３８４０×２１６０、等）、及び６０フレーム毎秒（fps）に限定されている。将来のバージョンでは、最大で８K解像度（例えば、７６８０×４３２０）及び１２０pfsのコンテンツが配信及び再生のために利用可能になることが期待される。Dolby VisionのようなHDR再生コンテンツエコシステムを簡略化するために、将来のコンテンツタイプは、既存の再生装置と互換性があることが望ましい。理想的には、コンテンツ制作者は、（HDR１０又はDolby Visionのような）既存のHDR装置と互換性のあるコンテンツの特別バージョンを導出し及び配信する必要無しに、将来のHDR技術を採用し及び配信可能でなければならない。ここで発明者らが認めたように、ビデオコンテンツ、特にHDRコンテンツの拡張可能な配信のための改良された技術が望まれる。
本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。同様に、１つ以上のアプローチに関して特定される課題は、特に示されない限り、本章に基づき任意の従来技術の中で認識されたものと想定されるべきではない。
本発明の実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。
ビデオ配信パイプラインの例示的な処理を示す。
目標ディスプレイの解像度に従い入力コンテンツの表示領域を定めるためのピクチャサブ領域の例を示す。
図２Aのピクチャ領域について、実施形態による、タイル表現における境界に跨がる制限の例を示す。
実施形態による、レイヤ適応スライスアドレッシングの例を示す。
従来技術による、空間拡張可能性の例を示す。
実施形態による、描画面拡張可能性の例を示す。
実施形態による、基本レイヤ及び拡張レイヤピクチャ、及び対応する適合ウインドウの例を示す。
本発明の実施形態による、描画面サイズ拡張可能性をサポートする例示的な処理フローを示す。 本発明の実施形態による、描画面サイズ拡張可能性をサポートする例示的な処理フローを示す。
ビデオコーディングのための描画面サイズ拡張可能性に関連する例示的な実施形態が本願明細書に記載される。以下の詳細な説明では、説明を目的として、本発明の種々の実施形態の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、本発明の種々の実施形態がこれらの特定の詳細のうちの一部を有しないで実行されてよいことが明らかである。他の例では、よく知られた構造及び装置は、本発明の実施形態を不必要に抑止し（occluding）、曖昧にし、又は不明瞭にすることを避けるために、徹底的に詳細に記載されない。
＜要約＞
本願明細書に記載される例示的な実施形態は、ビデオコーディングにおける描画面サイズ拡張可能性に関連する。実施形態では、プロセッサは、
第１レイヤにおける適合ウインドウのオフセットパラメータを受信し、
参照レイヤにおけるコーディング領域の参照ピクチャ幅及び参照ピクチャ高さにアクセスし、
前記第１レイヤにおける第１関心領域（ROI）のためのオフセットパラメータを受信し、
前記参照レイヤにおける第２ROIのためのオフセットパラメータを受信し、
前記適合ウインドウのための前記オフセットパラメータに基づき、前記第１レイヤにおけるコーディング領域のための第１ピクチャ幅及び第１ピクチャ高さを計算し、
前記第１ピクチャ幅、前記第１ピクチャ高さ、及び前記第１ROIのための前記オフセットパラメータに基づき、前記第１レイヤにおける現在ROIのための第２ピクチャ幅及び第２ピクチャ高さを計算し、
前記参照ピクチャ幅、前記参照ピクチャ高さ、及び前記参照レイヤにおける前記第２ROIのための前記オフセットパラメータに基づき、前記参照レイヤにおける参照ROIのための第３ピクチャ幅及び第３ピクチャ高さを計算し、
前記第２ピクチャ幅及び前記第３ピクチャ幅に基づき、水平倍率を計算し、
前記第２ピクチャ高さ及び前記第３ピクチャ高さに基づき、垂直倍率を計算し、
前記水平倍率及び前記垂直倍率に基づき前記参照ROIをスケーリングして、スケーリング済み参照ROIを生成し、
前記現在ROI及び前記スケーリング済み参照ROIに基づき、出力ピクチャを生成する。
第２の実施形態では、デコーダは、
第１レイヤにおける適合ウインドウのオフセットパラメータを受信し、
参照レイヤにおけるコーディング領域の参照ピクチャ幅及び参照ピクチャ高さにアクセスし、
前記第１レイヤにおける第１関心領域（ROI）のための調整済みオフセットパラメータを受信し、前記調整済みオフセットパラメータは、前記第１ROIのためのオフセットパラメータを前記第１レイヤにおける前記適合ウインドウのための前記オフセットパラメータと結合し、
前記参照レイヤにおける第２ROIのための調整済みオフセットパラメータを受信し、前記調整済みオフセットパラメータは、前記第２ROIのためのオフセットパラメータを、前記参照レイヤにおける適合ウインドウのためのオフセットパラメータと結合し、
前記第１レイヤにおける前記第１ROIのための前記調整済みオフセットパラメータに基づき、前記第１レイヤにおける現在ROIのための第１ピクチャ幅及び第１ピクチャ高さを計算し、
前記参照レイヤにおける前記第２ROIのための前記調整済みオフセットパラメータに基づき、前記参照レイヤにおける参照ROIのための第２ピクチャ幅及び第２ピクチャ高さを計算し、
前記第１ピクチャ幅及び前記第２ピクチャ幅に基づき、水平倍率を計算し、
前記第１ピクチャ高さ及び前記第２ピクチャ高さに基づき、垂直倍率を計算し、
前記水平倍率及び前記垂直倍率に基づき前記参照ROIをスケーリングして、スケーリング済み参照ROIを生成し、
前記現在ROI及び前記スケーリング済み参照ROIに基づき、出力ピクチャを生成する。
＜例示的なビデオ配信処理パイプライン＞
図１は、ビデオキャプチャからビデオコンテンツ表示までの種々の段階を示す従来のビデオ配信パイプライン１００の例示的な処理を示す。ビデオフレーム１０２のシーケンスは、画像生成ブロック１０５を用いてキャプチャ又は生成される。ビデオフレーム１０２は、デジタル方式で（例えば、デジタルカメラにより）キャプチャされ、又はコンピュータにより（例えば、コンピュータアニメーションを用いて）生成されてよく、ビデオデータ１０７を提供する。代替として、ビデオフレーム１０２は、フィルムカメラによりフィルム上にキャプチャされてよい。フィルムは、デジタルフォーマットに変換されて、ビデオデータ１０７を提供する。製作（production）段階１１０において、ビデオデータ１０７は、ビデオ製作トリーム１１２を提供するために編集される。
製作トリーム１１２のビデオデータは、次に、ブロック１１５で、製作後編集のためにプロセッサに提供される。ブロック１１５の製作後編集は、ビデオ制作者の製作意図に従い画像品質を向上するため又は特定の外観を達成するために、画像の特定領域の色又は明るさの調整又は変更を含んでよい。これは、時に、「色タイミング」又は「色グレーディング」と呼ばれる。他の編集（例えば、シーン選択及び順序付け、画像黒っピング、コンピュータが生成した視覚的特殊効果の追加、激しい振動又はブラー制御、フレームレート制御、等）が、配信のための製作の最終バージョン１１７を生成するために、ブロック１１５で実行されてよい。製作後編集１１５の間、ビデオ画像は、参照ディスプレイ１２５上で表示される。
製作後１１５に続いて、最終製作のビデオデータ１１７は、テレビセット、セットトップボックス、映画劇場、等のような復号及び再生装置へと下流に配信するために、符号化ブロック１２０に配信されてよい。幾つかの実施形態では、コーディングブロック１２０は、コーディングビットストリーム１２２を生成するために、ATSC、DVB、DVD、Blu-Ray（登録商標）、及び他の配信フォーマットにより定義されるような、オーディオ及びビデオエンコーダを含んでよい。受信機では、コーディングビットストリーム１２２は、信号１１７と同一のもの又はその非常に近い近似を表す復号信号１３２を生成するために、復号ユニット１３０により復号される。受信機は、参照ディスプレイ１２５と全く異なる特性を有してよい目標ディスプレイ１４０に取り付けられてよい。その場合、ディスプレイ管理ブロック１３５は、ディスプレイマッピング済み信号１３７を生成することにより、復号信号１３２のダイナミックレンジを目標ディスプレイ１４０の特性にマッピングするために使用されてよい。
＜拡張可能なコーディング＞
拡張可能なコーディングは、既に、MPEG-２、AVC、及びHEVCのような多数のビデオコーディング規格の一部である。本発明の実施形態では、拡張可能なコーディングは、特に、超高解像度HDRコンテンツに関連するとき、性能及び柔軟性を向上するために拡張される。
＜描画面サイズ拡張可能性＞
従来知られているように、空間拡張可能性は、主に、デコーダが種々の解像度でコンテンツを生成することを可能にするために使用される。本発明の実施形態では、空間又は描画面の拡張可能性は、画像の異なる領域の抽出を可能にするよう設計される。例えば、コンテンツ制作者は、大型ディスプレイと小型ディスプレイとでは異なる方法でコンテンツをフレーム化することを選択する（つまり、表示領域を指定する）ことがある。例えば、表示のためにフレーム化された領域は、スクリーンのサイズ、又はスクリーンからビューアまでの距離、に依存してよい。本発明の実施形態は、画像を重なり合う領域（標準的には長方形）に分割し、選択した数のサブ領域が他のサブ領域と独立して、提示のために復号され得るように、それらを符号化する。
図２Ａに例が示され、種々の領域は、他の領域を包含し、及び／又は他の領域により包含される。例として、最小領域２１５は２K解像度を有し、最大領域２０５は８K解像度を有する。基本レイヤビットストリームは、最小空間領域に対応し、一方で、ビットストリーム内の追加レイヤは、次第に大きくなる画像領域に対応する。従って、２Kディスプレイは、２K領域２１５の範囲内でのみコンテンツを表示する。４Kディスプレイは、２K及び４K領域の両方（２１０内の範囲）のコンテンツを表示し、８Kディスプレイは更に広い２０５内の全てを表示する。別の例では、２Kディスプレイは、４Kコンテンツのダウンサンプリングバージョンを表示してよく、４Kディスプレイは、８Kコンテンツのダウンサンプリングバージョンを表示してよい。理想的には、基本レイヤ領域は、レガシー装置により復号でき、一方で、他の領域は、描画面サイズを拡張するために将来の装置により使用できる。
HEVCのような既存のコーディング規格は、タイルを用いて描画面拡張可能性を可能にし得る。タイル表現では、フレームは、長方形の重なり合わない領域のセットに分割される。受信機は、表示のために必要なタイルのセットのみを復号し表示することを決定できる。HEVCでは、タイル間のコーディング依存性は無効である。具体的には、エントロピーコーディング及び再構成依存性は、タイル境界に跨がることを許容されない。これは、動きベクトル予測、イントラ予測、及びコンテキスト選択を含む。（インループフィルタリングは、唯一の例外であり、境界を跨がって許容されるが、ビットストリーム内のフラグにより無効にできる。）更に、基本レイヤが独立して復号可能であるよう、時間動き制約タイル（motion constrained tiles (MCTS)）に対するエンコーダ側の制約が必要であり、時間動き制約タイルセット補足拡張情報（supplemental enhancement information (SEI)）メッセージが要求される。ビットストリーム抽出及び適合の目的で、動き制約タイルセット抽出情報セットSEIメッセージが必要である。特に独立に復号する能力に伴う、HEVCにおけるタイル定義の欠陥は、コーディング効率の損失である。
代替の実装では、HEVCは、関心領域（region of interest (ROI)）を抽出するためにパンスキャン長方形（pan-scan rectangle）SEIメッセージを用いて、描画面拡張可能性を可能にする。SEIメッセージ通信は、長方形範囲を指定するが、ROIを他の領域と独立に復号可能にする情報又は制約を提供する。標準的に、デコーダは、ROIを得るために、画像全体を復号する必要がある。
実施形態では、HEVCタイル概念に改良を加えることにより、新規なソリューションが提案される。例えば、図２Aに示す領域が与えられた場合、実施形態では、独立復号は、領域２Kのためにのみ要求される。図２Bに示すように、２Kの範囲内のタイルでは、提案される方法は、境界を跨がる予測（イントラ／インター）及びエントロピーコーディングを許容する。４Kでは、それは、２kからの及び４Kの範囲内の境界を跨がる予測（イントラ／インター）及びエントロピーコーディングを許容する。８Kでは、それは、２k及び４Kからの及び８Kの範囲内の境界を跨がる予測（イントラ／インター）及びエントロピーコーディングを許容する。ここで、２Kにlayer_id ０を、４Kにlayer_id １を、８Kにlayer_id ２を割り当てることが提案される。現在復号中のlayer_id=Nが与えられると、境界を跨がるタイル予測及びエントロピーコーディングは、N以下のlayer_idからのみ許される。この場合、コーディング効率の損失は、HEVC型のタイルと比べて低下する。例示的なシンタックスは、以下の表１及び２に示される。ここで、Ref[２]の提案されているVVC（Versatile Video Codec）ドラフト仕様に対して提案される新しいシンタックスエレメントは、灰色で強調表示されて示される。
表１：描画面リサイズを可能にする例示的なシーケンスパラメータセットRBSPシンタックス
Figure 2022543627000002
 表２：描画面リサイズのための例示的なピクチャパラメータRBSPシンタックス
Figure 2022543627000003
SPS（表１）では、フラグsps_canvas_tile_enabled_flagが追加されている。
sps_canvas_tile_enabled_flagが１に等しいことは、描画面タイルが現在CVSで有効であることを指定する。sps_canvas_tile_enabled_flagが０に等しいことは、描画面タイルが現在CVSで有効ではないことを指定する。
PPS（表２）では、新しいlayer_id情報パラメータ、tile_layer_id[i]は、i番目の描画面タイルのレイヤidを指定する。tile_layer_id値が０から開始して連続するよう制約する場合、実施形態では、提案されるVVC策定中ドラフト（Ref.[２]）に従い、tile_layer_idの最大可能値は、NumTilesInPic－１であり得る。
タイルは説明として使用されるが、VVCで定義される及び従来知られている、「ブリック」、スライス、及びサブピクチャも、同様に構成できる。
＜レイヤ適応スライスアドレッシング＞
発明者らが認識したように、特定のストリーミングアプリケーションでは、以下の特徴が望ましいことがある：
（１）ビデオコーディングレイヤ（video coding layer (VCL)）でネットワーク抽象化レイヤ（network abstraction layer (NAL)）ユニットを使用するとき、２K解像度ビットストリームは、自己完結型である必要があり、全部のそのNALユニットは、同じ値のnuh_layer_id（例えば、レイヤ０）を有しなければならない。４K解像度を可能にする追加ビットストリームも、自己完結型である必要があり、そのNALユニットは、同じ値の、しかし２Kレイヤのnuh_layer_idとは異なるnuh_layer_id（例えば、レイヤ１）を有しなければならない。最後に、８K解像度を可能にする任意の追加ビットストリームも、自己完結型である必要があり、そのNALユニットは、同じ値の、しかし２K及び４Kレイヤのnuh_layer_id値とは異なるnuh_layer_id（例えば、レイヤ２）を有しなければならない。従って、NALユニットヘッダを分析することにより、nuh_layer_idを用いて、目標解像度又は関心領域（例えば、２K、４K、又は８K）を有するビットストリームを抽出できなければならない。
（２）非VCL NALユニットでは、ストリーム及びピクチャパラメータセットヘッダ（例えば、SPS、PPS、等）は、解像度毎に自己完結型でなければならない。
（３）目標解像度では、ビットストリーム抽出処理は、目標解像度のために必要ではないNALユニットを破棄できなければならない。目標解像度のためのビットストリーム抽出の後に、ビットストリームは、単一レイヤプロファイルに従い、従って、デコーダは単一解像度ビットストリームを単に復号できる。
２K、４K、及び８K解像度は、例として提供されるだけであり、限定ではなく、同じ方法が任意の数の異なる空間解像度又は関心領域に適用できることに留意する。例えば、最高の可能な解像度（例えば、res_layer[０]=８K）のピクチャから開始して、最低解像度におけるサブレイヤ又は関心領域を定義してよい。ここで、i=１,２,…,N-１について、res_layer[i]>res_layer[i+１]であり、Nはレイヤ総数を示す。次に、最初にピクチャ全体を復号することなく、特定のサブレイヤを復号したい場合がある。これは、デコーダが複雑性を低減すること、節電、等を助ける。
上述の要件を満たすために、実施形態では、以下の方法が提案される：
・高レベルシンタックスで、レイヤ数、レイヤ間の依存性関係、レイヤの表現フォーマット、DPBサイズ、及び、レイヤセット、出力レイヤセット、プロファイルティアレベル、及びタイミング関連パラメータを含むビットストリームの適合性を定義することに関連する他の情報、を含むレイヤ情報を指定するために、ビデオパラメータセット（video parameter set (VPS)）シンタックスを再利用できる。
・各々の異なるレイヤ、ピクチャ解像度、適合ウインドウ、サブピクチャ、等、に関連付けられた信号パラメータセット（signal parameter sets (SPS)）では、別個の解像度（例えば、２K、４K、又は８K）に準拠すべきである。
・各々の異なるレイヤ、タイル、ブリック、スライス、等に関連付けられたピクチャパラメータセット（picture parameter sets (PPS)）では、情報は、別個の解像度（例えば、２K、４K、又は８K）に準拠すべきである。別個の領域がVCS内で同じになるよう設定される場合、タイル／ブリック／スライス情報はSPSにも設定されてよい。
・スライスヘッダでは、slice_addressは、スライスを含む最低目標解像度に設定されるべきである。
・前述のように、独立レイヤ復号では、予測中、レイヤは、より低いレイヤ及び／又は同じレイヤからのタイル／ブリック／スライス近隣情報のみを使用できる。
VVC（Ref.[２]）は、スライスとして、単一NALユニットに排他的に含まれる、ピクチャの整数個のブリックを定義する。ブリックは、ピクチャ内の特定のタイル内の長方形領域のＣＴＵ行として定義される。CTU（coding tree unit）は、ルマ及びクロマ情報を有するサンプルのブロックである。
私たちの２K/４K/８Kの例において、実施形態では、slice_addressの値（これは、スライスのスライスアドレスを示す）は、２Kビットストリームでは、４Kビットストリーム又は８Kビットストリームのものと異なるslice_address値を有する必要があり得る。従って、slice_addressの低解像度から高解像度への変換が必要であり得る。従って、実施形態では、そのような情報はVPSレイヤで提供される。
図２Cは、１つのサブレイヤ（例えば、２K及び４Kの場合）を有する４Kピクチャの例を示す。９個のタイル及び３個のスライスを有するピクチャ２２０を検討する。灰色のタイルが２K解像度の領域を指定するとする。２Kビットストリームでは、灰色領域のslice_addressは０でなければならないが、４Kビットストリームでは、灰色領域のslice_addressは１でなければならない。提案される新しいシンタックスは、解像度レイヤに従いslice_addressを指定することを可能にする。例えば、VPSでは、nul_layer_id=１について、４Kの場合にはslice_addressが１になるよう変更されることを指定するために、slice_address変換情報を追加してよい。実装を単純にするために、実施形態では、解像度毎のスライス情報がコーディングビデオストリーム（coded video stream (CVS)）の中で同じに保たれなければならないと制約することを望み得る。HEVCビデオパラメータセットRBSPシンタックスに基づく、VPSにおける例示的なシンタックスが、表３に示される（Ref.[１]のSection７.３.２.１）。情報は、SPS、PPS、スライスヘッダ、及びSEIメッセージのような高レベルシンタックス（high-level syntax (HLS)）の他のレイヤを通じても伝達され得る。
表３：レイヤ適応スライスアドレッシングをサポートするVPSにおける例示的なシンタックス
Figure 2022543627000004
 vps_layer_slice_info_present_flagが１に等しいことは、VPS()シンタックス構造の中にスライス情報が存在することを指定する。vps_layer_slice_info_present_flagが０に等しいことは、VPS()シンタックス構造の中にスライス情報が存在しないことを指定する。
num_slices_in_layer_minus１[i]がプラス１を指定することは、i番目のレイヤ内のスライス数を指定する。num_slices_in_layer_minus１[i]の値は、i番目のレイヤにおけるnum_slices_in_pic_minus１に等しい。
layer_slice_address[i][j][k]は、j番目のレイヤ内のk番目のスライスの目標のi番目のレイヤスライスアドレスを指定する。
例として、図２Cの例に戻ると、ピクチャ２２０は、２つのレイヤを含む：
・レイヤ０（例えば２K）には、スライスアドレス０を有する１つのスライス２３０（灰色）がある。
・レイヤ１（例えば４K）には、スライスアドレス０、１、２を有する３つのスライス(２２５、２３０、及び２３５）がある。
レイヤ１（i=１）を復号するとき、レイヤ０（j=０）内で、スライス０（k=０）２３０は、スライスアドレス１を有し、従って、表３の表記に従い、layer_slice_address[１][０][０]=１である。
＜フィルタリング後のSEIメッセージ＞
ブリック／タイル／スライス／サブピクチャを用いて描画面拡張可能性を実施するとき、起こり得る問題は、境界に跨がるインループフィルタリング（例えば、デブロッキング、SAO、ALF）の実装である。例として、Ref.[４]は、成分ウインドウが独立領域（又はサブピクチャ）を用いてコーディングされるときの問題を記載している。独立コーディング領域を用いてピクチャ全体を符号化するとき（これは、例として、ブリック／タイル／スライス／サブピクチャ、等により実施できる）、独立コーディング領域を跨がるインループフィルタリングは、ドリフト及び境界アーチファクトを生じ得る。描画面サイズアプリケーションでは、高解像度ビデオ及び低解像度ビデオの両方について良好な視覚的品質を有することが重要である。高解像度ビデオでは、境界アーチファクトは軽減されなければならない。従って、独立コーディング領域に跨がるインループフィルタリング（特に、デブロッキングフィルタ）が有効にされなければならない。低解像度ビデオでも、ドリフト及び境界アーチファクトは最小化されなければならない。
Ref.[４]では、インター予測のためにサブピクチャ境界パディングを格納するソリューションが提案されている。このアプローチは、インループフィルタリングにより影響されるそれらのピクセルを使用する動きベクトルを禁じるように、エンコーダのみの制約により実施できる。代替として、実施形態では、SEIメッセージ通信を介してデコーダに通信される後フィルタリングを用いて、この問題を解決することが提案される。
先ず、独立コーディング領域（例えば、領域２２５及び２３０内のスライス境界）に跨がるインループフィルタリングが無効にされることが提案される。ピクチャ全体に対する独立コーディング領域に跨がるフィルタリングは、フィルタリング後処理において行われてよい。フィルタリング後は、デブロッキング、SAO、ALF、又は他のフィルタのうちの１つ以上を含み得る。デブロッキングは、ROI境界アーチファクトを除去するために最も重要なフィルタであり得る。通常、デコーダ又はディスプレイ／ユーザは、どんなフィルタが使用されるべきかの彼ら自身の選択を有し得る。表４は、ROI関連フィルタリング後のSEIメッセージ通信のための例示的なシンタックスを示す。
表４：ROI関連フィルタリング後の例示的なシンタックス
Figure 2022543627000005
 例として、シンタックスパラメータは、以下のように定義されてよい。
deblocking_enabled_flagが１に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界にデブロッキング処理が適用されてよいことを指定する。deblocking_enabled_flagが０に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界にデブロッキング処理が適用されてはならないことを指定する。
sao_enabled_flagが１に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界にサンプル適応オフセット（sample adaptive offset (SAO)）処理が適用されてよいことを指定する。sao_enabled_flagが０に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界にサンプル適応処理が適用されてはならないことを指定する。
alf_enabled_flagが１に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界に適応ループフィルタ処理（adaptive loop filter process (ALF)）が適用されてよいことを指定する。alf_enabled_flagが０に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界に適応ループフィルタ処理が適用されてはならないことを指定する。
user_defined_filter_enabled_flagが１に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界にユーザ定義フィルタ処理が適用されてよいことを指定する。user_defined_filter_enabled_flagが０に等しいことは、表示する目的で再構成されたピクチャの独立ROI境界にユーザ定義フィルタ処理が適用されてはならないことを指定する。
実施形態では、表４のSEIメッセージ通信は、提案されたフラグのうちの１つ以上を除去することにより簡略化できる。全部のフラグが除去された場合、SEIメッセージindependent_ROI_across_boundary_filter(payloadSize){}の存在だけが、ROI関連境界アーチファクトを軽減するために後フィルタが使用されるべきであることを、デコーダに示す。
＜関心領域（ROI）拡張可能性＞
VVC（Ref.[２]）の最新の仕様は、Ref.[３]に更に詳細に議論されるように、参照ピクチャ再サンプリング（reference picture resampling (RPR)）及び参照ピクチャ選択（reference picture selection (RPS)）の組合せを用いて、空間、品質、及びビュー拡張可能性を記載している。それは、単一ループ復号及びブロックに基づくオンザフライ再サンプリングに基づく、RPSは、基本レイヤと１つ以上の拡張レイヤとの間の、又はより具体的には、基本レイヤ又は１つ以上の拡張レイヤのいずれかに割り当てられるコーディングピクチャの間の予測関係を定義するために使用される。RPRは、より小さい／高い基本レイヤピクチャから予測しながら、ピクチャのサブセットを、つまり空間拡張レイヤのピクチャを、基本レイヤより高い／小さい解像度でコーディングするために使用される。図３は、RPS／RPRの枠組みによる、空間拡張可能性の例を示す。
図３に示されるように、ビットストリームは、２つのストリーム、つまり低解像度（low-resolution (LR)）ストリーム３０５（例えば、標準解像度（standard definition, HD）、２K、等）、及び高解像度（higher-resolution (HR)）ストリーム３１０（例えば、HD、２K、４K、８K、等）を含む。矢印は、可能なインター予測コーディング依存性を示す。例えば、HRフレーム３１０-P１は、LRフレーム３０５-Iに依存する。３１０-P１内のブロックを予測するために、デコーダは３０５-Iをアップスケーリングする必要がある。同様に、HRフレーム３１０-P２はHRフレーム３１０-P１及びLRフレーム３０５P１に依存してよい。LRフレーム３０５-P１からの任意の予測は、LRからHRへの空間アップスケーリングを必要とする。他の実施形態では、LR及びHRフレームの順序は、逆にされてもよく、従って、基本レイヤがHRストリームであり、拡張レイヤがLRストリームであり得る。基本レイヤピクチャのスケーリングはSHVCにおけるように明示的に実行されないことに留意する。代わりに、インターレイヤ動き補償で取り入れられ、オンザフライで計算される。Ref.[２]では、スケーラビリティ（拡張可能性）比は、クロッピングウインドウを用いて暗示的に導出される。
ROI拡張可能性は、HEVC（Ref.[１]）において、一般的にSHVCと呼ばれるAnnex H「Scalable high efficiency video coding」の部分としてサポートされている。例えば、SectionF.７.３.２.３.４では、scaled_ref_layer_offset_present_flag[i]及びref_region_offset_present_flag[i]に関連するシンタックスエレメントが定義される。関連するパラメータは、式(H-２)～(H-２１)及び(H-６７)～(H-６８)で導出される。VVCは、関心領域（ROI）拡張可能性を未だサポートしていない。発明者らが認識したように、ROI拡張可能性のサポートは、SHVCにおけるような拡張可能性の拡張を必要とすることなく、同じ単一ループのVVCデコーダを用いて描画面サイズ拡張可能性を可能にし得る。
例として、図２Bに示す３つのデータレイヤ（例えば、２K、４K、及び８K）が与えられる場合、図４は、既存のRPS／RPRの枠組みを用いて描画面サイズ拡張可能性をサポートするビットストリームの例示的な実施形態を示す。
図４に示されるように、ビットストリームは、そのピクチャを３つのレイヤ又はストリーム、２Kストリーム４０２、４Kストリーム４０５、及び８Kストリーム４１０に割り当てる。矢印は、可能なインター予測コーディング依存性の例を示す。例えば、８Kフレーム４１０-P２内のピクセルブロック亜h、８Kフレーム４１０-P１、４Kフレーム４０５-P２、及び２Kフレーム４０２-P１内のブロックに依存してよい。複数ループデコーダを用いていた従来の拡張可能性方式と比べて、提案のROI拡張可能性方式は、以下の利点及び欠点を有する。
－利点：単一ループデコーダを必要とし、任意の他のツールを必要としない。デコーダは、ブリック／タイル／スライス／サブピクチャ境界の問題をどのように扱うかについて考慮する必要がない。
－欠点：拡張レイヤを復号するために、基本レイヤ及び拡張レイヤの両方の復号ピクチャが、復号ピクチャバッファ（decoded picture buffer (DPB)）内に必要であり、従って、非拡張可能性ソリューションよりも大きなDPBサイズを要求する。基本レイヤ及び拡張レイヤの両方が復号される必要があるので、より速いデコーダ速度も要求し得る。
SHVCとVVCのために提案された実施形態との間のROI拡張可能性サポートを有効にする際の主な違いは、SHVCではピクチャ解像度が同じレイヤ内の全部のピクチャについて同じである必要があることである。しかし、VVCでは、RPRサポートにより、同じレイヤ内のピクチャは異なる解像度を有してよい。例えば、図３では、SHVC、３０５-I、３０５-P１、及び３０５-P２は、同じ空間解像度を有する必要がある。しかし、VVCでは、RPRサポートにより、３０５-I、３０５-P１、及び３０５-P２は異なる解像度を有することができる。例えば、３０５-I及び３０５-P１は第１低解像度（例えば、７２０p）を有することができ、３０５-P２は第２低解像度（例えば、４８０p）を有することができる。本発明の実施形態は、異なるレイヤ間のROI拡張可能性、及び同じレイヤのピクチャのためのRPRの両方をサポートすることを目的とする。別の主な違いは、SHVCでは、インターレイヤ予測からの動きベクトルが０になるよう制約されることである。しかし、VVCでは、そのような制約は存在せず、動きベクトルは０であること又は０でないことが可能である。これは、インターレイヤ対応を識別するための制約を削減する。
VVCのコーディングツリーは、コーディングユニット（coding units (CUs)）全体のコーディングのみを許容する。大部分の標準フォーマットは、ピクチャ領域を４又は８個のピクセルの倍数でコーディングするが、非標準フォーマットは、最小CTUサイズに適合するために、エンコーダにおいてパディングする必要があり得る。同じ問題がHEVCに存在した。それは、ピクチャ出力に従うために考慮されるピクチャ範囲を指定する「適合ウインドウ（conformance window）」を生成することにより解決された。適合ウインドウは、VVC（Ref.[２]）にも追加され、４つの変数：conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetにより指定される。参照を容易にするために、以下のセクションは、Ref.[２]からコピーされる。
conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetは、出力のためのピクチャ座標の中で指定される長方形領域の観点から、復号処理から出力されるCVS内のピクチャのサンプルを指定する。conformance_window_flagが０に等しいとき、conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、及びconf_win_bottom_offsetの値は、０に等しいと推定される。
適合クロッピングウインドウは、両端を含む、SubWidthC*conf_win_left_offsettopic_width_in_luma_samples－(SubWidthC*conf_win_right_offset+１)からの水平ピクチャ座標、及びSubHeightC*conf_win_top_offsettopic_height_in_luma_samples－(SubHeightC*conf_win_bottom_offset+１)からの垂直座標により、ルマサンプルを制約する。
SubWidthC*(conf_win_left_offset+conf_win_right_offset)の値は、pic_width_in_luma_samplesより小さくなければならず、SubHeightC*(conf_win_top_offset+conf_win_bottom_offset)の値はpic_height_in_luma_samplesより小さくなければならない。
変数PicOutputWidthL及びPicOutputHeightLは、以下のように導出される：
Figure 2022543627000006
第１の実施形態では、新たに定義されたROIオフセットは、倍率を導出するために、適合ウインドウの既存のオフセットと結合される。提案されるシンタックスエレメントの例示的な実施形態は、図５に示され、基本レイヤピクチャ５２０及び拡張レイヤピクチャ５０２を、それらの対応する適合ウインドウと共に示す。以下のROIシンタックスエレメントが定義される：
基本レイヤ（Base Layer (BL)）
Figure 2022543627000007
 BLピクチャ５２０の幅５２２及び高さ５３２は、上述の式(７-４３)及び(７-４４)を用いて、基本レイヤの適合ウインドウパラメータを用いて計算できる。（例えば、pic_width_in_luma_samplesは幅５２２に対応してよく、PicOutputWidthは点線ウインドウ５４０の幅に対応してよい。）
拡張レイヤ
Figure 2022543627000008
ELピクチャ５０２の幅５１２及び高さ５１４は、上述の式(７-４３)及び(７-４４)を用いて、拡張レイヤの適合ウインドウパラメータを用いて計算できる。（例えば、pic_width_in_luma_samplesは幅５１２に対応してよく、PicOutputWidthは点線ウインドウ５１８の幅に対応してよい。）
例として、表５は、Ref.[２]のSection７.３.２.４に定義されたpic_parameter_set_rbsp()が、新しいシンタックスエレメントをサポートするためにどのように変更されるかを示す（編集が灰色で強調表示される）。
表５：VVCでROI拡張可能性をサポートするための例示的なシンタックス
Figure 2022543627000009
 num_ref_loc_offsetsは、PPS内に存在する参照レイヤ位置オフセットの数を指定する。num_ref_loc_offsetsの値は、両端を含む０～vps_max_layers_minus１の範囲であるべきである。
ref_loc_offset_layer_id[i]は、i番目の参照レイヤ位置オフセットパラメータが指定されるnuh_layer_id値を指定する。
注：ref_loc_offset_layer_id[i]は、例えば、補助ピクチャのその関連する１次ピクチャへの空間対応が指定されるとき、直接参照レイヤの間で存在する必要がない。
i番目の参照レイヤ位置オフセットパラメータは、i番目のスケーリング済み参照レイヤオフセットパラメータ及びi番目の参照領域オフセットパラメータを含む。
scaled_ref_layer_offset_present_flag[i]が１に等しいことは、i番目のスケーリング済み参照レイヤオフセットパラメータがPPS内に存在することを指定する。scaled_ref_layer_offset_present_flag[i]が０に等しいことは、i番目のスケーリング済み参照レイヤオフセットパラメータがPPS内に存在しないことを指定する。存在しないとき、scaled_ref_layer_offset_present_flag[i]の値は０に等しいと推定される。
i番目のスケーリング済み参照レイヤオフセットパラメータは、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する複合ピクチャ内の参照領域に対する、このPPSを参照するピクチャの空間対応を指定する。
scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]とconf_win_left_offsetとの和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の左上ルマサンプルと同一位置にある現在ピクチャ内のサンプルと、subWCルマサンプルのユニット内の現在ピクチャの左上ルマサンプルとの間の水平オフセットを指定する。ここで、subWCは、このPPSを参照するピクチャのSubWidthCと等しい。scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]とconf_win_left_offsetとの和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]とconf_win_top_offsetとの和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の左上ルマサンプルと同一位置にある現在ピクチャ内のサンプルと、subHCルマサンプルのユニット内の現在ピクチャの左上ルマサンプルとの間の垂直オフセットを指定する。ここで、subHCは、このPPSを参照するピクチャのSubHeightCと等しい。scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]とconf_win_top_offsetとの和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]とconf_win_right_offsetとの和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の右下ルマサンプルと同一位置にある現在ピクチャ内のサンプルと、subWCルマサンプルのユニット内の現在ピクチャの右下ルマサンプルとの間の水平オフセットを指定する。ここで、subWCは、このPPSを参照するピクチャのSubWidthCと等しい。scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]とconf_win_right_offsetとの和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]とconf_win_bottom_offsetとの和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の右下ルマサンプルと同一位置にある現在ピクチャ内のサンプルと、subHCルマサンプルのユニット内の現在ピクチャの右下ルマサンプルとの間の垂直オフセットを指定する。ここで、subHCは、このPPSを参照するピクチャのSubHeightCと等しい。scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]とconf_win_bottom_offsetとの和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
currTopLeftSample、currBotRightSample、colRefRegionTopLeftSample、及びcolRefRegionBotRightSampleを、それぞれ、現在ピクチャの左上ルマサンプル、現在ピクチャの右下ルマサンプル、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の左上ルマサンプルと同一位置にある現在ピクチャ内のサンプル、及びref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の右下ルマサンプルと同一位置にある現在ピクチャ内のサンプルとする。
(scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]+conf_win_left_offset)の値が０より大きいとき、colRefRegionTopLeftSampleはcurrTopLeftSampleの右に位置する。(scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]+conf_win_left_offset)の値が０より小さいとき、colRefRegionTopLeftSampleはcurrTopLeftSampleの左に位置する。
(scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]+conf_win_top_offset)の値が０より大きいとき、colRefRegionTopLeftSampleはcurrTopLeftSampleの下に位置する。(scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]+conf_win_top_offset)の値が０より小さいとき、colRefRegionTopLeftSampleはcurrTopLeftSampleの上に位置する。
(scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]+conf_win_right_offset)の値が０より大きいとき、colRefRegionBotRightSampleはcurrBotRightSampleの左に位置する。(scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]+conf_win_right_offset)の値が０より小さいとき、colRefRegionTopLeftSampleはcurrBotRightSampleの右に位置する。
(scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]+conf_win_bottom_offset)の値が０より大きいとき、colRefRegionBotRightSampleはcurrBotRightSampleの上に位置する。(scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]+conf_win_bottom_offset)の値が０より小さいとき、colRefRegionTopLeftSampleはcurrBotRightSampleの下に位置する。
ref_region_offset_present_flag[i]が１に等しいことは、i番目の参照領域のオフセットパラメータがPPS内に存在することを指定する。ref_region_offset_present_flag[i]が０に等しいことは、i番目の参照領域のオフセットパラメータがPPS内に存在しないことを指定する。存在しないとき、ref_region_offset_present_flag[i]の値は０に等しいと推定される。
i番目の参照領域のオフセットパラメータは、同じ復号ピクチャに対する、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の空間対応を指定する。
refConfLeftOffset[ref_loc_offset_layer_id[i]]、refConfTopOffset[ref_loc_offset_layer_id[i]]、refConfRightOffset[ref_loc_offset_layer_id[i]]、及びrefConfBottomOffset[ref_loc_offset_layer_id[i]]を、それぞれ、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャのconf_win_left_offset、conf_win_top_offset、conf_win_right_offset、及びconf_win_bottom_offsetの値とする。
ref_region_left_offset[ref_loc_offset_layer_id[i]]とrefConfLeftOffset[ref_loc_offset_layer_id[i]]との和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の左上ルマサンプルとsubWCルマサンプルのユニット内の同じ復号ピクチャの左上ルマサンプルとの間の水平オフセットを指定する。ここで、subWCは、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有するレイヤのSubWidthCに等しい。ref_region_left_offset[ref_loc_offset_layer_id[i]]とrefConfLeftOffset[ref_loc_offset_layer_id[i]]との和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、ref_region_left_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
ref_region_top_offset[ref_loc_offset_layer_id[i]]とrefConfTopOffset[ref_loc_offset_layer_id[i]]との和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の左上ルマサンプルsubHCルマサンプルのユニット内の同じ復号ピクチャの左上ルマサンプルとの間の垂直オフセットを指定する。ここで、subHCは、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有するレイヤのSubHeightCに等しい。ref_region_top_offset[ref_loc_offset_layer_id[i]]とrefConfTopOffset[ref_loc_offset_layer_id[i]]との和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、ref_region_top_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
ref_region_right_offset[ref_loc_offset_layer_id[i]]とrefConfRightOffset[ref_loc_offset_layer_id[i]]との和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の右下ルマサンプルとsubWCルマサンプルのユニット内の同じ復号ピクチャの右下ルマサンプルとの間の水平オフセットを指定する。ここで、subWCは、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有するレイヤのSubWidthCに等しい。ref_layer_right_offset[ref_loc_offset_layer_id[i]]とrefConfRightOffset[ref_loc_offset_layer_id[i]]との和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、ref_region_right_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
ref_region_bottom_offset[ref_loc_offset_layer_id[i]]とrefConfBottomOffset[ref_loc_offset_layer_id[i]]との和は、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の右下ルマサンプルとsubHCルマサンプルのユニット内の同じ復号ピクチャの右下ルマサンプルとの間の垂直オフセットを指定する。ここで、subHCは、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有するレイヤのSubHeightCに等しい。ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]とrefConfBottomOffset[ref_loc_offset_layer_id[i]]との和の値は、両端を含む-２１４～２１４－１の範囲であるべきである。存在しないとき、ref_region_bottom_offset[ref_loc_offset_layer_id[i]]の値は０に等しいと推定される。
refPicTopLeftSample、refPicBotRightSample、refRegionTopLeftSample、及びrefRegionBotRightSampleを、それぞれ、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャの左上ルマサンプル、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャの右下ルマサンプル、ref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の左上ルマサンプル、及びref_loc_offset_layer_id[i]に等しいnuh_layer_idを有する復号ピクチャ内の参照領域の右下ルマサンプル、とする。
(ref_region_left_offset[ref_loc_offset_layer_id[i]]+refConfLeftOffset[ref_loc_offset_layer_id[i]])の値が０より大きいとき、refRegionTopLeftSampleはrefPicTopLeftSampleの右に位置する。(ref_region_left_offset[ref_loc_offset_layer_id[i]]+refConfLeftOffset[ref_loc_offset_layer_id[i]])の値が０より小さいとき、refRegionTopLeftSampleはrefPicTopLeftSampleの左に位置する。
(ref_region_top_offset[ref_loc_offset_layer_id[i]]+refConfTopOffset[ref_loc_offset_layer_id[i]])の値が０より大きいとき、refRegionTopLeftSampleはrefPicTopLeftSampleの下に位置する。
(ref_region_top_offset[ref_loc_offset_layer_id[i]]+refConfTopOffset[ref_loc_offset_layer_id[i]])の値が０より小さいとき、refRegionTopLeftSampleはrefPicTopLeftSampleの上に位置する。
(ref_region_right_offset[ref_loc_offset_layer_id[i]]+refConfRightOffset[ref_loc_offset_layer_id[i]])の値が０より大きいとき、refRegionBotRightSampleはrefPicBotRightSampleの左に位置する。
(ref_region_right_offset[ref_loc_offset_layer_id[i]]+refConfRightOffset[ref_loc_offset_layer_id[i]])の値が０より小さいとき、refRegionBotRightSampleはrefPicBotRightSampleの右に位置する。
(ref_region_bottom_offset[ref_loc_offset_layer_id[i]]+refConfBottomOffset[ref_loc_offset_layer_id[i]])の値が０より大きいとき、refRegionBotRightSampleはrefPicBotRightSampleの上に位置する。(ref_region_bottom_offset[ref_loc_offset_layer_id[i]]+refConfBottomOffset[ref_loc_offset_layer_id[i]])の値が０より小さいとき、refRegionBotRightSampleはrefPicBotRightSampleの下に位置する。
提案されたシンタックスエレメントが与えられると、実施形態では、限定ではなく、対応するVVCセクションは以下のように変更され得る。(７-xx)及び(８-xx)と付された式は、VVC仕様に挿入される必要がある新しい式を示し、必要に応じて再番号付けされる。
Figure 2022543627000010
 変数PicOutputWidthL及びPicOutputHeightLは、以下のように導出される：
Figure 2022543627000011
 変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
変数refConfWinLeftOffsetは、ルマサンプル内の参照ピクチャのConfWinLeftOffsetに等しく設定される。
変数refConfWinTopOffsetは、ルマサンプル内の参照ピクチャのConfWinTopOffsetに等しく設定される。
Figure 2022543627000012
ROI（描画面サイズ）拡張可能性をサポートするために、仕様は以下のように変更されなければならない：
Figure 2022543627000013
 変数PicOutputWidthL及びPicOutputHeightLは、以下のように導出される：
Figure 2022543627000014
 変数rLIdは、直接参照レイヤピクチャのnuh_layer_idの値を指定する。
Figure 2022543627000015
 変数fRefWidthは、ルマサンプル内の参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル内の参照ピクチャのPicOutputHeightLに等しく設定される。
Figure 2022543627000016
Figure 2022543627000017
Figure 2022543627000018
別の実施形態では、SHVCと異なり、VVCでは、インターレイヤコーディング中に動きベクトルのサイズについて制約が無いので、ROI領域の間のピクセル対応を見付けるとき、参照レイヤROIの上左位置及びスケーリング済み参照レイヤ(現在ピクチャ)ROIを考慮する必要がない。従って、上述の全ての式で、fRefLeftOffset、fRefTopOffset、fCurLeftOffset及びfCurTopOffsetへの言及を除去できる。
図６Aは、上述の処理フローの例示的な要約を提供する。図６Aに示されるように、ステップ６０５で、デコーダは、適合ウインドウに関連するシンタックスパラメータ（例えば、conf_win_xxx_offset、ここで、xxxはleft,top,right,又はbottomである）、現在ピクチャのためのスケーリング済み参照レイヤオフセット（例えば、scaled_ref_layer_xxx_offset[]）、及び参照レイヤ領域オフセット（例えば、ref_region_xxx_offset[]）を受信してよい。インターコーディングではない場合（ステップ６１０）、復号は単一レイヤ復号におけるように進行し、その他の場合、ステップ６１５で、デコーダは、（例えば、式(７-４３)及び(７-４４)を用いて）参照及び現在ピクチャの両方について適合ウインドウを計算する。インターレイヤコーディングではない場合（ステップ６２０）、依然として、同じレイヤにおいて異なる解像度を有するピクチャについてのインター予測のためのRPR倍率を計算する必要があり、次に、復号は単一レイヤ復号におけるように進行し、その他の場合（インターレイヤコーディングによる）、デコーダは、受信したオフセットに基づき（例えば、式(８-７５３)及び(８-７５４)のhori_scale_fp及びvert_scale_fpを計算することにより）、現在及び参照ピクチャについて倍率を計算する。
前述のように（例えば、式(８-x１)～(８-x２)を参照）、デコーダは、参照レイヤピクチャのPicOutputWidthL及びPicOutputHeightLから、参照レイヤの左及び右オフセット値（例えば、RefLayerRegionLeftOffset及びRefLayerRegionRightOffset）並びに上及び下オフセット（例えば、RefLayerRegionTopOffset及びRefLayerRegionBottomOffset）を減算することにより、参照ROIの幅及び高さ（例えば、fRefWidth及びfRefHeight）を計算する必要がある。
同様に（例えば、式(８-x３)～(８-x４)を参照）、デコーダは、現在レイヤピクチャのPicOutputWidthL及びPicOutputHeightLから、左及び右オフセット値（例えば、ScaledRefLayerLeftOffset及びScaledRefLayerRightOffset）並びに上及び下オフセット（例えば、ScaledRefLayerTopOffset及びScaledRefLayerBottomOffset）を減算することにより、現在ROIの幅及び高さ（例えば、fCurWidth及びfCurHeight）を計算する必要がある。現在及び参照ROIのこれらの調整済みサイズが与えられると、最小限の追加の変更しか必要なく（上記の灰色強調部分で示される）、デコーダは、既存のVVC RPRブロックにおけるように（例えば、式(８-７５５)～式(８-７６６)の処理）、水平及び垂直倍率を決定する（例えば、式(８-７５３)及び(８-７５４)を参照）。
式(８-x５)～(８-x８)では、適正なピクセル対応のための適合ウインドウの左上角に対する、参照及び現在ROIの正しい位置を決定するために、調整済み左及び上オフセットも計算される。
第２の実施形態では、適合ウインドウオフセット及びROIオフセットの両方を（例えば、それらを一緒に加算することにより）結合するために、ref_region_xxx_offset[]及びscaled_ref_region_xxx_offset[]オフセットの定義を再定義してよい。例えば、表５で、scaled_ref_layer_xxx_offsetを以下のように定義されるscaled_ref_layer_xxx_offset_sumにより置き換えてよい：
Figure 2022543627000019
同様の定義は、ref_region_xxx_offset_sumについても生成でき、ここで、xxx=bottom、top、left、及びrightである。説明されるように、ステップ６１５における処理はステップ６２５における処理と結合されてよいので、これらのパラメータは、デコーダがステップ６１５をスキップすることを許容する。
例として、図６Aでは、
ａ）ステップ６１５で、ピクチャ幅から、適合ウインドウ左及び右オフセットを減算することにより、PicOutputWidthLを計算してよい（例えば、式(７-４３)を参照）。
ｂ）fCurWidth=PicOutputWidthLとする。
ｃ）次に、ステップ６２５で、ScaledRefLayer左及び右オフセットを減算することにより、fCurWidth（例えば、(８-x３)を参照）を調整するが、式(７-xx)から、これらはscaled_ref_layer左及び右オフセットに基づく。例えば、現在ROIの幅だけを調整することを考えると、簡略化した表記では（つまり、SubWidthCスケーリングパラメータを無視することにより）、以下のように計算できる。
ピクチャ出力幅
=ピクチャ幅
-(適合ウインドウ左オフセット+適合ウインドウ右オフセット) (2)

ROI現在幅=ピクチャ出力幅-(ROI現在左オフセット+ROI現在右オフセット) (3)
式(２)及び(３)を一緒に結合することにより、
ROI現在幅
=ピクチャ幅
-((適合ウインドウ左オフセット+ROI現在左オフセット)
+(適合ウインドウ右オフセット+ROI現在右オフセット)) (4)
以下の通りであるとすると、
ROI現在左合計オフセット＝適合ウインドウ左オフセット＋ROI現在左オフセット
ROI現在右合計オフセット＝適合ウインドウ右オフセット＋ROI現在右オフセット
式(４)は以下のように簡略化できる：
ROI現在幅=ピクチャ幅-((ROI現在左合計オフセット)+(ROI現在右合計オフセット))(5)
新しい「合計（sum）」オフセット（例えば、ROI現在左合計オフセット）の定義は、式(１)で定義されたref_region_left_offset_sumの定義に対応する。
従って、上述のように、レイヤのconf_win_left_offsetの合計を含むように、scaled_ref_layer左及び見意義オフセットを再定義する場合、ブロック６１５及び６２５に進み、現在及び参照ROIの幅及び高さを計算する（例えば、式(２)及び(３)は１つに結合できる（例えば、式(５)））（例えば、ステップ６３０）。
図６Bに示すように、ステップ６１５及び６２５は、単一のステップ６３０に結合できる。図６Aと比べて、このアプローチは、幾つかの加算を節約するが、改定されたオフセット（例えば、scaled_ref_layer_left_offset_sum[]）は今やより大きな量になり、従って、それらは、ビットストリーム内で符号化されるためにより多くのビットを必要とする。conf_win_xxx_offset値はレイヤ毎に異なってよく、それらの値は各レイヤにおけるPPS情報により抽出できることに留意する。
第３の実施形態では、インターレイヤピクチャの間で水平及び垂直倍率（例えば、hori_scale_fp及びvert_scale_fp）を明示的にシグナリングしてよい。そのようなシナリオでは、レイヤ毎に、水平及び垂直倍率、並びに上及び左オフセットを通信する必要がある。
同様のアプローチは、任意のアップサンプリング及びダウンサンプリングフィルタを用いて、それぞれに複数のROIを組み込むピクチャを有する実施形態に適用可能である。
＜参考文献＞
ここに列挙された参考文献の各々は、参照によりその全体がここに組み込まれる。
[１] High efficiency video coding, H.２６５, Series H, Coding of moving video, ITU, (０２/２０１８)
[２] B. Bross, J. Chen, and S. Liu, “Versatile Video Coding (Draft ６),” JVET output document, JVET-O２００１, vE, uploaded July ３１, ２０１９
[３] S. Wenger, et al., “AHG８: Spatial scalability using reference picture resampling,“ JVET-O００４５, JVET Meeting, Gothenburg, SE, July ２０１９
[４] R. Skupin et al., AHG１２: “On filtering of independently coded region,” JVET-O０４９４ (v３), JVET Meeting, Gothenburg, SE, July ２０１９
＜例示的なコンピュータシステムの実装＞
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネント内に構成されるシステム、マイクロコントローラのような集積回路（ＩＣ）装置、ＦＰＧＡ（field programmable gate array）、又は別の構成可能な又はプログラム可能な論理装置（ＰＬＤ）、個別時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、及び／又はこのようなシステム、装置、又はコンポーネントのうちの１つ以上を含む機器により実装されてよい。コンピュータ及び／又はICは、本願明細書に記載したような描画面サイズ拡張可能性に関連する命令を実行し、制御し、又は実行してよい。コンピュータ及び／又はＩＣは、本願明細書に記載した描画面サイズ拡張可能性に関連する種々のパラメータ又は値のうちのいずれかを計算してよい。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、及びそれらの種々の組み合わせで実施されてよい。
本発明の特定の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ、等の中の１つ以上のプロセッサは、プロセッサのアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述の描画面サイズ拡張可能性に関連する方法を実施してよい。本発明ｂの実施形態は、プログラムプロダクトの形式で提供されてもよい。プログラムプロダクトは、データプロセッサにより実行されるとデータプロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを運ぶ任意の非一時的有形媒体を含んでよい。本発明によるプログラムプロダクトは、種々の非一時的有形形式うちの任意のものであってよい。プログラムプロダクトは、例えば、フロッピーディスクを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体、等のような物理媒体を含んでよい。プログラムプロダクト上のコンピュータ可読信号は、光学的に圧縮又は暗号化されてよい。
コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、部品、装置、回路、等）が以上で言及されたが、特に断りのない限り、それらのコンポーネントの言及（「手段」の言及を含む）は、それらのコンポーネントの均等物、記載したコンポーネントの機能を実行する（例えば、機能的に均等な）任意のコンポーネント、本発明の図示の例示的な実施形態における機能を実行する開示の構造と構造的に等しくないコンポーネントを含むと解釈されるべきである。
＜均等物、拡張機能、代替案、等（Equivalents, Extensions, Alternatives and Miscellaneous）＞
従って、描画面サイズ拡張可能性に関連する例示的な実施形態が記載される。以上の明細書において、本発明の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。従って、本発明が何であるかの単独及び排他的な指示、及び出願人が本発明であることを意図するものは、本願により、いかなる後の補正を含む、特定の形式で発行される請求の範囲に記載される。このような請求の範囲に含まれる用語について本願明細書に明示的に記載された任意の定義は、請求の範囲において使用されるこのような用語の意味を支配するべきである。従って、請求の範囲に明示的に記載されないいかなる限定、要素、特徴、利点、又は属性は、いかなる方法でも、請求の範囲の範囲を限定すべきではない。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。

Claims (15)

  1. 拡張可能な描画面サイズでコーディングビットストリームを復号する方法であって、前記方法は、プロセッサにより実行され、現在ピクチャについて、
    符号無し整数値を有する現在ピクチャ幅及び現在ピクチャ高さを受信するステップと、
    前記現在ピクチャ上の長方形範囲を決定する第１オフセットパラメータを受信するステップであって、前記第１オフセットパラメータは符号付き整数値を含む、ステップと、
    前記現在ピクチャ幅、前記現在ピクチャ高さ、及び前記第１オフセットパラメータに基づき、前記現在ピクチャ上の前記長方形範囲の現在範囲幅及び現在範囲高さを計算するステップと、
    参照範囲について、参照範囲幅、参照範囲高さ、参照範囲左オフセット、及び参照範囲上オフセットにアクセスするステップと、
    前記現在範囲幅及び前記参照範囲幅に基づき、水平倍率を計算するステップと、
    前記現在範囲高さ及び前記参照範囲高さに基づき、垂直倍率を計算するステップと、
    前記第１オフセットパラメータに基づき、前記現在領域の左オフセット調整及び上オフセット調整を計算するステップと、
    前記水平及び垂直倍率、前記左オフセット調整、前記上オフセット調整、前記参照範囲左オフセット、及び前記参照範囲上オフセットに基づき、動き補償を実行するステップと、
    を含む方法。
  2. 前記第１オフセットパラメータは、左オフセット、上オフセット、右オフセット、及び下オフセットを含む、請求項１に記載の方法。
  3. 前記左オフセット、前記上オフセット、前記右オフセット、又は前記下オフセットのうちの１つ以上は、-２１４から２１４の間の値を有する、請求項２に記載の方法。
  4. 前記現在範囲幅を計算するステップは、前記現在ピクチャ幅から、前記左オフセットと前記右オフセットとの第１和を減算するステップを含み、
    前記現在範囲高さを計算するステップは、前記現在ピクチャ高さから、前記上オフセットと前記下オフセットとの第２和を減算するステップを含む、請求項２に記載の方法。
  5. 前記水平倍率（hori_scale_fp）を計算するステップは、以下を計算するステップを含み：
    Figure 2022543627000020
     ここで、fRefWidthは前記参照範囲幅を表し、fCurWidthは前記現在範囲幅を表す、請求項１に記載の方法。
  6. 動き補償を実行するステップは、以下を計算するステップを含み：
    Figure 2022543627000021
     ここで、hori_scale_fpは、前記水平倍率を表し、
    vert_scale_fpは、前記垂直倍率を表し、
    fCurLeftOffsetは、前記左オフセット調整を表し、
    fCurTopOffsetは、前記上オフセット調整を表し、
    fRefLeftOffsetは、前記参照範囲左オフセットを表し、
    fRefTopOffsetは、前記参照範囲上オフセットを表し、
    (refxSbL,refySbL)及び(refxL,refyL)は、１/１６サンプルユニットの場合に動きベクトル(refMvLX[０],refMvLX[１])によりポイントされるルマ位置である、請求項１に記載の方法。
  7. 前記参照範囲幅及び前記参照範囲高さにアクセスするステップは、参照ピクチャについて、
    参照ピクチャ幅及び参照ピクチャ高さにアクセスするステップと、
    前記参照ピクチャ内の長方形範囲を決定する第２オフセットパラメータを受信するステップであって、前記第２オフセットパラメータは符号付き整数値を有する、ステップと、
    前記参照ピクチャ幅、前記参照ピクチャ高さ、及び前記第２オフセットパラメータに基づき、前記参照ピクチャ内の前記長方形範囲について、前記参照範囲幅及び前記参照範囲高さを計算するステップと、
    を更に含む、請求項１に記載の方法。
  8. 前記第２オフセットパラメータに基づき、前記参照範囲左オフセット及び前記参照範囲上オフセットを計算するステップ、を更に含む請求項７に記載の方法。
  9. 前記参照範囲は参照ピクチャを含む、請求項１に記載の方法。
  10. 前記参照範囲幅、前記参照範囲高さ、前記参照範囲左オフセット、及び前記参照範囲上オフセットは、前記参照ピクチャの適合ウインドウパラメータ、参照ピクチャ幅、参照ピクチャ高さ、又は関心領域オフセットパラメータ、のうちの１つ以上に基づき計算される、請求項８に記載の方法。
  11. 符号化ビデオストリーム構造を格納している非一時的プロセッサ可読媒体であって、前記符号化ビデオストリーム構造は、
    ビデオピクチャシーケンスの符号化を含む符号化ピクチャセクションと、
    シグナリングセクションであって、以下：
    左適合ウインドウオフセット、右適合ウインドウオフセット、上適合ウインドウオフセット、及び下適合ウインドウオフセット、を含む適合ウインドウパラメータ、及び
    関心領域（ROI）左オフセット、ROI右オフセット、ROI上オフセット、及びROI下オフセット、を含むROIパラメータ、
    の符号化を含むシグナリングセクションと、
    を含む、非一時的プロセッサ可読媒体。
  12. 前記ROI左オフセット、前記ROI上オフセット、前記ROI右オフセット、又は前記ROI下オフセットのうちの１つ以上は、-２１４から２１４の間の値を有する、請求項１１に記載の非一時的プロセッサ可読媒体。
  13. 前記左適合ウインドウオフセット、前記右適合ウインドウオフセット、前記上適合ウインドウオフセット、又は前記下適合ウインドウオフセットのうちの１つ以上は、正又は符号無し整数値のみを有する、請求項１１に記載の非一時的プロセッサ可読媒体。
  14. １つ以上のプロセッサにより請求項１～１０のいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令を格納している非一時的コンピュータ可読記憶媒体。
  15. プロセッサを含み、請求項１～１０に記載の方法のうちのいずれか１つを実行するよう構成される機器。
JP2022507445A 2019-08-06 2020-08-05 描画面サイズ拡張可能ビデオコーディング Pending JP2022543627A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962883195P 2019-08-06 2019-08-06
US62/883,195 2019-08-06
US201962902818P 2019-09-19 2019-09-19
US62/902,818 2019-09-19
US201962945931P 2019-12-10 2019-12-10
US62/945,931 2019-12-10
PCT/US2020/045043 WO2021026255A1 (en) 2019-08-06 2020-08-05 Canvas size scalable video coding

Publications (1)

Publication Number Publication Date
JP2022543627A true JP2022543627A (ja) 2022-10-13

Family

ID=72193589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022507445A Pending JP2022543627A (ja) 2019-08-06 2020-08-05 描画面サイズ拡張可能ビデオコーディング

Country Status (5)

Country Link
US (2) US11877000B2 (ja)
EP (1) EP4011079A1 (ja)
JP (1) JP2022543627A (ja)
CN (1) CN114208202A (ja)
WO (1) WO2021026255A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021052491A1 (en) * 2019-09-19 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Deriving reference sample positions in video coding
JP7324940B2 (ja) 2019-09-19 2023-08-10 北京字節跳動網絡技術有限公司 ビデオコーディングにおけるスケーリングウインドウ
EP4026336A4 (en) 2019-10-05 2022-12-07 Beijing Bytedance Network Technology Co., Ltd. LEVEL-BASED SIGNALING OF VIDEO CODING TOOLS
EP4029262A4 (en) 2019-10-12 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. PREDICTIVE TYPE SIGNALING IN VIDEO ENCODING
EP4029274A4 (en) 2019-10-13 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. INTERACTION BETWEEN REFERENCE IMAGE RESAMPLING AND VIDEO CODING TOOLS
US11632540B2 (en) * 2019-12-20 2023-04-18 Qualcomm Incorporated Reference picture scaling ratios for reference picture resampling in video coding
US20220303564A1 (en) * 2019-12-23 2022-09-22 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
EP4066502A4 (en) 2019-12-27 2023-01-18 Beijing Bytedance Network Technology Co., Ltd. SIGNALING TYPES OF SLICES IN VIDEO IMAGE HEADERS
EP4144094A4 (en) * 2020-05-22 2023-06-21 Beijing Bytedance Network Technology Co., Ltd. MANIPULATION OF ENCODED VIDEO IN A BIT SUBSTREAM EXTRACTION PROCESS

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554132B2 (en) 2011-05-31 2017-01-24 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
CN108737835B (zh) 2012-04-13 2020-12-15 三菱电机株式会社 图像编码装置、图像解码装置及其方法
US10110890B2 (en) 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
US20140003534A1 (en) 2012-07-02 2014-01-02 Sony Corporation Video coding system with temporal scalability and method of operation thereof
US9912941B2 (en) 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
WO2014051408A1 (ko) * 2012-09-28 2014-04-03 삼성전자 주식회사 인터 레이어 예측 오차를 부호화하기 위한 sao 오프셋 보상 방법 및 그 장치
US9374581B2 (en) 2013-01-07 2016-06-21 Qualcomm Incorporated Signaling of picture order count to timing information relations for video timing in video coding
CN105247869B (zh) * 2013-05-24 2019-05-10 株式会社Kt 解码多层视频的方法和设备
KR101728285B1 (ko) 2013-06-12 2017-04-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
JP6605789B2 (ja) 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
JP6571314B2 (ja) 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP6625318B2 (ja) 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
TWI652937B (zh) 2013-10-07 2019-03-01 Ｖｉｄ衡器股份有限公司 多層視訊編碼組合可調能力處理方法
JP6538324B2 (ja) 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
WO2015076277A1 (ja) 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6652320B2 (ja) 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US10567765B2 (en) 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
WO2015115946A1 (en) 2014-01-30 2015-08-06 Telefonaktiebolaget L M Ericsson (Publ) Methods for encoding and decoding three-dimensional video content
KR102224703B1 (ko) * 2014-03-17 2021-03-09 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩 장치, 방법 및 컴퓨터 프로그램
US10187659B2 (en) * 2014-04-25 2019-01-22 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coding data transform device
JP2017520176A (ja) 2014-05-30 2017-07-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 高フレームレートタイル化圧縮技法
WO2016054076A1 (en) 2014-10-02 2016-04-07 Dolby Laboratories Licensing Corporation Dual-ended metadata for judder visibility control
CN105744251A (zh) 2014-12-11 2016-07-06 深圳市华天瑞彩科技开发有限公司 快门式led三维显示控制***
EP3280150A1 (en) 2015-03-31 2018-02-07 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmission device and reception device
WO2016185947A1 (ja) 2015-05-19 2016-11-24 ソニー株式会社 画像処理装置、画像処理方法、受信装置および送信装置
WO2017051072A1 (en) * 2015-09-23 2017-03-30 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic video
US10148983B2 (en) 2015-09-25 2018-12-04 Qualcomm Incorporated Methods and systems of improved video stream switching and random access
US9681111B1 (en) 2015-10-22 2017-06-13 Gopro, Inc. Apparatus and methods for embedding metadata into video stream
JP6588801B2 (ja) 2015-10-30 2019-10-09 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
TWI605705B (zh) 2015-11-30 2017-11-11 晨星半導體股份有限公司 位元流解碼方法與位元流解碼電路
JPWO2017150237A1 (ja) 2016-03-03 2018-12-27 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
WO2018123542A1 (en) 2016-12-31 2018-07-05 Sharp Kabushiki Kaisha Systems and methods for reducing artifacts in temporal scalable layers of video
CN107153876A (zh) * 2017-05-25 2017-09-12 南通大学 基于专家规则的机器视觉快门自整定智能控制方法
EP3688978B1 (en) 2017-09-28 2021-07-07 Dolby Laboratories Licensing Corporation Frame-rate-conversion metadata
IL289965B (en) 2019-03-11 2022-09-01 Dolby Laboratories Licensing Corp Video encoding with adjustable frame rate

Also Published As

Publication number Publication date
US20220385935A1 (en) 2022-12-01
US20240121424A1 (en) 2024-04-11
WO2021026255A1 (en) 2021-02-11
CN114208202A (zh) 2022-03-18
US11877000B2 (en) 2024-01-16
EP4011079A1 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
JP2022543627A (ja) 描画面サイズ拡張可能ビデオコーディング
US11533474B2 (en) Video coding using reference picture resampling supporting region of interest
CN115702564B (zh) 非暂态处理器可读介质
KR20240112373A (ko) 프레임 레이트 스케일러블 비디오 코딩
EA042523B1 (ru) Кодирование видео, масштабируемое по частоте кадров
KR20230026549A (ko) 프레임 레이트 스케일러블 비디오 코딩

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240618