JP2020515169A - メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法 - Google Patents

メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法 Download PDF

Info

Publication number
JP2020515169A
JP2020515169A JP2019551722A JP2019551722A JP2020515169A JP 2020515169 A JP2020515169 A JP 2020515169A JP 2019551722 A JP2019551722 A JP 2019551722A JP 2019551722 A JP2019551722 A JP 2019551722A JP 2020515169 A JP2020515169 A JP 2020515169A
Authority
JP
Japan
Prior art keywords
data
video
flag
moving image
vps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019551722A
Other languages
English (en)
Inventor
サーチン ジー. デシュパンダ
サーチン ジー. デシュパンダ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2020515169A publication Critical patent/JP2020515169A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

データをカプセル化する方法が開示されている。本方法は、マルチレイヤ動画像表示データを含む符号化動画像データを受信することと、符号化動画像データに関連付けられた1つ以上のパラメータ値を設定することと、符号化動画像データをデータ構造内にカプセル化することと、を含む。

Description

本開示は、動画像符号化に関し、より具体的には、スケーラブル動画像データをシグナリングするための技術に関する。
デジタル動画像能力は、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレット型コンピュータ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、いわゆるスマートフォンを含むセルラー電話、医療用イメージングデバイスなどを含む、広範囲のデバイスに組み込むことができる。デジタル動画像は、動画像符号化規格に従って符号化することができる。動画像符号化規格は、動画像圧縮技術を組み込むことができる。動画像符号化規格の例としては、ISO/IEC MPEG−4 Visual及びITU−T H.264(ISO/IEC MPEG−4 AVCとしても公知である)並びにHigh−Efficiency Video Coding(HEVC)が挙げられる。HEVCは、High Efficiency Video Coding(HEVC),Recに記載されている。ITU−T H.265(2015年4月)は、参照により本明細書に組み込まれ、本明細書ではITU−T H.265と呼ばれる。動画像圧縮技術は、動画像データを記憶し送信するためのデータ要件を低減することを可能にする。動画像圧縮技術は、ビデオシーケンスにおける固有の冗長性を利用することにより、データ要件を低減することができる。動画像圧縮技術は、ビデオシーケンスを連続的により小さな部分(すなわち、ビデオシーケンス内のフレームの群、フレーム群内のフレーム、フレーム内のスライス、スライス内の符号化木ユニット(例えば、マクロブロック)、符号化木ユニット内の符号化ブロックなど)に再分割することができる。イントラ予測符号化技術(例えば、ピクチャ内(空間的))及びインター予測技術(すなわち、ピクチャ間(時間的))を使用して、符号化される動画像データのユニットと動画像データの参照ユニットとの間の差分値を生成することができる。差分値は、残差データと呼ばれることがある。残差データは、量子化された変換係数として符号化することができる。シンタックス要素は、残差データと参照符号化ユニットを関連付けることができる(例えば、イントラ予測モードインデックス、動きベクトル、及びブロックベクトル)。残差データ及びシンタックス要素は、エントロピ符号化することができる。エントロピ符号化された残差データ及びシンタックス要素は、準拠ビットストリームに含めることができる。データ構造内準拠ビットストリーム及び関連メタデータは、データ構造に従ってカプセル化することができる。例えば、動画像表示及びそれに関連付けられたメタデータを形成する1つ以上の準拠ビットストリームは、ファイルフォーマットに従ってカプセル化することができる。動画像データをカプセル化するための現在の技術は、理想的ではない場合がある。
一実施例では、データをカプセル化する方法は、マルチレイヤ動画像表示データを含む符号化動画像データを受信することと、符号化動画像データに関連付けられた1つ以上のパラメータ値を設定することと、符号化動画像データをデータ構造内にカプセル化することと、を含む。
本開示の1つ以上の技術に係る、動画像データを符号化及び復号するように構成することができるシステムの一例を示すブロック図である。 本開示の1つ以上の技術に係る、符号化動画像データ及び対応するデータ構造を示す概念図である。 本開示の1つ以上の技術に係る、符号化動画像データ及び対応するメタデータをカプセル化するデータ構造を示す概念図である。 本開示の1つ以上の技術に係る、動画像データを符号化及び復号するように構成することができるシステムの実装形態に含まれ得る構成要素の一例を示す概念図である。 本開示の1つ以上の技術に係る、動画像データを符号化するように構成することができる動画像符号化装置の一例を示すブロック図である。 本開示の1つ以上の技術に係る、動画像データを復号するように構成することができる動画像復号装置の一例を示すブロック図である。 発明を実施するための形態
概して、本開示は、動画像データを符号化する様々な技術を説明する。特に、本開示は、データ構造に従って動画像データをカプセル化する及びデカプセル化するための技術を説明する。本明細書で説明する例示的なデータ構造は、様々なデータ通信技術を利用する多様な範囲のデバイスへ、スケーラブル動画像表示が効率的に送信できるようになるために、特に有用であり得る。本開示の技術は、ITU−T H.264及びITU−T H.265に関して説明されているが、一般的には、動画像符号化に適用可能であり得ることに留意されたい。例えば、本明細書で説明する符号化技術は、ITU−T H.265に含まれるもの以外のブロック構造、イントラ予測技術、インター予測技術、変換技術、フィルタリング技術、及び/又はエントロピ符号化技術を含む動画像符号化システム(将来の動画像符号化規格に基づく動画像符号化システムを含む)に組み込むことができる。従って、ITU−T H.264及びITU−T H.265への参照は、説明のためのものであり、本明細書で説明する技術の範囲を限定するように解釈すべきではない。例えば、本明細書で説明する技術により、例えば、現在開発中の動画像符号化技術を含め、他の動画像符号化技術に従って符号化動画像データを含む動画像表示のためのスケーラブル動画像表示が効率的に送信できるようになる。更に、本明細書での文書の参照による組み込みは、説明のためのものであり、本明細書で使用される用語に関して限定する又は曖昧さを生むように解釈されるべきではないことに留意されたい。例えば、組み込まれた参照が、別の組み込まれた参照とは、及び/又はその用語が本明細書で使用されるのとは異なる用語の定義を提供する場合では、その用語は、それぞれの対応する定義を幅広く含むように、及び/又は代わりに特定の定義の各々を含むように解釈されるべきである。
一実施例では、デバイスは、マルチレイヤ動画像表示データを含む符号化動画像データを受信し、符号化動画像データに関連付けられた1つ以上のパラメータ値を設定し、かつ、符号化動画像データをデータ構造内にカプセル化するように構成された1つ以上のプロセッサを備える。
一実施例では、非一時的コンピュータ可読記憶媒体は、媒体上に記憶された命令を含み、その命令は実行されると、デバイスの1つ以上プロセッサに、マルチレイヤ動画像表示データを含む符号化動画像データを受信させ、符号化動画像データに関連付けられた1つ以上のパラメータ値を設定させ、符号化動画像データをデータ構造内にカプセル化させる。
一実施例では、装置は、マルチレイヤ動画像表示データを含む符号化動画像データを受信し、符号化動画像データに関連付けられた1つ以上のパラメータ値を設定し、符号化動画像データをデータ構造内カプセル化する、手段を備える。
一実施例では、データをデカプセル化する方法は、本明細書で説明する技術のうちの1つ以上に従ってカプセル化されたデータ構造を受信することと、そのデータ構造をデカプセル化することと、を含む。
一実施例では、デバイスは、本明細書で説明する技術のうちの1つ以上に従ってカプセル化されたデータ構造を受信し、そのデータ構造をデカプセル化するように構成された1つ以上のプロセッサを備える。
一実施例では、非一時的コンピュータ可読記憶媒体は、媒体上に記憶された命令を含み、その命令が実行されると、デバイスの1つ以上プロセッサに、本明細書で説明する技術のうちの1つ以上に従ってカプセル化されたデータ構造を受信し、そのデータ構造をデカプセル化する。
一実施例では、装置は、本明細書で説明する技術のうちの1つ以上に従ってカプセル化されたデータ構造を受信し、そのデータ構造をデカプセル化するための手段を含む。
1つ以上の実施例の詳細は、添付の図面及び以下の明細書に記述されている。他の特徴、目的、及び利点は、明細書及び図面から、並びに特許請求の範囲から明白であろう。
ビデオコンテンツは、典型的には、一連のフレームからなるビデオシーケンスを含む。一連のフレームはまた、ピクチャ群(group of pictures)(GOP)と呼ばれることがある。各動画像フレーム又はピクチャは、複数のスライス又はタイルを含むことができ、スライス又はタイルは、複数の動画像ブロックを含む。動画像ブロックは、予測的に符号化され得る画素値(サンプルとも呼ばれる)の最大アレイとして定義することができる。動画像ブロックは、走査パターン(例えば、ラスター走査)にしたがってしたがって順序付けすることができる。動画像符号化装置は、動画像ブロック及びその再分割に対して予測符号化を実行する。ITU−T H.264は、16×16のルマ(luma)サンプルを含むマクロブロックを規定する。ITU−T H.265は、類似の符号化ツリーユニット(Coding Tree Unit)(CTU)構造を規定するが、ピクチャは、等しいサイズのCTUに分割することができ、各CTUは、16×16、32×32、又は64×64のルマサンプルを有する符号化ツリーブロック(Coding Tree Block)(CTB)を含むことができる。本明細書で使用されるとき、動画像ブロックという用語は、一般に、ピクチャの領域を指すことがあり、又はより具体的には、予測的に符号化できる画素値の最大アレイ、その再分割、及び/又は対応する構造を指すことがある。
ITU−T H.265では、CTUのCTBは、対応する四分木ブロック構造に従って符号化ブロック(CB)に区画化することができる。ITU−T H.265によれば、1つのルマCBは、2つの対応するクロマCB及び関連するシンタックス要素と共に、符号化ユニット(CU)と呼ばれる。CUは、CUに対する1つ以上の予測部(prediction unit)(PU)を定義する予測部(PU)構造に関連し、PUは、対応する参照サンプルに関連する。すなわち、ITU−T H.265では、イントラ予測又はインター予測を使用してピクチャ領域を符号化する決定がCUレベルで行われ、CUに関し、イントラ予測又はインター予測に対応する1つ以上の予測を使用して、CUのCBに対する参照サンプルを生成することができる。ITU−T H.265では、PUは、ルマ及びクロマ予測ブロック(prediction block)(PB)を含むことができ、正方形PBはイントラ予測に対してサポートされ、矩形PBはインター予測に対してサポートされる。イントラ予測データ(例えば、イントラ予測モードシンタックス要素)又はインター予測データ(例えば、動きデータシンタックス要素)は、PUを対応する参照サンプルに関連させることができる。残差データは、動画像データの各成分(例えば、ルマ(Y)及びクロマ(Cb及びCr))に対応する差分値のそれぞれのアレイを含むことができる。残差データは、画素領域内とすることができる。離散コサイン変換(discrete cosine transform)(DCT)、離散サイン変換(discretesine transform)(DST)、整数変換、ウェーブレット変換、又は概念的に類似の変換などの変換を、画素差分値に適用して、変換係数を生成することができる。ITU−T H.265では、CUは、更に変換ユニット(Transform Unit)(TU)に再分割できることに留意されたい。すなわち、画素差分値のアレイは、変換係数を生成するために再分割することができ(例えば、4つの8×8変換を、16×16のルマCBに対応する残差値の16×16のアレイに適用することができる)、そのような再分割は、変換ブロック(Transform Blocks)(TB)と呼ばれることがある。変換係数は、量子化パラメータ(quantization parameter)(QP)に従って量子化され得る。量子化された変換係数(これはレベル値と呼ばれることがある)は、エントロピ符号化技術(例えば、コンテンツ適応可変長符号化(content adaptive variable length coding)(CAVLC)、コンテキスト適応2値算術符号化(context adaptive binary arithmetic coding)(CABAC)、確率区間分割エントロピ符号化(probability interval partitioning entropy coding)(PIPE)など)に従ってエントロピ符号化することができる。更に、予測モードを示すシンタックス要素などのシンタックス要素も、エントロピ符号化することができる。エントロピ符号化され量子化された変換係数及び対応するエントロピ符号化されたシンタックス要素は、動画像データを再生するために使用することができる準拠ビットストリームを形成することができる。二値化プロセスを、エントロピ符号化プロセスの一部としてシンタックス要素に対して実行することができる。二値化は、シンタックス値を一連の1つ以上のビットに変換するプロセスを指す。これらのビットは、「ビン」と呼ばれることがある。
ITU−T H.265では、符号化ビデオシーケンスは、アクセスユニットのシーケンスとしてカプセル化(又は構造化)されてもよく、各アクセスユニットは、ネットワーク抽象レイヤ(NAL)ユニットとして構造化された動画像データを含む。ITU−T H.265では、アクセスユニット及びNALユニットは、以下のように定義される:
ネットワーク抽象レイヤ(NAL)ユニット:後に続くデータの種別のインジケーション、及び必要に応じてエミュレーション防止バイトを点在させた生バイトシーケンスペイロード(RBSP)の形式で当該データを包含するバイトを包含するシンタックス構造。
アクセスユニット:特定の分類ルールに従って互いに関連付けられているNALユニットのセットは、復号順に連続しており、0に等しいnuh_layer_idを有するただ1つの符号化ピクチャを包含する。
図2は、NALユニットを含むアクセスユニットに従って構造化された、符号化されたピクチャ群の一例を示す概念図である。図2に示す例では、ピクチャ群に含まれる動画像データの各スライスは、NALユニットに関連付けられている。更に、ITU−T H.265では、ビデオシーケンス、GOP、ピクチャ、スライス、及びCTUのそれぞれは、動画像符号化特性を記述するメタデータに関連付けられてもよい。ITU−T H.265は、動画像データ特性及び/又は動画像符号化特性を記述するために使用され得るパラメータセットを定義する。ITU−T H.265では、パラメータセットは特殊な種別のNALユニットとしてカプセル化されてもよく、又はメッセージとしてシグナリングされてもよい。符号化動画像データ(例えばスライス)を含むNALユニットは、VCL(動画像符号化レイヤ)NALユニットと呼ばれることがあり、メタデータ(例えばパラメータセット)を含むNALユニットは、非VCL NALユニットと呼ばれることがある。ITU−T H.265は、以下の種別の定義されたパラメータセットを規定している:
動画像パラメータセット(VPS):0個以上の符号化ビデオシーケンス(CVS)全体に適用されるシンタックス要素を包含するシンタックス構造であって、SPSに含まれるシンタックス要素のコンテンツによって判定され、SPSはPPSに含まれるシンタックス要素によって参照され、PPSは各スライスセグメントヘッダに含まれるシンタックス要素によって参照されるシンタックス構造。
シーケンスパラメータセット(SPS):0個以上のCVS全体に適用されるシンタックス要素を包含するシンタックス構造であって、PPSに含まれるシンタックス要素のコンテンツによって判定され、PPSは各スライスセグメントヘッダに含まれるシンタックス要素によって参照されるシンタックス構造。
ピクチャパラメータセット(PPS):0個以上の符号化ピクチャ全体に適用されるシンタックス要素を包含するシンタックス構造であって、各スライスセグメントヘッダに含まれるシンタックス要素によって判定されるシンタックス構造。
更に、ITU−T H.265は、フォーマット範囲拡張(RExt)、スケーラビリティ(SHVC)、マルチビュー(MV−HEVC)及び3−D(3D−HEVC)を含むマルチレイヤ拡張をサポートする。場合によっては、ITU−T H.265によってサポートされるマルチレイヤ拡張は、レイヤードHEVC(L−HEVC)又はマルチレイヤHEVC表示と呼ばれることもある。マルチレイヤ拡張は、動画像表示がベースレイヤ及び1つ以上の追加のエンハンスメントレイヤを含むことを可能にする。例えば、ベースレイヤは、基本レベルの品質(例えば、高解像度レンダリング)を有する動画像表示を可能にすることができ、エンハンスメントレイヤは、強化された品質レベル(例えば、超高解像度レンダリング)を有する動画像表示を可能にすることができる。ITU−T H.265では、ベースレイヤを参照することによってエンハンスメントレイヤを符号化することができる。すなわち、例えば、エンハンスメントレイヤ内のピクチャは、ベースレイヤ内の1つ以上のピクチャ(その拡大/縮小したバージョンを含む)を参照することによって、(例えば、インター予測技術を使用して)符号化されてもよい。場合によっては、ベースレイヤ及びエンハンスメントレイヤは、異なる動画像符号化規格に従って符号化されてもよいことに留意されたい。例えば、ベースレイヤはITU−T H.264に従って符号化されてもよく、エンハンスメントレイヤはITU−T H.265に従って符号化されてもよい。ITU−T H.265では、各NALユニットは、NALユニットが関連付けられている動画像データのレイヤを示す識別子(nuh_layer_id)を含んでもよい。ITU−T H.265は、以下のように、nuh_layer_idを定義する:
nuh_layer_idは、VCL(動画像符号化レイヤ)NALユニットが属するレイヤの識別子、又は非VCL NALユニットが適用されるレイヤの識別子を明示する。
更に、ITU−T H.265の付属書類Fは、L−HEVCをサポートするために使用され得るパラメータセット及び視覚的有用性情報(Visual Usability Information)(VUI)を提供し、ITU−T H.265の付属書類Hは、スケーラブルHEVC動画像がどのように符号化され得るかの説明を提供する(例えば、仮想参照デコーダの挙動などが記載されている)。簡潔にするために、ITU−T H.265の付属書類F及び付属書類Hの完全な説明は、本明細書では再現されていないが、ITU−T H.265の付属書類F及び付属書類Hは、参照により本明細書に組み込まれている。
ITU−T H.265は、プロファイル、ティア(tier)及びレベルセマンティクスについて、以下の定義されたシンタックス要素を含む:
general_profile_spaceは、general_profile_idc、及び両端値を含む0〜31の範囲にあるjの全ての値に対するgeneral_profile_compatibility_flag[j]を解釈するためのコンテキストを規定する。general_profile_spaceの値は、このバージョンの仕様に適合するビットストリームにおいて、0に等しいものとする。general_profile_spaceの他の値は、ITU−T|ISO/IECによる将来の使用のために予約される。復号装置は、general_profile_spaceが0に等しい場合、CVSを無視するものとする。
general_tier_flagは、[I−ITU H.265の]付属書類Aに規定されているように、general_level_idcの解釈のためのティアコンテキストを規定する。
general_profile_idcは、general_profile_spaceが0に等しい場合、[I−ITU H.265の]付属書類Aに規定されているようにCVSがプロファイルに適合することを示す。ビットストリームは、[I−ITU H.265の]付属書類Aで規定されたもの以外のgeneral_profile_idcの値を含まないものとする。general_profile_idcの他の値は、ITU−T|ISO/IECによる将来の使用のために予約される。
general_progressive_source_flag及びgeneral_interlaced_source_flagは、以下のように解釈される:
−general_progressive_source_flagが1に等しく、general_interlaced_source_flagが0に等しい場合、CVSにおけるピクチャのソース走査タイプは、プログレッシブのみとして解釈されるべきである。
−さもなければ、general_progressive_source_flagが0に等しく、general_interlaced_source_flagが1に等しい場合、CVSにおけるピクチャのソース走査タイプは、インタレースのみとして解釈されるべきである。
−さもなければ、general_progressive_source_flagが0に等しく、general_interlaced_source_flagが0に等しい場合、CVSにおけるピクチャのソース走査タイプは、不明であるか又は規定されていないと解釈されるべきである。
−さもなければ(general_progressive_source_flagが1に等しく、general_interlaced_source_flagが1に等しい)、CVSにおける各ピクチャのソース走査タイプは、ピクチャタイミングSEI(Supplemental Enhancement Information)メッセージ内のピクチャシンタックス要素source_scan_typeを使用してピクチャレベルで示される。
1に等しいgeneral_non_packed_constraint_flagは、CVS内にフレームパッキングアレンジメントSEIメッセージも、セグメント化された矩形フレームパッキングアレンジメントSEIメッセージも存在しないことを規定し、0に等しいgeneral_non_packed_constraint_flagは、1つ以上のフレームパッキングアレンジメントSEIメッセージ又はセグメント化された矩形フレームパッキングアレンジメントSEIメッセージが存在していても存在していなくてもよいことを示す。
1に等しいgeneral_frame_only_constraint_flagは、field_seq_flagが0に等しいことを規定し、0に等しいgeneral_frame_only_constraint_flagは、field_seq_flagが0に等しくても等しくなくてもよいことを示す。
general_level_idcは、[I−ITU H.265の]付属書類Aで規定されるように、CVSが適合するレベルを示す。ビットストリームは、[I−ITU H.265の]付属書類Aで規定されたもの以外のgeneral_level_idcの値を含まないものとする。general_level_idcの他の値は、ITU−T|ISO/IECによる将来の使用のために予約される。
1に等しいsub_layer_profile_present_flag[i]は、TemporalIdがiに等しいサブレイヤ表現のprofile_tier_level()シンタックス構造に、プロファイル情報が存在することを規定し、0に等しいsub_layer_profile_present_flag[i]は、TemporalIdがiに等しいサブレイヤ表現のprofile_tier_level()シンタックス構造に、プロファイル情報が存在しないことを規定する。profilePresentFlagが0に等しい場合、sub_layer_profile_present_flag[i]は0に等しいものとする。
1に等しいsub_layer_level_present_flag[i]は、TemporalIdがiに等しいサブレイヤ表現のprofile_tier_level()シンタックス構造に、レベル情報が存在することを規定し、0に等しいsub_layer_level_present_flag[i]は、TemporalIdがiに等しいサブレイヤ表現のprofile_tier_level()シンタックス構造に、レベル情報が存在しないことを規定する。
ITU−T H.265の付属書類FにおけるVPSセマンティクスは、以下の定義されたシンタックス要素を含む:
0に等しいvps_extension_flagは、VPS RBSPシンタックス構造において、vps_extension()シンタックス構造が存在しないことを規定し、1に等しいvps_extension_flagは、VPS RBSPシンタックス構造において、vps_extension()シンタックス構造が存在することを規定する。MaxLayersMinus1が0より大きい場合、vps_extension_flagは1に等しいものとする。
vps_extension()シンタックス構造がvps_num_profile_tier_level_minus1 plus 1を含む場合、VPSにおけるprofile_tier_level()シンタックス構造の数を規定する。vps_num_profile_tier_level_minus1の値は、両端値を含む、0〜63の範囲であるものとする。
vps_max_layers_minus1が0より大きい場合、vps_num_profile_tier_level_minus1の値は、1以上であるものとする。
1に等しいvps_vui_present_flagは、vps_vui()シンタックス構造がVPSに存在することを規定し、0に等しいvps_vui_present_flagは、vps_vui()シンタックス構造がVPSに存在しないことを規定する。
更に、ITU−T H.265の付属書類FにおけるVPS VUIフィールドシンタックスは、以下の定義されたシンタックス要素を含む:
1に等しいpic_rate_present_vps_flagは、シンタックス要素pic_rate_present_flag[i][j]が存在することを規定し、0に等しいpic_rate_present_vps_flagは、シンタックス要素pic_rate_present_flag[i][j]が存在しないことを規定する。
1に等しいpic_rate_present_flag[i][j]は、i番目のレイヤセットのj番目のサブセットのピクチャレート情報が存在することを規定し、0に等しいpic_rate_present_flag[i][j]は、i番目のレイヤセットのj番目のサブセットのピクチャレート情報が存在しないことを規定する。pic_rate_present_flag[i][j]が存在しない場合、pic_rate_present_flag[i][j]の値は0に等しいと推測される。
constant_pic_rate_idc[i][j]は、i番目のレイヤセットのj番目のサブセットのピクチャレートが一定であるかどうかを示す。以下において、時間的セグメントtSegは、i番目のレイヤセットのj番目のサブセットの、復号順に、2つ以上の連続するアクセスユニットの任意のセットであり、auTotal(tSeg)は、時間的セグメントtSeg内のアクセスユニットの数であり、t1(tSeg)は、時間的セグメントtSegの(復号順において)最初のアクセスユニットの除去時間(秒単位)であり、t2(tSeg)は、時間的セグメントtSegの(復号順において)最後のアクセスユニットの除去時間(秒単位)であり、avgPicRate(tSeg)は、時間的セグメントtSeg内の平均ピクチャレートであり、以下のように規定される:
avgPicRate(tSeg)=Round(auTotal(tSeg)*256÷(t2(tSeg)−t1(tSeg)))
i番目のレイヤセットのj番目のサブセットが1つ若しくは2つのアクセスユニットのみを含む場合、又はavgPicRate(tSeg)の値が全ての時間的セグメントにわたって一定である場合、ピクチャレートは一定である。さもなければ、ピクチャレートは一定ではない。
0に等しいconstant_pic_rate_idc[i][j]は、i番目のレイヤセットのj番目のサブセットのピクチャレートが一定でないことを示す。
1に等しいconstant_pic_rate_idc[i][j]は、i番目のレイヤセットのj番目のサブセットのピクチャレートが一定であることを示す。
2に等しいconstant_pic_rate_idc[i][j]は、i番目のレイヤセットのj番目のサブセットのピクチャレートが一定であっても、一定でなくてもよいことを示す。constant_pic_rate_idc[i][j]の値は、両端値を含む0〜2の範囲であるものとする。
更に、ITU−T H.265の付属書類FにおけるVPS VUIフィールドセマンティクスには、video_vps_format、video_full_range_vps_flag、colour_primaries_vps、transfer_characteristics_vps及びmatrix_coeffs_vpsと定義されたシンタックス要素を含むvideo_signal_info()が含まれており、これらはそれぞれ、VPSを参照する各SPSに対し、SPS VUIシンタックス要素video_format、video_full_range_flag、colour_primaries、transfer_characteristics、及びmatrix_coeffsの値の推測に使用され得る。
ITU−T H.265の付属書類FにおけるSPSセマンティクスは、以下の定義されたシンタックス要素を含む:
1に等しいvui_parameters_present_flagは、付属書類Eで規定されているvui_parameters()シンタックス構造が存在することを規定し、0に等しいvui_parameters_present_flagは、付属書類Eで規定されているvui_parameters()シンタックス構造が存在しないことを規定する。
ITU−T H.265の付属書類EにおけるVUIパラメータは、以下の定義されたシンタックス要素を含む:
1に等しいaspect_ratio_info_present_flagは、aspect_ratio_idcが存在することを規定し、0に等しいaspect_ratio_info_present_flagは、aspect_ratio_idcが存在しないことを規定する。
aspect_ratio_idcは、ルマサンプルのサンプルアスペクト比の値を規定する。[ITU−T H.265の]表E.1は、コードの意味を示す。aspect_ratio_idcがEXTENDED_SARを示す場合、サンプルアスペクト比は、sar_width:sar_highによって表される。aspect_ratio_idcシンタックス要素が存在しない場合、aspect_ratio_idc値は0に等しいと推測される。両端値を含む17〜254の範囲にあるaspect_ratio_idcの値は、ITU−T|ISO/IECによる将来の使用のために予約され、このバージョンの仕様に適合するビットストリームには存在しないものとする。復号装置は、両端値を含む17〜254の範囲にあるaspect_ratio_idcの値を、値0に相当すると解釈するものとする。
1に等しいoverscan_info_present_flagは、overscan_appropriate_flagが存在することを規定する。overscan_info_present_flagが0に等しいか又は存在しない場合、動画像信号のための好ましいディスプレイ方法は規定されない。
video_full_range_flagは、E’Y、E’PB、及びE’PR又はE’R、E’G及びE’Bの実数値成分信号から得られたルマ信号及びクロマ信号の黒レベル並びに範囲を示す。
video_full_range_flagシンタックス要素が存在しない場合、video_full_range_flagの値は0に等しいと推測される。
1に等しいcolour_description_present_flagは、colour_primaries、transfer_characteristics及びmatrix_coeffsが存在することを規定し、0に等しいcolour_description_present_flagは、colour_primaries、transfer_characteristics及びmatrix_coeffsが存在しないことを規定する。
colour_primariesは、ISO11664−1で規定されているCIE1931のxとyの定義に関して、[ITU−T H.265の]表E.3で規定されているソースプライマリ(source primary)の色度座標(chromaticity coordinate)を示す。
transfer_characteristicsは、公称実数値範囲0〜1の線形光強度入力Lcの関数として、[ITU−T H.265の]表E.4で規定されているソースピクチャの光−電子伝達特性(opto-electronictransfer characteristic)を示す。
matrix_coeffsは、[ITU−T H.265の]表E.5で規定されているように、緑、青及び赤又はY、Z及びX原色からルマ信号及びクロマ信号を導出する際に使用される行列係数(matrix coefficients)を表す。
1に等しいchroma_loc_info_present_flagは、chroma_sample_loc_type_top_field及びchroma_sample_loc_type_bottom_fieldが存在することを規定し、0に等しいchroma_loc_info_present_flagは、chroma_sample_loc_type_top_field及びchroma_sample_loc_type_bottom_fieldが存在しないことを規定する。chroma_format_idcが1に等しくない場合、chroma_loc_info_present_flagは、0に等しくなければならない。
1に等しいvui_timing_info_present_flagは、vui_parameters()シンタックス構造に、vui_num_units_in_tick、vui_time_scale、vui_poc_proportional_to_timing_flag及びvui_hrd_parameters_present_flagが存在することを規定し、0に等しいvui_timing_info_present_flagは、vui_parameters()シンタックス構造に、vui_num_units_in_tick、vui_time_scale、vui_poc_proportional_to_timing_flag及びvui_hrd_parameters_present_flagが存在しないことを規定する。
vui_num_units_in_tickは、クロックティックカウンタの1増分(クロック単位と呼ばれる)に対応する周波数vui_time_scale Hzで動作するクロックの時間ユニットの数である。vui_num_units_in_tickは、0よりも大きいものとする。秒単位でのクロック単位は、vui_time_scaleで除算されたvui_num_units_in_tickの商に等しい。例えば、動画像信号のピクチャレートが25Hzである場合、vps_time_scaleは27000000に等しくてよく、vps_num_units_in_tickは1080000に等しくてよく、したがってクロック単位は0.04秒であってよい。
vps_num_units_in_tickがSPSによって参照されるVPSで存在する場合において、vps_num_units_in_tickが存在する場合は、vps_num_units_in_tickに等しいものとし、vui_num_units_in_tickが存在しない場合は、vps_num_units_in_tickに等しいものと推測される。
vui_time_scaleは、1秒間に通過する時間ユニットの数である。例えば、27MHzクロックを使用して時間を測定する時間座標系は、27000000のvui_time_scaleを有する。vui_time_scaleの値は、0よりも大きいものとする。vps_time_scaleがSPSによって参照されるVPSで存在する場合において、vui_time_scaleが存在する場合は、vps_time_scaleに等しいものとし、vps_time_scaleが存在しない場合は、vps_time_scaleに等しいものと推測される。
1に等しいvui_hrd_parameters_present_flagは、vui_parameters()シンタックス構造に、シンタックス構造hrd_parameters()が存在することを規定し、0に等しいvui_hrd_parameters_present_flagは、vui_parameters()シンタックス構造に、シンタックス構造hrd_parameters()が存在しないことを規定する。
hrd_parameters()が1に等しいfixed_pic_rate_general_flag[i]を含むことは、HighestTidがiに等しい場合、出力順に連続したピクチャのHRD出力時間の間の時間的距離が、以下に規定されるように制約されることを示す。0に等しいfixed_pic_rate_general_flag[i]は、この制約が適用されなくてもよいことを示す。
fixed_pic_rate_general_flag[i]が存在しない場合、0に等しいと推測される。
1に等しいfixed_pic_rate_within_cvs_flag[i]は、HighestTidがiに等しい場合、出力順に連続するピクチャのHRD出力時間の間の時間的距離が、以下に規定するように制約されることを示し、0に等しいfixed_pic_rate_within_cvs_flag[i]は、この制約が適用されなくてもよいことを示す。fixed_pic_rate_general_flag[i]が1に等しい場合、fixed_pic_rate_within_cvs_flag[i]の値は、1に等しいと推測される。
更に、ITU−T H.265は、ピクチャクロッピングをサポートする。すなわち、ピクチャは、ピクチャサイズに応じて符号化されてもよく、クロッピングされたピクチャサイズに従って出力(例えば、ディスプレイ用)されてもよい。ITU−T H.265の第7節における一般シーケンスパラメータセットRBSPセマンティクス及びITU−T H.265の付属書類Fにおける一般シーケンスパラメータセットRBSPセマンティクスには、以下の定義されたシンタックス要素が含まれる:
1に等しいconformance_window_flagは、適合クロッピングウィンドウオフセットパラメータがSPSで次に続くことを示し、0に等しいconformance_window_flagは、適合クロッピングウィンドウオフセットパラメータ(すなわち、conf_win_left_offset、conf_win_right_offset、conf_win_top_offset及びconf_win_bottom_offset)が存在しないことを示す。
conf_win_left_offset、conf_win_right_offset、conf_win_top_offset及びconf_win_bottom_offsetは、出力のためにピクチャ座標で規定された矩形領域として、復号プロセスから出力されるCVS内のピクチャサンプルを規定する。conformance_window_flagが0に等しい場合、conf_win_left_offset,conf_win_right_offset、conf_win_top_offset及びconf_win_bottom_offsetの値は0に等しいと推測される。
適合クロッピングウィンドウには、両端値を含む、SubWidthCconf_win_left_offsetからpic_width_in_luma_samples−(SubWidthCconf_win_right_offset+1)までの水平方向のピクチャ座標、及びSubHeightCconf_win_top_offsetからpic_height_in_luma_samples−(SubHeightCconf_win_bottom_offset+1)までの垂直方向のピクチャ座標を伴う、ルマサンプルが含まれる。
SubWidthC(conf_win_left_offset+conf_win_right_offset)の値は、pic_width_in_luma_samplesよりも小さいものとし、SubHeightC*(conf_win_top_offset+conf_win_bottom_offset)の値は、pic_height_in_luma_samplesよりも小さいものとする。
ChromaArrayTypeが0に等しくない場合、対応する2つのクロマアレイの規定サンプルは、ピクチャ座標(x/SubWidthC,y/SubHeightC)を有するサンプルであり、ここで、(x,y)は規定されたルマサンプルのピクチャ座標である。
注3−適合クロッピングウィンドウオフセットパラメータは、出力にのみ適用される。全ての内部復号プロセスは、クロッピングされていないピクチャサイズに適用される。
更に、表現フォーマットシンタックス及びITU−T H.265の付属書類Fは、以下の定義されたシンタックス要素を含む:
1に等しいconformance_window_vps_flagは、シンタックス要素conf_win_vps_left_offset、conf_win_vps_right_offset、conf_win_vps_top_offset及びconf_win_vps_bottom_offsetがrep_format()構造内で次に続くことを示し、0に等しいconformance_window_vps_flagは、シンタックス要素conf_win_vps_left_offset、conf_win_vps_right_offset、conf_win_vps_top_offset及びconf_win_vps_bottom_offsetが存在しないことを規定する。
conf_win_vps_left_offset、conf_win_vps_right_offset、conf_win_vps_top_offset及びconf_win_vps_bottom_offsetは、それぞれ、VPSを参照する各SPSに対し、SPSシンタックス要素conf_win_left_offset、conf_win_right_offset、conf_win_top_offset及びconf_win_bottom_offsetの値の推測に使用される。conf_win_vps_left_offset、conf_win_vps_top_offset及びconf_win_vps_bottom_offsetの値が存在しない場合、conf_win_vps_left_offset、conf_win_vps_top_offset及びconf_win_vps_bottom_offsetの値は0に等しいと推測される。
SubWidthC(conf_win_vps_left_offset+conf_win_vps_right_offset)の値は、pic_width_vps_in_luma_samplesよりも小さいものとし、SubHeightC*(conf_win_vps_top_offset+conf_win_vps_bottom_offset)の値は、pic_height_vps_in_luma_samplesよりも小さいものとする。
これらの表現フォーマットシンタックス要素conformance_window_vps_flag、conf_win_vps_left_offset、conf_win_vps_right_offset、conf_win_vps_top_offset及びconf_win_vps_bottom_offsetは、動画像パラメータセット拡張(vps_extension())に含まれてもよい。
従って、マルチレイヤHEVC表示の1つ以上の特性及び/又はパラメータは、ITU−T H.265が提供するセマンティクスに従ってシグナリングされてもよい。ITU−T H.265は、特性及び/又はパラメータがシグナリングされ得る方法及び場合に関して柔軟性を提供することに留意されたい。
マルチレイヤードHEVC表示は、データ構造に従ってカプセル化されてもよい。ISO/IEC 14496−15,Third Edition,「Information technology−−Coding of audio−visual objects−−Carriage of NAL unit structured video in the ISO Base Media File Format」(以下、「ISO−VIDEO」)は、参照により組み込まれ、マルチレイヤHEVC表示をカプセル化するためのデータ構造を説明している。ISO−VIDEOは、NALユニット(例えば、ITU−T H.264及びITU−T H.265)として構造化される動画像のストリームのためのストレージフォーマットを規定する。図3は、符号化動画像データ及び対応するメタデータをカプセル化するメディアファイルを示す概念図である。図3の例示的なメディアファイル302は、符号化動画像データとメタデータとの間の論理関係を示すことを意図していることに留意されたい。簡潔にするために、メディアファイルに含まれるデータ(例えば、ファイルヘッダ、テーブル、ボックスタイプなど)の完全な説明は提供されない。
ISO/IEC14496−15では、アグリゲータ、エクストラクタは、次のように定義される:
同じサンプルに属するNALユニットをグループ化するために、NALユニットヘッダを使用するアグリゲータインストリーム構造(aggregator in-stream structure)。
他のトラックからデータを抽出するために、NALユニットヘッダを使用するエクストラクタインストリーム構造(extractors in-stream structure)。
注:エクストラクタは、他のトラックからデータを抽出する方法に関する命令を含む。論理的に、エクストラクタはデータへのポインタとして見ることができる。エクストラクタが含まれているトラックを読み出す間に、エクストラクタはそれが指しているデータに置き換えられる。
サンプルは、単一のタイムスタンプと関連付けられた全てのデータであってもよい。
図3に示す例では、メディアファイル302は、メタデータコンテナ304を参照する動画像エレメンタリストリーム308A〜308Nを含む。図3に示すように、ビデオストリーム308A〜308Nは、アクセスユニット310A〜310Nにグループ化されたNALユニット312A〜〜312Nを含む。前述したように、NALユニットは、VCL−NALユニット及び非VCLユニットを含んでもよい。図3に更に示すように、メタデータコンテナ304は、メタデータボックス306A〜306Bを含む。場合によっては、メタデータボックスは、メタデータオブジェクトと呼ばれることもあるという点に留意されたい。一実施例では、メタデータボックス306A〜306Bは、パラメータセット(例えば、上述のITU−T H.265パラメータセットのうちの1つ以上)を含んでもよい。したがって、パラメータセットは、メタデータボックス306A〜306B(「アウトオブバンド」(out-of-band)と呼ばれることがある)及び/又は動画像エレメンタリストリーム(「インバンド」(in-band)と呼ばれることがある)に含まれてもよい。いくつかの実施例では、ビデオストリームは、ビデオトラックと呼ばれることもあるという点に留意されたい。更に、ファイルフォーマットは、異なるタイプの構成を定義することができることに留意されたい。例えば、ファイルフォーマットは、1つ以上のボックスタイプを規定することができる。ファイルフォーマットの構成は、ファイルフォーマットのインスタンスに含まれ得るビデオストリームの特性に基づいて定義することができる。例えば、ボックスタイプは、ビデオストリームに適用される1つ以上の制約に基づいて定義される場合があり、例えば、ボックスタイプは、各ビデオストリームが、各アクセスユニット内に特定数の特定タイプのNALユニットを有することを必要とする場合がある。更に、ボックスタイプは、メタデータボックス内に含まれる動画像表示のうちの1つ以上の特性及び/又はパラメータを必要とする場合がある。表1は、ISO−VIDEOで規定された動画像表示の構成の概要を提供する。
Figure 2020515169
したがって、表1に示すように、ISO−VIDEOは、マルチレイヤ拡張を含むベースのHEVC表示(拡張子なし)及び/又はHEVC表示をサポートすることができる規定された構成を含む。更に、ISO−VIDEOは、L−HEVCストリームを多数の方法でトラック内に配置することができるように提供し、その中には、次のようなものがある。1つのトラック内の全てのレイヤ、それ自体のトラックの各レイヤ、ハイブリッド方式で、全てのレイヤを含む1つのトラック及び1つ以上の単一レイヤトラック、トラック内の予想される動作点(例えば、HEVCベース、ステレオペア、マルチビューシーン)。
更に、ISO−VIDEOは、L−HEVCビットストリームが複数のトラックによって表され、レイヤが複数のトラックに記憶されている動作点をプレーヤが使用する場合、プレーヤがL−HEVC復号装置に受け渡す前にL−HEVCアクセスユニットを再構築しなければならないことを定めている。ISO−VIDEOでは、L−HEVC動作点は、トラックによって明示的に表され得る。すなわち、トラック内の各サンプルは、アクセスユニットを含み、アクセスユニットのNALユニットの一部又は全ては、エクストラクタ及びアグリゲータに含まれ得るか又は参照され得る。ISO−VIDEOでは、L−HEVCビットストリームの記憶は、サンプルエントリ、動作点情報(「oinf」)サンプルグループ及びレイヤ情報(「linf」)サンプルグループなどの構造によってサポートされる。サンプルエントリ内の構造は、そのサンプルエントリに関連付けられたサンプル、この場合は符号化動画像情報、の復号化又は使用のための情報を提供する。動作点情報サンプルグループは、動作点を構成するレイヤ及びサブレイヤのような動作点に関する情報、それらの間の依存関係(該当する場合)、動作点のプロファイル、レベル及びティアパラメータ、並びに他のこのような動作点関連情報を記録する。レイヤ情報サンプルグループには、トラックのサンプルに保持されている全てのレイヤ及びサブレイヤが一覧表示される。トラックを見つけるためにトラック参照を使用して組み合わされた、これらのサンプルグループ内の情報は、読み手がその機能に従って動作点を選択し、選択された動作点を復号するために必要な関連レイヤ及びサブレイヤを含むトラックを識別し、それらを効率的に抽出するのに十分である。
K.Hughes,D.Singer,K.Kolarov,I.Sodagar,「Common Media Application Format for Segmented Media− CMAF」(2016年5月)に記載されているCommon Media Application Format(CMAF)は、本明細書に参照として組み込まれており、多様な適応ストリーミング、ブロードキャスト、ダウンロード及びストレージ配信技術(storage delivery techniques)と互換性があり得る幅広いデバイスへの、単一の暗号化された適応可能なマルチメディア表示の大規模配信を行うために最適化されることを意図したメディアアプリケーションフォーマットを定義している。以下で更に詳細に説明する図4は、多様な適応ストリーミング、ブロードキャスト、ダウンロード及びストレージ配信技術と互換性のあり得る幅広いデバイスを含むシステムを含む。CMAFは現在、マルチレイヤHEVCをサポートしていないことに留意されたい。本明細書で説明した技術は、CMAFベースのファイルフォーマットがマルチレイヤHEVCをサポートし得るための効率的な方法を提供するために使用されてもよい。
図1は、本開示の1つ以上の技術に係る、動画像データを符号化する(すなわち、符号化及び/又は復号する)ように構成することができるシステムの一例を示すブロック図である。システム100は、本開示の1つ以上の技術係る、動画像データをカプセル化することができるシステムの一例を表す。図1に示すように、システム100は、ソースデバイス102と、通信媒体110と、宛先デバイス120と、を含む。図1に示す例では、ソースデバイス102は、動画像データを符号化し、符号化した動画像データを通信媒体110に送信するように構成された、任意のデバイスを含むことができる。宛先デバイス120は、通信媒体110を介して符号化した動画像データを受信し、符号化した動画像データを復号するように構成された、任意のデバイスを含むことができる。ソースデバイス102及び/又は宛先デバイス120は、有線通信及び/又は無線通信用に装備された演算デバイスを含むことができ、かつ、例えば、セットトップボックス、デジタルビデオレコーダ、テレビ、デスクトップ、ラップトップ又はタブレットコンピュータ、ゲーム機、医療用撮像デバイス、並びに、例えば、スマートフォン、セルラー電話、パーソナルゲーミングデバイスを含むモバイルデバイス、を含むことができる。
通信媒体110は、無線及び有線の通信媒体並びに/又は記憶デバイスの任意の組み合わせを含むことができる。通信媒体110としては、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を挙げることができる。通信媒体110は、1つ以上のネットワークを含むことができる。例えば、通信媒体110は、ワールドワイドウェブ、例えば、インターネットへのアクセスを可能にするように構成されたネットワークを含むことができる。ネットワークは、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、独自の態様を含むことができ、及び/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、Digital Video Broadcasting(DVB)規格、Advanced Television Systems Committee(ATSC)規格、Integrated Services Digital Broadcasting(ISDB)規格、Data Over Cable Service Interface Specification(DOCSIS)規格、Global System Mobile Communications(GSM)規格、符号分割多重アクセス(code division multiple access)(CDMA)規格、第三世代パートナーシッププロジェクト(3rd Generation Partnership Project)(3GPP)規格、欧州電気通信標準化機構(European Telecommunications Standards Institute)(ETSI)規格、インターネットプロトコル(Internet Protocol)(IP)規格、ワイヤレスアプリケーションプロトコル(WirelessApplication Protocol)(WAP)規格、及びInstitute of Electrical and Electronics Engineers(IEEE)規格が挙げられる。
記憶デバイスは、データを記憶することができる任意の種類のデバイス又は記憶媒体を含むことができる。記憶媒体は、有形又は非一時的コンピュータ可読媒体を含むことができる。コンピュータ可読媒体としては、光学ディスク、フラッシュメモリ、磁気メモリ、又は任意の他の好適なデジタル記憶媒体を挙げることができる。いくつかの例では、メモリデバイス又はその一部分は不揮発性メモリとして説明されることがあり、他の例では、メモリデバイスの一部分は揮発性メモリとして説明されることがある。揮発性メモリの例としては、ランダムアクセスメモリ(random access memory)(RAM)、ダイナミックランダムアクセスメモリ(dynamic random access memory)(DRAM)、及びスタティックランダムアクセスメモリ(static random access memory)(SRAM)を挙げることができる。不揮発性メモリの例としては、磁気ハードディスク、光学ディスク、フロッピーディスク、フラッシュメモリ、又は電気的プログラム可能メモリ(electrically programmable memory)(EPROM)若しくは電気的消去可能及びプログラム可能メモリ(electrically erasable and programmable memory)(EEPROM)の形態を挙げることができる。記憶デバイス(単数又は複数)としては、メモリカード(例えば、セキュアデジタル(Secure Digital)(SD)メモリカード)、内蔵/外付けハードディスクドライブ、及び/又は内蔵/外付けソリッドステートドライブを挙げることができる。データは、定義されたファイルフォーマットに従って記憶デバイス上に記憶することができる。
図4は、システム100の一実装形態に含まれ得る構成要素の一例を示す概念図である。図4に示す例示的な実装形態では、システム100は、1つ以上の演算デバイス402A〜402N、テレビサービスネットワーク404、テレビサービスプロバイダサイト406、ワイドエリアネットワーク408、ローカルエリアネットワーク410、及び1つ以上のコンテンツプロバイダサイト412A〜412Nを含む。図4に示す実装形態は、例えば、映画、ライブスポーツイベントなどのデジタルメディアコンテンツ、並びにデータ及びアプリケーション及びそれらに関連付けられたメディアプレゼンテーションが、演算デバイス402A〜402Nなどの複数の演算デバイスに配信され、かつ、それらによってアクセスされることが可能となるように構成することができるシステムの一例を表す。図4に示す例では、演算デバイス402A〜402Nは、テレビサービスネットワーク404、ワイドエリアネットワーク408、及び/又はローカルエリアネットワーク410のうちの1つ以上からデータを受信するように構成されている任意のデバイスを含むことができる。例えば、演算デバイス402A〜402Nは、有線通信及び/又は無線通信用に装備されてもよく、1つ以上のデータチャネルを通じてサービスを受信するように構成されてもよく、いわゆるスマートテレビ、セットトップボックス、及びデジタルビデオレコーダを含むテレビを含んでもよい。更に、演算デバイス402A〜402Nは、デスクトップ、ラップトップ又はタブレットコンピュータ、ゲーム機、例えば「スマート」フォン、セルラー電話、及びパーソナルゲーミングデバイスを含むモバイルデバイスを含んでもよい。
テレビサービスネットワーク404は、テレビサービスを含み得る、デジタルメディアコンテンツの配信を可能にするように構成されているネットワークの一例である。例えば、テレビサービスネットワーク404は、公共地上波テレビネットワーク、公共又は加入ベースの衛星テレビサービスプロバイダネットワーク、並びに公共又は加入ベースのケーブルテレビプロバイダネットワーク及び/又は頭越し型(over the top)サービスプロバイダ若しくはインターネットサービスプロバイダを含んでもよい。いくつかの実施例では、テレビサービスネットワーク404は、テレビサービスの提供を可能にするために主に使用され得るが、テレビサービスネットワーク404はまた、本明細書で説明した電気通信プロトコルの任意の組み合わせに基づく他の種類のデータ及びサービスの提供も可能とすることに留意されたい。更に、いくつかの実施例では、テレビサービスネットワーク404は、テレビサービスプロバイダサイト406と、演算デバイス402A〜402Nのうちの1つ以上との間の双方向通信を可能にすることができることに留意されたい。テレビサービスネットワーク404は、無線通信媒体及び/又は有線通信媒体の任意の組み合わせを含むことができる。テレビサービスネットワーク404は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、無線送信機及び受信機、ルータ、スイッチ、リピータ、基地局、又は様々なデバイスとサイトとの間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。テレビサービスネットワーク404は、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、独自の態様を含むことができ、及び/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、DVB規格、ATSC規格、ISDB規格、DTMB規格、DMB規格、ケーブルによるデータサービスインターフェース標準(Data Over Cable Service Interface Specification)(DOCSIS)規格、HbbTV規格、W3C規格、及びUPnP規格が挙げられる。
図4を再び参照すると、テレビサービスプロバイダサイト406は、テレビサービスネットワーク404を介してテレビサービスを配信するように構成することができる。例えば、テレビサービスプロバイダサイト406は、1つ以上の放送局、ケーブルテレビプロバイダ、又は衛星テレビプロバイダ、又はインターネットベースのテレビプロバイダを含み得る。例えば、テレビサービスプロバイダサイト406は、衛星アップリンク/ダウンリンクを介したテレビプログラムを含む送信を、受信するように構成することができる。更に、図4に示すように、テレビサービスプロバイダサイト406は、ワイドエリアネットワーク408と通信することができ、コンテンツプロバイダサイト412A〜412Nからデータを受信するように構成することができる。いくつかの実施例では、テレビサービスプロバイダサイト406は、テレビスタジオを含むことができ、コンテンツはそこから発信できることに留意されたい。
ワイドエリアネットワーク408は、パケットベースのネットワークを含み、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。電気通信プロトコルは、独自の態様を含むことができ、及び/又は規格化された電気通信プロトコルを含むことができる。規格化された電気通信プロトコルの例としては、汎欧州デジタル移動電話方式(Global System Mobile Communications)(GSM)規格、符号分割多元接続(code division multiple access)(CDMA)規格、3rd Generation Partnership Project(3GPP)規格、欧州電気通信標準化機構(European Telecommunications Standards Institute)(ETSI)規格、欧州規格(EN)、IP規格、ワイヤレスアプリケーションプロトコル(Wireless Application Protocol)(WAP)規格、及び例えば、IEEE802規格のうちの1つ以上(例えば、Wi−Fi)などの電気電子技術者協会(Institute of Electrical and Electronics Engineers)(IEEE)規格が挙げられる。ワイドエリアネットワーク408は、無線通信媒体及び/又は有線通信媒体の任意の組み合わせを含むことができる。ワイドエリアネットワーク480は、同軸ケーブル、光ファイバケーブル、ツイストペアケーブル、イーサネットケーブル、無線送信部及び受信部、ルータ、スイッチ、リピータ、基地局、又は様々なデバイス及びサイト間の通信を容易にするために有用であり得る任意の他の機器を含むことができる。一実施例では、ワイドエリアネットワーク408はインターネットを含んでもよい。ローカルエリアネットワーク410は、パケットベースのネットワークを含み、1つ以上の電気通信プロトコルの組み合わせに従って動作することができる。ローカルエリアネットワーク410は、アクセス及び/又は物理インフラストラクチャのレベルに基づいてワイドエリアネットワーク408と区別することができる。例えば、ローカルエリアネットワーク410は、セキュアホームネットワークを含んでもよい。
図4を再び参照すると、コンテンツプロバイダサイト412A〜412Nは、マルチメディアコンテンツをテレビサービスプロバイダサイト406及び/又は演算デバイス402A〜402Nに提供することができるサイトの例を表す。例えば、コンテンツプロバイダサイトは、マルチメディアファイル及び/又はストリームをテレビサービスプロバイダサイト406に提供するように構成されている、1つ以上のスタジオコンテンツサーバを有するスタジオを含むことができる。一実施例では、コンテンツプロバイダのサイト412A〜412Nは、IPスイートを使用してマルチメディアコンテンツを提供するように構成することができる。例えば、コンテンツプロバイダサイトは、リアルタイムストリーミングプロトコル(RTSP)、HTTPなどに従って、マルチメディアコンテンツを受信デバイスに提供するように構成されてもよい。更に、コンテンツプロバイダサイト412A〜412Nは、ハイパーテキストベースのコンテンツなどを含むデータを、ワイドエリアネットワーク408を通じて、受信デバイスである演算デバイス402A〜402N、及び/又はテレビサービスプロバイダサイト406のうちの1つ以上に提供するように構成することができる。コンテンツプロバイダサイト412A〜412Nは、1つ以上のウェブサーバを含んでもよい。データプロバイダサイト412A〜412Nによって提供されるデータは、例えば、HTML、ダイナミックHTML、XML及びJSONなどのデータフォーマットに従って定義することができる。
図1を再び参照すると、ソースデバイス102は、動画像ソース104と、動画像符号化装置106と、データカプセル化部107と、インターフェース108とを含む。動画像ソース104は、動画像データをキャプチャ及び/又は記憶するように構成された任意のデバイスを含むことができる。例えば、動画像ソース104は、ビデオカメラ及びそれに動作可能に結合された記憶デバイスを含むことができる。動画像符号化装置106は、動画像データを受信し、動画像データを表す準拠ビットストリームを生成するように構成された、任意のデバイスを含むことができる。準拠ビットストリームは、動画像復号装置が受信し、それから動画像データを再生することができるビットストリームを指すことがある。準拠ビットストリームの態様は、動画像符号化規格に従って定義することができる。準拠ビットストリームを生成するとき、動画像符号化装置106は、動画像データを圧縮することができる。圧縮は、非可逆的(視聴者に認識可能若しくは認識不可能)又は可逆的とすることができる。図5は、本明細書で説明する動画像データを符号化するための技術を実装することができる動画像符号化装置500の一例を示すブロック図である。実施例の動画像符号化装置500は、別個の機能ブロックを有するように示されているが、そのような例示は、説明のためのものであり、動画像符号化装置500及び/又はその下位構成要素を特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意されたい。動画像符号化装置500の機能は、ハードウェア、ファームウェア及び/又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。
動画像符号化装置500は、ピクチャ領域のイントラ予測符号化及びインター予測符号化を実行することができ、このため、ハイブリッド動画像符号化装置と呼ばれることがある。図5に示す例では、動画像符号化装置500は、ソース動画像ブロックを受信する。いくつかの例では、ソース動画像ブロックは、符号化構造に従って分割されているピクチャの部分を含むことができる。例えば、ソース動画像データは、マクロブロック、CTU、CB、その再分割、及び/又は別の同等の符号化ユニットを含むことができる。いくつかの例では、動画像符号化装置500は、ソース動画像ブロックの追加の再分割を実行するように構成することができる。本明細書で説明する技術は、符号化の前及び/又は符号化中にソース動画像データがどのように分割されるかにかかわらず、動画像符号化に一般的に適用可能であることに留意されたい。図5に示す例では、動画像符号化装置500は、加算部502と、変換係数発生装置504と、係数量子化部506と、逆量子化及び変換係数処理部508と、加算部510と、イントラ予測処理部512と、インター予測処理部514と、エントロピ符号化部516と、を含む。図5に示すように、動画像符号化装置500は、ソース動画像ブロックを受信し、ビットストリームを出力する。
図5に示す例では、動画像符号化装置500は、ソース動画像ブロックから予測動画像ブロックを減算することにより、残差データを生成することができる。予測動画像ブロックの選択を、以下に詳細に記載する。加算部502は、この減算演算を実行するように構成された構成要素を表す。一例では、動画像ブロックの減算は、画素領域で行われる。変換係数発生装置504は、離散コサイン変換(DCT)、離散サイン変換(DST)、又は概念的に類似の変換などの変換を残差ブロック又はその再分割に適用し(例えば、4つの8×8の変換を残差値の16×16のアレイに適用することができる)、残差変換係数のセットを生成する。変換係数発生装置504は、離散三角変換の近似物を含め離散三角変換のファミリーに含まれる変換の任意の及び全ての組み合わせを実行するように構成することができる。変換係数発生装置504は、変換係数を係数量子化部506に出力することができる。係数量子化部506は、変換係数の量子化を実行するように構成することができる。量子化プロセスは、係数の一部又は全てに関連付けられたビット深度を低減することができる。量子化の程度により、符号化した動画像データのレートディストーション(すなわち、動画像のビットレート対品質)が変更され得る。量子化の程度は、量子化パラメータ(QP)を調節することにより、修正することができる。量子化パラメータは、スライスレベル値及び/又はCUレベル値(例えば、CUデルタQP値)に基づいて判定することができる。QPデータは、特定の変換係数のセットを量子化するQPを判定するために使用される任意のデータを含み得る。図5に示すように、量子化された変換係数(レベル値と呼んでもよい)は、逆量子化及び変換係数処理部508に出力される。逆量子化及び変換係数処理部508は、逆量子化及び逆変換を適用して、復元された残差データを生成するように構成することができる。図5に示すように、加算器510において、復元された残差データを、予測動画像ブロックに加算することができる。このようにして、符号化動画像ブロックを復元することができ、結果として得られる復元された動画像ブロックを使用して、所与の予測、変換、及び/又は量子化についての符号化品質を評価することができる。動画像符号化装置500は、複数の符号化パスを実行する(例えば、予測、変換パラメータ及び量子化パラメータの1つ以上を変更しながら符号化を実行する)ように構成することができる。ビットストリームのレートディストーション又は他のシステムパラメータは、復元された動画像ブロックの評価に基づいて最適化することができる。更に、復元された動画像ブロックは、その後のブロックを予測するための参照として記憶して使用することができる。
図5を参照すると、イントラ予測処理部512は、符号化される動画像ブロックに対してイントラ予測モードを選択するように構成することができる。イントラ予測処理部512は、現在のブロックを符号化するために、フレームを評価し、使用するイントラ予測モードを判定するように構成することができる。上述したように、可能なイントラ予測モードは、平面予測モード、DC予測モード、及び角度予測モードを含んでもよい。更に、いくつかの例では、クロマ成分に対する予測モードは、ルマ予測モードに対する予測モードから推測できることに留意されたい。イントラ予測処理部512は、1つ以上の符号化パスを実行した後にイントラ予測モードを選択してもよい。更に、一実施例では、イントラ予測処理部512は、レートディストーション解析に基づいて予測モードを選択してもよい。図5に示すように、イントラ予測処理部512は、イントラ予測データ(例えば、シンタックス要素)をエントロピ符号化部516及び変換係数発生装置504に出力する。上述のように、残差データに対して実行される変換は、モード依存性であってもよい(例えば、二次変換行列は、予測モードに基づいて判定することができる)。
図5を再び参照すると、インター予測処理部514は、現在の動画像ブロックに対してインター予測符号化を実行するように構成することができる。インター予測処理部514は、ソース動画像ブロックを受信し、動画像ブロックのPUに対する動きベクトルを計算するように構成することができる。動きベクトルは、参照フレーム内の予測ブロックに対する、現在の動画像フレーム内の動画像ブロックのPUの変位を示すことができる。インター予測符号化は、1つ以上の参照ピクチャを使用することができる。更に、動き予測は、単一予測(1つの動きベクトルを用いる)又は双予測(2つの動きベクトルを用いる)とすることができる。インター予測処理部514は、例えば、絶対差の合計(sum of absolute difference)(SAD)、平方差の合計(sumof square difference)(SSD)、又は他の差の測定法によって判定された画素差を計算することにより、予測ブロックを選択するように構成することができる。上述したように、動きベクトルは、動きベクトル予測に従って判定及び判定することができる。インター予測処理部514は、上述したように、動きベクトル予測を実行するように構成することができる。インター予測処理部514は、動き予測データを用いて予測ブロックを生成するように構成することができる。例えば、インター予測処理部514は、フレームバッファ(図5に示さない)内に予測動画像ブロックを配置することができる。インター予測処理部514は、復元された残差ブロックに1つ以上の補間フィルタを適用して、動き予測に使用するサブ整数の画素値を計算するように更に構成することができることに留意されたい。インター予測処理部514は、計算された動きベクトルに対する動き予測データをエントロピ符号化部516に出力することができる。
図5を再び参照すると、エントロピ符号化部518は、量子化された変換係数及び予測シンタックスデータ(すなわち、イントラ予測データ、動き予測データ)を受信する。いくつかの例では、係数量子化部506は、係数がエントロピ符号化部518に出力される前に、量子化された変換係数を含む行列の走査を実行することができることに留意されたい。他の実施例では、エントロピ符号化部518は、走査を実行することができる。エントロピ符号化部518は、本明細書で説明する技術の1つ以上に従ってエントロピ符号化を実行するように構成することができる。エントロピ符号化部518は、準拠ビットストリーム、すなわち、動画像復号装置が受信しそれから動画像データを再生することができるビットストリームを出力するように構成することができる。このように、動画像符号化装置500は、本開示の1つ以上の技術に従って符号化動画像データを生成するように構成されているデバイスの一例を表す。一実施例では、動画像符号化装置500は、マルチレイヤHEVC表示に使用され得る符号化動画像データを生成することができる。
図1を再び参照すると、データカプセル化部107は、準拠ビットストリームを受信し、ファイルフォーマットに従って、準拠ビットストリームをカプセル化することができる。一実施例では、データカプセル化部107は、表1に関して上述したHEVCトラックのうちのいずれかに対応する準拠ビットストリームを受信することができる。更に、データカプセル化部107は、プレーンHEVCトラックに対応する準拠ビットストリームを受信し、CMAFで規定されているファイルを出力することができる。上述したように、CMAFは現在、マルチレイヤHEVCをサポートしていない。一実施例では、データカプセル化部107は、マルチレイヤHEVCトラックに対応する準拠ビットストリームを受信し、CMAFに基づいてファイルを出力するように構成することができる。すなわち、データカプセル化部107は、準拠ビットストリームを受信し、ITU H.265、ISO−VIDEO及び/又はCMAFに概ね適合するファイルを出力することができるが、更に、CMAF型ファイル内のマルチレイヤHEVCをサポートすることができる。データカプセル化部107によって生成されるファイルは、以下に示す制約のうちの1つ以上に更に適合し得ることに留意されたい。以下に示される1つ以上の制約により、ファイルを受信するデバイスによるマルチメディア表示の効率的なレンダリングが可能になることを留意されたい。
一実施例では、データカプセル化部107によって生成されたファイルに含まれるビデオトラックは、ISO−VIDEOのセクション9に準拠してもよく、ベースレイヤ(HEVC仕様を使用して符号化された場合)は、ISO−VIDEOのセクション9.4に記載されるように記憶されてもよい。一実施例では、データカプセル化部107によって生成されたファイルに含まれるビデオトラックは、表1において上記で定義されたサンプルエントリ「hvc1」若しくは「hev1」又は「hvc2」若しくは「hev2」に適合することができる。一実施例では、データカプセル化部107によって生成されたファイルは、HEVCDecoderConfigurationRecord及びLHEVCDecoderConfigurationRecordを含むことができ、CMAFの9.4.1.3における制約は、HEVCDecoderConfigurationRecordに適用され、HEVC互換ベースレイヤに適用され得る。一実施例では、SEIメッセージの包含、CMAFプレーヤによるSEIメッセージの使用及び受渡しに関するCMAFの9.4.1.3における制約は、LHEVCDecoderConfigurationRecordにも適用され、エンハンスメントレイヤにも適用され得る。このようにして、データカプセル化部107は、マルチレイヤHEVC表示内のベースレイヤがCMAFに適合する様式でカプセル化されるように構成することができる。
一実施例では、データカプセル化部107によって生成されたファイルは、表2に示す動画像プロファイルが、ファイルに含まれる全てのスケーラブルHEVCエレメンタリストリームに適用されることが必要条件となる場合がある。
Figure 2020515169

この場合、メディアプロファイル名、例えば「SHV10」及び新しいファイルブランド、例えば「cus1」を、そのような新しいメディアプロファイルに対して定義することができる。上記のメディアプロファイル(SHV10)は一例であり、他の同様な2つ以上のメディアプロファイルは、スケーラブルHEVCを使用するように定義されてもよい。
一実施例では、データカプセル化部107によって生成されたファイルは、ビデオストリームに含まれる全てのピクチャを、符号化フレームとして符号化し、符号化フィールドとして符号化しないことを必要とする場合がある。一実施例では、データカプセル化部107によって生成されたファイルは、HEVCエレメンタリストリームの最大ビットレートが、I−ITU H.265第F.13節で定義されたバッファ及びタイミングモデルの実装形態によって計算されることを必要とする場合がある。一実施例では、データカプセル化部107によって生成されたファイルは、トラックのフレームレートを判定するためにISOメディアトラック実行ボックス(ISO Media Track Run Box)に記憶されたサンプル継続時間を必要とする場合がある。この場合、H.265パラメータセットで後述されるフレームレート(ピクチャレートとも呼ばれる)関連のパラメータを含めることは、基礎となる動画像エレメンタリストリームのフレームレート/ピクチャレートを知るのに有用である。
上述したように、マルチレイヤHEVC表示のうちの1つ以上の特性及び/又はパラメータは、ITU−T H.265で提供されるセマンティクスに従ってシグナリングされ得、更に上述したように、ITU−T H.265は、特性及び/又はパラメータがシグナリングされ得る方法及び場合に関して柔軟性を提供する。一実施例では、データカプセル化部107によって生成されたファイルに含まれる動画像データは、ITU−T H.265の付属書類F及び付属書類Hに適合する一方で、表3で示される例示的な制約のうちの1つ以上に適合してもよい。
Figure 2020515169

Figure 2020515169
一実施例では、データカプセル化部107によって生成されたファイルに含まれる動画像データは、ベースレイヤ及びエンハンスメントレイヤが存在する場合、ベースレイヤ及びエンハンスメントレイヤが一定のピクチャレートを有するように制約されてもよい。場合によっては、この制約は、表3に示されるように、制約を通じて達成され得ることに留意されたい。constant_pic_rate_idc[i][j]は、全てのjに対して、全てのiに対して、1に設定されるものとする。
一実施例では、データカプセル化部107によって生成されたファイルに含まれる動画像データは、ベースレイヤとエンハンスメントレイヤが存在する場合、ベースレイヤとエンハンスメントレイヤが同じ数のサブレイヤを有するように制約されてもよい。一実施例では、各レイヤは、2つのサブレイヤがある場合、0及び1に等しいTemporalIdをもつ最大限でも2つのサブレイヤを含むものとし、各SPSのsps_max_sub_layers_minus1の値は、レイヤ内のサブレイヤの数から1を引いた値に等しく設定されるものとする。
一実施例では、データカプセル化部107によって生成されたファイルに含まれる動画像データは、レイヤが2つのサブレイヤを有する場合、0に等しいTemporalIdを有するサブレイヤ表現が一定のピクチャレート(elemental_duration_in_tc_minus1[0]の存在によって示されるように)を有し、ピクチャレートがレイヤ全体のピクチャレートのちょうど半分であるものとして制約されてもよい(すなわち、elemental_duration_in_tc_minus1[0]は、2elemental_duration_in_tc_minus1[1]に等しい)。
一実施例ではデータカプセル化部107によって生成されたファイルに含まれる動画像データは、ピクチャクロッピングがSPSクロッピングパラメータconf_win_left_offset、conf_win_right_offset、conf_win_top_offset及びconf_win_bottom_offsetによって示されるものとして制約されてもよい。すなわち、ピクチャクロッピングは、SPSクロッピングパラメータconf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offsetによって示される必要があり、従って、conf_win_vps_left_offset、conf_win_vps_right_offset、conf_win_vps_top_offset及びconf_win_bottom_offsetは、それぞれ、VPSを参照する各SPSに対し、SPSシンタックス要素conf_win_left_offset、conf_win_right_offset、conf_win_top_offset及びconf_win_bottom_offsetの値の推測に使用されない場合がある。なお、本実施例では、conformance_window_vps_flagが1に等しい場合、動画像復号装置は、ファイルが不適合であると判定し、不適合ファイルを処理するための適切なアクションを実行してもよいことに留意されたい。
別の実施例では、データカプセル化部107によって生成されたファイルに含まれる動画像データは、ピクチャクロッピングがvps拡張クロッピングパラメータconf_win_vps_left_offset、conf_win_vps_right_offset、conf_win_vps_top_offset及びconf_win_vps_bottom_offsetによって示されるものとして制約されてもよい。
このようにして、データカプセル化部107によって生成されたファイルによってカプセル化されたマルチレイヤHEVC表示は、上記で示された1つ以上の制約に基づいて、効率的に解析及び/又はレンダリングされてもよい。例えば、演算デバイスは、データカプセル化部107によって生成されたファイルを受信する場合に、特定の動画像コーデックプロファイルを予期することができる。一実施例では、プレゼンテーションアプリケーションは、IETF「RFC 6381,The’Codecs’ and’Profiles’ Parameters for”Bucket” Media Types」(2011年8月)に準拠するパラメータを使用して、データカプセル化部107によって生成されたファイルに含まれる各HEVCトラック及びスイッチングセットのビデオコーデックのプロファイル並びにレベルをシグナリングすべきであることに留意されたい。[RFC6381]及びISO−VIDEO、付属書類E第4節は、セクションE.4としても知られる。
表3における制約の一部のみが適用されてもよいことに留意されたい。また、制約の一部が修正されてもよい。例えば、0に制約されたフラグを、代わりに1に制約することができる。上述したシンタックス要素の値に対する制約は、変更することができる。これらは全て、本発明の範囲内にあることが意図されている。
図1を再び参照すると、インターフェース108は、データカプセル化部107によって生成されたファイルを受信し、そのファイルを通信媒体に送信及び/又は記憶するように構成された任意のデバイスを含んでもよい。インターフェース108は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を送信及び/若しくは受信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース108は、ファイルを記憶デバイス上に記憶することを可能にすることができるコンピュータシステムインターフェースを含むことができる。例えば、インターフェース108は、Peripheral Component Interconnect(PCI)バスプロトコル及びPeripheral Component Interconnect Express(PCIe)バスプロトコル、独自のバスプロトコル、ユニバーサルシリアルバス(Universal Serial Bus)(USB)プロトコル、I2C、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。
図1を再び参照すると、宛先デバイス120は、インターフェース122と、データデカプセル化部123と、動画像復号装置124と、ディスプレイ126とを含む。インターフェース122は、通信媒体からデータ受信するように構成されている任意のデバイスを含むことができる。インターフェース122は、イーサネットカードなどのネットワークインターフェースカードを含むことができ、光送受信機、無線周波数送受信機、又は情報を受信及び/若しくは送信することができる任意の他の種類のデバイスを含むことができる。更に、インターフェース122は、準拠動画像ビットストリームを記憶デバイスから取得することを可能にするコンピュータシステムインターフェースを含むことができる。例えば、インターフェース122は、PCIバスプロトコル及びPCIeバスプロトコル、独自のバスプロトコル、USBプロトコル、I2C、又はピアデバイスを相互接続するために使用することができる任意の他の論理及び物理構造をサポートする、チップセットを含むことができる。データデカプセル化部123は、データカプセル化部107によって生成されたファイルをデカプセル化するように構成することができる。動画像復号装置124は、準拠ビットストリーム(例えば、デカプセル化されたデータの一部として)及び/又はその許容可能な変形を受信し、そこから動画像データを再生するように構成されている任意のデバイスを含むことができる。ディスプレイ126は、動画像データを表示するように構成された任意のデバイスを含むことができる。ディスプレイ126は、液晶ディスプレイ(liquid crystal display)(LCD)、プラズマディスプレイ、有機発光ダイオード(organic light emitting diode)(OLED)ディスプレイ、又は別の種類のディスプレイなどの、様々なディスプレイデバイスのうちの1つを含むことができる。ディスプレイ126は、高解像度ディスプレイ又は超高解像度ディスプレイを含むことができる。図1に示す例では、動画像復号装置124は、データをディスプレイ126に出力するように説明されているが、動画像復号装置124は、動画像データを様々な種類のデバイス及び/又はその下位構成要素に出力するように構成することができることに留意されたい。例えば、動画像復号装置124は、本明細書で説明するような任意の通信媒体に動画像データを出力するように構成することができる。
図6は、本開示の1つ以上の技術に係る、動画像データを復号するように構成することができる動画像復号装置の一例を示すブロック図である。一実施例では、動画像復号装置600は、変換データを復号し、復号された変換データに基づいて変換係数から残差データを再構築するように構成することができる。動画像復号装置600は、イントラ予測復号及びインター予測復号を実行するように構成することができ、そのために、ハイブリッド復号装置と呼ばれることがある。図6に示す例では、動画像復号装置600は、エントロピ復号部602、逆量子化部及び変換係数処理部604、イントラ予測処理部606、インター予測処理部608、加算部610、ポストフィルタ部612、並びに参照バッファ614を含む。動画像復号装置600は、動画像符号化システムと合致するようにして動画像データを復号するように構成することができる。例の動画像復号装置600が別個の機能ブロックを有するように示されているが、そのような例示は説明のためのものであり、動画像復号装置600及び/又はその下位構成要素を特定のハードウェア又はソフトウェアアーキテクチャに限定するものではないことに留意されたい。動画像復号装置600の機能は、ハードウェア、ファームウェア及び/又はソフトウェアの実装形態の任意の組み合わせを用いて実現することができる。
図6に示すように、エントロピ復号部602は、エントロピ符号化されたビットストリームを受信する。エントロピ復号部602は、エントロピ符号化プロセスとは逆の(reciprocal)プロセスに従って、ビットストリームからシンタックス要素及び量子化された係数を復号するように構成することができる。エントロピ復号部602は、上述したエントロピ符号化技術のいずれかに従ってエントロピ復号を実行するように構成することができる。エントロピ復号部602は、動画像符号化規格と合致するようにして、符号化されたビットストリーム中のシンタックス要素の値を判定することができる。図6に示すように、エントロピ復号部602は、ビットストリームから量子化パラメータ、量子化された係数の値、変換データ、及び予測データを判定することができる。図6に示す実施例では、逆量子化部及び変換係数処理部604は、量子化パラメータ、量子化された係数の値、変換データ、及び予測データをエントロピ復号部602から受信し、復元された残差データを出力する。
図6を再び参照すると、復元された残差データが加算部610に提供されてもよく、加算部610は、復元された残差データを予測動画像ブロックに追加し、復元された動画像データを生成することができる。予測動画像ブロックは、予測動画像技術(すなわち、イントラ予測及びフレーム間予測)に従って判定することができる。イントラ予測処理部606は、イントラ予測シンタックス要素を受信し、参照バッファ614から予測動画像ブロックを取得するように構成することができる。参照バッファ614は、動画像データの1つ以上のフレームを記憶するように構成されたメモリデバイスを含むことができる。イントラ予測シンタックス要素は、上述したイントラ予測モードなどのイントラ予測モードを識別することができる。インター予測処理部608は、インター予測シンタックス要素を受信し、動きベクトルを生成して、参照バッファ814に記憶された1つ以上の参照フレーム内の予測ブロックを識別することができる。インター予測処理部608は、場合によっては補間フィルタに基づく補間を実行して、動き補償されたブロックを生成することができる。シンタックス要素には、画素未満の精度を有する動き予測に使用されることになる補間フィルタの識別子を含めることができる。インター予測処理部808は、補間フィルタを使用して、参照ブロックのサブ整数の画素に対する補間された値を計算することができる。ポストフィルタ部612は、復元された動画像データに対してフィルタリングを実行するように構成することができる。例えば、ポストフィルタ部612は、例えば、ビットストリームで規定されたパラメータに基づいて、デブロッキング及び/又はサンプル適応オフセット(SAO)フィルタリングを実行するように構成することができる。更に、いくつかの例では、ポストフィルタ部612は、独自の任意フィルタリング(例えば、モスキートノイズリダクションなどの視覚強調)を実行するように構成することができることに留意されたい。図6に示すように、復元された動画像ブロックは、動画像復号装置600によって出力することができる。このようにして、動画像復号装置600は、本明細書で説明する技術の1つ以上に従って復元された動画像データを生成するように構成することができる。
1つ以上の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせで実装することができる。ソフトウェアで実装される場合に、この機能は、コンピュータ可読媒体上の1つ以上の命令又はコードとして記憶するか又は送信され、ハードウェアベースの処理部によって実行することができる。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、データ記憶媒体又は通信媒体などの有形の媒体に対応する、コンピュータ可読記憶媒体を含むことができる。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的な有形のコンピュータ可読記憶媒体、又は(2)信号又は搬送波などの通信媒体に対応することができる。データ記憶媒体は、本開示中に記載された技術の実装のための命令、コード、及び/又はデータ構造を取り出すために、1つ以上のコンピュータ又は1つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含むことができる。
一例として、非限定的に、このようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROM、又は他の光学ディスク記憶装置、磁気ディスク記憶装置、他の磁気記憶デバイス、フラッシュメモリ、又は任意の他の媒体、すなわち命令又はデータ構造の形式で所望のプログラムコードを記憶するために使用可能であり、かつコンピュータによりアクセス可能な任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ可読媒体と適切に呼ばれる。例えば、命令がウェブサイト、サーバ、又は他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(digital subscriber line)(DSL)、あるいは赤外線、無線及びマイクロ波などの無線技術を使用して伝送される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、あるいは赤外線、無線及びマイクロ波などの無線技術は、媒体の定義に含まれる。しかし、コンピュータ可読媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一過性媒体を含まないが、代わりに非一時的な有形記憶媒体を対象としていることを理解すべきである。本発明で使用する場合、ディスク(disk)及びディスク(disc)は、コンパクトディスク(Compact Disc)(CD)、レーザーディスク(laser disc)、光学ディスク(optical disc)、デジタル多用途ディスク(Digital VersatileDisc)(DVD)、フロッピーディスク(floppy disk)及びブルーレイ(登録商標)ディスク(Blu-ray(登録商標)disc)を含み、ディスク(disk)は通常データを磁気的に再生し、ディスク(disc)はレーザを用いてデータを光学的に再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれなければならない。
命令は、1つ以上のデジタル信号プロセッサ(digital signal processor)(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(general purpose microprocessors,applicationspecific integrated circuit)(ASIC)、フィールドプログラマブルゲートアレイ(fieldprogrammable logic array)(FPGA)、又は他の同等の集積又はディスクリートロジック回路などの1つ以上のプロセッサによって実行することができる。したがって、本明細書で使用されるとき、用語「プロセッサ」は、前記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことができる。加えて、いくつかの態様において、本明細書で説明する機能は、符号化及び復号化するように構成された、又は複合コーデックに組み込まれた専用のハードウェアモジュール及び/又はソフトウェアモジュール内に設けられ得る。また、この技術は、1つ以上の回路又は論理素子中に完全に実装することができる。
本開示の技術は、無線ハンドセット、集積回路(integrated circuit)(IC)、又はICのセット(例えば、チップセット)を含む多種多様なデバイス又は装置に実装することができる。様々な構成要素、モジュール、又はユニットは、開示された技術を実行するように構成されたデバイスの機能的な態様を強調するために本開示中に記載されているが、異なるハードウェアユニットによる実現は必ずしも必要ではない。むしろ、前述したように、様々なユニットは、コーデックハードウェアユニットと組み合わせてもよく、又は好適なソフトウェア及び/又はファームウェアと共に、前述の1つ以上のプロセッサを含む、相互動作ハードウェアユニットの集合によって提供することができる。
更に、上述の各実装形態で用いた基地局デバイスや端デバイスの各機能ブロックや様々な機能は、一般的には集積回路又は複数の集積回路である電気回路によって実現又は実行することができる。本明細書に記載の機能を実行するように設計された回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け又は汎用アプリケーション集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)若しくは他のプログラマブルロジックデバイス、ディスクリートゲート若しくはトランジスタロジック、若しくは個々のハードウェア構成要素、又はそれらの組み合わせを備えていてもよい。汎用プロセッサは、マイクロプロセッサでもよく、あるいは、プロセッサは、従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンでもよい。上述した汎用プロセッサ又は各回路は、デジタル回路で構成されても、又はアナログ回路で構成することができる。更に、半導体技術の進歩により現時点での集積回路に置き換わる集積回路化技術が現れれば、この技術による集積回路もまた使用可能となる。
様々な実施例について説明した。これら及び他の実施例は、以下の特許請求の範囲内である。
<相互参照>
本特許出願はは、米国特許法第119条の下で、2017年3月20日の仮出願第62/473,609号の優先権を主張するものであり、その内容の全体は、参照により本明細書に組み込まれる。

Claims (15)

  1. データをカプセル化する方法であって、前記方法は、
    マルチレイヤ動画像表示データを含む符号化動画像データを受信することと、
    前記符号化動画像データに関連付けられた1つ以上のパラメータ値を設定することと、
    前記符号化動画像データをデータ構造内にカプセル化することと、
    を含む方法。
  2. 前記符号化動画像データに関連付けられた1つ以上のパラメータ値を設定することは、前記符号化動画像データに対応するパラメータセットに対して定義されたフラグの値を設定することを含む、請求項1に記載の方法。
  3. 前記符号化動画像データに対応するパラメータセットに対して定義されたフラグの値を設定することは、フラグを定義値に設定することを含む、請求項2に記載の方法。
  4. フラグは、general progressive source flag、general frame only constraint flag、general interlaced source flag、general non packed constraint flag、video parameter set extension flag及びvideo parameter video usability information present flagのうちの1つ以上を含む、請求項3に記載の方法。
  5. フラグは、シーケンスパラメータセットに含まれる1つ以上のフラグを含む、請求項3又は4のいずれかに記載の方法。
  6. 通信媒体を介してデータ構造を送信することを更に含む、請求項1から5のいずれかに記載の方法。
  7. データをカプセル化するためのデバイスであって、前記デバイスは、請求項1から6の前記ステップの任意の及び全ての組み合わせを実行するように構成された1つ以上のプロセッサを備える、デバイス。
  8. 前記デバイスは、動画像符号化装置を含む、請求項7に記載のデバイス。
  9. データをデカプセル化するためのデバイスであって、前記デバイスは、請求項1から6の前記ステップの任意の及び全ての組み合わせに従ってカプセル化されたデータをデカプセル化するように構成された1つ以上のプロセッサを備える、デバイス。
  10. 前記デバイスは、動画像復号装置を含む、請求項9に記載のデバイス。
  11. データをカプセル化するための装置であって、前記装置は、請求項1から6の前記ステップの任意の及び全ての組み合わせを実行する手段を備える、装置。
  12. データをデカプセル化するための装置であって、前記装置は、請求項1から6の前記ステップの任意の及び全ての組み合わせによってカプセル化されたデータをデカプセル化する手段を備える、装置。
  13. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は実行されると、デバイスの1つ以上のプロセッサに、請求項1から6に記載の前記ステップの任意の及び全ての組み合わせを実行させる、非一時的コンピュータ可読記憶媒体。
  14. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は実行されると、デバイスの1つ以上のプロセッサに、請求項1から6に記載の前記ステップの任意の及び全ての組み合わせに従ってカプセル化されたデータをデカプセル化させる、非一時的コンピュータ可読記憶媒体。
  15. 請求項7に記載のデバイスと、
    請求項9に記載のデバイスと、
    を備える、システム。
JP2019551722A 2017-03-20 2018-01-31 メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法 Pending JP2020515169A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762473609P 2017-03-20 2017-03-20
US62/473,609 2017-03-20
PCT/JP2018/003264 WO2018173498A1 (en) 2017-03-20 2018-01-31 Systems and methods for signaling scalable video in a media application format

Publications (1)

Publication Number Publication Date
JP2020515169A true JP2020515169A (ja) 2020-05-21

Family

ID=63584330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551722A Pending JP2020515169A (ja) 2017-03-20 2018-01-31 メディアアプリケーションフォーマットでスケーラブル動画像をシグナリングするためのシステム及び方法

Country Status (5)

Country Link
US (1) US20200021853A1 (ja)
EP (1) EP3603067A4 (ja)
JP (1) JP2020515169A (ja)
CN (1) CN110506421B (ja)
WO (1) WO2018173498A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022050376A (ja) * 2020-09-17 2022-03-30 レモン インコーポレイテッド 符号化映像における動作点サンプルグループ
JP2022164944A (ja) * 2021-04-18 2022-10-28 レモン インコーポレイテッド 共通メディアアプリケーションフォーマットでの復号化能力情報

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021180169A1 (en) 2020-03-11 2021-09-16 Beijing Bytedance Network Technology Co., Ltd. Conformance window parameters for video coding
US11290514B2 (en) * 2020-05-18 2022-03-29 Tencent America LLC Method for content preparation templates for 5G common media application format based media streaming
CN111597128B (zh) * 2020-05-21 2023-07-14 北京泽石科技有限公司 固态非易失存储设备中数据的管理方法以及管理装置
WO2021244419A1 (en) 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Constraint signaling using general constraint information syntax element
US11831921B2 (en) 2020-09-17 2023-11-28 Lemon Inc. Video operating points record syntax and semantics
US11902552B2 (en) * 2020-09-17 2024-02-13 Lemon Inc. Decoder configuration record in coded video
US20220086387A1 (en) * 2020-09-17 2022-03-17 Lemon Inc. Subpicture entity groups in video coding
EP3972279A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture track referencing and processing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945261B (zh) * 2009-07-07 2014-03-12 中兴通讯股份有限公司 移动多媒体广播***中分级传送、接收方法与装置
US9602827B2 (en) * 2012-07-02 2017-03-21 Qualcomm Incorporated Video parameter set including an offset syntax element
US9325992B2 (en) * 2013-01-07 2016-04-26 Qualcomm Incorporated Signaling of clock tick derivation information for video timing in video coding
US9485508B2 (en) * 2013-04-08 2016-11-01 Qualcomm Incorporated Non-entropy encoded set of profile, tier, and level syntax structures
EP3058734B1 (en) * 2013-10-15 2020-06-24 Nokia Technologies Oy Buffering parameters in scalable video coding and decoding
US20150195549A1 (en) * 2014-01-08 2015-07-09 Qualcomm Incorporated Support of non-hevc base layer in hevc multi-layer extensions
US9641851B2 (en) * 2014-04-18 2017-05-02 Qualcomm Incorporated Conformance window information in multi-layer coding
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
GB2527786B (en) * 2014-07-01 2016-10-26 Canon Kk Method, device, and computer program for encapsulating HEVC layered media data

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022050376A (ja) * 2020-09-17 2022-03-30 レモン インコーポレイテッド 符号化映像における動作点サンプルグループ
US11671627B2 (en) 2020-09-17 2023-06-06 Lemon Inc. Operating point entity group signaling in coded video
US11683529B2 (en) 2020-09-17 2023-06-20 Lemon Inc. Operational point sample group in coded video
JP7319336B2 (ja) 2020-09-17 2023-08-01 レモン インコーポレイテッド 符号化映像における動作点サンプルグループ
US11758195B2 (en) 2020-09-17 2023-09-12 Lemon Inc. Dependency information signaling in coded video
JP2022164944A (ja) * 2021-04-18 2022-10-28 レモン インコーポレイテッド 共通メディアアプリケーションフォーマットでの復号化能力情報
JP7414882B2 (ja) 2021-04-18 2024-01-16 レモン インコーポレイテッド 共通メディアアプリケーションフォーマットでの復号化能力情報
US11962808B2 (en) 2021-04-18 2024-04-16 Lemon Inc. Video usability information in common media application format

Also Published As

Publication number Publication date
US20200021853A1 (en) 2020-01-16
WO2018173498A1 (en) 2018-09-27
CN110506421B (zh) 2023-11-07
CN110506421A (zh) 2019-11-26
EP3603067A1 (en) 2020-02-05
EP3603067A4 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
CN110506421B (zh) 用于以媒体应用程序格式发信号通知可伸缩视频的***和方法
US11589069B2 (en) Systems and methods for signaling parameters in video coding
JP7018447B2 (ja) 仮想現実アプリケーション用の、動き制約タイルセットのシグナリングのためのシステム及び方法
CN113170201B (zh) 用于对视频数据进行解码的方法和设备
AU2019297829B2 (en) Systems and methods for signaling picture order count values for pictures included in coded video
US20200322406A1 (en) Systems and methods for signaling scalable video in a media application format
US20170105013A1 (en) Systems and methods for reducing artifacts in temporal scalable layers of video
WO2019189890A1 (en) Systems and methods for signaling tile structures for pictures of coded video
TWI670964B (zh) 用於減少於視訊之時間可適性層之假影之系統及方法
TW202341731A (zh) 自我調整膠片顆粒合成
US20240089510A1 (en) Systems and methods for signaling neural network post-filter characteristics information in video coding
WO2020009124A1 (en) Systems and methods for high-level syntax signaling in video coding
KR20240050993A (ko) 비디오 코딩에서 신경 네트워크 포스트-필터 프레임 레이트 업샘플링 정보를 시그널링하기 위한 시스템들 및 방법들
CN117651132A (zh) 发送信号通知神经网络环路后滤波器信息的方法和设备
KR20240108186A (ko) 비디오 코딩에서 신경 네트워크 포스트-필터 중첩 및 서브계층 프레임 레이트 업샘플링 정보를 시그널링하기 위한 시스템들 및 방법들
KR20240048460A (ko) 비디오 코딩에서의 신경 네트워크 포스트-필터 정보 업데이트들을 시그널링하기 위한 시스템들 및 방법들
KR20240096303A (ko) 비디오 코딩에서 신경 네트워크 포스트-필터 목적 정보를 시그널링하기 위한 시스템들 및 방법들
JP2024061578A (ja) 動画像符号化におけるダウンサンプリングオフセット情報をシグナリングするシステム及び方法
CN118338022A (zh) 对视频数据执行神经网络滤波的方法、以及设备
CN118283280A (zh) 对视频数据执行神经网络滤波的方法及设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191017