JP2024501331A - ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル - Google Patents

ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル Download PDF

Info

Publication number
JP2024501331A
JP2024501331A JP2023539890A JP2023539890A JP2024501331A JP 2024501331 A JP2024501331 A JP 2024501331A JP 2023539890 A JP2023539890 A JP 2023539890A JP 2023539890 A JP2023539890 A JP 2023539890A JP 2024501331 A JP2024501331 A JP 2024501331A
Authority
JP
Japan
Prior art keywords
data
unit
neural network
filtering
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023539890A
Other languages
English (en)
Inventor
ホンタオ・ワン
ヴェンカタ・メヘル・サトチト・アナンド・コトラ
ジャンレ・チェン
マルタ・カルチェヴィチ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/566,282 external-priority patent/US20220215593A1/en
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2024501331A publication Critical patent/JP2024501331A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

復号されたビデオデータをフィルタ処理するための例示的なデバイスは、1つまたは複数のプロセッサを含み、1つまたは複数のプロセッサは、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを受信することであって、デバイスの1つまたは複数の他のユニットからのデータが、ビデオデータの復号されたピクチャのためのデータとは異なり、デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスのデブロッキングユニットからの境界強度データを受信するように構成される、受信することと、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理することとを行わせるように構成される。

Description

本出願は、2021年12月30日に出願された米国特許出願第17/566,282号、および2021年1月4日に出願された米国仮出願第63/133,733号の優先権を主張し、これらの出願の各々の内容全体は、参照により本明細書に組み込まれる。2021年12月30日に出願された米国特許出願第17/566,282号は、2021年1月4日に出願された米国仮出願第63/133,733号の利益を主張する。
本開示は、ビデオ符号化およびビデオ復号を含むビデオコーディングに関する。
デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星ラジオ電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスに組み込まれ得る。デジタルビデオデバイスは、MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、Part 10、アドバンストビデオコーディング(AVC)、ITU-T H.265/高効率ビデオコーディング(HEVC)によって定義された規格、およびそのような規格の拡張に記載されている技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および/または記憶し得る。
ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するために、空間(イントラピクチャ)予測および/または時間(インターピクチャ)予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス(たとえば、ビデオピクチャまたはビデオピクチャの一部分)は、ビデオブロックに区分されてもよく、ビデオブロックは、コーディングツリーユニット(CTU)、コーディングユニット(CU)および/またはコーディングノードと呼ばれることもある。ピクチャのイントラコーディングされた(I)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコーディングされた(PまたはB)スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
一般に、本開示は、ひずみがあり得る、復号されたピクチャをフィルタ処理するための技法について説明する。フィルタ処理プロセスは、ニューラルネットワーク技法に基づき得る。フィルタ処理プロセスは、ITU-T H.266/多用途ビデオコーディング(VVC)の拡張、または後続の世代のビデオコーディング規格、および任意の他のビデオコーデックなどの、アドバンストビデオコーデックのコンテキストで使用され得る。一例では、ニューラルネットワークフィルタ処理ユニットは、デブロッキングフィルタによって計算された境界強度値を受信することと、たとえば、1つまたは複数のニューラルネットワークモデルを使用してデブロックされたビデオデータをさらにフィルタ処理するために境界強度値を使用することとを行い得る。
一例では、復号されたビデオデータをフィルタ処理する方法は、ビデオ復号デバイスのニューラルネットワークフィルタ処理ユニットによって、ビデオデータの復号されたピクチャのためのデータを受信するステップと、ニューラルネットワークフィルタ処理ユニットによって、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップであって、1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップが、ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信するステップを含む、ステップと、ニューラルネットワークフィルタ処理ユニットによって、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するステップと、ニューラルネットワークフィルタ処理ユニットによって、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む。
別の例では、復号されたビデオデータをフィルタ処理するためのデバイスは、ビデオデータの復号されたピクチャを記憶するように構成されたメモリと、回路において実装された1つまたは複数のプロセッサとを含み、1つまたは複数のプロセッサは、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを受信することであって、デバイスの1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスのデブロッキングユニットからの境界強度データを受信するように構成される、受信することと、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理することとを行うように構成される。
別の例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されると、ビデオ復号デバイスのプロセッサに、ニューラルネットワークフィルタ処理ユニットを実行して、ビデオデータの復号されたピクチャのためのデータを受信することと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信することであって、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、プロセッサに、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信することを行わせる命令が、プロセッサに、ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信することを行わせる命令を含む、受信することと、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理することとを行わせる。
別の例では、復号されたビデオデータをフィルタ処理するためのデバイスは、ビデオデータの復号されたピクチャのためのデータを受信するための手段と、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するための手段であって、1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するための手段が、ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信するための手段を備える、手段と、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するための手段と、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理するための手段とを備えるフィルタ処理ユニットを備える。
1つまたは複数の例の詳細が、添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図である。 ハイブリッドビデオコーディングフレームワークを示す概念図である。 16のピクチャグループ(GOP)サイズを使用する階層予測構造を示す概念図である。 4つのレイヤを有するニューラルネットワークベースのフィルタを示す概念図である。 境界、境界サンプル、および内部サンプルを含むピクチャの例示的な部分を示す概念図である。 本開示の技法を実行し得る例示的なビデオエンコーダを示すブロック図である。 本開示の技法を実行し得る例示的なビデオデコーダを示すブロック図である。 本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。 本開示の技法による、現在のブロックを復号するための例示的な方法を示すフローチャートである。 本開示の技法による、復号されたビデオデータをフィルタ処理する例示的な方法を示すフローチャートである。
ビデオコーディング規格は、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 VisualおよびITU-T H.264(ISO/IEC MPEG-4 AVCとしても知られる)、その範囲拡張であるマルチビュー拡張(MV-HEVC)およびスケーラブル拡張(SHVC)を含む高効率ビデオコーディング(HEVC)またはITU-T H.265を含む。別の例示的なビデオコーディング規格は、ITU-Tビデオコーディングエキスパートグループ(VCEG)およびISO/IECモーションピクチャエキスパートグループ(MPEG)のジョイントビデオエキスパートチーム(JVET)によって開発された多用途ビデオコーディング(VVC)またはITU-T H.266である。以下で「VVC FDIS」と呼ばれるVVC仕様のバージョン1は、http://phenix.int-evry.fr/jvet/doc_end_user/documents/19_Teleconference/wg11/JVET-S2001-v17.zipから入手可能である。
図1は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム100を示すブロック図である。本開示の技法は、一般に、ビデオデータをコーディング(符号化および/または復号)することを対象とする。一般に、ビデオデータは、ビデオを処理するための任意のデータを含む。したがって、ビデオデータは、未加工のコーディングされていないビデオ、符号化されたビデオ、復号された(たとえば、再構成された)ビデオ、およびシグナリングデータなどのビデオメタデータを含み得る。
図1に示すように、システム100は、この例では、宛先デバイス116によって復号および表示されるべき、符号化されたビデオデータを提供するソースデバイス102を含む。具体的には、ソースデバイス102は、コンピュータ可読媒体110を介して宛先デバイス116にビデオデータを提供する。ソースデバイス102および宛先デバイス116は、デスクトップコンピュータ、ノートブック(すなわち、ラップトップ)コンピュータ、モバイルデバイス、タブレットコンピュータ、セットトップボックス、スマートフォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、広範囲にわたるデバイスのいずれかを備えてもよい。場合によっては、ソースデバイス102および宛先デバイス116は、ワイヤレス通信用に装備されることがあり、したがって、ワイヤレス通信デバイスと呼ばれることがある。
図1の例では、ソースデバイス102は、ビデオソース104、メモリ106、ビデオエンコーダ200、および出力インターフェース108を含む。宛先デバイス116は、入力インターフェース122、ビデオデコーダ300、メモリ120、およびディスプレイデバイス118を含む。本開示によれば、ソースデバイス102のビデオエンコーダ200および宛先デバイス116のビデオデコーダ300は、複数のニューラルネットワークモデルを使用してフィルタ処理するための技法を適用するように構成され得る。したがって、ソースデバイス102はビデオ符号化デバイスの一例を表し、宛先デバイス116はビデオ復号デバイスの一例を表す。他の例では、ソースデバイスおよび宛先デバイスは、他の構成要素または構成を含み得る。たとえば、ソースデバイス102は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス116は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
図1に示すようなシステム100は一例にすぎない。一般に、任意のデジタルビデオ符号化および/または復号デバイスは、複数のニューラルネットワークモデルを使用してフィルタ処理するための技法を実行し得る。ソースデバイス102および宛先デバイス116は、ソースデバイス102が宛先デバイス116に送信するためのコーディングされたビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示は、データのコーディング(符号化および/または復号)を実行するデバイスを「コーディング」デバイスと呼ぶ。したがって、ビデオエンコーダ200およびビデオデコーダ300は、コーディングデバイス、具体的には、それぞれ、ビデオエンコーダおよびビデオデコーダの例を表す。いくつかの例では、ソースデバイス102および宛先デバイス116は、ソースデバイス102および宛先デバイス116の各々がビデオ符号化および復号構成要素を含むように実質的に対称的な方法で動作し得る。したがって、システム100は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、またはビデオテレフォニーのための、ソースデバイス102と宛先デバイス116との間の一方向または双方向のビデオ送信をサポートし得る。
一般に、ビデオソース104は、ビデオデータ(すなわち、未加工のコーディングされていないビデオデータ)のソースを表し、ビデオデータの連続した一連のピクチャ(「フレーム」とも呼ばれる)をビデオエンコーダ200に提供し、ビデオエンコーダ200は、ピクチャのためのデータを符号化する。ソースデバイス102のビデオソース104は、ビデオカメラ、以前にキャプチャされた未加工ビデオを含むビデオアーカイブ、および/またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース104は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブされたビデオとコンピュータ生成されたビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ200は、キャプチャされた、事前にキャプチャされた、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ200は、受信された順序(「表示順序」と呼ばれることがある)からコーディング用のコーディング順序にピクチャを並べ替え得る。ビデオエンコーダ200は、符号化されたビデオデータを含むビットストリームを生成し得る。次いで、ソースデバイス102は、たとえば、宛先デバイス116の入力インターフェース122による受信および/または取出しのために、符号化されたビデオデータを出力インターフェース108を介してコンピュータ可読媒体110上に出力し得る。
ソースデバイス102のメモリ106および宛先デバイス116のメモリ120は、汎用メモリを表す。いくつかの例では、メモリ106、120は、未加工ビデオデータ、たとえば、ビデオソース104からの未加工ビデオと、ビデオデコーダ300からの未加工の復号されたビデオデータとを記憶し得る。追加または代替として、メモリ106、120は、たとえば、それぞれ、ビデオエンコーダ200およびビデオデコーダ300によって実行可能なソフトウェア命令を記憶し得る。メモリ106およびメモリ120は、この例ではビデオエンコーダ200およびビデオデコーダ300とは別々に示されているが、ビデオエンコーダ200およびビデオデコーダ300は、機能的に同様のまたは等価な目的で内部メモリも含み得ることを理解されたい。さらに、メモリ106、120は、符号化されたビデオデータ、たとえば、ビデオエンコーダ200からの出力およびビデオデコーダ300への入力を記憶し得る。いくつかの例では、メモリ106、120の一部は、たとえば、未加工の、復号された、および/または符号化されたビデオデータを記憶するための、1つまたは複数のビデオバッファとして割り振られ得る。
コンピュータ可読媒体110は、符号化されたビデオデータをソースデバイス102から宛先デバイス116にトランスポートすることが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体110は、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、ソースデバイス102が符号化されたビデオデータを宛先デバイス116にリアルタイムで直接送信することを可能にする通信媒体を表す。ワイヤレス通信プロトコルなどの通信規格に従って、出力インターフェース108が符号化されたビデオデータを含む送信信号を変調し得、入力インターフェース122が受信された送信信号を復調し得る。通信媒体は、無線周波数(RF)スペクトルまたは1つもしくは複数の物理伝送線路などの、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス102から宛先デバイス116への通信を容易にするために有用であり得る任意の他の機器を含み得る。
いくつかの例では、ソースデバイス102は、符号化されたデータを出力インターフェース108から記憶デバイス112に出力し得る。同様に、宛先デバイス116は、入力インターフェース122を介して、記憶デバイス112からの符号化されたデータにアクセスし得る。記憶デバイス112は、ハードドライブ、ブルーレイディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するための任意の他の好適なデジタル記憶媒体などの、様々な分散されたまたはローカルでアクセスされるデータ記憶媒体のいずれかを含み得る。
いくつかの例では、ソースデバイス102は、符号化されたビデオデータを、ソースデバイス102によって生成された符号化されたビデオデータを記憶し得るファイルサーバ114または別の中間記憶デバイスに出力し得る。宛先デバイス116は、ストリーミングまたはダウンロードを介して、ファイルサーバ114からの記憶されたビデオデータにアクセスし得る。
ファイルサーバ114は、符号化されたビデオデータを記憶し、その符号化されたビデオデータを宛先デバイス116に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ114は、(たとえば、ウェブサイト用の)ウェブサーバ、(ファイル転送プロトコル(FTP)または単方向トランスポートを介したファイル配信(FLUTE:File Delivery over Unidirectional Transport)プロトコルなどの)ファイル転送プロトコルサービスを提供するように構成されたサーバ、コンテンツ配信ネットワーク(CDN)デバイス、ハイパーテキスト転送プロトコル(HTTP)サーバ、マルチメディアブロードキャストマルチキャストサービス(MBMS)もしくは拡張MBMS(eMBMS)サーバ、および/またはネットワークアタッチトストレージ(NAS)デバイスを表し得る。ファイルサーバ114は、追加または代替として、動的適応ストリーミングオーバーHTTP(DASH:Dynamic Adaptive Streaming over HTTP)、HTTPライブストリーミング(HLS:HTTP Live Streaming)、リアルタイムストリーミングプロトコル(RTSP:Real Time Streaming Protocol)、HTTP動的ストリーミング(HTTP Dynamic Streaming)などの1つまたは複数のHTTPストリーミングプロトコルを実装し得る。
宛先デバイス116は、インターネット接続を含む任意の標準的なデータ接続を通じて、ファイルサーバ114からの符号化されたビデオデータにアクセスし得る。これは、ワイヤレスチャネル(たとえば、Wi-Fi接続)、ワイヤード接続(たとえば、デジタル加入者回線(DSL)、ケーブルモデムなど)、またはファイルサーバ114上に記憶された符号化されたビデオデータにアクセスするのに適した両方の組合せを含み得る。入力インターフェース122は、ファイルサーバ114からメディアデータを取り出すかもしくは受信するための上記で説明した様々なプロトコルまたはメディアデータを取り出すための他のそのようなプロトコルのうちのいずれか1つまたは複数に従って動作するように構成され得る。
出力インターフェース108および入力インターフェース122は、ワイヤレス送信機/受信機、モデム、ワイヤードネットワーキング構成要素(たとえば、イーサネットカード)、様々なIEEE802.11規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース108および入力インターフェース122がワイヤレス構成要素を備える例では、出力インターフェース108および入力インターフェース122は、4G、4G-LTE(ロングタームエボリューション)、LTEアドバンスト、5Gなどのセルラー通信規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。出力インターフェース108がワイヤレス送信機を備えるいくつかの例では、出力インターフェース108および入力インターフェース122は、IEEE802.11仕様、IEEE802.15仕様(たとえば、ZigBee(商標))、Bluetooth(商標)規格などの他のワイヤレス規格に従って、符号化されたビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス102および/または宛先デバイス116は、それぞれのシステムオンチップ(SoC)デバイスを含み得る。たとえば、ソースデバイス102は、ビデオエンコーダ200および/または出力インターフェース108に起因する機能を実行するためのSoCデバイスを含み得、宛先デバイス116は、ビデオデコーダ300および/または入力インターフェース122に起因する機能を実行するためのSoCデバイスを含み得る。
本開示の技法は、オーバージエアテレビジョンブロードキャスト、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーHTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体上に記憶されたデジタルビデオの復号、または他の適用例などの、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
宛先デバイス116の入力インターフェース122は、コンピュータ可読媒体110(たとえば、通信媒体、記憶デバイス112、ファイルサーバ114など)から、符号化されたビデオビットストリームを受信する。符号化されたビデオビットストリームは、ビデオブロックまたは他のコーディングされたユニット(たとえば、スライス、ピクチャ、ピクチャグループ、シーケンスなど)の特性および/または処理を記述する値を有するシンタックス要素などの、ビデオエンコーダ200によって定義され、ビデオデコーダ300によっても使用されるシグナリング情報を含み得る。ディスプレイデバイス118は、復号されたビデオデータの復号されたピクチャをユーザに表示する。ディスプレイデバイス118は、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなどの、様々なディスプレイデバイスのいずれかを表し得る。
図1には示されていないが、いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は各々、オーディオエンコーダおよび/またはオーディオデコーダと統合されることがあり、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なMUX-DEMUXユニット、または他のハードウェアおよび/もしくはソフトウェアを含み得る。適用可能な場合、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
ビデオエンコーダ200およびビデオデコーダ300は各々、1つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組合せなどの、様々な好適なエンコーダおよび/またはデコーダ回路のいずれかとして実装され得る。技法が部分的にソフトウェアにおいて実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェア用の命令を記憶し、本開示の技法を実行するために1つまたは複数のプロセッサを使用してハードウェアにおいて命令を実行し得る。ビデオエンコーダ200およびビデオデコーダ300の各々は、1つまたは複数のエンコーダまたはデコーダに含まれることがあり、それらのいずれも、それぞれのデバイスにおいて複合エンコーダ/デコーダ(CODEC)の一部として統合されることがある。ビデオエンコーダ200および/またはビデオデコーダ300を含むデバイスは、集積回路、マイクロプロセッサ、および/またはセルラー電話などのワイヤレス通信デバイスを備え得る。
ビデオエンコーダ200およびビデオデコーダ300は、高効率ビデオコーディング(HEVC)とも呼ばれるITU-T H.265などのビデオコーディング規格、またはマルチビューおよび/もしくはスケーラブルビデオコーディング拡張などのその拡張に従って動作し得る。代替として、ビデオエンコーダ200およびビデオデコーダ300は、多用途ビデオコーディング(VVC)などの、他のプロプライエタリ規格または業界規格に従って動作し得る。VVC規格の草案は、Brossらの「Versatile Video Coding (Draft 9)」、ITU-T SG 16 WP 3およびISO/IEC JTC 1/SC 29/WG 11のJoint Video Experts Team(JVET)、第18回会議:、4月15日～24日、JVET-R2001-v8(以下では「VVC Draft 9」)に記載されている。しかしながら、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
一般に、ビデオエンコーダ200およびビデオデコーダ300は、ピクチャのブロックベースのコーディングを実行し得る。「ブロック」という用語は、一般に、処理される(たとえば、符号化および/または復号プロセスにおいて符号化される、復号される、または他の方法で使用される)べきデータを含む構造を指す。たとえば、ブロックは、ルミナンスおよび/またはクロミナンスデータのサンプルの2次元行列を含み得る。一般に、ビデオエンコーダ200およびビデオデコーダ300は、YUV(たとえば、Y、Cb、Cr)フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのための赤、緑、および青(RGB)データをコーディングするのではなく、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分をコーディングし得、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ200が、符号化に先立って、受信されたRGBフォーマットされたデータをYUV表現にコンバートし、ビデオデコーダ300が、YUV表現をRGBフォーマットにコンバートする。代替として、前処理ユニットおよび後処理ユニット(図示せず)が、これらのコンバージョンを実行し得る。
本開示は、一般に、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング(たとえば、符号化および復号)に言及することがある。同様に、本開示は、ブロックのためのデータを符号化または復号するプロセスを含めるように、ピクチャのブロックのコーディング、たとえば、予測および/または残差コーディングに言及することがある。符号化されたビデオビットストリームは、一般に、コーディング決定(たとえば、コーディングモード)およびブロックへのピクチャの区分を表すシンタックス要素のための一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、一般に、ピクチャまたはブロックを形成するシンタックス要素のためのコーディング値として理解されるべきである。
HEVCは、コーディングユニット(CU)、予測ユニット(PU)、および変換ユニット(TU)を含む、様々なブロックを定義する。HEVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、4分木構造に従ってコーディングツリーユニット(CTU)をCUに区分する。すなわち、ビデオコーダは、CTUおよびCUを4個の等しい重複しない正方形に区分し、4分木の各ノードは、0個または4個のいずれかの子ノードを有する。子ノードがないノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのCUは、1つもしくは複数のPUおよび/または1つもしくは複数のTUを含み得る。ビデオコーダはPUおよびTUをさらに区分し得る。たとえば、HEVCでは、残差4分木(RQT)はTUの区分を表す。HEVCでは、PUはインター予測データを表し、TUは残差データを表す。イントラ予測されるCUは、イントラモード指示などのイントラ予測情報を含む。
別の例として、ビデオエンコーダ200およびビデオデコーダ300は、VVCに従って動作するように構成され得る。VVCによれば、(ビデオエンコーダ200などの)ビデオコーダは、ピクチャを複数のコーディングツリーユニット(CTU)に区分する。ビデオエンコーダ200は、4分木2分木(QTBT)構造またはマルチタイプツリー(MTT)構造などのツリー構造に従ってCTUを区分し得る。QTBT構造は、HEVCのCU、PU、およびTUの間の区別などの、複数の区分タイプの概念を排除する。QTBT構造は、2つのレベル、すなわち、4分木区分に従って区分された第1のレベルおよび2分木区分に従って区分された第2のレベルを含む。QTBT構造のルートノードは、CTUに対応する。2分木のリーフノードは、コーディングユニット(CU)に対応する。
MTT区分構造では、ブロックは、4分木(QT)区分、2分木(BT)区分、および1つまたは複数のタイプの3分木(TT:triple tree)(3分木(TT:ternary tree)とも呼ばれる)区分を使用して区分され得る。3分木(triple tree)または3分木(ternary tree)区分は、ブロックが3つのサブブロックに分割される区分である。いくつかの例では、3分木(triple tree)または3分木(ternary tree)区分は、中心を通って元のブロックを分割することなく、ブロックを3つのサブブロックに分割する。MTTにおける区分タイプ(たとえば、QT、BT、およびTT)は対称または非対称であり得る。
いくつかの例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分およびクロミナンス成分の各々を表すために単一のQTBTまたはMTT構造を使用し得るが、他の例では、ビデオエンコーダ200およびビデオデコーダ300は、ルミナンス成分のための1つのQTBT/MTT構造および両方のクロミナンス成分のための別のQTBT/MTT構造(またはそれぞれのクロミナンス成分のための2つのQTBT/MTT構造)などの、2つ以上のQTBTまたはMTT構造を使用し得る。
ビデオエンコーダ200およびビデオデコーダ300は、HEVCごとの4分木区分、QTBT区分、MTT区分、または他の区分構造を使用するように構成され得る。説明のために、本開示の技法の記載はQTBT区分に関して提示される。しかしながら、本開示の技法はまた、4分木区分、または他のタイプの区分も使用するように構成されたビデオコーダに適用され得ることを理解されたい。
いくつかの例では、CTUは、ルーマサンプルのコーディングツリーブロック(CTB)、3つのサンプルアレイを有するピクチャのクロマサンプルの2つの対応するCTB、またはモノクロームピクチャもしくはサンプルをコーディングするために使用される3つの別個の色平面およびシンタックス構造を使用してコーディングされたピクチャのサンプルのCTBを含む。CTBは、CTBへの成分の分割が区分であるような、何らかの値のNに対するサンプルのN×Nブロックであり得る。成分は、4:2:0、4:2:2、もしくは4:4:4色フォーマットのピクチャの3つのアレイ(ルーマおよび2つのクロマ)のうちの1つからのアレイもしくはそのアレイの単一のサンプル、またはモノクロームフォーマットのピクチャのアレイもしくはそのアレイの単一のサンプルであり得る。いくつかの例では、コーディングブロックは、コーディングブロックへのCTBの分割が区分であるような、何らかの値のMおよびNに対するサンプルのM×Nブロックである。
ブロック(たとえば、CTUまたはCU)は、ピクチャにおいて様々な方法でグループ化され得る。一例として、ブリックは、ピクチャにおける特定のタイル内のCTU行の長方形領域を指すことがある。タイルは、ピクチャにおける特定のタイル列および特定のタイル行内のCTUの長方形領域であり得る。タイル列は、ピクチャの高さに等しい高さおよび(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される幅を有する、CTUの長方形領域を指す。タイル行は、(たとえば、ピクチャパラメータセットなどにおいて)シンタックス要素によって指定される高さおよびピクチャの幅に等しい幅を有する、CTUの長方形領域を指す。
いくつかの例では、タイルは複数のブリックに区分されてもよく、ブリックの各々はタイル内の1つまたは複数のCTU行を含んでもよい。複数のブリックに区分されないタイルも、ブリックと呼ばれることがある。しかしながら、タイルの真のサブセットであるブリックは、タイルと呼ばれないことがある。
ピクチャの中のブリックは、スライスにおいても並べられ得る。スライスは、単一のネットワークアブストラクションレイヤ(NAL)ユニットに独占的に含まれ得る、ピクチャの整数個のブリックであり得る。いくつかの例では、スライスは、ある数の完全なタイル、または、1つのタイルの完全なブリックの連続的なシーケンスのみ、のいずれかを含む。
本開示は、垂直次元および水平次元に換算して(CUまたは他のビデオブロックなどの)ブロックのサンプル次元を指すために、互換的に「N×N」および「NかけるN(N by N)」、たとえば、16×16サンプルまたは16かける16(16 by 16)サンプルを使用し得る。一般に、16×16 CUは、垂直方向に16個のサンプル(y=16)および水平方向に16個のサンプル(x=16)を有する。同様に、N×N CUは、一般に、垂直方向にN個のサンプルおよび水平方向にN個のサンプルを有し、ここで、Nは負ではない整数値を表す。CUの中のサンプルは、行および列において並べられ得る。さらに、CUは、必ずしも水平方向に垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、CUはN×Mサンプルを備えてもよく、ここで、Mは必ずしもNに等しいとは限らない。
ビデオエンコーダ200は、予測および/または残差情報、ならびに他の情報を表すCUのためのビデオデータを符号化する。予測情報は、CUのための予測ブロックを形成するためにCUがどのように予測されることになるかを示す。残差情報は、一般に、符号化に先立つCUのサンプルと予測ブロックのサンプルとの間のサンプルごとの差分を表す。
CUを予測するために、ビデオエンコーダ200は、一般に、インター予測またはイントラ予測を通じてCUのための予測ブロックを形成し得る。インター予測は、一般に、以前にコーディングされたピクチャのデータからCUを予測することを指すが、イントラ予測は、一般に、同じピクチャの以前にコーディングされたデータからCUを予測することを指す。インター予測を実行するために、ビデオエンコーダ200は、1つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ200は、一般に、たとえば、CUと参照ブロックとの間の差分に関してCUと厳密に一致する参照ブロックを識別するために、動き探索を実行し得る。ビデオエンコーダ200は、参照ブロックが現在のCUと厳密に一致するかどうかを決定するために、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ200は、単方向予測または双方向予測を使用して現在のCUを予測し得る。
VVCのいくつかの例は、インター予測モードと見なされ得るアフィン動き補償モードも提供する。アフィン動き補償モードでは、ビデオエンコーダ200は、ズームインもしくはズームアウト、回転、遠近運動、または他の不規則な運動タイプなどの、非並進運動を表す2つ以上の動きベクトルを決定し得る。
イントラ予測を実行するために、ビデオエンコーダ200は、イントラ予測モードを選択して予測ブロックを生成し得る。VVCのいくつかの例は、様々な方向モードを含む67個のイントラ予測モード、ならびに平面モードおよびDCモードを提供する。一般に、ビデオエンコーダ200は、そこから現在のブロックのサンプルを予測するための現在のブロック(たとえば、CUのブロック)に対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、一般に、ビデオエンコーダ200がラスタ走査順序で(左から右に、上から下に)CTUおよびCUをコーディングすると仮定すると、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。
ビデオエンコーダ200は、現在のブロックのための予測モードを表すデータを符号化する。たとえば、インター予測モードの場合、ビデオエンコーダ200は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードについての動き情報を表すデータを符号化し得る。単方向または双方向インター予測の場合、たとえば、ビデオエンコーダ200は、高度動きベクトル予測(AMVP)またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ200は、アフィン動き補償モードのための動きベクトルを符号化するために類似のモードを使用し得る。
ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ200はブロックのための残差データを計算し得る。残差ブロックなどの残差データは、ブロックと、対応する予測モードを使用して形成されたそのブロックのための予測ブロックとの間のサンプルごとの差分を表す。ビデオエンコーダ200は、サンプル領域ではなく変換領域において変換データを生成するために、1つまたは複数の変換を残差ブロックに適用し得る。たとえば、ビデオエンコーダ200は、離散コサイン変換(DCT)、整数変換、ウェーブレット変換、または概念的に類似の変換を残差ビデオデータに適用し得る。加えて、ビデオエンコーダ200は、第1の変換に続いて、モード依存型分離不可能二次変換(MDNSST:mode-dependent non-separable secondary transform)、信号依存変換、カルーネンレーベ変換(KLT:Karhunen-Loeve transform)などの二次変換を適用し得る。ビデオエンコーダ200は、1つまたは複数の変換の適用に続いて、変換係数を生成する。
上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ200は、変換係数の量子化を実行し得る。量子化は一般に、変換係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を実現するプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ200は、変換係数の一部または全部に関連付けられたビット深度を低減し得る。たとえば、ビデオエンコーダ200は、量子化の間にnビット値をmビット値に切り捨ててもよく、ここで、nはmよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ200は、量子化されるべき値のビット単位の右シフトを実行してもよい。
量子化に続いて、ビデオエンコーダ200は、変換係数を走査し、量子化された変換係数を含む2次元行列から1次元ベクトルを生成し得る。走査は、より高いエネルギー(したがって、より低い周波数)の変換係数をベクトルの前方に置き、より低いエネルギー(したがって、より高い周波数)の変換係数をベクトルの後方に置くように設計され得る。いくつかの例では、ビデオエンコーダ200は、シリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化するために、量子化された変換係数を走査するための事前定義された走査順序を利用し得る。他の例では、ビデオエンコーダ200は適応走査を実行し得る。量子化された変換係数を走査して1次元ベクトルを形成した後、ビデオエンコーダ200は、たとえば、コンテキスト適応型バイナリ算術コーディング(CABAC)に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ200はまた、ビデオデータを復号する際にビデオデコーダ300によって使用するための符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。
CABACを実行するために、ビデオエンコーダ200は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当て得る。コンテキストは、たとえば、シンボルの隣接値が0値化されているか否かに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
ビデオエンコーダ200は、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、または、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、もしくはビデオパラメータセット(VPS)などの他のシンタックスデータにおいて、ビデオデコーダ300へのブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータをさらに生成し得る。ビデオデコーダ300は、そのようなシンタックスデータを同様に復号して、対応するビデオデータをどのように復号するかを決定し得る。
このように、ビデオエンコーダ200は、符号化されたビデオデータ、たとえば、ブロック(たとえば、CU)へのピクチャの区分ならびにブロックについての予測および/または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ300は、ビットストリームを受信し、符号化されたビデオデータを復号し得る。
一般に、ビデオデコーダ300は、ビデオエンコーダ200によって実行されるプロセスとは逆のプロセスを実行して、ビットストリームの符号化されたビデオデータを復号する。たとえば、ビデオデコーダ300は、ビデオエンコーダ200のCABAC符号化プロセスとは逆であるが実質的に同様の方法で、CABACを使用してビットストリームのシンタックス要素のための値を復号し得る。シンタックス要素は、ピクチャをCTUに区分するための区分情報、およびQTBT構造などの対応する区分構造に従った各CTUの区分を定義して、CTUのCUを定義し得る。シンタックス要素は、ビデオデータのブロック(たとえば、CU)についての予測および残差情報をさらに定義し得る。
残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ300は、ブロックのための残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ300は、ブロックのための予測ブロックを形成するために、シグナリングされた予測モード(イントラ予測またはインター予測)および関連する予測情報(たとえば、インター予測についての動き情報)を使用する。次いで、ビデオデコーダ300は、元のブロックを再生するために、予測ブロックおよび残差ブロックを(サンプルごとに)合成し得る。ビデオデコーダ300は、ブロックの境界に沿って視覚的アーティファクトを低減するためのデブロッキングプロセスを実行するなどの、追加の処理を実行し得る。
本開示は、一般に、シンタックス要素などの特定の情報を「シグナリング」することに言及することがある。「シグナリング」という用語は、一般に、シンタックス要素および/または符号化されたビデオデータを復号するために使用される他のデータのための値の通信を指すことがある。すなわち、ビデオエンコーダ200は、ビットストリーム中でシンタックス要素のための値をシグナリングし得る。一般に、シグナリングは、ビットストリーム中で値を生成することを指す。上述のように、ソースデバイス102は、実質的にリアルタイムで、または、宛先デバイス116によって後で取り出すためにシンタックス要素を記憶デバイス112に記憶するときに行われ得るなど、リアルタイムではなく、ビットストリームを宛先デバイス116にトランスポートし得る。
図2は、ハイブリッドビデオコーディングフレームワークを示す概念図である。H.261以降のビデオコーディング規格は、図2に示す、いわゆるハイブリッドビデオコーディング原理に基づいている。ハイブリッドという用語は、ビデオ信号における冗長性を低減するための2つの手段の組合せ、すなわち、予測残差の予測および量子化を伴う変換コーディングを指す。予測および変換は、非相関化によってビデオ信号における冗長性を低減するが、量子化は、変換係数表現のデータを、その精度を低減することによって、理想的には無関係な詳細のみを除去することによって減少させる。このハイブリッドビデオコーディングの設計原理は、2つの最近の規格であるITU-T H.265/HEVCおよびITU-T H.266/VVCにおいても使用される。
図2に示すように、現代のハイブリッドビデオコーダ130は一般に、ブロック区分、動き補償またはインターピクチャ予測、イントラピクチャ予測、変換、量子化、エントロピーコーディング、およびポスト/インループフィルタ処理を実行する。図2の例では、ビデオコーダ130は、加算ユニット134、変換ユニット136、量子化ユニット138、エントロピーコーディングユニット140、逆量子化ユニット142、逆変換ユニット144、加算ユニット146、ループフィルタユニット148、復号ピクチャバッファ(DPB)150、イントラ予測ユニット152、インター予測ユニット154、および動き推定ユニット156を含む。
一般に、ビデオコーダ130は、ビデオデータを符号化するとき、入力ビデオデータ132を受信し得る。ブロック区分は、予測プロセスおよび変換プロセスの動作のために、ビデオデータの受信されたピクチャ(画像)をより小さいブロックに分割するために使用される。初期のビデオコーディング規格は、固定ブロックサイズ、典型的には16×16サンプルを使用した。HEVCおよびVVCなどの最近の規格は、柔軟な区分を行うためにツリーベースの区分構造を用いる。
動き推定ユニット156およびインター予測ユニット154は、たとえば、DPB150の以前に復号されたデータから、入力ビデオデータ132を予測し得る。動き補償またはインターピクチャ予測は、ビデオシーケンスのピクチャ間に存在する(したがって「インター」)冗長性を利用する。すべての現代のビデオコーデックにおいて使用されるブロックベースの動き補償によれば、予測は、1つまたは複数の以前に復号されたピクチャ、すなわち、参照ピクチャから取得される。インター予測を生成するための対応するエリアは、動きベクトルと参照ピクチャインデックスとを含む動き情報によって示される。
加算ユニット134は、入力ビデオデータ132とイントラ予測ユニット152またはインター予測ユニット154からの予測されたデータとの間の差分として残差データを計算し得る。加算ユニット134は、残差ブロックを変換ユニット136に提供し、変換ユニット136は、1つまたは複数の変換を残差ブロックに適用して、変換ブロックを生成する。量子化ユニット138は、変換ブロックを量子化して、量子化された変換係数を形成する。エントロピーコーディングユニット140は、量子化された変換係数、ならびに動き情報またはイントラ予測情報などの他のシンタックス要素をエントロピー符号化して、出力ビットストリーム158を生成する。
一方、残差ブロックを再生するために、逆量子化ユニット142は量子化された変換係数を逆量子化し、逆変換ユニット144は変換係数を逆変換する。加算ユニット146は、(サンプルごとに)残差ブロックを予測ブロックと合成して、ビデオデータの復号されたブロックを生成する。ループフィルタユニット148は、1つまたは複数のフィルタ(たとえば、ニューラルネットワークベースのフィルタ、ニューラルネットワークベースのループフィルタ、ニューラルネットワークベースのポストループフィルタ、適応インループフィルタ、または事前定義された適応インループフィルタのうちの少なくとも1つ)を復号されたブロックに適用して、フィルタ処理され復号されたブロックを生成する。
本開示の技法によれば、ループフィルタユニット148のニューラルネットワークフィルタ処理ユニットは、加算ユニット146から、かつハイブリッドビデオコーダ130の1つまたは複数の他のユニット、たとえば、変換ユニット136、量子化ユニット138、イントラ予測ユニット152、インター予測ユニット154、動き推定ユニット156、および/またはループフィルタユニット148内の1つもしくは複数の他のフィルタ処理ユニットから、ビデオデータの復号されたピクチャのためのデータを受信し得る。たとえば、ニューラルネットワークフィルタ処理ユニットは、ループフィルタユニット148のデブロッキングフィルタ処理ユニット(「デブロッキングユニット」とも呼ばれる)からのデータを受信し得る。ニューラルネットワークフィルタ処理ユニットは、たとえば、特定の境界がデブロッキングのためにフィルタ処理されるべきかどうかと、フィルタ処理されるべきである場合、境界がフィルタ処理される程度とを表す境界強度値を受信し得る。たとえば、境界強度値は、変更されるべき境界の両側のサンプルの数および/またはサンプルが変更されるべき程度に対応し得る。
他の例では、境界強度値に加えてまたはその代替として、ニューラルネットワークフィルタ処理ユニットは、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のいずれかまたはすべてを受信し得る。デブロッキングフィルタ処理データは、長いもしくは短いフィルタがデブロッキングのために使用されたかどうか、または強いもしくは弱いフィルタがデブロッキングのために使用されたかどうかのうちの1つまたは複数をさらに含み得る。復号されたピクチャと参照ピクチャとの間の距離を表すデータは、ピクチャのピクチャ順序カウント(POC)値の間のPOC差分として表され得る。
ニューラルネットワークフィルタ処理ユニットは、復号されたピクチャの少なくとも一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定し得る。ニューラルネットワークフィルタ処理ユニットはさらに、決定された1つまたは複数のニューラルネットワークモデルと、その他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの少なくとも一部分をフィルタ処理し得る。たとえば、ニューラルネットワークフィルタ処理ユニットは、追加のデータを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供し得る。
CTUまたはCUなどのビデオデータのブロックは、実際は、複数の色成分、たとえば、ルミナンスまたは「ルーマ」成分、青色相クロミナンスまたは「クロマ」成分、および赤色相クロミナンス(クロマ)成分を含み得る。ルーマ成分はクロマ成分よりも大きい空間解像度を有することができ、クロマ成分のうちの一方は他方のクロマ成分よりも大きい空間解像度を有することができる。代替として、ルーマ成分はクロマ成分よりも大きい空間解像度を有することができ、2つのクロマ成分は互いと等しい空間解像度を有することができる。たとえば、4:2:2フォーマットでは、ルーマ成分は水平方向にクロマ成分の2倍かつ垂直方向にクロマ成分と等しい大きさであり得る。別の例として、4:2:0フォーマットでは、ルーマ成分は水平方向および垂直方向にクロマ成分の2倍の大きさであり得る。上記で説明した様々な動作は、一般に、ルーマ成分およびクロマ成分の各々に個別に適用されることがある(ただし、動き情報またはイントラ予測方向などのいくつかのコーディング情報は、ルーマ成分について決定され、対応するクロマ成分によって継承されることがある)。
図3は、16のピクチャグループ(GOP)サイズを使用する階層予測構造166を示す概念図である。最近のビデオコーデックでは、コーディング効率を改善するために、ピクチャグループ(GOP)の内部の階層予測構造が適用される。
再び図2を参照すると、イントラピクチャ予測は、すでにコーディングされた/復号された、空間的に隣接する(参照)サンプルからブロックについての予測を導出することによって、ピクチャ内に存在する(したがって「イントラ」)空間冗長性を活用する。方向性角度予測、DC予測、および平面(plane)または平面(planar)予測は、AVC、HEVC、およびVVCを含む、直近のビデオコーデックにおいて使用される。
ハイブリッドビデオコーディング規格は、(予測残差がインターピクチャ予測に由来するかイントラピクチャ予測に由来するかにかかわらず)ブロック変換を予測残差に適用する。H.261、H.262、およびH.263を含む初期の規格では、離散コサイン変換(DCT)が用いられる。HEVCおよびVVCでは、特定のビデオ信号における異なる統計値を考慮するために、DCT以外のさらなる変換カーネルが適用される。
量子化は、値を表すために必要なデータの量を減少させるために、入力値または入力値のセットの精度を低減することを目的とする。ハイブリッドビデオコーディングでは、量子化は典型的には、個々の変換された残差サンプルに、すなわち、変換係数に適用されて、整数係数レベルをもたらす。最近のビデオコーディング規格では、ステップサイズは、忠実度とビットレートとを制御するいわゆる量子化パラメータ(QP)から導出される。より大きいステップサイズはビットレートを低下させるが、品質を悪化させることもあり、その結果として、たとえば、ビデオピクチャがブロッキングアーティファクトおよびぼやけた細部を呈する。
コンテキスト適応型バイナリ算術コーディング(CABAC)は、その高い効率により、最近のビデオコーデック、たとえば、AVC、HEVC、およびVVCにおいて使用されるエントロピーコーディングの一形態である。
ポスト/インループフィルタ処理は、コーディングアーティファクトを低減するために再構成されたピクチャに適用されるフィルタ処理プロセス(またはそのようなプロセスの組合せ)である。フィルタ処理プロセスの入力は一般に、(量子化誤差を含む)再構成された残差信号と予測の組合せである、再構成されたピクチャである。図2に示すように、インループフィルタ処理後の再構成されたピクチャが記憶され、後続のピクチャのインターピクチャ予測のための参照として使用される。コーディングアーティファクトは、大部分がQPによって決定され、したがって、QP情報は一般に、フィルタ処理プロセスの設計において使用される。HEVCでは、インループフィルタは、デブロッキングフィルタ処理およびサンプル適応オフセット(SAO)フィルタ処理を含む。VVC規格では、適応ループフィルタ(ALF)が第3のフィルタとして導入された。ALFのフィルタ処理プロセスは以下に示すとおりである。
ここで、R(i,j)はフィルタ処理プロセス前のサンプルのセットであり、R'(i,j)はフィルタ処理プロセス後のサンプル値である。f(k,l)はフィルタ係数を示し、K(x,y)はクリッピング関数であり、c(k,l)はクリッピングパラメータを示す。変数kおよびlは
から
の間で変化し、ここで、Lはフィルタ長を示す。クリッピング関数はK(x,y)=min(y,max(-y,x))であり、これは関数Clip3(-y,y,x)に対応する。クリッピング演算は、現在のサンプル値に対してあまりにも異なる隣接サンプル値の影響を低減することによって、ALFをより効率的にする非線形性をもたらす。VVCでは、フィルタ処理パラメータはビットストリームにおいてシグナリングされ得、それは事前定義されたフィルタセットから選択され得る。ALFフィルタ処理プロセスはまた、以下の式を使用して要約され得る。
R'(i,j)=R(i,j)+ALF_residual_ouput(R) (2)
図4は、4つのレイヤを有するニューラルネットワークベースのフィルタ170を示す概念図である。様々な研究は、たとえば、図2のハイブリッドビデオコーディングフレームワークにニューラルネットワーク(NN)を埋め込むことは圧縮効率を改善することができることを示している。ニューラルネットワークは、予測効率を改善するためにイントラ予測およびインター予測のモジュールにおいて使用されている。近年、NNベースのインループフィルタ処理も注目の研究トピックである。フィルタ処理プロセスは、ポストループフィルタ処理として適用されることがある。この場合、フィルタ処理プロセスは出力ピクチャのみに適用され、フィルタ処理されないピクチャは参照ピクチャとして使用される。
デブロッキングフィルタ、サンプル適応オフセット(SAO)、および/または適応ループフィルタ処理(ALF)などの既存のフィルタに加えて、NNベースのフィルタ170が適用され得る。NNベースのフィルタはまた、NNベースのフィルタが既存のフィルタのすべてを置き換えるように設計される場合、排他的に適用され得る。追加または代替として、NNベースのフィルタ170などのNNベースのフィルタは、その他のフィルタのいずれかまたはすべてを補完する、強化する、または置き換えるように設計され得る。
図4に示すように、NNベースのフィルタ処理プロセスは再構成されたサンプルを入力として取ってもよく、中間出力は残差サンプルであり、残差サンプルは入力サンプルを精錬するために入力に戻って加えられる。NNフィルタは、成分間相関を活用するためにすべての色成分(たとえば、Y、U、およびV、またはY、Cb、およびCr、すなわち、ルミナンス、青色相クロミナンス、および赤色相クロミナンス)を入力として使用し得る。異なる成分が(ネットワーク構造およびモデルパラメータを含む)同じフィルタを共有し得るか、または各成分がそれ自体の固有のフィルタを有し得る。
フィルタ処理プロセスはまた、次のように一般化され得る。
R'(i,j)=R(i,j)+NN_filter_residual_ouput(R)
NNベースのフィルタのモデル構造およびモデルパラメータは、エンコーダおよびデコーダにおいて事前定義され、記憶され得る。フィルタはまた、ビットストリームにおいてシグナリングされ得る。
本開示は、場合によっては、(図1のビデオエンコーダ200またはビデオデコーダ300などの)ビデオコーデックがニューラルネットワーク(NN)ベースのフィルタ処理を追加のモジュールとして適用するとき、ビデオコーデックがフィルタ処理性能をさらに改善するためにNNベースのフィルタによって使用され得る異なる種類の情報を生成し得ることを認識する。
一般に、本開示の技法によれば、ビデオエンコーダ200およびビデオデコーダ300は、NNベースのフィルタ処理を実行するように構成されたそれぞれのフィルタ処理ユニットを含み得る。フィルタ処理ユニットは、NNベースのフィルタ処理プロセスを実行するとき、他のユニットによって生成された情報(たとえば、ブロック区分情報、動き情報、デブロッキングフィルタ情報、または他のそのような情報)を使用し得る。
フィルタ処理ユニットは、NNフィルタを適用するときに利用可能な、他のユニットまたはモジュールによって生成された任意の情報を使用し得る。フィルタ処理ユニットによって使用され得る情報を生成し得るそのようなユニットまたはモジュールの例は、イントラ予測ユニット、インター予測ユニット、変換処理ユニット、量子化ユニット、ループフィルタ処理ユニット(たとえば、デブロッキングフィルタユニット、サンプル適応オフセット(SAO)ユニット、適応ループフィルタ(ALF)ユニットなど)、前処理ユニット(たとえば、動き補償時間フィルタ処理ユニット)、および/またはNNフィルタ処理ユニットもしくはモジュールと共存する別のNNベースのモジュールもしくはユニットを含む。
ビデオエンコーダ200および/またはビデオデコーダ300は、たとえば、図4に示すように、そのうちの1つが別の(現在の)NNベースのフィルタ処理ユニットの前にNNベースのフィルタ処理を実行する、複数のNNベースのフィルタ処理ユニットを含み得る。そのような場合、現在のNNベースのフィルタ処理ユニットは、NNフィルタ処理を実行するとき、1つまたは複数の以前のNNベースのフィルタ処理ユニットによって生成された情報を使用し得る。
NNベースのフィルタ処理ユニットは、様々な例では、NNベースのフィルタ処理を実行するとき、以下の情報、すなわち、CU、PU、および/またはTUの区分情報、デブロッキングフィルタ処理情報(たとえば、デブロッキングフィルタ処理プロセスの境界強度値、長いまたは短いフィルタ、強いまたは弱いフィルタなど)、現在のピクチャ/ブロックおよび/または参照ピクチャに使用される量子化パラメータ(QP)、イントラおよび/またはインター予測モード情報、現在のピクチャと現在のピクチャを予測するために使用される参照ピクチャとの間の距離(たとえば、ピクチャ順序カウント(POC)値の差分)、ならびに/あるいはコーディングされたブロックの動き情報のいずれかまたはすべてを使用し得る。境界強度値は、境界フィルタ処理強度と呼ばれることもある。一般に、境界強度値または境界フィルタ処理強度値は、特定のブロック境界がデブロックされるべきかどうかと、デブロックされるべきである場合、適用されるべきデブロッキングの程度とを表し得る。たとえば、比較的強いデブロッキングフィルタは、比較的弱いデブロッキングフィルタよりも大きい程度でブロック境界の両側のサンプルのより多くの値を変更し得る。
いくつかの例では、NNベースのフィルタ処理ユニットが他のユニットまたはモジュールからの情報を使用するとき、NNベースのフィルタ処理ユニットは他のユニットまたはモジュールによって提供されるいくつかの同様の機能を提供し得る。そのような例では、NNベースのフィルタ処理ユニットは、NNベースのフィルタ処理ユニットと他のユニットまたはモジュールとの間の協働を改善するために、他のユニットまたはモジュールの要素を変更し得る。たとえば、NNベースのフィルタ処理ユニットは、デブロッキングフィルタとインターフェースし得る。そのような例では、デブロッキングフィルタユニットは、境界強度情報を生成するが、実際のフィルタ処理を実行しないことがある。NNベースのフィルタ処理ユニットは、デブロッキングフィルタユニットからの境界強度情報を受信し、受信された境界強度情報をNNベースのフィルタへの入力として提供し得る。
NNベースのフィルタ処理ユニットは、他のユニットまたはモジュールから受信された情報を様々な方法で使用し得る。たとえば、NNベースのフィルタ処理ユニットは、情報を畳み込みニューラルネットワーク(CNN)への追加の入力平面として使用し得る。別の例として、NNベースのフィルタ処理ユニットは、NNベースのフィルタの出力を変更または調整するために情報を使用し得る。たとえば、NNベースのフィルタをピクチャに適用してフィルタ処理されたピクチャを形成した後、ビデオエンコーダ200またはビデオデコーダ300は、QPなどの他の情報に基づいて、フィルタ処理されたピクチャをさらに調整し得る。
他のユニットまたはモジュールからの情報は、NNベースのフィルタ処理ユニットにより適したものになるように変換され得る。たとえば、NNベースのフィルタ処理ユニットは、整数値と浮動小数点値との間で値を変換するか、NNフィルタにより適した範囲に値をスケーリングする(たとえば、デブロッキングフィルタの境界強度値が入力ピクセルと同じ範囲になるようにスケーリングされ得る)か、または任意の他の範囲に値をスケーリングする(範囲はビットストリームにおいて事前定義もしくはシグナリングされ得る)ことがある。
図5は、境界、境界サンプル、および内部サンプルを含むピクチャ180の例示的な部分を示す概念図である。詳細には、ピクチャ180の部分は、垂直境界182A～182D(垂直境界182)および水平境界184A～184C(水平境界184)を含む。図5の例に示すように、(図5において「N」で標示され、グレーの影付きである)2つの隣接する境界サンプルは、2つの境界サンプルの間の(図5において黒の実線によって表された)それぞれの境界182、184を画定する。内部(すなわち、非境界)サンプルは、図5において「M」で標示され、影なしである。境界は、CU境界、PU境界、および/またはTU境界であり得る。NNベースのフィルタ処理ユニットは、NNベースのフィルタ処理を実行するとき、図5に示された内部サンプル/境界サンプルおよび境界ロケーションの情報を使用し得る。
たとえば、NNベースのフィルタ処理ユニットは、CU、PU、およびTUの区分情報をCNNベースのフィルタへの1つまたは複数の追加の入力平面として使用し得る。最初に、ビデオエンコーダ200および/またはビデオデコーダ300は、図5に示すように境界サンプルを内部サンプル(たとえば、M)とは異なる値(たとえば、事前定義された値N)に設定することによって、(CU、PU、および/またはTUについての)区分情報を平面に変換し得る。一例では、ビデオエンコーダ200およびビデオデコーダ300は、N=1およびM=0の値を設定し得る。
ビデオエンコーダ200およびビデオデコーダ300は、たとえば、CU区分、PU区分、および/またはTU区分に1つずつ、複数の区分平面を生成し得る。いくつかの例では、平面、たとえば、CU区分に対する1つの平面とPU区分およびTU区分に対する別の平面が合成され得る。ルーマ成分およびクロマ成分が異なって区分され得る(かつ/または2つのクロマ成分が互いとは異なって区分され得る)「デュアルツリー」区分が有効化される場合、異なる色成分は異なる区分平面を有し得る。NNベースのフィルタは、これらの様々な平面のいずれかまたはすべてをCNNベースのフィルタへの入力平面として使用し得る。複数の区分平面を扱う様々な例は、区分平面をCNNベースのフィルタへの別個の入力平面として使用すること、複数の区分平面を1つの平面に合成すること(たとえば、位置(i,j)におけるピクセルサンプルごとに、Planecombined (i,j)=MAX(Planea (i,j),Planeb (i,j),…))、または別個の区分平面および/もしくは合成された区分平面の組合せ(たとえば、各色成分のCU区分平面およびTU区分平面を1つの平面に合成し、各色の複数の合成平面をCNNベースのフィルタへの入力として使用する)を含む。すなわち、一例では、平面を合成して合成入力平面を形成するために、入力平面の位置(i,j)ごとに、ビデオエンコーダ200およびビデオデコーダ300は、複数の入力平面の位置(i,j)における値の最大値に等しい合成入力平面の位置(i,j)の値を設定し得る。
平面を作成した後、平面の値をCNNベースのフィルタへの入力として使用する前に、様々な例において必要に応じて値が変換され得る。たとえば、値は整数と浮動小数点との間で変換されてもよく、値は入力ピクセル値と同じ範囲を有するようにスケーリングされてもよく、かつ/または値はビットストリームにおいて事前定義もしくはシグナリングされ得る任意の他の範囲にスケーリングされてもよい。
上記で説明したように、いくつかの例では、デブロッキングフィルタの境界強度計算論理は、境界強度パラメータを導出するために使用され得る。NNベースのフィルタ処理ユニットは、境界強度パラメータをCNNベースのフィルタへの追加の入力平面として使用し得る(たとえば、DBフィルタのVVC境界強度計算)。CNNフィルタが適用されるとき、デブロッキングフィルタの実際のフィルタ処理プロセスは無効化され得る。
最初に、デブロッキングフィルタ処理ユニットは、デブロッキングフィルタ処理に適格とされる縁部の境界強度値を導出し得る。本開示の技法の例ごとに必要に応じて変換が適用され得る(たとえば、整数値タイプと浮動小数点値タイプとの間の変換、入力ピクセルと同じ範囲または使用すべきCNNフィルタに適していると見なされる任意の他の範囲を有するように値をスケーリングする、など)。
NNベースのフィルタ処理ユニット、またはビデオコーデックの別のユニットは、境界強度値を、CNNベースのフィルタへの入力として他の入力平面とともに使用され得る平面に変換し得る。そのような変換の一例は、図5に関して上記で説明した変換と同様であり、境界サンプルが境界強度値に設定されてもよく、非境界サンプルが0に設定されてもよい。VVCの場合、境界サンプルの範囲は[0,2]である。
異なる色成分の境界強度は別々に計算され得るので、水平境界および垂直境界も別々に計算され得る。ピクチャまたはコーディングされた領域について、複数の境界強度平面が生成され得る。上記の説明と同様に、一例では、NNベースのフィルタ処理ユニットは、単一の入力平面または複数の入力平面を使用することを選ぶことができる。複数の平面が使用されるとき、平面を編成するために異なる方法が適用され得る。いくつかの例は、平面をCNNベースのフィルタへの別個の入力平面として使用すること、複数の境界強度平面を1つの平面に合成すること、またはこれらの例の組合せを含む。
2つの平面を合成する一例として、サンプル位置(i,j)ごとに、Planecombined (i,j)=MAX(PlaneA (i,j), PlaneB (i,j))である。別の例として、AおよびBの2つの平面を所与として、Planecombined (i,j)=PlaneA (i,j)+PlaneB (i,j)である。別の例として、AおよびBの2つの平面を所与として、RBを平面Bにおける値の範囲であるとすると、サンプル位置(i,j)ごとに、Planecombined (i,j)=RB*PlaneA (i,j)+PlaneB (i,j)である。この例では、効果は、PlaneAを主因としておよびPlaneBを精錬として使用することと同様と見なされ得る。3つ以上の平面を合成するために、上記で説明した技法が複数回適用され得る。また、上記で説明した技法が異なる段階において使用され得る。たとえば、平面A、B、およびCについて、合成平面ABを得るために上記の一方の技法を使用し、ABをCと合成してABCを得るために上記の他方の技法を使用する。
上記で説明した技法を組み合わせるために、一例では、垂直平面および水平平面の境界強度平面が上記で説明した様々な技法のいずれかを使用して合成されてもよく、次いで、異なる色成分の境界強度平面が別個の入力平面としてCNNベースのフィルタに提供されてもよい。上記で説明したように、必要に応じて平面の値が変換されてもよい(たとえば、整数と浮動小数点との間の変換および/またはビットストリームにおいて事前定義もしくはシグナリングされ得る特定の範囲にスケーリングされる)。
いくつかの例では、長い/短いフィルタの情報は、CNNベースのフィルタへの追加または代替の入力平面として使用され得る。境界強度を使用する場合と同様に、使用すべきCNNベースのフィルタについて、長いまたは短いデブロッキングフィルタを使用するという情報が生成される場合があり、複数の平面は、別個の平面として使用され得るか、またはCNNフィルタ入力として使用する前に合成され得る。
いくつかの例では、強い/弱いフィルタの情報は、CNNベースのフィルタへの追加または代替の入力平面として使用され得る。境界強度を使用する場合と同様に、使用すべきCNNベースのフィルタについて、強いまたは弱いデブロッキングフィルタを使用するという情報が生成される場合があり、複数の平面は、別個の平面として使用され得るか、またはCNNフィルタ入力として使用する前に合成され得る。
上記で説明した様々な技法は、様々な方法で組み合わされ得る。たとえば、CNNフィルタプロセスにおいて以下の平面が生成され、使用され得る。境界強度(値の範囲: 0、1、2)、長い/短いおよび強い/弱いフィルタ(値: 長い&強いフィルタの場合は2、短い&強いフィルタの場合は1、短い&弱いフィルタの場合は0(VVCでは、長いフィルタを有するためには、強いフィルタの条件が満たされなければならない))。上記で説明したような他の例と同様に、生成された平面がCNNフィルタへの別個の入力平面として使用される場合があるか、または平面のいくつか/すべてが一緒に合成される場合がある。
ピクチャまたはコーディングされた領域をCNNフィルタに供給するために、ダウンサンプリング/アップサンプリングが生じ得る。たとえば、ルーマ成分およびクロマ成分は、YUV420、YUV422色フォーマットビデオなどにおいて異なる解像度を有する。この場合、CNNフィルタのための入力平面を作成するために色成分のダウンサンプリング/アップサンプリングが必要とされ得る。いくつかの技法は、ルーマ成分と同じ解像度を有するようにクロマ成分をアップサンプリングすること、クロマ成分と同じ解像度を有するようにルーマ成分をダウンサンプリングすること、または1つのルーマピクセル平面をクロマ平面と同じサイズを有するいくつかのより小さいピクセル平面に変換することを含む。
色平面のダウンサンプリング/アップサンプリングが必要とされるとき、本開示で導入される対応する情報平面もダウンサンプリング/アップサンプリングされ得る。ダウンサンプリング/アップサンプリングは、対応するピクセル平面と同じルールに従うことができる。サイズをクロマと整合させるために1つのルーマピクセル平面をいくつかのより小さいピクセル平面に変換する場合、一例では、ビデオエンコーダ200またはビデオデコーダ300は、ルーマピクセルが行うように平面のすべてを維持する代わりに、1つのダウンサンプリングされた平面だけを維持し得る。
図6は、本開示の技法を実行し得る例示的なビデオエンコーダ200を示すブロック図である。図6は説明のために提供され、本開示において広く例示および説明するような技法の限定と見なされるべきではない。説明のために、本開示は、ITU-T H.265/HEVCビデオコーディング規格および開発中のVVCビデオコーディング規格などのビデオコーディング規格の文脈でビデオエンコーダ200について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、概して他のビデオ符号化および復号規格に適用可能である。
図6の例では、ビデオエンコーダ200は、ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、復号ピクチャバッファ(DPB)218、およびエントロピー符号化ユニット220を含む。ビデオデータメモリ230、モード選択ユニット202、残差生成ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、フィルタユニット216、DPB218、およびエントロピー符号化ユニット220のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオエンコーダ200のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオエンコーダ200は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。
ビデオデータメモリ230は、ビデオエンコーダ200の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ200は、たとえば、ビデオソース104(図1)から、ビデオデータメモリ230に記憶されたビデオデータを受信し得る。DPB218は、ビデオエンコーダ200による後続のビデオデータの予測において使用するための参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ230およびDPB218は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ230およびDPB218は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ230は、図示のように、ビデオエンコーダ200の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
本開示では、ビデオデータメモリ230への言及は、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の内部のメモリ、または、そのようなものとして特に説明されていない限り、ビデオエンコーダ200の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ230への言及は、符号化するためにビデオエンコーダ200が受信するビデオデータ(たとえば、符号化されるべき現在のブロックのためのビデオデータ)を記憶する参照メモリとして理解されるべきである。図1のメモリ106はまた、ビデオエンコーダ200の様々なユニットからの出力の一時的な記憶を提供し得る。
図6の様々なユニットは、ビデオエンコーダ200によって実行される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概して不変である。いくつかの例では、1つまたは複数のユニットは異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、1つまたは複数のユニットは集積回路であってもよい。
ビデオエンコーダ200は、算術論理ユニット(ALU)、初等関数ユニット(EFU)、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオエンコーダ200の動作がプログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ106(図1)が、ビデオエンコーダ200が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶してもよく、またはビデオエンコーダ200内の別のメモリ(図示せず)が、そのような命令を記憶してもよい。
ビデオデータメモリ230は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ200は、ビデオデータメモリ230からビデオデータのピクチャを取り出し、ビデオデータを残差生成ユニット204およびモード選択ユニット202に提供し得る。ビデオデータメモリ230中のビデオデータは、符号化されるべき未加工ビデオデータであり得る。
モード選択ユニット202は、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226を含む。モード選択ユニット202は、他の予測モードに従ってビデオ予測を実行するための追加の機能ユニットを含み得る。例として、モード選択ユニット202は、パレットユニット、(動き推定ユニット222および/または動き補償ユニット224の一部であり得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。
モード選択ユニット202は、一般に、符号化パラメータの組合せおよびそのような組合せに対する結果として生じるレートひずみ(RD)値をテストするために複数の符号化パスを協調させる。符号化パラメータは、CUへのCTUの区分、CUのための予測モード、CUの残差データのための変換タイプ、CUの残差データのための量子化パラメータなどを含み得る。モード選択ユニット202は、その他のテストされた組合せよりも良いレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。
ビデオエンコーダ200は、ビデオデータメモリ230から取り出されたピクチャを一連のCTUに区分し、スライス内に1つまたは複数のCTUをカプセル化し得る。モード選択ユニット202は、上記で説明したHEVCのQTBT構造または4分木構造などのツリー構造に従ってピクチャのCTUを区分し得る。上記で説明したように、ビデオエンコーダ200は、ツリー構造に従ってCTUを区分することから1つまたは複数のCUを形成し得る。そのようなCUは、一般に、「ビデオブロック」または「ブロック」と呼ばれることもある。
一般に、モード選択ユニット202はまた、現在のブロック(たとえば、現在のCU、またはHEVCでは、PUおよびTUの重複する部分)のための予測ブロックを生成するために、その構成要素(たとえば、動き推定ユニット222、動き補償ユニット224、およびイントラ予測ユニット226)を制御する。現在のブロックのインター予測の場合、動き推定ユニット222は、1つまたは複数の参照ピクチャ(たとえば、DPB218に記憶された1つまたは複数の以前にコーディングされたピクチャ)中の1つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実行し得る。具体的には、動き推定ユニット222は、たとえば、絶対差分和(SAD)、2乗差分和(SSD)、平均絶対差(MAD)、平均2乗差(MSD)などに従って、潜在的な参照ブロックが現在のブロックにどのくらい類似しているかを表す値を計算し得る。動き推定ユニット222は、一般に、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット222は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの計算の結果として生じる最も低い値を有する参照ブロックを識別し得る。
動き推定ユニット222は、現在のピクチャ中の現在のブロックの位置に対する参照ピクチャ中の参照ブロックの位置を定義する1つまたは複数の動きベクトル(MV)を形成し得る。次いで、動き推定ユニット222は動きベクトルを動き補償ユニット224に提供し得る。たとえば、単方向インター予測の場合、動き推定ユニット222は単一の動きベクトルを提供し得るが、双方向インター予測の場合、動き推定ユニット222は2つの動きベクトルを提供し得る。次いで、動き補償ユニット224は、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット224は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルがフラクショナルサンプル精度を有する場合、動き補償ユニット224は、1つまたは複数の補間フィルタに従って予測ブロックのための値を補間し得る。さらに、双方向インター予測の場合、動き補償ユニット224は、それぞれの動きベクトルによって識別された2つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または重み付けされた平均化によって、取り出されたデータを合成し得る。
別の例として、イントラ予測またはイントラ予測コーディングの場合、イントラ予測ユニット226は、現在のブロックに隣接するサンプルから予測ブロックを生成し得る。たとえば、方向モードの場合、イントラ予測ユニット226は、一般に、隣接サンプルの値を数学的に合成し、これらの計算された値を現在のブロックにわたる定義された方向にポピュレートして、予測ブロックを生成し得る。別の例として、DCモードの場合、イントラ予測ユニット226は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの結果として生じる平均を含めるべき予測ブロックを生成し得る。
モード選択ユニット202は、予測ブロックを残差生成ユニット204に提供する。残差生成ユニット204は、ビデオデータメモリ230から現在のブロックの未加工のコーディングされていないバージョンを受信し、モード選択ユニット202から予測ブロックを受信する。残差生成ユニット204は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する。結果として生じるサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット204はまた、残差差分パルスコード変調(RDPCM)を使用して残差ブロックを生成するために、残差ブロック中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット204は、バイナリ減算を実行する1つまたは複数の減算器回路を使用して形成され得る。
モード選択ユニット202がCUをPUに区分する例では、各PUはルーマ予測ユニットおよび対応するクロマ予測ユニットに関連付けられ得る。ビデオエンコーダ200およびビデオデコーダ300は、様々なサイズを有するPUをサポートし得る。上記で示したように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがあり、PUのサイズは、PUのルーマ予測ユニットのサイズを指すことがある。特定のCUのサイズが2N×2Nであると仮定すると、ビデオエンコーダ200は、イントラ予測に対して2N×2NまたはN×NのPUサイズ、およびインター予測に対して2N×2N、2N×N、N×2N、N×N、または類似の、対称のPUサイズをサポートし得る。ビデオエンコーダ200およびビデオデコーダ300はまた、インター予測に対して2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズのための非対称区分をサポートし得る。
モード選択ユニット202がCUをPUにさらに区分しない例では、各PUはルーマコーディングブロックおよび対応するクロマコーディングブロックに関連付けられ得る。上記のように、CUのサイズは、CUのルーマコーディングブロックのサイズを指すことがある。ビデオエンコーダ200およびビデオデコーダ300は、2N×2N、2N×N、またはN×2NのCUサイズをサポートし得る。
いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル(LM)モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット202は、コーディング技法に関連付けられたそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなどのいくつかの例では、モード選択ユニット202は、予測ブロックを生成しなくてもよく、代わりに、選択されたパレットに基づいてブロックを再構成する方法を示すシンタックス要素を生成してもよい。そのようなモードでは、モード選択ユニット202は、符号化されるべきこれらのシンタックス要素をエントロピー符号化ユニット220に提供し得る。
上記で説明したように、残差生成ユニット204は、現在のブロックおよび対応する予測ブロックのためのビデオデータを受信する。次いで、残差生成ユニット204は現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット204は予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。
変換処理ユニット206は、変換係数のブロック(本明細書では「変換係数ブロック」と呼ばれる)を生成するために、1つまたは複数の変換を残差ブロックに適用する。変換処理ユニット206は、変換係数ブロックを形成するために、様々な変換を残差ブロックに適用し得る。たとえば、変換処理ユニット206は、離散コサイン変換(DCT)、方向変換、カルーネンレーベ変換(KLT)、または概念的に類似の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット206は、複数の変換、たとえば、回転変換などの、一次変換および二次変換を残差ブロックに対して実行し得る。いくつかの例では、変換処理ユニット206は、変換を残差ブロックに適用しない。
量子化ユニット208は、変換係数ブロック中で変換係数を量子化して、量子化された変換係数ブロックを生成し得る。量子化ユニット208は、現在のブロックに関連付けられた量子化パラメータ(QP)値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ200は(たとえば、モード選択ユニット202を介して)、CUに関連付けられたQP値を調整することによって、現在のブロックに関連付けられた変換係数ブロックに適用される量子化の程度を調整し得る。量子化は情報の損失をもたらすことがあり、したがって、量子化された変換係数は変換処理ユニット206によって生成された元の変換係数よりも低い精度を有することがある。
逆量子化ユニット210および逆変換処理ユニット212は、それぞれ、逆量子化および逆変換を量子化された変換係数ブロックに適用して、変換係数ブロックから残差ブロックを再構成し得る。再構成ユニット214は、再構成された残差ブロックおよびモード選択ユニット202によって生成された予測ブロックに基づいて、(ある程度のひずみを伴う可能性があるが)現在のブロックに対応する再構成されたブロックを生成し得る。たとえば、再構成ユニット214は、再構成された残差ブロックのサンプルをモード選択ユニット202によって生成された予測ブロックからの対応するサンプルに加えて、再構成されたブロックを生成し得る。
フィルタユニット216は、再構成されたブロックに対して1つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット216は、CUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。デブロッキング動作を実行するとき、フィルタユニット216(またはそのデブロッキングフィルタユニット)は最初に、境界強度値を計算し得る。次いで、フィルタユニット216のデブロッキングフィルタユニットは、境界強度値を使用して、一般にフィルタ処理強度ならびにデブロッキング関数および/またはデブロッキング決定関数に使用されるべき係数を表し得るtCおよびベータ(β)などの他のデブロッキングパラメータを決定し得る。フィルタユニット216の動作は、いくつかの例では、スキップされ得る。
フィルタユニット216は、たとえば、復号されたピクチャをフィルタ処理するために使用されるべきニューラルネットワークモデル(NNモデル)232のうちの1つもしくは複数を決定するおよび/またはNNモデルフィルタ処理を適用するかどうかを決定するために、本開示の様々な技法を実行するように構成され得る。モード選択ユニット202は、フィルタ処理されたピクチャとフィルタ処理されていないピクチャの両方を使用してRD計算を実行して、NNモデルフィルタ処理を実行するかどうかを決定するためのRDコストを決定し、次いで、たとえば、NNモデルフィルタ処理を実行するか否か、現在のピクチャのために使用すべきNNモデル232のうちの1つまたは複数などを表すデータをエントロピー符号化ユニット220に提供し得る。
詳細には、フィルタユニット216は、再構成ユニット214から復号された(再構成された)ピクチャを受信し得る。フィルタユニット216はまた、1つまたは複数の他のユニット、たとえば、モード選択ユニット202、動き推定ユニット222、動き補償ユニット224、イントラ予測ユニット226、変換処理ユニット206、量子化ユニット208、(たとえば、フィルタユニット216とは別個のまたはフィルタユニット216内に含まれる)別のフィルタ処理ユニットなどからの追加のデータを取得(たとえば、受信)し得る。たとえば、フィルタユニット216は、NNベースのフィルタ処理と、デブロッキングフィルタ処理、SAOフィルタ処理、ALFフィルタ処理などの他のタイプのフィルタ処理の両方を実行し得る。したがって、フィルタユニット216は、境界強度値などの、現在のピクチャのブロックのためのデブロッキングパラメータを取得し得る。フィルタユニット216は、境界強度値(および/または他の受信されたデータ)をフィルタユニット216のNNフィルタ処理ユニットに提供し得る。
NNフィルタ処理ユニットは、追加のデータ(たとえば、ビデオエンコーダ200の他のユニットから受信された境界強度値および/または他のデータ)を使用して、NNベースのフィルタ処理を実行するために使用されるべきNNモデルをNNモデル232から選択するとともに、実際のNNベースのフィルタ処理を実行し得る。たとえば、フィルタユニット216のNNフィルタ処理ユニットは、追加のデータ(たとえば、境界強度値)を、NNモデル232のうちの選択された1つまたは複数のNNモデルに、追加の入力レイヤの形態で提供し得る。いくつかの例では、フィルタユニット216は、たとえば、表現フォーマットを(浮動小数点と10進数との間などで)変換することまたは入力サンプル範囲に対応するように追加の値の範囲を変更することによって、追加のデータを変更し得る。
ビデオエンコーダ200は、再構成されたブロックをDPB218に記憶する。たとえば、フィルタユニット216の動作が必要とされない例では、再構成ユニット214が再構成されたブロックをDPB218に記憶し得る。フィルタユニット216の動作が必要とされる例では、フィルタユニット216がフィルタ処理され再構成されたブロックをDPB218に記憶し得る。動き推定ユニット222および動き補償ユニット224は、後で符号化されるピクチャのブロックをインター予測するために、再構成された(かつ場合によってはフィルタリングされた)ブロックから形成された参照ピクチャをDPB218から取り出し得る。加えて、イントラ予測ユニット226は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのDPB218中の再構成されたブロックを使用し得る。
一般に、エントロピー符号化ユニット220は、ビデオエンコーダ200の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット220は、量子化ユニット208からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット220は、モード選択ユニット202からの予測シンタックス要素(たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報)をエントロピー符号化し得る。エントロピー符号化ユニット220は、ビデオデータの別の例であるシンタックス要素に対して1つまたは複数のエントロピー符号化動作を実行して、エントロピー符号化されたデータを生成し得る。たとえば、エントロピー符号化ユニット220は、コンテキスト適応型可変長コーディング(CAVLC)動作、CABAC動作、可変対可変(V2V)長コーディング動作、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC)動作、確率間隔区分エントロピー(PIPE)コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット220は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
ビデオエンコーダ200は、スライスまたはピクチャのブロックを再構成するために必要とされるエントロピー符号化されたシンタックス要素を含むビットストリームを出力し得る。具体的には、エントロピー符号化ユニット220がビットストリームを出力し得る。
上記で説明した動作は、ブロックに関して説明されている。そのような説明は、ルーマコーディングブロックおよび/またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明したように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、CUのルーマ成分およびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、PUのルーマ成分およびクロマ成分である。
いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル(MV)および参照ピクチャを識別するための動作は、クロマコーディングブロックのためのMVおよび参照ピクチャを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのMVはクロマコーディングブロックのためのMVを決定するためにスケーリングされてもよく、参照ピクチャは同じであってもよい。別の例として、イントラ予測プロセスは、ルーマコーディングブロックおよびクロマコーディングブロックについて同じであってもよい。
図7は、本開示の技法を実行し得る例示的なビデオデコーダ300を示すブロック図である。図7は説明のために提供され、本開示において広く例示および説明するような技法を限定するものではない。説明のために、本開示は、VVC、およびHEVC(ITU-T H.265)の技法によるビデオデコーダ300について説明する。しかしながら、本開示の技法は、他のビデオコーディング規格に従って構成されたビデオコーディングデバイスによって実行され得る。
図7の例では、ビデオデコーダ300は、コード化ピクチャバッファ(CPB)メモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、および復号ピクチャバッファ(DPB)314を含む。CPBメモリ320、エントロピー復号ユニット302、予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、フィルタユニット312、およびDPB314のいずれかまたはすべては、1つもしくは複数のプロセッサにおいてまたは処理回路において実装され得る。たとえば、ビデオデコーダ300のユニットは、ハードウェア回路の一部としての1つもしくは複数の回路もしくは論理要素として、またはプロセッサ、ASIC、もしくはFPGAの一部として実装され得る。さらに、ビデオデコーダ300は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。
予測処理ユニット304は、動き補償ユニット316およびイントラ予測ユニット318を含む。予測処理ユニット304は、他の予測モードに従って予測を実行するための追加のユニットを含み得る。例として、予測処理ユニット304は、パレットユニット、(動き補償ユニット316の一部を形成し得る)イントラブロックコピーユニット、アフィンユニット、線形モデル(LM)ユニットなどを含み得る。他の例では、ビデオデコーダ300は、より多数の、より少数の、または異なる機能構成要素を含み得る。
CPBメモリ320は、ビデオデコーダ300の構成要素によって復号されるべき、符号化されたビデオビットストリームなどのビデオデータを記憶し得る。CPBメモリ320に記憶されたビデオデータは、たとえば、コンピュータ可読媒体110(図1)から取得され得る。CPBメモリ320は、符号化されたビデオビットストリームからの符号化されたビデオデータ(たとえば、シンタックス要素)を記憶するCPBを含み得る。また、CPBメモリ320は、ビデオデコーダ300の様々なユニットからの出力を表す一時的なデータなどの、コーディングされたピクチャのシンタックス要素以外のビデオデータを記憶し得る。DPB314は、一般に、符号化されたビデオビットストリームの後続のデータまたはピクチャを復号するときにビデオデコーダ300が参照ビデオデータとして出力および/または使用し得る、復号されたピクチャを記憶する。CPBメモリ320およびDPB314は、同期DRAM(SDRAM)を含むダイナミックランダムアクセスメモリ(DRAM)、磁気抵抗RAM(MRAM)、抵抗RAM(RRAM)、または他のタイプのメモリデバイスなどの、様々なメモリデバイスのいずれかによって形成され得る。CPUメモリ320およびDPB314は、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、CPBメモリ320は、ビデオデコーダ300の他の構成要素とともにオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。
追加または代替として、いくつかの例では、ビデオデコーダ300は、メモリ120(図1)からコーディングされたビデオデータを取り出し得る。すなわち、メモリ120は、CPBメモリ320に関して上記で説明したようなデータを記憶し得る。同様に、メモリ120は、ビデオデコーダ300の機能の一部または全部がビデオデコーダ300の処理回路によって実行されるべきソフトウェアにおいて実装されるとき、ビデオデコーダ300によって実行されるべき命令を記憶し得る。
図7に示す様々なユニットは、ビデオデコーダ300によって実行される動作を理解することを助けるために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図6と同様に、固定機能回路は、特定の機能を提供する回路を指し、実行され得る動作に対してプリセットされる。プログラマブル回路は、様々なタスクを実行するようにプログラムされ得る回路を指し、実行され得る動作において柔軟な機能を提供する。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義された方法でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は(たとえば、パラメータを受信するまたはパラメータを出力するための)ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは概して不変である。いくつかの例では、1つまたは複数のユニットは異なる回路ブロック(固定機能またはプログラマブル)であってもよく、いくつかの例では、1つまたは複数のユニットは集積回路であってもよい。
ビデオデコーダ300は、ALU、EFU、デジタル回路、アナログ回路、および/またはプログラマブル回路から形成されたプログラマブルコアを含み得る。ビデオデコーダ300の動作がプログラマブル回路上で実行されるソフトウェアによって実行される例では、オンチップメモリまたはオフチップメモリが、ビデオデコーダ300が受信および実行するソフトウェアの命令(たとえば、オブジェクトコード)を記憶し得る。
エントロピー復号ユニット302は、CPBから符号化されたビデオデータを受信し、ビデオデータをエントロピー復号して、シンタックス要素を再生し得る。予測処理ユニット304、逆量子化ユニット306、逆変換処理ユニット308、再構成ユニット310、およびフィルタユニット312は、ビットストリームから抽出されたシンタックス要素に基づいて、復号されたビデオデータを生成し得る。
一般に、ビデオデコーダ300は、ブロックごとにピクチャを再構成する。ビデオデコーダ300は、各ブロックに対して個別に再構成動作を実行し得る(ここで、現在再構成されている、すなわち、復号されているブロックは「現在のブロック」と呼ばれることがある)。
エントロピー復号ユニット302は、量子化された変換係数ブロックの量子化された変換係数、ならびに量子化パラメータ(QP)および/または変換モード指示などの変換情報を定義するシンタックス要素をエントロピー復号し得る。逆量子化ユニット306は、量子化の程度と、同様に、逆量子化ユニット306が適用すべき逆量子化の程度とを決定するために、量子化された変換係数ブロックに関連付けられたQPを使用し得る。逆量子化ユニット306は、たとえば、量子化された変換係数を逆量子化するために、ビット単位の左シフト演算を実行し得る。逆量子化ユニット306は、それによって、変換係数を含む変換係数ブロックを形成し得る。
逆量子化ユニット306が変換係数ブロックを形成した後、逆変換処理ユニット308は、現在のブロックに関連付けられた残差ブロックを生成するために、1つまたは複数の逆変換を変換係数ブロックに適用し得る。たとえば、逆変換処理ユニット308は、逆DCT、逆整数変換、逆カルーネンレーベ変換(KLT)、逆回転変換、逆方向変換、または別の逆変換を変換係数ブロックに適用し得る。
さらに、予測処理ユニット304は、エントロピー復号ユニット302によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット316は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、そこから参照ブロックを取り出すべきDPB314中の参照ピクチャ、ならびに現在のピクチャ中の現在のブロックの場所に対する参照ピクチャ中の参照ブロックの場所を識別する動きベクトルを示し得る。動き補償ユニット316は、一般に、動き補償ユニット224(図6)に関して説明した方法と実質的に同様の方法でインター予測プロセスを実行し得る。
別の例として、現在のブロックがイントラ予測されることを予測情報シンタックス要素が示す場合、イントラ予測ユニット318は、予測情報シンタックス要素によって示されたイントラ予測モードに従って予測ブロックを生成し得る。やはり、イントラ予測ユニット318は、一般に、イントラ予測ユニット226(図6)に関して説明した方法と実質的に同様の方法でイントラ予測プロセスを実行し得る。イントラ予測ユニット318は、DPB314から現在のブロックに対する隣接サンプルのデータを取り出し得る。
再構成ユニット310は、予測ブロックおよび残差ブロックを使用して現在のブロックを再構成し得る。たとえば、再構成ユニット310は、残差ブロックのサンプルを予測ブロックの対応するサンプルに加えて、現在のブロックを再構成し得る。
フィルタユニット312は、再構成されたブロックに対して1つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット312は、再構成されたブロックの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。フィルタユニット312の動作は、必ずしもすべての例において実行されるとは限らない。たとえば、ビデオデコーダ300は、NNモデル322を使用して、たとえば、本明細書で説明する様々な技法のいずれかまたはすべてを使用してニューラルネットワークモデルフィルタ処理を実行するかどうかを明示的にまたは暗黙的に決定し得る。さらに、ビデオデコーダ300は、復号されフィルタ処理されるべき現在のピクチャのためのNNモデル322のうちの1つもしくは複数および/またはグリッドサイズを明示的にまたは暗黙的に決定し得る。したがって、フィルタユニット312は、フィルタ処理がオンに切り替えられるとき、現在の復号されたピクチャの一部分をフィルタ処理するためにNNモデル322のうちの1つまたは複数を使用し得る。
いくつかの例では、フィルタユニット312は、CU、PU、またはTUの端部に沿ってブロッキネスアーティファクトを低減するためにデブロッキング動作を実行し得る。デブロッキング動作を実行するとき、フィルタユニット312(またはそのデブロッキングフィルタユニット)は最初に、境界強度値を計算し得る。次いで、フィルタユニット312のデブロッキングフィルタユニットは、境界強度値を使用して、一般にフィルタ処理強度ならびにデブロッキング関数および/またはデブロッキング決定関数に使用されるべき係数を表し得るtCおよびベータ(β)などの他のデブロッキングパラメータを決定し得る。フィルタユニット312の動作は、いくつかの例では、スキップされ得る。
フィルタユニット312は、たとえば、復号されたピクチャをフィルタ処理するために使用されるべきニューラルネットワークモデル(NNモデル)322のうちの1つもしくは複数を決定するおよび/またはNNモデルフィルタ処理を適用するかどうかを決定するために、本開示の様々な技法を実行するように構成され得る。エントロピー復号ユニット302は、特定のピクチャ、スライス、タイル、または他の単位のブロックの境界フィルタ処理を実行するか否かを表すデータを復号し得る。
フィルタユニット312は、再構成ユニット310から復号された(再構成された)ピクチャを受信し得る。フィルタユニット312はまた、1つまたは複数の他のユニット、たとえば、予測処理ユニット304、動き補償ユニット316、イントラ予測ユニット318、逆変換処理ユニット308、逆量子化ユニット306、(たとえば、フィルタユニット312とは別個のまたはフィルタユニット312内に含まれる)別のフィルタ処理ユニットなどからの追加のデータを取得(たとえば、受信)し得る。たとえば、フィルタユニット312は、NNベースのフィルタ処理と、デブロッキングフィルタ処理、SAOフィルタ処理、ALFフィルタ処理などの他のタイプのフィルタ処理の両方を実行し得る。したがって、フィルタユニット312は、境界強度値などの、現在のピクチャのブロックのためのデブロッキングパラメータを取得し得る。フィルタユニット312は、境界強度値(および/または他の受信されたデータ)をフィルタユニット312のNNフィルタ処理ユニットに提供し得る。
NNフィルタ処理ユニットは、追加のデータ(たとえば、ビデオデコーダ300の他のユニットから受信された境界強度値および/または他のデータ)を使用して、NNベースのフィルタ処理を実行するために使用されるべきNNモデルをNNモデル322から選択するとともに、実際のNNベースのフィルタ処理を実行し得る。たとえば、フィルタユニット312のNNフィルタ処理ユニットは、追加のデータ(たとえば、境界強度値)を、NNモデル322のうちの選択された1つまたは複数のNNモデルに、追加の入力レイヤの形態で提供し得る。いくつかの例では、フィルタユニット312は、たとえば、表現フォーマットを(浮動小数点と10進数との間などで)変換することまたは入力サンプル範囲に対応するように追加の値の範囲を変更することによって、追加のデータを変更し得る。
ビデオデコーダ300は、再構成された(およびフィルタ処理された)ブロックをDPB314に記憶し得る。たとえば、フィルタユニット312の動作が実行されない例では、再構成ユニット310が再構成されたブロックをDPB314に記憶し得る。フィルタユニット312の動作が実行される例では、フィルタユニット312が精錬されフィルタ処理され再構成されたブロックをDPB314に記憶し得る。上記で説明したように、DPB314は、イントラ予測のための現在のピクチャおよび後続の動き補償のための以前に復号されたピクチャのサンプルなどの参照情報を予測処理ユニット304に提供し得る。さらに、ビデオデコーダ300は、図1のディスプレイデバイス118などのディスプレイデバイス上に後で提示するために、DPB314からの復号されたピクチャを出力し得る。
図8は、本開示の技法による、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオエンコーダ200(図1および図3)に関して説明するが、他のデバイスが図8の方法と同様の方法を実行するように構成され得ることを理解されたい。
この例では、ビデオエンコーダ200は最初に、現在のブロックを予測する(350)。たとえば、ビデオエンコーダ200は、現在のブロックのための予測ブロックを形成し得る。次いで、ビデオエンコーダ200は、現在のブロックのための残差ブロックを計算し得る(352)。残差ブロックを計算するために、ビデオエンコーダ200は、元のコーディングされていないブロックと現在のブロックのための予測ブロックとの間の差分を計算し得る。次いで、ビデオエンコーダ200は、残差ブロックの係数を変換および量子化し得る(354)。次に、ビデオエンコーダ200は、残差ブロックの量子化された変換係数を走査し得る(356)。走査の間、または走査に続いて、ビデオエンコーダ200は、係数をエントロピー符号化し得る(358)。たとえば、ビデオエンコーダ200は、CAVLCまたはCABACを使用して、係数を符号化し得る。次いで、ビデオエンコーダ200は、ブロックのエントロピー符号化されたデータを出力し得る(360)。
ビデオエンコーダ200はまた、現在のブロックを符号化した後に現在のブロックを復号して、現在のブロックの復号されたバージョンを、(たとえば、インター予測モードまたはイントラ予測モードにおける)後でコーディングされるデータに対する参照データとして使用し得る。したがって、ビデオエンコーダ200は、係数を逆量子化および逆変換して、残差ブロックを再生し得る(362)。ビデオエンコーダ200は、残差ブロックを予測ブロックと合成して、復号されたブロックを形成し得る(364)。ビデオエンコーダ200は、このようにして現在のピクチャのすべてのブロックを復号し、それによって、完全に復号されたピクチャを形成し得る。ビデオエンコーダ200はさらに、本開示の様々な技法のいずれかに従って、復号されたブロックを含む復号されたピクチャをフィルタ処理し得る(366)。次いで、ビデオエンコーダ200は、復号されたピクチャをDPB218に記憶し得る(368)。
図9は、本開示の技法による、現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のCUを含み得る。ビデオデコーダ300(図1および図4)に関して説明するが、他のデバイスが図9の方法と同様の方法を実行するように構成され得ることを理解されたい。
ビデオデコーダ300は、エントロピー符号化された予測情報および現在のブロックに対応する残差ブロックの係数のエントロピー符号化されたデータなどの、現在のブロックのためのエントロピー符号化されたデータを受信し得る(370)。ビデオデコーダ300は、現在のブロックのための予測情報を決定するために、および残差ブロックの係数を再生するために、エントロピー符号化されたデータをエントロピー復号し得る(372)。ビデオデコーダ300は、現在のブロックのための予測ブロックを計算するために、たとえば、現在のブロックのための予測情報によって示されるようなイントラ予測モードまたはインター予測モードを使用して、現在のブロックを予測し得る(374)。次いで、ビデオデコーダ300は、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る(376)。次いで、ビデオデコーダ300は、量子化された変換係数を逆量子化および逆変換して、残差ブロックを生成し得る(378)。ビデオデコーダ300は、予測ブロックおよび残差ブロックを合成することによって、現在のブロックを最終的に復号し得る(380)。ビデオデコーダ300はまた、たとえば、本開示の技法に従って、上記で説明したような1つまたは複数のNNモデルを使用して、復号されたビデオデータをフィルタ処理し得る(382)。ビデオデコーダ300はさらに、(フィルタ処理された)復号されたビデオデータを、たとえば、DPB314に記憶し得る(384)。
図10は、本開示の技法による、復号されたビデオデータをフィルタ処理する例示的な方法を示すフローチャートである。図10の方法は、ビデオエンコーダ200またはビデオデコーダ300によって実行され得る。たとえば、図10の方法は、たとえば、図8の方法のステップ366の間に、ビデオエンコーダ200のフィルタユニット216のニューラルネットワーク(NN)フィルタ処理ユニットによって実行され得る。別の例として、図10の方法は、たとえば、図9の方法のステップ382の間に、ビデオデコーダ300のフィルタユニット312のNNフィルタ処理ユニットによって実行され得る。例および説明のために、図10の方法は、ビデオデコーダ300、詳細には、ビデオデコーダ300のフィルタユニット312のNNフィルタ処理ユニットに関して説明される。
最初に、フィルタユニット312のNNフィルタ処理ユニットは、復号されたビデオデータを受信する(400)。復号されたビデオデータは、ピクチャの少なくとも一部分、たとえば、ブロックのセット、タイル、スライス、1つもしくは複数のスライス、1つもしくは複数のタイル、サブピクチャ、またはピクチャ全体であり得る。
図10の例には示されていないが、デブロッキングフィルタおよび/もしくはSAOフィルタ、ALFフィルタなどのフィルタユニット312の他のフィルタ処理ユニット、ならびに/または別のNNフィルタ処理ユニットは最初に、復号されたビデオデータをフィルタ処理し得る。したがって、受信され復号されたビデオデータは、本明細書で説明するように図10の方法を実行するNNフィルタ処理ユニットによる受信に先立って、以前にフィルタ処理され(たとえば、デブロックされ、SAOフィルタ処理され、ALFフィルタ処理され、かつ/またはNNフィルタ処理され)ている場合がある。したがって、「復号されたビデオデータ」という用語は、フィルタ処理された、復号されたビデオデータ(たとえば、デブロックされた、復号されたビデオデータを含み得る)を含むと理解されるべきである。
したがって、少なくとも一部分は、たとえば、フィルタユニット312のデブロッキングフィルタによってデブロックされた、デブロックされた縁部を含む複数のブロックを含み得る。デブロッキングフィルタは、ブロック間の境界の境界強度値を計算し得る。境界強度値は一般に、ブロック境界の近くのサンプルがデブロッキングフィルタによって変更されるかどうかと、どの程度まで変更されるかとを表し得る。
フィルタユニット312のNNフィルタ処理ユニットは、ビデオデコーダ300の1つまたは複数の他のユニットからの追加のデータを受信し得る(402)。たとえば、フィルタユニット312のNNフィルタ処理ユニットは、フィルタユニット312のデブロッキングフィルタからの境界強度値を受信し得る。フィルタユニット312のNNフィルタ処理ユニットは、追加または代替として、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離(たとえば、POC距離)を表すデータ、または復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報などの、他のユニットからの他のデータを受信し得る。
次いで、フィルタユニット312のNNフィルタ処理ユニットは、現在のピクチャの少なくとも一部分をフィルタ処理するために使用されるべき、ニューラルネットワーク(NN)モデル322のうちの1つまたは複数のNNモデルを決定し得る(404)。次いで、フィルタユニット312のNNフィルタ処理ユニットは、受信された追加のデータおよび決定された1つまたは複数のNNモデルを使用して、現在のピクチャの少なくとも一部分をフィルタ処理し得る(406)。いくつかの例では、フィルタユニット312のNNフィルタ処理ユニットは、たとえば、入力サンプル値の範囲に適合するように追加のデータの値の範囲を調整することによって、および/または追加のデータの値を整数もしくは浮動小数点などの異なるフォーマットに変換することによって、追加のデータを変更し得る。フィルタユニット312のNNフィルタ処理ユニットは、フィルタ処理されるべきルミナンス平面および/またはクロミナンス平面と同様に、追加のデータを1つまたは複数の入力平面に変換し得る。
このようにして、図10の方法は、復号されたビデオデータをフィルタ処理する方法であって、ビデオ復号デバイスのニューラルネットワークフィルタ処理ユニットによって、ビデオデータの復号されたピクチャのためのデータを受信するステップと、ニューラルネットワークフィルタ処理ユニットによって、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップであって、1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、1つまたは複数の他のユニットからのデータを受信するステップが、デブロッキングユニットからの境界強度データを受信するステップを含む、ステップと、ニューラルネットワークフィルタ処理ユニットによって、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するステップと、ニューラルネットワークフィルタ処理ユニットによって、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む方法の一例を表す。
本開示の技法のいくつかの例が以下の条項において要約される。
条項1: 復号されたビデオデータをフィルタ処理する方法であって、ビデオ復号デバイスのフィルタ処理ユニットによって、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップと、フィルタ処理ユニットによって、ビデオデータの復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するステップと、フィルタ処理ユニットによって、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む方法。
条項2: 1つまたは複数の他のユニットからのデータを受信するステップが、ビデオ復号デバイスのイントラ予測ユニット、ビデオ復号デバイスのインター予測ユニット、ビデオ復号デバイスの変換処理ユニット、ビデオ復号デバイスの量子化ユニット、ビデオ復号デバイスのループフィルタユニット、ビデオ復号デバイスの前処理ユニット、またはビデオ復号デバイスの第2のフィルタ処理ユニットのうちの1つまたは複数からのデータを受信するステップを含む、条項1の方法。
条項3: フィルタ処理ユニットが、第1のニューラルネットワークベースのフィルタ処理ユニットを含む、条項2の方法。
条項4: ループフィルタユニットが、デブロッキングフィルタ処理ユニット、サンプル適応オフセット(SAO)フィルタ処理ユニット、または適応ループフィルタ処理(ALF)ユニットのうちの少なくとも1つを含む、条項2および3のいずれかの方法。
条項5: データを受信するステップが、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のうちの1つまたは複数を受信するステップを含む、条項1～4のいずれかの方法。
条項6: デブロッキングフィルタ処理データが、境界強度値、長いもしくは短いフィルタがデブロッキングのために使用されたかどうか、または強いもしくは弱いフィルタがデブロッキングのために使用されたかどうかのうちの1つまたは複数を含む、条項5の方法。
条項7: イントラ予測データが、イントラ予測モードを含む、条項5および6のいずれかの方法。
条項8: 距離を表すデータが、復号されたピクチャのピクチャ順序カウント(POC)値と復号されたピクチャのブロックを予測するために使用される参照ピクチャのPOC値との間の差分を表すデータを含む、条項5～7のいずれかの方法。
条項9: フィルタ処理ユニットによって他のユニットのうちの1つまたは複数に起因する機能を実行するステップをさらに含む、条項1～8のいずれかの方法。
条項10: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供するステップを含む、条項1～9のいずれかの方法。
条項11: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを使用して1つまたは複数のニューラルネットワークモデルの出力を調整するステップを含む、条項1～10のいずれかの方法。
条項12: 復号されたピクチャの一部分をフィルタ処理するのに先立ってビデオ復号デバイスの1つまたは複数の他のユニットからのデータを調整するステップをさらに含む、条項1～11のいずれかの方法。
条項13: データを調整するステップが、整数表現と浮動小数点表現との間でデータの値を変換するステップを含む、条項12の方法。
条項14: データを調整するステップが、データの値を1つまたは複数のニューラルネットワークモデルに適した値の範囲内であるようにスケーリングするステップを含む、条項12および13のいずれかの方法。
条項15: データを受信するステップが、復号されたピクチャのための区分データを受信するステップを含み、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、復号されたピクチャの中の区分境界を区分データによって示されるように画定する境界サンプルの位置とコロケートされた入力平面の中の位置における値を第1の値に設定するステップと、非境界サンプルである内部サンプルの位置とコロケートされた入力平面の中の位置における値を第2の値に設定するステップと、入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む、条項1～14のいずれかの方法。
条項16: 第1の値が1を含み、第2の値が0を含む、条項15の方法。
条項17: 区分データがコーディングユニット(CU)区分データを含み、入力平面が第1の区分平面を含み、方法が、予測ユニット(PU)区分データを受信するステップと、PU区分データを使用して第2の入力平面を形成するステップと、変換ユニット(TU)区分データを受信するステップと、TU区分データを使用して第3の入力平面を形成するステップとをさらに含み、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、第1の入力平面、第2の入力平面、および第3の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップを含む、条項15および16のいずれかの方法。
条項18: データを受信するステップが、復号されたピクチャのためのデブロッキングフィルタデータを受信するステップを含み、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、復号されたピクチャのためのデブロッキングフィルタデータを1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つのための1つまたは複数の入力平面に変換するステップと、1つまたは複数の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む、条項1～14のいずれかの方法。
条項19: デブロッキングフィルタデータが、境界強度データ、長いもしくは短いフィルタデータ、または強いもしくは弱いフィルタデータのうちの1つまたは複数を含む、条項18の方法。
条項20: 入力平面のデータをアップサンプリングまたはダウンサンプリングするステップをさらに含む、条項10または15～19のいずれかの方法。
条項21: 現在のピクチャを符号化するステップと、現在のピクチャを復号して、復号されたピクチャを形成するステップとをさらに含む、条項1～20のいずれかの方法。
条項22: 決定するステップが、レートひずみ計算に従って決定するステップを含む、条項21の方法。
条項23: 復号されたビデオデータをフィルタ処理するためのデバイスであって、条項1～22のいずれかの方法を実行するための1つまたは複数の手段を備えるデバイス。
条項24: 1つまたは複数の手段が、回路において実装された1つまたは複数のプロセッサを備える、条項23のデバイス。
条項25: 復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、条項23のデバイス。
条項26: デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項23のデバイス。
条項27: ビデオデータを記憶するように構成されたメモリをさらに備える、条項23のデバイス。
条項28: 実行されると、プロセッサに条項1～22のいずれかの方法を実行させる命令を記憶したコンピュータ可読記憶媒体。
条項29: 復号されたビデオデータをフィルタ処理するためのデバイスであって、ビデオ復号デバイスのフィルタ処理ユニット以外の1つまたは複数のユニットからのデータを受信するための手段と、ビデオデータの復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するための手段と、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するための手段とを備えるフィルタ処理ユニットを備えるデバイス。
条項30: 復号されたビデオデータをフィルタ処理する方法であって、ビデオ復号デバイスのニューラルネットワークフィルタ処理ユニットによって、ビデオデータの復号されたピクチャのためのデータを受信するステップと、ニューラルネットワークフィルタ処理ユニットによって、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップであって、1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップが、ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信するステップを含む、ステップと、ニューラルネットワークフィルタ処理ユニットによって、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するステップと、ニューラルネットワークフィルタ処理ユニットによって、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む方法。
条項31: ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップが、ビデオ復号デバイスのイントラ予測ユニット、ビデオ復号デバイスのインター予測ユニット、ビデオ復号デバイスの変換処理ユニット、ビデオ復号デバイスの量子化ユニット、ビデオ復号デバイスのループフィルタユニット、ビデオ復号デバイスの前処理ユニット、またはビデオ復号デバイスの第2のニューラルネットワークフィルタ処理ユニットのうちの1つまたは複数からのデータを受信するステップをさらに含む、条項30の方法。
条項32: ループフィルタユニットが、サンプル適応オフセット(SAO)フィルタ処理ユニットまたは適応ループフィルタ処理(ALF)ユニットのうちの少なくとも1つを含む、条項31の方法。
条項33: データを受信するステップが、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のうちの1つまたは複数を受信するステップをさらに含む、条項32の方法。
条項34: デブロッキングフィルタ処理データが、長いもしくは短いフィルタがデブロッキングのために使用されたかどうか、または強いもしくは弱いフィルタがデブロッキングのために使用されたかどうかのうちの1つまたは複数を含む、条項33の方法。
条項35: イントラ予測データが、イントラ予測モードを含む、条項33の方法。
条項36: 距離を表すデータが、復号されたピクチャのピクチャ順序カウント(POC)値と復号されたピクチャのブロックを予測するために使用される参照ピクチャのPOC値との間の差分を表すデータを含む、条項33の方法。
条項37: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供するステップを含む、条項30の方法。
条項38: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを使用して1つまたは複数のニューラルネットワークモデルの出力を調整するステップを含む、条項30の方法。
条項39: 復号されたピクチャの一部分をフィルタ処理するのに先立ってビデオ復号デバイスの1つまたは複数の他のユニットからのデータを調整するステップをさらに含む、条項30の方法。
条項40: データを調整するステップが、整数表現と浮動小数点表現との間でデータの値を変換するステップを含む、条項39の方法。
条項41: データを調整するステップが、データの値を1つまたは複数のニューラルネットワークモデルに適した値の範囲内であるようにスケーリングするステップを含む、条項39の方法。
条項42: データを受信するステップが、復号されたピクチャのための区分データを受信するステップを含み、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、復号されたピクチャの中の区分境界を区分データによって示されるように画定する境界サンプルの位置とコロケートされた入力平面の中の位置における値を第1の値に設定するステップと、非境界サンプルである内部サンプルの位置とコロケートされた入力平面の中の位置における値を第2の値に設定するステップと、入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む、条項30の方法。
条項43: 第1の値が1を含み、第2の値が0を含む、条項42の方法。
条項44: 区分データがコーディングユニット(CU)区分データを含み、入力平面が第1の区分平面を含み、方法が、予測ユニット(PU)区分データを受信するステップと、PU区分データを使用して第2の入力平面を形成するステップと、変換ユニット(TU)区分データを受信するステップと、TU区分データを使用して第3の入力平面を形成するステップとをさらに含み、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、第1の入力平面、第2の入力平面、および第3の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップを含む、条項42の方法。
条項45: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、デブロッキングユニットからの復号されたピクチャのためのデブロッキングフィルタデータを1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つのための1つまたは複数の入力平面に変換するステップと、1つまたは複数の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む、条項30の方法。
条項46: 現在のピクチャを符号化するステップと、現在のピクチャを復号して、復号されたピクチャを形成するステップとをさらに含む、条項30の方法。
条項47: 1つまたは複数のニューラルネットワークモデルを決定するステップが、レートひずみ計算に従って1つまたは複数のニューラルネットワークモデルを決定するステップを含む、条項46の方法。
条項48: 復号されたビデオデータをフィルタ処理するためのデバイスであって、ビデオデータの復号されたピクチャを記憶するように構成されたメモリと、回路において実装された1つまたは複数のプロセッサとを備え、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを受信することであって、デバイスの1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスのデブロッキングユニットからの境界強度データを受信するように構成される、受信することと、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理することとを行うように構成される、デバイス。
条項49: デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスのイントラ予測ユニット、デバイスのインター予測ユニット、デバイスの変換処理ユニット、デバイスの量子化ユニット、デバイスのループフィルタユニット、デバイスの前処理ユニット、またはデバイスの第2のニューラルネットワークフィルタ処理ユニットのうちの1つまたは複数からのデータを受信するようにさらに構成される、条項48のデバイス。
条項50: デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のうちの1つまたは複数を受信するようにさらに構成される、条項48のデバイス。
条項51: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供するように構成される、条項48のデバイス。
条項52: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを使用して1つまたは複数のニューラルネットワークモデルの出力を調整するように構成される、条項48のデバイス。
条項53: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、復号されたピクチャの一部分をフィルタ処理するのに先立ってデバイスの1つまたは複数の他のユニットからのデータを調整するように構成される、条項48のデバイス。
条項54: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デブロッキングユニットからの復号されたピクチャのためのデブロッキングフィルタデータを1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つのための1つまたは複数の入力平面に変換することと、1つまたは複数の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理することとを行うように構成される、条項48のデバイス。
条項55: ビデオデータの復号されたピクチャを表示するように構成されたディスプレイをさらに備える、条項48のデバイス。
条項56: デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項48のデバイス。
条項57: 命令を記憶したコンピュータ可読記憶媒体であって、命令が、実行されると、ビデオ復号デバイスのプロセッサに、ニューラルネットワークフィルタ処理ユニットを実行して、ビデオデータの復号されたピクチャのためのデータを受信することと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信することであって、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、プロセッサに、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信することを行わせる命令が、プロセッサに、ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信することを行わせる命令を含む、受信することと、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理することとを行わせる、コンピュータ可読記憶媒体。
条項58: 復号されたビデオデータをフィルタ処理するためのデバイスであって、ビデオデータの復号されたピクチャのためのデータを受信するための手段と、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するための手段であって、1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するための手段が、ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信するための手段を備える、手段と、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するための手段と、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理するための手段とを備えるフィルタ処理ユニットを備えるデバイス。
条項59: 復号されたビデオデータをフィルタ処理する方法であって、ビデオ復号デバイスのニューラルネットワークフィルタ処理ユニットによって、ビデオデータの復号されたピクチャのためのデータを受信するステップと、ニューラルネットワークフィルタ処理ユニットによって、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップであって、1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップが、ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信するステップを含む、ステップと、ニューラルネットワークフィルタ処理ユニットによって、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するステップと、ニューラルネットワークフィルタ処理ユニットによって、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む方法。
条項60: ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップが、ビデオ復号デバイスのイントラ予測ユニット、ビデオ復号デバイスのインター予測ユニット、ビデオ復号デバイスの変換処理ユニット、ビデオ復号デバイスの量子化ユニット、ビデオ復号デバイスのループフィルタユニット、ビデオ復号デバイスの前処理ユニット、またはビデオ復号デバイスの第2のニューラルネットワークフィルタ処理ユニットのうちの1つまたは複数からのデータを受信するステップをさらに含む、条項59の方法。
条項61: ループフィルタユニットが、サンプル適応オフセット(SAO)フィルタ処理ユニットまたは適応ループフィルタ処理(ALF)ユニットのうちの少なくとも1つを含む、条項60の方法。
条項62: データを受信するステップが、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のうちの1つまたは複数を受信するステップをさらに含む、条項59～61のいずれかの方法。
条項63: デブロッキングフィルタ処理データが、長いもしくは短いフィルタがデブロッキングのために使用されたかどうか、または強いもしくは弱いフィルタがデブロッキングのために使用されたかどうかのうちの1つまたは複数を含む、条項62の方法。
条項64: イントラ予測データが、イントラ予測モードを含む、条項62および63のいずれかの方法。
条項65: 距離を表すデータが、復号されたピクチャのピクチャ順序カウント(POC)値と復号されたピクチャのブロックを予測するために使用される参照ピクチャのPOC値との間の差分を表すデータを含む、条項62～64のいずれかの方法。
条項66: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供するステップを含む、条項59～65のいずれかの方法。
条項67: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを使用して1つまたは複数のニューラルネットワークモデルの出力を調整するステップを含む、条項59～66のいずれかの方法。
条項68: 復号されたピクチャの一部分をフィルタ処理するのに先立ってビデオ復号デバイスの1つまたは複数の他のユニットからのデータを調整するステップをさらに含む、条項59～67のいずれかの方法。
条項69: データを調整するステップが、整数表現と浮動小数点表現との間でデータの値を変換するステップを含む、条項68の方法。
条項70: データを調整するステップが、データの値を1つまたは複数のニューラルネットワークモデルに適した値の範囲内であるようにスケーリングするステップを含む、条項68および69のいずれかの方法。
条項71: データを受信するステップが、復号されたピクチャのための区分データを受信するステップを含み、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、復号されたピクチャの中の区分境界を区分データによって示されるように画定する境界サンプルの位置とコロケートされた入力平面の中の位置における値を第1の値に設定するステップと、非境界サンプルである内部サンプルの位置とコロケートされた入力平面の中の位置における値を第2の値に設定するステップと、入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む、条項59～70のいずれかの方法。
条項72: 第1の値が1を含み、第2の値が0を含む、条項71の方法。
条項73: 区分データがコーディングユニット(CU)区分データを含み、入力平面が第1の区分平面を含み、方法が、予測ユニット(PU)区分データを受信するステップと、PU区分データを使用して第2の入力平面を形成するステップと、変換ユニット(TU)区分データを受信するステップと、TU区分データを使用して第3の入力平面を形成するステップとをさらに含み、1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、第1の入力平面、第2の入力平面、および第3の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップを含む、条項71および72のいずれかの方法。
条項74: 1つまたは複数のニューラルネットワークモデルと、ビデオ復号デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するステップが、デブロッキングユニットからの復号されたピクチャのためのデブロッキングフィルタデータを1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つのための1つまたは複数の入力平面に変換するステップと、1つまたは複数の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理するステップとを含む、条項59～73のいずれかの方法。
条項75: 現在のピクチャを符号化するステップと、現在のピクチャを復号して、復号されたピクチャを形成するステップとをさらに含む、条項59～74のいずれかの方法。
条項76: 1つまたは複数のニューラルネットワークモデルを決定するステップが、レートひずみ計算に従って1つまたは複数のニューラルネットワークモデルを決定するステップを含む、条項59～75のいずれかの方法。
条項77: 復号されたビデオデータをフィルタ処理するためのデバイスであって、ビデオデータの復号されたピクチャを記憶するように構成されたメモリと、回路において実装された1つまたは複数のプロセッサとを備え、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを受信することであって、デバイスの1つまたは複数の他のユニットからのデータが、復号されたピクチャのためのデータとは異なり、デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスのデブロッキングユニットからの境界強度データを受信するように構成される、受信することと、復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからの境界強度データを含むデータとを使用して、復号されたピクチャの一部分をフィルタ処理することとを行うように構成される、デバイス。
条項78: デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスのイントラ予測ユニット、デバイスのインター予測ユニット、デバイスの変換処理ユニット、デバイスの量子化ユニット、デバイスのループフィルタユニット、デバイスの前処理ユニット、またはデバイスの第2のニューラルネットワークフィルタ処理ユニットのうちの1つまたは複数からのデータを受信するようにさらに構成される、条項77のデバイス。
条項79: デバイスの1つまたは複数の他のユニットからのデータを受信するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のうちの1つまたは複数を受信するようにさらに構成される、条項77および78のいずれかのデバイス。
条項80: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供するように構成される、条項77～79のいずれかのデバイス。
条項81: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デバイスの1つまたは複数の他のユニットからのデータを使用して1つまたは複数のニューラルネットワークモデルの出力を調整するように構成される、条項77～80のいずれかのデバイス。
条項82: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、復号されたピクチャの一部分をフィルタ処理するのに先立ってデバイスの1つまたは複数の他のユニットからのデータを調整するように構成される、条項77～81のいずれかのデバイス。
条項83: 1つまたは複数のニューラルネットワークモデルと、デバイスの1つまたは複数の他のユニットからのデータとを使用して、復号されたピクチャの一部分をフィルタ処理するために、1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、デブロッキングユニットからの復号されたピクチャのためのデブロッキングフィルタデータを1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つのための1つまたは複数の入力平面に変換することと、1つまたは複数の入力平面を1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、復号されたピクチャの一部分をフィルタ処理することとを行うように構成される、条項77～82のいずれかのデバイス。
条項84: ビデオデータの復号されたピクチャを表示するように構成されたディスプレイをさらに備える、条項77～83のいずれかのデバイス。
条項85: デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、条項77～84のいずれかのデバイス。
例に応じて、本明細書で説明する技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行される場合があり、追加され、統合され、または完全に除外されてもよい(たとえば、説明したすべての行為またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。さらに、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて、同時に実行されてもよい。
1つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は一般に、(1)非一時的である有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含まず、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の等価な集積論理回路もしくはディスクリート論理回路などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」および「処理回路」という用語は、上記の構造、または本明細書で説明する技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書で説明する機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で提供されてもよく、または複合コーデックに組み込まれてもよい。また、技法は、1つまたは複数の回路または論理要素において完全に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。開示した技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットについて本開示で説明したが、それらは必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされてもよく、または好適なソフトウェアおよび/もしくはファームウェアとともに、上記で説明したような1つもしくは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてもよい。
様々な例について説明してきた。これらおよび他の例は、以下の特許請求の範囲内に入る。
100 ビデオ符号化および復号システム、システム
102 ソースデバイス
104 ビデオソース
106 メモリ
108 出力インターフェース
110 コンピュータ可読媒体
112 記憶デバイス
114 ファイルサーバ
116 宛先デバイス
118 ディスプレイデバイス
120 メモリ
122 入力インターフェース
130 ハイブリッドビデオコーダ、ビデオコーダ
132 入力ビデオデータ
134 加算ユニット
136 変換ユニット
138 量子化ユニット
140 エントロピーコーディングユニット
142 逆量子化ユニット
144 逆変換ユニット
146 加算ユニット
148 ループフィルタユニット
150 復号ピクチャバッファ(DPB)、DPB
152 イントラ予測ユニット
154 インター予測ユニット
156 動き推定ユニット
158 出力ビットストリーム
166 階層予測構造
170 ニューラルネットワークベースのフィルタ、NNベースのフィルタ
180 ピクチャ
182 垂直境界、境界
182A～182D 垂直境界
184 水平境界、境界
184A～184C 水平境界
200 ビデオエンコーダ
202 モード選択ユニット
204 残差生成ユニット
206 変換処理ユニット
208 量子化ユニット
210 逆量子化ユニット
212 逆変換処理ユニット
214 再構成ユニット
216 フィルタユニット
218 復号ピクチャバッファ(DPB)、DPB
220 エントロピー符号化ユニット
222 動き推定ユニット
224 動き補償ユニット
226 イントラ予測ユニット
230 ビデオデータメモリ
232 ニューラルネットワークモデル(NNモデル)、NNモデル
300 ビデオデコーダ
302 エントロピー復号ユニット
304 予測処理ユニット
306 逆量子化ユニット
308 逆変換処理ユニット
310 再構成ユニット
312 フィルタユニット
314 復号ピクチャバッファ(DPB)、DPB
316 動き補償ユニット
318 イントラ予測ユニット
320 コード化ピクチャバッファ(CPB)メモリ、CPBメモリ
322 ニューラルネットワーク(NN)モデル、NNモデル

Claims (32)

  1. 復号されたビデオデータをフィルタ処理する方法であって、
    ビデオ復号デバイスのニューラルネットワークフィルタ処理ユニットによって、ビデオデータの復号されたピクチャのためのデータを受信するステップと、
    前記ニューラルネットワークフィルタ処理ユニットによって、前記ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するステップであって、前記1つまたは複数の他のユニットからの前記データが、前記復号されたピクチャのための前記データとは異なり、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データを受信するステップが、前記ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信するステップを含む、ステップと、
    前記ニューラルネットワークフィルタ処理ユニットによって、前記復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するステップと、
    前記ニューラルネットワークフィルタ処理ユニットによって、前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記境界強度データを含む前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップと
    を含む方法。
  2. 前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データを受信するステップが、
    前記ビデオ復号デバイスのイントラ予測ユニット、
    前記ビデオ復号デバイスのインター予測ユニット、
    前記ビデオ復号デバイスの変換処理ユニット、
    前記ビデオ復号デバイスの量子化ユニット、
    前記ビデオ復号デバイスのループフィルタユニット、
    前記ビデオ復号デバイスの前処理ユニット、または
    前記ビデオ復号デバイスの第2のニューラルネットワークフィルタ処理ユニット
    のうちの1つまたは複数からの前記データを受信するステップをさらに含む、請求項1に記載の方法。
  3. 前記ループフィルタユニットが、サンプル適応オフセット(SAO)フィルタ処理ユニットまたは適応ループフィルタ処理(ALF)ユニットのうちの少なくとも1つを含む、請求項2に記載の方法。
  4. 前記データを受信するステップが、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、前記復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または前記復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のうちの1つまたは複数を受信するステップをさらに含む、請求項1に記載の方法。
  5. 前記デブロッキングフィルタ処理データが、長いもしくは短いフィルタがデブロッキングのために使用されたかどうか、または強いもしくは弱いフィルタがデブロッキングのために使用されたかどうかのうちの1つまたは複数を含む、請求項4に記載の方法。
  6. 前記イントラ予測データが、イントラ予測モードを含む、請求項4に記載の方法。
  7. 前記距離を表す前記データが、前記復号されたピクチャのピクチャ順序カウント(POC)値と前記復号されたピクチャのブロックを予測するために使用される参照ピクチャのPOC値との間の差分を表すデータを含む、請求項4に記載の方法。
  8. 前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップが、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供するステップを含む、請求項1に記載の方法。
  9. 前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップが、
    複数の入力平面を合成入力平面に合成するステップであって、前記複数の入力平面の位置(i,j)ごとに、前記複数の入力平面の位置(i,j)における値の最大値に等しい前記合成入力平面の位置(i,j)の値を設定するステップを含む、ステップと、
    前記合成入力平面を畳み込みニューラルネットワーク(CNN)に提供するステップと
    を含む、請求項1に記載の方法。
  10. 前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップが、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データを使用して前記1つまたは複数のニューラルネットワークモデルの出力を調整するステップを含む、請求項1に記載の方法。
  11. 前記復号されたピクチャの前記一部分をフィルタ処理するのに先立って前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データを調整するステップをさらに含む、請求項1に記載の方法。
  12. 前記データを調整するステップが、前記データの値を整数表現と浮動小数点表現との間で変換するステップを含む、請求項11に記載の方法。
  13. 前記データを調整するステップが、前記データの値を前記1つまたは複数のニューラルネットワークモデルに適した値の範囲内であるようにスケーリングするステップを含む、請求項11に記載の方法。
  14. 前記データを受信するステップが、前記復号されたピクチャのための区分データを受信するステップを含み、前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップが、
    前記復号されたピクチャの中の区分境界を前記区分データによって示されるように画定する境界サンプルの位置とコロケートされた入力平面の中の位置における値を第1の値に設定するステップと、
    非境界サンプルである内部サンプルの位置とコロケートされた前記入力平面の中の位置における値を第2の値に設定するステップと、
    前記入力平面を前記1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップと
    を含む、請求項1に記載の方法。
  15. 前記第1の値が1を含み、前記第2の値が0を含む、請求項14に記載の方法。
  16. 前記区分データがコーディングユニット(CU)区分データを含み、前記入力平面が第1の区分平面を含み、前記方法が、
    予測ユニット(PU)区分データを受信するステップと、
    前記PU区分データを使用して第2の入力平面を形成するステップと、
    変換ユニット(TU)区分データを受信するステップと、
    前記TU区分データを使用して第3の入力平面を形成するステップと
    をさらに含み、
    前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップが、前記第1の入力平面、前記第2の入力平面、および前記第3の入力平面を前記1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つへの入力として使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップを含む、
    請求項14に記載の方法。
  17. 前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップが、
    前記デブロッキングユニットからの前記復号されたピクチャのためのデブロッキングフィルタデータを前記1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つのための1つまたは複数の入力平面に変換するステップと、
    前記1つまたは複数の入力平面を前記1つまたは複数のニューラルネットワークモデルのうちの前記少なくとも1つへの入力として使用して、前記復号されたピクチャの前記一部分をフィルタ処理するステップと
    を含む、請求項1に記載の方法。
  18. 現在のピクチャを符号化するステップと、
    前記現在のピクチャを復号して、前記復号されたピクチャを形成するステップと
    をさらに含む、請求項1に記載の方法。
  19. 前記1つまたは複数のニューラルネットワークモデルを決定するステップが、レートひずみ計算に従って前記1つまたは複数のニューラルネットワークモデルを決定するステップを含む、請求項18に記載の方法。
  20. 前記境界強度データが、境界強度値が0であることを示す、請求項1に記載の方法。
  21. 前記境界強度データが、境界強度値が1または2であることを示す、請求項1に記載の方法。
  22. 復号されたビデオデータをフィルタ処理するためのデバイスであって、
    ビデオデータの復号されたピクチャを記憶するように構成されたメモリと、
    回路において実装された1つまたは複数のプロセッサとを備え、前記1つまたは複数のプロセッサが、ニューラルネットワークフィルタ処理ユニットを実行して、
    前記デバイスの1つまたは複数の他のユニットからのデータを受信することであって、前記デバイスの前記1つまたは複数の他のユニットからの前記データが、前記復号されたピクチャのためのデータとは異なり、前記デバイスの前記1つまたは複数の他のユニットからの前記データを受信するために、前記1つまたは複数のプロセッサが、前記ニューラルネットワークフィルタ処理ユニットを実行して、前記デバイスのデブロッキングユニットからの境界強度データを受信するように構成される、受信することと、
    前記復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、
    前記1つまたは複数のニューラルネットワークモデルと、前記デバイスの前記1つまたは複数の他のユニットからの前記境界強度データを含む前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理することと
    を行うように構成される、デバイス。
  23. 前記デバイスの前記1つまたは複数の他のユニットからの前記データを受信するために、前記1つまたは複数のプロセッサが、前記ニューラルネットワークフィルタ処理ユニットを実行して、
    前記デバイスのイントラ予測ユニット、
    前記デバイスのインター予測ユニット、
    前記デバイスの変換処理ユニット、
    前記デバイスの量子化ユニット、
    前記デバイスのループフィルタユニット、
    前記デバイスの前処理ユニット、または
    前記デバイスの第2のニューラルネットワークフィルタ処理ユニット
    のうちの1つまたは複数からのデータを受信するようにさらに構成される、請求項22に記載のデバイス。
  24. 前記デバイスの前記1つまたは複数の他のユニットからの前記データを受信するために、前記1つまたは複数のプロセッサが、前記ニューラルネットワークフィルタ処理ユニットを実行して、コーディングユニット(CU)区分データ、予測ユニット(PU)区分データ、変換ユニット(TU)区分データ、デブロッキングフィルタ処理データ、量子化パラメータ(QP)データ、イントラ予測データ、インター予測データ、前記復号されたピクチャと1つもしくは複数の参照ピクチャとの間の距離を表すデータ、または前記復号されたピクチャの1つもしくは複数の復号されたブロックについての動き情報のうちの1つまたは複数を受信するようにさらに構成される、請求項22に記載のデバイス。
  25. 前記1つまたは複数のニューラルネットワークモデルと、前記デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するために、前記1つまたは複数のプロセッサが、前記ニューラルネットワークフィルタ処理ユニットを実行して、前記デバイスの前記1つまたは複数の他のユニットからの前記データを畳み込みニューラルネットワーク(CNN)への1つまたは複数の追加の入力平面として提供するように構成される、請求項22に記載のデバイス。
  26. 前記1つまたは複数のニューラルネットワークモデルと、前記デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するために、前記1つまたは複数のプロセッサが、前記ニューラルネットワークフィルタ処理ユニットを実行して、前記デバイスの前記1つまたは複数の他のユニットからの前記データを使用して前記1つまたは複数のニューラルネットワークモデルの出力を調整するように構成される、請求項22に記載のデバイス。
  27. 前記1つまたは複数のニューラルネットワークモデルと、前記デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するために、前記1つまたは複数のプロセッサが、前記ニューラルネットワークフィルタ処理ユニットを実行して、前記復号されたピクチャの前記一部分をフィルタ処理するのに先立って前記デバイスの前記1つまたは複数の他のユニットからの前記データを調整するように構成される、請求項22に記載のデバイス。
  28. 前記1つまたは複数のニューラルネットワークモデルと、前記デバイスの前記1つまたは複数の他のユニットからの前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するために、前記1つまたは複数のプロセッサが、前記ニューラルネットワークフィルタ処理ユニットを実行して、
    前記デブロッキングユニットからの前記復号されたピクチャのためのデブロッキングフィルタデータを前記1つまたは複数のニューラルネットワークモデルのうちの少なくとも1つのための1つまたは複数の入力平面に変換することと、
    前記1つまたは複数の入力平面を前記1つまたは複数のニューラルネットワークモデルのうちの前記少なくとも1つへの入力として使用して、前記復号されたピクチャの前記一部分をフィルタ処理することと
    を行うように構成される、請求項22に記載のデバイス。
  29. 前記ビデオデータの前記復号されたピクチャを表示するように構成されたディスプレイをさらに備える、請求項22に記載のデバイス。
  30. 前記デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの1つまたは複数を備える、請求項22に記載のデバイス。
  31. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令が、実行されると、ビデオ復号デバイスのプロセッサに、ニューラルネットワークフィルタ処理ユニットを実行して、
    ビデオデータの復号されたピクチャのためのデータを受信することと、
    前記ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信することであって、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データが、前記復号されたピクチャのための前記データとは異なり、前記プロセッサに、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データを受信することを行わせる前記命令が、前記プロセッサに、前記ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信することを行わせる命令を含む、受信することと、
    前記復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定することと、
    前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記境界強度データを含む前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理することと
    を行わせる、コンピュータ可読記憶媒体。
  32. 復号されたビデオデータをフィルタ処理するためのデバイスであって、
    ビデオデータの復号されたピクチャのためのデータを受信するための手段と、
    ビデオ復号デバイスの1つまたは複数の他のユニットからのデータを受信するための手段であって、前記1つまたは複数の他のユニットからの前記データが、前記復号されたピクチャのための前記データとは異なり、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記データを受信するための前記手段が、前記ビデオ復号デバイスのデブロッキングユニットからの境界強度データを受信するための手段を備える、手段と、
    前記復号されたピクチャの一部分をフィルタ処理するために使用されるべき1つまたは複数のニューラルネットワークモデルを決定するための手段と、
    前記1つまたは複数のニューラルネットワークモデルと、前記ビデオ復号デバイスの前記1つまたは複数の他のユニットからの前記境界強度データを含む前記データとを使用して、前記復号されたピクチャの前記一部分をフィルタ処理するための手段と
    を備えるフィルタ処理ユニットを備えるデバイス。
JP2023539890A 2021-01-04 2022-01-03 ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル Pending JP2024501331A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163133733P 2021-01-04 2021-01-04
US63/133,733 2021-01-04
US17/566,282 US20220215593A1 (en) 2021-01-04 2021-12-30 Multiple neural network models for filtering during video coding
US17/566,282 2021-12-30
PCT/US2022/011021 WO2022147494A1 (en) 2021-01-04 2022-01-03 Multiple neural network models for filtering during video coding

Publications (1)

Publication Number Publication Date
JP2024501331A true JP2024501331A (ja) 2024-01-11

Family

ID=80050929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023539890A Pending JP2024501331A (ja) 2021-01-04 2022-01-03 ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル

Country Status (5)

Country Link
EP (1) EP4272448A1 (ja)
JP (1) JP2024501331A (ja)
KR (1) KR20230129015A (ja)
BR (1) BR112023012685A2 (ja)
WO (1) WO2022147494A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078598A1 (en) * 2022-10-13 2024-04-18 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024078599A1 (en) * 2022-10-13 2024-04-18 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
KR20230129015A (ko) 2023-09-05
BR112023012685A2 (pt) 2023-12-05
EP4272448A1 (en) 2023-11-08
WO2022147494A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US11425405B2 (en) Cross-component adaptive loop filter in video coding
US11206400B2 (en) Low-frequency non-separable transform (LFNST) simplifications
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
US11539982B2 (en) Merge estimation region for multi-type-tree block structure
CN111602395B (zh) 用于视频译码的量化组
JP2023542841A (ja) ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル
JP7423647B2 (ja) 異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング
US20210058620A1 (en) Chroma quantization parameter (qp) derivation for video coding
US11825101B2 (en) Joint-component neural network based filtering during video coding
JP2023542840A (ja) ビデオコーディングのためのフィルタ処理プロセス
CN114223202A (zh) 低频不可分离变换（lfnst）信令
US20200288130A1 (en) Simplification of sub-block transforms in video coding
US11310519B2 (en) Deblocking of subblock boundaries for affine motion compensated coding
US11778213B2 (en) Activation function design in neural network-based filtering process for video coding
US20200137400A1 (en) Intra block copy prediction restrictions in video coding
CN112655217A (zh) 减少视频译码的内存消耗的自适应环路滤波器参数的时间预测
US20220215593A1 (en) Multiple neural network models for filtering during video coding
JP2024501331A (ja) ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル
JP2022538225A (ja) ビデオコーディングにおけるクロマデルタ量子化パラメータ
US20200112717A1 (en) Intra block copy prediction restrictions in video coding
US11729381B2 (en) Deblocking filter parameter signaling
US20240015284A1 (en) Reduced complexity multi-mode neural network filtering of video data
CN114175643A (zh) 调色板和预测模式信令
JP2023544046A (ja) 高ビット深度ビデオコーディングのためのライスパラメータ値の適応的な導出
CN115462072A (zh) 视频译码中的高级去块滤波(dbf)、自适应环路滤波(alf)和采样自适应偏移(sao)控制以及自适应参数集(aps)数量约束