JP2021524170A - ビデオ圧縮における非正方形ブロックのイントラ予測のための方法および装置 - Google Patents

Abstract

ビデオ復号のための方法であって、非正方形ブロックである現在のブロックについて、現在のブロックの角度イントラ予測モードが、現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定するステップ、角度イントラ予測モードが広角モードであるとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定するステップ、条件が満たされているとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するステップ、およびフィルタリングされたブロックに基づいてイントラ予測を実行して、現在のブロックの特性値を取得するステップを含む。

Description

参照による組み込み
本出願は、2018年7月2日に提出された「ビデオ圧縮における正方形および非正方形ブロックのイントラ予測」と題する米国仮出願第62／693，046号の優先権の利益を主張する、2018年9月28日に提出された「ビデオ圧縮における非正方形ブロックのイントラ予測のための方法および装置」と題する米国特許出願第16／147，533号の優先権の利益を主張し、その内容全体は、参照により本明細書に組み込まれる。

本開示は、ビデオの符号化に一般的に関連する実施形態を説明する。

本明細書で提供される背景の説明は、本開示の文脈を一般的に提示する目的のものである。この背景セクションで説明されている限りにおいて、現在名前が付けられている発明者の作品および出願時に先行技術と見なされない可能性のある説明の態様は、本開示に対して明示的または黙示的に先行技術として認められていない。

ビデオの符号化と復号は、動き補償付きの画像間予測を使用して実行できる。非圧縮デジタルビデオは一連の画像を含むことができ、各画像は、たとえば1920×1080の輝度サンプルと関連する彩度サンプルの空間次元を持つ。一連の画像は、たとえば毎秒60画像または60Hzの固定または可変画像レート（非公式にはフレームレートとも呼ばれる）を持つことができる。非圧縮ビデオには、重要なビットレート要件がある。たとえば、サンプルあたり8ビットの1080p60の4：2：0ビデオ（60Hzフレームレートでの1920×1080輝度サンプル解像度）には、1．5ギガビット／秒に近い帯域幅が必要である。このようなビデオは1時間で600ギガバイトを超えるストレージスペースが必要である。

ビデオの符号化と復号の1つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことである。圧縮は、前述の帯域幅またはストレージスペース要件を、場合によっては2桁以上減らすのに役立つ。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用できる。可逆圧縮とは、圧縮された元の信号から元の信号の正確なコピーを再構築できる手法を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みは十分に小さいため、再構築された信号は目的のアプリケーションに役立つ。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量はアプリケーションによって異なり、たとえば、特定のコンシューマストリーミングアプリケーションのユーザは、テレビ投稿アプリケーションのユーザよりも高い歪みを許容できる。達成可能な圧縮率は、より高い容認／許容歪みにより、より高い圧縮率が得られる、ということを反映する。

ビデオエンコーダとデコーダは、たとえば、動き補償、変換、量子化、エントロピー符号化など、いくつかの広範なカテゴリの手法を利用できる。

ビデオコーデック技術には、イントラ符号化と呼ばれる手法を含めることができる。イントラ符号化では、サンプル値は、以前に再構築された参照画像からのサンプルまたは他のデータを参照せずに表される。一部のビデオコーデックでは、画像はサンプルのブロックに空間的に細分される。サンプルのすべてのブロックがイントラモードで符号化されると、その画像はイントラ画像になる可能性がある。イントラ画像と独立したデコーダリフレッシュ画像などのその派生物は、デコーダの状態をリセットするために使用できるため、符号化されたビデオビットストリームとビデオセッションの最初の画像として、または静止画像として使用できる。イントラブロックのサンプルは変換を受け、変換係数はエントロピー符号化の前に量子化される。イントラ予測は、変換前のドメインでサンプル値を最小化する手法である。場合によっては、変換後のDC値が小さく、AC係数が小さいほど、エントロピー符号化後のブロックを表すための、特定の量子化ステップサイズで必要なビットが少なくなる。

たとえば、MPEG−2生成符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかの新しいビデオ圧縮技術は、たとえば、周囲のサンプルデータおよび／または空間的に隣接し、データブロックの復号順序で先行する符号化／復号の間に得られたメタデータから試みる手法を含む。このような手法は、以降「イントラ予測」手法と呼ばれる。少なくとも一部のケースでは、イントラ予測は、再構成中の現在の画像からの参照データのみを使用し、参照画像からの参照データは使用しないことに注意されたい。

イントラ予測には様々な形式がある。そのような手法の2つ以上が所与のビデオ符号化手法で使用できる場合、使用中の手法はイントラ予測モードで符号化できる。場合によっては、モードにサブモードおよび／またはパラメータを含めることができ、それらを個別に符号化するか、モードコードワードに含めることができる。所与のモード／サブモード／パラメータの組み合わせに使用するコードワードは、イントラ予測による符号化効率の向上に影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピー符号化技術にも影響を与える可能性がある。

イントラ予測の特定のモードがH264で導入され、H265で改良され、さらに共同探索モデル（JEM）、多用途ビデオ符号化（VVC）、ベンチマークセット（BMS）などの新しい符号化技術でさらに改良された。予測器ブロックは、すでに利用可能なサンプルに属する隣接サンプル値を使用して形成できる。隣接サンプルのサンプル値は、方向に従って予測器ブロックにコピーされる。使用中の方向への参照は、ビットストリームで符号化するか、それ自体を予測することができる。

ビデオ符号化技術が発展するにつれて、可能な方向の数は増えている。H264（2003年）では、9つの異なる方向を表すことができた。これはH265（2013年）で33に増え、JEM／VVC／BMSは開示時点で最大65の方向をサポートできる。最も可能性の高い方向を特定するための実験が行われ、エントロピー符号化の特定の手法を使用して、可能性のある方向を少数のビットで表現し、可能性の低い方向の特定のペナルティを受け入れる。さらに、方向自体は、隣接する、すでに復号されたブロックで使用される隣接する方向から予測される場合がある。

方向を表す、符号化されたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオ符号化技術ごとに異なる可能性があり、たとえば、予測方向の単純な直接マッピングからイントラ予測モード、コードワード、最も可能性の高いモードや類似の手法を含む複雑な適応スキームまで、様々な範囲に及ぶ。当業者はそれらの手法に容易に精通している。ただし、すべての場合において、他の特定の方向よりも統計的にビデオコンテンツで発生する可能性が低い特定の方向が存在する可能性がある。ビデオ圧縮の目的は冗長性の低減であるため、適切に機能するビデオ符号化技術では、これらの可能性が低い方向は、可能性が高い方向よりも多くのビット数で表される。

従来のイントラ予測では、非正方形ブロックに役立つ可能性のある広角方向は考慮されていない。さらに、従来のイントラ予測では、すべてのイントラ予測モードは同じイントラ平滑化フィルタを共有するが、これは広角では効率的でない場合がある。さらに、輝度成分と彩度成分について、イントラ予測サンプルの生成に使用される隣接サンプルは、生成プロセスの前にフィルタリングされる。フィルタリングは所与のイントラ予測モードとブロックサイズによって制御され、幅と高さの平均を使用してブロックサイズが示される。ただし、イントラ予測は上から行っても左から行ってもよいため、常にブロックの幅と高さの平均をブロックサイズとすることは最適ではない。

本開示の一実施形態によれば、ビデオ復号のための方法が提供され、方法は、非正方形ブロックである現在のブロックについて、現在のブロックの角度イントラ予測モードが、現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定するステップ、角度イントラ予測モードが広角モードであるとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定するステップ、条件が満たされているとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するステップ、およびフィルタリングされたブロックに基づいてイントラ予測を実行し、現在のブロックの特性値を取得するステップを含む。

本開示の一実施形態によれば、処理回路を含むビデオ復号のためのビデオデコーダが提供され、処理回路は、非正方形ブロックである現在のブロックについて、現在のブロックの角度イントラ予測モードが、現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定し、角度イントラ予測モードが広角モードであるとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定し、条件が満たされているとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用し、フィルタリングされたブロックに基づいてイントラ予測を実行し、現在のブロックの特性値を取得するように構成される。

本開示の一実施形態によれば、その中に格納された命令を含む非一時的なコンピュータ可読媒体が提供され、命令は、ビデオ復号装置内のプロセッサによって実行されるとプロセッサに方法を実行させ、方法は、非正方形ブロックである現在のブロックについて、現在のブロックの角度イントラ予測モードが、現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定するステップ、角度イントラ予測モードが広角モードであるとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定するステップ、条件が満たされているとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するステップ、およびフィルタリングされたブロックに基づいてイントラ予測を実行し、現在のブロックの特性値を取得するステップを含む。

本開示の態様はまた、ビデオ復号化のためにコンピュータによって実行されたときに、コンピュータにビデオ符号化のための方法を実行させる命令を格納する非一時的なコンピュータ可読媒体を提供する。

開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。

一実施形態による通信システム（100）の簡略ブロック図の概略図である。 一実施形態による通信システム（200）の簡略ブロック図の概略図である。 一実施形態によるデコーダの簡略ブロック図の概略図である。 一実施形態によるエンコーダの簡略ブロック図の概略図である。 別の実施形態によるエンコーダのブロック図を示す。 別の実施形態によるデコーダのブロック図を示す。 例示的なイントラ予測モードの概略図である。 35の予測モードの様々な角度モードを示す。 67の予測モードの様々な角度モードを示す。 例示的な角度予測モードを示す。 エンコーダまたはデコーダによって実行されるプロセスの実施形態を示す。 エンコーダまたはデコーダによって実行されるプロセスの実施形態を示す。 一実施形態によるコンピュータシステムの概略図である。

図1は、本開示の実施形態による通信システム（〜〜a00）の簡略化されたブロック図を示す。通信システム（100）は、たとえば、ネットワーク（150）を介して互いに通信可能な複数の端末デバイスを含む。たとえば、通信システム（100）は、ネットワーク（150）を介して相互接続された第1のペアの端末デバイス（110）および（120）を含む。図1の例では、第1のペアの端末デバイス（110）および（120）は、データの単方向送信を実行する。たとえば、端末デバイス（110）は、ネットワーク（150）を介して他の端末デバイス（120）に送信するために、ビデオデータ（たとえば、端末デバイス（110）によってキャプチャされたビデオ画像のストリーム）を符号化することができる。符号化されたビデオデータは、1つまたは複数の符号化されたビデオビットストリームの形で送信できる。端末デバイス（120）は、ネットワーク（150）から符号化されたビデオデータを受け取り、符号化されたビデオデータを復号してビデオ画像を回復し、回復されたビデオデータに従ってビデオ画像を表示することができる。一方向のデータ送信は、メディアサービングアプリケーションなどでは一般的であってもよい。

別の例では、通信システム（100）は、たとえば、ビデオ会議中に発生する可能性がある符号化されたビデオデータの双方向送信を実行する第2のペアの端末デバイス（130）および（140）を含む。データの双方向送信の場合、一例では、端末デバイス（130）および（140）の各端末デバイスは、ネットワーク（150）を介して端末デバイス（130）および（140）の他の端末に送信するために、ビデオデータ（たとえば、端末デバイスによってキャプチャされたビデオ画像のストリーム）を符号化することができる。端末デバイス（130）および（140）の各端末デバイスはまた、端末デバイス（130）および（140）の他の端末デバイスによって送信された符号化されたビデオデータを受け取り、符号化されたビデオデータを復号してビデオ画像を回復し、回復されたビデオデータに従ってアクセス可能な表示装置でビデオ画像を表示することができる。

図1の例では、端末デバイス（110）、（120）、（130）および（140）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、本開示の原理はそのように限定されない場合がある。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用のビデオ会議機器でのアプリケーションを見出す。ネットワーク（150）は、たとえばワイヤライン（有線）および／または無線通信ネットワークを含む、端末デバイス（110）、（120）、（130）および（140）間で符号化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（150）は、回路交換および／またはパケット交換チャネルでデータを交換することができる。代表的なネットワークには、通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネットなどがある。本議論の目的のために、ネットワーク（150）のアーキテクチャおよびトポロジは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。

図2は、開示された主題のアプリケーションの例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、たとえば、ビデオ会議、デジタルTV、そしてCD、DVD、メモリスティックなどを含むデジタル媒体への圧縮ビデオの格納などを含む他のビデオ対応アプリケーションに等しく適用可能であり得る。

ストリーミングシステムは、たとえばデジタルカメラなどのビデオソース（201）を含むことができるキャプチャサブシステム（213）を含むことができ、たとえば非圧縮のビデオ画像のストリーム（202）を作成する。一例では、ビデオ画像のストリーム（202）は、デジタルカメラによって取得されたサンプルを含む。ビデオ画像のストリーム（202）は、符号化されたビデオデータ（204）（または符号化されたビデオビットストリーム）と比較してデータ量が多いことを強調するために太い線で示され、ビデオソース（201）に結合されたビデオエンコーダ（203）を含む電子デバイス（220）で処理することができる。ビデオエンコーダ（203）は、以下でより詳細に説明されるような、開示された主題の態様を可能にするまたは実装するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。符号化されたビデオデータ（204）（または符号化されたビデオビットストリーム（204））は、ビデオ画像のストリーム（202）と比較してデータ量が少ないことを強調するために細い線で示され、将来の使用のためにストリーミングサーバ（205）に格納することができる。図2のクライアントサブシステム（206）および（208）などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（205）にアクセスして、符号化されたビデオデータ（204）のコピー（207）および（209）を取り出すことができる。クライアントサブシステム（206）は、たとえば、電子デバイス（230）内にビデオデコーダ（210）を含むことができる。ビデオデコーダ（210）は、符号化されたビデオデータの着信コピー（207）を復号し、ディスプレイ（212）（たとえば、ディスプレイ画面）または他のレンダリングデバイス（図示せず）にレンダリングできるビデオ画像の出力ストリーム（211）を作成する。一部のストリーミングシステムでは、符号化されたビデオデータ（204）、（207）、および（209）（たとえば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮標準に従って符号化できる。これらの標準の例には、ITU−T勧告H265が含まれる。一例として、開発中のビデオ符号化標準は、非公式に多用途ビデオ符号化またはVVCとして知られている。開示された主題は、VVCの文脈で使用されてもよい。

電子デバイス（220）および（230）は、他の構成要素（図示せず）を含むことができることに留意されたい。たとえば、電子デバイス（220）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（230）は同様にビデオエンコーダ（図示せず）を含むことができる。

図3は、本開示の実施形態によるビデオデコーダ（310）のブロック図を示す。ビデオデコーダ（310）は、電子デバイス（330）に含まれ得る。電子デバイス（330）は、受信機（331）（たとえば、受信回路）を含むことができる。ビデオデコーダ（310）は、図2の例におけるビデオデコーダ（210）の代わりに使用することができる。

受信機（331）は、ビデオデコーダ（310）によって復号される1つまたは複数の符号化されたビデオシーケンスを受け取ることができ、同じまたは別の実施形態では、一度に1つの符号化されたビデオシーケンスであり、各符号化されたビデオシーケンスの復号は、他の符号化されたビデオシーケンスから独立している。符号化されたビデオシーケンスは、符号化されたビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであり得るチャネル（301）から受け取ることができる。受信機（331）は、符号化されたビデオデータを他のデータ、たとえば、符号化されたオーディオデータおよび／または補助データストリームとともに受け取ることができ、それらはそれぞれの使用エンティティ（図示せず）に転送され得る。受信機（331）は、符号化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、バッファメモリ（315）は、受信機（331とエントロピーデコーダ／パーサ（320）（以降「パーサ（320）」）との間に結合され得る。特定のアプリケーションでは、バッファメモリ（315）はビデオデコーダ（310）の一部である。他の場合には、それはビデオデコーダ（310）の外側にあってもよい（図示せず）。さらに他の場合には、たとえばネットワークジッタに対抗するために、ビデオデコーダ（310）の外側にバッファメモリ（図示せず）があってもよく、さらに、たとえば再生タイミングを処理するために、ビデオデコーダ（310）の内側に別のバッファメモリ（315）があってもよい。受信機（331）が十分な帯域幅および制御可能性を有する格納／転送デバイスから、または同期ネットワークからデータを受け取っているとき、バッファメモリ（315）は必要とされないか、または小さいものであってもよい。インターネットなどのベストエフォートパケットネットワークで使用する場合、バッファメモリ（315）が必要になる場合があり、比較的大きく、有利にサイズを調整でき、オペレーティングシステムまたはビデオデコーダ（310）の外側の同様の要素（図示せず）に少なくとも実装されてもよい。

ビデオデコーダ（310）は、符号化されたビデオシーケンスからシンボル（321）を再構築するためのパーサ（320）を含み得る。これらのシンボルのカテゴリには、ビデオデコーダ（310）の動作を管理するために使用される情報、およびレンダリングデバイス（312）などのレンダリングデバイス（たとえば、表示画面）を制御するための情報が含まれ、レンダリングデバイスは、図3に示されているように、電子デバイス（330）の一体部分ではないが、電子デバイス（330）に結合することができる。レンダリングデバイスの制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）パラメータセットフラグメント（図示せず）の形であり得る。パーサ（320）は、受け取られた符号化されたビデオシーケンスを解析／エントロピー復号することができる。符号化されたビデオシーケンスの符号化は、ビデオ符号化技術または標準に従うことができ、可変長符号化、ハフマン符号化、文脈依存性のある、またはない算術符号化などを含む様々な原理に従うことができる。パーサ（320）は、符号化されたビデオシーケンスから、グループに対応する少なくとも1つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出することができる。サブグループには、画像のグループ（GOP）、画像、タイル、スライス、マクロブロック、符号化ユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含めることができる。パーサ（320）はまた、符号化されたビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトルなどのような情報を抽出することができる。

パーサ（320）は、シンボル（321）を作成するために、バッファメモリ（315）から受け取られたビデオシーケンスに対してエントロピー復号／解析動作を実行することができる。

シンボル（321）の再構築には、符号化されたビデオ画像またはその一部（インターおよびイントラ画像、インターおよびイントラブロックなど）のタイプ、およびその他の要因に応じて、複数の異なるユニットが含まれる。含まれるユニットおよびその方法は、パーサ（320）によって符号化されたビデオシーケンスから解析されたサブグループ制御情報によって制御できる。パーサ（320）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために示されていない。

すでに述べた機能ブロックの他に、ビデオデコーダ（310）は、以下で説明するように、概念的にいくつかの機能ユニットに細分することができる。商業的な制約の下で動作する実際の実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合することができる。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分が適切である。

最初のユニットは、スケーラ／逆変換ユニット（351）である。スケーラ／逆変換ユニット（351）は、パーサ（320）から、使用する変換、ブロックサイズ、量子化係数、量子化スケーリングマトリックスなどを含む制御情報と、量子化された変換係数をシンボル（321）として受け取る。スケーラ／逆変換ユニット（351）は、アグリゲータ（355）に入力できるサンプル値を含むブロックを出力できる。

場合によっては、スケーラ／逆変換（351）の出力サンプルは、イントラ符号化されたブロックに関係することがあり、これは、以前に再構築された画像からの予測情報を使用していないが、現在の画像の以前に再構築された部分からの予測情報を使用できるブロックである。そのような予測情報は、イントラ画像予測ユニット（352）によって提供することができる。場合によっては、イントラ画像予測ユニット（352）は、現在の画像バッファ（358）からフェッチされた周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在の画像バッファ（358）は、たとえば、部分的に再構成された現在の画像および／または完全に再構成された現在の画像をバッファリングする。アグリゲータ（355）は、場合によっては、サンプルごとに、イントラ予測ユニット（352）が生成した予測情報を、スケーラ／逆変換ユニット（351）によって提供された出力サンプル情報に追加する。

他の場合では、スケーラ／逆変換ユニット（351）の出力サンプルは、インター符号化された、場合によっては動き補償されたブロックに関係することがある。そのような場合、動き補償予測ユニット（353）は、参照画像メモリ（357）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルをブロックに関連するシンボル（321）に従って動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（355）によってスケーラ／逆変換ユニット（351）の出力に追加できる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（353）が予測サンプルをフェッチする参照画像メモリ（357）内のアドレスは、動きベクトルによって制御することができ、動き補償予測ユニット（353）は、たとえば、X、Y、および参照画像構成要素を有し得るシンボル（321）の形で利用できる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照画像メモリ（357）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むことができる。

アグリゲータ（355）の出力サンプルは、ループフィルタユニット（356）における様々なループフィルタリング手法の対象となり得る。ビデオ圧縮技術には、符号化されたビデオシーケンス（符号化されたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（320）からのシンボル（321）としてループフィルタユニット（356）で利用できるループ内フィルタ技術を含めることができるが、符号化された画像または符号化されたビデオシーケンスの以前の（復号順の）部分の復号中に得られたメタ情報に応答することも、以前に再構築されループフィルタリングされたサンプル値に応答することもできる。

ループフィルタユニット（356）の出力は、レンダリングデバイス（312）に出力することができ、かつ将来のインター画像予測で使用するために参照画像メモリ（357）に格納できるサンプルストリームとすることができる。

特定の符号化された画像は、完全に再構成されると、将来の予測のための参照画像として使用できる。たとえば、現在の画像に対応する符号化された画像が完全に再構築され、符号化された画像が（たとえば、パーサ（320）によって）参照画像として識別されると、現在の画像バッファ（358）は参照画像メモリ（357）の一部になることができ、次の符号化された画像の再構成を開始する前に、新しい現在の画像バッファを再割り当てすることができる。

ビデオデコーダ（310）は、ITU−T Rec H265などの標準における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化されたビデオシーケンスは、ビデオ圧縮技術または標準の構文と、ビデオ圧縮技術または標準のドキュメントとしてのプロファイルの両方に準拠しているという意味で、使用されているビデオ圧縮技術または標準によって指定された構文に準拠していてもよい。具体的には、プロファイルは、ビデオ圧縮技術または標準で使用可能なすべてのツールから、そのプロファイルで使用できる唯一のツールとして特定のツールを選択できる。また、符号化されたビデオシーケンスの複雑さが、ビデオ圧縮技術または標準のレベルで定義されているレベル内にあることも、コンプライアンスに必要である。場合によっては、レベルによって、最大画像サイズ、最大フレームレート、最大再構成サンプルレート（たとえば、メガサンプル／秒で測定）、最大参照画像サイズなどが制限される。レベルによって設定された制限は、場合によっては、仮想参照デコーダ（HRD）の仕様と、符号化されたビデオシーケンスで通知されるHRDバッファ管理のメタデータによってさらに制限されることがある。

一実施形態では、受信機（331）は、符号化されたビデオとともに追加の（冗長な）データを受け取ってもよい。追加のデータは、符号化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切に復号し、および／または元のビデオデータをより正確に再構築するためにビデオデコーダ（310）によって使用されてもよい。追加のデータは、たとえば、時間的、空間的、または信号ノイズ比（SNR）エンハンスメントレイヤ、冗長スライス、冗長画像、前方誤り訂正コードなどの形式にすることができる。

図4は、本開示の実施形態によるビデオエンコーダ（403）のブロック図を示す。ビデオエンコーダ（403）は、電子デバイス（420）に含まれる。電子デバイス（420）は、送信機（440）（たとえば、送信回路）を含む。ビデオエンコーダ（403）は、図2の例におけるビデオエンコーダ（203）の代わりに使用することができる。

ビデオエンコーダ（403）は、（図4の例では電子デバイス（420）の一部ではない）ビデオソース（401）からビデオサンプルを受け取ることができ、ビデオソース（401）は、ビデオエンコーダ（403）によって符号化されるビデオ画像をキャプチャすることができる。別の例では、ビデオソース（401）は、電子デバイス（420）の一部である。

ビデオソース（401）は、任意の適切なビット深度（たとえば、8ビット、10ビット、12ビット、・・・）、任意の色空間（たとえば、BT601 Y CrCB、RGB、・・・）および任意の適切なサンプリング構造（たとえば、Y CrCb 4：2：0、Y CrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形態でビデオエンコーダ（403）によって符号化されるソースビデオシーケンスを提供することができる。メディアサービングシステムでは、ビデオソース（401）は、以前に準備されたビデオを格納するストレージデバイスであり得る。ビデオ会議システムでは、ビデオソース（401）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見たときに動きを与える複数の個別の画像として提供されてもよい。画像自体は、ピクセルの空間アレイとして編成することができ、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの関係を容易に理解することができる。以下の説明では、サンプルに焦点を合わせている。

一実施形態によれば、ビデオエンコーダ（403）は、リアルタイムまたはアプリケーションによって要求される任意の他の時間制約の下で、ソースビデオシーケンスの画像を符号化し、符号化されたビデオシーケンス（443）に圧縮し得る。適切な符号化速度を強制することは、コントローラ（450）の1つの機能である。一部の実施形態では、コントローラ（450）は、以下で説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、結合は図示していない。コントローラ（450）によって設定されるパラメータには、レート制御関連のパラメータ（画像スキップ、量子化、レート歪み最適化手法のラムダ値など）、画像サイズ、画像グループ（GOP）レイアウト、最大動きベクトル検索範囲、などが含まれ得る。コントローラ（450）は、特定のシステム設計に対して最適化されたビデオエンコーダ（403）に関係する他の適切な機能を有するように構成することができる。

一部の実施形態では、ビデオエンコーダ（403）は、符号化ループで動作するように構成される。過度に単純化した説明として、一例では、符号化ループは、ソースコーダ（430）（たとえば、符号化される入力画像および参照画像に基づいて、シンボルストリームなどのシンボルを作成する責任を負う）、およびビデオエンコーダ（403）に埋め込まれた（ローカル）デコーダ（433）を含み得る。デコーダ（433）は、シンボルを再構築して、（リモート）デコーダが作成するのと同様の方法でサンプルデータを作成する（シンボルと符号化されたビデオビットストリーム間の圧縮は、開示された主題で検討されているビデオ圧縮技術では可逆であるため）。再構成されたサンプルストリーム（サンプルデータ）は、参照画像メモリ（434）に入力される。シンボルストリームの復号は、デコーダの場所（ローカルまたはリモート）に関係なくビットパーフェクトな結果をもたらすため、参照画像メモリ（434）のコンテンツもローカルエンコーダとリモートエンコーダ間でビットパーフェクトである。言い換えると、エンコーダの予測部分は、参照画像のサンプルを、デコーダが復号中に予測を使用するときに「見る」のとまったく同じサンプル値として「見る」。参照画像の同期性のこの基本原理（および、たとえばチャネルエラーのために同期性を維持できない場合に生じるドリフト）は、いくつかの関連技術でも使用されている。

「ローカル」デコーダ（433）の動作は、図3に関連してすでに詳細に説明されている、ビデオデコーダ（310）などの「リモート」デコーダの動作と同じであり得る。しかしながら、図3も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（445）およびパーサ（320）による符号化されたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るため、ビデオデコーダ（310）のエントロピー復号部分、ならびにバッファメモリ（315）およびパーサ（320）は、ローカルデコーダ（433）で完全に実装されない場合がある。

この時点で注目できることは、デコーダに存在する解析／エントロピー復号化以外のどんなデコーダ技術も、対応するエンコーダに実質的に同一の機能形式で必ず存在する必要があることである。このため、開示された主題は、デコーダの動作に焦点を合わせている。エンコーダ技術の説明は、包括的に説明されたデコーダ技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。

動作中、場合によっては、ソースコーダ（430）は、「参照画像」として指定されたビデオシーケンスからの1つまたは複数の以前に符号化された画像を参照して入力画像を予測的に符号化する動き補償予測符号化を実行し得る。このようにして、符号化エンジン（432）は、入力画像のピクセルブロックと、入力画像に対する予測参照として選択され得る参照画像のピクセルブロックとの間の差異を符号化する。

ローカルビデオデコーダ（433）は、ソースコーダ（430）によって作成されたシンボルに基づいて、参照画像として指定され得る画像の符号化されたビデオデータを復号し得る。符号化エンジン（432）の動作は、損失の多いプロセスであることが有利であり得る。符号化されたビデオデータがビデオデコーダ（図4には図示せず）で復号され得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（433）は、参照画像に対してビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照画像を参照画像キャッシュ（434）に格納させ得る。このようにして、ビデオエンコーダ（403）は、遠端ビデオデコーダによって取得される（送信エラーがない）再構成参照画像として、共通のコンテンツを有する再構成参照画像のコピーをローカルに格納し得る。

予測器（435）は、符号化エンジン（432）の予測検索を実行することができる。すなわち、符号化される新しい画像について、予測器（435）は、（候補参照ピクセルブロックとして）サンプルデータまたは参照画像の動きベクトル、ブロック形状などの特定のメタデータについて参照画像メモリ（434）を検索することができ、これらは新しい画像の適切な予測参照として機能することができる。予測器（435）は、適切な予測参照を見つけるために、サンプルブロックのピクセルブロックごとに動作することができる。場合によっては、予測器（435）によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ（434）に格納された複数の参照画像から引き出された予測参照を有し得る。

コントローラ（450）は、たとえば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（430）の符号化動作を管理することができる。

前述のすべての機能ユニットの出力は、エントロピーコーダ（445）でエントロピー符号化を受けることができる。エントロピーコーダ（445）は、たとえばハフマン符号化、可変長符号化、算術符号化などの当業者に知られている技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルを符号化されたビデオシーケンスに変換する。

送信機（440）は、エントロピーコーダ（445）によって作成された符号化されたビデオシーケンスをバッファリングして、符号化されたビデオデータを格納するストレージデバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（460）を介した送信に備えることができる。送信機（440）は、ビデオコーダ（403）からの符号化されたビデオデータを、送信される他のデータ、たとえば符号化オーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージすることができる。

コントローラ（450）は、ビデオエンコーダ（403）の動作を管理することができる。符号化中、コントローラ（450）は、各符号化された画像に特定の符号化された画像タイプを割り当てることができ、これは、それぞれの画像に適用され得る符号化手法に影響を及ぼし得る。たとえば、多くの場合、画像は次の画像タイプのいずれかを割り当てられる。

イントラ画像（I画像）は、シーケンス内の他の画像を予測のソースとして使用せずに符号化および復号できるものであり得る。一部のビデオコーデックでは、たとえばIndependent Decoder Refresh（「IDR」）画像など、様々なタイプのイントラ画像を使用できる。当業者は、I画像のそれらの変形およびそれらのそれぞれの用途および特徴を知っている。

予測画像（P画像）は、各ブロックのサンプル値を予測するために最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。

双方向予測画像（B画像）は、各ブロックのサンプル値を予測するために最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。同様に、複数の予測画像は、単一のブロックの再構成に3つ以上の参照画像と関連メタデータを使用できる。

ソース画像は、通常、空間的に複数のサンプルブロック（たとえば、それぞれ4×4、8×8、4×8、または16×16サンプルのブロック）に分割され、ブロックごとに符号化される。ブロックは、ブロックのそれぞれの画像に適用される符号化割り当てによって決定された、他の（すでに符号化された）ブロックを参照して予測的に符号化され得る。たとえば、I画像のブロックは非予測的に符号化されてもよいし、または同じ画像のすでに符号化されたブロック（空間予測またはイントラ予測）を参照して予測的に符号化されてもよい。P画像のピクセルブロックは、空間的予測を介して、または1つの以前に符号化された参照画像を参照して時間的予測を介して、予測的に符号化され得る。B画像のブロックは、空間的予測を介して、または1つまたは2つの以前に符号化された参照画像を参照して時間的予測を介して、予測的に符号化され得る。

ビデオエンコーダ（403）は、所定のビデオ符号化技術またはITU−T Rec H265などの標準に従って符号化動作を実行することができる。その動作において、ビデオエンコーダ（403）は、入力ビデオシーケンスにおける時間的および空間的冗長性を活用する予測符号化動作を含む、様々な圧縮動作を実行することができる。したがって、符号化されたビデオデータは、ビデオ符号化技術または使用されている標準で指定された構文に準拠することができる。

一実施形態では、送信機（440）は、符号化されたビデオとともに追加のデータを送信することができる。ソースコーダ（430）は、そのようなデータを、符号化されたビデオシーケンスの一部として含み得る。追加のデータには、時間的／空間的／SNR拡張レイヤ、冗長な画像やスライスなどの冗長データの他の形式、付加拡張情報（SEI）メッセージ、ビジュアルユーザビリティ情報（VUI）パラメータセットフラグメントなどが含まれる。

ビデオは、時系列で複数のソース画像（ビデオ画像）としてキャプチャされ得る。画像内予測（イントラ予測と略されることが多い）は所与の画像の空間相関を利用し、画像間予測は画像間の（時間的またはその他の）相関を利用する。一例では、現在の画像と呼ばれる、符号化／復号中の特定の画像がブロックに分割される。現在の画像のブロックが、以前に符号化され、まだバッファリングされているビデオ内の参照画像の参照ブロックに類似している場合、現在の画像のブロックは、動きベクトルと呼ばれるベクトルによって符号化できる。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する第3の次元を持つことができる。

一部の実施形態では、画像間予測において双予測手法を使用することができる。双予測手法によれば、ビデオ内の現在の画像よりも復号順序が両方とも先行している（ただし、それぞれ表示順序が過去および未来である可能性がある）第1および第2の参照画像などの2つの参照画像が使用される。現在の画像内のブロックは、第1の参照画像内の第1の参照ブロックを指す第1の動きベクトル、および第2の参照画像内の第2の参照ブロックを指す第2の動きベクトルによって符号化できる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって予測することができる。

さらに、マージモード手法を画像間予測で使用して、符号化効率を改善することができる。マージモードでは、現在の画像内のブロックは、現在の画像内の隣接ブロック（たとえば、そのブロックと境界を共有し、そのブロックとのより大きいパーティション領域に配置される）の動きベクトルを継承できる。

本開示の一部の実施形態によれば、画像間予測および画像内予測などの予測は、ブロックの単位で実行される。たとえば、HEVC標準に従って、ビデオ画像のシーケンス内の画像は圧縮のために符号化ツリーユニット（CTU）に分割され、画像のCTUは64×64ピクセル、32×32ピクセル、16×16ピクセルなど同じサイズである。一般に、CTUには3つの符号化ツリーブロック（CTB）が含まれ、これらは1つの輝度CTBと2つの彩度CTBである。各CTUは、1つまたは複数の符号化ユニット（CU）に再帰的に四分木分割できる。たとえば、64×64ピクセルのCTUは64×64ピクセルの1つのCU、32×32ピクセルの4つのCU、または16×16ピクセルの16のCUに分割できる。一例では、各CUは、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを決定するために分析される。CUは、時間的および／または空間的予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割される。一般に、各PUには輝度予測ブロック（PB）と2つの彩度PBが含まれる。一実施形態では、符号化（符号化／復号）における予測動作は、予測ブロックの単位で実行される。輝度予測ブロックを予測ブロックの例として使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどのピクセルの値（輝度値など）のマトリックスを含む。

図5は、本開示の別の実施形態によるビデオエンコーダ（503）の図を示す。ビデオエンコーダ（503）は、ビデオ画像のシーケンス内の現在のビデオ画像内のサンプル値の処理ブロック（たとえば、予測ブロック）を受け取り、処理ブロックを、符号化されたビデオシーケンスの一部である符号化された画像に符号化するように構成される。一例では、ビデオエンコーダ（503）は、図2の例におけるビデオエンコーダ（203）の代わりに使用される。

HEVCの例では、ビデオエンコーダ（503）は、8×8サンプルなどの予測ブロックなどの処理ブロックのサンプル値の行列を受け取る。ビデオエンコーダ（503）は、たとえば、レート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して、処理ブロックが最良に符号化されるかどうかを決定する。処理ブロックがイントラモードで符号化される場合、ビデオエンコーダ（503）は、イントラ予測手法を使用して、処理ブロックを符号化された画像に符号化することができ、処理ブロックがインターモードまたは双予測モードで符号化される場合、ビデオエンコーダ（503）は、それぞれインター予測または双予測手法を使用して、処理ブロックを符号化された画像に符号化することができる。特定のビデオ符号化技術では、マージモードは画像間予測サブモードであり、ここで動きベクトルは、予測器の外側にある符号化された動きベクトル構成要素の利点なしに、1つまたは複数の動きベクトル予測器から導き出される。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル構成要素が存在する場合がある。一例では、ビデオエンコーダ（503）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。

図5の例では、ビデオエンコーダ（503）は、図5に示すように一緒に結合されたインターエンコーダ（530）、イントラエンコーダ（522）、残差計算器（523）、スイッチ（526）、残差エンコーダ（524）、汎用コントローラ（521）およびエントロピーエンコーダ（525）を含む。

インターエンコーダ（530）は、現在のブロック（たとえば、処理ブロック）のサンプルを受け取り、そのブロックを参照画像（たとえば、前の画像および後の画像のブロック）の1つまたは複数の参照ブロックと比較し、インター予測情報（たとえば、インター符号化手法、動きベクトル、マージモード情報による冗長情報の記述）を生成し、任意の適切な手法を使用してインター予測情報に基づいてインター予測結果（たとえば予測ブロック）を計算するように構成される。

イントラエンコーダ（522）は、現在のブロック（たとえば、処理ブロック）のサンプルを受け取るように構成されており、場合によっては、ブロックを同じ画像内のすでに符号化されているブロックと比較し、変換後に量子化係数を生成し、場合によってはイントラ予測情報（たとえば、1つまたは複数のイントラ符号化手法によるイントラ予測方向情報）も生成するように構成される。

汎用コントローラ（521）は、一般制御データを決定し、一般制御データに基づいてビデオエンコーダ（503）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（521）は、ブロックのモードを決定し、モードに基づいてスイッチ（526）に制御信号を提供する。たとえば、モードがイントラである場合、汎用コントローラ（521）は、スイッチ（526）を制御して、残差計算器（523）が使用するイントラモードの結果を選択し、エントロピーエンコーダ（525）を制御してイントラ予測情報を選択し、ビットストリームにイントラ予測情報を含め、そしてモードがインターモードである場合、汎用コントローラ（521）は、スイッチ（526）を制御して、残差計算器（523）が使用するインター予測結果を選択し、エントロピーエンコーダ（525）を制御してインター予測情報を選択し、ビットストリームにインター予測情報を含める。

残差計算器（523）は、受信したブロックと、イントラエンコーダ（522）またはインターエンコーダ（530）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（524）は、残差データに基づいて動作して、残差データを符号化して変換係数を生成するように構成される。一例では、残差エンコーダ（524）は、周波数領域で残差データを変換し、変換係数を生成するように構成される。次に、量子化された変換係数を取得するために、変換係数に量子化処理を行う。

エントロピーエンコーダ（525）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（525）は、HEVC標準などの適切な標準に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（525）は、一般制御データ、選択された予測情報（たとえば、イントラ予測情報またはインター予測情報）、残差情報、およびビットストリーム内の他の適切な情報を含むように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックを符号化する場合、残差情報はないことに留意されたい。

図6は、本開示の別の実施形態によるビデオデコーダ（610）の図を示す。ビデオデコーダ（610）は、符号化されたビデオシーケンスの一部である符号化された画像を受け取り、符号化された画像をデコードして再構成された画像を生成するように構成される。一例では、ビデオデコーダ（610）は、図2の例におけるビデオデコーダ（210）の代わりに使用される。

図6の例では、ビデオデコーダ（610）は、図6に示すように一緒に結合されたエントロピーデコーダ（671）、インターデコーダ（680）、残差デコーダ（673）、再構成モジュール（674）、およびイントラデコーダ（672）を含む。

エントロピーデコーダ（671）は、符号化された画像から、符号化された画像を構成する構文要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、たとえば、ブロックが符号化されるモード（たとえば、イントラ、インター、双方向予測、マージサブモードまたは別のサブモードにおけるインターおよび双方向予測）、イントラデコーダ（672）またはインターデコーダ（680）それぞれによる予測に使用される特定のサンプルまたはメタデータを識別できる予測情報（たとえば、イントラ予測情報またはインター予測情報）、たとえば量子化された変換係数の形式の残差情報などを含むことができる。一例では、予測モードがインター予測モードまたは双予測モードである場合、インター予測情報はインターデコーダ（680）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報はイントラデコーダ（672）に提供される。残差情報は逆量子化を受ける可能性があり、残差デコーダ（673）に提供される。

インターデコーダ（680）は、インター予測情報を受け取り、インター予測情報に基づいてインター予測結果を生成するように構成される。

イントラデコーダ（672）は、イントラ予測情報を受け取り、イントラ予測情報に基づいて予測結果を生成するように構成される。

残差デコーダ（673）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（673）は、特定の制御情報（量子化パラメータQPを含めるため）も必要とする場合があり、その情報は、エントロピーデコーダ（671）によって提供される場合がある（データパスは、低ボリューム制御情報のみであるため、図示されてない）。

再構成モジュール（674）は、空間領域において、残差デコーダ（673）によって出力された残差と（場合によってはインターまたはイントラ予測モジュールによって出力された）予測結果とを組み合わせて再構成されたブロックを形成するように構成され、再構成されたブロックは再構成された画像の一部である可能性があり、再構成された画像は再構成されたビデオの一部である可能性がある。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行できることに留意されたい。

ビデオエンコーダ（203）、（403）および（503）、ならびにビデオデコーダ（210）、（310）および（610）は、任意の適切な手法を使用して実装できることに留意されたい。一実施形態では、ビデオエンコーダ（203）、（403）および（503）、ならびにビデオデコーダ（210）、（310）および（610）は、1つまたは複数の集積回路を使用して実装できる。別の実施形態では、ビデオエンコーダ（203）、（403）および（403）、ならびにビデオデコーダ（210）、（310）および（610）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装できる。

図7は、イントラ予測に使用される例示的な角度モードの実施形態を示す。図7の右下には、H．265の35の可能な予測方向からの9つの予測方向の例が示されている。矢印が収束する点（701）は、予測されるサンプルを表す。矢印は、サンプルが予測される方向を表す。たとえば、矢印（702）は、サンプル（701）が1つまたは複数のサンプルから右上に、水平軸から45度の角度で予測されることを示す。同様に、矢印（703）は、サンプル（701）が1つまたは複数のサンプルからサンプル（701）の左下に、水平軸から22．5度の角度で予測されることを示す。

さらに図7を参照すると、左上に4×4サンプルの正方形ブロック（704）が示されている（破線の太線で示されている）。正方形ブロック（704）は16個のサンプルを含み、それぞれ「S」と、Y次元におけるその位置（たとえば、行インデックス）と、X次元におけるその位置（たとえば、列インデックス）とでラベル付けされている。たとえば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、YおよびX次元の両方において、ブロック（704）の4番目のサンプルである。ブロックのサイズは4×4サンプルなので、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、ブロック（704）に対してRと、そのY位置（たとえば、行インデックス）と、X位置（列インデックス）とでラベル付けされている。画像内予測は、通知された予測方向に応じて、隣接するサンプルから参照サンプル値をコピーすることで機能する。たとえば、符号化されたビデオビットストリームに、このブロックについて、矢印（702）と一致する予測方向を示す通知が含まれていると想定すると、サンプルは、1つまたは複数の予測サンプルから右上に、水平から45度の角度で予測される。その場合、サンプルS41、S32、S23、およびS14は同じR05から予測される。次に、サンプルS44がR08から予測される。

特定の場合において、特に方向が45度で均等に分割できない場合、複数の参照サンプルの値は、参照サンプルを計算するために、たとえば補間によって組み合わされてもよい。

図8（A）および図8（B）は、33の角度モードを含む合計35のイントラ予測モードの実施形態を示す。モード0はINTRA＿PLANARモードで、モード1はINTRA＿DCモードである。さらに、モード2〜34はイントラ角度モードを表す。当業者によって理解されるように、左下斜めモードはモード2であり、右上斜めモードはモード34であり、モード10は水平角度モードであり、モード26は垂直モードである。

図9（A）および図9（B）は、65の角度モードを含む合計67のイントラ予測モードの実施形態を示す。モード0はINTRA＿PLANARモードで、モード1はINTRA＿DCモードである。さらに、モード2〜66はそれぞれ、イントラ角度モードINTRA＿ANGULAR2〜INTRA＿ANGULAR66を表す。当業者には理解されるように、モード18は水平モードであり、モード50は垂直モードである。

図10は、広角モードを有するブロック1000を示す。たとえば、図10では、モード2から34は、従来のイントラ予測モードと呼ばれることがある、右上から左下への斜め方向の間で180度離れたイントラ予測モードである。ブロック1000は、従来のイントラ予測モードによってカバーされる予測方向の範囲を超える広角イントラ予測モードをさらに含み得る。たとえば、ブロック1000のモード35および36は、広角イントラ予測モードである。各広角イントラ予測モードは、1つの従来のイントラ予測モードに関連付けることができ、各広角イントラ予測モードとそれに関連付けられたイントラ予測モードは、同じ方向をキャプチャするが、反対側の参照サンプルを使用する（左の列または一番上の行）。広角イントラ予測モードおよび関連する従来のイントラ予測モードは、互いに180度離れていてもよい。たとえば、広角イントラ予測モード35は、従来の角度イントラ予測モード3に関連付けられている。同様に、広角イントラ予測モード36は、従来のイントラ予測モード4に関連付けられている。

一部の実施形態によれば、広角イントラ予測モードは、利用可能な広角「フリップモード」を有するそれらの関連する方向についての1ビットフラグを送ることによって通知され得る。たとえば、図10では、モード3およびモード4は、それぞれ、示された従来のイントラ予測モード、またはフリップ広角方向モード35およびモード36を使用するかどうかを示すフラグを有する。

一部の実施形態では、ブロックが65個の角度イントラ予測モードを有するとき、新しいモードの利用可能性は、45度の斜め右上モードに最も近い10の指向性モード（すなわち、35の従来のイントラモードが適用される場合、モード34）および左下モード（すなわち、35の従来のイントラモードが適用される場合、モード2）に限られる可能性がある。HEVC標準またはVVC標準に開示されているサンプル予測プロセスを使用することができる。

一部の実施形態によれば、輝度成分について、イントラ予測サンプル生成に使用される隣接サンプルは、生成プロセスの前にフィルタリングされる。フィルタリングは、所与のイントラ予測モードおよび変換ブロックサイズによって制御され得る。一部の実施形態では、イントラ予測モードがDCであるか、または変換ブロックサイズが4×4に等しい場合、隣接するサンプルはフィルタリングされない。一部の実施形態では、所与のイントラ予測モードと垂直モード（または水平モード）との間の距離が所定の閾値よりも大きい場合、フィルタリングプロセスが有効化される。正方形ブロックにイントラ予測が適用されている場合、閾値はブロックの幅（または高さ）に依存する場合がある。一部の実施形態では、閾値は、ブロックの領域サイズ、すなわち、（log2（幅）＋log2（高さ））＞＞1に依存する。

一部の実施形態によれば、広角モードに対してイントラ平滑化フィルタが有効にされるかどうかは、ブロックサイズに依存し得る。一部の実施形態では、イントラ平滑化フィルタリングは、すべてのブロックサイズの広角に対して常に有効化される。たとえば、ブロックに関連付けられたパラメータは、ブロックサイズに関係なく、イントラ平滑化フィルタリングを適用できることを示す。一部の実施形態では、イントラ平滑化フィルタリングは、特定のブロックサイズの広角に対して有効化され、他のブロックサイズに対して無効化される。たとえば、現在のブロックのブロックサイズが所定のブロックサイズ閾値（たとえば、32）以上である場合、イントラ平滑化フィルタは広角に対して無効化される。ブロックサイズが所定のブロックサイズ閾値よりも小さい場合、イントラ平滑化フィルタリングが有効化される。一部の実施形態では、現在のブロックのブロックサイズは、現在のブロックの幅または高さによって決定される。一部の実施形態では、現在のブロックのブロックサイズは、現在のブロックの幅と高さの平均によって決定される。

一部の実施形態によれば、符号化ツールXは、イントラ予測モードを含むいくつかのモードの選択を有する。広角イントラ予測モードが使用され、符号化ツールXのモード選択の動作が定義されていないか、符号化ツールXが広角イントラ予測モードをサポートしていない場合、広角イントラ予測モードは従来のイントラ予測モードの1つにマッピングされ得る。マッピングされた従来のイントラ予測モードを使用して、符号化ツールXのモードの選択を決定することができる。一部の実施形態では、広角イントラ予測モードは、関連する従来のイントラ予測モードにマッピングされる。たとえば、広角イントラ予測モード35は、従来のイントラ予測モード3にマッピングされる。同様に、広角イントラ予測モード36は、従来のイントラ予測モード4にマッピングされる。

一部の実施形態では、広角イントラ予測モードは、最も近い従来のイントラ予測モードにマッピングされる。たとえば、広角イントラ予測モード35、36、37、および38は、従来のイントラ予測モード34にマッピングすることができ、広角イントラ予測モード−1、−2、−3、および−4は、従来のイントラ予測モード2にマッピングすることができる。別の例では、65個の従来の角度イントラ予測モードがある場合、広角イントラ予測モード67から74を従来のイントラ予測モード66にマッピングすることができ、広角イントラ予測モード−1から−8を従来のイントラ予測モード2にマッピングすることができる。

一部の実施形態で、符号化ツールXは、位置依存予測結合（PDPC）、適応多重変換（AMT）、非分離可能二次変換（NSST）、および予測依存変換などのツールであり得るが、これらに限定されない。

図11は、それぞれイントラエンコーダ522またはイントラデコーダ672などのエンコーダまたはデコーダによって実行されるプロセスの実施形態を示す。図11に示されるプロセスは、非正方形ブロックに対して実行され得る。プロセスは、現在のブロックの角度イントラ予測モードが広角モードであるかどうかが決定されるステップS1100で開始することができる。上述したように、広角モードは、現在のブロックの左下斜め方向と右上斜め方向にまたがる方向の範囲外の方向を含む。たとえば、33個の従来の角度イントラ予測モードがある場合、34より大きい角度モード番号または負の角度モード番号は、現在のブロックの角度イントラ予測モードが広角モードであることを示す。同様に、65個の従来の角度イントラ予測モードがある場合、66より大きい角度モード番号または負の角度モード番号は、現在のブロックの角度イントラ予測モードが広角モードであることを示す。角度イントラ予測モードが広角モードでない場合、プロセスはステップS1102に進み、従来のイントラ予測モードに基づいて現在のブロックのイントラ予測を実行する。

角度イントラ予測モードが広角モードである場合、プロセスはステップS1104に進み、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用する条件が満たされているかどうかを決定する。たとえば、イントラ平滑化フィルタリングの有効化に関連するパラメータが、ブロックサイズに関係なくイントラ平滑化フィルタリングが適用されることを示す場合、条件が満たされてもよい。別の例では、現在のブロックのブロックサイズが所定のブロックサイズ閾値より大きい場合に条件が満たされてもよく、ブロックサイズは、現在のブロックの高さ、幅、または高さと幅の平均に従って決定されてもよい。

イントラ平滑化フィルタリングを適用するための条件が満たされない場合、プロセスはステップS1106に進み、フィルタリングされていないブロックに基づいてイントラ予測が実行され、現在のブロックの特性値が取得される。しかしながら、イントラ平滑化フィルタリングを適用するための条件が満たされる場合、プロセスはステップS1104からステップS1108に進み、イントラ平滑化フィルタが現在のブロックに隣接するブロックに適用される。プロセスはステップS1110に進み、フィルタリングされたブロックに基づくイントラ予測が実行されて、現在のブロックの特性が取得される。

図12は、それぞれイントラエンコーダ522またはイントラデコーダ672などのエンコーダまたはデコーダによって実行されるプロセスの実施形態を示す。プロセスは、イントラ予測を実行する符号化ツールが広角モードをサポートするかどうかが決定されるステップS1200で開始することができる。符号化ツールが広角モードをサポートしている場合、プロセスはステップS1202に進み、広角モードを使用してイントラ予測が実行される。しかしながら、符号化ツールが広角モードをサポートしない場合、プロセスはステップS1204に進み、角度イントラ予測モードは、現在のブロックの左下斜め方向と右上斜め方向にまたがる方向の範囲に含まれるイントラ予測モードに変更される。たとえば、角度イントラ予測モードが広角モードである場合、広角モードは広角モードに関連する対応する従来のイントラ予測にマッピングされるか、広角モードは最も近い従来のイントラ予測モードにマッピングされる。

一部の実施形態によれば、角度予測モードのイントラ平滑化フィルタの条件を決定することは、現在のイントラ予測モードが垂直のような方向である（たとえば、35個のイントラモードが適用されている場合のモード18〜34、および67個のイントラモードが適用されている場合のモード34〜66など、水平方向よりも垂直方向に近い）場合、現在のブロックの幅を使用して、イントラ平滑化フィルタを適用するかどうか、およびどのイントラ平滑化フィルタを適用するかを決定する。さらに、現在のイントラ予測が水平のような方向である（たとえば、35個のイントラモードが適用されている場合のモード2〜17、67個のイントラモードが適用されている場合のモード2〜33など、垂直方向よりも水平方向に近い）場合、現在の高さを使用して、イントラ平滑化フィルタを適用するかどうか、およびどのイントラ平滑化フィルタを適用するかを決定する。

たとえば、35個のイントラ予測モードがあり、現在の角度方向のモードインデックスが18以上の場合、現在のブロックの幅が現在のブロックサイズを示すために使用され、その結果、サンプリングフィルタリングは予測モードとブロックの幅のみに依存する。それ以外の場合、現在の角度方向のモードインデックスが18未満の場合、現在のブロックの高さが現在のブロックサイズを示すために使用され、その結果、サンプリングフィルタリングは予測モードとブロックの高さのみに依存する。

別の例では、67個のイントラ予測モードがあり、現在の角度方向のモードインデックスが34以上の場合、現在のブロックの幅が現在のブロックサイズを示すために使用され、その結果、サンプリングフィルタリングは予測モードとブロックの高さのみに依存する。それ以外の場合、現在の角度方向のモードインデックスが34未満の場合、現在のブロックの高さが現在のブロックサイズを示すために使用され、その結果、サンプリングフィルタリングは予測モードとブロックの高さのみに依存する。

以下の実施形態は、例示的なイントラ平滑化フィルタを開示する。

このプロセスへの入力は次のとおりである。
−隣接するサンプルp［x］［y］で、x＝−1、y＝−1〜nWidth＋nHeight−1、およびx＝0〜nWidth＋nHeight−1、y＝−1、
−変数nWidthは変換ブロックの幅を指定する。
−変数nHeightは変換ブロックの高さを指定する。

このプロセスの出力は、フィルタリングされたサンプルpF［x］［y］であり、x＝−1、y＝−1からnTbS^＊2−1、およびx＝0からnTbS^＊2−1、y＝−lである。

変数filterFlagは、次のようにして導出できる。
−次の条件に該当する場合、filterFlagは0に設定される。
−predModeintraがINTRA＿DCに等しい。
−それ以外の場合、以下が適用される。
−変数minDistVerHorは、Min（Abs（predModeintra−26）、Abs（predModeintra−10））に等しく設定される。
−変数nTbSは次のように導出できる。
−predMode Intraが34未満でDC＿IDXより大きい場合、nTbSはnHeightに設定される。
−または、ifpredMode Intraが34以上の場合、nTbSはnWidthに設定される。
−または、nTbSは（nWidth＋nHeight）＞＞1に設定される。
−変数intraHorVerDistThres［nTbS］は、以下の表で指定されている。
−変数filterFlagは、次のようにして導出できる。
−minDistVerHorがintraHorVerDistThres［nTbS］より大きい場合、filterFlagは1に設定される。
−それ以外の場合、filterFlagは0に設定される。

次の表は、様々な変換ブロックサイズの変数intraHorVerDistThres［nTbs］の値の例を示す。

filterFlagが1に等しい場合、以下が適用される場合がある。
−変数biIntFlagは次のように導出される。
−以下の条件がすべて当てはまる場合、bilntFlagは1に設定される。
−strong＿intra＿smoothing＿enabled＿flagが1に等しい
−nTbSが32に等しい
−Abs（p［−1］［−1］＋p［nTbS^＊2−1］［−1］−2^＊p［nTbS−1］［−1］）＜（1≪（BitDepthy−5））
−Abs（p［−1］［−1］＋p［−1］［nTbS^＊2−1］−2^＊p［−1］［nTbS−1］）＜（1≪（BitDepthy−5））
−それ以外の場合、biIntFlagは0に設定される。
−フィルタリングは次のように実行できる。
−biIntFlagが1に等しい場合、フィルタリングされたサンプル値pF［x］［y］で、x＝−1、y＝−1〜63およびx＝0〜63、y＝−1は次のように導出される。
pF［−l］［−l］＝p［−1］［−l］（式1）
pF［−1］［y］＝（（63−y）^＊p［−1］［−l］＋（y＋1）^＊p［−1］［63］＋32）≫6 y＝0〜62の場合（式2）
pF［−1］［63］＝p［−1］［63］（式3）
pF［x］［−1］＝（（63−x）^＊p［−1］［−l］＋（x＋1）^＊p［63］［−l］＋32）≫6 x＝0〜62の場合（式4）
pF［63］［−1］＝p［63］［−1］（式5）
それ以外の場合（biIntFlagが0に等しい）、フィルタリングされたサンプル値pF［x］［y］で、x＝−1、y＝−1〜nTbS^＊2−1およびx＝0〜nTbS^＊2−1、y＝−1は次のように導出できる。
pF［−1］［−l］＝（p［−l］［9］＋2^＊p［−1］［−l］＋p［0］［−1］＋2）≫2（式6）
pF［−1］［y］＝（p［−1］［y＋l］＋2^＊p［−1］［y］＋p［−l］［y−1］＋2）≫2 y＝0〜nThS^＊2−2の場合（式7））
pF［−1］［nThS＊2−1］＝p［−1］［nTbS^＊2−1］（式8）
pF［x］［−1］＝（p［x−l］［−1］＋2^＊p［x］［−1］＋p［x＋l］［−1］＋2）≫2 x＝0〜nThS^＊2−2の場合（式9）
pF［nThS^＊2−1］［−l］＝p［nThS^＊2−1］［−l］（式10）

上記の手法は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実装でき、1つまたは複数のコンピュータ可読媒体に物理的に格納できる。たとえば、図13は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（1300）を示す。

コンピュータソフトウェアは、任意の適切な機械コードまたはコンピュータ言語を使用して符号化でき、アセンブリ、コンパイル、リンク、または同様のメカニズムの対象となり、1つまたは複数のコンピュータ中央処理装置（CPU）、グラフィック処理装置（GPU）などによる直接、または解釈、マイクロコードの実行などを通じて実行できる命令を含むコードを作成する。

命令は、たとえば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素上で実行することができる。

コンピュータシステム（1300）について図13に示される構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関していかなる制限も示唆することを意図しない。また、構成要素の構成は、コンピュータシステム（1300）の例示的な実施形態に示されている構成要素のいずれか1つまたはそれらの組み合わせに関する依存性または要件を有するものとして解釈されるべきではない。

コンピュータシステム（1300）は、特定のヒューマンインタフェース入力デバイスを含み得る。そのようなヒューマンインタフェース入力デバイスは、たとえば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）など、1人または複数のユーザによる入力に応答する。ヒューマンインタフェースデバイスを使用して、音声（会話、音楽、環境音など）、画像（スキャンした画像、静止画像カメラから取得される写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることもできる。

入力ヒューマンインタフェースデバイスは、キーボード（1301）、マウス（1302）、トラックパッド（1303）、タッチ画面（1310）、データグローブ（図示せず）、ジョイスティック（1305）、マイク（1306）、スキャナ（1307）、カメラ（1308）などを含み得る（それぞれ1つのみ図示）。

コンピュータシステム（1300）はまた、特定のヒューマンインタフェース出力デバイスを含み得る。そのようなヒューマンインタフェース出力デバイスは、たとえば、触覚出力、音、光、および嗅覚／味覚を通じて、1人または複数のユーザの感覚を刺激している可能性がある。そのようなヒューマンインタフェース出力デバイスは、触覚出力デバイス（たとえば、タッチ画面（1310）、データグローブ（図示せず）、またはジョイスティック（1305）による触覚フィードバックだが、入力デバイスとして機能しない触覚フィードバックデバイスも存在する可能性がある）、オーディオ出力デバイス（スピーカ（1309）、ヘッドホン（図示せず）など）、視覚出力デバイス（CRT画面、LCD画面、プラズマ画面、OLED画面を含む画面（1310）などであり、それぞれタッチ画面入力機能があってもなくてもよく、それぞれ触覚フィードバック機能があってもなくてもよく、ステレオグラフィック出力、仮想現実の眼鏡（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）などの手段を介して2次元の視覚的出力または3次元以上の出力を出力できるものもある）、およびプリンタ（図示せず）を含み得る。

コンピュータシステム（1300）はまた、人間がアクセス可能なストレージデバイスおよびそれらの関連媒体、たとえば、CD／DVDなどの媒体（1321）とともにCD／DVD ROM／RW（1320）を含む光学媒体、サムドライブ（1322）、取り外し可能なハードドライブまたはソリッドステートドライブ（1323）、テープおよびフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用のROM／ASIC／PLDベースのデバイスなどを含み得る。

当業者はまた、ここで開示される主題に関連して使用される「コンピュータ可読媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。

コンピュータシステム（1300）は、1つまたは複数の通信ネットワークへのインタフェースも含むことができる。ネットワークは、たとえば、無線、有線、光であり得る。さらに、ネットワークは、ローカル、広域、大都市圏、車両および産業、リアルタイム、遅延耐性などであり得る。ネットワークの例は、イーサネット、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラーネットワークなどのローカルエリアネットワーク、ケーブルテレビ、衛星テレビ、地上波放送テレビを含むTV有線または無線ワイドエリアデジタルネットワーク、車両用、CANBusを含む産業用などを含む。特定のネットワークは一般に、特定の汎用データポートまたは周辺バス（1349）（たとえば、コンピュータシステム（1300）のUSBポートなど）に接続された外部ネットワークインタフェースアダプタを必要とし、他のものは、一般に、以下に説明するようにシステムバスに接続することにより、コンピュータシステム（1300）のコアに統合される（たとえば、PCコンピュータシステムへのイーサネットインタフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1300）は他のエンティティと通信できる。このような通信は、単方向、受信のみ（たとえば、放送TV）、単方向送信のみ（たとえば、CANbusから特定のCANbusデバイス）、または双方向、たとえば、ローカルエリアまたはワイドエリアデジタルネットワークを使用した他のコンピュータシステムへの通信である。上記のように、特定のプロトコルとプロトコルスタックは、これらのネットワークとネットワークインタフェースのそれぞれで使用できる。

前述のヒューマンインタフェースデバイス、ヒューマンアクセス可能ストレージデバイス、およびネットワークインタフェースは、コンピュータシステム（1300）のコア（1340）に接続することができる。

コア（1340）には、1つまたは複数の中央処理装置（CPU）（1341）、グラフィック処理装置（GPU）（1342）、フィールドプログラマブルゲート領域（FPGA）（1343）形式の特殊なプログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（1344）などを含めることができる。これらのデバイスは、読み取り専用メモリ（ROM）（1345）、ランダムアクセスメモリ（1346）、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量記憶装置（1347）とともに、システムバス（1348）を介して接続することができる。一部のコンピュータシステムでは、システムバス（1348）に1つまたは複数の物理プラグの形でアクセスして、追加のCPU、GPUなどによる拡張を可能にすることができる。周辺機器は、コアのシステムバス（1348）に直接、または周辺バス（1349）を介して接続することができる。周辺バスのアーキテクチャには、PCI、USBなどが含まれる。

CPU（1341）、GPU（1342）、FPGA（1343）、およびアクセラレータ（1344）は、組み合わせて前述のコンピュータコードを構成できる特定の命令を実行できる。そのコンピュータコードは、ROM（1345）またはRAM（1346）に格納できる。移行データはRAM（1346）にも格納できるが、永続データは、たとえば内部大容量記憶装置（1347）に格納できる。1つまたは複数のCPU（1341）、GPU（1342）、大容量記憶装置（1347）、ROM（1345）、RAM（1346）などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリデバイスへの高速格納および取り出しが可能になる。

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを内部に有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術の当業者に周知であり利用可能な種類のものであり得る。

限定ではなく一例として、アーキテクチャ（1300）、特にコア（1340）を有するコンピュータシステムは、1つまたは複数の有形のコンピュータ可読媒体に組み込まれたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上で紹介したユーザがアクセス可能な大容量記憶装置、およびコア内部大容量記憶装置（1347）やROM（1345）などの非一時的な性質を持つコア（1340）の特定の記憶装置に関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに格納され、コア（1340）によって実行され得る。コンピュータ可読媒体は、特定のニーズに従って、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（1340）および特にその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（1346）に格納されたデータ構造の定義やソフトウェアで定義されたプロセスに従ってそのようなデータ構造を変更することを含む、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、ここで説明する特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりにまたはソフトウェアと一緒に動作することができる回路（たとえばアクセラレータ（1344））にハードワイヤードまたは別の方法で組み込まれたロジックの結果として機能を提供できる。ソフトウェアへの言及はロジックを含むことができ、必要に応じてその逆も可能である。コンピュータ可読媒体への言及は、実行のためのソフトウェア、実行のためのロジックを具体化する回路、またはその両方を必要に応じて格納する回路（集積回路（IC）など）を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
付録A：頭字語
MV：動きベクトル
HEVC：高効率ビデオ符号化
SEI：付加拡張情報
VUI：ビデオユーザビリティ情報
GOP：画像のグループ
TU：変換単位、
PU：予測ユニット
CTU：符号化ツリーユニット
CTB：符号化ツリーブロック
PB：予測ブロック
HRD：仮想参照デコーダ
SNR：信号ノイズ比
CPU：中央処理装置
GPU：グラフィック処理ユニット
CRT：陰極線管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み取り専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブルロジックデバイス
LAN：ローカルエリアネットワーク
GSM：汎ヨーロッパデジタル移動通信システム
LTE：長期進化
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲート領域
SSD：ソリッドステートドライブ
IC：集積回路
CU：符号化ユニット

本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある変更、置換、および様々な代替均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、したがってその精神および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。

（1）ビデオ復号のための方法であって、非正方形ブロックである現在のブロックについて、現在のブロックの角度イントラ予測モードが、現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定するステップ、角度イントラ予測モードが広角モードであるとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定するステップ、条件が満たされているとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するステップ、およびフィルタリングされたブロックに基づいてイントラ予測を実行して、現在のブロックの特性値を取得するステップを含む。

（2）特徴（1）による方法であって、条件は、ブロックサイズに関係なくイントラ平滑化フィルタが適用されることを示す。

（3）特徴（1）または（2）による方法であって、条件は、非正方形ブロックのブロックサイズがブロックサイズ閾値以上であるという決定に応じて満たされる。

（4）特徴（3）による方法であって、ブロックサイズは、現在のブロックの高さ、幅、または高さと幅の平均に従って決定される。

（5）特徴（1）から（4）のいずれかの方法であって、イントラ予測を実行する符号化ツールが広角モードをサポートするかどうかを決定するステップと、符号化ツールが広角モードをサポートしないという決定に応じて、角度予測モードを、広角モードから、現在のブロックの左下斜め方向と右上斜め方向にまたがる方向の範囲に含まれるイントラ予測モードに変更するステップとをさらに含む。

（6）特徴（5）の方法であって、角度予測モードは、広角モードの方向と反対の方向を有する方向の範囲でイントラ予測モードに変更され、変更されたイントラ予測モードは、広角モードから180度である。

（7）特徴（5）の方法であって、角度予測モードは、広角モードに最も近い方向の範囲でイントラ予測モードに変更される。

（8）特徴（5）による方法であって、符号化ツールは、位置依存予測結合（PDPC）、適応多重変換（AMT）、非分離可能二次変換（NSST）、および予測依存変換を含む符号化ツールのグループから選択される。

（9）処理回路を含むビデオ復号のためのビデオデコーダであって、処理回路は、非正方形ブロックである現在のブロックについて、現在のブロックの角度イントラ予測モードが、現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定し、角度イントラ予測モードが広角モードであるとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定し、条件が満たされているとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用し、フィルタリングされたブロックに基づいてイントラ予測を実行して、現在のブロックの特性値を取得するように構成される。

（10）特徴（9）によるビデオデコーダであって、条件は、ブロックサイズに関係なくイントラ平滑化フィルタが適用されることを示す。

（11）特徴（9）または（10）によるビデオデコーダであって、条件は、非正方形ブロックのブロックサイズがブロックサイズ閾値以上であるという決定に応じて満たされる。

（12）特徴（11）によるビデオデコーダであって、ブロックサイズは、現在のブロックの高さ、幅、または高さと幅の平均に従って決定される。

（13）特徴（9）から（12）のいずれかによるビデオデコーダであって、処理回路は、イントラ予測を実行する符号化ツールが広角モードをサポートするかどうかを決定し、符号化ツールが広角モードをサポートしないという決定に応じて、角度予測モードを、広角モードから、現在のブロックの左下斜め方向と右上斜め方向にまたがる方向の範囲に含まれるイントラ予測モードに変更するようにさらに設定される。

（14）特徴（13）によるビデオデコーダであって、角度予測モードは、広角モードの方向と反対の方向を有する方向の範囲でイントラ予測モードに変更され、変更されたイントラ予測モードは、広角モードから180度である。

（15）特徴（14）によるビデオデコーダであって、角度予測モードは、広角モードに最も近い方向の範囲でイントラ予測モードに変更される。

（16）特徴（14）によるビデオデコーダであって、符号化ツールは、位置依存予測結合（PDPC）、適応多重変換（AMT）、非分離可能二次変換（NSST）、および予測依存変換を含む符号化ツールのグループから選択される。

（17）その中に格納された命令を含む非一時的なコンピュータ可読媒体であって、命令は、ビデオ復号装置内のプロセッサによって実行されるとプロセッサに方法を実行させ、方法は、非正方形ブロックである現在のブロックについて、現在のブロックの角度イントラ予測モードが、現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定するステップ、角度イントラ予測モードが広角モードであるとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定するステップ、条件が満たされているとの決定に応じて、現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するステップ、およびフィルタリングされたブロックに基づいてイントラ予測を実行し、現在のブロックの特性値を取得するステップを含む。

100 通信システム
110,120,130,140 端末デバイス
150 ネットワーク
200 通信システム
201 ビデオソース
202 ビデオ画像のストリーム
203 ビデオエンコーダ
204 符号化されたビデオデータ、符号化されたビデオビットストリーム
205 ストリーミングサーバ
206 クライアントサブシステム
207 符号化されたビデオデータ、符号化されたビデオビットストリーム
208 クライアントサブシステム
209 符号化されたビデオデータ、符号化されたビデオビットストリーム
210 ビデオデコーダ
211 ビデオ画像の出力ストリーム
212 ディスプレイ
213 キャプチャサブシステム
220,230 電子デバイス
301 チャネル
310 ビデオデコーダ
312 レンダリングデバイス
315 バッファメモリ
320 パーサ
321 シンボル
330 電子デバイス
331 受信機
351 スケーラ／逆変換ユニット
352 イントラ画像予測ユニット
353 動き補償予測ユニット
355 アグリゲータ
356 ループフィルタユニット
357 参照画像メモリ
358 現在の画像バッファ
401 ビデオソース
403 ビデオエンコーダ
420 電子デバイス
430 ソースコーダ
432 符号化エンジン
433 デコーダ
434 参照画像メモリ、参照画像キャッシュ
435 予測器
440 送信機
443 ビデオシーケンス
445 エントロピーコーダ
450 コントローラ
460 通信チャネル
503 ビデオエンコーダ
521 汎用コントローラ
522 イントラエンコーダ
523 残差計算器
524 残差エンコーダ
525 エントロピーエンコーダ
526 スイッチ
530 インターエンコーダ
610 ビデオデコーダ
671 エントロピーデコーダ
672 イントラデコーダ
673 残差デコーダ
674 再構成モジュール
680 インターデコーダ
701 矢印が収束する点
702,703 矢印
704 正方形ブロック
1000 ブロック
1300 コンピュータシステム
1301 キーボード
1302 マウス
1303 トラックパッド
1305 ジョイスティック
1306 マイク
1307 スキャナ
1308 カメラ
1309 スピーカ
1310 タッチ画面
1320 CD／DVD ROM／RW
1321 CD／DVDなどの媒体
1322 サムドライブ
1323 取り外し可能なハードドライブまたはソリッドステートドライブ
1340 コア
1341 中央処理装置（CPU）
1342 グラフィック処理装置（GPU）
1343 フィールドプログラマブルゲート領域（FPGA）形式の特殊なプログラマブル処理装置
1344 特定のタスク用のハードウェアアクセラレータ
1345 読み取り専用メモリ（ROM）
1346 ランダムアクセスメモリ
1347 内部大容量記憶装置
1348 システムバス
1349 周辺バス

Claims (17)

1. ビデオ復号のための方法であって、
   非正方形ブロックである現在のブロックについて、前記現在のブロックの角度イントラ予測モードが、前記現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定するステップ、
   前記角度イントラ予測モードが前記広角モードであるとの決定に応じて、前記現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定するステップ、
   前記条件が満たされているとの決定に応じて、前記現在のブロックに隣接する前記ブロックに前記イントラ平滑化フィルタを適用するステップ、および
   前記フィルタリングされたブロックに基づいてイントラ予測を実行して、前記現在のブロックの特性値を取得するステップ
   を含む、方法。
2. 前記条件は、ブロックサイズに関係なく、前記イントラ平滑化フィルタが適用されることを示す、請求項1に記載の方法。
3. 前記非正方形ブロックのブロックサイズがブロックサイズ閾値以上であるという決定に応じて前記条件が満たされる、請求項1に記載の方法。
4. 前記ブロックサイズは、前記現在のブロックの高さ、幅、または前記高さと幅の平均に従って決定される、請求項3に記載の方法。
5. 前記イントラ予測を実行する符号化ツールが前記広角モードをサポートするかどうかを決定するステップ、および
   前記符号化ツールが前記広角モードをサポートしないという前記決定に応じて、前記角度予測モードを、前記広角モードから、前記現在のブロックの左下斜め方向と右上斜め方向にまたがる方向の範囲に含まれるイントラ予測モードに変更するステップ
   をさらに含む、請求項1に記載の方法。
6. 前記角度予測モードは、前記広角モードの方向と反対の方向を有する方向の範囲でイントラ予測モードに変更され、前記変更されたイントラ予測モードは、前記広角モードから180度である、請求項5に記載の方法。
7. 前記角度予測モードは、前記広角モードに最も近い方向の範囲でイントラ予測モードに変更される、請求項5に記載の方法。
8. 前記符号化ツールは、位置依存予測結合（PDPC）、適応多重変換（AMT）、非分離可能二次変換（NSST）、および予測依存変換を含む符号化ツールのグループから選択される、請求項5に記載の方法。
9. ビデオ復号のためのビデオデコーダであって、
   処理回路を含み、前記処理回路は、
   非正方形ブロックである現在のブロックについて、前記現在のブロックの角度イントラ予測モードが、前記現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定し、
   前記角度イントラ予測モードが前記広角モードであるとの決定に応じて、前記現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定し、
   前記条件が満たされているとの決定に応じて、前記現在のブロックに隣接する前記ブロックに前記イントラ平滑化フィルタを適用し、
   前記フィルタリングされたブロックに基づいてイントラ予測を実行して、前記現在のブロックの特性値を取得する
   ように構成される、ビデオデコーダ。
10. 前記条件は、ブロックサイズに関係なく、前記イントラ平滑化フィルタが適用されることを示す、請求項9に記載のビデオデコーダ。
11. 前記非正方形ブロックのブロックサイズがブロックサイズ閾値以上であるという決定に応じて前記条件が満たされる、請求項9に記載のビデオデコーダ。
12. 前記ブロックサイズは、前記現在のブロックの高さ、幅、または前記高さと幅の平均に従って決定される、請求項11に記載のビデオデコーダ。
13. 前記処理回路は、
    前記イントラ予測を実行する符号化ツールが前記広角モードをサポートするかどうかを決定し、
    前記符号化ツールが前記広角モードをサポートしないという前記決定に応じて、前記角度予測モードを、前記広角モードから、前記現在のブロックの左下斜め方向と右上斜め方向にまたがる方向の範囲に含まれるイントラ予測モードに変更する
    ようにさらに設定される、請求項9に記載のビデオデコーダ。
14. 前記角度予測モードは、前記広角モードの方向と反対の方向を有する方向の範囲でイントラ予測モードに変更され、前記変更されたイントラ予測モードは、前記広角モードから180度である、請求項13に記載のビデオデコーダ。
15. 前記角度予測モードは、前記広角モードに最も近い方向の範囲でイントラ予測モードに変更される、請求項14に記載のビデオデコーダ。
16. 前記符号化ツールは、位置依存予測結合（PDPC）、適応多重変換（AMT）、非分離可能二次変換（NSST）、および予測依存変換を含む符号化ツールのグループから選択される、請求項14に記載のビデオデコーダ。
17. その中に格納された命令を含む非一時的なコンピュータ可読媒体であって、前記命令は、ビデオ復号装置内のプロセッサによって実行されると前記プロセッサに方法を実行させ、前記方法は、
    非正方形ブロックである現在のブロックについて、前記現在のブロックの角度イントラ予測モードが、前記現在のブロックの左下の斜め方向と右上の斜め方向にまたがる方向の範囲外の方向の広角モードであるかどうかを決定するステップ、
    前記角度イントラ予測モードが前記広角モードであるとの決定に応じて、前記現在のブロックに隣接するブロックにイントラ平滑化フィルタを適用するための条件が満たされているかどうかを決定するステップ、
    前記条件が満たされているとの決定に応じて、前記現在のブロックに隣接する前記ブロックに前記イントラ平滑化フィルタを適用するステップ、および
    前記フィルタリングされたブロックに基づいてイントラ予測を実行し、前記現在のブロックの特性値を取得するステップ
    を含む、非一時的なコンピュータ可読媒体。

Images