JP2022553444A - 映像データをデコードするための方法、電子デバイス、非一時的なコンピュータ可読記憶媒体およびコンピュータプログラム - Google Patents

Abstract

本出願は、映像フレーム内の複数のピクセルの複数の輝度成分を含む映像データをデコードすることを目的としている。複数のピクセルは符号化ブロックに属するとともに符号化ブロックの内部に位置付けられ且つ符号化ブロックの境界に直接に隣る境界ピクセルを含む。境界ピクセルの１つまたは複数の隣接ピクセルが符号化ブロックの外部にあり、利用できないと決定される。境界ピクセルに対応する輝度成分が、１つまたは複数の隣接ピクセルの各ピクセルに対応する輝度成分に割り当てられる。境界輝度成分は、事前定義された輝度補間スキームに従って少なくとも１つまたは複数の隣接ピクセル及び境界ピクセルの輝度成分に基づいて決定される。境界彩度成分は、線形マッピングモデルに従って境界輝度成分から転換される。

Description

関連出願の相互参照
本出願は、２０１９年１２月３０日に出願の“Ｓｉｍｐｌｉｆｉｃａｔｉｏｎｓ ｏｆＣｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｍｏｄｅｌ”と題されたＵＳ仮出願番号第６２/９５５,３４８の利益を主張し、その全内容は参照により本明細書に援用される。

本出願は、一般に、映像データ符号化および圧縮に関連し、特に、映像データのビットストリームにおける映像フレームの彩度サンプル及び輝度サンプルの符号化についての改善の方法およびシステムに関連する。

デジタル映像は、デジタルテレビ、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、映像ゲームコンソール、スマートフォン、映像電話会議デバイス、映像ストリーミングデバイスなどの様々な電子デバイスによってサポートされている。電子デバイスは、ＭＰＥＧ-４、ＩＴＵ-ＴＨ.２６３、ＩＴＵ-ＴＨ.２６４/ＭＰＥＧ-４、パート１０、高度映像符号化(ＡＤＶＡＮＣＥＤ Ｖｉｄｅｏ Ｃｏｄｉｎｇ)（ＡＶＣ）、高効率映像符号化（ＨＩＧＨ ＥＦＦＩＣＩＥＮＣＹ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＨＥＶＣ）、および汎用映像符号化（ＶＥＲＳＡＴＩＬＥ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＶＶＣ）標準で定義されている映像圧縮/解凍標準を実行することにより、デジタル映像データを送信し、受信し、エンコードし、デコードし、および/または記憶する。映像圧縮は、通常、空間（フレーム内）予測および／または時間（フレーム間）予測を実行して映像データに固有の冗長性を低減または削除することを含む。ブロックベースの映像符号化の場合、映像フレームは１つまたは複数のスライスに分割され、各スライスには複数の映像ブロックがあり、これらは符号化木ユニット（ＣＴＵ）とも呼ばれてもよい。各ＣＴＵは、１つの符号化ユニット（ＣＵ）を含有し、又は事前定義された最小ＣＵサイズに達するまで再帰的により小さいＣＵに分割されてもよい。各ＣＵ（葉ＣＵとも呼ばれる）は、１つまたは複数の変換ユニット（ＴＵ）を含有し、各ＣＵは１つまたは複数の予測ユニット（ＰＵ）も含有する。各ＣＵは、イントラ、インター、またはＩＢＣモードのいずれかで符号化されてもよい。映像フレームのイントラ符号化された（Ｉ）スライス内の映像ブロックは、同じ映像フレーム内の隣接するブロックにおける参照サンプルに関して空間予測を使用しエンコードされる。映像フレームのインター符号化された（ＰまたはＢ）スライス内の映像ブロックは、同じ映像フレームにおける隣接するブロック内の参照サンプルに関して空間予測を使用し、または他の以前および/または将来の参照映像フレーム内の参照サンプルに関して時間予測を使用してもよい。

先にエンコードされた参照ブロック、例えば、隣接するブロックに基づく空間または時間予測は、符号化される当前の映像ブロックための予測ブロックをもたらす。参照ブロックを見つける処理は、ブロックマッチングアルゴリズムによって実行されてもよい。符号化される当前のブロックと予測ブロックの間のピクセル差を表現する残差データは、残差ブロックまたは予測誤差と呼ばれる。インター符号化されたブロックは、予測ブロックを形成する参照フレーム内の参照ブロックを指す動きベクトルと残差ブロックに従ってエンコードされる。動きベクトルを決定する処理は、通常、動き推定と呼ばれる。イントラ符号化されたブロックは、イントラ予測モードと残差ブロックに従ってエンコードされる。さらなる圧縮のために、残差ブロックは、ピクセルドメインから変換ドメイン、例えば、周波数ドメインに変換され、残差変換係数が得られ、これらは次に量子化されてもよい。最初に２次元アレイに配置された量子化された変換係数がスキャンされて変換係数の１次元ベクトルが生成され、次に映像ビットストリームになるようにエントロピーエンコードされ、更なる圧縮が実現され得る。

次に、エンコードされた映像ビットストリームは、コンピュータ可読記憶媒体（例えば、フラッシュメモリ）に保存されてデジタル映像機能を備えた他の電子デバイスによってアクセスされ、または有線或いは無線で電子デバイスに直接送信される。次に、電子デバイスは、例えば、エンコードされた映像ビットストリームを解析してビットストリームからシンタックス要素を取得し且つビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてエンコードされた映像ビットストリームからデジタル映像データをその元のフォーマットに再構築することによって、映像解凍（上記の映像圧縮とは相反の処理）を実行し、再構築されたデジタル映像データを電子デバイスのディスプレイにレンダーする。

成分間予測モードは、映像ビットストリームの輝度サンプルと彩度サンプルとの間の成分間冗長性を低減するために適用される。具体的には、予測モデルでは、輝度サンプルがダウンサンプリングされ、彩度サンプルを予測するために使用される。ただし、映像フレームの一部の位置では輝度サンプルが利用できず、これらの位置の近くでダウンサンプリングされた輝度サンプルを生成するために異なるダウンサンプリングフィルタが使用されている。異なるダウンサンプリングフィルタの適用は、並列画像処理と互換性がなく、映像ビットストリームの処理速度にボトルネックを引き起こす可能性がある。現在の実践よりも効率的な成分間予測メカニズムを持つことは有益である。

本出願は、映像データエンコーディングおよびデコーディング、より具体的には、映像データのビットストリームにおける映像フレームの彩度および輝度サンプルの符号化についての改善の方法およびシステムに関連する実行を説明する。サンプルパディングは、輝度サンプルに適用され、輝度ダウンサンプリング処理により使用される利用できない輝度サンプルを生成する。利用できないサンプルは、映像フレームまたは画像スライスの外部にあり、或いはまだ符号化されておらず後で符号化される可能性がある。これらの利用できないサンプルは、重複のパディングまたはミラーパディングによって選択的に生成される。そのため、同じダウンサンプリングフィルタを使用して映像フレーム全体にわたって全てのダウンサンプリングされる輝度サンプルを生成することができ、これで並列映像処理が可能になり、映像データビットストリームの対応の映像処理速度を向上させる。

本出願の１つの態様では、映像データをデコードするための方法が電子デバイスで実行される。当該方法は、ビットストリームから、映像フレーム内の複数のピクセルのための複数の輝度サンプルを取得することを含む。複数のピクセルは、符号化ブロックに属するとともに境界ピクセルを含み、境界ピクセルは符号化ブロック内にあり、符号化ブロックの境界に直接に隣る。当該方法はさらに、境界ピクセルの１つまたは複数の隣接ピクセルが利用できないことを決定することと、境界ピクセルに対応する輝度サンプルを１つまたは複数の隣接ピクセルの各ピクセルに対応する輝度サンプルに割り当てることと、事前定義された輝度補間スキームに従って少なくとも１つまたは複数の隣接ピクセル及び境界ピクセルの輝度サンプルに基づいて境界輝度サンプルを決定することと、を含む。１つまたは複数の隣接ピクセルの各ピクセルが符号化ブロックの外部にある。当該方法は、線形マッピングモデルに従って境界輝度サンプルから境界彩度サンプルを決定することをさらに含む。いくつかの実施例では、境界ピクセルの１つまたは複数の隣接ピクセルは、映像フレームまたは画像スライスの外部にある。あるいは、いくつかの実施例では、境界ピクセルの１つまたは複数の隣接ピクセルはまだ符号化されておらず、符号化ブロックに続いて符号化される。

本出願の別の態様によれば、電子デバイスは、１つまたは複数の処理ユニット、メモリ、およびメモリに記憶された複数のプログラムを含む。プログラムは、１つまたは複数の処理ユニットによって実行されると、電子装置に、上記のように映像データをデコードする方法を実行させる。

もう１つの態様によれば、非一時的なコンピュータ可読記憶媒体は、１つまたは複数の処理ユニットを有する電子デバイスによって実行するための複数のプログラムを記憶する。プログラムは、１つまたは複数の処理ユニットによって実行されると、電子デバイスに、上記のように映像データをデコードする方法を実行させる。

実行のさらなる理解を提供するために本明細書に含まれ、且つ本明細書の一部に組み込まれ、かつ本明細書の一部を構成する添付図面は、説明された実行を示し、説明とともに、基礎となる原理を解釈するのに役立つ。同じ参照番号は対応の部分を参照する。

図１は、本開示のいくつかの実行による例示的な映像エンコーディングおよびデコーディングシステムを示すブロック図である。 図２は、本開示のいくつかの実行による例示的な映像エンコーダを示すブロック図である。 図３は、本開示のいくつかの実行による例示的な映像デコーダを示すブロック図である。 図４Ａは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｂは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｃは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｄは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図４Ｅは、本開示のいくつかの実行に従って、フレームが異なるサイズおよび形状の複数の映像ブロックに再帰的に分割される方式を示すブロック図である。 図５は、いくつかの実施例に従って、ビットストリームの映像フレームの符号化ブロックの輝度サンプルから彩度サンプルを得る処理を示す。 図６Ａは、いくつかの実施例に従って４つの例の符号化ブロックであって、各符号化ブロックは、複数の彩度サンプルに転換されるべき複数の輝度サンプルを含む。 図６Ｂは、いくつかの実施例に従って４つの例の符号化ブロックであって、各符号化ブロックは、複数の彩度サンプルに転換されるべき複数の輝度サンプルを含む。 図６Ｃは、いくつかの実施例に従って４つの例の符号化ブロックであって、各符号化ブロックは、複数の彩度サンプルに転換されるべき複数の輝度サンプルを含む。 図６Ｄは、いくつかの実施例に従って４つの例の符号化ブロックであって、各符号化ブロックは、複数の彩度サンプルに転換されるべき複数の輝度サンプルを含む。 図７は、いくつかの実施例に従って、電子デバイスで実行される映像データデコーディング方法のフローチャートである。

参照番号が、例示的実施形態の詳細に付与され、その例が添付の図面に示されている。以下の詳細な説明では、本明細書に提示される主題を理解するのを助けるために、多くの非限定的な特定の詳細が示される。しかし、当業者には、特許請求の範囲から逸脱することなく様々な代替案を使用することができ、主題はこれらの特定の詳細なしで実行することができることが明らかである。例えば、ここで提示される主題が、デジタル映像機能を備えた多くのタイプの電子デバイスに実行され得ることは、当業者には明らかである。

図１は、本開示のいくつかの実行に従って、映像ブロックを並列にエンコードおよびデコードするための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、宛先デバイス１４によって後でデコードされるべき映像データを生成およびエンコードするソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む任意の多種多様な電子デバイスを含んでもよい。いくつかの実行では、ソースデバイス１２および宛先デバイス１４は、無線通信機能を備えている。

いくつかの実行では、宛先デバイス１４は、リンク１６を介してデコードされるべきエンコードされた映像データを受信することができる。リンク１６は、エンコードされた映像データをソースデバイス１２から宛先デバイス１４に移動できる任意のタイプの通信媒体またはデバイスを含んでもよい。一例では、リンク１６は、ソースデバイス１２がエンコードされた映像データを宛先１４にリアルタイムで直接送信することを可能にする通信媒体を含んでもよい。エンコードされた映像データは、無線通信プロトコルなどの通信標準に従って変調され、宛先デバイス１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理的な送信ラインなどの任意の無線または有線通信媒体を含んでもよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワークなどのパケットベースのネットワーク、またはインターネットなどのグローバルネットワークの一部を形成することができる。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を容易にするのに役立つ可能性がある他の任意の機器を含んでもよい。

いくつかの他の実行では、エンコードされた映像データは、出力インターフェース２２から記憶デバイス３２に送信されてもよい。続いて、記憶デバイス３２内のエンコードされた映像データは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてもよい。記憶デバイス３２は、ハードドライブ、Ｂｌｕ-ｒaｙ（登録商標）ディスク、ＤＶＤ、ＣＤ-ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、またはエンコードされた映像データを記憶するための任意の他の適切なデジタル記憶媒体などの任意のさまざまな分散型またはローカルアクセス型のデータ記憶媒体を含んでもよい。さらなる例では、記憶デバイス３２は、ソースデバイス１２によって生成されたエンコードされた映像データを保持できるファイルサーバまたは別の中間記憶デバイスに対応し得る。宛先デバイス１４は、ストリーミングまたはダウンロードを介して記憶デバイス３２から記憶された映像データにアクセスし得る。ファイルサーバーは、エンコードされた映像データを記憶しエンコードされた映像データを宛先デバイス１４に送信することができる任意のタイプのコンピュータでもよい。例示的なファイルサーバーには、ウェブサーバー（例えば、ウェブサイト用）、ＦＴＰサーバー、ネットワーク接続記憶（ＮＡＳ）デバイス、またはローカルディスクドライブが含まれる。宛先デバイス１４は、無線チャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、またはその両方の、ファイルサーバーに記憶されるエンコードされた映像データにアクセスするのに適す組み合わせを含む任意の標準データ接続を介してエンコードされた映像データにアクセスすることができる。記憶デバイス３２からのエンコードされた映像データの送信は、ストリーミング送信、ダウンロード送信、またはその両方の組み合わせでもよい。

図１に示されるように、ソースデバイス１２は、映像ソース１８、映像エンコーダ２０、および出力インターフェース２２を含む。映像ソース１８は、映像キャプチャデバイス（例えば、映像カメラ）、前にキャプチャされた映像を含有する映像アーカイブ、映像コンテンツプロバイダーから映像を受信するための映像フィードインターフェイス、および/またはソース映像としてコンピューターグラフィックスデータを生成するためのコンピューターグラフィックスシステム、またはそのようなソースの組み合わせなどのソースを含んでもよい。一例として、映像ソース１８がセキュリティ監視システムの映像カメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラ電話または映像電話を形成し得る。しかしながら、本出願で説明される実行は、一般に映像符号化に適用可能であり、そして無線および／または有線アプリケーションに適用されることができる。

キャプチャされた、事前にキャプチャされた、またはコンピュータで生成された映像は、映像エンコーダ２０によってエンコードされてもよい。エンコードされた映像データは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接送信されてもよい。エンコードされた映像データは、（または代わりに）記憶デバイス３２に記憶された後で宛先デバイス１４または他のデバイスによってアクセスされ、デコーディングおよび／または再生のために用いられてもよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでもよい。

宛先デバイス１４は、入力インターフェース２８、映像デコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介してエンコードされた映像データを受信することができる。リンク１６を介して通信されるまたは記憶デバイス３２上に提供されるエンコードされた映像データは、映像データをデコードする際に映像デコーダ３０によって使用されるために映像エンコーダ２０によって生成される様々なシンタックス要素を含んでもよい。そのようなシンタックス要素は、通信媒体で送信され、記憶媒体に記憶され、またはファイルサーバーに記憶されるエンコードされた映像データ内に含まれ得る。

いくつかの実行では、宛先デバイス１４は、統合ディスプレイデバイスおよび宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであるディスプレイデバイス３４を含んでもよい。ディスプレイデバイス３４は、デコードされた映像データをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの任意の様々なディスプレイデバイスを含んでもよい。

映像エンコーダ２０および映像デコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、パート１０、高度映像符号化（ＡＶＣ）、またはそのような標準の拡張などの専有または業界標準に従って動作できる。本出願は、特定の映像符号化／デコーディング標準に限定されず、他の映像符号化／デコーディング標準に適用可能であることが了解される。ソースデバイス１２の映像エンコーダ２０は、これらの任意の当前または将来の標準に従って映像データをエンコードするように構成され得ることが一般的に思い及ばれる。同様に、宛先デバイス１４の映像デコーダ３０は、これらの任意の当前または将来の標準に従って映像データをデコードするように構成され得ることも一般的に思い及ばれる。

映像エンコーダ２０および映像デコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなどの任意の様々な適切なエンコーダ回路として実行されてもよい。部分的にソフトウェアに実行される場合、電子デバイスは、ソフトウェアための指令を適切な非一時的なコンピュータ可読媒体に記憶し、１つまたは複数のプロセッサを利用してハードウェアで指令を実行して本開示に開示される映像符号化／デコーディング操作を実行することができる。映像エンコーダ２０および映像デコーダ３０のそれぞれは、１つまたは複数のエンコーダまたはデコーダに含まれ、エンコーダまたはデコーダは、相応のデバイスに組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されてもよい。

図２は、本出願において説明されるいくつかの実行による例示的な映像エンコーダ２０を示すブロック図である。映像エンコーダ２０は、映像フレーム内の映像ブロックのイントラおよびインター予測符号化を実行することができる。イントラ予測符号化は、空間予測に依存して、所与の映像フレームまたはピクチャ内の映像データの空間冗長性を低減または削除する。インター予測符号化は、時間予測に依存して、映像シーケンスの隣る映像フレームまたはピクチャ内の映像データの時間冗長性を低減または削除する。

図２に示されるように、映像エンコーダ２０は、映像データメモリ４０、予測処理ユニット４１、デコードピクチャバッファ（ＤＰＢ）５４、サマー５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピーエンコーディングユニット５６を含む。予測処理ユニット４１は、動き推定ユニット４２、動き補償ユニット４４、分割ユニット４５、イントラ予測処理ユニット４６、およびイントラブロックコピー（ＢＣ）ユニット４８をさらに含む。いくつかの実行では、映像エンコーダ２０は、映像ブロック再構築のために、逆量子化ユニット５８、逆変換処理ユニット５０、およびサマー５２も含む。デプロッキングフィルタ（図示せず）がサマー５２とＤＰＢ５４との間に位し、ブロック境界をフィルタリングしてブロック性アーチファクトを再構築された映像から削除することができる。デブロッキングフィルタに加えて、ループ内フィルタ（図示せず）が使用され、サマー５２の出力をフィルタリングすることもできる。映像エンコーダ２０は、固定またはプログラム可能なハードウェアユニットの形態をとることができ、または１つまたは複数の図解された固定またはプログラム可能なハードウェアユニットにおいて分割されることができる。

映像データメモリ４０は、映像エンコーダ２０の構成要素によってエンコードされるべき映像データを記憶することができる。映像データメモリ４０内の映像データは、例えば、映像ソース１８から取得されてもよい。ＤＰＢ５４は、映像エンコーダ２０によって（例えばイントラまたはインター予測符号化モードで）映像データをエンコードすることに用いられる参照映像データを記憶するバッファである。映像データメモリ４０およびＤＰＢ５４は、任意の様々なメモリデバイスによって形成されてもよい。様々な例において、映像データメモリ４０は、映像エンコーダ２０の他の構成要素とオンチップであり、またはそれらの構成要素に対してオフチップでもよい。

図２に示されるように、映像データを受信した後、予測処理ユニット４１内の分割ユニット４５は、映像データを映像ブロックに分割する。この分割は、映像データに関連付けられた四分木構造などの事前定義された分割構造に従って、映像フレームをスライス、タイル、または他のより大きな符号化ユニット（ＣＵ）に分割することも含んでもよい。映像フレームは、複数の映像ブロック（またはタイルと呼ばれる映像ブロックのセット）に分割されてもよい。予測処理ユニット４１は、エラー結果（例えば、符号化レートと歪みのレベル）に基づき当前の映像ブロックに対して複数の可能な予測符号化モードの１つを選択でき、可能な予測符号化モードは、例えば複数のイントラ予測符号化モードの１つであり、または複数のインター予測符号化モードの１つである。予測処理ユニット４１は、結果として生じたイントラまたはインター予測符号化されたブロックをサマー５０に提供して残差ブロックを生成し、そしてこれをサマー５２に提供して後で参照フレームの一部として使用するためにエンコードされるブロックを再構築することができる。予測処理ユニット４１は、動きベクトル、イントラモードインジケータ、分割情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピーエンコーディングユニット５６にも提供する。

当前の映像ブロックに適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は、符号化されるべき当前のブロックと同じフレーム内の１つまたは複数の隣接ブロックに対する当前の映像ブロックへのイントラ予測符号化を実行して空間予測を提供することができる。予測処理ユニット４１内の動き推定ユニット４２と動き補償ユニット４４は、１つまたは複数の参照フレーム内の１つまたは複数の予測ブロックに対する当前の映像ブロックへのインター予測符号化を実行して時間予測を提供する。映像エンコーダ２０は、映像データの各ブロックに対して複数の符号化パスを実行して、例えば適切な符号化モードを選択することができる。

いくつかの実行では、動き推定ユニット４２は、映像フレームのシーケンス内の所定のパターンに従って動きベクトルを生成することによって当前の映像フレームのためのインター予測モードを決定し、当該動きベクトルは、参照映像フレーム内の予測ブロックに対する当前の映像フレーム内の映像ブロックの予測ユニット（ＰＵ）の変位を指示する。動き推定ユニット４２によって実行される動き推定は、映像ブロックの動きを推定する動きベクトル生成処理である。動きベクトルは、例えば、当前のフレーム（または他の符号化されたユニット）において符号化されている当前のブロックに対する参照フレーム（または他の符号化されたユニット）内の予測ブロックに対する、当前の映像フレームまたはピクチャ内の映像ブロックのＰＵの変位を指示できる。所定のパターンは、シーケンス内の映像フレームをＰフレームまたはＢフレームとして指定することができる。イントラＢＣユニット４８は、インター予測のために動き推定ユニット４２によって動きベクトルを決定するのに似る方式で、イントラＢＣ符号化のために例えばブロックベクトルのベクトルを決定することができ、または動き推定ユニット４２を利用してブロックベクトルを決定することができる。

予測ブロックは、参照フレームの、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又は他の差の計量によって決定され得るピクセル差に関して符号化される映像ブロックのＰＵに厳密にマッチングすると認定されるブロックである。いくつかの実行では、映像エンコーダ２０は、ＤＰＢ５４に記憶された参照フレームのサブ整数ピクセル位置の値を計算することができる。例えば、映像エンコーダ２０は、参照フレームの４分の１ピクセル位置、８分の１ピクセル位置、または他の部分ピクセルの位置の値を補間することができる。したがって、動き推定ユニット４２は、全ピクセル位置および部分ピクセル位置に対して動き検索を実行し、部分ピクセル精度で動きベクトルを出力することができる。

動き推定ユニット４２は、インター予測符号化フレーム内の映像ブロックのＰＵの位置を第１の参照フレームリスト（リスト０）または第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と比べることによって、ＰＵの動きベクトルを計算し、第１の参照フレームリストまたは第２の参照フレームリストはそれぞれ、ＤＰＢ５４に記憶された１つまたは複数の参照フレームを識別する。動き推定ユニット４２は、計算された動きベクトルを動き補償ユニット４４に送り、次にエントロピーエンコーディングユニット５６に送る。

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴うことができる。当前の映像ブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、参照フレームリストの１つにおいて動きベクトルが指す予測ブロックを位置付け、ＤＰＢ５４から予測ブロックを検索し、予測ブロックをサマー５０に転送することができる。次に、サマー５０は、符号化される当前の映像ブロックのピクセル値から動き補償ユニット４４によって提供される予測ブロックのピクセル値を差し引くことにより、ピクセル差値の残差映像ブロックを形成する。残差映像ブロックを形成するピクセル差値は、輝度または彩度差成分、あるいはその両方を含んでもよい。動き補償ユニット４４は、映像フレームの映像ブロックをデコードする際に映像デコーダ３０によって使用されるために、映像フレームの映像ブロックに関連付けられたシンタックス要素を生成することもできる。シンタックス要素は、例えば、予測ブロックを識別することに使用される動きベクトルを定義するシンタックス要素、予測モードを指示する任意のフラグ、または本明細書で説明される任意の他のシンタックス情報を含んでもよい。動き推定ユニット４２と動き補償ユニット４４は高度に統合され得るが、概念的な目的のために別々に示されることに留意されたい。

いくつかの実行では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４に関連して上記と似る方式でベクトルを生成し、予測ブロックをフェッチすることができるが、予測ブロックは、符号化される当前のブロックと同じフレームにあり、そしてベクトルは動きベクトルに相反しブロックベクトルと呼ばれる。特に、イントラＢＣユニット４８は、イントラ予測モードを決定して当前のブロックをエンコードするために使用することができる。いくつかの例では、イントラＢＣユニット４８は、例えば、別個のエンコーディングパス中に、様々なイントラ予測モードを使用して当前のブロックをエンコードし、レート歪み分析を通じてそれらの性能をテストすることができる。次に、イントラＢＣユニット４８は、様々なテストされたイントラ予測モードの中から、使用する適切なイントラ予測モードを選択し、それに応じてイントラモードインジケータを生成することができる。例えば、イントラＢＣユニット４８は、様々なテストされたイントラ予測モードのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを、使用する適切なイントラ予測モードとして選択することができる。レート歪み分析は、一般に、エンコードされたブロックと、エンコードされるブロックを生成するためにエンコードされた元のエンコードされていないブロックとの間の歪み（またはエラー）の量、およびエンコードされるブロックを生成するために使用するビットレート（即ちビットの数量）を決定する。イントラＢＣユニット４８は、様々なエンコードされたブロックに対して歪みおよびレートから比率を計算して、どのイントラ予測モードがブロックに対する最良のレート歪み値を示すかを決定することができる。

他の例では、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４を全体的または部分的に使用して、本明細書に記載の実行によるイントラＢＣ予測のためのそのようなモデルを実行することができる。いずれの場合でも、イントラブロックコピーの場合、予測ブロックは、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又は他の差の計量によって決定され得るピクセル差に関して符号化されるブロックに厳密にマッチングすると認定されるブロックであり、予測ブロックの識別は、サブ整数ピクセル位置の値の計算を含んでもよい。

予測ブロックがイントラ予測による同じフレームからのものであるか、またはインター予測による異なるフレームからのものであるかにかかわらず、映像エンコーダ２０は、符号化される当前の映像ブロックのピクセル値から予測ブロックのピクセル値を差し引き、ピクセル値差を形成することにより残差映像ブロックを形成することができる。残差映像ブロックを形成するピクセル差値は、輝度成分の差と彩度成分の差との両方を含んでもよい。

イントラ予測処理ユニット４６は、動き推定ユニット４２および動き補償ユニット４４によって実行されるインター予測、またはイントラＢＣユニット４８によって実行されるイントラブロックコピー予測の代替として、上記のように当前の映像ブロックをイントラ予測することができる。特に、イントラ予測処理ユニット４６は、当前のブロックをエンコードするために使用するイントラ予測モードを決定することができる。そうするために、イントラ予測処理ユニット４６は、例えば、別個のエンコーディングパス中に、様々なイントラ予測モードを使用して当前のブロックをエンコードすることができ、イントラ予測処理ユニット４６（または、いくつかの例では、モード選択ユニット）は、テストされたイントラ予測モードから、使用する適切なイントラ予測モードを選択することができる。イントラ予測処理ユニット４６は、ブロックに対して選択されたイントラ予測モードを指示する情報をエントロピーエンコーディングユニット５６に提供することができる。エントロピーエンコーディングユニット５６は、ビットストリームにおいて選択されたイントラ予測モードを指示する情報をエンコードすることができる。

予測処理ユニット４１が、インター予測またはイントラ予測のいずれかを介して当前の映像ブロックの予測ブロックを決定した後、サマー５０は、当前の映像ブロックから予測ブロックを差し引くことによって残差映像ブロックを形成する。残差ブロック内の残差映像データは、１つまたは複数の変換ユニット（ＴＵ）に含まれることができ、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散余弦変換（ＤＣＴ）または概念的に類似する変換などの変換を使用して、残差映像データを残差変換係数に変換する。

変換処理ユニット５２は、結果として生じる変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、変換係数を量子化して、ビットレートをさらに低減する。量子化処理は、係数の一部またはすべてに関連付けられたビット深度を低減することもできる。量子化の程度は、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット５４は、次に、量子化された変換係数を含むマトリックスのスキャンを実行することができる。あるいは、エントロピーエンコーディングユニット５６は、スキャンを実行することができる。

量子化に続いて、エントロピーエンコーディングユニット５６は、例えば、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応二値算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応二値算術符号化（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）符号化、または別のエントロピーエンコーディングの方法または技術を使用して、量子化された変換係数を映像ビットストリームにエントロピーエンコードする。エンコードされたビットストリームは、次に、映像デコーダ３０に送信され、または後で映像デコーダ３０に送信または回復されるために記憶デバイス３２にアーカイブされることができる。エントロピーエンコーディングユニット５６は、符号化される当前の映像フレームの動きベクトルおよび他のシンタックス要素をエントロピーエンコードすることもできる。

逆量子化ユニット５８および逆変換処理ユニット５０は、それぞれ逆量子化および逆変換を適用して、他の映像ブロックの予測のための参照ブロックを生成するために、ピクセルドメインにおいて残差映像ブロックを再構築する。上記のように、動き補償ユニット４４は、ＤＰＢ５４に記憶されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。動き補償ユニット４４は、１つまたは複数の補間フィルタを予測ブロックに適用して、動き推定で使用するサブ整数ピクセル値を計算することができる。

サマー５２は、再構築された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ５４に記憶するための参照ブロックを生成する。参照ブロックは、次に、予測ブロックとしてイントラＢＣユニット４８、動き推定ユニット４２、および動き補償ユニット４４によって使用されて、後続の映像フレーム内の別の映像ブロックをインター予測することができる。

図３は、本出願のいくつかの実行による例示的な映像デコーダ３０を示すブロック図である。映像デコーダ３０は、映像データメモリ６９、エントロピーデコーディングユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、サマー９０、およびＤＰＢ９２を含む。予測処理ユニット８１は、動き補償ユニット８２、イントラ予測処理ユニット８４、イントラＢＣニット８５をさらに含む。映像デコーダ３０は、図２に関連して映像エンコーダ２０に関して前に記述されたエンコーディング処理に概ね逆行するデコーディング処理を実行することができる。例えば、動き補償ユニット８２は、エントロピーデコーディングユニット８０から受信した動きベクトルに基づいて予測データを生成でき、一方、イントラ予測ユニット８４は、エントロピーデコーディングユニット８０から受信したイントラ予測モードインジケータに基づいて予測データを生成できる。

いくつかの例では、映像デコーダ３０のユニットは、本出願の実現を実行するように任務を課されてもよい。また、いくつかの例では、本開示の実行は、映像デコーダ３０の１つまたは複数のユニットに分割されてもよい。例えば、イントラＢＣユニット８５は、本出願の実現を、単独で、または動き補償ユニット８２、イントラ予測処理ユニット８４、およびエントロピーデコーディングユニット８０などの映像デコーダ３０の他のユニットとの組合せで、実行できる。いくつかの例では、映像デコーダ３０は、イントラＢＣユニット８５を含まなくてもよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２などの予測処理ユニット８１の他の構成要素によって実行されてもよい。

映像データメモリ６９は、映像デコーダ３０の他の構成要素によってデコードされる、エンコードされた映像ビットストリームなどの映像データを記憶することができる。映像データメモリ６９に記憶される映像データは、例えば、記憶デバイス３２から取得されてもよく、映像データの有線または無線ネットワーク通信を介してカメラなどのローカル映像ソースから取得されてもよく、または物理データ記憶媒体（例えばフラッシュドライブやハードディスク）にアクセスすることによって取得されてもよい。映像データメモリ６９は、エンコードされた映像ビットストリームからのエンコードされた映像データを記憶する符号化ピクチャバッファ（ＣＰＢ）を含んでもよい。映像デコーダ３０のデコードピクチャバッファ（ＤＰＢ）９２は、映像デコーダ３０による映像データへのデコーディング（例えば、イントラまたはインター予測符号化モードで）において使用するための参照映像データを記憶する。映像データメモリ６９およびＤＰＢ９２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（同期ＤＲＡＭ（ＳＤＲＡＭ）を含む）、磁気抵抗性ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなどの任意の様々なメモリデバイスによって形成されてもよい。説明のために、映像データメモリ６９およびＤＰＢ９２は、図３において、映像デコーダ３０の２つの別個の構成要素として示される。しかし、当業者にとって、映像データメモリ６９およびＤＰＢ９２が同じメモリデバイスまたは別個のメモリデバイスによって提供され得ることが明らかである。いくつかの例では、映像データメモリ６９は、映像デコーダ３０の他の構成要素とオンチップであり、またはそれらの構成要素に対してオフチップであることができる。

デコーディング処理中に、映像デコーダ３０は、エンコードされた映像フレームの映像ブロックおよび関連付けられたシンタックス要素を表現するエンコードされた映像ビットストリームを受信する。映像デコーダ３０は、映像フレームレベルおよび／または映像ブロックレベルでシンタックス要素を受信することができる。映像デコーダ３０のエントロピーデコーディングユニット８０は、ビットストリームをエントロピーデコードして、量子化係数、動きベクトルまたはイントラ予測モードインジケータ、および他のシンタックス要素を生成する。エントロピーデコーディングユニット８０は、次に、動きベクトルおよび他のシンタックス要素を予測処理ユニット８１に転送する。

映像フレームがイントラ予測符号化（Ｉ）フレームとして符号化され、または他のタイプのフレームにおけるイントラ符号化予測ブロックのために符号化される場合、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モード及び当前のフレームの前にデコードされたブロックからの参照データに基づき、当前の映像フレームの映像ブロックの予測データを生成できる。

映像フレームがインター予測符号化（すなわち、ＢまたはＰ）フレームとして符号化される場合、予測処理ユニット８１の動き補償ユニット８２は、エントロピーデコーディングユニット８０から受信した動きベクトルおよび他のシンタックス要素に基づいて、当前の映像フレームの映像ブロックための１つまたは複数の予測ブロックを生成する。各予測ブロックは、参照フレームリストの１つ内の参照フレームから生成されてもよい。映像デコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づきデフォルトの構築技術を使用して、参照フレームリスト、リスト０およびリスト１を構築することができる。

いくつかの例では、映像ブロックが本明細書に記載のイントラＢＣモードに従って符号化される場合、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピーデコーディングユニット８０から受信したブロックベクトルおよび他のシンタックス要素に基づいて当前の映像ブロックの予測ブロックを生成する。予測ブロックは、映像エンコーダ２０によって定義された当前の映像ブロックと同じピクチャの再構築された領域内にあってもよい。

動き補償ユニット８２および／またはイントラＢＣユニット８５は、動きベクトルおよび他のシンタックス要素を解析することによって当前の映像フレームの映像ブロックの予測情報を決定し、次に予測情報を使用して、デコードされている当前の映像ブロックの予測ブロックを生成する。例えば、動き補償ユニット８２は、受信したシンタックス要素のいくつかを使用して、映像フレームの映像ブロックを符号化するために使用する予測モード（例えば、イントラまたはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、フレームの１つまたは複数の参照フレームリストの構築情報、フレームの各インター予測エンコードされた映像ブロックの動きベクトル、フレームの各インター予測符号化された映像ブロックのインター予測ステータス、および他の情報を決定して、当前の映像フレームにおける映像ブロックをデコードする。

同様に、イントラＢＣユニット８５は、受信したシンタックス要素のいくつか、例えばフラグを使用して、当前の映像ブロックがイントラＢＣモードを使用して予測されたこと、フレームのどちらの映像ブロックが再構築領域にあってＤＰＢ９２に記憶されるかの構築情報、フレームの各イントラＢＣ予測映像ブロックのブロックベクトル、フレームの各イントラＢＣ予測映像ブロックのイントラＢＣ予測ステータス、および他の情報を決定して、当前の映像フレームにおける映像ブロックをデコードする。

動き補償ユニット８２は、映像ブロックのエンコーディング中に映像エンコーダ２０によって使用される補間フィルタを使用して補間を実行して、参照ブロックのサブ整数ピクセルのための補間値を計算することもできる。この場合、動き補償ユニット８２は、受信したシンタックス要素から映像エンコーダ２０によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。

逆量子化ユニット８６は、量子化の程度を決定するために映像エンコーダ２０により映像フレーム内の映像ブロックごとに計算されたものと同じ量子化パラメータを使用して、ビットストリームで提供されるかつエントロピーデコーディングユニット８０によってエントロピーデコードされる量子化変換係数を逆量子化する。逆変換処理ユニット８８は、ピクセルドメインにおいて残差ブロックを再構築するために、逆変換（例えば、逆ＤＣＴ、逆整数変換、または概念的に類似した逆変換処理）を変換係数に適用する。

動き補償ユニット８２またはイントラＢＣユニット８５が、ベクトルおよび他のシンタックス要素に基づいて当前の映像ブロックの予測ブロックを生成した後、サマー９０は、逆変換処理ユニット８８からの残差ブロックと動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応の予測ブロックとを合計することによって、当前の映像ブロックのデコードされた映像ブロックを再構築する。ループ内フィルタ（図示せず）は、サマー９０とＤＰＢ９２との間に位置して、デコードされた映像ブロックをさらに処理することができる。所与のフレームにおけるデコードされた映像ブロックが次にＤＰＢ９２に記憶され、ＤＰＢ９２は、次の映像ブロックの後続の動き補償に使用される参照フレームを記憶する。ＤＰＢ９２、またはＤＰＢ９２とは別のメモリデバイスは、後で図１のディスプレイデバイス３４などのディスプレイデバイスの上で提示されるために、デコードされた映像を記憶することもできる。

典型的な映像符号化処理では、映像シーケンスは、典型的には、順序付けられたフレームまたはピクチャのセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒで表示される３つのサンプルアレイを含むことができる。ＳＬは、輝度サンプルの２次元アレイである。ＳＣｂは、Ｃｂ彩度サンプルの２次元アレイである。ＳＣｒは、Ｃｒ彩度サンプルの２次元アレイである。他の例では、フレームは単彩度（ｍｏｎｏｃｈｒｏｍｅ）でもよく、したがって、輝度サンプルの１つの２次元アレイのみを含む。

図４Ａに示されるように、映像エンコーダ２０（またはより具体的には分割ユニット４５）は、最初にフレームを一組の符号化木ユニット（ＣＴＵ）に分割することによってフレームのエンコードされた表現を生成する。映像フレームは、左から右、そして上から下にラスタースキャンの順序で連続して並べられた整数個のＣＴＵを含むことができる。各ＣＴＵは最大の論理符号化ユニットであり、ＣＴＵの幅さおよび高さは、映像シーケンス内のすべてのＣＴＵが１２８×１２８、５４×６４、３２×３２、および１６×１６の１つである同じサイズを有するように、シーケンスパラメータセットで映像エンコーダ２０によってシグナリングされる。しかしながら、本出願は必ずしも特定のサイズに限定されないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、１つの輝度サンプルの符号化木ブロック（ＣＴＢ）、２つの彩度サンプルの対応の符号化木ブロック、および符号化木ブロックのサンプルを符号化するために使用されるシンタックス要素を含んでもよい。シンタックス要素は、ピクセルの符号化ブロックの異なるタイプのユニットのプロパティ、および如何にして映像デコーダ３０で映像シーケンスを再構築できるかを記述し、インターまたはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む。単彩度ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一の符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用されるシンタックス要素とを含んでもよい。符号化木ブロックは、サンプルのＮ×Ｎブロックでもよい。

より良い性能を実現するために、映像エンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木分割、三分木分割、四分木分割、または前記の任意の組み合わせなどの木分割を再帰的に実行し、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割することができる。図４Ｃに示されるように、５４×６４ＣＴＵ４００は最初に４つのより小さいＣＵに分割され、各より小さいＣＵは３２×３２のブロックサイズを有する。４つのより小さいＣＵの中で、ＣＵ４１０とＣＵ４２０は、それぞれ４つの１６×１６ブロックサイズのＣＵに分割される。２つの１６×１６ＣＵ４３０および４４０は、それぞれ４つの８×８ブロックサイズのＣＵにさらに分割される。図４Ｄは、図４Ｃに示されるようなＣＴＵ４００の分割処理の最終結果を示す四分木データ構造を示し、四分木の各葉ノードは、３２×３２から８×８の範囲の相応のサイズの１つのＣＵに対応する。図４Ｂに示されるＣＴＵに類似し、各ＣＵは、輝度サンプルの符号化ブロック（ＣＢ）と、２つの同じサイズのフレームの彩度サンプルの対応の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用されるシンタックス要素とを含んでもよい。単彩度ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用されるシンタックス構造とを含んでもよい。図４Ｃおよび４Ｄに示される四分木分割は説明のみを目的としており、１つのＣＴＵを複数のＣＵに分割して、四分木/三分木/二分木分割に基づいてさまざまなローカル特性に適応させることができることに留意されたい。マルチタイプ木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木葉ＣＵは、二分木および三分木構造によってさらに分割されてもよい。図４Ｅに示されるように、即ち四分割、水平二分割、垂直二分割、水平三分割、垂直三分割の５つの分割タイプがある。

いくつかの実行では、映像エンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭ×Ｎ予測ブロック（ＰＢ）にさらに分割することができる。予測ブロックは、同じ予測（インターまたはイントラ）が適用される長方形（正方形または非正方形）のサンプルのブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロック、２つの彩度サンプルの対応の予測ブロック、および予測ブロックを予測するために使用されるシンタックス要素を含んでもよい。単彩度ピクチャまたは３つの別個の色平面を有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックを予測するために使用されるシンタックス構造とを含んでもよい。映像エンコーダ２０は、ＣＵの各ＰＵの輝度、ＣｂおよびＣｒ予測ブロックのための予測の輝度、Ｃｂ、およびＣｒブロックを生成することができる。

映像エンコーダ２０は、イントラ予測またはインター予測を使用して、ＰＵの予測ブロックを生成することができる。映像エンコーダ２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合、映像エンコーダ２０は、ＰＵに関連付けられたフレームのデコードされたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。映像エンコーダ２０がインター予測を使用してＰＵの予測ブロックを生成する場合、映像エンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームのデコードされたサンプルに基づいて、ＰＵの予測ブロックを生成することができる。

映像エンコーダ２０が、ＣＵの１つまたは複数のＰＵのための予測の輝度、Ｃｂ、およびＣｒブロックを生成した後、映像エンコーダ２０は、ＣＵの元の輝度符号化ブロックからその予測輝度ブロックを差し引くことによって、ＣＵの輝度残差ブロックを生成することができ、これによってＣＵの輝度残差ブロックの各サンプルは、ＣＵの予測輝度ブロックの１つにおける輝度サンプルと、ＣＵの元の輝度符号化ブロックにおける対応のサンプルとの間の差を指示する。同様に、映像エンコーダ２０は、ＣＵのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成することができ、これによってＣＵのＣｂ残差ブロックの各サンプルは、ＣＵの予測Ｃｂブロックの１つにおけるＣｂサンプルとＣＵの元のＣｂ符号化ブロックにおける対応のサンプルとの間の差を指示し、ＣＵのＣｒ残差ブロックの各サンプルは、ＣＵの予測Ｃｒブロックの１つにおけるＣｒサンプルとＣＵの元のＣｒ符号化ブロックにおける対応のサンプルとの間の差を指示することがある。

さらに、図４Ｃに示されるように、映像エンコーダ２０は、四分木分割を使用して、ＣＵの輝度、Ｃｂ、およびＣｒの残差ブロックを１つまたは複数の輝度、Ｃｂ、およびＣｒの変換ブロックに分解することができる。変換ブロックは、同じ変換が適用される長方形（正方形または非正方形）のサンプルのブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロック、２つの彩度サンプルの対応の変換ブロック、および変換ブロックサンプルを変換するために使用されるシンタックス要素を含んでもよい。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。いくつかの例では、ＴＵに関連付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックでもよい。 Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックでもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックでもよい。単彩度ピクチャまたは３つの別個の色平面を有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために使用されるシンタックス構造とを含んでもよい。

映像エンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、ＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２次元アレイでもよい。変換係数はスカラ量でもよい。映像エンコーダ２０は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、ＴＵのＣｂ係数ブロックを生成することができる。映像エンコーダ２０は、１つまたは複数の変換をＴＵのＣｒ変換ブロックに適用して、ＴＵのＣｒ係数ブロックを生成することができる。

係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、映像エンコーダ２０は、係数ブロックを量子化することができる。量子化とは、一般に、変換係数を量子化して変換係数を表現するために使用されるデータの量を可能的に低減し、さらなる圧縮を提供する処理を意味する。映像エンコーダ２０が係数ブロックを量子化した後、映像エンコーダ２０は、量子化された変換係数を指示するシンタックス要素をエントロピーエンコードすることができる。例えば、映像エンコーダ２０は、量子化された変換係数を指示するシンタックス要素に対してコンテキスト適応型二値算術符号化（ＣＡＢＡＣ）を実行することができる。最後に、映像エンコーダ２０は、符号化されたフレームおよび関連付けられたデータの表現を形成するビットのシーケンスを含むビットストリームを出力することができ、当該ビットストリームが記憶デバイス３２に保存され、または宛先デバイス１４に送信される。

映像エンコーダ２０によって生成されたビットストリームを受信した後、映像デコーダ３０は、ビットストリームを解析して、ビットストリームからシンタックス要素を取得することができる。映像デコーダ３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、映像データのフレームを再構築することができる。映像データを再構築する処理は、一般に、映像エンコーダ２０によって実行されるエンコーディング処理を逆行するものである。例えば、映像デコーダ３０は、当前のＣＵのＴＵに関連付けられた係数ブロックに対して逆変換を実行して、当前のＣＵのＴＵに関連付けられた残差ブロックを再構築することができる。映像デコーダ３０は、さらに当前のＣＵのＰＵの予測ブロックのサンプルを当前のＣＵのＴＵの変換ブロックの対応のサンプルに加算することによって、当前のＣＵの符号化ブロックを再構築する。フレームの各ＣＵの符号化ブロックを再構築した後、映像デコーダ３０は、フレームを再構築することができる。

上記のように、映像符号化は、主に２つのモード、すなわち、フレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を使用して映像圧縮を実現する。パレットベース符号化は、多くの映像符号化標準で採用されるもう１つの符号化スキームである。スクリーン生成コンテンツ符号化に特に適したパレットベース符号化では、映像符号器（例えば、映像エンコーダ２０または映像デコーダ３０）は、所与のブロックの映像データを表現する色のパレットテーブルを形成する。パレットテーブルは、所与のブロックにおける最も支配的な（例えば、頻繁に使用される）ピクセル値を含む。所与のブロックの映像データに頻繁に表現されないピクセル値は、パレットテーブルに含まれなく、またはエスケープ色としてパレットテーブルに含まれる。

パレットテーブルの各エントリは、パレットテーブルにある対応のピクセル値のインデックスを含む。ブロック内のサンプルのためのパレットインデックスは、パレットテーブルからのどのエントリがどのサンプルを予測または再構築するために使用されるかを指示するように符号化されてもよい。このパレットモードは、ピクチャ、スライス、タイル、または映像ブロックの他のそのようなグルーピングの最初のブロックのパレット予測子を生成する処理から始まる。以下で説明するように、後続の映像ブロックのパレット予測子は、通常、前に使用されたパレット予測子を更新することによって生成される。説明のために、パレット予測子はピクチャレベルで定義されると仮定される。言い換えると、ピクチャには複数の符号化ブロックが含まれてもよく、各符号化ブロックがその自分のパレットテーブルを有するが、ピクチャ全体に対して１つのパレット予測子がある。

映像ビットストリームにおいてパレットエントリをシグナリングすることに要するビットを低減するために、映像デコーダは、パレット予測子を利用して映像ブロックを再構築するために使用されるパレットテーブル内の新しいパレットエントリを決定することができる。例えば、パレット予測子は、前に使用されたパレットテーブルからのパレットエントリを含んでもよく、或いは最近使用されたパレットテーブルのすべてのエントリを含むことによって最近使用されたパレットテーブルで初期化されてもよい。いくつかの実行では、パレット予測子は、最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを含み、次に他の前に使用されたパレットテーブルからのいくつかのエントリを組み込むことができる。パレット予測子は、異なるブロックを符号化するために使用されるパレットテーブルと同じサイズを有してもよく、或いは異なるブロックを符号化するために使用されるパレットテーブルと比べて大きい又は小さいものでもよい。一例では、パレット予測子は、５４個のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実行される。

パレット予測子から映像データのブロックのためのパレットテーブルを生成するために、映像デコーダは、エンコードされた映像ビットストリームから、パレット予測子の各エントリのための１ビットフラグを受信することができる。１ビットフラグは、パレット予測子の関連付けられたエントリがパレットテーブルに含まれることを指示する第１の値（例えば、バイナリの１）、またはパレット予測子の関連付けられたエントリがパレットテーブルに含まれないことを指示する第２の値（例えば、バイナリの０）を有することができる。パレット予測子のサイズが映像データのブロックに使用されるパレットテーブルよりも大きい場合、パレットテーブルの最大サイズに達すると、映像デコーダはそれ以上のフラグの受信を停止してもよい。

いくつかの実行では、パレットテーブル内のいくつかのエントリは、パレット予測子を使用して決定されるのではなく、エンコードされた映像ビットストリームで直接にシグナリングされてもよい。そのようなエントリの場合、映像デコーダは、エンコードされた映像ビットストリームから、エントリに関連付けられた輝度および２つの彩度の成分のピクセル値を指示する３つの別個のｍビット値を受信することができ、ここで、ｍは映像データのビット深度を表現する。直接にシグナリングされたパレットエントリに要する複数のｍビット値と比べると、パレット予測子から得られるこれらのパレットエントリは、１ビットのフラグのみを要求する。したがって、パレット予測子を使用して一部またはすべてのパレットエントリをシグナリングすることは、新しいパレットテーブルのエントリをシグナリングすることに要するビット数を大幅に低減でき、これでパレットモード符号化の全体的な符号化効率を向上する。

多くの例では、１つのブロックのためのパレット予測子は、１つまたは複数の前に符号化されたブロックを符号化するために使用されるパレットテーブルに基づいて決定される。ただし、ピクチャ、スライス、またはタイルの最初の符号化木ユニットを符号化する場合、前に符号化されたブロックのパレットテーブルは利用できない。したがって、パレット予測子は、前に使用されたパレットテーブルのエントリを使用して生成され得ない。このような場合、パレット予測子初期化器のシーケンスは、シーケンスパラメータセット（ＳＰＳ）および/またはピクチャパラメータセット（ＰＰＳ）でシグナリングされてもよく、シーケンスパラメータセット（ＳＰＳ）および/またはピクチャパラメータセット（ＰＰＳ）は、前に使用されたパレットテーブルが利用できない場合にパレット予測子を生成するために使用される値である。 ＳＰＳは一般に、各スライスセグメントヘッダに見出されるシンタックス要素が指すＰＰＳに見出されるシンタックス要素のコンテンツによって決定されるように、符号化映像シーケンス（ＣＶＳ）と呼ばれる一連の続く符号化映像ピクチャに適用されるシンタックス要素のシンタックス構造を指す。ＰＰＳは一般に、各スライスセグメントヘッダに見出されるシンタックス要素によって決定されるように、ＣＶＳ内の１つまたは複数の単独のピクチャに適用されるシンタックス要素のシンタックス構造を指す。したがって、ＳＰＳは一般にＰＰＳよりも高いレベルのシンタックス構造であると認定され、ＰＰＳに含まれるシンタックス要素と比べると、ＳＰＳに含まれるシンタックス要素は一般に変更頻度が低く、映像データの大部分に適用されるという意味がある。

図５は、いくつかの実施例による、ビットストリームの映像フレームの符号化ブロック５０６の輝度サンプル５０４から彩度サンプル５０２を得る処理５００を示す。映像フレームの符号化ブロック５０６は、複数のピクセルを含み、各ピクセルは、複数の色要素（例えば、青、緑、および赤）により構成される。映像エンコーディングおよびデコーディングにおいて、複数のピクセルの明るさおよび色の情報は、それぞれ複数の輝度サンプル５０４および複数の彩度サンプル５０２によって表現される。複数のピクセルの各ピクセルは、単一の相応の輝度サンプル５０４に一意に対応する。各彩度サンプル５０２は、サブサンプリングスキームに従って、相応の輝度サンプル５０４のセットに対応する。各輝度サンプルは、輝度成分Ｙ’を有し、各彩度サンプル５０４は、青差彩度成分Ｃｂおよび赤差彩度成分Ｃｒを有する。輝度成分と彩度成分のサブサンプリングスキーム（Ｙ’：Ｃｂ：Ｃｒ）は、例えば４：１：１、４：２：０、４：２：２、４：４：４および４：４：０の３つの部分の比率を有する。図５において、映像フレームの輝度サンプル５０４および彩度サンプル５０２は、４：１：１に等しい３つの部分の比率を有するサブサンプリングスキームに準拠している。

いくつかの実施例では、映像フレームの符号化ブロック５０６は、幅さにわたる２Ｍの輝度サンプルおよび高さにわたる２Ｎの輝度サンプルに対応する２Ｍ×２Ｎのピクセルを含む。ＭとＮは、オプションで互いに等しいまたは互いに異なる。図５の輝度成分および彩度成分の例示的なサブサンプリングスキーム（Ｙ’：Ｃｂ：Ｃｒ＝４：１：１）によれば、映像フレームの輝度サンプル５０４は２Ｍ×２Ｎの解像度でエンコードされ、一方、彩度サンプル５０２はＭ×Ｎのより低い解像度でエンコードされる。実際には、彩度サンプル５０２は、２Ｍ×２Ｎ（例えば４：４：４フルサンプリング）、２Ｍ×Ｎ（例えば４：４：０サブサンプリング）、Ｍ×２Ｎ（例えば４：２：２サブサンプリング）、１／２Ｍ×２Ｎ（例えば４：１：１サブサンプリング）などの異なる彩度解像度でエンコードされてもよい。

いくつかの実施例では、映像フレームの輝度サンプル５０４および彩度サンプル５０２は、平均して４つずつの輝度サンプル５０４が青差彩度成分Ｃｂおよび赤差彩度成分Ｃｒを有する１つの彩度サンプル５０４に対応するサブサンプリングスキームに準拠する。換言すれば、輝度サンプル５０４の第１の輝度解像度は、彩度サンプル５０２の第２の彩度解像度の４倍である。平均して、４つずつの輝度サンプル５０４が、第２の彩度解像度に等しい第３の輝度解像度を有する輝度サンプル５０８のセット内の１つのダウンサンプリングされた輝度サンプル５０８に組合わせられる。いくつかの実施例では、各輝度サンプル５０８について、４つの隣接の輝度サンプル５０４より多くの隣接の輝度サンプル５０４が適用されて、相応の彩度サンプル５０２が得られる。輝度サンプル５０４のサブセットについて、各輝度サンプル５０４は複数回適用されて、１つ以上のダウンサンプリングされた輝度サンプル５０８および／または１つ以上の彩度サンプル５０２が生成される。事前定義された補間スキーム５１０に基づいて複数の輝度サンプル５０４を輝度サンプル５０８および／または彩度サンプル５０２にダウンサンプリングすることに関する詳細は、以下図６Ａ－６Ｄを参照して説明される。

いくつかの実施例では、輝度サンプル５０８を彩度サンプル５０２に転換するために適用される線形マッピングモデル５１２は、Ｍａｘ－Ｍｉｎ方法を使用して得られる。具体的には、最大のダウンサンプリングされた輝度サンプルは、ダウンサンプリングされた輝度サンプルのセットから識別され、最小のダウンサンプリングされた輝度サンプルは、ダウンサンプリングされた輝度サンプルのセットから識別される。最大の彩度サンプルは最大のダウンサンプリングされた輝度サンプルに対応し、最小の彩度サンプルは最小のダウンサンプリングされた輝度サンプルに対応する。最大および最小の彩度サンプルは、最大および最小のダウンサンプリングされた輝度サンプルとともに適用されて、線形マッピングモデル５１２を決定する、すなわち式（１）の２つの係数αおよびβを決定する。線形マッピングモデル５１２が得られた後、映像コーデックは、線形マッピングモデル５１２を、輝度サンプル５０４からダウンサンプリングされた輝度サンプル５０８に適用して、符号化ブロック５０６内の対応の彩度サンプル５０２を生成する。

映像フレームの符号化ブロックは、順序付けられたシーケンスに従って再構築される。いくつかの状況では、符号化ブロック５０６は、映像フレームの第１の行または第１の列上になく、符号化ブロック５０６が処理されているときに、選択されたピクセルのグループが再構築される。例えば、選択されたピクセルのグループは、符号化ブロック５０６のピクセルの直接の上および左に位置付けられるピクセルを含む。彩度サンプル５１６、輝度サンプル５１８、およびダウンサンプリングされた輝度サンプル５１４の選択されたグループは、選択されたピクセルのグループに対して再構築され、例えばＭａｘ－Ｍｉｎ方法に基づいて線形マッピングモデル５１２を得るために使用できる。彩度サンプル５１６、輝度サンプル５１８、およびダウンサンプリングされた輝度サンプル５１４は、符号化ブロック５０６の境界の外部にあり、その境界に直接に隣る。具体的には、いくつかの実施例では、映像コーデックは、符号化されたダウンサンプリングされた輝度サンプルのグループ（例えば、上の隣接の輝度サンプルおよび左の隣接の輝度サンプルに対応するダウンサンプリング輝度サンプル５１４の選択されたグループ）を検索して、最大のダウンサンプリングされた輝度サンプル５１４Ａ－１および最小のダウンサンプリングされた輝度サンプル５１４Ｂ－１を識別する。次に、映像コーデックは、最大および最小のダウンサンプリングされた輝度サンプル５１４Ａ－１および５１４Ｂ－１に対応する、（例えば、上の隣接の彩度サンプルおよび左の隣接の彩度サンプルを含む彩度サンプル５１６の選択されたグループにおける）以前に符号化された彩度サンプル５１６Ａ－１および５１６Ｂ－１を識別する。このように、線形マッピングモデル５１２は、これらの関連付けられるダウンサンプリングされた輝度サンプル（５１４Ａ－１および５１４Ｂ－１）および彩度サンプル（５１６Ａ－１および５１６Ｂ－１）に基づいて得られることができる。

あるいは、いくつかの実施例では、映像コーデックは、選択された輝度サンプルのグループに対してダウンサンプリングを実行して最大および最小の輝度サンプル５１８Ａおよび５１８Ｂを識別することなく、輝度サンプルのグループ（例えば、上および左の隣接の輝度サンプルを含む、輝度サンプル５１８の選択されたグループ）を検索して、輝度サンプルのグループ内の（ｉ）最大の輝度値を有する輝度サンプル５１８Ａおよび（ｉｉ）最小の輝度値を有する輝度サンプル５１８Ｂを識別する。次に、映像コーデックは、最大および最小の輝度サンプル５１８Ａおよび５１８Ｂに関連付けられる領域でダウンサンプリングを実行して（例えば、６つのサンプルを有する領域において、６タップのダウンサンプリングなどを含む本分野で知られている加重平均スキームが使用される）、ダウンサンプリングされた輝度サンプル５１４Ａ－２を最大の輝度サンプルとして生成し（当該輝度サンプル５１４Ａ－２は、確かに最大のダウンサンプリングされた輝度サンプル５１４Ａ－１でもよく、そうでなくても構わない）、ダウンサンプリングされた輝度サンプル５１４Ｂ－２を最小の輝度サンプルとして生成する（当該輝度サンプル５１４Ｂ－２は、確かに最小のダウンサンプリングされた輝度サンプル５１４Ｂ－１でもよく、そうでなくても構わない）。次に、映像コーデックは、ダウンサンプリングされた輝度サンプル５１４Ａ―２および５１４Ｂ－２に対応する（例えば、上および左の隣接の彩度サンプルを含む彩度サンプル５１６のグループにおける）彩度サンプル５１６Ａ－２および５１６Ｂ－２を識別する。このように、線形マッピングモデル５１２は、ダウンサンプリングされた輝度サンプル（５１４Ａ－２および５１４Ｂ－２）および彩度サンプル（５１６Ａ－２および５１６Ｂ－２）に基づいて得られることができる。

あるいは、いくつかの実施例では、映像コーデックは、彩度サンプルのグループ（例えば、上および左の隣接の彩度サンプルを含む彩度サンプル５１６のグループ）を検索して、最大および最小の彩度サンプル５１６Ａ－３および５１６Ｂ－３（例えば、それぞれ最大および最小の彩度値を有する彩度サンプル）を識別する。次に、映像コーデックは、最大および最小の彩度サンプル５１４Ａ－３および５１４Ｂ－３に対応する、（例えば、上および左の隣接の輝度サンプルを含むダウンサンプリングされた輝度サンプル５１４のグループにおける）ダウンサンプリングされた輝度サンプル５１４Ａ－３および５１４Ｂ－３を識別する。このように、線形マッピングモデル５１２は、ダウンサンプリングされた輝度サンプル（５１４Ａ－３および５１４Ｂ－３）および彩度サンプル（５１６Ａ－３および５１６Ｂ－３）に基づいて得られる。

あるいは、いくつかの実施例では、映像コーデックは、ダウンサンプリングされた輝度サンプルのグループ（例えば、ダウンサンプリングされた輝度サンプル５１４の選択されたグループ）を検索して、最大の輝度値を有する、事前定義された数（例えば、２つ）のダウンサンプリングされた輝度サンプル（例えば、５１４Ａ－４および５１４Ａ－５）、および最小の輝度値を有する、事前定義された数（例えば、２つ）のダウンサンプリングされた輝度サンプル（例えば、５１４Ｂ－４および５１４Ｂ－５）を識別する。次に、映像コーデックは、彩度サンプル５１６の選択されたグループ内の彩度サンプル（例えば、５１６Ａ－４、５１６Ａ－５、５１６Ｂ－４、および５１６Ｂ－５）を識別し、各彩度サンプルはそれぞれ最大のダウンサンプリングされた輝度サンプル５１４Ａ－４と５１４Ａ－５のグループおよび最小のダウンサンプリングされた輝度サンプル５１４Ｂ－４と５１４Ｂ－５のグループの中の相応の１つのグループに対応する。次に、映像コーデックは、各の識別された彩度および輝度サンプルのグループで値（例えば、彩度または輝度の値）の加重平均を実行して、（例えば、彩度サンプル５１６Ａ－４および５１６Ａ－５の）最大平均彩度値、（例えば、彩度サンプル５１６Ｂ－４および５１６Ｂ－５の）最小平均彩度値、（例えば、輝度サンプル５１４Ａ－４および５１４Ａ－４の）最大平均ダウンサンプリングされた輝度値、および（例えば、輝度サンプル５１４Ｂ－４および５１４Ｂ－５の）最小値平均ダウンサンプリングされた輝度値を生成する。このように、線形マッピングモデル５１２は、ダウンサンプリングされた輝度サンプル（５１４Ａ－４、５１４Ａ－５、５１４Ｂ－４および５１４Ｂ－５）および彩度サンプル（５１６Ａ－４、５１６Ａ－５、５１６Ｂ－４および５１６Ｂ－５）に基づいて得られることができる。

さらに、いくつかの実施例では、線形マッピングモデル５１２は、（例えば、ダウンサンプリングされた輝度サンプル５１４の選択されたグループ内の）複数のダウンサンプリングされた輝度サンプルおよび（例えば、彩度サンプル５１６の選択されたグループ内の）複数の対応の彩度サンプルに対して線形フィッティングカーブを作ることで得られる。このようなカーブフィッティングには、許容誤差を選択的に満たす偏差誤差がある。複数のダウンサンプリングされた輝度サンプルは、事前定義された数の彩度サンプルに対応する事前定義された数（例えば、１０より大きい）のダウンサンプリングされた輝度サンプルを含む。いくつかの実施例では、ダウンサンプリングされた輝度サンプルは、線形マッピングモデル５１２を得るために、隣接のダウンサンプリングされた輝度サンプル５１４のグループからランダムに選択される。

図６Ａ－６Ｄは、いくつかの実施例による、４つの例示的な符号化ブロック５０６Ａ－５０６Ｄであり、各符号化ブロックは複数の彩度サンプル５０２に転換される複数の輝度サンプル５０４を含む。各十字（「×」）は、輝度サンプル５０４の位置を表現し、各円（「○」）は、彩度サンプル５０２或いはダウンサンプリングされた輝度サンプル５０８の位置を表現する。各円で囲まれた十字（「○の中に×印」）は、彩度サンプル５０２、輝度サンプル５０４、およびダウンサンプリングされた輝度サンプル５０８が重なる位置を表現する。各符号化ブロック５０６は、ブロック境界６０２でマークされる。各符号化ブロック５０６は、輝度成分および彩度成分の相応のサブサンプリングスキーム（Ｙ'：Ｃｂ：Ｃｒ）に準拠し、相応の輝度補間スキーム５１０を採用して、相応の符号化ブロック５０６の輝度サンプル５０４を対応のダウンサンプリングされた輝度サンプル５０８にダウンサンプリングする。本出願のいくつかの実施例では、各符号化ブロック５０６について、特にダウンサンプリングされた輝度サンプル５０８が直接にブロック境界６０２に隣る場合に、すべてのダウンサンプリングされた輝度サンプル５０８は、輝度補間スキーム５１０を使用して、同じ相応の符号化ブロック５０６に位置付けられる隣接の輝度サンプル５０４から得られる。各ダウンサンプリングされた輝度サンプル５０８（それぞれの輝度サンプル５０８）は、常に対応の彩度サンプル５０２と重なり、彩度サンプル５０２は従って線形マッピングモデル５１２に基づいてダウンサンプリングされた輝度サンプル５０８から得られることができる。

いくつかの実施例では、成分間フィルタモデル５２０は、輝度補間スキーム５１０と線形マッピングモデル５１２との組み合わせである。各符号化ブロック５０６のための輝度補間スキーム５１０の線形マッピングモデル５１２およびフィルタ係数ｆ（ｉ）の２つの線形係数αおよびβが与えられる場合、符号化ブロック５０６の彩度サンプル５０２は、特にダウンサンプリングされた輝度サンプル５０８が直接にブロック境界６０２に隣る場合に、成分間フィルタモデル５２０を使用して、同じ相応の符号化ブロック５０６に位置付けられる輝度サンプル５０４から直接に得られる。

いくつかの実施例では、符号化ブロック５０６は映像フレームの第１の符号化ブロックであり、当該符号化ブロック５０６の前に他の符号化ブロック５０６は再構築されていない。このような符号化ブロック５０６は、選択的に映像フレームの左上隅に位置付けられる。線形マッピングモデル５１２は、映像フレーム内の符号化ブロックとは独立して（例えば、前の映像フレームに基づいて）決定される。あるいは、いくつかの実施例では、符号化ブロック５０６は、映像フレームの第１の符号化ブロックではなく、当該符号化ブロック５０６の前に１つまたは複数の他の符号化ブロック５０６が再構築された。例えば、符号化ブロック５０６は映像フレームの中央に位置付けられ、符号化ブロック５０６の直接の上または左の符号化ブロックが既に処理され、線形マッピングモデル５１２を決定することまたは当該符号化ブロック５０６内の輝度サンプルまたは彩度サンプルを再構築することに使用されることができる。いくつかの状況では、符号化ブロック５０６は、映像フレームの上の境界の側に位置付けられ、符号化ブロック５０６の直接の左の少なくとも１つの符号化ブロックが既に処理され、線形マッピングモデル５１２を決定することまたは当該符号化ブロック５０６内の輝度サンプルまたは彩度サンプルを再構築することに使用されることができる。いくつかの状況では、符号化ブロック５０６は、映像フレームの左の境界の側に位置付けられ、符号化ブロック５０６の直接の上の少なくとも１つの符号化ブロックが既に処理され、線形マッピングモデル５１２を決定することまたは当該符号化ブロック５０６内の輝度サンプルまたは彩度サンプルを再構築することに使用されることができる。符号化ブロック５０６の位置に関係なく、符号化ブロック５０６の右または下の符号化ブロックがまだ処理されておらず、当該符号化ブロック５０６のための線形マッピングモデル５１２を決定することまたは当該符号化ブロック５０６内の輝度サンプルまたは彩度サンプルを再構築することに使用されることはできない。

いくつかの実施例では、同じ事前定義された輝度補間スキーム５１０または成分間フィルタモデル５２０は、符号化ブロック５０６全体にわたってすべてのダウンサンプリングされた輝度サンプル５０８または彩度サンプル５０２をそれぞれに生成するために適用される。或いは、いくつかの実施例では、事前定義された輝度補間スキーム５１０は、ダウンサンプリングされた輝度サンプル５０８の位置またはダウンサンプリングされた輝度サンプル５０８に関連付けられる境界ピクセルの位置によって変化する。同様に、いくつかの実施例では、成分間フィルタモデル５２０は、彩度サンプル５０２の位置または彩度サンプル５０２に関連付けられる境界ピクセルの位置によって変化する。例えば、事前定義された各輝度補間スキーム５１０および各成分間フィルタモデル５２０は、十字、ブロック、またはＴ型のフィルタ配置の中の１つに対応する。

図６Ａを参照して、符号化ブロック５０６Ａは、ビットストリームで取得され、ビットストリームから再構築された複数の輝度サンプル５０４を含む。複数の対応の彩度サンプル５０２は、複数の輝度サンプル５０４から得られる。符号化ブロック５０６Ａにおいて、輝度成分５０４および彩度成分５０２のサブサンプリングスキーム（Ｙ'：Ｃｂ：Ｃｒ）は、３つの部分の比率４：２：０を有する。各彩度サンプル５０２は、成分間フィルタモデル５２０に従って６つの隣接の輝度サンプル５０４から組み合わされる。６つの隣接の輝度サンプル５０４は、相応の彩度サンプル５０２の左上隅、直接の上、右上隅、左下隅、直接の下、および右下隅に位置付けられる。換言すれば、各彩度サンプル５０２の６つの隣接の輝度サンプル５０４は、事前定義された輝度補間スキーム５１０に従って相応の彩度サンプル５０２と重なるダウンサンプリングされた輝度サンプル５０８に転換され、次に線形マッピングモデル５１２に従って相応の彩度サンプル５０２に転換される。一例では、第１の彩度サンプル５０２Ａおよびそれに対応する６つの隣接の輝度サンプル５０４Ａ－１から５０４Ａ－６は、完全にブロック境界６０２内に囲まれており、第１の彩度サンプル５０２Ａは、成分間フィルタモデル５２０または輝度補間スキーム５１０および線形マッピングモデル５１２の組み合わせに基づいて隣接の輝度サンプル５０４Ａ－１から５０４Ａ－６から得られることができる。

逆に、第２の彩度サンプル５０２Ｂは、符号化ブロック５０６Ａの左のブロック境界６０２Ａに直接に隣って、成分間フィルタモデル５２０に従って６つの隣接の輝度サンプル５０４Ｂ－１から５０４Ｂ－６に対応する。いくつかの状況では、符号化ブロック５０６の左のブロック境界６０２Ａは、映像フレームの左の境界と重なり、当該または任意の他の符号化ブロックにおいて２つの隣接の輝度サンプル５０４Ｂ－１および５０４Ｂ－６が利用できない。符号化ブロック５０６の外部にありそして利用できない輝度サンプル５０４Ｂ－１および５０４Ｂ－６は、それぞれ輝度サンプル５０４Ｂ－１および５０４Ｂ－６に直接に隣る輝度サンプル５０４Ｂ－２および５０４Ｂ－５から複製されることができる。一例では、輝度サンプル５０４Ｂ－１および５０４Ｂ－６は、彩度サンプル５０２Ｂに関して輝度サンプル５０４Ｂ－１および５０４Ｂ－６に対して対称である５０４Ｂ－４および５０４Ｂ－３から複製される。あるいは、いくつかの状況では、符号化ブロック５０６の左のブロック境界６０２Ａは、映像フレームの左の境界と重ならない。２つの隣接の輝度サンプル５０４Ｂ－１および５０４Ｂ－６は、符号化ブロック５０６自体の中で利用できないが、符号化ブロック５０６の前に再構築された他の隣接の符号化ブロックによって提供されてもよい。符号化ブロック５０６の外部にある輝度サンプル５０４Ｂ－１および５０４Ｂ－６は、任意の他の符号化ブロックから輝度サンプル５０４Ｂ－１および５０４Ｂ－６をロードすることに頼ることなく、符号化ブロック５０６内の輝度サンプル５０４Ｂ－２から５０４Ｂ－５から依然として複製されてもよい。これらの手段によって、第２の彩度サンプル５０２Ｂおよび／または第２の輝度サンプル５０８Ｂは、隣接の輝度サンプル５０４Ｂ－１から５０４Ｂ－６からさらに得られ、当該隣接の輝度サンプル５０４Ｂ－１から５０４Ｂ－６の中に２つの輝度サンプル５０４Ｂ－１および５０４Ｂ－６は、符号化ブロック５０６Ａに含まれる２つの別個の輝度サンプル（例えば、５０４Ｂ－２および５０４Ｂ－５）から選択的に割り当てられる。

換言すれば、映像フレーム内の複数のピクセルのための複数の輝度サンプルを有するビットストリームが取得される場合、複数のピクセルは符号化ブロック５０６Ａに属し、符号化ブロック５０６の内に位置付けられ且つ符号化ブロック５０６Ａの境界６０２に直接に隣る境界ピクセルを含む。境界ピクセル（例えば、輝度サンプル５０４Ｂ－２に対応する）は、利用できない１つまたは複数の隣接ピクセル（例えば、輝度サンプル５０４Ｂ－１に対応する）に対応する。１つまたは複数の隣接ピクセルの各ピクセルは、符号化ブロック５０６Ａの外部にある。いくつかの実施例では、境界ピクセルの１つまたは複数の隣接ピクセルは、映像フレームまたは画像スライスの外部にある。いくつかの実施例では、境界ピクセルの１つまたは複数の隣接ピクセルはまだ符号化されておらず、符号化ブロック５０６に続いて符号化される。いくつかの実施例では、成分間フィルタモデル５２０は、符号化ブロック５０６に限定され、符号化ブロック５０６の外部にある任意の隣接ピクセルは、利用できないと見なされる。境界ピクセルに対応する輝度サンプル５０４Ｂ－２および５０４Ｂ－５は、１つまたは複数の隣接ピクセルの各ピクセルに対応する輝度サンプル５０４Ｂ－１および５０４Ｂ－６にそれぞれ割り当てられる。境界輝度サンプル５０８Ｂは、事前定義された輝度補間スキーム５１０に従って、少なくとも、境界ピクセルおよび１つまたは複数の隣接ピクセルの輝度サンプル５０４Ｂ－１から５０４Ｂ－６に基づいて決定され、線形マッピングモデル５１２に従って境界彩度サンプル５０２Ｂを決定するために使用される。あるいは、境界彩度サンプル５０２Ｂは、成分間フィルタモデル５２０に従って境界ピクセルおよび１つまたは複数の隣接ピクセルの輝度サンプル５０４Ｂ－１から５０４Ｂ－６から決定される。

図６Ｂを参照して、符号化ブロック５０６Ｂにおいて、輝度成分５０４および彩度成分５０２のサブサンプリングスキーム（Ｙ’：Ｃｂ：Ｃｒ）は、３つの部分の比率４：２：０を有する。各彩度サンプル５０２は、十字フィルタ形状を有する成分間フィルタモデル５２０に従って、５つの隣接の輝度サンプル５０４から組み合わされる。５つの隣接の輝度サンプル５０４のうちの１つは、彩度サンプル５０２と重なり、残りの４つの隣接の輝度サンプル５０４は、相応の彩度サンプル５０２の直接の上、下、左、および右に位置付けられる。換言すれば、各彩度サンプル５０２の５つの隣接の輝度サンプル５０４は、事前定義された輝度補間スキーム５１０に従って相応の彩度サンプル５０２と重なるダウンサンプリングされた輝度サンプル５０８に転換され、次に線形マッピングモデル５１２に従って相応の彩度サンプル５０２に転換される。一例では、第３の彩度サンプル５０２Ｃおよびそれに対応する５つの隣接の輝度サンプル５０４Ｃ－１から５０４Ｃ－５は、完全にブロック境界６０２内に囲まれ、第３の彩度サンプル５０２Ｃは、成分間フィルタモデル５２０または輝度補間スキーム５１０と線形マッピングモデル５１２の組み合わせに基づいて隣接の輝度サンプル５０４Ｃ－１から５０４Ｃ－５から得られることができる。

第４の彩度サンプル５０２Ｄは、符号化ブロック５０６Ｂの左のブロック境界６０２Ａに直接に隣って、成分間フィルタモデル５２０に従って５つの隣接の輝度サンプル５０４Ｄ－１から５０４Ｄ－５に対応する。いくつかの状況では、符号化ブロック５０６Ｂの左のブロック境界６０２Ａは、映像フレームの左の境界と重なり、当該または任意の他の符号化ブロックにおいて隣接の輝度サンプル５０４Ｄ－５が利用できない。輝度サンプル５０４Ｄ－５は、輝度サンプル５０４Ｄ－５に直接に隣る輝度サンプル５０４Ｄ－１から、または中心輝度サンプル５０４Ｄ－１に関して輝度サンプル５０４Ｄ－５に対して対称である輝度サンプル５０４Ｄ－３から複製される。いくつかの状況では、符号化ブロック５０６の左のブロック境界６０２Ａは、映像フレームの左の境界と重ならない。隣接の輝度サンプル５０４Ｄ－５は、符号化ブロック５０６自体の中で利用できないが、符号化ブロック５０６Ｂの前に再構築された他の隣接の符号化ブロックによって提供されてもよい。符号化ブロック５０６の外部にある輝度サンプル５０４Ｄ－５は、任意の他の符号化ブロックから輝度サンプル５０４Ｄ－５をロードすることに頼ることなく、符号化ブロック５０６内に位置付けられる輝度サンプル５０４Ｄ－１または５０４Ｄ－３から依然として複製されてもよい。これらの手段によって、第４の彩度サンプル５０２Ｄおよび／または第４の輝度サンプル５０８Ｄは、隣接の輝度サンプル５０４Ｄ－１から５０４Ｄ－５から得られ、当該隣接の輝度サンプル５０４Ｄ－１から５０４Ｄ－５の中に輝度サンプル５０４Ｄ－５は、符号化ブロック５０６Ｂ内の輝度サンプル５０４Ｄ－１または５０４Ｄ－３に基づいて選択的に割り当てられる。

第５の彩度サンプル５０２Ｅは、符号化ブロック５０６Ｂの左のブロック境界６０２Ａおよび上のブロック境界６０２Ｂの両方に直接に隣って、成分間フィルタモデル５２０に従って５つの隣接の輝度サンプル５０４Ｅ－１から５０４Ｅ－５に対応する。いくつかの実施例では、符号化ブロック５０６Ｂは、映像フレーム内の最初の符号化ブロックであり、当該または任意の他の符号化ブロックにおいて２つの隣接の輝度サンプル５０４Ｅ－２および５０４Ｅ－５が利用できない。輝度サンプル５０４Ｅ－２および５０４Ｅ－５は、輝度サンプル５０４Ｅ－１から複製される。いくつかの状況では、符号化ブロック５０６Ｂは、映像フレームの左上隅に位置付けられておらず、その左および上の隣接の符号化ブロックが利用できる。隣接の輝度サンプル５０４Ｅ－２および５０４Ｅ－５は、符号化ブロック５０６自体の中で利用できないが、符号化ブロック５０６の前に再構築された他の隣接の符号化ブロックによって提供されてもよい。あるいは、輝度サンプル５０４Ｅ－２および５０４Ｅ－５は、任意の他の符号化ブロックから輝度サンプルをロードすることに頼ることなく、符号化ブロック５０６内に位置付けられる輝度サンプル５０４Ｅ－１から依然として複製されてもよい。これらの手段によって、第５の彩度サンプル５０２Ｅおよび／または第５の輝度サンプル５０８Ｅは、隣接の輝度サンプル５０４Ｅ－１から５０４Ｅ－５から得られ、当該隣接の輝度サンプル５０４Ｅ－１から５０４Ｅ－５の中に輝度サンプル５０４Ｅ－２および５０４Ｅ－５は、符号化ブロック５０６Ｂのブロック境界６０２に隣るように位置付けられた他の輝度サンプル５０４Ｅ－１に基づいて選択的に割り当てられる。

図６Ｃを参照して、符号化ブロック５０６Ｃにおいて、輝度成分５０４および彩度成分５０２のサブサンプリングスキーム（Ｙ’：Ｃｂ：Ｃｒ）は、３つの部分の比率４：２：２を有する。各彩度サンプル５０２は、２×３のフィルタ形状を有する成分間フィルタモデル５２０に従って６つの隣接の輝度サンプル５０４から組み合わされる。６つの隣接の輝度サンプル５０４のうちの１つは、彩度サンプル５０２と重なり、残りの５つの隣接の輝度サンプルは、相応の彩度サンプル５０２の左、右、左下隅、直接の下、および右に位置付けられる。各彩度サンプル５０２のこれらの６つの隣接の輝度サンプル５０４は、事前定義された輝度補間スキーム５１０に従って、相応の彩度サンプル５０２と重なるダウンサンプリングされた輝度サンプル５０８に転換され、次に線形マッピングモデル５１２に従って相応の彩度サンプル５０２に転換される。一例では、第６の彩度サンプル５０２Ｆおよびそれに対応する６つの隣接の輝度サンプル５０４Ｆ－１から５０４Ｆ－６は、完全にブロック境界６０２内に囲まれ、第６の彩度サンプル５０２Ｆは、成分間フィルタモデル５２０または輝度補間スキーム５１０と線形マッピングモデル５１２との組み合わせに基づいて隣接の輝度サンプル５０４Ｆ－１から５０４Ｆ－５から得られることができる。

第７の彩度サンプル５０２Ｇは、符号化ブロック５０６Ｃの左のブロック境界６０２Ａおよび下のブロック境界６０２Ｃの両方に直接に隣って、成分間フィルタモデル５２０に従って６つの隣接の輝度サンプル５０４Ｇ－１から５０４Ｇ－６に対応する。いくつかの実施例では、符号化ブロック５０６Ｃは、映像フレームの左下隅に位置付けられ、左および下のブロック境界６０２Ａおよび６０２Ｃは、映像フレームの左のブロック境界および下のブロック境界と重なる。いくつかの実施例では、符号化ブロック５０６Ｃは映像フレームの左の境界の側に位置付けられているので、輝度サンプル５０４Ｇ－１および５０４Ｇ－６は存在せず、輝度サンプル５０４Ｇ－４および５０４Ｇ－５はまだ符号化されていない。映像フレームの左下隅または左の境界では、４つの隣接の輝度サンプル５０４Ｇ－１、５０４Ｇ－４、５０４Ｇ－５、および５０４Ｇ－６は、当該または任意の他の符号化ブロック内では利用できない。これらの輝度サンプルの各輝度サンプルは、輝度サンプル５０４Ｇ－２または５０４Ｇ－３から複製され、例えば、輝度サンプル５０４Ｇ－４は、輝度サンプル５０４Ｇ－３から複製され、輝度サンプル５０４Ｇ－１、５０４Ｇ－５および５０４Ｇ－６は輝度サンプル５０４Ｇ－２から複製される。いくつかの状況では、符号化ブロック５０６Ｃは、映像フレームの左下隅に位置付けられておらず、その左および下の隣接の符号化ブロックが利用できる。隣接の輝度サンプル５０４Ｇ－１、５０４Ｇ－４、５０４Ｇ－５および５０４Ｇ－６は、符号化ブロック５０６自体の中で利用できないが、符号化ブロック５０６の前に再構築された他の隣接の符号化ブロックによって提供されてもよい。あるいは、輝度サンプル５０４Ｇ－１、５０４Ｇ－４、５０４Ｇ－５および５０４Ｇ－６は、任意の他の符号化ブロックから輝度サンプルをロードすることに頼ることなく、符号化ブロック５０６内に位置付けられる輝度サンプル５０４Ｇ－２および５０４Ｇ－３から依然として複製されてもよい。これらの手段によって、第７の彩度サンプル５０２Ｇおよび／または第７の輝度サンプル５０８Ｇは、隣接の輝度サンプル５０４Ｇ－１から５０４Ｇ－６から得られ、当該隣接の輝度サンプル５０４Ｇ－１から５０４Ｇ－６の中に輝度サンプル５０４Ｇ－１、５０４Ｇ－４、５０４Ｇ－５および５０４Ｇ－６は、符号化ブロック５０６Ｃのブロック境界６０２に隣るように位置付けられた他の２つの輝度サンプル５０４Ｇ－２および５０４Ｇ－３に基づいて選択的に割り当てられる。

図６Ｄを参照して、符号化ブロック５０６Ｄにおいて、輝度成分５０４および彩度成分５０２のサブサンプリングスキーム（Ｙ’：Ｃｂ：Ｃｒ）は、３つの部分の比率４：４：４を有する。各彩度サンプル５０２は、２×３のフィルタ形状を有する成分間フィルタモデル５２０に従って６つの隣接の輝度サンプル５０４から組み合わされる。６つの隣接の輝度サンプル５０４のうちの１つは、彩度サンプル５０２と重なり、残りの５つの隣接の輝度サンプルは、相応の彩度サンプル５０２の左、右、左下隅、直接の下、および右下隅に位置付けられる。各彩度サンプル５０２のこれらの６つの隣接の輝度サンプル５０４は、事前定義された輝度補間スキーム５１０に従って相応の彩度サンプル５０２と重なるダウンサンプリングされた輝度サンプル５０８に転換され、次に線形マッピングモデル５１２に従って相応の彩度サンプル５０２に転換される。

第８の彩度サンプル５０２Ｈは、符号化ブロック５０６Ｄの下のブロック境界６０２Ｃおよび右のブロック境界６０２Ｄの両方に直接に隣って、成分間フィルタモデル５２０に従って６つの隣接の輝度サンプル５０４Ｈ－１から５０４Ｈ－６に対応する。いくつかの実施例では、符号化ブロック５０６Ｄは、映像フレームの右下隅に位置付けられ、右および下のブロック境界６０２Ｄおよび６０２Ｃは、映像フレームの右のブロック境界および下のブロック境界と重なる。当該または任意の他の符号化ブロックにおいて４つの隣接の輝度サンプル５０４Ｈ－３から５０４Ｈ－６は利用できない。あるいは、いくつかの状況では、符号化ブロック５０６Ｄは映像フレームの左下隅に位置付けられておらず、その右および下の隣接の符号化ブロックはまだ再構築されていないため、これらの符号化ブロックはまだ利用できない。これらの輝度サンプル５０４Ｈ－３から５０４Ｈ－６の各輝度サンプルは、輝度サンプル５０４Ｈ－１または５０４Ｈ－２から複製され、例えば、輝度サンプル５０４Ｈ－６は、輝度サンプル５０４Ｈ－１から複製され、輝度サンプル５０４Ｈ－３から５０４Ｈ－５は、輝度サンプル５０４Ｈ－２から複製される。これらの手段によって、第８の彩度サンプル５０２Ｈおよび／または第８の輝度サンプル５０８Ｈは、隣接の輝度サンプル５０４Ｈ－１から５０４Ｈ－６から得られ、当該隣接の輝度サンプル５０４Ｈ－１から５０４Ｈ－６の中に輝度サンプル５０４Ｈ－３から５０４Ｈ－６は、符号化ブロック５０６Ｄのブロック境界６０２に隣るように位置付けられた他の２つの輝度サンプル５０４Ｈ－１および５０４Ｈ－２に基づいて選択的に割り当てられる。

図７は、いくつかの実施例による、電子デバイスに実行された映像データデコーディング方法７００のフローチャートである。映像フレーム内の複数のピクセルのための複数の輝度サンプル５０４を含む符号化ブロック５０６を有するビットストリームが取得される（７０２）。複数のピクセルは、符号化ブロック５０６の内に位置付けられ且つ符号化ブロック５０６の境界６０２に直接に隣る境界ピクセルを含む。電子デバイスは、境界ピクセルの１つまたは複数の隣接ピクセルが利用できないことを決定する（７０４）。１つまたは複数の隣接ピクセルの中の各ピクセルは、符号化ブロック５０６の外にある。境界ピクセルに対応する輝度サンプル（例えば、図６Ｃの５０４Ｇ－１）は、１つまたは複数の隣接ピクセルの中の各ピクセルに対応する輝度サンプル（例えば、図６Ｃの５０４Ｇ－６）に割り当てられる(７０６)。電子デバイスは、成分間フィルタモデル１２０に基づいて、少なくとも境界ピクセルおよび１つまたは複数の隣接ピクセルの輝度サンプル（例えば、５０２Ｇ―１から５０２Ｇ－６）に基づいて境界彩度サンプル（例えば、図６Ｃの５０２Ｇ）を決定する。具体的には、電子デバイスは、事前定義された輝度補間スキーム５１０に従って、少なくとも境界ピクセルおよび１つまたは複数の隣接ピクセルの輝度サンプル（例えば、５０２Ｇ－１から５０２Ｇ－６）に基づいて境界輝度サンプル（例えば、図６Ｃの５０８Ｇ）を決定する（７１０）。境界彩度サンプル（例えば、図６Ｃの５０２Ｇ）は、線形マッピングモデル５１２に従って境界輝度サンプルから決定される（７１２）。

いくつかの実施例では、事前定義された輝度補間スキーム５１０は、少なくとも境界ピクセルの位置に基づいて決定され、１つまたは複数の隣接ピクセルは、事前定義された輝度補間スキーム５１０に基づいて境界ピクセルに隣る。いくつかの状況では、事前定義された輝度補間スキーム５１０はまた、複数のピクセルの輝度サンプルおよび彩度サンプルが３つの部分のＹ'ＣｂＣｒ比率に準拠するサブサンプリングスキームに基づいて決定される。いくつかの状況では、事前定義された輝度補間スキーム５１０はまた、ビットストリームから得られたシンタックス要素（例えば、"ｓｐｓ_ｃｈｒｏｍａ_ｃｏｌｌｏｃａｔｅｄ_ｖｅｒｔｉｃａｌ_ｆｌａｇ"）に基づいて決定される。オプションとして、事前定義された輝度補間スキーム５１０は、十字、ブロック、またはＴ形フィルタ配置の中の１つに対応する。

いくつかの実施例では、境界ピクセルの１つまたは複数の隣接ピクセルは、映像フレームまたは画像スライスの外部にある。いくつかの実施例では、境界ピクセルの１つまたは複数の隣接ピクセルはまだ符号化されておらず、符号化ブロックに続いて符号化される。

いくつかの実施例では、複数のピクセルは、完全に符号化ブロックに囲まれている第１のピクセルのセットを含む。内部輝度サンプル（例えば、図６Ａ－６Ｃの５０８Ａ、５０８Ｃ、および５０８Ｆ）は、事前定義された輝度補間スキーム５１０に従って、第１のピクセルのセットに対応する輝度サンプルのセットから決定される。第１のピクセルのセットに対応する内部彩度サンプル（例えば、図６Ａ－６Ｃの５０２Ａ、５０２Ｃおよび５０２Ｆ）は、線形マッピングモデル５１２に従って、内部輝度サンプルに基づいて決定される。

いくつかの実施例では、例えば、図６Ａにおいて、複数のピクセルは、符号化ブロックの内部にあり、内部輝度サンプル（例えば、５０４Ｂ－３、５０４Ｂ－４）に対応する内部ピクセルをさらに含む。境界輝度サンプル（例えば、５０８Ｂ）は、事前定義された輝度補間スキーム５１０に従って内部ピクセルの内部輝度サンプル（例えば、５０４Ｂ－３、５０４Ｂ－４）と境界ピクセルおよび１つまたは複数の隣接ピクセルの輝度サンプル（例えば、５０４Ｂ－１、５０４Ｂ－２）の両方に基づいて決定される。

いくつかの実施例では、例えば、図６Ａにおいて、境界ピクセルは、第１の境界ピクセル（例えば、輝度サンプル５０４Ｂ－２に対応する）であり、１つまたは複数の隣接ピクセルは、１つまたは複数の第１の隣接ピクセル（例えば、輝度サンプル５０４Ｂ－１に対応する）を含む。複数のピクセルは、符号化ブロック５０６の内部にあり、符号化ブロック５０６の相応のブロック境界６０２に直接に隣る第２の境界ピクセル（例えば、輝度サンプル５０４Ｂ－５に対応する）を含む。電子デバイスは、第２の境界ピクセルに直接に隣る１つまたは複数の第２の隣接ピクセル（例えば、輝度サンプル５０４Ｂ－６に対応する）を作る。１つまたは複数の第２の隣接ピクセルの各ピクセルは、符号化ブロック５０６の外部にある。第２の境界ピクセルに対応する輝度サンプル（例えば、５０４Ｂ－５）は、１つまたは複数の第２の隣接ピクセルの各ピクセルに対応する輝度サンプル（例えば、５０４Ｂ－６）に割り当てられ、境界輝度サンプル５０８Ｂは、事前定義された輝度補間スキーム５１０に従って、少なくとも第１および第２の境界ピクセル（例えば、輝度サンプル５０４Ｂ－２および５０４Ｂ－５に対応する）及び第１および第２の隣接ピクセル（例えば、輝度サンプル５０４Ｂ－１および５０４Ｂ－６に対応する）の両方の輝度サンプルに基づいて決定される。

いくつかの実施例では、例えば、図６Ｂにおいて、１つまたは複数の隣接ピクセルは、境界ピクセル（例えば、輝度サンプル５０４Ｄ－１に対応する）に対して境界６０２Ａの反対側にあり、境界ピクセルに対応する輝度サンプル（例えば、５０４Ｄ－１）から割り当てられた対応の輝度サンプル（例えば、５０４Ｄ－５）を有する１つの隣接ピクセル（例えば、輝度サンプル５０４Ｄ－５に対応する）のみを含む。

いくつかの実施例では、例えば、図６Ｃにおいて、境界は第１の境界６０２Ａを含み、境界ピクセル（例えば、輝度サンプル５０４Ｇ－１に対応する）は、第１の境界６０２Ａと第１の境界６０２Ａに直交する第２の境界６０２Ｃとの間に形成された符号化ブロックの角に直接に隣る。１つまたは複数の隣接ピクセルは、境界ピクセルに対して第１の境界６０２Ａの反対側にある第１の隣接ピクセル（例えば、輝度サンプル５０４Ｇ－１に対応する）、および（１）境界ピクセルに対して第２の境界の反対側にある第２の隣接ピクセル（例えば、輝度サンプル５０４Ｇ－５に対応する）と（２）符号化ブロック５０６Ｃの角にわたって境界ピクセルに対向する第３の隣接ピクセル（例えば、輝度サンプル５０４Ｇ－６に対応する）との少なくとも１つを含む。

いくつかの実施例では、サブサンプリングスキームに従って、複数のピクセルの輝度サンプルおよび彩度サンプルは、以下の比率値のうちの１つを有する３つの部分のＹ'ＣｂＣｒ比率に準拠する：（１）４：１：１、ここで、４つずつの水平ピクセルは４つの輝度サンプル、青差彩度サンプルＣｂ、および赤差彩度サンプルＣｒに対応する；（２）４：２：０、ここで、各２×２ピクセルブロックの４つずつのピクセルは４つの輝度サンプル、青差彩度サンプルＣｂ、および赤差彩度サンプルＣｒに対応する；（３）４：２：２、ここで、４つずつのピクセルは４つの輝度サンプル、２つの青差彩度サンプルＣｂ、および２つの赤差彩度サンプルＣｒに対応する；（４）４：４：４、ここで、４つずつのピクセルは４つの輝度サンプル、４つの青差彩度サンプルＣｂ、および４つの赤差彩度サンプルＣｒに対応する。

いくつかの実施例では、事前定義された輝度補間スキームに従って、例えば図６Ａ、６Ｃおよび６Ｄにおいて、２×３サブアレイ内の６つの隣接の輝度サンプル５０４は代替の輝度サンプル５０８にダウンサンプリングされ、２×３アレイ内の各左および右の列の輝度サンプルは同じ行において代替の輝度サンプルを生成するために少なくとも２回使用される。いくつかの実施例では、事前定義された輝度補間スキームに従って、例えば図６Ｂにおいて、５つの隣接の輝度サンプル５０４は代替の輝度サンプル５０８にダウンサンプリングされ、中心ピクセルを中心とする十字形のサブアレイに配置される。

いくつかの実施例では、映像フレーム内の第２の複数のピクセルのための第２の複数の輝度サンプル５１８および第２の複数の彩度サンプル５１６を有するビットストリームが取得される。代替の複数の輝度サンプル５１４は事前定義された輝度補間スキーム５１０に従って決定され、複数の彩度サンプル５１６と同じ解像度を有する。線形マッピングモデル５１２のための第１のパラメータαおよび第２のパラメータβは、代替の複数の輝度サンプル５１４および第２の複数の彩度サンプル５１６を用いて決定される。さらに、いくつかの実施例では、境界彩度サンプルＹは、以下のように式（１）に記載される線形マッピングモデル５１２に従って境界輝度サンプルＸから決定される。図５を参照して、いくつかの実施例では、２つの最大の輝度サンプル５１４Ａ－４および５１４Ａ－５は、代替の複数の輝度サンプル５１４の中で決定され、２つの最小の輝度サンプル５１４Ｂ－４および５１４Ｂ－５は、代替の複数の輝度サンプル５１４の中で決定される。２つの最大の輝度サンプル５１４Ａ－４と５１４Ａ－５は平均化されて第１の輝度値になり、２つの最小の輝度サンプル５１４Ｂ－４と５１４Ｂ－５は平均化されて第２の輝度値になる。２つの第１の彩度サンプル５１６Ａ－４および５１６Ａ－５は、２つの最大の輝度サンプル５１４Ａ－４および５１４Ａ－５に関連付けられる第２の複数の彩度サンプル５１４の中で決定される。２つの第２の彩度サンプル５１６Ｂ－４および５１６Ｂ－５は、２つの最小の輝度サンプル５１４Ｂ－４および５１４Ｂ－５に関連付けられる第２の複数の彩度サンプルの中で決定される。２つの第１の彩度値５１６Ａ－４および５１６Ａ－５は、第１の輝度値に対応する第１の彩度値に平均化され、２つの第２の彩度値５１６Ｂ－４および５１６Ｂ－５は、第２の輝度値に対応する第２の彩度値に平均化される。線形マッピングモデル５１２は、第１および第２の輝度値ならびに第１および第２の彩度値に基づいて、彩度サンプル５０２と輝度サンプル５０８との間で得られる。

１つ又は複数の例では、説明される機能はハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせにおいて実行されてもよい。ソフトウェアにより実行される場合、機能は１つ又は複数の指令又はコードとしてコンピュータ可読媒体に記憶され、又はコンピュータ可読媒体により送信され、ハードウェアベース処理ユニットにより実行されてもよい。コンピュータ可読媒体は、例えばデータ記憶媒体等の有形媒体に対応するコンピュータ可読記憶媒体、又は、コンピュータプログラムを一箇所から例えば通信プロトコルに基づいて他の箇所まで容易に伝送することができるいかなる媒体を含む通信媒体を含んでもよい。この方式によって、コンピュータ可読媒体は一般的に、（１）非一時的有形コンピュータ可読記憶媒体、又は、（２）信号又はキャリアウェーブ等の通信媒体に対応してもよい。データ記憶媒体は、１つ又は複数のコンピュータ、又は１つ又は複数のプロセッサがアクセスして指令、コード及び／又はデータ構造を検索することにより本願に説明される実施形態を実行することができるいかなる利用可能媒体であってもよい。コンピュータプログラム製品はコンピュータ可読媒体を含んでもよい。

本明細書の実施形態の説明において使用される用語は特定の実施形態を説明するためのものに過ぎず、特許請求の範囲を制限するためのものではない。上下の文脈において他の意味を明確に指示していない限り、実施形態の説明及び添付の特許請求の範囲に使用される単数形式の「１種類」、「１つ」及び「該」は複数形式も含むように意図されている。更に理解されるように、本明細書に使用される用語「及び／又は」は１つ又は複数の関連する列挙した項目の任意及びすべての可能な組み合わせを指し、且つ１つ又は複数の関連する列挙した項目の任意及びすべての可能な組み合わせを含む。更に理解されるように、用語「備える」及び／又は「含む」は本明細書に使用される際に前記特徴、要素及び／又は構成要素の存在を指定するが、１つ又は複数の他の特徴、要素、構成要素及び／又はそれらからなる群の存在又は追加を排除しない。

更に理解されるように、用語「第１」、「第２」等は本明細書において様々な要素を説明することに用いられてもよいが、これらの要素はこれらの用語により制限されるものではない。これらの用語は１種類の要素と他の種類の要素とを区別することのみに用いられる。例えば、実施形態の範囲を逸脱せずに、第１電極は第２電極と称されてもよく、且つ、同様に第２電極は第１電極と称されてもよい。第１電極及び第２電極はいずれも電極であるが、同じ電極ではない。

本願の記述は説明及び記述のためのものであり、開示される形式の本発明を網羅又は制限するように意図されるものではない。上記記述及び関連図面における指導を受けて、多くの修正、変化及び代替実施形態は当業者にとっては明らかなものである。実施例の選択及び記述は、本発明の原理、実際応用を最もよく解釈し、且つ、当業者が本発明の様々な実施形態を理解でき、基本原理及び様々な修正を有する様々な実施形態を最もよく利用し、例えば期待される特定用途に適用するようにするためのものである。従って、理解されるように、特許請求の範囲は開示される実施形態の具体例に限らず、且つ修正及び他の実施形態は添付の特許請求の範囲内に含まれるように意図されている。

本出願の別の態様によれば、電子デバイスは、１つまたは複数の処理ユニット、メモリ、およびメモリに記憶された複数のプログラムを含む。プログラムは、１つまたは複数の処理ユニットによって実行されると、電子デバイスに、上記のように映像データをデコードする方法を実行させる。

図２に示されるように、映像エンコーダ２０は、映像データメモリ４０、予測処理ユニット４１、デコードピクチャバッファ（ＤＰＢ）６４、サマー５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピーエンコーディングユニット５６を含む。予測処理ユニット４１は、動き推定ユニット４２、動き補償ユニット４４、分割ユニット４５、イントラ予測処理ユニット４６、およびイントラブロックコピー（ＢＣ）ユニット４８をさらに含む。いくつかの実行では、映像エンコーダ２０は、映像ブロック再構築のために、逆量子化ユニット５８、逆変換処理ユニット６０、およびサマー６２も含む。デプロッキングフィルタ（図示せず）がサマー６２とＤＰＢ６４との間に位し、ブロック境界をフィルタリングしてブロック性アーチファクトを再構築された映像から削除することができる。デブロッキングフィルタに加えて、ループ内フィルタ（図示せず）が使用され、サマー６２の出力をフィルタリングすることもできる。映像エンコーダ２０は、固定またはプログラム可能なハードウェアユニットの形態をとることができ、または１つまたは複数の図解された固定またはプログラム可能なハードウェアユニットにおいて分割されることができる。

映像データメモリ４０は、映像エンコーダ２０の構成要素によってエンコードされるべき映像データを記憶することができる。映像データメモリ４０内の映像データは、例えば、映像ソース１８から取得されてもよい。ＤＰＢ６４は、映像エンコーダ２０によって（例えばイントラまたはインター予測符号化モードで）映像データをエンコードすることに用いられる参照映像データを記憶するバッファである。映像データメモリ４０およびＤＰＢ６４は、任意の様々なメモリデバイスによって形成されてもよい。様々な例において、映像データメモリ４０は、映像エンコーダ２０の他の構成要素とオンチップであり、またはそれらの構成要素に対してオフチップでもよい。

図２に示されるように、映像データを受信した後、予測処理ユニット４１内の分割ユニット４５は、映像データを映像ブロックに分割する。この分割は、映像データに関連付けられた四分木構造などの事前定義された分割構造に従って、映像フレームをスライス、タイル、または他のより大きな符号化ユニット（ＣＵ）に分割することも含んでもよい。映像フレームは、複数の映像ブロック（またはタイルと呼ばれる映像ブロックのセット）に分割されてもよい。予測処理ユニット４１は、エラー結果（例えば、符号化レートと歪みのレベル）に基づき当前の映像ブロックに対して複数の可能な予測符号化モードの１つを選択でき、可能な予測符号化モードは、例えば複数のイントラ予測符号化モードの１つであり、または複数のインター予測符号化モードの１つである。予測処理ユニット４１は、結果として生じたイントラまたはインター予測符号化されたブロックをサマー５０に提供して残差ブロックを生成し、そしてこれをサマー６２に提供して後で参照フレームの一部として使用するためにエンコードされるブロックを再構築することができる。予測処理ユニット４１は、動きベクトル、イントラモードインジケータ、分割情報、および他のそのようなシンタックス情報などのシンタックス要素を、エントロピーエンコーディングユニット５６にも提供する。

予測ブロックは、参照フレームの、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）又は他の差の計量によって決定され得るピクセル差に関して符号化される映像ブロックのＰＵに厳密にマッチングすると認定されるブロックである。いくつかの実行では、映像エンコーダ２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数ピクセル位置の値を計算することができる。例えば、映像エンコーダ２０は、参照フレームの４分の１ピクセル位置、８分の１ピクセル位置、または他の部分ピクセルの位置の値を補間することができる。したがって、動き推定ユニット４２は、全ピクセル位置および部分ピクセル位置に対して動き検索を実行し、部分ピクセル精度で動きベクトルを出力することができる。

動き推定ユニット４２は、インター予測符号化フレーム内の映像ブロックのＰＵの位置を第１の参照フレームリスト（リスト０）または第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と比べることによって、ＰＵの動きベクトルを計算し、第１の参照フレームリストまたは第２の参照フレームリストはそれぞれ、ＤＰＢ６４に記憶された１つまたは複数の参照フレームを識別する。動き推定ユニット４２は、計算された動きベクトルを動き補償ユニット４４に送り、次にエントロピーエンコーディングユニット５６に送る。

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴うことができる。当前の映像ブロックのＰＵの動きベクトルを受信すると、動き補償ユニット４４は、参照フレームリストの１つにおいて動きベクトルが指す予測ブロックを位置付け、ＤＰＢ６４から予測ブロックを検索し、予測ブロックをサマー５０に転送することができる。次に、サマー５０は、符号化される当前の映像ブロックのピクセル値から動き補償ユニット４４によって提供される予測ブロックのピクセル値を差し引くことにより、ピクセル差値の残差映像ブロックを形成する。残差映像ブロックを形成するピクセル差値は、輝度または彩度差成分、あるいはその両方を含んでもよい。動き補償ユニット４４は、映像フレームの映像ブロックをデコードする際に映像デコーダ３０によって使用されるために、映像フレームの映像ブロックに関連付けられたシンタックス要素を生成することもできる。シンタックス要素は、例えば、予測ブロックを識別することに使用される動きベクトルを定義するシンタックス要素、予測モードを指示する任意のフラグ、または本明細書で説明される任意の他のシンタックス情報を含んでもよい。動き推定ユニット４２と動き補償ユニット４４は高度に統合され得るが、概念的な目的のために別々に示されることに留意されたい。

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、他の映像ブロックの予測のための参照ブロックを生成するために、ピクセルドメインにおいて残差映像ブロックを再構築する。上記のように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。動き補償ユニット４４は、１つまたは複数の補間フィルタを予測ブロックに適用して、動き推定で使用するサブ整数ピクセル値を計算することができる。

サマー６２は、再構築された残差ブロックを動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、ＤＰＢ６４に記憶するための参照ブロックを生成する。参照ブロックは、次に、予測ブロックとしてイントラＢＣユニット４８、動き推定ユニット４２、および動き補償ユニット４４によって使用されて、後続の映像フレーム内の別の映像ブロックをインター予測することができる。

図３は、本出願のいくつかの実行による例示的な映像デコーダ３０を示すブロック図である。映像デコーダ３０は、映像データメモリ７９、エントロピーデコーディングユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、サマー９０、およびＤＰＢ９２を含む。予測処理ユニット８１は、動き補償ユニット８２、イントラ予測処理ユニット８４、イントラＢＣニット８５をさらに含む。映像デコーダ３０は、図２に関連して映像エンコーダ２０に関して前に記述されたエンコーディング処理に概ね逆行するデコーディング処理を実行することができる。例えば、動き補償ユニット８２は、エントロピーデコーディングユニット８０から受信した動きベクトルに基づいて予測データを生成でき、一方、イントラ予測ユニット８４は、エントロピーデコーディングユニット８０から受信したイントラ予測モードインジケータに基づいて予測データを生成できる。

映像データメモリ７９は、映像デコーダ３０の他の構成要素によってデコードされる、エンコードされた映像ビットストリームなどの映像データを記憶することができる。映像データメモリ７９に記憶される映像データは、例えば、記憶デバイス３２から取得されてもよく、映像データの有線または無線ネットワーク通信を介してカメラなどのローカル映像ソースから取得されてもよく、または物理データ記憶媒体（例えばフラッシュドライブやハードディスク）にアクセスすることによって取得されてもよい。映像データメモリ７９は、エンコードされた映像ビットストリームからのエンコードされた映像データを記憶する符号化ピクチャバッファ（ＣＰＢ）を含んでもよい。映像デコーダ３０のデコードピクチャバッファ（ＤＰＢ）９２は、映像デコーダ３０による映像データへのデコーディング（例えば、イントラまたはインター予測符号化モードで）において使用するための参照映像データを記憶する。映像データメモリ７９およびＤＰＢ９２は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）（同期ＤＲＡＭ（ＳＤＲＡＭ）を含む）、磁気抵抗性ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなどの任意の様々なメモリデバイスによって形成されてもよい。説明のために、映像データメモリ７９およびＤＰＢ９２は、図３において、映像デコーダ３０の２つの別個の構成要素として示される。しかし、当業者にとって、映像データメモリ７９およびＤＰＢ９２が同じメモリデバイスまたは別個のメモリデバイスによって提供され得ることが明らかである。いくつかの例では、映像データメモリ７９は、映像デコーダ３０の他の構成要素とオンチップであり、またはそれらの構成要素に対してオフチップであることができる。

図４Ａに示されるように、映像エンコーダ２０（またはより具体的には分割ユニット４５）は、最初にフレームを一組の符号化木ユニット（ＣＴＵ）に分割することによってフレームのエンコードされた表現を生成する。映像フレームは、左から右、そして上から下にラスタースキャンの順序で連続して並べられた整数個のＣＴＵを含むことができる。各ＣＴＵは最大の論理符号化ユニットであり、ＣＴＵの幅さおよび高さは、映像シーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６の１つである同じサイズを有するように、シーケンスパラメータセットで映像エンコーダ２０によってシグナリングされる。しかしながら、本出願は必ずしも特定のサイズに限定されないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、１つの輝度サンプルの符号化木ブロック（ＣＴＢ）、２つの彩度サンプルの対応の符号化木ブロック、および符号化木ブロックのサンプルを符号化するために使用されるシンタックス要素を含んでもよい。シンタックス要素は、ピクセルの符号化ブロックの異なるタイプのユニットのプロパティ、および如何にして映像デコーダ３０で映像シーケンスを再構築できるかを記述し、インターまたはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む。単彩度ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＴＵは、単一の符号化木ブロックと、符号化木ブロックのサンプルを符号化するために使用されるシンタックス要素とを含んでもよい。符号化木ブロックは、サンプルのＮ×Ｎブロックでもよい。

より良い性能を実現するために、映像エンコーダ２０は、ＣＴＵの符号化木ブロックに対して二分木分割、三分木分割、四分木分割、または前記の任意の組み合わせなどの木分割を再帰的に実行し、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割することができる。図４Ｃに示されるように、６４×６４ＣＴＵ４００は最初に４つのより小さいＣＵに分割され、各より小さいＣＵは３２×３２のブロックサイズを有する。４つのより小さいＣＵの中で、ＣＵ４１０とＣＵ４２０は、それぞれ４つの１６×１６ブロックサイズのＣＵに分割される。２つの１６×１６ＣＵ４３０および４４０は、それぞれ４つの８×８ブロックサイズのＣＵにさらに分割される。図４Ｄは、図４Ｃに示されるようなＣＴＵ４００の分割処理の最終結果を示す四分木データ構造を示し、四分木の各葉ノードは、３２×３２から８×８の範囲の相応のサイズの１つのＣＵに対応する。図４Ｂに示されるＣＴＵに類似し、各ＣＵは、輝度サンプルの符号化ブロック（ＣＢ）と、２つの同じサイズのフレームの彩度サンプルの対応の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用されるシンタックス要素とを含んでもよい。単彩度ピクチャまたは３つの別個の色平面を有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用されるシンタックス構造とを含んでもよい。図４Ｃおよび４Ｄに示される四分木分割は説明のみを目的としており、１つのＣＴＵを複数のＣＵに分割して、四分木/三分木/二分木分割に基づいてさまざまなローカル特性に適応させることができることに留意されたい。マルチタイプ木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木葉ＣＵは、二分木および三分木構造によってさらに分割されてもよい。図４Ｅに示されるように、即ち四分割、水平二分割、垂直二分割、水平三分割、垂直三分割の５つの分割タイプがある。

図５は、いくつかの実施例による、ビットストリームの映像フレームの符号化ブロック５０６の輝度サンプル５０４から彩度サンプル５０２を得る処理５００を示す。映像フレームの符号化ブロック５０６は、複数のピクセルを含み、各ピクセルは、複数の色要素（例えば、青、緑、および赤）により構成される。映像エンコーディングおよびデコーディングにおいて、複数のピクセルの明るさおよび色の情報は、それぞれ複数の輝度サンプル５０４および複数の彩度サンプル５０２によって表現される。複数のピクセルの各ピクセルは、単一の相応の輝度サンプル５０４に一意に対応する。各彩度サンプル５０２は、サブサンプリングスキームに従って、相応の輝度サンプル５０４のセットに対応する。各輝度サンプルは、輝度成分Ｙ’を有し、各彩度サンプル５０２は、青差彩度成分Ｃｂおよび赤差彩度成分Ｃｒを有する。輝度成分と彩度成分のサブサンプリングスキーム（Ｙ’：Ｃｂ：Ｃｒ）は、例えば４：１：１、４：２：０、４：２：２、４：４：４および４：４：０の３つの部分の比率を有する。図５において、映像フレームの輝度サンプル５０４および彩度サンプル５０２は、４：１：１に等しい３つの部分の比率を有するサブサンプリングスキームに準拠している。

いくつかの実施例では、映像フレームの輝度サンプル５０４および彩度サンプル５０２は、平均して４つずつの輝度サンプル５０４が青差彩度成分Ｃｂおよび赤差彩度成分Ｃｒを有する１つの彩度サンプル５０２に対応するサブサンプリングスキームに準拠する。換言すれば、輝度サンプル５０４の第１の輝度解像度は、彩度サンプル５０２の第２の彩度解像度の４倍である。平均して、４つずつの輝度サンプル５０４が、第２の彩度解像度に等しい第３の輝度解像度を有する輝度サンプル５０８のセット内の１つのダウンサンプリングされた輝度サンプル５０８に組合わせられる。いくつかの実施例では、各輝度サンプル５０８について、４つの隣接の輝度サンプル５０４より多くの隣接の輝度サンプル５０４が適用されて、相応の彩度サンプル５０２が得られる。輝度サンプル５０４のサブセットについて、各輝度サンプル５０４は複数回適用されて、１つ以上のダウンサンプリングされた輝度サンプル５０８および／または１つ以上の彩度サンプル５０２が生成される。事前定義された補間スキーム５１０に基づいて複数の輝度サンプル５０４を輝度サンプル５０８および／または彩度サンプル５０２にダウンサンプリングすることに関する詳細は、以下図６Ａ－６Ｄを参照して説明される。

あるいは、いくつかの実施例では、映像コーデックは、彩度サンプルのグループ（例えば、上および左の隣接の彩度サンプルを含む彩度サンプル５１６のグループ）を検索して、最大および最小の彩度サンプル５１６Ａ－３および５１６Ｂ－３（例えば、それぞれ最大および最小の彩度値を有する彩度サンプル）を識別する。次に、映像コーデックは、最大および最小の彩度サンプル５１６Ａ－３および５１６Ｂ－３に対応する、（例えば、上および左の隣接の輝度サンプルを含むダウンサンプリングされた輝度サンプル５１４のグループにおける）ダウンサンプリングされた輝度サンプル５１４Ａ－３および５１４Ｂ－３を識別する。このように、線形マッピングモデル５１２は、ダウンサンプリングされた輝度サンプル（５１４Ａ－３および５１４Ｂ－３）および彩度サンプル（５１６Ａ－３および５１６Ｂ－３）に基づいて得られる。

あるいは、いくつかの実施例では、映像コーデックは、ダウンサンプリングされた輝度サンプルのグループ（例えば、ダウンサンプリングされた輝度サンプル５１４の選択されたグループ）を検索して、最大の輝度値を有する、事前定義された数（例えば、２つ）のダウンサンプリングされた輝度サンプル（例えば、５１４Ａ－４および５１４Ａ－５）。および最小の輝度値を有する、事前定義された数（例えば、２つ）のダウンサンプリングされた輝度サンプル（例えば、５１４Ｂ－４および５１４Ｂ－５）を識別する。次に、映像コーデックは、彩度サンプル５１６の選択されたグループ内の彩度サンプル（例えば、５１６Ａ－４、５１６Ａ－５、５１６Ｂ－４、および５１６Ｂ－５）を識別し、各彩度サンプルはそれぞれ最大のダウンサンプリングされた輝度サンプル５１４Ａ－４と５１４Ａ－５のグループおよび最小のダウンサンプリングされた輝度サンプル５１４Ｂ－４と５１４Ｂ－５のグループの中の相応の１つのグループに対応する。次に、映像コーデックは、各の識別された彩度および輝度サンプルのグループで値（例えば、彩度または輝度の値）の加重平均を実行して、（例えば、彩度サンプル５１６Ａ－４および５１６Ａ－５の）最大平均彩度値、（例えば、彩度サンプル５１６Ｂ－４および５１６Ｂ－５の）最小平均彩度値、（例えば、輝度サンプル５１４Ａ－４および５１４Ａ－５の）最大平均ダウンサンプリングされた輝度値、および（例えば、輝度サンプル５１４Ｂ－４および５１４Ｂ－５の）最小値平均ダウンサンプリングされた輝度値を生成する。このように、線形マッピングモデル５１２は、ダウンサンプリングされた輝度サンプル（５１４Ａ－４、５１４Ａ－５、５１４Ｂ－４および５１４Ｂ－５）および彩度サンプル（５１６Ａ－４、５１６Ａ－５、５１６Ｂ－４および５１６Ｂ－５）に基づいて得られることができる。

図６Ｃを参照して、符号化ブロック５０６Ｃにおいて、輝度成分５０４および彩度成分５０２のサブサンプリングスキーム（Ｙ’：Ｃｂ：Ｃｒ）は、３つの部分の比率４：２：２を有する。各彩度サンプル５０２は、２×３のフィルタ形状を有する成分間フィルタモデル５２０に従って６つの隣接の輝度サンプル５０４から組み合わされる。６つの隣接の輝度サンプル５０４のうちの１つは、彩度サンプル５０２と重なり、残りの５つの隣接の輝度サンプルは、相応の彩度サンプル５０２の左、右、左下隅、直接の下、および右下隅に位置付けられる。各彩度サンプル５０２のこれらの６つの隣接の輝度サンプル５０４は、事前定義された輝度補間スキーム５１０に従って、相応の彩度サンプル５０２と重なるダウンサンプリングされた輝度サンプル５０８に転換され、次に線形マッピングモデル５１２に従って相応の彩度サンプル５０２に転換される。一例では、第６の彩度サンプル５０２Ｆおよびそれに対応する６つの隣接の輝度サンプル５０４Ｆ－１から５０４Ｆ－６は、完全にブロック境界６０２内に囲まれ、第６の彩度サンプル５０２Ｆは、成分間フィルタモデル５２０または輝度補間スキーム５１０と線形マッピングモデル５１２との組み合わせに基づいて隣接の輝度サンプル５０４Ｆ－１から５０４Ｆ－６から得られることができる。

いくつかの実施例では、映像フレーム内の第２の複数のピクセルのための第２の複数の輝度サンプル５１８および第２の複数の彩度サンプル５１６を有するビットストリームが取得される。代替の複数の輝度サンプル５１４は事前定義された輝度補間スキーム５１０に従って決定され、複数の彩度サンプル５１６と同じ解像度を有する。線形マッピングモデル５１２のための第１のパラメータαおよび第２のパラメータβは、代替の複数の輝度サンプル５１４および第２の複数の彩度サンプル５１６を用いて決定される。さらに、いくつかの実施例では、境界彩度サンプルＹは、以下のように式（１）に記載される線形マッピングモデル５１２に従って境界輝度サンプルＸから決定される。図５を参照して、いくつかの実施例では、２つの最大の輝度サンプル５１４Ａ－４および５１４Ａ－５は、代替の複数の輝度サンプル５１４の中で決定され、２つの最小の輝度サンプル５１４Ｂ－４および５１４Ｂ－５は、代替の複数の輝度サンプル５１４の中で決定される。２つの最大の輝度サンプル５１４Ａ－４と５１４Ａ－５は平均化されて第１の輝度値になり、２つの最小の輝度サンプル５１４Ｂ－４と５１４Ｂ－５は平均化されて第２の輝度値になる。２つの第１の彩度サンプル５１６Ａ－４および５１６Ａ－５は、２つの最大の輝度サンプル５１４Ａ－４および５１４Ａ－５に関連付けられる第２の複数の彩度サンプル５１４の中で決定される。２つの第２の彩度サンプル５１６Ｂ－４および５１６Ｂ－５は、２つの最小の輝度サンプル５１４Ｂ－４および５１４Ｂ－５に関連付けられる第２の複数の彩度サンプルの中で決定される。２つの第１の彩度サンプル５１６Ａ－４および５１６Ａ－５の値は、第１の輝度値に対応する第１の彩度値に平均化され、２つの第２の彩度サンプル５１６Ｂ－４および５１６Ｂ－５の値は、第２の輝度値に対応する第２の彩度値に平均化される。線形マッピングモデル５１２は、第１および第２の輝度値ならびに第１および第２の彩度値に基づいて、彩度サンプル５０２と輝度サンプル５０８との間で得られる。

Claims (18)

1. 映像データをデコードするための方法であって、
   ビットストリームから、映像フレーム内の複数のピクセルのための複数の輝度サンプルを取得し、前記複数のピクセルは、符号化ブロックに属するとともに、前記符号化ブロックの内部に位置付けられ且つ前記符号化ブロックの境界に直接に隣る境界ピクセルを含むことと、
   前記境界ピクセルの１つまたは複数の隣接ピクセルが利用できないことを決定し、前記１つまたは複数の隣接ピクセルの各ピクセルが前記符号化ブロックの外部にあることと、 前記境界ピクセルに対応する輝度サンプルを、前記１つまたは複数の隣接ピクセルの各ピクセルに対応する輝度サンプルに割り当てることと、
   事前定義された輝度補間スキームに従って少なくとも前記１つまたは複数の隣接ピクセル及び前記境界ピクセルの輝度サンプルに基づいて、境界輝度サンプルを決定することと、
   線形マッピングモデルに従って前記境界輝度サンプルから境界彩度サンプルを決定することと、
   を含む前記映像データをデコードするための方法。
2. 少なくとも前記境界ピクセルの位置に基づいて前記事前定義された輝度補間スキームを決定し、前記事前定義された輝度補間スキームに基づいて前記１つまたは複数の隣接ピクセルが前記境界ピクセルに隣ること、
   を更に含む請求項１に記載の方法。
3. 前記事前定義された輝度補間スキームはまた、前記複数のピクセルに対応するサブサンプリングスキームと前記ビットストリームから得られたシンタックス要素との少なくとも１つに基づいて決定される、請求項２に記載の方法。
4. 前記境界ピクセルの前記１つまたは複数の隣接ピクセルが映像フレームまたは画像スライスの外部にある、請求項１～３のいずれかに記載の方法。
5. 前記境界ピクセルの前記１つまたは複数の隣接ピクセルはまだ符号化されておらず、前記符号化ブロックに続いて符号化される、請求項１～３のいずれかに記載の方法。
6. 前記複数のピクセルは前記符号化ブロックに完全に囲まれる第１のピクセルのセットを含むとともに、
   前記事前定義された輝度補間スキームに従って前記第１のピクセルのセットに対応する輝度サンプルのセットから内部輝度サンプルを決定することと、
   前記線形マッピングモデルに従って、前記内部輝度サンプルに基づいて前記第１のピクセルのセットに対応する内部彩度サンプルを決定することと、をさらに含む前記請求項のいずれかに記載の方法。
7. 前記複数のピクセルは、前記符号化ブロックの内部にあり且つ内部輝度サンプルに対応する内部ピクセルをさらに含み、
   前記境界輝度サンプルは、前記事前定義された輝度補間スキームに従って、前記内部ピクセルの前記内部輝度サンプルと前記１つまたは複数の隣接ピクセル及び前記境界ピクセルの前記輝度サンプルとの両方に基づいて決定される、
   前記請求項のいずれかに記載の方法。
8. 前記境界ピクセルは第１の境界ピクセルであり、前記１つまたは複数の隣接ピクセルは１つまたは複数の第１の隣接ピクセルを含み、
   前記複数のピクセルは、前記符号化ブロックの内部にあり且つ前記符号化ブロックの相応の境界に直接に隣る第２の境界ピクセルを含む、
   前記請求項のいずれかに記載の方法であって、当該方法は、
   前記第２の境界ピクセルに直接に隣る１つまたは複数の第２の隣接ピクセルを作り、前記１つまたは複数の第２の隣接ピクセルの各ピクセルは符号化ブロックの外部にあることと、
   前記第２の境界ピクセルに対応する輝度サンプルを、前記１つまたは複数の第２の隣接ピクセルの各ピクセルに対応する輝度サンプルに割り当て、前記境界輝度サンプルは、前記事前定義された輝度補間スキームに従って少なくとも前記第１及び第２の境界ピクセルの両方並びに前記第１及び第２の隣接ピクセルの両方に基づいて決定されることと、
   を更に含む。
9. 前記１つまたは複数の隣接ピクセルは、前記境界ピクセルに対する境界の反対側にあり且つ前記境界ピクセルに対応する前記輝度サンプルから割り当てられた対応の輝度サンプルを有する１つの隣接ピクセルのみを含む、前記請求項のいずれかに記載の方法。
10. 境界は第１の境界を含み、
    前記境界ピクセルは、前記第１の境界と前記第１の境界に直交する第２の境界との間に形成された前記符号化ブロックの角に直接に隣り、
    前記１つまたは複数の隣接ピクセルは、前記境界ピクセルに対する前記第１の境界の反対側にある第１の隣接ピクセルを含むとともに、（１）前記境界ピクセルに対する前記第２の境界の反対側にある第２の隣接ピクセルと（２）前記符号化ブロックの角にわたって前記境界ピクセルに対向する第３の隣接ピクセルとの少なくとも１つとを含む、
    前記請求項のいずれかに記載の方法。
11. サブサンプリングスキームに従って、前記複数のピクセルの輝度サンプルおよび彩度サンプルは、以下の比率値のうちの１つを有する３つの部分のＹ’ＣｂＣｒ比率に準拠する：
    （１）４：１：１、ここで、４つずつの水平ピクセルが４つの輝度サンプル、青差彩度サンプルＣｂ、および赤差彩度サンプルＣｒに対応する；
    （２）４：２：０、ここで、各２×２ピクセルブロックの４つずつのピクセルが４つの輝度サンプル、青差彩度サンプルＣｂ、および赤差彩度サンプルＣｒに対応する；
    （３）４：２：２、ここで、４つずつのピクセルが４つの輝度サンプル、２つの青差彩度サンプルＣｂ、および２つの赤差彩度サンプルＣｒに対応する；
    （４）４：４：４、ここで、４つずつのピクセルが４つの輝度サンプル、４つの青差彩度サンプルＣｂ、および４つの赤差彩度サンプルＣｒに対応する、
    前記請求項のいずれかに記載の方法。
12. 前記事前定義された輝度補間スキームに従って、２×３サブアレイ内の６つの隣接の輝度サンプルが代替の輝度サンプルにダウンサンプリングされ、２×３アレイ内の各左および右の列の輝度サンプルが同じ行において代替の輝度サンプルを生成するために少なくとも２回使用される、
    前記請求項のいずれかに記載の方法。
13. 前記事前定義された輝度補間スキームに従って、５つの隣接の輝度サンプルが代替の輝度サンプルにダウンサンプリングされ、中心ピクセルを中心とする十字形のサブアレイに配置される、
    前記請求項のいずれかに記載の方法。
14. 前記ビットストリームから、映像フレーム内の第２の複数のピクセルのための第２の複数の輝度サンプルおよび第２の複数の彩度サンプルを取得することと、
    前記事前定義された輝度補間スキームに従って、前記複数の彩度サンプルと同じ解像度を有する代替の複数の輝度サンプルを決定することと、
    前記代替の複数の輝度サンプルおよび前記第２の複数の彩度サンプルを使用することにより、前記線形マッピングモデルのための第１のパラメータαおよび第２のパラメータβを得ることと、
    をさらに含む前記請求項のいずれかに記載の方法。
15. 前記境界彩度サンプルＹは、以下の式を使用して記述される以下の線形マッピングモデルに従って前記境界輝度サンプルＸから決定される、前記請求項１４に記載の方法。
    Ｙ＝α*Ｘ＋β
16. 前記線形マッピングモデルのための第１のパラメータαおよび第２のパラメータβを決定することは、
    前記代替の複数の輝度サンプルの中から２つの最大の輝度サンプルを識別することと、
    前記代替の複数の輝度サンプルの中から２つの最小の輝度サンプルを識別することと、
    前記２つの最大の輝度サンプルを第１の輝度値に平均化することと、
    前記２つの最小の輝度サンプルを第２の輝度値に平均化することと、
    前記２つの最大の輝度サンプルに関連付けられる前記第２の複数の彩度サンプルの中の２つの第１の彩度サンプルを識別することと、
    前記２つの最小の輝度サンプルに関連付けられる前記第２の複数の彩度サンプルの中の２つの第２の彩度サンプルを識別することと、
    前記２つの第１の彩度値を、前記第１の輝度値に対応する第１の彩度値に平均化することと、
    前記２つの第２の彩度値を、前記第２の輝度値に対応する第２の彩度値に平均化することと、
    前記第１および第２の輝度値並びに前記第１および第２の彩度値に基づいて、彩度値と輝度値との間の線形マッピングモデルを得ることと、
    をさらに含む請求項１４に記載の方法。
17. 電子デバイスであって、
    １つまたは複数のプロセッサと、
    メモリと、
    を含み、
    前記メモリに、前記１つまたは複数のプロセッサにより実行される際にプロセッサに請求項１～１６のいずれかに記載の方法を実行させる命令が記憶される、
    前記電子デバイス。
18. 非一時的なコンピュータ可読媒体であって、
    １つまたは複数のプロセッサにより実行される際にプロセッサに請求項１～１６のいずれかに記載の方法を実行させる命令が記憶される、
    前記非一時的なコンピュータ可読媒体。

Images