JP2023522845A - 参照領域を使用する映像符号化の方法及びシステム - Google Patents

Abstract

デコーダは、ビットストリームを受信することと、第１のフレームを特定することと、第１のフレーム内の第１の独立した参照領域を見つけることと、第１のフレームから第１の独立した参照領域を抽出することと、第２のフレームの参照として第１の独立した参照領域を使用して第２のフレームを復号化することとを行うように構成されている回路を含む。

Description

（関連出願）
本願は、２０２１年４月１４日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＯＦ ＶＩＤＥＯ ＣＯＤＩＮＧ ＵＳＩＮＧ ＲＥＦＥＲＥＮＣＥ ＲＥＧＩＯＮＳ」と題された米国非仮出願第１７／２２９，９５７の優先権の利益を主張し、その全体を参照により本明細書に援用し、２０２０年４月１４日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＯＦ ＶＩＤＥＯ ＣＯＤＩＮＧ ＵＳＩＮＧ ＲＥＦＥＲＥＮＣＥ ＲＥＧＩＯＮＳ」と題された米国仮特許出願第６３／００９，９７８の優先権の利益を主張し、その全体を参照により本明細書に援用する。

本発明は、概して、ビデオ圧縮の分野に関する。特に、本発明は、参照領域を使用する映像符号化の方法及びシステムを対象にする。

ビデオコーデックは、デジタルビデオを圧縮し、或いは解凍する電子回路又はソフトウェアを含み得る。それは、圧縮されていないビデオを圧縮されたフォーマットに変換することができ、或いはその逆も同様であり得る。ビデオ圧縮のコンテキストでは、ビデオを圧縮する（且つ／或いはそのいくつかの機能を実行する）デバイスは典型的に、エンコーダと呼ばれることがあり、ビデオを解凍する（且つ／或いはそのいくつかの機能を実行する）デバイスは、デコーダと呼ばれることがある。

圧縮されたデータのフォーマットは、標準的なビデオ圧縮仕様に準拠し得る。圧縮は、圧縮されたビデオが元のビデオに存在するいくつかの情報を欠くという点で非可逆的であり得る。この結果は、元のビデオを正確に再構成するための情報が不十分であるので、解凍されたビデオは、元の圧縮されていないビデオよりも低い品質を有し得ることを含み得る。

ビデオ品質、（例えば、ビットレートによって判定される）ビデオを表すために使用されるデータ量、符号化及び復号化アルゴリズムの複雑さ、データ損失及びエラーに対する感度、編集の容易さ、ランダムアクセス、エンドツーエンド遅延（例えば、遅延）などの間に複雑な関係が存在し得る。

動き補償は、ビデオにおけるカメラ及び／又はオブジェクトの動きを考慮することによって、以前の且つ／或いは未来のフレームなどの、参照フレームを与えられたビデオフレーム又はその一部分を予測するアプローチを含み得る。それは、ビデオ圧縮のためのビデオデータの符号化及び復号化、例えば、（Ｈ．２６４とも呼ばれる）Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）のａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＡＶＣ）規格を使用した符号化及び復号化で採用され得る。動き補償は、参照ピクチャから現在のピクチャへの変換という観点からピクチャを記述し得る。参照ピクチャは、現在のピクチャと比較すると時間的に以前のものであることがあり、現在のピクチャと比較すると未来からのものであることがある。画像が、以前に伝送され且つ／或いは格納された画像から正確に画像を合成され得るとき、圧縮効率は向上され得る。

一態様では、デコーダは、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第１のサイズを有する符号化された現在のピクチャを含む、受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャのサブ領域を特定することであって、サブ領域は、第２のサイズを有し、第２のサイズは、第１のサイズとは異なる、特定することと、再スケーリングされた参照ピクチャを形成するためにサブ領域を第３のサイズに再スケーリングすることであって、第３のサイズは、第１のサイズに等しい、再スケーリングすることと、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。

別の態様では、デコーダは、符号化された第１の参照ピクチャ及び符号化された現在のピクチャを含む符号化されたビデオビットストリームを受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャの第１のサブ領域を特定することと、第２の参照ピクチャを形成するために第１のサブ領域を変換することと、第２の参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。

別の態様では、参照領域を使用する映像符号化の方法は、デコーダによって、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第１のサイズを有する符号化された現在のピクチャを含む、受信することと、デコーダによって、参照ピクチャを復号化することと、デコーダによって且つビットストリームから、参照ピクチャのサブ領域を特定することであって、サブ領域は、第２のサイズを有し、第２のサイズは、第１のサイズとは異なる、特定することと、デコーダによって、再スケーリングされた参照ピクチャを形成するためにサブ領域を第３のサイズに再スケーリングすることであって、第３のサイズは、第１のサイズに等しい、再スケーリングすることと、デコーダによって、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を含む。

別の態様では、デコーダは、ビットストリームを受信することと、第１のフレームを特定することと、第１のフレーム内の第１の独立した参照領域を見つけることと、第１のフレームから第１の独立した参照領域を抽出することと、第２のフレームの参照として第１の独立した参照領域を使用して第２のフレームを復号化することと、を行うように構成されている回路を含む。

別の態様では、参照領域を使用する映像符号化の方法は、ビットストリームを受信することと、第１のフレームを特定することと、第１のフレーム内の第１の独立した参照領域を見つけることと、第１のフレームから第１の独立した参照領域を抽出することと、第２のフレームの参照として第１の独立した参照領域を使用して第２のフレームを復号化することと、を含む。

本発明の非限定的な実施形態のこれら及び他の態様及び特徴は、添付の図面と共に本発明の特定の非限定的な実施形態の以下の説明を検討することにより、当業者に明らかになるであろう。

本発明を説明する目的で、図面は、本発明の１つ又は複数の実施形態の態様を示す。しかしながら、本発明は、図面に示される正確な配置及び手段に限定されないことを理解されたい。
図１は、参照フレームを使用して復号化する一実施形態を示すブロックダイアグラムである。 図２は、独立した参照領域を有する参照フレームの例示的な一実施形態の説明図である。 図３は、独立した参照領域及び予測フレームの例示的な一実施形態の説明図である。 図４は、独立した参照領域及び予測フレームの例示的な一実施形態の説明図である。 図５は、独立した参照領域及び予測フレームの例示的な一実施形態の説明図である。 図６は、ＬＴＲバッファの例示的な一実施形態の説明図である。 図７は、本対象のいくつかの実装形態による、ビデオを復号化する例示的なプロセスを示すプロセスフローダイアグラムである。 図８は、本対象のいくつかの実装形態による、ビットストリームを復号化することができる例示的なデコーダを示すシステムブロックダイアグラムである。 図９は、本対象のいくつかの実装形態による、ビデオを符号化する例示的なプロセスを示すプロセスフローダイアグラムである。 図１０は、本対象のいくつかの実装形態による、例示的なビデオエンコーダを示すシステムブロックダイアグラムである。 図１１は、本明細書に開示される任意の１つ又は複数の方法論、及び任意の１つ又は複数のその部分を実装するために使用され得るコンピューティングシステムのブロックダイアグラムである。

図面は、必ずしも縮尺通りではなく、想像線、図表示、及び部分図によって説明され得る。場合によっては、実施形態の理解に必要でない詳細、又は他の詳細を把握することを困難にする詳細は、省略され得る。

従来の映像符号化方式では、ビデオシーケンスは、Ｇｒｏｕｐ－ｏｆ－Ｐｉｃｔｕｒｅｓ（ＧＯＰ）に分割される。各ＧＯＰは、時間的な且つ空間的な予測という意味で自己完結されている。通常、グループにおける最初のピクチャは、後続のピクチャのための参照ピクチャとして使用される。ピクチャ間の時間的な且つ空間的な関係は、予測符号化を使用して非常に効率的な圧縮を可能にする。

ここで、図１を参照すると、各ＧＯＰは、参照として使用される参照フレーム１０４又はイントラフレーム（Ｉ－フレーム）、及び参照から他のフレーム１０８を予測するために使用可能な情報を含み得る。予測のために使用可能な情報は、限定されないが、グローバル及び／又はローカル動きベクトル及び／又は変換、ならびにさらに説明されるように残差を含んでもよい。参照フレーム１０４又はＩフレームの伝送は、ＧＯＰの伝送に使用される帯域幅の実質的な部分を表し得る。

いくつかの実施形態では、長期参照（ＬＴＲ）フレームを使用して、伝送帯域幅が低減されてもよく、且つ／或いは、復号化及び／又は符号化効率が改善されてもよい。本開示で使用されるように、ＬＴＲフレームは、１つ又は複数のグループオブピクチャ（ＧＯＰ）において、予測フレーム及び／又はピクチャを作成するために使用されるフレーム及び／又はピクチャであるが、それ自体はビデオピクチャに表示されないことがある。ビデオビットストリームにおいてＬＴＲフレームとしてマークされたフレームは、ビットストリームシグナリングによって明示的に削除されるまで、参照として利用可能であってもよい。ＬＴＲフレームは、長期間にわたって静的な背景を有するシーン（例えば、ビデオ会議の背景又は駐車場監視のビデオ）における予測及び圧縮効率を向上させ得る。

Ｈ．２６４及びＨ．２６５などの現在の規格は、格納され、参照フレーム１０４として利用可能にする新たに復号化されたフレームをシグナリングすることによって、ＬＴＲフレームなどの、類似フレームの更新を可能にする。そのような更新は、エンコーダによってシグナリングされ、フレーム全体が更新される。しかしながら、フレーム全体を更新することは、特に、静的背景のほんの一部分しか変化していない場合、コストがかかり得る。

ここで、図２を参照すると、本明細書に開示される実施形態は、現在のフレームの参照として参照フレーム１０４の少なくとも参照領域を使用して予測を実行することによって、上述された予測プロセスの効率及び柔軟性を改善し、参照領域又は「サブ領域」は、サイズを有し、サイズは、参照フレーム１０４のエリアよりも小さい、例えば、画素で定義される、エリアを含んでもよい。予測フレームが参照フレーム１０４全体から生成される、現在の符号化規格とは対照的に、上述されたアプローチは、デコーダが、より効率的に、より大きなバリエーションで復号化動作を実行することを可能にし得る。少なくともサブ領域２０４は、ＧＯＰ内の任意の位置に、任意のフレーム数に使用されてもよく、したがって、Ｉ－フレームの再符号化及び／又は再伝送の要件を除外する。

引き続き図２を参照すると、ビデオビューのクロップされた部分を表すサブ領域２０４を有する参照フレーム１０４の例示的な一実施形態が示される。サブ領域２０４は、例えば、以下にさらに詳細に説明されるように、デコーダによって、参照フレーム１０４内で特定されてもよい。サブ領域２０４は、クロップされた参照フレーム１０４が別々に伝送されることを必要とせず、クロップされた参照フレーム１０４の使用に類似する方法において参照領域として使用されてもよい。

また、図２を参照すると、非限定的且つ例示的な一実施例として、参照フレーム１０４は、第１の幅Ｄ１及び第１の高さＤ２によって定義される第１の解像度を有してもよく、Ｄ１及びＤ２は、限定されないが、画素及び／又は画素の端数などの、測定単位の数であってもよい。参照フレーム１０４のエリアは、解像度Ｄ１×Ｄ２として定義される、測定単位Ｄ１及びＤ２の長方形の配列のエリアとして定義されてもよい。サブ領域２０４は、Ｗ×Ｈのエリア又は解像度を定義する、幅Ｗ及び高さＨを有してもよい。サブ領域２０４は、同じ、或いは、より小さい寸法を有する参照ピクチャ内のサブピクチャを定義してもよく、「より小さい寸法」は、Ｗ及びＨの少なくとも１つが参照フレームの対応する寸法よりも小さいことを意味する。言い換えれば、ＷがＤ１よりも小さいか、或いはＨがＤ２よりも小さいかのいずれかである。その結果、解像度又はエリアＷ×Ｈは、解像度又はエリアＤ１×Ｄ２よりも小さくてもよい。サブ領域２０４は、４項組（Ｘ，Ｙ，Ｗ，Ｈ）によって定義されてもよく、Ｘ，Ｙは、参照ピクチャの左上隅に対するサブ領域２０４の左上隅の座標であり、Ｗ，Ｈは、測定単位で表されるサブ領域２０４の幅及び高さである。代替の４項組は、限定されないが、サブ領域２０４の代替の隅の座標、２つの対角線上に対向する頂点のセット、及び／又は任意の定義された点へのベクトルなどの、サブ領域２０４を定義するために選択され得ることに留意されたい。サブ領域２０４を定義するデータは、ＧＯＰにわたって静的であってもよい。例えば、４項組（Ｘ，Ｙ，Ｗ，Ｈ）又は同等のものが、ＧＯＰにわたって静的であってもよい。代替的に或いは追加的に、サブ領域２０４を定義するデータは、動的であってもよい。例えば、限定されないが、サブ領域２０４は、ビデオピクチャにおける関心のある、オブジェクト及び／又は人物の動きにしたがうように、ＧＯＰの後続のピクチャ間で変化する。これは、概して、映像符号化に使用される動きベクトル及び／又は変換と同様に符号化されてもよい。グループオブピクチャの各ピクチャに対してサブ領域２０４を定義するデータが提供されてもよい。これは、限定されないが、例えば、上述されたように、１つのピクチャにおけるサブ領域２０４を定義するデータのセットによって、１つのピクチャから前又は後続のピクチャへのサブ領域２０４の動きを記述するさらなるデータによってなど、グループオブピクチャの各ピクチャに対して、サブ領域２０４を定義するデータのセットによって、達成されてもよい。サブ領域２０４を定義するデータは、シーケンスパラメータセット（ＳＰＳ）において指定されてもよく、且つ／或いはシグナリングされてもよい。サブ領域２０４を定義する更新データは、ＧＯＰの１つ又は複数の選択されたピクチャ及び／又はフレームに対してピクチャパラメータセット（ＰＰＳ）において提供されてもよい。

引き続き図２を参照すると、デコーダは、解像度Ｄ１×Ｄ２で参照フレームを受信しているところであってもよく、まさに受信しようとしていてもよく、或いは既に受信していてもよく、上述されたように、４項組を使用してサブ領域２０４を選択してもよい。いくつかの実装形態では、エンコーダは、ビットストリームにおける余分なビットを使用して、デコーダにサブ領域２０４の幾何学的特性をシグナリングしてもよい。シグナリングビットは、以下にさらに詳細に説明されるように、ＬＴＲバッファ及び／又は参照バッファなどのバッファ内の、参照フレーム１０４インデックス及び／又はＧＯＰを特定するインデックスと、デコーダでピクチャインデックスを特定することと、サブ領域２０４の４項組とを示してもよい。次いで、デコーダは、独立した参照領域としてサブ領域２０４を抽出してもよい。後続のフレームは、抽出された独立した参照領域から予測されてもよい。サブ領域２０４を定義するデータが上述されたように動的である場合、後続のフレームはさらに、そのようなデータ及び参照領域を使用して予測されてもよい。有利には、単一の参照領域は、参照領域の再伝送を必要とすることなく、ピクチャに関連して移動するサブ領域２０４に使用されてもよい。代替的に或いは追加的に、サブ領域２０４、参照フレーム１０４などのサイズ及び／又は位置は、高さオフセット、高さ、長さオフセット、及び／又は長さなどの、ビットストリームにおいてシグナリングされ得る、パラメータを使用して特徴付けられてもよい。

また、図２を参照すると、サブ領域２０４は、少なくとも１つの垂直オフセット及び少なくとも１つの水平オフセットを使用してシグナリングされてもよい。例えば、限定されないが、上述されたように、４項組は、フレームの上端からの垂直オフセット、フレームの下端からの垂直オフセット、フレームの左端からの水平オフセット、及びフレームの右端からの水平オフセットを指定してもよく、オフセットは、以下にさらに詳細に説明されるように、再スケーリングの前又は後続のいずれかのフレームの画素で測定されてもよい。非限定的な一実施例として、少なくとも１つの垂直オフセットは、ｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ及びｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔを含んでもよく、これらは、ＳＰＳにおいてシグナリングされてもよく、フレームの上端からの垂直オフセット及びフレームの下端からの垂直オフセットをそれぞれ特定してもよい。さらなる非限定的な一実施例として、少なくとも１つの水平オフセットは、ｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ及びｓｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔを含んでもよく、これらは、ＳＰＳにおいてシグナリングされてもよく、フレームの左端からの水平オフセット及びフレームの右端からの水平オフセットをそれぞれ特定してもよい。

引き続き図２を参照すると、代替的又は追加的に、サブ領域２０４は、サブ領域２０４に含まれるべき且つ／或いはサブ領域２０４から除外されるべき１つ又は複数のタイル又はスライスの指定によって特定されてもよい。フレーム内のタイル数及び位置は、ピクチャヘッダにおいてシグナリングされてもよい。一実施形態では、シグナリングは、明示的であってもよい。代替的に或いは追加的に、ＰＰＳは、タイル行、列、行の高さ、及び／又は列幅、タイルカウント及び／又は数を判定するためにデコーダによって結び付けられ、且つ／或いは利用され得る任意の或いは全てのそれらをシグナリングしてもよい。例えば、限定されないが、１が加えられた、ｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１として示されるＰＰＳパラメータは、明示的に提供されたタイル列幅の数を指定してもよい。さらなる非限定的な一実施例として、１が加えられた、パラメータｐｐｓ＿ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］は、例えば、０からｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１までの範囲におけるｉに関して、コーディングツリーブロック（ＣＴＢ）の単位で、ｉ番目のタイル列幅を指定してもよい。１が加えられた、パラメータｐｐｓ＿ｔｉｌｅ＿ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］は、例えば、ｉに関して、ＣＴＢの単位で、ｉ番目のタイル行の高さを指定してもよい。代替的に或いは追加的に、シグナリングされたパラメータは、１つ又は複数のタイル内のスライスの数及び／又は寸法を指定してもよい。例えば、ｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］で示されるパラメータは、ｉ番目のスライスを含むタイルにおけるスライスに関して、明示的に提供されたスライスの高さの数を指定してもよい。１が加えられた、ｐｐｓ＿ｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］で示されるパラメータは、タイル列の単位で、ｉ番目の長方形のスライスの幅を指定してもよい。１が加えられた、ｐｐｓ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］で示されるパラメータは、例えば、ｐｐｓ＿ｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］が０に等しいとき、タイル行の単位で、ｉ番目の長方形のスライスの高さを指定してもよい。当業者は、本開示の全体を検討する際に、タイル及び／又はスライスパラメータが、暗示的に或いは明示的に関わらず、ビットストリーム及び／又はヘッダパラメータにおいて、且つ／或いは、ビットストリーム及び／又はヘッダパラメータから、シグナリングされ、且つ／或いは判定され得る様々な代替の或いは追加の方法を承知するであろう。

また、図２を参照すると、サブ領域２０４の変換がサブ領域２０４を再スケーリングすることを含む場合、より小さい、且つ／或いは、より大きいサブ領域の幅及び高さが、サブ領域２０４の幅及び高さに、任意の再スケーリング定数（Ｒｃ）を乗じることによって取得されてもよく、再スケーリング定数（Ｒｃ）は、スケーリング因子及び／又は定数とも呼ばれ、代替的に或いは追加的に、ＲｅｆＰｉｃＳｃａｌｅなどの変数名で呼ばれ得る。より小さいサブ領域２０４の場合、Ｒｃは、０－１の間の値を有してもよい。より大きいフレームの場合、Ｒｃは、１よりも大きい値を有してもよい。例えば、Ｒｃは、１－４の間の値を有してもよい。他の値であってもよい。再スケーリング定数は、１つの解像度次元と別の解像度次元とで異なっていてもよい。例えば、再スケーリング定数Ｒｃｈは、高さを再スケーリングするために使用されてもよく、別の再スケーリング定数Ｒｃｗは、幅を再スケーリングするために使用されてもよい。

また、図２を参照すると、再スケーリングは、モードとして実装されてもよい。いくつかの実装形態では、エンコーダは、例えば、ｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓパラメータ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔパラメータ、及び／又はｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔパラメータなどの、ピクチャパラメータの関数として、使用する再スケーリング定数をデコーダにシグナリングしてもよい。シグナリングは、現在のピクチャを含むＧＯＰに対応するシーケンスパラメータセット（ＳＰＳ）及び／又は現在のピクチャに対応するピクチャパラメータセット（ＰＰＳ）において実行されてもよい。例えば、限定されないが、エンコーダは、ｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ、及び／又はｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１などの、フィールドを使用して再スケーリングされたパラメータをシグナリングしてもよい。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎｄｏｗ＿ｅｘｐｌｉｃｉｔ＿ｓｉｇｎａｌｌｉｎｇ＿ｆｌａｇなどのパラメータが１に等しいことは、スケーリングウィンドウオフセットパラメータがＰＰＳにおいて存在することを指定してもよい。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎｄｏｗ＿ｅｘｐｌｉｃｉｔ＿ｓｉｇｎａｌｌｉｎｇ＿ｆｌａｇが０に等しいことは、スケーリングウィンドウオフセットパラメータがＰＰＳにおいて存在しないことを示してもよい。ｓｐｓ＿ｒｅｆ＿ｐｉｃ＿ｒｅｓａｍｐｌｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいとき、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎｄｏｗ＿ｅｘｐｌｉｃｉｔ＿ｓｉｇｎａｌｌｉｎｇ＿ｆｌａｇの値は、０に等しくてもよい。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔは、スケーリング比率計算のためにピクチャサイズに適用されるオフセットを指定してもよい。存在しないとき、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔの値は、それぞれ、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｔｏｐ＿ｏｆｆｓｅｔ、及びｐｐｓ＿ｃｏｎｆ＿ｗｉｎ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔに等しいと推定されてもよい。

さらに図２を参照すると、上述されたように、Ｗ及びＨパラメータは、限定されないが、それぞれ、変数ＣｕｒｒＰｉｃＳｃａｌＷｉｎＷｉｄｔｈＬ及びＣｕｒｒＰｉｃＳｃａｌＷｉｎＨｅｉｇｈｔＬを使用して表されてもよい。これらの変数は、シグナリングされたパラメータと変数との間の１つ又は複数の数学的関係を使用して、上述されたように、シグナリングされたパラメータから導き出されてもよい。例えば、限定されないが、ＣｕｒｒＰｉｃＳｃａｌＷｉｎＷｉｄｔｈＬは、以下の式にしたがって導き出され得る。
ＣｕｒｒＰｉｃＳｃａｌＷｉｎＷｉｄｔｈＬ ＝ ｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ － ＳｕｂＷｉｄｔｈＣ ＊ （ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ ＋ ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ）

さらなる非限定的な一実施例として、ＣｕｒｒＰｉｃＳｃａｌＷｉｎＨｅｉｇｈｔＬは、以下の式にしたがって導き出され得る。
ＣｕｒｒＰｉｃＳｃａｌＷｉｎＷｉｄｔｈＬ ＝ ｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ － ＳｕｂＷｉｄｔｈＣ ＊ （ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ ＋ ｐｐｓ＿ｓｃａｌｉｎｇ＿ｗｉｎ＿ｌｅｆｔ＿ｏｆｆｓｅｔ）
再スケーリング動作は、符号化されたフレーム及び／又はサブ領域２０４のブロックレベルで実行されてもよい。例えば、参照フレーム１０４として使用されるべきサブ領域２０４は、最初に再スケーリングされ、その後、予測が実行されてもよい。ブロック予測プロセスは、元の参照フレーム１０４ではなく、（スケーリングされた解像度を有する）スケーリングされた参照フレーム１０４上で実行されてもよい。参照フレーム１０４及び／又はサブ領域２０４の再スケーリングは、上述されたように、エンコーダによってシグナリングされた任意のパラメータにしたがった再スケーリングを含んでもよい。例えば、限定されないが、参照フレーム１０４に関連付けられたインデックス値への参照を介してなど、現在のピクチャと共に使用されるべき参照フレーム１０４がシグナリングされる場合、シグナリングされた参照フレーム１０４は、上述された再スケーリングの任意の方法にしたがって、予測に先立って、再スケーリングされてもよい。再スケーリングされた参照フレーム１０４は、メモリ及び／又はバッファに格納されてもよく、バッファは、限定されないが、フレーム検索が実行され得るインデックスによってそこに含まれるフレームを特定するバッファを含んでもよい。バッファは、復号ピクチャバッファ（ＤＣＢ）及び／又はデコーダによって実装される１つ又は複数のさらなるバッファを含んでもよい。例えば、予測プロセスは、動き補償を含むインターピクチャ予測を含んでもよい。

また、図２を参照すると、ブロックベースの再スケーリングのいくつかの実装形態は、フレーム全体に同じフィルタを適用する代わりに、各ブロックに最適なフィルタを適用する柔軟性を可能にしてもよい。いくつかの実装形態では、（例えば、画素の均一性及びビットレートコストに基づいて）いくつかのブロックが、（再スケーリングがビットレートを変更しないように）スキップ－再スケーリングモードであり得ることを可能にしてもよい。スキップ－再スケーリングモードは、ビットストリームにおいてシグナリングされてもよい。例えば、限定されないが、スキップ－再スケーリングモードは、ＰＰＳパラメータにおいてシグナリングされてもよい。代替的に或いは追加的に、デコーダは、デコーダによって設定された且つ／或いはビットストリームにおいてシグナリングされた１つ又は複数のパラメータに基づいて、スキップ－再スケーリングモードがアクティブであると判定してもよい。

また、図２を参照すると、再スケーリングは、空間フィルタを使用するアップサンプリング又はその他の方法を含んでもよい。再スケーリングにおいて使用される空間フィルタは、限定されないが、バイキュービック補間を適用するバイキュービック空間フィルタ、バイリニア解釈を適用するバイリニア空間フィルタ、ｓｉｎｃフィルタ、ｓｉｎｃ関数補間及び／又は信号再構成技術などの組み合わせを使用する、Ｌａｎｃｚｏｓフィルタリング及び／又はＬａｎｃｚｏｓ再サンプリングを使用する、Ｌａｎｃｚｏｓフィルタを含んでもよい。当業者は、本開示の全体を検討する際に、本開示と一貫する補間に使用され得る様々なフィルタを承知するであろう。非限定的な一実施例として、補間フィルタは、上述された任意のフィルタ、ローパスフィルタを含んでもよく、ローパスフィルタは、限定されないが、スケーリング前のブロック及び／又はフレームの画素間の画素がゼロに初期化され得るアップサンプリング処理として使用されてもよく、次いで、ローパスフィルタの出力が入力されてもよい。代替的に或いは追加的に、任意のルーマサンプル補間フィルタリング処理が使用されてもよい。ルーマサンプル解釈は、スケーリングされていないサンプル配列の２つの連続するサンプル値の間に位置する、ハーフサンプル補間フィルタインデックスで補間値の計算を含んでもよい。補間値の計算は、限定されないが、ルックアップテーブルから係数及び／又は重みの検索によって、実行されてもよい。ルックアップテーブルの選択は、例えば、上述されたように、スケーリング定数を使用して判定されるように、コーディングユニット及び／又はスケーリング比率量の動きモデルの関数として実行されてもよい。計算は、限定されないが、隣接する画素値の重み付き和を実行することを含んでもよく、重みは、ルックアップテーブルから検索される。代替的に或いは追加的に、計算された値は、シフトされてもよい。例えば、限定されないが、値は、Ｍｉｎ（４，ＢｉｔＤｅｐｔｈ－８），６，Ｍａｘ（２，１４－ＢｉｔＤｅｐｔｈ）などによってシフトされてもよい。当業者は、本開示の全体を検討する際に、補間フィルタに使用され得る様々な代替の或いは追加の実装形態を承知するであろう。

ここで、図３を参照すると、予測ピクチャ１０８は、抽出された独立した参照領域３０４と同一の或いは類似の解像度及び／又はサイズを有し得る。このアプローチは、ビデオ解像度をダウンスケーリングし、したがってビットレートを低減するために、視聴者にとって関心のある、領域に焦点を合わせるために、且つ／或いは、いくつかの目的及び／又はタスクに、より大きな関連性がある、視覚データを含むものとして自動検出又はユーザにとって容易な検出によって特定される領域に焦点を合わせるために、使用されてもよい。代替的に或いは追加的に、このアプローチは、ネットワーク速度が低下した場合、ビデオの表示を継続することを可能にしてもよい。このアプローチによって与えられる利点は、ビデオ伝送に使用される帯域幅を節約すること、映像符号化に使用される資源を節約すること、及び／又はビデオを復号化し、再生するのに必要とされる時間を節約することを含み得る。開示された実施形態を実装するデバイス及び／又はネットワークにおいて、資源の、より有効な使用だけでなく、優れたユーザエクスペリエンスという結果になり得る。

また、図３を参照すると、その後、予測ピクチャ１０８は、より小さい、或いは、より大きいピクチャに再スケーリングされ得る。より小さいピクチャ、或いは、より大きいピクチャの幅及び高さは、Ｗ及びＨに、任意の再スケーリング定数（Ｒｃ）（スケーリング係数とも呼ばれる）を乗じることによって取得されてもよい。非限定的な一実施例として、より小さいピクチャの場合、Ｒｃは、０－１の間の値を有してもよい。さらなる非限定的な一実施例として、より大きいフレームの場合、Ｒｃは、１－４の間の値を有してもよい。他の値であってもよい。再スケーリング動作は、エンドユーザ、及び／又は、エンドユーザにビデオを表示するコンピューティングデバイス上で動作するさらなるプログラム及び／又はモジュールのオプションとして残されてもよく、一実施例では、ディスプレイ解像度に合うように画像を再スケーリングし得る。

ここで、図４を参照すると、デコーダは、独立した参照領域３０４を再スケーリングし、例えば、上述されたように、再スケーリング定数を使用して、再スケーリングされた領域４０４を生成し、元のビデオピクチャのフル解像度及び／又は目標解像度に一致してもよい。例えば、Ｗ及びＨはそれぞれ、限定されないが、Ｒｃ＝Ｄ１／Ｗなどの、上述されたようにＤ１及びＤ２と同じサイズにＷ及びＨをスケーリングするために選択されたＲｃを乗じてもよい。予測及び他の演算は、再スケーリングされたサブ領域を使用して予測ピクチャを取得するために実行されてもよい。

ここで、図５を参照すると、独立した参照領域２０４は、ピクチャ全体ではなく、ピクチャの一部分を予測するために使用され得る。例えば、限定されないが、３６０度ビデオピクチャ及び／又は仮想現実で使用されるビデオピクチャなどの、ピクチャは、ユーザの視野を越えて拡張することがあり、そのような状況では、ビデオピクチャの所定のフレームは、予測された且つ／或いは検出された、ユーザの現在の視野に対応する独立した参照領域２０４と共にレンダリングされてもよい。他の実施形態では、独立した参照領域は、第１のフレームの重要な、非常に詳細な、且つ／或いは動きの多い部分に対応してもよい。予測されたフレームの残余は、任意の他の適切な予測及び／又は復号化方法を使用して生成されてもよい。画素は、符号化されないことがあり、限定されないが、黒などのデフォルト色で符号化されてもよく、且つ／或いは、隣接する画素のクロマ値及び／又はルーマ値が与えられてもよく、例えば、画面いっぱいに、独立した参照領域のエッジからクロマ値及びルーマ値を拡張してもよい。代替的に或いは追加的に、部分は、参照フレーム、残差、動きベクトルなどの他の部分から予測されてもよい。

また、図５を参照すると、デコーダは、ここでは例示的な目的のために「１」として示される、第１の独立した参照領域２０４を変換することによって、第２のフレームの全て又は一部を復号化し得る。第１の独立した参照領域２０４を変換することは、例えば、上述されたように、第１の独立した参照領域２０４をスケーリングすることを含んでもよい。代替的に或いは追加的に、第１の独立した参照領域２０４を変換することは、ビデオピクチャにおける位置に対して第１の独立した参照領域２０４を移動させることを含んでもよく、ビデオピクチャにおける位置は、ビデオピクチャにおけるエッジ及び／又は任意の座標を含んでもよい。非限定的な一実施例として、図５に例示的な目的のために示されるように、第１の独立した参照領域２０４は、例えば、アフィン変換などの線形変換を使用して、ビデオピクチャ座標系における元の位置から変位されてもよく、且つ／或いは、エッジ及び／又は画素数に対して新規の位置に変位されてもよく、本開示で使用される「アフィン動き変換」は、動いている間に見かけの形状を変化することなくビデオにおけるビューにわたって動くオブジェクトを示す画素のセットなどの、ビデオピクチャ及び／又はピクチャにおいて表される画素又は点のセットの均一な変位を記述する行列及び／又はベクトルなどの変換である。行列又は他の数学的記述子を使用して記述可能な任意の変換を含む、任意の変換は、第１の独立した参照領域を移動させ、或いはその他の方法で変換するために、本開示と一貫して使用されてもよい。例えば、限定されないが、第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第１の独立した参照領域を回転させること、第１の独立した参照領域を反転させることなどを含んでもよい。

また、図５を参照すると、復号化は、ここでは例示的な目的のために「２」として示される、第２の独立した参照領域２０４の使用を含み得る。一実施形態では、デコーダは、第１のフレームにおける第２の独立した参照領域２０４を見つけてもよく、第１の独立した参照領域２０４に関して上述された任意の方法で実行されてもよい。代替的に或いは追加的に、第２の独立した参照領域２０４は、以下にさらに詳細に説明されるように、別の参照フレームから抽出され、且つ／或いは参照バッファ及び／又はＬＴＲバッファなどの、バッファから検索されてもよい。第２の独立した参照領域２０４からの復号化は、第１の独立した参照領域に関して上述されたように、任意の方法及び／又は方法ステップを使用して実行されてもよい。第１の独立した参照領域２０４と第２の独立した参照領域２０４との組み合わせは、様々な方法において使用されてもよく、例えば、第１の独立した参照領域２０４は、ユーザの視野を超えるサイズを有するピクチャのユーザに対する第１の視野を描いてもよく、第２の独立した参照領域２０４は、連続し得る、別の視野を描いてもよい。さらなる独立した参照領域２０４はまた、復号化されたフレームのさらなる部分を提供するために使用されてもよい。複数の独立した参照領域は、抽出され且つ／或いは検索され、ピクチャを復号化してもよく、連続してもよく、上述された任意の方法を使用して予測された画素によって接続されてもよく、或いはその他の方法で組み合わせられてもよい。代替的に或いは追加的に、複数の独立した参照領域２０４は、フレームのシーケンスに順次使用されてもよい。

ここで、図６を参照すると、１つ又は複数の独立した参照領域２０４は、参照バッファ及び／又はＬＴＲバッファ６０４などの、バッファに格納され得る。ＬＴＲバッファ６０４は、複数のフレームを含み得る。一実施形態では、ＬＴＲバッファ６０４は、複数のフレーム及び／又は独立した参照領域２０４を含んでもよい。複数のフレーム及び／又は独立した参照領域の各々は、例えば、以下にさらに詳細に説明されるように、検索を許可する対応するインデックス及び／又は検索のためのシグナリングを有してもよい。参照バッファ及び／又はＬＴＲバッファ６０４は、例えば、フレーム及び／又は独立した参照領域の追加及び／又は削除によって、定期的に更新され、且つ／或いは修正されてもよい。

また、図６を参照すると、独立した参照領域２０４及び／又は参照フレーム１０４の使用は、例えば、エンコーダによって、ビットストリームにおいてシグナリングされてもよい。例えば、限定されないが、独立した参照領域の使用、ピクチャにおける独立した参照領域の存在は、例えば、シーケンスパラメータセットなどにおけるビデオシーケンスのヘッダにおいてエンコーダによってシグナリングされてもよい。単一のフラグは、独立した領域の存在を示すために使用されてもよい。フラグの不存在は、任意の独立した領域の欠如として解釈されてもよい。独立した領域の総数はまた、シーケンスヘッダにおいてシグナリングされてもよい。例えば、上述されたように、バッファからの検索に関して、独立した参照領域の幾何学的特性、独立した参照領域の識別子はまた、シーケンスヘッダにおいてシグナリングされてもよい。代替的に或いは追加的に、１つ又は複数の信号は、ピクチャパラメータセットなどにおけるピクチャヘッダにおいて提供されてもよい。一実施形態では、ピクチャヘッダにおいてシグナリングすることは、デコーダの柔軟性を拡張し、ピクチャレベルでの決定を可能にし得る。領域ＩＤのリストは、所定の順序で領域ＩＤを表す連続した番号のシーケンスを含んでもよい。デコーダは、シグナリングされたリストを使用し、独立した領域、及び独立した領域から予測されたピクチャ領域を再配置し、再構成してもよい。

ここで、図７を参照すると、参照領域を使用する映像符号化の方法７００の例示的な一実施形態が示される。ステップ７０５で、デコーダは、例えば、以下にさらに詳細に説明されるように、ビットストリームを受信する。ビットストリームは、符号化されたビデオビットストリームを含んでもよい。ビットストリームは、代替的に「参照ピクチャ」及び／又は「ＬＴＲピクチャ」と呼ばれ得る、少なくとも１つの符号化された参照ピクチャ及び／又はＬＴＲフレーム、ならびに少なくとも１つの符号化された現在のピクチャを含んでもよい。符号化された現在のピクチャは、第１のサイズを有してもよく、第１のサイズは、エリアを含む、上述されたように任意のサイズを含んでもよい。ステップ７１０で、デコーダは、参照ピクチャ及び／又はＬＴＲフレームを復号化する。これは、本開示で説明されるように復号化のための任意のプロセスにしたがって実行されてもよい。デコーダは、ビットストリームにおいて参照フレーム及び／又はＬＴＲフレームを特定してもよい。代替的に、参照フレーム及び／又はＬＴＲフレームは、復号化されないことがあり、独立した参照領域のみが復号化されてもよい。

また、図７を参照すると、ステップ７１５で、デコーダは、参照フレーム及び／又はＬＴＲフレーム内の第１のサブ領域を見つける。これは、限定されないが、図１－図６を参照して上述されたように達成されてもよい。例えば、限定されないが、第１のサブ領域を見つけることは、ビットストリームにおいて、参照フレーム及び／又はＬＴＲフレーム内の独立した参照領域の幾何学的特徴付けを特定することを含んでもよい。ビットストリームは、上述されたようにエンコーダによってシグナリングされてもよい。非限定的な一実施例として、第１のサブ領域は、長方形であってもよく、幾何学的特徴付けは、第１のサブ領域の頂点を特徴付ける数値の４項組を含んでもよい。さらなる非限定的な一実施例として、幾何学的特徴付けは、高さオフセット、高さ、長さオフセット、及び長さを含んでもよく、且つ／或いはサブ領域２０４は、高さオフセット、高さ、長さオフセット、及び長さによって特徴付けられてもよい。第１のサブ領域は、第２のサイズを有する。第２のサイズは、第１のサイズと異なっていてもよく、或いは言い換えれば、第１のサイズよりも大きいか、或いは小さいかのいずれかであってもよい。第１のサブ領域を特定することは、ビットストリームにおいて、第１のサブ領域が存在するという指示を受信することを含んでもよい。一実施形態では、ピクチャ内にゼロ領域があることをシグナリングするか、或いは元のピクチャと同じサイズを有する１つの領域を定義するかによって、参照フレームを使用する従来の予測は、依然としてサポートされてもよい。抽出され、そのようなものとして将来の予測のための独立した参照ピクチャとみなされる１つ又は複数の領域の指定を可能にすることによって、柔軟性が提供され得る。

引き続き図７を参照すると、ステップ７２０で、デコーダは、第１のサブ領域２０４を変換する。変換は、第２の且つ／或いは再スケーリングされた参照ピクチャ及び／又はその一部を生成してもよい。第１のサブ領域を変換することは、本開示で説明されるように、任意のサブ領域に対する任意の変換及び／又は修正を含んでもよい。第１のサブ領域を変換することは、限定されないが、第１のサブ領域を移動させることを含んでもよい。さらなる一実施例として、デコーダは、アフィン変換を適用することによって第１のサブ領域を変換するように構成されていてもよく、アフィン変換は、上述されたように、任意のアフィン変換を含んでもよい。さらなる非限定的な一実施例として、デコーダは、第１のサブ領域を第３のサイズに再スケーリングして、再スケーリングされた参照ピクチャを形成してもよい。第３のサイズは、第１のサイズに等しくてもよい。言い換えれば、デコーダは、現在のフレームの現在の且つ／或いはシグナリングされたサイズに一致するようにサブ領域を再スケーリングしてもよい。代替的に或いは追加的に、第１のサブ領域は、第１のサブ領域の現在のサイズのままであってもよく、デコーダは、第１のサブ領域を変換しないことがある。デコーダは、参照フレーム及び／又はＬＴＲフレームから第１のサブ領域を抽出してもよい。これは、限定されないが、図１－図６を参照して上述されたように実装されてもよい。ステップ７２５で、デコーダは、現在のフレームの参照として第１のサブ領域を使用して現在のフレームを復号化する。これは、限定されないが、図１－図６を参照して上述されたように実装されてもよい。例えば、現在のフレームを復号化することは、第１のサブ領域と同じサイズを有する現在のフレームを復号化することを含んでもよい。第２のフレームを復号化することは、第１のサブ領域を変換することを含んでもよい。第１のサブ領域を変換することは、第１のサブ領域をスケーリングすること、第１のサブ領域を反転させること、ビデオピクチャにおける位置に対して第１のサブ領域を移動させること、及び／又はビデオピクチャにおける位置に対して第１のサブ領域を回転させることを含んでもよい。

また、図７を参照すると、デコーダは、参照フレーム及び／又はＬＴＲフレームをバッファに格納してもよい。バッファは、長期参照バッファ及び／又は参照ピクチャバッファを含んでもよい。デコーダは、参照フレーム及び／又はＬＴＲフレームにおける第２のサブ領域を見つけるようにさらに構成されていてもよい。デコーダは、第１のサブ領域及び／又は第２のサブ領域を使用して第２の現在のフレームを復号化してもよい。デコーダは、第２の独立した参照領域をバッファに格納してもよい。デコーダは、第１のサブ領域及び／又は第２のサブ領域及び／又は参照フレームを使用して第２の現在のフレームを復号化してもよく、第１のサブ領域及び／又は第２のサブ領域及び／又は参照フレームは、バッファから検索され、他のフレームから抽出されるなどでもよい。

図８は、隣接するブロックによって利用されるグローバル動きベクトル候補を使用して動きベクトル候補リストを構成することによって含むビットストリームを復号化することができる例示的なデコーダ７００を示すシステムブロックダイアグラムである。デコーダ７００は、エントロピーデコーダプロセッサ７０４、逆量子化及び逆変換プロセッサ７０８、デブロッキングフィルタ７１２、フレームバッファ７１６、動き補償プロセッサ７２０、及び／又はイントラ予測プロセッサ７２４を含み得る。

また、図８を参照すると、動作において、ビットストリーム７２８は、デコーダ７００によって受信され、エントロピーデコーダプロセッサ７０４に入力されることができ、エントロピーデコーダプロセッサ７０４は、ビットストリームの部分を量子化係数にエントロピー復号化し得る。量子化係数は、逆量子化及び逆変換プロセッサ７０８に提供されることができ、逆量子化及び逆変換プロセッサ７０８は、逆量子化及び逆変換を実行し、残差信号を生成することができ、残差信号は、処理モードにしたがって動き補償プロセッサ７２０又はイントラ予測プロセッサ７２４の出力に追加され得る。動き補償プロセッサ７２０及びイントラ予測プロセッサ７２４の出力は、以前に復号化されたブロックに基づくブロック予測値を含み得る。予測値及び残差の和は、デブロッキングフィルタ７１２によって処理され、フレームバッファ７１６に格納され得る。

また、図８を参照すると、一実施形態では、デコーダ７００は、任意の順序で、且つ任意の程度の繰り返しで、上述されたように任意の実施形態における上述されたような任意の動作を実装するように構成されている回路を含んでもよい。例えば、デコーダ７００は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び／又は出力を集約し、グローバル変数などの１つ又は複数の変数の削減又はデクリメントを行い、且つ／或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ／或いは再帰的に実行されてもよい。デコーダは、２つ以上の並列スレッド、プロセッサコアなどを使用してステップを２回以上、同時に且つ／或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び／又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び／又はデータが、反復、再帰、及び／又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。

引き続き図８を参照すると、デコーダ７００及び／又はその回路は、任意の順序で、且つ任意の程度の繰り返しで、本開示で説明される任意の実施形態における任意の方法、方法ステップ、又は方法ステップのシーケンスを実行するように設計され、且つ／或いは構成されていてもよい。例えば、デコーダ７００及び／又はその回路は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び／又は出力を集約し、グローバル変数などの１つ又は複数の変数の削減又はデクリメントを行い、且つ／或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ／或いは再帰的に実行されてもよい。デコーダ７００及び／又はその回路は、２つ以上の並列スレッド、プロセッサコアなどを使用してステップを２回以上、同時に且つ／或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び／又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び／又はデータが、反復、再帰、及び／又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。

図９は、様々なユースケースにおけるビットレートの節約を可能にするビデオエンコーダ／デコーダのためのさらなる柔軟性を可能にし得る適応クロッピングと共にビデオを符号化する例示的なプロセス８００を示すプロセスフローダイアグラムである。ステップ８０５で、ビデオフレームは、例えば、ピクチャフレームをＣＴＵ及びＣＵに分割することを含み得るツリー構造のマクロブロックパーティショニングスキームを使用して、初期ブロック分割を受け得る。

また、図９を参照すると、ステップ８１０で、フレーム又はその一部分のサブ領域の選択を含む、第１の参照領域の特定が実行され得る。領域は、自動入力或いは専門家による入力の手段によって選択されてもよい。非限定的な一実施例として、自動選択は、特定のオブジェクトを検出するコンピュータビジョンアルゴリズムによって達成されてもよい。オブジェクト検出は、オブジェクト分類などのさらなる処理を含んでもよい。専門家による入力の選択は、限定されないが、例えば、監視ビデオにおける人物などの、ビデオにおける関心のある、人物及び／又はオブジェクトのクローズアップを選択するといった、人間の手動介入を使用して達成されてもよい。別の可能なユースケースは、ビットレート削減に最も寄与する最大注目領域を選択することであってもよい。適応クロッピングは、サブ領域の幾何学的特徴付けの選択をさらに含んでもよい。例えば、限定されないが、サブ領域の幾何学的特徴付けの選択は、限定されないが（Ｘ，Ｙ，Ｗ，Ｈ）などの、上述されたような４項組の選択を含んでもよい。サブ領域の幾何学的特徴付けの選択は、更新情報、及び／又は、サブ領域を定義する動的データに関して上述されたように、１つのフレームから別のフレームへのサブ領域を定義するデータへの変更を示す情報を含んでもよい。

また、図９を参照すると、ステップ８１５で、ブロックは、符号化され、ビットストリームに含まれ得る。例えば、符号化は、インター予測モード及びイントラ予測モードを利用することを含み得る。例えば、符号化は、上述されたように、ビットストリームの特徴付け（Ｘ，Ｙ，Ｗ，Ｈ）にビットを追加すること、適応クロッピングモードを特定することなどを含んでもよい。符号化は、サブ領域を定義する動的データに関して上述されたように、１つのフレームから別のフレームへのサブ領域を定義するデータへの変更を示す更新情報及び／又は情報を符号化することを含んでもよい。

図１０は、様々なユースケースにおけるビットレートの節約を可能にするビデオエンコーダ／デコーダのためのさらなる柔軟性を可能にし得る適応クロッピングができる例示的なビデオエンコーダ１０００を示すシステムブロックダイアグラムである。例示的なビデオエンコーダ１０００は、入力ビデオ１００５を受信し、入力ビデオ１００５は、ツリー構造のマクロブロックパーティションスキーム（例えば、四分木プラス二分木）などの、処理スキームにしたがって最初にセグメント化され、或いは分割され得る。ツリー構造のマクロブロックパーティションスキームの一実施例は、コーディングツリーユニット（ＣＴＵ）と呼ばれる大きなブロック要素にピクチャフレームを分割することを含み得る。いくつかの実装形態では、各ＣＴＵは、コーディングユニット（ＣＵ）と呼ばれる複数のサブブロックに１回又は複数回さらに分割され得る。この分割の最終結果は、予測ユニット（ＰＵ）と呼ばれ得るサブブロックのグループを含み得る。変換ユニット（ＴＵ）がまた、利用され得る。

また、図１０を参照すると、例示的なビデオエンコーダ１０００は、イントラ予測プロセッサ１０１５と、適応クロッピングをサポートすることができる動き推定／補償プロセッサ１０２０（インター予測プロセッサとも呼ばれる）と、変換／量子化プロセッサ１０２５と、逆量子化／逆変換プロセッサ１０３０と、インループフィルタ１０３５と、復号ピクチャバッファ１０４０と、エントロピー符号化プロセッサ１０４５とを含む。ビットストリームパラメータは、エントロピー符号化プロセッサ１０４５に入力され、出力ビットストリーム１０５０に含められ得る。

引き続き図１０を参照すると、動作において、入力ビデオ１００５のフレームの各ブロックに関して、イントラピクチャ予測を介してブロックを処理するか、或いは動き推定／補償を使用してブロックを処理するかが判定され得る。ブロックは、イントラ予測プロセッサ１０１０又は動き推定／補償プロセッサ１０２０に提供され得る。ブロックがイントラ予測を介して処理されるべきである場合、イントラ予測プロセッサ１０１０は、処理を実行し、予測子（predictor）を出力し得る。ブロックが動き推定／補償を介して処理されるべきである場合、動き推定／補償プロセッサ１０２０は、該当する場合、適応クロッピングを使用することを含む処理を実行し得る。

また、図１０を参照すると、残差は、入力ビデオから予測子を減ずることによって形成され得る。残差は、変換／量子化プロセッサ１０２５によって受信されることができ、変換／量子化プロセッサ１０２５は、変換処理（例えば、離散コサイン変換（ＤＣＴ））を実行し、量子化され得る係数を生成し得る。量子化係数及び任意の関連付けられたシグナリング情報は、エントロピー符号化のためにエントロピー符号化プロセッサ１０４５に提供され、出力ビットストリーム１０５０に含められ得る。エントロピー符号化プロセッサ１０４５は、現在のブロックを符号化することに関連するシグナリング情報の符号化をサポートし得る。さらに、量子化係数は、逆量子化／逆変換プロセッサ１０３０に提供されることができ、逆量子化／逆変換プロセッサ１０３０は、画素を再生成することができ、画素は、予測子と組み合わせられ、インループフィルタ１０３５によって処理されることができ、その出力は、適応クロッピングができる動き推定／補償プロセッサ１０２０によって使用するために、復号ピクチャバッファ１０４０に格納される。

引き続き図１０を参照すると、いくつかの変形例が詳細に上述されたが、他の変更又は追加は可能である。例えば、いくつかの実装形態では、現在のブロックは、任意の非対称ブロック（８×４、１６×８など）だけでなく、任意の対称ブロック（８×８、１６×１６、３２×３２、６４×６４、１２８×１２８など）も含んでもよい。

また、図１０を参照すると、いくつかの実装形態では、四分木プラス二分決定木（ＱＴＢＴ）が実装されてもよい。ＱＴＢＴでは、コーディングツリーユニットレベルで、ＱＴＢＴのパーティションパラメータは、任意のオーバーヘッドを送信することなく、ローカル特性に適応するように動的に導き出される。その後、コーディングユニットレベルで、ジョイントクラシファイア決定木構造は、不必要な繰り返しを排除し、誤った予測のリスクを制御し得る。いくつかの実装形態では、ＬＴＲフレームブロック更新モードは、ＱＴＢＴのリーフノード毎で利用可能な追加の選択として利用可能であり得る。

引き続き図１０を参照すると、いくつかの実装形態では、さらなるシンタックス要素は、ビットストリームの異なる階層レベルでシグナリングされ得る。例えば、フラグは、シーケンスパラメータセット（ＳＰＳ）において符号化されたイネーブルフラグを含むことによって、シーケンス全体に対して有効であり得る。さらに、ＣＴＵフラグは、コーディングツリーユニット（ＣＴＵ）レベルで符号化され得る。

また、図１０を参照すると、エンコーダ１０００は、任意の順序で、且つ任意の程度の繰り返しで、任意の実施形態における図８又は図１０を参照して上述されたように任意の動作を実装するように構成されている回路を含んでもよい。例えば、エンコーダ１０００は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び／又は出力を集約し、グローバル変数などの１つ又は複数の変数の削減又はデクリメントを行い、且つ／或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ／或いは再帰的に実行されてもよい。エンコーダ１０００は、２つ以上の並列スレッド、プロセッサコアなどを使用してステップを２回以上、同時に且つ／或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び／又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び／又はデータが、反復、再帰、及び／又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。

引き続き図１０を参照すると、非一時的コンピュータプログラム製品（すなわち、物理的に具現化されたコンピュータプログラム製品）は、命令を格納してもよく、命令は、１つ又は複数のコンピューティングシステムの１つ又は複数のデータプロセッサによって実行されるとき、少なくとも１つのデータプロセッサに、本明細書に説明された動作及び／又はそのステップを実行させ、限定されないが、上述された任意の動作、及び／又はデコーダ７００及び／又はエンコーダ１０００の任意の動作を実行するように構成されていてもよいことを含む。同様に、コンピュータシステムはまた、１つ又は複数のデータプロセッサと、１つ又は複数のデータプロセッサに結合されたメモリとを含んでもよいと説明される。メモリは、少なくとも１つのプロセッサに、本明細書に説明される１つ又は複数の動作を実行させる命令を一時的に或いは恒久的に格納してもよい。さらに、方法は、単一のコンピューティングシステム内の１つ又は複数のデータプロセッサによって、或いは２つ以上のコンピューティングシステム間に分散された１つ又は複数のデータプロセッサによってのいずれかで実装され得る。そのようなコンピューティングシステムは、複数のコンピューティングシステムの１つ又は複数の間の直接接続などを介して、ネットワーク（例えば、インターネット、無線広域ネットワーク、ローカルエリアネットワーク、広域ネットワーク、有線ネットワークなど）を介した接続を含む、１つ又は複数の接続を介して、接続され、データ及び／又はコマンド又は他の命令などを交換し得る。

引き続き図１０を参照すると、エンコーダ１０００及び／又はその回路は、任意の順序で、且つ任意の程度の繰り返しで、本開示で説明される任意の実施形態における任意の方法、方法ステップ、又は方法ステップのシーケンスを実行するように設計され、且つ／或いは構成されていてもよい。例えば、エンコーダ１０００及び／又はその回路は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び／又は出力を集約し、グローバル変数などの１つ又は複数の変数の削減又はデクリメントを行い、且つ／或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ／或いは再帰的に実行されてもよい。エンコーダ１０００及び／又はその回路は、２つ以上の並列スレッド、プロセッサコアなどを使用してステップを２回以上、同時に且つ／或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び／又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び／又はデータが、反復、再帰、及び／又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。

いくつかの実施形態では、デコーダは、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第１のサイズを有する符号化された現在のピクチャを含む、受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャのサブ領域を特定することであって、サブ領域は、第２のサイズを有し、第２のサイズは、第１のサイズとは異なる、特定することと、再スケーリングされた参照ピクチャを形成するためにサブ領域を第３のサイズに再スケーリングすることであって、第３のサイズは、第１のサイズに等しい、再スケーリングすることと、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。

サブ領域は、上オフセット、下オフセット、右オフセット、及び左オフセットによって特徴付けられてもよい。サブ領域を特定することは、ビットストリームにおいて、サブ領域が存在するという指示を受信することを含んでもよい。

いくつかの実施形態では、デコーダは、符号化された第１の参照ピクチャ及び符号化された現在のピクチャを含む符号化されたビデオビットストリームを受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャの第１のサブ領域を特定することと、第２の参照ピクチャを形成するために第１のサブ領域を変換することと、第２の参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。

現在のピクチャは、第１のサイズを有してもよく、第１のサブ領域は、第１のサイズとは異なる第２のサイズを有してもよく、デコーダは、第１のサイズに等しい第３のサイズに第１のサブ領域をスケーリングすることによってサブ領域を変換することを行うように構成されていてもよい。デコーダは、第１のサブ領域を移動させることによって第１のサブ領域を変換することを行うように構成されていてもよい。デコーダは、アフィン変換を適用することによって第１のサブ領域を変換することを行うように構成されていてもよい。デコーダは、第１の参照ピクチャをバッファに格納することを行うようにさらに構成されていてもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。デコーダは、第１の参照ピクチャにおいて第２のサブ領域を見つけることを行うようにさらに構成されていてもよい。デコーダは、第１の参照領域及び第２の独立した参照領域を使用して第２のフレームを復号化することを行うようにさらに構成されていてもよい。デコーダは、第２の独立した参照領域をバッファに格納することを行うようにさらに構成されていてもよい。現在のピクチャは、第１のピクチャであってもよく、デコーダは、第１のサブ領域及び第２のサブ領域を使用して第２のピクチャを復号化することを行うようにさらに構成されていてもよい。

いくつかの実施形態では、参照領域を使用する映像符号化の方法は、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第１のサイズを有する符号化された現在のピクチャを含む、受信することと、デコーダによって、参照ピクチャを復号化することと、デコーダによって且つビットストリームから、参照ピクチャのサブ領域を特定することであって、サブ領域は、第２のサイズを有し、第２のサイズは、第１のサイズとは異なる、特定することと、デコーダによって、再スケーリングされた参照ピクチャを形成するためにサブ領域を第３のサイズに再スケーリングすることであって、第３のサイズは、第１のサイズに等しい、再スケーリングすることと、デコーダによって、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を含む。

サブ領域は、高さオフセット、高さ、長さオフセット、及び長さによって特徴付けられてもよい。サブ領域を特定することは、ビットストリームにおいて、サブ領域が存在するという指示を受信することを含んでもよい。方法は、参照フレームをバッファに格納することを含んでもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。

いくつかの実施形態では、デコーダは、ビットストリームを受信することと、第１のフレームを特定することと、第１のフレーム内の第１の独立した参照領域を見つけることと、第１のフレームから第１の独立した参照領域を抽出することと、第２のフレームの参照として第１の独立した参照領域を使用して第２のフレームを復号化することと、を行うように構成されている回路を含む。

デコーダは、ビットストリームにおいて、第１のフレーム内の独立した参照領域の幾何学的特徴づけを特定することによって、第１の独立した参照領域を見つけることを行うようにさらに構成されていてもよい。第１の独立した参照領域は、長方形であってもよく、幾何学的特徴付けは、第１の独立した参照領域の頂点を特徴付ける数値の４項組を含んでもよい。第１の独立した参照領域を特定することは、ビットストリームにおいて、第１の独立した参照領域が存在するという指示を受信することを含んでもよい。第１の独立した参照領域は、サイズを有してもよく、デコーダは、第１の独立した参照領域と同じサイズを有する第２のフレームを復号化することによって第２のフレームを復号化することを行うように構成されていてもよい。デコーダは、第１の独立した参照領域を変換することによって第２のフレームを復号化することを行うように構成されていてもよい。第１の独立した参照領域を変換することは、第１の独立した参照領域をスケーリングすることを含んでもよい。第１の独立した参照領域を変換することは、第１の独立した参照領域を反転させることを含んでもよい。第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第１の独立した参照領域を移動させることを含んでもよい。第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第１の独立した参照領域を回転させることを含んでもよい。

デコーダは、第１のフレームをバッファに格納することを行うようにさらに構成されていてもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。デコーダは、第１のフレームにおいて第２の参照領域を見つけることを行うようにさらに構成されていてもよい。デコーダは、第１の参照領域及び第２の独立した参照領域を使用して第２のフレームを復号化することを行うようにさらに構成されていてもよい。デコーダは、第２の独立した参照領域をバッファに格納するようにさらに構成されていてもよい。デコーダは、第１の参照領域及び第２の参照領域を使用して第２のフレームを復号化することを行うようにさらに構成されていてもよい。

いくつかの実施形態では、参照領域を使用する映像符号化の方法は、ビットストリームを受信することと、第１のフレームを特定することと、第１のフレーム内の第１の独立した参照領域を見つけることと、第１のフレームから第１の独立した参照領域を抽出することと、第２のフレームの参照として第１の独立した参照領域を使用して第２のフレームを復号化することと、を含む。

第１の独立した参照領域を見つけることは、ビットストリームにおいて、第１のフレーム内の独立した参照領域の幾何学的特徴付けを特定することを含んでもよい。第１の独立した参照領域は、長方形であってもよく、幾何学的特徴付けは、第１の独立した参照領域の頂点を特徴付ける数値の４項組を含んでもよい。第１の独立した参照領域を特定することは、ビットストリームにおいて、第１の独立した参照領域が存在するという指示を受信することを含んでもよい。第１の独立した参照領域は、サイズを有してもよく、第２のフレームを復号化することは、第１の独立した参照領域と同じサイズを有する第２のフレームを復号化することを含んでもよい。方法は、第１の独立した参照領域を変換することによって第２のフレームを復号化することを含んでもよい。第１の独立した参照領域を変換することは、第１の独立した参照領域をスケーリングすることを含んでもよい。第１の独立した参照領域を変換することは、第１の独立した参照領域を反転させることを含んでもよい。第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第１の独立した参照領域を移動させることを含んでもよい。第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第１の独立した参照領域を回転させることを含んでもよい。

方法は、第１のフレームをバッファに格納することを含んでもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。デコーダは、第１のフレームにおいて第２の参照領域を見つけることを行うようにさらに構成されていてもよい。方法は、第１の参照領域及び第２の独立した参照領域を使用して第２のフレームを復号化することをさらに含んでもよい。方法は、第２の独立した参照領域をバッファに格納することを含んでもよい。方法は、第１の参照領域及び第２の参照領域を使用して第２のフレームを復号化することを含んでもよい。

本明細書に説明される任意の１つ又は複数の態様及び実施形態は、コンピュータ技術における当業者にとって明らかであるように、本明細書の教示にしたがってプログラムされた１つ又は複数の機械（例えば、電子文書に関するユーザコンピューティングデバイス、文書サーバなどの、１つ又は複数のサーバデバイスなどとして利用される１つ又は複数のコンピューティングデバイス）を使用して都合よく実装されてもよいことに留意されたい。適切なソフトウェアコーディングは、ソフトウェア技術における当業者に明らかであるように、本開示の教示に基づいて、熟練したプログラマによって容易に作成され得る。ソフトウェア及び／又はソフトウェアモジュールを採用して上述された態様及び実装形態はまた、ソフトウェア及び／又ソフトウェアモジュールの機械実行可能命令の実装形態を支援するために適切なハードウェアを含んでもよい。

そのようなソフトウェアは、機械可読記憶媒体を採用するコンピュータプログラム製品であってもよい。機械可読記憶媒体は、機械（例えば、コンピューティングデバイス）による実行のための命令シーケンスを格納し、且つ／或いは符号化することができ、本明細書に説明される方法論及び／又は実施形態の任意の１つを機械に実行させる任意の媒体であってもよい。機械可読記憶媒体の例は、磁気ディスク、光ディスク（例えば、ＣＤ、ＣＤ－Ｒ、ＤＶＤ、ＤＶＤ－Ｒなど）、光磁気ディスク、読み取り専用メモリ「ＲＯＭ」デバイス、ランダムアクセスメモリ「ＲＡＭ」デバイス、磁気カード、光カード、ソリッドステートメモリデバイス、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びそれらの任意の組み合わせを含むが、それらに限定されない。本明細書に使用されるように、機械可読媒体は、例えば、コンピュータメモリと組み合わせた、コンパクトディスクの集まり又は１つ若しくは複数のハードディスクドライブなどの、物理的に別個の媒体の集まりだけでなく、単一の媒体も含むことが意図される。本明細書に使用されるように、機械可読記憶媒体は、信号伝送の一時的な形式を含まない。

そのようなソフトウェアはまた、搬送波などの、データキャリア上でデータ信号として搬送された情報（例えば、データ）を含んでもよい。例えば、機械実行可能な情報は、信号が、機械（例えば、コンピューティングデバイス）による実行のための命令シーケンス又はその一部分、及び、機械に、本明細書に説明される方法論及び／又は実施形態の任意の１つを実行させる任意の関連する情報（例えば、データ構造及びデータ）を符号化するデータキャリアに具現化されたデータ搬送信号として含まれてもよい。

コンピューティングデバイスの例は、電子書籍読み取りデバイス、コンピュータワークステーション、端末コンピュータ、サーバコンピュータ、携帯デバイス（例えば、タブレットコンピュータ、スマートフォンなど）、Ｗｅｂアプライアンス、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、その機械によって行われるべきアクションを指定する命令シーケンスを実行できる任意の機械、及びそれらの任意の組み合わせを含むが、それらに限定されない。一実施例では、コンピューティングデバイスは、キオスクを含んでもよく、且つ／或いはキオスクに含まれてもよい。

図１１は、制御システムに、本開示の任意の１つ又は複数の態様及び／又は方法論を実行させるための命令のセットが実行され得るコンピュータシステム１１００の例示的な形態におけるコンピューティングデバイスの一実施形態の図表示を示す。複数のコンピューティングデバイスが、１つ又は複数のデバイスに、本開示の任意の１つ又は複数の態様及び／又は方法論を実行させるための特別に構成されている命令のセットを実行するために利用されてもよいことも考慮される。コンピュータシステム１１００は、バス１１１２を介して、互いに、及び他のコンポーネントと通信するプロセッサ１１０４及びメモリ１１０８を含む。バス１１１２は、任意の様々なバスアーキテクチャを使用して、メモリバス、メモリコントローラ、周辺バス、ローカルバス、及びそれらの任意の組み合わせを含むが、それらに限定されない、任意のいくつかのタイプのバス構造を含んでもよい。

プロセッサ１１０４は、限定されないが、ステートマシンで調節され、メモリ及び／又はセンサからの動作入力によって指示され得る、算術及び論理演算装置（ＡＬＵ）などの、算術及び論理演算を実行するための論理回路を組み込むプロセッサなどの、任意の適切なプロセッサを含み得る。非限定的な一実施例として、プロセッサ１１０４は、フォンノイマン及び／又はハーバードアーキテクチャにしたがって編成されてもよい。プロセッサ１１０４は、限定されないが、マイクロコントローラ、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラムプログラマブルロジックデバイス（ＣＰＬＤ）、グラフィックスプロセシングユニット（ＧＰＵ）、汎用ＧＰＵ、テンソルプロセシングユニット（ＴＰＵ）、アナログ又は混合信号プロセッサ、トラステッドプラットフォームモジュール（ＴＰＭ）、浮動小数点装置（ＦＰＵ）、及び／又はシステムオンチップ（ＳｏＣ）を含んでもよく、組み込んでもよく、且つ／或いは組み込まれてもよい。

メモリ１１０８は、ランダムアクセスメモリコンポーネント、読み取り専用コンポーネント、及びそれらの任意の組み合わせを含むが、それらに限定されない、様々なコンポーネント（例えば、機械可読媒体）を含んでもよい。一実施例では、起動中などの、コンピュータシステム１１００内の要素間で情報を転送するのに役立つ基本ルーチンを含む、基本入出力システム１１１６（ＢＩＯＳ）が、メモリ１１０８に格納されてもよい。メモリ１１０８はまた、本開示の任意の１つ又は複数の態様及び／又は方法論を具体化する命令（例えば、ソフトウェア）１１２０を含んでもよい（例えば、１つ又は複数の機械可読媒体に格納される）。別の実施例では、メモリ１１０８は、オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール、プログラムデータ、及びそれらの任意の組み合わせを含むが、それらに限定されない、任意の数のプログラムモジュールをさらに含んでもよい。

コンピュータシステム１１００はまた、記憶デバイス１１２４を含んでもよい。記憶デバイス（例えば、記憶デバイス１１２４）の例は、ハードディスクドライブ、磁気ディスクドライブ、光学媒体と組み合わせた光ディスクドライブ、ソリッドステートメモリデバイス、及びそれらの任意の組み合わせを含むが、それらに限定されない。記憶デバイス１１２４は、適切なインタフェース（図示せず）によってバス１１１２に接続されてもよい。例示的なインタフェースは、ＳＣＳＩ、アドバンスドテクノロジーアタッチメント（ＡＴＡ）、シリアルＡＴＡ、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４（ＦＩＲＥＷＩＲＥ）、及びそれらの任意の組み合わせを含むが、それらに限定されない。一実施例では、記憶デバイス１１２４（又はその１つ若しくは複数のコンポーネント）は、（例えば、外部ポートコネクタ（図示せず）を介して）コンピュータシステム１１００と取り外し可能にインタフェースされてもよい。特に、記憶デバイス１１２４及び関連付けられた機械可読媒体１１２８は、コンピュータシステム１１００のための機械可読命令、データ構造、プログラムモジュール、及び／又は他のデータの、不揮発性且つ／或いは揮発性の記憶装置を提供してもよい。一実施例では、ソフトウェア１１２０は、完全に或いは部分的に、機械可読媒体１１２８内に存在してもよい。別の実施例では、ソフトウェア１１２０は、完全に或いは部分的に、プロセッサ１１０４内に存在してもよい。

コンピュータシステム１１００はまた、入力デバイス１１３２を含んでもよい。一実施例では、コンピュータシステム１１００のユーザは、入力デバイス１１３２を介してコンピュータシステム１１００にコマンド及び／又は他の情報を入力してもよい。入力デバイス１１３２の例は、英数字入力デバイス（例えば、キーボード）、ポインティングデバイス、ジョイスティック、ゲームパッド、音声入力デバイス（例えば、マイク、音声応答システムなど）、カーソル制御デバイス（例えば、マウス）、タッチパッド、光学スキャナ、ビデオキャプチャデバイス（例えば、スチールカメラ、ビデオカメラ）、タッチスクリーン、及びそれらの任意の組み合わせを含むが、それらに限定されない。入力デバイス１１３２は、シリアルインタフェース、パラレルインタフェース、ゲームポート、ＵＳＢインタフェース、ＦＩＲＥＷＩＲＥインタフェース、バス１１１２へのダイレクトインタフェース、及びそれらの任意の組み合わせを含むが、それらに限定されない、任意の様々なインタフェース（図示せず）を介してバス１１１２にインタフェースされてもよい。入力デバイス１１３２は、以下にさらに議論される、ディスプレイ１１３６の一部であってもよく、或いは別個であってもよいタッチスクリーンインタフェースを含んでもよい。入力デバイス１１３２は、上述されたように、グラフィカルインタフェースにおいて１つ又は複数のグラフィカル表現を選択するためのユーザ選択デバイスとして利用されてもよい。

ユーザはまた、記憶デバイス１１２４（例えば、リムーバブルディスクドライブ、フラッシュドライブなど）及び／又はネットワークインタフェースデバイス１１４０を介して、コンピュータシステム１１００にコマンド及び／又は他の情報を入力してもよい。ネットワークインタフェースデバイス１１４０などの、ネットワークインタフェースデバイスは、ネットワーク１１４４などの、１つ又は複数の様々なネットワーク、及びそれに接続された１つ又は複数のリモートデバイス１１４８にコンピュータシステム１１００を接続するために利用されてもよい。ネットワークインタフェースデバイスの例は、ネットワークインタフェースカード（例えば、モバイルネットワークインタフェースカード、ＬＡＮカード）、モデム、及びそれらの任意の組み合わせを含むが、それらに限定されない。ネットワークの例は、広域ネットワーク（例えば、インターネット、企業ネットワーク）、ローカルエリアネットワーク（例えば、オフィス、建物、キャンパス又は他の比較的小さな地理的空間に関連付けられたネットワーク）、電話ネットワーク、電話／音声プロバイダに関連付けられたデータネットワーク（例えば、移動通信プロバイダのデータ及び／又は音声ネットワーク）、２つのコンピューティングデバイス間の直接接続、及びそれらの任意の組み合わせを含むが、それらに限定されない。ネットワーク１１４４などの、ネットワークは、通信の有線モード及び／又は無線モードを採用してもよい。概して、任意のネットワークトポロジーが使用されてもよい。情報（例えば、データ、ソフトウェア１１２０など）は、ネットワークインタフェースデバイス１１４０を介して、コンピュータシステム１１００へ且つ／或いはコンピュータシステム１１００から通信されてもよい。

コンピュータシステム１１００は、ディスプレイデバイス１１３６などの、ディスプレイデバイスに表示可能な画像を通信するためのビデオディスプレイアダプタ１１５２をさらに含んでもよい。ディスプレイデバイスの例は、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、及びそれらの任意の組み合わせを含むが、それらに限定されない。ディスプレイアダプタ１１５２及びディスプレイデバイス１１３６は、本開示の態様のグラフィカル表現を提供するためにプロセッサ１１０４と組み合わせて利用されてもよい。ディスプレイデバイスに加えて、コンピュータシステム１１００は、オーディオスピーカ、プリンタ、及びそれらの任意の組み合わせを含むが、それらに限定されない、１つ又は複数の他の周辺出力デバイスを含んでもよい。そのような周辺出力デバイスは、周辺インタフェース１１５６を介してバス１１１２に接続されてもよい。周辺機器インタフェースの例は、シリアルポート、ＵＳＢ接続、ＦＩＲＥＷＩＲＥ接続、パラレル接続、及びそれらの任意の組み合わせを含むが、それらに限定されない。

前述は、本発明の例示的な実施形態の詳細な説明である。様々な変更及び追加は、本発明の精神及び範囲から逸脱することなく、行われ得る。上述された様々な実施形態の各々の特徴は、関連付けられた新たな実施形態における多様な特徴の組み合わせを提供するために、必要に応じて他の説明された実施形態の特徴と組み合わせられてもよい。さらに、前述は、複数の別個の実施形態を説明し、本明細書に説明されたものは、本発明の原理の適用の単なる例示に過ぎない。さらに、本明細書における特定の方法は、特定の順序で実行されるものとして説明されてもよく、且つ／或いは記載されてもよく、その順序は、本開示にしたがって方法、システム及びソフトウェアを達成するために通常の技術内で非常に可変的である。したがって、本説明は、例としてのみに捉えられ、その他の点で本発明の範囲を限定することを意図しない。

例示的な実施形態は、上記に開示され、添付の図面に説明されている。本発明の精神及び範囲から逸脱することなく、本明細書に具体的に開示されているものに対して様々な変更、省略及び追加を行い得ることは、当業者によって理解されるであろう。

Claims (54)

1. 符号化されたビデオビットストリームを受信することであって、前記符号化されたビデオストリームは、符号化された参照ピクチャ及び第１のサイズを有する符号化された現在のピクチャを含む、前記受信することと、
   前記参照ピクチャを復号化することと、
   前記ビットストリームから前記参照ピクチャのサブ領域を特定することであって、前記サブ領域は、第２のサイズを有し、前記第２のサイズは、前記第１のサイズとは異なる、前記特定することと、
   再スケーリングされた参照ピクチャを形成するために前記サブ領域を第３のサイズに再スケーリングすることであって、前記第３のサイズは、前記第１のサイズに等しい、前記再スケーリングすることと、
   前記再スケーリングされた参照ピクチャを使用して前記現在のピクチャを復号化することと、を行うように構成されている回路を含む、デコーダ。
2. 前記サブ領域は、上オフセット、下オフセット、右オフセット、及び左オフセットによって特徴付けられる、請求項１に記載のデコーダ。
3. 前記サブ領域を特定することは、前記ビットストリームにおいて、前記サブ領域が存在するという指示を受信することをさらに含む、請求項１に記載のデコーダ。
4. 符号化された第１の参照ピクチャ及び符号化された現在のピクチャを含む符号化されたビデオビットストリームを受信することと、
   前記参照ピクチャを復号化することと、
   前記ビットストリームから前記参照ピクチャの第１のサブ領域を特定することと、
   第２の参照ピクチャを形成するために前記第１のサブ領域を変換することと、
   前記第２の参照ピクチャを使用して前記現在のピクチャを復号化することと、を行うように構成されている回路を含む、デコーダ。
5. 前記現在のピクチャは、第１のサイズを有し、前記第１のサブ領域は、前記第１のサイズとは異なる第２のサイズを有し、前記デコーダは、前記第１のサイズに等しい第３のサイズに前記第１のサブ領域をスケーリングすることによってサブ領域を変換することを行うように構成されている、請求項４に記載のデコーダ。
6. 前記デコーダは、前記第１のサブ領域を移動させることによって前記第１のサブ領域を変換することを行うように構成されている、請求項４に記載のデコーダ。
7. 前記デコーダは、アフィン変換を適用することによって前記第１のサブ領域を変換することを行うように構成されている、請求項４に記載のデコーダ。
8. 前記第１の参照ピクチャをバッファに格納することを行うようにさらに構成されている、請求項１に記載のデコーダ。
9. 前記バッファは、長期参照バッファをさらに含む、請求項８に記載のデコーダ。
10. 前記バッファは、参照ピクチャバッファをさらに含む、請求項８に記載のデコーダ。
11. 前記デコーダは、前記第１の参照ピクチャにおいて第２のサブ領域を見つけることを行うようにさらに構成されている、請求項１に記載のデコーダ。
12. 前記第１の参照領域及び前記第２の独立した参照領域を使用して第２のフレームを復号化することを行うようにさらに構成されている、請求項１１に記載のデコーダ。
13. 前記第２の独立した参照領域をバッファに格納することを行うようにさらに構成されている、請求項１２に記載のデコーダ。
14. 前記現在のピクチャは、第１のピクチャであり、前記デコーダは、第１のサブ領域及び第２のサブ領域を使用して第２のピクチャを復号化することを行うようにさらに構成されている、請求項１に記載のデコーダ。
15. 参照領域を使用する映像符号化の方法であって、
    デコーダによって、符号化されたビデオビットストリームを受信することであって、前記符号化されたビデオストリームは、符号化された参照ピクチャ及び第１のサイズを有する符号化された現在のピクチャを含む、前記受信することと、
    前記デコーダによって、前記参照ピクチャを復号化することと、
    前記デコーダによって且つ前記ビットストリームから、前記参照ピクチャのサブ領域を特定することであって、前記サブ領域は、第２のサイズを有し、前記第２のサイズは、前記第１のサイズとは異なる、前記特定することと、
    前記デコーダによって、再スケーリングされた参照ピクチャを形成するために前記サブ領域を第３のサイズに再スケーリングすることであって、前記第３のサイズは、前記第１のサイズに等しい、前記再スケーリングすることと、
    前記デコーダによって、前記再スケーリングされた参照ピクチャを使用して前記現在のピクチャを復号化することと、を含む、方法。
16. 前記サブ領域は、高さオフセット、高さ、長さオフセット、及び長さによって特徴付けられる、請求項１５に記載の方法。
17. 前記サブ領域を特定することは、前記ビットストリームにおいて、前記サブ領域が存在するという指示を受信することをさらに含む、請求項１５に記載の方法。
18. 前記参照フレームをバッファに格納することをさらに含む、請求項１５に記載の方法。
19. 前記バッファは、長期参照バッファをさらに含む、請求項１８に記載の方法。
20. 前記バッファは、参照ピクチャバッファをさらに含む、請求項１８に記載の方法。
21. ビットストリームを受信することと、
    第１のフレームを特定することと、
    前記第１のフレーム内の第１の独立した参照領域を見つけることと、
    前記第１のフレームから前記第１の独立した参照領域を抽出することと、
    第２のフレームの参照として前記第１の独立した参照領域を使用して前記第２のフレームを復号化することと、
    を行うように構成されている回路を含む、デコーダ。
22. 前記デコーダは、前記ビットストリームにおいて、前記第１のフレーム内の独立した参照領域の幾何学的特徴付けを特定することによって、前記第１の独立した参照領域を見つけることを行うようにさらに構成されている、請求項２１に記載のデコーダ。
23. 前記第１の独立した参照領域は、長方形であり、前記幾何学的特徴付けは、前記第１の独立したサブ領域の頂点を特徴付ける数値の４項組をさらに含む、請求項２２に記載のデコーダ。
24. 前記第１の独立した参照領域を特定することは、前記ビットストリームにおいて、前記第１の独立した参照領域が存在するという指示を受信することをさらに含む、請求項２１に記載のデコーダ。
25. 前記第１の独立した参照領域は、サイズを有し、前記デコーダは、前記第１の独立した参照領域と同じサイズを有する前記第２のフレームを復号化することによって前記第２のフレームを復号化することを行うように構成されている、請求項２１に記載のデコーダ。
26. 前記デコーダは、前記第１の独立した参照領域を変換することによって前記第２のフレームを復号化することを行うように構成されている、請求項２１に記載のデコーダ。
27. 前記第１の独立した参照領域を変換することは、前記第１の独立した参照領域をスケーリングすることをさらに含む、請求項２６に記載のデコーダ。
28. 前記第１の独立した参照領域を変換することは、前記第１の独立した参照領域を反転させることをさらに含む、請求項２６に記載のデコーダ。
29. 前記第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第１の独立した参照領域を移動させることをさらに含む、請求項２６に記載のデコーダ。
30. 前記第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第１の独立した参照領域を回転させることをさらに含む、請求項２６に記載のデコーダ。
31. 第１のフレームをバッファに格納することを行うようにさらに構成されている、請求項２１に記載のデコーダ。
32. 前記バッファは、長期参照バッファをさらに含む、請求項３１に記載のデコーダ。
33. 前記バッファは、参照ピクチャバッファをさらに含む、請求項３１に記載のデコーダ。
34. 前記デコーダは、前記第１のフレームにおいて第２の参照領域を見つけることを行うようにさらに構成されている、請求項２１に記載のデコーダ。
35. 前記第１の参照領域及び前記第２の独立した参照領域を使用して前記第２のフレームを復号化することを行うようにさらに構成されている、請求項３４に記載のデコーダ。
36. 前記第２の独立した参照領域をバッファに格納することを行うようにさらに構成されている、請求項３５に記載のデコーダ。
37. 前記第１の参照領域及び第２の参照領域を使用して第２のフレームを復号化することを行うようにさらに構成されている、請求項２１に記載のデコーダ。
38. 参照領域を使用する映像符号化の方法であって、
    ビットストリームを受信することと、
    第１のフレームを特定することと、
    前記第１のフレーム内の第１の独立した参照領域を見つけることと、
    前記第１のフレームから前記第１の独立した参照領域を抽出することと、
    第２のフレームの参照として前記第１の独立した参照領域を使用して前記第２のフレームを復号化することと、を含む、方法。
39. 前記第１の独立した参照領域を見つけることは、前記ビットストリームにおいて、前記第１のフレーム内の独立した参照領域の幾何学的特徴付けを特定することをさらに含む、請求項３８に記載の方法。
40. 前記第１の独立した参照領域は、長方形であり、前記幾何学的特徴付けは、前記第１の独立した参照領域の頂点を特徴付ける数値の４項組をさらに含む、請求項３９に記載の方法。
41. 前記第１の独立した参照領域を特定することは、前記ビットストリームにおいて、前記第１の独立した参照領域が存在するという指示を受信することをさらに含む、請求項３８に記載の方法。
42. 前記第１の独立した参照領域は、サイズを有し、前記第２のフレームを復号化することは、前記第１の独立した参照領域と同じサイズを有する前記第２のフレームを復号化することをさらに含む、請求項３８に記載の方法。
43. 前記第１の独立した参照領域を変換することによって前記第２のフレームを復号化することをさらに含む、請求項３８に記載の方法。
44. 前記第１の独立した参照領域を変換することは、前記第１の独立した参照領域をスケーリングすることをさらに含む、請求項４３に記載の方法。
45. 前記第１の独立した参照領域を変換することは、前記第１の独立した参照領域を反転させることをさらに含む、請求項４３に記載の方法。
46. 前記第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第１の独立した参照領域を移動させることをさらに含む、請求項４３に記載の方法。
47. 前記第１の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第１の独立した参照領域を回転させることをさらに含む、請求項４３に記載の方法。
48. 前記第１のフレームをバッファに格納することをさらに含む、請求項３８に記載の方法。
49. 前記バッファは、長期参照バッファをさらに含む、請求項４８に記載の方法。
50. 前記バッファは、参照ピクチャバッファをさらに含む、請求項４８に記載の方法。
51. 前記デコーダは、前記第１のフレームにおいて第２の参照領域を見つけることを行うようにさらに構成されている、請求項４８に記載の方法。
52. 前記第１の参照領域及び前記第２の独立した参照領域を使用して前記第２のフレームを復号化することをさらに含む、請求項３１に記載の方法。
53. 前記第２の独立した参照領域をバッファに格納することをさらに含む、請求項３５に記載の方法。
54. 前記第１の参照領域及び第２の参照領域を使用して第２のフレームを復号化することをさらに含む、請求項３８に記載の方法。

Images