JP2021502013A - ビデオ符号化のためのインター予測装置の補間フィルタ及び方法 - Google Patents

Abstract

本発明は、ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在の完全整数ピクセルのサンプル値のインター予測のための装置（１４４）及び方法に関する。装置（１４４）は、ビデオ信号の現在のフレーム及び参照フレームに基づいて、並びに／又は動き補償モデルに基づいて、現在の完全整数ピクセルの動きベクトルを決定することと、現在の完全整数ピクセルの動きベクトルに基づいて、現在の完全整数ピクセルに対する参照フレーム内の対応するサブ整数ピクセルを決定することと、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットに基づいて、参照フレーム内の対応するフィルタサポートピクセルのセットを生成することであって、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在の完全整数ピクセルの１又は複数の隣接するサブ整数ピクセルを含む、生成することと、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタサポートピクセルのそれぞれのサンプル値を決定することと、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値、及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定することとを行うように構成される処理ユニットを備える。さらに、本発明は、そのようなインター予測装置（１４４）を備える符号化装置（１００）及び復号装置に関する。

Description

概して、本発明は、ビデオ符号化の分野に関する。より具体的には、本発明は、ビデオ符号化のためのインター予測装置の補間フィルタ及び方法、並びにそのようなインター予測装置を備える符号化装置及び復号装置に関する。

デジタルビデオ通信及びストレージアプリケーションが、例えば、デジタルカメラ、セル方式無線電話、ラップトップ、放送システム、テレビ会議システム等の広い範囲のデジタルデバイスによって実装される。これらのアプリケーションの最も重要で難しいタスクの１つは、ビデオ圧縮である。ビデオ圧縮のタスクは複雑であり、圧縮効率及び計算の複雑さという２つの相反するパラメータによって制約される。ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ又はＩＴＵ‐Ｔ Ｈ．２６５／ＨＥＶＣのようなビデオ符号化規格は、これらのパラメータ間の良好なトレードオフを提供する。そのため、ビデオ符号化規格のサポートは、ほとんどのビデオ圧縮アプリケーションに必須要件である。

最先端のビデオ符号化規格は、ソースフレーム又はピクチャをフレーム又はピクチャブロックに分割することに基づいている。これらのブロックの処理は、エンコーダによって規定されるこれらのサイズ、空間位置、及び符号化モードに依存する。符号化モードは、予測のタイプによってイントラ予測モード及びインター予測モードの２つのグループに分類され得る。イントラ予測モードは、同一フレーム（ピクチャ又は画像とも称される）のピクセルを使用し、参照サンプルを生成し、再構築されるブロックのピクセルに対する予測値を計算する。イントラ予測は、空間予測とも称される。インター予測モードは、時間予測のために設計されており、前のフレーム又は次のフレームの参照サンプルを使用して、現在のフレームのブロックのピクセルを予測する。予測段階の後、変換符号化が、元の信号とその予測との間の差である予測誤差に対して実行される。その後、変換係数及びサイド情報が、エントロピー符号器（例えば、ＡＶＣ／Ｈ．２６４及びＨＥＶＣ／Ｈ．２６５用のＣＡＢＡＣ）を使用して符号化される。最近採用されたＩＴＵ‐Ｔ Ｈ．２６５／ＨＥＶＣ規格（ＩＳＯ／ＩＥＣ ２３００８−２：２０１３、「情報技術−異種環境における高効率符号化及びメディア配信−パート２：高効率ビデオ符号化（Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ−Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｃｏｄｉｎｇ ａｎｄ ｍｅｄｉａ ｄｅｌｉｖｅｒｙ ｉｎ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｅｎｖｉｒｏｎｍｅｎｔｓ−Ｐａｒｔ ２： Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）」、２０１３年１１月）は、符号化効率と計算の複雑さとの間の合理的なトレードオフを提供する最先端のビデオ符号化ツールのセットを宣言する。ＩＴＵ‐Ｔ Ｈ．２６５／ＨＥＶＣ規格の概要は、Ｇａｒｙ Ｊによって与えられている。Ｓｕｌｌｉｖａｎ「高効率ビデオ符号化（ＨＥＶＣ）規格の概要（Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ）」、ビデオ技術のための電気回路及びシステムのＩＥＥＥトランザクション、Ｖｏｌ．２２、Ｎｏ．１２、２０１２年１２月、は、その全体の内容が、参照によって本明細書に組み込まれている。

ＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣビデオ符号化規格と同様に、ＨＥＶＣ／Ｈ．２６５ビデオ符号化規格は、いわゆる符号化ユニット（ＣＵ）の形式でソースフレームをフレームブロックに分割することを提供する。ＣＵのそれぞれは、より小さなＣＵ又は予測ユニット（ＰＵ）のいずれかにさらに分割し得る。ＰＵは、ＰＵのピクセルに適用されるタイプの処理によって、イントラ予測又はインター予測され得る。インター予測の場合、ＰＵは、ＰＵに指定された動きベクトルを使用する動き補償によって処理されるピクセルの領域を表す。イントラ予測のために、隣接するブロックの隣接するピクセルが、参照サンプルとして使用されて、現在のブロックを予測する。ＰＵは、このＰＵに含まれる全ての変換ユニット（ＴＵ）に対するイントラ予測モードのセットから選択される予測モードを指定する。ＴＵは、異なるサイズ（例えば、４×４、８×８、１６×１６、及び３２×３２ピクセル）を有してよく、異なる方法で処理されてよい。ＴＵについて、変換符号化が実行され、すなわち、予測誤差が（ＨＥＶＣ／Ｈ．２６５規格において、イントラ符号化ブロックに適用される）個別のｃｏｓｉｎｅ変換又は個別のｓｉｎｅ変換を用いて変換されて量子化される。したがって、再構築されたピクセルは、デブロッキングフィルタ（ＤＢＦ）、サンプルアダプティブオフセット（ＳＡＯ）、及び適合ループフィルタ（ＡＬＦ）のようなインループフィルタが抑制しようとする、（例えば、ユニット間のブロッキネス、シャープエッジを伴うリンギングアーティファクト等として、明らかになり得る）量子化ノイズを含む。

インター予測のために実現され得る圧縮のレベルに対する予測精度を改善すべく、サブ整数ピクセル補間技術が発達してきた。この場合において、ビデオブロックを符号化するのに使用される、動き補償の間に生成された予測データは、その値が、参照ビデオフレームのビデオブロックの完全ピクセルの値、又は動きベクトルが参照する他の符号化されたユニットから補間され得るサブ整数ピクセルに対応し得る。ビデオエンコーダは、例えば、サポートピクセル、例えば、完全整数ピクセルの値、及び／又は他のサブ整数ピクセル位置の以前に符号化された値、のセットに補間フィルタを適用することによって、補間技術を使用してサブ整数ピクセル位置の値を計算し得る。

現在の規格Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣは、１／４ピクセル変位解像度に基づいている。共同ビデオ調査チーム（ＪＶＥＴ）グループは、アフィン変換のような、非並進の動き補償モデルを含む、ポストＨＥＶＣビデオ圧縮技術を調査している。分数ピクセル（又はサブ整数）の変位を推定及び補償すべく、参照画像の完全整数ピクセルは、分数ピクセル、すなわち、サブ整数の位置で補間されなければならない。分数ピクセル位置で補間された画像を取得すべく、補間フィルタが使用される。非変換動きモデルに対する補間の課題は、可変の分数ピクセル変位である。

補間された画像の品質は、（複数の）補間フィルタの特性に強く依存する。短タップフィルタ（例えば、バイリニア）は、高周波数を抑制し、補間されたピクチャがブラーされる場合がある。その一方で、長タップフィルタ（例えば、ｓｉｎｃベース）は、よりメモリ帯域幅を必要とし、高周波数を保持し得るが、シャープエッジの近辺で、いくらかのリンギングアーティファクトを生成する。他の検討事項は、非並進のモデルの動き補償のために、補間及び予測の精度を低下することによって、複雑さが軽減されていることである。

提案されたＪＥＭアフィン動きモデルにおいて、サポートされている２つのタイプの動き、ズーム及び回転、が存在する。分数ピクセル位置の大部分は、予測ユニット内で一定ではない。ピクセルがサブブロックによって置換されて、補間の速度を上げる。１つのサブブロック内で、変位ベクトルが一定であり、並進である。複雑さが徐々に軽減されるが、精度も同様に軽減される。予測の品質を改善すべく、補間フィルタの量を増加してサブブロックの動きベクトル変位の精度を向上させることによって、動き補償の精度が改善された。非並進の動きモデルに対する補間フィルタの現在の精度は、依然として改善される必要がある。

それにより、インター予測装置の改善された補間フィルタ、及び改善されたビデオ符号化効率を提供するビデオ符号化の方法に対する必要性が存在する。

インター予測装置の改善された補間フィルタ、及び改善されたビデオ符号化効率を提供するビデオ符号化の方法を提供することが、本発明の目的である。

前述の目的及び他の目的が、独立請求項の主題によって実現される。さらなる実装形式は、従属請求項、明細書、及び図面から明らかである。

第１の態様によれば、本発明は、ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在の完全整数ピクセルのサンプル値のインター予測のための装置に関する。装置は、ビデオ信号の現在のフレーム及び参照フレーム、並びに／又は動き補償モデルに基づいて、現在の完全整数ピクセルの動きベクトルを決定することと、現在の完全整数ピクセルの動きベクトルに基づいて、現在の完全整数ピクセルに対する参照フレーム内の対応するサブ整数ピクセルを決定することと、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットに基づいて、参照フレーム内の対応するフィルタサポートピクセルのセットを生成することであって、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在の完全整数ピクセルの１又は複数の隣接するサブ整数ピクセルを含む、生成することと、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタサポートピクセルの、特定の輝度値におけるそれぞれのサンプル値を決定することと、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値、及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定することとを行うように構成される処理ユニットを備える。

それにより、改善されたインター予測装置が提供されて、ビデオ符号化の効率を改善することを可能にする。

第１の態様のさらなる可能な実装形式において、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在のフレーム内の現在の完全整数ピクセルの１又は複数の垂直方向及び／又は水平方向に隣接する半整数ピクセルを含む。

第１の態様のさらなる可能な実装形式において、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在のフレーム内の現在の完全整数ピクセルの１又は複数の垂直方向及び／又は水平方向に隣接する完全整数ピクセルを含む。

第１の態様のさらなる可能な実装形式において、空間ハイパスフィルタは５タップフィルタである。一実装形式において、５タップフィルタは、対称フィルタ、すなわち、第１のフィルタ係数及び第５のフィルタ係数が同一であり、かつ、第２のフィルタ係数及び第４のフィルタ係数が同一であるフィルタである。一実装形式において、第１のフィルタ係数及び第５のフィルタ係数が負であり、その一方で、５タップフィルタの他のフィルタ係数が正である。

第１の態様のさらなる可能な実装形式において、装置の処理ユニットは、参照フレーム内のそれぞれの隣接する完全整数ピクセルのバイリニア補間に基づいて、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセル及び参照フレーム内の対応するフィルタサポートピクセルのそれぞれのサンプル値を決定することを行うように構成される。

第１の態様のさらなる可能な実装形式において、装置の処理ユニットは、現在の完全整数ピクセルの動きベクトル及び現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルに基づいて、現在のフレーム内のフィルタサポートピクセルのサブ整数ピクセルのそれぞれの動きベクトルを決定することを行うようにさらに構成される。

第１の態様のさらなる可能な実装形式において、装置の処理ユニットは、現在の完全整数ピクセルの動きベクトル及び現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルの平均ベクトルを決定することによって、現在のフレーム内のフィルタサポートピクセルのサブ整数ピクセルのそれぞれの動きベクトルを決定することを行うように構成される。

第１の態様のさらなる可能な実装形式において、装置の処理ユニットは、ビデオ信号の現在のフレーム及び参照フレーム、並びに／又は動き補償モデルに基づいて、現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルを決定することを行うようにさらに構成される。

第１の態様のさらなる可能な実装形式において、装置の処理ユニットは、現在の完全整数ピクセルの動きベクトルが、非並進の動き補償モデルに基づいて決定される場合、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値、及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定することと、現在の完全整数ピクセルの動きベクトルが並進の動き補償モデルに基づいて決定される場合、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣで定義される従来のスキームのような、従来のスキームに基づいて現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定することとを行うように構成される。

第１の態様のさらなる可能な実装形式において、非並進の動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである。

第２の態様によれば、本発明は、ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在の完全整数ピクセルのサンプル値のインター予測のための対応する方法に関する。方法は、ビデオ信号の現在のフレーム及び参照フレームに基づいて、並びに／又は動き補償モデルに基づいて、現在の完全整数ピクセルの動きベクトルを決定する段階と、現在の完全整数ピクセルの動きベクトルに基づいて、現在の完全整数ピクセルに対する参照フレーム内の対応するサブ整数ピクセルを決定する段階と、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットに基づいて、参照フレーム内の対応するフィルタサポートピクセルのセットを生成する段階であって、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在の完全整数ピクセルの１又は複数の隣接するサブ整数ピクセルを含む、段階と、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタサポートピクセルの、特定の輝度値におけるそれぞれのサンプル値を決定する段階と、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値、及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定する段階とを備える。

それにより、改善されたインター予測方法が提供されて、ビデオ符号化の効率を改善することを可能にする。

本発明の第２の態様によるインター予測方法は、本発明の第１の態様によるインター予測装置によって実行され得る。本発明の第２の態様によるインター予測方法のさらなる特徴は、本発明の第１の態様によるインター予測装置の機能、並びに上記及び以下で説明される異なる実装形式から直接もたらされる。

第３の態様によれば、本発明は、ビデオ信号の現在のフレームを符号化するための符号化装置であって、符号化装置は第１の態様によるインター予測装置を備える、符号化装置に関する。

第４の態様によれば、本発明は、圧縮されたビデオ信号の現在の再構築されたフレームを復号するための復号装置であって、復号装置は第１の態様によるインター予測装置を備える、復号装置に関する。

第５の態様によれば、本発明は、コンピュータ又はプロセッサ上で実行されると、第２の態様による方法を実行するためのプログラムコードを備えるコンピュータプログラム製品に関する。

本発明の実施形態は、特に以下の利点を提供する。本発明の実施形態は、複雑さを低レベルに保ちながら、ピクセル単位の精度で補間を実行することを可能にする。本発明の実施形態は、任意の種類の非並進の動きをサポートする。本発明の実施形態は、サブブロックのエッジにわたるブロックアーティファクトを除去することを可能にする。本発明の実施形態は、メモリ帯域幅を減らす。本発明の実施形態は、フィルタ係数のセットを記憶するためのメモリ要件を減らす。本発明の実施形態は、ＨＷバイリニア変換において十分に最適化されて再利用することを可能にする。本発明の実施形態は、変換に沿ってフィルタリングの方向を揃える。本発明の実施形態は、補間されたエッジの品質を改善しつつ、長い動き補間フィルタに起因するリンギングアーティファクトを減らすことを可能にする。本発明の実施形態は、再構築されたピクチャにおけるエッジの主観的な品質を増加させることを可能にする。さらに、本発明の実施形態は、いかなる追加のシグナリングを必要とせず、それにより、非並進の動きのための既存の補間方法をシームレスに置換できる。補間を２つの段階に分離することによって、ハイパスフィルタから分数オフセット補償を分離することを可能にする。

本発明のさらなる実施形態は、以下の図に関して説明されるだろう。
一実施形態によるインター予測装置を備える、一実施形態による符号化装置の例を図式的に示す。 一実施形態によるインター予測装置を備える、一実施形態による復号装置の例を図式的に示す。 一実施形態によるインター予測装置に実装される補間処理の態様を図式的に示す。 一実施形態によるインター予測装置に実装される補間処理の異なる態様を図式的に示す。 一実施形態によるインター予測装置に実装される補間処理の異なる態様を図式的に示す。 一実施形態によるインター予測方法の各段階を示すフロー図を示す。

様々な図面において、同一の参照符号は、同一又は機能上同等の特徴に使用されるだろう。

以下の説明において、本開示の一部を形成し、かつ、本発明が配置され得る具体的態様が実例として示される添付図面を参照する。他の態様が利用されてよいこと、及び、構造的な変更又は論理的な変更が本発明の範囲から逸脱することなく行われてよいことが理解される。したがって、本発明の範囲は添付の特許請求の範囲によって定義されるので、以下の詳細な説明は限定的な意味で解釈されるべきでない。

例えば、説明される方法に関連している開示はまた、方法を実行するように構成される対応するデバイス又はシステムに当てはまり得ること、そしてその逆も同様であることが理解される。例えば、具体的の方法の段階が説明される場合、対応するデバイスは、たとえ、そのようなユニットが明確に説明されていない又は図に示されていない場合であっても、説明される方法の段階を実行するユニットを含み得る。さらに、本明細書で説明される様々な例示的な態様の特徴が、具体的にそうでないことが示されない限り、お互いに組み合わされ得ることが理解される。

図１は、一実施形態によるインター予測装置１４４を備える、一実施形態による符号化装置１００を示す。符号化装置１００は、（本明細書でピクチャ又は画像とも称される）複数のフレームを備えるビデオ信号のフレームのブロックを符号化するように構成される。各フレームは複数のブロックに分割可能であり、各ブロックは複数のピクセルを備える。一実施形態において、ブロックは、マクロブロック、符号化ツリーユニット、符号化ユニット、予測ユニット、及び／又は予測ブロックであり得る。

図１に示される例示的な実施形態において、符号化装置１００は、ハイブリッド映像符号化エンコーダの形式で実装される。通常、ビデオ信号の第１のフレームは、イントラ予測のみを使用して符号化されるイントラフレームである。この目的に向けて、図２に示される符号化装置１００の一実施形態は、イントラ予測のためのイントラ予測ユニット１５４をさらに備える。イントラフレームは、他のフレームからの情報なしに復号され得る。イントラ予測ユニット１５４は、イントラ推定ユニット１５２によって提供された情報に基づいて、ブロックのイントラ予測を実行し得る。

第１のイントラフレームに続く後のフレームのブロックは、モード選択ユニット１６０によって選択されるように、インター予測又はイントラ予測を使用して符号化され得る。概して、インター予測ユニット１４４は、以下でさらにより詳細に説明されるように、動き推定に基づいて、ブロックの動き補償を実行するように構成され得る。一実施形態において、動き推定は、符号化装置のインター推定ユニット１４２によって実行され得る。しかしながら、他の実施形態において、インター推定ユニット１４２の機能が、同様にインター予測ユニット１４４の一部として実装され得る。

さらに、図１に示されるハイブリッドエンコーダの実施形態において、残差計算ユニット１０４は、元のブロックとその予測との間の差を決定し、すなわち、残差ブロックは、イントラ／インターピクチャ予測の予測誤差を定義する。この残差ブロックは、（例えば、ＤＣＴを使用する）変換ユニット１０６によって変換され、変換係数が量子化ユニット１０８によって量子化される。量子化ユニット１０８の出力、及び、例えば、インター予測ユニット１４４によって提供される符号化情報又はサイド情報が、エントロピー符号化ユニット１７０によって、さらに符号化される。

図１に示される符号化装置１００のようなハイブリッドビデオエンコーダは、通常、デコーダ処理を複製し、その結果、両方が同一の予測を生成する。それにより、図１に示される実施形態において、逆量子化ユニット１１０及び逆変換ユニットが、変換ユニット１０６及び量子化ユニット１０８の逆演算を実行し、復号された残差ブロックの近似値を複製する。復号された残差ブロックのデータが、その後、再構築ユニット１１４によって、予測の結果、すなわち、予測ブロックに追加される。その後、再構築ユニット１１４の出力が、ラインバッファ１１６に提供されてイントラ予測に使用され得、画像アーティファクトを除去するためにインループフィルタ１２０によってさらに処理される。最終的なピクチャが、復号ピクチャバッファ１３０に記憶されて、後のフレームのインター予測のための参照フレームとして使用され得る。

図２は、一実施形態によるインター予測装置２４４を備える、一実施形態による復号装置２００を示す。復号装置２００は、符号化されたビデオ信号のフレームのブロックを復号するように構成される。図２に示される一実施形態において、復号装置２００は、ハイブリッドデコーダとして実装される。エントロピー復号ユニット２０４は、インター予測装置２４４、イントラ予測ユニット２５４、及び復号装置２００の他のコンポーネントに特に必要とされる、予測誤差（すなわち、残差ブロック）、動きデータ、及び他のサイド情報を概して備え得る符号化されたピクチャデータのエントロピー復号を実行する。図２に示される実施形態において、図３に示される復号装置２００のインター予測装置２４４又はイントラ予測ユニット２５４が、モード選択ユニット２６０によって選択され、図１に示される符号化装置１００のインター予測装置１４４及びイントラ予測ユニット１５４と同一の方法で機能し、その結果、同一の予測が、符号化装置１００及び復号装置２００によって生成され得る。復号装置２００の再構築ユニット２１４が、逆量子化ユニット２１０及び逆変換ユニット２１２によって提供されたフィルタリングされた予測ブロック及び残差ブロックに基づいて、ブロックを再構築するように構成される。符号化装置１００の場合のように、再構築ブロックが、イントラ予測に使用されるラインバッファ２１６に提供され得、フィルタリングされたブロック／フレームが、将来のインター予測のためにインループフィルタ２２０によって復号ピクチャバッファ２３０に提供され得る。

既に説明したように、装置１４４、２４４は、ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在の完全整数ピクセルのサンプル値のインター予測を実行するように構成される。装置１４４、２４４は、ソフトウェア及び／又はハードウェアで実装し得る処理ユニットを備える。

装置１４４、２４４の処理ユニットは、現在の完全整数ピクセルの動きベクトルを決定するように構成される。一実施形態において、装置１４４、２４４の処理ユニットは、現在のフレーム内の現在の完全整数ピクセルに対応する参照フレームにおけるピクセルの位置を決定することによって、ビデオ信号の現在のフレーム及び参照フレームに基づいて、現在の完全整数ピクセルの動きベクトルを決定するように構成される。一実施形態において、装置１４４、２４４の処理ユニットは、採用された動き補償モデルに基づいて、現在の完全整数ピクセルの動きベクトルを決定するように構成される。例えば、並進又はアフィン動き補償モデルの場合、現在の完全整数ピクセルの動きベクトルは、現在の完全整数ピクセルが属する同一ブロックのピクセルの１又は複数の動きベクトルを使用して決定され得る。本明細書で使用されるように、「動き補償モデル」はまた、動き変換モデル、動きモデル表現等と称される。

装置１４４、２４４の処理ユニットは、現在の完全整数ピクセルの動きベクトルに基づいて、現在の完全整数ピクセルに対する参照フレーム内の対応するサブ整数ピクセルを決定するようにさらに構成される。

装置１４４、２４４の処理ユニットは、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットに基づいて、参照フレーム内の対応するフィルタサポートピクセルのセットを生成するようにさらに構成される。現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在の完全整数ピクセルの１又は複数の隣接するサブ整数ピクセルを含む。

一実施形態において、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在のフレーム内の現在の完全整数ピクセルの１又は複数の垂直方向及び／又は水平方向に隣接する半整数ピクセルを含む。例えば、一実施形態において、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在の完全整数ピクセルの上、左、下、及び右に隣接する半整数ピクセルを備える。

一実施形態において、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在のフレーム内の現在の完全整数ピクセルの１又は複数の垂直方向及び／又は水平方向に隣接する完全整数ピクセルをさらに備える。例えば、一実施形態において、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在の完全整数ピクセルの上、左、下、及び右に隣接する完全整数ピクセルをさらに備える。それにより、一実施形態において、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在のフレーム内の現在の完全整数ピクセルの上、左、下、及び右に隣接する半整数ピクセル及び完全整数ピクセルを備え得る。

装置１４４、２４４の処理ユニットは、それぞれのサンプル値、特に、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタサポートピクセルの輝度値を決定するようにさらに構成される。

一実施形態において、装置１４４、２４４の処理ユニットは、参照フレーム内のそれぞれの隣接する完全整数ピクセルのバイリニア補間に基づいて、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセル及び参照フレーム内の対応するフィルタサポートピクセルのそれぞれのサンプル値を決定するように構成される。図３は、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値を決定するためにバイリニア補間を使用する例を示す。図３において、参照フレーム内の参照ブロックは、現在のフレームの例示的な現在のピクセルを備える現在のブロックに対して拡大及び回転する。さらに、図３は、フィルタサポートピクセルに使用される向上した解像度を示す。

図３の拡大図から理解され得るように、一実施形態において、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値Ｌが、以下のように処理ユニットによって決定され得る。現在の完全整数ピクセルの対応するサブ整数ピクセルは、参照フレームのサンプルグリッドの対応するセルにおいて、分数位置（ｆｄＸ，ｆｄＹ）を有する。Ｌ０、Ｌ１、Ｌ２、Ｌ３は、参照フレーム内の隣接する完全整数ピクセルの既知のサンプル値である（すなわち、完全整数ピクセルが、現在の完全整数ピクセルの対応するサブ整数ピクセルが配置されている参照フレームのサンプルグリッドの対応するセルの隅に配置される）。分数位置（ｆｄＸ，ｆｄＹ）に基づいて、ｓ０、ｓ１、ｓ２、ｓ３に対応するそれぞれの矩形領域が、ｓ０＝ｆｄＸ×ｆｄＹ、ｓ１＝（１−ｆｄＸ）×ｆｄＹ、ｓ２＝ｆｄＸ×（１−ｆｄＹ）、ｓ３＝（１−ｆｄＸ）×（１−ｆｄＹ）のように計算され得る。バイリニア補間が、以下の水平係数（１−ｆｄＸ，ｆｄＸ）及び以下の垂直係数（１−ｆｄＹ，ｆｄＹ）を有する２タップフィルタを使用して表現され得る。これらの重み付け係数に基づいて、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値Ｌが、以下の式Ｌ＝Ｌ０×ｓ３＋Ｌ１×ｓ２＋Ｌ２×ｓ１＋ Ｌ３×ｓ０に基づいて決定され得る。既に上で言及したように、同一のバイリニア補間が、参照フレーム内の対応するフィルタサポートピクセルのサンプル値を決定するために使用され得る。

装置１４４、２４４の処理ユニットは、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値、及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定するようにさらに構成される。

一実施形態において、空間ハイパスフィルタは５タップフィルタである。一実施形態において、５タップフィルタは、対称フィルタ、すなわち、第１のフィルタ係数及び第５のフィルタ係数が同一であり、かつ、第２のフィルタ係数及び第４のフィルタ係数が同一であるフィルタである。一実施形態において、第１のフィルタ係数及び第５のフィルタ係数が負であり、その一方で、５タップフィルタの他のフィルタ係数が正である。一実施形態において、空間ハイパスフィルタは、垂直方向及び水平方向において個別に適用され得る。

図４は、図３に示される一例について、垂直方向及び水平方向に５タップフィルタを使用して、装置１４４、２４４の処理ユニットによって実行される処理ユニットの異なる段階を示す。図３に示される一例のように、参照ブロックが現在のブロックに対して（アフィン変換に対応して）拡大及び回転され、現在のフレームに垂直及び水平である５タップフィルタが参照フレーム内で回転する。

インター予測装置１４４、２４４の以下のさらなる実施形態において、符号化装置１００及び復号装置２００が説明されるだろう。この文脈において、インター予測装置１４４、２４４の実施形態は、符号化装置１００に実装されるインター予測装置１３３の実施形態、及び復号装置２００に実装されるインター予測装置２４４の実施形態に関することが理解されるだろう。

一実施形態において、装置１４４、２４４の処理ユニットは、現在の完全整数ピクセルの動きベクトル及び現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルに基づいて、現在のフレーム内のフィルタサポートピクセルのサブ整数ピクセルのそれぞれの動きベクトルを決定するようにさらに構成される。この目的に向けて、一実施形態において、装置１４４、２４４の処理ユニットは、現在の完全整数ピクセルの動きベクトル及び現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルの平均ベクトルを決定するように構成される。例えば、現在のフレーム内の現在の完全整数ピクセルの上の半整数ピクセルの動きベクトルを決定するために、装置１４４、２４４の処理ユニットは、平均、すなわち、現在の完全整数ピクセルの動きベクトル及び現在の完全整数ピクセルの上の隣接する完全整数ピクセルの動きベクトルの平均を計算し得る。

現在のピクセルの動きベクトルを決定することと同様に、装置１４４、２４４の処理ユニットは、ビデオ信号の現在のフレーム及び参照フレーム、並びに／又は動き補償モデルに基づいて、現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルを決定するように構成され得る。

一実施形態において、装置１４４、２４４の処理ユニットは、現在の完全整数ピクセルの動きベクトルが、非並進の動き補償モデルに基づいて決定される場合、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値、及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定し、現在の完全整数ピクセルの動きベクトルが並進の動き補償モデルに基づいて決定される場合、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣで定義される従来のスキームのような、従来のスキームに基づいて現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定するように構成される。一実施形態において、非並進の動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである。

図５は、上記の本発明の実施形態の複数の態様を要約する。

図６は、一実施形態による対応するインター予測方法６００の各段階を示すフロー図を示す。方法６００は、ビデオ信号の現在のフレーム及び参照フレームに基づいて、並びに／又は動き補償モデルに基づいて、現在の完全整数ピクセルの動きベクトルを決定する段階６０１と、現在の完全整数ピクセルの動きベクトルに基づいて、現在の完全整数ピクセルに対する参照フレーム内の対応するサブ整数ピクセルを決定する段階６０３と、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットに基づいて、参照フレーム内の対応するフィルタサポートピクセルのセットを生成する段階６０５であって、現在のフレーム内のフィルタサポートピクセルの予め定義されたセットは、現在の完全整数ピクセルの１又は複数の隣接するサブ整数ピクセルを含む、生成する段階６０５と、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセル及び対応するフィルタサポートピクセルのそれぞれのサンプル値を決定する段階６０７と、参照フレーム内の現在の完全整数ピクセルの対応するサブ整数ピクセルのサンプル値、及び参照フレーム内の対応するフィルタサポートピクセルのサンプル値に空間ハイパスフィルタを適用することによって、現在のフレーム内の現在のピクセルのインター予測されたサンプル値を決定する段階６０９とを備える。

処理ユニットは、上記の各動作を実行するように構成される、任意の種類のプログラム可能又はプログラム不可能な電気回路であり得る。処理ユニットは、ハードウェア及びソフトウェアを備え得る。例えば、処理ユニットは、１又は複数のプロセッサと、プログラムが１又は複数のプロセッサによって実行されると、処理ユニットに各動作を実行させるプログラムを保持する一時的又は非一時的メモリとを備え得る。

本開示の特定の特徴又は態様が、複数の実装又は実施形態のうちの１つのみに関連して開示されてきた可能性があるが、そのような特徴又は態様が、任意の用途又は特定の用途に対して望ましく有利であり得るように、他の実装又は実施形態の１又は複数の他の特徴又は態様と組み合わされ得る。さらに、用語「含む（ｉｎｃｌｕｄｅ）」、「有する（ｈａｖｅ）」、「伴う（ｗｉｔｈ）」、又はこれらの他の変形が詳細な説明又は特許請求の範囲のいずれかにおいて使用される程度において、そのような用語は、用語「備える（ｃｏｍｐｒｉｓｅ）」と同様の態様に含まれることが意図される。また、用語「例示的な（ｅｘｅｍｐｌａｒｙ）」、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」、及び「例えば（ｅ．ｇ．）」は、最良又は最適というよりはむしろ、単に一例を意味しているに過ぎない。用語「連結され（ｃｏｕｐｌｅｄ）」及び「接続され（ｃｏｎｎｅｃｔｅｄ）」は、派生語と共に使用され得る。これらの用語は、２つの要素が直接物理的又は電気的な接触にあるか又は２つの要素がお互いに直接接触していないかどうかに関わらず、２つの要素がお互いに協働又は相互作用することを示すのに使用され得ることが理解されるべきである。

具体的態様が本明細書で図示及び説明されてきたが、様々な変更及び／又は均等な実装が、本開示の範囲から逸脱することなく、示されて説明された具体的態様の代わりに用いられ得ることが当業者によって理解されるだろう。本願は、本明細書で説明された具体的態様の任意の適応形態又は変形形態を包含することを意図している。

以下の特許請求の範囲の要素は、対応する符号と共に、特定の順序で記載されているが、特許請求の範囲の記載が、これらの要素のいくつか又は全てを実装するための特定の順序を別段に暗示しない限り、これらの要素が、特定の順序で実装されるように限定されることを必ずしも意図するものではない。

多くの代替形態、修正形態、及び変形形態が、上記の教示に照らせば、当業者に明らかだろう。当然に、当業者であれば、本明細書で説明されたものを超えて、本発明の多数の用途が存在することを容易に認識するだろう。本発明が１又は複数の特定の実施形態を参照して説明されてきたが、当業者は多くの変更が本発明の範囲から逸脱することなく行われ得ることを認識する。したがって、添付の特許請求の範囲及びこれらの均等物の範囲内において、本発明は、本明細書で具体的に説明された以外の態様で実施され得ることが理解されたい。

インター予測のために実現され得る圧縮のレベルに対する予測精度を改善すべく、サブ整数ピクセル補間技術が発達してきた。この場合において、ビデオブロックを符号化するのに使用される、動き補償の間に生成された予測データは、その値が、参照ビデオフレームのビデオブロックの完全整数ピクセルの値、又は動きベクトルが参照する他の符号化されたユニットから補間され得るサブ整数ピクセルに対応し得る。ビデオエンコーダは、例えば、サポートピクセル、例えば、完全整数ピクセルの値、及び／又は他のサブ整数ピクセル位置の以前に符号化された値、のセットに補間フィルタを適用することによって、補間技術を使用してサブ整数ピクセル位置の値を計算し得る。

図１に示される例示的な実施形態において、符号化装置１００は、ハイブリッド映像符号化エンコーダの形式で実装される。通常、ビデオ信号の第１のフレームは、イントラ予測のみを使用して符号化されるイントラフレームである。この目的に向けて、図１に示される符号化装置１００の一実施形態は、イントラ予測のためのイントラ予測ユニット１５４をさらに備える。イントラフレームは、他のフレームからの情報なしに復号され得る。イントラ予測ユニット１５４は、イントラ推定ユニット１５２によって提供された情報に基づいて、ブロックのイントラ予測を実行し得る。

図２は、一実施形態によるインター予測装置２４４を備える、一実施形態による復号装置２００を示す。復号装置２００は、符号化されたビデオ信号のフレームのブロックを復号するように構成される。図２に示される一実施形態において、復号装置２００は、ハイブリッドデコーダとして実装される。エントロピー復号ユニット２０４は、インター予測装置２４４、イントラ予測ユニット２５４、及び復号装置２００の他のコンポーネントに特に必要とされる、予測誤差（すなわち、残差ブロック）、動きデータ、及び他のサイド情報を概して備え得る符号化されたピクチャデータのエントロピー復号を実行する。 図２に示される実施形態において、図２に示される復号装置２００のインター予測装置２４４又はイントラ予測ユニット２５４が、モード選択ユニット２６０によって選択され、 図１に示される符号化装置１００のインター予測装置１４４及びイントラ予測ユニット１５４と同一の方法で機能し、その結果、同一の予測が、符号化装置１００及び復号装置２００によって生成され得る。復号装置２００の再構築ユニット２１４が、逆量子化ユニット２１０及び逆変換ユニット２１２によって提供されたフィルタリングされた予測ブロック及び残差ブロックに基づいて、ブロックを再構築するように構成される。符号化装置１００の場合のように、再構築ブロックが、イントラ予測に使用されるラインバッファ２１６に提供され得、フィルタリングされたブロック／フレームが、将来のインター予測のためにインループフィルタ２２０によって復号ピクチャバッファ２３０に提供され得る。

Claims (14)

1. ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在の完全整数ピクセルのサンプル値のインター予測のための装置であって、前記装置は、
   前記ビデオ信号の前記現在のフレーム及び参照フレーム、並びに／又は動き補償モデルに基づいて、前記現在の完全整数ピクセルの動きベクトルを決定することと、
   前記現在の完全整数ピクセルの前記動きベクトルに基づいて、前記現在の完全整数ピクセルに対する前記参照フレーム内の対応するサブ整数ピクセルを決定することと、
   前記現在のフレーム内のフィルタサポートピクセルの予め定義されたセットに基づいて、前記参照フレーム内の対応するフィルタサポートピクセルのセットを生成することであって、前記現在のフレーム内のフィルタサポートピクセルの前記予め定義されたセットは、前記現在の完全整数ピクセルの１又は複数の隣接するサブ整数ピクセルを含む、生成することと、
   前記参照フレーム内の前記現在の完全整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタサポートピクセルのそれぞれのサンプル値を決定することと、
   前記参照フレーム内の前記現在の完全整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値、及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に空間ハイパスフィルタを適用することによって、前記現在のフレーム内の前記現在のピクセルのインター予測された前記サンプル値を決定することと
   を行うように構成される処理ユニットを備える、
   装置。
2. 前記現在のフレーム内のフィルタサポートピクセルの前記予め定義されたセットは、前記現在のフレーム内の前記現在の完全整数ピクセルの１又は複数の垂直方向及び／又は水平方向に隣接する半整数ピクセルを含む、請求項１に記載の装置。
3. 前記現在のフレーム内のフィルタサポートピクセルの前記予め定義されたセットは、前記現在のフレーム内の前記現在の完全整数ピクセルの１又は複数の垂直方向及び／又は水平方向に隣接する完全整数ピクセルを含む、請求項１又は２に記載の装置。
4. 前記空間ハイパスフィルタは５タップフィルタである、請求項１から３のいずれか一項に記載の装置。
5. 前記装置の前記処理ユニットは、前記参照フレーム内のそれぞれの前記隣接する完全整数ピクセルのバイリニア補間に基づいて、前記参照フレーム内の前記現在の完全整数ピクセルの前記対応するサブ整数ピクセル及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記それぞれのサンプル値を決定することを行うように構成される、請求項１から４のいずれか一項に記載の装置。
6. 前記装置の前記処理ユニットは、前記現在の完全整数ピクセルの前記動きベクトル及び前記現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルに基づいて、前記現在のフレーム内の前記フィルタサポートピクセルの前記サブ整数ピクセルのそれぞれの動きベクトルを決定することを行うようにさらに構成される、請求項１から５のいずれか一項に記載の装置。
7. 前記装置の前記処理ユニットは、前記現在の完全整数ピクセルの前記動きベクトル及び前記現在の完全整数ピクセルの隣接する完全整数ピクセルの１又は複数の動きベクトルの平均ベクトルを決定することによって、前記現在のフレーム内の前記フィルタサポートピクセルの前記サブ整数ピクセルのそれぞれの動きベクトルを決定することを行うように構成される、請求項６に記載の装置。
8. 前記装置の前記処理ユニットは、前記ビデオ信号の前記現在のフレーム及び前記参照フレーム、並びに／又は動き補償モデルに基づいて、前記現在の完全整数ピクセルの隣接する完全整数ピクセルの前記１又は複数の動きベクトルを決定することを行うようにさらに構成される、請求項６又は７に記載の装置。
9. 前記装置の前記処理ユニットは、前記現在の完全整数ピクセルの前記動きベクトルが、非並進の動き補償モデルに基づいて決定される場合、前記参照フレーム内の前記現在の完全整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値、及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に空間ハイパスフィルタを適用することによって、前記現在のフレーム内の前記現在のピクセルのインター予測された前記サンプル値を決定することと、前記現在の完全整数ピクセルの前記動きベクトルが並進の動き補償モデルに基づいて決定される場合、従来のスキームに基づいて前記現在のフレーム内の前記現在のピクセルのインター予測された前記サンプル値を決定することとを行うように構成される、請求項１から８のいずれか一項に記載の装置。
10. 前記非並進の動き補償モデルは、アフィン、ワーピング、及び／又はパノラマ動き補償モデルである、請求項９に記載の装置。
11. ビデオ信号の現在のフレームの現在のブロックの複数のピクセルの現在の完全整数ピクセルのサンプル値のインター予測のための方法であって、前記方法は、
    前記ビデオ信号の前記現在のフレーム及び参照フレームに基づいて、並びに／又は動き補償モデルに基づいて、前記現在の完全整数ピクセルの動きベクトルを決定する段階と、
    前記現在の完全整数ピクセルの前記動きベクトルに基づいて、前記現在の完全整数ピクセルに対する前記参照フレーム内の対応するサブ整数ピクセルを決定する段階と、
    前記現在のフレーム内のフィルタサポートピクセルの予め定義されたセットに基づいて、前記参照フレーム内の対応するフィルタサポートピクセルのセットを生成する段階であって、前記現在のフレーム内のフィルタサポートピクセルの前記予め定義されたセットは、前記現在の完全整数ピクセルの１又は複数の隣接するサブ整数ピクセルを含む、生成する段階と、
    前記参照フレーム内の前記現在の完全整数ピクセルの前記対応するサブ整数ピクセル及び前記対応するフィルタサポートピクセルのそれぞれのサンプル値を決定する段階と、
    前記参照フレーム内の前記現在の完全整数ピクセルの前記対応するサブ整数ピクセルの前記サンプル値、及び前記参照フレーム内の前記対応するフィルタサポートピクセルの前記サンプル値に空間ハイパスフィルタを適用することによって、前記現在のフレーム内の前記現在のピクセルのインター予測された前記サンプル値を決定する段階と
    を備える、方法。
12. ビデオ信号の現在のフレームを符号化するための符号化装置であって、前記符号化装置は、請求項１から１０のいずれか一項に記載のインター予測装置を備える、符号化装置。
13. 圧縮されたビデオ信号の現在の再構築されたフレームを復号するための復号装置であって、前記復号装置は、請求項１から１０のいずれか一項に記載のインター予測装置を備える、復号装置。
14. コンピュータ又はプロセッサ上で実行されると、請求項１１に記載の方法を実行するためのプログラムコードを備える、コンピュータプログラム製品。