JP5944044B2 - Ｈｅｖｃの無損失符号化におけるイントラ予測の向上 - Google Patents

Description

［関連出願の参照］
本願は、米国仮特許出願番号第６１/６３６,４０９号、出願日２０１２年４月２０日、Wen Gao他、名称「Binarization Scheme for Intra Prediction Residuals and Improved Intra Prediction in Lossless Coding in HEVC」の優先権を主張する。該特許出願は、参照されることにより、その全体が記載されているものとして本願明細書に組み込まれる。

比較的短いフィルムでも描写するために必要なビデオデータの量は、相当量であり、データが限られた帯域幅容量で通信ネットワークを渡りストリーミングされる又は通信されるときに問題を生じ得る。したがって、ビデオデータは、通常、今日の通信ネットワークを渡って通信される前に圧縮される。ビデオのサイズは、メモリ資源が限られるので、ビデオが記憶装置に格納されるときに問題になり得る。ビデオ圧縮装置は、送信又は記憶の前に、ビデオデータを符号化するために送信元においてソフトウェア及び／又はハードウェアを用いる場合が多く、それにより、デジタルビデオ画像を表現するために必要なデータ量を減少させる。次に、圧縮データは、ビデオデータを復号化するビデオ復号化装置により宛先において受信される。限られたネットワークリソース及び更に高いビデオ品質の要望の増大に伴い、僅かな乃至全く画質を犠牲にしないで圧縮比を向上する向上した圧縮及び伸張技術が望まれる。

例えば、ビデオ圧縮は、イントラフレーム予測を用いても良い。イントラフレーム予測では、ピクセルは、同じビデオフレーム又はスライス内の参照ピクセルから予測されても良い。イントラ予測を不可逆モードで用いるとき、変換及び量子化動作は、ブロック毎に生じ得る。これは、所与のブロックについてのイントラ予測を、該所与のブロック内のピクセルの予測のために隣接ブロック内の参照サンプルを使用することに限定し得る。しかしながら、ＨＥＶＣ（High Efficiency Video Coding）とも呼ばれる次世代ビデオ符号化標準の代表である、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunications Standardization Sector）内のＪＣＴ−ＶＣ（Joint Collaborative Team on Video Coding）は、イントラ予測モードで無損失符号化のためのブロック内の隣接ピクセルに基づく予測を検討している。これらの予測技術は、ピクセル単位の、サンプル単位の、又はピクセルベースのイントラ予測と呼ばれ得る。しかしながら、特定の境界に沿った境界ピクセルの予測のために用いられる隣接ピクセルの可用性の欠如により、予測中のブロックの該特定の境界に沿ったピクセルのピクセル単位のイントラ予測には問題がある。

一実施形態では、本開示は、予測単位（ＰＵ）内の複数の境界ピクセルの予測値を、前記ＰＵ内の対応する左、上、及び左上の隣接近隣ピクセルを用いて計算するステップと、前記ＰＵ内の第２の複数のピクセルの予測値を、サンプルベースの角度予測（sample based angular prediction：ＳＡＰ）を用いて計算するステップであって、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記ＰＵ内の全ての他のピクセルを有する、ステップと、を有する方法を含む。

別の実施形態では、本開示は、プロセッサであって、ＰＵ内の複数の境界ピクセルの予測値を、前記ＰＵ内の対応する左、上、及び左上の隣接近隣ピクセルを用いて計算し、前記ＰＵ内の第２の複数のピクセルの予測値を、ＳＡＰを用いて計算し、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記ＰＵ内の全ての他のピクセルを有する、よう構成されるプロセッサを有する装置を含む。

更に別の実施形態では、本開示は、残差ブロックを生成するためにビットストリームの一部をエントロピー復号化するステップと、前記残差ブロックに対応する予測ブロックを再構成するステップであって、対応する左、上、及び左上の隣接近隣再構成ピクセル値を用いて、複数の境界ピクセルを再構成し、ＳＡＰを用いて第２の複数のピクセルを再構成し、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記予測ブロック内の全ての他のピクセルを有し、前記第２の複数のピクセル及び前記複数の境界ピクセルは、前記予測ブロックを形成する、ことによる、ステップと、ビデオフレーム内の元のブロックの推定を生成するために、前記予測ブロックを前記残差ブロックに加算するステップと、を有する方法を含む。

更に別の実施形態では、本開示は、プロセッサであって、残差ブロックを生成するためにビットストリームの一部をエントロピー復号化し、前記残差ブロックに対応する予測ブロックを、対応する左、上、及び左上の隣接近隣再構成ピクセル値を用いて、複数の境界ピクセルを再構成し、サンプルベースの角度予測（sample based angular prediction：ＳＡＰ）を用いて第２の複数のピクセルを再構成し、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記予測ブロック内の全ての他のピクセルを有し、前記第２の複数のピクセル及び前記複数の境界ピクセルは、前記予測ブロックを形成する、ことにより再構成し、ビデオフレーム内の元のブロックの推定を生成するために、前記予測ブロックを前記残差ブロックに加算する、よう構成されるプロセッサ、を有する装置を含む。

上述の及び他の特徴は、添付の図面及び請求の範囲と関連して以下の詳細な説明から更に明らかに理解されるだろう。

本開示のより完全な理解のために、添付の図面及び詳細な説明と関連して以下の簡単な説明を参照する。類似の参照符号は類似の部分を表す。
ビデオエンコーダの一実施形態の機能図である。 垂直ＳＡＰのための水平スキャン処理順序を示す。 水平ＳＡＰのための垂直スキャン処理順序を示す。 正の角度を有する垂直ＳＡＰを示す。 正の角度を有する水平ＳＡＰを示す。 ４ｘ４ＰＵの一実施形態を示す。 ＰＵのサンプルマトリックスの一実施形態を示す。 ピクセルベースの予測スキームにおけるサンプル間の関係を示す。 αとして示される正の角度を用いて垂直ＳＡＰを示す。 正の角度を用いて水平ＳＡＰを示す。 無損失モードでＰＵを符号化する方法の一実施形態のフローチャートである。 無損失復号化モードの復号化方法の一実施形態のフローチャートである。 ネットワークノードの一実施形態の概略図である。

始めに理解されるべきことに、１又は複数の実施形態の説明的実装が以下に提供されるが、開示のシステム及び／又は方法は、現在知られているか既存かに関わらず任意の数の技術を用いて実装できる。本開示は、いかようにも、本願明細書に図示し記載する例示的設計及び実装を含む説明的実施形態、図面及び以下に記載する技術に限定されず、添付の請求の範囲の範囲内で該請求の範囲の等価範囲全てに従って変更できる。

色空間は、輝度（ルマ又はＹ）成分、並びにＣｂ及びＣｒとして（又は時にはＵ及びＶとして）示される２個のクロミナンス（クロマ）成分を含む３つの成分により表現され得る。ルマ又はクロマ整数値は、通常、ビットを用いるバイナリ形式で格納され処理される。ＹＵＶ又はＹＣｂＣｒ色空間では、各ルマ（Ｙ）ブロックは、Ｃｂブロック及びＣｒブロックを含む２個のクロマブロックに対応する。Ｃｂブロック及びＣｒブロックは、相互にも対応する。クロマブロック及びそれらの対応するルマブロックは、ビデオフレーム、スライス、又は領域の同一の相対位置に位置しても良い。議論されるアプローチは、ＲＧＢ、ＹＣｏＣｇ、等のような任意の他の色空間のビデオにも適用可能である。

ビデオ符号化では、ＹＣｂＣｒ成分を符号化するために種々のサンプリングレートが用いられても良い。Ｃｂブロック、その対応するＣｒブロック及び／又はその対応するＹブロックのサイズは、サンプリングレートに依存して同一又は異なっても良い。例えば、４：２：０サンプリングレートでは、各ＮｘＮクロマ（Ｃｂ又はＣｒ）ブロックは、２Ｎｘ２Ｎルマブロックに対応しても良い。この例では、クロマブロックの幅又は高さは、対応するルマブロックの幅又は高さの半分である。人間の目はルマ成分よりクロマ成分に対して感受性が低いので、クロマ成分はダウンサンプリング又はサブサンプリングされる。別の例では、４：４：４サンプリングレートでは、各ＮｘＮクロマ（Ｃｂ又はＣｒ）ブロックは、ＮｘＮルマブロックに対応しても良い。この例では、より高いビデオ忠実性が保たれ得るが、より多くのデータが符号化される必要があり得る。４：２：２、４：２：１、等のような他のサンプリングレートも用いられても良い。

ＨＥＶＣでは、新しいブロック概念が導入されている。例えば、符号化単位（coding unit：ＣＵ）は、等しい若しくは可変サイズの正方ブロックへのビデオフレームの細分化を表し得る。ＨＥＶＣでは、ＣＵは、以前の標準のマクロブロック構造を置き換え得る。インター又はイントラ予測モードに依存して、ＣＵは、１又は複数の予測単位（prediction unit：ＰＵ）を有しても良い。予測単位の各々は、予測の基本単位として機能し得る。例えば、イントラ予測では、１個の６４ｘ６４ＣＵは、４個の３２ｘ３２ＰＵに対称的に分割され得る。別の例では、インター予測では、１個の６４ｘ６４ＣＵは、１個の１６ｘ６４ＰＵと１個の４８ｘ６４ＰＵに非対称的に分割されても良い。

ＨＥＶＣは未だ委員会の草案段階であり、４：２：０フォーマットを有するビデオシーケンスについて主要プロファイルが策定されている。ＨＥＶＣ主要プロファイルでは、無損失符号化モードは、変換、量子化及びループ内フィルタ（つまり、デブロッキングフィルタ、サンプル適応オフセット（sample adaptive offset：ＳＡＯ）及び適応ループフィルタ（adaptive loop filter：ＡＬＦ））を単に迂回することにより達成され得る。設計は、ＨＥＶＣ主要プロファイルエンコーダ及びデコーダ実装に負担させることなく、無損失符号化を提供することを目的とする。ＨＥＶＣにおける不可逆符号化とは対照的な無損失に関する更なる詳細は、以下に提供される。

図１は、ビデオエンコーダ１００の一実施形態の機能図である。エンコーダ１００は、ＨＥＶＣで用いられても良い。入力ブロックを有するビデオフレーム又はピクチャは、エンコーダ１００に供給されても良い。入力ブロックを符号化するために、前に符号化されている１又は複数の参照ブロックに基づき、予測ブロックが生成されても良い。入力ブロックは、ルマ又はクロマＣＵ又はＰＵであっても良い。予測ブロックは、入力ブロックの推定されたバージョンであっても良い。残差ブロックは、図示のように入力ブロックから予測ブロックを減算することにより（又はその逆）生成されても良い。残差ブロックは、入力ブロックと予測ブロックとの間の差、言い換えると予測残差若しくは誤差を表しても良い。予測残差を表すために必要なデータ量は、通常、入力ブロックを表すために必要なデータ量より少ないので、残差ブロックは、より高い圧縮率を達成するために符号化されても良い。

不可逆又は無損失符号化が用いられるかに依存して、エンコーダ１００内に少なくとも２つの可能な経路がある。不可逆モードは、最初に扱われる。図１に示すように、不可逆モードでは、残差ピクセルを有する残差ブロックは、変換モジュール１０２に供給されても良い。その結果、空間領域における残差ピクセルは、変換行列を適用することにより、周波数領域の変換係数に変換されても良い。変換は、２次元変換、例えば離散コサイン変換（discrete cosine transform：ＤＣＴ）に非常に類似する又はそれと同じ変換を通じて実現されても良い。さらに、変換モジュール１０２に続く量子化モジュール１０４で、高インデックス変換係数の数は、ゼロにまで減少されても良い。これは、後のエントロピー符号化ステップではスキップされても良い。量子化の後、量子化された変換係数は、エントロピーエンコーダ１５０によりエントロピー符号化されても良い。エントロピー符号化１５０は、コンテキスト適応型２進算術符号化（context−adaptive binary arithmetic coding：ＣＡＢＡＣ）方式、指数ゴロム方式、又は固定長方式、又はそれらの任意の組合せのような任意のエントロピー符号化スキームを用いても良い。エントロピー符号化の後に、符号化されたブロックは、エンコーダ１００によりビットストリームの一部として送信されても良い。ビットストリームは、任意の利用可能なネットワークプロトコルを用いてパケット化され、カプセル化され、及び送信されても良い。

エンコーダ１００では、残差ブロックは、図示のように変換、量子化、逆量子化及び逆変換を含む一連の動作を行った後に、残差ブロックＩＩに変換されても良い。これらの動作の一部又は全部は完全に可逆ではないので、変換処理中に情報損失が生じ得る。したがって、残差ブロックＩＩは、対応する残差ブロックの単に近似でしかなく、通常はより高い圧縮効率のために少ない非ゼロ残差ピクセルしか有しない。さらに、残差ブロックＩＩは、例えば２個のブロックを一緒に加算することにより、再構成ブロックを形成するために対応する予測ブロックと結合されても良い。特に断らない限り、対応するブロックは、ピクチャの同じ相対位置にあるブロックを示しても良い。この方法では、再構成ブロックは入力ブロックの不可逆バージョンであり得るので、エンコーダ１００は不可逆符号化モードを実装し得る。

再構成ブロックは、予測ブロックを生成するために参照ブロックとして用いられても良い。再構成ブロックの位置に依存して、予測は、インターフレーム予測及びイントラフレーム予測として（手短に言えば、それぞれ、インター予測及びイントラ予測として）分類され得る。使用中、連続ビデオフレーム又はスライスは、実質的に相関しても良く、１つのフレーム内の１つのブロックは、前に符号化されたフレーム内の対応するブロックから実質的に変化しない。インター予測は、フレーム又はピクチャシーケンス内の時間的冗長性、例えば連続フレームの対応するブロック間の類似性を利用して、圧縮データを減少させても良い。インター予測は、動き補償（motion compensation：ＭＣ）モジュール１４２が後に続く動き推定（motion estimation：ＭＥ）モジュール１４０により実施されても良い。インター予測では、動き補償アルゴリズムは、符号化順序に従って現在フレームに先行する１又は複数の参照フレーム内に位置する対応するブロックに基づき、現在フレーム内の現在ブロックの動きベクトルを計算するために実施されても良い。

（例えば、ブロッキングアーティファクトを低減することにより）再構成ビデオフレームの品質を向上するために、ループ内フィルタリングステップは、予測の前に実行されても良い。例えば、インター予測では、ブロッキングアーティファクトを除去又は低減するために、デブロッキングフィルタ１２０は、再構成ブロックのエッジに位置するピクセルに適用されても良い。デブロッキングフィルタ１２０を実施した後に、しばしば、ループ内フィルタリングステップは、再構成ピクセルの値を変更するよう構成されても良いサンプル適応オフセット（ＳＡＯ）モジュール１２２を更に有しても良い。適応ループフィルタ（ＡＬＦ）１２４は、ＳＡＯモジュール１２２の後に適用されても良く、結果として生じた処理済みブロックは、インター予測補償で用いるためにフレームバッファ１２６に格納されても良い。

同様に、ビデオフレーム内で、ピクセルは同じフレーム内の他のピクセルと相関付けられても良く、１つのブロック内の又は幾つかのブロックに渡るピクセル値がほんの僅かしか変化しないように及び／又は反復的テクスチャを示すようにしても良い。同一フレーム内の近隣ブロック間の空間的相関を利用するために、イントラ予測は、イントラ予測（intra prediction：ＩＰ）モジュール１３２が後に続くイントラ予測推定（intra−prediction estimation：ＩＰＥ）モジュール１３０により実施されて、（再構成ブロックを含む）１又は複数の前に符号化した近隣ブロックからの予測ブロックを補間しても良い。エンコーダ及びデコーダは、予測ブロックを独立に補間しても良く、それにより、１つのフレーム及び／又は画像の実質的部分を、比較的少数の参照ブロック、例えばフレームの左上角に位置する（及びそこから延在する）ブロックの通信から再構成できるようにする選択モジュール１３４は、入力ブロックのための最良モードを選択するために、インター及びイントラ予測の間で選択しても良い。通常、当業者により理解されるように、最良予測モードは、例えば予測されたブロックと元のブロックとの間の絶対差の最小和を生じる予測モードを選ぶレート歪み最適化（rate distortion optimization：ＲＤＯ）を用いて決定されても良い。

無損失符号化は次に扱われる。無損失符号化モードでは、変換１０２、量子化１０４、逆量子化１０６、及び逆変換１０８モジュールは、ループ内フィルタ（デブロッキング１２０、ＳＡＯ１２２、及びＡＬＦフィルタ１２４）と同様に、図１に示すように迂回される。変換１０２及び量子化１０４モジュールは、イントラ予測を伴う不可逆符号化モードで、ブロック内のピクセルの予測が近隣ブロック内の参照ピクセルにのみ基づくことを示す、ブロックベースの処理を用いても良い。ブロック内の参照ピクセルは、該ブロック内のピクセル値の予測には利用できない場合がある。これに対し、イントラ予測を伴う無損失符号化モードでは、変換及び量子化モジュールが迂回されるので、ブロック内のピクセルの予測は、該ブロック内の他のピクセルに基づいても良い。この目的のために、サンプルベースの角度予測（sample based angular prediction：ＳＡＰ）が不可逆符号化のために用いられても良い。

ＳＡＰでは、ＰＵ内の全てのサンプルは、B.Bross他による「High Efficiency Video Coding (HEVC) text specification draft ６」、JCT−VC Document, JCTVC−H１００３, San Jose, CA, Feb. ２０１２（以後、「ＨＥＶＣドラフト６」と表す）で定められるような同じ予測角を共有しても良い。また、予測角のシグナリングは、ＨＥＶＣドラフト６におけるものと同じであっても良い。相違は、本願明細書に開示の方法では、良好なイントラ予測精度を達成するために、角度予測がＰＵに対してサンプル単位で実行されることである。つまり、現在ＰＵの予測ブロックは、同じ予測角を用いることによりサンプル単位でＳＡＰを実行することにより生成されても良い。

ＳＡＰ方法では、ＰＵ内のサンプルは所定の順序で処理されて、ＰＵ内の現在サンプルがその直接の近隣から予測されているときに近隣サンプルが利用可能になるようにしても良い。図２Ａは、垂直ＳＡＰのための水平スキャン処理順序を示す。図２Ｂは、水平ＳＡＰのための垂直スキャン処理順序を示す。図２Ａ及び２Ｂに示すように、水平スキャン及び垂直スキャン処理順序は、それぞれ垂直及び水平角度予測に適用されても良い。現在ＰＵの上及び左ＰＵ境界の周りにある参照サンプルの処理は、ＨＥＶＣドラフト６に定められた処理と同じであっても良い。一方、現在ＰＵの右及び下ＰＵ境界の周りにある参照サンプルの処理は、現在ＰＵの最近接境界サンプルから単にパディングされる（図２Ａ及び２Ｂのパディングされたサンプルを参照）。

図３Ａは、正の角度を有する垂直ＳＡＰを示す。図３Ｂは、正の角度を有する水平ＳＡＰを示す。留意すべきことに、現在ＰＵの右及び下ＰＵ境界の周りのパディングされたサンプルは、それぞれ図３Ａ及び３Ｂに示すように、正の角度を有する垂直又は水平ＳＡＰの間に、要求されても良い。図３Ａ及び３Ｂでは、ｘは予測されるべきピクセルを表し、ａ及びｂは近隣サンプル値（実際の又は予測された）を表す。
正の角度を有する垂直ＳＡＰ及び４ｘ４ＰＵを例として考える。図４は、Ｓ（ｉ，ｊ）、ｉ＝０，１，２，３及びｊ＝０，１，２，３として示されるサンプル（ピクセル値）を有する４ｘ４ＰＵの一実施形態である。Ｐａｄ（ｉ）、ｉ＝０，１，２は、従来の技術を用いて最近接サンプルを用いて導出されたパディングされた参照サンプルを示し、パディングされた参照サンプルの処理は次式のように表現できることを意味する。
Ｐａｄ（ｉ）＝Ｓ（ｉ，３）、ｉ＝０，１，２
正の予測角を有する垂直ＳＡＰでは、Ｐ（ｉ，３）として示されるＳ（ｉ，３）、ｉ＝０，１，２，３の予測値は、次式で与えられ、予測角の値とは独立である。

Ｐ（ｉ，３）＝Ｓ（ｉ−１，３）、ｉ＝１，２，３ （１）
したがって、事実上、サンプルＰ（ｉ，３）、ｉ＝１，２，３の垂直予測角が常に０度であっても良く、一方、他のサンプルは異なる予測角を用いても良い。別の言い方をすれば、予測値Ｐ（ｉ，３）、ｉ＝１，２，３は、ゼロの予測角を有する。結果は、水平ＳＡＰについても同じである。これらの観察に基づき、特定の境界サンプルのうちの各々を、垂直ＳＡＰで直ぐ上のピクセル又は水平ＳＡＰで直ぐ左にあるピクセルだけでなく、その対応する近隣サンプル又はピクセルを用いて予測することが望ましい。

本願明細書には、ピクセルベースの予測においてＰＵ内の境界サンプルの予測を向上するための方法及び装置が開示される。隣接サンプルの複製である、したがって冗長情報を表す境界サンプルの予測において、パディングされたサンプルを用いる代わりに、境界サンプルは近隣サンプルを用いて予測されても良い。無損失符号化モードにおける効率的なピクセルベースの予測スキームを提供するために、境界サンプルの向上された予測は、ＰＵ内の他のピクセルのＳＡＰと組み合わされても良い。

上述の観察に基づくと、境界サンプルの各々、例えば４ｘ４ＰＵの垂直ＳＡＰではＳ（ｉ，３）、ｉ＝１，２，３、及び４ｘ４ＰＵの水平ＳＡＰではＳ（３，ｉ）、ｉ＝１，２，３を、垂直ＳＡＰでは直ぐ上のピクセル又は水平ＳＡＰでは直ぐ左のピクセルだけではなく、その対応する近隣ピクセルを用いて予測することが望ましい。図５は、大きさＮｘＮのＰＵのサンプルマトリックスの一実施形態を示す。一例として垂直ＳＡＰを考える。太線で囲まれたボックス内の境界サンプル、つまりＳ（ｉ，Ｎ−１）、ｉ＝１，．．．，Ｎ−１を予測するために、以下の適応予測子が用いられる。Ｘは境界サンプルのうちの１つを表すとする。つまり、Ｘ＝Ｓ（ｉ，Ｎ−１）、１≦ｉ≦（Ｎ−１）。Ｐ（ｘ）はサンプルＸの予測された値を表すとする。近隣サンプルに隣接するＸの左、上、及び左上を、それぞれＡ、Ｂ、及びＣと表す。図６は、サンプルＡ、Ｂ、Ｃ及びＸの間の関係を示す。サンプルＸは次のように予測されても良い。

水平ＳＡＰのための水平スキャン順序での式（２）の使用を説明するために、サンプルＳ（１，Ｎ−１）が予測される必要がある（つまり、Ｘ＝Ｓ（１，Ｎ−１））。近隣サンプルＳ（１，Ｎ−２）、Ｓ（０，Ｎ−１）及びＳ（０，Ｎ−２）は、図２Ａの水平スキャン順序を用いて予測され、したがってＰ（Ｓ（１，Ｎ−２））、Ｐ（Ｓ（０，Ｎ−１））、Ｐ（Ｓ（０，Ｎ−２））を生じ得る。式（２）及び図６の表記を用いると、Ｐ（Ｘ＝Ｓ（１，Ｎ−１））の決定において、Ａ＝Ｐ（Ｓ（１，Ｎ−２））、Ｂ＝Ｐ（Ｓ（０，Ｎ−１））、Ｃ＝Ｐ（Ｓ（０，Ｎ−２））である。

水平ＳＡＰのための垂直スキャン順序での式（２）の使用を説明するために、サンプルＳ（Ｎ−１，１）が予測される必要がある（つまり、Ｘ＝Ｓ（Ｎ−１，１））。ＳＡＰ予測では、Ｓ（Ｎ−１，１）の下には利用可能な近隣サンプルが存在しない。したがって、式（２）が用いられる。近隣サンプルＳ（Ｎ−１，０）、Ｓ（Ｎ−２，０）及びＳ（Ｎ−２，１）は、図２Ｂの垂直スキャン順序を用いて予測され、したがってＰ（Ｓ（Ｎ−１，０））、Ｐ（Ｓ（Ｎ−２，０））、Ｐ（Ｓ（Ｎ−２，１））を生じ得る。式（２）及び図６の表記を用いると、式（２）を用いたＰ（Ｘ＝Ｓ（Ｎ−１，１））の決定において、Ａ＝Ｐ（Ｓ（Ｎ−１，０））、Ｂ＝Ｐ（Ｓ（Ｎ−２，１））、Ｃ＝Ｐ（Ｓ（Ｎ−２，０））である。通常、水平ＳＡＰが用いられるとき、式（２）の適応予測子を用いた境界サンプルは、Ｓ（Ｎ−１，ｉ）、ｉ＝１，．．．，Ｎ−１であっても良い。上述のサンプルのうちの１つを予測するために、式（２）と同じ予測子が用いられても良い。

しかし、式（２）は、特定の境界サンプルＳ（ｉ，Ｎ−１）又はＳ（Ｎ−１，ｉ）、ｉ＝１，．．．，Ｎ−１の近隣サンプル値に基づきサンプル値を予測するための１つの可能な方法である。他の可能性は、値Ａ、Ｂ及びＣの中央値又は平均を計算することを含む。

サンプルが（垂直ＳＡＰの）境界サンプルＳ（ｉ，Ｎ−１）又は（水平ＳＡＰの）Ｓ（Ｎ−１，ｉ）、ｉ＝１，２，．．．，Ｎ−１のうちの１つではない場合、任意の従来のＳＡＰ技術が用いられても良い。図７Ａは、αとして示される正の角度を用いて垂直ＳＡＰを示す。図７Ｂは、αとして示される正の角度を用いて水平ＳＡＰを示す。図７Ａ及び７Ｂでは、Ｘは予測されるべきピクセル値を表し、ａ及びｂは近隣ピクセルの実際の又は予測されたピクセル値を表す。両方の場合に、ＸはＡ及びＢの重み付けされた（又は線形の）組み合わせであっても良い。例えば、Ｘは次のように表されても良い。
Ｘ＝（１−ｓ）＊Ａ＋ｓ＊Ｂ （３）
ここで、ｓは範囲［０，１］の重み係数である。重み係数は、αが小さいときＡにより大きな重みを与え、Ｂに与えられる重みはαが増大するにつれて増大する。重み係数ｓは、例えば、ｔａｎ（α）に等しくても良い。ここで、０≦α≦４５度である。ＨＥＶＣにおいて指定されるイントラ予測は、これらの重み係数を計算するためのこれらの可能な方法のうちの１つである。

図８は、無損失モードでＰＵを符号化する方法７００の一実施形態のフローチャートである。方法はブロック７１０で開始する。ブロック７１０で、ＰＵの処理順序が決定される。処理順序は、例えば図２Ａに示されるような水平処理順序、又は図２Ｂに示されるような垂直処理順序であっても良い。次に、ブロック７２０で、ＰＵ内の境界サンプルの予測値が計算される。予測されるべき境界サンプルは、水平処理順序では（つまり、他のサンプルについて垂直ＳＡＰが用いられるとき）Ｓ（ｉ，Ｎ−１）、ｉ＝１，２，．．．，Ｎ−１として示され、垂直処理順序では（つまり、他のサンプルについて水平ＳＡＰが用いられるとき）Ｓ（Ｎ−１，ｉ）、ｉ＝１，２，．．．，Ｎ−１として示されても良い。つまり、予測されるべき特定の境界サンプルは、スキャン又は処理順序に依存する。ＰＵは図５に示すように配置されても良い。境界サンプルの予測値は、例えば図６に示すような対応する左、上、及び左上の近隣サンプルに基づき及び式（２）を用いて計算されても良い。次にブロック７３０で、ＰＵ内の残りのサンプル（つまり、前述の境界サンプル以外のＰＵ内の全てのサンプル）の予測値は、ＳＡＰを用いて計算される。予測角に依存した組合せで、２個の近隣サンプルの線形結合として１つのサンプルを予測する任意の従来のＳＡＰ技術が用いられても良い。式（３）は、ＳＡＰ技術の一例を示す。ブロック７２０及び７３０は、順番に又は並列に実行されても良い。ブロック７４０で、予測ＰＵ又は予測ブロックを提供するためにＰＵ内の全てのサンプルの予測値が決定された後、残差ブロックは、図１に示すように計算されても良い。残差ブロックは、入力ブロックと計算された予測ブロックとの間の差であっても良い。最後に、ブロック７５０で、残差ブロックは、例えば図１に示すようなエントロピー符号化を用いて符号化されても良い。変換１０２及び量子化１０４モジュールが無損失モードで迂回されることを思い起こすと、残差ブロックは、エントロピーエンコーダ１５０に直接提供されても良い。エントロピー符号化された値は、ビットストリームに挿入されても良い。ＰＵは、ルマ又はクロマサンプルを有しても良い。方法７００は、ルマサンプルのみ、クロマサンプルのみ、又はルマサンプルとクロマサンプルの両方に適用されても良い。

図９は、無損失復号化モードの復号化方法７６０の一実施形態のフローチャートである。本願明細書に記載のビデオ符号化スキームの詳細を得ると、当業者は、本願明細書に記載の符号化を逆にし又は「元に戻す」ために復号化を考案できるだろう。しかしながら、方法７６０は、説明及び便宜のために提供される。方法７５０は、ブロック７６５で開始し、ビットストリームの一部は、残差ブロックを生成するためにエントロピー復号化を用いて復号化される。ブロック７７０で、予測ブロックは、１又は複数の前に復号化された近隣ブロック内の残差ブロックの外部の複数の参照ピクセルに基づき再構成される。処理順序に基づき識別される境界サンプルは、対応する左、上、及び左上の近隣再構成サンプルを用いて再構成されても良い。予測ブロック内の残りのサンプルは、ＳＡＰ（水平処理順序では垂直ＳＡＰ、及び垂直処理順序では水平ＳＡＰ）を用いて再構成されても良い。ブロック７７５で、ビデオフレーム内の元のブロック（例えば、入力ＰＵ）の推定を得るために、予測ブロックは残差ブロックに加算されても良い。元のブロックは、ルマ又はクロマサンプルであっても良い。

上述のスキームは、コンピュータ又は配置された必要な負荷を処理するために十分な処理能力、メモリ資源及びネットワークスループット能力を有するネットワークコンポーネントのようなネットワークコンポーネントで実施されても良い。図１０は、エンコーダ１００、ＰＵを符号化する方法７００、及びＰＵを復号化する方法７６０のような本願明細書に記載のビデオコーデック又は方法の１又は複数の実施形態を実施するのに適するネットワークコンポーネント又はノード８００の一実施形態の概略図である。ネットワークノード８００は、２次記憶８０４を含むメモリ装置、ＲＯＭ（read only memory）８０６、ＲＡＭ（random access memory）８０８、入力／出力（Ｉ／Ｏ）装置８１０、及び送信機／受信機（又は通信機）８１２と通信するプロセッサ８０２を有する。Ｉ／Ｏ装置８１０及び／又は送信機／受信機８１２は、任意であっても良い。これらが含まれない場合には、ネットワークノード８００はコンピューティング装置になり、この場合には、符号化ビットストリーム又は復号化ビデオストリームはメモリに格納されても良い。プロセッサ８０２は、１又は複数の中央処理ユニット（ＣＰＵ）チップ、コア（例えば、マルチコアプロセッサ）、ＦＰＧＡ（field−programmable gate array）、ＡＳＩＣ（application specific integrated circuit）、及び／又はＤＳＰ（digital signal processor）として実装されても良い。プロセッサ８０２は、ハードウェア又はハードウェアとソフトウェアの組合せを用いて実装されても良い。

２次記憶８０４は、通常、１又は複数のディスクドライブ又はテープドライブを有しても良く、RAM８０８が全ての作業データを保持するのに十分大きくない場合にデータの不揮発性記憶のために及びオーバフローデータ記憶装置として用いられる。２次記憶８０４は、プログラムが実行のために選択されると、ＲＡＭ４０８にロードされる該プログラムを格納するために用いられても良い。ROM８０６は、プログラム実行中にリードされる命令及び場合によってはデータを格納するために用いられる。ＲＯＭ８０６は、通常、２次記憶８０４のより大きなメモリ容量に対して小さなメモリ容量を有する不揮発性メモリ装置である。RAM８０８は、不揮発性データを格納するため、及び場合によっては命令を格納するために用いられる。ROM８０６及びRAM８０８の両方へのアクセスは、通常、２次記憶８０４へのアクセスよりも速い。

送信機／受信機８１２は、ネットワークノード８００の出力及び／又は入力装置として機能しても良い。例えば、送信機／受信機８１２は、送信機として動作している場合、ネットワークノード８００の外部へデータを送信しても良い。送信機／受信機８１２は、受信機として動作している場合、ネットワークノード８００内へデータを受信しても良い。送信機／受信機８１２は、モデム、モデムバンク、Ethernet（登録商標）カード、ＵＳＢ（universal serial bus）インタフェースカード、シリアルインタフェース、トークンリングカード、ＦＤＤＩ（fiber distributed data interface）カード、ＷＬＡＮ（wireless local area network）カード、ＣＤＭＡ（code division multiple access）、ＧＳＭ（登録商標）（global system for mobile communications）、ＬＴＥ（long−term evolution）、ＷｉＭＡＸ（worldwide interoperability for microwave access）、及び／又は他の無線インタフェースプロトコル無線通信機カード、及び他のよく知られたネットワーク装置のような無線通信機カードの形式であっても良い。送信機／受信機８１２は、インターネット、又は１又は複数のイントラネットと通信するための手段をプロセッサ８０２に提供しても良い。ネットワークノード８００がビデオエンコーダとして動作している場合、プロセッサ８０２は、ビットストリームを符号化しても良い。プロセッサ８０２は、送信のためにビットストリームをパケット化及びカプセル化し（つまりフォーマットし）、フォーマットしたビットストリームを送信機／受信機８１２に提供しても良い。次に、送信機／受信機８１２は、フォーマットされたビットストリームを送信しても良い。

Ｉ／Ｏ装置８１０は、ビデオを表示するためのビデオモニタ、液晶ディスプレイ（ＬＣＤ）、タッチスクリーンディスプレイ、又は他の種類のビデオディスプレイを有しても良く、及び／又はビデオをキャプチャするためのビデオ記録装置を有しても良い。Ｉ／Ｏ装置８１０は、１又は複数のキーボード、マウス、又はトラックボール、又は他のよく知られた入力装置を有しても良い。ネットワークノード８００がビデオエンコーダとして動作している場合、符号化されるべきビデオストリームは、Ｉ／Ｏ装置８１０により提供されても良く、又は別の方法で提供されても良い。同様に、ネットワークノード８００がビデオデコーダとして動作している場合、復号化されるべきビデオストリームは、送信機／受信機８１２を介して受信されても良く、又は別の方法で提供されても良い。

理解されるべきことに、プログラミングすることにより及び／又は実行可能命令をネットワークノード８００にロードすることにより、プロセッサ８０２、２次記憶８０４、ＲＡＭ８０８、及びＲＯＭ８０６のうちの少なくとも１つは、変更され、ネットワークノード８００を部分的に特定の機械又は装置（例えば、本開示により教示される機能を有するビデオコーデック）に変換する。実行可能命令は、２次記憶８０４、ＲＯＭ８０６及び／又はＲＡＭ８０４に格納され、実行のためにプロセッサ８０２にロードされても良い。電気工学及びソフトウェア工学の分野で基本的なことに、実行可能ソフトウェアをコンピュータにロードすることにより実施可能な機能は、よく知られた設計ルールによりハードウェア実装に変換できる。構想をソフトウェアとハードウェアのどちらに実装するかの決定は、通常、ソフトウェア領域からハードウェア領域への変換に関連する問題と言うより、設計の安定性及び製造すべき多数のユニットの検討次第である。通常、ハードウェア実装をやり直す（re−spinning）ことはソフトウェア設計をやり直すよりも高価なので、再び未だ頻繁に変更される設計は、ソフトウェアで実装されることが好ましい。通常、大量生産工程では、ハードウェア実装はソフトウェア実装よりも安価であり得るので、大量生産される安定した設計は、ハードウェアで、例えばＡＳＩＣ（application specific integrated circuit）で実装されることが好ましい。多くの場合、設計はソフトウェア形式で開発され試験され、後によく知られた設計ルールによりソフトウェア命令を配線する特定用途向け集積回路内の等価なハードウェア実装に変換される。新しいＡＳＩＣにより制御される機械が特定の機械又は装置であるのと同じように、プログラミングされた及び／又は実行可能命令をロードされたコンピュータは、特定の機械又は装置として考えられ得る。

少なくとも１つの実施形態が開示され、当業者により行われる該実施形態の及び／又は該実施形態の特徴の変形、結合及び／又は変更は、本開示の範囲内にある。実施形態の特徴の結合、統合及び／又は省略から生じる代替の実施形態も、本開示の範囲内に包含される。数値範囲又は限界が明示される場合、そのような範囲又は限界の表現は、明示した範囲又は限界に包含される大きさのような反復範囲又は限界を含む（例えば、約１から約１０は２、３、４等を含み、０．１０より大きいは０．１１、０．１２、０．１３等を含む）ことが理解され得る。例えば、下限R_l及び上限R_uを有する数値範囲が議論されるときは、その範囲内に含まれる任意の数が詳細に開示される。特に、その範囲内の以下の数が詳細に開示される。R=R_l+k*(R_u−R_l)、ここで、kは１パーセント乃至１００パーセントの範囲の１パーセントずつ増加する変数であり、つまりkは１パーセント、２パーセント、３パーセント、４パーセント、５パーセント、．．．、５０パーセント、５１パーセント、５２パーセント、．．．、９５パーセント、９６パーセント、９７パーセント、９８パーセント、９９パーセント、又は１００パーセントである。さらに、上述のように２つのRの数により定められる数値範囲が詳細に開示される。用語「約」の使用は、特に断りのない限り、連続する数の＋／−１０％を意味する。請求項の要素に関する用語「任意」の使用は、該要素が必要であり又は代替であること、該要素が必要でないこと、の両方の代替が請求の範囲に含まれることを意味する。有する、含む（comprises,includes,having）のような広義の用語の使用は、〜から成る、原則的に〜から構成される、実質的に〜から成る（consisting of,consisting essentially of,comprised substantially of）のような狭義の用語の支持を提供すると理解され得る。したがって、保護範囲は、上述の説明により限定されず、添付の請求の範囲により定められ、該請求の範囲は、請求項の主題の全ての等価物を含む。ありとあらゆる請求項は、更なる開示として本願明細書に組み込まれ、請求項は本開示の実施形態である。本開示における参考文献、特に本願の優先日後の発行日を有する参照文献の議論は、それが従来技術であることを承認するものではない。本開示で引用された全ての特許、特許出願、及び刊行物の開示は、参照することにより本願明細書に組み込まれ、それらは例示、手続き又は他の詳細な補足を本開示に提供する。

幾つかの実施形態が本開示で提供されたが、開示のシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形式で実施されても良いことが理解され得る。本例は、説明として考えられるべきであり、制限であると考えられるべきではない。また、意図は、ここに与えた詳細事項に限定されない。例えば、種々の要素又は構成要素は、別のシステムに結合され又は統合されても良い。或いは、特定の特徴が省略され又は実装されなくても良い。

さらに、種々の実施形態で分散又は別個として記載され図示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術又は方法に結合され又は統合されても良い。互いに結合され又は直接結合され又は通信するとして示され又は議論された他のアイテムは、電気的に、機械的に又は他の方法かに関わらず、特定のインタフェース、装置又は中間構成要素を通じて間接的に結合され又は通信しても良い。変更、置換及び代替の他の例は、当業者により解明可能であり、本開示の精神及び範囲から逸脱することなく行われ得る。

Claims (18)

1. 予測単位（ＰＵ）のスキャン処理順序に依存して、該ＰＵの複数の境界ピクセルの各々について境界ピクセルの上及び右上にある隣接近隣ピクセル又は左及び左下にある隣接近隣ピクセルを用いて、前記ＰＵ内の前記複数の境界ピクセルの予測値を計算するステップと、
   サンプルベースの角度予測（sample based angular prediction：ＳＡＰ）を用いて、前記ＰＵ内の第２の複数のピクセルの予測値を計算するステップであって、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記ＰＵ内の全ての他のピクセルを有する、ステップと、
   を有する方法。
2. 前記第２の複数のピクセルの予測値を計算するステップは、
   前記第２の複数のピクセルのうち各ピクセルについて、予測角に従って対応する近隣ピクセル値の線形結合として前記予測値を計算するステップ、
   を有する、請求項１に記載の方法。
3. 前記対応する左、上、及び左上の隣接近隣ピクセル値に基づき前記予測値を計算するステップは、
   

   

   として前記予測値を計算するステップであって、Ｐ（Ｘ）はピクセルＸの前記予測値を表し、Ａは前記対応する左のピクセル値を表し、Ｂは前記対応する上のピクセル値を表し、Ｃは前記対応する左上のピクセル値を表す、ステップ、
   を有する、請求項２に記載の方法。
4. 前記複数の境界ピクセルの前記予測値及び前記第２の複数のピクセルの前記予測値は、前記ＰＵの予測ブロックを形成し、前記方法は、
   残差ブロックを生成するために、前記予測ブロックを元のブロックから減算するステップと、
   ビットストリームの一部を生成するために、前記残差ブロックをエントロピー符号化することにより、前記残差ブロックの無損失符号化を実行するステップと、
   を更に有する請求項２に記載の方法。
5. 水平スキャン処理順序又は垂直スキャン処理順序としてスキャン処理順序を選択するステップと、
   前記予測角を選択するステップと、
   を更に有し、
   前記対応する近隣ピクセル値は、対応する２個のピクセル値を有し、前記線形結合は、前記予測角に依存する前記２個のピクセル値の重みを有する、請求項２に記載の方法。
6. 送信のために前記ビットストリームの前記一部をフォーマットするステップと、
   前記フォーマットされた一部を送信するステップと、
   を更に有する請求項４に記載の方法。
7. 前記スキャン処理順序に基づき、前記複数の境界ピクセルを選択するステップ、
   を更に有する請求項５に記載の方法。
8. 前記スキャン処理順序が前記水平スキャン処理順序である場合、前記複数の境界ピクセルは前記ＰＵの右境界に沿って位置し、前記スキャン処理順序が前記垂直スキャン処理順序である場合、前記複数の境界ピクセルは前記ＰＵの下境界に沿って位置する、請求項７に記載の方法。
9. プロセッサであって、
   予測単位（ＰＵ）のスキャン処理順序に依存して、該ＰＵ内の複数の境界ピクセルの予測値を、該ＰＵの該複数の境界ピクセルの各々について境界ピクセルの上及び右上にある隣接近隣ピクセル又は左及び左下にある隣接近隣ピクセルを用いて計算し、
   サンプルベースの角度予測（sample based angular prediction：ＳＡＰ）を用いて前記ＰＵ内の第２の複数のピクセルの予測値を計算し、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記ＰＵ内の全ての他のピクセルを有する、
   ように構成されるプロセッサ、を有する装置。
10. 前記第２の複数のピクセルの予測値の計算は、
    前記第２の複数のピクセルのうち各ピクセルについて、予測角に従って対応する近隣ピクセル値の線形結合として前記予測値を計算する、
    ことを有する、請求項９に記載の装置。
11. 前記対応する左、上、及び左上の隣接近隣ピクセル値に基づく前記予測値の計算は、
    

    

    として前記予測値を計算し、Ｐ（Ｘ）はピクセルＸの前記予測値を表し、Ａは前記対応する左のピクセル値を表し、Ｂは前記対応する上のピクセル値を表し、Ｃは前記対応する左上のピクセル値を表す、
    ことを有する、請求項１０に記載の装置。
12. 前記複数の境界ピクセルの前記予測値及び前記第２の複数のピクセルの前記予測値は、前記ＰＵの予測ブロックを形成し、前記プロセッサは、
    残差ブロックを生成するために、前記予測ブロックを元のブロックから減算し、
    ビットストリームの一部を生成するために、前記残差ブロックをエントロピー符号化することにより、前記残差ブロックの無損失符号化を実行する、
    ように更に構成される、請求項１０に記載の装置。
13. 前記プロセッサは、
    水平スキャン処理順序又は垂直スキャン処理順序としてスキャン処理順序を選択し、
    前記予測角を選択する、
    よう更に構成され、
    前記対応する近隣ピクセル値は、対応する２個のピクセル値を有し、前記線形結合は、前記予測角に依存する前記２個のピクセル値の重みを有する、請求項１０に記載の装置。
14. 前記プロセッサは、送信のために前記ビットストリームの前記一部をフォーマットするよう更に構成され、前記装置は、前記フォーマットされた部分を送信するよう構成される送信機を更に有する、請求項１２に記載の装置。
15. 残差ブロックを生成するためにビットストリームの一部をエントロピー復号化するステップと、
    前記残差ブロックに対応する予測ブロックを再構成するステップであって、
    予測単位のスキャン処理順序に依存して、該予測単位の境界ピクセルの上及び右上の隣接近隣再構成ピクセル値又は左及び左下の隣接近隣再構成ピクセル値を用いて、複数の境界ピクセルを再構成し、
    サンプルベースの角度予測（sample based angular prediction：ＳＡＰ）を用いて第２の複数のピクセルを再構成し、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記予測ブロック内の全ての他のピクセルを有し、前記第２の複数のピクセル及び前記複数の境界ピクセルは、前記予測ブロックを形成する、
    ことによる、ステップと、
    ビデオフレーム内の元のブロックの推定を生成するために、前記予測ブロックを前記残差ブロックに加算するステップと、
    を有する方法。
16. 前記第２の複数のピクセルを再構成するステップは、
    前記第２の複数のピクセルのうち各ピクセル位置について、予測角に従って対応する近隣再構成ピクセル値対の線形結合として予測値を計算するステップ、
    を有する、請求項１５に記載の方法。
17. 前記スキャン処理順序を決定するステップと、
    前記スキャン処理順序に依存して前記複数の境界ピクセルを決定するステップと、
    を更に有する請求項１５に記載の方法。
18. プロセッサであって、
    残差ブロックを生成するためにビットストリームの一部をエントロピー復号化し、
    前記残差ブロックに対応する予測ブロックを、
    予測単位のスキャン処理順序に依存して、該予測単位の境界ピクセルの上及び右上にある隣接近隣再構成ピクセル値又は左及び左下にある隣接近隣再構成ピクセル値を用いて、複数の境界ピクセルを再構成し、
    サンプルベースの角度予測（sample based angular prediction：ＳＡＰ）を用いて第２の複数のピクセルを再構成し、前記第２の複数のピクセルは、前記複数の境界ピクセル以外の前記予測ブロック内の全ての他のピクセルを有し、前記第２の複数のピクセル及び前記複数の境界ピクセルは、前記予測ブロックを形成する、
    ことにより再構成し、
    ビデオフレーム内の元のブロックの推定を生成するために、前記予測ブロックを前記残差ブロックに加算する、
    よう構成されるプロセッサ、を有する装置。

Images