JP2017538379A - 動的モード決定分岐に基づく低複雑度コード化 - Google Patents

動的モード決定分岐に基づく低複雑度コード化 Download PDF

Info

Publication number
JP2017538379A
JP2017538379A JP2017543722A JP2017543722A JP2017538379A JP 2017538379 A JP2017538379 A JP 2017538379A JP 2017543722 A JP2017543722 A JP 2017543722A JP 2017543722 A JP2017543722 A JP 2017543722A JP 2017538379 A JP2017538379 A JP 2017538379A
Authority
JP
Japan
Prior art keywords
branch
condition
block
homogeneous
defining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017543722A
Other languages
English (en)
Other versions
JP2017538379A5 (ja
Inventor
チョン、イン・ソク
リ、ソンウォン
シェ、チェン−テー
ワン、シャンリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017538379A publication Critical patent/JP2017538379A/ja
Publication of JP2017538379A5 publication Critical patent/JP2017538379A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

低複雑度ビデオコード化のための技法が提供される。例えば、ビデオコーダは、コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算することと、第1のSAD値に基づいて、CUサイズの分岐のための分岐条件を定義することとを行うように構成され得、分岐条件は、バックグラウンド条件及び/又は同種条件を含む。ビデオコーダは、CUブロックの第1のSAD値が第1の閾値バックグラウンド値よりも小さい場合、バックグラウンド条件を検出することと、CUブロックのサブブロックの第2のSAD値が、第1のSAD値に基づく上側同種閾値と下側同種閾値との間にある場合、同種条件を検出することとを行うように構成され得る。CUサイズの分岐は、バックグラウンド条件又は同種条件を検出することに基づき得る。

Description

[0001]本開示は、一般に、ビデオコード化に関し、より詳細には、最大コード化単位(LCU)のための動的モード決定(DMD:dynamic mode decision)分岐を使用する低複雑度符号化のための技法に関する。
[0002]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、MPEG−2、MPEG−4、ITU−T H.263、ITU−T H.264/MPEG−4,Part10,高度ビデオコード化(AVC:Advanced Video Coding)、現在開発中の高効率ビデオコード化(HEVC:High Efficiency Video Coding)規格によって定義された規格及びそのような規格の拡張に記載されているビデオ圧縮技法など、ビデオ圧縮技法を実装する。ビデオ機器は、そのようなビデオ圧縮技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号及び/又は記憶し得る。
[0003]ビデオコード化規格(例えば、HEVC/H.265、H.264、H.263)は、ビデオエンコーダにおいてブロックベース処理を利用し、ここにおいて、予測ブロック(即ち、インター予測経路又はイントラ予測経路からの予測ブロック)が元の画素から減算され、ここにおいて、残差が順変換(例えば、離散コサイン変換(DCT))を使用して係数に変換され、量子化され、(例えば、CAVLC又はCABACを介して)エントロピーコード化される。ビデオデコーダにおいて、係数はエントロピー復号され、逆量子化され、逆変換され、次いで、再構成された画素を形成するために予測ブロックに加算される。
[0004]HEVCでは、ビデオエンコーダは、ビデオエンコーダが、各コード化ツリー単位(CTU)の最適コード化モード及びCU/予測単位(PU)/変換単位(TU)構造を識別するために、全ての異なるコード化単位(CU)サイズ(即ち、64×64、32×32、16×16及び8×8)を検査することに一部起因して、モード決定及び動き推定のための高複雑度モジュールを含み、それは、HEVCエンコーダの複雑度を実質的に増す。このコンテキストでは、符号化/復号プロセスの複雑度を低減するための技法が依然として必要である。
[0005]本開示のシステム、方法及び機器は、それぞれ幾つかの発明的態様を有し、それらのうちの単一の態様が、本明細書で開示する望ましい属性を単独で担当するとは限らない。本開示の一態様は、各コード化ツリー単位(CTU)の最適なコード化モード及びCU/予測単位(PU)/変換単位(TU)構造を識別するために検査されるコード化単位(CU)サイズの数を低減することに基づく、低複雑度ビデオコード化のための装置及び方法を提供する。本装置は、ビデオデータを記憶するように構成されたメモリユニットを備え得る。本装置は、メモリユニットに動作可能に結合されたビデオコード化ユニットを更に備え得る。ビデオ処理ユニットは、CUブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算するように構成され得る。ビデオ処理ユニットは、第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義するように構成され得、分岐条件は、バックグラウンド条件と同種(homogeneous)条件とを備える。
[0006]ビデオ処理ユニットは、CUブロックの第1のSAD値が第1の閾値バックグラウンド値よりも小さい場合、バックグラウンド条件を検出するように構成され得る。ビデオ処理ユニットは、CUブロックのサブブロックの第2のSAD値が、第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にある場合、同種条件を検出するように構成され得る。ビデオ処理ユニットは、バックグラウンド条件又は同種条件の検出に基づいて、CUサイズの分岐を決定するように構成され得る。
[0007]例えば、ビデオ処理ユニットは、(i)サブブロックの第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)サブブロックの第2のSAD値が、第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることの満足を備えるように、第2の分岐のための分岐条件を定義することと、第1の分岐及び第2の分岐のための分岐条件の不満足を備えるように、第3の分岐のための分岐条件を定義することとに基づいて、CUサイズの分岐のための分岐条件を定義するように構成され得る。
[0008]関係する態様では、ビデオ処理ユニットは、CUサイズの分岐に従ってCUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施するように構成され得る。ビデオ処理ユニットは、(i)コード化ツリー単位(CTU)のためのコード化モードを選択すること、又は(ii)LCUのためのDMD分岐に少なくとも部分的に基づいて動き推定を実施することを行うように構成され得る。
[0009]更なる関係する態様では、本装置の機能を実施する方法も提供される。
[0010]本開示で説明する低複雑度ビデオコード化技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。 [0011]本開示で説明する低複雑度ビデオコード化技法を実施し得る別の例示的なビデオ符号化及び復号システムを示すブロック図。 [0012]本開示で説明する低複雑度ビデオコード化技法を実装し得る例示的なビデオエンコーダを示すブロック図。 [0013]本開示で説明する低複雑度ビデオコード化技法を実装し得る例示的なビデオデコーダを示すブロック図。 [0014]例示的なHEVCビデオエンコーダ及びそれの構成要素を示すブロック図。 [0015]LCUのためのDMD分岐への3分岐ベース手法の例示的な例を示す図。 [0016]図5Aなどの中の分岐など、分岐のための例示的な条件を示す図。 [0017]LCUのためのDMD分岐への2分岐ベース手法の例示的な例を示す図。 [0018]本開示の1つ又は複数の態様による、低複雑度ビデオコード化のための例示的な技法を示すフローチャート。 [0019]本開示の1つ又は複数の態様による、図7の方法の更なる態様を示す図。 本開示の1つ又は複数の態様による、図7の方法の更なる態様を示す図。 本開示の1つ又は複数の態様による、図7の方法の更なる態様を示す図。 本開示の1つ又は複数の態様による、図7の方法の更なる態様を示す図。 本開示の1つ又は複数の態様による、図7の方法の更なる態様を示す図。
[0020]添付の図面とともに以下に示す発明を実施するための形態は、本発明の例示的な実施形態を説明するものであり、本発明が実施され得る実施形態のみを表すものではない。この説明全体にわたって使用する「例示的」という用語は、「例、事例又は例示の働きをすること」を意味し、必ずしも他の例示的な実施形態よりも好ましい、又は有利であると解釈すべきではない。発明を実施するための形態は、本発明の例示的な実施形態の完全な理解を与える目的で具体的な詳細を含む。幾つかの事例では、幾つかの機器をブロック図の形式で示す。
[0021]説明を簡単にするために、方法を一連の行為として図示及び説明するが、幾つかの行為は、1つ又は複数の態様によれば、本明細書で図示及び説明した順序とは異なる順序で、及び/又は他の行為と同時に行われ得るので、方法は行為の順序によって限定されないことを理解し、諒解されたい。例えば、方法は、状態図など、一連の相互に関係する状態又は事象として代替的に表現され得ることを、当業者は理解し、諒解するであろう。更に、1つ又は複数の態様による方法を実装するために、示された全ての行為が必要とされるとは限らない。
[0022]本開示は、最大コード化単位(LCU)のための動的モード決定(DMD)分岐に基づく低複雑度ビデオコード化のための技法について説明する。DMD分岐は、各コード化ツリー単位(CTU)の最適コード化モード及びCU/予測単位(PU)/変換単位(TU)構造を識別するために検査されるコード化単位(CU)サイズの数を低減するために使用され得る。
[0023]図1Aは、本開示で説明する低複雑度ビデオコード化技法を利用し得る例示的なビデオ符号化及び復号システム10を示すブロック図である。図1Aに示されているように、システム10は、宛先モジュール14によって後で復号されるべき符号化ビデオデータを生成する発信源モジュール12を含む。図1Aの例では、発信源モジュール12と宛先モジュール14とは別々の機器上にあり、詳細には、発信源モジュール12は発信源モジュールの一部であり、宛先モジュール14は宛先機器の一部である。但し、発信源モジュール12及び宛先モジュール14は、図1Bの例に示されているように、同じ機器上にあるか、又はそれの一部であり得ることに留意されたい。
[0024]もう一度図1Aを参照すると、発信源モジュール12及び宛先モジュール14は、デスクトップコンピュータ、ノートブック(即ち、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器、自動車/車両、ウェアラブルギアなどを含む、広範囲にわたる機器のいずれかを備えるかそれらに含まれ得る。場合によっては、発信源モジュール12及び宛先モジュール14はワイヤレス通信のために装備され得る。
[0025]宛先モジュール14は、リンク16を介して、復号されるべき符号化ビデオデータを受信し得る。リンク16は、発信源モジュール12から宛先モジュール14に符号化ビデオデータを移動することが可能な任意のタイプの媒体又は機器を備え得る。図1Aの例では、リンク16は、発信源モジュール12が符号化ビデオデータをリアルタイムで宛先モジュール14に直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先モジュール14に送信され得る。通信媒体は、無線周波数(RF)スペクトルあるいは1つ又は複数の物理伝送線路など、任意のワイヤレス又はワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク又はインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局又は発信源モジュール12から宛先モジュール14への通信を可能にするために有用であり得る任意の他の機器を含み得る。
[0026]代替的に、符号化データは出力インターフェース22から随意の記憶装置31に出力され得る。同様に、符号化データは、入力インターフェースによって記憶装置31からアクセスされ得る。記憶装置31は、ハードドライブ、フラッシュメモリ、揮発性又は不揮発性メモリ若しくは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置31は、発信源モジュール12によって生成された符号化ビデオを保持し得るファイルサーバ又は別の中間記憶装置に対応し得る。宛先モジュール14は、ストリーミング又はダウンロードを介して記憶装置31から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先モジュール14に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバとしては、(例えば、ウェブサイトのための)ウェブサーバ、FTPサーバ、ネットワーク接続記憶(NAS)装置又はローカルディスクドライブがある。宛先モジュール14は、インターネット接続を含む任意の標準データ接続を通して符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル(例えば、Wi−Fi(登録商標)接続)、ワイヤード接続(例えば、DSL、ケーブルモデムなど)又はその両方の組合せを含み得る。記憶装置31からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信又はその両方の組合せであり得る。
[0027]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、例えばインターネットを介したストリーミングビデオ送信、データ記憶媒体に記憶するためのデジタルビデオの符号化、データ記憶媒体に記憶されたデジタルビデオの復号又は他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム10は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング及び/又はビデオテレフォニーなどの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
[0028]図1Aの例では、発信源モジュール12は、ビデオ発信源18と、ビデオエンコーダ20と、出力インターフェース22とを含む。場合によっては、出力インターフェース22は、変調器/復調器(モデム)及び/又は送信機を含み得る。発信源モジュール12において、ビデオ発信源18は、撮像装置、例えばビデオカメラ、以前に撮られたビデオを含んでいるビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース及び/又はソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステムなどのソース若しくはそのようなソースの組合せを含み得る。一例として、ビデオ発信源18がビデオカメラである場合、発信源モジュール12及び宛先モジュール14は、図1Bの例に示されているように、所謂カメラフォン又はビデオフォンを形成し得る。但し、本開示で説明する技法は、概してビデオコード化に適用可能であり得、ワイヤレス及び/又はワイヤード適用例に適用され得る。
[0029]撮られたビデオ、以前に撮られたビデオ又はコンピュータ生成されたビデオは、ビデオエンコーダ20によって符号化され得る。符号化ビデオデータは、発信源モジュール12の出力インターフェース22を介して宛先モジュール14に直接送信され得る。符号化ビデオデータはまた(又は代替的に)、復号及び/又は再生のための宛先モジュール14又は他の機器による後のアクセスのために記憶装置31上に記憶され得る。
[0030]宛先モジュール14は、入力インターフェース28と、ビデオデコーダ30と、表示装置32とを含む。場合によっては、入力インターフェース28は、受信機及び/又はモデムを含み得る。宛先モジュール14の入力インターフェース28は、リンク16を介して符号化ビデオデータを受信し得る。リンク16を介して通信された、又は記憶装置31上に与えられた符号化ビデオデータは、ビデオデータを復号する際に、ビデオデコーダ30などのビデオデコーダが使用するための、ビデオエンコーダ20によって生成された様々なシンタックス要素を含み得る。そのようなシンタックス要素は、通信媒体上で送信された、記憶媒体上に記憶された、又はファイルサーバ記憶された符号化ビデオデータに含まれ得る。
[0031]表示装置32は、宛先モジュール14と一体化されるか、又はその外部にあり得る。幾つかの例では、宛先モジュール14は、一体型表示装置を含み、また、外部表示装置とインターフェースするように構成され得る。他の例では、宛先モジュール14は表示装置であり得る。概して、表示装置32は、復号ビデオデータをユーザに表示し、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器又は別のタイプの表示装置など、様々な表示装置のいずれかを備え得る。
[0032]関係する態様では、図1Bは例示的なビデオ符号化及び復号システム10’を示し、ここにおいて、発信源モジュール12及び宛先モジュール14は機器又はユーザ機器11上にあるか、又はそれの一部である。機器11は、「スマート」フォンなどの電話ハンドセットであり得る。機器11は、発信源モジュール12及び宛先モジュール14と動作可能に通信している随意のコントローラ/プロセッサモジュール13を含み得る。図1Bのシステム10’は、ビデオエンコーダ20と出力インターフェース22との間のビデオ処理ユニット21を更に含み得る。幾つかの実装形態では、図1Bに示されているように、ビデオ処理ユニット21は別個のユニットであるが、他の実装形態では、ビデオ処理ユニット21は、ビデオエンコーダ20及び/又はプロセッサ/コントローラモジュール13の一部分として実装され得る。図1Bのシステム10’及びそれの構成要素は、場合によっては図1Aのシステム10及びそれの構成要素と同様である。
[0033]以下でより詳細に説明するように、本開示の態様は、一般に、LCUのためのDMD分岐に基づく低複雑度ビデオコード化に関する。本開示の技法は、ビデオエンコーダ20及び場合によってはビデオデコーダ30の(1つ又は複数の)構成要素によって実施され得る。
[0034]一例では、ビデオエンコーダ20及びビデオデコーダ30は、HVECなどを含むビデオ圧縮規格に従って動作し得る。別の例では、ビデオエンコーダ20及びビデオデコーダ30は、代替的にMPEG−4,Part10,高度ビデオコード化(AVC)と呼ばれるITU−T H.264規格など、他のプロプライエタリ規格又は業界規格若しくはそのような規格の拡張に従って動作し得る。ビデオ圧縮規格の他の例としては、MPEG−2及びITU−T H.263がある。但し、本開示の技法は、いかなる特定のコード化規格又は技法にも限定されない。
[0035]図1A〜図1Bには示されていないが、幾つかの態様では、ビデオエンコーダ20及びビデオデコーダ30は、それぞれ、オーディオエンコーダ及びデコーダと統合され得、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なMUX−DEMUXユニット又は他のハードウェア及びソフトウェアを含み得る。適用可能な場合、幾つかの例では、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコル又はユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠し得る。
[0036]ビデオエンコーダ20及びビデオデコーダ30はそれぞれ、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理回路、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路のいずれか、又はそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、ソフトウェアのための命令を好適な非一時的コンピュータ可読媒体に記憶し、本開示の技法を実施するために1つ又は複数のプロセッサを使用してハードウェアでその命令を実行し得る。ビデオエンコーダ20及びビデオデコーダ30の各々は1つ又は複数のエンコーダ又はデコーダ中に含まれ得、そのいずれも、それぞれの機器において複合エンコーダ/デコーダ(コーデック)の一部として統合され得る。
[0037]JCT−VCは、HEVC規格の開発に取り組んでいる。HEVC規格化の取り組みは、HEVCテストモデル(HM)と呼ばれるビデオコード化機器の発展的モデルに基づく。HMは、例えば、ITU−T H.264/AVCに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、H.264は9つのイントラ予測符号化モードを与えるが、HMは33個ものイントラ予測符号化モードを与え得る。
[0038]概して、HMの作業モデルは、ビデオフレーム又はピクチャが、ルーマサンプルとクロマサンプルの両方を含む、LCUとも呼ばれる一連のCTUに分割され得ることを記載している。ツリーブロックは、H.264規格のマクロブロックと同様の目的を有する。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ビデオフレーム又はピクチャは、1つ又は複数のスライスに区分され得る。各ツリーブロックは、4分木に従ってCUに分割され得る。例えば、4分木のルートノードとしてのツリーブロックは、4つの子ノードに分割され得、各子ノードは、次に、親ノードとなり、別の4つの子ノードに分割され得る。4分木のリーフノードとしての、最終的な、分割されていない子ノードは、コード化ノード、即ち、コード化ビデオブロックを備える。コード化ビットストリームに関連するシンタックスデータは、ツリーブロックが分割され得る最大回数を定義し得、コード化ノードの最小サイズをも定義し得る。
[0039]CUは、コード化ノードと、コード化ノードに関連するPU及びTUとを含む。CUのサイズは、コード化ノードのサイズに対応し、形状が正方形である。CUのサイズは、8×8画素から最大64×64画素以上をもつツリーブロックのサイズまでに及び得る。各CUは、1つ又は複数のPUと、1つ又は複数のTUとを含んでいることがある。CUに関連するシンタックスデータは、例えば、CUを1つ又は複数のPUに区分することを記述し得る。区分モードは、CUが、スキップモード符号化又はダイレクトモード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なり得る。PUは、形状が非正方形になるように区分され得る。CUに関連するシンタックスデータは、例えば、4分木に従ってCUを1つ又は複数のTUに区分することをも記述し得る。TUは、形状が正方形又は非正方形であり得る。
[0040]HEVC規格は、CUごとに異なり得るTUに従う変換を可能にする。TUは、一般に、区分されたLCUについて定義された所与のCU内のPUのサイズに基づいてサイズ決定されるが、これは常にそうであるとは限らない。TUは、一般に、PUと同じサイズであるか、又はPUよりも小さい。幾つかの例では、CUに対応する残差サンプルは、「残差4分木」(RQT:residual quad tree)として知られる4分木構造を使用してより小さい単位に再分割され得る。RQTのリーフノードは変換単位(TU)と呼ばれることがある。TUに関連する画素差分値は、変換係数を生成するために変換され得、その変換係数は量子化され得る。
[0041]概して、PUは、予測プロセスに関係するデータを含む。例えば、PUがイントラモード符号化されるとき、PUは、PUのためのイントラ予測モードを記述するデータを含み得る。別の例として、PUがインターモード符号化されるとき、PUは、PUのための動きベクトルを定義するデータを含み得る。PUの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度(例えば、1/4画素精度又は1/8画素精度)、動きベクトルが指す参照ピクチャ及び/又は動きベクトルの参照ピクチャリスト(例えば、リスト0、リスト1又はリストC)を記述し得る。
[0042]概して、TUは、変換プロセスと量子化プロセスとのために使用される。1つ又は複数のPUを有する所与のCUは、1つ又は複数の変換単位(TU)をも含み得る。予測の後に、ビデオエンコーダ20は、PUに対応する残差値を計算し得る。残差値は画素差分値を備え、画素差分値は、エントロピーコード化のためのシリアル化変換係数(serialized transform coefficient)を生成するためにTUを使用して変換係数に変換され、量子化され、走査され得る。本開示は、一般に、CUのコード化ノードを指すために「ビデオブロック」という用語を使用する。幾つかの特定の場合において、本開示では、コード化ノードならびにPU及びTUを含む、ツリーブロック、即ち、LCU又はCUを指すために「ビデオブロック」という用語をも使用し得る。
[0043]ビデオシーケンスは、一般に、一連のビデオフレーム又はピクチャを含む。グループオブピクチャ(GOP:group of pictures)は、概して、ビデオピクチャのうちの一連の1つ又は複数を備える。GOPは、GOP中に含まれる幾つかのピクチャを記述するシンタックスデータを、GOPのヘッダ中、ピクチャのうちの1つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスのための符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、一般に、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックはCU内のコード化ノードに対応し得る。ビデオブロックは、固定サイズ又は可変サイズを有し得、指定されたコード化規格に応じてサイズが異なり得る。
[0044]一例として、HMは、様々なPUサイズでの予測をサポートする。特定のCUのサイズが2N×2Nであると仮定すると、HMは、2N×2N又はN×NのPUサイズでのイントラ予測と、2N×2N、2N×N、N×2N又はN×Nの対称PUサイズでのインター予測とをサポートする。HMはまた、2N×nU、2N×nD、nL×2N及びnR×2NのPUサイズでのインター予測のための非対称区分をサポートする。非対称区分では、CUの一方向は区分されないが、他の方向は25%と75%とに区分される。25%の区分に対応するCUの部分は、「n」とその後ろに付く「Up」、「Down」、「Left」又は「Right」という表示によって示される。従って、例えば、「2N×nU」は、上部の2N×0.5N PUと下部の2N×1.5N PUとで水平方向に区分された2N×2N CUを指す。
[0045]本開示では、「N×N(NxN)」及び「N×N(N by N)」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、16×16(16x16)画素又は16×16(16 by 16)画素を指すために互換的に使用され得る。概して、16×16ブロックは、垂直方向に16画素を有し(y=16)、水平方向に16画素を有する(x=16)。同様に、N×Nブロックは、概して、垂直方向にN画素を有し、水平方向にN画素を有し、ここで、Nは非負整数値を表す。ブロック中の画素は行及び列に配列され得る。その上、ブロックは、必ずしも、水平方向において垂直方向と同じ数の画素を有する必要があるとは限らない。例えば、ブロックはN×M画素を備え得、ここで、Mは必ずしもNに等しいとは限らない。
[0046]CUのPUを使用したイントラ予測コード化又はインター予測コード化の後に、ビデオエンコーダ20は、CUのTUのための残差データを計算し得る。PUは、(画素領域とも呼ばれる)空間領域において画素データを備え得、TUは、変換、例えば、残差ビデオデータへの離散コサイン変換(DCT)、整数変換、ウェーブレット変換又は概念的に同様の変換の適用後に、変換領域において係数を備え得る。残差データは、符号化されていないピクチャの画素と、PUに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ20は、CUのための残差データを含むTUを形成し、次いで、CUのための変換係数を生成するためにTUを変換し得る。
[0047]変換係数を生成するための任意の変換の後に、ビデオエンコーダ20は、変換係数の量子化を実施し得る。量子化は、一般に、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、更なる圧縮を行うプロセスを指す。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。例えば、量子化中にnビット値がmビット値に切り捨てられ得、ここで、nはmよりも大きい。
[0048]幾つかの例では、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化ベクトルを生成するために、量子化変換係数を走査するために予め定義された走査順序を利用し得る。他の例では、ビデオエンコーダ20は適応型走査を実施し得る。1次元ベクトルを形成するために量子化変換係数を走査した後に、ビデオエンコーダ20は、例えば、コンテキスト適応型可変長コード化(CAVLC:context adaptive variable length coding)、コンテキスト適応型バイナリ算術コード化(CABAC:context adaptive binary arithmetic coding)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC:syntax-based context-adaptive binary arithmetic coding)、確率間隔区分エントロピー(PIPE:Probability Interval Partitioning Entropy)コード化又は別のエントロピー符号化方法に従って、1次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ20はまた、ビデオデータを復号する際にビデオデコーダ30が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化し得る。
[0049]CABACを実施するために、ビデオエンコーダ20は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、例えば、シンボルの隣接値が非0であるか否かに関係し得る。CAVLCを実施するために、ビデオエンコーダ20は、送信されるべきシンボルのための可変長コードを選択し得る。VLC中のコードワードは、比較的より短いコードが優勢シンボルに対応し、より長いコードが劣勢シンボルに対応するように構成され得る。このようにして、VLCの使用は、例えば、送信されるべき各シンボルのための等長コードワードを使用することに勝るビット節約を達成し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0050]概して、LCU又は他のコード化単位中の画素へのオフセット値の加算は、幾つかの事例ではコード化を改善し得る。例えば、オフセット値は、照明変化、量子化誤差を補償するために、又はより一般的には、復号ビデオデータがより厳密に元のビデオデータに似ているようにするために、再構成されたビデオブロックの画素に適用され得る。サンプル適応オフセット(SAO)技法は、画素(又はブロック)の画素値に応じて、異なるオフセット値が異なる画素(又は画素のブロック)に適用されることを可能にする。
[0051]図2は、本開示で説明する低複雑度ビデオコード化技法を実装し得る例示的なビデオエンコーダ20を示すブロック図である。ビデオエンコーダ20は、ビデオスライス内のビデオブロックのイントラコード化及びインターコード化を実施し得る。イントラコード化は、所与のビデオフレーム又はピクチャ内のビデオの空間冗長性を低減又は除去するために空間予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム又はピクチャ内のビデオの時間冗長性を低減又は除去するために時間予測に依拠する。イントラモード(Iモード)は、幾つかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測(Pモード)又は双方向予測(Bモード)などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指すことがある。
[0052]図2の例では、ビデオエンコーダ20は、区分ユニット35と、予測処理ユニット41と、参照ピクチャメモリ64と、加算器50と、変換処理ユニット52と、量子化ユニット54と、エントロピー符号化ユニット56とを含む。予測処理ユニット41は、動き推定ユニット42と、動き補償ユニット44と、イントラ予測処理ユニット46とを含む。ビデオブロック再構成のために、ビデオエンコーダ20はまた、逆量子化ユニット58と、逆変換処理ユニット60と、加算器62とを含む。再構成されたビデオからブロック歪み(blockiness artifacts)を除去するために、ブロック境界をフィルタ処理するためのデブロッキングフィルタ72も含まれ得る。図2に示されているように、ビデオエンコーダ20はまた、サンプル適応オフセット(SAO)フィルタ74を含む、追加のループフィルタを含む。デブロッキングフィルタ72及びSAOフィルタ74は、図2ではループ内フィルタであるものとして示されているが、幾つかの構成では、デブロッキングフィルタ72及びSAOフィルタ74はループ後フィルタとして実装され得る。更に、デブロッキングフィルタ72は、幾つかの実装形態では省略され得る。
[0053]図2に示されているように、ビデオエンコーダ20はビデオデータを受信し、区分ユニット35はデータをビデオブロックに区分する。この区分は、例えば、LCU及びCUの4分木構造に従って、スライス、タイル又は他のより大きいユニットへの区分、ならびにビデオブロック区分をも含み得る。ビデオエンコーダ20は、概して、符号化されるべきビデオスライス内のビデオブロックを符号化する構成要素を示している。スライスは、複数のビデオブロックに(及び、場合によっては、タイルと呼ばれるビデオブロックのセットに)分割され得る。予測処理ユニット41は、誤差結果(例えばコード化レート及び歪みレベル)に基づいて現在ビデオブロックについて、複数のイントラコード化モードのうちの1つ又は複数のインターコード化モードのうちの1つなど、区分サイズを含み得る複数の可能なコード化モードのうちの1つを選択し得る。予測処理ユニット41は、得られたイントラコード化ブロック又はインターコード化ブロックを、残差ブロックデータを生成するために加算器50に与え、参照ピクチャとして使用するための符号化ブロックを再構成するために加算器62に与え得る。
[0054]予測処理ユニット41内のイントラ予測処理ユニット46は、空間圧縮を行うために、コード化されるべき現在ブロックと同じフレーム又はスライス中の1つ又は複数の隣接ブロックに対して現在ビデオブロックのイントラ予測コード化を実施し得る。予測処理ユニット41内の動き推定ユニット42及び動き補償ユニット44は、時間圧縮を行うために、1つ又は複数の参照ピクチャ中の1つ又は複数の予測ブロックに対して現在ビデオブロックのインター予測コード化を実施する。
[0055]動き推定ユニット42は、ビデオシーケンスの所定のパターンに従ってビデオスライスのためのインター予測モードを決定するように構成され得る。所定のパターンは、シーケンス中のビデオスライスを、予測されたスライス(Pスライス)、双方向予測されたスライス(Bスライス)又は一般化されたP/Bスライス(GPBスライス)として指定し得る。動き推定ユニット42と動き補償ユニット44とは、高度に統合され得るが、概念的な目的のために別々に示してある。動き推定ユニット42によって実施される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、参照ピクチャ内の予測ブロックに対する現在ビデオフレーム又はピクチャ内のビデオブロックのPUの変位を示し得る。
[0056]予測ブロックは、絶対差分和(SAD)、2乗差分和(SSD)又は他の差分メトリックによって決定され得る画素差分に関して、コード化されるべきビデオブロックのPUにぴったり一致することがわかるブロックである。幾つかの例では、ビデオエンコーダ20は、参照ピクチャメモリ64に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ20は、参照ピクチャの1/4画素位置、1/8画素位置又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット42は、フル画素位置と分数画素位置とに対して動き探索を実施し、分数画素精度で動きベクトルを出力し得る。
[0057]動き推定ユニット42は、PUの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのPUのための動きベクトルを計算する。参照ピクチャは、第1の参照ピクチャリスト(リスト0)又は第2の参照ピクチャリスト(リスト1)から選択され得、それらの各々が、参照ピクチャメモリ64に記憶された1つ又は複数の参照ピクチャを識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
[0058]動き補償ユニット44によって実施される動き補償は、動き推定によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成すること、場合によってはサブ画素精度への補間を実施することを伴い得る。現在ビデオブロックのPUのための動きベクトルを受信すると、動き補償ユニット44は、動きベクトルが参照ピクチャリストのうちの1つにおいて指す予測ブロックの位置を特定し得る。ビデオエンコーダ20は、コード化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。画素差分値は、ブロックの残差データを形成し、ルーマ差分成分とクロマ差分成分の両方を含み得る。加算器50は、この減算演算を実施する1つ又は複数の構成要素を表す。動き補償ユニット44はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ30が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
[0059]イントラ予測処理ユニット46は、上記で説明したように、動き推定ユニット42と動き補償ユニット44とによって実施されるインター予測の代替として、現在ブロックに対してイントラ予測を実施し得る。特に、イントラ予測処理ユニット46は、現在ブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測処理ユニット46は、例えば、別個の符号化パス中に、様々なイントラ予測モードを使用して現在ブロックを符号化し得、予測処理ユニット41は、テストされたモードから使用するのに適切なイントラ予測モード又はインター予測モードを選択し得る。例えば、イントラ予測処理ユニット46は、様々なテストされるイントラ予測モードのためにレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、概して、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み(又は誤差)の量、及び符号化ブロックを生成するために使用されるビットレート(即ち、ビット数)を決定する。イントラ予測処理ユニット46は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを決定するために、様々な符号化ブロックの歪み及びレートから比を計算し得る。
[0060]ブロックのためのイントラ予測モードを選択した後に、予測処理ユニット41は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット56に与え得る。エントロピー符号化ユニット56は、本開示の技法に従って、選択されたイントラ予測モードを示す情報を符号化し得る。ビデオエンコーダ20は、複数のイントラ予測モードインデックステーブル及び複数の変更されたイントラ予測モードインデックステーブル(コードワードマッピングテーブルとも呼ばれる)と、様々なブロックの符号化コンテキストの定義と、コンテキストの各々について使用すべき、最確イントラ予測モード、イントラ予測モードインデックステーブル及び変更されたイントラ予測モードインデックステーブルの指示とを含み得る構成データを送信ビットストリーム中に含め得る。
[0061]予測処理ユニット41が、インター予測又はイントラ予測のいずれかを介して、現在ビデオブロックのための予測ブロックを生成した後、ビデオエンコーダ20は、現在ビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック中の残差ビデオデータは、1つ又は複数のTU中に含まれ、変換処理ユニット52に適用され得る。変換処理ユニット52は、離散コサイン変換(DCT)又は概念的に同様の変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。変換処理ユニット52は、残差ビデオデータを画素領域から周波数領域などの変換領域に変換し得る。
[0062]変換処理ユニット52は、得られた変換係数を量子化ユニット54に送り得る。量子化ユニット54は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減し得る。量子化の程度は、量子化パラメータを調整することによって変更され得る。幾つかの例では、量子化ユニット54は、次いで、量子化変換係数を含む行列の走査を実施し得る。代替的に、エントロピー符号化ユニット56が走査を実施し得る。
[0063]量子化の後に、エントロピー符号化ユニット56は量子化変換係数をエントロピー符号化する。例えば、エントロピー符号化ユニット56は、コンテキスト適応型可変長コード化(CAVLC)、コンテキスト適応型バイナリ算術コード化(CABAC)、シンタックスベースコンテキスト適応型バイナリ算術コード化(SBAC)、確率間隔区分エントロピー(PIPE)コード化若しくは別のエントロピー符号化方法又は技法を実施し得る。エントロピー符号化ユニット56によるエントロピー符号化の後に、符号化ビットストリームはビデオデコーダ30に送信されるか、又はビデオデコーダ30が後で送信するか又は取り出すためにアーカイブされ得る。エントロピー符号化ユニット56はまた、コード化されている現在ビデオスライスのための動きベクトルと他のシンタックス要素とをエントロピー符号化し得る。
[0064]逆量子化ユニット58及び逆変換処理ユニット60は、参照ピクチャの参照ブロックとして後で使用するために画素領域において残差ブロックを再構成するために、それぞれ逆量子化及び逆変換を適用する。動き補償ユニット44は、残差ブロックを参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット44はまた、動き推定において使用するためのサブ整数画素値を計算するために、再構成された残差ブロックに1つ又は複数の補間フィルタを適用し得る。加算器62は、参照ピクチャメモリ64に記憶するための参照ブロックを生成するために、再構成された残差ブロックを動き補償ユニット44によって生成された動き補償予測ブロックに加算する。
[0065]メモリ64への記憶より前に、再構成された残差ブロックは、1つ又は複数のフィルタによってフィルタ処理され得る。所望される場合、ブロック歪みを除去するために、再構成された残差ブロックをフィルタ処理するために、デブロッキングフィルタ72も適用され得る。画素遷移を平滑化するために、又は場合によってはビデオ品質を改善するために、(コード化ループ中又はコード化ループ後のいずれかの)他のループフィルタも使用され得る。そのようなループフィルタの一例が、SAOフィルタ74である。参照ブロックは、後続のビデオフレーム又はピクチャ中のブロックをインター予測するために、動き推定ユニット42と動き補償ユニット44とによって参照ブロックとして使用され得る。
[0066]SAOフィルタ74は、ビデオコード化品質を改善する様式で、SAOフィルタ処理のためのオフセット値を決定することができる。ビデオコード化品質を改善することは、例えば、再構成された画像が元の画像とより厳密に一致するようにするオフセット値を決定することを伴い得る。ビデオエンコーダ20は、例えば、異なるオフセット値をもつ複数のパスを使用してビデオデータをコード化し、例えば、レート歪み計算に基づいて決定されるような、望ましいコード化品質をもたらすオフセット値を、符号化ビットストリーム中に含めるために選定し得る。
[0067]幾つかの構成では、SAOフィルタ74は、上記で説明したエッジオフセットなど、1つ又は複数のタイプのオフセットを適用するように構成され得る。SAOフィルタ74はまた、時々オフセットを適用しないことがあり、このこと自体が、第3のタイプのオフセットと考えられ得る。SAOフィルタ74によって適用されるオフセットのタイプは、ビデオデコーダに明示的に、又は暗黙的にのいずれかで信号伝達され得る。エッジオフセットを適用するとき、画素はエッジ情報に基づいて分類され得る。
[0068]図2のビデオエンコーダ20は、第1のエッジインデックスを決定することと、ここにおいて、第1のエッジインデックスが第1の周囲画素のルーマ成分のためのエッジインデックスを備える、第2のエッジインデックスを決定することと、ここにおいて、第2のエッジインデックスが第2の周囲画素のルーマ成分のためのエッジインデックスを備える、第1のエッジインデックスと第2のエッジインデックスとに基づいて第3のエッジインデックスを決定することと、ここにおいて、第3のエッジインデックスが現在画素のクロマ成分のためのエッジインデックスを備える、第3のエッジインデックスに基づいてオフセットを選択することと、オフセットを現在画素のクロマ成分に適用することとを行うように構成されたビデオエンコーダの一例を表す。
[0069]図3は、本開示で説明する低複雑度ビデオコード化技法を実装し得る例示的なビデオデコーダ30を示すブロック図である。図3の例では、ビデオデコーダ30は、エントロピー復号ユニット80と、予測処理ユニット81と、逆量子化ユニット86と、逆変換ユニット88と、加算器90と、参照ピクチャメモリ92とを含む。予測処理ユニット81は、インター予測復号のための動き補償ユニット82と、イントラ予測復号のためのイントラ予測処理ユニット84とを含む。ビデオデコーダ30は、幾つかの例では、図2からのビデオエンコーダ20に関して説明した符号化パスとは概して逆の復号パスを実施し得る。
[0070]復号プロセス中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオ8ビットストリームを受信する。ビデオデコーダ30のエントロピー復号ユニット80は、量子化係数、動きベクトル及び他のシンタックス要素を生成するために、ビットストリームをエントロピー復号し得る。エントロピー復号ユニット80は、予測処理ユニット81に動きベクトルと他のシンタックス要素とを転送する。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルでシンタックス要素を受信し得る。
[0071]ビデオスライスがイントラコード化(I)スライスとしてコード化されたとき、予測処理ユニット81のイントラ予測処理ユニット84は、信号伝達されたイントラ予測モードと、現在フレーム又はピクチャの前に復号されたブロックからのデータとに基づいて、現在ビデオスライスのビデオブロックのための予測データを生成し得る。ビデオフレームがインターコード化(例えば、B、P又はGPB)スライスとしてコード化されたとき、予測処理ユニット81の動き補償ユニット82は、エントロピー復号ユニット80から受信された動きベクトル及び他のシンタックス要素に基づいて現在ビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストのうちの1つ内の参照ピクチャのうちの1つから生成され得る。ビデオデコーダ30は、参照ピクチャメモリ92に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照フレームリスト、即ち、リスト0及びリスト1を構成し得る。
[0072]動き補償ユニット82は、動きベクトルと他のシンタックス要素とを構文解析する(parsing)ことによって現在ビデオスライスのビデオブロックのための予測情報を決定し、復号されている現在ビデオブロックのための予測ブロックを生成するために、その予測情報を使用する。例えば、動き補償ユニット82は、ビデオスライスのビデオブロックをコード化するために使用される予測モード(例えば、イントラ又はインター予測)と、インター予測スライスタイプ(例えば、Bスライス、Pスライス又はGPBスライス)と、スライスのための参照ピクチャリストのうちの1つ又は複数のための構成情報と、スライスの各インター符号化ビデオブロックのための動きベクトルと、スライスの各インターコード化ビデオブロックのためのインター予測ステータスと、現在ビデオスライス中のビデオブロックを復号するための他の情報とを決定するために、受信されたシンタックス要素のうちの幾つかを使用する。
[0073]動き補償ユニット82はまた、補間フィルタに基づいて補間を実施し得る。動き補償ユニット82は、参照ブロックのサブ整数画素のための補間値を計算するために、ビデオブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用し得る。この場合、動き補償ユニット82は、受信されたシンタックス要素からビデオエンコーダ20によって使用された補間フィルタを決定し、予測ブロックを生成するためにその補間フィルタを使用し得る。
[0074]逆量子化ユニット86は、ビットストリーム中で与えられ、エントロピー復号ユニット80によって復号された量子化変換係数を逆の量子化(inverse quantizes)、即ち、逆量子化(de-quantizes,)する。逆の量子化プロセスは、量子化の程度を決定し、同様に、適用されるべき逆の量子化の程度を決定するための、ビデオスライス中の各ビデオブロックについてビデオエンコーダ20によって計算される量子化パラメータの使用を含み得る。逆変換処理ユニット88は、画素領域において残差ブロックを生成するために、逆変換、例えば、逆DCT、逆整数変換又は概念的に同様の逆変換プロセスを変換係数に適用する。
[0075]予測処理ユニット81が、動きベクトルと他のシンタックス要素とに基づいて現在ビデオブロックのための予測ブロックを生成した後、ビデオデコーダ30は、逆変換処理ユニット88からの残差ブロックを動き補償ユニット82によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器90は、この加算演算を実施する1つ又は複数の構成要素を表す。加算器90によって形成された復号ビデオブロックは、次いで、デブロッキングフィルタ93、SAOフィルタ94などによってフィルタ処理され得る。所与のフレーム又はピクチャ中の復号ビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ92に記憶される。参照ピクチャメモリ92はまた、図1A〜図1Bの表示装置32などの表示装置上での後の提示のために、復号ビデオを記憶する。関係する態様では、SAOフィルタ94は、上記で説明したSAOフィルタ74と同じフィルタ処理(例えば、エッジオフセット及び帯域オフセット)のうちの1つ又は複数を適用するように構成され得る。
[0076]図3のビデオデコーダ30は、第1のエッジインデックスを決定することと、ここにおいて、第1のエッジインデックスが第1の周囲画素のルーマ成分のためのエッジインデックスを備える、第2のエッジインデックスを決定することと、ここにおいて、第2のエッジインデックスが第2の周囲画素のルーマ成分のためのエッジインデックスを備える、第1のエッジインデックスと第2のエッジインデックスとに基づいて第3のエッジインデックスを決定することと、ここにおいて、第3のエッジインデックスが現在画素のクロマ成分のためのエッジインデックスを備える、第3のエッジインデックスに基づいてオフセットを選択することと、オフセットを現在画素のクロマ成分に適用することとを行うように構成されたビデオデコーダの一例を表す。
[0077]図4は、例えば、HEVCビデオエンコーダ及びそれの構成要素など、ビデオエンコーダの別の表現を与える。図4のビデオエンコーダ400は、たいていの点で、図2のビデオエンコーダ20と同様であることに留意されたい。ビデオエンコーダ400は、特に、互いと動作可能に通信している、一般的なコーダコントローラ402と、変換、スケーリング及び量子化モジュール404と、スケーリング及び逆変換モジュール406と、加算器408及び410とを含み得る。
[0078]ビデオエンコーダ400は、互い及びビデオエンコーダ400の上記の構成要素と動作可能に通信している、イントラピクチャ推定モジュール412と、イントラピクチャ予測モジュール414と、動き補償モジュール416と、動き推定モジュール418とを更に含み得る。ビデオエンコーダ400は、イントラピクチャ予測モジュール414及び動き補償モジュール416と動作可能に通信しているモード決定(イントラ/インター選択)モジュール420を更に含み得る。
[0079]ビデオエンコーダ400は、互いに、及びビデオエンコーダ400の上記の構成要素と操作的に通信している、フィルタ制御分析モジュール422と、デブロッキング及びSAOフィルタ424と、復号ピクチャバッファ426と、ヘッダフォーマッティング及びCABACモジュール428とを更に含み得る。
[0080]入力ビデオ信号401は、CTUに分割され得る。一般的な制御データ、量子化変換係数及びイントラ予測データ、フィルタ制御データ及び/又は動きデータは、コード化ビットストリームを与えるヘッダフォーマッティング及びCABACモジュール428に与えられ得る。
[0081]図2及び図4のエンコーダに見られるように、ブロックベース処理を使用するビデオコーデックでは、(例えば、インター予測経路又はイントラ予測経路からの)予測ブロックが、残差を生成するために元の画素から減算され得る。残差は、順変換(例えば、DCT)を使用して係数に変換され、量子化され、様々なエントロピーコード化エンジン(例えば、CAVLC又はCABAC)を使用してエントロピーコード化され得る。デコーダ(例えば、図3中のビデオデコーダ30)では、係数はエントロピー復号され、逆量子化され、逆変換され、次いで、再構成された画素を形成するために予測ブロックに加算され得る。
[0082]図4中の例示的なHEVCビデオエンコーダ400をもう一度参照すると、例えば、モード決定モジュール420及び動き推定モジュール418など、高複雑度モジュール/ユニットがある。HEVCエンコーダ400のモード決定では、概して全ての異なるCUサイズ(即ち、64×64、32×32、16×16及び8×8)が、各CTUの最適コード化モード及びCU/PU/TU構造を決定するために検査され、これは、HEVCエンコーダの複雑さの、最大でないとしても大きい部分を占める。
[0083]ブロックベースビデオコード化のための既存の手法に伴う複雑さを克服するために、本開示は、以下の改善について説明する。低複雑度モード決定及び動き推定のためのビデオコード化技法が提供される。例えば、モード決定の複雑度を低減するためにビデオブロック情報の前処理が使用され得る。本開示では、以下の説明する技法及び手法は、単独で又は任意の組合せで使用され得る。
[0084]本開示の1つ又は複数の態様によれば、低複雑度ビデオコード化のための技法が提供される。本技法は、例えば、図1A〜図1B及び図2のビデオエンコーダ20、図4のビデオエンコーダ400など、システム/機器によって実施され得る。同様に、本技法は、図1A〜図1B及び図3のビデオデコーダ30などによって実施されるか、採用されるか、又はさもなければ考慮に入れられ得る。
[0085]例えば、低複雑度ビデオコード化技法は、図2中のビデオエンコーダ20の区分ユニット35、予測処理ユニット41及び/又は随意の前処理ユニット36、及び/又はそれらの(1つ又は複数の)構成要素によって実施され得る。関係する態様では前処理ユニット36が区分ユニット35及び予測処理ユニット41とは別々に示されているが、前処理ユニット36は、区分ユニット35及び/又は予測処理ユニット41内に含まれる/含まれていることがあることに留意されたい。更なる関係する態様では、随意の前処理ユニット36によって実施される動作のうちの1つ又は複数は、区分ユニット35及び/又は予測処理ユニット41によって実施され得る。また更なる関係する態様では、随意の前処理ユニット36及びそれの機能は、区分ユニット35及び/又は予測処理ユニット41によって包摂され得る。
[0086]別の例では、低複雑度ビデオコード化技法は、図4中のビデオエンコーダ400の一般的なコーダコントローラ402、変換、スケーリング及び量子化モジュール404又はそれらの(1つ又は複数の)構成要素によって実施され得る。
[0087]低複雑度モード決定のための前処理情報:一実装形態では、モード決定の複雑度に使用される前処理情報は、各2N×2Nブロック(例えば、Nは、4、8、16又は32であり得る)のためのゼロの動き絶対差分和(SAD)(SADzero_2N)又は単純動き推定ベースSAD(SADsme_2N)を含み得る。
[0088]ここで、ゼロの動きSAD(即ち、SADzero_2N)は、現在CUブロックと参照フレーム中の対応するブロックとの間のSADを指し、単純動き推定ベースSAD(即ち、SADsme_2N)は、例えば、サブサンプルベース探索を通して取得され得る。SADzero_2NとSADsme_2Nの両方は、以下の開示ではSAD2Nと呼ばれる。
[0089]前処理情報に基づく簡略化:モード決定及び動き推定への一般的な手法では、CUサイズの全て(即ち、64×64CUから8×8CUまで)が検査される。本開示では、より効率的なモード決定及び動き推定が、CUサイズのサブセットのみを検査するために前処理情報(例えば、SAD2N)を計算し、利用することによって達成され得る。
[0090]ビデオエンコーダが、1つのLCUのための動的モード決定(DMD)分岐を達成するために、CUサイズの全てではなく、CUサイズのサブセットのみ(例えば、64×64、32×32、16×16、8×8、64×64+32×32、32×32+16×16又は16×16+8×8)を検査する技法が提供される。言い換えれば、提供される技法は、単一LCU(1−LCU)ベース動的分岐に基づくCUサイズ検査のためのものである。
[0091]決定分岐は、例えば、各2N×2Nブロック(即ち、Nは、4、8、16又は32であり得る)のために、現在CUブロックと参照フレーム中の対応するブロックとの間のSAD2N値を計算することによって生成され得る、前処理情報に基づく。
[0092]SAD値は、分岐条件、即ち、バックグラウンド条件(現在CUがピクチャのバックグラウンドであることが検出される場合)及び/又は同種条件(現在CUが同種であることが検出される場合)に基づいて、CUサイズの分岐を識別するために使用され得る。
[0093]バックグラウンド条件は、SAD2N<Th2Nであり得、ここで、Th2Nは定義された閾値であり、固定又は適応型である。
[0094]同種条件は、Cd SAD2N/4<SADN<Cu SAD2N/4であり得、ここで、Cdは1よりも小さく、Cuは1よりも大きく、CdとCuの両方は量子化パラメータ(QP)依存閾値である。
[0095]関係する態様では、本技法は、SAD情報と組み合わせて異なる形状間の動きベクトル(MV)関係を使用することを伴い得る。例えば、4つのN×NブロックのMVが2N×2Nブロックと同様である場合、2N×2Nブロックは同種であると見なされ得、これは、N×N CUに勝る2N×2N CU形状の選好を生じ得る。
[0096]低複雑度符号化を達成するためのDMD分岐の例示的な実装形態が以下で与えられる。
[0097]図5Aを参照すると、LCU500のためのDMD分岐510への3分岐ベース手法の例示的な例が与えられており、ここにおいて、LCU500のサイズは32×32である。
[0098]図示の例では、3つの分岐は、32×32CUサイズ絶対変換差分和(SATD:sum of absolute transformed difference)のための第1の分岐520と、32×32及び16×16CUサイズSATDのための第2の分岐522と、16×16及び8×8CUサイズSATDのための第3の分岐524とを含み得る。
[0099]図示されていない別の例では、3つの分岐は、32×32CUサイズSATDのための第1の分岐520と、16×16CUサイズSATDのための第2の分岐522と、8×8CUサイズSATDのための第3の分岐524とを含み得る。分岐は、他のCUサイズ及び/又はそれらの組合せに基づき得ることに留意されたい。
[0100]引き続き図5Aに示されている例を参照すると、第1の条件が、第1の分岐(即ち、32×32分岐)のために定義され得る。第1の条件は、以下を含み得る:(a)SAD32<Th32;又は(b)k=0、1、2、3について、Cd SAD32/4<SAD16(k)<Cu SAD32/4。
[0101]言い換えれば、第1の条件は、32×32CUサイズのためのSAD値が、32×32CUサイズのための閾値バックグラウンド値よりも小さい場合、又は(例えば、16×16のCUサイズを有する)32×32ブロックのサブブロックのためのSAD値が、32×32CUサイズのためのSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にある場合、満たされ得る。関係する態様では、上側同種閾値はCu SAD32/4であり、ここで、Cuは1よりも大きく、下側同種閾値はCd SAD32/4であり、ここで、Cdは1よりも小さい。更なる関係する態様では、4つのk値は、32×32LCU500の4つの16×16サブブロックに対応し得る。
[0102]第2の条件が、第2の分岐(即ち、CU32+CU16分岐)のために定義され得る。第2の条件は、以下を含み得る:(a)第1の条件が満たされない;及び(b)k=0、1、2、3について、SAD16(k)<Th16||Cd1 SAD32/4<SAD16(k)<Cu1 SAD32/4、ここで、Cd1はCdよりも小さく、Cu1はCuよりも大きい。
[0103]言い換えれば、第2の条件は、第1の条件が満たされない場合、及び16×16CUサイズのためのSAD値が、16×16CUサイズのための閾値バックグラウンド値よりも小さい場合、又は16×16CUサイズのためのSAD値が、32×32CUサイズのためのSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にある場合、満たされ得る。関係する態様では、上側同種閾値はCu SAD32/4であり、下側同種閾値はCd SAD32/4である。
[0104]更に、以下の条件が、第2の分岐(即ち、CU32+CU16分岐)のための第2の条件の一部として使用され得る:m=0、...、15について、Cd2 SAD16/4<SAD8(m)<Cu2 SAD16/4。
[0105]言い換えれば、この随意の、追加の条件は、8×8CUサイズのためのSAD値が、16×16CUサイズのためのSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にある場合、満たされる。関係する態様では、上側同種閾値はCu2 SAD16/4であり、下側同種閾値はCd2 SAD16/4である。更なる関係する態様では、16個のm値は、32×32LCU500の16個の8×8サブブロックに対応し得る。
[0106]他の場合(即ち、第1及び第2の条件が満たされない場合)、各CTUの最良のコード化モード及びCU/PU/TU構造を識別するために、第3の分岐(即ち、CU16+CU8分岐)が使用され得る。
[0107]図5Bは、DMDへの1つのLCUベース手法に関し、図5Aなどに示されている分岐など、分岐のための例示的な条件を用いたプロセス550のための流れ図を示す。
[0108]例えば、以下のバックグラウンド(BG:background)条件(例えば、ステップ560におけるCond_BG)が満たされるかどうかを決定するために、SATDレート歪み最適化(RDO:rate-distortion optimization)が実装され得る:(a)全てのiについて、SAD16×16(i)<Th16;又は(b)SAD32×32<Th32
[0109]ステップ560におけるCond_BGは、32×32分岐(ステップ562)のための条件に対応することに留意されたい。ステップ560におけるCond_BGが満たされない場合、プロセス550はステップ570に移動し、ここで、プロセス550は、第1の同種条件(例えば、Cond_32vs16_Hom1)が満たされるかどうかを決定することを伴う。例えば、Cond_32vs16_Hom1は、(a)Sum(SAD16×16(i))<0.6SAD32×32;又は(b)全てのiについて、ASAD32×32/4<SAD16×16(i)<BSAD32×32/4&&SAD32×32<Ch32、ここで、A、B、CはQPに依存する定数である、を含み得る。
[0110]Cは、例えば、1.0から3.0まで(qp21〜qp37)にわたり得る。Bは、例えば、1.3から3.0まで(qp21〜qp37)にわたり得る。Aは、例えば、0.7から0.3まで(qp21〜qp37)にわたり得る。A、B及びCのこれらの値は例にすぎず、特定の適用例又はコンテキストに応じて他の値が実装され得ることに留意されたい。
[0111]ステップ570におけるCond_32vs16_Hom1が満たされる場合、プロセス550はステップ572に進み、ここで、プロセス550は、第2の同種条件(例えば、Cond_Hom2)が満たされるかどうかを決定することを伴う。例えば、Cond_Hom2は以下を含み得る:「ASAD32×32/4<SAD16×16(i)<BSAD32×32/4」を満たすiの値の数が2よりも大きい。
[0112]ステップ572におけるCond_Hom2が満たされる場合、プロセス550は、ステップ574における32×32分岐に進む。ステップ572におけるCond_Hom2が満たされない場合、プロセスは、ステップ582における16×16分岐に進む。
[0113]ステップ570におけるCond_32vs16_Hom1が満たされない場合、プロセス550は、ステップ580に進み、ここで、プロセス550は、分岐決定条件(例えば、Cond_16vs8)が満たされるかどうかを決定することを伴う。例えば、Cond_16vs8は以下を含み得る:Sum(SAD16×16(i))<SAD32×32
[0114]ステップ580におけるCond_16vs8が満たされる場合、プロセス550は、ステップ582における16×16分岐に進む。他の場合、プロセス550は、ステップ590における8×8分岐に進む。
[0115]図6を参照すると、LCU600のためのDMD分岐610への2分岐ベース手法の例示的な例が与えられ、ここにおいて、LCU600のサイズは32×32である。
[0116]図示の例では、2つの分岐は、32×32及び16×16CUサイズSATDのための第1の分岐622と、16×16及び8×8CUサイズSATDのための第2の分岐624とを含み得る。分岐は、他のCUサイズ及び/又はそれらの組合せに基づき得ることに再び留意されたい。
[0117]引き続き図6に示されている例を参照すると、第1の条件が、第1の分岐(即ち、CU32+CU16分岐)のために定義され得る。第1の条件は以下を含み得る:(a)SAD32<Th32;又は(b)k=0、1、2、3について、Cd SAD32/4<SAD16(k)<Cu SAD32/4。
[0118]言い換えれば、第1の条件は、32×32CUサイズのためのSAD値が、32×32CUサイズのための閾値バックグラウンド値よりも小さい場合、又は(例えば、16×16のCUサイズを有する)32×32ブロックのサブブロックのためのSAD値が、32×32CUサイズのためのSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にある場合、満たされ得る。関係する態様では、上側同種閾値はCu SAD32/4であり、ここで、Cuは1よりも大きく、下側同種閾値はCd SAD32/4であり、ここで、Cdは1よりも小さい。更なる関係する態様では、4つのk値は、32×32LCU600の4つの16×16サブブロックに対応し得る。
[0119]他の場合(即ち、第1の条件が満たされない場合)、各CTUの最良のコード化モード及びCU/PU/TU構造を識別するために、第2の分岐(即ち、CU16+CU8分岐)が使用され得る。
[0120]閾値バックグラウンド値(例えば、32×32CUサイズのためのTh32)は、固定又は適応型であり得ることに留意されたい。固定閾値バックグラウンド値の場合、予め定義されたQP依存閾値などを実装し得る。
[0121]適応閾値バックグラウンド値の場合、1つは、ビデオブロックの距離メトリック値を決定し、利用することと、その距離メトリック値を閾値バックグラウンド値と比較することとを行うように構成された変換処理構成要素(例えば、図2の変換処理ユニット52など)を実装し得る。距離メトリック値は、ビデオブロック内のビデオ情報が前のフレームから現在フレームまでに変化した程度の指示を与え得る。ビデオ情報がまったく変化しなかったか、又はほとんど変化しなかった場合、距離メトリック値は、ゼロ又はゼロに近くなり得る。例えば、距離メトリック値は、あるフレームから次のフレームまでの画素情報の変化を示し得る、SAD値であるか又はそれに基づき得る。別の例では、大きいCUのSAD値が、ブロックの個々の、より小さいCU(例えば、それの8×8CU)のSAD値を加算することによって決定され得る。また別の例では、距離メトリック値は、あるフレームから次のフレームまでの画素情報の変化を更に示し得る、2乗誤差の和であり得る。距離メトリック値は、あるフレームから次のフレームまでの画素情報の変化の他の指示にも基づき得る。例えば、変換処理ユニット52は、現在ブロックの距離メトリック値を前のブロックと比較することによって、閾値バックグラウンド値を適応的に調整するように更に構成され得る。
[0122]以下で更に詳細に説明するように、例えば、分数ペル探索(fractional-pel search)をスキップすること、参照フレーム0のみを使用すること、及び/又はイントラモードをスキップすることによって、上記で説明したバックグラウンド決定条件と組み合わせて、更なる複雑さ低減が達成され得ることに更に留意されたい。
[0123]図2の例示的なビデオエンコーダ20を参照すると、変換処理ユニット52が、ビデオブロックがバックグラウンドであると決定した場合、ビデオエンコーダ20は、そのブロックのためのそれのモード決定及び動き推定の複雑さを低減し得る。例えば、動き推定ユニット42は、幾つかの異なる方法でバックグラウンドブロックのための動き推定を簡略化するように構成され得る。例えば、動き推定ユニット42は、バックグラウンドブロックのためのより少ない数の参照フレームを探索し得る。より少ない数の参照フレームを探索するために、動き推定ユニット42は、以下の方法:(1)参照フレーム0のみを探索する;(2)前のフレームの予め定義された、より小さい範囲(例えば、より小さい半径)のフレームを探索する;(3)予測子のみの探索を使用する;(4)ハーフペル及び/又はクォーターペルを探索することを条件付きでスキップする;又は(5)より少ない数の参照フレームを探索するための他の技法のうちの1つ又は複数を実装し得る。
[0124]関係する態様では、動き推定ユニット42が、バックグラウンドブロックのための動き推定の複雑さを低減するために予測子のみの探索を使用するとき、動き推定ユニット42は、第1の予測子(例えば、空間的及び/又は時間的予測子)を探索した後、探索改良を停止し得る。一方、フォアグラウンドブロックの場合、動き推定ユニット42は、隣接ブロック動きベクトルを探索し、最良一致のためにそれらの予測子結果を分析し、次いで、十分な結果が取得されるまで、このようにしてそれの探索を更に改良し得る。
[0125]更なる関係する態様では、動き推定ユニット42が、バックグラウンドブロックのための動き推定の複雑さを低減するために、ハーフペル及び/又はクォーターペルを探索することを条件付きでスキップするとき、動き推定ユニット42は、バックグラウンドブロックの現在フレーム中の隣接ブロックから動きベクトル予測子を生成し得る。それらの予測子は、次いで、前のフレームからのコロケートブロック中で使用され得る。各予測子は、次いで、最も適切なテストブロックを見つけ、いずれが最も近いかを決定するために、コロケートブロックを現在フレームと比較するために適用され得る。一方、フォアグラウンドブロックの場合、動き推定ユニット42は、最初にそれの焦点の中心を整数ペルロケーションに合わせ、次いで、幾つかの(例えば、9つの)線形補間ハーフペルロケーションを探索し、次いで、更に、対応する数の線形補間クォーターペルロケーションを用いてそれの探索を改良し得る。
[0126]バックグラウンドブロックのための符号化複雑さを低減することの別の例として、変換処理ユニット52が、ビデオブロックがバックグラウンドであると決定した場合、予測処理ユニット41及び/又はモード選択ユニット(図示せず)は、幾つかの異なる方法でモード決定を簡略化するように構成され得る。例えば、予測処理ユニット41は、イントラモード決定をスキップし、前に進み得る。関係する態様では、予測処理ユニット41は、CUサイズをより急速に識別し、バックグラウンドブロック内のより小さいブロックのためのモード決定をスキップし得る。例えば、32×32ブロックがバックグラウンドであると決定された場合、予測処理ユニット41は、ビデオエンコーダ20に、32×32よりも小さい、32×32ブロック内のいかなるブロックのためのモード決定をもスキップするように命令し得る。関係する態様では、モード決定を簡略化するために、予測処理ユニット41は、より少数のマージ候補をテストし得る。マージ候補は、隣接ブロックの動きベクトルを決定するために、前のフレームの様々なブロックが探索されるモード決定プロセスを指し得る。フォアグラウンドビデオブロックの場合、この探索及び決定が、例えば5回以上行われ得る。バックグラウンドビデオブロックの場合、本明細書で説明する技法は、1つ又は2つの探索及び決定を可能にし得る。
[0127]本開示の1つ又は複数の態様によれば、図7は、ビデオコード化のための例示的な方法700を示す流れ図である。図7〜図12に示されているステップのうちの1つ又は複数が、例えば、図2の前処理ユニット36、予測処理ユニット41及び/又は区分ユニット35若しくはそれらの(1つ又は複数の)構成要素によって実施され得る。関係する態様では、図7〜図12に示されているステップのうちの1つ又は複数が、例えば、図3の予測処理ユニット81又はそれの(1つ又は複数の)構成要素によって実施され得る。
[0128]図7を参照すると、方法700は、710において、CUブロックと参照フレーム中の第1の対応するブロックとの間の第1のSAD値を計算することを伴い得る。方法700は、720において、第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義することを伴い得、分岐条件は、バックグラウンド条件と同種条件とを備える。方法700は、730において、CUブロックの第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、バックグラウンド条件を検出することを伴い得る。方法700は、CUブロックのサブブロックの第2のSAD値が、第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、同種条件を検出することを伴い得る。方法700は、バックグラウンド条件又は同種条件の検出に基づいて、CUサイズの分岐を決定することを伴い得る。
[0129]図8〜図12に、随意である、方法700を実施するために必要とされない方法700の更なる動作又は態様を示す。方法700が図8〜図12の少なくとも1つのブロックを含む場合、方法700は、必ずしも、図示され得るいかなる(1つ又は複数の)後続のダウンストリームブロックをも含む必要なしに、少なくとも1つのブロックの後に終了し得る。
[0130]図8を参照すると、ブロック720は、例えば、バックグラウンド条件又は同種条件の満足を備えるように、第1の分岐のための分岐条件を定義すること(ブロック760)と、(i)サブブロックの第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)サブブロックの第2のSAD値が、第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることの満足を備えるように、第2の分岐のための分岐条件を定義すること(ブロック762)と、第1の分岐及び第2の分岐のための分岐条件の不満足を備えるように、第3の分岐のための分岐条件を定義すること(ブロック764)とを伴い得る。
[0131]図9を参照すると、ブロック720は、例えば、バックグラウンド条件又は同種条件の満足を備えるように、第1の分岐のための分岐条件を定義すること(ブロック770)と、(i)サブブロックの第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)サブブロックのサブサブブロックの第3のSAD値が、第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることの満足を備えるように、第2の分岐のための分岐条件を定義すること(ブロック772)と、第1の分岐及び第2の分岐のための分岐条件の不満足を備えるように、第3の分岐のための分岐条件を定義すること(ブロック774)とを伴い得る。
[0132]図10を参照すると、ブロック720は、例えば、バックグラウンド条件又は同種条件の満足を備えるように、第1の分岐のための分岐条件を定義すること(ブロック780)と、第1の分岐のための分岐条件の不満足を備えるように、第2の分岐のための分岐条件を定義すること(ブロック782)とを伴い得る。
[0133]引き続き図10を参照すると、方法700は、CUサイズの分岐に従ってCUサイズのサブセットを検査することに基づいて、LCUのためのDMD分岐を実施すること(ブロック790)を更に伴い得る。例えば、ブロック790は、(i)CTUのためのコード化モードを選択すること、又は(ii)LCUのためのDMD分岐に少なくとも部分的に基づいて動き推定を実施すること(ブロック792)を伴い得る。
[0134]図11を参照すると、関係する態様では、方法700は、LCUのためのDMD分岐に従ってビデオデータのブロックベース処理を実施することに基づいてビデオデータを符号化すること(ブロック800)を伴い得る。ブロックベース処理は、LCUのためのDMD分岐に基づいて予測ブロックを決定すること(802)と、ビデオデータの元の画素から予測ブロックを減算することに基づいて残差を計算すること(804)と、計算された残差を係数に順変換すること(806)と、係数を量子化し、エントロピー符号化すること(808)とを伴い得る。
[0135]図12を参照すると、更なる関係する態様では、方法700は、LCUのためのDMD分岐に従ってビデオデータのブロックベース処理を実施することに基づいてビデオデータを復号すること(ブロック810)を伴い得る。ブロックベース処理は、受信された係数をエントロピー復号し、逆量子化すること(812)と、エントロピー復号され、逆量子化された係数を逆変換することに基づいて残差を計算すること(814)と、LCUのためのDMD分岐に基づいて予測ブロックを決定すること(816)と、予測ブロックに計算された残差を加算することに基づいて、再構成された画素を形成すること(818)とを伴い得る。
[0136]1つ又は複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、1つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、又は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、あるいは(2)信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コード及び/又はデータ構造を取り出すために、1つ以上のコンピュータあるいは1つ以上のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0137]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROM又は他の光ディスクストレージ、磁気ディスク記憶装置又は他の磁気記憶装置、フラッシュメモリ又は命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)又は赤外線、無線及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL又は赤外線、無線及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)及びBlu−ray(登録商標)ディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
[0138]命令は、1つ以上のDSP、汎用マイクロプロセッサ、ASIC、FPGA又は他の等価な集積回路又はディスクリート論理回路など、1つ以上のプロセッサによって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造又は本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内に与えられるか、又は複合コーデックに組み込まれ得る。また、本技法は、1つ以上の回路又は論理要素で十分に実装され得る。
[0139]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置で実装され得る。本開示では、開示する技法を実施するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール又はユニットについて説明したが、それらの構成要素、モジュール又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び/又はファームウェアとともに、上記で説明した1つ以上のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
[0139]本開示の技法は、ワイヤレスハンドセット、集積回路(IC)又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置で実装され得る。本開示では、開示する技法を実施するように構成された機器の機能的態様を強調するために様々な構成要素、モジュール又はユニットについて説明したが、それらの構成要素、モジュール又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び/又はファームウェアとともに、上記で説明した1つ以上のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
ビデオコード化のための方法であって、
コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算することと、
前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義することと、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出することと、
前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出することと、
前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定することと
を備える、方法。
[C2]
前記上側同種閾値がC u (第1のSAD値)/4に等しく、ここにおいて、C d が1よりも大きい、
前記下側同種閾値がC d (第1のSAD値)/4に等しい、ここにおいて、C d が1よりも小さい、
C1に記載の方法。
[C3]
CUサイズの前記分岐のための前記分岐条件を定義することは、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
を備える、C1に記載の方法。
[C4]
CUサイズの前記分岐のための前記分岐条件を定義することは、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
を備える、C1に記載の方法。
[C5]
CUサイズの前記分岐のための前記分岐条件を定義することが、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義することと
を備える、C1に記載の方法。
[C6]
前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施することを更に備える、C1に記載の方法。
[C7]
(i)コード化ツリー単位(CTU)のためのコード化モードを選択すること、又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて動き推定を実施することを更に備える、C6に記載の方法。
[C8]
前記LCUのための前記DMD分岐に従って前記ビデオデータのブロックベース処理を実施することに基づいてビデオデータを符号化することを更に備え、前記ブロックベース処理が、
前記LCUのための前記DMD分岐に基づいて予測ブロックを決定することと、
前記ビデオデータの元の画素から前記予測ブロックを減算することに基づいて残差を計算することと、
計算された前記残差を係数に順変換することと、
前記係数を量子化し、エントロピー符号化することと
を備える、C6に記載の方法。
[C9]
前記LCUのための前記DMD分岐に従って前記ビデオデータのブロックベース処理を実施することに基づいてビデオデータを復号することを更に備え、前記ブロックベース処理が、
前記受信された係数をエントロピー復号し、逆量子化することと、
前記エントロピー復号され、逆量子化された係数を逆変換することに基づいて残差を計算することと、
前記LCUのための前記DMD分岐に基づいて予測ブロックを決定することと、
前記予測ブロックに前記計算された残差を加算することに基づいて、再構成された画素を形成することと
を備える、C6に記載の方法。
[C10]
ビデオコード化のための装置であって、
ビデオデータを記憶するように構成されたメモリユニットと、
前記メモリユニットと通信しているビデオエンコーダと
を備え、前記ビデオエンコーダは、
コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算することと、
前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義することと、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出することと、
前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出することと、
前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定することと
を行うように構成された、
装置。
[C11]
前記上側同種閾値がC u (第1のSAD値)/4に等しく、ここにおいて、C d が1よりも大きい、
前記下側同種閾値がC d (第1のSAD値)/4に等しい、ここにおいて、C d が1よりも小さい、
C10に記載の装置。
[C12]
前記ビデオエンコーダは、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
に基づいて、CUサイズの前記分岐のための前記分岐条件を定義するように構成された、C10に記載の装置。
[C13]
前記ビデオエンコーダは、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
に基づいて、CUサイズの前記分岐のための前記分岐条件を定義するように構成された、C10に記載の装置。
[C14]
前記ビデオエンコーダが、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義することと
に基づいて、CUサイズの前記分岐のための前記分岐条件を定義するように構成された、C10に記載の装置。
[C15]
前記ビデオエンコーダが、前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施するように更に構成された、C10に記載の装置。
[C16]
前記ビデオエンコーダが、(i)コード化ツリー単位(CTU)のためのコード化モードを選択すること、又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて動き推定を実施することを行うように更に構成された、C15に記載の装置。
[C17]
ビデオコード化のための装置であって、
コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算するための手段と、
前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義するための手段と、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出するための手段と、
前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出するための手段と、
前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定するための手段と
を備える、装置。
[C18]
前記上側同種閾値がC u (第1のSAD値)/4に等しく、ここにおいて、C d が1よりも大きい、
前記下側同種閾値がC d (第1のSAD値)/4に等しい、ここにおいて、C d が1よりも小さい、
C17に記載の装置。
[C19]
CUサイズの分岐のための分岐条件を定義するための前記手段は、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義するための手段と、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義するための手段と、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義するための手段と
を備える、C17に記載の装置。
[C20]
CUサイズの分岐のための分岐条件を定義するための前記手段は、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義するための手段と、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義するための手段と、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義するための手段と
を備える、C17に記載の装置。
[C21]
CUサイズの分岐のための分岐条件を定義するための前記手段は、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義するための手段と、
前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義するための手段と
を備える、C17に記載の装置。
[C22]
前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施するための手段を更に備える、C17に記載の装置。
[C23]
(i)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて、コード化ツリー単位(CTU)のためのコード化モードを選択するための手段又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて、動き推定を実施するための手段のうちの少なくとも1つを更に備える、C22に記載の装置。
[C24]
実行されたとき、装置に、
コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算することと、
前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義することと、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出することと、
前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出することと、
前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定することと
を備えるプロセスを実施させるコードを備える非一時的コンピュータ可読媒体。
[C25]
前記上側同種閾値がC u (第1のSAD値)/4に等しく、ここにおいて、C d が1よりも大きい、
前記下側同種閾値がC d (第1のSAD値)/4に等しい、ここにおいて、C d が1よりも小さい、
C24に記載の非一時的コンピュータ可読媒体。
[C26]
実行されたとき、前記装置に、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
に基づいて、CUサイズの前記分岐のための前記分岐条件を定義させるコードを更に備える、C24に記載の非一時的コンピュータ可読媒体。
[C27]
実行されたとき、前記装置に、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
(i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
に基づいて、CUサイズの前記分岐のための前記分岐条件を定義させるコードを更に備える、C24に記載の非一時的コンピュータ可読媒体。
[C28]
実行されたとき、前記装置に、
前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義することと
に基づいて、CUサイズの前記分岐のための前記分岐条件を定義させるコードを更に備える、C24に記載の非一時的コンピュータ可読媒体。
[C29]
実行されたとき、前記装置に、前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施させるコードを更に備える、C24に記載の非一時的コンピュータ可読媒体。
[C30]
実行されたとき、前記装置に、(i)コード化ツリー単位(CTU)のためのコード化モードを選択すること又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて動き推定を実施することを行わせるコードを更に備える更に備える、C24に記載の非一時的コンピュータ可読媒体。

Claims (30)

  1. ビデオコード化のための方法であって、
    コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算することと、
    前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義することと、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
    前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出することと、
    前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出することと、
    前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定することと
    を備える、方法。
  2. 前記上側同種閾値がCu (第1のSAD値)/4に等しく、ここにおいて、Cdが1よりも大きい、
    前記下側同種閾値がCd (第1のSAD値)/4に等しい、ここにおいて、Cdが1よりも小さい、
    請求項1に記載の方法。
  3. CUサイズの前記分岐のための前記分岐条件を定義することは、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
    を備える、請求項1に記載の方法。
  4. CUサイズの前記分岐のための前記分岐条件を定義することは、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
    を備える、請求項1に記載の方法。
  5. CUサイズの前記分岐のための前記分岐条件を定義することが、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義することと
    を備える、請求項1に記載の方法。
  6. 前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施することを更に備える、請求項1に記載の方法。
  7. (i)コード化ツリー単位(CTU)のためのコード化モードを選択すること、又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて動き推定を実施することを更に備える、請求項6に記載の方法。
  8. 前記LCUのための前記DMD分岐に従って前記ビデオデータのブロックベース処理を実施することに基づいてビデオデータを符号化することを更に備え、前記ブロックベース処理が、
    前記LCUのための前記DMD分岐に基づいて予測ブロックを決定することと、
    前記ビデオデータの元の画素から前記予測ブロックを減算することに基づいて残差を計算することと、
    計算された前記残差を係数に順変換することと、
    前記係数を量子化し、エントロピー符号化することと
    を備える、請求項6に記載の方法。
  9. 前記LCUのための前記DMD分岐に従って前記ビデオデータのブロックベース処理を実施することに基づいてビデオデータを復号することを更に備え、前記ブロックベース処理が、
    前記受信された係数をエントロピー復号し、逆量子化することと、
    前記エントロピー復号され、逆量子化された係数を逆変換することに基づいて残差を計算することと、
    前記LCUのための前記DMD分岐に基づいて予測ブロックを決定することと、
    前記予測ブロックに前記計算された残差を加算することに基づいて、再構成された画素を形成することと
    を備える、請求項6に記載の方法。
  10. ビデオコード化のための装置であって、
    ビデオデータを記憶するように構成されたメモリユニットと、
    前記メモリユニットと通信しているビデオエンコーダと
    を備え、前記ビデオエンコーダは、
    コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算することと、
    前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義することと、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
    前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出することと、
    前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出することと、
    前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定することと
    を行うように構成された、
    装置。
  11. 前記上側同種閾値がCu (第1のSAD値)/4に等しく、ここにおいて、Cdが1よりも大きい、
    前記下側同種閾値がCd (第1のSAD値)/4に等しい、ここにおいて、Cdが1よりも小さい、
    請求項10に記載の装置。
  12. 前記ビデオエンコーダは、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
    に基づいて、CUサイズの前記分岐のための前記分岐条件を定義するように構成された、請求項10に記載の装置。
  13. 前記ビデオエンコーダは、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
    に基づいて、CUサイズの前記分岐のための前記分岐条件を定義するように構成された、請求項10に記載の装置。
  14. 前記ビデオエンコーダが、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義することと
    に基づいて、CUサイズの前記分岐のための前記分岐条件を定義するように構成された、請求項10に記載の装置。
  15. 前記ビデオエンコーダが、前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施するように更に構成された、請求項10に記載の装置。
  16. 前記ビデオエンコーダが、(i)コード化ツリー単位(CTU)のためのコード化モードを選択すること、又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて動き推定を実施することを行うように更に構成された、請求項15に記載の装置。
  17. ビデオコード化のための装置であって、
    コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算するための手段と、
    前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義するための手段と、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
    前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出するための手段と、
    前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出するための手段と、
    前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定するための手段と
    を備える、装置。
  18. 前記上側同種閾値がCu (第1のSAD値)/4に等しく、ここにおいて、Cdが1よりも大きい、
    前記下側同種閾値がCd (第1のSAD値)/4に等しい、ここにおいて、Cdが1よりも小さい、
    請求項17に記載の装置。
  19. CUサイズの分岐のための分岐条件を定義するための前記手段は、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義するための手段と、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義するための手段と、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義するための手段と
    を備える、請求項17に記載の装置。
  20. CUサイズの分岐のための分岐条件を定義するための前記手段は、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義するための手段と、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義するための手段と、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義するための手段と
    を備える、請求項17に記載の装置。
  21. CUサイズの分岐のための分岐条件を定義するための前記手段は、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義するための手段と、
    前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義するための手段と
    を備える、請求項17に記載の装置。
  22. 前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施するための手段を更に備える、請求項17に記載の装置。
  23. (i)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて、コード化ツリー単位(CTU)のためのコード化モードを選択するための手段又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて、動き推定を実施するための手段のうちの少なくとも1つを更に備える、請求項22に記載の装置。
  24. 実行されたとき、装置に、
    コード化単位(CU)ブロックと参照フレーム中の第1の対応するブロックとの間の第1の絶対差分和(SAD)値を計算することと、
    前記第1のSAD値に少なくとも部分的に基づいて、CUサイズの分岐のための分岐条件を定義することと、前記分岐条件が、バックグラウンド条件と同種条件とを備える、
    前記CUブロックの前記第1のSAD値が第1の閾値バックグラウンド値よりも小さいことに応答して、前記バックグラウンド条件を検出することと、
    前記CUブロックのサブブロックの第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあることに応答して、前記同種条件を検出することと、
    前記バックグラウンド条件又は前記同種条件の前記検出に基づいて、前記CUサイズの前記分岐を決定することと
    を備えるプロセスを実施させるコードを備える非一時的コンピュータ可読媒体。
  25. 前記上側同種閾値がCu (第1のSAD値)/4に等しく、ここにおいて、Cdが1よりも大きい、
    前記下側同種閾値がCd (第1のSAD値)/4に等しい、ここにおいて、Cdが1よりも小さい、
    請求項24に記載の非一時的コンピュータ可読媒体。
  26. 実行されたとき、前記装置に、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックの前記第2のSAD値が、前記第1のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
    に基づいて、CUサイズの前記分岐のための前記分岐条件を定義させるコードを更に備える、請求項24に記載の非一時的コンピュータ可読媒体。
  27. 実行されたとき、前記装置に、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    (i)前記サブブロックの前記第2のSAD値が第2の閾値バックグラウンド値よりも小さいこと、又は(ii)前記サブブロックのサブサブブロックの前記第3のSAD値が、前記第2のSAD値に少なくとも部分的に基づく上側同種閾値と下側同種閾値との間にあること
    の満足を備えるように、第2の分岐のための前記分岐条件を定義することと、
    前記第1の分岐及び前記第2の分岐のための前記分岐条件の不満足を備えるように、第3の分岐のための前記分岐条件を定義することと
    に基づいて、CUサイズの前記分岐のための前記分岐条件を定義させるコードを更に備える、請求項24に記載の非一時的コンピュータ可読媒体。
  28. 実行されたとき、前記装置に、
    前記バックグラウンド条件又は前記同種条件の満足を備えるように、第1の分岐のための前記分岐条件を定義することと、
    前記第1の分岐のための前記分岐条件の不満足を備えるように、第2の分岐のための前記分岐条件を定義することと
    に基づいて、CUサイズの前記分岐のための前記分岐条件を定義させるコードを更に備える、請求項24に記載の非一時的コンピュータ可読媒体。
  29. 実行されたとき、前記装置に、前記CUサイズの前記分岐に従って前記CUサイズのサブセットを検査することに基づいて、最大コード化単位(LCU)のための動的モード決定(DMD)分岐を実施させるコードを更に備える、請求項24に記載の非一時的コンピュータ可読媒体。
  30. 実行されたとき、前記装置に、(i)コード化ツリー単位(CTU)のためのコード化モードを選択すること又は(ii)前記LCUのための前記DMD分岐に少なくとも部分的に基づいて動き推定を実施することを行わせるコードを更に備える更に備える、請求項24に記載の非一時的コンピュータ可読媒体。
JP2017543722A 2014-11-07 2015-10-21 動的モード決定分岐に基づく低複雑度コード化 Pending JP2017538379A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/536,342 US9654782B2 (en) 2014-11-07 2014-11-07 Low complexity coding based on dynamic mode decision branching
US14/536,342 2014-11-07
PCT/US2015/056727 WO2016073203A1 (en) 2014-11-07 2015-10-21 Low complexity coding based on dynamic mode decision branching

Publications (2)

Publication Number Publication Date
JP2017538379A true JP2017538379A (ja) 2017-12-21
JP2017538379A5 JP2017538379A5 (ja) 2018-11-15

Family

ID=54397013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543722A Pending JP2017538379A (ja) 2014-11-07 2015-10-21 動的モード決定分岐に基づく低複雑度コード化

Country Status (5)

Country Link
US (1) US9654782B2 (ja)
EP (1) EP3216218A1 (ja)
JP (1) JP2017538379A (ja)
CN (1) CN107113433B (ja)
WO (1) WO2016073203A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015085575A1 (en) 2013-12-13 2015-06-18 Mediatek Singapore Pte. Ltd. Methods for background residual prediction
GB2557544B (en) * 2015-09-11 2021-12-01 Kt Corp Method and device for processing video signal
GB2554680B (en) * 2016-10-03 2020-04-01 Advanced Risc Mach Ltd Selecting encoding options
GB2567835B (en) 2017-10-25 2020-11-18 Advanced Risc Mach Ltd Selecting encoding options
US11190810B2 (en) 2018-01-26 2021-11-30 Samsung Electronics Co., Ltd. Device and method for compressing image data using quantization parameter and entropy tables
CN115278260A (zh) * 2022-07-15 2022-11-01 重庆邮电大学 基于空时域特性的vvc快速cu划分方法及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245672A1 (en) * 2009-03-03 2010-09-30 Sony Corporation Method and apparatus for image and video processing
CN107105299B (zh) 2010-07-21 2020-05-22 威勒斯媒体国际有限公司 画面编码和解码
CN102510497B (zh) * 2011-10-18 2015-07-29 清华大学 基于分级量化的质量可伸缩的三维网格编码方法及装置
JP2013114517A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US11178407B2 (en) 2012-11-19 2021-11-16 Texas Instruments Incorporated Adaptive coding unit (CU) partitioning based on image statistics

Also Published As

Publication number Publication date
CN107113433A (zh) 2017-08-29
EP3216218A1 (en) 2017-09-13
CN107113433B (zh) 2020-02-18
US20160134877A1 (en) 2016-05-12
WO2016073203A1 (en) 2016-05-12
US9654782B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
US9883203B2 (en) Adaptive overlapped block motion compensation
JP5833249B2 (ja) ビデオコーディングのための適応的な中心帯域オフセットフィルタ
US9083983B2 (en) Motion vector predictor candidate clipping removal for video coding
US9338451B2 (en) Common spatial candidate blocks for parallel motion estimation
JP5847958B2 (ja) コンテキスト適応型バイナリ算術コード化のためのコンテキスト削減
JP5902307B2 (ja) イントラモードビデオコーディング
US20130272409A1 (en) Bandwidth reduction in video coding through applying the same reference index
US10334253B2 (en) Sample adaptive offset scaling based on bit-depth
JP6151446B2 (ja) ビデオコーディングのための高精度明示的重み付け予測
US20150071357A1 (en) Partial intra block copying for video coding
US20150016533A1 (en) Intra motion compensation extensions
US20130272412A1 (en) Common motion information candidate list construction process
JP2017513311A (ja) 残差差分パルス符号変調のための量子化プロセス
JP6042526B2 (ja) ビデオコーディングのための最後の位置コーディングのためのコンテキストの導出
JP2015516768A (ja) 変換係数コーディング
CN107113433B (zh) 基于动态模式决策分支化的低复杂性译码
JP2015516764A (ja) ビデオコーディングにおけるデブロッキングフィルタのためのベータオフセット制御
CN111149361B (zh) 具有在用于视频译码的随机存取配置中的未来参考帧的自适应图片群组结构
US9706210B2 (en) Low complexity coding based on dynamic mode decision branching for largest coding units

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200609