一実施形態による映像復号方法は、映像から分割された現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する段階と、前記三角予測モード関連情報により、前記現在ブロックを2つの三角パーティションに分割する段階と、前記現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する段階と、前記マージリストに含まれた動きベクトルのうち、前記三角予測モード関連情報に含まれた動きベクトルを示す情報により、前記2つの三角パーティションのための動きベクトルを選択する段階と、前記選択した動きベクトルに基づき、前記2つの三角パーティションに対応する予測ブロックを参照映像から獲得する段階と、前記予測ブロックの結合によって獲得される最終予測ブロックに基づき、前記現在ブロックを復元する段階と、を含むものである。
一実施形態において、前記レギュラーマージモードにおけるマージリスト構築方法は、前記現在ブロックと空間的に関係する空間的ブロック、及び前記現在ブロックと時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築する方法でもある。
前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの大きさと、第1臨界値とを比較する段階と、前記比較結果が所定条件を満足すれば、前記現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する段階と、を含むものである。
前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの高さが、前記第1臨界値より小さく、前記現在ブロックの幅が、前記第1臨界値より小さい場合、前記三角予測モード関連情報を、前記ビットストリームから獲得する段階を含むものである。
前記比較する段階は、前記現在ブロックの大きさと、第2臨界値とを比較する段階を含み、前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの大きさと、前記第1臨界値との比較結果、及び前記現在ブロックの大きさと、第2臨界値との比較結果が所定条件を満足すれば、前記三角予測モード関連情報を、ビットストリームから獲得する段階を含むものである。
前記現在ブロックの大きさと、第2臨界値とを比較する段階は、前記現在ブロックの高さと幅とを乗じた値と、前記第2臨界値とを比較する段階を含むものである。
前記第1臨界値は、前記第2臨界値よりも大きくなる。
前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの予測モードが、インター・イントラ結合モードではない場合、前記三角予測モード関連情報を、前記ビットストリームから獲得する段階を含むものである。
前記現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、前記三角予測モード関連情報は、前記ビットストリームから獲得されず、前記映像復号方法は、前記残差動きベクトルを利用するマージモードにより、前記現在ブロックを復元する段階をさらに含むものである。
前記現在ブロックを復元する段階は、前記2つの三角パーティションそれぞれに対応する予測ブロックに含まれたサンプル値の加重和により、前記最終予測ブロックを生成する段階を含むものである。
前記現在ブロックを2つの三角パーティションに分割する段階は、前記現在ブロックの左上側コーナーから、前記現在ブロックの右下側コーナーに沿い、前記現在ブロックを分割するか、あるいは前記現在ブロックの右上側コーナーから、前記現在ブロックの左下側コーナーに沿い、前記現在ブロックを分割する段階を含むものである。
一実施形態による映像復号装置は、映像から分割された現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得するエントロピー復号部と、前記三角予測モード関連情報により、前記現在ブロックを2つの三角パーティションに分割し、前記現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築し、前記マージリストに含まれた動きベクトルのうち、前記三角予測モード関連情報に含まれた動きベクトルを示す情報により、前記2つの三角パーティションのための動きベクトルを選択し、前記選択した動きベクトルに基づき、前記2つの三角パーティションに対応する予測ブロックを参照映像から獲得し、前記予測ブロックの結合によって獲得される最終予測ブロックに基づき、前記現在ブロックを復元する予測復号部と、を含むものである。
一実施形態による映像符号化方法は、映像から分割された現在ブロックの予測モードを三角予測モードに決定する段階と、前記現在ブロックを2つの三角パーティションに分割する段階と、前記現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する段階と、前記マージリストに含まれた動きベクトルのうち、前記2つの三角パーティションのための動きベクトルを選択する段階と、前記選択された動きベクトルを示す情報を含む三角予測モード関連情報を含むビットストリームを生成する段階と、を含むものである。
前記現在ブロックの予測モードを三角予測モードに決定する段階は、前記現在ブロックの大きさと、第1臨界値とを比較する段階と、前記比較結果が所定条件を満足すれば、前記現在ブロックの予測モードを三角予測モードに決定する段階と、を含むものである。
本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それらについて、詳細な説明を介して詳細に説明する。しかし、それらは、本開示の実施形態について限定するものではなく、本開示は、さまざまな実施形態の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものであると理解されなければならない。
本実施形態についての説明において、関連公知技術に係わる具体的な説明が、本開示の要旨を必要以上に不明確にしうると判断される場合、その詳細な説明を省略する。また、明細書の説明過程において利用される数(例えば、第1、第2など)は、1つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
また、本明細書において、一構成要素が他の構成要素と「連結される」あるいは「接続される」というように言及されたときには、前記構成要素が、前記他の構成要素と直接連結されるか、あるいは直接接続されもするが、特別に反対となる記載が存在しない以上、中間に他の構成要素を媒介して連結されるか、あるいは接続されもすると理解されなければならないのである。
また、本明細書において、「~部(ユニット)」、「モジュール」というように表現される構成要素は、2個以上の構成要素が1つの構成要素に合わされるか、または1つの構成要素がさらに細分化された機能別に、2個以上に分化されもする。また、以下において説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち、一部または全部の機能を追加して遂行することもでき、該構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素により、専用担当されて遂行されうるということは、言うまでもない。
また、本明細書において、「映像(image)」または「ピクチャ」は、静止映像を意味しうる。または、「映像」または「ピクチャ」は、ビデオを構成するフレームやビデオそれ自体も意味しうる。
また、本明細書において、「サンプル」または「信号」は、映像のサンプリング位置に割り当てられたデータであり、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも1つのサンプルを含む単位をブロックと定義することができる。
以下においては、図1ないし図20を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づく映像符号化方法及びその装置、映像復号方法及びその装置が開示される。
図1は、一実施形態による映像復号装置100のブロック図を図示する。
映像復号装置100は、ビットストリーム獲得部110及び復号部120を含んでもよい。ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサを含んでもよい。また、ビットストリーム獲得部110及び復号部120は、少なくとも1つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。
ビットストリーム獲得部110は、ビットストリームを受信することができる。該ビットストリームは、後述される映像符号化装置200が映像を符号化した情報を含む。また、ビットストリームは、映像符号化装置200からも送信される。映像符号化装置200及び映像復号装置100は、有線または無線で連結され、ビットストリーム獲得部110は、有線または無線を介し、ビットストリームを受信することができる。ビットストリーム獲得部110は、光学メディア、ハードディスクのような記録媒体からビットストリームを受信することができる。復号部120は、受信されたビットストリームから獲得された情報に基づき、映像を復元することができる。復号部120は、映像を復元するためのシンタックスエレメントをビットストリームから獲得することができる。復号部120は、シンタックスエレメントに基づき、映像を復元することができる。
映像復号装置100の動作について詳細に説明すれば、ビットストリーム獲得部110は、ビットストリームを受信することができる。
映像復号装置100は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する動作を遂行することができる。そして、映像復号装置100は、符号化単位の分割規則を決定する動作を遂行することができる。また、映像復号装置100は、分割形態モードに対応するビンストリング、及び前記分割規則のうち少なくとも一つに基づき、符号化単位を複数の符号化単位に分割する動作を遂行することができる。映像復号装置100は、分割規則を決定するために、符号化単位の幅、及び高さの比率による、前記符号化単位の大きさの許容可能な第1範囲を決定することができる。映像復号装置100は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位の大きさの許容可能な第2範囲を決定することができる。
以下においては、本開示の一実施形態により、符号化単位の分割について詳細に説明する。
まず、1枚のピクチャは、1以上のスライス、あるいは1以上のタイルにも分割される。1つのスライス、または1つのタイルは、1以上の最大符号化単位(CTU:coding tree unit)のシーケンスでもある。最大符号化単位(CTU)と対比される概念として、最大符号化ブロック(CTB:coding tree block)がある。
最大符号化ブロック(CTB)は、NxN個のサンプルを含むNxNブロックを意味する(Nは、整数である)。各カラー成分は、1以上の最大符号化ブロックにも分割される。
ピクチャが3個のサンプルアレイ(Y,Cr,Cb成分別サンプルアレイ)を有する場合、最大符号化単位(CTU)とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの2個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがモノクロームピクチャである場合、最大符号化単位とは、モノクロームサンプルの最大符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、最大符号化単位とは、当該ピクチャと、該ピクチャのサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。
1つの最大符号化ブロック(CTB)は、MxN個のサンプルを含むMxN符号化ブロック(coding block)にも分割される(M、Nは、整数である)。
ピクチャがY,Cr,Cb成分別サンプルアレイを有する場合、符号化単位(CU:coding unit)とは、ルマサンプルの符号化ブロック、及びそれに対応するクロマサンプルの2個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがモノクロームピクチャである場合、符号化単位とは、モノクロームサンプルの符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、符号化単位とは、当該ピクチャと、該ピクチャのサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。
前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、(最大)符号化単位は、当該サンプルを含む(最大)符号化ブロックと、それに対応するシンタックス構造とを含むデータ構造を意味する。しかし、当業者であるならば、(最大)符号化単位または(最大)符号化ブロックが、所定個数のサンプルを含む所定サイズのブロックを称するということを理解することができるので、以下、明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を、特別な事情がない限り、区別せずに言及する。
映像は、最大符号化単位(CTU)にも分割される。該最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。該最大符号化単位の形態は、同一サイズの正方形(square)を有することができる。しかし、それに限定されるものではない。
例えば、ビットストリームから、ルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、4x4、8x8、16x16、32x32、64x64、128x128、256x256のうち一つでもある。
例えば、ビットストリームから、2分割が可能なルマ符号化ブロックの最大サイズと、ルマブロックサイズ差とに係わる情報が獲得されうる。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と、2分割が可能な最大ルマ符号化ブロック間の大きさ差を示すことができる。従って、ビットストリームから獲得された2分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差に係わる情報とを結合すれば、ルマ最大符号化単位の大きさが決定されうる。ルマ最大符号化単位の大きさを利用すれば、クロマ最大符号化単位の大きさも決定されうる。例えば、カラーフォーマットにより、Y:Cb:Cr比率が4:2:0であるならば、クロマブロックの大きさは、ルマブロックの大きさの半分でもあり、同様に、クロマ最大符号化単位の大きさは、ルマ最大符号化単位の大きさの半分でもある。
一実施形態によれば、バイナリ分割(binary split)が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリ分割が可能なルマ符号化ブロックの最大サイズは、可変的にも決定される。それと異なり、ターナリ分割(ternary split)が可能なルマ符号化ブロックの最大サイズは、固定されうる。例えば、Iスライスにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、32x32であり、PスライスまたはBスライスにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、64x64でもある。
また、該最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づき、符号化単位に階層的に分割されうる。分割形態モード情報として、クアッド分割(quad split)いかんを示す情報、多分割いかんを示す情報、分割方向情報及び分割タイプ情報のうち少なくとも一つが、ビットストリームからも獲得される。
例えば、クアッド分割いかんを示す情報は、現在符号化単位がクアッド分割(QUAD_SPLIT)されるか、あるいはクアッド分割されないかということを示すことができる。
現在符号化単位がクアッド分割されなければ、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されないか(NO_SPLIT)、あるいはバイナリ/ターナリ分割されるかということを示すことができる。
現在符号化単位がバイナリ分割されるか、あるいはターナリ分割されれば、分割方向情報は、現在符号化単位が水平方向または垂直方向のうち一つに分割されることを示す。
現在符号化単位が水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位をバイナリ分割またはターナリ分割で分割することを示す。
分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定されうる。現在符号化単位が水平方向にバイナリ分割される場合の分割モードは、バイナリ水平分割(SPLIT_BT_HOR)に、水平方向にターナリ分割される場合の分割モードは、ターナリ水平分割(SPLIT_TT_HOR)に、垂直方向にバイナリ分割される場合の分割モードは、バイナリ垂直分割(SPLIT_BT_VER)に、垂直方向にターナリ分割される場合の分割モードは、ターナリ垂直分割(SPLIT_BT_VER)に決定されうる。
映像復号装置100は、ビットストリームから、分割形態モード情報を、1つのビンストリングから獲得することができる。映像復号装置100が受信したビットストリームの形態は、fixed length binary code、unary code、truncated unary code、事前に決定されたバイナリコードなどを含んでもよい。該ビンストリングは、情報を2進数の羅列で示したものである。該ビンストリングは、少なくとも1ビットによっても構成される。映像復号装置100は、分割規則に基づき、ビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置100は、1つのビンストリングに基づき、符号化単位をクアッド分割するか、クアッド分割しないか、あるいは分割方向及び分割タイプを決定することができる。
符号化単位は、最大符号化単位より小さいか、あるいはそれと同じでもある。例えば最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。該最大符号化単位に係わる分割形態モード情報が、分割されないということを示す場合、該最大符号化単位で決定される符号化単位は、最大符号化単位と同じ大きさを有する。該最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、該最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モード情報が分割を示す場合、該符号化単位は、さらに小サイズの符号化単位にも分割される。ただし、映像の分割は、それらに限定されるものではなく、最大符号化単位及び符号化単位は、区別されないものでもある。符号化単位の分割については、図3ないし図16でさらに詳細に説明する。
また、符号化単位から、予測のための1以上の予測ブロックが決定されうる。該予測ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。また、該符号化単位から、変換のための1以上の変換ブロックが決定されうる。該変換ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。
該変換ブロックと該予測ブロックとの形態及び大きさは、互いに関係ないのである。
他の実施形態において、予測ブロックとして符号化単位が利用され、予測が行われうる。また、変換ブロックとして符号化単位が利用され、変換が行われうる。
符号化単位の分割については、図3ないし図16でさらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち一つを示すことができる。また、現在ブロックまたは現在符号化単位は、現在、復号または符号化が進められるブロック、または現在分割が進められているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。該周辺ブロックは、現在ブロックから、空間的または時間的に隣接しうる。該周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち一つに位置することができる。
図3は、一実施形態により、映像復号装置100が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
ブロック形態は、4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nを含んでもよい。ここで、Nは、正の整数でもある。該ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを示す情報である。
該符号化単位の形態は、正方形(square)及び非正方形(non-square)を含んでもよい。該符号化単位の幅及び高さの長さが同じである場合(すなわち、符号化単位のブロック形態が4Nx4Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を正方形と決定することができる。映像復号装置100は、符号化単位の形態を非正方形とも決定することができる。
符号化単位の幅及び高さの長さが異なる場合(すなわち、符号化単位のブロック形態が、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を非正方形と決定することができる。該符号化単位の形態が非正方形である場合、映像復号装置100は、符号化単位のブロック形態情報において、幅及び高さの比率を、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32、32:1のうち少なくとも一つに決定することができる。また、符号化単位の幅の長さ、及び高さの長さに基づき、映像復号装置100は、符号化単位が水平方向であるか、あるいは垂直方向であるかということを決定することができる。また、符号化単位の幅の長さ、高さの長さ、または広さのうち少なくとも一つに基づき、映像復号装置100は、符号化単位の大きさを決定することができる。
一実施形態により、映像復号装置100は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置100が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定されうる。
映像復号装置100は、ビットストリームから、分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、映像復号装置100及び映像符号化装置200は、ブロック形態情報に基づき、事前に約束された分割形態モード情報を決定することができる。映像復号装置100は、最大符号化単位または最小符号化単位につき、事前に約束された分割形態モード情報を決定することができる。例えば、映像復号装置100は、最大符号化単位につき、分割形態モード情報をクアッド分割に決定することができる。また、映像復号装置100は、最小符号化単位につき、分割形態モード情報を「分割せず」と決定することができる。具体的には、映像復号装置100は、最大符号化単位の大きさを256x256に決定することができる。映像復号装置100は、事前に約束された分割形態モード情報を、クアッド分割に決定することができる。該クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置100は、分割形態モード情報に基づき、256x256サイズの最大符号化単位から、128x128サイズの符号化単位を獲得することができる。また、映像復号装置100は、最小符号化単位の大きさを4x4に決定することができる。映像復号装置100は、最小符号化単位につき、「分割せず」を示す分割形態モード情報を獲得することができる。
一実施形態により、映像復号装置100は、現在符号化単位が正方形状であることを示すブロック形態情報を利用することができる。例えば、映像復号装置100は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは4個の符号化単位に分割するかということを決定することができる。図3を参照すれば、現在符号化単位300のブロック形態情報が、正方形の形態を示す場合、復号部120は、分割されないということを示す分割形態モード情報により、現在符号化単位300と同一サイズを有する符号化単位310aを分割しないか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位310b,310c,310d,310e,310fなどを決定することができる。
図3を参照すれば、映像復号装置100は、一実施形態により、垂直方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。映像復号装置100は、水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。映像復号装置100は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を、垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。映像復号装置100は、一実施形態により、垂直方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した3つの符号化単位310eを決定することができる。映像復号装置100は、水平方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した3つの符号化単位310fを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モード情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定の分割形態は、以下において、多様な実施形態を介して具体的に説明する。
図4は、一実施形態により、映像復号装置100が非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態により、映像復号装置100は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。映像復号装置100は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形の形態を示す場合、映像復号装置100は、分割されないということを示す分割形態モード情報により、現在符号化単位400または450と同一サイズを有する符号化単位410または460を決定するか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位420a,420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下において、多様な実施形態を介して具体的に説明する。
一実施形態により、映像復号装置100は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、該分割形態モード情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示すことができる。図4を参照すれば、該分割形態モード情報が2つの符号化単位に、現在符号化単位400または450が分割されることを示す場合、映像復号装置100は、該分割形態モード情報に基づき、現在符号化単位400または450を分割し、現在符号化単位に含まれる2つの符号化単位420a,420bまたは470a,470bを決定することができる。
一実施形態により、映像復号装置100が分割形態モード情報に基づき、非正方形の形態の現在符号化単位400または450を分割する場合、映像復号装置100は、非正方形の現在符号化単位400または450の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置100は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができる。
一実施形態により、該分割形態モード情報が、奇数個のブロックに符号化単位を分割(ターナリ分割)することを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、該分割形態モード情報が3個の符号化単位に、現在符号化単位400または450を分割することを示す場合、映像復号装置100は、現在符号化単位400または450を、3個の符号化単位430a,430b,430c,480a,480b,480cに分割することができる。
一実施形態により、現在符号化単位400または450の幅及び高さの比率が、4:1または1:4でもある。幅及び高さの比率が4:1である場合、幅の長さが高さの長さより長いので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が1:4である場合、幅の長さが高さの長さより短いので、ブロック形態情報は、垂直方向でもある。映像復号装置100は、分割形態モード情報に基づき、現在符号化単位を奇数個のブロックに分割することを決定することができる。また、映像復号装置100は、現在符号化単位400または450のブロック形態情報に基づき、現在符号化単位400または450の分割方向を決定することができる。例えば、現在符号化単位400が垂直方向である場合、映像復号装置100は、現在符号化単位400を水平方向に分割し、符号化単位430a,430b,430cを決定することができる。また、現在符号化単位450が水平方向である場合、映像復号装置100は、現在符号化単位450を垂直方向に分割し、符号化単位480a,480b,480cを決定することができる。
一実施形態により、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではないのである。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480cにおいて、所定の符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有することもできる。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数の種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480cが、それぞれ互いに異なる大きさを有することもできる。
一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位が分割されることを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置100は、分割して生成される奇数個の符号化単位のうち少なくとも1つの符号化単位につき、所定制限を置くことができる。図4を参照すれば、映像復号装置100は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480cのうち、中央に位置する符号化単位430b,480bに対する復号過程を、他の符号化単位430a,430c,480a,480cと異ならせることができる。例えば、映像復号装置100は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほどだけ分割されるように制限することができる。
図5は、一実施形態により、映像復号装置100が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する。
一実施形態により、映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が、水平方向に第1符号化単位500を分割することを示す場合、映像復号装置100は、第1符号化単位500を水平方向に分割し、第2符号化単位510を決定することができる。一実施形態により、利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定されうる。以下においては、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるとも理解される。
一実施形態により、映像復号装置100は、決定された第2符号化単位510を、分割形態モード情報に基づき、符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、映像復号装置100は、分割形態モード情報に基づき、第1符号化単位500を分割して決定された非正方形の形態の第2符号化単位510を、少なくとも1つの第3符号化単位520a,520b,520c,520dなどに分割するか、あるいは第2符号化単位510を分割しないのである。映像復号装置100は、分割形態モード情報を獲得することができ、映像復号装置100は、獲得した分割形態モード情報に基づき、第1符号化単位500を分割し、例えば、多様な形態の複数個の第2符号化単位510を分割することができ、第2符号化単位510は、分割形態モード情報に基づき、第1符号化単位500が分割された方式によっても分割される。一実施形態により、第1符号化単位500が、第1符号化単位500に係わる分割形態モード情報に基づき、第2符号化単位510に分割された場合、第2符号化単位510も、第2符号化単位510に係わる分割形態モード情報に基づき、例えば、第3符号化単位520a,520b,520c,520dなどにも分割される。すなわち、該符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づき、再帰的に分割されうる。従って、非正方形状の符号化単位に正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されうる。
図5を参照すれば、非正方形状の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b,520c,520dにおいて、所定の符号化単位(例えば、真ん中に位置する符号化単位または正方形状の符号化単位)は、再帰的に分割されうる。一実施形態により、奇数個の第3符号化単位520b,520c,520dのうち1つの正方形状の第3符号化単位520cは、水平方向に分割され、複数個の第4符号化単位にも分割される。複数個の第4符号化単位530a,530b,530c,530dのうち1つの非正方形状の第4符号化単位530bまたは530dは、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第4符号化単位530bまたは530dは、奇数個の符号化単位にさらに分割されうる。符号化単位の再帰的分割に利用されうる方法については、多様な実施形態を介して後述する。
一実施形態により、映像復号装置100は、分割形態モード情報に基づき、第3符号化単位520a,520b,520c,520dなどそれぞれを符号化単位に分割することができる。また、映像復号装置100は、分割形態モード情報に基づき、第2符号化単位510を分割しないと決定することができる。映像復号装置100は、一実施形態により、非正方形状の第2符号化単位510を、奇数個の第3符号化単位520b,520c,520dに分割することができる。映像復号装置100は、奇数個の第3符号化単位520b,520c,520dにおいて、所定の第3符号化単位につき、所定制限を置くことができる。例えば、映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cについては、それ以上分割されないように制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。
図5を参照すれば、映像復号装置100は、非正方形状の第2符号化単位510に含まれる奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cは、それ以上分割されないか、あるいは所定の分割形態に分割(例えば、4個の符号化単位にだけ分割するか、あるいは第2符号化単位510が分割された形態に対応する形態に分割)されるように制限するか、あるいは所定の回数だけ分割(例えば、n回だけ分割する(n>0))すると制限することができる。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが、他の符号化単位520b,520dと異なるように復号されうる多様な制限を含むと解釈されなければならない。
一実施形態により、映像復号装置100は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定の位置で獲得することができる。
図6は、一実施形態により、映像復号装置100が奇数個の符号化単位のうち、所定符号化単位を決定するための方法を図示する。
図6を参照すれば、現在符号化単位600,650の分割形態モード情報は、現在符号化単位600,650に含まれる複数個のサンプルのうち、所定位置のサンプル(例えば、真ん中に位置するサンプル640,690)からも獲得される。ただし、そのような分割形態モード情報のうち少なくとも一つが獲得されうる現在符号化単位600内の所定位置は、図6で図示する真ん中位置に限定して解釈されるものではなく、所定位置には、現在符号化単位600内に含まれる多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など)が含まれてもよいと解釈されなければならない。映像復号装置100は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
一実施形態により、映像復号装置100は、現在符号化単位が、所定の個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様でもあり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述する。
一実施形態により、映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
一実施形態により、映像復号装置100は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、映像復号装置100は、現在符号化単位600または現在符号化単位650を分割し、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cを決定することができる。映像復号装置100は、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cの位置に係わる情報を利用し、真ん中符号化単位620bまたは真ん中符号化単位660bを決定することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cに含まれる所定のサンプルの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、映像復号装置100は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cのピクチャ内における位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位620a,620b,620cのピクチャ内における座標間の差を示す情報に該当しうる。すなわち、映像復号装置100は、符号化単位620a,620b,620cのピクチャ内における位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示すことができ、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報は、(xb,yb)座標を示すことができ、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示すことができる。映像復号装置100は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を、昇順または降順で整列したとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、ピクチャ内における絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位620aの左側上端のサンプル630aの位置を基準に、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。
一実施形態により、映像復号装置100は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cのうち、所定基準により、符号化単位を選択することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cのうち、大きさが異なる符号化単位620bを選択することができる。
一実施形態により、映像復号装置100は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。一実施形態により、映像復号装置100は、上端符号化単位620aの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、上端符号化単位620aの高さを、yb-yaと決定することができる。一実施形態により、映像復号装置100は、真ん中符号化単位620bの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、真ん中符号化単位620bの高さを、yc-ybと決定することができる。一実施形態により、映像復号装置100は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さとを利用して決定することができる。映像復号装置100は、決定された符号化単位620a,620b,620cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、異なる符号化単位と、異なる大きさとを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
映像復号装置100は、左側符号化単位660aの左側上端のサンプル670aの位置を示す情報である(xd,yd)座標、真ん中符号化単位660bの左側上端のサンプル670bの位置を示す情報である(xe,ye)座標、右側符号化単位660cの左側上端のサンプル670cの位置を示す情報である(xf,yf)座標を利用し、符号化単位660a,660b,660cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位660a,660b,660cの位置を示す座標である(xd,yd)、(xe,ye)、(xf,yf)を利用し、符号化単位660a,660b,660cそれぞれの大きさを決定することができる。
一実施形態により、映像復号装置100は、左側符号化単位660aの幅を、xe-xdと決定することができる。映像復号装置100は、左側符号化単位660aの高さを現在符号化単位650の高さで決定することができる。一実施形態により、映像復号装置100は、真ん中符号化単位660bの幅を、xf-xeと決定することができる。映像復号装置100は、真ん中符号化単位660bの高さを、現在符号化単位600の高さに決定することができる。一実施形態により、映像復号装置100は、右側符号化単位660cの幅または高さは、現在符号化単位650の幅または高さと、左側符号化単位660a及び真ん中符号化単位660bの幅及び高さを利用して決定することができる。映像復号装置100は、決定された符号化単位660a,660b,660cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、左側符号化単位660a及び右側符号化単位660cの大きさと異なる大きさを有する真ん中符号化単位660bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプル位置に係わる情報が利用されうるとも解釈される。
一実施形態により、映像復号装置100は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、映像復号装置100は、水平方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置100は、垂直方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
一実施形態により、映像復号装置100は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置100は、現在符号化単位を分割(バイナリ分割)し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6で説明した、奇数個の符号化単位のうち、所定位置(例えば、真ん中位置)の符号化単位を決定する過程に対応する過程でもあるので、省略する。
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置100は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち少なくとも一つを利用することができる。
図6を参照すれば、映像復号装置100は、分割形態モード情報に基づき、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位620bを決定することができる。さらには、映像復号装置100は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600の分割形態モード情報は、現在符号化単位600の真ん中に位置するサンプル640からも獲得され、前記分割形態モード情報に基づき、現在符号化単位600が、複数個の符号化単位620a,620b,620cに分割された場合、前記サンプル640を含む符号化単位620bを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程においても利用される。
一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定のサンプルからも獲得される。図6を参照すれば、映像復号装置100は、現在符号化単位600が分割されて決定された複数個の符号化単位620a,620b,620cにおいて、所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例えば、現在符号化単位600の真ん中に位置するサンプル)から獲得される分割形態モード情報を利用することができる。すなわち、映像復号装置100は、現在符号化単位600のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置100は、現在符号化単位600が分割されて決定される複数個の符号化単位620a,620b,620cにおいて、所定情報(例えば、分割形態モード情報)が獲得されうるサンプルが含まれた符号化単位620bを決定し、所定制限を置くことができる。図6を参照すれば、一実施形態により、映像復号装置100は、所定情報が獲得されうるサンプルとして、現在符号化単位600の真ん中に位置するサンプル640を決定することができ、映像復号装置100は、そのようなサンプル640が含まれる符号化単位620bを、復号過程における所定制限を置くことができる。ただし、所定情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位620bに含まれる任意の位置のサンプルとも解釈される。
一実施形態により、所定情報が獲得されうるサンプルの位置は、現在符号化単位600の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が、正方形であるか、または非正方形であるかということを決定することができ、形態により、所定情報が獲得されうるサンプルの位置を決定することができる。例えば、映像復号装置100は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、映像復号装置100は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されうるサンプルと決定することができる。
一実施形態により、映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態により、映像復号装置100は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置100は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的に分割されうる。符号化単位の再帰的分割過程については、図5を介して説明したので、詳細な説明は、省略する。
一実施形態により、映像復号装置100は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を、所定のブロック(例えば、現在符号化単位)によって決定することができる。
図7は、一実施形態により、映像復号装置100が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施形態により、映像復号装置100は、分割形態モード情報により、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定するか、第1符号化単位700を水平方向に分割し、第2符号化単位730a,730bを決定するか、あるいは第1符号化単位700を垂直方向及び水平方向に分割し、第2符号化単位750a,750b,750c,750dを決定することができる。
図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a,710bが、水平方向710cに処理されるように順序を決定することができる。映像復号装置100は、第1符号化単位700を水平方向に分割して決定された第2符号化単位730a,730bの処理順序を、垂直方向730cに決定することができる。映像復号装置100は、第1符号化単位700を、垂直方向及び水平方向に分割して決定された第2符号化単位750a,750b,750c,750dにつき、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序(例えば、ラスタースキャン順序((raster scan order)またはZスキャン順序(Z scan order)750eなど)によって決定することができる。
一実施形態により、映像復号装置100は、符号化単位を再帰的に分割することができる。図7を参照すれば、映像復号装置100は、第1符号化単位700を分割し、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを決定することができ、決定された複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dそれぞれを再帰的に分割することができる。複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを分割する方法は、第1符号化単位700を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dは、それぞれ独立し、複数個の符号化単位にも分割される。図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定することができ、さらには、第2符号化単位710a,710bそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
一実施形態により、映像復号装置100は、左側の第2符号化単位710aを水平方向に分割し、第3符号化単位720a,720bに分割することができ、右側の第2符号化単位710bは、分割しないのである。
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置100は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a,720bが処理される順序を、右側の第2符号化単位710bと独立して決定することができる。左側の第2符号化単位710aが水平方向に分割され、第3符号化単位720a,720bが決定されたので、第3符号化単位720a,720bは、垂直方向720cに処理されうる。また、左側の第2符号化単位710a、及び右側の第2符号化単位710bが処理される順序は、水平方向710cに該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a,720bが、垂直方向720cに処理された後、右側符号化単位710bが処理されうる。前述の内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位は、所定順序によって独立して処理されうる多様な方法でもって利用されると解釈されなければならない。
図8は、一実施形態により、映像復号装置100において、所定順序符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する。
一実施形態により、映像復号装置100は、獲得された分割形態モード情報に基づき、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図8を参照すれば、正方形状の第1符号化単位800が、非正方形状の第2符号化単位810a,810bにも分割され、第2符号化単位810a,810bは、それぞれ独立して、第3符号化単位820a,820b,820c,820d,820eにも分割される。一実施形態により、映像復号装置100は、第2符号化単位のうち左側符号化単位810aは、水平方向に分割し、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d,820eに分割することができる。
一実施形態により、映像復号装置100は、第3符号化単位820a,820b,820c,820d,820eが所定順序に処理されうるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図8を参照すれば、映像復号装置100は、第1符号化単位800を再帰的に分割し、第3符号化単位820a,820b,820c,820d,820eを決定することができる。映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、第1符号化単位800、第2符号化単位810a,810bまたは第3符号化単位820a,820b,820c,820d,820eが分割される形態において、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位810a,810bにおいて、右側に位置する符号化単位が、奇数個の第3符号化単位820c,820d,820eにも分割される。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定順序(例えば、zスキャン順序830)にもなり、映像復号装置100は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c,820d,820eが、前記所定順序によって処理されうる条件を満足するか否かということを判断することができる。
一実施形態により、映像復号装置100は、第1符号化単位800に含まれる第3符号化単位820a,820b,820c,820d,820eが、所定順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位820a,820b,820c,820d,820eの境界により、第2符号化単位810a,810bの幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。例えば、非正方形状の左側第2符号化単位810aの高さを半分に分割して決定される第3符号化単位820a,820bは、条件を満足することができる。右側第2符号化単位810bを3個の符号化単位に分割して決定される第3符号化単位820c,820d,820eの境界が、右側第2符号化単位810bの幅または高さを半分に分割することができないので、第3符号化単位820c,820d,820eは、条件を満足することができないと決定されうる。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、判断結果に基づき、右側第2符号化単位810bは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
図9は、一実施形態により、映像復号装置100が第1符号化単位900を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
一実施形態により、映像復号装置100は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づき、第1符号化単位900を分割することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図9を参照すれば、第1符号化単位900は、正方形であり、分割形態モード情報が非正方形の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位900を、複数個の非正方形の符号化単位に分割することができる。具体的には、該分割形態モード情報が、第1符号化単位900を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置100は、正方形状の第1符号化単位900を、奇数個の符号化単位として、垂直方向に分割されて決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができる。
一実施形態により、映像復号装置100は、第1符号化単位900に含まれる第2符号化単位910a,910b,910c,920a,920b,920cが所定順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位910a,910b,910c,920a,920b,920cの境界により、第1符号化単位900の幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。図9を参照すれば、正方形状の第1符号化単位900を垂直方向に分割して決定される第2符号化単位910a,910b,910cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定順序によって処理されうる条件を満足することができないと決定されうる。また、正方形状の第1符号化単位900を水平方向に分割して決定される第2符号化単位920a,920b,920cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定順序によって処理されうる条件を満足することができないと決定されうる。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶と判断し、判断結果に基づき、第1符号化単位900は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
一実施形態により、映像復号装置100は、第1符号化単位を分割し、多様な形態の符号化単位を決定することができる。
図9を参照すれば、映像復号装置100は、正方形状の第1符号化単位900、非正方形状の第1符号化単位930または950を多様な形態の符号化単位に分割することができる。
図10は、一実施形態により、映像復号装置100が、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位が、所定条件所定の条件を満足する場合、第2符号化単位が分割されうる形態が制限されるところを図示する。
一実施形態により、映像復号装置100は、ビットストリーム獲得部110を介して獲得した分割形態モード情報に基づき、正方形状の第1符号化単位1000を、非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割することで決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立して分割されうる。それにより、映像復号装置100は、第2符号化単位1010a,1010b,1020a,1020bそれぞれに係わる分割形態モード情報に基づき、複数個の符号化単位に分割するか、あるいは分割しないということを決定することができる。一実施形態により、映像復号装置100は、垂直方向に、第1符号化単位1000が分割されて決定された非正方形状の左側第2符号化単位1010aを水平方向に分割し、第3符号化単位1012a,1012bを決定することができる。ただし、映像復号装置100は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一に、水平方向に分割されることがないように制限することができる。もし右側第2符号化単位1010bが同一方向に分割され、第3符号化単位1014a,1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a,1012b,1014a,1014bが決定されうる。しかし、それは、映像復号装置100が、分割形態モード情報に基づき、第1符号化単位1000を4個の正方形状の第2符号化単位1030a,1030b,1030c,1030dに分割したところと同一結果であり、それは、映像復号側面において非効率的でもある。
一実施形態により、映像復号装置100は、水平方向に、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位1020aまたは1020bを垂直方向に分割し、第3符号化単位1022a,1022b,1024a,1024bを決定することができる。ただし、映像復号装置100は、第2符号化単位のうち一つ(例えば、上端第2符号化単位1020a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例えば、下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。
図11は、一実施形態により、分割形態モード情報が、4個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置100が正方形状の符号化単位を分割する過程を図示する。
一実施形態により、映像復号装置100は、分割形態モード情報に基づき、第1符号化単位1100を分割し、第2符号化単位1110a,1110b,1120a,1120bなどを決定することができる。該分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の4個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態モード情報によれば、映像復号装置100は、正方形状の第1符号化単位1100を4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割することができない。該分割形態モード情報に基づき、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bなどを決定することができる。
一実施形態により、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bなどをそれぞれ独立して分割することができる。再帰的な方法を介し、第2符号化単位1110a,1110b,1120a,1120bなどそれぞれが所定順序に分割され、それは、該分割形態モード情報に基づき、第1符号化単位1100が分割される方法に対応する分割方法でもある。
例えば、映像復号装置100は、左側第2符号化単位1110aが水平方向に分割され、正方形状の第3符号化単位1112a,1112bを決定することができ、右側第2符号化単位1110bが水平方向に分割され、正方形状の第3符号化単位1114a,1114bを決定することができる。さらには、映像復号装置100は、左側第2符号化単位1110a及び右側第2符号化単位1110bのいずれもが水平方向に分割され、正方形状の第3符号化単位1116a,1116b,1116c,1116dを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
他の例を挙げれば、映像復号装置100は、上端第2符号化単位1120aが垂直方向に分割され、正方形状の第3符号化単位1122a,1122bを決定することができ、下端第2符号化単位1120bが垂直方向に分割され、正方形状の第3符号化単位1124a,1124bを決定することができる。さらには、映像復号装置100は、上端第2符号化単位1120a及び下端第2符号化単位1120bのいずれもが垂直方向に分割され、正方形状の第3符号化単位1126a,1126b,1126a,1126bを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
図12は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。
一実施形態により、映像復号装置100は、分割形態モード情報に基づき、第1符号化単位1200を分割することができる。ブロック形態が正方形であり、該分割形態モード情報が、第1符号化単位1200が水平方向及び垂直方向のうち少なくとも1つの方向に分割されることを示す場合、映像復号装置100は、第1符号化単位1200を分割し、例えば、第2符号化単位1210a,1210b,1220a,1220bなどを決定することができる。図12を参照すれば、第1符号化単位1200が、水平方向だけ、または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、それぞれに係わる分割形態モード情報に基づき、独立して分割されうる。例えば、映像復号装置100は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを水平方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。そのような第2符号化単位1210a,1210b,1220a,1220bの分割過程は、図11と係わって説明したので、詳細な説明は、省略する。
一実施形態により、映像復号装置100は、所定順序により、符号化単位を処理することができる。該所定順序による符号化単位の処理に係わる特徴は、図7と係わって説明したので、詳細な説明は、省略する。図12を参照すれば、映像復号装置100は、正方形状の第1符号化単位1200を分割し、4個の正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dを決定することができる。一実施形態により、映像復号装置100は、第1符号化単位1200が分割される形態により、第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dの処理順序を決定することができる。
一実施形態により、映像復号装置100は、垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、映像復号装置100は、左側第2符号化単位1210aに含まれる第3符号化単位1216a,1216cを垂直方向にまず処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216b,1216dを垂直方向に処理する順序1217により、第3符号化単位1216a,1216b,1216c,1216dを処理することができる。
一実施形態により、映像復号装置100は、水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができ、映像復号装置100は、上端第2符号化単位1220aに含まれる第3符号化単位1226a,1226bを水平方向にまず処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c,1226dを水平方向に処理する順序1227により、第3符号化単位1226a,1226b,1226c,1226dを処理することができる。
図12を参照すれば、第2符号化単位1210a,1210b,1220a,1220bがそれぞれ分割され、正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dが決定されうる。垂直方向に分割されて決定された第2符号化単位1210a,1210b、及び水平方向に分割されて決定された第2符号化単位1220a,1220bは、互いに異なる形態に分割されたものであるが、その後に決定される第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dによれば、結局、同一形態の符号化単位に第1符号化単位1200が分割された結果になる。それにより、映像復号装置100は、分割形態モード情報に基づき、異なる過程を介し、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定するにしても、同一形態に決定された複数個の符号化単位を互いに異なる順序処理することができる。
図13は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
一実施形態により、映像復号装置100は、符号化単位の深度を所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。映像復号装置100は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より2n(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりnほど深度が増加されたと決定することができる。以下においては、深度が増加された符号化単位を、下位深度の符号化単位と表現する。
図13を参照すれば、一実施形態により、正方形状であることを示すブロック形態情報(例えば、ブロック形態情報は、「0:SQUARE」を示すことができる)に基づき、映像復号装置100は、正方形状である第1符号化単位1300を分割し、下位深度の第2符号化単位1302、第3符号化単位1304などを決定することができる。正方形状の第1符号化単位1300の大きさを2Nx2Nとするならば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNの大きさを有することができる。さらには、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2の大きさを有することができる。この場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/4倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、(D+1)でもあり、第1符号化単位1300の幅及び高さの1/4倍である第3符号化単位1304の深度は、(D+2)でもある。
一実施形態により、非正方形状を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅より大きい非正方形であることを示す「1:NS_VER」、または幅が高さより大きい非正方形であることを示す「2:NS_HOR」を示すことができる)に基づき、映像復号装置100は、非正方形状である第1符号化単位1310または1320を分割し、下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324などを決定することができる。
映像復号装置100は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322などを決定することができる。すなわち、映像復号装置100は、第1符号化単位1310を水平方向に分割し、NxNサイズの第2符号化単位1302、またはNxN/2サイズの第2符号化単位1322を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1312を決定することもできる。
一実施形態により、映像復号装置100は、2NxNサイズの第1符号化単位1320の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322などを決定することもできる。すなわち、映像復号装置100は、第1符号化単位1320を垂直方向に分割し、NxNサイズの第2符号化単位1302、またはN/2xNサイズの第2符号化単位1312を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1322を決定することもできる。
一実施形態により、映像復号装置100は、NxNサイズの第2符号化単位1302の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324などを決定することもできる。すなわち、映像復号装置100は、第2符号化単位1302を垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1304を決定するか、N/4xN/2サイズの第3符号化単位1314を決定するか、あるいはN/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態により、映像復号装置100は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324などを決定することもできる。すなわち、映像復号装置100は、第2符号化単位1312を水平方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/4サイズの第3符号化単位1324を決定するか、あるいは垂直方向及び水平方向に分割し、N/4xN/2サイズの第3符号化単位1314を決定することができる。
一実施形態により、映像復号装置100は、NxN/2サイズの第2符号化単位1322の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324などを決定することもできる。すなわち、映像復号装置100は、第2符号化単位1322を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/4xN/2サイズの第3符号化単位1314を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/4サイズの第3符号化単位1324を決定することができる。
一実施形態により、映像復号装置100は、例えば、正方形状の符号化単位1300,1302,1304を水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割し、Nx2Nサイズの第1符号化単位1310を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1320を決定することができる。一実施形態により、深度が符号化単位の最長辺長に基づいて決定される場合、2Nx2Nサイズの第1符号化単位1300が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300の深度と同一でもある。
一実施形態により、第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/4倍に該当しうる。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1322の深度は、(D+1)でもあり、第1符号化単位1310または1320の幅及び高さの1/4倍である第3符号化単位1314または1324の深度は、(D+2)でもある。
図14は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する。
一実施形態により、映像復号装置100は、正方形状の第1符号化単位1400を分割し、多様な形態の第2符号化単位を決定することができる。図14を参照すれば、映像復号装置100は、分割形態モード情報により、第1符号化単位1400を垂直方向及び水平方向のうち少なくとも1つの方向に分割し、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。すなわち、映像復号装置100は、第1符号化単位1400に係わる分割形態モード情報に基づき、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。
一実施形態により、正方形状の第1符号化単位1400に係わる分割形態モード情報によって決定される第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第1符号化単位1400の一辺長と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bの長辺長とが同一であるので、第1符号化単位1400と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bとの深度は、Dとして同一であると見ることができる。それに対し、映像復号装置100が分割形態モード情報に基づき、第1符号化単位1400を4個の正方形状の第2符号化単位1406a,1406b,1406c,1406dに分割した場合、正方形状の第2符号化単位1406a,1406b,1406c,1406dの一辺長は、第1符号化単位1400の一辺長の1/2倍であるので、第2符号化単位1406a,1406b,1406c,1406dの深度は、第1符号化単位1400の深度であるDより1深度下位である(D+1)の深度でもある。
一実施形態により、映像復号装置100は、高さが幅より大きい形態の第1符号化単位1410を分割形態モード情報によって水平方向に分割し、複数個の第2符号化単位1412a,1412b,1414a,1414b,1414cに分割することができる。一実施形態により、映像復号装置100は、幅が高さより大きい形態の第1符号化単位1420を分割形態モード情報によって垂直方向に分割し、複数個の第2符号化単位1422a,1422b,1424a,1424b,1424cに分割することができる。
一実施形態により、非正方形状の第1符号化単位1410または1420に係わる分割形態モード情報によって決定される第2符号化単位1412a,1412b,1414a,1414b,1414c,1422a,1422b,1424a,1424b,1424cは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第2符号化単位1412a,1412bの一辺長は、高さが幅より大きい非正方形状の第1符号化単位1410の一辺長の1/2倍であるので、正方形状の第2符号化単位1412a,1412bの深度は、非正方形状の第1符号化単位1410の深度Dより1深度下位の深度である(D+1)である。
さらには、映像復号装置100が分割形態モード情報に基づき、非正方形状の第1符号化単位1410を、奇数個の第2符号化単位1414a,1414b,1414cに分割することができる。奇数個の第2符号化単位1414a,1414b,1414cは、非正方形状の第2符号化単位1414a,1414c、及び正方形状の第2符号化単位1414bを含んでもよい。その場合、非正方形状の第2符号化単位1414a,1414cの長辺長、及び正方形状の第2符号化単位1414bの一辺長は、第1符号化単位1410の一辺長の1/2倍であるので、第2符号化単位1414a,1414b,1414cの深度は、第1符号化単位1410の深度であるDより1深度下位である(D+1)の深度でもある。映像復号装置100は、第1符号化単位1410と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより大きい非正方形状の第1符号化単位1420と係わる符号化単位の深度を決定することができる。
一実施形態により、映像復号装置100は、分割された符号化単位の区分のためのインデックス(PID)決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいてインデックスを決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a,1414b,1414cのうち、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cと、幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。すなわち、その場合、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cの二つを含むのである。従って、スキャン順序により、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増加した3でもある。すなわち、インデックス値の不連続性が存在しうる。一実施形態により、映像復号装置100は、そのような分割された符号化単位間の区分のためのインデックスの不連続性の存在いかんに基づき、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。
一実施形態により、映像復号装置100は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づき、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、映像復号装置100は、高さが幅より大きい長方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。映像復号装置100は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を利用することができる。一実施形態により、該インデックス(PID)は、それぞれの符号化単位の所定位置のサンプル(例えば、左側上端サンプル)からも獲得される。
一実施形態により、映像復号装置100は、符号化単位の区分のためのインデックス(PID)を利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形状の第1符号化単位1410に係わる分割形態モード情報が、3個の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位1410を3個の符号化単位1414a,1414b,1414cに分割することができる。映像復号装置100は、3個の符号化単位1414a,1414b,1414cそれぞれに係わるインデックス(PID)を割り当てることができる。映像復号装置100は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックス(PID)を比較することができる。映像復号装置100は、符号化単位のインデックス(PID)に基づき、インデックス(PID)のうち、真ん中値に該当するインデックス(PID)を有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態により、映像復号装置100は、分割された符号化単位区分のためのインデックス(PID)決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさ比率に基づき、インデックス(PID)を決定することができる。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a,1414cと、幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。その場合、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増加した3でもある。そのような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置100は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態モード情報が、奇数個の符号化単位に分割されることを示す場合、映像復号装置100は、奇数個の符号化単位のうち、所定位置の符号化単位(例えば、真ん中符号化単位)が、他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置100は、符号化単位に係わるインデックス(PID)を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス(PID)、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それらに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されうると解釈されなければならない。
一実施形態により、映像復号装置100は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。
図15は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。
一実施形態により、所定データ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当しうる。以下においては、説明上の便宜のために、そのような所定データ単位を基準データ単位と称する。
一実施形態により、該基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、MxNのサンプルを含んでもよい。ここで、M及びNは、互いに同一であってもよく、2の乗数によって表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位にも分割される。
一実施形態により、映像復号装置100は、現在ピクチャを複数個の基準データ単位に分割することができる。一実施形態により、映像復号装置100は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を利用した分割過程に対応しうる。
一実施形態により、映像復号装置100は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、映像復号装置100は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、分割形態モード情報を利用し、少なくとも1つの符号化単位を決定することができる。
図15を参照すれば、映像復号装置100は、正方形状の基準符号化単位1500を利用することができ、あるいは非正方形状の基準符号化単位1502を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例えば、シーケンス(sequence)、ピクチャ(picture)、スライス(slice)、スライスセグメント(slice segment)、タイル(tile)、タイルグループ(tile group)、最大符号化単位など)によっても決定される。
一実施形態により、映像復号装置100のビットストリーム獲得部110は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1502に含まれる少なくとも1つの符号化単位が決定される過程は、図4の現在符号化単位400または450が分割される過程を介して説明したので、詳細な説明は、省略する。
一実施形態により、映像復号装置100は、所定の条件に基づいて事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部110は、ビットストリームから、前記多様なデータ単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など)のうち、所定条件(例えば、スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスだけを獲得することができる。映像復号装置100は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではなくなるので、該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、映像復号装置100は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つを、インデックスによって選択することにより、該インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
一実施形態により、映像復号装置100は、1つの最大符号化単位に含む少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介し、符号化単位が決定されうる。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも1つの整数倍に該当しうる。一実施形態により、該基準符号化単位の大きさは、最大符号化単位をクアッドツリー構造によってn回分割した大きさでもある。すなわち、映像復号装置100は、最大符号化単位をクアッドツリー構造によってn回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位をブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて分割することができる。
図16は、一実施形態により、ピクチャ1600に含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する。
一実施形態により、映像復号装置100は、ピクチャを分割する少なくとも1つのプロセシングブロックを決定することができる。該プロセシングブロックとは、映像を分割する少なくとも1つの基準符号化単位を含むデータ単位であり、該プロセシングブロックに含まれる少なくとも1つの基準符号化単位は、特定順序に決定されうる。すなわち、それぞれのプロセシングブロックで決定される少なくとも1つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序種類のうち一つに該当し、それぞれのプロセシングブロックで決定される基準符号化単位決定順序は、プロセシングブロックごとに異なりうる。プロセシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン(raster scan)、Zスキャン(Z-scan)、Nスキャン(N-scan)、右上向き対角スキャン(up-rightdiagonalscan)、水平的スキャン(horizontal scan)、垂直的スキャン(vertical scan)のような多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。
一実施形態により、映像復号装置100は、プロセシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも1つのプロセシングブロックの大きさを決定することができる。映像復号装置100は、プロセシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも1つのプロセシングブロックの大きさを決定することができる。そのようなプロセシングブロックの大きさは、プロセシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態により、映像復号装置100のビットストリーム獲得部110は、ビットストリームから、プロセシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループのようなデータ単位で、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部110は、前述のさまざまなデータ単位ごとに、ビットストリームから、プロセシングブロックの大きさに係わる情報を獲得することができ、映像復号装置100は、獲得されたプロセシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも1つのプロセシングブロックの大きさを決定することができ、そのようなプロセシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
一実施形態により、映像復号装置100は、ピクチャ1600に含まれるプロセシングブロック1602,1612の大きさを決定することができる。例えば、映像復号装置100は、ビットストリームから獲得されたプロセシングブロックの大きさに係わる情報に基づき、プロセシングブロックの大きさを決定することができる。図16を参照すれば、映像復号装置100は、一実施形態により、プロセシングブロック1602,1612の横サイズを、基準符号化単位横サイズの4倍、縦サイズを、基準符号化単位の縦サイズの4倍に決定することができる。映像復号装置100は、少なくとも1つのプロセシングブロック内において、少なくとも1つの基準符号化単位が決定される順序を決定することができる。
一実施形態により、映像復号装置100は、プロセシングブロックの大きさに基づき、ピクチャ1600に含まれるそれぞれのプロセシングブロック1602,1612を決定することができ、プロセシングブロック1602,1612に含まれる少なくとも1つの基準符号化単位の決定順序を決定することができる。一実施形態により、該基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。
一実施形態により、映像復号装置100は、ビットストリームから、少なくとも1つのプロセシングブロックに含まれる少なくとも1つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づき、少なくとも1つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセシングブロックごとに独立して決定されうる。
一実施形態により、映像復号装置100は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、ビットストリーム獲得部110は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループ、プロセシングブロックのようなデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセシングブロック内における基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセシングブロックを含む特定データ単位ごとにも獲得される。
映像復号装置100は、一実施形態により、決定された順序に基づき、少なくとも1つの基準符号化単位を決定することができる。
一実施形態により、ビットストリーム獲得部110は、ビットストリームから、プロセシングブロック1602,1612と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、映像復号装置100は、前記プロセシングブロック1602,1612に含まれた少なくとも1つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ1600に含まれる少なくとも1つの基準符号化単位を決定することができる。図16を参照すれば、映像復号装置100は、それぞれのプロセシングブロック1602,1612と係わる少なくとも1つの基準符号化単位の決定順序1604,1614を決定することができる。例えば、該基準符号化単位の決定順序に係わる情報が、プロセシングブロックごとに獲得される場合、それぞれのプロセシングブロック1602,1612と係わる基準符号化単位決定順序は、プロセシングブロックごとに異なりうる。プロセシングブロック1602と係わる基準符号化単位決定順序1604がラスタースキャン順序である場合、プロセシングブロック1602に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに対し、他のプロセシングブロック1612と係わる基準符号化単位決定順序1614がラスタースキャン順序の逆順である場合、プロセシングブロック1612に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
映像復号装置100は、一実施形態により、決定された少なくとも1つの基準符号化単位を復号することができる。映像復号装置100は、前述の実施形態を介して決定された基準符号化単位に基づいて映像を復号することができる。該基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
一実施形態により、映像復号装置100は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報を、ビットストリームから獲得して利用することができる。該分割形態モード情報は、多様なデータ単位と係わるビットストリームに含まれるのである。例えば、映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)に含まれた分割形態モード情報を利用することができる。さらには、映像復号装置100は、最大符号化単位、基準符号化単位、プロセシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックスエレメントを獲得して利用することができる。
以下、本開示の一実施形態による、分割規則を決定する方法について詳細に説明する。
映像復号装置100は、映像の分割規則を決定することができる。該分割規則は、映像復号装置100と映像符号化装置200との間で事前に決定されている。映像復号装置100は、ビットストリームから獲得された情報に基づき、映像の分割規則を決定することができる。映像復号装置100は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダ、タイルヘッダ、タイルグループヘッダのうち少なくとも一つから獲得された情報に基づき、分割規則を決定することができる。映像復号装置100は、該分割規則を、フレーム、スライス、タイル、テンポラルレイヤ(temporal layer)、最大符号化単位または符号化単位によって異なるように決定することができる。
映像復号装置100は、符号化単位のブロック形態に基づき、分割規則を決定することができる。ブロック形態は、符号化単位の大きさ、形態、幅及び高さの比率、方向を含んでもよい。映像符号化装置200及び映像復号装置100は、符号化単位のブロック形態に基づき、分割規則を決定することを事前に決定することができる。しかし、それに限定されるものではない。映像復号装置100は、映像符号化装置200から受信されたビットストリームから獲得された情報に基づき、分割規則を決定することができる。
符号化単位の形態は、正方形及び非正方形を含んでもよい。符号化単位の幅及び高さの長さが同じである場合、映像復号装置100は、符号化単位の形態を正方形に決定することができる。また、符号化単位の幅及び高さの長さが同じではない場合、映像復号装置100は、符号化単位の形態を非正方形に決定することができる。
該符号化単位の大きさは、4x4、8x4、4x8、8x8、16x4、16x8、…、256x256の多様な大きさを含んでもよい。該符号化単位の大きさは、符号化単位の長辺の長さ、短辺の長さ、または広さによっても分類される。映像復号装置100は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、映像復号装置100は、同一長辺長を有する符号化単位を、同一サイズに分類することができる。また、映像復号装置100は、同一長辺長を有する符号化単位につき、同一分割規則を適用することができる。
符号化単位の幅及び高さの比率は、1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1または1:32などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。該水平方向は、符号化単位の幅の長さが高さの高さより大きい場合を示すことができる。該垂直方向は、符号化単位の幅の長さが高さの高さより小さい場合を示すことができる。
映像復号装置100は、符号化単位の大きさに基づき、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位の大きさに基づき、許容可能な分割形態モードを異なるように決定することができる。例えば、映像復号装置100は、符号化単位の大きさに基づき、分割が許容されるか否かということを決定することができる。映像復号装置100は、符号化単位の大きさにより、分割方向を決定することができる。映像復号装置100は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。
符号化単位の大きさに基づいて分割規則を決定することは、映像符号化装置200と映像復号装置100との間において、事前に決定された分割規則でもある。また、映像復号装置100は、ビットストリームから獲得された情報に基づき、分割規則を決定することができる。
映像復号装置100は、符号化単位の位置に基づき、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位が映像で占める位置に基づき、分割規則を適応的に決定することができる。
また、映像復号装置100は、互いに異なる分割経路によって生成された符号化単位が同一ブロック形態を有さないように、分割規則を決定することができる。ただし、それに限定されるものではなく、互いに異なる分割経路によって生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路によって生成された符号化単位は、互いに異なる復号処理順序を有することができる。該復号処理順序については、図12と共に説明したので、詳細な説明は、省略する。
図17は、一実施形態により、符号化単位が分割されうる形態の組み合わせが、ピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。
図17を参照すれば、映像復号装置100は、ピクチャごとに符号化単位が分割されうる分割形態の組み合わせを異なるように決定することができる。例えば、映像復号装置100は、映像に含まれる少なくとも1つのピクチャのうち、4個の符号化単位に分割されうるピクチャ1700、2個または4個の符号化単位に分割されうるピクチャ1710、及び2個、3個または4個の符号化単位に分割されうるピクチャ1720を利用して映像を復号することができる。映像復号装置100は、ピクチャ1700を、複数個の符号化単位に分割するために、4個の正方形の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置100は、ピクチャ1710を分割するために、2個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置100は、ピクチャ1720を分割するために、2個、3個または4個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、映像復号装置100の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されうると解釈されなければならない。
一実施形態により、映像復号装置100のビットストリーム獲得部110は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、タイルまたはタイルグループなど)ごとに獲得することができる。例えば、ビットストリーム獲得部110は、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、タイルヘッダまたはタイルグループヘッダにおいて、分割形態情報の組み合わせを示すインデックスを獲得することができる。映像復号装置100の映像復号装置100は、獲得したインデックスを利用し、所定データ単位ごとに、符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに、互いに異なる分割形態の組み合わせを利用することができる。
図18は、一実施形態により、バイナリ(binary)コードによって表現されうる分割形態モード情報に基づいて決定されうる符号化単位の多様な形態を図示する。
一実施形態により、映像復号装置100は、ビットストリーム獲得部110を介して獲得したブロック形態情報及び分割形態モード情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当しうる。
図18を参照すれば、映像復号装置100は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも1つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。
一実施形態により、映像復号装置100が、正方形状の符号化単位を水平方向及び垂直方向に分割し、4個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態モード情報が示すことができる分割形態は、4種でもある。一実施形態により、分割形態モード情報は、2桁のバイナリコードとしても表現され、それぞれの分割形態ごとに、バイナリコードが割り当てられうる。例えば、符号化単位が分割されない場合、分割形態モード情報は、(00)bとも表現され、符号化単位が水平方向及び垂直方向に分割される場合、分割形態モード情報は、(01)bとも表現され、符号化単位が水平方向に分割される場合、分割形態モード情報は、(10)bとも表現され、符号化単位が垂直方向に分割される場合、分割形態モード情報は、(11)bとも表現される。
一実施形態により、映像復号装置100は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態モード情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによっても決定される。図18を参照すれば、映像復号装置100は、一実施形態により、非正方形状の符号化単位を3個まで分割することができる。映像復号装置100は、符号化単位を、2つの符号化単位に分割することができ、その場合、分割形態モード情報は、(10)bとも表現される。映像復号装置100は、符号化単位を3つの符号化単位に分割することができ、その場合、分割形態モード情報は、(11)bとも表現される。映像復号装置100は、符号化単位を分割しないと決定することができ、その場合、分割形態モード情報は、(0)bとも表現される。すなわち、映像復号装置100は、分割形態モード情報を示すバイナリコードを利用するために、固定長コーディング(FLC:fixed length coding)ではなく、可変長コーディング(VLC:variable length coding)を利用することができる。
一実施形態により、図18を参照すれば、符号化単位が分割されないということを示す分割形態モード情報のバイナリコードは(0)bとも表現される。もし符号化単位が分割されないということを示す分割形態モード情報のバイナリコードが(00)bに設定された場合であるならば、(01)bと設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリコードをいずれも利用しなければならない。しかし、図18に図示されているように、非正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、映像復号装置100は、分割形態モード情報として、1ビットのバイナリコード(0)bを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す非正方形状の符号化単位の分割形態は、ただ図18で図示する3種形態だけで限って解釈されるものではなく、前述の実施形態を含む多様な形態にも解釈されなければならない。
図19は、一実施形態により、バイナリコードによって表現されうる分割形態モード情報に基づいて決定されうる符号化単位の他の形態を図示する。
図19を参照すれば、映像復号装置100は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、該分割形態モード情報は、正方形状の符号化単位が一方方向に分割されることを示すことができる。そのような場合、正方形状の符号化単位が分割されないということを示す分割形態モード情報のバイナリコードは、(0)bとも表現される。もし符号化単位が分割されないということを示す分割形態モード情報のバイナリコードが(00)bに設定された場合であるならば、(01)bに設定された分割形態モード情報がないにもかかわらず、2ビットの分割形態モード情報のバイナリコードをいずれも利用しなければならない。しかし、図19で図示されているように、正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、映像復号装置100は、分割形態モード情報として、1ビットのバイナリコード(0)bを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す正方形状の符号化単位の分割形態は、ただ図19で図示する3種形態だけで限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
一実施形態により、ブロック形態情報または分割形態モード情報は、バイナリコードを利用しても表現され、そのような情報が直ちにビットストリームにも生成される。また、バイナリコードによって表現されうるブロック形態情報または分割形態モード情報は、直ちにビットストリームに生成されず、CABAC(context adaptive binary arithmetic coding)に入力されるバイナリコードとしても利用される。
一実施形態により、映像復号装置100は、CABACを介し、ブロック形態情報または分割形態モード情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部110を介し、前記シンタックスに係わるバイナリコードを含むビットストリームを獲得することができる。映像復号装置100は、獲得したビットストリームに含まれるビンストリング(bin string)を逆二進化し、ブロック形態情報または分割形態モード情報を示すシンタックス要素(syntax element)を検出することができる。一実施形態により、映像復号装置100は、復号するシンタックス要素に該当するバイナリビンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、映像復号装置100は、そのような復号されたビンによって構成されるビンストリングが、以前に求めたビンストリングのうち一つと同一になるまで反復することができる。映像復号装置100は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。
一実施形態により、映像復号装置100は、適応的二進算術コーディング(adaptive binary arithmetic coding)の復号過程を遂行し、ビンストリングに係わるシンタックスを決定することができ、映像復号装置100は、ビットストリーム獲得部110を介して獲得したビンに係わる確率モデルを更新することができる。図18を参照すれば、映像復号装置100のビットストリーム獲得部110は、一実施形態により、分割形態モード情報を示すバイナリコードを示すビットストリームを獲得することができる。獲得した1ビットまたは2ビットの大きさを有するバイナリコードを利用し、映像復号装置100は、分割形態モード情報に係わるシンタックスを決定することができる。映像復号装置100は、分割形態モード情報に係わるシンタックスを決定するために、2ビットのバイナリコードにおいて、それぞれのビットに係わる確率を更新することができる。すなわち、映像復号装置100は、2ビットのバイナリコードにおいて、最初ビンの値が0または1のうちいずれの値であるかということにより、次のビンを復号するとき、0または1の値を有する確率を更新することができる。
一実施形態により、映像復号装置100は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程で利用されるビンに係わる確率を更新することができ、映像復号装置100は、前記ビンストリングにおいて、特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。
図18を参照すれば、非正方形状の符号化単位に係わる分割形態モード情報を示すビンストリングを利用してシンタックスを決定する過程において、映像復号装置100は、非正方形状の符号化単位を分割しない場合には、0の値を有する1つのビンを利用し、分割形態モード情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位は、非正方形状であることを示す場合、分割形態モード情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、0であり、2個または3個の符号化単位に分割される場合、1でもある。それにより、非正方形の符号化単位に係わる分割形態モード情報のビンストリングの最初ビンが0である確率は、1/3であり、1である確率は2/3でもある。前述のように、映像復号装置100は、非正方形状の符号化単位が分割されないということを示す分割形態モード情報は、0の値を有する1ビットのビンストリングだけを表現されることができるので、映像復号装置100は、分割形態モード情報の最初ビンが1である場合にだけ、2番目ビンが0であるか、あるいは1であるかということを判断し、分割形態モード情報に係わるシンタックスを決定することができる。一実施形態により、映像復号装置100は、分割形態モード情報に係わる最初ビンが1である場合、2番目ビンが0または1である確率は、互いに同一である確率であることと見なし、ビンを復号することができる。
一実施形態により、映像復号装置100は、分割形態モード情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態により、映像復号装置100は、非正方形ブロックの方向に沿い、分割形態モード情報に係わるビンの確率を異なるように決定することができる。一実施形態により、映像復号装置100は、現在符号化単位の広さまたは長辺長により、分割形態モード情報に係わるビンの確率を異なるように決定することができる。一実施形態により、映像復号装置100は、現在符号化単位の形態及び長辺長のうち少なくとも一つにより、分割形態モード情報に係わるビンの確率を異なるように決定することができる。
一実施形態により、映像復号装置100は、所定サイズ以上の符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。例えば、符号化単位の長辺長を基準に、64サンプル以上の大きさの符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。
一実施形態により、映像復号装置100は、分割形態モード情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ(例えば、Iスライス、PスライスまたはBスライス)に基づいても決定される。
図20は、ループフィルタリングを行う映像符号化システム及び映像復号システムのブロック図を示した図面である。
映像符号化システム及び映像復号システム2000の符号化端2010は、映像の符号化されたビットストリームを伝送し、復号端2050は、ビットストリームを受信して復号することによって復元映像を出力する。ここで、符号化端2010は、後述する映像符号化装置200に類似した構成でもあり、復号端2050は、映像復号装置100に類似した構成でもある。
符号化端2010において、予測符号化部2015は、インター予測及びイントラ予測を介して予測データを出力し、変換及び量子化部2020は、予測データと現在入力映像とのレジデュアルデータの量子化された変換係数を出力する。エントロピー符号化部2025は、量子化された変換係数を符号化して変換し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部2030を経て、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部2035及びループフィルタリング部2040を経て、復元映像として出力される。該復元映像は、予測符号化部2015を経て、次の入力映像の参照映像にも使用される。
復号端2050に受信されたビットストリームにおいて符号化された映像データは、エントロピー復号部2055及び逆量子化及び逆変換部2060を経て、空間領域のレジデュアルデータに復元される。予測復号部2075から出力された予測データと、レジデュアルデータとが組み合わされ、空間領域の映像データが構成され、デブロッキングフィルタリング部2065及びループフィルタリング部2070は、空間領域の映像データに対してピルトリングを行い、現在原本映像に係わる復元映像を出力することができる。該復元映像は、予測復号部2075により、次の原本映像に係わる参照映像としても利用される。
符号化端2010のループフィルタリング部2040は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用し、ループフィルタリングを行う。ループフィルタリング部2040によって使用されたフィルタ情報は、エントロピー符号化部2025に出力され、符号化された映像データと共に、復号端2050に伝送される。復号端2050のループフィルタリング部2070は、復号端2050から入力されたフィルタ情報に基づき、ループフィルタリングを行うことができる。
前述の多様な実施形態は、映像復号装置100が遂行する映像復号方法と係わる動作について説明したものである。以下においては、そのような映像復号方法に逆順の過程に該当する映像符号化方法を遂行する映像符号化装置200の動作について、多様な実施形態を介して説明する。
図2は、一実施形態により、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、映像を符号化することができる映像符号化装置200のブロック図を図示する。
映像符号化装置200は、符号化部220及びビットストリーム生成部210を含んでもよい。符号化部220は、入力映像を受信し、入力映像を符号化することができる。符号化部220は、入力映像を符号化し、少なくとも1つのシンタックスエレメントを獲得することができる。該シンタックスエレメントは、skip flag、prediction mode、motion vector difference、motion vector prediction method (or index)、transform quantized coefficient、coded block pattern、coded block flag、intra prediction mode、direct flag、merge flag、delta QP、reference index、prediction direction、transform indexのうち少なくとも一つを含んでもよい。符号化部220は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを含むブロック形態情報に基づき、コンテクストモデルを決定することができる。
ビットストリーム生成部210は、符号化された入力映像に基づき、ビットストリームを生成することができる。例えば、ビットストリーム生成部210は、コンテクストモデルに基づき、シンタックスエレメントをエントロピー符号化することにより、ビットストリームを生成することができる。また、映像符号化装置200は、ビットストリームを映像復号装置100に伝送することができる。
一実施形態により、映像符号化装置200の符号化部220は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、または非正方形であるかという形態を有することができ、そのような形態を示す情報は、ブロック形態情報にも含まれる。
一実施形態により、符号化部220は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部220は、符号化単位に含まれる少なくとも1つの符号化単位の形態を決定することができ、ビットストリーム生成部210は、そのような符号化単位の形態に係わる情報を含む分割形態モード情報を含むビットストリームを生成することができる。
一実施形態により、符号化部220は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部220が、符号化単位に1つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部210は、符号化単位が分割されないということを示す分割形態モード情報を含むビットストリームを生成することができる。また、符号化部220は、符号化単位に含まれる複数個の符号化単位に分割することができ、ビットストリーム生成部210は、符号化単位は、複数個の符号化単位に分割されることを示す分割形態モード情報を含むビットストリームを生成することができる。
一実施形態により、符号化単位を、いくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が、分割形態モード情報に含まれるのである。例えば、該分割形態モード情報は、垂直方向及び水平方向のうち少なくとも1つの方向に分割することを示すか、あるいは分割しないということを示すことができる。
映像符号化装置200は、符号化単位の分割形態モードに基づき、分割形態モードに係わる情報を決定する。映像符号化装置200は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つに基づき、コンテクストモデルを決定する。そして、映像符号化装置200は、コンテクストモデルに基づき、符号化単位を分割するための分割形態モードに係わる情報をビットストリームとして生成する。
映像符号化装置200は、コンテクストモデルを決定するために、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つと、コンテクストモデルに係わるインデックスとを対応させるための配列を獲得することができる。映像符号化装置200は、該配列において、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つに基づき、コンテクストモデルに係わるインデックスを獲得することができる。映像符号化装置200は、コンテクストモデルに係わるインデックスに基づき、コンテクストモデルを決定することができる。
映像符号化装置200は、コンテクストモデルを決定するために、符号化単位に隣接した周辺符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを含むブロック形態情報にさらに基づき、コンテクストモデルを決定することができる。また、該周辺符号化単位は、符号化単位の左下側、左側、左上側、上側、右上側、右側または右下側に位置した符号化単位のうち少なくとも一つを含んでもよい。
また、映像符号化装置200は、コンテクストモデルを決定するために、上側周辺符号化単位の幅の長さと、符号化単位の幅の長さとを比較することができる。また、映像符号化装置200は、左側及び右側の周辺符号化単位の高さの大きさと、符号化単位の高さの大きさとを比較することができる。また、映像符号化装置200は、比較結果に基づき、コンテクストモデルを決定することができる。
映像符号化装置200の動作は、図3ないし図20で説明したビデオ復号装置100の動作と類似した内容を含んでいるので、詳細な説明は、省略する。
以下においては、図21ないし図30を参照し、三角予測モードを介し、映像を符号化及び復号する映像符号化装置2900と映像復号装置2100とについて説明する。
図21は、一実施形態による映像復号装置2100の構成を図示するブロック図である。
図21を参照すれば、一実施形態による映像復号装置2100は、エントロピー復号部2110及び予測復号部2130を含んでもよい。
エントロピー復号部2110及び予測復号部2130は、図1に図示された復号部120に対応しうる。また、エントロピー復号部2110及び予測復号部2130は、図20に図示されたエントロピー復号部2055及び予測復号部2075のそれぞれに対応しうる。図21には、図示されていないが、一実施形態による映像復号装置2100は、映像の符号化結果として生成されたビットストリームを獲得するビットストリーム獲得部をさらに含んでもよい。
一実施形態による、エントロピー復号部2110及び予測復号部2130は、少なくとも1つのプロセッサによっても具現される。映像復号装置2100は、エントロピー復号部2110及び予測復号部2130の入出力データを保存する1以上のメモリ(図示せず)を含んでもよい。また、映像復号装置2100は、メモリ(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含むのである。
エントロピー復号部2110は、ビットストリームに含まれた二進値をエントロピー復号し、シンタックスエレメントに対応する値を獲得する。エントロピー復号部2110は、コンテクスト基盤適応的二進算術コーディング(CABAC:context-based adaptive binary arithmetic coding)によってビットストリームを復号することができる。
該ビットストリームは、現在ブロックの復元に利用される情報を含むものである。現在ブロックは、映像から、ツリー構造によって分割されて生成されるブロックであり、例えば、最大符号化単位、符号化単位または変換単位のようなブロックに対応しうる。
予測復号部2130は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ及びスライスセグメントヘッダのうち少なくとも1つのレベルに対応するビットストリームに含まれたブロック形態情報及び/または分割形態モード情報に基づき、現在ブロックを決定することができる。
該ビットストリームは、現在ブロックの予測モードを示す情報を含むものである。現在ブロックの予測モードは、イントラモード、インターモードなどを含むものである。該インターモードは、映像間の時間的重複性を低減させるために、参照映像に基づき、現在ブロックを予測及び復元するモードである。該インターモードは、後述するレギュラーマージモード(regular merge mode)、残差動きベクトル(differential motion vector)を利用するマージモード、三角予測モード(triangle prediction mode)などを含んでもよい。
予測復号部2130は、現在ブロックの予測モードが決定されれば、決定された予測モードにより、現在ブロックを復元する。復元されたブロック(reconstructed block)は、その後に復号されるブロックの参照ブロックにもなる。
一実施形態による映像復号方法においては、現在ブロックを、三角予測モードによって復元することができるが、該三角予測モードは、現在ブロックを2つの三角パーティションに分割し、分割された2つの三角パーティションに対応する予測ブロックを、分割形態によって結合し、最終予測ブロックを生成し、最終予測ブロックを基に、現在ブロックを復元するモードである。一例として、予測復号部2130は、最終予測ブロックを、復元されたブロックと決定することができる。他の例として、ビットストリームから獲得される残差データと、最終予測ブロックとを結合した結果が、復元されたブロックとも決定される。
三角予測モードにより、現在ブロックを2つの三角パーティションに分割するということは、図27などを参照して後述するように、2つの三角パーティションに対応する予測ブロックの結合方式を決定するためである。従って、現在ブロックを2つの三角パーティションに分割するということは、2つの三角パーティションに対応する予測ブロックの結合方式を決定する過程とも理解される。
現在ブロックにつき、三角予測モードが適用されれば、四角形の現在ブロックを、2つの三角パーティションに分割しなければならないが、そのような制限により、現在ブロックにつき、三角予測モード適用がビットレート側面で不利でもある。言い換えれば、現在ブロックを、三角予測モードによって復元するならば、ビットストリームから、三角予測モード関連情報を獲得しなければならないが、三角予測モードを適用してはならない状況においても、三角予測モード関連情報がビットストリームに含まれることにより、不要なビット個数が増えてしまうためである。
従って、一実施形態において、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得するか否かということを所定条件に基づいて判断し、所定条件を満足した場合にのみ、ビットストリームから、三角予測モード関連情報をエントロピー復号することができる。反対に、所定条件を満足しない場合には、三角予測モード関連情報のエントロピー復号を行わないのである。映像符号化装置2900も、現在ブロックにつき、三角予測モードを適用するか否かということを、所定条件に基づいて決定することができるので、所定条件を満足しない場合には、三角予測モード関連情報をビットストリームに含めないのである。
エントロピー復号部2110がビットストリームから獲得する三角予測モード関連情報は、三角予測モードの適用いかん、分割形態情報、及び三角パーティションのための動きベクトルを示す情報を含むものである。一実施形態において、エントロピー復号部2110は、所定条件を満足すれば、三角予測モードが現在ブロックに適用されると決定し、ビットストリームから、三角予測モード関連情報として、分割形態情報と、三角パーティションのための動きベクトルを示す情報とを獲得することもできる。
第1の実施形態において、エントロピー復号部2110は、現在ブロックの大きさと、第1臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さが第1臨界値より小さく、現在ブロックの幅が第1臨界値より小さい場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さまたは幅が、第1臨界値以上である場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得しないのである。また、例えば、現在ブロックの高さまたは幅が、第1臨界値より小さい場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さと幅とがいずれも第1臨界値以上である場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得しないのである。
第1の実施形態は、大サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。大サイズの現在ブロックから獲得される2つの三角パーティションも、その大きさが大きいので、現在ブロックをクアッド分割やターナリ分割を行うときに比べ、最終予測ブロックと現在ブロックとの同一性が小さくなってしまう。従って、第1の実施形態においては、現在ブロックの大きさが第1臨界値以上である場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、ビットストリームから、三角予測モード関連情報をパージングしないのである。
第2の実施形態において、エントロピー復号部2110は、現在ブロックの大きさと、第2臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とを乗じた値が、第2臨界値以上であるならば、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さと幅とを乗じた値が、第2臨界値より小さい場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得しないのである。また、例えば、現在ブロックの高さと幅とがいずれも第2臨界値以上であるならば、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さまたは幅が、第2臨界値より小さい場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得しないのである。
前記第2臨界値は、第1の実施形態と係わって説明した第1臨界値よりも小さい。例えば、第1臨界値が128であるならば、第2臨界値は、64でもある。一具現例によって、第2臨界値と第1臨界値は、同一でもある。例えば、第1臨界値と第2臨界値は、いずれも64でもある。
第2の実施形態は、小サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。過度に小さい大きさの現在ブロックを2つの三角パーティションに分割する場合、符号化効率に比べ、符号化及び復号プロセスの複雑度が高くなるためである。従って、第2の実施形態においては、現在ブロックの大きさが第2臨界値より小さい場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、ビットストリームから、三角予測モード関連情報をパージングしないのである。
第3の実施形態において、エントロピー復号部2110は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、エントロピー復号部2110は、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、三角予測モード関連情報を、ビットストリームから獲得しないのである。
該インター・イントラ結合モードは、参照映像内において、現在ブロックの動きベクトルが示す予測ブロックと、現在映像内ピクセルから獲得される予測ブロックとを結合し、現在ブロックを復元するモードである。すなわち、インターモードによって獲得される予測ブロックと、イントラモードによって獲得される予測ブロックとを結合し、現在ブロックを復元する。
既存のインターモードにより、現在ブロックを分割せずに符号化するか、あるいは現在ブロックを分割した後、符号化する場合、コスト(例えば、率・歪曲コスト(rate-distortion cost))が大きければ、現在ブロックの予測モードとして、インター・イントラ結合モードが適用されうる。すなわち、現在ブロックにつき、インター・イントラ結合モードが適用されたということは、現在ブロックをパーティションしても、符号化効率が良好ではないということを意味しうるので、エントロピー復号部2110は、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックのパーティションを必要とする三角予測モード関連情報を、ビットストリームから獲得しないのである。
第4の実施形態において、エントロピー復号部2110は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、三角予測モード関連情報を、ビットストリームから獲得しないのである。反対に、エントロピー復号部2110は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、三角予測モード関連情報を、ビットストリームから獲得することができる。
マージモードについてまず説明すれば、該マージモードは、現在ブロックの動きベクトルを決定するために、まず、符号化または復号されたブロックの動きベクトルを含むマージリストを構築し、該マージリストに含まれた動きベクトルのうちいずれか一つを、現在ブロックの動きベクトルと決定するモードである。映像符号化装置2900は、該マージリストに含まれた動きベクトルのうち、現在ブロックの動きベクトルに利用される動きベクトルを示すインデックスのみを映像復号装置2100に伝送し、映像復号装置2100は、受信されたインデックスにより、現在ブロックの動きベクトルを復元することができる。すなわち、インデックスだけで、動きベクトルの符号化が可能であるので、ビットレート側面で効率が良好である。映像復号装置2100は、映像符号化装置2900から受信されたインデックスにより、現在ブロックの動きベクトルを獲得し、獲得した動きベクトルが示す予測ブロックに基づき、復元ブロックを決定することができる。
残差動きベクトルを利用するマージモードにおいては、マージモードでのように、マージリストに含まれた動きベクトルのうちいずれか一つを、現在ブロックの動きベクトルとして決定するが、現在ブロックの実際の動きベクトルと、マージリストから選択された動きベクトルとの残差動きベクトルが、映像復号装置2100でシグナリングされるという点で違いがある。該残差動きベクトルは、変移距離及び変移方向によっても表現される。すなわち、映像符号化装置2900は、残差動きベクトルを示す変移距離と変移方向とを示す情報と、マージリストに含まれた動きベクトルのうちいずれか一つを示すインデックスと、を映像復号装置2100に伝送し、映像復号装置2100は、マージリストに含まれた動きベクトルのうち、インデックスが示す動きベクトルを選択し、選択した動きベクトルを、変移距離及び変移方向に沿って変更し、現在ブロックの動きベクトルを決定することができる。
現在ブロックにつき、残差動きベクトルを利用するマージモードが適用されたということは、現在ブロックをパーティショニングする必要なしに、マージリストに含まれた動きベクトルを利用し、符号化/復号することが効率が良好であるということを意味する。従って、エントロピー復号部2110は、現在ブロックにつき、残差動きベクトルを利用するマージモードが適用された場合には、三角予測モード関連情報を、ビットストリームから獲得しないのである。
エントロピー復号部2110は、前述の第1の実施形態、第2の実施形態、第3の実施形態、及び第4の実施形態で説明した条件を結合し、三角予測モード関連情報を、ビットストリームから獲得するか否かということを決定することもできる。
一例として、エントロピー復号部2110は、現在ブロックの大きさと、第1臨界値との比較結果と、現在ブロックの大きさと、第2臨界値との比較結果が、所定条件を満足すれば、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とが第1臨界値より小さく、現在ブロックの高さと幅とを乗じた結果が、第2臨界値以上である場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得することができる。
他の例として、エントロピー復号部2110は、現在ブロックの大きさと、第1臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということとを考慮し、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とが第1臨界値より小さく、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得することができる。
さらに他の例として、エントロピー復号部2110は、現在ブロックの大きさと、第1臨界値との比較結果と、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードであるということとを考慮し、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さまたは幅が、第1臨界値以上であるや、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得しないのである。
さらに他の例として、エントロピー復号部2110は、現在ブロックの大きさと、第1臨界値との比較結果、現在ブロックの大きさと、第2臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということとを考慮し、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とが第1臨界値より小さく、現在ブロックの高さと幅とを乗じた値が第2臨界値以上であり、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、エントロピー復号部2110は、三角予測モード関連情報を、ビットストリームから獲得することができる。
図22は、一実施形態による、三角予測モード関連情報をパージングするためのシンタックス構造を示す例示的な図面である。
S2201において、エントロピー復号部2110は、現在モードの予測モードが、レギュラーマージモードであるか否かということを判断する。該レギュラーマージモードは、現在ブロックの動きベクトルを決定するために、まず符号化または復号されたブロックの動きベクトルを含むマージリストを構築し、マージリストに含まれた動きベクトルのうちいずれか一つを、現在ブロックの動きベクトルとして決定するモードである。また、レギュラーマージモードは、三角予測モード関連情報を利用せず、マージリストに含まれた動きベクトルの中でいずれか一つが示す予測ブロックから、現在ブロックを復元するモードでもある。現在モードの予測モードが、レギュラーマージモードであるならば、現在ブロックの動きベクトルを示すインデックス(merge_idx)により、マージリストに含まれた動きベクトルのうちいずれか一つを選択し、選択された動きベクトルが示す予測ブロックに基づき、復元ブロックが生成されうる。該レギュラーマージモードは、現在ブロック復元にあたり、現在ブロックを2つの三角パーティションに分割しないという点において、三角予測モードと違いがある。すなわち、レギュラーマージモードにおいては、三角パーティションの形態に係わる考慮なしに、予測ブロックから現在ブロックを復元する。
S2202において、エントロピー復号部2110は、現在モードの予測モードがレギュラーモードであるならば、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードであるか否かということを示すフラグ(mmvd_merge_flag)をビットストリームから獲得する。
S2203において、エントロピー復号部2110は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、マージリストに含まれた動きベクトルのうちいずれか一つを示す情報(mmvd_cand_flag)をビットストリームから獲得し、残差動きベクトルを示す情報として、変移距離に係わる情報(mmvd_distance_idx)、及び変移方向に係わる情報(mmvd_direction_idx)をビットストリームから獲得する。予測復号部2130は、mmvd_cand_flag、mmvd_distance_idx及びmmvd_direction_idxを利用し、残差動きベクトルを利用するマージモードにより、現在ブロックを復元する。
S2204において、エントロピー復号部2110は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、すなわち、現在ブロックの予測モードが、レギュラーマージモードである場合、マージリストに含まれた動きベクトルのうちいずれか一つを示す情報(merge_idx)をビットストリームから獲得する。予測復号部2130は、merge_idxを利用し、レギュラーマージモードにより、現在ブロックを復元する。
S2205において、エントロピー復号部2110は、さまざまな変数(sps_ciip_enabled_flag,sps_triangle_enabled_flag,MaxNumTriangleMergeCand,silce_type,cu_skip_flag)の値が所定条件を満足するか否かということを判断する。また、エントロピー復号部2110は、現在ブロックの大きさと、第1臨界値との比較結果と、現在ブロックの大きさと、第2臨界値との比較結果とが所定条件を満足するか否かということを判断する。特に、条件Aを見れば、エントロピー復号部2110は、現在ブロックの幅(cbWidth)と高さ(cbHeight)とを乗じた値が64以上であり、現在ブロックの幅(cbWidth)と高さ(cbHeight)とがいずれも128より小さい場合、S2206において、現在ブロックの予測モードが、インター・イントラ結合モードであるか否かということを示すフラグ(ciip_flag)をビットストリームから獲得する。現在ブロックの予測モードが、インター・イントラ結合モードである場合、予測復号部2130は、インター・イントラ結合モードにより、参照映像内で獲得される予測ブロックと、現在映像内で獲得される予測ブロックとを結合し、現在ブロックを復元する。
S2207において、エントロピー復号部2110は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、三角予測モード関連情報として、現在ブロックの分割形態を示す情報(merge_triangle_split_dir)、三角予測モードのためのマージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを示す情報(merge_triangle_idx0,merge_triangle_idx1)をビットストリームから獲得する。
現在ブロックの分割形態を示す情報は、現在ブロックを、左上側コーナーから右下側コーナーに沿って分割しなければならないか、あるいは現在ブロックの右上側コーナーから左下側コーナーに沿って分割しなければならないかということを示すことができる。
図22において、三角予測モード関連情報(merge_triangle_split_dir,merge_triangle_idx0、merge_triangle_idx1)がビットストリームから獲得されない条件について述べれば、まず、S2202において、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、三角予測モード関連情報がビットストリームから獲得されない。また、S2205において、現在ブロックの幅と高さとを乗じた値が64より小さいか、現在ブロックの幅が128以上であるか、あるいは現在ブロックの高さが128以上である場合、三角予測モード関連情報は、ビットストリームから獲得されない。また、S2207において、現在ブロックの予測モードが、インター・イントラ結合モードである場合、三角予測モード関連情報がビットストリームから獲得されない。
以下においては、現在ブロックの予測モードが三角予測モードであり、エントロピー復号部2110が、ビットストリームから、三角予測モード関連情報を獲得した場合、予測復号部2130が三角予測モードにより、現在ブロックを復元する方法について、図23ないし図27を参照して説明する。
図23は、レギュラーマージモードにおけるマージリスト構築方法について説明するための図面である。
一実施形態において、予測復号部2130は、現在ブロック2310の予測モードが三角予測モードであるならば、レギュラーマージモードにおけるマージリスト構築方法により、レギュラーマージモードのためのマージリストを構築し、レギュラーマージモードのためのマージリストを利用し、三角予測モードのためのマージリストを決定することができる。
一実施形態において、予測復号部2130は、レギュラーマージモードのためのマージリストを、そのまま三角予測モードのためのマージリストとして決定することができる。
他の実施形態において、予測復号部2130は、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定することもできる。ここで、該レギュラーマージモードのためのマージリストの変形というのは、レギュラーマージモードのためのマージリストに含まれた動きベクトルの順序を変更するか、一部の動きベクトルを除外させるか、あるいはマージリストに存在していない新たな動きベクトルを追加することを意味しうる。
まず、レギュラーマージモードのためのマージリストを構築する方法について説明する。
予測復号部2130は、現在ブロック2310と空間的に関係する空間的ブロック、及び現在ブロック2310と時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築することができる。該空間的ブロック及び該時間的ブロックは、現在ブロック2310より先に復号されたブロックを含んでもよい。
図23を参照すれば、時間的ブロックは、現在ブロック2310のPOC(picture order count)と異なるPOCを有する参照映像内において、現在ブロック2310と同一地点に位置するブロックColと、同一位置のブロックColに対して空間的に隣接したブロックBrとを少なくとも一つ含むものである。ブロックBrは、現在ブロック2310と同一地点に位置するブロックColの右側下部に位置することができる。現在ブロック2310と同一地点に位置するブロックColは、参照映像に含まれたピクセルのうち、現在ブロック2310内中央ピクセルに対応するピクセルを含むブロックでもある。
現在ブロック2310と空間的に関連する空間的ブロックは、左側下部コーナーブロックA0、左側下部ブロックA1、右側上部コーナーブロックB0、右側上部ブロックB1及び左側上部コーナーブロックB2のうち少なくとも一つを含んでもよい。
図23に図示された時間的ブロック及び空間的ブロックの位置は、1つの例示であり、具現例により、時間的ブロック、空間的ブロックの位置及び個数は、多様にも変更される。
予測復号部2130は、時間的ブロック及び空間的ブロックのうち、インター予測されたブロックを利用可能なものであると判断することができる。予測復号部2130は、利用可能なブロックの動きベクトルを、事前に決定された順序により、マージリストに含めることができる。ある利用可能なブロックの動きベクトルが、マージリストに先に含まれた動きベクトルと同一である場合、該利用可能なブロックの動きベクトルは、マージリストに含まれないのである。
予測復号部2130は、マージリストに含まれた動きベクトルの個数が、所定個数より少ない場合、マージリストに含まれた動きベクトルを組み合わせ、新たな動きベクトルを生成し、生成された動きベクトルを、マージリストに含めることができる。そして、予測復号部2130は、マージリストに含まれた動きベクトルの個数が、所定個数より少ない場合には、マージリストに含まれた動きベクトルの個数が所定個数になるまで、ゼロベクトルをマージリストに含めることができる。
予測復号部2130は、レギュラーマージモードのためのマージリストの構築が完了すれば、レギュラーマージモードのためのマージリストを、三角予測モードのためのマージリストとして決定し、三角予測モード関連情報に基づき、マージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを選択することができる。
一実施形態において、予測復号部2130は、レギュラーマージモードのためのマージリストの構築が完了すれば、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定し、三角予測モード関連情報に基づき、マージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを選択することができる。
レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定する方法につき、図24及び図25を参照して説明する。
図24及び図25は、レギュラーマージモードのためのマージリストから、三角予測モードのためのマージリストを構築する方法について説明するための例示的な図面である。
まず、図24において、左側に図示されたマージリストは、レギュラーマージモードのためのものであり、B1、B0、A0、B2は、利用可能な空間的ブロックの動きベクトルを示し、Colは、利用可能な時間的ブロックの動きベクトルを示す。
予測復号部2130は、マージリストに含まれた動きベクトルのうち、単方向の動きベクトルを三角予測モードのためのマージリストに追加する。単方向の動きベクトルとは、リスト0に含まれた参照映像内ブロックを示すか、あるいはリスト1に含まれた参照映像内ブロックを示す動きベクトルを意味する。それと対比され、双方向の動きベクトルとは、リスト0に含まれた参照映像内ブロックと、リスト1に含まれた参照映像内ブロックとを示す動きベクトルを意味する。
B1、B0、A0、B2、Colのうち、B1、A0、B2、Colが単方向の動きベクトルであるならば、予測復号部2130は、図24の右側に図示されているように、三角予測モードのためのマージリストに、B1、A0、B2、Colを含める。そして、予測復号部2130は、三角予測モードのためのマージリストに含まれた動きベクトルの個数が、所定個数(例えば、5個)より少なければ、すでにマージリストに含まれた動きベクトルを、事前に決定された基準によって結合し、新たな双方向の動きベクトルを生成し、生成された動きベクトルをマージリストに追加する。図24を参照すれば、B1とA0とを結合することによって生成された(B1+A0)が最後の候補として、マージリストに追加されたということが分かる。
次に、図25を参照すれば、予測復号部2130は、レギュラーマージモードのためのマージリストに含まれた動きベクトルのうち、その一部である事前に決定された個数の動きベクトルのみを考慮し、三角予測モードのためのマージリストを構築することができる。例えば、予測復号部2130は、三角予測モードのためのマージリスト構築にあたり、レギュラーマージモードのためのマージリストに含まれた5個の動きベクトルのうち、マージリストに含まれた順に、4個の動きベクトルのみを利用することができる。それにより、予測復号部2130は、レギュラーマージモードのためのマージリストに含まれた4個の動きベクトル、すなわち、B1、B0、A0、B2のうち、単方向動きベクトルを、三角予測モードのためのマージリストに含める。B1、B0、A0、B2のうちB1、A0、B2が単方向の動きベクトルであるならば、図25の右側に図示されているように、予測復号部2130は、B1、A0、B2を三角予測モードのためのマージリストに含める。そして、予測復号部2130は、三角予測モードのためのマージリストに含まれた動きベクトルの個数が、所定個数(例えば、5個)より少なければ、すでにマージリストに含まれた動きベクトルを、事前に決定された基準によって結合し、新たな双方向の動きベクトルを生成し、生成された動きベクトルを、マージリストに追加する。図25を参照すれば、B1とA0とを結合することで生成された(B1+A0)と、B1とB2とを結合することで生成された(B1+B2)とがB2の次に三角予測モードのためのマージリストに追加されたということが分かる。
なお、図24及び図25と係わり、単方向の動きベクトルの結合結果によって生成された新たな動きベクトル(B1+A0、B1+B2など)を、三角予測モードのためのマージリストに含める場合、予測復号部2130は、新たな動きベクトルが、以前にマージリストに追加された動きベクトルと同じではない場合に限り、三角予測モードのためのマージリストに含めるのである。
このとき、一実施形態において、予測復号部2130は、新たな動きベクトルが、以前にマージリストに追加された全ての動きベクトルと同じではない場合、新たな動きベクトルをマージリストに含めるのである。
ただし、新たな動きベクトルと、以前にマージリストに追加された全ての動きベクトルとの同一いかんを判断する場合、符号化/復号の複雑度が増大するので、他の実施形態において、予測復号部2130は、新たな動きベクトルが、直前にマージリストに追加された動きベクトルと同じではない場合、新たな動きベクトルをマージリストに含めるのである。
三角予測モードのためのマージリストの構築が完了すれば、予測復号部2130は、三角予測モード関連情報に基づき、三角パーティションの動きベクトルを決定する。具体的には、予測復号部2130は、マージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを示す情報(例えば、インデックス)を獲得し、当該情報が示す動きベクトルを、三角パーティションの動きベクトルとして決定することができる。例えば、図25を参照して説明すれば、三角パーティションの動きベクトルを示すインデックスが0と1とを示すならば、予測復号部2130は、B1を、ある1つの三角パーティションの動きベクトルとして、A0を、他の1つの三角パーティションの動きベクトルとして決定することができる。
三角パーティションの動きベクトルが決定されれば、予測復号部2130は、参照映像内において動きベクトルが示す予測ブロックを決定する。
図26は、現在ブロック2310から分割された2つの三角パーティション2312,2314に対応する予測ブロック2612,2614を決定する方法について説明するための図面であり、図26に図示されているように、予測復号部2130は、第1三角パーティション2312の動きベクトルmv1が示す第1予測ブロック2612と、第2三角パーティション2314の動きベクトルmv2が示す第2予測ブロック2614とを獲得することができる。
図26は、第1予測ブロック2612及び第2予測ブロック2614が、1つの参照映像に含まれているように図示しているが、それは、1つの例示であるのみ、第1予測ブロック2612及び第2予測ブロック2614のそれぞれは、互いに異なる参照映像内に位置することもできる。
三角パーティション2312,2314に対応する予測ブロック2612,2614が獲得されれば、予測復号部2130は、予測ブロック2612,2614を結合し、最終予測ブロックを生成する。それについては、図27を参照して説明する。
図27は、2つの三角パーティション2312,2314に対応する予測ブロック2612,2614を結合し、最終予測ブロック2710を生成する方法について説明するための図面である。
予測復号部2130は、第1三角パーティション2312及び第2三角パーティション2314に対応する第1予測ブロック2612に含まれた第1サンプル値P1と、第2予測ブロック2614に含まれた第2サンプル値P2とを加重和(weighted sum)し、最終予測ブロック2710を生成することができる。
図27を参照すれば、現在ブロック2310が、左上側コーナーと右下側コーナーとに沿い、2つの三角パーティションに分割された場合、第1予測ブロック2612に含まれた第1サンプル値P1と、第2予測ブロック2614に含まれた第2サンプル値P2との境界2315上に位置した第1サンプル値P1及び第2サンプル値P2は、(4/8、4/8)の加重値を適用して合わせる。そして、境界2315から右上側コーナー方向に行くほど、第1サンプル値P1にさらに高い加重値を適用し、境界2315から左下側コーナー方向に行くほど、第2サンプル値P2にさらに高い加重値を適用することができる。最終予測ブロック2710のサンプルのうち、右上側コーナーに隣接したサンプルには、第1サンプル値P1が割り当てられ、最終予測ブロック2710のサンプルのうち、左下側コーナーに隣接したサンプルには、第2サンプル値P2が割り当てられる。
図26及び図27と係わり、現在ブロック2310が、左上側コーナーと右下側コーナーとを中心に、2つの三角パーティションに分割された場合について説明したが、現在ブロック2310が、右上側コーナーと左下側コーナーとを中心に、2つの三角パーティションに分割された場合にも、同一方式で最終予測ブロックが生成されうる。
図28は、一実施形態による映像復号方法を示すフローチャートである。
S2810段階において、映像復号装置2100は、現在映像から分割された現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する。
映像復号装置2100は、現在ブロックの大きさと、第1臨界値との比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。具体的には、映像復号装置2100は、現在ブロックの幅が第1臨界値より小さく、現在ブロックの高さが第1臨界値より小さい場合、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、映像復号装置2100は、現在ブロックの幅が第1臨界値以上であるか、あるいは現在ブロックの高さが第1臨界値以上である場合、三角予測モード関連情報を、ビットストリームから獲得しないのである。
一実施形態において、映像復号装置2100は、現在ブロックの大きさと、第2臨界値とを比較し、比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することもできる。具体的には、映像復号装置2100は、現在ブロックの幅と高さとの積が第2臨界値以上であるならば、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、映像復号装置2100は、現在ブロックの幅と高さとの積が第2臨界値より小さければ、三角予測モード関連情報を、ビットストリームから獲得しないのである。
映像復号装置2100は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得し、反対に、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得しないのである。
また、映像復号装置2100は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得しないのである。反対に、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。
該三角予測モード関連情報は、現在ブロックにつき、三角予測モードが適用されるか否かということを示す情報、現在ブロックの分割形態を示す情報、及び三角パーティションの動きベクトルを示す情報のうち少なくとも一つを含んでもよい。現在ブロックの分割形態を示す情報は、現在ブロックの左上側コーナーと右下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないか、現在ブロックの右上側コーナーと左下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないかということを示すことができる。
S2820段階において、映像復号装置2100は、現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する。
一実施形態において、映像復号装置2100は、レギュラーマージモードのためのマージリストを、そのまま三角予測モードのためのマージリストとして決定することができる。
他の実施形態において、映像復号装置2100は、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定することもできる。ここで、該レギュラーマージモードのためのマージリスト変形というのは、レギュラーマージモードのためのマージリストに含まれた動きベクトルの順序を変更するか、一部の動きベクトルを除外させるか、あるいはマージリストに存在していない新たな動きベクトルを追加することを意味しうる。
該レギュラーマージモードにおけるマージリスト構築方法は、現在ブロックと空間的に関係する空間的ブロック、及び現在ブロックと時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築する方法でもある。
S2830段階において、映像復号装置2100は、三角予測モード関連情報により、現在ブロックを2つの三角パーティションに分割する。映像復号装置2100は、現在ブロックの左上側コーナーから現在ブロックの右下側コーナーに沿い、現在ブロックを分割するか、あるいは現在ブロックの右上側コーナーから現在ブロックの左下側コーナーに沿い、現在ブロックを分割することができる。三角予測関連モードにより、現在ブロックを2つの三角パーティションに分割するということは、2つの三角パーティションに対応する予測ブロックの結合方式を決定するためである。従って、現在ブロックを2つの三角パーティションに分割するという段階は、2つの三角パーティションに対応する予測ブロックの結合方式を決定する段階とも理解される。
S2840段階で、映像復号装置2100は、三角予測モードのためのマージリストに含まれた動きベクトルのうち、三角予測モード関連情報に含まれた動きベクトルを示す情報により、2つの三角パーティションのための動きベクトルを選択する。
S2850段階において、映像復号装置2100は、2つの三角パーティションのための動きベクトルが示す予測ブロックを参照映像から獲得する。
S2860段階において、映像復号装置2100は、2つの三角パーティションに対応する予測ブロックを結合する。そして、映像復号装置2100は、予測ブロックの結合結果によって生成された最終予測ブロックに基づき、現在ブロックを復元する。
一実施形態において、映像復号装置2100は、最終予測ブロックを、復元ブロックとして決定することができる。他の実施形態において、映像復号装置2100は、ビットストリームに含まれた情報に基づき、獲得される残差ブロックと最終予測ブロックとを結合し、結合されたブロックを、復元ブロックとして決定することもできる。
図29は、一実施形態による映像符号化装置2900の構成を示すブロック図である。
図29を参照すれば、映像符号化装置2900は、予測符号化部2910及びエントロピー符号化部2930を含んでもよい。予測符号化部2910及びエントロピー符号化部2930は、図2に図示された符号化部220及びビットストリーム生成部210のそれぞれに対応しうる。また、予測符号化部2910及びエントロピー符号化部2930は、図20に図示された予測符号化部2015及びエントロピー符号化部2025のそれぞれに対応しうる。
一実施形態による、予測符号化部2910及びエントロピー符号化部2930は、少なくとも1つのプロセッサによっても具現される。映像符号化装置2900は、予測符号化部2910及びエントロピー符号化部2930の入出力データを保存する1以上のメモリ(図示せず)を含んでもよい。また、映像符号化装置2900は、メモリ(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含んでもよい。
予測符号化部2910は、現在ブロックの予測モードを決定する。予測符号化部2910は、現在ブロックの予測モードを、レギュラーマージモード、残差動きベクトルを利用したマージモード、インター・イントラ結合モード、三角予測モード、またはイントラモードと決定することができる。
予測符号化部2910は、現在ブロックを、三角予測モードによって符号化することができる。具体的には、予測符号化部2910は、現在ブロックの予測モードが三角予測モードと決定されれば、三角予測モードのためのマージリストを構築する。三角予測モードのためのマージリストを構築する方法については、図23ないし図25と係わって説明したところと同一であるので、詳細な説明を省略する。そして、予測符号化部2910は、現在ブロックを2つの三角パーティションに分割し、マージリストに含まれた動きベクトルのうち、2つの三角パーティションの動きベクトルに利用される動きベクトルを選択する。予測符号化部2910は、三角予測モード関連情報、具体的には、2つの三角パーティションの動きベクトルを示す情報、及び現在ブロックの分割形態を示す情報を映像復号装置2100にシグナリングする。
一定の場合、現在ブロックを三角予測モードを符号化することが、符号化効率側面において良好でもないので、その場合にも、三角予測モード関連情報をビットストリームに含めるならば、不要なビット個数が増えてしまう。
従って、一実施形態においては、三角予測モード関連情報の生成前、現在ブロックを三角予測モードによって符号化することが適切であるか否かということを、所定条件に基づいてまず判断し、該判断結果により、適応的に三角予測モード関連情報の生成いかんを決定することができる。
第1の実施形態において、予測符号化部2910は、現在ブロックの大きさと、第1臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。例えば、現在ブロックの高さが第1臨界値より小さく、現在ブロックの幅が第1臨界値より小さい場合、予測符号化部2910は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さまたは幅が第1臨界値以上である場合、予測符号化部2910は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。また、例えば、現在ブロックの高さまたは幅が第1臨界値より小さい場合、予測符号化部2910は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さと幅とがいずれも第1臨界値以上である場合、予測符号化部2910は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。
第1の実施形態は、大サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。大サイズの現在ブロックから獲得される2つの三角パーティションもその大きさが大きいので、現在ブロックに対し、クアッド分割やターナリ分割を行うときに比べ、最終予測ブロックと現在ブロックとの同一性が低くなってしまう。従って、第1の実施形態においては、現在ブロックの大きさが第1臨界値以上である場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、三角予測モード関連情報を生成しないのである。
第2の実施形態において、予測符号化部2910は、現在ブロックの大きさと、第2臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。例えば、現在ブロックの高さと幅とを乗じた値が第2臨界値以上であるならば、予測符号化部2910は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さと幅とを乗じた値が第2臨界値より小さい場合、予測符号化部2910は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。また、例えば、現在ブロックの高さと幅とがいずれも第2臨界値以上であるならば、予測符号化部2910は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さまたは幅が第2臨界値より小さい場合、予測符号化部2910は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。
前記第2臨界値は、第1の実施形態と係わって説明した第1臨界値よりも小さい。例えば、第1臨界値が128であるならば、第2臨界値は、64でもある。具現例により、第2臨界値と第1臨界値は、同一でもある。例えば、第1臨界値と第2臨界値は、いずれも64でもある。
第2の実施形態は、小サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。過度に小さい大きさの現在ブロックを2つの三角パーティションに分割する場合、符号化効率に比べ、符号化及び復号プロセスの複雑度が高くなるためである。従って、第2の実施形態においては、現在ブロックの大きさが第2臨界値より小さい場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、三角予測モード関連情報を生成しないのである。
第3の実施形態において、予測符号化部2910は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、予測符号化部2910は、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。
既存のインターモードにより、現在ブロックが分割せずに符号化するか、あるいは現在ブロックが分割した後、符号化する場合、コスト(例えば、率・歪曲コスト)が大きければ、現在ブロックの予測モードとして、インター・イントラ結合モードが適用されうる。すなわち、現在ブロックにつき、インター・イントラ結合モードが適用されたということは、現在ブロックをパーティションしても、符号化効率が良好ではないということを意味しうるので、予測符号化部2910は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合にのみ、現在ブロックの予測モードを三角予測モードに決定し、三角予測モード関連情報を生成することができるのである。
第4の実施形態において、エントロピー復号部2110は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、現在ブロックを、三角予測モードによって符号化するか否かということを判断しないのである。反対に、エントロピー復号部2110は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、現在ブロックの予測モードを三角予測モードに決定することができる。
現在ブロックにつき、残差動きベクトルを利用するマージモードが適用されたということは、現在ブロックをパーティショニングする必要なしに、マージリストに含まれた動きベクトルを利用し、符号化/復号することが効率が良好であるということを意味する。従って、予測符号化部2910は、現在ブロックにつき、残差動きベクトルを利用するマージモードが適用された場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。
予測符号化部2910は、前述の第1の実施形態、第2の実施形態、第3の実施形態、及び第4の実施形態で説明した条件を結合し、現在ブロックを三角予測モードによって符号化するか否かということを判断することもできる。
一例として、予測符号化部2910は、現在ブロックの大きさと、第1臨界値との比較結果と、現在ブロックの大きさと、第2臨界値との比較結果とが所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。例えば、現在ブロックの高さと幅とが第1臨界値より小さく、現在ブロックの高さと幅とを乗じた結果が第2臨界値以上である場合、予測符号化部2910は、現在ブロックの予測モードを三角予測モードに決定することができる。
他の例として、予測符号化部2910は、現在ブロックの大きさと、第1臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということを考慮し、現在ブロックを三角予測モードによって符号化するか否かということを判断することができる。例えば、現在ブロックの高さと幅とが第1臨界値より小さく、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、予測符号化部2910は、現在ブロックの予測モードを三角予測モードに決定することができる。
さらに他の例として、予測符号化部2910は、現在ブロックの大きさと、第1臨界値との比較結果と、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードであるということを考慮し、現在ブロックを三角予測モードによって符号化するか否かということを判断することができる。例えば、現在ブロックの高さまたは幅が第1臨界値以上であるか、あるいは現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、予測符号化部2910は、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。
さらに他の例として、予測符号化部2910は、現在ブロックの大きさと、第1臨界値との比較結果、現在ブロックの大きさと、第2臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということとを考慮し、現在ブロックを三角予測モードによって符号化するか否かということを判断することができる。例えば、現在ブロックの高さと幅とが第1臨界値より小さく、現在ブロックの高さと幅とを乗じた値が第2臨界値以上であり、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、予測符号化部2910は、現在ブロックの予測モードを三角予測モードに決定することができる。
一実施形態において、予測符号化部2910は、図22に図示されたシンタックス構造により、シンタックスエレメント(mmvd_merge_flag,mmvd_cand_flag,mmvd_distance_idx,mmvd_direction_idx,merge_idx,ciip_flag,merge_triangle_split_dir,merge_triangle_idx0,merge_triangle_idx1)を生成することができる。該シンタックスエレメントは、エントロピー符号化部2930によるエントロピー符号化を経て、ビットストリームに含まれるのである。
エントロピー符号化部2930は、シンタックスエレメントに該当する値をエントロピー符号化し、ビットストリームを生成する。エントロピー符号化部2930は、シンタックスエレメントに該当する値を、コンテクスト基盤適応的二進算術コーディング(CABAC)によって符号化することができる。
ビットストリームは、現在ブロックの復元に利用される情報を含んでもよい。現在ブロックは、映像からツリー構造によって分割されて生成されるブロックであり、例えば、最大符号化単位、符号化単位または変換単位のようなブロック単位に対応しうる。
シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ及びスライスセグメントヘッダのうち少なくとも1つのレベルに対応するビットストリームには、ブロック形態情報、及び/または分割形態モードに係わる情報が含まれ、映像復号装置2100は、ブロック形態情報、及び/または分割形態モードに係わる情報に基づき、現在映像内現在ブロックを決定することができる。
ビットストリームは、現在ブロックの予測モードを示す情報を含んでもよい。該現在ブロックの予測モードは、レギュラーマージモード、残差動きベクトルを利用したマージモード、インター・イントラ結合モード、三角予測モード、またはイントラモードを含んでもよい。
また、現在ブロックの予測モードが三角予測モードと決定されれば、ビットストリームは、三角予測モード関連情報を含んでもよい。該三角予測モード関連情報は、現在ブロックの予測モードが三角予測モードであるということを示す情報、現在ブロックを2つの三角パーティションに分割するための分割形態情報、及び2つの三角パーティションの動きベクトルを示す情報のうち少なくとも一つを含んでもよい。
図30は、一実施形態による映像符号化方法を示すフローチャートである。
S3010段階において、映像符号化装置2900は、現在映像から分割された現在ブロックの予測モードを三角予測モードに決定する。
映像符号化装置2900は、現在ブロックの大きさと、第1臨界値との比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。具体的には、映像符号化装置2900は、現在ブロックの幅が第1臨界値より小さく、現在ブロックの高さが第1臨界値より小さい場合、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、映像符号化装置2900は、現在ブロックの幅が第1臨界値以上であるか、あるいは現在ブロックの高さが第1臨界値以上である場合、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。
一実施形態において、映像符号化装置2900は、現在ブロックの大きさと、第2臨界値とを比較し、比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。具体的には、映像符号化装置2900は、現在ブロックの幅と高さの積が第2臨界値以上であるならば、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、映像符号化装置2900は、現在ブロックの幅と高さの積が第2臨界値より小さければ、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。
映像符号化装置2900は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、現在ブロックの予測モードを三角予測モードに決定し、反対に、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。
また、映像符号化装置2900は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。反対に、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、映像符号化装置2900は、現在ブロックの予測モードを三角予測モードに決定することができる。
S3020段階において、映像符号化装置2900は、現在ブロックを三角パーティションに分割せずに符号化するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する。
一実施形態において、映像符号化装置2900は、レギュラーマージモードのためのマージリストを、そのまま三角予測モードのためのマージリストとして決定することができる。
他の実施形態において、映像符号化装置2900は、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定することもできる。ここで、該レギュラーマージモードのためのマージリスト変形というのは、レギュラーマージモードのためのマージリストに含まれた動きベクトルの順序を変更するか、一部の動きベクトルを除外させるか、あるいはマージリストに存在していない新たな動きベクトルを追加することを意味しうる。
該レギュラーマージモードにおけるマージリスト構築方法は、現在ブロックと空間的に関係する空間的ブロック、及び現在ブロックと時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築する方法でもある。
S3030段階において、映像符号化装置2900は、現在ブロックを2つの三角パーティションに分割する。映像符号化装置2900は、現在ブロックの左上側コーナーから現在ブロックの右下側コーナーに沿い、現在ブロックを分割するか、あるいは現在ブロックの右上側コーナーから現在ブロックの左下側コーナーに沿い、現在ブロックを分割することができる。
S3040段階において、映像符号化装置2900は、三角予測モードのためのマージリストに含まれた動きベクトルのうち、2つの三角パーティションの動きベクトルに利用される動きベクトルを選択する。映像符号化装置2900は、マージリストに含まれた動きベクトルのうち、2つの三角パーティションの動きベクトルが選択される場合、最も低いコスト(例えば、率・歪曲コスト)を示す動きベクトルを、2つの三角パーティションの動きベクトルとして選択することができる。
S3050段階において、映像符号化装置2900は、三角予測モード関連情報を含むビットストリームを生成する。
該三角予測モード関連情報は、現在ブロックにつき、三角予測モードが適用されるか否かということを示す情報、現在ブロックの分割形態を示す情報、及び三角パーティションの動きベクトルを示す情報のうち少なくとも一つを含んでもよい。現在ブロックの分割形態を示す情報は、現在ブロックの左上側コーナーと右下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないか、現在ブロックの右上側コーナーと左下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないかということを示すことができる。
なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。
該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体;CD-ROM(compact disc read only memory)及びDVD(digital versatile disc)のような光記録媒体;フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical medium);及びROM(read only memory)、RAM(random access memory)、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体や保存媒体も挙げることができる。
以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されず、本開示の技術的思想の範囲内において、当分野で当業者によってさまざまな変形及び変更が可能であろう。