JP7445042B2 - 映像を符号化／復号する方法及びその装置 - Google Patents

映像を符号化／復号する方法及びその装置 Download PDF

Info

Publication number
JP7445042B2
JP7445042B2 JP2023029158A JP2023029158A JP7445042B2 JP 7445042 B2 JP7445042 B2 JP 7445042B2 JP 2023029158 A JP2023029158 A JP 2023029158A JP 2023029158 A JP2023029158 A JP 2023029158A JP 7445042 B2 JP7445042 B2 JP 7445042B2
Authority
JP
Japan
Prior art keywords
unit
coding unit
encoding
coding
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023029158A
Other languages
English (en)
Other versions
JP2023059993A (ja
Inventor
パク，ミン－ウ
ジン，ボ－ラ
キム，チャン－ヨル
ミン，ジョン－ヘ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2023059993A publication Critical patent/JP2023059993A/ja
Priority to JP2024025738A priority Critical patent/JP2024045747A/ja
Application granted granted Critical
Publication of JP7445042B2 publication Critical patent/JP7445042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Library & Information Science (AREA)

Description

本発明は、映像に含まれる多様なデータ単位を利用して、映像を符号化または復号することができる装置及びその方法に関する。
映像データは、所定のデータ圧縮標準、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）標準によるコーデック（ｃｏｄｅｃ）によって符号化された後、ビットストリーム形態で記録媒体に保存されたり、通信チャネルを介して伝送されたりする。
高解像度または高画質映像のコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質映像のコンテンツを効果的に符号化または復号するコーデックの必要性が増大している。符号化された映像コンテンツは、復号されることによって再生される。最近では、そのような高解像度または高画質映像のコンテンツを効果的に圧縮するための方法が実施されている。例えば、符号化しようとする映像を任意的方法で処理する過程を介した効率的映像圧縮方法が実施されている。
映像を圧縮するために、多様なデータ単位が利用され、そのようなデータ単位間に包含関係が存在することができる。そのような映像圧縮に利用されるデータ単位の大きさを決定するために、多様な方法によってデータ単位が分割され、映像の特性によって最適化されたデータ単位が決定されることにより、映像の符号化または復号が行われる。
従来の圧縮方式の場合、ピクチャに含まれる符号化単位の大きさを決定する過程において、分割するか否かということを決定した後、画一的に４個の同一サイズの符号化単位に分割する再帰的分割過程を介して、正方形の符号化単位を決定した。
しかし、最近、高解像度の映像に対する需要が急増し、映像再生に必要なデータ量が多くなる状況において、効率的な映像符号化過程及び映像復号過程を遂行することを要すると共に、正方形という画一的な形態の符号化単位利用によって引き起こされる復元映像の画質劣化が問題になっている。
一実施形態による、映像を復号する方法において、ビットストリームから、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得する段階、獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定する段階、並びに前記少なくとも１つの第２符号化単位に基づいて、前記映像を復号する段階を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号方法が提供されもする。
一実施形態による、映像を復号する装置において、ビットストリームから、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得するビットストリーム獲得部、並びに獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定し、前記少なくとも１つの第２符号化単位に基づいて、前記映像を復号する復号部を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号装置が提供されもする。
一実施形態による、映像を符号化する方法において、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成する段階、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定する段階、並びに前記少なくとも１つの第２符号化単位に基づいて、前記映像を符号化する段階を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化方法が提供されもする。
一実施形態による、映像を符号化する装置において、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成するビットストリーム生成部、並びに前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定し、前記少なくとも１つの第２符号化単位に基づいて、前記映像を符号化する符号化部を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化装置が提供されもする。
多様な形態の符号化単位を、映像の符号化及び復号過程で利用することができることにより、映像の特性に適応的な符号化単位を利用することができ、それにより、効率的な映像符号化及び映像復号が可能であり、復元映像の画質向上が可能である。
一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて映像を復号することができる映像復号装置のブロック図を図示する図面である。 一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて映像を符号化することができる映像符号化装置のブロック図を図示する図面である。 一実施形態によって現在符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態によって非正方形の形態である符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて符号化単位が分割される過程を図示する図面である。 一実施形態によって、奇数個の符号化単位のうち所定の符号化単位が決定される方法を図示する図面である。 一実施形態によって現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図面である。 一実施形態によって、所定順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されると決定される過程を図示する図面である。 一実施形態によって第１符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。 一実施形態によって第１符号化単位が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する図面である。 一実施形態によって、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、正方形状の符号化単位が分割される過程を図示する図面である。 一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なることを図示した図面である。 一実施形態によって符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。 一実施形態によって、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックス（ＰＩＤ：ｐａｒｔ ｉｎｄｅｘ）を図示する図面である。 一実施形態によって、ピクチャに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたことを図示する図面である。 一実施形態によって、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。 一実施形態によって、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する図面である。 一実施形態によってバイナリー（ｂｉｎａｒｙ）コードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の多様な形態を図示する図面である。 一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の他の形態を図示する図面である。 ループフィルタリングを行う映像符号化システム及び映像復号システムのブロック図を示した図面である。 一実施形態による、最大符号化単位に含まれるフィルタリング単位の一例と、フィルタリング単位のフィルタリング遂行情報とを示した図面である。 一実施形態によって、所定の符号化方法によって決定された符号化単位間の併合（ｍｅｒｇｅ）または分割（ｓｐｌｉｔ）が行われる過程を図示する図面である。 一実施形態による、符号化単位のＺスキャン順序によるインデックスを図示する図面である。 一実施形態による、符号化単位のイントラ予測のための参照サンプルを示す図面である。
一実施形態による、映像を復号する方法において、ビットストリームから、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得する段階、獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定する段階、並びに前記少なくとも１つの第２符号化単位に基づいて、前記映像を復号する段階を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号方法が提供されもする。
一実施形態による映像復号方法の前記少なくとも１つの第２符号化単位を決定する段階は、前記ブロック形態情報に基づいて、前記第１符号化単位は、正方形または非正方形のうちいずれの形態を示すかということを決定する段階、及び決定された前記第１符号化単位の形態に基づいて、前記少なくとも１つの第２符号化単位を決定する段階を含んでもよい。
一実施形態による映像復号方法の前記少なくとも１つの第２符号化単位を決定する段階は、前記分割形態情報に基づいて、複数種類の大きさを有する複数個の第２符号化単位を決定する段階を含むことを特徴とすることができる。
一実施形態による映像復号方法の前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階は、前記第１符号化単位に含まれた所定位置のサンプルに係わるビットストリームから、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階を含むことを特徴とすることができる。
一実施形態による映像復号方法は、前記少なくとも１つの第２符号化単位のうち所定の第２符号化単位を決定し、前記所定の第２符号化単位に対する分割回数を制限し、前記映像を復号する段階をさらに含んでもよい。
一実施形態による映像復号方法において、前記映像を復号する段階は、前記複数個の第２符号化単位のうち所定位置にある第２符号化単位を決定し、前記所定の第２符号化単位に対する分割回数の制限を置き、前記映像を復号する段階を含むことを特徴とすることができる。
一実施形態による映像復号方法において、前記映像を復号する段階は、前記少なくとも１つの第２符号化単位のうち、前記所定位置のサンプルが含まれた第２符号化単位を決定する段階、及び前記決定された第２符号化単位に対する分割回数を制限し、前記映像を復号する段階を含むことを特徴とすることができる。
一実施形態による映像復号方法は、最大符号化単位の幅及び高さを分割して基準符号化単位を決定する段階、並びに前記基準符号化単位を、前記第１符号化単位として決定する段階をさらに含むことを特徴とすることができる。
一実施形態による映像復号方法は、少なくとも１つの最大符号化単位を含む少なくとも１つのプロセッシングブロックにより、前記映像を分割する段階をさらに含み、前記少なくとも１つのプロセッシングブロックに含まれた前記少なくとも１つの最大符号化単位の処理順序は、プロセッシングブロックによって異なりうることを特徴とすることができる。
一実施形態による映像復号方法において、前記少なくとも１つの第２符号化単位を決定する段階は、前記第１符号化単位に係わる前記分割形態情報が垂直方向及び水平方向に分割されることを示すことができる場合、前記第１符号化単位を垂直方向または水平方向に分割し、複数の第２符号化単位を決定する段階を含み、前記複数の第２符号化単位は、前記第１符号化単位が分割された方向に直交する方向に、前記複数の第２符号化単位がいずれも分割されるものではないことを特徴とすることができる。
一実施形態による映像復号方法は、前記第１符号化単位、及び前記少なくとも１つの第２符号化単位の長辺長に基づいて、それぞれの符号化単位の深度を決定する段階をさらに含むことを特徴とすることができる。
一実施形態による映像復号方法は、前記少なくとも１つの第２符号化単位のうち一つが分割されて決定される少なくとも１つの第３符号化単位の処理順序は、前記少なくとも１つの第３符号化単位に係わる第２符号化単位が分割された形態に基づいて決定されうることを特徴とすることができる。
一実施形態による映像を復号する装置において、ビットストリームから、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得するビットストリーム獲得部、並びに獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定し、前記少なくとも１つの第２符号化単位に基づいて、前記映像を復号する復号部を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号装置が提供されもする。
一実施形態による映像を符号化する方法において、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成する段階、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定する段階、並びに前記少なくとも１つの第２符号化単位に基づいて、前記映像を符号化する段階を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化方法が提供されもする。
一実施形態による映像を符号化する装置において、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成するビットストリーム生成部、並びに前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定し、前記少なくとも１つの第２符号化単位に基づいて、前記映像を符号化する符号化部を含み、前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化装置が提供されもする。
本発明の利点及び特徴、並びにそれらを達成する方法は、添付される図面と共に後述されている実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態に具現され、ただし、本実施形態は、本発明の開示を完全なものにし、本発明が属する技術分野で当業者に、発明の範疇を完全に知らせるために提供されるのである。
本明細書で使用される用語について簡略に説明し、本発明について具体的に説明する。
本発明で使用される用語は、本発明での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、関連分野に携わる当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味、及び本発明の全般にわたる内容を基に定義されなければならない。
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア構成要素、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）またはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェア構成要素を意味し、「部」は、ある役割を行う。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるように構成されもし、１またはそれ以上のプロセッサを再生させるように構成されもする。従って、一例として「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、並びにプロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素及び「部」において提供される機能は、さらに少ない数の構成要素、及び「部」に結合されるか、あるいはさらなる構成要素と「部」とにさらに分離されもする。
以下、「映像」は、ビデオの静止映像のような静的イメージや、動画、すなわち、ビデオ自体のような動的イメージを示すことができる。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像におけるピクセル値、変換領域上の変換係数がサンプルでもある。そのような少なくとも１つのサンプルを含む単位をブロックと定義することができる。
以下では、添付した図面を参照し、本発明の実施形態について、本発明が属する技術分野における当業者が、容易に実施することができるように詳細に説明する。そして、図面において、本発明を明確に説明するために、説明と関係ない部分は、省略する。
図１は、一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を復号することができる映像復号装置１００のブロック図を図示する。
図１を参照すれば、映像復号装置１００は、一実施形態によって、ビットストリームから、分割形態情報、ブロック形態情報のような所定情報を獲得するためのビットストリーム獲得部１１０、獲得した情報を利用して映像を復号するための復号部１２０を含んでもよい。一実施形態によって、映像復号装置１００のビットストリーム獲得部１１０において、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得した場合、映像復号装置１００の復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を分割する少なくとも１つの符号化単位を決定することができる。
一実施形態によって、映像復号装置１００の復号部１２０は、ブロック形態情報に基づいて、符号化単位の形態を決定することができる。例えば、該ブロック形態情報は、符号化単位が正方形であるか、あるいは非正方形であるかということを示す情報を含んでもよい。復号部１２０は、ブロック形態情報を利用し、符号化単位の形態を決定することができる。
一実施形態によって、復号部１２０は、分割形態情報に基づいて、符号化単位がいかなる形態に分割されるかということを決定することができる。例えば、該分割形態情報は、符号化単位に含まれる少なくとも１つの符号化単位の形態に係わる情報を示すことができる。
一実施形態によって、復号部１２０は、分割形態情報によって、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。該分割形態情報は、符号化単位に含まれる少なくとも１つの符号化単位に係わる情報を含んでもよく、もし分割形態情報が、符号化単位に１つの符号化単位だけが含まれるということを示すか、あるいは分割されないことを示す場合、復号部１２０は、該分割形態情報を含む符号化単位が分割されないと決定することができる。該分割形態情報が、符号化単位が、複数個の符号化単位に分割されるということを示す場合、復号部１２０は、該分割形態情報に基づいて、符号化単位に含まれる複数個の符号化単位に分割することができる。
一実施形態によって、該分割形態情報は、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示すことができる。例えば、該分割形態情報は、垂直方向及び水平方向のうち少なくとも１つの方向に分割することを示すか、あるいは分割しないということを示すことができる。
図３は、一実施形態によって、映像復号装置１００が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態によって、復号部１２０は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、該分割形態情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、復号部１２０が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定されうる。
一実施形態により、復号部１２０は、現在符号化単位が正方形状であることを示すブロック形態情報を利用することができる。例えば、復号部１２０は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、４個の符号化単位に分割するかというようなことを決定することができる。図３を参照すれば、現在符号化単位３００のブロック形態情報が正方形状を示す場合、復号部１２０は、分割されないということを示す分割形態情報により、現在符号化単位３００と同一サイズを有する符号化単位３１０ａを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位３１０ｂ，３１０ｃ，３１０ｄを決定することができる。
図３を参照すれば、復号部１２０は、一実施形態によって、垂直方向に分割されるということを示す分割形態情報に基づいて、現在符号化単位３００を垂直方向に分割した２つの符号化単位３１０ｂを決定することができる。復号部１２０は、水平方向に分割されるということを示す分割形態情報に基づいて、現在符号化単位３００を水平方向に分割した２つの符号化単位３１０ｃを決定することができる。復号部１２０は、垂直方向及び水平方向に分割されるということを示す分割形態情報に基づいて、現在符号化単位３００を垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定分割形態は、以下で、多様な実施形態を介して具体的に説明する。
図４は、一実施形態によって、映像復号装置１００が非正方形状である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態によって、復号部１２０は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。復号部１２０は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図４を参照すれば、現在符号化単位４００または４５０のブロック形態情報が非正方形状を示す場合、復号部１２０は、分割されないということを示す分割形態情報により、現在符号化単位４００または４５０と同一サイズを有する符号化単位４１０または４６０を分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位４２０ａ，４２０ｂ，４３０ａ，４３０ｂ，４３０ｃ，４７０ａ，４７０ｂ，４８０ａ，４８０ｂ，４８０ｃを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下で多様な実施形態を介して具体的に説明する。
一実施形態によって、復号部１２０は、分割形態情報を利用し、符号化単位が分割される形態を決定することができ、その場合、該分割形態情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図４を参照すれば、該分割形態情報が、２つの符号化単位に、現在符号化単位４００または４５０が分割されることを示す場合、復号部１２０は、分割形態情報に基づいて、現在符号化単位４００または４５０を分割し、現在符号化単位に含まれる２つの符号化単位４２０ａ，４２０ｂまたは４７０ａ，４７０ｂを決定することができる。
一実施形態によって、復号部１２０が分割形態情報に基づいて、非正方形状の現在符号化単位４００または４５０を分割する場合、非正方形の現在符号化単位４００または４５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、復号部１２０は、現在符号化単位４００または４５０の形態を考慮し、現在符号化単位４００または４５０の長辺を分割する方向に、現在符号化単位４００または４５０を分割し、複数個の符号化単位を決定することができる。
一実施形態により、分割形態情報が、奇数個のブロックに符号化単位を分割することを示す場合、復号部１２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態情報が、３個の符号化単位に現在符号化単位４００または４５０を分割することを示す場合、復号部１２０は、現在符号化単位４００または４５０を、３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０に分割することができる。一実施形態によって、復号部１２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではない。例えば、決定された奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０のうち所定符号化単位４３０ｂまたは４８０ｂの大きさは、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位４００または４５０が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０がそれぞれ互いに異なる大きさを有することもできる。
一実施形態によって、分割形態情報が、奇数個のブロックに符号化単位が分割されることを示す場合、復号部１２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、さらには復号部１２０は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して所定の制限を置くことができる。図４を参照すれば、復号部１２０は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０のうち中央に位置する符号化単位４３０ｂ、４８０ｂに対する復号過程を、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なるようにすることができる。例えば、復号部１２０は、中央に位置する符号化単位４３０ｂ，４８０ｂについては、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定回数ほど分割されるように制限することができる。
図５は、一実施形態によって、映像復号装置１００がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
一実施形態によって、復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位５００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、該分割形態情報が、水平方向に第１符号化単位５００を分割することを示す場合、復号部１２０は、第１符号化単位５００を水平方向に分割し、第２符号化単位５１０を決定することができる。一実施形態によって利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されうる。以下で利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるものであると理解される。
一実施形態によって、映像復号装置１００は、決定された第２符号化単位５１０を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図５を参照すれば、復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割して決定された非正方形状の第２符号化単位５１０を、少なくとも１つの第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄに分割するか、あるいは第２符号化単位５１０を分割しない。映像復号装置１００のビットストリーム獲得部１１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができ、復号部１２０は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割し、例えば、多様な形態の複数個の第２符号化単位５１０を分割することができ、第２符号化単位５１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００が分割された方式によって分割されうる。
一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位５１０に分割された場合、第２符号化単位５１０も、第２符号化単位５１０に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄに分割されうる。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的に分割されうる。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されもする。図５を参照すれば、非正方形状の第２符号化単位５１０が分割されて決定される奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち所定符号化単位（例えば、真ん中に位置する符号化単位、または正方形状の符号化単位）は、再帰的に分割されうる。一実施形態によって、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち一つである正方形状の第３符号化単位５２０ｃは、水平方向に分割され、複数個の第４符号化単位に分割されうる。複数個の第４符号化単位のうち一つである非正方形状の第４符号化単位５４０は、さらに複数個の符号化単位に分割されうる。例えば、非正方形状の第４符号化単位５４０は、奇数個の符号化単位５５０ａ，５５０ｂ，５５０ｃにさらに分割されもする。
符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
一実施形態によって、復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄそれぞれを符号化単位に分割するか、あるいは第２符号化単位５１０を分割しないと決定することができる。復号部１２０は、一実施形態によって、非正方形状の第２符号化単位５１０を、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄに分割することができる。映像復号装置１００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち所定の第３符号化単位に対して所定の制限を置くことができる。例えば、映像復号装置１００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち真ん中に位置する符号化単位５２０ｃについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図５を参照すれば、映像復号装置１００は、非正方形状の第２符号化単位５１０に含まれる奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち真ん中に位置する符号化単位５２０ｃは、それ以上分割されないか、所定分割形態に分割（例えば、４個の符号化単位にだけ分割するか、あるいは第２符号化単位５１０が分割された形態に対応する形態に分割する）されるように制限するか、あるいは所定回数にだけ分割（例えば、ｎ回だけ分割する（ｎ＞０））するように制限することができる。ただし、真ん中に位置した符号化単位５２０ｃに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位５２０ｃが、他の符号化単位５２０ｂ，５２０ｄと異なるように復号されたりするような多様な制限を含むものであると解釈されなければならない。
一実施形態によって、映像復号装置１００は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態情報のうち少なくとも一つを、現在符号化単位内の所定位置で獲得することができる。
図６は、一実施形態によって、復号部１２０が、奇数個の符号化単位のうち所定の符号化単位を決定するための方法を図示する。図６を参照すれば、現在符号化単位６００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位６００に含まれる複数個のサンプルのうち所定位置のサンプル（例えば、真ん中に位置するサンプル６４０）からも獲得される。ただし、そのようなブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される現在符号化単位６００内の所定位置が、図６で図示する真ん中位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位６００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など）が含まれてもよいと解釈されなければならない。映像復号装置１００は、所定位置から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得し、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
一実施形態によって、映像復号装置１００は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様であり、そのような方法についての説明は、以下の多様な実施形態を介して後述する。
一実施形態によって、映像復号装置１００の復号部１２０は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
図６は、一実施形態によって、映像復号装置１００が、奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。
一実施形態によって、復号部１２０は、奇数個の符号化単位のうち真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図６を参照すれば、復号部１２０は、現在符号化単位６００を分割し、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃを決定することができる。復号部１２０は、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃの位置に係わる情報を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。具体的には、復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
一実施形態によって、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態によって、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ，６２０ｂ，６２０ｃの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での座標間の差を示す情報に該当する。すなわち、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値を示す符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
一実施形態により、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を、昇順または降順に整列したとき、真ん中に位置するサンプル６３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位６２０ｂを、現在符号化単位６００が分割されて決定された符号化単位６２０ａ，６２０ｂ，６２０ｃのうち真ん中に位置する符号化単位として決定することができる。ただし、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を基準で、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法として解釈されなければならない。
一実施形態によって、映像復号装置１００は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定基準により、符号化単位を選択することができる。例えば、復号部１２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、大きさが異なる符号化単位６２０ｂを選択することができる。
一実施形態によって、映像復号装置１００は、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの幅または高さを決定することができる。映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの大きさを決定することができる。
一実施形態により、映像復号装置１００は、上端符号化単位６２０ａの幅をｘｂ－ｘａと決定することができ、高さをｙｂ－ｙａと決定することができる。一実施形態によって、復号部１２０は、真ん中符号化単位６２０ｂの幅をｘｃ－ｘｂと決定することができ、高さをｙｃ－ｙｂと決定することができる。一実施形態によって、復号部１２０は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位６２０ａ及び真ん中符号化単位６２０ｂの幅及び高さとを利用して決定することができる。復号部１２０は、決定された符号化単位６２０ａ，６２０ｂ，６２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する１つの符号化単位を決定することができる。図６を参照すれば、映像復号装置１００は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃの大きさと異なる大きさを有する真ん中符号化単位６２０ｂを、所定位置の符号化単位として決定することができる。ただし、前述の映像復号装置１００が異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されるとも解釈される。
一実施形態によって、映像復号装置１００は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、復号部１２０は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、復号部１２０は、水平方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、復号部１２０は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、復号部１２０は、垂直方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
一実施形態によって、映像復号装置１００は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。復号部１２０は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図６で説明した奇数個の符号化単位のうち所定位置（例えば、真ん中位置）の符号化単位を決定する過程に類似した過程でもあるので、省略する。
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置１００の復号部１２０は、現在符号化単位が、複数個に分割された符号化単位のうち真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。
図６を参照すれば、映像復号装置１００の復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち真ん中に位置する符号化単位６２０ｂを決定することができる。さらには、復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位６２０ｂを決定することができる。すなわち、現在符号化単位６００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位６００の真ん中に位置するサンプル６４０で獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位６００が複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割された場合、前記サンプル６４０を含む符号化単位６２０ｂを、真ん中に位置する符号化単位として決定することができる。ただし、真ん中に位置する符号化単位として決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が真ん中に位置する符号化単位を決定する過程において利用される。
一実施形態によって、所定位置の符号化単位を識別するための所定情報は、決定しようとする符号化単位に含まれる所定のサンプルからも獲得される。図６を参照すれば、復号部１２０は、現在符号化単位６００が分割されて決定された複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち真ん中に位置する符号化単位）を決定するために、現在符号化単位６００内の所定位置のサンプル（例えば、現在符号化単位６００の真ん中に位置するサンプル）から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。すなわち、復号部１２０は、現在符号化単位６００のブロックブロック形態を考慮し、前記所定位置のサンプルを決定することができ、復号部１２０は、現在符号化単位６００が分割されて決定される複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定情報（例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ）が獲得されるサンプルが含まれた符号化単位６２０ｂを決定し、所定制限を置くことができる。図６を参照すれば、一実施形態によって、復号部１２０は、所定情報が獲得されるサンプルとして、現在符号化単位６００の真ん中に位置するサンプル６４０を決定することができ、復号部１２０は、そのようなサンプル６４０が含まれる符号化単位６２０ｂに対して、復号過程での所定制限を置くことができる。ただし、所定情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定しようとする符号化単位６２０ｂに含まれる任意位置のサンプルと解釈される。
一実施形態によって、所定情報が獲得されるサンプルの位置は、現在符号化単位６００の形態によって決定されうる。一実施形態によって、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態によって所定情報が獲得されるサンプルの位置を決定することができる。例えば、復号部１２０は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用して、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されるサンプルと決定することができる。他の例を挙げれば、復号部１２０は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されるサンプルと決定することができる。
一実施形態によって、映像復号装置１００は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態によって、ビットストリーム獲得部１１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルから獲得することができ、復号部１２０は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用し、分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的に分割されうる。符号化単位の再帰的分割過程については、図５を介して説明したので、詳細な説明は、省略する。
一実施形態によって、映像復号装置１００は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、そのような少なくとも１つの符号化単位が復号される順序を、所定ブロック（例えば、現在符号化単位）によって決定することができる。
図７は、一実施形態によって、映像復号装置１００が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
一実施形態によって、復号部１２０は、ブロック形態情報及び分割形態情報により、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定するか、第１符号化単位７００を水平方向に分割し、第２符号化単位７３０ａ，７３０ｂを決定するか、あるいは第１符号化単位７００を垂直方向及び水平方向に分割し、第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができる。
図７を参照すれば、復号部１２０は、第１符号化単位７００を垂直方向に分割して決定された第２符号化単位７１０ａ，７１０ｂが水平方向７１０ｃに処理されるように順序を決定することができる。映像復号装置１００は、第１符号化単位７００を水平方向に分割して決定された第２符号化単位７３０ａ，７３０ｂの処理順序、を垂直方向７３０ｃに決定することができる。映像復号装置１００は、第１符号化単位７００を、垂直方向及び水平方向に分割して決定された第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（例えば、ラスタースキャン順序（ｒａｓｔｅｒ ｓｃａｎ ｏｒｄｅｒ）またはｚスキャン順序（ｚ ｓｃａｎ ｏｒｄｅｒ）７５０ｅによって決定することができる。
一実施形態によって、映像復号装置１００は、符号化単位を再帰的に分割することができる。図７を参照すれば、復号部１２０は、第１符号化単位７００を分割し、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができ、決定された複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄそれぞれを再帰的に分割することができる。複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを分割する方法は、第１符号化単位７００を分割する方法に類似した方法にもなる。それにより、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄは、それぞれ独立して複数個の符号化単位に分割されうる。図７を参照すれば、復号部１２０は、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定することができ、さらには、第２符号化単位７１０ａ，７１０ｂそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
一実施形態によって、復号部１２０は、左側の第２符号化単位７１０ａを水平方向に分割し、第３符号化単位７２０ａ，７２０ｂに分割することができ、右側の第２符号化単位７１０ｂは、分割しない。
一実施形態によって、符号化単位の処理順序は、符号化単位の分割過程に基づいて決定されうる。言い換えれば、分割された符号化単位の処理順序は、分割される前の符号化単位の処理順序に基づいて決定されうる。復号部１２０は、左側の第２符号化単位７１０ａが分割されて決定された第３符号化単位７２０ａ，７２０ｂが処理される順序を、右側の第２符号化単位７１０ｂと独立して決定することができる。左側の第２符号化単位７１０ａが水平方向に分割され、第３符号化単位７２０ａ，７２０ｂが決定されたので、第３符号化単位７２０ａ，７２０ｂは、垂直方向７２０ｃにも処理される。また、左側の第２符号化単位７１０ａ及び右側の第２符号化単位７１０ｂが処理される順序は、水平方向７１０ｃに該当するので、左側の第２符号化単位７１０ａに含まれる第３符号化単位７２０ａ，７２０ｂが垂直方向７２０ｃに処理された後、右側符号化単位７１０ｂが処理される。前述の内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって、独立して処理される多様な方法に利用されると解釈されなければならない。
図８は、一実施形態によって、映像復号装置１００が、所定順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されるということを決定する過程を図示する。
一実施形態によって、映像復号装置１００は、ビットストリーム獲得部１１０が獲得したブロック形態情報及び分割形態情報に基づいて、現在符号化単位が奇数個の符号化単位に分割されるということを決定することができる。図８を参照すれば、正方形状の第１符号化単位８００が非正方形状の第２符号化単位８１０ａ，８１０ｂに分割され、第２符号化単位８１０ａ，８１０ｂは、それぞれ独立して、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅに分割されうる。一実施形態によって、復号部１２０は、第２符号化単位のうち左側符号化単位８１０ａは、水平方向に分割し、複数個の第３符号化単位８２０ａ，８２０ｂを決定することができ、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割することができる。
一実施形態によって、復号部１２０は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが、所定順序によって処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図８を参照すれば、復号部１２０は、第１符号化単位８００を再帰的に分割し、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅを決定することができる。復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位８００、第２符号化単位８１０ａ，８１０ｂまたは第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが分割される形態のうち奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位８１０ａ，８１０ｂのうち右側に位置する符号化単位が奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割されうる。第１符号化単位８００に含まれる複数個の符号化単位が処理される順序は、所定順序（例えば、ｚスキャン順序８３０）にもなり、復号部１２０は、右側第２符号化単位８１０ｂが奇数個に分割されて決定された第３符号化単位８２０ｃ，８２０ｄ，８２０ｅが、前記所定順序によって処理される条件を満足するか否かということを判断することができる。
一実施形態によって、映像復号装置１００は、第１符号化単位８００に含まれる第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅの境界に沿って、第２符号化単位８１０ａ，８１０ｂの幅及び高さのうち少なくとも一つが半分に分割されるか否かということに係わる。例えば、非正方形状の左側第２符号化単位８１０ａの高さを半分に分割して決定される第３符号化単位８２０ａ，８２０ｂは、条件を満足するが、右側第２符号化単位８１０ｂを、３個の符号化単位に分割して決定される第３符号化単位８２０ｃ，８２０ｄ，８２０ｅの境界が、右側第２符号化単位８１０ｂの幅または高さを半分に分割することができないので、第３符号化単位８２０ｃ，８２０ｄ，８２０ｅは、条件を満足することができないと決定され、映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶（ｄｉｓｃｏｎｎｅｃｔｉｏｎ）と判断し、判断結果に基づいて、右側第２符号化単位８１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態によって、映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
図９は、一実施形態によって、映像復号装置１００が、第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。一実施形態によって、復号部１２０は、ビットストリーム獲得部１１０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位９００を分割することができる。正方形状の第１符号化単位９００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図９を参照すれば、ブロック形態情報が、第１符号化単位９００は、正方形であるということを示し、分割形態情報が非正方形の符号化単位に分割されるということを示す場合、復号部１２０は、第１符号化単位９００を複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態情報が、第１符号化単位９００を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、復号部１２０は、正方形状の第１符号化単位９００を、奇数個の符号化単位として、垂直方向に分割されて決定された第２符号化単位９１０ａ，９１０ｂ，９１０ｃ、または水平方向に分割されて決定された第２符号化単位９２０ａ，９２０ｂ，９２０ｃに分割することができる。
一実施形態によって、復号部１２０は、第１符号化単位９００に含まれる第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃが所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃの境界に沿って、第１符号化単位９００の幅及び高さのうち少なくとも一つが半分に分割されるか否かということに係わる。図９を参照すれば、正方形状の第１符号化単位９００を垂直方向に分割して決定される第２符号化単位９１０ａ，９１０ｂ，９１０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によって処理される条件を満足することができないと決定されうる。また、正方形状の第１符号化単位９００を水平方向に分割して決定される第２符号化単位９２０ａ，９２０ｂ，９２０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によって処理される条件を満足することができないと決定されうる。映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶と判断し、判断結果に基づいて、第１符号化単位９００は、奇数個の符号化単位に分割されると決定することができる。一実施形態によって、映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
一実施形態により、映像復号装置１００は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。
図９を参照すれば、映像復号装置１００は、正方形状の第１符号化単位９００、非正方形状の第１符号化単位９３０または９５０を、多様な形態の符号化単位に分割することができる。
図１０は、一実施形態によって、映像復号装置１００によって、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する。
一実施形態によって、復号部１２０は、ビットストリーム獲得部１１０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位１０００を、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立して分割されうる。それにより、復号部１２０は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、復号部１２０は、垂直方向に第１符号化単位１０００が分割されて決定された非正方形状の左側第２符号化単位１０１０ａを水平方向に分割し、第３符号化単位１０１２ａ，１０１２ｂを決定することができる。ただし、復号部１２０は、左側第２符号化単位１０１０ａを水平方向に分割した場合、右側第２符号化単位１０１０ｂは、左側第２符号化単位１０１０ａが分割された方向と同一に水平方向に分割されることがないように制限することができる。もし右側第２符号化単位１０１０ｂが同一方向に分割され、第３符号化単位１０１４ａ，１０１４ｂが決定された場合、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１０１２ａ，１０１２ｂ，１０１４ａ，１０１４ｂが決定されうる。しかし、それは、復号部１２０がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１０００を４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割したところと同一結果であり、それは、映像復号側面で非効率的である。
一実施形態によって、復号部１２０は、水平方向に、第１符号化単位９００が分割されて決定された非正方形状の第２符号化単位１０２０ａまたは１０２０ｂを垂直方向に分割し、第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することができる。ただし、復号部１２０は、第２符号化単位のうち一つ（例えば、上端第２符号化単位１０２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１０２０ｂ）は、上端第２符号化単位１０２０ａが分割された方向と同一に垂直方向に分割されることがないように制限することができる。
図１１は、一実施形態によって、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置１００が、正方形状の符号化単位を分割する過程を図示する。
一実施形態によって、復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１１００を分割し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂを決定することができる。該分割形態情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態情報によれば、復号部１２０は、正方形状の第１符号化単位１１００を、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割することができない。該分割形態情報に基づいて、復号部１２０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂを決定することができる。
一実施形態によって、復号部１２０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１１００が分割される方法に類似した分割方法でもある。
例えば、復号部１２０は、左側第２符号化単位１１１０ａが水平方向に分割され、正方形状の第３符号化単位１１１２ａ，１１１２ｂを決定することができ、右側第２符号化単位１１１０ｂが水平方向に分割され、正方形状の第３符号化単位１１１４ａ，１１１４ｂを決定することができる。さらには、復号部１２０は、左側第２符号化単位１１１０ａ及び右側第２符号化単位１１１０ｂがいずれも水平方向に分割され、正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することもできる。そのような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。
他の例を挙げれば、復号部１２０は、上端第２符号化単位１１２０ａが垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂを決定することができ、下端第２符号化単位１１２０ｂが垂直方向に分割され、正方形状の第３符号化単位１１２４ａ，１１２４ｂを決定することができる。さらには、復号部１２０は、上端第２符号化単位１１２０ａ及び下端第２符号化単位１１２０ｂがいずれも垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂ，１１２４ａ，１１２４ｂを決定することもできる。そのような場合、第１符号化単位１１００が４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。
図１２は、一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なることを図示したものである。
一実施形態によって、復号部１２０は、ブロック形態情報及び分割形態情報に基づいて、第１符号化単位１２００を分割することができる。該ブロック形態情報が正方形状を示し、該分割形態情報が、第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されるということを示す場合、復号部１２０は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂ，１２３０ｃ，１２３０ｄを決定することができる。図１２を参照すれば、第１符号化単位１２００が水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立して分割されうる。例えば、復号部１２０は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。そのような第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂの分割過程は、図１０と係わって説明したので、詳細な説明は、省略する。
一実施形態によって、復号部１２０は、所定順序によって符号化単位を処理することができる。該所定順序による符号化単位の処理に係わる特徴は、図７と係わって説明したので、詳細な説明は、省略する。図１２を参照すれば、復号部１２０は、正方形状の第１符号化単位１２００を分割し、４個の正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。一実施形態によって、復号部１２０は、第１符号化単位１２００が分割される形態により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄの処理順序を決定することができる。
一実施形態によって、復号部１２０は、垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、復号部１２０は、左側第２符号化単位１２１０ａに含まれる第３符号化単位１２１６ａ，１２１６ｂを垂直方向にまず処理した後、右側第２符号化単位１２１０ｂに含まれる第３符号化単位１２１６ｃ，１２１６ｄを垂直方向に処理する順序１２１７により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを処理することができる。
一実施形態によって、復号部１２０は、水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができ、復号部１２０は、上端第２符号化単位１２２０ａに含まれる第３符号化単位１２２６ａ，１２２６ｂを水平方向にまず処理した後、下端第２符号化単位１２２０ｂに含まれる第３符号化単位１２２６ｃ，１２２６ｄを水平方向に処理する順序１２２７により、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを処理することができる。
図１２を参照すれば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂがそれぞれ分割され、正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄが決定されうる。垂直方向に分割されて決定された第２符号化単位１２１０ａ，１２１０ｂ、及び水平方向に分割されて決定された第２符号化単位１２２０ａ，１２２０ｂは、互いに異なる形態に分割されたものであるが、その後に決定される第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄによれば、結局、同一形態の符号化単位に、第１符号化単位１２００が分割された結果になる。それにより、復号部１２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
図１３は、一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
一実施形態によって、復号部１２０は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。復号部１２０は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長に対し、２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度より、ｎほど深度が増大したと決定することができる。以下では、深度が増大した符号化単位を、下位深度の符号化単位と表現する。
図１３を参照すれば、一実施形態によって、正方形状であることを示すブロック形態情報（例えば、ブロック形態情報は、「０：ＳＱＵＡＲＥ」を示すことができる）に基づいて、復号部１２０は、正方形状である第１符号化単位１３００を分割し、下位深度の第２符号化単位１３０２、第３符号化単位１３０４などを決定することができる。正方形状の第１符号化単位１３００の大きさを２Ｎｘ２Ｎとするならば、第１符号化単位１３００の幅及び高さを１／２１倍に分割して決定された第２符号化単位１３０２は、ＮｘＮの大きさを有することができる。さらには、第２符号化単位１３０２の幅及び高さを１／２サイズに分割して決定された第３符号化単位１３０４は、Ｎ／２ｘＮ／２の大きさを有することができる。その場合、第３符号化単位１３０４の幅及び高さは、第１符号化単位１３００の１／２２倍に該当する。第１符号化単位１３００の深度がＤである場合、第１符号化単位１３００の幅及び高さの１／２１倍である第２符号化単位１３０２の深度は、Ｄ＋１でもあり、第１符号化単位１３００の幅及び高さの１／２２倍である第３符号化単位１３０４の深度は、Ｄ＋２でもある。
一実施形態によって、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より大きい非正方形であることを示す「１：ＮＳ＿ＶＥＲ」または幅が高さより大きい非正方形であることを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、復号部１２０は、非正方形状である第１符号化単位１３１０または１３２０を分割し、下位深度の第２符号化単位１３１２または１３２２、第３符号化単位１３１４または１３２４などを決定することができる。
復号部１２０は、Ｎｘ２Ｎサイズの第１符号化単位１３１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することができる。すなわち、復号部１２０は、第１符号化単位１３１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮｘＮ／２サイズの第２符号化単位１３２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１３１２を決定することもできる。
一実施形態によって、復号部１２０は、２ＮｘＮサイズの第１符号化単位１３２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することもできる。すなわち、復号部１２０は、第１符号化単位１３２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮ／２ｘＮサイズの第２符号化単位１３１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１３２２を決定することもできる。
一実施形態によって、復号部１２０は、ＮｘＮサイズの第２符号化単位１３０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、復号部１２０は、第２符号化単位１３０２を、垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４を決定するか、Ｎ／２２ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいはＮ／２ｘＮ／２２サイズの第３符号化単位１３２４を決定することができる。
一実施形態によって、復号部１２０は、Ｎ／２ｘＮサイズの第２符号化単位１３１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、復号部１２０は、第２符号化単位１３１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２ｘＮ／２２サイズの第３符号化単位１３２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２２ｘＮ／２サイズの第３符号化単位１３１４を決定することができる。
一実施形態によって、復号部１２０は、ＮｘＮ／２サイズの第２符号化単位１３１４の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、復号部１２０は、第２符号化単位１３１２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２２ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２２サイズの第３符号化単位１３２４を決定することができる。
一実施形態によって、復号部１２０は、例えば、正方形状の符号化単位１３００，１３０２，１３０４を水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１３００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１３１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１３２０を決定することができる。一実施形態によって、深度が符号化単位の最長辺長に基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１３００，１３０２または１３０４が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１３００，１３０２または１３０４の深度と同一である。
一実施形態により、第３符号化単位１３１４または１３２４の幅及び高さは、第１符号化単位１３１０または１３２０の１／２２倍に該当する。第１符号化単位１３１０または１３２０の深度がＤである場合、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第２符号化単位１３１２または１３１４の深度は、Ｄ＋１でもあり、第１符号化単位１３１０または１３２０の幅及び高さの１／２２倍である第３符号化単位１３１４または１３２４の深度は、Ｄ＋２でもある。
図１４は、一実施形態によって、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックスを図示する。
一実施形態によって、復号部１２０は、正方形状の第１符号化単位１４００を分割し、多様な形態の第２符号化単位を決定することができる。図１４を参照すれば、復号部１２０は、分割形態情報により、第１符号化単位１４００を垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。すなわち、復号部１２０は、第１符号化単位１４００に係わる分割形態情報に基づいて、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。
一実施形態によって、正方形状の第１符号化単位１４００に係わる分割形態情報によって決定される第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第１符号化単位１４００の一辺長と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの長辺長とが同一であるので、第１符号化単位１４００と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂとの深度は、Ｄとして同一であると見られる。それに対し、復号部１２０が分割形態情報に基づいて、第１符号化単位１４００を４個の正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄに分割した場合、正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの一辺長は、第１符号化単位１４００の一辺長の１／２倍であるので、第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの深度は、第１符号化単位１４００の深度であるＤより１深度下位であるＤ＋１の深度でもある。
一実施形態によって、復号部１２０は、高さが幅より大きい形態の第１符号化単位１４１０を、分割形態情報によって水平方向に分割し、複数個の第２符号化単位４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。一実施形態によって、復号部１２０は、幅が高さより大きい形態の第１符号化単位１４２０を、分割形態情報によって垂直方向に分割し、複数個の第２符号化単位１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃに分割することができる。
一実施形態によって、非正方形状の第１符号化単位１４１０または１４２０に係わる分割形態情報によって決定される第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１６ａ，１４１６ｂ，１４１６ｃ，１４１６ｄは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第２符号化単位１４１２ａ，１４１２ｂの一辺長は、高さが幅より大きい非正方形状の第１符号化単位１４１０の一辺長の１／２倍であるので、正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの深度は、非正方形状の第１符号化単位１４１０の深度Ｄより１深度下位の深度であるＤ＋１である。
さらには、復号部１２０が分割形態情報に基づいて、非正方形状の第１符号化単位１４１０を奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃは、非正方形状の第２符号化単位１４１４ａ，１４１４ｃ、及び正方形状の第２符号化単位１４１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位１４１４ａ，１４１４ｃの長辺長、及び正方形状の第２符号化単位１４１４ｂの一辺長は、第１符号化単位１４１０の一辺長の１／２倍であるので、第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃの深度は、第１符号化単位１４１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。復号部１２０は、第１符号化単位１４１０に係わる符号化単位の深度を決定する前記方式に類似した方式で、幅が高さより大きい非正方形状の第１符号化単位１４２０に係わる符号化単位の深度を決定することができる。
一実施形態によって、復号部１２０は、分割された符号化単位の区分のためのインデックス決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいて、インデックスを決定することができる。図１４を参照すれば、奇数個に分割された符号化単位１４１４ａ，１４１４ｂ，１４１４ｃのうち真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと幅は、同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃの二つを含んでもよい。従って、スキャン順序によって真ん中に位置する符号化単位１４１４ｂのインデックスが１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。すなわち、インデックス値の不連続性が存在する。一実施形態によって、復号部１２０は、そのような分割された符号化単位間区分のためのインデックス不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。
（ＰＩＤを利用してのｔｒｉ－ｓｐｌｉｔ決定）
一実施形態によって、映像復号装置１００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像復号装置１００は、高さが幅より大きい長方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像復号装置１００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックスを利用することができる。一実施形態によって、ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。
一実施形態によって、映像復号装置１００は、符号化単位区分のためのインデックスを利用して分割されて決定された符号化単位のうち所定位置の符号化単位を決定することができる。一実施形態によって、高さが幅より大きい長方形状の第１符号化単位１４１０に係わる分割形態情報が、３個の符号化単位に分割されるということを示す場合、映像復号装置１００は、第１符号化単位１４１０を、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。映像復号装置１００は、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃそれぞれに係わるインデックスを割り当てることができる。映像復号装置１００は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置１００は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位１４１４ｂを、第１符号化単位１４１０が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態によって、映像復号装置１００は、分割された符号化単位区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比率に基づいて、インデックスが決定される。図１４を参照すれば、第１符号化単位１４１０が分割されて生成された符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと幅は、同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１４１４ｂのインデックスが１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。そのような場合のように、均一にインデックスが増加し、増加幅が異なる場合、映像復号装置１００は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態によって、分割形態情報が、奇数個の符号化単位に分割されるということを示す場合、映像復号装置１００は、奇数個の符号化単位のうち所定位置の符号化単位（例えば、真ん中符号化単位）が異なる符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置１００は、符号化単位に係わるインデックスを利用して、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定しようとする所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであり、それらに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。
一実施形態によって、復号部１２０は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。
図１５は、一実施形態によって、ピクチャに含まれる複数個の所定のデータ単位により、複数個の符号化単位が決定されたところを図示する。
一実施形態によって、所定のデータ単位は、符号化単位がブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当する。以下では、説明上、便宜のために、そのような所定データ単位を基準データ単位と称する。
一実施形態によって、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一であってもよく、２の乗数によって表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形状を示すことができ、その後、整数個の符号化単位に分割されうる。
一実施形態によって、映像復号装置１００の復号部１２０は、現在ピクチャを複数個の基準データ単位に分割することができる。一実施形態によって、復号部１２０は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。そのような基準データ単位の分割過程は、四分木（ｑｕａｄ－ｔｒｅｅ）構造を利用した分割過程に対応する。
一実施形態によって、復号部１２０は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、復号部１２０は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用して、少なくとも１つの符号化単位を決定することができる。
図１５を参照すれば、映像復号装置１００は、正方形状の基準符号化単位１５００を利用することができ、または非正方形状の基準符号化単位１５０２を利用することもできる。一実施形態によって、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（ｓｅｑｕｅｎｃｅ）、ピクチャ（ｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、スライスセグメント（ｓｌｉｃｅ ｓｅｇｍｅｎｔ）、最大符号化単位によって決定されうる。
一実施形態によって、映像復号装置１００のビットストリーム獲得部１１０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとにビットストリームから獲得することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は、省略する。
一実施形態によって、復号部１２０は、所定条件に基づいて事前に決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部１１０は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。復号部１２０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとにビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスと係わる基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、復号部１２０は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
一実施形態によって、復号部１２０は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定されうる。一実施形態によって、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当する。一実施形態によって、基準符号化単位の大きさは、最大符号化単位を四分木構造によって、ｎ回分割した大きさでもある。すなわち、復号部１２０は、最大符号化単位を、四分木構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態によって、基準符号化単位を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて分割することができる。
図１６は、一実施形態によって、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
一実施形態によって、復号部１２０は、ピクチャを分割する少なくとも１つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順に決定されうる。すなわち、それぞれのプロセッシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとに異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（ｒａｓｔｅｒ ｓｃａｎ）、Ｚスキャン（Ｚ－ｓｃａｎ）、Ｎスキャン（Ｎ－ｓｃａｎ）、右上向対角スキャン（ｕｐ－ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎ）、水平的スキャン（ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ）、垂直的スキャン（ｖｅｒｔｉｃａｌ ｓｃａｎ）など多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。
一実施形態によって、復号部１２０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。復号部１２０は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。そのようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態によって、映像復号装置１００のビットストリーム獲得部１１０は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位として、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部１１０は、前述のさまざまなデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、復号部１２０は、獲得されたプロセッシングブロックの大きさに係わる情報を利用してピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、そのようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
一実施形態によって、復号部１２０は、ピクチャ１６００に含まれるプロセッシングブロック１６０２，１６１２の大きさを決定することができる。例えば、復号部１２０は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図１６を参照すれば、復号部１２０は、一実施形態によって、プロセッシングブロック１６０２，１６１２の横サイズを基準符号化単位横サイズの４倍、縦サイズを基準符号化単位の縦サイズの４倍に決定することができる。復号部１２０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。
一実施形態により、復号部１２０は、プロセッシングブロックの大きさに基づいて、ピクチャ１６００に含まれるそれぞれのプロセッシングブロック１６０２，１６１２を決定することができ、基準符号化単位決定部１２は、プロセッシングブロック１６０２，１６１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態によって、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。
一実施形態によって、復号部１２０は、ビットストリームから、少なくとも１つのプロセッシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも１つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定されうる。
一実施形態によって、映像復号装置１００は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、ビットストリーム獲得部１１０は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、該決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとにも獲得される。
映像復号装置１００は、一実施形態によって、決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。
一実施形態によって、ビットストリーム獲得部１１０は、ビットストリームから、プロセッシングブロック１６０２，１６１２に係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、復号部１２０は、前記プロセッシングブロック１６０２，１６１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ１６００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１６を参照すれば、復号部１２０は、それぞれのプロセッシングブロック１６０２，１６１２と係わる少なくとも１つの基準符号化単位の決定順序１６０４，１６１４を決定することができる。例えば、基準符号化単位の決定順序に係わる情報がプロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック１６０２，１６１２に係わる基準符号化単位決定順序は、プロセッシングブロックごとに異なる。プロセッシングブロック１６０２に係わる基準符号化単位決定順序１６０４がラスタースキャン順序である場合、プロセッシングブロック１６０２に含まれる基準符号化単位は、ラスタースキャン順序によって決定されうる。それに対し、他のプロセッシングブロック１６１２に係わる基準符号化単位決定順序１６１４がラスタースキャン順序の逆順である場合、プロセッシングブロック１６１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によって決定されうる。
復号部１２０は、一実施形態により、決定された少なくとも１つの基準符号化単位を復号することができる。復号部１２０は、前述の実施形態を介して決定された基準符号化単位に基づいて、映像を復号することができる。該基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
一実施形態によって、映像復号装置１００は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を、ビットストリームから獲得して利用することができる。該ブロック形態情報または該分割形態情報は、多様なデータ単位に係わるビットストリームに含まれてもよい。例えば、映像復号装置１００は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ビデオパラメータセット（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）、スライスセグメントヘッダ（ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒ）に含まれたブロック形態情報または分割形態情報を利用することができる。さらには、映像復号装置１００は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態情報に係わるシンタックスをビットストリームから獲得して利用することができる。
一実施形態によって、復号部１２０は、符号化単位が分割されうる分割形態の種類を、所定データ単位ごとに異なるように決定することができる。映像復号装置１００の復号部１２０は、一実施形態によって、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに符号化単位が分割されうる形態の組み合わせを異ならせて決定することができる。
図１７は、一実施形態によって、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。
図１７を参照すれば、復号部１２０は、ピクチャごとに、符号化単位が分割されうる分割形態の組み合わせを異ならせて決定することができる。例えば、復号部１２０は、映像に含まれる少なくとも１つのピクチャのうち４個の符号化単位に分割されうるピクチャ１７００、２個または４個の符号化単位に分割されうるピクチャ１７１０、及び２個、３個または４個の符号化単位に分割されうるピクチャ１７２０を利用し、映像を復号することができる。復号部１２０は、ピクチャ１７００を、複数個の符号化単位に分割するために、４個の正方形の符号化単位に分割されるということを示す分割形態情報のみを利用することができる。復号部１２０は、ピクチャ１７１０を分割するために、２個または４個の符号化単位に分割されるということを示す分割形態情報のみを利用することができる。復号部１２０は、ピクチャ１７２０を分割するために、２個、３個または４個の符号化単位に分割されるということを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、映像復号装置１００の動作について説明するための実施形態に過ぎないので、説明した分割形態の組み合わせは、前述の実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されると解釈されなければならない。
一実施形態によって、映像復号装置１００のビットストリーム獲得部１１０は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに獲得することができる。例えば、ビットストリーム獲得部１１０は、シーケンスパラメータセット、ピクチャパラメータセットまたはスライスヘッダから、分割形態情報の組み合わせを示すインデックスを獲得することができる。映像復号装置１００の復号部１２０は、獲得したインデックスを利用し、所定データ単位ごとに符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。
図１８は、一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の多様な形態を図示する。
一実施形態によって、映像復号装置１００は、ビットストリーム獲得部１１０を介して獲得したブロック形態情報及び分割形態情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。
図１８を参照すれば、復号部１２０は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。
一実施形態によって、復号部１２０が、正方形状の符号化単位を、水平方向及び垂直方向に分割し、４個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態情報が示すことができる分割形態は、４種でもある。一実施形態によって、分割形態情報は、２桁のバイナリーコードとして表現され、それぞれの分割形態ごとに、バイナリーコードが割り当てられる。例えば、符号化単位が分割されない場合、分割形態情報は、（００）ｂと表現され、該符号化単位が、水平方向及び垂直方向に分割される場合、分割形態情報は、（０１）ｂと表現され、符号化単位が水平方向に分割される場合、分割形態情報は、（１０）ｂと表現され、符号化単位が垂直方向に分割される場合、分割形態情報は、（１１）ｂと表現されうる。
一実施形態によって、復号部１２０は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによって決定されうる。図１８を参照すれば、復号部１２０は、一実施形態によって、非正方形状の符号化単位を３個まで分割することができる。復号部１２０は、符号化単位を２つの符号化単位に分割することができ、その場合、分割形態情報は、（１０）ｂと表現されうる。復号部１２０は、符号化単位を３つの符号化単位に分割することができ、その場合、分割形態情報は、（１１）ｂと表現されうる。復号部１２０は、符号化単位を分割しないと決定することができ、その場合、分割形態情報は、（０）ｂと表現されうる。すなわち、復号部１２０は、分割形態情報を示すバイナリーコードを利用するために、固定長コーディング（ＦＬＣ：ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）ではなく、可変長コーディング（ＶＬＣ：ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）を利用することができる。
一実施形態によって、図１８を参照すれば、符号化単位が分割されないということを示す分割形態情報のバイナリーコードは、（０）ｂと表現されうる。もし符号化単位が分割されないということを示す分割形態情報のバイナリーコードが、（００）ｂに設定された場合であるならば、（０１）ｂに設定された分割形態情報がないにもかかわらず、２ビットの分割形態情報のバイナリーコードをいずれも利用しなければならない。しかし、図１８で図示されるように、非正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、復号部１２０は、分割形態情報として、１ビットのバイナリーコード（０）ｂを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、該分割形態情報が示す非正方形状の符号化単位の分割形態は、単に図１８で図示する３種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態として解釈されなければならない。
図１９は、一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の他の形態を図示する。
図１９を参照すれば、復号部１２０は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、該分割形態情報は、正方形状の符号化単位が一方向に分割されるということを示すことができる。そのような場合、正方形状の符号化単位が分割されないということを示す分割形態情報のバイナリーコードは、（０）ｂと表現されうる。もし符号化単位が分割されないということを示す分割形態情報のバイナリーコードが（００）ｂに設定された場合であるならば、（０１）ｂに設定された分割形態情報がないにもかかわらず、２ビットの分割形態情報のバイナリーコードをいずれも利用しなければならない。しかし、図１９で図示されるように、正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、復号部１２０は、分割形態情報として、１ビットのバイナリーコード（０）ｂを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、該分割形態情報が示す正方形状の符号化単位の分割形態は、単に図１９で図示する３種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態として解釈されなければならない。
一実施形態によって、ブロック形態情報または分割形態情報は、バイナリーコードを利用して表現され、そのような情報が、直ちにビットストリームに生成される。また、バイナリーコードによって表現されうるブロック形態情報または分割形態情報は、直ちにビットストリームに生成されず、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）で入力されるバイナリーコードとしても利用される。
一実施形態によって、映像復号装置１００は、ＣＡＢＡＣを介して、ブロック形態情報または分割形態情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部１１０を介して、前記シンタックスに係わるバイナリーコードを含むビットストリームを獲得することができる。復号部１２０は、獲得したビットストリームに含まれるビンストリング（ｂｉｎ ｓｔｒｉｎｇ）を逆二進化し、ブロック形態情報または分割形態情報を示すシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を検出することができる。一実施形態によって、復号部１２０は、復号するシンタックス要素に該当するバイナリービンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、復号部１２０は、そのような復号されたビンによって構成されるビンストリングが、以前求めたビンストリングのうち一つと同じようになるまで反復させる。復号部１２０は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。
一実施形態によって、復号部１２０は、適応的二進算術コーディング（ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）の復号過程を遂行し、ビンストリングに係わるシンタックスを決定することができ、復号部１２０は、ビットストリーム獲得部１１０を介して獲得したビンに係わる確率モデルを更新することができる。図１８を参照すれば、映像復号装置１００のビットストリーム獲得部１１０は、一実施形態によって、分割形態情報を示すバイナリーコードを示すビットストリームを獲得することができる。獲得した１ビットまたは２ビットの大きさを有するバイナリーコードを利用し、復号部１２０は、分割形態情報に係わるシンタックスを決定することができる。復号部１２０は、分割形態情報に係わるシンタックスを決定するために、２ビットのバイナリーコードのうちそれぞれのビットに係わる確率を更新することができる。すなわち、復号部１２０は、２ビットのバイナリーコードのうち最初ビンの値が０または１のうちいずれの値であるかということにより、次のビンを復号するとき、０または１の値を有する確率を更新することができる。
一実施形態によって、復号部１２０は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程において利用されるビンに係わる確率を更新することができ、復号部１２０は、前記ビンストリングのうち特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。
図１８を参照すれば、非正方形状の符号化単位に係わる分割形態情報を示すビンストリングを利用してシンタックスを決定する過程において、復号部１２０は、非正方形状の符号化単位を分割しない場合には、０の値を有する１つのビンを利用し、分割形態情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位が非正方形状であるということを示す場合、分割形態情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、０であり、２個または３個の符号化単位に分割される場合、１でもある。それにより、非正方形の符号化単位に係わる分割形態情報のビンストリングの最初ビンが０である確率は、１／３、１である確率は２／３でもある。前述のように、復号部１２０は、非正方形状の符号化単位が分割されないということを示す分割形態情報は、０の値を有する１ビットのビンストリングのみが表現されうるので、復号部１２０は、分割形態情報の最初ビンが１である場合にのみ、２番目ビンが０であるか１であるかということを判断し、分割形態情報に係わるシンタックスを決定することができる。一実施形態によって、復号部１２０は、分割形態情報に係わる最初ビンが１である場合、２番目ビンが０または１である確率は、互いに同一確率であると見て、ビンを復号することができる。
一実施形態によって、映像復号装置１００は、分割形態情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態によって、復号部１２０は、非正方形ブロックの方向に沿って、分割形態情報に係わるビンの確率を異ならせて決定することができる。一実施形態によって、復号部１２０は、現在符号化単位の広さ、または長辺長によって、該分割形態情報に係わるビンの確率を異ならせて決定することができる。一実施形態によって、復号部１２０は、現在符号化単位の形態及び長辺長のうち少なくとも一つにより、該分割形態情報に係わるビンの確率を異ならせて決定することができる。
一実施形態によって、復号部１２０は、所定サイズ以上の符号化単位については、分割形態情報に係わるビンの確率が同一であると決定することができる。例えば、符号化単位の長辺長を基準に、６４サンプル以上の大きさの符号化単位については、分割形態情報に係わるビンの確率が同一であると決定することができる。
一実施形態によって、復号部１２０は、分割形態情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ（例えば、Ｉスライス、ＰスライスまたはＢスライス…）に基づいて決定されうる。
図２０は、ループフィルタリングを行う映像符号化システム及び映像復号システムのブロック図を示した図面である。
映像符号化システム及び映像復号システム２０００の符号化端２０１０は、映像の符号化されたビットストリームを伝送し、復号化端２０５０は、ビットストリームを受信して復号することにより、復元映像を出力する。ここで、符号化端２０１０は、後述する映像符号化装置２００に類似した構成でもあり、復号化端２０５０は、映像復号装置１００に類似した構成でもある。
符号化端２０１０において、予測符号化部２０１５は、インター予測及びイントラ予測を介して参照映像を出力し、変換及び量子化部２０２０は、参照映像と現在入力映像とのレジデュアルデータを、量子化された変換係数に量子化して出力する。エントロピー符号化部２０２５は、量子化された変換係数を符号化して変換し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部２０３０を経て空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部２０３５及びループフィルタリング部２０４０を経て復元映像として出力される。該復元映像は、予測符号化部２０１５を経て、次の入力映像の参照映像にも使用される。
復号化端２０５０に受信されたビットストリームのうち符号化された映像データは、エントロピー復号部２０５５及び逆量子化及び逆変換部２０６０を経て、空間領域のレジデュアルデータに復元される。予測復号部２０７５から出力された参照映像及びレジデュアルデータが組み合わされて空間領域の映像データが構成され、デブロッキングフィルタリング部２０６５及びループフィルタリング部２０７０は、空間領域の映像データに対してフィルタリングを行い、現在原本映像に係わる復元映像を出力することができる。該復元映像は、予測復号部２０７５により、次の原本映像に係わる参照映像としても利用される。
符号化端２０１０のループフィルタリング部２０４０は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用し、ループフィルタリングを行う。ループフィルタリング部２０４０によって使用されたフィルタ情報は、エントロピー符号化部２０１０に出力され、符号化された映像データと共に、復号化端２０５０に伝送される。復号化端２０５０のループフィルタリング部２０７０は、復号化端２０５０から入力されたフィルタ情報に基づいて、ループフィルタリングを行うことができる。
図２１は、一実施形態による最大符号化単位に含まれるフィルタリング単位の一例と、フィルタリング単位のフィルタリング遂行情報とを示した図面である。
符号化端２０１０のループフィルタリング部２０４０、及び復号化端２０５０のループフィルタリング部２０７０のフィルタリング単位が、図３ないし図５を介して説明した一実施形態による符号化単位と類似したデータ単位で構成されているならば、フィルタ情報は、フィルタリング単位を示すためのデータ単位のブロック形態情報及び分割形態情報、並びにフィルタリング単位に係わるループフィルタリング遂行いかんを示すループフィルタリング遂行情報を含んでもよい。
一実施形態による最大符号化単位２１００に含まれたフィルタリング単位は、最大符号化単位２１００に含まれた符号化単位と同一のブロック形態及び分割形態を有することができる。また、一実施形態による最大符号化単位２１００に含まれたフィルタリング単位は、最大符号化単位２１００に含まれた符号化単位の大きさを基準に分割されうる。図２１を参照すれば、例えば、フィルタリング単位は、深度Ｄの正方形状のフィルタリング単位２１４０、深度Ｄの非正方形状のフィルタリング単位２１３２，２１３４、深度Ｄ＋１の正方形状のフィルタリング単位２１１２，２１１４，２１１６，２１５２，２１５４，２１６４、深度Ｄ＋１の非正方形状のフィルタリング単位２１６２，２１６６、深度Ｄ＋２の正方形状のフィルタリング単位２１２２，２１２４，２１２６，２１２８を含んでもよい。
最大符号化単位２１００に含まれたフィルタリング単位のブロック形態情報、分割形態情報（深度）及びループフィルタリング遂行情報は、下記表１のようにも符号化される。
一実施形態によるブロック形態情報及びブロック分割情報により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される過程は、図１３を介して説明した通りである。一実施形態によるフィルタリング単位のループフィルタリング遂行情報は、フラッグ値が１である場合、当該フィルタリング単位に対してループフィルタリングが行われるということを示し、０である場合、ループフィルタリングが行われないということを示す。表１を参照すれば、ループフィルタリング部２０４０，２０７０により、フィルタリングの対象になるフィルタリング単位を決定するためのデータ単位の情報は、フィルタ情報としていずれも符号化されて伝送される。
一実施形態によって構成された符号化単位は、原本映像との誤差を最小化させる形態に構成された符号化単位であるので、符号化単位内において、空間的相関度が高いと予想される。従って、一実施形態による符号化単位に基いてフィルタリング単位が決定されることにより、符号化単位の決定と別途にフィルタリング単位を決定する動作が、省略されもする。また、それにより、一実施形態による符号化単位に基いて、フィルタリング単位を決定することにより、フィルタリング単位の分割形態を決定するための情報を省略することができるので、フィルタ情報の伝送ビットレートを節約することができる。
前述の実施形態においては、フィルタリング単位が、一実施形態による符号化単位に基いて決定されると説明したが、符号化単位に基いて、フィルタリング単位の分割を行っていて、任意の深度においてそれ以上分割せず、当該深度までフィルタリング単位の形態が決定されもする。
前述の実施形態に開示されたフィルタリング単位の決定は、ループフィルタリングだけではなく、デブロッキングフィルタリング、適応的ループフィルタリングなど多様な実施形態にも適用される。
一実施形態によって、映像復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、現在符号化単位を分割することができ、該ブロック形態情報は、正方形状のみを利用すると事前に決定され、該分割形態情報は、分割しないか、あるいは４個の正方形状の符号化単位に分割されるということを示すことができると事前に決定されうる。すなわち、該現在符号化単位は、前記ブロック形態情報によれば、符号化単位は、常時正方形状を有し、前記分割形態情報に基づいて分割されないか、あるいは４個の正方形状の符号化単位に分割されうる。映像復号装置１００は、そのようなブロック形態及び分割形態のみを利用することにより、事前に決定された所定符号化方法を利用して生成されたビットストリームを、ビットストリーム獲得部１１０を介して獲得することができ、復号部１２０は、事前に決定されたブロック形態及び分割形態のみを利用することができる。そのような場合、映像復号装置１００は、前述の所定符号化方法と類似した所定復号方法を利用することにより、所定符号化方法との互換性問題を解決することができる。一実施形態によって、映像復号装置１００は、ブロック形態情報及び分割形態情報が示すことができる多様な形態のうち事前に決定されたブロック形態及び分割形態のみを利用する前述の所定復号方法を利用する場合、ブロック形態情報は、正方形状のみを示すようになるので、映像復号装置１００は、ビットストリームから、ブロック形態情報を獲得する過程を省略することができる。前述の所定復号方法を利用するか否かということを示すシンタックスが利用され、そのようなシンタックスは、シーケンス、ピクチャ、スライス単位、最大符号化単位のような複数個の符号化単位を含む多様な形態のデータ単位ごとに、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部１１０は、所定復号方法の使用いかんを示すシンタックスに基づいて、ブロック形態情報を示すシンタックスを、ビットストリームから獲得するか否かということを決定することができる。
図２３は、一実施形態による符号化単位のＺスキャン順序によるインデックスを図示する。
一実施形態による映像復号装置１００は、上位データ単位に含まれた下位データ単位を、Ｚスキャン順序によってスキャンすることができる。また、一実施形態による映像復号装置１００は、最大符号化単位、またはプロセッシングブロックに含まれる符号化単位内のＺスキャンインデックスにより、データに順次にアクセスすることができる。
一実施形態による映像復号装置１００が、基準符号化単位を、少なくとも１つの符号化単位に分割することができるということは、図３及び図４を参照して説明した通りである。このとき、基準符号化単位内には、正方形状の符号化単位と、非正方形状の符号化単位とが混在することができる。一実施形態による映像復号装置１００は、基準符号化単位内の各符号化単位に含まれたＺスキャンインデックスにより、データアクセスを行うことができる。このとき、基準符号化単位内に、非正方形状の符号化単位が存在するか否かということより、Ｚスキャンインデックスを適用する方式が異なる。
一実施形態により、基準符号化単位内に非正方形状の符号化単位が存在しない場合、基準符号化単位内の下位深度の符号化単位同士は、連続したＺスキャンインデックスを有することができる。例えば、一実施形態によって、上位深度の符号化単位は、下位深度の符号化単位４個を含んでもよい。ここで、４個の下位深度の符号化単位は、互いに隣接する境界が連続的でもあり、それぞれの下位深度の符号化単位は、Ｚスキャン順序を示すインデックスにより、Ｚスキャン順序によってもスキャンされる。一実施形態によるＺスキャン順序を示すインデックスは、各符号化単位に対し、Ｚスキャン順序によって増加する数にも設定される。その場合、同一深度の深度別符号化単位同士Ｚスキャン順序によってスキャンが可能である。
一実施形態により、基準符号化単位内に、非正方形状の符号化単位が少なくとも１以上存在する場合、映像復号装置１００は、基準符号化単位内の符号化単位をそれぞれサブブロックに分割し、分割されたサブブロックに対して、Ｚスキャン順序によるスキャンを行うことができる。例えば、基準符号化単位内において、垂直方向または水平方向の非正方形状の符号化単位が存在する場合、分割されたサブブロックを利用し、Ｚスキャンを行うことができる。また、例えば、基準符号化単位内において、奇数個の符号化単位に分割が行われた場合、サブブロックを利用し、Ｚスキャンを行うことができる。該サブブロックは、それ以上分割されない符号化単位、または任意の符号化単位が分割されたものであり、正方形状でもある。例えば、正方形状の符号化単位から４、個の正方形状のサブブロックが分割されうる。また、例えば、非正方形状の符号化単位からは、２個の正方形状のサブブロックが分割されうる。
図２３を参照すれば、例えば、一実施形態による映像復号装置１００は、符号化単位２３００内において、下位深度の符号化単位２３０２，２３０４，２３０６，２３０８，２３１０をＺスキャン順序によってスキャンすることができる。符号化単位２３００及び符号化単位２３０２，２３０４，２３０６，２３０８，２３１０は、それぞれ相対的に、上位符号化単位及び下位符号化単位である。符号化単位２３００は、水平方向の非正方形状の符号化単位２３０６，２３１０を含む。それら非正方形状の符号化単位２３０６，２３１０は、隣接した正方形状の符号化単位２３０２，２３０４との境界が不連続的である。また、符号化単位２３０８は、正方形状であり、非正方形状の符号化単位が奇数個であり、分割時、中間に位置した符号化単位である。非正方形状の符号化単位２３０６，２３１０と同様に、符号化単位２３０８は、隣接した正方形状の符号化単位２３０２，２３０４との境界が不連続的である。符号化単位２３００内に、非正方形状の符号化単位２３０６，２３１０が含まれるか、あるいは非正方形状の符号化単位が奇数個であり、分割時、中間に位置した符号化単位２３０８が含まれた場合、符号化単位間に隣接する境界が不連続的であるために、連続的なＺスキャンインデックスが設定されない。従って、映像復号装置１００は、符号化単位をサブブロックに分割することにより、Ｚスキャンインデックスを連続的に設定することができる。また、映像復号装置１００は、非正方形状の符号化単位２３０６，２３１０、または奇数個に分割された非正方形状の符号化単位の中間に位置した符号化単位２３０８に対して、連続したＺスキャンを遂行することができる。
図２３に図示された符号化単位２３２０は、符号化単位２３００内の符号化単位２３０２，２３０４，２３０６，２３０８，２３１０をサブブロックに分割したものである。該サブブロックそれぞれに対して、Ｚスキャンインデックスが設定され、該サブブロック間の隣接する境界は、連続的であるので、サブブロック同士、Ｚスキャン順序によってスキャンが可能である。例えば、一実施形態による復号装置において、符号化単位２３０８は、サブブロック２３２２，２３２４，２３２６，２３２８に分割されうる。このとき、サブブロック２３２２，２３２４は、サブブロック２３３０に対するデータ処理後にスキャンされ、サブブロック２３２６，２３２８は、サブブロック２３３２に対するデータ処理後にスキャンされる。また、それぞれのサブブロック同士、Ｚスキャン順序によってもスキャンされる。
前述の実施形態において、データ単位に対して、Ｚスキャン順序によってスキャンすることは、データ保存、データローディング、データアクセスなどのためのものでもある。
また、前述の実施形態では、データ単位をＺスキャン順序によってスキャンすることができると説明したが、データ単位のスキャン順序は、ラスタースキャン、Ｎスキャン、右上向対角スキャン、水平的スキャン、垂直的スキャンのような多様なスキャン順序によって遂行され、Ｚスキャン順序に限定して解釈されるのではない。
また、前述の実施形態では、基準符号化単位内の符号化単位に対してスキャンを行うと説明したが、それに限定して解釈されるものではなく、スキャン遂行の対象は、最大符号化単位、またはプロセッシングブロック内の任意のブロックでもある。
また、前述の実施形態では、非正方形状のブロックが、少なくとも１以上存在する場合にのみサブブロックに分割し、Ｚスキャン順序によるスキャンを行うように説明したが、単純化された具現のために、非正方形状のブロックが存在しない場合にも、サブブロックを分割し、Ｚスキャン順序によるスキャンを行うこともできる。
一実施形態による映像復号装置１００は、符号化単位に係わるインター予測またはイントラ予測を行って予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行ってレジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を復元することができる。
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測モードが選択される。
一実施形態による２Ｎｘ２Ｎ形態の符号化単位が分割され、２つの２ＮｘＮ形態、または２つのＮｘ２Ｎ形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対して、インターモード予測及びイントラモード予測が別個に行われる。また、一実施形態による２ＮｘＮ形態またはＮｘ２Ｎ形態の符号化単位については、スキップモードが適用されもする。
一方、一実施形態による映像復号装置１００は、８ｘ４形態または４ｘ８形態の符号化単位のスキップモードにおいて、双方向予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）の遂行が許容される。該スキップモードにおいては、符号化単位に対して、スキップモード情報のみを伝送されるために、当該符号化単位に係わるレジデュアルデータの利用が省略される。従って、その場合、逆量子化及び逆変換に対するオーバーヘッド（ｏｖｅｒｈｅａｄ）を節約することができる。その代わり、一実施形態による映像復号装置１００は、スキップモードが適用される符号化単位に対して、双方向予測を許容して復号効率を高めることができる。また、一実施形態による映像復号装置１００は、８ｘ４形態または４ｘ８形態の符号化単位に対して、双方向予測を許容するが、動き補償段階において、補間タップ（ｉｎｔｅｒｐｏｌａｔｉｏｎ ｔａｐ）数を相対的に少なく設定し、メモリ帯域幅を効率的に使用することができる。一例として、８タップの補間フィルタを使用する代わりに、８未満のタップ数の補間フィルタ（例えば、２タップ補間フィルタ）を使用することもできる。
また、一実施形態による映像復号装置１００は、現在符号化単位に含まれた領域を、既設定形態に分割（例えば、斜線基盤分割）し、分割された各領域に対するイントラ予測情報またはインター予測情報をシグナリングすることもできる。
一実施形態による映像復号装置１００は、イントラモードを利用し、現在符号化単位の予測サンプルを、現在符号化単位の周辺サンプルを利用して獲得することができる。このとき、イントラ予測は、周辺のすでに再構成されたサンプルを使用して予測を行うが、そのようなサンプルを参照サンプルという。
図２４は、一実施形態による符号化単位のイントラ予測のための参照サンプルを示す図面である。図２４を参照すれば、ブロック形態が非四角形状であり、水平方向の長さがｗ、垂直方向の長さがｈである現在符号化単位２３００に対して、上端の参照サンプル２３０２がｗ＋ｈ個、左側の参照サンプル２３０４がｗ＋ｈ個、左側上端の参照サンプル２３０６が一つであり、総２（ｗ＋ｈ）＋１個の参照サンプルが必要である。参照サンプル準備のために、参照サンプルが存在しない部分に対してパディングを行う段階を経て再構成された参照サンプルに含まれた量子化エラーを減らすための予測モード別参照サンプルフィルタリング過程を経ることもできる。
前述の実施形態においては、現在符号化単位のブロック形態が非四角形状である場合の参照サンプルの個数について説明したが、そのような参照サンプルの個数は、現在符号化単位が、四角形状のブロック形態の場合にも、同一に適用される。
前述の多様な実施形態は、映像復号装置１００が遂行する映像復号方法に係わる動作について説明したものである。以下では、そのような映像復号方法に対して逆順の過程に該当する映像符号化方法を遂行する映像符号化装置２００の動作について、多様な実施形態を介して説明する。
図２は、一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を符号化させることができる映像符号化装置２００のブロック図を図示する。
図２を参照すれば、映像符号化装置２００は、一実施形態によって、分割形態情報、ブロック形態情報のような所定情報を含むビットストリームを生成するためのビットストリーム生成部２１０、前記所定情報を利用して映像を符号化させるための符号化部２２０を含んでもよい。一実施形態によって、映像符号化装置２００の符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を分割する少なくとも１つの符号化単位を決定することができ、映像符号化装置２００のビットストリーム生成部２１０において、そのようなブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。ここで、該ブロック形態情報は、符号化単位の形態を示す情報またはシンタックスを意味し、該分割形態情報は、符号化単位が分割される形態を示す情報またはシンタックスを意味する。
一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、あるいは非正方形状を有することができ、そのような形態を示す情報は、ブロック形態情報に含まれてもよい
一実施形態によって、符号化部２２０は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部２２０は、符号化単位に含まれる少なくとも１つの符号化単位の形態を決定することができ、ビットストリーム生成部２１０は、そのような符号化単位の形態に係わる情報を含む分割形態情報を含むビットストリームを生成することができる。
一実施形態によって、符号化部２２０は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部２２０が、符号化単位に１つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部２１０は、符号化単位が分割されないということを示す分割形態情報を含むビットストリームを生成することができる。また、符号化部２２０は、符号化単位に含まれる複数個の符号化単位に分割することができ、ビットストリーム生成部２１０は、符号化単位は、複数個の符号化単位に分割されるということを示す分割形態情報を含むビットストリームを生成することができる。
一実施形態によって、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が分割形態情報に含まれてもよい。例えば、分割形態情報は、垂直方向及び水平方向のうち少なくとも１つの方向に分割するということを示すか、あるいは分割しないということを示すことができる。
図３は、一実施形態によって、映像符号化装置２００が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態によって、符号化部２２０は、符号化単位の形態を決定することができる。例えば、符号化部２２０は、ＲＤ（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ） ｃｏｓｔを考慮し、最適のＲＤ ｃｏｓｔを有する符号化単位の形態を決定することができる。
一実施形態により、符号化部２２０は、現在符号化単位が正方形状であるということを決定することができ、それにより、正方形状の符号化単位が分割される形態を決定することができる。例えば、符号化部２２０は、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するかというようなことを決定することができる。図３を参照すれば、符号化部２２０は、現在符号化単位３００と同一サイズを有する符号化単位３１０ａを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位３１０ｂ，３１０ｃ，３１０ｄを決定することができる。
図３を参照すれば、符号化部２２０は、一実施形態によって、現在符号化単位３００を垂直方向に分割した２つの符号化単位３１０ｂを決定することができる。符号化部２２０は、現在符号化単位３００を水平方向に分割した２つの符号化単位３１０ｃを決定することができる。符号化部２２０は、現在符号化単位３００を、垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定分割形態は、以下において、多様な実施形態を介して具体的に説明する。
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、現在符号化単位３００が符号化部２２０によって分割された形態を示す分割形態情報を含むビットストリームを生成することができる。
図４は、一実施形態によって、映像符号化装置２００が非正方形状である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
一実施形態によって、符号化部２２０は、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図４を参照すれば、現在符号化単位４００または４５０の符号化部２２０は、現在符号化単位４００または４５０と同一サイズを有する符号化単位４１０または４６０を分割しないか、あるいは所定分割方法によって分割された符号化単位４２０ａ，４２０ｂ，４３０ａ，４３０ｂ，４３０ｃ，４７０ａ，４７０ｂ，４８０ａ，４８０ｂ，４８０ｃを決定することができる。映像符号化装置２００のビットストリーム生成部２１０は、そのような分割形態を示す分割形態情報を含むビットストリームを生成することができる。非正方形の符号化単位が分割される所定分割方法は、以下において、多様な実施形態を介して具体的に説明する。
一実施形態によって、符号化部２２０は、符号化単位が分割される形態を決定することができる。図４を参照すれば、符号化部２２０は、現在符号化単位４００または４５０を分割し、現在符号化単位に含まれる２つの符号化単位４２０ａ，４２０ｂまたは４７０ａ，４７０ｂを決定することができ、ビットストリーム生成部２１０は、そのような分割形態を示す分割形態情報を含むビットストリームを生成することができる。
一実施形態によって、符号化部２２０が、非正方形状の現在符号化単位４００または４５０を分割する場合、非正方形の現在符号化単位４００または４５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、符号化部２２０は、現在符号化単位４００または４５０の形態を考慮し、現在符号化単位４００または４５０の長辺を分割する方向に、現在符号化単位４００または４５０を分割し、複数個の符号化単位を決定することができ、ビットストリーム生成部２１０は、そのような分割形態を示す分割形態情報を含むビットストリームを生成することができる。
一実施形態により、符号化部２２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができる。例えば、符号化部２２０は、現在符号化単位４００または４５０を、３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０に分割することができる。一実施形態によって、符号化部２２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではない。例えば、決定された奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０のうち所定符号化単位４３０ｂまたは４８０ｂの大きさは、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位４００または４５０が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０がそれぞれ互いに異なる大きさを有することもできる。
一実施形態によって、符号化部２２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、さらには、符号化部２２０は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して所定制限を置くことができる。図４を参照すれば、符号化部２２０は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０のうち中央に位置する符号化単位４３０ｂ，４８０ｂに対する復号過程を、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なるようにすることができる。例えば、符号化部２２０は、中央に位置する符号化単位４３０ｂ，４８０ｂについては、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定回数ほど分割されるように制限することができる。
図５は、一実施形態によって、映像符号化装置２００が符号化単位を分割する過程を図示する。
一実施形態によって、符号化部２２０は、正方形状の第１符号化単位５００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、符号化部２２０は、第１符号化単位５００を水平方向に分割し、第２符号化単位５１０を決定することができ、一実施形態によって利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されうる。以下では、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるものであると理解される。
一実施形態によって、映像符号化装置２００は、決定された第２符号化単位５１０を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図５を参照すれば、符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割して決定された非正方形状の第２符号化単位５１０を、少なくとも１つの第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄに分割するか、あるいは第２符号化単位５１０を分割しない。映像符号化装置２００のビットストリーム生成部２１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができ、符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割し、例えば、多様な形態の複数個の第２符号化単位５１０を分割することができ、第２符号化単位５１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００が分割された方式によって分割されうる。一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位５１０に分割された場合、第２符号化単位５１０も、第２符号化単位５１０に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄに分割されうる。従って、非正方形状の符号化単位で正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されもする。図５を参照すれば、非正方形状の第２符号化単位５１０が分割されて決定される奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち所定符号化単位（例えば、真ん中に位置する符号化単位、または正方形状の符号化単位）は、再帰的に分割されうる。一実施形態によって、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち一つである正方形状の第３符号化単位５２０ｃは、水平方向に分割され、複数個の第４符号化単位に分割されうる。複数個の第４符号化単位のうち一つである非正方形状の第４符号化単位５４０は、また複数個の符号化単位に分割されうる。例えば、非正方形状の第４符号化単位５４０は、奇数個の符号化単位５５０ａ，５５０ｂ，５５０ｃにまた分割されもする。
符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的に分割されうる。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
一実施形態によって、符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄそれぞれを符号化単位に分割するか、あるいは第２符号化単位５１０を分割しないと決定することができる。符号化部２２０は、一実施形態によって、非正方形状の第２符号化単位５１０を、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄに分割することができる。映像符号化装置２００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち所定の第３符号化単位に対して所定制限を置くことができる。例えば、映像符号化装置２００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち真ん中に位置する符号化単位５２０ｃについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図５を参照すれば、映像符号化装置２００は、非正方形状の第２符号化単位５１０に含まれる奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち真ん中に位置する符号化単位５２０ｃは、それ以上分割されないか、所定分割形態に分割（例えば、４個の符号化単位にだけ分割するか、あるいは第２符号化単位５１０が分割された形態に対応する形態に分割）されると制限するか、あるいは所定回数にだけ分割（例えば、ｎ回だけ分割、ｎ＞０）されると制限することができる。ただし、真ん中に位置した符号化単位５２０ｃに対する前記制限は、単純な実施形態に過ぎないので、説明した実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位５２０ｃが異なる符号化単位５２０ｂ，５２０ｄと異なるように復号される多様な制限を含むと解釈されなければならない。
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、現在符号化単位内の所定位置のサンプルと係わるビットストリームと共に、現在符号化単位を分割するために使用されたブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。
図６は、一実施形態によって、符号化部２２０が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。映像符号化装置２００の符号化部２２０は、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。図６を参照すれば、ビットストリーム生成部２１０は、現在符号化単位６００に含まれる複数個のサンプルのうち所定位置のサンプル（例えば、真ん中に位置するサンプル６４０）に係わるビットストリームと共に、現在符号化単位６００のブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。ただし、そのようなブロック形態情報及び分割形態情報のうち少なくとも一つに係わる現在符号化単位６００内の所定位置が、図６で図示する真ん中に位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位６００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など）が含まれてもよいと解釈されなければならない。
一実施形態によって、映像符号化装置２００は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様であり、そのような方法についての説明は、以下の多様な実施形態を介して後述する。
一実施形態によって、映像符号化装置２００の符号化部２２０は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
図６は、一実施形態によって、映像符号化装置２００が、奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。
一実施形態によって、符号化部２２０は、奇数個の符号化単位のうち真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図６を参照すれば、符号化部２２０は、現在符号化単位６００を分割し、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃを決定することができる。符号化部２２０は、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃの位置に係わる情報を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、符号化部２２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。具体的には、符号化部２２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
一実施形態によって、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態によって、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ，６２０ｂ，６２０ｃの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での座標間の差を示す情報に該当する。すなわち、映像符号化装置２００は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値を示す符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
一実施形態により、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像符号化装置２００は、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を、昇順または降順に整列したとき、真ん中に位置するサンプル６３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位６２０ｂを、現在符号化単位６００が分割されて決定された符号化単位６２０ａ，６２０ｂ，６２０ｃのうち真ん中に位置する符号化単位として決定することができる。ただし、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を基準に、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法として解釈されなければならない。
一実施形態によって、映像符号化装置２００は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定基準により、符号化単位を選択することができる。例えば、符号化部２２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、大きさが異なる符号化単位６２０ｂを選択することができる。
一実施形態によって、映像符号化装置２００は、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの幅または高さを決定することができる。映像符号化装置２００は、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの大きさを決定することができる。
一実施形態により、映像符号化装置２００は、上端符号化単位６２０ａの幅をｘｂ－ｘａと決定することができ、高さをｙｂ－ｙａと決定することができる。一実施形態によって、符号化部２２０は、真ん中符号化単位６２０ｂの幅をｘｃ－ｘｂと決定することができ、高さをｙｃ－ｙｂと決定することができる。一実施形態によって、符号化部２２０は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位６２０ａ及び真ん中符号化単位６２０ｂの幅及び高さとを利用して決定することができる。符号化部２２０は、決定された符号化単位６２０ａ，６２０ｂ，６２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像符号化装置２００は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃの大きさと異なる大きさを有する真ん中符号化単位６２０ｂを、所定位置の符号化単位として決定することができる。ただし、前述の映像符号化装置２００が異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されるとも解釈される。
一実施形態によって、映像符号化装置２００は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、符号化部２２０は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、符号化部２２０は、水平方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、符号化部２２０は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、符号化部２２０は、垂直方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
一実施形態によって、映像符号化装置２００は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。符号化部２２０は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図６で説明した奇数個の符号化単位のうち所定位置（例えば、真ん中位置）の符号化単位を決定する過程と類似した過程でもあるので、省略する。
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、現在符号化単位の分割過程において利用された所定情報を利用することができる。例えば、映像符号化装置２００の符号化部２２０は、現在符号化単位が、複数個に分割された符号化単位のうち真ん中に位置する符号化単位を決定するために、現在符号化単位の分割過程において利用された所定情報として、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができ、そのような情報は、である。
図６を参照すれば、映像符号化装置２００の符号化部２２０は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち真ん中に位置する符号化単位６２０ｂを決定することができ、ビットストリーム生成部２１０は、現在符号化単位６００の分割過程において利用されたブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。符号化部２２０は、現在符号化単位６００の分割過程において利用されたブロック形態情報及び分割形態情報のうち少なくとも１つのビットストリームに係わるサンプルの位置を考慮し、真ん中に位置する符号化単位６２０ｂを決定することができる。すなわち、現在符号化単位６００の真ん中に位置するサンプル６４０に係わるビットストリームと共に、現在符号化単位６００のブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームが生成され、その場合、符号化部２２０は、前記サンプル６４０を含む符号化単位６２０ｂを、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち真ん中に位置する符号化単位として決定することができる。ただし、現在符号化単位が分割されて決定された複数個の符号化単位のうち真ん中に位置する符号化単位として決定するために利用される情報が、現在符号化単位の分割過程において利用されたブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が利用される。それと係わり、映像符号化装置２００が所定位置の符号化単位を決定する過程は、映像復号装置１００が現在符号化単位から決定された複数個の符号化単位のうち所定位置の符号化単位を決定する過程に対して反対となる過程でもあるので、詳細な説明は、省略する。
一実施形態によって、映像符号化装置２００は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、そのような少なくとも１つの符号化単位が復号される順序を所定ブロック（例えば、現在符号化単位）によって決定することができる。
図７は、一実施形態によって、映像符号化装置２００が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。図７と係わる映像符号化装置２００が複数個の符号化単位を処理する過程は、図７と係わって説明した映像復号装置１００の動作と類似した過程でもあるので、詳細な説明は、省略する。
図８は、一実施形態によって、映像符号化装置２００が所定順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されるということを決定する過程を図示する。
一実施形態によって、映像符号化装置２００の符号化部２２０は、現在符号化単位が奇数個の符号化単位に分割されるということを決定することができ、ビットストリーム生成部２１０は、現在符号化単位の形態を示すブロック形態情報及び現在符号化単位の分割形態（奇数個に分割される）を示す分割形態情報を含むビットストリームを生成することができる。図８を参照すれば、正方形状の第１符号化単位８００が非正方形状の第２符号化単位８１０ａ，８１０ｂに分割され、第２符号化単位８１０ａ，８１０ｂは、それぞれ独立して、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅに分割されうる。一実施形態によって、符号化部２２０は、第２符号化単位のうち左側符号化単位８１０ａは、水平方向に分割し、複数個の第３符号化単位８２０ａ，８２０ｂを決定することができ、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割することができる。図８と係わる映像符号化装置２００が、現在符号化単位が、奇数個の符号化単位に分割されるということを決定する過程は、図８と係わって説明した映像復号装置１００の動作に対して反対となる過程でもあるので、詳細な説明は、省略する。
図９は、一実施形態によって、映像符号化装置２００が、第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定することを図示する。一実施形態によって、符号化部２２０は、第１符号化単位９００を分割することができ、ビットストリーム生成部２１０は、第１符号化単位９００の形態を示すブロック形態情報、及び第１符号化単位９００が分割される形態を示す分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。正方形状の第１符号化単位９００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図９を参照すれば、符号化部２２０は、第１符号化単位９００を複数個の非正方形の符号化単位に分割することができ、その場合、ビットストリーム生成部２１０は、第１符号化単位９００は、正方形であることを示すブロック形態情報、及び第１符号化単位９００が非正方形の符号化単位に分割されるということを示す分割形態情報を含むビットストリームを生成することができる。具体的には、符号化部２２０は、正方形状の第１符号化単位９００を、奇数個の符号化単位として、垂直方向に分割されて決定された第２符号化単位９１０ａ，９１０ｂ，９１０ｃ、または水平方向に分割されて決定された第２符号化単位９２０ａ，９２０ｂ，９２０ｃに分割することができ、その場合、ビットストリーム生成部２１０は、第１符号化単位９００を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す分割形態情報を含むビットストリームを生成することができる。図９と係わる映像符号化装置２００が、第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定する過程は、図９と係わって説明した映像復号装置１００の動作に対して反対となる過程でもあるので、詳細な説明は、省略する。
図１０は、一実施形態によって、映像符号化装置２００が、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する。
一実施形態によって、符号化部２２０は、正方形状の第１符号化単位１０００を非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立して分割されうる。それにより、符号化部２２０は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれを、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。図１０と係わる映像符号化装置２００が、非正方形状の第２符号化単位が所定条件を満足するとき、分割されうる形態の制限する動作は、図１０と係わって説明した映像復号装置１００の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
図１１は、一実施形態によって、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、映像符号化装置２００が正方形状の符号化単位を分割する過程を図示する。それと係わる映像符号化装置２００の動作は、図１１と係わって説明した映像復号装置１００の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
図１２は、一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりもするということを図示したものである。
一実施形態によって、符号化部２２０は、正方形状の第１符号化単位１２００を水平方向及び垂直方向のうち少なくとも１つの方向に分割することができる。一実施形態によって、ビットストリーム生成部２１０は、第１符号化単位１２００が正方形状であることを示すブロック形態情報、及び第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されるということを示す分割形態情報を含むビットストリームを生成することができる。
一実施形態によって、符号化部２２０は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂ，１２３０ｃ，１２３０ｄを決定することができる。図１２を参照すれば、第１符号化単位１２００が水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、独立して分割されうる。例えば、符号化部２２０は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。図１０と係わる映像符号化装置２００の動作は、図１０と係わって説明した映像復号装置１００の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
図１３は、一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。映像符号化装置２００の符号化部２２０が符号化単位の深度を決定する過程は、図１３と係わって説明した映像復号装置１００の復号部１２０が符号化単位の深度を決定する過程に対して反対となるものでもあるので、詳細な説明は、省略する。
一実施形態によって、映像符号化装置２００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像符号化装置２００は、高さが幅より大きい長方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像符号化装置２００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックスを利用することができる。一実施形態によって、ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。図１４に係わる映像符号化装置２００の動作は、図１４と係わって説明した映像復号装置１００の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
図１５は、一実施形態によって、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。一実施形態によって、符号化部２２０は、符号化単位の再帰的な分割が始まる所定データ単位として説明された基準符号化単位を利用することができる。図１５と係わって映像符号化装置２００が基準符号化単位を利用する動作は、図１５と係わって説明した映像復号装置１００が基準符号化単位を利用する動作に対して反対となるものでもあるので、詳細な説明は、省略する。
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを含むビットストリームを、前記多様なデータ単位ごとに生成することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は、省略する。
一実施形態によって、符号化部２２０は、所定条件に基づいて事前に決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム生成部２１０は、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位ごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスを含むビットストリームを生成することができる。符号化部２２０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。一実施形態によって、基準符号化単位の大きさ及び形態を示すインデックスに係わる基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、符号化部２２０は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。基準符号化単位の大きさ及び形態を識別するためのインデックスを利用する符号化部２２０の動作は、前述の復号部１２０の動作と類似したのでもあるので、詳細な説明は、省略する。
図１６は、一実施形態によって、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
一実施形態によって、符号化部２２０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。符号化部２２０は、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができ、ビットストリーム生成部２１０は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。そのようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを特定のデータ単位ごとに生成することができる。例えば、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。すなわち、ビットストリーム生成部２１０は、前記多くのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができ、符号化部２２０は、前記プロセッシングブロックの大きさに係わる情報を利用してピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、そのようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
一実施形態によって、符号化部２２０は、ピクチャ１６００に含まれるプロセッシングブロック１６０２，１６１２の大きさを決定することができる。例えば、符号化部２２０は、プロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図１６を参照すれば、符号化部２２０は、一実施形態によって、プロセッシングブロック１６０２，１６１２の横サイズを基準符号化単位横サイズの４倍、縦サイズを基準符号化単位の縦サイズの４倍に決定することができる。符号化部２２０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。プロセッシングブロックに係わる符号化部２２０の動作は、図１６と係わって説明した復号部１２０の動作と類似したのでもあるので、詳細な説明は、省略する。
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を含むビットストリームを生成することができる。ブロック形態情報または分割形態情報は、多様なデータ単位に係わるビットストリームに含まれてもよい。例えば、映像符号化装置２００のビットストリーム生成部２１０は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダに含まれたブロック形態情報または分割形態情報を利用することができる。さらには、映像符号化装置２００のビットストリーム生成部２１０は、ブロック形態情報または分割形態情報を示すシンタックスを含むビットストリームを最大符号化単位、基準符号化単位、プロセッシングブロックごとに生成することができる。
一実施形態によって、符号化部２２０は、符号化単位が分割されうる分割形態の種類を、所定データ単位ごとに異なるように決定することができる。映像符号化装置２００の符号化部２２０は、一実施形態によって、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに符号化単位が分割されうる形態の組み合わせを異ならせて決定することができる。
図１７は、一実施形態によって、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。
図１７を参照すれば、符号化部２２０は、ピクチャごとに符号化単位が分割されうる分割形態の組み合わせを異ならせて決定することができる。例えば、符号化部２２０は、映像に含まれる少なくとも１つのピクチャのうち４個の符号化単位に分割されうるピクチャ１７００、２個または４個の符号化単位に分割されうるピクチャ１７１０、及び２個、３個または４個の符号化単位に分割されうるピクチャ１７２０を利用して映像を復号することができる。符号化部２２０は、ピクチャ１７００を４個の正方形の符号化単位に分割することができる。符号化部２２０は、ピクチャ１７１０を２個または４個の符号化単位に分割することができる。符号化部２２０は、ピクチャ１７２０を２個、３個または４個の符号化単位に分割することができる。前述の分割形態の組み合わせは、映像符号化装置２００の動作について説明するための実施形態に過ぎないので、説明した分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されると解釈されなければならない。
一実施形態によって、映像符号化装置２００の符号化部２２０は、分割形態情報の組み合わせを示すインデックスを利用し、所定データ単位ごとに符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。さらには、映像符号化装置２００のビットストリーム生成部２１０は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに生成することができる。例えば、ビットストリーム生成部２１０は、分割形態情報の組み合わせを示すインデックスを含むシーケンスパラメータセット、ピクチャパラメータセットまたはスライスヘッダを生成することができる。
図１８、図１９は、一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の多様な形態を図示する。
一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位を多様な形態に分割することができ、ビットストリーム生成部２１０を介して、ブロック形態情報及び分割形態情報を含むビットストリームを生成することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。図１８を参照すれば、符号化部２２０は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。映像符号化装置２００が利用することができる分割形態情報のバイナリーコードに係わる特徴は、図１８及び図１９を介して説明した映像復号装置１００の特徴に該当するので、詳細な説明は、省略する。
一実施形態による映像符号化装置２００は、符号化単位に係わるインター予測またはイントラ予測を行って予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行ってレジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を符号化させることができる。
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測が行われ、誤差が最小である予測モードが選択される。
一実施形態による２Ｎｘ２Ｎ形態の符号化単位が分割され、２つの２ＮｘＮ形態、または２つのＮｘ２Ｎ形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対してインターモード予測及びイントラモード予測が別個に遂行される。また、一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位が正方形状の場合だけではなく、非正方形状である場合にも、ＣＵスキップモード（ｓｋｉｐ ｍｏｄｅ）を利用し、符号化単位を符号化させることができる。ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて決定されうる正方形状の符号化単位だけではなく、非正方形状の符号化単位の場合にも、ＣＵスキップモードを利用して映像を復号することができることにより、相対的にさらに適応的なスキップモードの利用が可能になることにより、映像部／復号効率が向上することができる。そのような非正方形状の符号化単位において、スキップモードを利用する映像符号化装置２００の特徴は、映像符号化装置２００のスキップモード利用と係わって説明した特徴と類似したのでもあるので、詳細な説明は、省略する。
図２２は、一実施形態によって、所定符号化方法によって決定された符号化単位間の併合または分割が遂行される過程を図示する。
一実施形態によって、映像符号化装置２００は、前述の所定符号化方法を利用し、ピクチャを分割する符号化単位を決定することができる。例えば、映像符号化装置２００は、符号化単位の分割情報に基づいて、現在深度の符号化単位を決定するか、あるいは下位深度の４個の符号化単位に分割することができる。前述のところのように、映像符号化装置２００は、一実施形態によって、現在符号化単位は、常時正方形状を有することを示すブロック形態情報、及び現在符号化単位は、分割されないということを示すか、あるいは４個の正方形状の符号化単位に分割されるということを示すことができる分割形態情報を利用し、符号化単位を決定することができる。図２２を参照すれば、前述の所定符号化方法によって決定された正方形の符号化単位により、ピクチャ２２００，２２２０が分割されうる。
ただし、前述の所定復号単位による場合、現在符号化単位が分割されるか否かということは、現在符号化単位内に含まれる相対的に小さいオブジェクト（ｏｂｊｅｃｔ）が表現されるのに適するか否かということによって決定されるために、ピクチャ内の大きいオブジェクトと、小さいオブジェクトとが１つの符号化単位を介して符号化されることはない。ここで、オブジェクトとは、ピクチャに含まれたサンプルの集合であり、類似したサンプル値を有することにより、他の領域と区分されるサンプルの領域を意味する。図２２を参照すれば、映像符号化装置２００は、小さいオブジェクト２２２１を復元するために、第１符号化単位２２２２を４個の下位深度の符号化単位に分割することにより、小さいオブジェクト２２２１の復号のための符号化単位を決定することができる。しかし、大きいオブジェクト２２２３が現在符号化単位２２２２に含まれないので、大きいオブジェクト２２２３が、現在符号化単位２２２２を利用して復号されるには適さず、さらには、小さいオブジェクト２２２１を復号するために、現在符号化単位２２２２が分割されたために、結局、大きいオブジェクト２２２３の復号のために、不要な符号化単位の分割過程が遂行されなければならないので、非効率的である。すなわち、映像符号化装置２００が、大きいオブジェクト２２２３に係わる部分を符号化させるために、１つの符号化単位を利用することができるのであるならば、映像符号化を効率的に行うことができる。
一実施形態によって、映像符号化装置２００の符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、現在符号化単位を分割することができ、ブロック形態情報は、正方形状のみを利用することにより、事前に決定され、分割形態情報は、分割しないか、あるいは４個の正方形状の符号化単位に分割されるということを示すことができると事前に決定されうる。それは、多様な実施形態を介して説明した所定符号化方法で利用される符号化単位決定過程に該当する。その場合、符号化部２２０は、前記所定符号化方法を利用して決定された符号化単位を互いに併合するか、あるいは決定された符号化単位を分割するために、ピクチャに含まれるサンプル値を利用することができる。例えば、符号化部２２０は、類似したサンプル値を有する部分を検討し、ピクチャに含まれる多様なオブジェクトを検出することができ、そのように検出されたオブジェクトに係わる部分に基づいて、符号化単位の併合／分割過程を遂行することができる。
図２２を参照すれば、一実施形態によって、符号化部２２０は、前述の所定符号化方法を利用し、ピクチャ２２００を分割する複数個の符号化単位を決定することができる。ただし、ピクチャに含まれた類似したサンプル値を有する部分２２０１が存在するにもかかわらず、類似領域を、１つの符号化単位ではない複数個の符号化単位に分割する過程が遂行される場合があり得る。その場合、符号化部２２０は、所定符号化方法を介して符号化単位が決定されても、そのような符号化単位を、１つの符号化単位２２０２に併合し、１つの符号化単位として符号化させることができる。図２２を参照すれば、他の実施形態として、符号化部２２０は、前述の所定符号化方法を利用し、小さいオブジェクト２２２１の符号化のための符号化単位２２２２を、４個の符号化単位に分割することができる。そのように分割された符号化単位の場合、検出された大きいオブジェクト２２２３がいずれも含まれることがないので、符号化部２２０は、類似したサンプル値を有する部分を含む１つの符号化単位に符号化単位を併合することができる（２２２５）。
一実施形態によって、符号化部２２０は、符号化単位の分割情報を利用し、符号化単位を分割しないか、あるいは４個の符号化単位に分割する所定符号化方法を利用し、符号化単位を決定した後、ピクチャに含まれるサンプルのサンプル値を考慮し、符号化単位をさらに分割することができる。すなわち、符号化部１２０は、オブジェクト別に符号化単位を決定するために、符号化単位間の併合だけではなく、すでに決定された符号化単位を分割することができる。図２２を参照すれば、符号化部１２０は、オブジェクト２２２３のために、符号化単位を併合することができ、オブジェクト２２２３のために最適化された符号化単位を決定するために、オブジェクト２２２３のために併合された符号化単位をさらに分割することができる（２２２６）。すなわち、符号化部２２０は、分割（２２２６）過程を介して、オブジェクト２２２３が含まれていない部分を、オブジェクト２２２３とは別個の符号化単位２２２７と決定することができる。
前述の映像符号化装置２００の動作を介して、所定符号化方法によって決定された符号化単位間の併合または分割を行った後、映像に係わるビットストリームを生成した場合、映像復号装置１００としては、そのようなビットストリームを獲得した後、前述の映像符号化方法の逆順の動作に該当する映像復号方法を遂行することにより、映像を復号することができる。
図２３は、一実施形態による符号化単位のＺスキャン順序によるインデックスを図示する。
一実施形態による映像符号化装置２００の符号化部２２０は、上位データ単位に含まれた下位データ単位を、Ｚスキャン順序によってスキャンすることができる。また、一実施形態による映像符号化装置２００は、最大符号化単位またはプロセッシングブロックに含まれる符号化単位内のＺスキャンインデックスにより、データを順次にアクセスすることができる。一実施形態による映像符号化装置２００の符号化部２２０が基準符号化単位を、少なくとも１つの符号化単位に分割することができるということは、図３及び図４を参照して説明した通りである。このとき、基準符号化単位内には、正方形状の符号化単位と、非正方形状の符号化単位とが混在する。映像符号化装置２００において、符号化単位のＺスキャン順序によるインデックスに対する特徴は、図２３を介して説明した映像復号装置１００の特徴と類似した特徴でもあるので、詳細な説明は、省略する。
以上、多様な実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能記録媒体を利用し、前述のプログラムを動作させる汎用デジタルコンピュータでも具現される。前記コンピュータで読み取り可能記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、フロッピーディスク、ハードディスク、光学的判読媒体（例えば、ＣＤ－ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）など）のような記録媒体を含む。
［付記］
（付記１）
映像を復号する方法において、
ビットストリームから、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得する段階と、
獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定する段階と、
前記少なくとも１つの第２符号化単位に基づいて、前記映像を復号する段階と、を含み、
前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号方法。
（付記２）
前記少なくとも１つの第２符号化単位を決定する段階は、
前記ブロック形態情報に基づいて、前記第１符号化単位は、正方形または非正方形のうちいずれの形態を示すかということを決定する段階と、
決定された前記第１符号化単位の形態に基づいて、前記少なくとも１つの第２符号化単位を決定する段階と、を含むことを特徴とする付記１に記載の映像復号方法。
（付記３）
前記少なくとも１つの第２符号化単位を決定する段階は、
前記分割形態情報に基づいて、複数種類の大きさを有する複数個の第２符号化単位を決定する段階を含むことを特徴とすることを特徴とする付記１に記載の映像復号方法。
（付記４）
前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階は、
前記第１符号化単位に含まれた所定位置のサンプルに係わるビットストリームから、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階を含むことを特徴とすることを特徴とする付記１に記載の映像復号方法。
（付記５）
前記映像復号方法は、
前記少なくとも１つの第２符号化単位のうち所定の第２符号化単位を決定し、前記所定の第２符号化単位に係わる分割回数を制限し、前記映像を復号する段階をさらに含むことを特徴とする付記１に記載の映像復号方法。
（付記６）
前記映像を復号する段階は、
前記複数個の第２符号化単位のうち所定位置にある第２符号化単位を決定し、前記所定の第２符号化単位に係わる分割回数の制限を置き、前記映像を復号する段階を含むことを特徴とすることを特徴とする付記５に記載の映像復号方法。
（付記７）
前記映像を復号する段階は、
前記少なくとも１つの第２符号化単位のうち、前記所定位置のサンプルが含まれた第２符号化単位を決定する段階と、
前記決定された第２符号化単位に係わる分割回数を制限し、前記映像を復号する段階と、を含むことを特徴とすることを特徴とする付記６に記載の映像復号方法。
（付記８）
前記映像復号方法は、
最大符号化単位の幅及び高さを分割して基準符号化単位を決定する段階と、
前記基準符号化単位を、前記第１符号化単位として決定する段階と、をさらに含むことを特徴とすることを特徴とする付記１に記載の映像復号方法。
（付記９）
前記映像復号方法は、
少なくとも１つの最大符号化単位を含む少なくとも１つのプロセッシングブロックにより、前記映像を分割する段階をさらに含み、
前記少なくとも１つのプロセッシングブロックに含まれた前記少なくとも１つの最大符号化単位の処理順序は、プロセッシングブロックによって異なりうることを特徴とすることを特徴とする付記１に記載の映像復号方法。
（付記１０）
前記少なくとも１つの第２符号化単位を決定する段階は、
前記第１符号化単位に係わる前記分割形態情報が垂直方向及び水平方向に分割されるということを示すことができる場合、前記第１符号化単位を垂直方向または水平方向に分割し、複数の第２符号化単位を決定する段階を含み、
前記複数の第２符号化単位は、前記第１符号化単位が分割された方向に直交する方向に、前記複数の第２符号化単位がいずれも分割されるものではないということを特徴とすることを特徴とする付記１に記載の映像復号方法。
（付記１１）
前記映像復号方法は、
前記第１符号化単位、及び前記少なくとも１つの第２符号化単位の長辺長に基づいて、それぞれの符号化単位の深度を決定する段階をさらに含むことを特徴とすることを特徴とする付記１に記載の映像復号方法。
（付記１２）
前記映像復号方法は、
前記少なくとも１つの第２符号化単位のうち一つが分割されて決定される少なくとも１つの第３符号化単位の処理順序は、前記少なくとも１つの第３符号化単位に係わる第２符号化単位が分割された形態に基づいて決定されうることを特徴とすることを特徴とする付記１に記載の映像復号方法。
（付記１３）
映像を復号する装置において、
ビットストリームから、前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得するビットストリーム獲得部と、
獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定し、前記少なくとも１つの第２符号化単位に基づいて、前記映像を復号する復号部と、を含み、
前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第１符号化単位が前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号装置。
（付記１４）
映像を符号化させる方法において、
前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成する段階と、
前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定する段階と、
前記少なくとも１つの第２符号化単位に基づいて、前記映像を符号化させる段階と、を含み、
前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第１符号化単位が、前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化方法。
（付記１５）
映像を符号化させる装置において、
前記映像に含まれる第１符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成するビットストリーム生成部と、
前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第１符号化単位に含まれる少なくとも１つの第２符号化単位を決定し、前記少なくとも１つの第２符号化単位に基づいて、前記映像を符号化させる符号化部と、を含み、
前記ブロック形態情報は、前記第１符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第１符号化単位が、前記第２符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化装置。
５００ 第１符号化単位
５１０ 第２符号化単位
５２０ 第３符号化単位

Claims (4)

  1. 映像を復号する方法において、
    ビットストリームから最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を獲得する段階と、
    前記最大符号化単位の大きさに係わる情報によって前記映像を分割して複数の最大符号化単位を獲得する段階と、
    前記基準符号化単位の大きさに係わる情報によって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定する段階と、
    前記複数の基準符号化単位のうち、１つの基準符号化単位である第１符号化単位の分割形態情報を、前記ビットストリームから獲得する段階と、
    前記第１符号化単位の分割形態情報に基づいて前記第１符号化単位を分割することで、第２符号化単位を決定する段階と、
    前記第２符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第２符号化単位から１つ以上の変換ブロックを決定し、前記１つ以上の変換ブロックを用いて前記第２符号化単位を復号する段階と、を含み、
    前記分割形態情報によって前記第１符号化単位を分割することで、３個の第２符号化単位が生成されるとき、前記３個の第２符号化単位のうち、中央に位置する第２符号化単位の分割形態は、前記第１符号化単位の前記分割形態情報による分割形態に相応することが許容され、
    前記第１符号化単位の前記分割形態情報は、前記第１符号化単位が水平または垂直に分割されるか否か及び前記第１符号化単位が２個または３個の第２符号化単位に分割されるか否かを示すことを特徴とする映像復号方法。
  2. 映像を復号する装置において、
    ビットストリームから最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を獲得し、前記最大符号化単位の大きさに係わる情報によって前記映像を分割して複数の最大符号化単位を獲得し、前記基準符号化単位の大きさに係わる情報によって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定し、前記複数の基準符号化単位のうち、１つの基準符号化単位である第１符号化単位の分割形態情報を前記ビットストリームから獲得するビットストリーム獲得部と、
    前記第１符号化単位の分割形態情報に基づいて前記第１符号化単位を分割することで、第２符号化単位を決定し、前記第２符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第２符号化単位から１つ以上の変換ブロックを決定し、前記１つ以上の変換ブロックを用いて前記第２符号化単位を復号する復号部を含み、
    前記分割形態情報によって前記第１符号化単位を分割することで３個の第２符号化単位が生成されるとき、前記３個の第２符号化単位のうち、中央に位置する第２符号化単位の分割形態は、前記第１符号化単位の前記分割形態情報による分割形態に相応することが許容され、
    前記第１符号化単位の前記分割形態情報は、前記第１符号化単位が水平または垂直に分割されるか否か前記第１符号化単位が２個または３個の第２符号化単位に分割されるか否かを示すことを特徴とする映像復号装置。
  3. 映像を符号化する方法において、
    最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を生成する段階と、
    前記最大符号化単位の大きさによって前記映像を分割して複数の最大符号化単位を決定する段階と、
    前記基準符号化単位の大きさによって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定する段階と、
    前記複数の基準符号化単位のうち、１つの基準符号化単位である第１符号化単位を水平または垂直に分割し、前記第１符号化単位を２個または３個の第２符号化単位に分割することで、前記第１符号化単位から第２符号化単位を生成する段階と、
    前記第２符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第２符号化単位から１つ以上の変換ブロックを決定し、前記１つ以上の変換ブロックを用いて前記第２符号化単位を符号化する段階と、
    前記第１符号化単位が水平または垂直に分割されるか否か及び前記第１符号化単位が２個または３個の第２符号化単位に分割されるか否かを示すための前記第１符号化単位の分割形態情報を含むビットストリームを生成する段階と、を含み、
    前記第１符号化単位を分割することで、３個の第２符号化単位が生成されるとき、前記３個の第２符号化単位のうち、中央に位置する第２符号化単位の分割形態は、前記第１符号化単位の分割形態情報による分割形態に相応することが許容されることを特徴とする映像符号化方法。
  4. 映像を符号化する装置において、
    最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を生成し、前記最大符号化単位の大きさによって前記映像を分割して複数の最大符号化単位を決定し、前記基準符号化単位の大きさによって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定し、前記複数の基準符号化単位のうち、１つの基準符号化単位である第１符号化単位を水平または垂直に分割し、前記第１符号化単位を２個または３個の第２符号化単位で分割することで、前記第１符号化単位から第２符号化単位を生成し、前記第２符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第２符号化単位から１つ以上の変換ブロックを決定し、前記１つ以上の変換ブロックを用いて前記第２符号化単位を符号化する符号化部と、
    前記第１符号化単位が水平または垂直に分割されるか否か、及び前記第１符号化単位が２個または３個の第２符号化単位に分割されるか否かを示すための前記第１符号化単位の分割形態情報を含むビットストリームを生成するビットストリーム生成部を含み、
    前記第１符号化単位を分割することで３個の第２符号化単位が生成されるとき、前記３個の第２符号化単位のうち、中央に位置する第２符号化単位の分割形態は、前記第１符号化単位の分割形態情報による分割形態に相応することが許容されることを特徴とする映像符号化装置。
JP2023029158A 2016-05-10 2023-02-28 映像を符号化／復号する方法及びその装置 Active JP7445042B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024025738A JP2024045747A (ja) 2016-05-10 2024-02-22 映像を符号化／復号する方法及びその装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662334004P 2016-05-10 2016-05-10
US62/334,004 2016-05-10
JP2020109922A JP2020167732A (ja) 2016-05-10 2020-06-25 映像を符号化／復号する方法及びその装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020109922A Division JP2020167732A (ja) 2016-05-10 2020-06-25 映像を符号化／復号する方法及びその装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024025738A Division JP2024045747A (ja) 2016-05-10 2024-02-22 映像を符号化／復号する方法及びその装置

Publications (2)

Publication Number Publication Date
JP2023059993A JP2023059993A (ja) 2023-04-27
JP7445042B2 true JP7445042B2 (ja) 2024-03-06

Family

ID=60266742

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2018554776A Ceased JP2019514308A (ja) 2016-05-10 2016-10-10 映像を符号化／復号する方法及びその装置
JP2020109922A Pending JP2020167732A (ja) 2016-05-10 2020-06-25 映像を符号化／復号する方法及びその装置
JP2023029158A Active JP7445042B2 (ja) 2016-05-10 2023-02-28 映像を符号化／復号する方法及びその装置
JP2024025738A Pending JP2024045747A (ja) 2016-05-10 2024-02-22 映像を符号化／復号する方法及びその装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018554776A Ceased JP2019514308A (ja) 2016-05-10 2016-10-10 映像を符号化／復号する方法及びその装置
JP2020109922A Pending JP2020167732A (ja) 2016-05-10 2020-06-25 映像を符号化／復号する方法及びその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024025738A Pending JP2024045747A (ja) 2016-05-10 2024-02-22 映像を符号化／復号する方法及びその装置

Country Status (7)

Country Link
US (3) US11019335B2 (ja)
JP (4) JP2019514308A (ja)
KR (3) KR20180091932A (ja)
CN (5) CN115174935B (ja)
BR (1) BR112018069135B1 (ja)
MX (2) MX2018012438A (ja)
WO (1) WO2017195945A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983771A (zh) 2016-11-21 2019-07-05 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
CN116347077A (zh) 2016-11-21 2023-06-27 松下电器（美国）知识产权公司 计算机可读介质
KR102547938B1 (ko) * 2018-12-07 2023-06-26 삼성전자주식회사 타일 및 슬라이스를 이용하는 비디오 부호화 방법 및 복호화 방법, 및 타일 및 슬라이스를 이용하는 비디오 부호화 장치 및 복호화 장치
US11758133B2 (en) * 2019-10-31 2023-09-12 Apple Inc Flexible block partitioning structures for image/video compression and processing
CN111314778B (zh) * 2020-03-02 2021-09-07 北京小鸟科技股份有限公司 基于多种压缩制式的编解码融合处理方法、***及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524716A (ja) 2010-04-13 2013-06-17 サムスン エレクトロニクス カンパニー リミテッド ツリー構造による符号化単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2013219806A (ja) 2011-08-11 2013-10-24 Panasonic Corp 画像復号方法及び画像復号装置
WO2014120575A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding of partitions data for next generation video
JP2014534734A (ja) 2011-10-27 2014-12-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イントラ予測ビデオコーディングにおける非正方形変換
WO2017123980A1 (en) 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040081238A1 (en) 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム
KR100601935B1 (ko) * 2003-12-02 2006-07-14 삼성전자주식회사 디지탈 동영상 처리 방법 및 장치
EP1849303A2 (en) * 2005-02-18 2007-10-31 THOMSON Licensing Method for deriving coding information for high resolution pictures from low resolution pictures
CN101185335B (zh) * 2005-04-22 2010-06-23 Nxp股份有限公司 高效视频解码加速器
TW200828988A (en) * 2006-12-22 2008-07-01 Altek Corp System and method for image evaluation
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP2485489A4 (en) * 2009-10-01 2014-01-15 Sk Telecom Co Ltd METHOD AND DEVICE FOR CODING AND DECODING IMAGES THROUGH VARIABLE SIZE MACROBLOCKS
KR101504887B1 (ko) * 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
KR101495724B1 (ko) 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
EP2645719A4 (en) * 2010-12-23 2014-12-03 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING AN INTRAPREDICTION MODULE FOR AN IMAGE PREDICTING UNIT AND METHOD AND DEVICE FOR DECODING AN INTRAPREDICTION MODE FOR AN IMAGE PREDICTING UNIT
BR122020018552B1 (pt) * 2011-01-13 2022-12-06 Nec Corporation Dispositivo de decodificação de vídeo e método de decodificação de vídeo
CN102595116B (zh) * 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
GB2488816A (en) * 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
KR101442127B1 (ko) * 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
SG10201605379RA (en) * 2011-07-01 2016-08-30 Samsung Electronics Co Ltd Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
EP2736254B1 (en) * 2011-07-22 2018-07-04 Hitachi, Ltd. Video decoding method and image encoding method
JP2013041387A (ja) * 2011-08-15 2013-02-28 Sony Corp 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム
US9113284B2 (en) 2011-08-26 2015-08-18 Qualcomm Incorporated Methods and apparatus for improving management of NFC logical connections
CN102957907B (zh) * 2011-08-31 2016-06-29 华为技术有限公司 一种变换块位置信息的获取方法和模块
JP2013085113A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
KR102272561B1 (ko) * 2011-10-31 2021-07-02 미쓰비시덴키 가부시키가이샤 동화상 복호 장치
WO2013109122A1 (ko) 2012-01-19 2013-07-25 삼성전자 주식회사 계층적 부호화 단위에 따라 스캔 순서를 변경하는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
AU2012200345B2 (en) * 2012-01-20 2014-05-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit
SG10201505821WA (en) * 2012-01-30 2015-08-28 Samsung Electronics Co Ltd Method and apparatus for video encoding for each spatial sub-area, and method and apparatus for video decoding for each spatial sub-area
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
KR20130101939A (ko) * 2012-03-06 2013-09-16 한국전자통신연구원 영상 부호화/복호화 방법 및 그 장치
KR102071577B1 (ko) * 2012-03-20 2020-01-30 삼성전자주식회사 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 복호화 방법 및 그 장치
WO2013141609A1 (ko) * 2012-03-20 2013-09-26 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9912944B2 (en) 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
US9438911B2 (en) * 2012-08-03 2016-09-06 Mediatek Inc. Video processing system with shared/configurable in-loop filter data buffer architecture and related video processing method thereof
US9602829B2 (en) * 2012-12-06 2017-03-21 Sony Corporation Decoding device, decoding method, and program
WO2014107065A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 슬라이스 세그먼트의 엔트로피 부호화 방법 및 그 장치, 슬라이스 세그먼트의 엔트로피 복호화 방법 및 그 장치
WO2014112830A1 (ko) * 2013-01-17 2014-07-24 삼성전자 주식회사 디코더 설정을 위한 비디오 부호화 방법 및 그 장치, 디코더 설정에 기초한 비디오 복호화 방법 및 그 장치
KR101513891B1 (ko) * 2013-04-02 2015-04-23 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
WO2014163461A1 (ko) * 2013-04-05 2014-10-09 삼성전자 주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20130054981A (ko) * 2013-05-16 2013-05-27 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
KR101528604B1 (ko) 2013-06-24 2015-06-12 주식회사 내비오닉스코리아 이미지 처리 방법 및 장치
WO2015062002A1 (en) * 2013-10-31 2015-05-07 Mediatek Singapore Pte. Ltd. Methods for sub-pu level prediction
CN103639411B (zh) * 2013-12-25 2015-05-27 湖南华曙高科技有限责任公司 一种用于逐层制造三维物体的扫描方法
KR20160131065A (ko) 2014-03-28 2016-11-15 후지쯔 가부시끼가이샤 파라미터 측정 장치, 기지국 및 통신 시스템
CN105530518B (zh) * 2014-09-30 2019-04-26 联想(北京)有限公司 一种视频编码、解码方法及装置
KR101603271B1 (ko) * 2015-04-07 2016-03-14 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101677277B1 (ko) 2015-06-17 2016-11-17 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9989049B2 (en) 2015-12-11 2018-06-05 Funai Electric Co., Ltd. Microfluidic pump

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524716A (ja) 2010-04-13 2013-06-17 サムスン エレクトロニクス カンパニー リミテッド ツリー構造による符号化単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
JP2013219806A (ja) 2011-08-11 2013-10-24 Panasonic Corp 画像復号方法及び画像復号装置
JP2014534734A (ja) 2011-10-27 2014-12-18 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イントラ予測ビデオコーディングにおける非正方形変換
WO2014120575A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive entropy coding of partitions data for next generation video
WO2014120369A1 (en) 2013-01-30 2014-08-07 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
JP2016506187A (ja) 2013-01-30 2016-02-25 インテル コーポレイション 次世代ビデオのパーティションデータのコンテンツ適応的エントロピーコーディング
WO2017123980A1 (en) 2016-01-15 2017-07-20 Qualcomm Incorporated Multi-type-tree framework for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jianle Chen et al.，Algorithm Description of Joint Exploration Test Model 2，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: S，JVET-B1001，2016年03月，pp.1-5
Xiang Li, et al.，Multi-Type-Tree，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-D0117r1，4th Meeting: Chengdu, CN，2016年10月，pp.1-3

Also Published As

Publication number Publication date
CN115174938A (zh) 2022-10-11
KR20210021119A (ko) 2021-02-24
CN115174936A (zh) 2022-10-11
CN115174935A (zh) 2022-10-11
KR20230122188A (ko) 2023-08-22
MX2022006010A (es) 2022-06-22
BR112018069135A2 (pt) 2019-03-19
US20200329241A1 (en) 2020-10-15
CN109076220B (zh) 2022-08-09
US20210329234A1 (en) 2021-10-21
MX2018012438A (es) 2019-03-07
CN115174937A (zh) 2022-10-11
KR20180091932A (ko) 2018-08-16
US11019335B2 (en) 2021-05-25
US20230283776A1 (en) 2023-09-07
CN109076220A (zh) 2018-12-21
JP2020167732A (ja) 2020-10-08
JP2023059993A (ja) 2023-04-27
CN115174938B (zh) 2024-07-09
US11770526B2 (en) 2023-09-26
BR112018069135B1 (pt) 2023-12-26
CN115174935B (zh) 2024-07-09
JP2024045747A (ja) 2024-04-02
KR102571062B1 (ko) 2023-08-25
WO2017195945A1 (ko) 2017-11-16
CN115174937B (zh) 2024-07-09
JP2019514308A (ja) 2019-05-30

Similar Documents

Publication Publication Date Title
JP7445042B2 (ja) 映像を符号化／復号する方法及びその装置
KR102575635B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102366765B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
JP2018535607A (ja) 映像を符号化／復号する方法、及びその装置
KR20180107087A (ko) 인트라 예측오차의 감소를 위한 인트라 예측 방법 및 그 장치
KR102285739B1 (ko) 움직임 벡터 해상도에 기초하여 영상을 부호화하는 장치 및 방법, 및 복호화 장치 및 방법
KR20180075556A (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102525031B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210136149A (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102446445B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102555466B1 (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20200134323A (ko) 하드웨어 설계를 고려한 비디오 부호화 방법, 부호화 장치, 비디오 복호화 방법, 복호화 장치
CN116156165A (zh) 图像编码方法、图像解码方法及其装置
CN114513673A (zh) 用于对系数等级进行熵编码/熵解码的方法和装置
EP3306926A1 (en) Method and apparatus for encoding/decoding image
KR20230054914A (ko) 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240222

R150 Certificate of patent or registration of utility model

Ref document number: 7445042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150