JP7373509B2 - フレーム内予測方法及び装置 - Google Patents

フレーム内予測方法及び装置 Download PDF

Info

Publication number
JP7373509B2
JP7373509B2 JP2020571752A JP2020571752A JP7373509B2 JP 7373509 B2 JP7373509 B2 JP 7373509B2 JP 2020571752 A JP2020571752 A JP 2020571752A JP 2020571752 A JP2020571752 A JP 2020571752A JP 7373509 B2 JP7373509 B2 JP 7373509B2
Authority
JP
Japan
Prior art keywords
block
mode
pixel
prediction
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020571752A
Other languages
English (en)
Other versions
JP2021529461A (ja
Inventor
キム、ギベク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2021529461A publication Critical patent/JP2021529461A/ja
Priority to JP2023182108A priority Critical patent/JP2023179784A/ja
Priority to JP2023182104A priority patent/JP2023179782A/ja
Priority to JP2023182107A priority patent/JP2023179783A/ja
Priority to JP2023182099A priority patent/JP2023179781A/ja
Application granted granted Critical
Publication of JP7373509B2 publication Critical patent/JP7373509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像の符号化及び復号技術に関し、より具体的には、フレーム内予測に用いられる符号化／復号方法及び装置に関する。
最近では、種々の適用分野において、高解像度（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：ＨＤ）画像及び超高精細度（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：ＵＨＤ）画像のような高解像度、高品質の画像に関する需要は、ますます高まっている。従って、高効率の画像圧縮技術が検討されている。
画像圧縮技術として、現在のピクチャの前後のピクチャから、現在のピクチャに含まれる画素値を予測するというフレーム間予測技術、現在のピクチャ内の画素情報を利用して現在のピクチャに含まれる画素値を予測するというフレーム内予測技術、及び短い符号を出現頻度の高い情報に割り当て、長い符号を出現頻度の低い情報に割り当てるというエントロピー符号化技術などのような種々の技術がある。また、これらの画像圧縮技術を利用して画像データを効果的に圧縮して伝送又は記憶することができる。
本発明は、画像の符号化及び復号技術に関し、より具体的には、フレーム内予測に用いられる符号化／復号方法及び装置に関する。
本発明のフレーム内予測方法及び装置によれば、現在ブロックのフレーム内予測モードを導出し、複数の画素ラインのうち、前記現在ブロックのフレーム内予測に用いられる画素ラインを決定し、前記フレーム内予測モード及び前記決定された画素ラインに基づいて、前記現在ブロックのフレーム内予測を実行することができる。
本発明のフレーム内予測方法及び装置によれば、前記決定された画素ラインの第１参照画素に対してフィルタリングを実行することができる。
本発明のフレーム内予測方法及び装置によれば、フレーム内予測に用いられる第１参照画像に対してフィルタリングを実行するかどうかを指示する第１フラグに基づいて、フィルタリングを選択的に実行することができる。
本発明のフレーム内予測方法及び装置によれば、前記現在ブロックの符号化パラメータに基づいて、復号装置から、前記第１フラグを導出することができる。前記符号化パラメータは、ブロックサイズ、成分タイプ、フレーム内予測モード、又はサブブロックを単位とするフレーム内予測を実行するかどうかのうちの少なくとも１つを含んでもよい。
本発明のフレーム内予測方法及び装置によれば、前記フレーム内予測による前記現在ブロックの予測画素を補正することができる。
本発明のフレーム内予測方法及び装置によれば、前記補正は、前記現在ブロックの予測画素の位置に基づいて、前記補正に用いられる第２参照画素又は加重値のうちの少なくとも１つを決定することを更に含んでもよい。
本発明のフレーム内予測方法及び装置によれば、前記現在ブロックの画素ラインの位置、前記現在ブロックのフレーム内予測モード、又は前記現在ブロックのサブブロックを単位とするフレーム内予測を実行するかどうかのうちの少なくとも１つに基づいて、前記補正工程を選択的に実行することができる。
本発明のフレーム内予測方法及び装置によれば、現在ブロックのサブブロックを単位として前記フレーム内予測を実行し、分割を実行するかどうかを示す第２フラグ、分割方向情報、又は分割数情報のうちの少なくとも１つに基づいて前記サブブロックを決定することができる。
本発明のフレーム内予測方法及び装置によれば、所定のデフォルトモード又は複数のＭＰＭ候補に基づいて、前記フレーム内予測モードを導出することができる。
本発明によれば、サブブロックを単位としての予測により、符号化／復号効率を向上させることができる。
本発明によれば、複数の画素ラインに基づいたフレーム内予測により、フレーム内予測の符号化／復号効率を向上させることができる。
本発明によれば、参照画像に対してフィルタリングを実行することで、フレーム内予測の符号化／復号効率を向上させることができる。
本発明によれば、フレーム内予測画素を補正することで、フレーム内予測の符号化／復号効率を向上させることができる。
本発明によれば、デフォルトモード又はＭＰＭ候補に基づいてフレーム内予測モードを導出することで、フレーム内予測モードの符号化／復号効率を向上させることができる。
本発明の実施例による画像の符号化装置を示すブロック図である。 本発明の実施例による画像の復号装置を示すブロック図である。 ツリーベースのブロック形状を示す概略図である。 タイプベースのブロック形状を示す概略図である。 本発明の分割ブロック部により得られる種々のブロック形状を示す概略図である。 本発明の実施例によるツリーに基づいた分割を示す概略図である。 本発明の実施例によるツリーに基づいた分割を示す概略図である。 本発明の実施例によるブロック分割プロセスを示す図である。 画像の符号化／復号装置における事前定義されたフレーム内予測モードを示す概略図である。 相関性情報を得るために色空間同士の画素を比較する例を示す図である。 フレーム内予測に用いられる参照画素配置を示す概略図である。 フレーム内予測に用いられる参照画素範囲を示す概略図である。 予測ブロックの生成に関わる、現在ブロックに隣接するブロックを示す図である。 各ブロックの分割情報を確認する一部の例を示す図である。 各ブロックの分割情報を確認する一部の例を示す図である。 分割ブロックの種々の状況を示す概略図である。 本発明の実施例による分割ブロックの例を示す図である。 予測情報を生成するブロック（該例において、予測ブロックは、２Ｎ×Ｎである）のフレーム内予測モード候補グループの設定に関わる種々の例を示す図である。 予測情報を生成するブロック（該例において、予測ブロックは、Ｎ×２Ｎである）のフレーム内予測モード候補グループの設定に関わる種々の例を示す図である。 本発明の実施例による分割ブロックの例を示す図である。 予測情報を生成するブロックのフレーム内予測モード候補グループの設定に関わる種々の例を示す図である。 予測情報を生成するブロックのフレーム内予測モード候補グループの設定に関わる種々の例を示す図である。 隣接ブロックの予測モードに基づいて予測ブロックを生成する例を示す図である。 隣接ブロックの予測モードに基づいて予測ブロックを生成する例を示す図である。 隣接ブロックの予測モードに基づいて予測ブロックを生成する例を示す図である。 現在ブロックと隣接ブロックとの関係を示す概略図である。 予測モードの方向性を考慮したフレーム内予測を示す図である。 予測モードの方向性を考慮したフレーム内予測を示す図である。 フレーム内予測に用いられる参照画素配置を示す概略図である。 参照画素配置を示す概略図である。 参照画素配置を示す概略図である。 参照画素配置を示す概略図である。 参照画素配置を示す概略図である。 参照画素配置を示す概略図である。 参照画素配置を示す概略図である。
本発明のフレーム内予測方法及び装置によれば、現在ブロックのフレーム内予測モードを導出し、複数の画素ラインのうち、前記現在ブロックのフレーム内予測に用いられる画素ラインを決定し、前記フレーム内予測モード及び前記決定された画素ラインに基づいて、前記現在ブロックのフレーム内予測を実行することができる。
本発明のフレーム内予測方法及び装置によれば、前記決定された画素ラインの第１参照画素に対してフィルタリングを実行することができる。
本発明のフレーム内予測方法及び装置によれば、フレーム内予測に用いられる第１参照画像に対してフィルタリングを実行するかどうかを指示する第１フラグに基づいて、前記フィルタリングを選択的に実行することができる。
本発明のフレーム内予測方法及び装置によれば、現在ブロックの符号化パラメータに基づいて、復号装置から、前記第１フラグを導出することができる。前記符号化パラメータは、ブロックサイズ、成分タイプ、フレーム内予測モード、又はサブブロックを単位とするフレーム内予測を実行するかどうかのうちの少なくとも１つを含んでもよい。
本発明のフレーム内予測方法及び装置によれば、前記フレーム内予測による前記現在ブロックの予測画素を補正することができる。
本発明のフレーム内予測方法及び装置によれば、前記補正は、前記現在ブロックの予測画素の位置に基づいて、前記補正に用いられる第２参照画素又は加重値のうちの少なくとも１つを決定することを更に含んでもよい。
本発明のフレーム内予測方法及び装置によれば、前記現在ブロックの画素ラインの位置、前記現在ブロックのフレーム内予測モード、又は前記現在ブロックのサブブロックを単位とするフレーム内予測を実行するかどうかのうちの少なくとも１つに基づいて、前記補正工程を選択的に実行することができる。
本発明のフレーム内予測方法及び装置によれば、現在ブロックのサブブロックを単位として前記フレーム内予測を実行し、分割を実行するかどうかを示す第２フラグ、分割方向情報、又は分割数情報のうちの少なくとも１つに基づいて前記サブブロックを決定することができる。
本発明のフレーム内予測方法及び装置によれば、所定のデフォルトモード又は複数のＭＰＭ候補に基づいて、前記フレーム内予測モードを導出することができる。
本発明は、種々の変更を実行することができ、且つ、種々の実施例を有する。ここで、図面を参照しながら、特定の実施例を説明する。しかしながら、本発明を特定の実施形態に限定するのではなく、本発明の思想および技術範囲に含まれる全ての変更、均等物又は代替物を含むと理解されなければならない。
第１、第２、Ａ、Ｂのような用語を、様々な要素を記述するために本明細書において使用することができるとは言え、これらの要素は、これらの用語により限定されるべきではない。これらの用語は、素子同士を区別するためのものに過ぎない。例えば、本発明の範囲から逸脱することなく第１素子は、第２素子と呼ばれてもよく、また同様に、第２素子は、第１素子と呼ばれてもよい。用語「及び／又は」は、複数の関連アイテムの組み合わせ又は複数の関連アイテムのうちのいずれのアイテムを含んでもよい。
１つの素子がもう１つの素子に「接続」又は「結合」される場合、これは、もう１つの素子に直接的に接続又は結合されてもよいが、これらの間に他の素子が存在してもよいことが理解されるべきである。また、１つの素子がもう１つの素子に「直接接続」又は「直接結合」される場合、これらの間に他の素子が存在しないことが理解されるべきである。
本願に用いられる用語は、特定の実施例を説明するためのものに過ぎず、本発明を限定するものではない。文脈により明確に述べられていない限り、単数形は、複数形を含む。本願において、「含む」又は「有する」などの用語は、明細書に記載の特徴、数字、工程、動作、構造要素、部材又はこれらの組み合わせが存在することを意味するものであり、１つ又は１つ以上の他の特徴、数字、工程、動作、構造要素、部材又はこれらの組み合わせが存在するか又は付加される可能性を予め排除するものではない。
特に定義しない限り、本明細書に用いられる全ての用語は、技術的又は科学的用語を含み、当業者によって一般的に理解されるような意味と同じである。通常使用される辞書に定義されている用語は、関連技術の文脈上の意味に基づいて解釈されるべきであり、また、本願において明確に定義しない限り、想像される意味又は過度に形式的な意味で解釈されるべきではない。
ビデオ符号化装置及び復号装置は、パソコン（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートパソコン、パーソナルデジタルアシスタント（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ポータブルマルチメディアプレイヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ポータブルゲーム機（ＰＳＰ：Ｐｌａｙ Ｓｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ）、無線通信端末（Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｒｍｉｎａｌ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、テレビ、仮想現実機器（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、拡張現実機器（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、複合現実機器（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、スマートグラス（Ｓｍａｒｔ Ｇｌａｓｓｅｓ）などのようなユーザ端末であってもよく、又は、アプリケーションサーバ及びサービスサーバなどのようなサーバ端末であってもよい。それは、種々の装置を含んでもよい。例えば、通信装置は、種々の装置又は有線及び無線ネットワークと通信するための通信モデムなどを含む。メモリ（Ｍｅｍｏｒｙ）は、画像の符号化又は復号を行うか又は符号化又は復号を行うために、フレーム内予測又はフレーム間予測に用いられる種々のプログラム及びデータを記憶する。プロセッサ（Ｐｒｏｃｅｓｓｏｒ）は、プログラムを実行することで、コンピューティング及び制御を行う。また、画像の符号化装置によりビットストリームに符号化された画像は、リアルタイムまたは非リアルタイムに、インターネット、ローカルエリアネットワーク、無線ＬＡＮネットワーク、ＷｉＢｒｏネットワーク、移動体通信ネットワークなどのような有線及び無線通信ネットワーク（Ｎｅｔｗｏｒｋ）又はケーブル、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のような種々の通信インタフェースにより、画像の復号装置に伝送され、続いて、画像の復号装置により復号され、画像に復元されて再生される。
また、画像の符号化装置によりビットストリームに符号化された画像は、コンピュータ可読記憶媒体により、符号化装置から復号装置に伝送されてもよい。
前記画像の符号化装置及び画像の復号装置はそれぞれ、単独した装置であってもよいが、場合によって１つの画像の符号化／復号装置に構成されてもよい。この場合、画像の符号化装置の幾つかの構成は、画像の復号装置の幾つかの構成と実質的に同じである技術的要素は、少なくとも同一の構造を含むか又は同一の機能を実行することで実現される。
従って、技術的要素及びその操作原理等に関する下記詳細な説明において、技術要素に対する重複した説明を省略する。
また、画像の復号装置が、画像の符号化装置で実行される画像の符号化方法を復号に適用するコンピューティング装置に対応しているため、以下、画像の符号化装置を重点的に説明する。
コンピューティング装置は、画像の符号化方法及び／又は画像復号方法を実現させるためのプログラム又はソフトウェアモジュールを記憶するメモリと、前記メモリに接続されてプログラムを実行するプロセッサと、を備える。画像の符号化装置は、エンコーダと呼ばれてもよく、画像の復号装置は、デコーダと呼ばれてもよい。
一般的には、画像は、一連の静止画像（Ｓｔｉｌｌ Ｉｍａｇｅ）となるように構成されてもよい。また、これらの静止画像は、ピクチャグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ：ＧＯＰ）に分類されてもよく、各静止画像は、ピクチャと呼ばれてもよい。この場合、ピクチャは、プログレッシブ信号（Ｐｒｏｇｒｅｓｓｉｖｅ）、インターレース信号（Ｉｎｔｅｒｌａｃｅ）におけるフレーム（Ｆｒａｍｅ）及びフィールド（Ｆｉｅｌｄ）のうちのいずれか１つを表すことができる。フレームを単位として符号化／復号を実行する場合、画像は、「フレーム」で表されてもよく、フィールドを単位として符号化／復号を実行する場合、画像は、「フィールド」で表されてもよい。本発明において、プログレッシブ信号を仮定して説明するが、インターレース信号にも適用可能である。上位概念として、ＧＯＰ又はシーケンス（Ｓｅｑｕｅｎｃｅ）等を単位としてもよい。また、各ピクチャは、スライス、ｔｉｌｅ、ブロックなどの所定の領域に分割されてもよい。また、１つのＧＯＰは、Ｉピクチャ、Ｐピクチャ及びＢピクチャのような単位を含んでもよい。Ｉピクチャは、参照ピクチャを用いることなくそれ自身によって符号化／復号するピクチャを指してもよい。また、Ｐピクチャ及びＢピクチャは、参照ピクチャを用いて運動推定（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）及び運動補償（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）を行うことで符号化／復号するピクチャを指してもよい。一般的に、Ｐピクチャの場合、Ｉピクチャ及びＰピクチャは、参照ピクチャとして用いられてもよい。Ｂピクチャの場合、Ｉピクチャ及びＰピクチャは、参照ピクチャとして用いられてもよいが、上記定義は、符号化／復号の設定によって異なってもよい。
ここで、符号化／復号するために参照されるピクチャを参照ピクチャ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ）と呼び、参照されるブロック又は画素を参照ブロック（Ｒｅｆｅｒｅｎｃｅ Ｂｌｏｃｋ）及び参照画素（Ｒｅｆｅｒｅｎｃｅ Ｐｉｘｅｌ）と呼ぶ。また、参照データ（Ｒｅｆｅｒｅｎｃｅ Ｄａｔａ）は、空間ドメイン（Ｓｐａｔｉａｌ Ｄｏｍａｉｎ）の画素値だけではなく、周波数ドメイン（Ｆｒｅｑｕｅｎｃｙ Ｄｏｍａｉｎ）の係数値及び符号化／復号過程で生成、決定された種々の符号化／復号情報であってもよい。例えば、予測部におけるフレーム内予測関連情報又は運動関連情報、変換部／逆変換部における変換関連情報、量子化部／逆量子化部における量子化情報及び符号化部／復号部における符号化／復号関連情報（コンテキスト情報）、ループフィルタ部におけるフィルタリング関連情報などであってもよい。
画像を成す最小単位は、画素（Ｐｉｘｅｌ）であってもよい。また、１つの画素を表すためのビット数は、ビット深度（Ｂｉｔ Ｄｅｐｔｈ）と呼ばれる。一般的には、ビット深度は、８ビットであってもよく、符号化の設定に応じて、より多くのビット深度をサポートすることができる。ビット深度は、色空間（Ｃｏｌｏｒ Ｓｐａｃｅ）に基づいて、少なくとも１つのビット深度をサポートすることができる。また、画像の色フォーマット（Ｃｏｌｏｒ Ｆｏｒｍａｔ）に基づいて、少なくとも１つの色空間を設定することができる。色フォーマットに基づいて、特定のサイズを有する１枚以上のピクチャ又は他のサイズを有する１枚以上のピクチャにより構成されてもよい。例えば、ＹＣｂＣｒが４：２：０である場合、輝度成分（該例においてＹである）及び２つの色差成分（該例においてＣｂ／Ｃｒである）から構成されてもよい。この場合、色差成分と輝度成分との構成比は、水平と垂直との比１：２であってもよい。もう１つの例として、４：４：４の場合、水平と垂直で同じ構成比となってもよい。上記例のように、ピクチャが１つ以上の色空間からなる場合、ピクチャを各色空間に分割することができる。
本発明において、幾つかの色フォーマット（該例においてＹＣｂＣｒである）の幾つかの色空間（該例においてＹである）に基づいて説明する。色フォーマットによる他の色空間に対して類似した操作（特定の色空間に依存した設定）を実行することができる。しかしながら、各色空間に一部の差異（特定の色空間から独立した設定）が生じる可能性もある。つまり、各色空間に依存する設定は、各成分の構成比に比例する設定、又はその構成比に依存する設定（例えば、４：２：０、４：２：２、４：４：４等）を意味してもよい。各色空間から独立した設定は、各成分の構成比と無関係な設定、又は対応する色空間のみに対する設定を意味してもよい。本発明において、エンコーダ／デコーダによって、幾つかの構成に対して、独立した設定又は従属設定を有してもよい。
画像の符号化過程に必要な設定情報又はシンタックス要素（Ｓｙｎｔａｘ Ｅｌｅｍｅｎｔ）は、ビデオ、シーケンス、ピクチャ、スライス、ｔｉｌｅ、ブロックなどの単位レベルで決定されてもよく、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ，ＶＰＳ）、序列パラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ，ＳＰＳ）、画像パラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ，ＰＰＳ）、スライスヘッダ、ｔｉｌｅヘッダ、ブロックヘッダなどの単位でビットストリームに収録されて、エンコーダに伝送されてもよい。デコーダは、同一レベルの単位で解析（Ｐａｒｓｉｎｇ）を行い、エンコーダから伝送された設定情報を復元して画像復号プロセスに用いることができる。また、関連情報は、補足拡張情報（Ｓｕｐｐｌｅｍｅｎｔ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ，ＳＥＩ）又はメタデータ（Ｍｅｔａ ｄａｔａ）等の形態で、ビットストリームに伝送されて解析されて使用に備える。各パラメータセットは、一意的なＩＤ値を有し、また、下位パラメータセットは、参照する上位パラメータセットのＩＤ値を有してもよい。例えば、下位パラメータセットは、１つ以上の上位パラメータセットのうち、同じＩＤ値を有する上位パラメータセットの情報を参照することができる。前記種々の単位の例における１つの単位が１つ以上の他の単位を含む場合、該単位は、上位単位と呼ばれてもよく、且つ含まれる単位は、下位単位と呼ばれてもよい。
前記単位で生成される設定情報は、各対応する単位において独立して設定される内容を含んでもよく、又は、前の単位、後の単位、又は上位単位の従属設定によって決定される内容を含んでもよい。ここで、従属設定は、フラグ情報で対応する単位の設定情報を表すと理解されてもよい（例えば、該１ビットフラグが１であると、実行し、０であると、実行しない）。該フラグ情報は、前の単位、後の単位、上位単位の設定を示す。本発明において、独立設定の例に基づいて設定情報を説明するが、現在単位の前、後又は上位単位の設定情報の内容に追加又は置き換える例を含んでもよい。
図１は、本発明の実施例による画像の符号化装置を示すブロック図である。図２は、本発明の実施例による画像の復号装置を示すブロック図である。
図１に示すように、画像の符号化装置は、予測部、減算部、変換部、量子化部、逆量子化部、逆変換部、加算部、ループフィルタ部、メモリ及び／又は符号化部を備えてもよい。また、上記構造のうちの幾つかの構造は、含まれてなくてもよく、必要に応じて、一部又は全てを選択的に含んでもよい。また、示されていない幾つかの他の構成を含んでもよい。
図２に示すように、画像の復号装置は、復号部、予測部、逆量子化部、逆変換部、加算部、ループフィルタ部及び／又はメモリを備えてもよい。また、上記構造のうちの幾つかの構造は、含まれてなくてもよく、必要に応じて、一部又は全てを選択的に含んでもよい。また、示されていない幾つかの他の構成を含んでもよい。
画像の符号化装置と画像の復号装置は、それぞれ単独した装置であってもよく、必要に応じて１つの画像の符号化／復号装置で構成されてもよい。この場合、画像の符号化装置の幾つかの構成は、画像の復号装置の幾つかの構成と実質的に同じである技術的要素は、少なくとも同一の構造を含むか又は同一の機能を実行することで実現される。従って、技術的要素及びその操作原理等に関する下記詳細な説明において、技術要素に対する重複した説明を省略する。また、画像の復号装置が、画像の符号化装置で実行される画像の符号化方法を復号に用いるコンピューティング装置に対応するため、以下、画像の符号化装置に関する説明に重点を置く。画像の符号化装置は、エンコーダと呼ばれてもよく、画像の復号装置は、デコーダと呼ばれてもよい。
予測部は、フレーム内予測を実行するフレーム内予測部と、フレーム間予測を実行するフレーム間予測部と、を備えてもよい。フレーム内予測は、現在ブロックの隣接ブロックの画素を参照画素としてフレーム内予測モードを決定し、フレーム内予測モードを利用して予測ブロックを生成することができる。フレーム間予測は、１つ以上の参照画像を利用して現在ブロックの運動情報を決定し、前記運動情報を利用して運動補償を実行し、予測ブロックを生成することができる。現在ブロック（符号化ユニット又は予測ユニット）に対して、フレーム内予測を用いるかそれともフレーム間予測を用いるかを決定し、また、各予測方法による具体的な情報（例えば、フレーム内予測モード、運動ベクトル、参照画像等）を決定することができる。この場合、符号化／復号の設定に基づいて、予測を実行する処理ユニットと、予測方法及び具体的な内容を決定する処理ユニットと、を決定することができる。例えば、予測ユニット（又は符号化部）により、予測方法、予測モード等を決定し、予測ブロックユニット（又は符号化ユニット、変換ユニット）により、予測を実行する。
減算部は、現在ブロックから予測ブロックを減算して残差ブロック（Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）を生成する。つまり、減算部は、符号化対象の現在ブロックの各画素の画素値と予測器により生成された予測ブロックの各画素の予測画素値との差を算出し、残差ブロックを生成する。該残差ブロックは、画像における残差信号（Ｒｅｓｉｄｕａｌ Ｓｉｇｎａｌ）である。
変換部は、空間ドメインに属する信号を周波数ドメインに属する信号に変換することができる。変換処理により得られた信号は、変換係数（Ｔｒａｎｓｆｏｒｍｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれる。例えば、減算部から受け取られた残差信号を有する残差ブロックに対して変換を行うことで、変換係数を有する変換ブロックを得ることができるが、符号化設定に基づいて入力信号を決定する。これは、残差信号に限定されない。
変換部は、アダマール変換（Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）、離散サイン変換（ＤＳＴベースの変換：ＤＳＴ Ｂａｓｅｄ－Ｔｒａｎｓｆｏｒｍ： Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又は離散コサイン変換（ＤＣＴベースの変換：ＤＣＴ Ｂａｓｅｄ－Ｔｒａｎｓｆｏｒｍ： Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などのような変換技術を利用して残差ブロックを変換することができる。本発明は、これに限定されず、改良及び修正を行うための種々の変換技術を用いることができる。
例えば、前記変換のうちの少なくとも１つの変換技術をサポートすることができ、且つ、各変換技術において、少なくとも１つの細部変換技術をサポートする。この場合、少なくとも１つの細部変換技術は、各変換方法において異なる基底ベクトル（ｂａｓｉｓ ｖｅｃｔｏｒ）の一部を設定する変換技術であってもよい。例えば、ＤＳＴベースの変換及びＤＣＴベースの変換を変換技術とすることができる。ＤＳＴ場合、ＤＳＴ－Ｉ、ＤＳＴ－ＩＩ、ＤＳＴ－ＩＩＩ、ＤＳＴ－Ｖ、ＤＳＴ－ＶＩ、ＤＳＴ－ＶＩＩ、ＤＳＴ－ＶＩＩＩなどの細部変換技術をサポートすることができる。ＤＣＴの場合、ＤＣＴ－Ｉ、ＤＣＴ－ＩＩ、ＤＣＴ－ＩＩＩ、ＤＣＴ－Ｖ、ＤＣＴ－ＶＩ、ＤＣＴ－ＶＩＩ、ＤＣＴ－ＶＩＩＩなどの細部変換技術をサポートすることができる。
前記変換の１つ（例えば、１つの変換技術及び１つの細部変換技術）を基本変換技術とすることができる。従って、付加変換技術（例えば、複数の変換技術、複数の細部変換技術）をサポートすることができる。シーケンス、ピクチャ、スライス、ｔｉｌｅ等を単位として、付加変換技術をサポートするかどうかを決定することができる。これにより、該単位で関連情報を生成することができる。また、変換技術の付加をサポートする場合、ブロックなどの単位で変換技術選択情報を決定し、関連情報を生成することができる。
水平／垂直方向に変換を実行することができる。例えば、変換における基底ベクトルを利用して水平方向に一次元変換を実行し、垂直方向に一次元変換を実行することで、二次元変換を実行する。これにより、空間ドメインの画素値を周波数ドメインに変換する。
また、水平／垂直方向の変換を自己適応的に実行することができる。詳しくは、少なくとも１つの符号化設定に基づいて、自己適応的変換を実行するかどうかを決定することができる。例えば、フレーム内予測の場合、予測モードが水平モードである場合、水平方向にＤＣＴ－Ｉを適用し、垂直方向にＤＳＴ－Ｉを適用することができる。予測モードが垂直モードである場合、水平方向にＤＳＴ－ＶＩを適用し、垂直方向にＤＣＴ－ＶＩを適用することができる。Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔの場合、水平方向にＤＣＴ－ＩＩを適用し、垂直方向にＤＣＴ－Ｖを適用することができる。Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔの場合、水平方向にＤＳＴ－Ｉを適用し、垂直方向にＤＳＴ－ＶＩを適用することができる。
変換ブロックのサイズ及び形状の各候補の符号化コストに基づいて、各変換ブロックのサイズ及び形状を決定することができる。決定された各変換ブロックの画像データ及び決定された各変換ブロックのサイズ及び形状などの情報に対して符号化を実行することができる。
変換形式における正方形を基本変換形式に変換することができ、また、付加の変換形式（例えば、矩形形状）をサポートすることができる。シーケンス、ピクチャ、スライス、ｔｉｌｅ等を単位として、付加の変換形式をサポートするかどうかを決定し、該単位で関連情報を生成することができる。ブロックなどの単位で変換形式選択情報を決定し、関連情報を生成することができる。
また、符号化情報に基づいて、サポートされる変換ブロック形式を決定することができる。この場合、符号化情報は、スライスタイプ、符号化モード、ブロックのサイズ及び形状、ブロック分割方式などに対応する。つまり、少なくとも１つの符号化情報に基づいて、変換形式をサポートすることができ、また、少なくとも１つの符号化情報に基づいて、種々の変換形式をサポートすることができる。前者は、暗黙的（Ｉｍｐｌｉｃｉｔ）なものであってもよく、後者は、明示的（Ｅｘｐｌｉｃｉｔ）なものであってもよい。明示的なものの場合、複数の候補グループのうちの最適な候補グループを指示するための自己適応的選択情報を生成してビットストリームに収録することができる。該例を含む本発明において、符号化情報を明示的に生成する場合、対応する情報は、種々の単位でビットストリームに収録される。また、デコーダは、種々の単位で関連情報を解析し、復号された情報を復元することが理解されるべきである。また、符号化／復号情報を暗黙的に処理する場合、エンコーダ及びデコーダは、同一のプロセス及びルールにより処理されることが理解されるべきである。
一例として、スライスタイプに基づいて、サポートされる矩形形状変換を決定することができる。Ｉスライスの場合、サポートされる変換は、正方形変換であってもよく、Ｐ／Ｂスライスの場合、変換は、正方形又は矩形形状の変換であってもよい。
一例として、符号化モードに基づいて、サポートされる矩形形状変換を決定することができる。Ｉｎｔｒａの場合、サポートされる変換形式は、正方形形状の変換であってもよく、Ｉｎｔｅｒの場合、サポートされる変換形式は、正方形又は長方形形状の変換であってもよい。
一例として、ブロックのサイズ及び形状に基づいて、サポートされる矩形形状変換を決定することができる。所定のサイズ又はより大きなブロックにおいてサポートされる変換形式は、正方形形状の変換であってもよく、所定のサイズ未満のブロックにおいてサポートされる変換形式は、正方形又は矩形形状の変換であってもよい。
一例として、ブロック分割方式に応じて、サポートされる矩形形状の変換を決定することができる。変換を実行するブロックが四分木（Ｑｕａｒｄ Ｔｒｅｅ）分割方式で得られたブロックである場合、サポートされる変換形式は、正方形形状の変換である。また、二分木（Ｂｉｎａｒｙ Ｔｒｅｅ）分割方法で得られたブロックである場合、サポートされる変換形式は、正方形又は矩形形状の変換である。
上記例は、１つの符号化情報に基づいて変換形式をサポートすることを示す例であり、また、複数の情報を組み合わせることで、付加の変換形式のサポートを設定することができる。上記例は、上記に限定されず、種々の符号化設定に基づいて、付加の変換形式をサポートすることを示す例であり、また、種々の修正例を実現することができる。
符号化設定又は画像の特性に基づいて、変換プロセスを省略することができる。例えば、符号化設定（該例において、可逆圧縮と仮定する）に応じて、変換プロセス（逆処理プロセスを含む）を省略することができる。もう１つの例として、画像の特性に基づいて変換による圧縮性能を発揮しない場合、変換プロセスを省略することができる。この場合、省略される変換は、単位全体であってもよい、又は、水平単位及び垂直単位のうちの１つを省略してもよい。また、ブロックのサイズ及び形状に基づいて、このような省略をサポートするかどうかを決定することができる。
例えば、水平と垂直変換の省略がバンドリングされたという設定において、変換省略フラグが１である場合、水平及び垂直方向に変換を実行しない。０である場合、水平及び垂直方向に変換を実行することができる。水平及び垂直変換を独立して実行するという設定において、第１変換省略フラグが１である場合、水平方向に変換を実行しない。０である場合、水平方向に変換を実行する。第２変換省略フラグが１である場合、垂直方向に変換を実行しない。０である場合、垂直方向に変換を実行する。
ブロックサイズが範囲Ａに対応する場合、変換省略をサポートすることができる。範囲Ｂにｔ対応する場合、変換省略をサポートしない。例えば、ブロックの水平方向の長さがＭより大きいか又は垂直方向の長さがＮより大きい場合、変換省略フラグをサポートしない。また、ブロックの水平方向の長さがｍ未満であるか又はブロックの垂直方向の長さがｎ未満である場合、変換省略フラグをサポートする。Ｍ（ｍ）とＮ（ｎ）は、同じであっても異なってもよい。シーケンス、ピクチャ、スライスなどを単位として変換に関する設定を決定することができる。
付加的変換技術をサポートする場合、少なくとも１つの符号化情報に基づいて、変換技術の設定を決定することができる。この場合、符号化情報は、スライスタイプ、符号化モード、ブロックのサイズ及び形状、、予測モード等に対応することができる。
一例として、符号化モードに基づいて変換技術のサポートを決定することができる。Ｉｎｔｒａである場合、サポートされる変換技術は、ＤＣＴ－Ｉ、ＤＣＴ－ＩＩＩ、ＤＣＴ－ＶＩ、ＤＳＴ－ＩＩ、ＤＳＴ－ＩＩＩであってもよい。Ｉｎｔｅｒであると、サポートされる変換技術は、ＤＣＴ－ＩＩ、ＤＣＴ－ＩＩＩ、ＤＳＴ－ＩＩＩであってもよい。
一例として、スライスタイプに基づいて変換方策のサポートを決定することができる。Ｉスライスの場合、サポートされる変換技術は、ＤＣＴ－Ｉ、ＤＣＴ－ＩＩ、ＤＣＴ－ＩＩＩであってもよい。Ｐスライスの場合、サポートされる変換技術は、ＤＣＴ－Ｖ、ＤＳＴ－Ｖ、ＤＳＴ－ＶＩであってもよい。Ｂスライスの場合、サポートされる変換技術は、ＤＣＴ－Ｉ、ＤＣＴ－ＩＩ、ＤＳＴ－ＩＩＩであってもよい。
一例として、予測モードに基づいて変換技術のサポートを決定することができる。予測モードＡでサポートされる変換技術は、ＤＣＴ－１、ＤＣＴ－ＩＩであってもよい。予測モードＢでサポートされる変換技術は、ＤＣＴ－１、ＤＳＴ－１であってもよい。また、予測モードＣでサポートされる変換技術は、ＤＣＴ－Ｉであってもよい。この場合、予測モードＡ及びＢは、方向性モード（Ｄｉｒｅｃｔｉｏｎａｌ Ｍｏｄｅ）であってもよい。また、予測モードＣは、非方向性モード（Ｎｏｎ－Ｄｉｒｅｃｔｉｏｎａｌ Ｍｏｄｅ）であってもよい。
一例として、変換技術のサポートは、ブロックのサイズ及び形状によって決まってもよい。特定サイズ以上のブロックでサポートされる変換技術は、ＤＣＴ－ＩＩであってもよい。特定サイズ未満のブロックでサポートされる変換技術は、ＤＣＴ－ＩＩ、ＤＳＴ－Ｖであってもよい。また、特定サイズ以上であって特定サイズ未満のブロックでサポートされる変換技術は、ＤＣＴ－Ｉ、ＤＣＴ－ＩＩ、ＤＳＴ－Ｉであってもよい。また、正方形形状でサポートされる変換技術は、ＤＣＴ－１、ＤＣＴ－ＩＩであってもよく、矩形形状でサポートされる変換技術は、ＤＣＴ－１、ＤＳＴ－１であってもよい。
上記例は、１つの符号化情報に基づいて変換形式をサポートすることを示す例であり、また、複数の情報を組み合わせることで、付加の変換形式のサポートを設定することができる。上記例に限定されず、他の例に変換してもよい。また、変換部は、変換ブロックの生成に必要な情報を符号化部に送信して該情報を符号化し、該情報をビットストリームに収録し、続いて該情報をデコーダに送信する。デコーダの復号部は、該情報を解析して逆変換プロセスに用いる。
量子化部は、入力信号を量子化することができる。量子化プロセスで得られた信号は、量子化係数（Ｑｕａｎｔｉｚｅｄ Ｃｏｅｆｆｉｃｉｅｎｔ）と呼ばれる。例えば、変換部から受け取られた、残差変換係数を有する残差ブロックに対して量子化を実行することで、量子化係数を有する量子化ブロックを得ることができる。この場合、符号化設定に基づいて、入力信号を決定する。該符号化設定は、残差変換係数に限定されない。
量子化部は、デッドゾーン均一閾値量子化（Ｄｅａｄ Ｚｏｎｅ Ｕｎｉｆｏｒｍ Ｔｈｒｅｓｈｏｌｄ Ｑｕａｎｔｉｚａｔｉｏｎ）、量子化加重行列（Ｑｕａｎｔｉｚａｔｉｏｎ Ｗｅｉｇｈｔｅｄ Ｍａｔｒｉｘ）等のような量子化技術により、変換後の残差ブロックを量子化することができるが、これに限定されず、改良及び修正を行う種々の量子化技術を利用することができる。
また、量子化部は、量子化ブロックの生成に必要な情報を符号化部に送信して該情報を符号化し、該情報をビットストリームに収録し、続いて、該情報をデコーダに送信することができる。また、デコーダの復号部は、該情報を解析して逆量子化プロセスに用いる。
変換部及び量子化部により残差ブロックに対して変換及び量子化を実行することを仮定して上記例を説明したが、残差ブロックの残差信号を変換して、変換係数を有する残差ブロックを生成することができる。また、量子化プロセスを実行しなくてもよい。残差ブロックの残差信号を変換係数に変換せずに量子化プロセスのみを実行することができるだけではなく、変換及び量子化プロセスを実行しなくてもよい。これは、エンコーダの設定によって決定することができる。
符号化部は、少なくとも１つの走査順番（例えば、ジグザグ走査、垂直走査、水平走査等）に応じで走査を行うことで生成された残差ブロックの量子化係数、変換係数又は残差信号などに基づいて、量子化係数シーケンス、変換係数シーケンス又は信号シーケンスを生成することができる。また、少なくとも１つのエントロピー符号化（Ｅｎｔｒｏｐｙ Ｃｏｄｉｎｇ）技術を利用して符号化を実行することができる。この場合、符号化設定（例えば、符号化モード、予測モード等）に基づいて、操作順番に関する情報を決定し、関連情報を暗黙的又は明示的に生成することができる。例えば、フレーム内予測モードに基づいて複数の走査順番のうちの１つを選択することができる。この場合、走査パターンをジグザグ形（Ｚｉｇ－Ｚａｇ）、対角線形、ラスタ形（Ｒａｓｔｅｒ）等の種々のパターンの１つと設定することができる。
また、各構成部から送信された符号化情報を含む符号化データを生成し、ビットストリームに出力することができる。これは、マルチプレクサ（ＭＵＸ：Ｍｕｌｔｉｐｌｅｘｅｒ）により実現することができる。この場合、符号化技術は、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等の方法により、符号化を実行することができる。本発明は、これに限定されず、改良及び修正された種々の符号化技術を用いることができる。
前記残差ブロックデータ及び符号化／復号プロセスで生成された情報等のシンタックス要素（Ｓｙｎｔａｘ）に対してエントロピー符号化を実行する（該例において、シンタックスをＣＡＢＡＣとする）場合、エントロピー符号化装置は、二値化部（Ｂｉｎａｒｉｚｅｒ）、コンテキストモデリング部（Ｃｏｎｔｅｘｔ Ｍｏｄｅｌｅｒ）、二値算術符号化部（Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅｒ）を備えてもよい。この場合、二値算術符号化部は、レギュラー符号化部（Ｒｅｇｕｌａｒ Ｃｏｄｉｎｇ Ｅｎｇｉｎｅ）及びバイパス符号化部（Ｂｙｐａｓｓ Ｃｏｄｉｎｇ Ｅｎｇｉｎｅ）を含んでもよい。この場合、レギュラー符号化部は、コンテキストモデラーに関わる部材であってもよく、バイパス符号化部は、コンテキストモデラーと無関係な部材であってもよい。
前記エントロピー符号化装置に入力されたシンタックス要素が二進値でなくてもよいため、シンタックス要素が二進値ではない場合、二値化部は、シンタックス要素に対して二値化を実行することで、０又は１からなるｂｉｎストリング（Ｂｉｎ Ｓｔｒｉｎｇ）を出力することができる。この場合、ｂｉｎは、０又は１からなるビットを表す。また、二値算術エンコーダにより符号化を実行することができる。この場合、０及び１の発生確率に基づいて、レギュラー符号化部又はバイパス符号化部のうちの１つを選択することができる。これは、符号化／復号の設定に応じて決定することができる。シンタックス要素が０及び１という周波数の同じであるデータであれば、バイパス符号化部を用いることができる、異なるデータであれば、レギュラー符号化部を用いることができる。また、コンテキストモデリング（又はコンテキスト情報更新）により、次のレギュラー符号化部の実行の時に、参照とすることができる。
この場合、コンテキストは、ｂｉｎの発生確率に関する情報である。コンテキストモデリングは、二値化結果としたｂｉｎを入力することで、二値算術符号化に必要なｂｉｎの確率を推定するプロセスである。確率推定を実行するために、ｂｉｎのシンタックス要素、ｂｉｎストリングにおけるｂｉｎの位置インデックス、及びｂｉｎが周囲のブロックに含まれる確率などを用いることができる。また、このために、少なくとも１つのコンテキストテーブルを用いることができる。例えば、周囲のブロックがフラグの組み合わせを用いるかどうかに基づいて、複数のコンテキストテーブルを幾つかのフラグのための情報とすることができる。
シンタックス要素に対して二値化を実行する時、種々の方法を用いることができる。例えば、固定長二値化（Ｆｉｘｅｄ Ｌｅｎｇｔｈ Ｂｉｎａｒｉｚａｔｉｏｎ）及び可変長二値化（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｂｉｎａｒｉｚａｔｉｏｎ）に分けられてもよい。可変長二値化の場合、単項二値化（Ｕｎａｒｙ Ｂｉｎａｒｉｚａｔｉｏｎ、Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ Ｂｉｎａｒｉｚａｔｉｏｎ）、短縮ライス二値化（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ Ｂｉｎａｒｉｚａｔｉｏｎ）、第Ｋ次指数ゴロム二値化（Ｋ－ｔｈＥｘｐ－Ｇｏｌｏｍｂ Ｂｉｎａｒｉｚａｔｉｏｎ）及び短縮二進二値化（Ｔｒｕｎｃａｔｅｄ ｂｉｎａｒｙ）を用いることができる。また、シンタックス要素の値の範囲に基づいて、シンボル有り又はシンボル無しの二値化を実行することができる。本発明において、シンタックス要素の二値化プロセスは、上記例で言及した二値化を含むだけでなく、他の付加的二値化方法も含む。
逆量子化部及び逆変換部は、変換部及び量子化部のプロセスを逆実行することで実現することができる。例えば、逆量子化部は、量子化部により生成された量子化変換係数に対して逆量子化を実行することができる。逆変換部は、逆量子化された変換係数に対して逆変換を実行し、復元された残差ブロックを生成することができる。
加算器は、予測ブロックと復元した残差ブロックを加算することで、現在ブロックを復元する。復元されたブロックは、メモリに記憶されて参照データ（予測部、フィルタ部など）として用いられる。
ループフィルタ部は、デブロッキングフィルタ、画素適応オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ，ＳＡＯ）、適応ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ，ＡＬＦ）等のような少なくとも１つの後処理フィルタ部材を含んでもよい。デブロッキングフィルタは、復元画像におけるブロック同士の境界で発生したブロック歪みを除去することができる。ＡＬＦは、復元した画像と入力画像を比較することで得られた値に基づいて、フィルタリングを実行することができる。詳しくは、デブロッキングフィルタによりブロックをフィルタリングした後に復元された画像と入力画像を比較することで得られた値に基づいて、フィルタリングを実行することができる。また、ＳＡＯによりブロックをフィルタリングした後に復元された画像と入力画像を比較することで得られた値に基づいて、フィルタリングを実行することができる。
メモリは、復元したブロック又はピクチャを記憶することができる。メモリに記憶された復元ブロック又はピクチャを、フレーム内予測又はフレーム間予測を実行する予測部に提供することができる。詳しくは、エンコーダは、圧縮ビットストリームのキュー（Ｑｕｅｕｅ）形式の記憶空間を、符号化ピクチャバッファ（Ｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ：ＣＰＢ）として扱い、ピクチャ単位で復号画像を記憶する空間を復号ピクチャバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ：ＤＰＢ）として扱うことができる。ＣＰＢの場合、復号順番に応じて復号単位を記憶する。また、デコーダにおいて、復号操作をエミュレーション（Ｅｍｕｌａｔｉｏｎ）することができる。エミュレーションプロセスにおいて、圧縮したビットストリームを記憶することができ、復号プロセスにより、ＣＰＢから出力されたビットストリームを復元し、復元された画像をＤＰＢに記憶すｒ。後続の画像の符号化及び復号プロセスにおいて、ＤＰＢに記憶されたピクチャを参照することができる。
復号部は、前記符号化部内のプロセスを逆に実行することで実現することができる。例えば、ビットストリームから、量子化係数シーケンス、変換係数シーケンス又は信号シーケンスを受け取って復号を実行し、復号儒法を含む復号データを解析して各構成部に送信することができる。
一方で、図１及び図２の画像の符号化装置及び画像の復号装置に示していないが、分割ブロック部を含んでもよい。ピクチャ分割部から、基本符号化ユニットに関わる情報を得ることができる。基本符号化ユニットは、画像の符号化／復号プロセスにおいて予測、変換、量子化などに用いられる基本（又は開始）ユニットを表すことができる。この場合、符号化ユニットは、色フォーマット（該例において、ＹＣｂＣｒである）に基づいて、１つの輝度符号化ブロック及び２つの色差符号化ブロックを構成することができる。また、色フォーマットに基づいて、各ブロックのサイズを決定することができる。後述の例において、ブロック（該例における輝度成分）に基づいて説明する。この場合、該ブロックが、各ユニットを決定した後に取得されるユニットであることを前提として、類似した設定で他のタイプのブロックに適用可能であることを前提として、説明する。
画像の符号化装置及び復号装置の各素子について、分割ブロック部を設定することができる。また、該プロセスにより、ブロックのサイズ及び形状を決定することができる。この場合、設定部に基づいて、異なるブロックを定義することができる。予測部の場合の予測ブロック、変換部の場合の変換ブロック及び量子化部の場合の量子化ブロックに対応してもよい。本発明は、これに限定されず、他の構成部によるブロック単位を更に定義することができる。ブロックのサイズ及び形状は、ブロックの水平及び垂直方向の長さにより限定されてもよい。
分割ブロック部において、ブロックをＭ×Ｎとして表すことができる。また、各ブロックの最大値及び最小値範囲内で得られる。例えば、ブロックの形状が正方形であってもよい。ブロックの最大値が２５６×２５６であり、最小値が８×８である場合、サイズが２ｍ×２ｍであるブロック（該例において、ｍは、３から８の正数である。例えば、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６である）、サイズが２ｍ×２ｍであるブロック（該例において、ｍは、４から１２８の正数である）又はサイズがｍ×ｍであるブロック（該例において、ｍは、８から２５６の正数である）を得ることができる。又は、ブロックの形状は、正方形及び矩形であってもよい。該ブロックの範囲が上記例と同じである場合、サイズが２ｍ×２ｎであるブロック（該例において、ｍ及びｎは、３から８の整数である。水平と垂直との比率が最大２：１である場合を例とすると、８×８、８×１６、１６×８、１６×１６、１６×３２、３２×１６、３２×３２、３２×６４、６４×３２、６４×６４、６４×１２８、１２８×６４、１２８×１２８、１２８×２５６、２５６×１２８、２５６×２５６である。符号化／復号の設定によれば、水平と垂直との比率が限定されないか、又は比率が最大値である場合がある）を得ることができる。又は、サイズが２ｍ×２ｎであるブロック（該例において、ｍ及びｎは、４から１２８の整数である）を得ることができる。又は、サイズがｍ×ｎであるブロック（ｍ及びｎは、８から２５６の整数である）を得ることができる。
符号化／復号の設定（例えば、ブロックのタイプ、分割方式、分割設定等）に基づいて、取得可能なブロックを決定することができる。例えば、符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）は、サイズ２ｍ×２ｎのブロックであり、予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）は、サイズ２ｍ×２ｎ又はサイズｍ×ｎのブロックであり、変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）は、サイズ２ｍ×２ｎのブロックである。前記設定に基づいて、ブロックサイズ及び範囲のような情報（例えば、インデックス及び倍数に関わる情報）を生成することができる。
ブロックのタイプに基づいて、上記範囲（該例において、最大値及び最小値である）を決定することができる。また、幾つかのブロックにおいて、ブロックの範囲情報を明示的に生成することができる。幾つかのブロックにおいて、ブロックの範囲情報を暗黙的に決定することができる。例えば、符号化ブロック及び変換ブロックにおいて関連情報を明示的に生成することができ、予測ブロックにおいて、関連情報を暗黙的に処理することができる。
明示的な場合、少なくとも１つの範囲情報を生成することができる。例えば、符号化ブロックの場合、範囲に関する情報として、最大値及び最小値情報を生成することができる。又は、最大値と所定の最小値（例えば、８）との差異に基づいて（例えば、最大値及び最小値を生成するインデックス同士の差異の情報に基づいて）生成することができる。また、矩形ブロックの水平方向及び垂直方向の長さに関わる複数の範囲情報を生成することができる。
暗黙的な場合、符号化／復号の設定（例えば、ブロックのタイプ、分割方法、分割設定等）に基づいて範囲情報を得ることができる。例えば、予測ブロックの場合、上位単位とした符号化ブロック（該例において、符号化ブロックの最大サイズがＭ×Ｎであり、最小サイズがｍ×ｎである）において、予測ブロックの分割設定（該例において、四分木分割＋分割深度が０である）で得られる候補グループ（該例において、Ｍ×Ｎ及びｍ／２×ｎ／２）により最大値及び最小値情報を得る。
分割ブロック部の初期（又は開始）ブロックのサイズ及び形状は、上位単位によって決まってもよい。符号化ブロックの場合、ピクチャ分割部から得られた基本符号化ブロックは、初期ブロックであってもよい。予測ブロックの場合、符号化ブロックは、初期ブロックであってもよい。変換ブロックの場合、符号化ブロック又は予測ブロックは、初期ブロックであってもよい。これは、符号化／復号の設定によって決まってもよい。例えば、符号化モードがＩｎｔｒａである場合、予測ブロックは、変換ブロックの上位単位であってもよい。Ｉｎｔｅｒの場合、予測ブロックは、変換ブロックから独立した単位であってもよい。初期ブロックは、小さなブロックに分割されて分割の開始単位とすることができる。各ブロックの分割による最適なサイズ及び形状が決定された場合、該ブロックは、下位単位の初期ブロックと決定されてもよい。例えば、前者の場合、符号化ブロックであってもよい。後者場合（下位単位）、予測ロック又は変換ブロックであってもよい。上記例において、下位単位の初期ブロックを決定する場合、最適なサイズ及び形状を有するブロック（例えば、上位単位）を検索するための分割プロセスを実行することができる。
要するに、分割ブロックユニットは、基本符号化ユニット（又は最大符号化ユニット）を少なくとも１つの符号化ユニット（又は下位符号化ユニット）に分割することができる。また、符号化ユニットは、少なくとも１つの予測ユニットに分割されてもよく、また、少なくとも１つの変換ユニットに分割されてもよい。符号化ユニットは、少なくとも１つの符号化ブロックに分割されてもよく、符号化ブロックは、少なくとも１つの予測ブロックに分割されてもよく、また、少なくとも１つの変換ブロックに分割されてもよい。予測ユニットは、少なくとも１つの予測ブロックに分割されてもよく、変換ユニットは、少なくとも１つの変換ブロックに分割されてもよい。
上記例に示すように、モード決定により、最適なサイズ及び形状を有するブロックを見つける場合、該モードに用いられるモード情報（例えば、分割情報）を生成することができる。モード情報は、該ブロックの所属する構成部で生成された情報（例えば、予測関連情報、変換関連情報など）と共に、ビットストリームに収録されてデコーダに伝送されることができる。また、デコーダにおいて、同一のレベルの単一で解析され、画像の符号化プロセスに用いる。
以下、分割方式に関する例を説明する。また、初期ブロックが正方形形状を有することを仮定して説明する。しかしながら、矩形の場合、同様又は類似した例を適用できる。
分割ブロック部は、種々の分割方式をサポートすることができる。例えば、ツリーベースの分割又はタイプベースの分割をサポートすることができる。また、他の方法を用いることができる。ツリーベースの分割の場合、分割フラグを用いて分割情報を生成することができる。タイプベースの分割の場合、所定の候補グループに含まれるブロック形状のインデックス情報を利用して分割情報を生成することができる。
図３は、ツリーベースのブロック形状を示す概略図である。
図３を参照すると、ａは、分割されていない１つの２Ｎ×２Ｎを得る例を表し、ｂは、一部の分割フラグ（該例において、二分木の水平分割である）により２Ｎ×Ｎを得る例を表し、ｃは、分割フラグ（該例において、二分木の垂直分割である）により２つのＮ×２Ｎを得る例を表し、ｄは、一部の分割フラグ（該例において、四分木の四分割又は二分木の水平及び垂直分割である）により４つのＮ×Ｎを得る例を表す。分割に用いられるツリータイプに基づいて、取得されるべきブロックの形状を決定することができる。例えば、四分木分割を実行する場合、取得可能な候補ブロックは、ａ及びｄであってもよい。二分木分割を実行する場合、取得可能な候補ブロックは、ａ、ｂ、ｃ及びｄであってもよい。四分木の場合、１つの分割フラグをサポートし、対応するフラグが「０」であれば、ａを得ることができ、対応するフラグが「１」であれば、ｄを得ることができる。二分木の場合、複数の分割フラグをサポートし、そのうちの１つは、分割を実行するかどうかを指示するフラグであってもよく、そのうちの１つは、水平／垂直分割であるかどうかを指示するフラグであってもよい。そのうちの１つは、重なり合った水平／垂直分割を許容するかどうかを指示するフラグであってもよい。重なり合いを許容する場合、取得可能な候補ブロックは、ａ、ｂ、ｃ及びｄであってもよい。重なり合いを許容しない場合、取得可能な候補ブロックは、ａ、ｂ及びｃであってもよい。四分木は、ツリーベースの基本分割方式であってもよい。また、ツリー分割方式（該例において二分木である）は、ツリーベースの分割方式に含まれてもよい。付加のツリー分割を許容することを示すフラグが暗黙的又は明示的に活性化された場合、複数のツリー分割を実行することができる。ツリーベースの分割は、再帰分割（Ｒｅｃｕｒｓｉｖｅ Ｐａｒｔｉｔｉｏｎ）を実行できる方式であってもよい。つまり、分割されたブロックを初期ブロックと再設定し、ツリーベースの分割を実行することができる。これは、分割範囲及び分割許容深度などのような分割設定によって決まってもよい。これは、階層的分割方式の例であってもよい。
図４は、タイプベースのブロック形状を示す概略図である。
図４に示すように、タイプに基づいて、分割されたブロックは、１つの分割形状（該例においてａである）、２つの分割形状（該例においてｂ、ｃ、ｄ、ｅ、ｆ及びｇである）及び４つの分割形状（該例においてｈである）を有してもよい。様々な設定により、候補グループを構成することができる。例えば、候補グループは、図５に示したａ、ｂ、ｃ、ｎ又はａ、ｂからｇ、ｎ又はａ、ｎ、ｑ等により構成されてもよいが、これに限定されず、後述される例を更に含んでもよい。従って、種々の変形例を実行することができる。対称分割（Ｓｙｍｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎ）を許容することを示すフラグが活性化された場合、サポートされるブロックは、図４に示したａ、ｂ、ｃ、ｈであってもよい。非対称分割（Ａｓｙｍｍｅｔｒｉｃ Ｐａｒｔｉｔｉｏｎ）を許容することを示すフラグが活性化された場合、サポートされるブロックは、図４に示したａからｈの全てであってもよい。前者の場合、関連情報（該例において、対称分割を許容することを示すフラグである）を暗黙的に活性化することができる。後者の場合、関連情報（該例において、非対称分割を許容することを示すフラグである）を明示的に生成することができる。タイプベースの分割は、一次分割をサポートする方式であってもよい。ツリーベースの分割に比べて、タイプベースの分割により得られたブロックについて、更なる分割を実行できないことがある。これは、分割許容深度がゼロ（例えば、単層分割）である例であってもよい。
図５は、本発明の分割ブロック部により得られる種々のブロック形状を示す概略図である。
図５を参照すると、分割設定及び分割方式に応じて、ブロックａからｓを得ることができる。また、示されていない付加ブロック形状を有してもよい。
一例として、ツリーベースの分割は、非対称分割を許容することができる。例えば、二分木の場合、図５に示したｂ、ｃブロック（該例において、複数のブロックに分割された）は、非対称分割を許容することができる。又は、図５に示したｂからｇのブロックは（該例において、複数のブロックに分割された）は、非対称分割を許容することができる。符号化／復号の設定に応じて、非対称分割を許容することを示すフラグを明示的又は暗黙的に非活性化した場合、取得可能な候補ブロックは、ｂ又はｃである可能性がある（該例において、水平及び垂直方向の重なり合った分割を許容しないと仮定する）。また、非対称分割を許容することを示すフラグが活性化された場合、取得可能な候補ブロックは、ｂ、ｄ、ｅ（該例において、水平分割である）又はｃ、ｆ、ｇ（該例において、垂直分割である）であってもよい。該例は、水平又は垂直分割フラグにより分割方向を決定し、また、非対称分割を許容することを示すフラグに基づいてブロック形状を決定することに対応する。しかしながら、本発明は、これに限定されず、他の例に変換されてもよい。
一例として、付加されたツリー分割をツリーベースの分割に用いることができる。例えば、三分木、四分木、八分木等の分割を実行し、ｎ個の分割ブロックを得ることができる（該例において、ｎは、３、４、８であり、ｎは整数である）。三分木の場合、サポートされるブロック（該例において、複数のブロックに分割された）は、ｈからｍであってもよい。四分木の場合、サポートされるブロックは、ｎからｐであってもよい。八分木の場合、サポートされるブロックは、ｑであってもよい。符号化／復号の設定に基づいて、前記ツリーベースの分割をサポートするかどうかを暗黙的に決定するか又は関連情報を明示的に生成することができる。また、符号化／復号の設定に基づいて、二分木又は四分木分割を単独で用いることができる。又は、二分木及び四分木分割を混用することもできる。例えば、二分木の場合、図５に示したｂ、ｃにおけるブロックを得ることができる。二分木と三分木を混用する場合（該例において、二分木の使用範囲と三分木の使用範囲が一部重なり合ったと仮定する）、ｂ、ｃ、ｉ、ｌのようなブロックを得ることができる。符号化／復号の設定に基づいて、現在のツリー以外の更なる分割を許容することを示すフラグを明示的又は暗黙的に非活性化すると、取得可能な候補ブロックは、ｂ又はｃであってもよい。活性化した場合、取得可能な候補ブロックは、ｂ、ｉ又はｂ、ｈ、ｉ、ｊ（該例において、水平分割である）又はｃ、ｌ又はｃ、ｋ、ｌ、ｍ（該例において、垂直分割である）である。該例は、水平又は垂直分割フラグにより分割方向を決定し、また、付加される分割を許容することを示すフラグに基づいてブロック形状を決定することに対応する。しかしながら、本発明は、これに限定されず、他の例に変換されてもよい。
一例として、タイプベースのブロックは、非矩形パーティション（Ｎｏｎ－Ｒｅｃｔａｎｇｕｌａｒ Ｐａｒｔｉｔｉｏｎ）を許容することができる。例えば、ｒ、ｓの形状による分割が可能である。上記タイプベースのブロック候補グループと組み合わせる場合、ａ、ｂ、ｃ、ｈ、ｒ、ｓ又はａからｈ、ｒ、ｓのブロックは、サポートされるブロックであってもよい。また、候補グループに、ｈからｍのようなｎ個の分割をサポートするブロック（例えば、ｎは整数である。該例において、１、２及び４以外の３である）が含まれてもよい。
符号化／復号の設定に基づいて、分割方式を決定することができる。
一例として、ブロックのタイプに基づいて分割方式を決定することができる。例えば、符号化ブロック及び変換ブロックは、ツリーベースの分割を利用することができる。予測ブロックは、タイプベースの分割を利用することができる。また、２つのタイプの分割方式を組み合わせた形態を用いることができる。例えば、予測ブロックは、ツリーベースの分割とタイプベースの分割を組み合わせた分割方式を利用することができる。また、分割方式は、ブロックに適用される少なくとも１つの範囲によって異なる。
例えば、ブロックのサイズに基づいて分割方式を決定することができる。例えば、ブロックの最大値と最小値との特定の範囲（例えば、ａ×ｂからｃ×ｄという後者が大きい場合）は、ツリーに基づいて分割を実行することができる。また、特定の範囲（例えば、ｅ×ｆからｇ×ｈ）は、タイプに基づいて分割を実行することができる。この場合、分割方式に基づいた範囲情報を明示的に生成するか又は暗黙的に決定することができる。
一例として、ブロックの形状（又は分割される前のブロック）に基づいて分割方式を決定することができる。例えば、ブロック形状が正方形であると、ツリーベースの分割及びタイプベースの分割を実行することができる。又は、ブロックが矩形であると、ツリーベースの分割を実行することができる。
符号化／復号の設定に基づいて分割設定を決定することができる。
一例として、ブロックのタイプに基づいて分割設定を決定することができる。例えば、ツリーベースの分割において、符号化ブロック及び予測ブロックは、四分木を利用することができる。変換ブロックは、二分木を利用することができる。又は、符号化ブロックにおいて、分割許容深度は、ｍであってもよい。予測ブロックにおいて、分割許容深度は、ｎである。変換ブロックにおいて、分割許容深度は、ｏとしてもよい。また、ｍ、ｎ及びｏは、同じであっても異なってもよい。
例えば、ブロックのサイズに基づいて分割設定を決定することができる。例えば、特定の範囲（例えば、ａ×ｂからｃ×ｄ）で、四分木分割を実行することができるが、特定の範囲（例えば、ｅ×ｆからｇ×ｈである。該例において、ｃ×ｄがｇ×ｈより大きいと仮定する）で、二分木分割を実行することができる。この場合、前記範囲は、ブロックの最大値と最小値との全ての範囲を含んでもよい。また、該範囲は、互いに重なり合わない設定を有してもよく、重なり合った設定を有してもよい。例えば、特定の範囲の最小値は、特定の範囲の最大値に等しくてもよい。又は、特定の範囲の最小値は、特定の範囲の最大値未満であってもよい。重なり合った範囲が存在すれば、より大きい最大値を有する分割方式は、優先度を有してもよい。つまり、優先度を有する分割方式において、分割結果に基づいて、低い優先度を有する分割方式を実行するかどうかを決定することができる。この場合、ツリータイプに基づいた範囲情報を明示的に生成するか又は暗黙的に決定することができる。
もう１つの例として、ブロックの特定の範囲（前記例と同じである）で、幾つかの候補グループを有するタイプベースの分割を実行することができる。特定の範囲（上記例と同じである）で、幾つかの候補グループ（該例において、少なくとも１つの設定が前の１つの候補グループと異なる）を有するタイプベースの分割を実行することができる。この場合、前記範囲は、ブロックの最大値と最小値との全ての範囲を含むことができる。また、該範囲は、互いに重なり合わない設定を有してもよい。
一例として、ブロックの形状に基づいて分割設定を決定することができる。例えば、ブロックが正方形形状を有する場合、四分木分割を実行することができる。また、ブロックが矩形である場合、二分木分割を実行することができる。
例えば、符号化／復号情報（例えば、ｓｌｉｃｅタイプ、色成分、符号化モード等）に基づいて分割設定を決定することができる。例えば、ｓｌｉｃｅタイプがＩである場合、特定の範囲（例えば、ａ×ｂからｃ×ｄ）で、Ｐであれば、特定の範囲（例えば、ｅ×ｆからｇ×ｈ）で、Ｂであれば、特定の範囲（例えば、ｉ×ｊからｋ×ｌ）で四分木（又は二分木）分割を実行することができる。また、ｓｌｉｃｅタイプがＩである場合、四分木（又は二分木）分割の分割許容深度をｍとすることができる。ｓｌｉｃｅタイプがＰである場合、分割許容深度は、ｎとすることができる。ｓｌｉｃｅタイプがＢである場合、分割許容深度は、ｏとすることができる。ｍとｏは同じであっても異なってもよい。幾つかのｓｌｉｃｅタイプは、他のｓｌｉｃｅ（例えば、Ｐ及びＢｓｌｉｃｅ）と同じである設定を有してもよい。
もう１つの例として、色成分が輝度成分である場合、四分木（又は二分木）分割の許容深度をｍとすることができる。色差成分の場合、ｎとすることができる。ｍとｎは、同じであっても異なってもよい。また、色成分が輝度成分である場合の四分木（又は二分木）の分割範囲（例えば、ａ×ｂからｃ×ｄ）と色差成分の場合の四分木（又は二分木）の分割範囲（例えば、ｅ×ｆからｇ×ｈ）は、同じであっても異なってもよい。
もう１つの例として、符号化モードがＩｎｔｒａである場合、四分木（又は二分木）の分割深度は、ｍであってもよい。Ｉｎｔｅｒである場合、ｎ（該例において、ｎがｍより大きいと仮定する）であってもよい。また、ｍとｎは、同じであっても異なってもよい。また、符号化モードがＩｎｔｒａである場合の四分木（又は二分木）分割の範囲とＩｎｔｅｒの場合の四分木（又は二分木）分割の範囲は、同じであっても異なってもよい。
上記例において、符号化／復号情報に基づいて、自己適応的分割候補グループ設定をサポートするかどうかに関わる情報を明示的に生成するか又は暗黙的に決定することができる。
上記例によれば、符号化／復号の設定に基づいて分割方式及び分割設定を決定することを説明した。上記例において、各素子の状況によって他の形式に変換されてもよいことを示す。また、複数の素子の組み合わせに基づいて、分割方式及び分割設定を決定することができる。例えば、ブロックのタイプ、サイズ、形状、符号化／復号情報などに基づいて、分割方式及び分割設定を決定することができる。
また、上記例において、分割方式、設定などに関わる素子を決定するか又は情報を明示的に生成することで、上記例における適応状況を許容するかどうかを決定することができる。
前記分割設定にいて、分割深度は、初期ブロックに基づいた空間分割の回数を指す（該例において、初期ブロックの分割深度は、０である）。また、分割深度が増加するほど、より小さなブロックに分割可能になる。分割方式に基づいて、深度に関わる設定を変えることができる。例えば、ツリーベースの分割方式において、四分木分割深度及び二分木分割深度として、共通深度を用いてもよく、ツリータイプによる単独した深度を用いてもよい。
上記例において、ツリーのタイプに基づいて単独した分割深度を用いる場合、ツリーの分割開始位置（該例において、分割される前のブロックである）で分割深度を０とすることができる。各ツリーの分割範囲（該例における最大値）に基づくことなく、分割開始位置を中心として分割深度を算出することができる。
図６は、本発明の実施例によるツリーベースの分割を示す概略図である。
ａは、四分木及び二分木分割の例を示す。具体的には、ａの左上ブロックは、四分木分割を示し、右上ブロック及び左下ブロックは、四分木及び二分木分割を示し、右下ブロックは、二分木分割を示す。図面において、実線（該例において、Ｑｕａｄ１である）は、四分木に分割された場合の境界線を表す。点線（該例において、Ｂｉｎａｒｙ１である）は、二分木に分割された場合の境界線を表す。太実線（該例において、Ｂｉｎａｒｙ２である）は、二分木に分割された場合の境界線を表す。点線と太実線との差異は、分割方法の差異である。
一例として、（左上ブロックの四分木分割許容深度は、３である。現在ブロックがＮ×Ｎであると、分割を実行し、水平又は垂直分割のうちの１つが（Ｎ＞＞３）に達するまで継続し、分割情報を生成し、（Ｎ＞＞２）の分割情報を生成するまで継続する。これは、後述される例と同じである。四分木の最大値及び最小値がＮ×Ｎ、（Ｎ＞＞３）×（Ｎ＞＞３）である）ツリー分割を実行する場合、水平、垂直方向長さの１／２の長さを有する４つのブロックに分割することができる。分割が活性化される場合、分割フラグの値は、「１」であってもよい。分割が非活性化される場合、分割フラグの値は、「０」であってもよい。該設定によれば、左上ブロックの分割フラグは、ｂの左上ブロックと共に生成される可能性がある。
一例として、（右上ブロックについて、四分木分割許容深度が０であり、二分木分割許容深度が４であり、四分木分割の最大値及び最小値が、Ｎ×Ｎ、（Ｎ＞＞２）×（Ｎ＞＞２）であり、二分木の最大値及び最小値が（Ｎ＞＞１）×（Ｎ＞＞１）、（Ｎ＞＞３）×（Ｎ＞＞３）であると仮定する）右上ブロックは、初期ブロックについて四分木分割を実行する場合、水平、垂直方向長さの１／２の長さを有する４つのブロックに分割される。分割されたブロックのサイズは、（Ｎ＞＞１）×（Ｎ＞＞）である。これは、二分木分割を実行できることを意味する（該例において、四分木分割の最小値より大きいが、分割深度が限られる）。つまり、該例は、四分木分割及び二分木分割を重なり合って使用できない例であってもよい。該例における二分木分割情報は、複数の分割フラグから構成されてもよい。幾つかのフラグは、水平分割フラグ（該例において、ｘ／ｙにおけるｘに対応する）であってもよく、幾つかのフラグは、垂直分割フラグ（該例において、ｘ／ｙにおけるｙに対応する）であってもよい。分割フラグの設定は、四分木分割と類似した設定（例えば、活性化を実行するかどうか）を有してもよい。該例において、２つのフラグは、繰り返して活性化されてもよい。図面において、「－」を用いてフラグ情報を生成する場合、「－」は、フラグの暗黙的処理に対応する可能性がある。ここで、ツリー分割の最大値、最小値及び分割深度などの条件に応じて付加分割を実行できない場合、フラグの暗黙的処理が生じる可能性がある。該設定によれば、右上ブロックの分割フラグは、ｂの左上ブロックと共に生成される可能性がある。
一例として、（左下ブロックについて、四分木分割許容深度が３であり、二分木分割許容深度が２であり、四分木分割の最大値及び最小値がＮ×Ｎ、（Ｎ＞＞３）×（Ｎ＞＞３）であり、二分木分割の最大値和最小値が（Ｎ＞＞２）×（Ｎ＞＞２）、（Ｎ＞＞４）×（Ｎ＞＞４）であり、重なり合った範囲において、分割優先度は、四分木分割に与えられると仮定する）右下ブロックは、初期ブロックについて四分木分割を実行する場合、水平、垂直方向長さの１／２の長さを有する４つのブロックに分割される。分割されたブロックのサイズは、（Ｎ＞＞１）×（Ｎ＞＞）である。これは、該例の設定に基づいて、二分木分割及び四分木分割を実行できることを意味する。つまり、該例は、四分木分割及び二分木分割を重なり合って使用できる例であってもよい。この場合、優先度が決定された四分木分割に基づいて、二分木分割を実行するかどうかを決定することができる。四分木分割を実行する場合、二分木分割を実行しない。四分木分割が実行されていない場合、二分木分割を実行することができる。四分木分割を実行しない場合、上記設定に基づいて分割実行要件を満たしても、四分木分割を実行できない可能性もある。該例における二分木分割情報は、複数の分割フラグから構成されてもよい。幾つかのフラグは、分割フラグ（該例において、ｘ／ｙにおけるｘに対応する）であってもよく、幾つかのフラグは、分割方向フラグ（該例において、ｘ／ｙにおけるｙに対応する。ｘに基づいて、ｙ情報を生成するかどうかを決定することができる）であってもよい。分割フラグは、四分木分割と類似した設定を有してもよい。該例において、水平分割と垂直分割は互いに重なり合うように活性化されることが不可能である。図面において、フラグ情報を「－」として生成する場合、「－」は、上記例と類似した設定を有してもよい。該設定によれば、左下ブロックの分割フラグは、ｂの左下ブロックと共に生成される可能性がある。
一例として、（右下ブロックについて、二分木分割許容深度が５であり、二分木分割の最大値及び最小値がＮ×Ｎ、（Ｎ＞＞２）×（Ｎ＞＞３）であると仮定する）右下ブロックは、初期ブロックについて二分木分割を実行する場合、水平、垂直方向長さの１／２の長さを有する２つのブロックに分割される。該例における分割フラグは、左下ブロックと同じであるように設定されてもよい。図面において、フラグ情報を「－」として生成する場合、「－」は、上記例と類似した設定を有してもよい。該例において、二分木の水平と垂直方向の最小値を異なるように設定することを示す。該設定によれば、右下ブロックの分割フラグは、ｂの右下ブロックと共に生成される可能性がある。
上記例に示すように、ブロック情報（例えば、タイプ、サイズ、形状、位置、ｓｌｉｃｅタイプ、色成分等）を決定した後、これに基づいて分割方式及び分割設定を決定することができ、分割プロセスを実行することができる。
図７は、本発明の実施例によるツリーベースの分割を示す概略図である。
ブロックａ及びブロックｂを参照すると、太実線Ｌ０は、最大の符号化ブロックを表す。太実線及び他の線Ｌ１からＬ５により分割されたブロックは、分割された符号化ブロックを表す。ブロック内の番号は、分割されたサブブロックの位置を表す（該例において、ラスタ走査（ＲａｓｔｅｒＳｃａｎ）順番による）。「－」の数は、ブロックの有する分割深度を表す。ブロック間の境界線の数字は、分割回数を表す。例えば、四つに分割すると（該例において、四分木である）、ＵＬ（０）－ＵＲ（１）－ＤＬ（２）－ＤＲ（３）の順番を有する。２つに分割すると（該例において、二分木である）、Ｌ又はＵ（０）－Ｒ又はＤ（１）の順番を有する。これは、各分割深度で定義されてもよい。後述される例において、取得可能な符号化ブロックが限られた場合を示す。
一例として、ａの最大符号化ブロックが６４×６４であり、最小符号化ブロックが１６×１６であり、四分木分割を用いると仮定する。この場合、２－０、２－１、２－２ブロック（該例においてサイズ１６×１６である）のサイズが最小符号化ブロックのサイズに等しいであるため、例えば２－３－０、２－３－１、２－３－２，２－３－３ブロック（該例においてサイズ８×８である）のようなより小さなブロックに分割されない可能性がある。この場合、ブロック２－０、２－１、２－２及び２－３において、１６×１６ブロックである１つの候補グループを取得できるため、ブロック分割情報を生成しない。
一例として、ｂの最大符号化ブロックが６４×６４であり、最小符号化ブロックの水平又は垂直方向長さが８であり、許容される分割深度が３であると仮定する。この場合、１－０－１－１（該例において、サイズ１６×１６であり、分割深度が３である）ブロックが最小符号化条件を満たすため、より小さなブロックに分割可能である。しかしながら、許容可能な分割に等しいため、より深い分割深度を有するブロック（該例において１－０－１－０－０、１－０－１－０－１ブロックである）に分割されない可能性がある。この場合、１－０－１－０及び１－０－１－１ブロックにおいて、１６×８ブロックである１つの候補グループを取得できるため、ブロック分割情報を生成しない。
上記例に示すように、符号化／復号に基づいて四分木分割又は二分木分割をサポートすることができる。または、四分木分割と二分木分割の混用をサポートすることができる。例えば、ブロックサイズ、分割深度等に基づいて、上記方式のうちの１つ又は２つをサポートすることができる。ブロックが第１ブロック範囲に属すると、四分木をサポートすることができる。該ブロックが第２ブロック範囲に属すると、二分木分割をサポートすることができる。複数の分割方式をサポートする場合、各方式の最大符号化ブロックサイズ、最小符号化ブロックサイズ、許容可能な分割深度などのうちの少なくとも１つの設定を有してもよい。前記範囲は、互いに重なり合うように設定されてもよく、重なり合わないように設定されてもよい。または、１つの範囲は、もう１つの範囲を含むこともある。上記設定は、ｓｌｉｃｅタイプ、符号化モード、色成分などのような単一又は混合要因によって決まってもよい。
一例として、ｓｌｉｃｅタイプに基づいて分割設定を決定することができる。Ｉ ｓｌｉｃｅの場合、サポート可能な分割設定として、四分木の場合のサポート可能な分割範囲１２８×１２８から３２×３２であり、二分木の場合のサポート可能な分割範囲３２×３２から８×８である。Ｐ／Ｂｓｌｉｃｅの場合、サポート可能な分割設定として、四分木の場合のサポート可能な分割範囲１２８×１２８から３２×３２であり、二分木の場合のサポート可能な分割範囲６４×６４から８×８である。
一例として、符号化モードに基づいて分割設定を決定することができる。符号化モードがＩｎｔｒａである場合、サポートされる分割設定について言えば、二分木の場合、６４×６４から８×８の分割範囲及び許容可能な分割深度２をサポートすることができる。符号化モードがＩｎｔｅｒである場合、サポートされる分割設定について言えば、二分木の場合、３２×３２から８×８の分割範囲及び許容可能な分割深度３をサポートすることができる。
一例として、色成分に基づいて分割設定を決定することができる。輝度成分の場合、四分木の場合のサポート可能な分割範囲は、２５６×２５６から６４×６４であり、二分木の場合のサポート可能な分割範囲は、６４×６４から１６×１６である。色差成分の場合、四分木の場合に輝度成分と同様な設定をサポートする（該例において、色差フォーマットに基づいて各ブロックの長さ割合を設定する）。二分木の場合、サポートされる分割範囲は、６４×６４から４×４である（該例において、これと同様な輝度成分における範囲が１２８×１２８から８×８であり、４：２：０であると仮定する）。
前記例において、ブロックのタイプに基づいた様々な分割設定を説明する。また、幾つかのブロックは、他のブロックと組み合わせられて分割プロセスを実行することができる。例えば、符号化ブロックと変換ブロックを組み合わせて１つユニットを構成する場合、分割プロセスを実行して最適なブロックサイズ及び形状を得る。これは、符号化ブロックの最適なブロックサイズ及び形状であってもよく、変換ブロックの最適なサイズ及び形状であってもよい。又は、符号化ブロックと変換ブロックを組み合わせて１つユニットを構成してもよい。予測ブロックと変換ブロックを組み合わせて１つユニットを構成してもよい。符号化ブロック、予測ブロック及び変換ブロックを組み合わせて１つユニットを構成してもよい。他のブロックを組み合わせてもよい。
本発明において、各ブロックにおいて単独した分割設定を提供することを説明する。また、複数のユニットを組み合わせて１つのユニットを構成して、１つの分割設定を共有してもよい。
上記プロセスにおいて、生成された情報は、エンコーダにおけるシーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ等における少なくとも１つのユニットとしてビットストリームに収録される。また、デコーダは、ビットストリームから関連情報を解析する。
画像の符号化／復号プロセスにおいて、入力画素値と出力画素値が異なる可能性がある。また、画素値の調整プロセス（Ａｄｊｕｓｔｍｅｎｔ）を実行することで、誤操作による歪みを防止することができる。画素値調整方法は、画素値範囲を超える画素値を画素値範囲内に調整するプロセスであり、クリッピング（Ｃｌｉｐｐｉｎｇ）と呼ばれてもよい。
Figure 0007373509000001
表１は、画素値調整を実行するためのクリッピング関数（Ｃｌｉｐ＿ｘ）の例示的なコードを示す。表１を参照すると、入力画素値（ｐｉｘｅｌ＿ｖａｌ）、許容される画素値範囲の最小値（ｍｉｎＩ）及び最大値（ｍａｘＩ）をクリッピング関数（Ｃｌｉｐ＿ｘ）のパラメータとして入力することができる。この場合、ビット深度（ｂｉｔ＿ｄｅｐｔｈ）に基づいて記述すると、最小値（ｍｉｎＩ）は、０であってもよく、最大値（ｍａｘＩ）は、（２ｂｉｔ＿ｄｅｐｔｈ－１）であってもよい。クリッピング関数（Ｃｌｉｐ＿ｘ）を実行する場合、最小値（ｍｉｎＩ）未満の入力画素値（ｐｉｘｅｌ＿ｖａｌ、パラメータＡ）は、最小値（ｍｉｎＩ）に変更される。また、最大値ｍａｘＩ（パラメータＣ）より大きい入力画素値を最大値（ｍａｘＩ）に変更することができる。従って、出力値（ｏｕｔｐｕｔ）を、画素値調整された出力画素値（ｐｉｘｅｌ＿ｖａｌ’）として返送することができる。
この場合、画素値範囲は、ビット深度によって決まるが、画像の種類及び特性によれば、画像を構成する画素値（例えば、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ、ブロック等）は、異なるため、全ての画素値範囲内で生成されるとは限らない。実際の画像を構成する画素値の範囲を参照しながら、これを画像の符号化／復号プロセスに用いることができる。
例えば、表１による画素値調整方法において、クリッピング関数の最小値（ｍｉｎＩ）を、実際の画像を構成する画素値のうちの最小値として用い、クリッピング関数の最大値（ｍａｘＩ）を、実際の画像を構成する画素値のうちの最大値として用いることができる。
要するに、画像の符号化／復号装置は、ビット深度に基づいた画素値調整方法及び／又は画像を構成する画素値の範囲に基づいた画素値調整方法を用いることができる。エンコーダ／デコーダにおいて、自己適応的画素値調整方法をサポートするかどうかを決定するためのフラグ情報をサポートすることができる。フラグ情報が「１」である場合、画素値調整方法選択情報を生成することができる。フラグ情報が「０」である場合、所定の画素値調整方法（該例において、ビット深度に基づいた方法である）を基本画素値調整方法とすることができる。画素値調整方法選択情報は、画像を構成する画素値の範囲に基づいた画素値調整方法を指示する場合、画像の画素値関連情報を含んでもよい。例えば、色成分の、各画像に関わる最小値及び最大値並び後述される中間値の情報を含んでもよい。調整時に生成された情報は、エンコーダのビデオ、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ、ブロックなどを単位として収録されて伝送される。また、デコーダに記録された情報を解析し、関連単位で関連情報を復元することができる。
一方で、前記プロセスにおいて、ビット深度に基づいた画素値調整又は画像を構成する画素値の範囲に基づいた画素値調整により、画素値の最小値及び最大値を含む画素値範囲を変更（決定又は定義）することができる。付加画素値範囲を変更（決定又は定義）することもできる。例えば、実際の画像を構成する画素値の最大値と最小値を変更することができ、画素値を構成するための中間値を変更することもできる。
つまり、ビット深度に基づいた画素値調整プロセスにおいて、ｍｉｎＩは、画像の最小画素値を表し、ｍａｘＩは、画像の最大画素値を表し、Ｉは、色成分を表し、ｍｅｄｉａｎＩは、画像の中心画素値を表す。ｍｉｎＩは、０であってもよく、ｍａｘＩは、（１＜＜ｂｉｔ＿ｄｅｐｔｈ－１）－１であってもよく、ｍｉｄＩは、１＜＜（ｂｉｔ＿ｄｅｐｔｈ－１）であってもよい。また、符号化／復号の設定に基づいて、上記例を含む他の形態でｍｅｄｉａｎＩを得ることができる。中間値は、本発明における説明のための用語だけであり、画像の符号化／復号プロセスにおいて、画素値調整プロセスにより変更（決定又は定義）される画素値範囲情報のうちの１つの情報を指す。
例えば、画像を構成する画素値の範囲に基づいた画素値調整プロセスにおいて、ｍｉｎＩは、画像の最小画素値であってもよく、ｍａｘＩは、画像の最大画素値であってもよく、ｍｅｄｉａｎＩは、画像の中心画素値であってもよい。ｍｅｄｉａｎＩは、画像における画素値の平均値であり、画像の画素にアライメントする場合に中心に位置する値であってもよく、画像の画素値範囲に基づいて得られた値であってもよい。少なくとも１つのｍｉｎＩ、ｍａｘＩにおいて、ｍｅｄｉａｎＩを導出することができる。つまり、ｍｅｄｉａｎＩは、画像の画素値範囲内で存在する１つの画素値であってもよい。
具体的に、ｍｅｄｉａｎＩは、例えば（ｍｉｎＩ＋ｍａｘＩ）／２又は（ｍｉｎＩ＋ｍａｘＩ）＞＞１、（ｍｉｎＩ＋ｍａｘＩ＋１）／２、（ｍｉｎＩ＋ｍａｘＩ＋１）＞＞１のような、画像の画素値範囲情報（該例において、ｍｉｎＩ、ｍａｘＩである）に基づいて得られた値であってもよい。また、符号化／復号の設定に基づいて、上記例を含む他の形態でｍｅｄｉａｎＩを得ることもできる。
続いて、画素値調整処理の実施例（該例において中間値である）を説明する。
一例として、基本ビット深度は、８ビット（０から２５５）であり、また、画像を構成する画素値の範囲に基づいた画素値調整プロセス（該例において、最小値が１０であり、最大値が１９０である。最小値及び最大値から（平均）中間値１００を導出する）を選択する。現在ブロックの位置が画像（該例においてピクチャである）における１つ目のブロックであれば、符号化／復号に用いられる隣接ブロック（該例において、左、左下、左上、上、右上である）が存在しない。従って、参照画像について、中間値１００でパディングすることができる。前記参照画像を利用して予測モードに基づいてフレーム内予測プロセスを実行することができる。
一例として、基本ビット深度は、１０ビット位（０から１０２３）であり、また、画像を構成する画素値の範囲に基づいた画素値調整プロセス（該例において、中間値が６００であり、関連シンタックス要素が存在する）を選択する。現在ブロックの位置が画像（該例においてｓｌｉｃｅ、ｔｉｌｅである）における１つ目のブロックであれば、符号化／復号に用いられる隣接ブロック（該例において、左、左下、左上、上、右上である）が存在しない。従って、参照画像について、中間値６００でパディングすることができる。前記参照画像を利用して予測モードに基づいてフレーム内予測プロセスを実行することができる。
一例として、基本ビット深度は、１０ビットであり、また、画像を構成する画素値の範囲に基づいた画素値調整プロセス（該例において、中間値が１１２であり、関連シンタックス要素が存在する）を選択する。隣接ブロックの符号化モード（フレーム内予測／フレーム間予測）等に基づいて、現在ブロックの予測において対応するブロックの画素を使用できるかどうかを決定するという設定を活性化する（該例において、対応するブロックの符号化モードがフレーム内予測である場合、現在ブロックの参照画素として用いることができ、フレーム内予測時に利用不可能である。該設定を非活性化する場合、現在ブロックの画素として用いることができるが、対応するブロックの符号化モードに関わらない。関連シンタックス要素は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇであり、Ｐ又はＢ画像タイプに発生する可能性がある）。現在ブロックが画像の左側に位置すると、符号化／復号に用いられる隣接ブロック（該例において、左、左下、左上である）は存在しない。符号化／復号に用いられる隣接ブロック（該例において、右及び右上である）が存在するが、該ブロックの符号化モードがフレーム間予測であるため、上記設定により無効化される。従って、利用可能な参照画素が存在しない。参照画素は、中間値（該例において１１２である）でパディングすることができる。つまり、利用可能な参照画素が存在しないため、画像画素値範囲における中間値でパディングすることができる。前記参照画像を利用して予測モードに基づいてフレーム内予測プロセスを実行することができる。
上記実施例において、予測部について、前記中間値に関わる全てのケースを示した。これは、ビデオ符号化／復号のもう１つの設定に含まれてもよい。また、本発明は、上記実施例に限定されず、様々な場合に、修正及び拡張を実行することができる。
本発明において、画素値調整プロセスは、予測部、変換部、量子化部、逆量子化部、逆変換部、フィルタ部、メモリ等による符号化／復号プロセスに適用可能である。例えば、画素値調整方法における入力画素は、予測プロセスにおける参照画素（Ｒｅｆｅｒｅｎｃｅ Ｓａｍｐｌｅ）又は予測画素（Ｐｒｅｄｉｃｔｉｏｎ Ｓａｍｐｌｅ）であってもよく、また、変換、量子化、逆変換及び逆量子化プロセスにおける復元画素（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｓａｍｐｌｅ）であってもよい。また、該画素は、ループフィルタリングプロセスにおける復元画素であってもよく、又はメモリに記憶された画素であってもよい。この場合、変換、量子化及び逆変換、逆量子化プロセスにおいて、復元画素は、ループフィルタを適用する前の復元画素であってもよい。ループフィルタにおける復元画素は、ループフィルタを適用した復元画素であってもよい。デブロッキングフィルタプロセスにおける復元画素は、復号フィルタを適用した復元画素であってもよい。ＳＡＯプロセスにおける復元画素は、ＳＡＯを適用した復元画素であってもよい。ＡＬＦプロセスにおける復元画素は、ＡＬＦを適用した復元画素であってもよい。上記のような様々なケースのような例を説明したが、本発明は、これに限定されず、画素値調整プロセスを呼び出す全ての符号化／復号プロセスの入力、中間、出力工程に適用可能である。
後述される例において、輝度成分のクリッピング関数Ｃｌｉｐ＿Ｙと色差成分Ｃｂ、Ｃｒのクリッピング関数Ｃｌｉｐ＿Ｃｂ、Ｃｌｉｐ＿Ｃｒをサポートすることを仮定して以下のように説明する。
本発明において、予測部をフレーム内予測とフレーム間予測に分類することができ、また、以下のようにフレーム内予測及びフレーム間予測を定義することができる。
フレーム内予測は、現在画像の符号化／復号（例えば、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ等）を完了する領域から予測値を生成する技術であってもよく、フレーム間予測は、現在画像の前の１つの符号化／復号を完了した画像（例えば、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ等）から予測値を生成する技術であってもよい。
また、フレーム内予測は、現在画像の符号化／復号を完了する領域から予測値を生成する技術であってもよいが、例えば、参照画像から予測値を生成するという方法、ブロックマッチング（Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ）、テンプレートマッチング（Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ）等の予測方法は、除外されてもよい。フレーム間予測は、少なくとも１つの符号化／復号を完了する画像から予測値を生成する技術であってもよく、前記符号化／復号を完了する画像は、現在画像を含むように構成されてもよい。
符号化／復号の設定が上記定義の１つに従うものであって、且つ１つ目の定義に従うと仮定する上で下記例を説明する。また、予測値を、空間ドメインにおいて予測により得られた値と仮定する上で説明するが、本発明は、これに限定されない。
図８は、本発明の実施例によるブロック分割プロセスを示す。詳しくは、１つの上記方法により、基本符号化ブロックから得られたブロックのサイズ及び形状の例を示す。
図面において、太実線は、基本符号化ブロックを表し、太点線は、四分木分割境界を表し、二重実線は、対称二分木分割境界を表し、実線は、三分木分割境界を表し、細点線は、非対称二分木分割境界を表す。太実線以外の線は、いずれも、各分割方法で分割された境界を表す。下記分割設定（例えば、分割種類、分割情報、分割情報設定順番等）は、対応する例に限定されず、多種の変換例を有してもよい。
説明を容易にするために、基本符号化ブロック（２Ｎ×２Ｎ。１２８×１２８）に基づいて、左上、右上、左下及び右下ブロック（ＮｘＮ，６４×６４）に、単独したブロック分割設定を有させることを仮定して、説明する。まず、初期ブロックにおいて、１つの分割操作（分割深度０－＞１である。つまり、分割深度が１増加した）により、４つのサブブロックを得る。また、四分木の分割設定について、最大符号化フロックが１２８×１２８であり、最小符号化ブロックが８×８であり、最大分割深度が４であると仮定する。これは、一般的に各ブロックに適用される設定である。
（１回、左上ブロック、Ａ１－Ａ６）
該例において、単一木分割（該例において、四分木である）をサポートする場合、１つのブロック分割設定（例えば、最大符号化ブロック、最小符号化ブロック、分割深度ブロック等）により、取得可能なブロックのサイズ及び形状を決定することができる。該例において、分割（水平及び垂直方向の２つの分割をそれぞれ実行する）により１つのブロックを取得できる時、１つの分割操作に必要な分割情報（分割前の４Ｍｘ４Ｎによれば、分割深度は１増加する）は、分割を実行するかどうかを示すフラグであり（該例において、０であれば、ｘ分割を行い、１であれば、ｏ分割を行う）、取得可能な候補は、４Ｍ×４Ｎ及び２Ｍ×２Ｎであってもよい。
（２回、右上ブロック、Ａ７からＡ１１）
該例において、多木分割（該例において、四分木、二分木である）をサポートする時、複数のブロック分割設定により、取得可能なブロックのサイズ及び形状を決定することができる。該例において、二分木の場合、最大符号化ブロックが６４×６４であり、且つ最小符号化ブロックの長さが４であり、最大分割深度が４であると仮定する。
該例において、分割で得られるブロックが２つ以上（該例において２又は４である）である場合、１回の分割操作（四分木分割深度が１増加する）に必要な分割情報は、分割を行うかどうかを示すフラグ、分割種類を示すフラグ、分割形状を示すフラグ、分割方向を示すフラグであり、取得可能な候補は、４Ｍ×４Ｎ、４Ｍ×２Ｎ、２Ｍ×４Ｎ、４Ｍ×Ｎ／４Ｍ×３Ｎ、４Ｍ×３Ｎ／４Ｍ×Ｎ、Ｍ×４Ｎ／３Ｍ×４Ｎ、３Ｍ×４Ｎ／Ｍ×４Ｎである。
四分木分割範囲と二分木分割範囲が重なり合い（つまり、現在のステップにおいて、四分木分割と二分木分割がいずれも使用できる範囲）、現在ブロック（分割前の状態）が、四分木分割により得られたブロックである（親ブロック＜分割深度が現在より１小さい場合＞は、四分木分割により得られたブロックである）場合、分割情報は、以下に分割されてもよい。つまり、複数の分割方法により、各分割設定によるブロックを得ることができる場合、下記カテゴリで分割情報を生成することができる。
Figure 0007373509000002
上記表において、ａは、四分木分割を実行するかどうかを示すフラグであり、１であれば、四分木分割（ＱＴ）を実行する。該フラグが０であれば、ｂを確認する。ｂは、二分木分割を実行するかどうかを示すフラグである。ｂが０であれば、該ブロックにおいて分割を実行しない（分割しない）。ｂが１であれば、二分木分割を実行する。
ｃは、分割方向を示すフラグである。０であれば、水平分割（ｈｏｒ）を表す。１であれば、垂直分割（ｖｅｒ）を表す。ｄは、分割形式フラグを表す。０であれば、対称分割（ＳＢＴ：Ｓｙｍｍｅｔｒｉｃ Ｂｉｎａｒｙ Ｔｒｅｅ）を表す。１であれば、非対称分割（ＡＢＴ：Ａｓｙｍｍｅｔｒｉｃ Ｂｉｎａｒｙ Ｔｒｅｅ）を表す。ｄが１である場合のみ、非対称分割における細分化割合（１／４又は３／４）の情報を確認する。０である場合、左／右ブロック又は上／下ブロックにおいて、左ブロックと上ブロックとの比は、１／４であり、上ブロックと下ブロックとの比は、３／４である。１である場合、逆の割合を有する。
（２）二分木分割のみが実行できる場合
上記表において、ａ以外のフラグｂからｅで、分割情報を表すことができる。
図８において、Ａ７ブロックの場合、事前分割ブロック（Ａ７からＡ１１）において四分木分割を実行できる（つまり、四分木分割を実行できるが、四分木分割ではなく、二分木分割になった場合）ため、（１）における分割情報の生成に対応する。
また、Ａ８からＡ１１の場合、事前分割ブロック（Ａ８からＡ１１）において四分木分割が実行されていないが、二分木分割が実行された場合（つまり、ブロック＜Ａ８からＡ１１＞において四分木分割を実行できなくなった場合）、（２）における分割情報の生成に対応する。
（３回、左下ブロック、Ａ１２からＡ１５）
該例において、多木分割（該例において、四分木、二分木、三分木である）をサポートし、且つ複数のブロック分割設定により、取得可能なブロックのサイズ及び形状を決定することができる。該例において、二分木／三分木の場合、最大符号化ブロックが６４×６４であり、最小符号化ブロックの一辺の長さが４であり、最大分割深度が４であると仮定する。
該例において、分割により取得可能なブロックが２以上である（該例において、２、３、４である）場合、一回の分割操作に必要な分割情報は、分割を行うかどうかを示すフラグ、分割種類を表すフラグ、分割形状を示すフラグ、分割方向を示すフラグであり、取得可能な候補は、４Ｍ ｘ ４Ｎ、 ４Ｍ ｘ ２Ｎ、２Ｍ ｘ ４Ｎ、４Ｍ ｘ Ｎ／４Ｍ ｘ ２Ｎ／４Ｍ ｘ Ｎ、Ｍ ｘ ４Ｎ／２Ｍ ｘ ４Ｎ／Ｍ ｘ ４Ｎである。
四分木の分割範囲が二分木／三分木の分割範囲と重なり合い、且つ現在ブロックが、四分木分割により得られたブロックであると、分割情報は、以下を含んでもよい。
Figure 0007373509000003
上記表において、ａは、四分木分割を実行するかどうかを示すフラグである。１であれば、四分木分割を実行する。該フラグが０であれば、二分木分割を実行するかそれとも三分木分割を実行するかを示すフラグであるｂを確認する。ｂが０であれば、該ブロックに対して更なる分割を実行しない。１であれば、二分木分割又は三分木分割を実行する。
ｃは、分割方向を示すフラグである。０であれば、水平分割を表す。１であれば、垂直分割を表す。ｄは、分割種類を表すフラグである。０であれば、バイナリ分割（ＢＴ）を表す。１であれば、三分木分割（ＴＴ）を表す。
（２）二分木／三分木分割のみが実行可能である場合
上記表において、ａ以外のフラグｂからｄで分割情報を表すことができる。
図８において、Ａ１２、Ａ１５ブロックは、事前分割ブロックＡ１２からＡ１５において四分木分割を実行できる場合に対応する。従って、（１）における分割情報の生成に対応する。
また、Ａ１３及びＡ１４は、事前分割ブロックＡ１３、Ａ１４における分割が四分木ではなく三分木であるため、（２）における分割情報の生成に対応する。
（４回、左下ブロック、Ａ１６－Ａ２０）
該例において、多木分割（該例において四分木、二分木、三分木である）をサポートし、複数のブロック分割設定により、取得可能なブロックのサイズ及び形状を決定することができる。該例において、二分木／三分木の場合、最大符号化ブロックが６４×６４であり、最小符号化ブロックの一辺の長さが４であり、最大分割深度が４であると仮定する。
該例において、分割（該例において、２、３、４である）により、２つ以上のブロックを得ることができる時、一回の分割操作に必要な分割情報は、分割を実行するかどうかを示すフラグ、分割種類を示すフラグ、分割形式を示すフラグ、分割方向を示すフラグである。取得可能な候補は、４Ｍ×４Ｎ、４Ｍ×２Ｎ、２Ｍ×４Ｎ、４Ｍ×Ｎ／４Ｍ×３Ｎ、４Ｍ×３Ｎ／４Ｍ×Ｎ、Ｍ×４Ｎ／３Ｍ×４Ｎ、３Ｍ×４Ｎ／Ｍ×４Ｎ、４Ｍ×Ｎ／４Ｍ×２Ｎ／４Ｍ×Ｎ、Ｍ×４Ｎ／２Ｍ×４Ｎ／Ｍ×４Ｎである。
四分木の分割範囲が二分木／三分木の分割範囲と重なり合い、現在のブロックが、四分木分割で得られたブロックである場合、分割情報は、以下を含んでもよい。
Figure 0007373509000004
上記表において、ａは、四分木分割を実行するかどうかを示すフラグである。１であれば、四分木分割を実行する。該フラグが０であれば、二分木分割を実行するかどうかを示すフラグｂを確認する。ｂが０であれば、該ブロックに対して更なる分割を実行しない。１であれば、二分木分割又は三分木分割を実行する。
ｃは、分割方向を示すフラグである。０であれば、水平分割を表す。１であれば、垂直分割を表す。ｄは、分割種類を示すフラグである。０であれば、三分木分割を表す。１であれば、二分木分割を表す。ｄが１であれば、分割形式に対応するフラグｅを確認する。ｅが０であれば、対称分割を実行する。ｅが１であれば、非対称分割を表す。ｅが１であれば、非対称分割における細部分割割合の情報情報を確認する。これは、上記例と同じである。
（２）二分木／三分木分割のみが実行できる場合
上記表において、ａ以外のフラグｂからｆで分割情報を表すことができる。
図８において、Ａ２０ブロックは、予備分割ブロックＡ１６からＡ１９において四分木分割を実行できるため、（１）における分割情報の生成に対応する。
また、Ａ１６からＡ１９の場合、予備分割ブロックＡ１６からＡ１９において四分木分割ではなく二分木分割を実行したため、（２）における分割情報の生成に対応する。
続いて、本発明における予測部のフレーム内予測を説明する。
図９は、画像の符号化／復号装置において予め定義されたフレーム内予測モードの例を示す図である。
図９を参照すると、６７個の予測モードは、フレーム内予測に用いられる予測モード候補グループとなるように構成される。ここで、６５個の予測モードは、方向性モード（２から６６）であり、２個の予測モードは、非方向性モード（ＤＣ、平面）である。この場合、方向性モードは、勾配（例えば、ｄｙ／ｄｘ）又は角度情報（度）に分けられてもよい。上記例で説明された全て又は一部の予測モードは、輝度成分又は色差成分の予測モード候補グループに含まれてもよく、他の付加モードは、予測モード候補グループに含まれてもよい。
また、色空間同士の相関性を利用することで、符号化／復号を完了したもう１つの色空間の復元ブロックを現在ブロックの予測に用いることができ、また、それをサポートする予測モードを含んでもよい。例えば、色差成分の場合、現在ブロックに対応する輝度成分の復元ブロックを利用して、現在ブロックの予測ブロックを生成することができる。つまり、色空間同士の相関性を考慮して、復元ブロックに基づいて予測ブロックを生成することができる。
符号化／復号の設定に基づいて、予測モード候補グループを自己適応的に決定することができる。予測の正確性を向上させるために、候補グループの数を増加させてもよい。また、予測モードによるビット量を減させるために、候補グループの数を減少させてもよい。
例えば、Ａ候補グループ（６７個であり、６５個の方向性モード及び２個の非方向性モードである）、Ｂ候補グループ（３５個であり、３３個の方向性モード及び２個の非方向性モードである）、Ｃ候補グループ（１８個であり、１７個の方向性モード及び１個の非方向性モードである）のうちの１つを選択し、ブロックのサイズ及び形状に基づいて、候補グループを自己適応的に選択又は決定することができる。
また、予測モード候補グループは、符号化／復号の設定に基づいて様々な設定を有してもよい。例えば、図２に示すように、図９において、モード同士の均等化方式で予測モード候補グループを背定する。又は、図９において、１８と３４とのモード数が２と１８とのモード数より大きいという方式で候補グループを設定することができる。又は、逆であってもよい。また、ブロックの形状（つまり、正方形、矩形＿水平長の場合、矩形＿垂直長の場合）に基づいて候補グループを自己適応的に設定することができる。例えば、現在ブロックの幅が高さより大きいと、２から１５に属するフレーム内予測モードを利用せず、６７から８０に属するフレーム内予測モードで置き換えを行うことができる。また、現在ブロックの幅が高さ未満であれば、５３から６６に属するフレーム内予測モードを利用せず、－１４から－１に属するフレーム内予測モードで置き換えを行うことができる。
本発明において、別途説明しない限り、同一のモード間隔を有する所定の予測モード候補グループ（候補グループＡ）を利用してフレーム内予測を実行するが、本発明の主な素子は、変更された後に、上記自己適応的フレーム内予測に用いることができる。
図９は、ブロックの形状が正方形又は矩形である場合にサポートされる予測モードであってもよい。また、ブロックの形状が矩形である場合、サポートされる予測モードは、上記例と異なる予測モードであってもよい。例えば、予測モード候補グループの数が異なる。又は、予測モード候補グループの数が同じであるが、ブロック長さがより長い予測モードは、密集する。逆に、予測モードを分散させるか又は逆にしてもよい。本発明において、図９に示すように、ブロックの形状に関わらず、予測モードについて、予測モード設定（方向性モード間の等しい間隔）をサポートする上で説明するが、他の状況にも適用可能である。
様々な方法で、予測モードに割り当てるインデックスを設定することができる。方向性モードの場合、予測モードの角度又は傾斜度情報に基づいて、事前設定された優先度情報に応じて、各モードに割り当てられるインデックスを決定することができる。例えば、ｘ軸又はｙ軸に対応するモード（図９におけるモード１８、５０）は、順位の高い優先度を有してもよい。また、前記水平又は垂直モードに基づいて４５度又は－４５度の角度差を有する対角線モード（モード２、３４、６６）は、次の優先度を有する可能性がある。前記対角線モードに基づいて２２．５度又は－２２．５度の角度差を有する対角線モードは、次の優先度を有する可能性がある。このような方式（次は、１１．２５度又は－１１．２５度等である）又は他の種々の方法で優先度情報を設定することができる。
又は、所定の予測モードに基づいて、特定の方向順でインデックスを割り当てることができる。例えば、図９に示すように、１つの対角線モード（モード２）から、時計回り方向に沿ってインデックスを割り当てることができる。下記例において、所定の予測モードに基づいて、時計回り方向に沿ってインデックスを割り当てることを例として説明する。
また、非方向性予測モードは、方向性モードに優先してインデックス情報を割り当てることができる。又は、方向性モード間でインデックス情報を割り当てることができる。又は、末端でインデックス情報を割り当てることができる。これは、符号化／復号の設定によって決まってもよい。該例において、非方向性モードについて予測モードのうち最も優先してインデックスを割り当てる例（低インデックス割り当てを利用する。モード０が平面であり、モード１がＤＣである）について、説明する。
上記例により、予測モードに割り当てられるインデックスの種々の例を説明したが、上記例に限定されず他の設定でインデックスを割り当ててもよい。又は、種々の変換例を有してもよい。
上記例において、予測モードにインデックスを割り当てる例において、優先度情報を説明したが、優先度情報は、予測モードにインデックスを割り当てることに用いられるだけでなく、予測モードの符号化／復号プロセスに用いられてもよい。例えば、優先度情報は、ＭＰＭ設定などに用いられてもよく、また、予測モードの符号化／復号プロセスにおいて、複数の優先度情報集合をサポートすることができる。
以下、現在ブロックのフレーム内予測モード（特に、輝度成分）を導出する方法を説明する。
現在ブロックは、画像の符号化／復号装置で予め定義されたデフォルトモードを用いることができる。前記デフォルトモードは、方向性モード又は非方向性モードであってもよい。例えば、方向性モードは、垂直モード、水平モード又は対角線モードのうちの少なくとも１つを含んでもよい。非方向性モードは、平面モード又はＤＣモードのうちの少なくとも１つを含んでもよい。現在ブロックがデフォルトモードを用いると決定する場合、現在ブロックのフレーム内予測モードをデフォルトモードとして設定することができる。
又は、複数のＭＰＭ候補に基づいて、現在ブロックのフレーム内予測モードを導出することができる。まず、前記予測モード候補グループから所定のＭＰＭ候補を選択することができる。ＭＰＭ候補の数は、３つ、４つ、５つ又はより多いの数であってもよい。現在ブロックに隣接する隣接ブロックのフレーム内予測モードに基づいて、ＭＰＭ候補を導出することができる。隣接ブロックは、現在ブロックの左側、上端、左上端、左下端又は右上端のうちの少なくとも１つに隣接するブロックであってもよい。
具体的には、左側ブロックのフレーム内予測モード（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ）と上端ブロックのフレーム内予測モード（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ）が同じであるかどうか、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが非方向性モードであるかどうかによって、ＭＰＭ候補を決定することができる。
例えば、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが同じであり、且つｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡが非方向性モードではない場合、現在ブロックのＭＰＭ候補は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ－ｎ）、（ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ＋ｎ）又は非方向性モードのうちの少なくとも１つを含んでもよい。ここで、ｎは、１、２又はより大きい整数であってもよい。前記非方向性モードは、平面モード又はＤＣモードのうちの少なくとも１つを含んでもよい。例えば、下記表２に示すように、現在ブロックのＭＰＭ候補を決定することができる。表２のインデックスは、ＭＰＭ候補の位置又は優先度を示すが、これに限定されない。例えば、ＤＣモードにｉｎｄｅｘ１を割り当てるか又はｉｎｄｅｘ４を割り当てることができる。
Figure 0007373509000005
又は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なり、且つｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢがいずれも非方向性モードではない場合、現在ブロックのＭＰＭ候補は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢ、（ｍａｘＡＢ－ｎ）、（ｍａｘＡＢ＋ｎ）又は非方向性モードのうちの少なくとも１つを含んでもよい。ここで、ｍａｘＡＢは、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ及びｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢのうちの最大値を表し、ｎは、１、２又はより大きい整数であってもよい。前記非方向性モードは、平面モード及びＤＣモードのうちの少なくとも１つを含んでもよい。例えば、下記表３に示すように、現在ブロックのＭＰＭ候補を決定することができる。表３のインデックスは、ＭＰＭ候補の位置又は優先度を示すが、これに限定されない。例えば、ＤＣモードに最大のｉｎｄｅｘを割り当てることができる。ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢとの差が所定の閾値範囲内である場合、表３におけるＭＰＭ候補１を適用する。そうでなければ、ＭＰＭ候補２を適用する。ここで、閾値範囲は、２以上６２以下の範囲であってもよい。
Figure 0007373509000006
又は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なり、且つｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ及びｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢのうちの１つのみが非方向性モードである場合、現在ブロックのＭＰＭ候補は、ｍａｘＡＢ、（ｍａｘＡＢ－ｎ）、（ｍａｘＡＢ＋ｎ）又は非方向性モードのうちの少なくとも１つを含んでもよい。ここで、ｍａｘＡＢは、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡ及びｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢの最大値を表し、ｎは、１、２又はより大きい整数であってもよい。前記非方向性モードは、平面モード及びＤＣモードのうちの少なくとも１つを含んでもよい。例えば、表４に示すように、現在ブロックのＭＰＭ候補を決定することができる。表４のｉｎｄｅｘは、ＭＰＭ候補の位置又は優先度を示すが、これに限定されない。例えば、ＤＣモードにインデックス０を割り当てるか又は最大ｉｎｄｅｘを割り当てる。
Figure 0007373509000007
又は、ｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢが異なり、且つｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＡとｃａｎｄＩｎｔｒａＰｒｅｄＭｏｄｅＢがいずれも非方向性モードである場合、現在ブロックのＭＰＭ候補は、非方向性モード、垂直モード、水平モード、（垂直モード－ｍ）、（垂直モード＋ｍ）、（水平モード－ｍ）又は（水平モード＋ｍ）のうちの少なくとも１つを含んでもよい。ここで、ｍは、１、２、３、４又はより大きい整数であってもよい。前記非方向性モードは、平面モード及びＤＣモードのうちの少なくとも１つを含んでもよい。例えば、下記表５に示すように、現在ブロックのＭＰＭ候補を決定することができる。表５のｉｎｄｅｘは、ＭＰＭ候補の位置又は優先度を示すが、これに限定されない。例えば、水平モードにｉｎｄｅｘ１を割り当てる又は最大ｉｎｄｅｘを割り当てることができる。
Figure 0007373509000008
前記複数のＭＰＭ候補のうち、ＭＰＭインデックスにより示されるＭＰＭ候補は、現在ブロックのフレーム内予測モードと設定されてもよい。ＭＰＭインデックスは、画像の符号化装置により符号化してシグナルリングすることができる。
上述したように、デフォルトモード又はＭＰＭ候補のうちのいずれか１つを選択的に利用することでフレーム内予測モードを導出することができる。符号化装置からシグナルリングされているフラグに基づいて選択を実行することができる。この場合、フラグは、現在ブロックのフレーム内予測モードをデフォルトモードにするかどうかを示すことができる。前記フラグが第１値であれば、現在ブロックのフレーム内予測モードをデフォルトモードにする。そうでなければ、現在ブロックのフレーム内予測モードをＭＰＭ候補から導出するかどうかに関する情報、ＭＰＭインデックス等の情報をシグナルリングすることができる。
色差成分は、輝度成分の予測モード候補グループと同じである候補グループを有してもよく、又は輝度成分の予測モード候補グループのうちの一部のモードによって候補グループを構成してもよい。この場合、色差成分の予測モード候補グループは、固定構成又は可変（又は自己適応的な）構成を有してもよい。
（固定候補グループ構成ｖｓ可変候補グループ構成）
固定構成の例として、輝度成分の予測モード候補グループのうちの一部のモード（例えば、ＤＣモード、平面モード、垂直モード、水平モード、対角線モードであると仮定し、対角線モードが、ＤＬ、ＵＬ、ＵＲのうちの少なくとも１つのモードであると仮定し、ＤＬは、右下から右上への方向に予測を行い、ＵＬは、左上から右下への方向に予測を行い、ＵＲは、右上から左下への方向に予測を行い、それぞれ図９におけるモード２、３４及び６６であると仮定し、また、他の対角線モードであってもよい）を色差成分の予測モード候補グループとして構成し、フレーム内予測を実行する。
可変構成の一例として、輝度成分の予測モード候補グループのうちの一部のモード（例えば、ＤＣモード、平面モード、垂直モード、水平モード、対角ＵＲモードであると仮定し、通常、多く選択されるモードを基本予測モード候補グループとして構成する）を色差成分の基本予測モード候補グループとして構成する。前記候補グループに含まれるモードが色差成分の特性を正確に反映できない可能性があり、これを改良するために、色差成分の予測モード候補グループ構成を変えてもよい。
例えば、色差成分のブロックと同じ位置又はそれに対応する位置の輝度成分のブロック又はサブブロックの少なくとも１つの予測モードを（後続の例１）基本予測モード候補グループに含ませることができる。又は、幾つかのモードを置き換えて、新たな予測モード候補グループ（後続の例２）を構成することができる。例えば、輝度成分における、色差成分＜色フォーマットによる＞に対応する位置は、１つのブロックで構成されず、ブロック分割により複数のサブブロックに分割される場合、所定の位置のブロックを表す。この場合、色差成分のブロックに対応する輝度成分ブロックにおける左上、右上、左下、右下、中間、上中、下中、左中，右中等の位置で所定ブロックの位置を決定する。画像内の座標で区別するとした場合、左上は、（０，０）座標を含む位置であってもよく、右上は、（ｂｌｋ＿ｗｉｄｔｈ－１，０）座標を含む位置であってもよく、左下は、（０，ｂｌｋ＿ｈｅｉｇｈｔ－１）座標を含む位置であってもよく、右下は、（ｂｌｋ＿ｗｉｄｔｈ－１，ｂｌｋ＿ｈｅｉｇｈｔ－１）座標を含む位置であってもよく、中心は、（ｂｌｋ＿ｗｉｄｔｈ／２－１，ｂｌｋ＿ｈｅｉｇｈｔ／２－１）、（ｂｌｋ＿ｗｉｄｔｈ／２，ｂｌｋ＿ｈｅｉｇｈｔ／２－１）、（ｂｌｋ＿ｗｉｄｔｈ／２－１，ｂｌｋ＿ｈｅｉｇｈｔ／２）、（ｂｌｋ＿ｗｉｄｔｈ／２，ｂｌｋ＿ｈｅｉｇｈｔ／２のうちの１つの座標を含む位置であってもよく、上中は、（ｂｌｋ＿ｗｉｄｔｈ／２－１，０）、（ｂｌｋ＿ｗｉｄｔｈ／２，０）のうちの１つの座標を含む位置であってもよく、下中は、（ｂｌｋ＿ｗｉｄｔｈ／２－１，ｂｌｋ＿ｈｅｉｇｈｔ－１）、（ｂｌｋ＿ｗｉｄｔｈ／２，ｂｌｋ＿ｈｅｉｇｈｔ－１）のうちの１つの座標を含む位置であってもよく、左中は、（０，ｂｌｋ＿ｈｅｉｇｈｔ／２－１）、（０，ｂｌｋ＿ｈｅｉｇｈｔ／２）のうちの１つの座標を含む位置であってもよく、右中は、（ｂｌｋ＿ｗｉｄｔｈ－１，ｂｌｋ＿ｈｅｉｇｈｔ／２－１）、（ｂｌｋ＿ｗｉｄｔｈ－１，ｂｌｋ＿ｈｅｉｇｈｔ／２）のうちの１つの座標を含む位置であってもよい。つまり、前記座標位置を含むブロックを意味する。上記ｂｌｋ＿ｗｉｄｔｈとｂｌｋ＿ｈｅｉｇｈｔは、輝度ブロックの水平及び垂直方向の長さを指す。座標は、上記に限定されず、他を含んでもよい。次の記述において、色差成分の予測モード候補グループに追加される輝度成分の予測モード＜又は色モード＞は、所定の優先度＜例えば、左上－右上－左下－右下－中間とする＞に基づいて、少なくとも１つの予測モードを追加する。２つの予測モードを追加する場合、上記設定に基づいて、左上ブロックのモード及び右上ブロックのモードを追加する。この場合、左上及び右上位置でのブロックは、１つのブロックで構成される場合、次の優先度の左下ブロックモードを追加する。
又は、現在ブロックを中心として、左、上、左上、右上、左下等に位置する隣接ブロック又は対応するブロックのサブブロック（隣接ブロックが複数のブロックで構成される場合）の少なくとも１つの予測モード（所定の位置のブロックに隣接ブロックを指してもよい。複数のモードが色差成分の予測モード候補グループに含まれる時、優先度に応じて候補集合として所定の優先度のブロック、及びサブブロック内に位置する所定の優先度のサブブロックの予測モードを含んでもよい）を、基本予測モード候補グループに含ませることができる。又は、一部のモードを置き換えることで新たな予測モード候補グループを構成することができる。
上記記述に付加内容が追加される場合、輝度成分のブロック又は隣接ブロック（輝度ブロック）の予測モードを含んでもよいだけでなく、該予測モードから導出された少なくとも１つのモードを色差成分の予測モードとして含んでもよい。下記例において、輝度成分の予測モードを色差成分の予測モードとして含む例を挙げる。輝度成分の予測モードから導出された予測モード（例えば、該モードの隣接モード、方向性モードを例として、水平モード１８が輝度成分の予測モードである場合、モード１７、１９、１６等のモードは、導出された予測モードに相当する。色差成分の複数の予測モードを色差成分の予測モード候補グループとする場合、候補グループ構成の優先度は、輝度成分の予測モードから輝度成分の予測モードから導出されたモードまでの順番に応じて設定されてもよい）又は隣接ブロックの予測モードから導出された予測モードを色差成分の予測モード候補グループとして含む例に関する詳細な説明を省略するが、下記記載と同様な構成又は変わった構成を適用することができる。
一例（１）として、輝度成分の予測モードが色差成分の予測モード候補グループのうちの１つと合致した場合、候補グループの構成が同じであり（候補グループの数が不変のままであり）、合致しない場合、候補グループの構成は、異なる（候補グループの数は増加する）。
上記例における候補グループの構成が同じである場合、予測モードのインデックスは、同じであってもよいか又は他のインデックスが割り当てられてもよい。これは、符号化／復号の設定によって決まってもよい。例えば、色差成分の予測モード候補グループのインデックスが平面０、ＤＣ１、垂直２、水平３、対角線ＵＲ４であると、輝度成分が水平である場合、予測モード候補グループの構成は、不変のままであり、各予測モードのインデックスは、不変のままであり、又は他のインデックス（該例において、水平０、平面１、ＤＣ２、垂直３、対角線ＵＲ４）が割り当てられてもよい。上記インデックス再設定は、予測モード符号化／復号プロセスにおいて、少ないモードビット（少ないビッドを小さなインデックスに割り当てると仮定する）を生成するために実行されるプロセスの例であってもよい。
上記例における候補グループの構成が異なる場合、予測モードのインデックスが不変のままである場合に追加されてもよい又は異なるインデックスが割り当てられてもよい。例えば、予測モード候補グループのインデックス構成が前記例と同じであると、輝度成分の予測モードが対角線ＤＬである場合、予測モード候補グループの構成を１増加させる。また、現在の候補グループの予測モードのインデックスが不変のままであり、新規追加されたモードのインデックスを最終のものとするか（該例において、対角線ＤＬ５である）又は他のインデックスを割り当てることができる（該例において、対角線ＤＬ０、平面１、ＤＣ２、垂直３、水平４、対角線ＵＬ５）。
例（２）として、輝度成分の予測モードが、色差成分の予測モード候補グループのうちの１つと合致した場合、候補グループの構成が同じである（候補グループのモードが不変のままである）。また、合致しない場合、候補グループの構成が異なる（候補グループのモードのうちの少なくとも１つを置き換える）。
上記例における候補グループの構成が同じである場合、予測モードのインデックスは同じであってもよく又は他のインデックスが割り当てられてもよい。例えば、色差成分の予測モード候補グループのインデックスが平面０、ＤＣ１、垂直２、水平３、対角線ＵＲ４であると、輝度成分の予測モードが垂直である場合、予測モード候補グループの構成は、不変のままであり、また、各予測モードのインデックスは不変のままである。又は、他のインデックスを割り当ててもよい（該例において、垂直０、水平１、対角線ＵＬ２、平面３、ＤＣ４である。輝度成分のモードが方向性モードである場合の方向性モードが前に位置する例、輝度成分が非方向性である場合の非方向性モードが前に位置する例であってもよいが、これに限定されない）。
上記例における候補グループの構成が異なる場合、予測モードのインデックスが不変のままであるモードは、不変であり、且つ置き換えたモードのインデックスを変更モードに割り当てることができるか又は現在と異なるインデックスを複数の予測モードに割り当てることができる。例えば、予測モード候補グループのインデックス構成が上記例と同じであり、輝度成分の予測モードが対角線ＤＬである場合、予測モード候補グループのうちの１つのモード（本例において対角線ＵＬである）を置き換える。また、現在の候補グループの予測モードインデックスは、不変のままである。置き換えられるモードのインデックスを割り当て、新規追加されたモードのインデックス（例えば、対角線ＤＬ４）とする。又は、他のインデックス（該例において、対角線ＤＬ０、平面１、ＤＣ２、垂直（３）、水平４）を割り当てる。
前記説明において、より少ないモードビットを割り当てることを目的として、インデックスの再設定の例を示すが、これは、符号化／復号の設定による例だけであり、他の例を有してもよい。予測モードのインデックスが不変のままであれば、少量のビットを小さいインデックスに割り当てる二値化を実行することができる。又は、インデックスの大きさと無関係にビットを割り当てる二値化を実行することができる。例えば、再設定された予測モード候補グループが、平面０、ＤＣ１、垂直２、水平３、対角線ＤＬ４である場合、大きいインデックスを対角線ＤＬに割り当てても、輝度成分から得られたモードであるため、他の予測モードよりも少ないモードビットと設定することができる。
前記予測モードは、画像タイプと無関係にサポートされるモードであってもよい。幾つかの画像（例えば、画像Ｉタイプがサポートするモードであるが、画像タイプＰ又はＢがサポートしないモードである）タイプに基づいて、サポートされるモードであるかどうかを決定することができる。
上記例で説明される内容は、例示に過ぎず、付加又は変更された例を有してもよい。また、上記例で説明される符号化／復号の設定は、暗黙的に決定されてもよく又はビデオ、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ等を単位として関連情報を明示的に含んでもよい。
（同一の色空間における予測値の取得ｖｓ他の色空間における予測値の取得）
上記例で説明されるフレーム内予測モードの場合、同一の時刻、同一の空間内の隣接領域から、予測ブロックの生成に用いられるデータを得る方法（例えば、補外、補間、平均化など）の予測モードを説明する。
また、同一の時刻、異なる空間内の領域から、予測ブロックの生成に用いられるデータを得る方法の予測モードをサポートすることができる。
例えば、上記内容の例は、色空間同士の相関性を利用して他の色空間から予測ブロックの生成に用いられるデータを得る方法の予測モードであってもよい。この場合、ＹＣｂＣｒを例とした場合、色空間同士の相関性は、ＹとＣｂ、ＹとＣｒ、ＣｂとＣｒの相関性を表すことができる。つまり、色差成分Ｃｂ又はＣｒの場合、現在ブロックに対応する輝度成分の復元ブロックを現在ブロックの予測ブロックとして生成することができる（色差ｖｓ輝度は、後述される例の基本構成である）。又は、幾つかの色差成分（Ｃｒ又はＣｂ）の現在ブロックに対応する幾つかの色差成分（Ｃｂ又はＣｒ）の復元ブロックを色差成分（Ｃｒ又はＣｂ）の予測ブロックとして生成することができる。この場合、他の色空間の復元ブロックを予測ブロックとして直接的に生成することができる（つまり、補正を実行しない）。又は、色同士の相関性を考慮して得られたブロックを予測ブロックとして生成することができる（例えば、現在の復元ブロックに対して補正を実行する。Ｐ＝ａ＊Ｒ＋ｂにおいて、ａ及びｂは、補正にもちられる値を表す。Ｒ及びＰはそれぞれ、様々な色空間で得られた値及び現在の色空間の予測値を表す）。
該例において、色空間同士の相関性を用いることで得られたデータを現在ブロックの予測値として用いることを例として説明するが、該データを、既存の現在ブロックの予測値を補正する補正値（例えば、他の色空間の残差値を補正値として用いる。つまり、他の予測値が存在し、該予測値に対して補正を行う。これらの予測値を加算した値も予測値である。詳しく区別するために説明する）として用いることもできる。本発明において、前者を説明するが、本発明はこれに限定されず、同じ補正値又は変換した補正値を用いることもできる。
前記予測モードは、画像タイプと関係なくサポートされるモードであってもよい。幾つかの画像（例えば、画像タイプＩがサポートするモードであるが、画像タイプＰ又はＢがサポートしないモードである）タイプに基づいて、サポートされるモードであるかどうかを決定することもできる。
（相関性情報の取得のために比較される部分）
上記例において、色空間同士の相関性情報（ａ、ｂ等）は、相関情報を明示的に含んでもよく、暗黙的に得られたものであってもよい。この場合、相関情報を得るために比較される領域は、１）色差成分の現在ブロックと輝度成分に対応するブロックであってもよい。又は、２）色差成分の現在ブロック的の隣接領域（例えば、左ブロック、上ブロック、左上ブロック、右上ブロック、左下ブロック等）と輝度成分に対応するブロックに隣接する領域であってもよい。前者は、明示的な処理の場合の例であり、後者は、暗黙的な処理の場合の例である。
例えば、各色空間の少なくとも１つの画素値の比較などにより関連情報を得る（この場合、比較される画素値（Ｐｉｘｅｌ Ｖａｌｕｅ）は、各色空間における１つの画素（Ｐｉｘｅｌ）から得られた画素値であってもよく、また、複数の画素から得られた画素値であってもよい。加重平均化などのフィルタリングプロセスにより導出さた画素値である。つまり、各色空間の１つの画素値の比較のために参照又は使用される画素の数は、１つの画素ｖｓ１つの画素、１つの画素ｖｓ複数の画素等であってもよい。この場合、前者は、予測値を生成するための色空間である可能性があり、後者は、参照として用いられる色空間である可能性がある。上記例は、色フォーマットによるものであってもよい。又は、色フォーマットと無関係な方式で色成分の１つの画素値を輝度成分に対応する１つの画素の画素値と比較し、色差成分の１つの画素の画素値を輝度成分の複数の画素に対してフィルタリング＜ａ－ｔａｐ ｓｅｐａｒａｔｅ １Ｄ ｆｉｌｔｅｒ、ｂ ｘ ｃ ｍａｓｋ ｎｏｎ－ｓｅｐａｒａｂｌｅ ２Ｄ ｆｉｌｔｅｒ、ｄ－ｔａｐ ｄｉｒｅｃｔｉｏｎａｌ ｆｉｌｔｅｒ等＞を行うことで得られた画素値と比較し、符号化／復号の設定に基づいて、両者のうちの１つの方法を利用することができる。上記において、色差及び輝度の例を説明するが、色差＜Ｃｂ＞及び色差＜Ｃｒ＞の変換例を有してもよい）。
上記例において、関連情報を暗黙的に取得する時に比較する領域は、現在の色成分の現在ブロックの最近傍画素ライン（例えば、ｐ［－１，－１］～ｐ［ｂｌｋ＿ｗｉｄｔｈ－１，－１］、ｐ［－１，０］～ｐ［－１，ｂｌｋ＿ｈｅｉｇｈｔ－１］に含まれる画素）及びそれに対応する他の色空間の画素ライン、又は現在の色成分の現在ブロックの複数の画素ライン（例えば、上記場合、ｐ［－２，－２］～ｐ［ｂｌｋ＿ｗｉｄｔｈ－１，－２］、ｐ［－２，－１］～ｐ［－２，ｂｌｋ＿ｈｅｉｇｈｔ－１］を含む複数の画素ラインに含まれる画素）及びそれに対応する他の色空間の画素ラインであってもよい。
具体的には、色フォーマットが４：２：０であると仮定する。現在色空間（該例において色差である）における１つの画素の画素値を比較するために、他の色空間（該例において輝度である）における対応する４つの画素（色差成分の１つの画素は、輝度成分の２×２内の４つの画素に対応する）における所定の位置（該例において、２×２内の左上、右上、左下、右下から選択する）での１つの画素の画素値を用いることができる。又は、色度空間における１つの画素の画素値を比較するために、輝度空間における複数の画素（例えば、対応する２×２画素のうちの少なくとも２つの画素など）に対してフィルタリングを実行することで得られた画素値を用いることができる。
要するに、現在ブロックの隣接領域の復元した画素又はそれに対応する他の色空間の復元した画素から前記パラメータ情報を導出することができる。つまり、関連情報に基づいて、少なくとも１つのパラメータを生成することができ（例えば、ａ又はｂ、ａ１、ｂ１又はａ２、ｂ２等）、また、他の色空間における復元ブロックと乗算又は加算される値（例えば、ａ、ａ１、ａ２／ｂ、ｂ１、ｂ２）としてもよい。
この場合、上記例で比較された画素の利用可能性を確認した後に比較処理を実行することができる。例えば、隣接領域が利用可能である場合、それを、比較される画素に作用させることができる。隣接領域が利用不可能である場合、符号化／復号の設定によって決まってもよい。例えば、隣接領域における画素が利用不可能である場合、色空間の相関情報を得るプロセスにおいてそれを除外することができる。又は、利用不可能な領域をパディングした後にそれを比較プロセスに含ませることができる。これは、符号化／復号の設定によって決まってもよい。
例えば、色空間同士の相関性情報を得るプロセスにおいて除外される場合、少なくとも１つの色空間の画素を含む領域が利用不可能である例であってもよい。詳しくは、２つの色空間のうちの画素が利用不可能であるか又は２つの色空間の画素が利用不可能である例である。これは、符号化／復号の設定によって決まってもよい。
又は、利用不可能な領域において、比較のためのデータをパディングした後（又は、参照画素パディングプロセスに類似した操作）、色空間同士の相関性情報を得るためのプロセスを実行する場合、種々のパディング方法を用いることができる。例えば、所定の画素値（例えば、ビット深度の中間値１＜＜（ｂｉｔ＿ｄｅｐｔｈ－１）、画像の実際画素の最小値と最大値との値、画像の実際画素の平均値、中間値など）でパディングすることができる。又は、隣接画素又は隣接画素に対してフィルタリング（参照画素フィルタリングプロセスに類似した操作）を実行することで得られた値でパディングすることができる。又は、他の方法を用いることができる。
図１０は、相関性情報を得るために色空間同士の画素を比較する例を示す。説明を容易にするために、４：４：４の色フォーマットを用いると仮定する。この場合、色フォーマットの成分比に基づいて後続のプロセス（つまり、成分比による変換プロセスを含む）を説明する。
Ｒ０は、両側の色空間領域を使用できる例を表す。両側の色空間領域がいずれも使用可能な領域であるため、比較仮定において、対応する領域の画素を使用して関連情報を得ることができる。
Ｒ１は、両側の色空間領域のうちの１つが使用不可能である例を表す（該例において、現在の色空間の隣接空間が使用可能であり、他の色空間に対応する領域が使用不可能である）。種々の方法で、使用不可能な領域をパディングした後、使用不可能な領域を比較プロセスに用いることができる。
Ｒ２は、両側の色空間領域のうちの１つが使用不可能である例を表す（該例において、色空間の隣接領域が使用不可能であり、他の色空間に対応する領域は、使用可能である）。片側で使用不可能な領域が存在するため、比較プロセスにおいて、２つの色空間に対応する領域を用いることができない。
Ｒ３は、両側の色空間領域がいずれも使用不可能である例を表す。種々の方法で、使用不可能な領域をパディングする。これを比較プロセスに用いることができる。
Ｒ４は、両側の色空間領域がいずれも使用不可能である例を表す。両側でいずれも、使用不可能な領域が存在するため、比較プロセスにおいて、両側の色空間に対応する領域を用いることができない。
また、図１０と異なっており、現在ブロックの隣接領域又は他の色空間に対応する領域がいずれも使用不可能である場合、様々な設定を行うことができる。
一例として、所定値（該例において、ａは、１であり、ｂは、０である）をａ及びｂに割り当てることができる。この場合、１つのモードを保持することを意味する可能性がある。該モードは、現在ブロックの予測ブロックを用いてもう１つの色空間のデータをパディングする。また、このような場合、予測モード符号化／復号を実行する時、該モードの発生（又は選択）確率又は優先度は、現在の場合と異なるように設定されてもよい（例えば、選択確率を低い確率と見做すか又は優先度を優先順位の低い優先度と設定する。換言すれば、正確度の低い相関性情報であるため、該予測モードにより得られた予測ブロックの正確度が極めて低い可能性がある。最終的に最適な予測モードとして選択されることが不能である）。
例えば、比較されるデータが存在しないため、現在ブロックの予測ブロックでもう１つの色空間のデータをパディングするモードをサポートしない可能性がある。つまり、該モードは、少なくとも１つの使用可能な領域が存在する場合にサポートされるモードであってもよい。この場合、予測モード符号化／復号を実行する時、他のモードで該モードで代替することを許容しないと設定してもよい。前者は、予測モード候補グループの数を維持する設定であってもよく、後者は、予測モード候補グループの数が減少した設定であってもよい。
上記例に限定されず、様々な変換例を有してもよい。
上記例において、使用不可能な場合は、該領域において符号化／復号が完了されていない場合、画像（例えば、ピクチャ，ｓｌｉｃｅ，ｔｉｌｅ等）の境界外に位置する（つまり、現在ブロック及び該領域は、同一の画像内に含まれない）場合を指す。また、符号化／復号の設定（例えば、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ等。例えば、Ｐ又はＢ ｓｌｉｃｅ／タイプの場合、上記フラグが１であり、対応する領域の符号化モードがＩｎｔｅｒである時）に基づいて、使用不可能なものを追加することができる。
後述される例において、色空間の比較により関連情報を得た後、他の色空間の復元データを使用して現在ブロックの予測ブロックを生成する場合、上記制限が生じる可能性がある。つまり、上述したように、現在ブロックに対応する他の色空間の領域が使用不可能である場合、該モードの使用は、制限されるか又は利用不可能になる可能性がある。
上記プロセスで得られた色空間同士の相関性情報を表すパラメータ及び現在ブロックに対応する他の色空間の復元データを使用して現在ブロックの予測値を生成することができる。この場合、現在ブロックの予測に用いられる他の色空間の復元データは、所定の位置での画素の画素値又はフィルタリングプロセスにより得られた画素値であってもよい。
例えば、４：４：４の場合、色度空間の１つの画素の予測性を生成するために、輝度空間において、画素に対応する画素値を用いることができる。又は、色度空間の１つの画素の予測値を生成するために、輝度空間において、複数の画素（例えば、対応する画素を中心として、左、右、上、下、左上、右上、左下、右下等の方向に位置する画素。５－ｔａｐ及び７－ｔａｐフィルタを用いることを例として、対応する画素を中心とした、左、右、上、下でそれぞれ２つ、３つが存在すると理解されてもよい）に対してフィルタリングを実行することで得られた画素値を用いることができる。
例えば、４：２：０の場合、色度空間の１つの画素の予測値を生成するために、輝度空間における対応する４つの画素（色差成分の１つの画素は、輝度成分の２×２個の画素に対応する）における所定の位置（左上、右上、左下、右下から選択される）での１つの画素の画素値を用いることができる。又は、色度空間の１つの画素の予測値を生成するために、輝度空間において複数の画素（例えば、対応する２×２画素のうちの少なくとも２つの画素である。又は、２×２画素を中心として、左、右、上、下、左上、右上、左下、右下などの方向に位置する画素である）に対してフィルタリングを実行することで得られた画素値を用いることができる。
要するに、上記プロセスで得られた相関性情報を表すパラメータを他の色空間で得られた画素値に適用（乗算又は加算など）することで、画素値を得て、現在色空間内の画素の予測値とすることができる。
上記例において、幾つかの色フォーマット、幾つかの画素値取得プロセスなどを説明したが、これに限定されず、他の場合に、同一の例又は修正した例を用いることができる。
（同一の色空間での予測値の取得ｖｓ異なる色空間での予測値の取得）で説明された内容は、固定の候補グループ構成ｖｓ可変候補グループ構成に適用可能である。例えば、他の色空間において予測値を取得できない場合、候補グループに、予測値の置き換えモードが含まれてもよい。
上記例によれば、上記予測モードの場合、画像、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅを単位として関連情報（例えば、サポートするかどうかに関わる情報、パラメータ情報など）を含んでもよい。
要するに、方法（上記方法は、符号化／復号の設定に基づいて、同一の時刻、同一の空間内の隣接領域から、予測ブロックの生成に用いられるデータを取得する方法である）に関わる予測モード（モードＡ）で、予測モード候補グループを構成する。又は、前記予測モード以外に、予測モード候補グループは、方法（上記方法は、同一の時刻、異なる空間内の領域から、予測ブロックの生成に用いられるデータを取得する方法である）に関わる予測モード（Ｂ＿ｍｏｄｅ）を含んでもよい。
上記例において、モードＡのみ又はモードＢの身を用いて予測モード候補グループを構成することができる。また、モードＡとモードＢを混用することで予測モード候補グループを構成することができる。また、予測モード候補グループ構成に関わる設定情報を明示的に生成するできる。又は、予測モード候補グループ構成に関わる情報を予め暗黙的に決定することができる。
例えば、幾つかの符号化／復号の設定（該例において画像タイプである）と関係なく、同じ構成を有してもよい。又は、幾つかの符号化／復号の設定に基づいて単一の構成を有してもよい（例えば、Ｉ画像タイプにおいて、モードＡ、モードＢ＿１＜色モード＞、モードＢ＿２＜カラーコピーモード＞で予測モード候補グループを構成し、Ｐ画像タイプにおいて、モードＡ、モードＢ＿１で予測モード候補グループを構成し、Ｂ画像タイプにおいて、モードＡ及びモードＢ＿２で予測モード候補グループ等を構成する）。
本発明において、輝度成分のための予測モード候補グループは、図９に示すとおりである。色差成分の予測モード候補グループは、図９において水平、垂直、対角線モード（図９における平面、ＤＣ、カラーモード１、カラーモード２、カラーモード３、カラーコピーモード１、カラーコピーモード２、隣接ブロックモード１（左ブロック）、隣接モード２（上ブロック））で構成されることを例として説明するが、他の種々の予測モード候補グループ構成を有してもよい。
本発明の実施例による画像の符号化方法において、フレーム内予測は、以下のように構成されてもよい。予測部のフレーム内予測は、参照画素配置ステップ、予測ブロック生成ステップ、予測モード決定ステップ及び予測モード符号化ブロックを含んでもよい。また、画像の符号化装置は、参照画像配置ステップ、予測ブロック生成ステップ、予測モード決定ステップ、予測モード符号化ステップを実現させるための参照画素配置部、予測ブロック生成部、予測モード符号化部を備えるように構成されてもよい。上記プロセスのうちの幾つかのステップを省略してもよく、他のステップを追加してもよく、上記順番以外の他の順番に変換してもよい。
また、本発明の実施例による画像復号方法において、フレーム内予測は、以下のように構成されてもよい。予測部のフレーム内予測は、予測モード復号ステップ、参照画素配置ステップ、予測ブロック生成ステップを含んでもよい。また、画像の復号装置は、予測モード復号ステップ、参照画素配置ステップ、予測ブロック生成ステップを実現させるための予測モード復号部、参照画素配置部、予測ブロック生成部を備えるように構成されてもよい。上記プロセスのうちの幾つかのステップを省略してもよく、他のステップを追加してもよく、上記順番以外の他の順番に変換してもよい。
前記予測ブロックブロック生成ステップにおいて、現在ブロック（例えば、符号化ブロック、予測ブロック、変換ブロック等）を単位としたフレーム内予測を実行することができる。又は、所定のサブブロックを単位とするフレーム内予測を実行することができる。このため、現在ブロックがサブブロックに分割されてフレーム内予測を行うかを指示するためのフラグを用いることができる。フラグは、符号化装置により符号化してシグナルリングされてもよい。該フラグが第１値であれば、現在ブロックは、複数のサブブロックに分割される。そうでなければ、現在ブロックは、複数のサブブロックに分割されない。ここの分割は、上記ツリー構造ベースの分割の後に実行される付加的分割であってもよい。現在ブロックに属するサブブロックは、１つのフレーム内予測モードを共有するが、各サブブロックのために異なる参照画素を配置することができる。又は、前記サブブロックは、同一のフレーム内予測モード及び参照画素を用いることができる。又は、サブブロックは、同一の参照画素を用いることができるが、各サブブロックについて異なるフレーム内予測モードを用いることができる。
垂直又は水平方向に前記分割を実行することができる。符号化装置からシグナルリングされるフラグに基づいて、分割方向を決定することができる。例えば、前記フラグが第１値である場合、水平方向に分割を行うことができる。そうでなければ、垂直方向に分割を行うことができる。又は、現在ブロックのサイズに基づいて分割方向を決定することができる。例えば、現在ブロックの高さが所定の閾値より大きい場合、水平方向に分割を行うことができる。また、現在ブロックの幅が所定の閾値より大きい場合、垂直方向に分割を行うことができる。ここで、閾値は、符号化／復号装置において予め定義された固定値であってもよい。又は、ブロックサイズに関わる情報（例えば、最大変換ブロックのサイズ、最大符号化ブロックのサイズなど）に基づいて閾値を決定することができる。ブロックサイズに関わる情報について、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ、ｂｒｉｃｋ又はＣＴＵ ｒｏｗのうちの少なくとも１つのレベルでシグナルリングすることができる。
現在ブロックのサイズ、形状、分割深度、フレーム内予測モード等により、サブブロックの数を可変に決定することができる。例えば、現在ブロックが４×８又は８×４である場合、現在ブロックは、２つのサブブロックに分割されてもよい。又は、現在ブロックが８×８以上である場合、現在ブロックは、４つのサブブロックに分割されてもよい。
本発明において、主に、エンコーダを説明する。デコーダの場合、エンコーダの操作に基づいて導出できるため、詳細な説明を省略する。
図１１は、フレーム内予測に用いられる参照画素配置を示す概略図である。分割ブロック部から、予測に用いられる現在ブロックのサイズ及び形状（Ｍ×Ｎ）を得て、４×４から１２８×１２８の範囲内でフレーム内予測をサポートできることを例として説明する。一般的には、予測ブロックユニットでフレーム内予測を実行できるが、分割ブロック部の設定に基づいて、符号化ブロック、変換ブロック単位のフレーム内予測を実行することができる。ブロック情報を確認した後、参照画素配置部は、現在ブロックの予測に用いられる参照画素を配置することができる。この場合、一時メモリ（例えば、アレイ＜Ａｒｒａｙ＞、メインアレイ又はサブアレイなど）により参照画素を管理することができる。該ブロックの各フレーム内予測プロセスにおいて、該参照画素を生成して削除する。また、一時メモリの容量は、参照画素の配置によって決まってもよい。
該例において、現在ブロックを中心として、左ブロック、上ブロック、左上ブロック、右ブロック、左下ブロックが現在ブロックの予測に用いられることを例として説明するが、これに限定されない。他の構成を有するブロック候補グループを現在ブロックの予測に用いることができる。例えば、前記参照画素に対する隣接ブロックの候補グループは、ラスタ又はＺ走査の場合の一例であってもよい。また、走査順番に応じて前記候補グループのうちの一部を除去してもよく、又は他のブロック候補グループ（例えば、上ブロック、下ブロック、右下ブロック等を付加的に配置する）を含むように構成されてもよい。
又は、他の色空間（例えば、現在ブロックがＣｒに属すれば、他の色空間は、Ｙ又はＣｂに対応する）における現在ブロックに対応するブロック（例えば、各色空間における同一の座標又は色成分の構成比に基づいて、対応する座標を有する場合）は、現在ブロックの予測に用いられる。また、説明を容易にするために、前記所定の位置（左、上、左上、右上、左下）で１つのブロックを構成することを例として説明するが、対応する位置で、少なくとも１つのブロックが存在してもよい。つまり、前記所定の位置で、対応するブロックを分割することで得られた複数のサブブロックが存在してもよい。
要するに、現在ブロックの隣接領域は、現在ブロックのフレーム内予測に用いられる参照画素の位置であってもよい。また、予測モードに基づいて、もう１つの色空間の現在ブロックに対応する領域を更に参照画素の位置とすることを考慮してもよい。上記例に加えて、予測モード、方法等に基づいて定義された参照画素の位置を決定することができる。例えば、ブロックマッチングなどのような方法で予測ブロックを生成する場合、参照画素の位置を、現在画像の現在ブロックの前の符号化／復号を完了した領域又は符号化／復号を完了した領域におけるサーチ範囲内に含まれる領域（例えば、現在ブロックの左側、上側、左上側又は右上側等を含む）と認めることができる。
図１１に示すように、現在ブロックの予測に用いられる参照画素は、左ブロック、上ブロック、左上ブロック、右上ブロック、左下ブロックの隣接画素（図１１におけるＲｅｆ＿Ｌ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿ＢＬ）で構成されてもよい。この場合、参照画素は一般的には、現在ブロックに最も近接する隣接ブロックの画素（図１１のａ）で構成されるが、他の画素（図１１のｂ及び他の外線の画素）を含んでもよい。つまり、現在ブロックに隣接する第１画素ラインａ、第１画素ラインに隣接する第２画素ラインｂ、第２画素ラインに隣接する第３画素ライン又は第３画素ラインに隣接する第４画素ラインのうちの少なくとも１つを用いることができる。例えば、符号化／復号の設定に基づいて、複数の画素ラインは、第１から第４画素ラインの全てを含んでもよく、又は、第３画素ライン以外の他の画素ラインを含んでもよく、又は、複数本の画素ラインは、第１画素ライン及び第４画素ラインのみを含んでもよい。
現在ブロックは、複数本の画素ラインのうちのいずれか１本を選択的に参照してフレーム内予測を実行することができる。この場合、符号化装置からシグナルリングされるインデックス（ｒｅｆＩｄｘ）に基づいて前記選択を実行することができる。又は、現在ブロックのサイズ、形状、分割種類、フレーム内予測モードが非方向性モードであるかどうか、フレーム内予測モードの角度等に基づいて、複数本の画素ラインのうちのいずれか１本を選択的に用いることができる。例えば、フレーム内予測モードが平面モード又はＤＣモードである場合、第１画素ラインのみを用いてもよい。又は、現在ブロックのサイズ（幅又は高さ）が所定の閾値以下である場合、第１画素ラインのみを用いてもよい。又は、フレーム内予測モードが所定の閾値角度より大きい（又は所定の閾値角度未満である）場合、第１画素ラインのみを用いてもよい。前記閾値角度は、前記予測モード候補グループのモード２、モード６６に対応するフレーム内予測モードの角度であってもよい。
また、現在ブロックに隣接する画素は、少なくとも１つの参照画素層に分類されてもよい。現在ブロックに最も近接する画素は、ｒｅｆ＿０（現在ブロックの境界画素の画素値との差が１である画素。ｐ（－１，－１）からｐ（２ｍ－１，－１）、ｐ（－１，０）からｐ（－１，２ｎ－１））である。次の隣接画素（現在ブロックの境界画素の画素値との差が２である。ｐ（－２，－２）からｐ（２ｍ，－２）、ｐ（－２，－１）からｐ（－２，２ｎ））は、ｒｅｆ＿１である。次の隣接画素（現在ブロックの境界画素の画素値との差が３である。ｐ（－３，－３）からｐ（２ｍ＋１，－３）、ｐ（－３，－２）からｐ（－３，２ｎ＋１））は、ｒｅｆ＿２等である。つまり、参照画素は、現在ブロックの境界画素に隣接する画素の距離に基づいて、複数の参照画素層に分類されてもよい。
また、ここで、各隣接する隣接ブロックに対して異なる参照画素層を設定することができる。例えば、現在ブロック及び上端に隣接するブロックを参照ブロックとする場合、層ｒｅｆ＿０による参照画素を用いることができる。また、上端に隣接するブロックを参照ブロックとする場合、層ｒｅｆ＿１による参照画素を用いることができる。
この場合、一般的に、フレーム内予測を実行する場合に参照される参照画素集合は、現在ブロックに隣接する隣接ブロックに属する。該隣接ブロックは、左下、左、左上、上端、右上端に位置し、また、層ｒｅｆ＿０（境界画素に最も近接する画素）に属する画素である。別途説明しない限り、これらの画素であると認められる。しかしながら、上記隣接ブロックに属する一部の画素のみを参照画素集合として用いることができる。又は、２つ以上の層に属する画素を参照画素集合として用いることができる。ここで、参照画素集合又は層を暗黙的に決定するか（符号化／復号装置で事前設定される）又は明示的に決定することができる（符号化装置から決定のための情報を受け取ることができる）。
ここで、サポートされる参照画素層の最大数が３であることを例として説明するが、該数より大きい値を有してもよい。参照画素層の数と参照可能な隣接ブロックの位置による参照画素集合の数（又は、参照画素候補グループと呼ばれてもよい）は、ブロックのサイズ、形状、予測モード、画像タイプ（Ｉ／Ｐ／Ｂ。この場合、画像は、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ等である）、色成分などに基づいて異なるように設定されてもよく、また、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅを単位として関連情報に含まれてもよい。
本発明は、現在ブロックに最も近接する参照画素層から低インデックス（０から１ずつ逓増する）を割り当てることを例として説明するが、本発明は、これに限定されない。また、上記インデックス設定（複数の参照画素集合のうちの１つを選択する場合、低インデックスに対して短いビットを割り当てる二値化等）で、後述される参照画素配置の関連情報を生成することができる。
また、２つ以上の参照画素層がサポートされる場合、２つ以上の参照画素層に含まれる各参照画素を加重平均化に用いることができる。
例えば、参照画素を用いて予測ブロックを生成することができる。該参照画素は、図１１の層ｒｅｆ＿０（最近傍の画素層）及び層ｒｅｆ＿１（次の画素層）における画素の加重和から得られたものである。この場合、予測モード（例えば、方向性予測モード）に基づて、各参照画素層に加重和が適用される画素は、整数単位の画素であってもよく、小数単位の画素であってもよい。また、加重値（例えば、７：１、３：１、２：１、１：１）を、第１参照画素層の参照画素を用いることで得られた予測ブロック及び第２参照画素層の参照画素を用いることで得られた予測ブロックにそれぞれ適用することで、１つの予測ブロックを得る。この場合、現在ブロックに隣接する参照画素層による予測ブロックであれば、より高い加重値を有してもよい。
一般的には、上記例において、隣接ブロックの最近傍画素を参照画素とすることができるが、これに限定されない。例えば、様々な数であってもよい（例えば、ｒｅｆ＿０及びｒｅｆ＿１を参照画素層として選択し、ｒｅｆ＿０及びｒｅｆ＿１により加重加算などの方法を実行することで予測画素値を生成する。つまり、暗黙的な場合である）。
また、参照画素配置に関わる情報（例えば、参照画素層又は集合に関する選択情報等）は、所定の情報（例えば、参照画素層がｒｅｆ＿０と事前設定される場合）を含まなくてもよい。例えば、ｒｅｆ＿１、ｒｅｆ＿２、ｒｅｆ＿３等と配置されてもよいが、これに限定されない。
上記例により参照画素配置を説明すうが、これは、様々な符号化／復号情報などと組み合わせてフレーム内予測設定を決定することができる。この場合、符号化／復号情報は、画像タイプ、色成分、現在ブロックのサイズ、形状、予測モード（予測モードの種類（方向性、非方向性）、予測モードの方向（垂直、水平、対角線１、対角線２等）等を含む。また、隣接ブロックの符号化／復号情報及び現在ブロックと隣接ブロックの符号化／復号情報の組み合わせにより、フレーム内予測設定（該例において、参照画素配置設定である）を決定することができる。
図１２は、フレーム内予測に用いられる参照画素範囲を示す概略図である。詳しくは、参照画素範囲は、ブロックのサイズ、形状、予測モードの構成（該例において、予測モードの角度情報である）等によって決まってもよい。図１２における矢印により示される位置は、予測に用いられる画素である。
図１２を参照すると、Ａ、Ａ’、Ｂ、Ｂ’、Ｃ画素は、８×２、２×８、８×４、４×８、８×８ブロックの右側下端に位置する画素を指す。該画素の予測を実行するために、上側及び左側ブロックで用いられる画素ＡＴ、ＡＬ、ＢＴ、ＢＬ、ＣＴ、ＣＬにより、各ブロックの参照画素範囲を確認することができる。
例えば、参照画素がＡ及びＡ’画素（矩形ブロック）である場合、ｐ（０，－１）からｐ（９，－１）、ｐ（－１，０）からｐ（－１，９）、ｐ（－１，－１）の範囲内にある。参照画素がＢ及びＢ’画素（矩形ブロック）である場合、ｐ（０，－１）からｐ（１１，－１）、ｐ（－１，０）からｐ（－１，１１）、ｐ（－１，－１）の範囲内にある。参照画素がＣ画素（正方形ブロック）である場合、ｐ（０，－１）からｐ（１５，－１）、ｐ（－１，０）からｐ（－１，１５）、ｐ（－１，－１）の範囲内にある。
上記プロセスで得られた参照画素の範囲情報（例えば、Ｐ（－１，－１）、Ｐ（Ｍ＋Ｎ－１，－１）、Ｐ（－１，Ｎ＋Ｍ－１）等をフレーム内予測プロセス（例えば、参照画素フィルタリング、予測画素生成プロセス等）に用いることができる。また、参照画素をサポートする場合は、上記に限定されず、他の場合を有してもよい。
フレーム内予測の参照画素配置部は、参照画素生成部、参照画素補間部、参照画素フィルタ部等を備えてもよく、また、上記構成の全て又は一部を備えてもよい。
参照画素配置部は、参照画素の利用可能性（Ａｖａｉｌａｂｉｌｉｔｙ）を確認し、利用可能な参照画素及び利用不可能な参照画素に対して分類を行うことができる。例えば、所定の位置でのブロック（又は参照画素候補ブロック）を使用できれば、対応するブロックを参照画素として用いることができ、ブロックを使用できなければ、該ブロックを参照画素として用いることができない。
下記条件のうちの少なくとも１つを満たす場合、参照画素が利用不可能であると判定する。例えば、ピクチャ境界外に位置すること、現在ブロックと同一の分割単位（例えば、ｓｌｉｃｅ、ｔｉｌｅ等）に属しないこと、符号化／復号が完了されていないこと、符号化／復号の設定に応じて使用が制限されることのうちのいずれか１つを満たすと、利用不可能であると判定する。つまり、上記条件を満たしない場合、利用可能であると判定する。
また、参照画素の使用は、符号化／復号の設定に制限される。例えば、限られたフレーム内予測（例えば、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ）を実行するかどうかに基づいて参照画素の使用を制限することができる。通信環境などのような外部要因に対して、エラーロバスト性符号化／復号を実行する場合、他の画像から参照されて復元されたブロックを参照画素として用いることを禁止しようとする時、限られたフレーム内予測を実行することができる。
前記限られたフレーム内予測を非活性化する場合（例えば、Ｉピクチャタイプ又はＰ又はＢピクチャタイプにおいて、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝０）、全ての参照画素候補ブロックは、利用可能である。活性化する場合（例えば、Ｐ又はＢ画像タイプにおいて、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１）、参照画素候補ブロックの符号化モード（フレーム内又はフレーム間）に基づいて、対応するブロックの参照画素を用いるかどうかを決定することができる。つまり、ブロックの符号化モードがＩｎｔｒａであれば、限られたフレーム内予測を活性化するかどうかに関わらず、該ブロックを用いることができる。Ｉｎｔｅｒの場合、限られたフレーム内予測が活性化されているかどうかに基づいて、利用可能であるか（非活性化）又は利用不可能である（活性化）と判定する。
また、もう１つの色空間における現在ブロックに対応する復元ブロックの符号化モードに基づいて、限られたフレーム内予測を適用することができる。例えば、現在ブロックは、幾つかの色差成分Ｃｂ、Ｃｒに属する。また、現在ブロックに対応する輝度成分Ｙの符号化／復号を完了したブロックの符号化モードに基づいて、利用可能であるかを判定することができる。上記例は、他の色空間の復元ブロックを参照画素として用いる例であってもよい。また、色空間に基づいて符号化モードを独立して決定する例であってもよい。
この場合、参照画素候補ブロックは、幾つかの予測方（例えば、現在画像において、ブロックマッチング又はテンプレートマッチングなどにより予測を行う）で符号化／復号を完了する場合、符号化／復号の設定に基づいて、参照画素を用いるかどうかを決定することができる。
一例として、前記予測方法で符号化／復号を実行する場合、符号化モードをＩｎｔｒａとすると、対応するブロックが利用可能であると判定することができる。又は、Ｉｎｔｒａであっても、利用不可能であるという特別の場合を許容できる。
例えば、前記予測方法で符号化／復号を実行する場合、符号化モードをＩｎｔｅｒとすると、対応するブロックが利用不可能であると判定することができる。又は、Ｉｎｔｅｒであっても、利用可能であるという特別の場合を許容できる。
つまり、符号化／復号の設定に基づいて、符号化モードに応じて使用できるかどうかを決定することについて、例外を作るかを決定することができる。
限られたフレーム内予測は、幾つかの画像タイプ（例えば、Ｐ又はＢ ｓｌｉｃｅ／ｔｉｌｅタイプ等）に適用される設定であってもよい。
参照画素の利用可能性により、参照画素候補ブロックを、全ての参照画素候補ブロックがいずれも利用可能である場合、幾つかの参照画素を利用できる場合、全ての参照画素がいずれも利用不可能である場合に分類することができる。全ての参照画素候補ブロックがいずれも利用可能である場合以外、他の全ての場合に、候補ブロック位置での利用不可能な参照画素をパディング又は生成することができる。
参照画素候補ブロックが利用可能である場合、該ブロックの所定位置の画素（該例において、該画素が現在ブロックに隣接すると仮定する）を現在ブロックの参照画素メモリに記憶することができる。この場合、対応するブロック位置での画素データを、直接コピー又は参照画素フィルタリングなどのプロセスにより参照画素メモリに記憶することができる。
参照画素候補ブロックが利用不可能である場合、参照画素生成プロセスにより、得られた画素を現在ブロックの参照画素メモリに記憶することができる。
要するに、参照画素候補ブロックが利用可能な状態である場合、参照画素を配置することができる。参照画素候補ブロックが利用不可能な状態である場合、参照画素を生成することができる。
以下、様々な方法で、利用不可能なブロック位置での参照画素をパディングする例を示す。
例えば、任意の画素値で参照画素を生成することができる。また、該画素値は、画素値範囲に属する画素値であってもよい（例えば、ビット深度に基づいた画素値調整プロセス又は画像の画素値範囲情報に基づいた画素値調整プロセスなどの最小値、最大値、中間値などから導出された値）。詳しくは、これは、全ての参照画素候補ブロックがいずれも利用不可能である場合の適用例であってもよい。
又は、符号化／復号を完了した画像から参照画素を生成することができる。詳しくは、利用不可能なブロックに隣接する少なくとも１つの利用可能なブロックから参照画素を生成することができる。この場合、補外、補完、コピーなどの方法の少なくとも１つを用いることができる。また、参照画素生成（又はコピー、補外）方向は、時計回り方向又は逆時計回り方向であってもよく、符号化／復号の設定によって決まってもよい。例えば、ブロック内の参照画素生成方向は、所定の方向に沿ってもよく、又は利用不可能なブロックの位置によって自己適応的に決まった方向に沿ってもよい。又は、他の色空間における、現在ブロックに対応する領域の場合、上記例と同様な方法を用いることができる。相違点は以下のとおりである。現在色空間において現在ブロックの隣接参照画素をパディングするプロセスであれば、他の色空間の場合、現在ブロックｍ×ｎに対応するブロックＭ×Ｎをパディングプロセスを行う。従って、前記方法を含む他の種々の方法（例えば、Ｐｌａｎａｒの補間、平均化などのような、周囲画素の垂直、水平、対角線等の方向での補外。この場合、パディング方向は、現在ブロックに対応するブロックの周囲画素からブロックの内部に指向する方向を指す）で対応する領域を生成することができる。該例は、他の色空間から予測ブロックを生成するための予測モードを、候補グループから除外することなく、候補グループに含ませる例であってもよい。
また、参照画素の利用可能性の確認プロセスにより、参照画素の配置を完了した後、参照画素の線形補間により、小数単位の参照画素を生成することができる。又は、参照画素フィルタリングプロセスを実行した後に参照画素補間プロセスを実行することができる。又は、配置された参照画素に対するフィルタリングプロセスのみを実行することができる。要するに、予測ブロック生成プロセスの前に実行することができる。
この場合、水平、垂直、幾つかの対角線モード（例えば、対角線右下、対角線左下、対角線右上）、非方向性モード、色モード、カラーコピーモード等の場合、補間プロセスを実行しない。他のモード（他の対角線モード）の場合、補間を実行することができる。
サポートされる予測モード候補グループ（又は予測モードの総数）、予測モード設定（例えば、予測モード方向角度、予測モード間隔）等に基づいて、補間精度を決定することができる。
小数単位の参照画素補間のために、１つの所定のフィルタ（例えば、２タップ線形補間フィルタ）を用いることができ、複数のフィルタ候補グループのうちの１つ（例えば、４タップ三次フィルタ、４タップガウシアンフィルタ、６タップウィーナーフィルタ、８タップカルマンフィルタ）を用いることができる。
複数のフィルタ候補グループのうちの１つを用いる場合、フィルタ選択情報を明示的に生成するか又は暗黙的に決定することができ、また、符号化／復号の設定（例えば、補間精度、ブロックサイズ、形状、予測モード等）によって決まってもよい。
例えば、ブロックサイズの範囲に基づいて、用いられる補間フィルタを決定し、補間精度に基づいて、用いられる補間フィルタを決定し、予測モードの特性（例えば、方向性情報など）に基づいて、補間フィルタを決定することができる。
詳しくは、ブロックサイズ範囲によれば、範囲Ａで所定の補間フィルタａを用い、範囲Ｂで所定の補間フィルタｂを用い、範囲Ｃで複数の補間フィルタＣのうちの１つの補間フィルタｃを用い、範囲Ｄで、複数の補間フィルタＤのうちの１つの補間フィルタｄを用い、幾つかのｈん愛で、所定の補間フィルタを用い、幾つかの範囲で複数の補間フィルタのうちの１つを用いることができる。この場合、１つの補間フィルタを用いると、暗黙的な場合に属し、複数の補間フィルタのうちの１つの補間フィルタを用いると、明示的な場合に属する。ブロックサイズ範囲に対して分割を行うブロックのサイズは、Ｍ×Ｎであってもよい（該例において、Ｍ及びＮは、４、８、１６、３２、６４、１２８等である。つまり、Ｍ及びＮは、各ブロックサイズ範囲の最小値又は最大値であってもよい）。
ビデオ、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ、ブロックなどを単位として前記補間関連情報を含んでもよい。補間プロセスは、参照画素配置部により実行されるプロセスであってもよく、又は、予測ブロック生成部により実行されるプロセスであってもよい。
また、参照画素を配置した後、参照画素に対してフィルタリングを行う。これにより、符号化／復号プロセスを行った後に残った劣化を減少させることで予測精度を向上させる。この場合、用いられるフィルタは、ローパスフィルタであってもよい。符号化／復号の設定に基づいて、フィルタリングを適用するかどうかを決定することができる。フィルタリングを適用すれば、固定フィルタリング又は自己適応的フィルタリングを適用することができる。また、ブロックのサイズ、形状、予測モード等に基づいて符号化／復号の設定を定義することができる。
固定フィルタリングは、所定のフィルタを参照画素フィルタ部に適用することを指す。自己適応的フィルタリングは、複数のフィルタのうちの１つのフィルタを参照画素フィルタ部に適用することを指す。この場合、自己適応的フィルタリングであると、符号化／復号の設定に基づいて複数のフィルタのうちの１つを暗黙的に決定するか又は選択情報を明示的に生成することができる。フィルタ候補グループとして、３タップ（例えば、［１，２，１］／４）又は５タップ（例えば、［２，３，６，３，２］）等のフィルタを含んでもよい。
一例として、幾つかの設定（ブロック範囲Ａ）で、フィルタリングを適用しなくてもよい。
一例として、幾つかの設定（ブロック範囲Ｂ、幾つかのモードＣ）で、フィルタリングを適用しなくてもよく、また、幾つかの設定（ブロック範囲Ｂ、幾つかのモードＤ）で、所定のフィルタ（３タップフィルタ）によりフィルタリングを適用することができる。
例えば、幾つかの設定（ブロック範囲Ｅ、幾つかののモードＦ）で適用しなくてもよく、また、幾つかの設定（ブロック範囲Ｅ、幾つかのモードＧ）で、所定のフィルタ（３タップフィルタ）によりフィルタリングを適用することができる。幾つかの設定（ブロック範囲Ｅ、幾つかのモードＨ）で、所定のフィルタ（５タップフィルタ）によりフィルタリングを適用することができる。幾つかの設定（ブロック範囲Ｅ、幾つかのモードＩ）で、複数のフィルタのうちの１つを選択してフィルタリングを実行することができる。
一例として、幾つかの設定（ブロック範囲Ｊ、幾つかのモードＫ）で、所定のフィルタ（５タップフィルタ）によりフィルタリングを適用することができ、また、所定のフィルタ（３タップフィルタ）により、フィルタリングを更に適用することができる。つまり、複数のフィルタリングプロセスを実行することができる。詳しくは、先行フィルタリング結果に基づいてフィルタリングを更に適用することができる。
上記例において、ブロックサイズ範囲に対して分割を行うブロックのサイズは、ＭｘＮであってもよい（該例において、Ｍ及びＮは、４、８、１６、３２、６４、１２８等である。つまり、Ｍ及びＮは、各ブロックサイズ範囲の最小値又は最大値であってもよい）。また、予測モードを方向性モード、非方向性モード、カラーモード、カラーコピーモード等に大まかに分類することができる。また、詳しくは、水平又は垂直モード／対角線モード（４５度間隔）／水平又は垂直モードに隣接するモード１、水平或垂直モードに隣接するモード２（モード間隔は、前のモード間隔よりも僅かに長い）等である。つまり、上述したように、分類モードに基づいて、フィルタリングを適用するかどうか、フィルタリングのタイプを決定することができる。
また、上記例において、ブロック範囲、予測モード等のような複数の要因に基づいて自己適応的フィルタリングを適用することを示す。しかしながら、前記複数の要因を常に必要とするとは限らない。、また、少なくとも１つの要因に基づいて自己適応的フィルタリングを適用する例を有してもよい。また、上記例に限定されず、種々の変換例を有してもよい。ビデオ、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ、ブロックを単位として参照画素フィルタ関連情報を含んでもよい。
所定のフラグに基づいて上記フィルタリングを選択的に実行することができる。ここで、フラグは、参照画素をフィルタリングしてフレーム内予測を行うかどうかを指示することができる。フラグは、符号化装置により符号化してシグナルリングされてもよい。又は、現在ブロックの符号化パラメータに基づいて、復号装置からフラグを導出することができる。前記符号化パラメータは、参照画素の位置／領域、ブロックサイズ、成分タイプ、サブブロックを単位とするフレーム内予測及びフレーム内予測モードのうちの少なくとも１つを適用するかどうかを含んでもよい。
例えば、現在ブロックの参照画素が現在ブロックに隣接する第１画素ラインである場合、参照画素に対してフィルタリングを実行することができる。そうでなければ、参照画素に対してフィルタリングを実行しなくてもよい。又は、現在ブロックに属する画素の数が所定の閾値より大きいと、参照画素に対してフィルタリングを実行することができる。そうでなければ、参照画素に対してフィルタリングを実行しないことがある。閾値は、符号化／復号装置で予め約束した値であってもよく、また、１６、３２、６４又はより大きな整数であってもよい。又は、現在ブロックのサイズが所定の閾値より大きい場合、参照画素に対してフィルタリングを実行することができる。そうでなければ、、参照画素に対してフィルタリングを実行しなくてもよい。閾値は、Ｍ×Ｎで表されてもよく、符号化／復号装置で予め約束した値である。Ｍ及びＮは、８、１６、３２又はより大きな整数であってもよい。前記数閾値又はサイズ閾値は、前記数閾値又はサイズ閾値のうちの１つ又はそれらの組み合わせにより参照画素に対してフィルタリングを実行するように設定されてもよい。又は、現在ブロックが輝度成分であれば、参照画素に対してフィルタリングを実行することができる。そうでなければ、参照画素に対してフィルタリングを実行しなくてもよい。又は、現在ブロックが、サブブロック単位の上記フレーム内予測を実行していないと（つまり、現在ブロックは、複数のサブブロックに分割されていない）、参照画素に対してフィルタリングを実行する。そうでなければ、参照画素に対してフィルタリングを実行しなくてもよい。又は、現在ブロックのフレーム内予測モードが非方向性モード又は所定の方向性モードである場合、参照画素に対してフィルタリングを実行することができる。そうでなければ、参照画素に対してフィルタリングを実行しなくてもよい。ここで、非方向性モードは、平面モード又はＤＣモードであってもよい。しかしながら、非方向性モードのうちのＤＣモードで、参照画素のフィルタリングを実行することに制限されてもよい。前記方向性モードは、整数画素を参照するフレーム内予測モードを表すことができる。例えば、前記方向性モードは、図９に示すモード－１４、－１２、－１０、－６、２、１８、３４、５０、６６、７２、７８、８０に対応するフレーム内予測モードのうちの少なくとも１つを含んでもよい。しかしながら、方向性モードに、モード１８及び５０にそれぞれ対応する水平モード及び垂直モードを含まれないように限定することができる。
前記フラグに基づいて参照画素に対してフィルタリングを実行する場合、符号化／復号装置で予め定義されたフィルタにより、フィルタリングを実行することができる。前記フィルタのタップ数は、１、２、３、４、５又はより大きな数であってもよい。参照画素の位置に基づいて、フィルタタップの数を可変に決定することができる。例えば、１－タップフィルタを画素ラインの最下端、最上端、最左側、最右側のうちの少なくとも一側に対応する参照画素に適用し、３－タップフィルタを残りの参照画素に適用することができる。また、参照画素の位置に基づいてフィルタ強度を可変に決定することができる。例えば、フィルタリング強度ｓ１を画素ラインの最下端、最上端、最左側、最右のうちの少なくとも一側に対応する参照画素に適用し、フィルタリング強度ｓ２を残りの参照画素（ｓ１＜ｓ２）に適用することができる。前記フィルタ強度は、符号化装置からシグナルリングされてもよく、又は、上記符号化パラメータによって決まってもよい。ｎタップフィルタを参照画素に適用する時、フィルタを現在参照画素及び（ｎ－１）個の周囲参照画素に適用することができる。前記周囲参照画素は、現在参照画素の上端、下端、左側又は右側のうちの少なくとも１つの方向での画素を表すことができる。周囲参照画素は、現在参照画素と同一の画素ラインに属してもよく、また、周囲参照画素の一部は、現在参照画素と異なる画素ラインに属してもよい。
例えば、現在参照画素が現在ブロックの左側に位置する場合、周囲参照画素は、現在参照画素の上端又は下端の少なくとも方向での隣接画素であってもよい。又は、現在参照画素が現在ブロックの上端に位置する場合、周囲参照画素は、周囲参照画素は、現在参照画素の左側及び右側のうちの少なくとも１つの方向での隣接画素であってもよい。又は、現在参照画素が現在ブロックの左上端に位置する場合、周囲参照画素は、現在参照画素の下端又は右側のうちの少なくとも１つの方向での隣接画素であってもよい。前記フィルタの係数の割合は、［１：２：１］、［１：３：１］又は［１：４：１］であってもよい。
予測ブロック生成部は、少なくとも１つの予測モードに基づいて予測ブロックを生成し、フレーム内予測モードに基づいて参照画素を用いることができる。この場合、参照画素は、予測モードに基づいて補外（Ｅｘｔｒａｐｏｌａｔｉｏｎ）等の方法（方向性モード）に用いられてもよく、また、補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、平均値（ＤＣ）又はコピー（Ｃｏｐｙ）等の方法（非方向性モード）に用いられてもよい。また、上述したように、現在ブロックは、フィルタリングされた参照画素又はフィルタリングされていない参照画素を用いることができる。
図１３は、予測ブロックの生成に関わる、現在ブロックに隣接するブロックを示す図である。
例えば、方向性モードの場合、水平モードと幾つかの対角線モード（対角線右上。水平以外の対角線を含む）とのモードで左下ブロック＋左ブロック（図１３におけるＲｅｆ＿ＢＬ、Ｒｅｆ＿Ｌ）を用いることができる。水平モードで、左ブロックを用いることができる。水平と垂直とのモードで、左ブロック＋左上ブロック＋上ブロック（図１３におけるＲｅｆ＿Ｌ、Ｒｅｆ＿ＴＬ，Ｒｅｆ＿Ｔ）を用いることができる。垂直モードで、上ブロック（図１３におけるＲｅｆ＿Ｌ）を用いることができる。垂直と幾つかの対角線モード（対角線左下。垂直以外の対角線を含む）とのモードで、上ブロック＋右上ブロック（図１３におけるＲｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ）の参照画素を用いることができる。又は、非方向性モードで、左ブロック及び上ブロック（図１３におけるＲｅｆ＿Ｌ、Ｒｅｆ＿Ｔ）又は左下ブロック、左ブロック、左上ブロック、上ブロック、右上ブロックの参照画素（図１３におけるＲｅｆ＿ＢＬ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ）を用いることができる。又は、色空間相関性のモード（カラーコピーモード）の場合、他の色空間の復元ブロック（図１２に示されていないが、本発明において、Ｒｅｆ＿Ｃｏｌと呼ばれる。同一時刻、異なる空間のブロックの並列参照（Ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ）を表す）を参照画素として用いることができる。
フレーム内予測に用いられる参照画素は、複数の概念に区分されてもよい。例えば、フレーム内予測に用いられる参照画素は、第１参照画素と第２参照画素として区分されてもよい。第１参照画素は、現在ブロックの予測値の生成に直接的に用いられる画素であってもよく、第２参照画素は、現在ブロックの予測値の生成に間接的に用いられる画素であってもよい。又は、第１参照画素は、現在ブロックの全ての画素の予測値の生成に用いられる画素であってもよく、第２参照画素は、現在ブロックの一部の画素の予測値の生成に用いられる画素であってもよい。又は、第１参照画素は、現在ブロックの主要の予測値の生成に用いられる画素であってもよく、第２参照画素は、現在ブロックの補助の予測値の生成に用いられる画素であってもよい。又は、第１参照画素（無条件）は、現在ブロックの予測方向の起点部の領域に位置する画素であってもよく、第２参照画素は、現在ブロック（必須）の予測方向の起点部に位置しない画素であってもよい。
上記例に示すように、種々の定義により、参照画像を区分できるが、予測モードに基づいて定義を区分しないケースもある。つまり、参照画素を区分するために用いられる定義は、予測モードによって異なる。
上記例により記載されている参照画素は、第１参照画像であってもよい。第２参照画素は更に予測ブロックの生成に関与することができる。幾つかの対角線モード（対角線右上。水平以外の対角線を含む）間のモードで、左上ブロック＋上ブロック＋右上ブロック（図１３におけるＲｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ）の参照画素を用いることができる。水平モードで、左上ブロック＋上ブロック＋右上ブロック（図１３におけるＲｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ）を用いることができる。垂直モードで、左上＋左＋左下ブロック（図１３におけるＲｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ）の参照画素を用いることができる。垂直モードで、左上ブロック＋左ブロック＋左下ブロック（図１３におけるＲｅｆ＿ＴＬ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＢＬ）の参照画素を用いることができ、垂直と幾つかの対角線モード（対角線左下。垂直以外の対角線を含む）の間のモードで、左上ブロック＋左ブロック＋左下ブロック（図１３におけるＲｅｆ＿ＴＬ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＢＬ）の参照画素を用いることができる。詳しくは、前記参照画素を第２参照画素として用いることができる。また、非方向性モード及びカラーコピーモードで、第１参照画像を用いるか又は第１、第２参照画素を用いて、予測ブロックを生成することができる。
また、第２参照画素は、符号化／復号を完了した画素を含むだけでなく、現在ブロックにおける画素（該例において、予測画素である）も含む。つまり、主要予測値は、補助予測値を生成するための画素であってもよい。本発明において、符号化／復号を完了した画素を第２参照画素として用いる例を主に説明するが、これに限定されない。符号化／復号を完了していない画素（該例において、予測画素である）を用いる変換例を有してもよい。
現在予測モードの欠点を補償するという目的で、複数の参照画素を用いて予測ブロックを生成又は補正することができる。
例えば、方向性モードは、幾つかの参照画素（第１参照画素）を用いて対応するブロックの方向性を予測するという目的で用いられるモードであるが、ブロックにおける変化を正確に反映できない可能性がある。これは、予測正確度の低下を引き起こす可能性がある。この場合、付加的参照画素（第２参照画素）を用いて予測ブロックを生成又は補正する場合、予測の正確度を向上させることができる。
従って、下記例において、上記例における種々の参照画素を用いて予測ブロックを生成する例を説明するが、本発明は、上記例に限定されない。第１、第２参照画素のような用語を使用しなくても、上記定義から導出して理解することができる。
付加的参照画素を用いて予測ブロックを生成するという設定を明示的に決定するか又は暗黙的に設定することができる。明示的な場合、単位は、ビデオ、シーケンス、ピクチャ、スライス、ｔｉｌｅ等を含んでもよい。下記例において、暗黙的処理を説明するが、本発明は、これに限定されない。また、他の修正（明示的な場合又は混用の場合）例を有してもよい。
予測モードによれば、種々の方式で予測ブロックを生成することができる。詳しくは、予測モードで用いられる参照画素の位置に基づいて予測方法を生成することができる。また、ブロックにおける画素位置に基づいて予測方法を決定することができる。
以下、水平モードの場合について説明する。
例えば、左ブロックが参照画素（図１３におけるＲｅｆ＿Ｌ）として用いられる場合、（例えば、補外等）最近傍画素（図１３における１３００）を用いることで、水平方向に予測ブロックを生成する。
また、水平方向に対応する現在ブロックに隣接する参照画素を用いることで予測ブロックを生成（又は補正。生成は、最終的予測値に関わってもよい。補正は、全ての画素に関わらなくてもよい）することができる。詳しくは、ブロックに対応する最近傍画素（図１３における１３１０。別の１３２０及び１３３０を考慮してもよい）を用いて予測値を補正する。かた、前記画素の変化程度又は勾配情報など（例えば、Ｒ０－Ｔ０、Ｔ０－ＴＬ、Ｔ２－ＴＬ、Ｔ２－Ｔ０、Ｔ２－Ｔ１等の画素値変化程度又は勾配情報）を補正プロセスにフィードバックすることができる。
この場合、補正を実行する画素は、現在ブロックにおける全ての画素であってもよく、一部の画素に限定されてもよい（例えば、特定の形状を有しないか又は不規則な位置にある単一の画素を単位として決定することができる。後述される例のように、ラインのような一定の形状を有する画素を単位として決定する。説明を容易にするために、後述される例において、ラインを単位とした画素単位を例として説明する）。前記補正画素が一部の画素に限定的に用いられる場合、単位を予測モード方向に対応する少なくとも１つのラインと決定することができる。例えば、ａからｄに対応する画素は、補正ターゲットに含まれてもよい。更に、ｅからｈに対応する画素も補正ターゲットに含まれてもよい。また、前記ラインの位置と無関係に、ブロックの隣接画素から得られた補正情報を同様に適用することができる。又は、ラインを単位として上記補正情報を異なるように適用することができる。また、前記隣接画素との距離が遠いほど、補正情報の適用は少なくなることがある（例えば、距離に基づいて、Ｌ１－ＴＬ、Ｌ０－ＴＬ等のような大きい分割値を設定することができる。）。
この場合、補正対象に含まれる画素は、１つの画像において１つのみの設定を有してもよい。又は、種々の符号化／復号素子によって自己適応的に決定することができる。
自己適応的決定を例として、ブロックのサイズに基づいて、補正しようとする画素を決定することができる。８×８未満のブロックにおいて、いずれのラインを補正しない。８×８より大きくて３２×３２未満であるブロックについて、１本の画素ラインのみを補正することができる。３２×３２より大きいブロックについて、２本の画素ラインを補正することができる。ブロックサイズ範囲の定義は、本発明の上述から得られる。
又は、ブロックの形状（例えば、正方形、矩形。具体的には、水平方向の長さが長い矩形又は垂直方向の長さが長い矩形）に基づいて、補正しようとする画素を決定することができる。例えば、８×４ブロックの場合、２本の画素ライン（図１３において、ａからｈ）に対して補正を実行することができる。４×８ブロックの場合、１本の画素ライン（図１３において、ａからｄ）に対して補正を実行することができる。８×４の場合、水平方向に伸長したブロックの形状が水平モードと決定されると、現在ブロックの方向性は、上部ブロックに多く依存する。４×８の場合、垂直方向に伸長したブロックの形状が水平モードと決定されるｔ、現在ブロックの方向性は、上部ブロックにあまりに依存しない。また、上記と逆な設定も可能である。
又は、予測モードに基づいて、補正しようとする画素を決定することができる。水平又は垂直モードで、ａ個の画素ラインは、補正ターゲットであってもよい。他のモードで、ｂ個の画素ラインは、補正ターゲットであってもよい。上述したように、幾つかのモード（例えば、非方向性モードＤＣ、カラーコピーモード等）の場合、補正しようとする画素は、矩形形状ではなく、画素を単位（例えば、ａからｄ、ｅ、ｉ、ｍ）として指定された範囲である。後述される例において詳しく説明する。
上述に加えて、付加される符号化／復号素子に基づいて、自己適応的設定を適用することができる。上述において、水平モードに対する制限を主に説明したが、上記例に限定されず、同様又は類似した設定を他のモードに適用することもできる。また、１つの符号化／復号素子ではなく、複数の素子の組み合わせにより、上記例を実現させることができる。
垂直モードの場合、様々な方向を水平モードの予測方法に適用できるため、詳細な説明を省略する。また、下記例において、水平モードの説明と同様なものを省略する。
以下、対角線モード（Ｄｉａｇｏｎａｌｕｐｒｉｇｈｔ）の場合を説明する。
例えば、左ブロック及び左下ブロックを参照画素（第１参照画素又はメイン参照画素。図１３におけるＲｅｆ＿Ｌ及びＲｅｆ＿ＢＬ）として用いる場合、ブロックに対応する（例えば、補外等）最近傍画素（図１３における１３００及び１３４０）を用いて対角線方向において予測ブロックを生成する。
また、対角線に対向する位置にある現在ブロックに隣接する参照画素（第２参照画素又は補助参照画素であり、図１３におけるＲｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ）を用いて予測ブロックを生成（又は補正）することができる。詳しくは、ブロックに対応する最近傍画素（図１３における１３１０及び１３３０であり、さらに１３２０も考慮してもよい）を用いて予測値を補正することもでき、また、前記補助参照画素及びメイン参照画素の加重平均値（例えば、予測画素とメイン参照画素、予測画素と補助参照画素のｘ軸又はｙ軸の距離差のいちの少なくとも１つに基づいて加重値を得ることができる。メイン参照画素及び補助参照画素に適用される加重値の例は、１５：１から８：８を含んでもよい。２つ以上の補助参照画素があれば、加重値の例は、１４：１：１、１２：２：２、１０：３：３、８：４：４等のように、補助参照画素間で同様な加重値を有してもよい。又は１２：３：１、１０：４：２、８：６：２等のように、補助参照画素は、異なる加重値を有してもよい。この場合、対応する予測画素を中心として、現在予測モード方向において、傾斜情報などの接近程度に基づいて、異なる加重値を決定する。つまり、予測画素と各補助参照画素の勾配がどの現在予測モードの勾配に近いかを確認する）により、補正プロセスにフィードバックすることができる。
この場合、前記フィルタリングは、１つの画像における１つの設定を有するか又は種々の符号化／復号素子によって前記フィルタリングを自己適応的に決定する。
自己適応的決定を例として、補正しようとする画素の位置に基づいて、フィルタリングを適用する画素（例えば、画素の数など）を決定することができる。予測モードが対角線モード（該例において、モード２である）であり、補正しようとする画素がｃである場合、Ｌ３（該例において、第１参照画素である）を用いて予測を実行し、しかもＴ３（該例において、第２参照画素である）を用いて補正を実行する。つまり、１つの第１参照画素及び１つの第２参照画素を１つの画素予測に用いることができる。
又は、予測モードが対角線モード（該例においてモード３である）であって補正しようとする画素がｂである場合、Ｌ１とＬ２との小数単位の画素に対して補間を行うことで得られたＬ１＊（又はＬ２＊。該例において第１参照画素である）を用いて予測を実行し、Ｔ２（該例において第２参照画素である）を用いて補正を実行し、又はＴ３を用いて補正を実行することができる。又は、Ｔ２及びＴ３を用いて補正を実行し、又は、予測モードの方向性に基づいて得られたＴ２とＴ３との小数単位の画素に対して補間を行うことで得られたＴ２＊（又はＴ３＊）を用いて補正を実行することができる。つまり、１つの画素を予測するために、１つの第１参照画素（該例において、Ｌ１＊と仮定すると、直接的に用いられる画素がＬ１及びＬ２と認められる場合、２つの画素と認められる。又は、Ｌ１＊に対して補間を実行するために用いられるフィルタに基づいて、２つ又はより多くの画素と認められる）及び２つの第２参照画素（該例において、Ｔ２とＴ３の場合、Ｌ１＊は、１つの画素と認められる）を用いることができる。
要するに、少なくとも１つの第１参照画素及び少なくとも１つの第２参照画素を１つの画素予測に用いることができる。これは、予測モード及び予測画素の位置によって決まってもよい。
前記補正画素が限定的に幾つかの画素に適用されると、フレーム内予測モード方向に基づいて、少なくとも１本の水平ライン又は垂直ラインを単位として、補正された画素を決定することができる。例えば、ａ、ｅ、ｉ、ｍに対応する画素又はａからｄに対応する画素は、補正ターゲットに含まれてもよい。更に、ｂ、ｆ、ｊ、ｎに対応する画素又はｅからｈに対応する画素も補正ターゲットに含まれてもよい。幾つかの対角線右上（Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ）の場合、水平ライン単位の画素を補正することができる。幾つかの対角線左下（Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ）の場合、垂直ライン単位の画素を補正することができるが、これに限定されない。
上述に加えて、付加される符号化／復号素子に基づいて、自己適応的設定を適用することができる。上述において、対角線右上（Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ）に対する制限を主に説明するが、上記例において限定的に適用するだけでなく、同様又は類似した設定は、他のモードに適用可能である。また、１つの符号化／復号素子の組み合わせではなく、複数の素子により、上記例を実現させることができる。
対角線左下（Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ）の場合、対角線右上の予測方法について異なる方向を適用すればよいため、詳細な説明を省略する。
以下、左上（Ｄｉａｇｏｎａｌ ｕｐ ｌｅｆｔ）の場合を説明する。
例えば、左ブロック、左上ブロック及び上ブロックが参照画素（第１参照画素又はメイン参照画素。図１３におけるＲｅｆ＿Ｌ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ）として用いられる場合、ブロックに対応する（例えば、補外等）最近傍画素（図１３における１３００、１３１０、１３２０）を用いて対角線方向に予測ブロックを生成する。
また、対角線にマッチングした位置での現在ブロックに隣接する参照画素（第２参照画素又は補助参照画素。図１３におけるＲｅｆ＿Ｌ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ。位置は、メイン参照画素と同じである）を用いて予測ブロックを生成（又は補正）することができる。詳しくは、ブロックに対応する最近傍画素（図１３における１３００の左側に位置する画素、１３２０の左側、上側、左上側に位置する画素、１３１０の上側に位置する画素など）を用いて予測値を補正することもできる。また、前記補助参照画素及びメイン参照画素の加重平均値（例えば、メイン参照画素及び補助参照画素の加重値の比率の例は、７：１から４：４等であってもよい。補助参照画素が２つ以上である場合、加重値の例は、１４：１：１、１２：２：２、１０：３：３、８：４：４等のように、補助参照画素において同一の加重値を有してもよく、又は、１２：３：１、１０：４：２、８：６：２のように、補助参照画素間で異なる加重値を有してもよい。この場合、メイン参照画素に近接するかどうかに基づいて、適用される加重値を決定することができる）又は線形補外などにより、前記補正プロセスにフィードバックすることができる。
前記補正された画素が限定的に幾つかの画素に適用されると、予測モードで用いられる参照画素に隣接する水平ライン又は垂直ラインを単位として、補正される画素を決定することができる。この場合、水平ライン及び垂直ラインを同時に考慮することができ、また、重なり合いを許容できる。例えば、ａからｄに対応する画素及びａ、ｅ、ｉ、ｍに対応する画素（ａ重なり合い）は、補正ターゲットに含まれてもよい。更に、ｅからｈに対応する画素及びｂ，ｆ，ｊ、ｎに対応する画素（ａ、ｂ、ｅ、ｆ重なり合い）は、補正ターゲットに含まれてもよい。
以下、非方向性モード（ＤＣ）の場合を説明する。
例えば、左ブロック、上ブロック、左上ブロック、右上ブロック、左下ブロックのうちの少なくとも１つを参照画素として用いる場合、該ブロックの最近傍画素（該例において、図１３における１３００、１３１０の画素）を利用（例えば、平均化など）して予測ブロックを生成することができる。
又は、前記参照画素の隣接画素（参照画素の第２参照画素又は補助参照画素。図１３におけるＲｅｆ＿Ｌ和Ｒｅｆ＿Ｔの、該例における位置は、メイン参照画素と同じである。又は、メイン参照画素に加えて、次の近接位置での画素を更に含む。対角線右上（Ｄｉａｇｏｎａｌ ｕｐ ｌｅｆｔ）の場合に類似する）を用いて予測ブロックを生成（又は補正）することができる。詳しくは、対応するブロックのメイン参照画素と同様又は類似した位置での画素を用いることで、予測値を補正することができる。また、前記補助参照画素及びメイン参照画素の加重平均値（例えば、メイン参照画素と補助参照画素の加重値の比率の例は、１５：１から８：８等であってもよい。補助参照画素が２つ以上であれば、加重値の例は、１４：１：１、１２：２：２、１０：３：３、８：４：４等のように、補助参照画素において同様な加重値を有してもよい。又は、１２：３：１、１０：４：２、８：６：２のように、補助参照画素間で異なる加重値を有してもよい）により、前記補正プロセスにフィードバックすることができる。
前記フィルタリングは、１つの画像における１つの設定を有するか又は種々の符号化／復号素子によって前記フィルタリングを決定する。
自己適応的決定の場合を例として、ブロックのサイズに基づいて、フィルタを決定することができる。現在ブロックの左上端、上端、左端に位置する画素（該例において、左上端に位置する画素が、該画素の左側及び上方に位置する画素に対してフィルタリングを行い、上端に位置する画素が、該画素の上側の画素に対してフィルタリングを行い、左端の画素は、該画素の左側の画素に対してフィルタリングを行うと仮定する）について、１６×１６未満のブロックにおいて、幾つかのフィルタリング設定を用い（該例において、８：４：４、１２：４の加重比率に応じてフィルタリングを適用する）、１６×１６より大きいブロックにおいて、幾つかのフィルタリング設定を用いる（該例において、１０：３：３、１４：２の加重比率に応じてフィルタリングを適用する）。
又は、ブロックの形状に基づいてフィルタを決定することができる。例えば、１６ｘ８のブロックについて、現在ブロックの上端に位置する画素は、幾つかのフィルタリング設定（該例において、該画素の左上側、上側、右上側の画素に対してフィルタリングを行うと仮定する。つまり、フィルタリングを適用する画素も変化する例と認められる。フィルタリングの加重比は、１０：：２：２：２である）を用いることができ、現在ブロックの左端に位置する画素は、幾つかのフィルタリング設定（該例において、該画素の左側画素に対してフィルタリングを行う。フィルタリングの加重比は、１２：４である）を用いることができる。これは、水平方向の長さが長いブロック形状に適用可能であるブロック上側の複数の画素の例である。また、これと逆な設定を実現させることもできる。
前記補正された画素は幾つかの画素に限定されると、予測モードで用いられる参照画素に隣接する水平ライン又は垂直ラインを単位として、補正した画素を決定することができる。この場合、水平ライン及び垂直ラインを同時に考慮することができ、重なり合いを許容できる。例えば、ａからｄに対応する画素及びａ、ｅ、ｉ、ｍに対応する画素（ａ重なり合い）は、補正ターゲットに含まれてもよい。更に、ｅからｈに対応する画素及びｂ、ｆ、ｊ、ｎに対応する画素（ａ、ｂ、ｅ、ｆ重なり合い）は、補正ターゲットに含まれてもよい。
上述に加えて、付加される符号化／復号素子に基づいて、自己適応的設定を適用することができる。上述において、非方向性モードに対する制限を主に説明したが、上記例において限定的に適用するだけでなく、同様又は類似した設定を他のモードに適用することもできる。また、１つの符号化／復号素子ではなく、複数の素子の組み合わせにより、上記例を実現させることができる。
以下、カラーコピーモードの場合を説明する。
カラーコピーモードについて、現在の予測モードの予測方法と異なる方法で予測ブロックを生成するが、同様又は類似したように参照画素を用いて予測ブロックを生成（又は補正）することができる。上記例及び後述される例により、予測ブロックの内容を導出して取得することができるため、予測ブロックの内容の取得を省略する。
例えば、異なる色空間における、現在ブロックに対応するブロックを参照画素（第１参照画素又はメイン参照画素）として使用（例えば、コピー）することで予測ブロックを生成することができる。
又は、現在ブロックに隣接するブロックの参照画素（第２参照画素又は補助参照画素。図１３におけるＲｅｆ＿Ｌ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿ＢＬ）を用いることで予測ブロックを生成（又は補正）することができる。詳しくは、ブロックに対応する最近傍画素（該例の図１３における１３００、１３１０）を用いて予測値を補正することができる。また、前記補助参照画素とメイン参照画素の加重平均値（例えば、メイン参照画素と補助参照画素の加重値の比率の例は、１５：１から８：８等であってもよい。補助参照画素が２つ以上であれば、加重値の例は、１４：１：１、１２：２：２、１０：３：３、８：４：４等のように、補助参照画素において同様な加重値を有してもよい。又は、１２：３：１、１０：４：２、８：６：２等のように、補助参照画素間で異なる加重値を有してもよい）により前記補正プロセスにフィードバックすることができる。
又は、他の色空間で取得されたブロックに隣接するブロックの画素（第２参照画素又は補助参照画素。図１３におけるピクチャが、他の色空間における、現在ブロックに対応するブロックであると仮定する場合、画素は、Ｒｅｆ＿Ｌ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿ＴＢ，Ｒｅｆ＿ＢＬ及び図１３に示されていないＲｅｆ＿Ｒ，Ｒｅｆ＿ＢＲ、Ｒｅｆ＿Ｂである）を用いて予測ブロックを生成（又は補正）することができる。補正しようとする画素及びその周囲画素（例えば、異なる色空間における第１参照画素又は第１参照画素と第２参照画素であり、つまり、ブロック内において、加重平均化などを適用する場合、補正しようとする第１参照画素とフィルタリングを適用した第１参照画素が必要であり、ブロック境界において、補正しようとする第１参照画素とフィルタリングを適用した第１参照画素及び第２参照画素が必要である）に対してフィルタリングを実行し、前記補正プロセスにフィードバックすることができる。
前記２つのケースが同時に発生する場合、現在ブロックの隣接ブロックの画素を用いることができるだけでなく、他の色空間で取得された予測ブロックにおける画素を用いて補正を行うこともできる。また、補正しようとする画素とその周囲画素（例えば、補正ターゲット画素の隣接ブロックの画素と補正ターゲット画素に隣接する現在ブロック内の画素）に対してフィルタリングを実行し（例えば、補正ターゲット位置で、ＭｘＮマスクを用いて、フィルタリングを適用する。この場合、前記マスクは、前記画素と上、下、左、右、左上、右上、左下、右下等の全て又は一部の画素に対してフィルタリングを実行する）、補正プロセスにフィードバックする。
該例は、他の色空間における現在ブロックの予測値を得た後にフィルタリングを適用することを示す。予測値を得る前に対応する色空間においてフィルタリングが実行された値を現在ブロックの予測値とすることもできる。この場合、これは、順番の点だけで上記例と相違するが、フィルタリング対象は同じであることに留意されたい。
この場合、前記フィルタリングは、１つの画像において１つのみの設定を有する。又は、種々の符号化／復号素子によって前記フィルタリングを自己適応的に決定することができる。
例えば、自己適応的決定について、予測モードに基づいて、フィルタリングのための設定を決定することができる。詳しくは、それは、カラーコピーモードにおける細部カラーコピーモード設定に基づいて自己適応的にフィルタリングを行うことができる。例えば、幾つかのカラーコピーモード（該例において、現在ブロックの隣接領域及び異なる色空間に対応するブロックの隣接領域から１つの相関情報集合＜ａ及びｂ＞を得る場合）で、幾つかのフィルタリング設定＜１＞を用いることができ、幾つかのカラーコピーモード（該例において、上記モードに比べて、複数の相関性情報集合を得る場合。つまり、ａ１及びｂ１、ａ２及びｂ２である）で、幾つかのフィルタリング設定＜２＞を用いることができる。
前記フィルタリング設定において、フィルタリングを適用するかどうかを決定することができる。例えば、フィルタリング設定によれば、フィルタリング＜１＞を適用するか又はフィルタリング＜２＞を適用しない。又は、Ａフィルタ＜１＞又はＢフィルタ＜２＞を用いることができる。又は、フィルタリングを現在ブロックの左側及び上側の全ての画素に適用することができ、又はフィルタリングを左側及び上側の幾つかの画素に適用することができる。
補正しようとする画素が幾つかの画素に限られてると、水平ライン又は垂直ラインを単位として補正しようとする画素を決定することができる。前記水平ライン又は垂直ラインは、予測モードに用いられる参照画素に隣接する（該例において補助参照画素である。前記例と異なる）。この場合、水平ライン及び垂直ラインを同時に考慮することができ、また、重なり合いを許容することができる。
例えば、ａからｄに対応する画素及びａ、ｅ、ｉ、ｍに対応する画素（ａ重なり合い）は、補正ターゲットに含まれてもよい。更に、ｅからｈに対応する画素及びｂ、ｆ、ｊ、ｎに対応する画素（ａ、ｂ、ｅ、ｆ重なり合い）も補正ターゲットに含まれてもよい。
要するに、他の色空間から、予測ブロックの生成に用いられるメイン参照画素を得ることができ、また、現在色空間の現在ブロックに隣接するブロックから、予測ブロックを補正するための補助参照画素を得ることができる。また、他の色空間の対応するブロックに隣接するブロックから得ることもできる。また、現在ブロックの予測ブロックの幾つかの画素から得ることができる。つまり、予測ブロックにおける幾つかの画素は、予測ブロックにおける幾つかの画素の補正に用いられる。
上述に加えて、付加される符号化／復号素子に基づいて、自己適応的設定を適用することができる。上述において、非方向性モードに対する制限を主に説明したが、上記例において限定的に適用するだけでなく、同様又は類似した設定を他のモードに適用することもできる。また、１つの符号化／復号素子ではなく、複数の素子の組み合わせにより、上記例を実現させることができる。
該例は、色空間同士の相関性を用いて現在ブロックの予測ブロックを得る例であるが、相関性を得るためのブロックは、現在ブロックの隣接領域及び異なる色空間の対応するブロックの隣接領域から得られたものであるため、ブロック境界に対してフィルタリングを適用することができる。
符号化／復号の設定によれば、複数の参照画素を用いて予測ブロックを生成することが多い。詳しくは、符号化／復号の設定に基づいて、予測ブロックを生成又は補正するために第２参照画素の使用をサポートするかどうかを決定することができる。
一例として、予測プロセスにおいて、付加画素を使用するかどうかを暗黙的又は明示的に決定することができる。明示的な場合、ビデオ、シーケンス、ピクチャ、スライス、ｔｉｌｅ、ブロックを単位として上記情報を含んでもよい。
一例として、予測プロセスにおいて付加画素を使用するかどうかを決定することは、全ての予測モードに適用可能であるか又は幾つかの予測モードに適用可能である。この場合、幾つかの予測モードは、水平、垂直、幾つかの対角線モード、非方向性モード、カラーコピーモード等のうちの少なくとも１つであってもよい。
一例として、予測プロセスにおいて付加画素を使用するかどうかを決定することは、全てのブロックに適用可能であるか又は幾つかのブロックに適用可能である。この場合、ブロックサイズ、形状などに基づいて幾つかのブロックを定義することができる。対応するブロックは、ＭｘＮである（例えば、Ｍ及びＮの長さは、８、１６、３２、６４等である。正方形であれば、長さは、８×８、１６×１６、３２×３２、６４×６４等である。矩形であれば、２：１矩形、４：１矩形等の形状を有してもよい）。
また、幾つかの符号化／復号の設定に基づいて、予測プロセスにおいて付加画素を使用するかどうかを決定することができる。この場合、符号化／復号の設定は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇであってもよい。また、該フラグに基づいて、予測プロセスにおいて付加参照画素を限定的に用いることができる。
例えば、第２参照画素を含む領域の使用は、前記フラグにより限定された場合（即ち、上記フラグに基づいて、参照画素パディング等のプロセスによりパディングされた領域）、第２参照画素を予測プロセスに用いることを制限することができる。又は、第２参照画素は、前記フラグと関係なく、予測プロセスに適用可能である。
上記例における説明に加えて、１つ又は複数の素子の組み合わせのような種々の適用及び修正を有してもよい。また、上記例において、カラーコピーモードに関わる幾つかの状況を説明したが、カラーコピーに加えて、該例は、同様又は変換的に、複数の参照画素を用いて予測ブロックを生成又は補正する予測モードに適用可能である。
上記例により、各予測モードで、複数の参照画素を用いて予測ブロックを生成又は補正するための設定を説明したが、各予測モードに対して複数の設定を用いることができる。つまり、フィルタリング設定候補グループは、選択情報を生成するために複数となるように構成されてもよい。
要するに、フィルタリングを実行するかどうかに関わる情報を明示的又は暗黙的に処理することができる。フィルタリングを実行する場合、フィルタリング選択情報に関わる情報を明示的又は暗黙的に処理することができる。情報を明示的に処理する場合、ビデオ、シーケンス、ピクチャ、スライス，ｔｉｌｅ及びブロックを単位として前記情報を含んでもよい。
前記生成された予測ブロックを補正することができる。以下、予測ブロック補正プロセスを説明する。
所定の参照画素及び加重に基づいて前記補正プロセスを実行することができる。この場合、補正される現在ブロックにおける画素（以下、現在画素と呼ばれる）の位置に基づいて、参照画素及び加重値を決定することができる。現在ブロックのフレーム内予測モードに基づいて、前記参照画素及び加重値を決定することができる。
現在ブロックのフレーム内予測モードが非方向性モードである場合、現在画素の参照画素ｒｅｆＬ、ｒｅｆＴは、現在ブロックに隣接する第１画素ラインに属してもよく、また、現在画素と同様の水平ライン／垂直ラインに位置してもよい。加重値は、ｘ軸方向での第１加重値ｗＬ、ｙ軸方向での第２加重値ｗＴ又は対角線方向での第３加重値ｗＴＬのうちの少なくとも１つを含んでもよい。第１加重値は、左側参照画素に適用される加重値を指してもよい。第２加重値は、上端参照画素に適用される加重値を指してもよい。第３加重値は、左上端参照画素に適用される加重値を指してもよい。ここで、現在画素の位置情報及び所定のスケーリングファクタ（ｎＳｃａｌｅ）に基づいて、第１加重値及び第２加重値を決定することができる。スケーリングファクタは、現在ブロックの幅Ｗ及び高さＨによって決まってもよい。例えば、現在画素ｐｒｅｄＰｉｘｅｌ［ｘ］［ｙ］の第１加重値ｗＬ［ｘ］は、（３２＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ））と決定され、第２加重値（ｗＴ［ｘ］）は、（３２＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ））と決定されてもよい。第３加重値ｗＴＬ［ｘ］［ｙ］は、（（ｗＬ［ｘ］＞＞４）＋（ｗＴ［ｙ］＞＞４））と決定されてもよい。しかしながら、フレーム内予測モードが平面モードである場合、第３加重値は、０と決定されてもよい。スケーリングファクタは、（（Ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ）－２）＞＞２）としてもよい。
現在ブロックのフレーム内予測モードが垂直／水平モードである場合、現在画素の参照画素ｒｅｆＬ及びｒｅｆＴは、現在ブロックに隣接する第１画素ラインに属し、また、当前画素と同様の水平／垂直ラインに位置してもよい。垂直モードで、現在画素ｐｒｅｄＰｉｘｅｌ［ｘ］［ｙ］の第１加重値ｗＬ［ｘ］は、（３２＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ））と決定され、第２加重値（ｗＴ［ｙ］］）は、０と決定されてもよく、第３加重値ｗＴＬ［ｘ］［ｙ］は、第１加重値に等しいと決定されてもよい。また、水平モードで、現在画素ｐｒｅｄＰｉｘｅｌ［ｘ］［ｙ］の第１加重値ｗＬ［ｘ］は、０と決定され、第２加重値ｗＴ［ｙ］は、（３２＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ））と決定され、また、第３加重値ｗＴＬ［ｘ］［ｙ］は、第２加重値に等しいと決定されてもよい。
現在ブロックのフレーム内予測モードが対角線モードである場合、現在画素の参照画素ｒｅｆＬ及びｒｅｆＴは、現在ブロックに隣接する第１画素ラインに属し、また、現在画素と同様の対角線に位置してもよい。ここで、対角線は、現在ブロックのフレーム内予測モードと同様の角度を有する。前記対角線は、左下端から右上端方向への対角線を表すことができる。又は、左上端から右下端方向への対角線を表すことができる。この場合、現在画素ｐｒｅｄＰｉｘｅｌ［ｘ］［ｙ］の第１加重値ｗＬ［ｘ］は、（３２＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ））と決定され、第２加重値ｗＴ［ｙ］）は、（３２＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ））と決定され、第３加重値ｗＴＬ［ｘ］［ｙ］は、０と決定されてもよい。
現在ブロックのフレーム内予測モードがモード１０以下である場合、現在画素の参照画素ｒｅｆＬ及びｒｅｆＴは、現在ブロックに隣接する第１画素ラインに属し、また、現在画素と同様の対角線に位置してもよい。ここで、対角線は、現在ブロックのフレーム内予測モードと同様の角度を有する。この場合、参照画素を制限してもよい。従って、現在ブロックの左側参照画素又は上端参照画素のうちの１つのみを用いる。現在画素ｐｒｅｄＰｉｘｅｌ［ｘ］［ｙ］の第１加重値ｗＬ［ｘ］は、０と決定され、第２加重値ｗＴ［ｙ］は、（３２＞＞（（ｙ＜＜１）＞＞ｎＳｃａｌｅ））と決定され、第３加重値ｗＴＬ［ｘ］［ｙ］は、０と決定されてもよい。
現在ブロックのフレーム内予測モードがモード５８以上である場合、現在画素の参照画素ｒｅｆＬ及びｒｅｆＴは、現在ブロックに隣接する第１画素ラインに属し、また、現在画素と同様の対角線に位置してもよい。ここで、対角線は、現在ブロックのフレーム内予測モードと同様の角度を有する。この場合、参照画素を制限してもよい。従って、現在ブロックの左側参照画素又は上端参照画素のうちの１つのみを用いる。現在画素ｐｒｅｄＰｉｘｅｌ［ｘ］［ｙ］の第１加重値ｗＬ［ｘ］は、（３２＞＞（（ｘ＜＜１）＞＞ｎＳｃａｌｅ））と決定され、第２加重値ｗＴ［ｙ］は、０と決定され、第３加重値ｗＴＬ［ｘ］［ｙ］は、０と決定されてもよい。
決定した参照画素ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］及び加重値ｗＬ［ｘ］、ｗＴ［ｙ］、ｗＴＬ［ｘ］［ｙ］に基づいて、現在画素ｐｒｅｄＰｉｘｅｌｓ［ｘ］［ｙ］）に対して下記式１のような補正を実行することができる。
［式１］
ｐｒｅｄＰｉｘｅｌｓ［ｘ］［ｙ］＝ｃｌｉｐ１Ｃｍｐ（（ｒｅｆＬ［ｘ］［ｙ］＊ｗＬ［ｘ］＋ｒｅｆＴ［ｘ］［ｙ］＊ｗＴ［ｙ］－ｐ［－１］［－１］＊ｗＴＬ［ｘ］［ｙ］＋（６４－ｗＬ［ｘ］－ｗＴ［ｙ］＋ｗＴＬ［ｘ］［ｙ］）＊ｐｒｅｄＰｉｘｅｌｓ［ｘ］［ｙ］＋３２）＞＞６）
しかしながら、現在ブロックがサブブロックを単位とするフレーム内予測を実行しない場合のみ、上記補正処理を実行することができる。現在ブロックの参照画素が第１画素ラインである場合のみ、前記補正処理を実行することができる。現在ブロックのフレーム内予測モードが特定のモードに対応する場合のみ、前記補正処理を実行することができる。ここで、特定のモードは、非方向性モード、垂直モード、水平モード、所定の第１閾値モード未満であるモード、所定の第２閾値モードより大きいモードのうちの少なくとも１つを含んでもよい。前記第１閾値モードは、８、９、１０、１１又は１２であってもよく、前記第２閾値モードは、５６、５７、５８、５９又は６０であってもよい。
予測モード決定部は、複数の予測モード候補グループから最適モードを選択するプロセスを実行する。ブロック歪み（例えば、現在ブロック及び復元ブロックの歪み。絶対差分値の和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）、二乗差の和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＳＤ）等）及び対応するモードの生成ビット量のレート歪み（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ）技術を用いて、符号化コストが最適であるモードを決定することができる。上記プロセスにより決定された予測モードで生成された予測ブロックを減算部及び加算部に送信することができる。
予測モード符号化部は、予測モード決定部により選択された予測モードに対して符号化を実行することができる。予測モード候補グループにおいて、予測モードに対応するインデックス情報に対して符号化を実行するか又は予測モードに対して予測を実行することで、これに関わる情報を符号化することができる。つまり、前者の場合、予測を実行することなく、予測モードに対して直接的に符号化を実行する方法を表す。後者の場合、予測モードに対して予測を実行することで、モード予測情報及び予測情報に基づいて得られた情報に対して符号化を実行する方法を表す。また、前者は、色差成分に適用される例であってもよいが、これに限定されず、他の例を有してもよい。
予測モードに対して予測を実行して符号化を実行する場合、予測モードの予測値（又は予測情報）は、最確モード（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ：ＭＰＭ）と呼ばれてもよい。この場合、所定の予測モード（例えば、ＤＣモード、平面（Ｐｌａｎａｒ）モード、垂直モード、水平モード、対角線モード等）又は空間的に隣接するブロック（例えば、左ブロック、上ブロック、左上ブロック、右上ブロック、左下ブロック等）の予測モード等をＭＰＭと設定する。該例において、対角線モードは、右上対角線（Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ）、右下対角線（Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ）、左下対角線（Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ）を表し、図９のモード９、モード２及びモード６６に対応してもよい。
また、ＭＰＭ候補グループに含まれるモードから導出されたモードでＭＰＭ候補グループを構成することができる。例えば、ＭＰＭ候補グループに含まれた方向性モードの場合、モード間隔差がａであるモード（例えば、ａは、１、－１、２、－２等のような、ゼロではない整数である。図９におけるモード１０を含むモードの場合、導出されたモードは、モード９、モード１１、モード８、モード１２等である）をＭＰＭ候補グループに再び（又は付加的に）含ませる。
上記例は、複数のモードでＭＰＭ候補グループを構成することに対応してもよい。また、符号化／復号の設定（例えば、予測モード候補グループ、画像タイプ、ブロックサイズ、ブロック形状等）に基づいて、ＭＰＭ候補グループ（又はＭＰＭ候補グループの数）を決定することができる。また、少なくとも１つのモードを含んでもよい。
ＭＰＭ候補グループを構成するための予測モードは、優先度を有する可能性がある。前記優先度に基づいて、ＭＰＭ候補グループに含まれる予測モードの順番を決定することができる。前記優先度に基づいて、ＭＰＭ候補グループの数をパディングした後、ＭＰＭ候補グループの構成を完了することができる。この場合、優先度は、順に、空間的隣接ブロックの予測モード、所定の予測モード、最初にＭＰＭ候補グループに含まれる予測モードから導出されたモードであってもよいが、他の修正を有してもよい。
ＭＰＭを用いて現在ブロックの予測モードの符号化を実行する場合、予測モードがＭＰＭとマッチングするかどうかに関わる情報（例えば、ｍｏｓｔ＿ｐｒｏｂａｂｌｅ＿ｍｏｄｅ＿ｆｌａｇ）を生成することができる。
ＭＰＭとマッチングすれば（例えば、ｍｏｓｔ＿ｐｒｏｂａｂｌｅ＿ｍｏｄｅ＿ｆｌａｇ＝１）、ＭＰＭの構成に基づいて、ＭＰＭインデックス情報（例えば、ｍｐｍ＿ｉｄｘ）を追加的に生成することができる。例えば、ＭＰＭ構成は、１つの予測モードであれば、追加的なＭＰＭインデックス情報を生成しない。ＭＰＭ構成が多種の予測モードであれば、ＭＰＭ候補グループにおいて、現在ブロックの予測モードに対応するインデックス情報を生成することができる。
ＭＰＭとマッチングしなければ（例えば、ｍｏｓｔ＿ｐｒｏｂａｂｌｅ＿ｍｏｄｅ＿ｆｌａｇ＝０）、予測モード候補グループにおけるＭＰＭ候補グループ以外の残りの予測モード候補グループ（又は非ＭＰＭ候補グループ）において、現在モードの予測モードに対応する非ＭＰＭインデックス情報（例えば、ｎｏｎ＿ｍｐｍ＿ｉｄｘ）生成することができる。これは、非ＭＰＭを１つの群になるように構成する例であってもよい。
非ＭＰＭ候補グループが複数の群からなる場合、現在ブロックの予測モードがどの群に属するかに関わる情報を生成することができる。例えば、非ＭＰＭは、Ａ及びＢ群（Ａは、ｍ個の予測モードから構成され、Ｂは、ｎ個の予測モードから構成され、非ＭＰＭは、ｍ＋ｎ個の予測モードから構成されると仮定する。ｎは、ｍより大きい。Ａのモードが方向性モードであり、且つ均等な間隔を有し、Ｂのモードが方向性モードであり、且つ均等な間隔を有しないと仮定する）から構成され、且つ、現在ブロックの予測モードは、Ａ群の予測モードとマッチングすれば（例えば、ｎｏｎ＿ｍｐｍ＿Ａ＿ｆｌａｇ＝１）、Ａ群の候補グループにおいて、現在ブロックの予測モードに対応するインデックス情報を生成することができ、マッチングしなければ（例えば、ｎｏｎ＿ｍｐｍ＿Ａ＿ｆｌａｇ＝０）、残りの予測モード候補グループ（又はＢ群の候補グループ）において、現在ブロックの予測モードに対応するインデックス情報を生成することができる。上記例のように、非ＭＰＭは、少なくとも１つの予測モード候補グループとなるように構成されてもよい。また、非ＭＰＭ構成は、予測モード候補グループによって決まってもよい。例えば、予測モード候補グループが３５個以下である場合、非ＭＰＭは、１つであってもよく、他の場合、非ＭＰＭは、２つ以上であってもよい。
上記例のように、非ＭＰＭをサポートする目的は、非ＭＰＭが複数の群からなる場合、予測モードの数が大きくて且つ予測モードがＭＰＭにより予測されない場合にモードビット量を減少させることである。
ＭＰＭを用いて現在ブロックの予測モード符号化（又は予測モード復号）を実行する場合、各予測モード候補グループ（例えば、ＭＰＭ候補グループ、非ＭＰＭ候補グループ等）に適用される二値化テーブルを単独で生成することができ、各候補グループに適用される二値化方法を単独で用いることもできる。
予測モード符号化部により生成された、予測に関わる情報を符号化部に伝送し、ビットストリームに収録することができる。
図１４は、本発明の一実施例によるツリーベースの分割ブロックの例を示す。
図１４において、ｉは、四分木分割を表し、ｉｉは、二分木分割における水平分割を表し、ｉｉｉは、二分木分割における垂直分割を表す。図面において、ＡからＣは、初期ブロック（分割される前のブロック。例えば、符号化ツリーユニットとする）を表し、上記文字の後の数字は、分割を実行する場合の各パーティションの番号を表す。四分木の場合、左上ブロック、右上ブロック、左下ブロック、右下ブロックにそれぞれ数字０から３が割り当てられる。二分木の場合、左／上ブロック、右／下ブロックにそれぞれ０及び１が割り当てられる。
図１４を参照すると、分割プロセスで得られた文字及び番号により、対応するブロックを取得するために実行される分割状態又は情報を確認することができる。
例えば、図１４のｉにおいて、ブロックＡ００は、初期ブロックＡに対して四分木分割を実行した後、得られた４つのブロックのうちの左上ブロック（０をＡに追加する）Ａ０に対して四分木分割を実行することで得られた４つのブロックのうちの左上ブロック（０をＡ０に追加する）である。
又は、図１４のｉｉにおいて、ブロックＢ１０は、初期ブロックＢに対して二分木分割における水平分割を実行した後、得られた２つのブロックのうちの下ブロック（１をＢに追加する）Ｂ１に対して二分木分割における水平分割を実行することで得られた２つのブロックのうちの上ブロック（０をＢ１に追加する）である。
上記分割により、各ブロックの分割状態、情報（例えば、サポートされる分割設定＜ツリー方式の種類など＞）、最小サイズ及び最大サイズのようなブロックのサポート範囲＜詳しくは、分割方法によるサポート範囲＞、分割許容深度＜詳しくは、分割方法によるサポート範囲＞、分割フラグ＜詳しくは、分割方法による分割フラグ＞、画像タイプ＜Ｉ／Ｐ／Ｂ＞、符号化モード＜Ｉｎｔｒａ／Ｉｎｔｅｒ＞等ブロックの分割状態、情報確認に必要な符号化／復号の設定、及び情報等）を知ることができ、また、現在ブロック（サブブロック）を得るための分割工程の前に現在ブロックがどのブロック（親ブロック）に属するかを確認することができる。例えば、図１４のｉにおいて、ブロックＡ３１の場合、隣接ブロックは、Ａ３０、Ａ１２、Ａ１３を含んでもよく、前の分割工程においてＡ３０とＡ３１が同一のブロックＡ３に属すると判定することができる。Ａ１２及びＡ１３の場合、前の工程であるＡ３の分割工程において、Ａ１２及びＡ１３は、もう１つのブロックＡ１に属し、前の工程の先行工程のみにおいて、Ａ１２及びＡ１３が同一のブロックＡに属することを確認することができる。
上記例は、１つの分割操作（四分木の四分割又は二分木の水平／垂直分割）を説明するためのものであるため、後述される例において、複数のツリーベースの分割を引き続き説明する。
図１５は、本発明の一実施例による複数のツリーベースの分割ブロックの例を示す。
図１５に示すように、分割プロセスで得られた文字及び番号により、対応するブロックを得るために実行される分割状態又は情報を確認することができる。該例において、各文字は、１つの初期ブロックを意味するものではなく、番号で、分割に関わる情報を表す。
例えば、ブロックＡ１Ａ１Ｂ０の場合、初期ブロックにおいて四分木分割を実行する場合、右上ブロックＡ１を得る。ブロックＡ１において四分木分割を実行する場合、右上ブロック（Ａ１をＡ１に追加する）を得る。ブロックＡ１Ａ１において二分木分割における水平分割を実行する場合、上ブロック（Ｂ０をＡ１Ａ１に追加する）を得る。
任意選択的に、ブロックＡ３Ｂ１Ｃ１の場合、初期ブロックにおいて四分木分割を実行する場合、右下ブロックＡ３を得る。ブロックＡ３において二分木分割における水平分割を実行する場合、下ブロック（Ｂ１をＡ３に追加する）を得る。Ａ３Ｂ１における二分木分割における垂直分割を実行する場合、右ブロック（Ｃ１をＡ３Ｂ１に追加する）を得る。
該例において、前記分割情報により、各ブロックの分割工程に応じて、例えば現在ブロックと隣接ブロックがどの工程において同じであるかのような、現在ブロックと隣接ブロックとの関係情報を確認することができる。
図１４及び図１５は、各ブロックの分割情報の確認の幾つかの例を示す。分割情報を確認するための種々の情報及び情報の組み合わせ（例えば、分割フラグ、深度情報、深度情報最大値、ブロックの範囲等）を用いて各ブロックの分割情報を確認することができる。これにより、ブロック同士の関係を確認できる。
図１６は、分割ブロックの種々の状況を示す概略図である。
一般的には、画像に種々のテクスチャ情報が存在するため、１つの符号化／復号方法で符号化／復号を実行することが困難である。例えば、幾つかの領域は、特定の方向に強い縁成分が存在する領域を有してもよい。幾つかの領域は、縁成分が存在しない複雑な領域を有してもよい。これに対して符号化を効果的に実行するために、ブロック分割は、重要な役割を果たす。
ブロック分割の目的は、画像の特徴に基づいて領域を効果的に分割することである。しかしながら、１つのみの分割方式（例えば、四分木分割）を用いる場合、画像の特性を適切に反映して分割を実行することが困難である。
図１６に示すように、四分木分割及び二分木分割に基づいて、種々のテクスチャを含む画像を分割することを確認できる。ａからｅは、四分木分割のみをサポートする可能性がある。ｆからｊは、二分木分割のみをサポートする可能性がある。
該例において、四分木分割によるパーティションをＵＬ、ＵＲ、ＤＬ、ＤＲと呼ぶ。また、これに基づいて二分木分割を説明する。
図１６におけるａは、四分木分割が最適な特性を発揮するテクスチャ形態であり、四分木の一回の分割（Ｄｉｖ＿ＨＶ）により４つに分割し、各ブロックを単位として符号化／復号を実行する。それと同時に、図１６のｆに示すように、二分木分割を用いる場合、四分木に比べて、三回の分割（二回のＤｉｖ＿Ｖ、一回のＤｉｖ＿Ｈ）を必要とする可能性がある。
図１６のｂは、テクスチャがブロックの上部及び下部領域に分けられることを示す。図１６のｂにおいて、四分木分割を用いる場合、一回の分割（Ｄｉｖ＿ＨＶ）を必要とする。図１６のｇにおいて、二分木分割を用いて一回の分割Ｄｉｖ＿Ｈを実行する。四分木分割が１ビットのフラグを必要とし、二分木分割が２ビット以上のフラグを必要とすると仮定すると、フラグビットについて言えば、四分木が効果的であると認められ、各ブロック単位で符号化／復号情報（例えば、テクスチャ情報を表すための情報（テクスチャを表すための情報（残留信号、符号化係数、符号化係数が存在するかどうかを表す情報等））、予測情報＜例えば、フレーム内予測関連情報、フレーム間予測関連情報＞、変換情報＜例えば、変換種類情報、変換分割情報等＞）を生成する。この場合、テクスチャ情報は、類似した領域の分割により生成された情報であるため、二分木分割に比べて、四分木分割の効率は高くない。
図１６に示す他の場合に、テクスチャの種類に基づいてどのツリーがより効果的であるかを決定することもできる。上記例により、可変ブロックのサイズ及び種々の分割方式に対するサポートが十分に重要であることを確認できる。これにより、上記例により、画像特徴による有効領域を分割することができる。
以下、四分木分割及び二分木分割の実行について詳しく分析する。
図１６のｂを参照しながら、右下ブロック（現在ブロック）に隣接するブロック（該例において、左ブロック及び上ブロックである）を説明する。左ブロックは、現在ブロックと類似した特性を有するブロックであり、上ブロックは、現在ブロックと異なる特性を有するブロックであることが明らかである。幾つかのブロック（該例において、左ブロック）と類似した特性を有するが、四分木分割の特性から見れば、分割が実行された可能性がある。
この場合、現在ブロックは、左ブロックと類似した特性を有するため、類似した符号化／復号情報を生成する可能性がある。これを効果的に減少させるためのフレーム内予測モード（例えば、最確モード。つまり、現在ブロックの予測モードのビット量の減少を目的として隣接ブロックから現在ブロックのモードを予測する情報）、運動情報予測モード（例えば、スキップ（ｓｋｉｐ）モード、マージモード、モードビットの減少のための情報（例えば、競合モード））を生成する場合、左ブロックの情報は、参考に有効である。つまり、左ブロック又は上ブロックのうちの１つのブロックから現在ブロックの符号化情報（例えば、フレーム内予測情報、フレーム間予測情報、フィルタ情報、係数情報等）を参考する場合、正確な情報（該例において、左ブロックである）を参考できる。
図１６におけるｅに示すように、最右下隅の１つの小ブロック（現在ブロックを２回分割することで得られたブロック）を仮定する。同様に、現在ブロックは、左ブロック又は上ブロックのうちの上ブロックと類似した特性を有する。これにより、対応するブロック（該例において上ブロックである）からの符号化情報を参照して符号化特性を向上させることができる。
逆に、図１６におけるｊに示すように、最右側ブロック（現在ブロックを２回分割することで得られたブロック）に隣接する左ブロックを参照する。該例において、上ブロックが存在しないため、左ブロックのみを参照する場合、現在ブロックが左ブロックと異なる特性を有するブロックであることを確認できる。四分木分割が、隣接ブロックにおける一部と類似する可能性があり、二分木分割は、隣接ブロックと異なる特性を有する確率が高い。
詳しくは、幾つかのブロック（ｘ）とその隣接ブロック（ｙ）がそれぞれ分割される前に同一のブロックである場合、四分木分割について、幾つかのブロック（ｘ）は、分割される前のブロックと同一の隣接ブロック（ｙ）と類似した特性を有してもよく、異なる特性を有してもよい。逆に、二分木について、幾つかのブロック（ｘ）は、分割される前のブロックと同一の隣接ブロック（ｙ）と異なる特性を有することが多い。換言すれば、類似した特性の場合、ブロックの分割を実行する必要がなく、分割される前に、ブロックは最終的に決定されるが、異なる特性を有するため、分割されることが多い。
上記例以外、図１６のｉにおいて、右下ブロックｘと左下ブロックｙは、下記関係を有する可能性がある。つまり、上ブロックの画像特性が類似するため、分割が実行されていない場合に画定される。また、下ブロックの画像特性が異なるため、左下ブロックと右下ブロックに分割された後に画定される。
要するに、四分木分割の場合、現在ブロックに隣接する隣接ブロックにおいて、親ブロックが現在ブロックと同じである隣接ブロックを有すると、水平及び垂直方向に無条件に１／２の四分木特性に分割されるため、現在ブロックと類似した特性を有するか又は異なる特性を有する可能性がある。二分木分割の場合、現在ブロックに隣接する隣接ブロックにおいて、親ブロックが現在ブロックと同じである隣接ブロックを有すると、画像特性に基づいて水平又は垂直分割を実行できるため、分割されたことは、異なる特性により分割されたことを意味する。
（四分木分割）
現在ブロックに比べて、分割前のブロックが同じである隣接ブロック（該例において、左ブロック、上ブロックであると仮定するが、これに限定されない）は、現在ブロックと類似又は異なる特性を有してもよい。
また、現在ブロックと分割前のブロックが異なる隣接ブロックは、現在ブロックと類似又は異なる特性を有してもよい。
（二分木分割）
現在ブロックに比べて、分割前のブロックが同じである隣接ブロック（該例において左ブロック又は上ブロックであると仮定する。二分木であるため、最大候補数が１つである）は、異なる特性を有してもよい。
また、現在ブロックに比べて、分割前のブロックが異なる隣接ブロックは、現在ブロックと類似又は異なる特性を有してもよい。
以下、上記仮定が本発明の主な仮定であることを前提として説明する。上述によれば、隣接ブロックの特性が現在ブロックと類似又は異なる場合（１）及び隣接ブロックの特性が現在ブロックの特性と異なる場合（２）に分けられる。
図１５を再び参照する。
一例として（現在ブロックがＡ１Ａ２である）、Ａ１Ａ２ブロックの分割前のブロックＡ１がＡ０ブロックの分割前のブロック（初期ブロック）と異なるため、隣接ブロックにおけるＡ０ブロック（左ブロック）を普通のケース（つまり、特性が現在ブロックと類似又は異なるかどうかが分からない場合）に分類することができる。
隣接するＡ１Ａ０ブロック（上ブロック）について、Ａ１Ａ２ブロックの分割前のブロックＡ１がＡ１Ａ０ブロックの分割前のブロックＡ１と同じであるため、分割方式を確認できる。この場合、四分木分割（Ａ）であるため、普通のケースに分類される。
一例として（現在ブロックがＡ２Ｂ０Ｂ１である）、隣接ブロックにおけるＡ２Ｂ０Ｂ０ブロック（上ブロック）について、Ａ２Ｂ０Ｂ１ブロックの分割前のブロックＡ２Ｂ０がＡ２Ｂ０Ｂ１ブロックの分割前のブロックＡ２Ｂ０Ｂ１と同じであるため、分割方式を確認する。この場合、二分木分割（Ｂ）であるため、例外的なケースに分類される。
一例として（現在ブロックがＡ３Ｂ１Ｃ０である）、隣接ブロックにおいて、Ａ３Ｂ１Ｃ０ブロックの分割前のブロックＡ３Ｂ１がＡ３Ｂ０ブロックの分割前のブロックＡ３と異なるため、Ａ３Ｂ０ブロック（該例において、右上ブロックである）は、普通のケースに分類される。
上記例に記載したように、隣接ブロックを普通のケースと例外的なケースに分類することができる。普通のケースについて言えば、隣接ブロックの符号化情報が現在ブロックの符号化情報として使用できるかどうかが分からない。例外的なケースについて言えば、隣接ブロックの符号化情報が現在ブロックの符号化情報として使用できる状態を強制的に判定する。
上記分類によれば、隣接ブロックから現在ブロックの予測方法を得る方法を用いることができる。
要するに、現在ブロックが隣接ブロックの分割前のブロックと同じであるかどうか（Ａ）を確認する。
Ａの結果として同一であれば、現在ブロック（同じであれば、現在ブロックだけでなく、隣接ブロックも同一の分割方式で画定されたブロックであるため、現在ブロックのみを確認する）の分割方式（Ｂ）を確認する。
Ａの結果として異なると、終了（停止）する。
Ｂの結果が四分木分割であれば、隣接ブロックを普通状態と表記して終了（停止）する。
Ｂの結果が二分木分割であれば、隣接ブロックを例外的な状態と表記して終了（停止）する。
上記例は、本発明のフレーム内予測モード予測候補グループ（最確モードに関わる）の設定に適用可能である。普通の予測候補グループ設定（例えば、候補グループ構成の優先度等）及び例外的な予測候補グループ設定をサポートし、上記隣接ブロックの状態に基づいて、優先度を繰り下げるか又は該ブロックから導出された候補グループを排除することができる。
この場合、前記設定を適用する隣接ブロックは、空間（同一の空間）に限られるか又は同一の画像の他の色空間から導出されることに適用可能である。例えば、カラーコピーモードに適用可能である。つまり、カラーコピーモードにより導出されたブロックの分割状態により上記設定を実行することができる。
上記例以外、後述される例は、ブロック同士の関係（上記イベントにおいて、分割ブロック情報等を利用して現在ブロックと他のブロックとの相対的関係を識別する）に基づいて符号化／復号の設定（例えば、予測候補グループ設定、参照画素設定等）を自己適応的に設定する例である。
該例（輝度成分）において、符号化／復号装置で予め定義されたフレーム内予測モードが３５個である場合、隣接ブロック（該例において左、上である）から３個の候補を選択してＭＰＭ候補グループを構成することを仮定して説明する。
１つの候補をそれぞれ左ブロックＬ０及び上ブロックＴ０に追加して２つの候補を構成することができる。各ブロックにおいて候補グループを構成できなければ、ＤＣモード、平面モード、垂直モード、水平モード、対角線モード等の候補で代替してパディングすることができる。上記プロセスにより２つの候補をパディングすれば、種々の数のもので残った１つの候補をパディングすることを考慮できる。
例えば、ブロックにおいてパディングされた候補が同じであれば、候補グループに含まれるモードと重なり合わない方式で、上記モードの隣接モード（例えば、同一のモードがｋ＿ｍｏｄｅである場合、ｋ＿ｍｏｄｅ－２、ｋ＿ｍｏｄｅ－２、ｋ＿ｍｏｄｅ＋１、ｋ＿ｍｏｄｅ＋２等である）に代える。又は、各ブロックにおいてパディングされた候補が同じ又は異なる場合、平面モード、ＤＣモード、垂直モード、水平モード、対角線モードを追加することで候補グループを構成することができる。
上記プロセスにより、フレーム内予測モード候補グループ（普通のケース）を構成することができる。このように構築された候補グループは、普通のケースに属する。また、隣接ブロックに基づいて、自己適応的にフレーム内予測モード候補グループ（例外的なケース）を構成することができる。
例えば、隣接ブロックが例外的な状態と表記されると、該ブロックから導出された候補グループを排除することができる。左ブロックが例外的な状態と表記されると、候補グループは、上ブロック及び所定の予測モード（例えば、ＤＣブロック、平面ブロック、垂直ブロック、水平ブロック、対角線ブロック、上ブロックから導出されたモード等）で構成されてもよい。ＭＰＭ候補グループが３つ以上のＭＰＭ候補で構成される場合、上記例を同様／類似に適用することもできる。
下記仮定に基づいて説明する。該例（色差成分）において、５つのフレーム内予測モード（該例において、ＤＣモード、平面モード、垂直モード、水平モード、カラーモードである）を有し、また、優先度を自己適応的に決定した後に順序付けされた予測モードで候補グループを構成することで、符号化／復号を実行する（つまり、ＭＰＭを使用することなく、符号化／復号を直接的に実行する）。
まず、カラーモードに最高優先度（該例において、０番のインデックスである。「０」について、１ビットを割り当てる）を与え、他のモード（該例において、平面、垂直、水平、ＤＣである）に低優先度（該例において、それぞれ１番から４番のインデックスである。「１００」、「１０１」、「１１０」、「１１１」で３ビットを割り当てる）を与える。
色モードが候補グループの他の予測モードのうちの１つ（ＤＣ、平面、垂直、水平）とマッチングすれば、マッチングした予測モードに与えた優先度（該例においてインデックス１番から４番である）に所定の予測モード（例えば、対角線モード等）を割り当てることができる。マッチングしなければ、候補グループ構成を終了する。
上記プロセスにより、フレーム内予測モードのめの候補グループを構成することができる。このような例は、普通のケースに対応し、色モードを取得したブロックに基づいて自己適応的候補グループを構成することができる。
該例において、色モードを取得した他の色空間における、現在ブロックに対応するブロックは、１つのブロック（つまり、未分割状態）となるように構成されるため、これを普通のケースと呼ぶ。複数のブロック（つまり、２つ以上に分割された）であれば、例外的なケースと認められる。上述したように、以下仮定で挙げられた例である可能性がある。該例は、現在ブロックと隣接ブロックの親ブロックが同じであるかどうか、分割方式等に基づいて分類を実行する例と異なり、異なる色空間に対応するブロックが複数である場合、現在ブロックの特性と異なる可能性がより高い。つまり、ブロック同士の関係に基づいて、符号化／復号の設定を自己適応的に決定する例であると理解される。
上記仮定で例を挙げると、対応するブロックを例外的な状態と表記すると、該ブロックから導出された予測モードの優先度を繰り下げることができる。この場合、他の予測モードのうちの１つ（平面、ＤＣ、垂直、水平）を高優先度に割り当て、低優先度を前記優先度に含まれない他の予測モード及び色モードに割り当てることができる。
説明を容易にするために、幾つかの仮定で上記例を説明するが、これに限定されない。同様又は類似した適用は、本発明の上記種々の実施例に適用可能である。
要するに、隣接ブロックに、例外的状態と表記されるブロックが存在する場合、候補グループＡを用いることができる。例外的状態と表記されるブロックが存在する場合、候補グループＢを用いることができる。上記分類は、２つのケースに分類されるが、例外的状態及びブロック位置に基づいて、ブロック単位のフレーム内予測候補グループ構成を自己適応的に実現させることができる。
また、上記例において、分割方式におけるツリーベースの分割を仮定するが、これに限定されない。詳しくは、上記例は、少なくとも１つのツリーベースの分割方式で得られたブロックを符号化ブロックと設定し、また、該ブロックを予測ブロック、変換ブロック等に分割することなく、予測、変換などを直接的に実行する例である可能性がある。
分割設定のもう１つの例は、ツリーベースの分割を利用して符号化ブロックを得て、得られた符号化ブロックに基づいて少なくとも１つの予測ブロックを得ることである。
例えば、ツリーベースの分割（該例において四分木である）を用いて符号化ブロック（２Ｎ×２Ｎ）を得る。また、予測ブロックは、タイプベースの分割（該例においてサポート可能な候補タイプは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎである）により得られたものである。この場合、１つの符号化ブロック（該例において、該ブロックが親ブロックであると仮定する）を複数の予測ブロック（該例においてこれらのブロックがサブブロックであると仮定する）に分割する場合、上記例外的状態等の設定も予測ブロックに適用可能である。
図１６のｇに示すように、符号化ブロック（太実線）に、２つの予測ブロック（細実線により分けられる）が存在すれば、下ブロックは、上ブロックと異なる特性を有し、上ブロックの符号化情報を参照しないか又は優先度を繰り下げる。
図１７は、本発明の実施例による分割ブロックの例を示す。詳しくは、基本符号化ブロック（最大符号化ブロック、８Ｎ×８Ｎ）が四分木に基づいた分割により符号化ブロック（斜線ブロック、２Ｎ×２Ｎ）を得る例を示す。また、得られた符号化ブロックは、タイプベースの分割により、少なくとも１つの予測ブロック（２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ）に分割される。
以下、矩形形状のブロックを得る場合（２Ｎ×Ｎ和Ｎ×２Ｎ）のフレーム内予測モード候補グループ設定について説明する。
図１８は、予測情報を生成するブロック（該例において、予測ブロックは、２Ｎ×Ｎである）のフレーム内予測モード候補グループの設定の種々の例を示す。
該例において、（輝度成分）が６７個のフレーム内予測モードを有する場合、隣接ブロック（該例において、左、上、左上、右上、左下である）から、６つの候補を選択し、これをＭＰＭ候補グループに配置する。
図１３を参照すると、Ｌ３－Ｔ３－Ｂ０－Ｒ０－ＴＬの順番で４つの候補を配置することができ、所定のモード（例えば、平面、ＤＣ）で２つの候補を配置することができる。上記構成において、最大数（該例において６である）がパディングされていないと、候補グループに含まれる予測モードから導出された予測モード（例えば、ｋ＿ｍｏｄｅの場合、ｋ＿ｍｏｄｅ－２、ｋ＿ｍｏｄｅ－２、ｋ＿ｍｏｄｅ＋１、ｋ＿ｍｏｄｅ＋２等であってもよい）、所定のモード（例えば、垂直、水平、対角線等）等を含んでもよい。
該例において、空間での隣接ブロックの場合、候補グループの優先度が現在ブロックの左ブロック－上ブロック－左下ブロック－右上ブロック－左上ブロックという順番（詳しくは、左ブロックの下側、上ブロックの右側に位置するサブブロック）であり、所定のモードについて、順番が平面－ＤＣ－垂直－水平－対角線モードであると仮定する。
図１８のａに示すように、上記例における候補グループ設定と同様に、現在ブロック（２Ｎ×Ｎ、ＰＵ０）は、ｌ１－ｔ３－ｌ２－ｔｒ－ｔｌの順番で候補グループを構成することができる（他の内容が重複するため、省略する）。該例において、現在ブロックの隣接ブロックは、符号化／復号を完了したブロック（符号化ブロック。つまり、他の符号化ブロックにおける予測ブロック）であってもよい。
上記と異なっており、現在ブロックの位置がＰＵｌに対応する場合、少なくとも１つのフレーム内予測モード候補グループを設定することができる。一般的には、現在ブロックに隣接するブロックであるほど、現在ブロックの特性と類似する可能性が高くなる。従って、対応するブロックにより候補グループを配置することは最も有利である（１）。また、符号化／復号の並行処理を実行するために、候補グループを配置する必要がある（２）。
現在ブロックがＰＵ１であれば、（１）における候補設定において、図１８のｂに示すように、ｌ３－ｃ７－ｂｌ－ｋ－ｌ１の順番で候補グループ（ｃ７又はｔｒからｋを導出できる）を配置し、また、（２）における候補グループ設定において、図１８のｃに示すように、ｌ３－ｂｌ－ｋ－ｌ１の順番で、候補グループ（ｔｒ等からｋを導出できる）を配置することができる。上記２つの例は、上ブロックのフレーム内予測モードの候補グループを含むかどうかという点で相違する。つまり、前者の場合、フレーム内予測モードの符号化／復号効率を向上させるために、上ブロックのフレーム内予測モードを候補グループに含ませる。後者の場合、符号化／復号が完了されるかどうかが決定されていない状態であるため、並行処理のために、候補グループから、参照できない上ブロックのフレーム内予測モードを排除する。
図１９は、予測情報を生成するブロック（該例において、予測ブロックは、Ｎ×２Ｎである）のフレーム内予測モード候補グループの設定に関わる種々の例を示す。
該例において、（輝度成分）が６７個のフレーム内予測モードを有する場合、隣接ブロック（該例において、左、上、左上、右上、左下である）から６つの候補を選択し、ＭＰＭ候補グループに配置する。
図１３を参照すると、Ｌ３－Ｌ２－Ｌ１－Ｌ０の順番（上ブロック）で１つの候補を配置することができ、Ｔ３－Ｔ２－Ｔ１－Ｔ０の順番（上ブロック）で１つの候補を構成することができ、Ｂ０－Ｒ０－ＴＬの順番（左上ブロック、右上ブロック、左下ブロック）で２つの候補を配置し、所定のモード（例えば、Ｐｌａｎａｒ、ＤＣ）で２つの候補を配置することができる。上記構成において、最大数がパディングされていないと、候補グループに含まれる予測モードから導出された予測モード、所定のモード等を含んでもよい。この場合、候補グループ構成の優先度は、左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番であってもよい。
図１９のａに示すように、上記例における候補グループ設定と同様に、現在ブロック（Ｎ×２Ｎ。ＰＵ０）は、ｌ３－ｌ２－ｌ１－ｌ０の順番で候補を配置し、ｔ１－ｔ０の順番で候補を配置し、ｂｌ－ｔ２－ｔｌの順番で２つの候補を配置することができる。該例において、現在ブロックの隣接ブロックは、符号化／復号を完了したブロック（符号化ブロック。つまり、他の符号化ブロックにおける予測ブロック）であってもよい。
上記と異なっており、現在ブロックの位置がＰＵｌに対応する場合、少なくとも１つのフレーム内予測モード候補グループを設定することができる。上記例において、（１）及び（２）を配置することができる。
現在ブロックがＰＵ１であれば、（１）における候補グループ設定において、図１９のｂに示すように、ｃ１３－ｃ９－ｃ５－ｃ１の順番で候補グループを配置し、ｔ３－ｔ２の順番で候補グループを配置し、ｋ－ｔｒ－ｔ１の順番で２つの候補グループ（ｂｌ又はｃ１３等からｋを導出する）を配置し、また、（２）における候補グループ設定において、図１９のｃに示すように、ｔ３－ｔ２の順番で候補グループを配置し、ｋ－ｔｒ－ｔ１の順番で２つの候補グループ（ｂｌなどからｋを導出できる）を配置することができる。上記２つの例は、上ブロックのフレーム内予測モードの候補グループを含むかどうかという点で相違する。つまり、前者の場合、フレーム内予測モードの符号化／復号効率を向上させるために、左ブロックのフレーム内予測モードを候補グループに含ませる。後者の場合、符号化／復号が完了されるかどうかが決定されていない状態であるため、並行処理のために、候補グループから、参照できない左ブロックのフレーム内予測モードを排除する。
従って、候補グループ構成の設定に基づいて候補グループ構成を決定することができる。該例において、候補グループ構成設定（該例において、並行処理のための候補グループ構成設定である）を暗黙的に決定することができ、又は、関連情報をビデオ、シーケンス、ピクチャ、スライス、ｔｉｌｅ等の単位に明示的に収録することができる。
上述を以下のにまとめる。関連情報を暗黙的に決定するか又は明示的に生成すると仮定する。
符号化／復号の初期段階でフレーム内予測モード候補グループ構成設定（Ａ）を確認する。
Ａに対する確認結果は、同一の符号化ブロックにおける先行予測ブロックの設定を参照できることであれば、該ブロックのフレーム内予測モードを候補グループに含ませる（終了）。
Ａに対する確認結果は、同一の符号化ブロックにおける先行予測ブロックの設定を参照することを禁止することであれば、該ブロックのフレーム内予測モードを候補グループから排除する（終了）。
説明を容易にするために、幾つかの仮定で上記例を説明したが、これに限定されず、同様又は類似した適用は、本発明の上記種々の実施例に適用可能である。
図２０は、本発明の実施例によるブロック分割の例を示す。詳しくは、基本符号化ブロック（最大符号化ブロック）に対して二分木に基づいた分割（又は複数のツリーベースの分割）を行うことで符号化ブロック（斜線ブロックＡｘＢ）を得る例を示す。得られた符号化ブロックは、予測ブロックと設定される。
この場合、矩形ブロックを得る場合（ＡｘＢ、Ａ≠Ｂ）の運動情報予測候補グループ設定を説明する。
図２１は、予測情報を生成するブロック（該例において、符号化ブロック。２Ｎ×Ｎ）のフレーム内予測モード候補グループの設定に関わる種々の例を示す。
下記仮定で説明する。該例（輝度成分）において、６７個のフレーム内予測モードを有する場合、隣接ブロック（該例において左、上、左上、右上、左下である）から６つの候補を選択し、ＭＰＭ候補グループに配置する。非ＭＰＭ候補グループは、複数の群（該例において、Ａ及びＢである。Ａは、非ＭＰＭ候補において、現在ブロックの予測モードを予測する可能性がより高いモードは、Ａに属する）となるように構成される場合、Ａ群において、１６個の候補が配置され、Ｂ群において、４５個の候補が配置される。
この場合、群Ａは、ＭＰＭ候補グループのモードに含まれない一定のルール（例えば、方向性モードにおける等距離モードで構成される）に応じて分類された候補を含む。又は、ＭＰＭ候補グループ優先度に基づいて、最終ＭＰＭ候補グループに含まれない候補等を含んでもよい。Ｂ群は、ＭＰＭ候補グループ及び非ＭＰＭ候補グループにおける、Ａ群に含まれない候補で構成されてもよい。
図２１のａに示すように、現在ブロック（ＣＵ０又はＰＵ０。サイズが２ＮｘＮであり、水平／垂直が２：１であると仮定する）は、ｌ１－ｔ３－ｐｌａｎａｒ－ＤＣ－ｌ２－ｔｒ－ｔｌ－ｌ１＊－ｔ３＊－ｌ２＊－ｔｒ＊－ｔｌ＊－垂直－水平－対角線モードの順番で、６つの候補で候補グループを構成することができる。上記例において、＊は、各ブロックの予測モードから導出されたモード（例えば、＋１、－１等の加算モード）を表す。
また、図２１のｂに示すように、現在ブロック（ＣＵ１又はＰＵ１。、サイズは、２Ｎ×Ｎである）は、ｌ３－ｃ７－ｐｌａｎａｒ－ＤＣ－ｂｌ－ｋ－ｌ１－ｌ３＊－ｃ７＊－ｂｌ＊－ｋ＊－ｌ１＊－垂直－水平－対角線モードの順番で、６つの候補で候補グループを構成することができる。
該例において、図１８の（２）の設定を適用する場合、図２１のｂに示すように、ｌ３－ｐｌａｎａｒ－ＤＣ－ｂｌ－ｋ－ｌ１－ｃ７－ｌ３＊－ｂｌ＊－ｋ＊－ｌ１＊－垂直－水平－対角線－ｃ７＊に応じて、上ブロックの予測モード候補グループから排除されるか又は優先度が繰り下げられるため、Ａ群に含まれる可能性がある。
しかしながら、矩形形状のブロックであってもよく、該ブロックは符号化ユニットに分割され、また、更なる分割を行うことなく、直ちに予測ユニットと設定されるという点で、図１８と相違する。従って、図１８に示すように、候補グループ構成設定は、該例（（２）のような設定）に適用されない可能性がある。
しかしながら、図２１におけるｋの場合、符号化／復号が完了されていない位置であるため、符号化／復号を完了した隣接ブロックから導出することができる。
図２２は、予測情報を生成するブロック（該例において、符号化ブロックＮ×２Ｎ）のフレーム内予測モード候補グループの設定に関わる種々の例を示す。
下記仮定に基づいて説明する。該例（色差成分）において、５つのフレーム内予測モード（該例において、ＤＣモード、平面モード、垂直モード、水平モード、カラーコピーモードである）を有する場合、優先度に応じて順序付けされた予測モードで構成される候補グループを自己適応的に決定し、符号化／復号を実行する。
この場合、隣接ブロック（該例において、左、上、左上、右上、左下である）に基づいて優先度を決定することを例として優先度を説明する。
図１３に示すように、左ブロックＬ３、上ブロックＴ３、左上ブロックＴＬ、右上ブロックＲ０、左下ブロックＢ０において、第１レベルの候補を決定することができる。この場合、前記ブロックを有する予測モードのうち、最頻値を有するモードを第１レベルの候補と決定する。複数のモードが最頻値を有すると、所定の優先度（例えば、カラーコピーモード－平面－垂直－水平－ＤＣ）を与える。
該例において、隣接ブロックからモード（前記モードは、現在ブロックの予測モードと推算されたモードである）を得て優先度を決定する（つまり、割り当てられるビット量を決定する。例えば、第１レベルの場合、「０」である。第２から第４レベルの場合、「１００」、「１０１」、「１１０」、「１１１」である）という点及び予測モードの予測を実行するという点で、ＭＰＭ候補設定（該例において第１ビットを０又は１と決定する。１であれば、２ビットを追加する必要がある。符号化／復号の設定によれば、第１ビットについて、バイパス符号化又は普通の符号化を実行することができ、残りのビットについてバイパス符号化を実行することができる）と類似すると認められる。
図２２のａに示すように、現在ブロック（ＣＵ０又はＰＵ０。サイズがＮ×２Ｎであり、且つ水平／垂直が１：２であると仮定する）は、ｌ３、ｔ１、ｔ１、ｔ２、ｂ１ブロックにおいて、第１レベルの候補を決定することができる。
また、図２２のｂに示すように、現在ブロック（ＣＵ１又はＰＵ１。サイズがＮ×２Ｎである）は、ｃ１３、ｔ３、ｔ１、ｔｒ、ｋブロックにおいて、第１レベルの候補を決定することができる。
該例において、図１９における（２）の設定を適用する場合、現在ブロックＣＵ１は、ｔ３、ｔ１、ｔｒ、ｋブロックにおいて第１レベルの候補を決定することができる。また、カラーコピーモードを取得した他の色空間における、現在ブロックに対応するブロックが１つのブロックとなるように構成されていない場合、所定の優先度において、カラーコピーモードの優先度を繰り下げ、優先度をＰｌａｎａｒ－垂直－水平－ＤＣ－カラーコピーモード等に変更する。上述したように、下記仮定で挙げられた例であってもよい。該例は、現在ブロックと隣接ブロックの親ブロックが同じであるかどうか、分割方式などに基づいて分類を実行する例と異なるが、異なる色空間に対応するブロックが複数である場合、現在ブロックの特性と異なる可能性がより高い。つまり、ブロック同士の関係に基づいて、符号化／復号の設定を自己適応的に決定する例と理解される。
しかしながら、矩形形状のブロックであってもよく、該ブロックは符号化ユニットに分割され、また、更なる分割を行うことなく、直ちに予測ユニットと設定されるという点で、図１９と相違する。従って、図１９に示すように、候補グループ構成設定は、該例に適用されない可能性がある。
しかしながら、図２２におけるｋの場合、符号化／復号が完了されていない位置であるため、符号化／復号を完了した隣接ブロックから導出することができる。
説明を容易にするために、幾つかの仮定で上記例を説明するが、これに限定されない。本発明の上記種々の実施例において、同様又は類似した適用を有してもよい。
図２１及び図２２の実施例において、二分木分割により分割されたＭ×Ｎ（Ｍ≠Ｎ）ブロックが連続的に生成することを仮定する。
上述において、図１４から図１６に記載のケース（現在ブロックと隣接ブロックとの関係などを決定することで候補グループを設定する例）が発生することがある。つまり、図２１及び図２１において、ＣＵ０とＣＵ１の分割前の隣接ブロックが同じであり、二分木分割の水平分割又は垂直分割によりＣＵ０及びＣＵ１を得ることができる。
また、図１８及び図１９に示す実施例において、符号化ブロックが分割された後に、符号化ブロックにおける複数の矩形形状の予測ブロックが生成されると仮定する。
上述において、図１４から図１６に記載のケースが発生することもある。従って、図１８及び図１９の例と衝突することが発生する。例えば、図１８において、ＰＵ１の場合、ＰＵ０の情報を用いるかどうかを決定することができる。図１４から図１６において、ＰＵ１の特性がＰＵ０の特性と異なるため、ＰＵ０の情報を使用しない。
上述について、符号化／復号の初期段階の設定に基づいて、衝突しない場合、候補グループを構成することができる。種々の他の符号化／復号の設定に基づいて、運動情報予測の候補グループを設定することができる。
上記例により、予測モード候補グループの設定を説明する。また、例外的状態が表記された隣接ブロックからの参照画素を現在ブロックの予測に用いることを制限するように設定することができる。
例えば、本発明の実施例による第１参照画素と第２参照画素を区分することで予測ブロックを生成する場合、第２参照画素が、例外的状態と表記されたブロックに含まれると、第２参照画素を用いて予測ブロックを生成することを制限することができる。つまり、第１参照画素のみを用いて予測ブロックを生成することができる。
要するに、上記例は、第２参照画素の使用に関わる符号化／復号の設定のうちの１つの素子と認められてもよい。
本発明のフレーム内予測モード候補グループの設定に関わる種々のケースを説明する。
該例において、６７個のフレーム内予測モードが存在し、６５個の方向性モードと、２個の平面及びＤＣの非方向性モードと、で構成されるが、これに限定されない。他のフレーム内予測モードを設定することができる。該例において、ＭＰＭ候補グループに６つの候補が含まれると仮定する。しかしながら、これに限定されない。ＭＰＭ候補グループは、４個、５個又は７個の候補で構成されてもよい。また、候補グループにおいて重なり合いモードが存在しないという設定を有する。また、優先度は、ＭＰＭ候補グループに含まれるかどうかを決定するための順番を指すが、ＭＰＭ候補グループに属する各候補の二値化、エントロピー符号化／復号の設定などを決定するための素子と認められてもよい。輝度成分を中心として後述の例を説明するが、色差成分について、同様、類似又は変更した適用を実行することもできる。
本発明のフレーム内予測モード候補グループ（例えば、ＭＰＭ候補グループ等）に含まれるモードは、空間的隣接ブロックの予測モード、所定の予測モード及び候補に含まれる予測モードから導出された予測モード等であってもよい。この場合、符号化／復号の設定に基づいて、候補グループを構成するためのルール（例えば、優先度等）を決定することができる。
後述される例において、固定の候補グループ構成を説明する。
一例（１）として、フレーム内予測モード候補グループ（該例において、ＭＰＭ候補グループである）を構成するための固定の優先度をサポートすることができる。例えば、１つの所定の優先度をサポートすることができる。例えば、空間的隣接ブロックの予測モードが候補グループに追加される場合、左ブロック（図１３におけるＬ３）－上ブロック（図１３におけるＴ３）－左下ブロック（図１３におけるＢ０）－右上ブロック（図１３におけるＲ０）－左上ブロック（図１３におけるＴＬ）の順番に従う。所定の予測モードが候補グループに追加される場合、平面－ＤＣ－垂直－水平－対角線モードの順番に従う。また、上記例を組み合わせた設定であってもよい。例えば、左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番に従う。優先度に応じて候補を実行しても、候補の数をパディングできない場合、含まれる予測モードの導出モード（例えば、左ブロックモードの＋１、－１、上ブロックモードの＋１、－１等）、垂直モード、水平モード、対角線モード等は、次の優先度を有してもよい。
上記例において、空間的に隣接するブロックの予測モードを候補グループに追加する場合、候補モードは、左ブロック－上ブロック－左下ブロック－右上ブロック－左上ブロックの優先度を有する。また、順番に応じて左ブロック（図１２におけるＬ３）の予測モードを候補グループに含ませる。対応するブロックが存在しない場合、次の優先度の上ブロック（図１３におけるＴ３）とした予測モードを候補グループに含ませる。このように、順番に応じて候補グループに含まれる。対応するブロックの予測モードが利用不可能であるか又は含まれるモードと重なり合う場合、該順番は、次のブロックへジャンプする。
もう１つの例として、空間的に隣接するブロックの予測モードを候補グループに追加する場合、左ブロック－上ブロック－左下ブロック－右上ブロック－左上ブロックの順番で候補グループを構成することができる。この場合、左ブロックの予測モードとして、まず、Ｌ３に位置するブロックの予測モードを考慮するが、利用不可能であるか又は重なり合ったモードが存在すれば、左ブロックの次のサブブロックＬ２、Ｌ１、Ｌ０の順番に応じて、左ブロックの予測モード候補をパディングする。同様に、同様又は類似した設定を上ブロック（Ｔ３－Ｔ２－Ｔ１－Ｔ０）、左下ブロック（Ｂ０－Ｂ１－Ｂ２－Ｂ３）、右上ブロック（Ｒ０－Ｒ１－Ｒ２－Ｒ３）、左上ブロック（ＴＬ）に適用する。例えば、Ｌ３－Ｌ２－Ｌ１－Ｌ０の順番に応じて実行しても、候補グループに追加できない場合、次の順番のブロックを実行することができる。
後述される例において、自己適応的候補グループの構成を説明する。自己適応的候補グループの構成は、現在ブロックの状態（例えば、ブロックのサイズ及び形状）、隣接ブロックの状態（例えば、ブロックのサイズ及び形状、予測モード等）又は現在ブロックと隣接ブロックとの関係によって決まってもよい。
一例（３）として、フレーム内予測モード候補グループ（該例において、ＭＰＭ候補グループである）を構成するための自己適応的優先度をサポートすることができる。頻度に基づいて優先度を設定することができる。つまり、頻繁に発生したモードは、高優先度を有してもよく、発生頻度の低い予測モードは、低優先度を有してもよい。
例えば、空間的に隣接するブロックの予測モードの頻度に基づいて優先度を設定することができる。
頻度が同じである場合に用いられる所定の優先度をサポートすることができる。例えば、左ブロック、上ブロック、左下ブロック、右上ブロック、左上ブロックにおいてそれぞれ２回発生したモード（各ブロックのために１つの予測モードを取得すると仮定する）がモード６及びモード３１であり、１回発生したモードがモード１４であると仮定すると、該例（左ブロック－上ブロック－左下ブロック－右上ブロック－左上ブロックの順番で、前の１つの順番に出現したブロックに発生したモードがモード６であると仮定する）において、モード６及びモード３１を第１候補及び第２候補として含む。
平面及びＤＣを第３及び第４候補として含む。また、１回の頻度を有する予測モードのモード１４を第５候補として含む。続いて、第１候補及び第２候補から導出されたモード５及びモード７並びにモード３０及び３２を次の優先度に配置することができる。また、第５候補から導出されたモードとしたモード１３及びモード１５を次の優先度に配置する。続いて、垂直モード、水平モード、対角線モードは、次の優先度を有してもよい。
つまり、頻度が２以上である予測モードについて、平面モード及びＤＣモードより上位になる優先度を配置する。頻度が１である予測モードについて、平面及びＤＣモードより下位になる優先度を配置する。上記例のような導出モード、所定のモード等は、下位に配置される。
要するに、所定の優先度（例えば、左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番）は、一般的な画像の統計特性を考慮した上で設定された優先度である。また、自己適応的優先度（該例において、頻度に応じて候補グループに含まれる）は、画像の一部の特徴を考慮して、所定の優先度の一部の修正（該例において、固定平面及びＤＣは、前に２回以上の頻度のモードを配置し、後に１回の頻度のモードを配置することである）を実行する。
また、頻度に基づいて候補グループ構成に関わる優先度を決定できるだけでなく、該頻度に基づいて、ＭＰＭ候補グループに属する各候補の二値化及びエントロピー符号化／復号の設定を決定することもできる。一例として、該頻度に基づいて、ｍ個の頻度を有するＭＰＭ候補の二値化を決定することができる。又は、頻度に応じて、候補に関わるコンテキスト情報を自己適応的に決定することができる。つまり、該例において、前記モードの選択確率を高いものと設定するコンテキスト情報を用いることができる。つまり、ｍが１から４である場合（該例において、計６個の候補のうちの２個に非方向性モードが含まれるため、頻度の最大値が４である）、異なるコンテキスト情報を設定することができる。
ｂｉｎインデックス（Ｂｉｎ ｉｎｄｅｘ。二値化設定に基づいて１ビット以上設定する場合の各ビットの順番である。例えば、ＭＰＭ候補が「０１０」である場合、第１ｂｉｎから第３ｂｉｎは、０、１、０であってもよい）の０と１のうちの０は、該候補がＭＰＭとして選択される（１つのｂｉｎを用いて最終的なＭＰＭであるかどうかを決定する場合、又は、最終的なＭＰＭを認識するために、付加ｂｉｎを確認する必要がある場合。つまり、上記「０１０」において、第１ｂｉｎが０であれば、該モードが最終的なＭＰＭであるかどうかを確認するために、第２ｂｉｎ及び第３ｂｉｎを確認する必要がある。１つのｂｉｎであれば、該ｂｉｎの０及び１に基づいて、最終的なＭＰＭであるかどうかを直ちに確認することができる）ｂｉｎを表す。１は、前記候補がＭＰＭとして選択されていないｂｉｎを表す。０の発生確率の高いコンテキスト情報を適用できる（つまり、二値算術を実行する時、０の発生確率を９０％、１の発生確率を１０％とする。基本的には、０及び１の発生確率が６０％、４０％であると仮定する）。従って、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ）を適用できる。
一例（４）として、フレーム内予測モード候補グループ（該例において、ＭＰＭ候補グループ）を構成するための自己適応的優先度をサポートすることができる。例えば、空間的に隣接するブロックの予測モードの方向性に基づいて優先度を設定することができる。
この場合、方向性によるカテゴリは、右上方に向かうモード群（図９における２から１７）、水平モード群（図９における１８）、右下方に向かうモード群（図９における１９から４９）、垂直モード群（図９における５０）、左下方に向かうモード群（図９における５１から６６）、非方向性モード群（平面、直流モード）である。又は、水平方向性モード群（図９におけるモード２から３４）、垂直方向性モード群（図９における３５から６６）、非方向性モード群（平面、ＤＣモード）に分けられてもよい。また、種々の構成例を有してもよい。
例えば、基本候補グループの優先度が左上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番であれば、上記順番に応じて候補グループを構成することができる。しかしながら、候補グループを構成した後、カテゴリに基づいて、各候補の二値化、エントロピー符号化／復号の設定のための優先度を決定することができる。一例として、ＭＰＭ候補グループにおける大量の候補を含むカテゴリに対してビットが少ない二値化を実行することができる。又は、カテゴリに基づいて、コンテキスト情報を自己適応的に決定することができる。つまり、各カテゴリに含まれるモードの数（例えば、第１カテゴリがｍ個であり、第２カテゴリがｎ個である場合、ｍとｎの組み合わせに基づいてコンテキスト情報を決定する）に基づいて、コンテキスト情報を決定する。
一例（５）として、現在ブロックのサイズ及び形状に基づいて自己適応的優先度をサポートすることができる。例えば、ブロックのサイズに基づいて優先度を決定し、また、ブロックの形状に基づいて優先度を決定することができる。
ブロックサイズが３２×３２以上であれば、左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番に応じて候補グループに含まれてもよい。３２×３２未満であれば、左ブロック－上ブロック－左下ブロック－右上ブロック－左上ブロック－平面ブロック－ＤＣブロックの順番に応じて候補グループに含まれてもよい。
又は、ブロックの形状が正方形であれば、左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番に応じて候補グループに含まれてもよい。ブロックの形状が矩形（水平方向に長尺状である）であれば、上ブロック－右上ブロック－左上ブロック－平面ブロック－ＤＣブロック－左ブロック－左下ブロックの順番に応じて候補グループに含まれてもよい。ブロックの形状が矩形（垂直方向に長尺状である）であれば、左ブロック－左下ブロック－左上ブロック－平面ブロック－ＤＣブロック－上ブロック－右上ブロックの順番に応じて候補グループに含まれてもよい。該例は、長いブロックに隣接するブロックが優先順位を有すると理解されてもよい。
一例（６）として、現在ブロックと隣接ブロックとの関係に基づいて自己適応的優先度をサポートすることができる。
図２３ａに示すように、隣接ブロック（該例において、左ブロックのサブブロックである）の予測モードに基づいて予測ブロックを生成する例を示す。
左ブロック（該例において、左ブロックの上サブブロックである）の予測モード（説明を容易にするために用いられる。方向性に関わるもののみを参照すればよい）は、図９における５１から６６に存在する方向性モード（垂直モードで右へ傾斜したモード）である場合、左ブロックの予測ブロックを生成する時の参照画素は、図面における斜線部（ＴＬ、Ｔの一部）に対応する。左ブロックの右領域について、実際に、左ブロックの左領域との相関性が高い領域であってもよいが、現在、符号化／復号が実行されていないため、符号化／復号を完了したＴの下部領域の参照画素により、予測ブロックを生成することができる。
上述したように、Ｔブロックの一部の下部領域から予測を実行しても、最終的予測モードは、５１から６６に存在するモードと決定される。これは、現在ブロックの領域２４００も上記予測モードと同様又は類似した方向性（又は縁等）を有することを表すことができる。
つまり、左ブロックの予測モードが現在ブロックの予測モードとして選択される確率が高いことを意味する可能性がある。又は、５１から６６が選択される確率が高いことを意味する可能性がある。
図２３ｂに示すように、上記例により関連記述を得た場合、図９における２から１７（水平モードで下へ傾斜したモード）に上ブロックの予測モードが存在する場合、現在ブロックの幾つかの領域にも対応する予測モードと同様の方向性を有することを意味する可能性がある。
つまり、上ブロックの予測モードが現在ブロックの予測モードとして選択される確率が高いことを意味する可能性がある。又は２から至１７が選択される確率が高いことを意味する可能性がある。
上述したように、隣接ブロックの予測モードにより、現在ブロックの予測モードの発生の可能性を決定する場合、優先度を自己適応的に決定することができる。
例えば、基本候補グループ構成の優先度が左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番であると、２３ａと同様の場合、優先度は不変のままである。図２３ｂの場合、上ブロック－左ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番に応じて変化する可能性がある。
又は、図２３ａの場合、左ブロック－（左＋１）ブロック－（左－１）ブロック－上ブロック－Ｐｌａｎａｒブロック－ＤＣブロック－左下ブロック－右上ブロック－左下ブロックの順番であってもよい。また、図２３ｂの場合、上ブロック－（上－１）ブロック－（上＋１）ブロック－左ブロック－Ｐｌａｎａｒブロック－ＤＣブロック－左下ブロック－右上－左下ブロックの順番に応じて変化してもよい。
図２４ａに示すように、一例を示す。それは、隣接ブロック（該例において、左ブロックである）の予測モードに基づいて予測ブロックを生成する。
左ブロックの予測モードが図９における５１から６６に存在する方向性を有するモードである場合、左ブロックの予測ブロックの生成のために参照される画素は、図面における斜線部ＴＬ、Ｔに対応する。左ブロックの右領域は、左ブロックの左領域との相関性が高い領域であってもよいが、現在、符号化／復号が実行されていないため、符号化／復号を完了したＴの下部領域の参照画素により、予測ブロックを生成することができる。
上述したように、Ｔブロックの下部領域から予測を実行しても、最終的予測モードを５１から６６に存在するモードと決定する。これは、現在ブロックの幾つかの領域も上記予測モードと同様又は類似した方向性（又は縁等）を有することを意味する。
つまり、左ブロックの予測モードが選択される確率が高いことを意味する可能性がある。又は、５１から６６が選択される確率が高いことを意味する可能性がある。
図２４ｂに示すように、上記例により関連記述を得た場合、図９におけるモード２から１７に上ブロックの予測モードが存在する場合、現在ブロックの幾つかの領域にも対応する予測モードと同様の方向性を有することを意味する可能性がある。
つまり、上ブロックの予測モードが現在ブロックの予測モードとして選択される確率が高いことを意味する可能性がある。又は２から至１７が選択される確率が高いことを意味する可能性がある。
上述したように、隣接ブロックの予測モードにより、現在ブロックの予測モードの発生の可能性を決定する場合、優先度を自己適応的に決定することができる。
例えば、基本候補グループ構成の優先度が、左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番であると、図２４ａの場合、優先度は、不変のままである。図２３ｂの場合、上ブロック－左ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番に応じて変化する可能性がある。この場合、図２４ａの場合、優先度は先と同じである。逆に、ＭＰＭ候補グループにおける左ブロックの予測モード候補の二値化及びエントロピー符号化／復号の設定を自己適応的に決定することができる。一例として、左ブロックの予測モード候補の二値化（より短いビットを割り当てる）を決定することができる。又は、コンテキスト情報を自己適応的に決定することができる。つまり、該例において、前記候補の選択確率を高いものと設定するコンテキスト情報を用いることができる。
ｂｉｎインデックスの０と１のうちの０は、該候補がＭＰＭとして選択される（１つのｂｉｎを用いて最終的なＭＰＭであるかどうかを決定する場合、又は、最終的なＭＰＭを認識するために、付加ｂｉｎを確認する場合）ｂｉｎを表し、１は、前記候補がＭＰＭとして選択されていないｂｉｎを表すと、０の発生確率の高いコンテキスト情報を適用することで、ＣＡＢＡＣを適用することができる。
又は、図２４ａの場合、左ブロック－（左＋１）ブロック－（左－１）ブロック－（左＋２）ブロック－（左－２）ブロック－上ブロック－Ｐｌａｎａｒブロック－ＤＣブロック－左下ブロック－右上ブロック－左下ブロックの順番であってもよい。図２４ｂの場合、上ブロック－（上－１）ブロック－（上＋１）ブロック－（上－２）ブロック－（上＋２）ブロック－左ブロック－Ｐｌａｎａｒブロック－ＤＣブロック－左下ブロック－右上－左下ブロックの順番に応じて変化してもよい。
図２５ａに示すように、一例を示す。それは、隣接ブロック（該例において、左ブロックである）の予測モードに基づいて予測ブロックを生成する。
左ブロック及び左下ブロックの予測モードが図９の５１から６６に存在する方向性を有することを考慮する。左ブロック及び左下ブロックは同一のブロックに属してもよく、又は、同一のブロックに属しなくてもよい。該例において、説明を容易にするために、左ブロック及び左下ブロックは、分割が完了された同一のブロック（つまり、同一ブロック）に属すると仮定する。
（左＋左下）ブロックの予測ブロックの生成時の参照画素は、図面における斜線部ＴＬ、Ｔ、ＴＲに対応する。上述したように、Ｔブロック及びＴＲブロックの下部領域から予測を実行しても、最終的予測モードは、５１から６６に存在するモードと決定される。これは、現在ブロックの全体領域も上記予測モードと同様又は類似した方向性を有することを意味する。
つまり、左ブロック又は左下ブロックの予測モード（該例において、２つのブロックの予測モードが同じである場合）が現在ブロックの予測モードとして選択される確率が（極めて）高いことを意味する可能性がある。又は、モード５１から６６が選択される確率（該例において、２つのブロックの予測モードが異なる場合）が高いことを意味する可能性がある。
図２５ｂにおいて、図９におけるモード２から１７に（上＋右上）ブロックの予測モードが存在する場合、現在ブロックの全体領域にも、対応する予測モードと同様の方向性を有することを意味する可能性がある。
つまり、上ブロック又は左上ブロックの予測モード（該例において、２つのブロックの予測モードが同じである場合）が現在ブロックの予測モードとして選択される確率が（極めて）高いことを意味する可能性がある。又は、モード２から１７が選択される確率（該例において、２つのブロックの予測モードが異なる場合）が高いことを意味する可能性がある。
上述したように、隣接ブロックの予測モードにより、現在ブロックの予測モードの発生の可能性を決定する場合、優先度を自己適応的に決定することができる。
例えば、基本候補グループ構成の優先度が左ブロック－上ブロック－平面ブロック－ＤＣブロック－左下ブロック－右上ブロック－左上ブロックの順番であると、図２５ａの場合、左ブロック－左下ブロック－平面ブロック－ＤＣブロック－上ブロック－右上ブロック－左上ブロックの順番に応じて変化する可能性がある。図２５ｂの場合、上ブロック－右上ブロック－平面ブロック－ＤＣブロック－左ブロック－左下ブロック－左上ブロックの順番に応じて変化してもよい。つまり、関連ブロックの優先度を上位に配置してもよい。
又は、図２５ａの場合、左ブロック－左下ブロック－（左＋１）ブロック－（左－１）ブロック－（左下＋１）ブロック－（左下－１）ブロック－平面ブロック－ＤＣブロック－上ブロック－右上ブロック－左上ブロックの順番に応じて変化してもよい。図２５ｂの場合、上ブロック－右上ブロック－（上－１）ブロック－（上＋１）ブロック－（右上－１）ブロック－（右上＋１）ブロック－平面ブロック－ＤＣブロック－左ブロック－左下ブロック－左上ブロックの順番に応じて変化してもよい。
また、図２５の場合、第４例に記載したカテゴリに基づいて、ＭＰＭ候補グループに属する各候補の二値化、エントロピー符号化／復号の設定を決定することができる。一例として、ＭＰＭ候補（図２４のａ及びｂのモード）の二値化（つまり、より短いビットを割り当てる）を決定することができる。または、カテゴリに基づいたコンテキスト情報を自己適応的に決定することができる。つまり、該例において、前記モード（図２５のａ及びｂのモード）の所属カテゴリの発生確率を高いものと設定するコンテキスト情報を用いることができる。
ｂｉｎインデックスの０と１のうちの０は、上記カテゴリと異なるカテゴリに属するモードがＭＰＭとして選択されるｂｉｎを表し、１は、該カテゴリに属するモードがＭＰＭとして選択されるｂｉｎを表すと、１の発生確率が高いコンテキスト情報を適用することで、ＣＡＢＡＣを適用することができる。
上述を確認するために、所定の方向（左、上、左上、右上、左下）に位置するブロックが単一のブロック（つまり、未分割）であるかどうかを確認する必要がある。従って、単一のブロックであれば、該ブロックの予測モードにより、上述を実行する。分割ブロックであれば、一部又は全ての各ブロックの予測モードを確認し、上述を実行する。しかしながら、この場合、複雑性が大幅に増加する可能性がある。
このため、該プロセスを簡単に設定することができる。現在ブロックの範囲が（ａ，ｂ）から（ａ＋Ｍ－１，ｂ＋Ｎ－１）であると仮定する。左ブロックは、現在ブロックを中心とした、（ａ－１，ｂ）から（ａ－１，ｂ＋Ｎ－１）の範囲に属する画素を含む。全ての画素ではなく、一部の画素の予測モードを確認することで、左ブロックの予測モードの方向性を決定することができる。
例えば、（ａ－１，ｂ）の左ブロックの右上側（現在ブロックを基準とする。左上端）座標の予測モード、（ａ－１，ｂ＋Ｎ－１）の左ブロックの右下側（現在ブロックを基準とする。左下端）座標の予測モードを用いて、予測ブロックの方向性を判定する。この場合、左ブロックは、単一のブロックとなるように構成されてもよく、分割ブロックとなるように構成されてもよい。単一のブロック又は分割ブロックであっても、前記座標を含む予測モードは、同じであってもよい。しかしながら、異なっても、例えば図２４ａにより説明する場合、図９の５１から６６のカテゴリに属する予測モードであれば、該予測モードに対する予測モード符号化に、高優先度を割り当てることができる。
上記例において、左側ブロックを例とするが、同様に、他の方法を適用できる。左ブロックに加えて、左下ブロックの予測モードを確認するために、例えば、（ａ－１，ｂ＋Ｎ）のような、左下ブロックの座標に属する予測モードを確認する必要がある。
要するに、所定の方向に位置するブロックの幾つかの座標の予測モードを確認し、該方向の予測モード又は予測モード方向性を確認することで、フレーム内予測モード候補グループ構成の参考とする。この場合、座標の数は、例えば、１、２、３のような１以上の整数であってもよい。
要するに、現在ブロックとの相関性が高いモードと判定した場合、候補グループにおける該モードに高優先度を割り当てることができる。又は、該モードに基づいて導出された予測モード（例えば、隣接予測モード。例えば、＋１又は－１）に、候補グループにおいて、高優先度を割り当てることができる。つまり、空間的隣接ブロックの予測モード又は所定の予測モード（ＤＣモード、平面モード、水平モード、垂直モード、対角線モード等）のうちの全て又は一部に優先してもよい。
上記例と異なっており、現在ブロックとの相関性が高いと判定できなければ、基本的な候補グループを構成することができる。つまり、相関性の高いプロセスの候補グループ構成方法を考慮して、隣接ブロックの状態情報（ブロックサイズ、形状、位置、予測モード等）に基づいて、複数の予測モード候補グループ構成法又は構成された候補グループのうちの１つを選択することができる。
図２６は、現在ブロックと隣接ブロックとの関係を示す概略図である。
図２６のａは、分割ブロックによる符号化順番を示す。
四分木分割を実行する場合、左上ブロック（０）－右上ブロック（１）－左下ブロック（２）－右下ブロック（３）の順番に応じて符号化を実行する。前記サブブロック（深度１）において四分木分割を更に実行する場合、各サブブロック（深度２）において、上記順番に応じて符号化を実行し、且つ、深度情報に優先して符号化を実行する。深度１で分割される左上ブロックについて、深度２で、左上ブロック（０－０）－右上ブロック（０－１）－左下ブロック（０－２）－右下ブロック（０－３）の順番を有する。深度１で分割される右下ブロックについて、深度２で、左上ブロック（３－０）、右上ブロック（３－１）、左下ブロック（３－２）、右下ブロック（３－３）の順番を有する。つまり、深度情報で表されるｘ－ｙ－ｚの順番に応じて符号化を実行する。
二分木分割を実行する時、水平分割の場合、左ブロック（０）－右ブロック（１）又は上ブロック（０）－下ブロック（１）の順番に応じて符号化を実行する。前記サブブロック（深度１）において二分木分割を更に実行する場合、各サブブロック（深度２）において、上記順番に応じて符号化を実行し、且つ深度情報に優先して符号化を実行する。
図２６ａにおいて、ブロック３が図２５ａと同じであり、ブロック１６が図２３ａと同じである場合、ブロック２０は、図２４ａと同じである場合に対応する。
例えば、ブロック３は、左ブロックと左下ブロックに分割されておらず、１つのブロックとなり、特定方向での予測モード（１つのモード）を有するか又は左ブロックと左下ブロックが分離しても、特定方向での予測モード（１つ以上のモード）を有するものである。
ブロック１６は、左ブロックが分割された後に複数のサブブロックとなり、そのうちの少なくとも１つのサブブロックが特定方向での予測モード（１つのモード）を有するものである。
ブロック２０は、左ブロックが１つのブロックとなり、特定方向での予測モード（１つのモード）を有するか又は左ブロックに分割された後に複数のサブブロックとなり、且つ全てのサブブロックが特定方向での予測モード（１つ以上のモード）を有するものである。
図２６ｂにより、現在ブロックと隣接ブロックとの関係の一例を示す。図２６ｂのように推定されると判定すれば、それが予測モード候補グループの構成に含まれると認められる。
上記例により、現在ブロックと隣接ブロックとの関係の幾つかの例を示すが、種々の他の場合を有してもよく、これを考慮してフレーム内予測モード候補グループ構成を設定することができる。
また、上記例において、フレーム内予測モード候補グループの種々の構成を示す。各実施例に記載の１つの設定に適用される候補グループ構成を有してもよい。各実施例に記載の設定は、他の実施例に同様又は類似するように適用可能であり、且つ、候補グループを構成するために、複数の設定が適用可能である。また、上記例と付加的設定を組み合わせることで、候補グループを構成することができる。
該例において、一例を仮定する。その非ＭＰＭ候補グループは、複数の候補グループ（Ａ群及びＢ群）となるように構成される。ＭＰＭ候補グループの予測モードを選択することなく、非ＭＰＭ候補グループの予測モードのうちの次の、現在ブロックの予測モードと推定されるモード候補グループ（Ａ群）を用いて、符号化／復号を実行する。
該例において、候補グループＡに１６個の候補が含まれ、候補グループＢに４５個の候補が含まれると仮定する。
候補グループＡの構成の設定は、種々の方法を用いることができる。ＭＰＭ候補グループの優先度に依存せずに含まれる予測モードを候補グループＡに含ませることができる。
又は、上記例と無関係に所定のカテゴリに基づいてＡ候補グループを構成することができる。例えば、図９において、候補グループに、所定の間隔を有する予測モードを配置することができる。つまり、図８における２、６、１０、１４、１８等は、Ａ群に含まれてもよい。この場合、群Ｂについて、３、４、５、７、８、９、１１等は、Ｂ群に含まれてもよい。勿論、ＭＰＭ候補グループに含まれるモードが除外された設定である。
上記例に限定されず、様々な変形及び他の設定を有してもよい。
要するに、まず、ＭＰＭ候補グループを構成し、続いて候補グループＡを構成する。また、残りの予測モードは、Ｂ候補グループを構成することができる。
ＭＰＭ候補グループモードは、Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ二値化を用いることができ、Ａ候補グループモードは、固定長二値化を用いることができ、Ｂ候補グループモードは、Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ二値化を用いることができるが、種々の他の二値化方法を用いることもできる。
ＭＰＭ候補グループモードは、レギュラー符号化部により、全て又は一部のｂｉｎに対して符号化／復号を実行することができる。また、非ＭＰＭ候補モードは、バイパス符号化部により、全てのｂｉｎに対して符号化／復号を実行することができる。又は、非ＭＰＭ候補グループにおける候補グループＡモードは、レギュラー符号化部により、一部のｂｉｎに対して符号化／復号を実行することができるが、これに限定されず、種々の形態を用いることができる。
以上は、基本設定に関する説明であるが、本発明は、複数の変換実施例を有してもよい。
続いて、複数の参照画素を利用して予測ブロックを生成することを説明する。
図２７は、複数の参照画素層を利用して予測ブロックを生成する例を示す。
加重平均をｒｅｆ＿１のａ及びｒｅｆ＿２のｂに適用することで生成された画素値を現在ブロックのｘ画素の予測値とすることができる。
複数の参照画素層を利用して予測ブロックを生成する場合、より高い予測効果を発生することがある。つまり、現在ブロックの画素の予測値を生成する場合、複数の画素でより正確な予測結果を生成できることを意味する。
しかしながら、ｒｅ１＿１及びｒｅｆ＿２を、現在ブロックと縁方向等との相関性が高い場合に適用することができる。幾つかの場合、複数の参照画素層を利用すると、低い予測結果を発生することがある。例えば、現在ブロックの、垂直方向での相関性が高く、上ブロックの、対角線方向での相関性が高いと、複数の参照画素層を利用する場合、高い効果を実現できない。
この場合、好ましくは、１つの現在の参照画素層又は複数の参照画素層の使用を明示的に決定する。
又は、参照画素層同士の相関性が高いかどうかを決定することで、複数の参照画素層を利用して予測ブロックを生成するかどうかを暗黙的に決定することができる。
上記例において、フレーム内予測の場合、所定のサブブロックを単位として分割を行い、サブブロックに基づいた予測及び変換などを実行することを説明した。この場合、現在ブロックに属するサブブロックは、１つのフレーム内予測モードを共有することができる。この場合、複数の参照画素層を前記ブロックにおけるサブブロックに適用すると、高い効果を実現させる可能性がある。
図２８は、複数の参照画素層を利用して現在ブロックにおけるサブブロックを生成する例を示す。現在ブロックは、４Ｍ×４Ｎであり、サブブロックは４Ｍ×Ｎでありる。また、順方向予測（上－＞下又は左－＞右。参照として、逆方向の場合、下－＞上、右－＞下である）を行う。予測方向が左上ブロック、上ブロック、右上ブロックである参照画素を利用する予測モードは、ｋ（図９における６６番）である。
図２８を参照すると、ｘを含むサブブロック４Ｍ×Ｎは、符号化した１つ目の先行サブブロックを参照画素層としてフレーム内予測を実行することができる。又は、ｘを含むサブブロックは、符号化した２つ目の先行サブブロックを参照画素層としてフレーム内予測を実行することができる。又は、ｘを含むサブブロックは、１つ目又は２つ目の先行サブブロックを参照画素層としてフレーム内予測を実行することができる（各参照画素層に加重値を適用する場合、ｘを含むサブブロックに適用される加重値は、他のサブブロックの加重値以上である）。
一般的には、符号化ブロックを基準として、複数の参照画素層を使用する場合、無条件で使用すると、常に正確な結果を発生するとは限らない。しかしながら、上記例において、符号化に用いられるターゲットサブブロックの先行サブブロックは、ターゲットサブブロックと同一の方向を有するため、より高い結果を発生する。従って、複数の参照画素層の設定を現在ブロックのサブブロックに明示的に適用することで、参照画素層の実行又は選択を明示的に決定することができる。又は、複数の参照画素層をターゲットサブブロックの上位ｋ個のサブブロックに暗黙的に適用することで、ターゲットサブブロックの予測値を生成することができる。
サブブロック単位で複数のサブブロックを、異なる参照画素層を使用するように設定することができる。上記設定を利用して予測ブロックを生成しよとする場合、現在ブロックにおけるサブブロックの位置に応じて、様々な設定を実行することができる。
例えば、現在ブロックにおいて４つの水平分割されたサブブロックをサポートすると仮定する。従って、１つ目のサブブロックは、現在ブロックの最近傍参照画素を利用して予測及び符号化を実行することができ。２つ目のサブブロックは、現在ブロックの最近傍参照画素及び１つ目のサブブロックのデータを利用して予測及び符号化を実行することができる。
また、３つ目のサブブロックは、１つ目及び２つ目のサブブロックのデータを利用して予測及び符号化を実行することができ、４つ目のサブブロックは、２つ目及び３つ目のサブブロックのデータを利用して予測及び符号化を実行することができる。
以上、各参照画素層（又はサブブロック）に適用される参照画素フィルタリング及び参照画素補間は、同一のフィルタを用いてもよく、異なるフィルタを用いてもよい。この場合、フィルタタップ数及びフィルタ係数によりフィルタを区分する。また、フィルタリングを同様又は異なるように適用することができる。又は、参照画素フィルタリング及び参照画素補間をそれぞれ実行することなく、１つのフィルタにより実現させることができる。例えば、３タップ低周波フィルタを用いた参照画素フィルタリングを実行することなく、１つの６タップ補間フィルタを実行する。また、４タップ補間フィルタを使用しないため、２回のフィルタリングを実行しない可能性がある。
上述したように、種々の参照画素構成を設定し、続いて、複数の参照画素層を利用して予測を実行することができる。本発明の上記種々の他の実施例により上記種々の組み合わせを説明することができる。
以下、予測ブロックの生成例を説明する。
上記において、フレーム内予測に用いられる参照画素を複数の概念に区分できることを説明した。複数の参照画素層を利用する場合と異なっており、予測モードに基づいて、第１参照画素及び第２参照画素を利用して予測ブロックを生成又は補正することができる。
予測モードに基づいて異なる形態を適用する例を説明した。しかしながら、該例は、上記現在ブロックを複数のサブブロックに分割する場合に適用可能である。つまり、参照画素を第１参照画素として現在ブロックの隣接ブロックに適用し、第２参照画素として予測モードの方向と逆である位置又は予測モードの方向に対応する位置にある画素を用い、現在ブロックが複数のサブブロックに分割される場合、第１参照画素は、直上ブロックであってもよい。つまり、本発明は、複数の参照画素を利用して予測ブロックを生成する例において、第１参照画素の位置を変更することができる。
又は、現在ブロックを複数のサブブロックに分割して変換を実行する場合、上記方法を用いなくてもよい。その原因は、符号化を完了した最近傍画素が配列された場合、第２参照画素を利用すると、効率が高くなる可能性があることである。
つまり、現在ブロック（変換ブロック）をサブブロックに分割して符号化を実行するかどうかを判定する。従って、分割を行うことなく、元のブロックサイズで、予測、変換等により符号化を実行すると、本発明は、予測モードに基づいて第１参照画素及び第２参照画素を利用して予測ブロックを生成するか又は予測ブロックを補正することができる。分割した後に符号化を実行すると、第２参照画素を利用して予測ブロックを生成するか又は予測ブロックを補正することを禁止する。
符号化／復号の設定に基づいて分割を行ったに符号化を実行する場合、第２参照画素を利用すると、第１参照画素の位置を調整することで対応するプロセスを実行することができる。
図２９は、フレーム内予測に用いられる参照画素配置を示す概略図である。分割ブロック部から予測を実行する現在ブロックのサイズ及び形状（Ｍ×Ｎ）を得ることができる。また、下記仮定で説明する。フレーム内予測を実行するために、４×４から２５６×２５６の範囲をサポートする。一般的には、予測ブロックを単位としたフレーム内予測を実行できるが、ブロック分割部の設定に基づいて、符号化ブロックを単位、変換ブロックを単位としたフレーム内予測を実行できる。ブロック情報を確認した後、参照画素配置部は、現在ブロックの予測に用いられる参照画素を配置することができる。この場合、一時メモリ（例えば、アレイ＜Ａｒｒａｙ＞、メインアレイ又はサブアレイ等）により参照画素を管理することができる。該ブロックの各フレーム内予測プロセスにおいて、該参照画素を生成して削除する。また、一時メモリの容量は、参照画素の配置によって決まってもよい。
該例において、現在ブロックを中心として、左ブロック、上ブロック、左上ブロック、右ブロック、左下ブロックが現在ブロックの予測に用いられることを例として説明するが、これに限定されない。他の構成を有するブロック候補グループを現在ブロックの予測に用いることができる。例えば、前記参照画素に対する隣接ブロックの候補グループは、ラスタ又はＺ走査の場合の一例であってもよい。また、走査順番に応じて前記候補グループのうちの一部を除去してもよく、又は他のブロック候補グループ（例えば、上ブロック、下ブロック、右下ブロック等を更に配置する）を含むように構成されてもよい。つまり、走査順番に応じて参照可能な隣接ブロックの位置を変更する。
又は、他の色空間（例えば、現在ブロックがＣｒに属すれば、他の色空間は、Ｙ又はＣｂに対応する）における現在ブロックに対応するブロック（例えば、各色空間における同一の座標又は色成分の構成比に基づいて、対応する座標を有する場合）は、現在ブロックの予測に用いられる。また、説明を容易にするために、前記所定の位置（左、上、左上、右上、左下）で１つのブロックを構成することを例として説明するが、対応する位置で、少なくとも１つのブロックが存在してもよい。つまり、前記所定の位置で、対応するブロックを分割することで得られた複数のサブブロックが存在してもよい。
要するに、現在ブロックの隣接領域は、現在ブロックのフレーム内予測に用いられる参照画素の位置であってもよい。また、予測モードに基づいて、もう１つの色空間の現在ブロックに対応する領域を更に参照画素の位置とすることを考慮してもよい。上記例に加えて、予測モード、方法等に基づいて定義された参照画素の位置を決定することができる。例えば、ブロックマッチングなどのような方法で予測ブロックを生成する場合、参照画素の位置を、現在画像の現在ブロックの前の符号化／復号を完了した領域又は符号化／復号を完了した領域におけるサーチ範囲内に含まれる領域（例えば、現在ブロックの左側、上側、左上側又は右上側等を含む）と認めることができる。
図２９に示すように、現在ブロック（ＭｘＮ）の予測に用いられる参照画素は、左ブロック、上ブロック、左上ブロック、右上ブロック、左下ブロックの隣接画素（図７におけるＲｅｆ＿Ｌ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿ＢＬ）で構成されてもよい。
この場合、少なくとも１つの参照画素層により隣接画素を分類することができる。また、最近傍画素は、ｒｅｆ＿０（画素値差１。ｐ（－１，－１）からｐ（２Ｍ－１，－１））、ｐ（－１，０）からｐ（－１，２Ｎ－１））であってもよく、次の隣接画素（画素値差２。ｐ（－２，－２）からｐ（２Ｍ，－２）、ｐ（－２，－１）からｐ（－２，２Ｎ））は、ｒｅｆ＿１であってもよく、また次の隣接画素（画素値差３。ｐ（－３，－３）からｐ（２Ｍ＋１，－３）、ｐ（－３，－２）からｐ（－３，２Ｎ＋１））は、ｒｅｆ＿２等であってもよい。詳しくは、ｒｅｆ＿ｋは、隣接ブロック（該例においてＲｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＢＬである）における画素値差がｋ＋１である参照画素集合を表す。また、本発明において、参照画素集合ｒｅｆ＿ｋの使用について、下記仮定で説明（又は主な説明）を行う。Ｒｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＲ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＢＬにおける画素値差ｋ＋１の画素を参照画素として予測ブロックに用いるが、これに限定されない。これは、現在ブロックの予測に用いられる参照画素集合において、各隣接ブロックは、同じであっても異なってもよいことを意味する。
例えば、以下のように、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ及びＲｅｆ＿ＴＲにおいて、ｒｅｆ＿０（ｐ（－１，－１）からｐ（２Ｍ－１，－１））を利用し、Ｒｅｆ＿Ｌにおいて、ｒｅｆ＿１（ｐ（－２，０）からｐ（－２，Ｎ－１））を利用し、また、Ｒｅｆ＿ＢＬにおいて、ｒｅｆ＿２（ｐ（－３，Ｎ）からｐ（－３，２Ｎ＋１））を用いる。
また、１つの参照画素集合は、Ｒｅｆ＿ＴＬ、Ｒｅｆ＿Ｔ、Ｒｅｆ＿ＴＢ、Ｒｅｆ＿Ｌ、Ｒｅｆ＿ＢＬ（つまり、現在ブロックのフレーム内予測に用いられる隣接ブロックから取得する）を集めた参照画素を指す。後述される例において、参照画素集合は、前記参照画素の一部の組み合わせで構成されてもよい（例えば、Ｒｅｆ＿Ｔ＋Ｒｅｆ＿ＴＲ、Ｒｅｆ＿Ｌ＋Ｒｅｆ＿ＢＬ、Ｒｅｆ＿Ｔ＋Ｒｅｆ＿ＴＬ＋Ｒｅｆ＿Ｌ等。又は、各位置でのブロックは、サブブロックで構成される。即ち、Ｒｅｆ＿Ｔ０＋Ｒｅｆ＿Ｔ１、Ｒｅｆ＿Ｌ０＋Ｒｅｆ＿ＴＬ＋Ｒｅｆ＿Ｔ等）。
本発明において、最大限３つの参照画素集合が存在することを例として説明するが、これに限定されず、より多くの参照画素集合（ｋが３以上である）を利用することができる。この場合、サポートされる参照画素集合（又は集合の最大数。後述される例において、参照画素候補グループを指す）は、符号化／復号の設定（例えば、ブロックサイズ、形状、予測モード、画像タイプ、色成分等）によって決まってもよい。
本発明は、最近傍参照画素集合から低インデックス（０から１ずつ逓増する）を割り当てることを例として説明するが、本発明は、これに限定されない。また、上記インデックス設定（複数の参照画素集合のうちの１つを選択する場合、低インデックスに対して短いビットを割り当てる二値化等）で、後述される参照画素配置の関連情報を生成することができるが、これに限定されない。
一般的には、隣接ブロックの最近傍画を参照画素（該例において、参照画素層ｒｅｆ＿０である）とすることができるが、符号化／復号の設定に基づいて、他の画素を参照画素とすることができる。他の参照画素層又は少なくとも１つの参照画素層を利用すると、予測の正確度を向上させることができる。この場合、参照画素層設定に関わる種々の設定を有してもよい。
例えば、フレーム内予測に用いられる参照画素集合を暗黙的に決定することができるか又は用いられる参照画素集合に関わる情報を明示的に生成することができる。詳しくは、少なくとも１つの所定の参照画素集合を参照画素とすることができる。又は、参照画素集合選択情報により決定された少なくとも１つの参照画素集合を参照画素とすることもできる。上記プロセスにより、参照画素集合（例えば、ｒｅｆ＿０、ｒｅｆ＿１、ｒｅｆ＿２、ｒｅｆ＿０＋ｒｅｆ＿１、ｒｅｆ＿０＋ｒｅｆ＿２、ｒｅｆ＿１＋ｒｅｆ＿２、ｒｅｆ＿０＋ｒｅｆ＿１＋ｒｅｆ＿２）は、現在ブロックの参照画素とすることができる。
また、参照画素とする参照画素集合が１つである場合及び２つ以上である場合に基づいて区分することができる。前者の場合、１つの参照画素集合における画素を利用して予測ブロックを生成することを表す。後者の場合、各参照画素集合に位置する少なくとも１つの画素（例えば、２つ以上の参照画素集合が参照画素とされる場合、各参照画素集合に位置する画素値（該値は、各参照画素集合における１つの画素又は複数の画素から導出された値であってもよい）の中間値、加重平均などにより導出された値により、予測ブロックを生成することを表す。
例えば、参照画素を利用して予測ブロックを生成することができる。該参照画素は、第１参照画素集合に位置する画素（該例におけるｒｅｆ＿０）及び第２参照画素集合に位置する画素（該例におけるｒｅｆ＿１）の加重加算により得られたものである。この場合、予測モード（例えば方向性予測モード）によれば、各参照画素集合に加重加算した画素を適用する場合、整数単位の画素であってもよく、小数単位の画素であってもよい。又は、加重値（例えば、７：１、３：１、２：１、１：１等）をそれぞれ、第１参照画素集合に位置する画素を参照画素とすることで得られた予測ブロック及び第２参照画素集合に位置する画素を利用することで得られた予測ブロックに適用し、１つの予測ブロックを得る。
参照画素配置に関わる情報を明示的に生成する場合、自己適応的参照画素配置を許容する指示情報（該例において、ａｄａｐｔｉｖｅ＿ｉｎｔｒａ＿ｒｅｆ＿ｐｉｘｅｌ＿ｅｎａｂｌｅｄ＿ｆｌａｇである）は、ビデオ、シーケンス、ピクチャ、スライス、ｔｉｌｅ等を単位として生成される。
指示情報が、自己適応的参照画素配置（該例において、ａｄａｐｔｉｖｅ＿ｉｎｔｒａ＿ｒｅｆ＿ｓａｍｐｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝１である）を許容することを意味すると、自己適応的参照画素配置情報（該例において、ａｄａｐｔｉｖｅ＿ｉｎｔｒａ＿ｒｅｆ＿ｓａｍｐｌｅ＿ｆｌａｇである）は、ピクチャ、スライス、ｔｉｌｅ、ブロック等を単位として生成される。
前記配置情報が、自己適応的参照画素配置（該例においてａｄａｐｔｉｖｅ＿ｉｎｔｒａ＿ｒｅｆ＿ｓａｍｐｌｅ＿ｆｌａｇ＝１である）を許容することを表すと、参照画素配置関連情報（例えば、参照画素集合選択情報等。該例において、ｉｎｔｒａ＿ｒｅｆ＿ｉｄｘである）は、ピクチャ、スライス、ｔｉｌｅ、ブロック等を単位として生成される。
この場合、自己適応的参照画素配置を許容しないか又は適用的参照画素配置ではない場合、所定の設定に基づいて、参照画素を配置することができる。一般的には、その例は、隣接ブロックの最近傍画素を参照画素とすることであってもよいが、これに限定されず、種々の数であってもよい（例えば、ｒｅｆ＿０及びｒｅｆ＿１を参照画素とし、ｒｅｆ＿０及びｒｅｆ＿１により加重加算などの方法で予測画素値を生成する場合など。即ち、暗黙的場合）。
また、上記所定の場合（例えば、ｒｅｆ＿０の場合）に加えて、参照画素配置関連情報（例えば、参照画素集合選択情報等）は、候補グループ（例えば、ｒｅｆ＿１、ｒｅｆ＿２、ｒｅｆ＿３等）で構成されてもよいが、これに限定されない。
上記例により、上位層ユニットについて、階層化構造で説明するが、これに限定されない。また、幾つかの場合、関連情報を暗黙的に決定することができる。例えば、上述したように、幾つかの場合、符号化／復号の設定に基づいて関連情報を生成することができる。幾つかの場合、関連情報を暗黙的に決定する。幾つかの場合、上記の組み合わせであってもよい。
上記例により、幾つかの参照画素配置を説明した。それを種々の符号化／復号情報などと組み合わせてフレーム内予測設定を決定することができる。この場合、符号化／復号情報は、画像タイプ（Ｉ／Ｐ／Ｂ）、色成分、現在ブロックのサイズ、形状、予測モード（予測モードの種類（方向性、非方向性）、予測モードの方向（垂直、水平、対角線１、対角線２等）等を含む。また、隣接ブロックの符号化／復号情報及び現在ブロックと隣接ブロックの符号化／復号情報の組み合わせにより、フレーム内予測設定（該例において、参照画素配置設定である）を決定することができる。
図３０は、参照画素配置を示す概略図である。
図３０ａは、１つの参照画素集合を参照画素とすることを示す。ｒｅｆ＿０を参照画素とした後、後続のフレーム内予測プロセス（参照画素生成、参照画素フィルタリング、参照画素補間、予測ブロック生成、後処理フィルタリング等。参照画素集合配置に基づいて、幾つかのフレーム内予測プロセスを自己適応的に配置することができる）を実行することができる。例えば、１つの参照画像集合を利用して参照画素集合情報を生成することを実行しない。また、非方向性モードに基づいたフレーム内予測プロセスを実行することができる。
図３０ｂは、最大限２つの参照画素集合を参照画素とすることを示す。ｒｅｆ＿０＋ｒｅｆ＿１（図面においてａｎｄである）を参照画素とした後、後続のフレーム内予測プロセスを実行することができる。例えば、複数の参照画素集合であるが、参照画素集合情報が生成されない。しかしながら、幾つかの予測モード（該例において、左上から左下へ又は左下から右上への方向である）に基づいてフレーム内予測プロセスを実行することができる。
図３０ｃは、最大限１つの参照画素集合を参照画素とすることを示す。ｒｅｆ＿０、ｒｅｆ＿１又はｒｅｆ＿２のうちの１つ（図面においてｏｒである）を参照画素とした後、後続のフレーム内予測プロセスを実行することができる。例えば、複数の参照画素集合であるため、参照画素集合情報が生成される。また、幾つかの予測モード（該例において、左上から右下への方向である）に基づいたフレーム内予測処理を実行することができる。
要するに、図３０のｂ及びｃは、それぞれ、２つ、３つの参照画素集合（換言すれば、それぞれ２つ及び３つの参照画素候補グループである）をサポートすることを示す。また、ｂは、参照画素で構成される参照画素集合が最大限２つであることを表す（例えば、各参照画素集合の画素値の加重平均などにより導出される）。また、ｃは、参照画素で構成される参照画素集合が最大限１つであることを表す（例えば、３つの候補グループから選択された１つの参照画素集合の画素値により導出される）。
図３１は、参照画素配置を示す概略図である。
図３１ａは、ブロックサイズが６４×６４以上である場合、１つの参照画素集合が参照画素候補グループであることを表す。図３１ｂは、ブロックサイズが１６×１６以上であって６４×６４未満である場合の２つの参照画素集合が参照画素候補グループである（参照画素に用いられる参照画素集合が最大限２つであることを意味する。つまり、図３０のｂ及びｃと理解されてもよい。以下は同様である）ことを表す。図３１ｃは、ブロックのサイズが１６×１６未満である場合、３つの参照画素集合が参照画素候補グループである（参照画素に用いられる参照画素集合が最大限３つであることを意味する）ことを表す。該例において、現在ブロックのサイズが大きいほど、隣接ブロックのサイズが小さくなる可能性が大きくなる。これは、他の画像特性により引き起こされた分割結果である可能性がある。従って、現在ブロックの画素値との距離が大きい画素で予測を実行することを避けるために、ブロックのサイズが大きいほど、参照画素集合の候補数が減少すると仮定するが、逆の場合を仮定してもよい。これに限定されず、種々の変更を行うことができる。
図３２は、参照画素配置に関わる概略図である。
図３２は、ブロックの形状が矩形（該例において水平方向での長さが長い形状である）である場合、長さが長い一側の複数の参照画素集合が、参照画素候補グループであり、長さが短い一側の１つの参照画素集合が参照画素候補グループであることを示す。該例において、長さが短い一側が１つの参照画素集合で構成されると仮定するが、長さが長い一側に比べて、少ない数を設定すると理解されてもよい。また、逆の場合、数に対する設定を行ってもよい。該例の目的は、ブロックの形状が矩形である場合、長さが短い参照画素と現在ブロックとの距離が頻繁に遠くなることによる予測正確度の低下を防止することであるが、これに限定されない。
例えば、ブロックの上側、右上側の参照画素を利用して予測を行う方向性モードの場合、複数の参照画素集合（図３０のｂ及びｃはいずれも考えられる）を利用して予測を実行することができる。また、ブロックの左側、左下側の参照画素を利用して予測を行う方向性モードの場合、単一の参照画素集合を利用して予測を実行することができる。つまり、１つのブロックの隣接ブロックに基づいて、参照画素集合を自己適応的に決定する場合であってもよい。
複数の参照画素集合のうちの１つの参照画素集合を参照画素とする例として、各参照画素集合が同じ又は類似した場合、生成された参照画素配置情報（例えば、参照画素選択情報、適用的参照画素許容情報等）は、繰り返して生成された情報である可能性がある。例えば、各参照画素集合の参照画素分布特性（例えば、各参照画素集合の平均値、分散などにより判定を行う。一例として、上記プロセスで得られた値と閾値＜Ｔｈｒｅｓｈｏｌｄ＞を比較することで判定を行う。つまり、どの参照画素集合を利用するかに関わらず、同じ又はほぼ類似した予測ブロックを生成すると判定すれば、関連情報を省略することができる。該例において、最後に選択された予測モードに対して比較を実行することに限定されてもよい）が同じ又は類似したと判定する場合、参照画素配置情報を省略してもよい。この場合、所定の方法（例えば、最近傍参照画素集合）で、参照画素を構成することができる。フレーム内予測情報（例えば、フレーム内予測モード情報）を受け取ることで参照画素配置情報を受け取るかを決定する場合、デコーダによる判定は、エンコーダによる判定と同じであってもよい。また、該判定に基づいて、参照画素配置情報を受け取るかどうかを決定することができる。
前記種々の例により、複数の参照画素集合を参照画素とすることを示すが、これに限定されず、種々の変換例を有してもよく、また、他の付加的配置と組み合わせられてもよい。
フレーム内予測の参照画素配置部は、参照画素生成部、参照画素補間部、参照画素フィルタ部等を備えてもよく、また、上記構成の全て又は一部を備えてもよい。
参照画素配置部は、参照画素の利用可能性（Ａｖａｉｌａｂｉｌｉｔｙ）を確認し、利用可能な参照画素及び利用不可能な参照画素に対して分類を行うことができる。例えば、所定の位置でのブロック（又は参照画素候補ブロック）を使用できれば、対応するブロックを参照画素として用いることができ、ブロックを使用できなければ、該ブロックを参照画素として用いることができない。
下記条件のうちの少なくとも１つを満たす場合、参照画素が利用不可能であると判定する。例えば、ピクチャ境界外に位置すること、現在ブロックと同一の分割単位（例えば、ｓｌｉｃｅ、ｔｉｌｅ等）に属しないこと、符号化／復号が完了されていないこと、符号化／復号の設定に応じて使用が制限されることのうちのいずれか１つを満たすと、利用不可能であると判定する。つまり、上記全ての条件を満たしない場合、利用可能であると判定する。
また、参照画素の使用は、符号化／復号の設定に制限される。例えば、限られたフレーム内予測（例えば、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ）を実行するかどうかに基づいて参照画素の使用を制限することができる。通信環境などのような外部要因に対して、エラーロバスト性符号化／復号を実行する場合、他の画像から参照されて復元されたブロックを参照画素として用いることを禁止しようとする時、限られたフレーム内予測を実行することができる。
参照画素の利用可能性により、参照画素候補ブロックを、全ての参照画素候補ブロックを使用できる場合、幾つかの参照画素を使用できる場合、全ての参照画素を使用できない場合に分類することができる。全ての参照画素候補ブロックを使用できる場合以外の他の場合に、候補ブロック位置で利用不可能な参照画素をパディング又は生成することができる。
参照画素候補ブロックを使用できる場合、該ブロックの所定の位置での画素（該例において、該画素が現在ブロックに隣接すると仮定する）を、現在ブロックの参照画素メモリに含ませることができる。
参照画素候補ブロックを使用できない場合、参照画素生成プロセスにより得られた画素を、現在ブロックの参照画素メモリに含ませることができる。
要するに、参照画素候補ブロックが利用可能な状態である場合、参照画素を配置することができる。参照画素候補ブロックが利用不可能な状態である場合、参照画素を生成することができる。
参照画素フィルタ部は、一般的には、ローパスフィルタ（Ｌｏｗ－ｐａｓｓ Ｆｉｌｔｅｒ。例えば、３タップ、５タップフィルタ等を用いる。［１，２，１］／４、［２，３，６，３，２］／１６）を利用してスムージング処理（Ｓｍｏｏｔｈｉｎｇ）を実行することをその主要目的とするが、フィルタの適用目的（例えば、シャープニング（Ｓｈａｒｐｅｎｉｎｇ）等）に基づいて、他の種類のフィルタ（例えば、ハイパスフィルタ等）を用いることできる。本発明において、スムージングを目的としてフィルタリングを実行し、符号化／復号プロセスにおける劣化を減少させることを主に説明する。
符号化／復号の設定に基づいて、参照画素フィルタリングを実行するかどうかを決定することができる。つまり、参照画素に対して、フィルタリングを適用するか又はフィルタリングを適用しない。しかしながら、このよう統一したフィルタリング操作により、画像の一部の特性を反映できないという欠点が生じる。また、画像の一部の特徴を反映する符号化／復号情報等によりフィルタリングを実行すると、符号化性能の向上に寄与する。
前記画像の特性を、画像タイプ（Ｉ／Ｐ／Ｂ）、色成分（Ｙ／Ｃｂ／Ｃｒ）、量子化パラメータ、現在ブロックの符号化／復号情報（例えば、サイズ、形状、分割情報、予測モード等）に基づいて判定することができるだけでなく、隣接ブロックの符号化／復号情報、現在ブロックと隣接ブロックの符号化／復号情報の組み合わせなどに基づいて判定することもできる。また、参照画素分布特性（例えば、参照画素領域の分散、標準偏差等）に基づいて判定することができる（例えば、参照画素領域が平坦領域であるかそれとも非連続的領域であるか等）。従って、画像の特性情報を確認できる場合、参照画素フィルタリングを適用するかどうかを予め設定することができる。
又は、参照画素フィルタリングを明示的に設定することができる。例えば、フィルタリングを適用するかどうかに関わる情報を生成する可能性がある。この場合、１つのフィルタが存在する場合、フィルタ選択情報を生成しない。複数のフィルタ候補グループが存在する場合、フィルタ選択情報を生成する可能性がある。
上記例により、参照画素フィルタリングに関わる暗黙的及び明示的設定を説明したが、これらの組み合わせが存在してもよい。例えば、幾つかの場合、明示的設定を利用すると決定し、別の幾つかの場合、暗黙的設定を利用すると決定する。ここの暗黙的設定は、デコーダが参照画素フィルタに関わる情報（例えば、フィルタリングを適用するかどうかに関わる情報、フィルタ種類情報）を導出できることを意味する。
参照画素補間部は、参照画素の線形補間により、小数単位の参照画素を生成することができる。本発明において、参照画素配置部の一部のプロセスとして説明したが、これは、予測ブロック生成部に含まれて予測ブロックの生成の前に実行されるように構成される１つの部材と理解されてもよい。
また、前記参照画素フィルタ部から区分された１つの単独した部材とするが、１つの部材に集積されるように構成されてもよい。これは、参照画素補間部及び参照画素フィルタ部により複数のフィルタリングを適用する場合、参照画素に歪みが発生した場合に対応する設定である。
幾つかの予測モード（例えば、水平、垂直、幾つかの対角線モード＜４５度の角度をなすモード。例えば、右下対角線，左下対角線，右上対角線＞、非方向性モード、カラーモード、カラーコピーモード等。即ち、予測ブロックを生成する時に小数補間を必要としないモード）で参照画素補間プロセスを実行しない。これは、他の予測モードで実行することができる（予測ブロックを生成する時に小数補間を必要とするモード）。
予測モード（又は予測モードの方向性）に基づいて、補間精度（例えば、画素単位。例えば、１、１／２、１／４、１／８、１／１６、１／３２、１／６４等）を決定することができる。例えば、４５度の角度をなす予測モードで、補間プロセスを必要としない。２２．５度又は６７．５度の角度をなす予測モードで、１／２画素を単位とした補間を必要とする。上述したように、予測モードに基づいて、少なくとも１つの補間精度及び最大補間精度を決定することができる。
参照画素補間のために、１つの所定の補間フィルタ（例えば、２タップ（２－ｔａｐ）線形補間フィルタ。つまり、如何なる場合、該補間フィルタのみを用いる）を用いることができ、また、複数の補間フィルタ候補グループ（例えば、４タップ三次フィルタ、４タップガウシアンフィルタ、６タップウィーナーフィルタ、８タップカルマンフィルタ等。つまり、符号化／復号の設定に基づいて適用された補間フィルタを決定する）のうちの１つを用いることができる。この場合、補間フィルタは、タップ数（つまり、フィルタリングを適用する画素の数）、フィルタリング係数などの差異により区分することができる。
補間は、段階的に実行する例を含んでもよい。例えば、低精度から高精度への順番（例えば、１／２－＞１／４－１／８）で実行する。一括して実行する例を含んでもよい。前者の場合、補間は、整数単位の画素及び小数単位の画素（該例において、現在補間されるべき画素の精度より低い精度で補間を実行した画素を指す）に基づいて補間を実行することを指す（つまり、整数単位を利用するだけでなく、小数単位も利用して補間を行うことを意味する）。後者の場合、整数単位の画素に基づいて補間を実行することを意味する（つまり、整数単位の画素のみを利用して補間を行うことを意味する）。
複数のフィルタ部候補グループのうちの１つを利用する場合、フィルタ選択情報を明示的に生成するか又は暗黙的に決定することができる。また、符号化／復号の設定（例えば、補間精度、ブロックサイズ、形状、予測モード等）に基づいて決定することができる。この場合、明示的に生成された単位は、ビデオ、シーケンス、ピクチャ、ｓｌｉｃｅ、ｔｉｌｅ、ブロック等に対応する。
予測ブロック生成部は、少なくとも１つの予測モードに基づいて予測ブロックを生成することができ、また、該予測モードに基づいて、参照画素を利用することができる。この場合、参照画素は、予測モードに基づいて補外（Ｅｘｔｒａｐｏｌａｔｉｏｎ）等方法（方向性モード）に用いられてもよく、また、補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、平均値（ＤＣ）又はコピー（Ｃｏｐｙ）等の方法（非方向性モード）に用いられてもよい。
また、参照画素のコピーにより予測ブロックを生成することができる。参照画素をコピーする場合、１つの参照画素をコピーすることで１つ以上の予測画素を生成することができ、１つ以上の参照画素をコピーすることで１つ以上の予測画素を生成することもできる。また、コピーされた参照画素の数は、コピーされる予測画素の数以下である。
また、予測ブロックは一般的には、予測ブロック生成プロセスで得られた１つの予測ブロックで構成されるが、下記例を含んでもよい。つまり、複数の予測ブロックを得て、加重加算などを適用することで、１つの最終的予測ブロックを得る。ここで、複数の予測ブロックは、参照画素集合に基づいて得られた予測ブロックを指してもよい。また、他の場合、同様の予測ブロックを指してもよい。
予測モード決定部は、複数の予測モード候補グループから最適モードを選択するプロセスを実行する。一般的には、ブロック歪み（例えば、現在ブロック及び復元ブロックの歪み。絶対差分値の和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＡＤ）、二乗差の和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ：ＳＳＤ）等）及び対応するモードの生成ビット量のレート歪み（Ｒａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ）技術を用いて、符号化コストが最適であるモードを決定することができる。上記プロセスにより決定された予測モードで生成された予測ブロックを減算部及び加算部に送信することができる。
予測モード符号化部は、予測モード決定部により選択された予測モードに対して符号化を実行することができる。予測モード候補グループにおいて、前記予測モードに対応するインデックス情報に対して符号化を実行するか又は予測モードに対して予測を実行することで、これに関わる情報を符号化することができる。つまり、前者の場合、予測を実行することなく、予測モードに対して直接的に符号化を実行する方法を表す。後者の場合、予測モードに対して予測を実行することで、モード予測情報及び予測情報に基づいて得られた情報に対して符号化を実行する方法を表す。また、前者は、色差成分に適用可能である例であり、後者は、輝度成分に適用可能である例であるが、これに限定されず、他の場合、同様に適用可能である。
予測モードに対して予測を実行して符号化を実行する場合、予測モードの予測値（又は予測情報）は、最確モード（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ：ＭＰＭ）と呼ばれてもよい。この場合、所定の予測モード（例えば、ＤＣモード、平面（Ｐｌａｎａｒ）モード、垂直モード、水平モード、対角線モード等）又は空間的に隣接するブロック（例えば、左ブロック、上ブロック、左上ブロック、右上ブロック、左下ブロック等）の予測モード等をＭＰＭと設定する。該例において、対角線モードは、右上対角線（Ｄｉａｇｏｎａｌ ｕｐ ｒｉｇｈｔ）、右下対角線（Ｄｉａｇｏｎａｌ ｄｏｗｎ ｒｉｇｈｔ）、左下対角線（Ｄｉａｇｏｎａｌ ｄｏｗｎ ｌｅｆｔ）を表し、図９のモード２、モード３４及びモード６６に対応してもよい。
また、ＭＰＭ候補グループに含まれるモードから導出されたモードでＭＰＭ候補グループを構成することができる。例えば、ＭＰＭ候補グループに含まれたモードのうちの方向性モードの場合、モード間隔差がａであるモード（例えば、ａは、１、－１、２、－２等のような、ゼロではない整数である。図９におけるモード１０を含むモードの場合、モード９、モード１１、モード８、モード１２等を導出するモードに対応する）をＭＰＭ候補グループに再び（又は付加的に）含ませる。
上記例は、複数のモードでＭＰＭ候補グループを構成することに対応してもよい。また、符号化／復号の設定（例えば、予測モード候補グループ、画像タイプ、ブロックサイズ、ブロック形状等）に基づいて、ＭＰＭ候補グループ構成（例えば、ＭＰＭ候補グループの数、構成優先度）を決定することができる。また、少なくとも１つのモードを含んでもよい。
ＭＰＭ候補グループを構成するための予測モードは、優先度を有する可能性がある。前記優先度に基づいて、ＭＰＭ候補グループに含まれる予測モードの順番を決定することができる。前記優先度に基づいて、ＭＰＭ候補グループの数をパディングした後、ＭＰＭ候補グループの構成を完了することができる。この場合、空間的に隣接するブロックの予測モード、所定の予測モード、最初にＭＰＭ候補グループに含まれる予測モードから導出されたモードの順番に応じて優先度を決定することができるが、他の修正を有してもよい。
例えば、空間的に隣接するブロックにおいて、左－上－左下－右上－左上ブロックなどの順番に応じて候補グループに含まれてもよい。また、所定の予測モードにおいて、ＤＣ－平面－垂直－水平モード等の順番に応じて候補グループに含まれてもよい。含まれたモードに＋１、－１等を加算することで得られた予測モードを候補グループに含ませることができる。又は、予測モードは、左－上－ＤＣ－平面－左下－右上－左上－左＋１－左－１－上＋１等の優先度で、候補グループに含まれてもよい。
ＭＰＭを用いて現在ブロックの予測モードの符号化を実行する場合、予測モードがＭＰＭとマッチングするかどうかに関わる情報（例えば、ｍｏｓｔ＿ｐｒｏｂａｂｌｅ＿ｍｏｄｅ＿ｆｌａｇ）を生成することができる。
ＭＰＭとマッチングすれば（例えば、ｍｏｓｔ＿ｐｒｏｂａｂｌｅ＿ｍｏｄｅ＿ｆｌａｇ＝１）、ＭＰＭの構成に基づいて、ＭＰＭインデックス情報（例えば、ｍｐｍ＿ｉｄｘ）を追加的に生成することができる。例えば、ＭＰＭ構成は、１つの予測モードであれば、追加的なＭＰＭインデックス情報を生成しない。ＭＰＭ構成が多種の予測モードであれば、ＭＰＭ候補グループにおいて、現在ブロックの予測モードに対応するインデックス情報を生成することができる。
ＭＰＭとマッチングしなければ（例えば、ｍｏｓｔ＿ｐｒｏｂａｂｌｅ＿ｍｏｄｅ＿ｆｌａｇ＝０）、予測モード候補グループにおけるＭＰＭ候補グループ以外の残りの予測モード候補グループ（又は非ＭＰＭ候補グループ）において、現在モードの予測モードに対応する非ＭＰＭインデックス情報（例えば、ｎｏｎ＿ｍｐｍ＿ｉｄｘ）生成することができる。これは、非ＭＰＭを１つの群になるように構成する例であってもよい。
非ＭＰＭ候補グループが複数の群からなる場合、現在ブロックの予測モードの所属する群に関わる情報を生成することができる。例えば、非ＭＰＭは、Ａ群及びＢ群から構成され、且つ、現在ブロックの予測モードは、Ａ群の予測モードとマッチングすれば（例えば、ｎｏｎ＿ｍｐｍ＿Ａ＿ｆｌａｇ＝１）、Ａ群の候補グループにおいて、現在ブロックの予測モードに対応するインデックス情報を生成することができ、マッチングしなければ（例えば、ｎｏｎ＿ｍｐｍ＿Ａ＿ｆｌａｇ＝０）、残りの予測モード候補グループ（又はＢ群の候補グループ）において、現在ブロックの予測モードに対応するインデックス情報を生成することができる。上記例のように、非ＭＰＭは、少なくとも１つの予測モード候補グループ（又は集合）となるように構成されてもよい。また、非ＭＰＭ構成は、予測モード候補グループによって決まってもよい。例えば、予測モード候補グループが３５個以下である場合、これは、１つであってもよく、他の場合、これは、２つ以上であってもよい。
この場合、Ａ群は、ＭＰＭ候補グループ以外に最も高い確率を有する、現在ブロックの予測モードとマッチングしたと判定されたモードで候補グループを構成することができる。例えば、ＭＰＭ候補グループに含まれていない次の予測モードをＡ群に含ませるか又は所定の間隔の方向性を有する予測モードをＡ群に含ませることができる。
上記例のように、非ＭＰＭが複数の群からなる場合、予測モードの数が大きく、且つ予測モードがＭＰＭにより予測されない時、モードビット量の減少を目的として非ＭＰＭをサポートすることができる。
ＭＰＭを利用して現在ブロックの予測モード符号化（又は予測モード復号）を実行する場合、各予測モード候補グループ（例えば、ＭＰＭ候補グループ、非ＭＰＭ候補グループ等）に適用される二値化テーブルを単独で生成することができ、各候補グループに適用される二値化方法を単独で用いることもできる。
上記例において、ＭＰＭ候補グループ、非ＭＰＭ候補グループなどのような用語は、本発明に用いられる幾つかの用語だけであるが、これに限定されない。具体的には、現在フレーム内の予測モードを複数のカテゴリに分けた後の所属カテゴリに関わる情報、及び該カテゴリにおけるモード情報を表す。他の表現形態として、主要ＭＰＭ候補グループ、補助ＭＰＭ候補グループ等の用語を用いてもよい。
予測モード符号化部により生成された、予測に関わる情報は、符号化部に伝送されてビットストリームに収録されてもよい。
以下、１つの参照画素集合を参照画素候補グループとする場合、１つの参照画素集合を用いる場合、２つ以上の参照画素集合を用いる場合に分けられる。
（１）１つの参照画素集合を用いる場合
該例において、複数の参照画素集合で候補グループを構成する場合、１つの参照画素集合（図２９におけるｒｅｆ＿０、ｒｅｆ＿１、ｒｅｆ＿２のうちの１つ）を選択してフレーム内予測に用いると仮定する。
１つの参照画素集合を用いてフレーム内予測を実行する場合、以下を発生することがある。
参照画素集合ｒｅｆを用いて参照画素生成、参照画素フィルタリング、参照画素補間などの予測前処理プロセスにより得られたｒｅｆ＊により、予測ブロックＰを生成することができる。
例えば、参照画素フィルタ部により、ｒｅｆに位置する画素に対して５タップローパスフィルタリングを適用し、また、参照画素補間部により、ｒｅｆ’（つまり、参照画素フィルタリングされた画素）に位置する画素に対して６タップ線形補間フィルタリングを適用する。また、上記プロセスで得られたｒｅｆ＊を用いて予測ブロックを生成することができる。
下記において、単一の参照画素集合を用いる場合の予測前処理プロセスを説明する。
例えば、図２９における参照画素集合ｒｅｆ＿２を用いる場合、Ｒｅｆ＿ＴＬ及びＲｅｆ＿ＴＲの位置を参照画素として利用でき、且つＲｅｆ＿Ｔの位置を参照画素として利用できないと、利用可能な参照画素における隣接するＰ（－１，－３）とＰ（ｎ，－３）により、Ｒｅｆ＿Ｔ位置のＰ（０，－３）からＰ（ｎ－１，－３）位置の画素を生成し、参照画素とすることができる。
上記プロセスにより参照画素を構成した後、予測ブロックを生成する前に、参照画素フィルタ部及び参照画素補間部などの部材を実行することができる。
参照画素フィルタ部の場合、ターゲット画素を中心とした隣接画素にフィルタリングを適用することができる。一般的には、フィルタに適用される画素の数が増加する場合、精度がより高いフィルタリング効果（例えば、スムージング、シャープニング等）を発生する可能性がある。
参照画素補間部の場合、補間されるべき画素を中心とした隣接画素にフィルタリングを適用することができる。また、フィルタに適用される画素の数が増加する場合、同様に、精度がより高いフィルタリング効果を発生する可能性もある。
前記２つのステップは、いずれもフィルタリングプロセスとする。場合によって、不必要なフィルタリング効果を発生する可能性がある。つまり、各ステップにフィルタリングを適用する場合に望まれた効果は、もう１つのステップにフィルタリングを適用する時に悪影響を発生する場合に発生してもよい。
例えば、参照画素補間プロセスにおいて、補間ターゲットである小数画素は、隣接する整数画素においてフィルタリングを適用することができる。該例の先行ステップにおいて参照画素フィルタリングを適用すると（つまり、整数単位画素に適用される）、参照画素フィルタリングにより各整数画素の量子化誤差を減少させるという効果を発生することができ、参照画素補間プロセスにおいて前記画素を用いることにより量子化誤差を更に、補間された画素に含ませることを発生することもできる。
（Ｓ１．Ｒｅｆスムージング処理）
ｍ＊＝ｖ０ｘｌ’＋ｖ１ｘｍ’＋ｖ２ｘｎ’
ｍ＊＝ｍ＋ｋ１
（ｍは、元画素であり、ｍ＊は、フィルタリングされた画素であり、ｍ’は、フィルタリング前の画素であり、ｌ’及びｎ’は、隣接する、フィルタリングを実行する前の画素であり、ｖは、フィルタリング係数であり、ｋ１は、量子化誤差である）
（Ｓ２．補間プロセス）
ｚ＊＝（ｗ０ｘａ’＋ｗ１ｘｂ’＋ｗ２ｘｃ’＋ｗ３ｘｄ’＋ｗ４ｘｅ’＋ｗ５ｘｆ’）
ｚ＊＝ｚ＋ｋ２
（ｚは、該位置と推定された元画素であり、ｚ＊は、補間画素であり、ａ’からｆ’は隣接する画素＜フィルタリングが実行されてきない＞であり、ｗは、フィルタ係数であり、ｋ２は、量子化誤差である）
（Ｓ３．Ｒｅｆスムージングプロセス＋補間プロセス）
ｚ＊＊＝（ｗ０ｘａ＊＋ｗ１ｘｂ＊＋ｗ２ｘｃ＊＋ｗ３ｘｄ＊＋ｗ４ｘｅ＊＋ｗ５ｘｆ＊）
ｚ＊＊＝ｚ＋ｋ３
（ｚは、該位置と推定された元画素であり、ｚ＊＊は補間画素であり、ａ＊からｆ＊は、隣接する、フィルタリングした画素であり、ｗは、フィルタ係数であり、ｋ３は、量子化誤差である）
上記式において、参照画素フィルタリングプロセスＳ１における入力画素値は、符号化／復号を完了した隣接ブロックの隣接画素である。また、上記プロセスにより得られた出力値は、符号化／復号時に含まれる量子化誤差減少のための元画素に近接する可能性が高い画素である。
また、参照画素補間プロセスＳ２における入力画素値は、符号化／復号を完了した隣接ブロックの隣接画素である。また、上記プロセスにより得られた出力値は、該画素位置の元画素に近接する可能性が高い画素である。該プロセスにより、量子化誤差を含む隣接ブロックの隣接画素に加重加算を適用することで補間画素を得る（つまり、量子化誤差を目的とせずにフィルタリングを適用するが、前記プロセスにより量子化誤差を減少させることもできる）。従って、量子化誤差が減少して元画素に近接する画素を得る可能性がある。つまり、小数単位画素を生成できるだけでなく、ローパスフィルタ部の効果を発生することもできる。
また、各プロセスを順次実行する場合Ｓ３において、各プロセスで望まれる効果を保持できるかどうかを考慮する必要がある。つまり、フィルタリングを実行するかどうか（１つのみを実行するか又は２つを実行する）、フィルタのタイプ（効果がより高いフィルタ又は効果がやや高いフィルタを用いる。該プロセスにおいて高い効果を発生するが、他のプロセスにおいて該効果を失うか又は悪い効果を引き起こす）、フィルタタップの増加などによれば、良好なフィルタリング効果を保持できるとは限らない。
（２）複数以上の参照画素集合を用いる場合
該例において、複数の参照画素集合で候補グループを構成し、２つ以上の参照画素集合（図２９におけるｒｅｆ＿１、ｒｅｆ＿２、ｒｅｆ３のうちの２つ以上）を選択してフレーム内予測に用いると仮定する。
複数の参照画素集合を用いてフレーム内予測を実行する場合、以下を発生する可能性がある。
＜１＞図３３におけるａに示すように、参照画素集合ｒｅｆ＿Ａにより第１予測ブロックを生成することができる。つまり、ｒｅｆ＿Ａを用いて参照画素生成、参照画素フィルタリング、参照画素補間などの予測前処理プロセスにより得られたｒｅｆ＿Ａ＊を利用して予測ブロックＰＡｗ生成することができる。また、ｒｅｆ＿Ｂの前記予測前処理プロセスにより得られたｒｅｆ＿Ｂ＊を利用して予測ブロックＰＢを生成することができる。
前記得られた複数の予測ブロックにより最終的予測ブロックＰを生成することができる。
例えば、参照画素フィルタ部により、ｒｅｆ＿Ａに位置する画素に３タップローパスフィルタリングを適用する。また、参照画素により、ｒｅｆ＿Ａ’（つまり、参照画素フィルタリングした画素）に位置する画素に４タップＣｕｂｉｃフィルタリングを適用することができる。また、ｒｅｆ＿Ｂに位置する画素に５タップローパスフィルタリングを適用する。また、ｒｅｆ＿Ｂ’（つまり、参照画素フィルタリングした画素）に位置する画素に６タップ線形補間フィルタリングを適用することができる。
また、上記プロセスで得られたｒｅｆ＿Ａ＊及びｒｅｆ＿Ｂ＊により各予測ブロックを生成する。続いて、加重平均（例えば、３：１などのような高加重値を現在ブロックに隣接する予測ブロックに適用する）等を適用することで予測ブロックを生成する。
＜２＞図３３におけるｂに示すように、参照画素集合ｒｅｆ＿Ａ及びｒｅｆ＿Ｂにより予測ブロックを生成することができる。この場合、ｒｅｆ＿Ａ和ｒｅｆ＿Ｂを用いて参照画素生成、参照画素フィルタリング、参照画素補間などの予測前処理プロセスにより得られたｒｅｆ＊を利用して予測ブロックＰを生成することができる。
例えば、参照画素フィルタ部により、ｒｅｆ＿Ａに位置する画素に３タップローパスフィルタリングを適用し、参照画素補間部により、ｒｅｆ＿Ａ’に位置する画素に４タップキュービックフィルタリングを適用することができる。また、ｒｅｆ＿Ｂに位置する画素に５タップローパスフィルタリングを適用し、ｒｅｆ＿Ｂ’に位置する画素に２タップ線形補間フィルタリングを適用することができる。
また、上記プロセスで得られたｒｅｆ＿Ａ＊及びｒｅｆ＿Ｂ＊を利用して、ｒｅｆ＊を取得した後に予測ブロックを生成することができる。つまり、予測モードに基づいて、各参照画素集合におけるフレーム内予測モードの方向性に対応する画素値（例えば、ｒｅｆ＿Ａ＊におけるｐａ及びｒｅｆ＿Ｂ＊におけるｐｂ）を得た後、加重平均（例えば、ｐａ×Ａ＋ｐｂ×Ｂ）を適用することで予測ブロックを生成することができる。
上記＜１＞及び＜２＞等の方法（＜１＞において、各参照画素集合に予測ブロックを生成した後、予測ブロック間の加重平均を適用する。＜２＞において、１つの予測ブロックを生成する過程中に画素間の加重平均を適用する。つまり、同様又は類似した結果を得るが、プロセスにおいて相違点が存在する）で、２つ以上の画素集合を利用して予測ブロックを生成することができる。
以下、２つ以上の参照画素集合を用いる場合の予測前処理プロセスを説明する。
例えば、図２９における参照画素集合ｒｅｆ＿１及びｒｅｆ＿２を用いる場合、Ｒｅｆ＿ＴＬ及びＲｅｆ＿ＴＲの位置を参照画素として用いることができ、且つＲｅｆ＿Ｔの位置を参照として用いることができないと、参照画素集合ｒｅｆ＿１における利用可能な参照画素のうちの隣接するＰ（－１，－１）及びＰ（ｎ，－１）により、ｒｅｆ＿１においてＲｅｆ＿Ｔ位置のＰ（０，－１）からＰ（ｎ－１，－１）位置の画素を生成し、参照画素集合ｒｅｆ＿２において、利用可能な参照画素のうちの隣接するＰ（－１，－２）及びＰ（ｎ，－２）により、ｒｅｆ＿２においてＲｅｆ＿Ｔ位置のＰ（０，－２）からＰ（ｎ－１，－２）位置の画素を生成することができる。
又は、ｒｅｆ＿１における利用不可能な画素位置で、ｒｅｆ＿１及びｒｅｆ＿２の利用可能な画素を用いて予測ブロックを生成することができ、ｒｅｆ＿２の利用不可能な画素位置で、上述したように、ｒｅｆ＿２及びｒｅｆ＿１の利用可能な画素を用いて予測ブロックを生成することができる。
参照画素フィルタ部の場合、ターゲット画素を中心として隣接する画素にフィルタリングを適用することができる。また、参照画素補間部の場合、補間される画素を中心として隣接する画素にフィルタリングを適用することができる。
該例において、同様に、（１）における１つの参照画素集合を用いて予測ブロックを生成する場合で言及したように、フィルタリング適用において悪影響を発生する。
（１）におけるプロセスに続き、（２）における＜１＞について更に説明する。
（Ｓ４フレーム内予測プロセス）
Ｐ＝ｖ０ｘＰ１＋ｖ１＋Ｐ２
上記式は、各参照画素集合を用いることで得られた予測ブロックに対して加重加算を実行することで、最終的予測ブロックを得るプロセスを表す。つまり、各参照画素集合においてＳ３プロセスにより得られた値を利用して予測ブロックを得て、該予測ブロックの加重加算を適用することで、予測ブロックの精度を向上させることができるかどうかを考慮する必要がある。
（１）及び（２）により考慮する問題について、１つの方法は解決手段とすることができる。該方法において、複数の候補グループ（例えば、＜フィルタリングなし、３タップフィルタリング又は５タップフィルタリング＞のうちの１つを参照画素フィルタに関わる候補グループとして選択し、＜４タップフィルタリング又は６タップフィルタリング＞のうちの１つを参照画素補間に関わる候補グループとして選択する）のうちの１つを明示的に選択する。また、以下により、暗黙的に決定された最適方法を説明する。
下記実施例により、１つの参照画素集合又は２つ以上の参照画素集合を利用して予測ブロックを生成する場合のフレーム内予測プロセスを説明する。
（３）１つの参照画素集合を用いる場合の予測前処理プロセス
図３４におけるａに示すように、予測のための参照画素を記憶する一時メモリを必要とする可能性がある。また、メインアレイ又はサブアレイを有してもよい。該例において、図面に示すようなメインアレイで参照画素を構成すると仮定する。
図面に示すように、予測のめたの参照画素集合に位置する画素をｒｅｆにパディングすることができる。この場合、参照画素生成部等により参照画素を構成又は生成してｒｅｆを構成した後、参照画素フィルタ部により処理する。参照画素フィルタ部で得られた参照画素は、ｒｅｆ’で表される。続いて、ｒｅｆ’に対して参照画素補間プロセスを実行することで得られた参照画素をｒｅｆ＊で表す。ｒｅｆ＊を利用することで予測ブロックを生成することができる。
＊整数単位画素は、ｒｅｆ’で構成され、小数単位画素は、ｒｅｆ’を用いて補間されたｒｅｆ＊で構成される（図１２におけるｂ）
上記例に記載したように、ｒｅｆ＊（ｒｅｆ＊の整数単位画素は、ｒｅｆ’と同じである）に対して、順に、参照画素フィルタリングプロセス及び参照画素補間プロセスを実行する。従って、該プロセスで得られた整数単位画素を小数単位の画素補間に用いる場合、繰り返したフィルタリングにより引き起こされた正確率の低い参照画素を得ることができる。従って、参照画素フィルタリングプロセス及び参照画素補間プロセスをそれぞれ実行する必要がある。
例えば、参照画素フィルタリングを省略して、参照画素補間のみを実行してもよい。この場合、予測のための整数単位の画素は、参照画素フィルタリングが適用されていない現在の隣接画素であってもよく、小数単位の画素は、現在の隣接整数単位画素で補間を適用する画素であってもよい。
＊整数単位画素は、ｒｅｆで構成され、小数単位画素は、ｒｅｆを用いて補間されたｒｅｆ＊で構成される（図３４におけるｃ）
又は、小数単位画素に対して補間を実行する場合、参照画素としてｒｅｆ’を用いることなく、ｒｅｆを用いる。この場合、予測のための整数単位の画素は、参照画素フィルタリングを適用した画素であってもよく、小数単位の画素は、現在の隣接画素を、参照画素フィルタリングを実行する前の画素として、補間を適用する画素であってもよい。
＊整数単位画素は、ｒｅｆ’で構成され、小数単位画素は、ｒｅｆを用いて補間されたｒｅｆ＊で構成される（図３４におけるｄ）。
図３４におけるｂからｄは、ｒｅｆにおいて各位置での画素にフィルタリングを適用する回数を示す。図３４におけるｃ及びｄは、多くとも１回のフィルタリングを適用することで参照画素を構成する例を示す。
（４）２つ以上の参照画素集合を用いる場合の予測前処理プロセス
説明を容易にするために、前記例の（２）における＜２＞の場合、２つの参照画素集合を利用して予測ブロックを生成すると仮定する。
ｒｅｆ＿Ａを構成した後、参照画素フィルタ部により、ｒｅｆ＿Ａ’を得ることができる。また、ｒｅｆ＿Ａ’に対して参照画素補間プロセスを実行した後、ｒｅｆ＿Ａ＊を得る。同様に、ｒｅｆ＿Ｂの場合、ｒｅｆ＿Ｂ’によりｒｅｆ＿Ｂ＊を得て、ｒｅｆ＿Ａ＊及びｒｅｆ＿Ｂ＊（つまり、図３４のｂにおけるｒｅｆ＊）を用いて予測ブロックを生成することができる。この場合、予測モードに基づいて、ｒｅｆ＿Ａ＊及びｒｅｆ＿Ｂ＊に存在する整数単位画素又は小数単位画素を用いて予測ブロックを生成することができる。
上述したように、ｒｅｆ＿Ａ＊、ｒｅｆ＿Ｂ＊に対して、参照画素フィルタリングプロセス及び参照画素補間プロセスを順に実行する。従って、該プロセスで得られた整数単位画素を小数単位の画素補間に用いる場合、繰り返したフィルタリングにより引き起こされた正確率の低い参照画素を得ることができる。また、２つ以上の参照画素集合に位置する画素は、加重加算などの方式でフィルタリングを更に実行できるため、最終的予測のための画素に対して多すぎる回数のフィルタリングを実行した結果を得ることができる。
以下、予測画素のための参照画素の種々の組み合わせを示す。例えば、予測モードの方向性に基づいて、ｒｅｆ＿Ａ及びｒｅｆ＿Ｂにおいて２つの整数単位画素を用いて予測画素（例えば、垂直モード、水平モード等）を生成することができる。１つの整数単位画素及び１つの小数単位画素を用いて予測画素（例えば、方向性モード等）を生成することができる。また、２つの小数単位画素を用いて測画素（例えば、方向性モード等）を生成することができる。これは、図３５にけるｂからｄにより確認できる。
上記の場合、図３４におけるｂに示すように、単一の参照画素集合にフィルタリングを適用する場合を、他の参照画素集合との加重平均値などを適用する場合と見做すと仮定すると、図３５におけるｂに適用されるフィルタリングの回数は、２回であってもよく、図３５におけるｃについて、３回であり、図３５におけるｄについて、４回である。
上記について、下記例を適用できる。
例えば、各参照画素集合において参照画素フィルタリングを省略し、参照画素補間プロセスのみを実行してもよい。この場合、予測のための整数単位は、参照画素フィルタリングが適用されていない現在の隣接画素であってもよく、小数単位の画素は、現在の隣接整数単位画素で補間を適用する画素であってもよい。
具体的には、参照画素フィルタリングの場合、ターゲット画素と類似した画素にフィルタリングを適用することで、量子化誤差をより効果的に減少させることができる。該例において、２つ以上の参照画素集合を用いて予測を実行することは、現在ブロックの方向性も該参照画素を含むブロックの境界部（つまり、現在ブロックに隣接する２つ以上の参照画素集合）に存在することを意味する。従って、先と同様に、現在ブロックの予測モードの方向性に関わらず、最近傍画素のみを利用してフィルタリンを利用する。これは、ターゲット画素及び元画素値に基づいて異なる画素に対してフィルタリングを実行する場合と同じである。
又は、各参照画素集合に対して参照画素フィルタリング及び参照画素補間プロセスを実行することができる。しかしながら、図３５におけるｂに示すように、整数単位の画素のみを用いて加重平均値を適用する場合、参照画素フィルタリングを適用した画素を用いることができる。また、図３５におけるｃに示すように、整数単位及び小数単位の画素を利用して加重平均を適用する場合に用いられる整数単位画素として、参照画素フィルタリングが適用されていない画素を用いることができる。
上記例により、１つの参照画素集合を用いる場合、及び２つ以上の参照画素集合を用いる場合の予測前処理プロセスを説明した。
上記例において、フィルタを繰り返して使用することにより悪影響を発生する場合を仮定して説明するが、画像を定義できない特徴は１つのみである。他の変形例が存在してもよい。
例えば、（３）及び（４）について、常に利用してもよく（例えば、現在ブロックのサイズ、形状、予測モード等の状態に関わらず）、自己適応的に利用してもよい（例えば、現在ブロックの状態によって決まる）。
（３）及び（４）を自己適応的に利用する場合、（３）及び（４）における設定の全て又は一部を適用することができる。幾つかの場合、変更してもよいか又は逆の例を適用してもよい。
一例として、（３）の幾つかのモード（例えば、垂直、水平、４５度、１３５度の角度を有する角線モード等）において５タップ（ｔａｐ）ローパスフィルタリングを実行することができる。該例において、小数単位の補間プロセスを必要としないため、精密なフィルタリングを実行して（該例においてタップ数が長いほど、精密になると仮定する）量子化誤差を減少させることができる。
又は、（３）の幾つかのモード（例えば、方向性モード等）において、３タップローパスフィルタリングを実行し、また、６タップガウシアン補間フィルタリングを実行することができる。該例において、小数単位補間プロセスを必要とし、整数単位の画素にフィルタリングを適用して簡潔なフィルタリングを実行し（例えば、フィルタタイプが異なる場合、フィルタを適用する画素の数が減少した場合、ｔａｐ数が少ない場合、フィルタリングが簡潔であると仮定する）、複数のフィルタリング（該例において、整数単位に参照画素フィルタリングを適用し、また、これらの画素を用いて小数単位画素に対して補間を実行する時にフィルタリングを適用する）の量子化誤差などを減少させる。つまり、図３４におけるｂに示すとおりであってもよい（図１２におけるｂを説明する場合、既存のケースとして説明されるが、該例において説明する場合、図３４におけるｃ及びｃではなく、ｂを適用することができる）。
一例として、（３）において、所定のサイズ以上のブロック（例えば、３２×３２）の場合、５タップローパスフィルタリングを実行し、また、４タップ三次補間フィルタリングを実行することができるが、補間に適用される画素は、ローパスフィルタリング前の画素（即ち、整数単位画素）を入力画素とすることができる。また、所定のサイズ未満のブロックの場合、上記プロセスと同じである参照画素フィルタリング及び参照画素補間プロセスを実行するが、補間に適用される画素は、ローパスフィルタリングした画素を入力画素とすることができる。
一例として、（４）の幾つかのモード（例えば、垂直、水平モード等）において、各参照画素集合に対して５タップローパスフィルタリングを実行することができる（つまり、それらのタップ数が同じであっても、他の方向性モードで用いられる３タップフィルタより精密なフィルタを用いるか又は異なるタイプのフィルタを用いる）。該例において、補間プロセスを必要としないため、フィルタリングを実行して量子化誤差を減少させることができる。又は、現在ブロックに隣接する参照画素集合に対して５タップローパスフィルタリングを実行し、また、次の隣接する参照画素集合に対して３タップローパスフィルタリングを実行することができる。該例において、参照画素集合（該例において、加重値を現在ブロックに近接する画素に追加すると仮定する）に対して精密なフィルタリングを実行することができる。前記参照画素集合は、２つ以上の参照画素集合に対してより高い加重値を割り当てる。又は、現在ブロックに隣接する参照画素集合に対して５タップローパスフィルタリングを実行し、次の隣接する照画素集合に対してローパスフィルタリングを実行しない。該例において、加重値がより高い参照画素集の画素を中心として、該画素の所属する参照画素集合に隣接する画素及び他の参照画素集合における該画素に隣接する画素にローパスフィルタリングを適用すると理解されてもよい（つまり、現在、一次元フィルタリングであれば、該例において、二次元フィルタリングの概念と理解されてもよい）。
また、（４）の幾つかのモード（例えば、方向性モード等）において、各参照画素集合に対して３タップローパスフィルタリングを実行し、また、現在ブロックに隣接する参照画素集合に対して８タップ三次補間フィルタリングを実行し、次の隣接する参照画素集合に対して２タップ線形補間フィルタリングを実行することができる。又は、各参照画素集合に対してローパスフィルタリングを実行せず、現在ブロックに隣接する参照画素集合に対して６タップガウシアン補間フィルタリングを実行し、次の隣接する参照画素集合に対して４タップガウシアン補間フィルタリングを実行することができる。又は、現在ブロックに隣接する参照画素集合に対して５タップローパスフィルタリングを実行し、次の隣接する参照画素集合に対して３タップローパスフィルタリングを実行し、各参照画素集合に対して４タップ三次補間フィルタリングを実行することができる。又は、現在ブロックに隣接する参照画素集合Ａに対して３タップローパスフィルタリングを実行し、次の隣接する参照画素集合Ｂに対してローパスフィルタリングを実行せず、また、現在ブロックに隣接する参照画素集合Ａに対して８タップガウシアン補間フィルタリングを実行し、次の隣接する参照画素集合Ｂに対して４タップ三次補間フィルタリングを実行する。
一例として、（４）において、所定のサイズ以上（例えば、６４×６４）のブロックの場合、各参照画素集合に対してローパスフィルタリングを実行せず、４タップ三次補間フィルタリングを実行することができる。また、所定のサイズ未満であって所定のサイズより大きいブロック（例えば、１６×１６から６４×６４）において、各参照画素集合に対して３タップローパスフィルタリングを実行し、また、４タップガウシアン補間フィルタリングを実行する。加重平均に用いられる画素が整数単位画素集合のみから構成される場合、ローパスフィルタリングした画素を用いる。整数単位と小数単位の組み合わせで構成される場合、整数単位画素は、ローパスフィルタリング前の画素を用いることができる。また、所定のサイズ未満（１６×１６）のブロックにおいて、各参照画素集合に対して５タップローパスフィルタリングを実行し、６タップ三次補間フィルタリングを実行する。加重平均に用いられる画素は、整数単位であるかそれとも小数単位であるかに関わらず、ローパスフィルタリングした画素を用いることもできる。
上記例により、１つの参照画素集合を用いる場合及び２つ以上の参照画素集合を用いる場合を説明する。
予測前処理プロセスに関わる明示的処理を実行することができる。つまり、選択情報を生成することができる。１つの参照画素集合又は複数の参照画素を用いる場合、もう１つの選択情報を生成することもできる。参照画素フィルタリングの設定について、フィルタリングを実行しないか又は、フィルタＡにより実行するか、又はフィルタＢにより実行し、また１つの選択情報を生成する。参照画素補間設定について、フィルタＡにより実行するか又はフィルタＢにより実行する。
又は、予測前処理プロセスに関わる暗黙的処理を実行することができる。つまり、ブロックサイズ、形状及び予測モード等の符号化情報（状態）に基づいて、上記参照画素集合の数、参照画素フィルタリング設定及び参照画素補間設定を暗黙的に決定する。この場合、参照画素集合の数が２つ以上であると決定されると、複数の参照画素集合に対して同一の参照画素フィルタリング、参照画素補間設定又は他の設定を実行すると暗黙的に決定することができる。
又は、予測前処理プロセスに関わる組み合わせた処理を実行することができる。つまり、幾つかの場合、暗黙的処理を実行することができ、別の幾つかの場合、明示的処理を実行することができる。この場合、符号化情報に基づいて、組み合わせた処理の基準を決定することができる。つまり、ブロックサイズ、形状又は予測モードのうちの少なくとも１つの組み合わせに基づいて、暗黙的処理又は明示的処理を決定することができる。
本発明において、暗黙的処理又は組み合わせた処理について説明する。前記２つの処理について、符号化情報に基づいて、フレーム内予測設定を設定する（例えば、予測前処理等。上記において、予測前処理のみにおいて自己適応的設定を有するが、フレーム内予測の他のプロセス＜後述におけるフレーム内予測モード候補グループの構成。つまり、フレーム内予測モード数、予測方向などの符号化情報によって決まる場合＞においても自己適応的設定を有してもよい）。
以下のように整理される。
（エンコーダ）
＜１＞現在ブロックのサイズ及び形状を確認する
－フレーム内予測モード候補グループ設定（つまり、モード数、角度等を決定する。１つの候補グループであれば、該プロセスを省略してもよい）
＜２＞現在ブロックのサイズ、形状及び予測モードを確認する（この場合、予測モードは、上記プロセスで決定されたフレーム内予測モード候補グループで定義される）。
－参照画素集合設定（つまり、１つ又は２つ以上を使用する）
－参照画素フィルタリング設定（２つ以上の参照画素集合があれば、各集合においてフィルタリング設定を決定することができる）
－参照画素補間設定（同様に、２つ以上の参照画素集合があれば、各集合において補間設定を決定することができる）
＜３＞フレーム内予測関連情報の符号化（予測モード及び上記プロセスの各設定において複数の候補グループが存在するため、選択情報を生成すると、該情報もフレーム内予測情報に含まれる）。
（デコーダ）
＜１＞現在ブロックのサイズ、形状を確認する（この前のステップにおいて、ブロック情報は、分割ブロック部により分析され、関連情報が確認される）
－フレーム内予測モード候補グループ設定（該候補グループに基づいて予測モード情報を分析して復元する）
＜２＞現在ブロックのサイズ、形状及び予測モードを確認する
－参照画素設定
－参照画素フィルタリング設定
－参照画素補間設定
＜３＞フレーム内予測関連情報の復号（予測モード及び他の選択可能な情報。該情報は、該ステップにおいて分析されたものと認められる）
エンコーダにおいて、現在ブロックの状態に基づいて、フレーム内予測モード候補グループを確認することができる。つまり、幾つかのモードを有するか、どのようなモード設定を有する候補グループを利用するかを決定する。全ての条件がいずれも同一のフレーム内予測モード候補グループを有すれば、構わない。２つ以上のフレーム内予測モード候補グループを利用すると、確認を必要とする。つまり、現在ブロックの状態に基づいて、どの候補グループを用いるかを知ることができ、又は情報により、どの候補グループを用いるかを明示的に知ることができる。
該プロセスに基づいて予測モード番号などを割り当てるが、予測モード候補グループが異なると、各予測モードの方向又は角度等は、候補グループによって異なる。従って、該候補グループのプロセスを統一する必要がある可能性がある。つまり、図９における予測モードを利用する場合の５０番は、垂直モードである可能性があるが、もう１つの予測モード候補グループにおける５０番は、垂直モードであるとは限らないため、確認を必要とする。
従って、本発明において、操作、設定などが予測モードに基づいて変わることを説明した。
例えば、ｉｆ（ｉｎｔｒａｍｏｄｅ＝＝Ｖｅｒｔｉｃａｌ）条件文によれば、フレーム内予測処理（例えば、参照画素補間、参照画素フィルタリング等）を実行するかどうかを決定する必要がある場合、ｉｎｔｒａｍｏｄｅが５０番であれば、１つの予測モード候補グループを用いる時、直接確認できる。フレーム内予測モード候補グループにおいて該モードがどのモードであるか（方向性モード又は非方向性モード。方向性モードであれば、垂直モード又は水平モードであるかを判定する。方向性モードでなければ、整数画素のみにより予測ブロックを生成する方向性モード等であるかを判定する）を知る必要があるため、該予測モード候補グループにおける上記モードがどの方向のモードを有するかを確認した後、上記条件文に入力する。つまり、ｉｆ（ｉｎｔｒａｍｏｄｅ＜ｘ＞＝＝Ｖｅｒｔｉｃａｌ）の場合、ｘのフレーム内予測モード候補グループにおけるモードｘが垂直であるかを確認するプロセスに変更される。
また、現在ブロックの状態及びフレーム内予測設定を確認する必要がある。この場合、現在ブロックのサイズ、形状、予測モード等のうちの少なくとも１つ又は複数の要因により、現在ブロックの状態を定義することができる。現在ブロックの状態に基づいて、参照画素集合、参照画素フィルタリング、参照画素補間等を設定する。つまり、参照画素集合の数、どの参照画素集合を用いるか、参照画素フィルタリングを適用するかどうか、どのフィルタを用いるかである。関連情報を明示的に決定すると、フラグ（ｆｌａｇ）を生成する可能性がある。関連情報を暗黙的に確認すると、符号化情報（上記現在ブロックの状態など又は現在の画像タイプ＜Ｉ／Ｐ／Ｂ＞、現在画像＜Ｙ／Ｃｂ／Ｃｒ＞等は、フレーム内予測設定に影響を与えることがある）に基づいて決定することができる。
本発明は、参照画素集合、参照画素フィルタリング及び参照画素補間を中心として説明するが、フレーム内予測に関わる更なる設定を含んでもよい。例えば、予測プロセスにおいて、上述したように、符号化情報に基づいて、予測モードに応じて（補外、平均、補間）参照画素を用いて予測ブロックを生成することを決定することもできる。又は、現在の方向性に応じて使用される参照画素以外の他の参照画素等（例えば、予測画素位置に基づいて予測画素を補正するために、他の参照画素などを利用して補正値を生成した後に現在予測値などに追加する）を利用して予測ブロックを生成する。この場合、関連情報を明示的に確認する場合、関連情報により、どの予測方法を知ることもできる。そうでなければ、関連情報を暗黙的に確認する場合、現在ブロックの状態などに基づいて、どの予測方法を用いるかを決定することもできる。
デコーダにおいて、エンコーダにより関連技術を逆に導出することもできる。明示的な部分は、関連情報を分析し、暗黙的な部分は、符号化情報等に基づいて関連情報を確認する。
以上において、本発明に用いられる参照画素集合の数に基づいて変更された設定により、参照画素フィルタリング設定及び参照画素補間設定を決定することを考慮することができる。
本発明は、画像信号の符号化／復号に適用可能である。

Claims (6)

  1. フレーム内予測方法であって、前記方法は、
    現在ブロックのフレーム内予測モードを導出することと、
    複数の画素ラインのうち、前記現在ブロックのフレーム内予測に用いられる画素ラインを決定することと、
    フレーム内予測に用いられる第１参照画像に対してフィルタリングを実行するかどうかを指示する第１フラグに基づいて、フィルタリングを選択的に実行することであって、前記第１フラグは、前記現在ブロックの符号化パラメータに基づいて復号装置から導出されたものであり、前記符号化パラメータは、サブブロックを単位とするフレーム内予測を適用するかどうかを含むことと、
    前記フレーム内予測モード及び決定された画素ラインに基づいて、前記現在ブロックのフレーム内予測を実行することと、を含むことを特徴とする、フレーム内予測方法。
  2. 前記フレーム内予測による前記現在ブロックの予測画素を補正することを更に含むことを特徴とする
    請求項１に記載の方法。
  3. 前記補正することは、
    前記現在ブロックの予測画素の位置に基づいて、前記補正に用いられる第２参照画素又は加重値のうちの少なくとも１つを決定することを更に含むことを特徴とする
    請求項２に記載の方法。
  4. 前記現在ブロックの画素ラインの位置、前記現在ブロックのフレーム内予測モード、又は前記現在ブロックのサブブロックを単位とするフレーム内予測を実行するかどうかのうちの少なくとも１つに基づいて、前記補正を選択的に実行することを特徴とする
    請求項３に記載の方法。
  5. 現在ブロックのサブブロックを単位として前記フレーム内予測を実行し、
    分割を実行するかどうかを示す第２フラグ、分割方向情報、又は分割数情報のうちの少なくとも１つに基づいて前記サブブロックを決定することを特徴とする
    請求項１に記載の方法。
  6. 所定のデフォルトモード又は複数のＭＰＭ候補に基づいて、前記フレーム内予測モードを導出することを特徴とする
    請求項１に記載の方法。
JP2020571752A 2018-06-25 2019-06-25 フレーム内予測方法及び装置 Active JP7373509B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023182108A JP2023179784A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182104A JP2023179782A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182107A JP2023179783A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182099A JP2023179781A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20180072558 2018-06-25
KR10-2018-0072558 2018-06-25
KR10-2018-0076783 2018-07-02
KR20180076783 2018-07-02
PCT/KR2019/007651 WO2020004900A1 (ko) 2018-06-25 2019-06-25 화면내 예측 방법 및 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
JP2023182108A Division JP2023179784A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182104A Division JP2023179782A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182107A Division JP2023179783A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182099A Division JP2023179781A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置

Publications (2)

Publication Number Publication Date
JP2021529461A JP2021529461A (ja) 2021-10-28
JP7373509B2 true JP7373509B2 (ja) 2023-11-02

Family

ID=68987398

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2020571752A Active JP7373509B2 (ja) 2018-06-25 2019-06-25 フレーム内予測方法及び装置
JP2023182107A Pending JP2023179783A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182099A Pending JP2023179781A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182104A Pending JP2023179782A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182108A Pending JP2023179784A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2023182107A Pending JP2023179783A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182099A Pending JP2023179781A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182104A Pending JP2023179782A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置
JP2023182108A Pending JP2023179784A (ja) 2018-06-25 2023-10-23 フレーム内予測方法及び装置

Country Status (15)

Country Link
US (6) US11528505B2 (ja)
EP (1) EP3800883A4 (ja)
JP (5) JP7373509B2 (ja)
KR (1) KR20210016472A (ja)
CN (6) CN116437082A (ja)
AU (1) AU2019292266B2 (ja)
BR (1) BR112020026381A2 (ja)
CA (1) CA3105023C (ja)
CL (1) CL2020003298A1 (ja)
IL (3) IL279503B1 (ja)
MX (1) MX2020014112A (ja)
PH (1) PH12020552258A1 (ja)
SG (1) SG11202013040VA (ja)
WO (1) WO2020004900A1 (ja)
ZA (1) ZA202100055B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671619B2 (en) * 2018-07-02 2023-06-06 Intellectual Discovery Co., Ltd. Video coding method and device using merge candidate
WO2020060233A1 (ko) * 2018-09-20 2020-03-26 엘지전자 주식회사 인트라 예측을 수행하는 영상 예측 방법 및 장치
KR20230088850A (ko) * 2018-09-21 2023-06-20 후아웨이 테크놀러지 컴퍼니 리미티드 이웃 블록에 기초한 인트라 예측 모드 도출
WO2020071871A1 (ko) * 2018-10-05 2020-04-09 엘지전자 주식회사 영상 서비스 처리 방법 및 그 장치
BR112021005796B1 (pt) 2018-10-09 2023-05-09 Lg Electronics Inc Método de decodificação de vídeo realizado por um aparelho de decodificação, método de codificação de vídeo realizado por um aparelho de codificação e mídia de armazenamento legível por computador não transitória
WO2020111785A1 (ko) * 2018-11-27 2020-06-04 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11445203B2 (en) * 2019-01-04 2022-09-13 Qualcomm Incorporated Sub-partition intra prediction in video coding
US11570436B2 (en) 2019-01-28 2023-01-31 Apple Inc. Video signal encoding/decoding method and device therefor
KR20200106589A (ko) * 2019-03-04 2020-09-15 삼성디스플레이 주식회사 표시 장치, 표시 장치의 제조장치 및 표시 장치의 제조방법
EP3959880A4 (en) * 2019-05-10 2023-04-26 HFI Innovation Inc. METHOD AND APPARATUS FOR DERIVING A LIST OF MOST LIKELY LUMINANCE MODES FOR VIDEO CODING
WO2020256466A1 (ko) * 2019-06-19 2020-12-24 한국전자통신연구원 화면 내 예측 모드 및 엔트로피 부호화/복호화 방법 및 장치
CN114270827A (zh) * 2019-06-24 2022-04-01 Lg电子株式会社 利用色度块的最大变换大小设定的图像编码/解码方法和设备及发送比特流的方法
CN114223200B (zh) * 2019-08-14 2023-11-17 北京字节跳动网络技术有限公司 位置相关帧内预测样点滤波
JP7414127B2 (ja) * 2019-09-30 2024-01-16 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 拡張補間フィルタのメモリ帯域幅削減のためのアフィン動きモデル制限
US11557635B2 (en) 2019-12-10 2023-01-17 Samsung Display Co., Ltd. Display device, mask assembly, and apparatus for manufacturing the display device
US20220060734A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Intra prediction methods in video coding
US20220201329A1 (en) * 2020-12-22 2022-06-23 Qualcomm Incorporated Intra prediction using enhanced interpolation filters
US20220400255A1 (en) * 2021-06-11 2022-12-15 Tencent America LLC Intra Mode Coding
CN113794882B (zh) * 2021-08-31 2023-12-29 绍兴市北大信息技术科创中心 一种帧内快速编码方法
CN114420066B (zh) * 2022-01-20 2023-04-25 海宁奕斯伟集成电路设计有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2023164245A1 (en) * 2022-02-28 2023-08-31 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
WO2024053987A1 (ko) * 2022-09-06 2024-03-14 주식회사 윌러스표준기술연구소 기하학적 분할을 이용하는 비디오 신호 처리 방법 및 이를 위한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102805A1 (ja) 2007-02-23 2008-08-28 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2017190288A1 (en) 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
WO2018016823A1 (ko) 2016-07-18 2018-01-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2018050195A (ja) 2016-09-21 2018-03-29 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
US20190313116A1 (en) 2016-06-24 2019-10-10 Kt Corporation Video signal processing method and device

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452860B1 (ko) 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US9197893B2 (en) 2010-04-26 2015-11-24 Panasonic Intellectual Property Corporation Of America Filtering mode for intra prediction inferred from statistics of surrounding blocks
CN101854551B (zh) * 2010-06-08 2012-08-15 浙江大学 帧内预测模式编解码方法及装置
MX338867B (es) * 2010-07-15 2016-05-03 Toshiba Kk Metodo de codificación de imágenes y método de descodificacion de imágenes.
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
KR101756442B1 (ko) 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
KR101547041B1 (ko) 2011-01-12 2015-08-24 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR101444667B1 (ko) * 2011-01-15 2014-09-30 에스케이 텔레콤주식회사 양방향 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
US9654785B2 (en) 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
KR20120140181A (ko) * 2011-06-20 2012-12-28 한국전자통신연구원 화면내 예측 블록 경계 필터링을 이용한 부호화/복호화 방법 및 그 장치
US9179148B2 (en) * 2011-06-30 2015-11-03 Futurewei Technologies, Inc. Simplified bilateral intra smoothing filter
KR20130049526A (ko) 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
KR20130049522A (ko) 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
RU2651209C2 (ru) 2012-11-30 2018-04-18 Сони Корпорейшн Устройство обработки изображения и способ обработки изображения
US9451254B2 (en) 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
CN115134591A (zh) 2015-06-05 2022-09-30 杜比实验室特许公司 图像编解码方法、比特流存储方法
US10645395B2 (en) 2016-05-25 2020-05-05 Arris Enterprises Llc Weighted angular prediction coding for intra coding
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
CL2016002047A1 (es) 2016-08-12 2017-03-17 Oculus Machina S P A Un método para realizar la detección de elementos mediante una segmentación dentro de en una secuencia ordenada de datos digitales.
US10390015B2 (en) 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
KR20180029905A (ko) * 2016-09-13 2018-03-21 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10382781B2 (en) 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
WO2018066989A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
WO2018070790A1 (ko) * 2016-10-14 2018-04-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
KR102357282B1 (ko) * 2016-10-14 2022-01-28 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
KR102351029B1 (ko) * 2017-05-16 2022-01-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN118200538A (zh) * 2018-01-15 2024-06-14 有限公司B1影像技术研究所 图像编码/解码方法、存储介质和传输比特流的方法
MX2021007764A (es) * 2018-12-28 2021-08-05 B1 Institute Image Technology Inc Metodo y dispositivo de codificacion/decodificacion de video a base de intra prediccion.

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102805A1 (ja) 2007-02-23 2008-08-28 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
US20100027655A1 (en) 2007-02-23 2010-02-04 Shohei Matsuo Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
WO2017190288A1 (en) 2016-05-04 2017-11-09 Microsoft Technology Licensing, Llc Intra-picture prediction using non-adjacent reference lines of sample values
US20190313116A1 (en) 2016-06-24 2019-10-10 Kt Corporation Video signal processing method and device
WO2018016823A1 (ko) 2016-07-18 2018-01-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20190222837A1 (en) 2016-07-18 2019-07-18 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
JP2018050195A (ja) 2016-09-21 2018-03-29 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
US20190230374A1 (en) 2016-09-21 2019-07-25 Kddi Corporation Moving-image decoder, moving-image decoding method, moving-image encoder, moving-image encoding method, and computer readable recording medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Y. Chen, W.-J. Chien, H.-C. Chuang, M. Coban, J. Dong, H. E. Egilmez, N. Hu, M. Karczewicz, A. Ramasubramonian, D. Rusanovskyy, A. Said, V. Seregin, G. Van Der Auwera, K. Zhang, L. Zhang, P. Bordes, Y. Chen, C. Chevance, E. Francois, F. Galpin, F. Hiron, P. de Lagrange, F. Le Leannec, K. Naser, T. Poirier, F. Racape, G. Rath, A. Robert, F. Urban, T. Viellard，Description of SDR, HDR and 360° video coding technology proposal by Qualcomm and Technicolor - low and high complexity versions，JVET-J0021 (本願出願前の寄書)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego，2018年04月20日

Also Published As

Publication number Publication date
US20230047534A1 (en) 2023-02-16
CN113347423B (zh) 2023-04-21
US20220385923A1 (en) 2022-12-01
CA3105023A1 (en) 2020-01-02
CN116471409A (zh) 2023-07-21
US11936907B2 (en) 2024-03-19
CN116456096A (zh) 2023-07-18
KR20210016472A (ko) 2021-02-15
JP2021529461A (ja) 2021-10-28
AU2019292266A1 (en) 2021-01-28
IL279503B1 (en) 2024-05-01
ZA202100055B (en) 2022-09-28
CN116456095A (zh) 2023-07-18
US20210176492A1 (en) 2021-06-10
WO2020004900A1 (ko) 2020-01-02
US11528505B2 (en) 2022-12-13
EP3800883A1 (en) 2021-04-07
AU2019292266B2 (en) 2023-02-09
CA3105023C (en) 2023-03-14
US11936908B2 (en) 2024-03-19
CN116437082A (zh) 2023-07-14
JP2023179783A (ja) 2023-12-19
IL312193A (en) 2024-06-01
IL279503A (en) 2021-01-31
SG11202013040VA (en) 2021-01-28
US11930210B2 (en) 2024-03-12
CN113347423A (zh) 2021-09-03
US11936906B2 (en) 2024-03-19
EP3800883A4 (en) 2021-07-07
JP2023179784A (ja) 2023-12-19
CN112740670A (zh) 2021-04-30
BR112020026381A2 (pt) 2021-03-23
JP2023179781A (ja) 2023-12-19
PH12020552258A1 (en) 2021-06-07
US20220394274A1 (en) 2022-12-08
US20240171774A1 (en) 2024-05-23
IL312272A (en) 2024-06-01
MX2020014112A (es) 2021-06-15
CL2020003298A1 (es) 2021-06-04
US20220385919A1 (en) 2022-12-01
JP2023179782A (ja) 2023-12-19

Similar Documents

Publication Publication Date Title
JP7373509B2 (ja) フレーム内予測方法及び装置
KR102394226B1 (ko) 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 장치
US11882281B2 (en) Method and apparatus for encoding/decoding image
KR102378882B1 (ko) 영상 부호화/복호화 방법 및 장치
RU2795549C2 (ru) Способ и устройство для внутрифреймового предсказания
RU2815921C2 (ru) Способ и устройство для внутрифреймового предсказания
RU2816427C2 (ru) Способ и устройство для внутрифреймового предсказания
RU2817117C2 (ru) Способ и устройство для внутрифреймового предсказания
RU2816201C2 (ru) Способ и устройство для внутрифреймового предсказания

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230922

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R150 Certificate of patent or registration of utility model

Ref document number: 7373509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150