JP6747430B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6747430B2
JP6747430B2 JP2017509308A JP2017509308A JP6747430B2 JP 6747430 B2 JP6747430 B2 JP 6747430B2 JP 2017509308 A JP2017509308 A JP 2017509308A JP 2017509308 A JP2017509308 A JP 2017509308A JP 6747430 B2 JP6747430 B2 JP 6747430B2
Authority
JP
Japan
Prior art keywords
prediction
image
unit
block
search range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017509308A
Other languages
English (en)
Other versions
JPWO2016157924A1 (ja
Inventor
鐘大 金
鐘大 金
碩 陸
碩 陸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016157924A1 publication Critical patent/JPWO2016157924A1/ja
Application granted granted Critical
Publication of JP6747430B2 publication Critical patent/JP6747430B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。
Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）により、ＨＥＶＣ（High Efficiency Video Coding）と呼ばれる画像符号化方式の標準化が進められ、その標準仕様の初版が公表された（例えば、非特許文献１参照）。その後も継続的に、符号化ツールの充実化などの様々な観点で、ＨＥＶＣの仕様の拡張が図られている（例えば、非特許文献２参照）。
ＨＥＶＣの多様な特徴のうちの１つは、改善されたイントラ（フレーム内）予測である。イントラ予測は、同じフレーム内の隣り合うブロック間の相関を活用して画素情報の符号量を削減する技術である。例えば、Ｈ．２６４／ＡＶＣでは、平面予測及びＤＣ予測に加えて、９通りの予測方向に対応する方向性予測がイントラ予測モードとして選択可能であった。ＨＥＶＣでは、図１に示したように、平面予測及びＤＣ予測に加えて、３３通りの予測方向に対応する角度予測（Angular Prediction）がイントラ予測モードとして選択可能である。予測ブロックサイズもまたＨ．２６４／ＡＶＣと比較してＨＥＶＣではさらに拡張され、４×４、８×８及び１６×１６に加えて３２×３２の予測単位（ＰＵ：Prediction Unit）がサポートされる。なお、色差成分（Ｃｒ，Ｃｂ）のブロックサイズは、クロマフォーマットに依存して、輝度（Ｙ）成分のブロックサイズと等しいか又はより小さい。イントラ予測の処理の順序は、ＣＵ内に設定される変換単位（ＴＵ：Transform Unit）ごとに制御される。
クロマフォーマットは、輝度成分の画素密度に対する色差成分の画素密度の比を水平方向及び垂直方向について特定する指標である。クロマフォーマットが４：２：０である場合、水平方向及び垂直方向において、色差成分の画素密度は、輝度成分の画素密度の半分である。クロマフォーマットが４：２：２である場合、水平方向において色差成分の画素密度は輝度成分の画素密度の半分であり、垂直方向において色差成分の画素密度は輝度成分の画素密度に等しい。即ち、この場合、輝度成分のブロックが正方形であれば、対応する色差成分のブロックは、垂直方向の辺が水平方向の辺の２倍の長さを有する長方形となる。クロマフォーマットが４：４：４である場合、水平方向及び垂直方向において色差成分の画素密度は輝度成分の画素密度に等しい。
Benjamin Bross, el. al, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)"（JCTVC-L1003_v34, 2013年1月14-23日） David Flynn, el. al, "High Efficiency Video Coding (HEVC) Range Extensions text specification: Draft 5"（JCTVC-O1005_v2， 2013年10月23-11月1日）
一例として、ある輝度成分のＴＵのサイズが２Ｎ×２Ｎであり、且つクロマフォーマットが４：２：２であるものとする。対応する色差成分のサイズはＮ×２Ｎであり、実際には、これは上下に隣接するサイズＮ×Ｎの２つの正方形の色差成分のＴＵによりカバーされる。ＨＥＶＣでは、イントラ予測に際してこれら２つの色差成分のＴＵの間に依存関係が存在し、その依存関係に起因する予測処理の遅延が符号化又は復号の性能に影響を与える。
従って、ブロック間の依存関係を緩和して符号化又は復号の性能を向上させることのできる仕組みが提供されることが望ましい。
本開示によれば、符号化すべき画像内の予測ブロックごとにイントラ予測モードを探索する探索部と、クロマフォーマットが４：２：２であるかを判定し、クロマフォーマットが４：２：２であると判定される場合に、色差成分の予測ブロックについて、前記探索部におけるイントラ予測モードの探索範囲を上の参照画素を参照しない所定の範囲に制限する制御部と、を備える画像処理装置が提供される。
また、本開示によれば、画像処理装置を制御するコンピュータを、符号化すべき画像内の予測ブロックごとにイントラ予測モードを探索する探索部と、クロマフォーマットが４：２：２であるかを判定し、クロマフォーマットが４：２：２であると判定される場合に、色差成分の予測ブロックについて、前記探索部におけるイントラ予測モードの探索範囲を上の参照画素を参照しない所定の範囲に制限する制御部と、として機能させるためのプログラムが提供される。
また、本開示によれば、前記プログラムを記録したコンピュータ読取可能な記録媒体が提供される。
また、本開示によれば、画像の符号化の際のイントラ予測においてクロマフォーマットが４：２：２であることに関連してイントラ予測モードの探索のための探索範囲が上の参照画素を参照しない所定の範囲に制限されたか、を判定する制御部と、前記探索範囲が前記所定の範囲に制限されたと判定される場合に、前記画像の復号の際のイントラ予測において、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックについて予測画像を並列的に生成する生成部と、を備える画像処理装置が提供される。
本開示に係る技術によれば、イントラ予測におけるブロック間の依存関係の緩和の結果として、符号化又は復号の性能を向上させることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
ＨＥＶＣのイントラ予測において選択可能な予測モードについて説明するための説明図である。 クロマフォーマットが４：２：２である場合のブロック構造について説明するための説明図である。 Ｈ．２６４／ＡＶＣのイントラ予測における色差成分のブロック間の依存関係の一例について説明するための説明図である。 ＨＥＶＣのイントラ予測における色差成分のブロック間の依存関係の一例について説明するための説明図である。 ブロック間の依存関係に起因する予測画像の生成の遅延の一例について説明するための説明図である。 画像符号化装置の概略的な構成の一例を示すブロック図である。 図５に示した画像符号化装置のイントラ予測部の詳細な構成の一例を示すブロック図である。 イントラ予測モードの探索範囲の制限について説明するための説明図である。 予測画像の生成の遅延が探索範囲の制限により解消される様子を示す説明図である。 参照画素のパディングの一例について説明するための説明図である。 参照画素の利用可能性に基づく探索範囲の制限の制御の一例について説明するための説明図である。 参照画素の利用可能性に基づく探索範囲の制限の制御の他の例について説明するための説明図である。 ブロック位置に基づく探索範囲の制限の制御の一例について説明するための説明図である。 ブロック位置に基づく探索範囲の制限の制御の他の例について説明するための説明図である。 画像の解像度及びフレームレートに基づく探索範囲の制限の制御の一例について説明するための説明図である。 一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。 図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第１の例を示すフローチャートである。 図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第２の例を示すフローチャートである。 図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第３の例を示すフローチャートである。 図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第４の例を示すフローチャートである。 図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第５の例を示すフローチャートである。 画像符号化装置と画像復号装置とを含むシステムの概略的な構成の一例を示すブロック図である。 図１５に示した画像復号装置のイントラ予測部の詳細な構成の一例を示すブロック図である。 一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。 装置のハードウェア構成の一例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．概要
２．画像符号化装置の構成例
３．符号化時の処理の流れ
４．画像復号装置の構成例
５．復号時の処理の流れ
６．ハードウェア構成例
７．応用例
８．まとめ
＜１．概要＞
図１は、ＨＥＶＣのイントラ予測において選択可能な予測モードについて説明するための説明図である。図１に示した画素Ｐ０は、ブロックＢ０内の注目画素である。ブロックＢ０の周囲の網掛けされた画素は、参照画素である。図中の数字は、予測モード番号を表す。例えば、サイズ８×８のブロックＢ０の輝度成分について、予測モード番号「０」〜「３４」の範囲内のイントラ予測モードが選択可能である。予測モード番号「０」は平面（planar）予測に対応する。平面予測では、予測画像を生成する際にブロックＢ０の上辺に接する画素及び左辺に接する画素の双方が参照される。予測モード番号「１」はＤＣ予測に対応する。ＤＣ予測においても、予測画像を生成する際に予測ブロックＢ０の上辺に接する画素及び左辺に接する画素の双方が参照される。予測モード番号「２」〜「３４」はそれぞれ固有の予測方向に関連付けられる角度予測に対応する。角度予測では、予測モード固有の予測方向から決定される参照画素が参照される。予測モード番号「１０」及び「２６」は、それぞれ水平予測及び垂直予測に対応する。
ある１つのイントラ予測モードで予測画像を生成しようとする場合、そのイントラ予測モードにおいて参照すべき参照画素のリコンストラクト（復号）画素値が決定済みであることが必要とされる。これは互いに隣接するブロック間に依存関係があり得ることを意味し、処理の順序はその依存関係に矛盾しないように制御される。例えば、図１の例において、ブロックＢ０の予測画像を水平予測で生成するためには、ブロックＢ０の左の隣接ブロックの復号が終了していることが求められる。同様に、ブロックＢ０の予測画像を垂直予測で生成するためには、ブロックＢ０の上の隣接ブロックの復号が終了していることが求められる。そして、こうしたブロック間の依存関係は、予測処理の遅延の原因となり得る。
図２は、クロマフォーマットが４：２：２である場合のブロック構造について説明するための説明図である。図２の例において、ブロックＢ１は、例えば符号化単位（ＣＵ：Coding Unit）に相当し、３種類の色成分（輝度（Ｙ）、色差（Ｃｒ，Ｃｂ））から構成される。ブロックＢ１は、各色成分において４つのブロックに分割されている。これらブロックの各々は、例えば予測単位（ＰＵ）又は変換単位（ＴＵ）に相当する。例えば、ブロックＢ２１Ｙ、Ｂ２２Ｙ、Ｂ２３Ｙ及びＢ２４Ｙは、輝度成分ブロックである。ブロックＢ２１Ｃｂ、Ｂ２２Ｃｂ、Ｂ２３Ｃｂ及びＢ２４Ｃｂは、第１色差（Ｃｂ）成分ブロックである。ブロックＢ２１Ｃｒ、Ｂ２２Ｃｒ、Ｂ２３Ｃｒ及びＢ２４Ｃｒは、第２色差（Ｃｒ）成分ブロックである。クロマフォーマットが４：２：２である場合、水平方向において色差成分の画素密度は輝度成分の画素密度の半分に等しく、垂直方向において色差成分の画素密度は輝度成分の画素密度に等しい。よって、輝度成分ブロックが正方形であれば、対応する色差成分ブロックは、垂直方向の辺が水平方向の辺の２倍の長さを有する長方形となる。例えば、図２を参照すると、輝度成分ブロックＢ２１Ｙ、Ｂ２２Ｙ、Ｂ２３Ｙ及びＢ２４Ｙは、８×８の正方形である。一方、色差成分ブロックＢ２１Ｃｂ、Ｂ２２Ｃｂ、Ｂ２３Ｃｂ、Ｂ２４Ｃｂ、Ｂ２１Ｃｒ、Ｂ２２Ｃｒ、Ｂ２３Ｃｒ及びＢ２４Ｃｒは、４×８の長方形である。
図２に示したような長方形の色差成分ブロックについて、イントラ予測の予測画像を生成する際の参照画素の取り扱いが、Ｈ．２６４／ＡＶＣとＨＥＶＣとで相違する。この相違を、図３Ａ及び図３Ｂを用いて説明する。ここでは一例として、第１色差成分ブロックＢ２４Ｃｂに着目する。ブロックＢ２４Ｃｂは、サイズ４×４の２つの正方形のＴＵ２４Ｃｂ（１）及び２４Ｃｂ（２）に分割される。このうち、特にＴＵ２４Ｃｂ（２）の予測画像をイントラ予測モードで生成する場合、Ｈ．２６４／ＡＶＣでは、図３Ａに示したように、ＴＵ２４Ｃｂ（１）及びＴＵ２４Ｃｂ（２）からなる長方形の上辺に接する画素及びその左辺に接する画素が参照画素として扱われる。例えば、画素Ｐ１２の予測画素値を垂直予測で計算する際には、参照画素Ｐ１１のリコンストラクト画素値が参照される。これに対し、ＨＥＶＣでは、図３Ｂに示したように、ＴＵ２４Ｃｂ（２）の予測画像をイントラ予測モードで生成する場合、ブロック２４Ｃｂ（２）の上辺に接する画素及びその左辺に接する画素が参照画素として扱われる。例えば、画素Ｐ１２の予測画素値を垂直予測で計算する際には、ブロック２４Ｃｂ（１）に含まれる画素Ｐ２１のリコンストラクト画素値が参照される。
このように、画像をＨＥＶＣ方式で符号化し又は復号する際、クロマフォーマットが４：２：２である場合には、Ｈ．２６４／ＡＶＣにはないブロック間の依存関係が存在し得る。概して言うと、１つの輝度成分ブロック（例えば、輝度成分のＴＵ）に対応する上下に隣接する２つの色差成分ブロック（例えば、色差成分のＴＵ）の間に依存関係が存在する。この依存関係に起因して、特に上の参照画素を参照する予測モードが選択される場合に、下側の色差成分ブロックの予測画像は、上側の色差成分ブロックの復号（リコンストラクト）の終了を待って生成されることになる。
図４は、ブロック間の依存関係に起因する予測画像の生成の遅延の一例について説明するための説明図である。図４に示した各ボックスは、図２に例示した各ブロックについての予測画像生成処理のタイミングを表現しており、左から右、上から下へと時間が進行する。図４の例において、ＴＵレベルの処理順序は、
・ブロックＢ２１Ｙ→ブロックＢ２１ｃｂ（１）→ブロックＢ２１ｃｂ（２）→ブロックＢ２１ｃｒ（１）→ブロックＢ２１ｃｒ（２）
→ブロックＢ２２Ｙ→ブロックＢ２２ｃｂ（１）→ブロックＢ２２ｃｂ（２）→ブロックＢ２２ｃｒ（１）→ブロックＢ２２ｃｒ（２）
→ブロックＢ２３Ｙ→ブロックＢ２３ｃｂ（１）→ブロックＢ２３ｃｂ（２）→ブロックＢ２３ｃｒ（１）→ブロックＢ２３ｃｒ（２）
→ブロックＢ２４Ｙ→ブロックＢ２４ｃｂ（１）→ブロックＢ２４ｃｂ（２）→ブロックＢ２４ｃｒ（１）→ブロックＢ２４ｃｒ（２）
である。デバイスの能力が許容する限りにおいて、第１色差成分及び第２色差成分の間で処理を並列化することが可能であり、図４の例でも部分的にそのような並列化が行われている。しかしながら、ＨＥＶＣの仕様によれば、クロマフォーマットが４：２：２である場合に、上下に隣接する２つの色差成分ブロックの間の依存関係に起因して、処理遅延が発生する。例えば、ブロックＢ２１ｃｂ（２）は、ブロックＢ２１ｃｂ（１）の処理が終了した後に処理される。ブロックＢ２１ｃｒ（２）は、ブロックＢ２１ｃｒ（１）の処理が終了した後に処理される。他の色差成分ブロックについても同様である。
図４を用いて説明したようなイントラ予測の処理遅延は、デバイスの処理リソースの効率的な活用を妨げ、エンコーダの性能及び場合によってはデコーダの性能に影響を与える。そこで、次節より詳細に説明する実施形態は、上述したブロック間の依存関係を緩和することにより、エンコーダ又はデコーダの性能向上を実現することを狙いとする。また、いくつかの実施形態では、性能と画質との間のトレードオフの考慮の下に、依存関係を緩和するための条件が定義される。
＜２．画像符号化装置の構成例＞
［２−１．全体的な構成］
図５は、画像符号化装置１０の概略的な構成の一例を示すブロック図である。図５を参照すると、画像符号化装置１０は、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、ＳＡＯフィルタ２５、フレームメモリ２６、スイッチ２７、モード設定部２８、イントラ予測部３０及びインター予測部４０を備える。
並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０及びインター予測部４０へ出力する。
減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
直交変換部１４は、各ＣＴＵ（Coding Tree Unit）内に設定される１つ以上のＴＵの各々について直交変換処理を実行する。ここでの直交変換は例えば、離散コサイン変換又は離散サイン変換などであってよい。より具体的には、直交変換部１４は、減算部１３から入力される予測誤差データを、ＴＵごとに、空間領域の画像信号から周波数領域の変換係数データに変換する。そして、直交変換部１４は、変換係数データを量子化部１５へ出力する。
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。また、量子化部１５は、各ＴＵについて使用した量子化ステップを表す量子化パラメータを生成する。量子化部１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。
可逆符号化部１６は、各ＣＴＵについて量子化部１５から入力される量子化データを符号化することにより、符号化ストリームを生成する。また、可逆符号化部１６は、デコーダにより参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６により符号化されるパラメータは、画像にＣＴＵ、ＣＵ、ＴＵ及びＰＵをどのように設定すべきかを示すブロック情報、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから原画像を再構築（リコンストラクト）する役割を有する。
逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップで量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を実行することにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部４０から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２６へ出力する。
デブロックフィルタ２４及びＳＡＯフィルタ２５は、それぞれ、リコンストラクト画像の画質の向上を目的とするインループフィルタである。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをＳＡＯフィルタ２５へ出力する。ＳＡＯフィルタ２５は、デブロックフィルタ２４から入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データをフレームメモリ２６へ出力する。
フレームメモリ２６は、加算部２３から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ２５から入力されるインループフィルタの適用後の復号画像データを記憶媒体を用いて記憶する。
スイッチ２７は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、スイッチ２７は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてインター予測部４０に供給する。
モード設定部２８は、イントラ予測部３０及びインター予測部４０から入力されるコストの比較に基づいて、ＣＴＵ又はＣＵごとに予測モードを設定する。モード設定部２８は、イントラ予測モードを設定したブロックについては、イントラ予測部３０により生成される予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、モード設定部２８は、インター予測モードを設定したブロックについては、インター予測部４０により生成される予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。
イントラ予測部３０は、原画像データ及び復号画像データに基づいて、各ＣＴＵ内に設定される１つ以上のＰＵの各々についてイントラ予測処理を実行する。ＰＵは、１つ以上のＴＵへと分割され得る。例えば、イントラ予測部３０は、ＨＥＶＣにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、イントラ予測部３０は、コストが最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、選択した最適な予測モードに従って予測画像データを生成する。そして、イントラ予測部３０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。本実施形態において、イントラ予測部３０は、ある条件が満たされる場合に、イントラ予測モードの探索範囲を所定の範囲に制限する。それにより、ブロック間の依存関係を緩和し、イントラ予測において生じるはずであった処理遅延を解消又は短縮することができる。こうしたイントラ予測部３０のより詳細な構成について、後にさらに説明する。
インター予測部４０は、原画像データ及び復号画像データに基づいて、各ＣＴＵ内に設定される１つ以上のＰＵの各々についてインター予測処理（動き検出及び動き補償）を実行する。例えば、インター予測部４０は、ＨＥＶＣにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、インター予測部４０は、コストが最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４０は、選択した最適な予測モードに従って予測画像データを生成する。そして、インター予測部４０は、インター予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。
［２−２．イントラ予測部の詳細］
図６は、図５に示した画像符号化装置１０のイントラ予測部３０の詳細な構成の一例を示すブロック図である。図６を参照すると、イントラ予測部３０は、予測制御部３１、参照画素設定部３３、探索部３５、判定部３７及び予測画像生成部３９を有する。
予測制御部３１は、予めメモリに記憶され、ユーザにより設定され、又は動的に決定される制御パラメータに基づいて、イントラ予測部３０におけるイントラ予測を制御する。例えば、予測制御部３１は、各予測ブロックについて、まず輝度成分の予測モードを探索部３５に探索させ、判定部３７に最適な予測モードを判定させる。また、予測制御部３１は、色差成分の予測モードを探索部３５に探索させ、判定部３７に最適な予測モードを判定させる。そして、予測制御部３１は、判定された最適な予測モードに従って予測画像生成部３９に予測画像を生成させる。イントラ予測は、典型的には、左のブロックから右のブロックへ、及び上のブロックから下のブロックへという順序で実行される。但し、予測制御部３１は、デバイスの能力（ハードウェア回路の数、又はプロセッサのコア数若しくはクロック数など）が許容する限りにおいて、依存関係の無い２つ以上のブロックについての処理を並列的に実行させることができる。一方、ブロック間に依存関係があり、例えば第２のブロックが第１のブロック内の画素を参照する場合には、予測制御部３１は、第１のブロックの予測画像の生成が終了した後に、予測画像生成部３９に第２のブロックの処理を開始させる。
探索部３５における予測モードの探索の基本的な探索範囲は、ＨＥＶＣの仕様により定義されている。例えば、輝度成分については、図１に示したように、平面予測及びＤＣ予測に加えて、３３通りの予測方向に対応する角度予測がその探索範囲に含まれ得る。色差成分については、イントラ予測モードの探索範囲は表１のように定義されており、予測モード番号「０」、「１」、「１０」、「２６」及び「３４」の予測モード、並びに輝度成分について選択される予測モード（IntraPredModeY）がその探索範囲に含まれ得る。
Figure 0006747430
但し、本実施形態において、予測制御部３１は、クロマフォーマットが４：２：２であるかを判定し、クロマフォーマットが４：２：２であると判定される場合には、色差成分の予測ブロックについて、探索部３５におけるイントラ予測モードの探索範囲を、上の参照画素を参照しない所定の範囲に制限する。ここでの「上の参照画素」とは、注目画素の真上の参照画素のみならず、注目画素の斜め上の参照画素をも含むものとする。
図７は、イントラ予測モードの探索範囲の制限について説明するための説明図である。図７を参照すると、クロマフォーマットが４：２：２である場合に探索範囲から除外され得る予測モードがＸ印で示されている。具体的には、注目画素Ｐ０の予測画像を生成するために注目画素Ｐ０よりも上の参照画素を参照することを要する平面予測、ＤＣ予測、及び予測モード番号「１１」〜「３４」に対応する角度予測が、色差成分の予測モードの探索範囲から除外される。従って、この場合の探索範囲は、注目画素の真左又は真左よりも下の参照画素を参照するイントラ予測モード（予測モード番号「２」〜「１０」に対応する角度予測）のうちの１つ以上を含むことになる。探索範囲に含まれる予測モード（候補）の数はいくつであってもよく、例えば単一の予測モードのみが探索範囲に含まれてもよい。このように探索範囲が制限される結果として、上の参照画素を参照することを要する予測モードが選択される可能性が無くなるため、例えば、図３Ｂに示したブロック２４Ｃｂ（１）及びブロック２４Ｃｂ（２）の間の依存関係が解消される。これは、ブロック２４Ｃｂ（１）の予測画像の生成の終了を待つことなく、ブロック２４Ｃｂ（２）の予測画像の生成を開始することが可能となることを意味する。
図８は、予測画像の生成の遅延が探索範囲の制限により解消される様子を示す説明図である。図８を参照すると、図４と同様に、図２に例示した各ブロックについての予測画像生成処理のタイミングが時間軸に沿って表現されている。図４と図８とを対比すると理解されるように、例えば、ブロックＢ２１ｃｂ（１）及びＢ２１ｃｂ（２）の間の依存関係が解消される結果として、ブロックＢ２１ｃｂ（１）及びＢ２１ｃｂ（２）の予測画像の生成が並列的に実行され得る。他の色差成分ブロックについても同様である。即ち、図４において曲線の矢印で示していた処理遅延が解消され、各ＴＵの色差成分の予測画像の生成に要する時間が短縮される。発明者らにより行われた解析によれば、こうした処理の並列化によって、１ＣＵ当たりの所要処理サイクル数は、平均３１０サイクルから平均１７９サイクルへと低減された。並列化後の最悪の所要処理サイクル数は、ＴＵサイズが１６×１６であるケースにおいて２２４サイクルであった。また、解像度４０９６×２１６０（いわゆる４ｋ）、フレームレート６０ｆｐｓ、ビット深度１０ビット及びクロマフォーマット４：２：２という条件でのプロセッサの要求周波数は、６９８ＭＨｚ（並列化前）から５０４ＭＨｚ（並列化後）へと低減された。
画像符号化装置１０がＨ．２６４／ＡＶＣ方式及びＨＥＶＣ方式の双方をサポートする場合、予測制御部３１は、いずれの画像符号化方式が使用されるのかを判定する。そして、予測制御部３１は、画像がＨＥＶＣ方式で符号化される場合に、色差成分についての上述した探索範囲の制限を有効化する。一方、予測制御部３１は、Ｈ．２６４／ＡＶＣ方式が使用される場合には、図３Ｂに関連して議論したようなブロック間の依存関係がＨ．２６４／ＡＶＣの仕様に存在しないため、上述した探索範囲の制限を有効化しない（即ち、Ｈ．２６４／ＡＶＣの仕様において許容される全ての候補モードが探索され得る）。
なお、本明細書ではＨＥＶＣ方式の例を主に説明しているが、本開示に係る技術は、かかる例に限定されない。概して、本開示に係る技術は、クロマフォーマットが４：２：２であることに関連する図３Ｂに示したようなブロック間の依存関係が存在する任意の画像符号化方式に適用可能である。
参照画素設定部３３は、予測制御部３１により設定される探索範囲に従って、各予測ブロックのイントラ予測モードの探索において参照される参照画素を、並び替えバッファ１１から入力される原画像データの中から設定する。参照画素設定部３３は、設定すべき参照画素が利用不能である場合には、利用可能な参照画素から画素値をコピーすることにより、設定すべき参照画素をパディングする。参照画素設定部３３は、イントラ予測モードの探索のために、原画像データの代わりに復号画像データを使用してもよい。イントラ予測モードの探索のために復号画像データが使用される場合には、ブロック間の依存関係に起因する処理遅延が探索処理においても生じるが、本開示に係る技術によれば、そうした探索処理における処理遅延もまた解消される。さらに、参照画素設定部３３は、各予測ブロックの予測画像の生成において参照される参照画素を、フレームメモリ２６から入力される復号画像データの中から設定する。
探索部３５は、符号化すべき画像内の予測ブロックごとに、予測制御部３１により設定される探索範囲に従ってイントラ予測モードを探索する。上述したように、輝度成分についての探索範囲は、ＨＥＶＣの仕様の通りであってよい。よって、探索部３５は、例えば平面予測、ＤＣ予測、及び３３通りの予測方向に対応する角度予測の各々について、原画像と予測画像との間の誤差（即ち、予測誤差）及び発生すると想定される符号量に基づいて、コストを評価する。一方、色差成分についての探索範囲は、クロマフォーマットが４：２：２である場合には、本明細書で説明している様々な条件に依存して、所定の範囲に制限され得る。探索部３５は、探索範囲が制限されない場合には、ＨＥＶＣの仕様において探索範囲に含まれる色差成分の予測モードの各々について、原画像と予測画像との間の誤差及び発生すると想定される符号量に基づいて、コストを評価する。また、探索部３５は、探索範囲が制限される場合には、上の参照画素が参照されないように制限された探索範囲に含まれる予測モードの各々について、コストを評価する。そして、探索部３５は、探索範囲内の候補モードごとに評価したコストの値を判定部３７へ出力する。
判定部３７は、予測ブロックごとに、探索部３５から入力されるコストの値を互いに比較することにより、輝度成分についての最適な（最もコストの低い）イントラ予測モード、及び色差成分についての最適なイントラ予測モードをそれぞれ判定する。そして、判定部３７は、判定した最適なモードを示す予測モード情報を予測画像生成部３９へ出力する。また、判定部３７は、予測モード情報を含むイントラ予測に関する情報、及び最適なモードに対応するコストをモード設定部２８へ出力する。
予測画像生成部３９は、参照画素設定部３３により復号画像データから設定される参照画素を参照しながら、判定部３７によりそれぞれ判定される最適な予測モードに従って、予測ブロックごとの輝度成分、第１色差成分及び第２色差成分の予測画像を生成する。予測画像生成部３９は、２つのブロックの間に依存関係がある場合には、一方のブロックの予測画像を先に生成し、生成したその予測画像に含まれる画素を参照して他方のブロックの予測画像をさらに生成する。予測画像生成部３９は、依存関係の無い２つ以上のブロックについては、それらブロックの予測画像を並列的に生成し得る。例えば、予測制御部３１により探索範囲が上の参照画素を参照しない範囲に制限される場合には、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックの間に、依存関係は存在しない。この場合、予測画像生成部３９は、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックの予測画像を、探索結果に基づいて判定される最適なイントラ予測モードに従って並列的に生成し得る。そして、予測画像生成部３９は、生成した予測画像をモード設定部２８へ出力する。
なお、本明細書における「並列的に実行される」との説明は、複数の処理が全く同じタイミングで実行されるというよりもむしろ、複数の処理が少なくとも部分的に、時間的に重複して実行されることを意味する。従って、例えば２つの処理が異なるタイミングで開始される場合であっても、一方の処理の終了を待つことなく他方の処理が開始されるときは、それら２つの処理は「並列的に実行される」と表現される。
［２−３．追加的な条件］
（１）第１の条件
図７の例では、色差成分についての予測モードの探索範囲が注目画素の真左又は真左よりも下の参照画素が参照されるように制限される。しかし、探索範囲をこうした範囲に制限したとしても、ある特殊なケースでは、注目ブロックと上の隣接ブロックとの間で依存関係が依然として残る。その特殊なケースとは、注目ブロックの左辺がピクチャ又はスライスの境界に接するケースである。注目ブロックの左辺がピクチャ境界又はスライス境界に接する場合、注目ブロックの左の画素は利用不能である。この場合、ＨＥＶＣの仕様によれば、図９に示したように、左の参照画素は上の参照画素から画素値をコピーすることによりパディングされる。例えば、図中で利用不能な左上の参照画素Ｐ３２の画素値が利用可能な上の参照画素Ｐ３１からコピーされ、さらに利用不能な左の参照画素Ｐ３３の画素値が参照画素Ｐ３２からコピーされる。このようなケースでは、探索範囲を上述した所定の範囲に制限したとしても、ブロック間の依存関係が解消されないことから、処理遅延の短縮という恩恵が享受されない。よって、予測制御部３１は、クロマフォーマットが４：２：２であっても、ブロックの左辺がピクチャ又はスライスの境界に接する場合には、予測制御部３１は、当該ブロックの探索範囲を上述した範囲に制限しなくてよい。
図１０Ａ及び図１０Ｂは、参照画素の利用可能性（利用可能／利用不能）に基づく探索範囲の制限の制御の例を示している。図１０Ａに示した画像Ｉｍ１は、水平方向に８個、垂直方向に６個のＣＴＵを有する。図１０Ｂに示した画像Ｉｍ２も同様である。但し、画像Ｉｍ２は、３つのスライスＳＬ１、ＳＬ２及びＳＬ３に分割される。これらＣＴＵのうち、図中で「Ｏｎ」とラベリングされたＣＴＵについては、探索範囲の制限が有効化される。一方、「Ｏｆｆ」とラベリングされたＣＴＵについては、探索範囲の制限が無効化される。図１０Ａの例では、画像Ｉｍ１の左端に位置する６個のＣＴＵにおいて、探索範囲の制限が無効化される。これらＣＴＵでは、クロマフォーマットが４：２：２であっても、全ての予測モードが探索範囲に含められてよい。図１０Ｂの例では、画像Ｉｍ１の左端に位置する６個のＣＴＵに加えて、画像Ｉｍ２に含まれるスライスＳＬ２及びＳＬ３の先頭のＣＴＵにおいて、探索範囲の制限が無効化される。これらＣＴＵでも、やはり、クロマフォーマットが４：２：２であっても、全ての予測モードが探索範囲に含められてよい。このように、左の参照画素が利用不能なブロックについて探索範囲の制限を無効化することにより、（処理遅延の短縮という恩恵を伴わない）無益な制限を回避することができる。なお、ここではＣＴＵ単位で探索範囲の制限が制御される例を示したが、かかる例に限定されず、例えばＣＵ又はＰＵといった異なる単位で探索範囲の制限が制御されてもよい。また、ピクチャ境界又はスライス境界に接するブロックのみならず、タイル境界に左辺が接するブロックにおいて探索範囲の制限が無効化されてもよい。
（２）第２の条件
上で説明したように、色差成分についての予測モードの探索範囲を制限した場合、予測誤差に起因する画像の歪みが大きくなり得る。特に、注目画素の真左又は真左よりも下の参照画素のみが参照されるように探索範囲が制限されると、画像の歪みは水平方向に強い相関を有する可能性が高い。こうした歪みが水平方向に並ぶ多数のブロックにわたって現れた場合、その歪みは、水平方向の縞状の主観的な画質の劣化としてエンドユーザにより感知され得る。そこで、こうした画質の劣化を回避するための１つの手法として、予測制御部３１は、画像を構成するＣＴＵのうち、ある規則に従って選択されるＣＴＵのサブセットについてのみ、色差成分の予測モードの探索範囲を所定の範囲に制限し得る。ある規則とは、例えば、探索範囲に制限を課すべきＣＴＵを画像内で散在させる、という規則であってよい。
図１１Ａ及び図１１Ｂは、ブロック位置に基づく探索範囲の制限の制御の例を示している。図１１Ａに示した画像Ｉｍ３及び図１１Ｂに示した画像Ｉｍ４は、水平方向に８個、垂直方向に６個のＣＴＵを有する。図１１Ａの例では、水平方向に連続する４個のＣＴＵのうちの先頭の１つにおいて、探索範囲の制限が無効化される。図１１Ｂの例では、水平方向に連続する２個のＣＴＵのうちの一方において、探索範囲の制限が無効化される。これらＣＴＵでは、クロマフォーマットが４：２：２であっても、全ての予測モードが探索範囲に含められてよい。このように、探索範囲に制限を課すべきＣＴＵを画像内で散在させる（例えば、水平方向に一定間隔で探索範囲の制限されないブロックを設ける）ことにより、探索範囲の制限に伴う予測誤差に起因する画像の歪みの伝搬を防止し、主観的な画質の劣化を軽減することができる。どういった規則に従って探索範囲に制限を課すかをユーザが設定することを可能とするための制御パラメータ（例えば、制限の無いＣＴＵの間隔又は割合など）が提供されてもよい。
（３）第３の条件
前項で説明した水平方向の縞状の主観的な画質の劣化は、ブロックサイズが大きい場合に顕著となり得る。ブロックサイズが小さい場合には、ブロック境界において歪みが不連続となり、主観的な画質への影響が弱まる。そこで、画質の劣化を回避するための他の手法として、予測制御部３１は、注目ブロックに対応するＴＵサイズが予め定義される閾値を上回る場合には、当該注目ブロックの探索範囲を制限しなくてもよい。ここでのＴＵサイズについての閾値は、例えば、４×４、８×８又は１６×１６のいずれかである。閾値をユーザが設定することを可能とするための制御パラメータが提供されてもよい。ブロックサイズがより大きいほど、予測画像生成処理の処理時間に対する（ブロック間の依存関係に起因する）処理遅延の割合はより小さくなることから、ブロックサイズが上述した閾値を上回らない場合に限って探索範囲を制限することは、性能と画質との間のトレードオフの観点で有益である。
（４）第４の条件
予測制御部３１は、さらに、画像の解像度及びフレームレートのうちの少なくとも一方に基づいて、色差成分のイントラ予測モードの探索範囲を所定の範囲に制限するか否かを制御してもよい。デバイスの能力が同等であれば、解像度がより高いほど、又はフレームレートがより高いほど符号化及び復号の性能要件は厳しくなる。よって、解像度が高く若しくはフレームレートが高く、又はその双方である場合には、上述した仕組みに従って画質をある程度犠牲にしつつ処理遅延を短縮することで、所望の性能要件を満たすことができる。
図１２は、画像の解像度及びフレームレートに基づく探索範囲の制限の制御の一例について説明するための説明図である。図１２を参照すると、一例としてのテーブル形式の制御データＤ１が示されている。制御データＤ１は、解像度、フレームレート及びクロマフォーマットの値の組合せごとに、探索範囲の制限が有効化されるか否かを定義している。例えば、解像度が４０９６×２１６０、フレームレートが６０ｆｐｓ、クロマフォーマットが４：２：２である場合、探索範囲の制限が有効化され（「Ｏｎ」）、処理遅延が短縮される。解像度が４０９６×２１６０、フレームレートが３０ｆｐｓ、クロマフォーマットが４：２：２である場合にも、探索範囲の制限が有効化され、処理遅延が短縮される。解像度が２０４８×１０８８、フレームレートが６０ｆｐｓ、クロマフォーマットが４：２：２である場合にも、探索範囲の制限が有効化され、処理遅延が短縮される。解像度が１９２０×１０８８、フレームレートが６０ｆｐｓ、クロマフォーマットが４：２：２である場合、探索範囲の制限は無効化される（「Ｏｆｆ」）。解像度が２０４８×１０８８、フレームレートが３０ｆｐｓ、クロマフォーマットが４：２：２である場合にも、探索範囲の制限は無効化される。こうした制御データＤ１は、例えば予めメモリにより記憶され、予測制御部３１により探索範囲の制限を有効化すべきかを判定するために参照される。制御データＤ１の代わりに、解像度及びフレームレートとそれぞれ比較される閾値が定義されてもよい。
本節では、色差成分のイントラ予測モードの探索範囲を制御するためのいくつかの条件を説明した。ここで説明した条件は、互いにどのように組み合わされてもよく、他の条件がさらに追加されてもよい。
［２−４．制限情報の符号化］
本節で説明した仕組みに従って画像符号化装置１０により符号化された符号化ストリームは、ＨＥＶＣの仕様の通りに動作する標準的なデコーダによって復号可能である。標準的なデコーダは、イントラ予測モードの探索のための探索範囲が制限されたか否かを認識することなく、単に符号化パラメータにより指定される予測モードに従ってイントラ予測ブロックの予測画像を生成する。しかしながら、符号化の際にイントラ予測モードの探索範囲が上の参照画素を参照しない範囲に制限されたことをデコーダに認識させることもまた有益である。なぜなら、そのように探索範囲が制限されたことをデコーダが認識できた場合、デコーダもまた、図３Ｂに例示したような１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックについて予測画像を並列的に生成できるからである。
そこで、一変形例として、イントラ予測部３０の予測制御部３１は、クロマフォーマットが４：２：２であることに関連してイントラ予測モードの探索のための探索範囲を上述した所定の範囲に制限した場合に、探索範囲が制限されたことを示す制限情報を生成してもよい。ここでの制限情報は、例えばシーケンス、ピクチャ、スライス、ＣＴＵ、ＣＵ、ＰＵ又はＴＵといった任意のレベルについて１つ定義されるフラグを含んでよい。また、制限情報は、探索範囲の制限が有効化され又は無効化されるＣＴＵの間隔、又はＴＵサイズと比較される閾値などのさらなる情報を含んでもよい。予測制御部３１により生成される制限情報は、可逆符号化部１６により符号化され、例えば符号化ストリームの拡張情報領域に挿入され得る。
＜３．符号化時の処理の流れ＞
［３−１．イントラ予測処理］
図１３は、一実施形態に係る符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
図１３を参照すると、まず、予測制御部３１は、イントラ予測を制御するために使用される制御パラメータを取得する（ステップＳ１０）。ここで取得される制御パラメータは、例えば、符号化方式の識別情報、クロマフォーマット、ブロックサイズ、ブロック位置、解像度、フレームレート及び閾値情報のうちの１つ以上を含む。そして、予測制御部３１は、取得した制御パラメータを用いて、探索範囲決定処理を実行する（ステップＳ２０）。ここで実行される探索範囲決定処理のより詳細ないくつかの例について、後にさらに説明する。
次に、予測制御部３１は、探索範囲決定処理においてイントラ予測モードの探索範囲を所定の範囲に制限するという決定がされたか否かを判定する（ステップＳ４０）。ここでの所定の範囲とは、上の参照画素を参照しない予測モードのみを含む範囲である。予測制御部３１は、探索範囲を制限することを決定した場合、上の参照画素を参照する予測モードを除外した探索範囲を、注目ブロックに設定する（ステップＳ４２）。一方、予測制御部３１は、探索範囲を制限しないことを決定した場合、通常の探索範囲（典型的には、ＨＥＶＣの仕様において許容される全ての候補モード含む範囲）を、注目ブロックに設定する（ステップＳ４４）。なお、輝度成分のイントラ予測に際しては、探索範囲は制限されず、処理は全て本ステップＳ４４を通過し得る。
次に、探索部３５は、参照画素設定部３３により設定される参照画素を用い、予測制御部３１により設定された探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づいてコストを評価する（ステップＳ４６）。次に、判定部３７は、探索部３５により評価されたコストの値を互いに比較することにより、輝度成分又は色差成分についての最適なイントラ予測モードを判定する（ステップＳ４８）。そして、予測画像生成部３９は、参照画素設定部３３により設定される参照画素を用い、判定部３７により判定された最適な予測モードに従って、輝度成分の予測画像、又は第１色差成分及び第２色差成分の予測画像を生成する（ステップＳ５０）。
図１３に示したイントラ予測処理は、ブロック単位で輝度成分及び色差成分のそれぞれについて実行される。互いに依存関係の無い複数のブロックについてのイントラ予測処理は、少なくとも部分的に並列的に実行されてよい。ブロック固有のパラメータに左右されない処理ステップは、図示した例に関わらず、ブロック単位で実行される代わりに複数のブロックをまたいで一度だけ実行されてもよい。
［３−２．探索範囲決定処理］
（１）第１の例
図１４Ａは、図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第１の例を示すフローチャートである。図１４Ａを参照すると、まず、予測制御部３１は、画像の符号化のためにＨＥＶＣ方式が使用されるか否かを判定する（ステップＳ２１）。ＨＥＶＣ方式が使用される場合、予測制御部３１は、クロマフォーマットが４：２：２であるか否かを判定する（ステップＳ２２）。クロマフォーマットが４：２：２である場合、予測制御部３１は、処理対象の色成分が色差成分であるか否かを判定する（ステップＳ２３）。処理対象の色成分が色差成分である場合、予測制御部３１は、イントラ予測モードの探索範囲を上の参照画素を参照しない予測モードのみを含む範囲に制限することを決定する（ステップＳ３１）。一方、予測制御部３１は、ＨＥＶＣ方式が使用されず（例えばＨ．２６４／ＡＶＣが使用される）、クロマフォーマットが４：２：２ではなく、又は処理対象の色成分が輝度成分である場合には、イントラ予測モードの探索範囲を制限しないことを決定する（ステップＳ３２）。
（２）第２の例
図１４Ｂは、図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第２の例を示すフローチャートである。図１４Ｂを参照すると、まず、予測制御部３１は、画像の符号化のためにＨＥＶＣ方式が使用されるか否かを判定する（ステップＳ２１）。ＨＥＶＣ方式が使用される場合、予測制御部３１は、クロマフォーマットが４：２：２であるか否かを判定する（ステップＳ２２）。クロマフォーマットが４：２：２である場合、予測制御部３１は、処理対象の色成分が色差成分であるか否かを判定する（ステップＳ２３）。処理対象の色成分が色差成分である場合、予測制御部３１は、注目ブロック（処理対象のブロック）の左辺がピクチャ境界又はスライス境界に接するか否かを判定する（ステップＳ２４）。注目ブロックの左辺がピクチャ境界又はスライス境界に接しない場合、予測制御部３１は、イントラ予測モードの探索範囲を上の参照画素を参照しない予測モードのみを含む範囲に制限することを決定する（ステップＳ３１）。一方、予測制御部３１は、ＨＥＶＣ方式が使用されず、クロマフォーマットが４：２：２ではなく、処理対象の色成分が輝度成分であり、又は注目ブロックの左辺がピクチャ境界若しくはスライス境界に接する場合には、イントラ予測モードの探索範囲を制限しないことを決定する（ステップＳ３２）。
（３）第３の例
図１４Ｃは、図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第３の例を示すフローチャートである。図１４Ｃを参照すると、予測制御部３１は、ＨＥＶＣ方式の使用（ステップＳ２１）、クロマフォーマット（ステップＳ２２）及び処理対象の色成分（ステップＳ２３）の判定の後、さらに現在のＣＴＵ（即ち、注目ブロックが属するＣＴＵ）について探索範囲の制限は有効化されているか否かを判定する（ステップＳ２５）。例えば、図１１Ａ又は図１１Ｂにおいて「Ｏｎ」とラベリングされたＣＴＵのように、現在のＣＴＵについて探索範囲の制限が有効化されている場合、予測制御部３１は、イントラ予測モードの探索範囲を上の参照画素を参照しない予測モードのみを含む範囲に制限することを決定する（ステップＳ３１）。一方、予測制御部３１は、ＨＥＶＣ方式が使用されず、クロマフォーマットが４：２：２ではなく、処理対象の色成分が輝度成分であり、又は現在のＣＴＵについて探索範囲の制限が無効化されている場合には、イントラ予測モードの探索範囲を制限しないことを決定する（ステップＳ３２）。
（４）第４の例
図１４Ｄは、図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第４の例を示すフローチャートである。図１４Ｄを参照すると、予測制御部３１は、ＨＥＶＣ方式の使用（ステップＳ２１）、クロマフォーマット（ステップＳ２２）及び処理対象の色成分（ステップＳ２３）の判定の後、さらに注目ブロックに対応するＴＵサイズが閾値を上回るか否かを判定する（ステップＳ２６）。ＴＵサイズが閾値を上回らない場合、予測制御部３１は、イントラ予測モードの探索範囲を上の参照画素を参照しない予測モードのみを含む範囲に制限することを決定する（ステップＳ３１）。一方、予測制御部３１は、ＨＥＶＣ方式が使用されず、クロマフォーマットが４：２：２ではなく、処理対象の色成分が輝度成分であり、又はＴＵサイズが閾値を上回る場合には、イントラ予測モードの探索範囲を制限しないことを決定する（ステップＳ３２）。
（５）第５の例
図１４Ｅは、図１３のフローチャートにおける探索範囲決定処理の詳細な流れの第５の例を示すフローチャートである。図１４Ｅを参照すると、予測制御部３１は、ＨＥＶＣ方式の使用（ステップＳ２１）、クロマフォーマット（ステップＳ２２）及び処理対象の色成分（ステップＳ２３）の判定の後、さらに画像の解像度及びフレームレートが探索範囲の制限を有効化するための条件を満たすか否かを判定する（ステップＳ２７）。例えば、解像度及びフレームレートの組合せが図１２に示したような制御データにおいて探索範囲の制限の有効化に関連付けられている場合、予測制御部３１は、イントラ予測モードの探索範囲を上の参照画素を参照しない予測モードのみを含む範囲に制限することを決定する（ステップＳ３１）。一方、予測制御部３１は、ＨＥＶＣ方式が使用されず、クロマフォーマットが４：２：２ではなく、処理対象の色成分が輝度成分であり、又は解像度及びフレームレートが探索範囲の制限を有効化するための条件を満たさない場合には、イントラ予測モードの探索範囲を制限しないことを決定する（ステップＳ３２）。
図１４Ａ〜図１４Ｅに示した探索範囲決定処理における判定条件は、互いにどのように組み合わされてもよい。また、条件判定の順序は、図示された例に限定されない。一部の条件判定が複数のブロックをまたいで一度だけ行われ、残りの条件判定がブロック単位で反復的に行われるというように、図示された処理が複数の処理に分割されてもよい。
＜４．画像復号装置の構成例＞
上述したように、本開示に係る技術に従って符号化された符号化ストリームは、ＨＥＶＣの仕様の通りに動作する標準的なデコーダによって復号可能である。但し、符号化の際にイントラ予測モードの探索範囲が上の参照画素を参照しない範囲に制限されたことを認識する拡張的な機能をデコーダが有することで、デコーダにおいてもイントラ予測処理の処理遅延を短縮し、復号の性能を向上させることができる。本節では、そのような拡張されたデコーダの構成例について説明する。
［４−１．全体的な構成］
図１５は、画像処理システム１の概略的な構成の一例を示している。画像処理システム１は、画像符号化装置１０と画像復号装置６０とを含む。画像符号化装置１０は、映像に含まれる一連の画像を符号化する際に、イントラ予測においてクロマフォーマットが４：２：２であることに関連して、イントラ予測モードの探索のための探索範囲を上の参照画素を参照しない所定の範囲に制限する。そして、画像符号化装置１０は、イントラ予測モードの探索範囲がそのように制限されたことを示す制限情報を符号化ストリームへ挿入する。画像復号装置６０は、画像符号化装置１０から符号化ストリームを受け取り、符号化ストリームから抽出される制限情報に基づいてイントラ予測処理を並列的に実行しながら、一連の画像を復号する。
より具体的には、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、ＳＡＯフィルタ６７、並び替えバッファ６８、Ｄ／Ａ（Digital to Analogue）変換部６９、フレームメモリ７０、セレクタ７１ａ及び７１ｂ、イントラ予測部８０並びにインター予測部９０を備える。
蓄積バッファ６１は、符号化ストリームを記憶媒体を用いて一時的に蓄積する。
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームから、符号化の際に使用された符号化方式に従って量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、ブロック情報、制限情報、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、制限情報及びイントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部９０へ出力する。
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、変換係数データを復元する。逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１ｂから入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ７０へ出力する。
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをＳＡＯフィルタ６７へ出力する。
ＳＡＯフィルタ６７は、デブロックフィルタ６６から入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データを並び替えバッファ６８及びフレームメモリ７０へ出力する。
並び替えバッファ６８は、ＳＡＯフィルタ６７から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６８は、生成した画像データをＤ／Ａ変換部６９へ出力する。
Ｄ／Ａ変換部６９は、並び替えバッファ６８から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６９は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、復号された映像を表示させる。
フレームメモリ７０は、加算部６５から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ６７から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
セレクタ７１ａは、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ａは、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７１ａは、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部９０へ出力する。
セレクタ７１ｂは、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ｂは、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１ｂは、インター予測モードが指定された場合には、インター予測部９０から出力される予測画像データを加算部６５へ供給する。
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。本実施形態において、イントラ予測部３０は、可逆復号部６２から入力される制限情報に基づいて、エンコーダにおいてイントラ予測モードの探索範囲が所定の範囲に制限されたか否かを判定する。探索範囲が制限された場合、ブロック間の依存関係が緩和されていることから、イントラ予測部３０は、予測画像生成処理を複数のブロックをまたいで並列的に実行する。それにより、イントラ予測の処理遅延を解消し又は短縮することができる。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１ｂへ出力する。こうしたイントラ予測部８０のより詳細な構成について、後にさらに説明する。
インター予測部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてインター予測処理を行い、予測画像データを生成する。そして、インター予測部９０は、生成した予測画像データをセレクタ７１ｂへ出力する。
［４−２．イントラ予測部の詳細］
図１６は、図１５に示した画像復号装置６０のイントラ予測部８０の詳細な構成の一例を示すブロック図である。図１６を参照すると、イントラ予測部８０は、予測制御部８１、参照画素設定部８３及び予測画像生成部８９を有する。
予測制御部８１は、イントラ予測に関する情報に含まれる制御パラメータと上述した制限情報とに基づいて、イントラ予測部８０におけるイントラ予測を制御する。例えば、予測制御部８１は、各予測ブロックについて、予測モード情報により示される輝度成分の予測モードに従って、予測画像生成部８９に輝度成分の予測画像を生成させる。また、予測制御部８１は、予測モード情報により示される色差成分の予測モードに従って、予測画像生成部８９に第１色差成分及び第２色差成分の予測画像を生成させる。
イントラ予測は、典型的には、左のブロックから右のブロックへ、及び上のブロックから下のブロックへという順序で実行される。但し、予測制御部８１は、デバイスの能力が許容する限りにおいて、依存関係の無い２つ以上のブロックについての処理を並列的に実行させることができる。例えば、予測制御部８１は、画像の符号化の際のイントラ予測においてクロマフォーマットが４：２：２であることに関連して、色差成分のイントラ予測モードの探索範囲が上の参照画素を参照しない範囲に制限されたかを、上述した制限情報を参照することにより判定する。一例として、制限情報は、探索範囲が制限されたか否かをブロックごとに又は複数のブロックをまたいで共通的に示すフラグのセットであってもよい。また、予測制御部８１は、制限情報により示される規則に従って、ＣＴＵごとに、当該ＣＴＵにおいて探索範囲が制限されたか否かを判定してもよい。また、予測制御部８１は、ＴＵごとに、制限情報により示される閾値とＴＵサイズとを比較することにより探索範囲が制限されたか否かを判定してもよい。予測制御部８１は、探索範囲が上の参照画素を参照しない範囲に制限された色差成分ブロックについて、当該ブロック及び上に隣接する色差成分ブロックの予測画像を、予測画像生成部８９に並列的に生成させる。
参照画素設定部８３は、予測制御部８１による制御の下で、各予測ブロックの予測画像の生成において参照される参照画素を、フレームメモリ７０から入力される復号画像データの中から設定する。参照画素設定部８３は、設定すべき参照画素が利用不能である場合には、利用可能な参照画素から画素値をコピーすることにより、設定すべき参照画素をパディングする。
予測画像生成部８９は、参照画素設定部８３により復号画像データから設定される参照画素を参照しながら、予測制御部８１により指定される予測モードに従って、予測ブロックごとの輝度成分、第１色差成分及び第２色差成分の予測画像を生成する。予測画像生成部８９は、２つのブロックの間に依存関係がある場合には、一方のブロックの予測画像を先に生成し、生成したその予測画像に含まれる画素を参照して他方のブロックの予測画像をさらに生成する。予測画像生成部８９は、依存関係の無い２つ以上のブロックについては、それらブロックの予測画像を並列的に生成し得る。例えば、ある色差成分ブロックについて予測制御部８１により探索範囲が上の参照画素を参照しない範囲に制限されたと判定される場合、予測画像生成部８９は、当該ブロック及び上に隣接する色差成分ブロックについて予測画像を並列的に生成する。この場合に並列的に処理される２つの色差成分ブロックは、典型的には、１つの輝度成分ブロックに対応する、上下に隣接する色差成分ブロックである。そして、予測画像生成部８９は、生成した予測画像を加算部６５へ出力する。
なお、ここでは、符号化ストリームから復号され得る制限情報に基づいて符号化の際にイントラ予測モードの探索範囲が制限されたかが判定される例を主に説明した。しかしながら、予測制御部８１は、そのような制限情報を利用する代わりに、例えば符号化ストリームに含まれる予測モード情報の解析（例えば、上の参照画素を参照する予測モードが少なくとも１つ存在するか、など）に基づいて、イントラ予測モードの探索範囲が制限されたかを判定してもよい。
＜５．復号時の処理の流れ＞
図１７は、一実施形態に係る復号時のイントラ予測処理の流れの一例を示すフローチャートである。
図１７を参照すると、まず、予測制御部８１は、可逆復号部６２により復号されるイントラ予測に関する情報、及び（存在する場合には）制限情報を取得する（ステップＳ６０）。ここで取得されるイントラ予測に関する情報は、例えば、予測ブロックごとの輝度成分及び色差成分の予測モード情報を含む。
次に、予測制御部８１は、画像の符号化の際のイントラ予測においてクロマフォーマットが４：２：２であることに関連してイントラ予測モードの探索のための探索範囲が上の参照画素を参照しない所定の範囲に制限されたか、を判定する（ステップＳ７０）。
そして、予測画像生成部８９は、探索範囲が上記所定の範囲に制限されたと判定されたブロックについて、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックについて並列的に、指定された予測モードに従って予測画像を生成する（ステップＳ８０）。また、予測画像生成部８９は、探索範囲が制限されなかったと判定されたブロックについて、ブロック間の依存関係に矛盾しない処理順序で、指定された予測モードに従って予測画像を生成する（ステップＳ８０）。
＜６．ハードウェア構成例＞
上述した実施形態は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。画像符号化装置１０又は画像復号装置６０がソフトウェアを使用する場合、ソフトウェアを構成するプログラムは、例えば、装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
図１８は、上述した実施形態を適用可能な装置のハードウェア構成の一例を示すブロック図である。図１８を参照すると、画像処理装置８００は、システムバス８１０、画像処理チップ８２０及びオフチップメモリ８９０を備える。画像処理チップ８２０は、ｎ個（ｎは１以上）の処理回路８３０−１、８３０−２、…、８３０−ｎ、参照バッファ８４０、システムバスインタフェース８５０及びローカルバスインタフェース８６０を含む。
システムバス８１０は、画像処理チップ８２０と外部モジュール（例えば、中央制御機能、アプリケーション機能、通信インタフェース又はユーザインタフェースなど）との間の通信路を提供する。処理回路８３０−１、８３０−２、…、８３０−ｎは、システムバスインタフェース８５０を介してシステムバス８１０と接続され、及びローカルバスインタフェース８６０を介してオフチップメモリ８９０と接続される。処理回路８３０−１、８３０−２、…、８３０−ｎは、オンチップメモリ（例えば、ＳＲＡＭ）に相当し得る参照バッファ８４０にもアクセスすることができる。オフチップメモリ８９０は、例えば、画像処理チップ８２０により処理される画像データを記憶するフレームメモリであってよい。一例として、処理回路８３０−１及び８３０−２は、イントラ予測のために利用され、複数のブロックの予測画像を並列的に生成することができるように構成される。なお、これら処理回路は、同一の画像処理チップ８２０ではなく、別個のチップ上に形成されてもよい。
＜７．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
（１）第１の応用例
図１９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、テレビジョン装置９００は、画像を復号する際に、イントラ予測処理の処理遅延を短縮して復号の性能を高めることができる。
（２）第２の応用例
図２０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、携帯電話機９２０は、画像を符号化し又は復号する際に、イントラ予測処理の処理遅延を短縮して符号化又は復号の性能を高めることができる。
（３）第３の応用例
図２１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、記録再生装置９４０は、画像を符号化し又は復号する際に、イントラ予測処理の処理遅延を短縮して符号化又は復号の性能を高めることができる。
（４）第４の応用例
図２２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、撮像装置９６０は、画像を符号化し又は復号する際に、イントラ予測処理の処理遅延を短縮して符号化又は復号の性能を高めることができる。
＜８．まとめ＞
ここまで、図１〜図２２を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、符号化すべき画像内の色差成分の予測ブロックについてイントラ予測モードを探索する際の探索範囲が、クロマフォーマットが４：２：２であると判定される場合に、上の参照画素を参照しない所定の範囲に制限される。ここでの所定の範囲とは、典型的には、注目画素の真左又は真左よりも下の参照画素を参照する１つ以上のイントラ予測モードを含む。このような制限の結果として、クロマフォーマットが４：２：２である場合の１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックの間で、一方のブロックの復号画素値が他方のブロックの予測画像の生成のために参照されるという依存関係が存在しないことになる。よって、それら２つの色差成分ブロックについて予測画像を並列的に生成することが可能となり、処理遅延が解消され、符号化及び復号の性能が向上する。
また、上述した実施形態によれば、ブロックの左辺がピクチャ境界又はスライス境界に接するか否か、ＴＵサイズが閾値を上回るか否か、ＣＴＵが特定の規則に従って選択される場所に位置するかといった追加的な条件に従って、色差成分のイントラ予測モードの探索範囲の制限が有効化され又は無効化され得る。それにより、符号化及び復号の性能向上と、主観的な画質との間のトレードオフについて、デバイスの用途又はユーザの要件などに適合する解を柔軟に見出すことが可能である。
本明細書に記述したＣＴＵ、ＣＵ、ＰＵ及びＴＵとの用語は、ＣＴＢ、ＣＢ、ＰＢ及びＴＢとの用語にそれぞれ置き換えられてもよい。ＣＴＢ、ＣＢ、ＰＢ及びＴＢは、画像の一部分としての色成分ごとの個々のブロック（又はサブブロック）を主に意味する一方、ＣＴＵ、ＣＵ、ＰＵ及びＴＵは、複数の色成分及び関連付けられるシンタックスをも含む論理的な単位を主に意味する。
また、本明細書では、イントラ予測に関する情報及び制限情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
符号化すべき画像内の予測ブロックごとにイントラ予測モードを探索する探索部と、
クロマフォーマットが４：２：２であるかを判定し、クロマフォーマットが４：２：２であると判定される場合に、色差成分の予測ブロックについて、前記探索部におけるイントラ予測モードの探索範囲を上の参照画素を参照しない所定の範囲に制限する制御部と、
を備える画像処理装置。
（２）
前記制御部は、予測ブロックの左辺がピクチャ又はスライスの境界に接する場合には、当該予測ブロックの前記探索範囲を前記所定の範囲に制限しない、前記（１）に記載の画像処理装置。
（３）
前記制御部は、ＴＵ（Transform Unit）サイズが予め定義される閾値を上回る場合には、前記探索範囲を前記所定の範囲に制限しない、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記制御部は、前記画像を構成するＣＴＵ（Coding Tree Unit）のうち、ある規則に従って選択されるＣＴＵのサブセットについてのみ、前記探索範囲を前記所定の範囲に制限する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記制御部は、前記画像の解像度及びフレームレートのうちの少なくとも一方に基づいて、前記探索範囲を前記所定の範囲に制限するか否かを制御する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記制御部は、前記画像がＨＥＶＣ（High Efficiency Video Coding）方式で符号化される場合に、前記探索範囲の前記制限を有効化する、前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記所定の範囲は、注目画素の真左又は真左よりも下の参照画素を参照する１つ以上のイントラ予測モードを含む、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記制御部により前記探索範囲が前記所定の範囲に制限される場合に、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックの予測画像を並列的に生成する生成部、をさらに備える、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
符号化すべき画像についてクロマフォーマットが４：２：２であるかを判定することと、
前記判定の結果に基づいて、前記画像内の予測ブロックごとにイントラ予測モードを探索することと、
前記クロマフォーマットが４：２：２であると判定される場合に、色差成分の予測ブロックについて、前記探索におけるイントラ予測モードの探索範囲が上の参照画素を参照しない所定の範囲に制限されることと、
を含む画像処理方法。
（１０）
画像処理装置を制御するコンピュータを、
符号化すべき画像内の予測ブロックごとにイントラ予測モードを探索する探索部と、
クロマフォーマットが４：２：２であるかを判定し、クロマフォーマットが４：２：２であると判定される場合に、色差成分の予測ブロックについて、前記探索部におけるイントラ予測モードの探索範囲を上の参照画素を参照しない所定の範囲に制限する制御部と、
として機能させるためのプログラム。
（１１）
前記（１０）に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
（１２）
画像の符号化の際のイントラ予測においてクロマフォーマットが４：２：２であることに関連してイントラ予測モードの探索のための探索範囲が上の参照画素を参照しない所定の範囲に制限されたか、を判定する制御部と、
前記探索範囲が前記所定の範囲に制限されたと判定される場合に、前記画像の復号の際のイントラ予測において、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分ブロックについて予測画像を並列的に生成する生成部と、
を備える画像処理装置。
１ 画像処理システム
１０ 画像処理装置（画像符号化装置）
１６ 可逆符号化部
３０ イントラ予測部
３１ 予測制御部
３３ 参照画素設定部
３５ 探索部
３７ 判定部
３９ 予測画像生成部
６０ 画像処理装置（画像復号装置）
６２ 可逆復号部
８０ イントラ予測部
８１ 予測制御部
８３ 参照画素設定部
８９ 予測画像生成部

Claims (8)

  1. 画像のクロマフォーマットが４：２：２である場合に、前記画像の色差成分の予測ブロックを対象として、イントラ予測モードの探索範囲を、前記画像における注目画素の真左又真左よりも下の参照画素に対する、水平方向の第１の方向性予測又は水平方向よりも下方向の第２の方向性予測に制限してイントラ予測を行い、予測ブロックに対する予測画像を生成するイントラ予測部と、
    前記イントラ予測部により生成された予測画像の色差成分を用いて、前記画像の予測ブロックの色差成分を符号化する符号化部と、
    を備え、前記イントラ予測部は、前記予測ブロックの左辺がピクチャ又はスライスの境界に接する場合には、前記イントラ予測モードの探索範囲を、前記第１の方向性予測又は前記第２の方向性予測に制限しない、画像処理装置。
  2. 前記イントラ予測部は、ＴＵ（Transform Unit）サイズが予め定義される閾値を上回る場合には、前記イントラ予測モードの探索範囲を、前記第１の方向性予測又は前記第２の方向性予測に制限しない、請求項１に記載の画像処理装置。
  3. 前記イントラ予測部は、前記画像を構成するＣＴＵ（Coding Tree Unit）のうち、画像の左端に位置するＣＴＵ以外のＣＴＵを対象として、前記イントラ予測モードの探索範囲を、前記第１の方向性予測又は前記第２の方向性予測に制限する、請求項１に記載の画像処理装置。
  4. 前記イントラ予測部は、前記画像の解像度及びフレームレートのうちの少なくとも一方に基づいて、前記イントラ予測モードの探索範囲を前記第１の方向性予測又は前記第２の方向性予測に制限するか否かを選択する、請求項１に記載の画像処理装置。
  5. 前記イントラ予測部は、前記探索範囲が制限される場合に、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分の予測ブロックに対応する予測画像を並列的に生成する、請求項１に記載の画像処理装置。
  6. 画像のクロマフォーマットが４：２：２である場合に、前記画像の色差成分の予測ブロックを対象として、イントラ予測モードの探索範囲を、前記画像における注目画素の真左又真左よりも下の参照画素に対する、水平方向の第１の方向性予測又は水平方向よりも下方向の第２の方向性予測に制限してイントラ予測を行い、予測ブロックに対する予測画像を生成することと、
    前記生成された予測画像の色差成分を用いて、前記画像の予測ブロックの色差成分を符号化することと、
    を含み、前記予測ブロックの左辺がピクチャ又はスライスの境界に接する場合には、前記イントラ予測モードの探索範囲を、前記第１の方向性予測又は前記第２の方向性予測に制限しない、画像処理方法。
  7. 画像処理装置を制御するコンピュータを、
    画像のクロマフォーマットが４：２：２である場合に、前記画像の色差成分の予測ブロックを対象として、イントラ予測モードの探索範囲を、前記画像における注目画素の真左又真左よりも下の参照画素に対する、水平方向の第１の方向性予測又は水平方向よりも下方向の第２の方向性予測に制限してイントラ予測を行い、予測ブロックに対する予測画像を生成するイントラ予測部と、
    前記イントラ予測部により生成された予測画像の色差成分を用いて、前記画像の予測ブロックの色差成分を符号化する符号化部と、
    として機能させ、前記イントラ予測部を、前記予測ブロックの左辺がピクチャ又はスライスの境界に接する場合には、前記イントラ予測モードの探索範囲を、前記第１の方向性予測又は前記第２の方向性予測に制限させないためのプログラム。
  8. 画像の符号化の際のイントラ予測においてクロマフォーマットが４：２：２であることに関連してイントラ予測モードの探索のための探索範囲が、前記画像における注目画素の真左又真左よりも下の参照画素に対する、水平方向の第１の方向性予測又は水平方向よりも下方向の第２の方向性予測に制限されたか、を判定する制御部と、
    前記探索範囲が前記第１の方向性予測又は前記第２の方向性予測に制限されたと判定される場合に、前記画像の復号の際のイントラ予測において、１つの輝度成分ブロックに対応する上下に隣接する２つの色差成分の予測ブロックに対応する予測画像を並列的に生成する生成部と、
    を備え、前記制御部は、前記予測ブロックの左辺がピクチャ又はスライスの境界に接する場合には、前記イントラ予測モードの探索範囲を、前記第１の方向性予測又は前記第２の方向性予測に制限しない、画像処理装置。
JP2017509308A 2015-03-27 2016-01-07 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP6747430B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015067082 2015-03-27
JP2015067082 2015-03-27
PCT/JP2016/050318 WO2016157924A1 (ja) 2015-03-27 2016-01-07 画像処理装置、画像処理方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016157924A1 JPWO2016157924A1 (ja) 2018-01-18
JP6747430B2 true JP6747430B2 (ja) 2020-08-26

Family

ID=57004942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509308A Expired - Fee Related JP6747430B2 (ja) 2015-03-27 2016-01-07 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10362305B2 (ja)
JP (1) JP6747430B2 (ja)
CN (1) CN107409208B (ja)
WO (1) WO2016157924A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
JP6680260B2 (ja) 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
JP7060096B2 (ja) * 2018-06-26 2022-04-26 日本電気株式会社 映像符号化又は映像復号装置、映像符号化又は映像復号方法、及びプログラム
CN113170106A (zh) * 2018-11-28 2021-07-23 北京字节跳动网络技术有限公司 帧内块复制模式中运动参考的扩展方法
CN113170195A (zh) 2018-12-22 2021-07-23 北京字节跳动网络技术有限公司 具有双树分割的帧内块复制模式
US11533506B2 (en) * 2019-02-08 2022-12-20 Tencent America LLC Method and apparatus for video coding
CN114303385A (zh) * 2019-08-15 2022-04-08 北京达佳互联信息技术有限公司 视频编解码中的小色度块大小限制
JP6879401B2 (ja) * 2020-02-27 2021-06-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
JP5089878B2 (ja) 2005-10-28 2012-12-05 パナソニック株式会社 画像符号化装置
JP2008182527A (ja) * 2007-01-25 2008-08-07 Matsushita Electric Ind Co Ltd 画像符号化装置及び方法、並びに撮像システム
JP2011041037A (ja) * 2009-08-12 2011-02-24 Sony Corp 画像処理装置および方法
CN105611304B (zh) * 2010-04-09 2019-06-11 Lg电子株式会社 处理视频数据的方法和装置
WO2011129163A1 (ja) * 2010-04-16 2011-10-20 コニカミノルタホールディングス株式会社 イントラ予測処理方法、及びイントラ予測処理プログラム
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
JP2013034162A (ja) 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
KR101668583B1 (ko) * 2011-06-23 2016-10-21 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
JP2014075652A (ja) 2012-10-03 2014-04-24 Canon Inc 画像符号化装置及び方法
AU2013202653A1 (en) * 2013-04-05 2014-10-23 Canon Kabushiki Kaisha Method, apparatus and system for generating intra-predicted samples
JP2014204311A (ja) 2013-04-05 2014-10-27 三菱電機株式会社 カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
BR112015025113B1 (pt) 2013-04-05 2023-03-21 Mitsubishi Electric Corporation Dispositivo de decodificação de imagem a cores, e, método de decodificação de imagem a cores
WO2015005132A1 (ja) * 2013-07-08 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
CN105474639B (zh) * 2013-07-10 2018-08-07 凯迪迪爱通信技术有限公司 视频编码装置、视频解码装置、视频***、视频编码方法、视频解码方法以及程序
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering

Also Published As

Publication number Publication date
US10362305B2 (en) 2019-07-23
JPWO2016157924A1 (ja) 2018-01-18
CN107409208B (zh) 2021-04-20
CN107409208A (zh) 2017-11-28
US20180063525A1 (en) 2018-03-01
WO2016157924A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6747430B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20240056611A1 (en) Image processing device and image processing method
JP6075487B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
US10623761B2 (en) Image processing apparatus and image processing method
CN107018424B (zh) 图像处理装置和图像处理方法
JP6011341B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US10448057B2 (en) Image processing device and method
US20200221126A1 (en) Image processing apparatus and image processing method
US10743023B2 (en) Image processing apparatus and image processing method
RU2690439C2 (ru) Устройство и способ кодирования изображений и устройство и способ декодирования изображений
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
JP2016208532A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR102338523B1 (ko) 디코딩 디바이스, 디코딩 방법, 인코딩 디바이스, 및 인코딩 방법
WO2012153578A1 (ja) 画像処理装置及び画像処理方法
JP2013034162A (ja) 画像処理装置及び画像処理方法
US20190020877A1 (en) Image processing apparatus and method
KR20140109875A (ko) 화상 처리 장치 및 방법
KR20140110221A (ko) 비디오 인코더, 장면 전환 검출 방법 및 비디오 인코더의 제어 방법
US8903184B2 (en) Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program
US10477207B2 (en) Image processing apparatus and image processing method
US20160373740A1 (en) Image encoding device and method
JP2014207536A (ja) 画像処理装置および方法
JP2013012846A (ja) 画像処理装置及び画像処理方法
JP2013074416A (ja) 画像処理装置および方法
WO2015059973A1 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R151 Written notification of patent or utility model registration

Ref document number: 6747430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees