JP6323459B2

JP6323459B2 - イントラ予測回路

Info

Publication number: JP6323459B2
Application number: JP2015538861A
Authority: JP
Inventors: 栄太小林
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2013-09-30
Filing date: 2014-08-26
Publication date: 2018-05-16
Anticipated expiration: 2034-08-26
Also published as: WO2015045272A1; JPWO2015045272A1

Description

本発明は、回路規模を増大させずにイントラ予測を行うイントラ予測回路に関する。

非特許文献１には、ITU-T 勧告H.265 規格にもとづく映像符号化方式であるHEVC（High Efficiency Video Coding）が記載されている。

HEVCでは、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。

CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測を説明する。

イントラ予測は、符号化対象フレームの参照画像から予測画像を生成する予測である。非特許文献１では、図１４に示す３３種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の参照画素を図１４に示す３３種類の方向のいずれかに外挿して、イントラ予測信号（予測画素）を生成する。非特許文献１では、３３種類の角度イントラ予測に加えて、符号化対象ブロック周辺の参照画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の参照画素を線形補間するPlanarイントラ予測が定義されている。

図１４において、最上位行の各矩形および最左列の各矩形は、参照画素を示す。矩形中の数字は、座標を示す。矢印は、予測方向を示す。矢印の近傍に付された数字は、予測モード（以下、モードともいう。）を示す。

図１５を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。

図１５は、一般的な映像符号化装置の一例を示すブロック図である。図１５に示す映像符号化装置は、変換部３０１、量子化部３０２、エントロピー符号化部３０３、逆量子化／逆変換部３０４、バッファ３０５、予測部３０６、および最適予測モード決定部３０７を備える。

最適予測モード決定部３０７は、CTU毎に、符号化コストを最小とする予測モードと予測ブロックの組み合わせを決定する。

予測部３０６は、最適予測モード決定部３０７が決定した予測モードおよび予測ブロックにもとづいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、イントラ予測またはインター予測にもとづいて生成される。

変換部３０１は、最適予測モード決定部３０７が決定したTUクアッドツリー構造にもとづいて、入力画像信号から予測信号を減じた予測誤差画像（予測誤差信号）を周波数変換する。変換部３０１は、予測誤差信号の変換符号化において、周波数変換にもとづいた４×４、８×８、１６×１６または３２×３２ブロックサイズの直交変換を使用する。具体的には、イントラCUの輝度成分の４×４TUに対して、整数演算で近似した（整数精度の）DST （Discrete Sine Transform ：離散サイン変換）を使用する。その他のTUに対して、そのブロックサイズに対応する整数演算で近似した（整数精度の）DCT （Discrete Cosine Transform ：離散コサイン変換）を使用する。

量子化部３０２は、変換部３０１から供給される直交変換係数を量子化する。以下、量子化された直交変換係数を変換量子化値ということがある。逆量子化／逆変換部３０４は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換部３０４は、逆量子化した直交変換係数を逆変換する。逆変換された予測誤差画像は、予測信号が加えられて、バッファ３０５に供給される。バッファ３０５は、画像を参照画像として格納する。

ITU-T 勧告 H.265 High efficiency video coding, April 2013

予測画素[x][y] は、下記の式で計算される。下式において、r[i]，r[j]は、参照画素を示す。i ，j は、参照画素の座標を示す。>>は、右方向へのビットシフトを示す。

予測画素[x][y] ＝（iFact × r[i] ＋ (32 − iFact) × r[j] ＋ 16） >> 5 （１）

iFact は係数であるが、各々の行については固定的な値である。

図１６は、予測の一例を示す説明図である。図１６は、ブロックサイズが８×８であってモード２１の場合の例である（図１６における太い矢印参照）。予測ブロック中の各数字は、参照画素の座標を示す。例えば、１：２は、 r[i] として r[1] が使用され、 r[j] として r[2] が使用されることを示す。また、図１６には、各行におけるiFact の値も示されている。さらに、 r[-4]の行と r[-5]の行で r[4] の列に相当する予測画素の計算が例示されている。

予測部３０６は、イントラ予測を行う場合、ブロックサイズがＮ×Ｎ（Ｎ：４、８、１６または３２）であるときには、Ｎ×Ｎ回の演算を行う。また、Ｎの値に応じたイントラ予測回路が用意される。そのために、予測部３０６をハードウェア回路で実現する場合、回路規模が増大するという課題がある。

本発明の目的は、回路規模が増大するという課題を解決するイントラ予測回路を提供することである。

本発明によるイントラ予測回路は、あらかじめ設定された参照画素または隣接する他の予測コアから入力された参照画素を用いて予測画素を計算する第１予測画素計算部と、第１予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第１予測誤差計算部と、第１予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第１参照画素伝搬部とを含む第１予測コアが複数設けられ、あらかじめ設定された参照画素もしくは隣接する他の予測コアから入力された参照画素または逐次入力される参照画素を用いて予測画素を計算する第２予測画素計算部と、第２予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第２予測誤差計算部と、第２予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第２参照画素伝搬部とを含む第２予測コアが、複数の第１予測コアのうちの所定個数の第１予測コアに対応して設けられていることを特徴とする。

本発明によれば、イントラ予測回路の回路規模を増大させないようにすることができる。

予測の一例を示す説明図である。行方向の参照画素と列方向の参照画素との対称性を説明するための説明図である。イントラ予測回路の構成の概念を示す概念図である。予測画素を生成するときに使用する参照画素の例を示す説明図である。予測ブロックの行単位の予測処理をより詳しく説明するための説明図である。予測画素生成処理を実行する予測画素生成回路を示すブロック図である。イントラ予測回路の具体的構成例を示すブロック図である。８個の予測コアを含むイントラ予測回路の構成例を示すブロック図である。予測ブロック（予測対象ブロック）のサイズと参照画素との関係を示す説明図である。３２個の予測コアを含むイントラ予測回路の構成例を示すブロック図である。複数種類のサイズの予測ブロックに対応できるイントラ予測回路の構成例を示すブロック図である。本発明によるイントラ予測回路の主要部を示すブロック図である。本発明による他のイントラ予測回路の主要部を示すブロック図である。３３種類の角度イントラ予測の例を示す説明図である。一般的な映像符号化装置の構成を示す説明図である。予測の一例を示す説明図である。

図１は、予測の一例を示す説明図である。図１は、モード３３の場合の予測方向および参照画素を示す説明図である。モード３３では、参照画素r[-16]〜r[0] は使用されない。また、モード１８〜３４（水平線に対して４５゜以上の角度を持つ垂直方向モード）に共通して、参照画素r[-16]〜r[-9]は使用されない。

同様に、モード２〜１７（水平線に対して４５゜以下の角度を持つ水平方向モード）に共通して、参照画素r[9] 〜r[16]は使用されない。

図１には、ブロックサイズが８×８の場合が例示されている。以下、ブロックサイズが８×８の場合を例にして説明を行う。

図２は、行方向の参照画素と列方向の参照画素との対称性を説明するための説明図である。図２において、斜線部分は、参照画素を示す。上述したように、モード２〜１７では、参照画素r[9]〜r[16]は使用されない（図２（Ａ）参照）。また、モード１８〜３４では、参照画素r[-16]〜r[-9] は使用されない（図２（Ｂ）参照）。すなわち、モード１８〜３４とモード２〜１７には、図２に示すような対称性が存在する。なお、図２には、各モードの角度も記載されている。

本発明では、そのような対称性に着目してイントラ予測回路の回路規模を削減する。図３は、イントラ予測回路の構成の概念を示す概念図である。

図３に示すように、イントラ予測回路は、イントラ予測を行うイントラ予測部１、分配器２、転置回路３、転置回路４および選択器５を備える。

なお、イントラ予測回路は、図１５に示された映像符号化回路に適用可能である。図１５に示された映像符号化回路に適用される場合には、予測部３０６における角度イントラ予測を行う回路として適用される。

分配器２は、参照画素を入力して保持する。そして、分配器２は、予測モードがモード２〜１７のいずれかである場合には、参照画素を転置回路３に供給する。分配器２は、予測モードがモード１８〜３４のいずれかである場合には、入力された参照画素をイントラ予測部１に供給する。転置回路３は、参照画素の配列を転置し、転置後の参照画素をイントラ予測部１に供給する。

なお、転置は、行と列とを入れ替えることを意味する。

イントラ予測部１は、イントラ予測を行い、予測画素を出力する。その際、イントラ予測部１は、予測モードがモード２〜１７のいずれかである場合には、予測画素を転置回路４に出力する。予測モードがモード１８〜３４のいずれかである場合には、予測画素を選択器５に出力する。転置回路４は、予測画素の配列を転置し、転置後の参照画素をイントラ予測部１に供給する。

選択器５は、転置回路４からの予測画素またはイントラ予測部１からの予測画素を予測ブロックとして出力する。なお、イントラ予測部１は、予測ブロックにおける行単位で予測画素を出力する。よって、選択器５は、転置回路４からの予測画素またはイントラ予測部１からの予測画素を一時保存し、１ブロック分の予測画素の入力が完了したら、予測ブロックを構成する予測画素を出力する。

なお、予測モードがモード２〜１７のいずれかである場合に参照画素の配列は転置されているので、イントラ予測部１は、予測モードがモード２〜１７のいずれかであるときに、モード１８〜３４のいずれかとみなして予測処理を行うことができる。すなわち、イントラ予測部１は、垂直方向モードの予測処理のみを実行すればよい。つまり、イントラ予測部１は、予測ブロックの上側に隣接する参照画素（参照画素r[1]〜r[8]）、左側に隣接する参照画素（参照画素r[-8] 〜r[0]）および右上側に位置する参照画素（参照画素r[9]〜r[16] ）のみを使用し、垂直方向モードの予測処理のみを実行する。

図４は、予測画素を生成するときに使用する参照画素の例を示す説明図である。図４には、予測ブロックサイズが８×８である場合が例示されている。図４（Ａ）にはモード２１の場合が例示され、図４（Ｂ）にはモード３３の場合が例示されている。

本実施形態では、イントラ予測部１は、予測ブロックの行単位で予測処理を実行する。図４に示すように、ある行に着目すると（最上行を除く。）、上の行で使用された参照画素は、下の行において、左、同列、右のいずれかで使用される。すなわち、左下、直下、右下のいずれかで参照される（ただし、最左列および最右列の場合を除く。）。

従って、図４に示す例からわかるように、予測ブロックの行単位で予測処理を実行する場合、ある行について予測処理が行われた後、次の行の予測処理を実行するときに、前の行において左、同列、右のいずれかで使用された参照画素を流用することができる。

図５は、予測ブロックの行単位の予測処理（演算処理）をより詳しく説明するための説明図である。なお、図５には、予測処理のための係数である「iFact 」の記載と、参照画素の伝搬のための「制御」の記載も含まれている。また、参照画素の伝搬は、具体的には、参照画素の値を出力することを意味する。

また、図５に示す演算処理は、図５における右上に示される３行８列の予測ブロックに関して予測処理を実行する場合の処理例である。そして、図５において、矩形で囲まれた予測画素生成処理＃２の列は、３行８列の予測ブロックにおける左から２列目に相当する。実線の矢印は、実際に参照画素が伝搬することを示す。破線の矢印は、図５における右上に示される例では参照画素は伝搬しないが、他の例において参照画素が伝搬する可能性があることを示す。

図５に示すように、イントラ予測部１は、１行に含まれる８個の要素を一時に処理するために、８個の処理機能を有する。それら機能を、予測画素生成処理＃１〜予測画素生成処理＃８とする。

第１行目について、予測画素生成処理＃１〜予測画素生成処理＃８が予測処理を実行するときに、各々の予測画素生成処理＃１〜予測画素生成処理＃８で使用される参照画素が、第２行目についての予測画素生成処理＃１〜予測画素生成処理＃８に対して伝搬されるように制御される。

さらに、第２行目について、予測画素生成処理＃１〜予測画素生成処理＃８が予測処理を実行するときに、各々の予測画素生成処理＃１〜予測画素生成処理＃８で使用される参照画素が、第３行目についての予測画素生成処理＃１〜予測画素生成処理＃８に対して伝搬されるように制御される。ただし、この場合には、第２行目について予測画素生成処理＃ｎ（ｎ：２〜８）で使用された参照画素は、第３行目についての予測画素生成処理＃（ｎ−１）に対して伝搬される。

図６は、図５に示された予測画素生成処理を実行する予測画素生成回路を示すブロック図である。図５には、２つの予測画素生成回路１１１，１１２と周辺回路（具体的には、参照画素レジスタ１２２，１２３，１２４）とが示されている。各予測画素生成回路１１１，１１２は、予測画素生成処理を実行する。すなわち、予測画素生成回路１１１および予測画素生成回路１１２は、予測画素生成処理＃１〜予測画素生成処理＃８のうちのいずれか２つの隣接する予測画素生成処理（図５において隣接する予測画素生成処理）を実行する回路である。以下、予測画素生成回路１１１に着目して説明を行うが、予測画素生成回路１１２の構成および動作は、予測画素生成回路１１１の構成および動作と同じである。

参照画素レジスタ１２２，１２３，１２４に参照画素が設定された後、予測画素生成回路１１１は、参照画素レジスタ１２２，１２３，１２４のうちの２つのレジスタから、予測処理で使用する参照画素を取り込む。そして、予測画素生成回路１１１は、２つの参照画素から予測画素を生成する。なお、後述するように、予測画素生成回路は、１つの参照画素レジスタから参照画素を取り込むことがある。

次に、具体的にはイントラ予測回路に供給されるクロック信号の次の立上がりまたは立下がりを契機して、予測画素生成回路１１１は、制御信号に従って、参照画素を、左に位置する予測画素生成回路１１２、右に位置する予測画素生成回路（図６において図示せず）および自回路（予測画素生成回路１１１）のうちの１つまたは２つに伝搬する。すなわち、参照画素の値を出力する。自回路に参照画素の値を出力することは、図６において、「自己参照ループ」として示されている。

なお、左に位置する予測画素生成回路１１２に対する参照画素の伝搬は、図５における予測画素生成処理＃ｎから予測画素生成処理＃（ｎ−１）に対する伝搬に相当する。自己参照ループは、図５における直下の処理への伝搬に相当する。右に位置する予測画素生成回路に対する参照画素の伝搬は、予測画素生成処理＃ｎから予測画素生成処理＃（ｎ＋１）に対する伝搬に相当する。

図７は、図６に示された予測画素生成回路の具体的構成例を示すブロック図である。図７には、周辺回路（具体的には、参照画素レジスタ１２２，１２３，１２４）も示されている。

図７に示す予測コア１００は、図６に示す予測画素生成回路の具体的実現例に相当する。予測コア１００において、左に位置する予測コア（図示せず）からの参照画素は、レジスタ１０１を経て選択器１０２に入力される。右に位置する予測コア（図示せず）からの参照画素は、レジスタ１０３を経て選択器１０４に入力される。

また、選択器１０２，１０４には、参照画素レジスタ１２２，１２３，１２４からの参照画素も入力される。

選択器１０２，１０４の出力は、予測画素計算部１０７に入力されるとともに、左右の予測コアに出力される。また、選択器１０２が出力する参照画素は、レジスタ１０５を介して選択器１０２にフィードバックされる。選択器１０４が出力する参照画素は、レジスタ１０６を介して選択器１０４にフィードバックされる。フィードバック経路は、図６における自己参照ループに相当する。

予測画素計算部１０７は、予測画素を生成する。予測画素は、減算器１１０に入力される。減算器１１０は、入力された入力画像の値から予測画素の値を減算して予測誤差信号を生成する。

図８は、８個の予測コアを含む１次元シストリックアレイ型のイントラ予測回路の構成例を示すブロック図である。

イントラ予測回路は、参照画素レジスタ１２１〜１２８と、８個の予測コア１００１〜１００８と、係数供給回路２３０と、制御回路２４０と、選択器１６１，１６２とを備える。

参照画素レジスタ１２１〜１２８の各々は、１つの参照画素を保持する。予測コア１００１〜１００８の構成は、図７に示された予測コア１００の構成と同じである。係数供給回路２３０は、予測ブロックのうち予測コア１００１〜１００８が予測処理を実行する行に対応するiFact を予測コア１００１〜１００８に供給する。係数供給回路２３０は、予測コア１００１〜１００８が次の行の予測画素の計算を開始するときに、iFact の値を切り替える。なお、図８に示す構成では、参照画素のフィードバック経路は、予測コア１００１〜１００８の外に設けられているが、図７に示すように、フィードバック経路は、予測コア１００１〜１００８の内部において設けられていてもよい。

制御回路２４０は、予測コア１００１〜１００８および選択器１６１，１６２に制御信号を与える。

選択器１６１には、参照画素r[-8] 〜r[0]のうち予測コア１００１が使用する参照画素が入力される（図２（Ｂ）参照）。選択器１６２には、参照画素r[1]〜r[16] のうち予測コア１００８が使用する参照画素が入力される（図２（Ｂ）参照）。なお、予測コア１００１のレジスタ１０１（図７参照）には、選択器１６１からも参照画素が入力される。予測コア１００８のレジスタ１０３（図７参照）には、選択器１６２からも参照画素が入力される。

次に、図８に示すイントラ予測回路の動作を説明する。

各予測モードにおける予測処理を開始する前に、参照画素レジスタ１２１〜１２８に、予測ブロックにおける第１行目の予測画素の生成のために使用される参照画素が設定される。図４（Ａ）に示されたモード２１の場合を例にすると、参照画素r[1]〜r[8]が、参照画素レジスタ１２１〜１２８に設定される。

まず、予測コア１００２〜１００７は、参照画素レジスタ１２１〜１２８に保持されている２つの参照画素を使用して第１行目の予測画素を生成する。なお、予測コア１００１は、１つの参照画素を参照画素レジスタ１２１から入力し、１つの参照画素を選択器１６１から入力する。また、予測コア１００８は、１つの参照画素を参照画素レジスタ１２８から入力し、１つの参照画素を選択器１６２から入力する。

図４（Ａ）に示されたモード２１の場合を例にすると、予測コア１００１は、参照画素 r[1] を参照画素レジスタ１２１から入力し、参照画素 r[0] を選択器１６１から入力する。図４（Ｂ）に示されたモード３３の場合を例にすると、予測コア１００８は、参照画素 r[8] を参照画素レジスタ１２８から入力し、参照画素 r[9] を選択器１６２から入力する。

予測コア１００１〜１００８において、予測画素計算部１０７は、２つの参照画素から、上記の（１）式による演算で予測画素を生成する。（１）式におけるiFact は、係数供給回路２３０から供給される。係数供給回路２３０は、一例として、使用されうるブロックサイズ、使用されうる予測モードおよび予測ブロックの行に応じた各々のiFact をあらかじめ記憶し、制御回路２４０からの予測画素生成行を特定可能な信号で特定される行に応じたiFact を出力する。なお、係数供給回路２３０は、そのときに用いられるブロックサイズ、予測モードおよび行に対応するiFact をその都度計算して出力するように構成されていてもよい。

予測画素計算部１０７による予測画素の計算（生成）に際して、選択器１０２，１０４は、予測画素計算部１０７が計算に使用する参照画素を出力するが、それらの参照画素は、隣接する予測コアにも出力されることがあり、また、予測画素計算部１０７にフィードバックされることがある（図７参照）。

予測コア１００１が図４（Ａ）に示されたモード２１で計算を行う場合を例にすると、予測ブロックの第２行目の処理のために、予測コア１００１（最左列に関する処理を実行する。）から予測コア１００２（最左から２番目の列に関する処理を実行する。）に対して参照画素 r[0] が伝搬され、かつ、参照画素 r[0] は、予測コア１００１内でフィードバックされる。

なお、ある予測コアにおける次行の処理に必要な参照画素は、隣接する他の予測コアから入手可能であり、かつ、自コアでのフィードバックでも入手可能な場合があるが、その場合には、例えば、フィードバックでの入手を優先する。

以後、予測コア１００１〜１００８は、第２行目以降について予測画素の生成を行うとともに、隣接する予測コアへの参照画素の伝搬または参照画素のフィードバックを行う。

以上に説明したように、本実施形態では、イントラ予測回路は、あらかじめ設定された参照画素または隣接する他のイントラ予測回路から入力された参照画素を用いて予測画素を計算するとともに、予測画素の計算に使用した参照画素を隣接する他のイントラ予測回路に供給したり自回路にフィードバックするので、参照画素を一々取り込むことなく予測ブロックの行単位で一括して予測画素を生成することができ、イントラ予測回路の回路規模を削減することができる。

また、イントラ予測回路が、水平方向モードの予測を行うときに参照ブロックにおける参照画素の配列を転置する転置回路を備えることによって、転置回路を備えていない場合に比べて、イントラ予測回路の回路規模を削減することができる。

上記の例は、ブロックサイズが８×８である場合の例であるが、ブロックサイズがＮ×Ｎ（Ｎ：４、８、１６または３２）である場合、予測ブロック（予測対象ブロック）のサイズと参照画素との関係は、図９に示すように一般化される。図９において、斜線部は参照画素を示す。

ブロックサイズは、８×８だけでなく、４×４、１６×１６、３２×３２であることもあるので、全てのブロックサイズに対応するために、イントラ予測回路は、それらのブロックサイズの各々に対応するイントラ予測を実行できるように構成される。

一例として、図１０には、３２×３２のブロックサイズに対応する３２個の予測コアを含む１次元シストリックアレイ型のイントラ予測回路の構成例を示すブロック図が示されている。

図１０に示すイントラ予測回路は、参照画素レジスタ１２１〜１５２と、３２個の予測コア１００１〜１０３２と、係数供給回路２３０と、制御回路２４０と、選択器１６１，１６２とを備える。

参照画素レジスタ１２１〜１５２の各々は、１つの参照画素を保持する。予測コア１００１〜１０３２の構成は、図７に示された予測コア１００の構成と同じである。係数供給回路２３０は、予測ブロックのうち予測コア１００１〜１０３２が予測処理を実行する行に対応するiFact を予測コア１００１〜１０３２に供給する。係数供給回路２３０は、予測コア１００１〜１０３２が次の行の予測画素の計算を開始するときに、iFact の値を切り替える。なお、図１０に示す構成では、参照画素のフィードバック経路は、予測コア１００１〜１０３２の外に設けられているが、図７に示すように、フィードバック経路は、予測コア１００１〜１０３２の内部において設けられていてもよい。

制御回路２４０は、予測コア１００１〜１０３２および選択器１６１，１６２に制御信号を与える。

選択器１６１には、参照画素r[-32]〜r[0]のうち予測コア１００１が使用する参照画素が入力される（図９参照）。選択器１６２には、参照画素r[1]〜r[64] のうち予測コア１０３２が使用する参照画素が入力される（図９参照）。なお、予測コア１００１のレジスタ１０１（図７参照）には、選択器１６１からも参照画素が入力される。予測コア１０３２のレジスタ１０３（図７参照）には、選択器１６２からも参照画素が入力される。

図１０に示すイントラ予測回路は、図８に示すイントラ予測回路と同様に、予測ブロックの行単位で一括して予測画素を生成することができる。

上述したように、左端の予測コア１００１と右端の予測コア１０３２とは、中間の予測コア１００２〜１０３１の構成とは異なる。予測コア１００１，１０３２は、選択器１６１，１６２からも参照画素の供給を受けるからである。

また、イントラ予測回路は、４×４のブロックサイズに対応する回路、８×８のブロックサイズに対応する回路、１６×１６のブロックサイズに対応する回路、および３２×３２のブロックサイズに対応する回路を含むように構成される必要がある。

しかし、そのように構成されるイントラ予測回路の回路規模は大きい。

そこで、以下に述べるように、複数種類のサイズの予測ブロックに対応でき、かつ、複数種類のうちの小サイズの予測ブロックについて並列処理を実行可能なイントラ予測回路を提案する。

図１１は、複数種類のサイズの予測ブロックに対応できるイントラ予測回路の構成例を示すブロック図である。

図１１に示すイントラ予測回路は、レジスタ１０５１、端コア１０４１、予測コア１００２，１００３および切替器１０６１を含む。また、レジスタ１０５２と切替器１０６１とに接続されている端コア１０４２を含む。さらに、切替器１０６１に接続されている予測コア１００４と、切替器１０６２に接続されている予測コア１００５とを含む。また、レジスタ１０５３と切替器１０６２とに接続されている端コア１０４３を含む。

また、イントラ予測回路は、切替器１０６２に接続されている予測コア１００６と、切替器１０６３に接続されている予測コア１００７とを含む。さらに、レジスタ１０５４と切替器１０６３とに接続されている端コア１０４４を含む。また、切替器１０６３に接続されている予測コア１００９と、切替器１０６４に接続されている予測コア１０１０とを含む。また、レジスタ１０５５と切替器１０６４とに接続されている端コア１０４５を含む。

制御回路２４０は、切替器１０６１〜１０６４に制御信号を与える。なお、制御回路２４０は、端コア１０４１〜１０４５，および予測コア１００２〜１０１０にも制御信号を与えるが、そのための結線は、図１１では記載省略されている。また、各々が１つの参照画素を保持する参照画素レジスタも設けられているが、それらの記載も図１１では省略されている。また、予測処理が実行される行に対応するiFact を予測コア１００２〜１０１０および端コア１０４１〜１０４５に供給する係数供給回路も設けられているが、図１１では記載省略されている。

図１１に示す構成において、予測ブロックサイズが４×４である場合には、端コア１０４１、予測コア１００２、予測コア１００３および端コア１０４２によってイントラ予測が実行される（図１１における「４×４処理＃１」参照）。予測ブロックサイズが４×４である場合に、端コア１０４３、予測コア１００６、予測コア１００７および端コア１０４４によっても、イントラ予測を実行可能である（図１１における「４×４処理＃２」参照）。

また、予測ブロックサイズが８×８である場合には、端コア１０４１、予測コア１００２，１００３，１００４，１００５，１００６，１００７、および端コア１０４４によってイントラ予測が実行される（図１１における「８×８処理」参照）。

端コア１０４１〜１０４５および予測コア１００２〜１０１０の構成は、図７に示された予測コア１００の構成と同じである。

図８に示された構成と対比すると、端コア１０４１，１０４３は、予測コア１００１と同様に動作する。すなわち、端コア１０４１，１０４３のレジスタ１０１（図７参照）には、レジスタ１０５１，１０５３からも参照画素が入力される。また、端コア１０４２，１０４４，１０４５は、予測コア１００８と同様に動作する。すなわち、端コア１０４２，１０４４，１０４５のレジスタ１０３（図７参照）には、レジスタ１０５２，１０５４，１０５５からも参照画素が入力される。

予測ブロックサイズが４×４であるときに、４×４処理＃１を使用する場合には、制御回路２４０は、切替器１０６１に、予測コア１００３と端コア１０４２とを接続するように制御信号を与える。その結果、４×４処理＃１のイントラ予測のための構成が形成される。

予測ブロックサイズが４×４であるときに、４×４処理＃２を使用する場合には、制御回路２４０は、切替器１０６２に、端コア１０４３と予測コア１００６とを接続するように制御信号を与えるとともに、切替器１０６３に、予測コア１００７と端コア１０４４とを接続するように制御信号を与える。その結果、４×４処理＃２のイントラ予測のための構成が形成される。

予測ブロックサイズが８×８であるときには、制御回路２４０は、切替器１０６１に、予測コア１００３と予測コア１００４とを接続するように制御信号を与える。また、制御回路２４０は、切替器１０６２に、予測コア１００５と予測コア１００６とを接続するように制御信号を与える。さらに、制御回路２４０は、切替器１０６３に、予測コア１００７と端コア１０４４とを接続するように制御信号を与える。その結果、８×８処理のイントラ予測のための構成が形成される。

予測ブロックサイズが８×８であるときに、端コア１０４１、予測コア１００２，１００３，１００６，１００７，１００９，１０１０、および端コア１０４５によってイントラ予測が実行されるようにすることもできる。

その場合には、制御回路２４０は、切替器１０６１，１０６２に、予測コア１００３と予測コア１００６とを接続するように制御信号を与える。

また、制御回路２４０は、切替器１０６３に、予測コア１００７と予測コア１００９とを接続するように制御信号を与える。さらに、制御回路２４０は、切替器１０６４に、予測コア１０１０と端コア１０４５とを接続するように制御信号を与える。その結果、８×８処理のイントラ予測のための構成が形成される。

なお、この場合には、予測コア１００４，１００５は使用されず、切替器１０６１と切替器１０６２とを直接接続する経路が必要になるが、その経路は、図１１では、記載省略されている。また、予測コア１０１０と端コア１０４４との接続を切り替えるための切替器及び経路が新たに必要となるが、その切替器及び経路は、図１１では記載省略されている。

８×８処理のイントラ予測のための構成は、実質的に、図８に示された構成と同じである。従って、予測ブロックの行単位で一括して予測画素が生成される。

４×４処理＃１のイントラ予測のための構成または４×４処理＃２のイントラ予測のための構成でも、図８に示された構成の場合と同様に、予測ブロックの行単位で一括して予測画素が生成される。ただし、図８に示された構成とは異なり、行数および列数はそれぞれ４である。

図１１に示されたイントラ予測回路は、複数種類のサイズ（具体的には、８×８および４×４）の予測ブロックに対応でき、かつ、複数種類のうちの小サイズ（具体的には、４×４）の予測ブロックについて並列処理を実行可能である。４×４処理＃１のイントラ予測のための構成と４×４処理＃２のイントラ予測のための構成とで重複する要素がないからである。

従って、図１１に例示されたような構成を採用する場合には、イントラ予測回路の回路規模を増大させないようにすることができる上に、並列処理によってイントラ予測の処理速度を上げることができる。

なお、図１１には、処理可能な予測ブロックサイズが８×８（この場合の予測ブロックの最大サイズ）である場合を例にし、予測コア１００２〜１０１０が、８×８に応じて少なくとも６個（＝８−２（端コアの個数）：具体的には、予測コア１００２〜１００７）設けられ、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズ（この場合には、４）よりも２少ない個数である２個の予測コアに２個の端コアが対応可能に設けられているが、処理可能な予測ブロックサイズが１６×１６である場合には、少なくとも１４個の予測コアを設け、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズが８であるとすると、６個の予測コアに２個の端コアが対応可能に設けられる。

さらに、そのような構成において、８×８の予測ブロックについて予測処理を行う構成（２個の端コア＋６個の予測コア）の中で、４×４の予測ブロックについて予測処理を行う構成を内包させることができる。つまり、図１１に例示されたように、「８×８処理」のイントラ予測のための構成に、「４×４処理」のイントラ予測のための構成を内包させることができる。

また、処理可能な予測ブロックサイズが３２×３２である場合には、少なくとも３０個の予測コアを設け、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズが１６であるとすると、１４個の予測コアに２個の端コアが対応可能に設けられる。

図１２は、本発明によるイントラ予測回路の主要部を示すブロック図である。図１２に示すように、イントラ予測回路には、あらかじめ設定された参照画素または隣接する他の予測コアから入力された参照画素を用いて予測画素を計算する第１予測画素計算部１２Ａ（例えば、図７に示す予測画素計算部１０７で実現される。）と、第１予測画素計算部１２Ａが計算した予測画素を入力画像から減算して予測誤差を計算する第１予測誤差計算部１３Ａ（例えば、図７に示す減算器１１０で実現される。）と、第１予測画素計算部１２Ａが使用する参照画素を隣接する他の予測コアに供給する第１参照画素伝搬部１４Ａ（例えば、図７に示す選択器１０２，１０４で実現される。）とを含む第１予測コア１０Ａ_１〜１０Ａ_ｎ（例えば、図１１に示す予測コア１００２〜１０１０で実現される。）が複数設けられ、あらかじめ設定された参照画素もしくは隣接する他の予測コアから入力された参照画素または逐次入力される参照画素を用いて予測画素を計算する第２予測画素計算部１２Ｂ（例えば、図７に示す予測画素計算部１０７で実現される。）と、第２予測画素計算部１２Ｂが計算した予測画素を入力画像から減算して予測誤差を計算する第２予測誤差計算部１３Ｂ（例えば、図７に示す減算器１１０で実現される。）と、第２予測画素計算部１２Ｂが使用する参照画素を隣接する他の予測コアに供給する第２参照画素伝搬部１４Ｂ（例えば、図７に示す選択器１０２，１０４で実現される。）とを含む第２予測コア１０Ｂ_１〜１０Ｂ_ｍ（例えば、図１１に示す端コア１０４１〜１０４５で実現される。）が、複数の第１予測コア１０Ａ_１〜１０Ａ_ｎのうちの所定個数の第１予測コアに対応して設けられている。

なお、第１予測画素計算部１２Ａと第２予測画素計算部１２Ｂとは、参照画素の入力元が異なることを除き、同じ機能を有する。第１予測誤差計算部１３Ａと第２予測誤差計算部１３Ｂとは同じ機能を有する。第１参照画素伝搬部１４Ａと第２参照画素伝搬部１４Ｂとは同じ機能を有する。

また、上記の実施形態では、第１予測コア１０Ａ_１〜１０Ａ_ｎは、例えば、処理可能な予測ブロックの最大サイズ（例えば、８：図１０参照））に応じた個数（例えば、６（＝８−２））設けられ、第２予測コアは、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズ（例えば、４）よりも２少ない個数の第１予測コアに対して２個割り当てられるように設けられているイントラ予測回路が開示されている。

また、上記の実施形態では、一の第１予測コアを、他の第１予測コアまたは第２予測コアに接続する切替部（例えば、図１１に示す切替器１０６１〜１０６４で実現される。）を備えるイントラ予測回路が開示されている。

また、上記の実施形態では、予測対象の予測ブロックのサイズに応じて切替部に切替信号を与える制御部（例えば、図１１に示す制御回路２４０で実現される。）を備えるイントラ予測回路が開示されている。

図１３は、本発明による他のイントラ予測回路の主要部を示すブロック図である。図１３に示すように、イントラ予測回路は、第１予測コア１０Ａおよび第２予測コア１０Ｂに加えて、転置回路２０Ａ，２０Ｂを備える。転置回路２０Ａ，２０Ｂ（図３に示す転置回路３に対応）は、参照ブロックにおける参照画素の配列を転置する。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１３年９月３０日に出願された日本特許出願２０１３−２０３２７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１イントラ予測部
２分配器
３転置回路
４転置回路
５選択器
１０Ａ_１〜１０Ａ_ｎ第１予測コア
１０Ｂ_１〜１０Ｂ_ｍ第２予測コア
１２Ａ第１予測画素計算部
１２Ｂ第２予測画素計算部
１３Ａ第１予測誤差計算部
１３Ｂ第２予測誤差計算部
１４Ａ第１参照画素伝搬部
１４Ｂ第２参照画素伝搬部
２０Ａ，２０Ｂ転置回路
１００予測コア
１０１，１０３，１０５，１０６レジスタ
１０２，１０４選択器
１０７予測画素計算部
１１０減算器
１１１，１１２予測画素生成回路
１２１〜１５２参照画素レジスタ
１６１，１６２選択器
２３０係数供給回路
２４０制御回路
３０１変換部
３０２量子化部
３０３エントロピー符号化部
３０４逆量子化／逆変換部
３０５バッファ
３０６予測部
３０７最適予測モード決定部
１００１〜１０３２予測コア

Claims

角度イントラ予測を行うイントラ予測回路であって、
あらかじめ設定された参照画素または隣接する他の予測コアから入力された参照画素を用いて予測画素を計算する第１予測画素計算部と、前記第１予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第１予測誤差計算部と、前記第１予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第１参照画素伝搬部とを含む第１予測コアが複数設けられ、
あらかじめ設定された参照画素もしくは隣接する他の予測コアから入力された参照画素または逐次入力される参照画素を用いて予測画素を計算する第２予測画素計算部と、前記第２予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第２予測誤差計算部と、前記第２予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第２参照画素伝搬部とを含む第２予測コアが、複数の前記第１予測コアのうちの所定個数の第１予測コアに対応して設けられている
ことを特徴とするイントラ予測回路。
前記第１予測コアは、処理可能な予測ブロックの最大サイズに応じた個数設けられ、
前記第２予測コアは、前記予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズよりも２少ない個数の前記第１予測コアに対して２個割り当てられるように設けられている
請求項１記載のイントラ予測回路。
一の前記第１予測コアを、他の前記第１予測コアまたは前記第２予測コアに接続する切替部を備える
請求項１または請求項２記載のイントラ予測回路。
予測対象の予測ブロックのサイズに応じて前記切替部に切替信号を与える制御部を備える
請求項３記載のイントラ予測回路。
前記第１参照画素伝搬部は、前記第１予測誤差計算部に参照画素をフィードバックする回路を含み、
前記第２参照画素伝搬部は、前記第２予測誤差計算部に参照画素をフィードバックする回路を含む
請求項１から請求項４のうちのいずれか１項に記載のイントラ予測回路。
複数の前記第１予測コアと複数の前記第２予測コアの各々に、１行分の予測画素を計算するときに、その行に対応する、計算における係数を供給する係数供給回路を備える
請求項１から請求項５のうちのいずれか１項に記載のイントラ予測回路。
予測ブロックの上側および左側に隣接する参照画素と右上側に位置する参照画素を使用し、
水平方向モードの予測を行うときに、参照ブロックにおける参照画素の配列を転置する転置回路を備える
請求項１から請求項６のうちのいずれか１項に記載のイントラ予測回路。