JP6323459B2 - イントラ予測回路 - Google Patents
イントラ予測回路 Download PDFInfo
- Publication number
- JP6323459B2 JP6323459B2 JP2015538861A JP2015538861A JP6323459B2 JP 6323459 B2 JP6323459 B2 JP 6323459B2 JP 2015538861 A JP2015538861 A JP 2015538861A JP 2015538861 A JP2015538861 A JP 2015538861A JP 6323459 B2 JP6323459 B2 JP 6323459B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- pixel
- circuit
- core
- reference pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、回路規模を増大させずにイントラ予測を行うイントラ予測回路に関する。
非特許文献1には、ITU-T 勧告H.265 規格にもとづく映像符号化方式であるHEVC(High Efficiency Video Coding)が記載されている。
HEVCでは、ディジタル化された映像の各フレームは符号化ツリーユニット(CTU:Coding Tree Unit)に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット(CU:Coding Unit)に分割されて符号化される。各CUは、予測ユニット(PU:Prediction Unit)に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット(TU: Transform Unit)に分割されて周波数変換される。
CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測を説明する。
イントラ予測は、符号化対象フレームの参照画像から予測画像を生成する予測である。非特許文献1では、図14に示す33種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の参照画素を図14に示す33種類の方向のいずれかに外挿して、イントラ予測信号(予測画素)を生成する。非特許文献1では、33種類の角度イントラ予測に加えて、符号化対象ブロック周辺の参照画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の参照画素を線形補間するPlanarイントラ予測が定義されている。
図14において、最上位行の各矩形および最左列の各矩形は、参照画素を示す。矩形中の数字は、座標を示す。矢印は、予測方向を示す。矢印の近傍に付された数字は、予測モード(以下、モードともいう。)を示す。
図15を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
図15は、一般的な映像符号化装置の一例を示すブロック図である。図15に示す映像符号化装置は、変換部301、量子化部302、エントロピー符号化部303、逆量子化/逆変換部304、バッファ305、予測部306、および最適予測モード決定部307を備える。
最適予測モード決定部307は、CTU毎に、符号化コストを最小とする予測モードと予測ブロックの組み合わせを決定する。
予測部306は、最適予測モード決定部307が決定した予測モードおよび予測ブロックにもとづいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、イントラ予測またはインター予測にもとづいて生成される。
変換部301は、最適予測モード決定部307が決定したTUクアッドツリー構造にもとづいて、入力画像信号から予測信号を減じた予測誤差画像(予測誤差信号)を周波数変換する。変換部301は、予測誤差信号の変換符号化において、周波数変換にもとづいた4×4、8×8、16×16または32×32ブロックサイズの直交変換を使用する。具体的には、イントラCUの輝度成分の4×4TUに対して、整数演算で近似した(整数精度の)DST (Discrete Sine Transform :離散サイン変換)を使用する。その他のTUに対して、そのブロックサイズに対応する整数演算で近似した(整数精度の)DCT (Discrete Cosine Transform :離散コサイン変換)を使用する。
量子化部302は、変換部301から供給される直交変換係数を量子化する。以下、量子化された直交変換係数を変換量子化値ということがある。逆量子化/逆変換部304は、変換量子化値を逆量子化する。さらに、逆量子化/逆変換部304は、逆量子化した直交変換係数を逆変換する。逆変換された予測誤差画像は、予測信号が加えられて、バッファ305に供給される。バッファ305は、画像を参照画像として格納する。
ITU-T 勧告 H.265 High efficiency video coding, April 2013
予測画素[x][y] は、下記の式で計算される。下式において、r[i],r[j]は、参照画素を示す。i ,j は、参照画素の座標を示す。>>は、右方向へのビットシフトを示す。
予測画素[x][y] =(iFact × r[i] + (32 − iFact) × r[j] + 16) >> 5 (1)
iFact は係数であるが、各々の行については固定的な値である。
図16は、予測の一例を示す説明図である。図16は、ブロックサイズが8×8であってモード21の場合の例である(図16における太い矢印参照)。予測ブロック中の各数字は、参照画素の座標を示す。例えば、1:2は、 r[i] として r[1] が使用され、 r[j] として r[2] が使用されることを示す。また、図16には、各行におけるiFact の値も示されている。さらに、 r[-4]の行と r[-5]の行で r[4] の列に相当する予測画素の計算が例示されている。
予測部306は、イントラ予測を行う場合、ブロックサイズがN×N(N:4、8、16または32)であるときには、N×N回の演算を行う。また、Nの値に応じたイントラ予測回路が用意される。そのために、予測部306をハードウェア回路で実現する場合、回路規模が増大するという課題がある。
本発明の目的は、回路規模が増大するという課題を解決するイントラ予測回路を提供することである。
本発明によるイントラ予測回路は、あらかじめ設定された参照画素または隣接する他の予測コアから入力された参照画素を用いて予測画素を計算する第1予測画素計算部と、第1予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第1予測誤差計算部と、第1予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第1参照画素伝搬部とを含む第1予測コアが複数設けられ、あらかじめ設定された参照画素もしくは隣接する他の予測コアから入力された参照画素または逐次入力される参照画素を用いて予測画素を計算する第2予測画素計算部と、第2予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第2予測誤差計算部と、第2予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第2参照画素伝搬部とを含む第2予測コアが、複数の第1予測コアのうちの所定個数の第1予測コアに対応して設けられていることを特徴とする。
本発明によれば、イントラ予測回路の回路規模を増大させないようにすることができる。
図1は、予測の一例を示す説明図である。図1は、モード33の場合の予測方向および参照画素を示す説明図である。モード33では、参照画素r[-16]〜r[0] は使用されない。また、モード18〜34(水平線に対して45゜以上の角度を持つ垂直方向モード)に共通して、参照画素r[-16]〜r[-9]は使用されない。
同様に、モード2〜17(水平線に対して45゜以下の角度を持つ水平方向モード)に共通して、参照画素r[9] 〜r[16]は使用されない。
図1には、ブロックサイズが8×8の場合が例示されている。以下、ブロックサイズが8×8の場合を例にして説明を行う。
図2は、行方向の参照画素と列方向の参照画素との対称性を説明するための説明図である。図2において、斜線部分は、参照画素を示す。上述したように、モード2〜17では、参照画素r[9]〜r[16]は使用されない(図2(A)参照)。また、モード18〜34では、参照画素r[-16]〜r[-9] は使用されない(図2(B)参照)。すなわち、モード18〜34とモード2〜17には、図2に示すような対称性が存在する。なお、図2には、各モードの角度も記載されている。
本発明では、そのような対称性に着目してイントラ予測回路の回路規模を削減する。図3は、イントラ予測回路の構成の概念を示す概念図である。
図3に示すように、イントラ予測回路は、イントラ予測を行うイントラ予測部1、分配器2、転置回路3、転置回路4および選択器5を備える。
なお、イントラ予測回路は、図15に示された映像符号化回路に適用可能である。図15に示された映像符号化回路に適用される場合には、予測部306における角度イントラ予測を行う回路として適用される。
分配器2は、参照画素を入力して保持する。そして、分配器2は、予測モードがモード2〜17のいずれかである場合には、参照画素を転置回路3に供給する。分配器2は、予測モードがモード18〜34のいずれかである場合には、入力された参照画素をイントラ予測部1に供給する。転置回路3は、参照画素の配列を転置し、転置後の参照画素をイントラ予測部1に供給する。
なお、転置は、行と列とを入れ替えることを意味する。
イントラ予測部1は、イントラ予測を行い、予測画素を出力する。その際、イントラ予測部1は、予測モードがモード2〜17のいずれかである場合には、予測画素を転置回路4に出力する。予測モードがモード18〜34のいずれかである場合には、予測画素を選択器5に出力する。転置回路4は、予測画素の配列を転置し、転置後の参照画素をイントラ予測部1に供給する。
選択器5は、転置回路4からの予測画素またはイントラ予測部1からの予測画素を予測ブロックとして出力する。なお、イントラ予測部1は、予測ブロックにおける行単位で予測画素を出力する。よって、選択器5は、転置回路4からの予測画素またはイントラ予測部1からの予測画素を一時保存し、1ブロック分の予測画素の入力が完了したら、予測ブロックを構成する予測画素を出力する。
なお、予測モードがモード2〜17のいずれかである場合に参照画素の配列は転置されているので、イントラ予測部1は、予測モードがモード2〜17のいずれかであるときに、モード18〜34のいずれかとみなして予測処理を行うことができる。すなわち、イントラ予測部1は、垂直方向モードの予測処理のみを実行すればよい。つまり、イントラ予測部1は、予測ブロックの上側に隣接する参照画素(参照画素r[1]〜r[8])、左側に隣接する参照画素(参照画素r[-8] 〜r[0])および右上側に位置する参照画素(参照画素r[9]〜r[16] )のみを使用し、垂直方向モードの予測処理のみを実行する。
図4は、予測画素を生成するときに使用する参照画素の例を示す説明図である。図4には、予測ブロックサイズが8×8である場合が例示されている。図4(A)にはモード21の場合が例示され、図4(B)にはモード33の場合が例示されている。
本実施形態では、イントラ予測部1は、予測ブロックの行単位で予測処理を実行する。図4に示すように、ある行に着目すると(最上行を除く。)、上の行で使用された参照画素は、下の行において、左、同列、右のいずれかで使用される。すなわち、左下、直下、右下のいずれかで参照される(ただし、最左列および最右列の場合を除く。)。
従って、図4に示す例からわかるように、予測ブロックの行単位で予測処理を実行する場合、ある行について予測処理が行われた後、次の行の予測処理を実行するときに、前の行において左、同列、右のいずれかで使用された参照画素を流用することができる。
図5は、予測ブロックの行単位の予測処理(演算処理)をより詳しく説明するための説明図である。なお、図5には、予測処理のための係数である「iFact 」の記載と、参照画素の伝搬のための「制御」の記載も含まれている。また、参照画素の伝搬は、具体的には、参照画素の値を出力することを意味する。
また、図5に示す演算処理は、図5における右上に示される3行8列の予測ブロックに関して予測処理を実行する場合の処理例である。そして、図5において、矩形で囲まれた予測画素生成処理#2の列は、3行8列の予測ブロックにおける左から2列目に相当する。実線の矢印は、実際に参照画素が伝搬することを示す。破線の矢印は、図5における右上に示される例では参照画素は伝搬しないが、他の例において参照画素が伝搬する可能性があることを示す。
図5に示すように、イントラ予測部1は、1行に含まれる8個の要素を一時に処理するために、8個の処理機能を有する。それら機能を、予測画素生成処理#1〜予測画素生成処理#8とする。
第1行目について、予測画素生成処理#1〜予測画素生成処理#8が予測処理を実行するときに、各々の予測画素生成処理#1〜予測画素生成処理#8で使用される参照画素が、第2行目についての予測画素生成処理#1〜予測画素生成処理#8に対して伝搬されるように制御される。
さらに、第2行目について、予測画素生成処理#1〜予測画素生成処理#8が予測処理を実行するときに、各々の予測画素生成処理#1〜予測画素生成処理#8で使用される参照画素が、第3行目についての予測画素生成処理#1〜予測画素生成処理#8に対して伝搬されるように制御される。ただし、この場合には、第2行目について予測画素生成処理#n(n:2〜8)で使用された参照画素は、第3行目についての予測画素生成処理#(n−1)に対して伝搬される。
図6は、図5に示された予測画素生成処理を実行する予測画素生成回路を示すブロック図である。図5には、2つの予測画素生成回路111,112と周辺回路(具体的には、参照画素レジスタ122,123,124)とが示されている。各予測画素生成回路111,112は、予測画素生成処理を実行する。すなわち、予測画素生成回路111および予測画素生成回路112は、予測画素生成処理#1〜予測画素生成処理#8のうちのいずれか2つの隣接する予測画素生成処理(図5において隣接する予測画素生成処理)を実行する回路である。以下、予測画素生成回路111に着目して説明を行うが、予測画素生成回路112の構成および動作は、予測画素生成回路111の構成および動作と同じである。
参照画素レジスタ122,123,124に参照画素が設定された後、予測画素生成回路111は、参照画素レジスタ122,123,124のうちの2つのレジスタから、予測処理で使用する参照画素を取り込む。そして、予測画素生成回路111は、2つの参照画素から予測画素を生成する。なお、後述するように、予測画素生成回路は、1つの参照画素レジスタから参照画素を取り込むことがある。
次に、具体的にはイントラ予測回路に供給されるクロック信号の次の立上がりまたは立下がりを契機して、予測画素生成回路111は、制御信号に従って、参照画素を、左に位置する予測画素生成回路112、右に位置する予測画素生成回路(図6において図示せず)および自回路(予測画素生成回路111)のうちの1つまたは2つに伝搬する。すなわち、参照画素の値を出力する。自回路に参照画素の値を出力することは、図6において、「自己参照ループ」として示されている。
なお、左に位置する予測画素生成回路112に対する参照画素の伝搬は、図5における予測画素生成処理#nから予測画素生成処理#(n−1)に対する伝搬に相当する。自己参照ループは、図5における直下の処理への伝搬に相当する。右に位置する予測画素生成回路に対する参照画素の伝搬は、予測画素生成処理#nから予測画素生成処理#(n+1)に対する伝搬に相当する。
図7は、図6に示された予測画素生成回路の具体的構成例を示すブロック図である。図7には、周辺回路(具体的には、参照画素レジスタ122,123,124)も示されている。
図7に示す予測コア100は、図6に示す予測画素生成回路の具体的実現例に相当する。予測コア100において、左に位置する予測コア(図示せず)からの参照画素は、レジスタ101を経て選択器102に入力される。右に位置する予測コア(図示せず)からの参照画素は、レジスタ103を経て選択器104に入力される。
また、選択器102,104には、参照画素レジスタ122,123,124からの参照画素も入力される。
選択器102,104の出力は、予測画素計算部107に入力されるとともに、左右の予測コアに出力される。また、選択器102が出力する参照画素は、レジスタ105を介して選択器102にフィードバックされる。選択器104が出力する参照画素は、レジスタ106を介して選択器104にフィードバックされる。フィードバック経路は、図6における自己参照ループに相当する。
予測画素計算部107は、予測画素を生成する。予測画素は、減算器110に入力される。減算器110は、入力された入力画像の値から予測画素の値を減算して予測誤差信号を生成する。
図8は、8個の予測コアを含む1次元シストリックアレイ型のイントラ予測回路の構成例を示すブロック図である。
イントラ予測回路は、参照画素レジスタ121〜128と、8個の予測コア1001〜1008と、係数供給回路230と、制御回路240と、選択器161,162とを備える。
参照画素レジスタ121〜128の各々は、1つの参照画素を保持する。予測コア1001〜1008の構成は、図7に示された予測コア100の構成と同じである。係数供給回路230は、予測ブロックのうち予測コア1001〜1008が予測処理を実行する行に対応するiFact を予測コア1001〜1008に供給する。係数供給回路230は、予測コア1001〜1008が次の行の予測画素の計算を開始するときに、iFact の値を切り替える。なお、図8に示す構成では、参照画素のフィードバック経路は、予測コア1001〜1008の外に設けられているが、図7に示すように、フィードバック経路は、予測コア1001〜1008の内部において設けられていてもよい。
制御回路240は、予測コア1001〜1008および選択器161,162に制御信号を与える。
選択器161には、参照画素r[-8] 〜r[0]のうち予測コア1001が使用する参照画素が入力される(図2(B)参照)。選択器162には、参照画素r[1]〜r[16] のうち予測コア1008が使用する参照画素が入力される(図2(B)参照)。なお、予測コア1001のレジスタ101(図7参照)には、選択器161からも参照画素が入力される。予測コア1008のレジスタ103(図7参照)には、選択器162からも参照画素が入力される。
次に、図8に示すイントラ予測回路の動作を説明する。
各予測モードにおける予測処理を開始する前に、参照画素レジスタ121〜128に、予測ブロックにおける第1行目の予測画素の生成のために使用される参照画素が設定される。図4(A)に示されたモード21の場合を例にすると、参照画素r[1]〜r[8]が、参照画素レジスタ121〜128に設定される。
まず、予測コア1002〜1007は、参照画素レジスタ121〜128に保持されている2つの参照画素を使用して第1行目の予測画素を生成する。なお、予測コア1001は、1つの参照画素を参照画素レジスタ121から入力し、1つの参照画素を選択器161から入力する。また、予測コア1008は、1つの参照画素を参照画素レジスタ128から入力し、1つの参照画素を選択器162から入力する。
図4(A)に示されたモード21の場合を例にすると、予測コア1001は、参照画素 r[1] を参照画素レジスタ121から入力し、参照画素 r[0] を選択器161から入力する。図4(B)に示されたモード33の場合を例にすると、予測コア1008は、参照画素 r[8] を参照画素レジスタ128から入力し、参照画素 r[9] を選択器162から入力する。
予測コア1001〜1008において、予測画素計算部107は、2つの参照画素から、上記の(1)式による演算で予測画素を生成する。(1)式におけるiFact は、係数供給回路230から供給される。係数供給回路230は、一例として、使用されうるブロックサイズ、使用されうる予測モードおよび予測ブロックの行に応じた各々のiFact をあらかじめ記憶し、制御回路240からの予測画素生成行を特定可能な信号で特定される行に応じたiFact を出力する。なお、係数供給回路230は、そのときに用いられるブロックサイズ、予測モードおよび行に対応するiFact をその都度計算して出力するように構成されていてもよい。
予測画素計算部107による予測画素の計算(生成)に際して、選択器102,104は、予測画素計算部107が計算に使用する参照画素を出力するが、それらの参照画素は、隣接する予測コアにも出力されることがあり、また、予測画素計算部107にフィードバックされることがある(図7参照)。
予測コア1001が図4(A)に示されたモード21で計算を行う場合を例にすると、予測ブロックの第2行目の処理のために、予測コア1001(最左列に関する処理を実行する。)から予測コア1002(最左から2番目の列に関する処理を実行する。)に対して参照画素 r[0] が伝搬され、かつ、参照画素 r[0] は、予測コア1001内でフィードバックされる。
なお、ある予測コアにおける次行の処理に必要な参照画素は、隣接する他の予測コアから入手可能であり、かつ、自コアでのフィードバックでも入手可能な場合があるが、その場合には、例えば、フィードバックでの入手を優先する。
以後、予測コア1001〜1008は、第2行目以降について予測画素の生成を行うとともに、隣接する予測コアへの参照画素の伝搬または参照画素のフィードバックを行う。
以上に説明したように、本実施形態では、イントラ予測回路は、あらかじめ設定された参照画素または隣接する他のイントラ予測回路から入力された参照画素を用いて予測画素を計算するとともに、予測画素の計算に使用した参照画素を隣接する他のイントラ予測回路に供給したり自回路にフィードバックするので、参照画素を一々取り込むことなく予測ブロックの行単位で一括して予測画素を生成することができ、イントラ予測回路の回路規模を削減することができる。
また、イントラ予測回路が、水平方向モードの予測を行うときに参照ブロックにおける参照画素の配列を転置する転置回路を備えることによって、転置回路を備えていない場合に比べて、イントラ予測回路の回路規模を削減することができる。
上記の例は、ブロックサイズが8×8である場合の例であるが、ブロックサイズがN×N(N:4、8、16または32)である場合、予測ブロック(予測対象ブロック)のサイズと参照画素との関係は、図9に示すように一般化される。図9において、斜線部は参照画素を示す。
ブロックサイズは、8×8だけでなく、4×4、16×16、32×32であることもあるので、全てのブロックサイズに対応するために、イントラ予測回路は、それらのブロックサイズの各々に対応するイントラ予測を実行できるように構成される。
一例として、図10には、32×32のブロックサイズに対応する32個の予測コアを含む1次元シストリックアレイ型のイントラ予測回路の構成例を示すブロック図が示されている。
図10に示すイントラ予測回路は、参照画素レジスタ121〜152と、32個の予測コア1001〜1032と、係数供給回路230と、制御回路240と、選択器161,162とを備える。
参照画素レジスタ121〜152の各々は、1つの参照画素を保持する。予測コア1001〜1032の構成は、図7に示された予測コア100の構成と同じである。係数供給回路230は、予測ブロックのうち予測コア1001〜1032が予測処理を実行する行に対応するiFact を予測コア1001〜1032に供給する。係数供給回路230は、予測コア1001〜1032が次の行の予測画素の計算を開始するときに、iFact の値を切り替える。なお、図10に示す構成では、参照画素のフィードバック経路は、予測コア1001〜1032の外に設けられているが、図7に示すように、フィードバック経路は、予測コア1001〜1032の内部において設けられていてもよい。
制御回路240は、予測コア1001〜1032および選択器161,162に制御信号を与える。
選択器161には、参照画素r[-32]〜r[0]のうち予測コア1001が使用する参照画素が入力される(図9参照)。選択器162には、参照画素r[1]〜r[64] のうち予測コア1032が使用する参照画素が入力される(図9参照)。なお、予測コア1001のレジスタ101(図7参照)には、選択器161からも参照画素が入力される。予測コア1032のレジスタ103(図7参照)には、選択器162からも参照画素が入力される。
図10に示すイントラ予測回路は、図8に示すイントラ予測回路と同様に、予測ブロックの行単位で一括して予測画素を生成することができる。
上述したように、左端の予測コア1001と右端の予測コア1032とは、中間の予測コア1002〜1031の構成とは異なる。予測コア1001,1032は、選択器161,162からも参照画素の供給を受けるからである。
また、イントラ予測回路は、4×4のブロックサイズに対応する回路、8×8のブロックサイズに対応する回路、16×16のブロックサイズに対応する回路、および32×32のブロックサイズに対応する回路を含むように構成される必要がある。
しかし、そのように構成されるイントラ予測回路の回路規模は大きい。
そこで、以下に述べるように、複数種類のサイズの予測ブロックに対応でき、かつ、複数種類のうちの小サイズの予測ブロックについて並列処理を実行可能なイントラ予測回路を提案する。
図11は、複数種類のサイズの予測ブロックに対応できるイントラ予測回路の構成例を示すブロック図である。
図11に示すイントラ予測回路は、レジスタ1051、端コア1041、予測コア1002,1003および切替器1061を含む。また、レジスタ1052と切替器1061とに接続されている端コア1042を含む。さらに、切替器1061に接続されている予測コア1004と、切替器1062に接続されている予測コア1005とを含む。また、レジスタ1053と切替器1062とに接続されている端コア1043を含む。
また、イントラ予測回路は、切替器1062に接続されている予測コア1006と、切替器1063に接続されている予測コア1007とを含む。さらに、レジスタ1054と切替器1063とに接続されている端コア1044を含む。また、切替器1063に接続されている予測コア1009と、切替器1064に接続されている予測コア1010とを含む。また、レジスタ1055と切替器1064とに接続されている端コア1045を含む。
制御回路240は、切替器1061〜1064に制御信号を与える。なお、制御回路240は、端コア1041〜1045,および予測コア1002〜1010にも制御信号を与えるが、そのための結線は、図11では記載省略されている。また、各々が1つの参照画素を保持する参照画素レジスタも設けられているが、それらの記載も図11では省略されている。また、予測処理が実行される行に対応するiFact を予測コア1002〜1010および端コア1041〜1045に供給する係数供給回路も設けられているが、図11では記載省略されている。
図11に示す構成において、予測ブロックサイズが4×4である場合には、端コア1041、予測コア1002、予測コア1003および端コア1042によってイントラ予測が実行される(図11における「4×4処理#1」参照)。予測ブロックサイズが4×4である場合に、端コア1043、予測コア1006、予測コア1007および端コア1044によっても、イントラ予測を実行可能である(図11における「4×4処理#2」参照)。
また、予測ブロックサイズが8×8である場合には、端コア1041、予測コア1002,1003,1004,1005,1006,1007、および端コア1044によってイントラ予測が実行される(図11における「8×8処理」参照)。
端コア1041〜1045および予測コア1002〜1010の構成は、図7に示された予測コア100の構成と同じである。
図8に示された構成と対比すると、端コア1041,1043は、予測コア1001と同様に動作する。すなわち、端コア1041,1043のレジスタ101(図7参照)には、レジスタ1051,1053からも参照画素が入力される。また、端コア1042,1044,1045は、予測コア1008と同様に動作する。すなわち、端コア1042,1044,1045のレジスタ103(図7参照)には、レジスタ1052,1054,1055からも参照画素が入力される。
予測ブロックサイズが4×4であるときに、4×4処理#1を使用する場合には、制御回路240は、切替器1061に、予測コア1003と端コア1042とを接続するように制御信号を与える。その結果、4×4処理#1のイントラ予測のための構成が形成される。
予測ブロックサイズが4×4であるときに、4×4処理#2を使用する場合には、制御回路240は、切替器1062に、端コア1043と予測コア1006とを接続するように制御信号を与えるとともに、切替器1063に、予測コア1007と端コア1044とを接続するように制御信号を与える。その結果、4×4処理#2のイントラ予測のための構成が形成される。
予測ブロックサイズが8×8であるときには、制御回路240は、切替器1061に、予測コア1003と予測コア1004とを接続するように制御信号を与える。また、制御回路240は、切替器1062に、予測コア1005と予測コア1006とを接続するように制御信号を与える。さらに、制御回路240は、切替器1063に、予測コア1007と端コア1044とを接続するように制御信号を与える。その結果、8×8処理のイントラ予測のための構成が形成される。
予測ブロックサイズが8×8であるときに、端コア1041、予測コア1002,1003,1006,1007,1009,1010、および端コア1045によってイントラ予測が実行されるようにすることもできる。
その場合には、制御回路240は、切替器1061,1062に、予測コア1003と予測コア1006とを接続するように制御信号を与える。
また、制御回路240は、切替器1063に、予測コア1007と予測コア1009とを接続するように制御信号を与える。さらに、制御回路240は、切替器1064に、予測コア1010と端コア1045とを接続するように制御信号を与える。その結果、8×8処理のイントラ予測のための構成が形成される。
なお、この場合には、予測コア1004,1005は使用されず、切替器1061と切替器1062とを直接接続する経路が必要になるが、その経路は、図11では、記載省略されている。また、予測コア1010と端コア1044との接続を切り替えるための切替器及び経路が新たに必要となるが、その切替器及び経路は、図11では記載省略されている。
8×8処理のイントラ予測のための構成は、実質的に、図8に示された構成と同じである。従って、予測ブロックの行単位で一括して予測画素が生成される。
4×4処理#1のイントラ予測のための構成または4×4処理#2のイントラ予測のための構成でも、図8に示された構成の場合と同様に、予測ブロックの行単位で一括して予測画素が生成される。ただし、図8に示された構成とは異なり、行数および列数はそれぞれ4である。
図11に示されたイントラ予測回路は、複数種類のサイズ(具体的には、8×8および4×4)の予測ブロックに対応でき、かつ、複数種類のうちの小サイズ(具体的には、4×4)の予測ブロックについて並列処理を実行可能である。4×4処理#1のイントラ予測のための構成と4×4処理#2のイントラ予測のための構成とで重複する要素がないからである。
従って、図11に例示されたような構成を採用する場合には、イントラ予測回路の回路規模を増大させないようにすることができる上に、並列処理によってイントラ予測の処理速度を上げることができる。
なお、図11には、処理可能な予測ブロックサイズが8×8(この場合の予測ブロックの最大サイズ)である場合を例にし、予測コア1002〜1010が、8×8に応じて少なくとも6個(=8−2(端コアの個数):具体的には、予測コア1002〜1007)設けられ、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズ(この場合には、4)よりも2少ない個数である2個の予測コアに2個の端コアが対応可能に設けられているが、処理可能な予測ブロックサイズが16×16である場合には、少なくとも14個の予測コアを設け、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズが8であるとすると、6個の予測コアに2個の端コアが対応可能に設けられる。
さらに、そのような構成において、8×8の予測ブロックについて予測処理を行う構成(2個の端コア+6個の予測コア)の中で、4×4の予測ブロックについて予測処理を行う構成を内包させることができる。つまり、図11に例示されたように、「8×8処理」のイントラ予測のための構成に、「4×4処理」のイントラ予測のための構成を内包させることができる。
また、処理可能な予測ブロックサイズが32×32である場合には、少なくとも30個の予測コアを設け、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズが16であるとすると、14個の予測コアに2個の端コアが対応可能に設けられる。
図12は、本発明によるイントラ予測回路の主要部を示すブロック図である。図12に示すように、イントラ予測回路には、あらかじめ設定された参照画素または隣接する他の予測コアから入力された参照画素を用いて予測画素を計算する第1予測画素計算部12A(例えば、図7に示す予測画素計算部107で実現される。)と、第1予測画素計算部12Aが計算した予測画素を入力画像から減算して予測誤差を計算する第1予測誤差計算部13A(例えば、図7に示す減算器110で実現される。)と、第1予測画素計算部12Aが使用する参照画素を隣接する他の予測コアに供給する第1参照画素伝搬部14A(例えば、図7に示す選択器102,104で実現される。)とを含む第1予測コア10A1〜10An(例えば、図11に示す予測コア1002〜1010で実現される。)が複数設けられ、あらかじめ設定された参照画素もしくは隣接する他の予測コアから入力された参照画素または逐次入力される参照画素を用いて予測画素を計算する第2予測画素計算部12B(例えば、図7に示す予測画素計算部107で実現される。)と、第2予測画素計算部12Bが計算した予測画素を入力画像から減算して予測誤差を計算する第2予測誤差計算部13B(例えば、図7に示す減算器110で実現される。)と、第2予測画素計算部12Bが使用する参照画素を隣接する他の予測コアに供給する第2参照画素伝搬部14B(例えば、図7に示す選択器102,104で実現される。)とを含む第2予測コア10B1〜10Bm(例えば、図11に示す端コア1041〜1045で実現される。)が、複数の第1予測コア10A1〜10Anのうちの所定個数の第1予測コアに対応して設けられている。
なお、第1予測画素計算部12Aと第2予測画素計算部12Bとは、参照画素の入力元が異なることを除き、同じ機能を有する。第1予測誤差計算部13Aと第2予測誤差計算部13Bとは同じ機能を有する。第1参照画素伝搬部14Aと第2参照画素伝搬部14Bとは同じ機能を有する。
また、上記の実施形態では、第1予測コア10A1〜10Anは、例えば、処理可能な予測ブロックの最大サイズ(例えば、8:図10参照))に応じた個数(例えば、6(=8−2))設けられ、第2予測コアは、予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズ(例えば、4)よりも2少ない個数の第1予測コアに対して2個割り当てられるように設けられているイントラ予測回路が開示されている。
また、上記の実施形態では、一の第1予測コアを、他の第1予測コアまたは第2予測コアに接続する切替部(例えば、図11に示す切替器1061〜1064で実現される。)を備えるイントラ予測回路が開示されている。
また、上記の実施形態では、予測対象の予測ブロックのサイズに応じて切替部に切替信号を与える制御部(例えば、図11に示す制御回路240で実現される。)を備えるイントラ予測回路が開示されている。
図13は、本発明による他のイントラ予測回路の主要部を示すブロック図である。図13に示すように、イントラ予測回路は、第1予測コア10Aおよび第2予測コア10Bに加えて、転置回路20A,20Bを備える。転置回路20A,20B(図3に示す転置回路3に対応)は、参照ブロックにおける参照画素の配列を転置する。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2013年9月30日に出願された日本特許出願2013−203278を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 イントラ予測部
2 分配器
3 転置回路
4 転置回路
5 選択器
10A1〜10An 第1予測コア
10B1〜10Bm 第2予測コア
12A 第1予測画素計算部
12B 第2予測画素計算部
13A 第1予測誤差計算部
13B 第2予測誤差計算部
14A 第1参照画素伝搬部
14B 第2参照画素伝搬部
20A,20B 転置回路
100 予測コア
101,103,105,106 レジスタ
102,104 選択器
107 予測画素計算部
110 減算器
111,112 予測画素生成回路
121〜152 参照画素レジスタ
161,162 選択器
230 係数供給回路
240 制御回路
301 変換部
302 量子化部
303 エントロピー符号化部
304 逆量子化/逆変換部
305 バッファ
306 予測部
307 最適予測モード決定部
1001〜1032 予測コア
2 分配器
3 転置回路
4 転置回路
5 選択器
10A1〜10An 第1予測コア
10B1〜10Bm 第2予測コア
12A 第1予測画素計算部
12B 第2予測画素計算部
13A 第1予測誤差計算部
13B 第2予測誤差計算部
14A 第1参照画素伝搬部
14B 第2参照画素伝搬部
20A,20B 転置回路
100 予測コア
101,103,105,106 レジスタ
102,104 選択器
107 予測画素計算部
110 減算器
111,112 予測画素生成回路
121〜152 参照画素レジスタ
161,162 選択器
230 係数供給回路
240 制御回路
301 変換部
302 量子化部
303 エントロピー符号化部
304 逆量子化/逆変換部
305 バッファ
306 予測部
307 最適予測モード決定部
1001〜1032 予測コア
Claims (7)
- 角度イントラ予測を行うイントラ予測回路であって、
あらかじめ設定された参照画素または隣接する他の予測コアから入力された参照画素を用いて予測画素を計算する第1予測画素計算部と、前記第1予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第1予測誤差計算部と、前記第1予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第1参照画素伝搬部とを含む第1予測コアが複数設けられ、
あらかじめ設定された参照画素もしくは隣接する他の予測コアから入力された参照画素または逐次入力される参照画素を用いて予測画素を計算する第2予測画素計算部と、前記第2予測画素計算部が計算した予測画素を入力画像から減算して予測誤差を計算する第2予測誤差計算部と、前記第2予測画素計算部が使用する参照画素を隣接する他の予測コアに供給する第2参照画素伝搬部とを含む第2予測コアが、複数の前記第1予測コアのうちの所定個数の第1予測コアに対応して設けられている
ことを特徴とするイントラ予測回路。 - 前記第1予測コアは、処理可能な予測ブロックの最大サイズに応じた個数設けられ、
前記第2予測コアは、前記予測ブロックの最大サイズよりも小さい処理可能な予測ブロックのサイズよりも2少ない個数の前記第1予測コアに対して2個割り当てられるように設けられている
請求項1記載のイントラ予測回路。 - 一の前記第1予測コアを、他の前記第1予測コアまたは前記第2予測コアに接続する切替部を備える
請求項1または請求項2記載のイントラ予測回路。 - 予測対象の予測ブロックのサイズに応じて前記切替部に切替信号を与える制御部を備える
請求項3記載のイントラ予測回路。 - 前記第1参照画素伝搬部は、前記第1予測誤差計算部に参照画素をフィードバックする回路を含み、
前記第2参照画素伝搬部は、前記第2予測誤差計算部に参照画素をフィードバックする回路を含む
請求項1から請求項4のうちのいずれか1項に記載のイントラ予測回路。 - 複数の前記第1予測コアと複数の前記第2予測コアの各々に、1行分の予測画素を計算するときに、その行に対応する、計算における係数を供給する係数供給回路を備える
請求項1から請求項5のうちのいずれか1項に記載のイントラ予測回路。 - 予測ブロックの上側および左側に隣接する参照画素と右上側に位置する参照画素を使用し、
水平方向モードの予測を行うときに、参照ブロックにおける参照画素の配列を転置する転置回路を備える
請求項1から請求項6のうちのいずれか1項に記載のイントラ予測回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013203278 | 2013-09-30 | ||
JP2013203278 | 2013-09-30 | ||
PCT/JP2014/004377 WO2015045272A1 (ja) | 2013-09-30 | 2014-08-26 | イントラ予測回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015045272A1 JPWO2015045272A1 (ja) | 2017-03-09 |
JP6323459B2 true JP6323459B2 (ja) | 2018-05-16 |
Family
ID=52742449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015538861A Active JP6323459B2 (ja) | 2013-09-30 | 2014-08-26 | イントラ予測回路 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6323459B2 (ja) |
WO (1) | WO2015045272A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230127354A (ko) * | 2018-06-29 | 2023-08-31 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 인트라-예측을 위한 디바이스 및 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199111A (ja) * | 2001-12-27 | 2003-07-11 | Matsushita Electric Ind Co Ltd | 予測装置、符号化装置、逆予測装置、復号装置、及び、演算装置 |
JP2009260494A (ja) * | 2008-04-14 | 2009-11-05 | Canon Inc | 画像符号化装置及びその制御方法 |
JP5195674B2 (ja) * | 2009-07-13 | 2013-05-08 | 富士通株式会社 | 画像符号化装置 |
-
2014
- 2014-08-26 JP JP2015538861A patent/JP6323459B2/ja active Active
- 2014-08-26 WO PCT/JP2014/004377 patent/WO2015045272A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2015045272A1 (ja) | 2015-04-02 |
JPWO2015045272A1 (ja) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200304787A1 (en) | Virtual Boundary Processing Simplification for Adaptive Loop Filtering (ALF) in Video Coding | |
US9197898B1 (en) | Signaling signed band offset values for sample adaptive offset (SAO) filtering in video coding | |
EP3509305B1 (en) | Intra-prediction video coding method and device | |
JP2022008349A (ja) | 低減されたメモリアクセスを用いてfrucモードでビデオデータを符号化又は復号する方法及び装置 | |
JP6323459B2 (ja) | イントラ予測回路 | |
JP2009231914A (ja) | 復号装置、復号処理方法およびプログラム | |
JP6384484B2 (ja) | 処理制御装置、処理制御方法および処理制御プログラム | |
JP7456441B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6323458B2 (ja) | イントラ予測回路およびイントラ予測方法 | |
JP6187826B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
TW202239206A (zh) | 影像解碼裝置、影像解碼方法、儲存有影像解碼程式之記錄媒體、影像編碼裝置、影像編碼方法、及儲存有影像編碼程式之記錄媒體 | |
JP6176044B2 (ja) | ブロック構造決定回路および情報圧縮回路 | |
JP2016096560A (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法、及び送信プログラム | |
WO2020184263A1 (ja) | 画像復号装置、画像復号方法及びプログラム | |
US20170318305A1 (en) | Prediction-image generation device and prediction-image generation method | |
Yong et al. | Acceleration of HEVC transform and inverse transform on ARM NEON platform | |
JP4719650B2 (ja) | 画像符号化装置 | |
JP6492847B2 (ja) | 映像符号化システム、映像符号化回路および映像符号化方法 | |
JP6308409B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP4574020B2 (ja) | 画像処理装置及び画像符号化装置及び画像復号装置 | |
WO2015141116A1 (ja) | 映像符号化装置、映像符号化方法および映像符号化プログラム | |
JP2016220026A (ja) | 画像処理装置および画像処理方法 | |
WO2015030226A1 (ja) | 動き探索処理装置及び画像符号化装置及び動き探索処理方法及びプログラム | |
JP2010118718A (ja) | データ処理装置及びその処理方法 | |
WO2016143093A1 (ja) | 動画像符号化装置及びそれに用いるIntra予測符号化方法、及び動画像復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6323459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |