JP2009071586A - Image resolution converting device - Google Patents

Image resolution converting device Download PDF

Info

Publication number
JP2009071586A
JP2009071586A JP2007237887A JP2007237887A JP2009071586A JP 2009071586 A JP2009071586 A JP 2009071586A JP 2007237887 A JP2007237887 A JP 2007237887A JP 2007237887 A JP2007237887 A JP 2007237887A JP 2009071586 A JP2009071586 A JP 2009071586A
Authority
JP
Japan
Prior art keywords
value
referenced
prediction
conversion
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007237887A
Other languages
Japanese (ja)
Inventor
Haruhisa Kato
晴久 加藤
Yasuhiro Takishima
康弘 滝嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2007237887A priority Critical patent/JP2009071586A/en
Publication of JP2009071586A publication Critical patent/JP2009071586A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To perform resolution conversion of even an encoded image encoded by an encoding system using spatial prediction at high speed. <P>SOLUTION: A variable-length decoding part 11 variable-length-decodes an encoded image and extracts code information including a conversion coefficient and an encoding mode. A converting part 12 uses the conversion coefficient to perform resolution conversion of a residual in spatial prediction and generate a residual to be referred to by other blocks. A pixel to be referred to generating part 13 generates a value of a pixel to be referred to, which is referred to by the other blocks from the encoding mode and the residual to be referred to. An estimation value stored in a buffer 14 is updated by the value of the pixel to be referred to. A prediction value generating part 15 generates a prediction value to a corresponding block from the encoding mode and the prediction value. An adding part 16 adds the residual and the prediction value and outputs the value of a resolution-converted pixel. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像解像度変換装置に関し、特に、変換符号化と予測符号化を組み合わせてエンコードされた画像の解像度を変換する画像解像度変換装置に関する。   The present invention relates to an image resolution conversion device, and more particularly to an image resolution conversion device that converts the resolution of an encoded image by combining transform coding and predictive coding.

映像コンテンツの解像度を変換する方法として、符号情報から縮小画像を生成する方法が提案されている。   As a method for converting the resolution of video content, a method for generating a reduced image from code information has been proposed.

特許文献１には、DCT逆変換を行わずに、縮小画像(サムネイル)を再生する画像再生装置が記載されている。これでは、Iピクチャに対しては符号化単位の各ブロックの座標(0,0)における輝度のDCT係数を代用し、すなわち、Iピクチャに対しては符号化単位の各ブロックにおける特定のDCT係数をそのまま採用し、PピクチャおよびBピクチャに対しては、当該DCT係数に動き補償値を加算することによって、サムネイルデータを構築する。
特開２００３−２１９４２０号公報 Patent Document 1 describes an image playback device that plays back a reduced image (thumbnail) without performing DCT inverse transform. This substitutes the luminance DCT coefficient at the coordinates (0,0) of each block of the coding unit for the I picture, that is, the specific DCT coefficient in each block of the coding unit for the I picture. Is adopted as it is, and for P picture and B picture, thumbnail data is constructed by adding a motion compensation value to the DCT coefficient.
JP 2003-219420 A

特許文献１に記載されている画像再生装置では、符号化単位の各ブロックのDCT係数における座標(0,0)のDC成分だけを抽出する手法を採用することにより、解像度が変換された縮小画像を生成している。しかしながら、この手法は、空間的予測を用いる符号化方式には適用できないという課題がある。例えば、MPEG-4 AVC/H.264では、空間的予測であるイントラ(Intra)予測を導入しており、Intra予測では、周囲の画素値から予測値を適応的に生成し、該予測値との誤差(予測誤差)と予測方法とを符号化する。これにおいて、符号化の結果として格納されている変換係数は、予測誤差が符号化されたものであるので、特許文献１のように、各ブロックから特定の変換係数だけを抽出しても縮小画像を生成することができない。   In the image reproduction device described in Patent Document 1, a reduced image whose resolution is converted by adopting a method of extracting only the DC component of the coordinates (0,0) in the DCT coefficient of each block of the encoding unit. Is generated. However, this method has a problem that it cannot be applied to an encoding method using spatial prediction. For example, MPEG-4 AVC / H.264 introduces intra prediction that is spatial prediction. In intra prediction, a prediction value is adaptively generated from surrounding pixel values, and the prediction value and Error (prediction error) and a prediction method are encoded. In this case, since the transform coefficient stored as a result of encoding is obtained by encoding a prediction error, a reduced image is obtained even if only a specific transform coefficient is extracted from each block as in Patent Document 1. Cannot be generated.

本発明の目的は、上記した従来技術の課題を解決し、空間的予測を用いた符号化方式により符号化された符号化画像でも、高速に解像度変換できる画像解像度変換装置を提供することにある。   An object of the present invention is to solve the above-described problems of the prior art and to provide an image resolution conversion apparatus capable of converting resolution at high speed even for an encoded image encoded by an encoding method using spatial prediction. .

上記課題を解決するため、本発明は、変換符号化された画像の解像度を変換する画像解像度変換装置において、入力される符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する可変長復号手段と、前記可変長復号手段により抽出された変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する変換手段と、前記可変長復号手段により抽出された符号化モードと前記変換手段により生成された被参照残差とから他のブロックが参照する被参照画素の値を生成する被参照画素生成手段と、前記被参照画素生成手段により生成された被参照画素の値により、蓄積している予測値が更新されるバッファと、前記可変長復号手段により抽出された符号化モードと前記バッファに蓄積されている予測値とから、当該ブロックが解像度変換されたときの該符号化モードでの予測値を生成する予測値生成手段と、前記予測値生成手段により生成された予測値と前記変換手段により解像度変換された残差とを加算して解像度変換された画素の値を出力する加算手段を備えた点に第１の特徴がある。   In order to solve the above-described problems, the present invention provides an image resolution conversion apparatus that converts the resolution of a transform-coded image, and performs variable-length decoding on an input encoded image, and includes code information including a transform coefficient and a coding mode. A variable-length decoding unit that extracts a signal, and a transform that converts a resolution in the spatial prediction using the transform coefficient extracted by the variable-length decoding unit and generates a referenced residual that is referenced by another block A reference pixel generation unit configured to generate a value of a reference pixel referred to by another block from the encoding mode extracted by the variable length decoding unit and the reference residual generated by the conversion unit; A buffer in which the accumulated prediction value is updated with the value of the referenced pixel generated by the referenced pixel generation unit, the encoding mode extracted by the variable length decoding unit, and the buffer A prediction value generating unit that generates a prediction value in the encoding mode when the resolution of the block is converted from a prediction value stored in the fa, a prediction value generated by the prediction value generating unit, and A first feature is that an addition means for adding the residual of the resolution converted by the conversion means and outputting the value of the pixel whose resolution has been converted is provided.

また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数を入力とし、符号化とは逆の変換と解像度変換を統合した処理により、当該ブロックの解像度変換された残差を生成する点に第２の特徴がある。   In the present invention, the conversion unit receives the conversion coefficient extracted by the variable length decoding unit as an input, and performs a process in which conversion and resolution conversion opposite to encoding are integrated, and the resolution of the block is converted. A second feature is that the difference is generated.

また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数を解像度変換に応じて重み付け平均することにより、他のブロックが参照する被参照残差を生成する点に第３の特徴がある。   The present invention is also characterized in that the conversion means generates a referenced residual that is referenced by another block by weighted averaging the conversion coefficients extracted by the variable length decoding means in accordance with resolution conversion. There are three features.

また、本発明は、前記変換手段が、前記可変長復号手段により抽出された変換係数から他のブロックが参照する方向に応じた複数の被参照残差を生成する点に第４の特徴がある。   In addition, the present invention has a fourth feature in that the transforming unit generates a plurality of referenced residuals according to directions in which other blocks refer to the transform coefficient extracted by the variable length decoding unit. .

また、本発明は、前記被参照画素生成手段が、前記可変長復号手段により抽出された符号化モードおよび前記変換手段により生成された被参照残差を入力とし、前記符号化モードが表す参照関係と解像度とに応じて他のブロックが参照する被参照画素の値を生成する点に第５の特徴がある。   Further, the present invention provides the reference relationship represented by the encoding mode, wherein the referenced pixel generation means receives the encoding mode extracted by the variable length decoding means and the referenced residual generated by the conversion means. The fifth feature is that the value of the referenced pixel to be referenced by another block is generated according to the resolution.

また、本発明は、前記被参照画素生成手段が、前記変換手段により生成された被参照残差と前記バッファに蓄積されている１つ以上の予測値とから他のブロックが参照する被参照画素の値を予測モードに応じて近似的に生成する点に第６の特徴がある。   Further, according to the present invention, the referenced pixel generating unit refers to a referenced pixel that is referenced by another block from the referenced residual generated by the converting unit and one or more predicted values accumulated in the buffer. The sixth feature is that the value of is approximately generated according to the prediction mode.

また、本発明は、前記被参照画素生成手段が、複数の近似式を有し、該複数の近似式のうちの１つを前記バッファに蓄積されている予測値に応じて適応的に適用して他のブロックが参照する被参照画素の値を近似的に生成する点に第７の特徴がある。   Further, according to the present invention, the reference pixel generation unit has a plurality of approximation expressions, and adaptively applies one of the plurality of approximation expressions according to a prediction value stored in the buffer. The seventh feature is that the value of the referenced pixel referenced by another block is approximately generated.

さらに、本発明は、前記予測値生成手段が、前記可変長復号手段により抽出された符号化モードおよび前記バッファに蓄積されている予測値の値を入力とし、前記バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成する点に第８の特徴がある。   Further, according to the present invention, the prediction value generation means receives the encoding mode extracted by the variable length decoding means and the value of the prediction value stored in the buffer, and stores the one stored in the buffer. The eighth feature is that the predicted value of the referenced pixel when the resolution of the block is converted from the predicted value is approximately generated according to the prediction mode.

本発明によれば、空間的予測を用いた符号化方式により変換符号化された符号化画像でも、画素領域まで復号せずに、符号領域で解像度変換できる。さらに、復号と解像度変換の処理を統合しているので、高速に解像度変換できる。   According to the present invention, it is possible to perform resolution conversion in a code area without decoding up to a pixel area, even in an encoded image that has been transcoded by an encoding method using spatial prediction. Furthermore, since decoding and resolution conversion processing are integrated, resolution conversion can be performed at high speed.

以下、図面を参照して本発明を説明する。図１は、本発明に係る画像解像度変換装置の基本構成を示すブロック図である。この画像解像度変換装置は、可変長復号部11、変換部12、被参照画素生成部13、バッファ14、予測値生成部15、加算部16を備える。なお、これらの各部は、ハードウエアでもソフトウエアでも実現できる。   The present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a basic configuration of an image resolution conversion apparatus according to the present invention. The image resolution conversion apparatus includes a variable length decoding unit 11, a conversion unit 12, a referenced pixel generation unit 13, a buffer 14, a predicted value generation unit 15, and an addition unit 16. Each of these units can be realized by hardware or software.

以下では、入力画像がH.264に従うフォーマットで符号化されており、これを縦横それぞれ1/4に解像度変換する場合を例にあげて説明する。なお、まず、各部での処理の概要を説明し、変換部12、被参照画素生成部13および予測値生成部15での処理については、その後に具体的に説明する。   In the following, an example will be described in which an input image is encoded in a format according to H.264, and the resolution is converted to 1/4 in both vertical and horizontal directions. First, the outline of the processing in each unit will be described, and the processing in the conversion unit 12, the referenced pixel generation unit 13, and the predicted value generation unit 15 will be specifically described later.

可変長復号部11は、入力される符号化画像を可変長復号し、解像度変換に必要な符号情報を抽出する。ここでの復号は、可変長復号すなわち符号情報までの部分的な復号である。また、解像度変換に必要な符号情報は、フレーム内予測での符号化モード(各ブロックについての予測方向)および変換係数である。可変長復号部11で抽出された符号情報のうち、変換係数は変換部12に送出され、符号化モードは被参照画素生成部13および予測値生成部15に送出される。   The variable length decoding unit 11 performs variable length decoding on the input encoded image and extracts code information necessary for resolution conversion. The decoding here is variable length decoding, that is, partial decoding up to code information. Also, the code information necessary for resolution conversion is a coding mode (prediction direction for each block) and conversion coefficient in intra-frame prediction. Of the code information extracted by the variable length decoding unit 11, the transform coefficient is sent to the transform unit 12, and the coding mode is sent to the referenced pixel generation unit 13 and the predicted value generation unit 15.

変換部12は、可変長復号部11から送出される変換係数から解像度変換された残差Liおよび他のブロックが参照する被参照残差hi,vi,diを生成する。ここでは、被参照残差hi,vi,diとして、当該ブロックの変換係数の最下行の平均値、最右列の平均値、右下の値を生成する。なお、平均値は、解像度に応じて複数の部分平均値とすることもできる。解像度変換された残差Liは、加算部16に送出され、被参照残差hi,vi,diは、被参照画素生成部13に送出される。   The conversion unit 12 generates a residual Li subjected to resolution conversion from the conversion coefficient sent from the variable length decoding unit 11 and a referenced residual hi, vi, di to which other blocks refer. Here, as the referenced residuals hi, vi, di, the average value of the lowest row, the average value of the rightmost column, and the lower right value of the transform coefficient of the block are generated. The average value may be a plurality of partial average values depending on the resolution. The resolution-converted residual Li is sent to the adder 16, and the referenced residuals hi, vi, and di are sent to the referenced pixel generator 13.

被参照画素生成部13は、可変長復号部11から送出される符号化モードとバッファ14に蓄積されている予測値hr′,vr′,dr′を参照して、変換部12から送出される被参照残差hi,vi,diを補償し、被参照画素の値hi′,vi′,di′を生成する。バッファ14に蓄積されている予測値hr′,vr′,dr′は、新たに生成された被参照画素の値hi′,vi′,di′で更新される。更新された予測値hr′,vr′,dr′は、以下に続くブロックに対する処理で参照される。   The referenced pixel generation unit 13 refers to the encoding mode transmitted from the variable length decoding unit 11 and the predicted values hr ′, vr ′, dr ′ stored in the buffer 14, and is transmitted from the conversion unit 12. The reference residuals hi, vi, di are compensated to generate reference pixel values hi ′, vi ′, di ′. The predicted values hr ′, vr ′, dr ′ stored in the buffer 14 are updated with the newly generated reference pixel values hi ′, vi ′, di ′. The updated predicted values hr ′, vr ′, dr ′ are referred to in the processing for the following blocks.

予測値生成部15は、可変長復号部11から送出される符号化モードとバッファ14に蓄積されている予測値hr′,vr′,dr′を用いて、当該ブロックの予測モードでの予測値Li′を生成する。これにより生成された予測値Li′は、加算部16に送出される。   The prediction value generation unit 15 uses the encoding mode transmitted from the variable length decoding unit 11 and the prediction values hr ′, vr ′, dr ′ stored in the buffer 14 to predict the prediction value in the prediction mode of the block. Li ′ is generated. The predicted value Li ′ thus generated is sent to the adding unit 16.

加算部16は、変換部12により復号され解像度変換された残差Liと予測値生成部15により生成された予測値Li′を入力とし、両者を加算して解像度変換された画素の値P(=Li+Li′)を生成する。   The adding unit 16 receives the residual Li decoded and resolution-converted by the converting unit 12 and the predicted value Li ′ generated by the predicted value generating unit 15, and adds the two to obtain a resolution-converted pixel value P ( = Li + Li ′).

次に、変換部12での処理について説明する。H.264のフレーム内符号化画像は、空間的相関を利用してIntra予測による残差を4x4整数変換で周波数領域に変換する。解像度変換された画素の値を生成するため、まず、変換部12で、空間的予測での残差である変換係数を解像度変換する。この解像度変換は、解像度変換を行列で表し、逆変換(符号化とは逆の変換)と解像度変換を統合した処理を行うことで高速化が可能である。   Next, processing in the conversion unit 12 will be described. The H.264 intra-frame encoded image is obtained by transforming the residual by Intra prediction into the frequency domain by 4x4 integer transform using spatial correlation. In order to generate a pixel value that has undergone resolution conversion, first, the conversion unit 12 performs resolution conversion on a conversion coefficient that is a residual in spatial prediction. This resolution conversion can be speeded up by performing a process in which the resolution conversion is represented by a matrix and reverse conversion (conversion opposite to encoding) and resolution conversion are integrated.

4x4変換係数をXとし、解像度変換行列をR、4x4逆変換行列をTとしたとき、平均値で縦横1/4に解像度変換(縮小)されたときの残差Liは、式(1)で表される。   When the 4x4 conversion coefficient is X, the resolution conversion matrix is R, and the 4x4 inverse transformation matrix is T, the residual Li when the resolution is converted (reduced) to 1/4 in the vertical and horizontal directions by the average value is given by Equation (1) expressed.

Li＝RｔTｔXTR (1) Li = R t T t XTR (1)

ここで、tは転置操作を表す。行列R,Tは、固定値であるので、予め計算しておくことができ、これにより解像度変換の際の処理負荷を軽くすることができる。   Here, t represents a transposition operation. Since the matrices R and T are fixed values, they can be calculated in advance, thereby reducing the processing load during resolution conversion.

式(1)により求められる値Liは、残差であるので、このままの値Liを用いたのでは原画像の解像度変換された画像とはならない。H.264では、空間的予測であるIntra予測により近傍画素から予測値を生成するので、これと同等の処理を符号領域で実現する必要がある。しかし、解像度変換された場合、予測値の生成に必要な情報が失われてしまうので、このままでは正しい予測値を生成することができないという問題がある。例えば、mode0では、当該ブロックの上のブロックを用いて予測値を生成するが、上のブロック(4x4)の最下行が白で残りが黒の場合、予測に用いる部分(白の領域)だけを縮小した値は、ブロック全体が縮小されたときの値と異なるので、解像度変換でブロック全体が縮小されたときの値からは正しい予測値を生成することができない。   Since the value Li obtained by the equation (1) is a residual, using the value Li as it is does not result in an image whose resolution is converted from the original image. In H.264, a prediction value is generated from neighboring pixels by Intra prediction, which is spatial prediction, and therefore it is necessary to realize processing equivalent to this in the code region. However, when resolution conversion is performed, information necessary for generating a predicted value is lost, and there is a problem that a correct predicted value cannot be generated as it is. For example, in mode0, the predicted value is generated using the block above the current block, but if the bottom row of the upper block (4x4) is white and the rest is black, only the part used for prediction (white area) is Since the reduced value is different from the value when the entire block is reduced, a correct predicted value cannot be generated from the value when the entire block is reduced by resolution conversion.

上記問題を解決するため、変換部12では、解像度変換によりブロック全体が縮小されたときの値とは別に、予測に用いられる領域ごとに縮小された値を生成する。予測に用いられる領域ごとに縮小された値は、可変長復号部11から送出される変換係数を解像度変換に応じて重み付け平均することにより生成できる。   In order to solve the above problem, the conversion unit 12 generates a reduced value for each region used for prediction, separately from the value when the entire block is reduced by resolution conversion. The value reduced for each region used for prediction can be generated by weighted averaging the transform coefficients sent from the variable length decoding unit 11 according to the resolution conversion.

例えば、最右列を抽出する行列をSとすると、1/4に解像度変換されたブロックの変換係数の最右列の平均値hは、式(2)で求めることができる。   For example, when the matrix for extracting the rightmost column is S, the average value h of the rightmost column of the transform coefficients of the block whose resolution is converted to 1/4 can be obtained by Expression (2).

h＝RｔTｔXTS (2) h = R t T t XTS (2)

同様に、1/4に解像度変換されたブロックの変換係数の最下行の平均値v、右下の値dはそれぞれ、式(3),式(4)で求めることができる。   Similarly, the average value v and the lower right value d of the bottom row of the transform coefficients of the block whose resolution has been converted to 1/4 can be obtained by Expressions (3) and (4), respectively.

v＝SｔTｔXTR (3)
d＝SｔTｔXTS (4) v = S t T t XTR (3)
d = S t T t XTS (4)

上記では1/4の解像度に変換する場合であるが、解像度変換行列Rを変更することにより他の倍率の解像度変換の場合も対処可能である。また、解像度を低下させる場合は、元の高周波成分を表現できないことになるので、高周波成分を予め式(1)〜(4)から排除しておくことも可能であり、これにより計算量を削減することができる。   In the above description, the resolution is converted to 1/4 resolution. However, by changing the resolution conversion matrix R, it is possible to cope with resolution conversion at other magnifications. Also, when reducing the resolution, the original high-frequency component cannot be expressed, so it is possible to eliminate the high-frequency component from equations (1) to (4) in advance, thereby reducing the amount of calculation. can do.

以上のように、変換部12は、変換符号化された画像を画素領域まで完全に復号することなく、符号領域で、解像度変換された残差Liおよびフレーム内予測で他のブロックが参照する被参照残差hi,vi,diを生成する。つまり、変換部12は、逆変換と解像度変換を統合することによって、解像度変換された残差Liを求め、さらに、当該ブロックの変換係数の最右列の平均値hi,最下行の平均値vi,右下の値diを、予測モードで他のブロックが参照する方向に応じた複数の被参照残差として求める。   As described above, the transform unit 12 does not completely decode the transform-coded image up to the pixel region, but the resolution-converted residual Li and the object that other blocks refer to in intra-frame prediction in the code region. Generate reference residuals hi, vi, di. That is, the conversion unit 12 obtains the resolution-converted residual Li by integrating inverse conversion and resolution conversion, and further calculates the average value hi of the rightmost column and the average value vi of the bottom row of the conversion coefficients of the block. , The lower right value di is obtained as a plurality of referenced residuals corresponding to the directions to which other blocks refer in the prediction mode.

Li,hi,vi,diは、いずれも残差であるので、残差Liを加算部16に送出して画素の値Pを再構成し、被参照残差hi,vi,diを被参照画素生成部13に送出して被参照画素の値hi′,vi′,di′を再構成する。加算部16には、画素の値Pを再構成するために、予測値生成部15から予測値Li′が与えられ、被参照画素生成部13には、被参照画素の値hi′,vi′,di′を再構成するために、バッファ14から予測値hr′,vr′,dr′が与えられる。   Since Li, hi, vi, and di are all residuals, the residual Li is sent to the adder 16 to reconstruct the pixel value P, and the referenced residuals hi, vi, di are used as the referenced pixels. The value is sent to the generation unit 13 to reconstruct the reference pixel values hi ′, vi ′, di ′. The adder 16 is provided with the predicted value Li ′ from the predicted value generator 15 in order to reconstruct the pixel value P, and the referenced pixel generator 13 receives the reference pixel values hi ′, vi ′. , di ′ are provided with predicted values hr ′, vr ′, dr ′ from the buffer 14.

次に、被参照画素生成部13での処理について説明する。被参照画素生成部13には、可変長復号部11で抽出された予測モードと変換部12で解像度変換された被参照残差hi,vi,diとバッファ14に蓄積されている予測値hr′,vr′,dr′が入力される。被参照画素生成部13は、予測モードに応じて被参照残差hi,vi,diと予測値hr′,vr′,dr′とから被参照画素の値hi′,vi′,di′を生成し、これにより生成された被参照残差hi′,vi′,di′でバッファ14に蓄積されている予測値hr′,vr′,dr′を更新する。   Next, processing in the referenced pixel generation unit 13 will be described. The referenced pixel generation unit 13 includes the prediction mode extracted by the variable length decoding unit 11 and the reference residuals hi, vi, di that have undergone resolution conversion by the conversion unit 12 and the prediction value hr ′ accumulated in the buffer 14. , vr ′, dr ′ are input. The referenced pixel generator 13 generates the reference pixel values hi ′, vi ′, di ′ from the referenced residuals hi, vi, di and the predicted values hr ′, vr ′, dr ′ according to the prediction mode. Then, the predicted values hr ′, vr ′, dr ′ accumulated in the buffer 14 are updated with the reference residuals hi ′, vi ′, di ′ generated thereby.

図２は、空間的予測で参照される被参照画素の説明図である。同図に示すように、当該ブロックに隣接するブロックの変換係数のうち、当該ブロックに対して左列の変換係数の平均値をhＬ、左下の変換係数の値をdＬ、左上の変換係数の値をdｕＬ、上行の変換係数の平均値をvｕ、右上の変換係数の値をdｕ、右上行の変換係数の平均値をvｕＲ、右上行右の変換係数の値をdｕＲとすると、バッファ14にはこれらの値が予測値として蓄積されている。 FIG. 2 is an explanatory diagram of a referenced pixel referred to in spatial prediction. As shown in the figure, among the transform coefficients of blocks adjacent to the block, the average value of the transform coefficients in the left column for the block is h L , the value of the transform coefficient in the lower left is d L , and the transform coefficient in the upper left the value d uL, an average value of the transform coefficients of the ascending v u, the value of d u in the upper right of the transform coefficients, the mean value of the transform coefficients in the upper right line v uR, the value of the upper-right row right transform coefficients d uR Then, these values are stored in the buffer 14 as predicted values.

図３は、イントラ予測での予測モードを示し、図４は、予測値の生成での参照関係を示している。図３に示すように、個々の予測モードは、予測方向が異なる９種類のいずれかを示す。なお、mode2は平均値による予測である。図４に示すように、4x4予測値をRＮ(N=A〜G)、近傍の画素の値をPＮ(N=A〜L,X)で表すと、対角方向に予測するmode3の場合、PＮと式(5)〜(11)を用いてRＮを生成すればよい。なお、2を加算して4で除算することは、四捨五入する処理である。 FIG. 3 shows a prediction mode in intra prediction, and FIG. 4 shows a reference relationship in generation of a prediction value. As shown in FIG. 3, each prediction mode indicates one of nine types with different prediction directions. Note that mode2 is prediction based on an average value. As shown in FIG. 4, a 4x4 predictive value R N (N = A~G), to represent the value of the pixels neighboring in P N (N = A~L, X ), mode3 of predicting diagonally If it may generate an R N using a P N and equation (5) to (11). Note that adding 2 and dividing by 4 is a rounding process.

RＡ＝(PＡ＋2PＢ＋PＣ＋2)/4 (5)
RＢ＝(PＢ＋2PＣ＋PＤ＋2)/4 (6)
RＣ＝(PＣ＋2PＤ＋PＥ＋2)/4 (7)
RＤ＝(PＤ＋2PＥ＋PＦ＋2)/4 (8)
RＥ＝(PＥ＋2PＦ＋PＧ＋2)/4 (9)
RＦ＝(PＦ＋2PＧ＋PＨ＋2)/4 (10)
RＧ＝(PＧ＋3PＨ＋2)/4 (11) R A = (P A + 2P B + P C +2) / 4 (5)
R B = (P B + 2P C + P D +2) / 4 (6)
R C = (P C + 2P D + P E +2) / 4 (7)
R D = (P D + 2P E + P F +2) / 4 (8)
R E = (P E + 2P F + P G +2) / 4 (9)
R F = (P F + 2P G + P H +2) / 4 (10)
R G = (P G + 3P H +2) / 4 (11)

ここで、最右列の被参照画素に対する予測値は、RＤ,RＥ,RＦ,RＧの平均値に相当する。PＤ≒PＥと仮定すると、RＤ,RＥ,RＦ,RＧの平均値(式(8)〜(11)の平均)は、vｕＲで近似できる。また、最下行の被参照画素に対する予測値もRＤ,RＥ,RＦ,RＧの平均に相当するので、同じくvｕＲで近似できる。右下画素dに対する予測値はRＧであるが、PＨ≒PＧと仮定すると、dｕＲで近似できる。 Here, the predicted value for the referenced pixel in the rightmost column corresponds to the average value of R D , R E , R F , and R G. Assuming P D ≒ P E, (average of formula (8) ~ (11)) R D, R E, R F, the average value of R G can be approximated by v uR. In addition, since the predicted value for the reference pixel in the bottom row corresponds to the average of R D , R E , R F , and R G , it can be similarly approximated by v uR . The predicted value for the lower right pixel d is R G , but can be approximated by d uR assuming P H ≈P G.

したがって、式(12)〜(14)に従って、被参照残差hi,vi,diごとにそれぞれの予測値vｕＲ,vｕＲ,dｕＲを加算することにより被参照画素の値hi′,vi′,di′を計算できる。 Therefore, according to the equations (12) to (14), the reference pixel values hi ′, vi ′ are obtained by adding the respective predicted values v uR , v uR , d uR for each of the referenced residuals hi, vi, di. , di ′ can be calculated.

hi′＝hi＋vｕＲ (12)
vi′＝vi＋vｕＲ (13)
di′＝di＋dｕＲ (14) hi ′ ＝ hi ＋ v uR (12)
vi '= vi + v uR (13)
di '= di + d uR (14)

以上のように、被参照画素生成部13は、変換部12により生成された被参照残差hi,vi,diおよびバッファ14に蓄積されている１つ以上の予測値vｕＲ,vｕＲ,dｕＲから他のブロックが参照する被参照画素の値hi′,vi′,di′を予測モードに応じて近似的に生成する。 As described above, the reference pixel generation unit 13 generates the reference residuals hi, vi, di generated by the conversion unit 12 and one or more predicted values v uR , v uR , d accumulated in the buffer 14. The reference pixel values hi ′, vi ′, and di ′ that other blocks refer to from uR are approximately generated according to the prediction mode.

他のブロックが参照する被参照画素の値hi′,vi′,di′は、他の一組以上の被参照画素の値から補間で近似的に求めることもでき、また、バッファ14に蓄積されている予測値の分布に応じた近似式を選択的に適用して被参照画素の値hi′,vi′,di′を近似的に求めることもできる。   Referenced pixel values hi ′, vi ′, and di ′ referenced by other blocks can be approximated by interpolation from the values of one or more other referenced pixels, and are stored in the buffer 14. It is also possible to approximately obtain the reference pixel values hi ′, vi ′, and di ′ by selectively applying an approximate expression corresponding to the distribution of predicted values.

図５は、他のブロックが参照する被参照画素の値を補間により近似的に求める処理の説明図である。ここでは、dｕＬ,dｕ,dｕＲ(図２)を基に二次曲線(1)を形成し、これに従って画素値PＥを求める様子を示している。二次曲線(1)に従って画素値PＥが求まればvｕＲを求めることができ、式(12),(13)のhi′,vi′を近似的に求めることができる。この場合、画素値PＥを補間する方法は、二次曲線(1)の他、図示(2),(3)のように、適宜設定できる。なお、図示(2)は、画素値PＤをそのまま画素値PＥとして利用する場合(PＤ≒PＥと仮定)に相当する。また、被参照画素の値hi′,vi′,di′を近似的に求める近似式を複数用意しておき、この中の１つを、バッファ14に蓄積されている予測値(hＬ,dＬ,dｕＬ,vｕ,dｕ,vｕＲ,dｕＲのうちの１つあるいはいくつかの分布)に応じて適応的に選択し、これを適用して他のブロックが参照する被参照画素の値を近似的に求めるようにすることもできる。 FIG. 5 is an explanatory diagram of processing for approximately obtaining the value of the referenced pixel referenced by another block by interpolation. Here, a quadratic curve (1) is formed based on d uL , d u , d uR (FIG. 2), and the pixel value P E is determined according to this. It is possible to obtain the v uR if Motomare pixel value P E according to a quadratic curve (1), formula (12) can be obtained approximately the hi ', vi' (13). In this case, the method of interpolating the pixel value P E, other quadratic curve (1), shown (2), as shown in (3), can be set as appropriate. Although illustration (2) corresponds to the case (assuming that P D ≒ P E) utilized directly as the pixel value P E pixel value P D. In addition, a plurality of approximate expressions for approximately obtaining the values of the reference pixels hi ′, vi ′, and di ′ are prepared, and one of them is used as a predicted value (h L , d stored in the buffer 14. L , d uL , v u , d u , v uR , d uR , or some of the distributions), and this is applied to reference pixels that other blocks refer to It is also possible to approximate the value of.

以上はmode3の場合であるが、他の予測モードに関しても、同様の手法で近似することにより被参照画素の値hr′,vr′,dr′を再構成できる。要するに、被参照画素生成部13は、被参照残差hi,vi,diと予測値hＬ,dＬ,dｕＬ,vｕ,dｕ,vｕＲ,dｕＲから被参照画素の値hr′,vr′,dr′を近似的に生成すればよい。以上のようにして再構成された被参照画素の値hr′,vr′,dr′は、以降に続くブロックで参照される予測値としてバッファ14に蓄積される。 Although the above is the case of mode 3, the values hr ′, vr ′, and dr ′ of the reference pixel can be reconstructed by approximating the other prediction modes by the same method. In short, the referenced pixel generation unit 13 calculates the reference pixel value hr ′ from the referenced residuals hi, vi, di and the predicted values h L , d L , d uL , v u , d u , v uR , d uR. , vr ′ and dr ′ may be generated approximately. The reference pixel values hr ′, vr ′, and dr ′ reconstructed as described above are stored in the buffer 14 as predicted values that are referred to in subsequent blocks.

次に、予測値生成部15での処理について説明する。予測値生成部15は、可変長復号部11で抽出された予測モードとバッファ14に蓄積された予測値hr′,vr′,dr′を入力とし、解像度変換されたブロックに対する予測値Li′を生成する。   Next, processing in the predicted value generation unit 15 will be described. The prediction value generation unit 15 receives the prediction mode extracted by the variable length decoding unit 11 and the prediction values hr ′, vr ′, dr ′ accumulated in the buffer 14, and calculates the prediction value Li ′ for the resolution-converted block. Generate.

縦横1/4の解像度変換では、符号化モードに応じて近傍の被参照画素の値から１画素を予測値Li′として生成する。例えば、予測モードがmode3の場合、予測値L′は式(15)で求めることができる。   In vertical / horizontal 1/4 resolution conversion, one pixel is generated as a predicted value Li ′ from the values of neighboring reference pixels in accordance with the encoding mode. For example, when the prediction mode is mode 3, the prediction value L ′ can be obtained by Expression (15).

Li′＝(hr′＋vr′)/2 (15) Li ′ ＝ (hr ′ ＋ vr ′) / 2 (15)

他の予測モードの場合にも、同様に近似することにより、予測値Li′を生成することができ。これにより生成された予測値Li′は、加算部16に送出される。   In the case of other prediction modes as well, the prediction value Li ′ can be generated by approximating similarly. The predicted value Li ′ thus generated is sent to the adding unit 16.

以上のように、予測値生成部15は、可変長復号部11により抽出された符号化モードおよびバッファ14に蓄積されている予測値を入力とし、バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成する。   As described above, the prediction value generation unit 15 receives the encoding mode extracted by the variable length decoding unit 11 and the prediction value stored in the buffer 14 as input, and one or more prediction values stored in the buffer. From this, the predicted value of the referenced pixel when the resolution of the block is converted is approximately generated according to the prediction mode.

加算部16は、変換部12により解像度変換された残差Liと予測値生成部15により生成された予測値Li′を入力とし、両者を加算することで解像度変換された画素の値P(=Li+Li′)を生成する。   The adding unit 16 receives the residual Li subjected to resolution conversion by the converting unit 12 and the predicted value Li ′ generated by the predicted value generating unit 15, and adds both to add a pixel value P (= Li + Li ′) is generated.

以上、実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。例えば、上記実施形態では、入力画像がH.264に従うフォーマットで、Intra予測により符号化されたものであるとしたが、他のフォーマットでも、空間的予測で符号化された画像ならば処理対象とすることもできる。なお、空間的予測で符号化された画像は、編集しやすいという特徴がある。   Although the embodiment has been described above, the present invention is not limited to the above embodiment. For example, in the above embodiment, the input image is in a format according to H.264 and is encoded by Intra prediction. However, in other formats, if the image is encoded by spatial prediction, the processing target is You can also An image encoded by spatial prediction is easy to edit.

本発明に係る画像解像度変換装置の基本構成を示すブロック図である。1 is a block diagram showing a basic configuration of an image resolution conversion apparatus according to the present invention. 空間的予測で参照される被参照画素の説明図である。It is explanatory drawing of the to-be-referenced pixel referred by spatial prediction. イントラ予測での予測モードの説明図である。It is explanatory drawing of the prediction mode in intra prediction. 予測値の生成での参照関係の説明図である。It is explanatory drawing of the reference relationship in the production | generation of a predicted value. 被参照画素の値を近似的に求める処理の説明図である。It is explanatory drawing of the process which calculates | requires the value of a reference pixel approximately.

符号の説明Explanation of symbols

11・・・可変長復号部、12・・・変換部、13・・・被参照画素生成部、14・・・バッファ、15・・・予測値生成部、16・・・加算部 11 ... variable length decoding unit, 12 ... conversion unit, 13 ... referenced pixel generation unit, 14 ... buffer, 15 ... predicted value generation unit, 16 ... addition unit

Claims (8)

変換符号化された画像の解像度を変換する画像解像度変換装置において、
入力される符号化画像を可変長復号し、変換係数および符号化モードを含む符号情報を抽出する可変長復号手段と、
前記可変長復号手段により抽出された変換係数を用いて、空間的予測での残差を解像度変換すると共に他のブロックが参照する被参照残差を生成する変換手段と、
前記可変長復号手段により抽出された符号化モードと前記変換手段により生成された被参照残差とから他のブロックが参照する被参照画素の値を生成する被参照画素生成手段と、
前記被参照画素生成手段により生成された被参照画素の値により、蓄積している予測値が更新されるバッファと、
前記可変長復号手段により抽出された符号化モードと前記バッファに蓄積されている予測値とから、当該ブロックが解像度変換されたときの該符号化モードでの予測値を生成する予測値生成手段と、
前記予測値生成手段により生成された予測値と前記変換手段により解像度変換された残差とを加算して解像度変換された画素の値を出力する加算手段を備えたことを特徴とする画像解像度変換装置。 In an image resolution converter for converting the resolution of a transform-coded image,
Variable-length decoding means for variable-length decoding an input encoded image and extracting code information including a transform coefficient and an encoding mode;
Transform means for converting the residual in spatial prediction using the transform coefficient extracted by the variable length decoding means and generating a referenced residual that is referenced by another block;
A referenced pixel generating means for generating a value of a referenced pixel referenced by another block from the encoding mode extracted by the variable length decoding means and the referenced residual generated by the converting means;
A buffer in which the accumulated predicted value is updated with the value of the referenced pixel generated by the referenced pixel generation means;
Prediction value generation means for generating a prediction value in the encoding mode when the resolution of the block is converted from the encoding mode extracted by the variable length decoding means and the prediction value stored in the buffer; ,
Image resolution conversion characterized by comprising addition means for adding the predicted value generated by the predicted value generation means and the residual subjected to resolution conversion by the conversion means to output a pixel value subjected to resolution conversion apparatus. 前記変換手段は、前記可変長復号手段により抽出された変換係数を入力とし、符号化とは逆の変換と解像度変換を統合した処理により、当該ブロックの解像度変換された残差を生成することを特徴とする請求項１に記載の画像解像度変換装置。   The conversion means receives the conversion coefficient extracted by the variable length decoding means as input, and generates a resolution-converted residual of the block by processing that integrates conversion and resolution conversion opposite to encoding. The image resolution conversion apparatus according to claim 1, wherein: 前記変換手段は、前記可変長復号手段により抽出された変換係数を解像度変換に応じて重み付け平均することにより、他のブロックが参照する被参照残差を生成することを特徴とする請求項２に記載の画像解像度変換装置。   3. The conversion unit according to claim 2, wherein the conversion unit generates a referenced residual that is referred to by another block by performing weighted averaging of the conversion coefficient extracted by the variable length decoding unit according to resolution conversion. The image resolution conversion apparatus described. 前記変換手段は、前記可変長復号手段により抽出された変換係数から他のブロックが参照する方向に応じた複数の被参照残差を生成することを特徴とする請求項２に記載の画像解像度変換装置。   3. The image resolution conversion according to claim 2, wherein the conversion unit generates a plurality of referenced residuals according to directions in which other blocks refer to the conversion coefficient extracted by the variable length decoding unit. apparatus. 前記被参照画素生成手段は、前記可変長復号手段により抽出された符号化モードおよび前記変換手段により生成された被参照残差を入力とし、前記符号化モードが表す参照関係と解像度とに応じて他のブロックが参照する被参照画素の値を生成することを特徴とする請求項１に記載の画像解像度変換装置。   The referenced pixel generation means receives the encoding mode extracted by the variable length decoding means and the referenced residual generated by the conversion means, and depends on the reference relationship and resolution represented by the encoding mode. The image resolution conversion apparatus according to claim 1, wherein a value of a referenced pixel that is referenced by another block is generated. 前記被参照画素生成手段は、前記変換手段により生成された被参照残差と前記バッファに蓄積されている１つ以上の予測値とから他のブロックが参照する被参照画素の値を予測モードに応じて近似的に生成することを特徴とする請求項５に記載の画像解像度変換装置。   The referenced pixel generation means sets the value of the referenced pixel referenced by another block from the reference residual generated by the conversion means and one or more prediction values stored in the buffer to a prediction mode. 6. The image resolution conversion apparatus according to claim 5, wherein the image resolution conversion apparatus generates the signal approximately in response. 前記被参照画素生成手段は、複数の近似式を有し、該複数の近似式のうちの１つを前記バッファに蓄積されている予測値に応じて適応的に適用して他のブロックが参照する被参照画素の値を近似的に生成することを特徴とする請求項６に記載の画像解像度変換装置。   The referenced pixel generation means has a plurality of approximation formulas, and adaptively applies one of the plurality of approximation formulas according to a prediction value stored in the buffer to be referenced by another block. The image resolution conversion apparatus according to claim 6, wherein the reference pixel value to be generated is approximately generated. 前記予測値生成手段は、前記可変長復号手段により抽出された符号化モードおよび前記バッファに蓄積されている予測値の値を入力とし、前記バッファに蓄積されている１つ以上の予測値から当該ブロックが解像度変換されたときの被参照画素の予測値を予測モードに応じて近似的に生成することを特徴とする請求項１に記載の画像解像度変換装置。   The prediction value generation means receives the encoding mode extracted by the variable length decoding means and the value of the prediction value stored in the buffer, and based on one or more prediction values stored in the buffer The image resolution conversion apparatus according to claim 1, wherein the prediction value of the reference pixel when the resolution of the block is converted is approximately generated according to the prediction mode.
JP2007237887A 2007-09-13 2007-09-13 Image resolution converting device Pending JP2009071586A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007237887A JP2009071586A (en) 2007-09-13 2007-09-13 Image resolution converting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007237887A JP2009071586A (en) 2007-09-13 2007-09-13 Image resolution converting device

Publications (1)

Publication Number Publication Date
JP2009071586A true JP2009071586A (en) 2009-04-02

Family

ID=40607392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007237887A Pending JP2009071586A (en) 2007-09-13 2007-09-13 Image resolution converting device

Country Status (1)

Country Link
JP (1) JP2009071586A (en)

Similar Documents

Publication Publication Date Title
JP5133135B2 (en) Video encoding method and apparatus, decoding method and apparatus using inter-color compensation
JP4528694B2 (en) Video encoding device
JP4114885B2 (en) Image encoding apparatus, method, and program
JP2004096757A (en) Interpolation method and its apparatus for move compensation
JP2009543423A (en) Video encoding / decoding method and apparatus
JPWO2006070614A1 (en) Image encoding apparatus, image encoding method and program thereof
JP6409516B2 (en) Picture coding program, picture coding method, and picture coding apparatus
JP2009010492A (en) Image decoder and image conversion circuit
KR101557163B1 (en) Apparatus and method for converting image in an image processing system
JPH1155678A (en) Inter-block interpolation prediction coder, decoder, coding method and decoding method
JP2005318297A (en) Method and device for encoding/decoding dynamic image
JP4552261B2 (en) Digital information conversion apparatus and method, and image information conversion apparatus and method
KR101445791B1 (en) Method and apparatus for encoding/decoding interlace scanning image using motion vector transformation
JP4559811B2 (en) Information processing apparatus and information processing method
JP5328629B2 (en) Encoder and image conversion apparatus
JP2008187694A (en) Image encoder and method thereof
JP2014078977A (en) Moving image decoder, moving image decoding method and program
JP2009071586A (en) Image resolution converting device
JP6557483B2 (en) Encoding apparatus, encoding system, and program
JPH10150665A (en) Method for generating predictive image, and method and device for image encoding
JP4857152B2 (en) Orthogonal transformation / quantization equipment
JP4533157B2 (en) Image decoding method
JP2005184525A (en) Image processor
JP5645589B2 (en) Video encoding device
JP2011015260A (en) Image decoding apparatus and method therefor