JP4089898B2 - Encoded video conversion device - Google Patents

Encoded video conversion device Download PDF

Info

Publication number
JP4089898B2
JP4089898B2 JP2003372223A JP2003372223A JP4089898B2 JP 4089898 B2 JP4089898 B2 JP 4089898B2 JP 2003372223 A JP2003372223 A JP 2003372223A JP 2003372223 A JP2003372223 A JP 2003372223A JP 4089898 B2 JP4089898 B2 JP 4089898B2
Authority
JP
Japan
Prior art keywords
coding coefficient
transform coding
unit
motion
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003372223A
Other languages
Japanese (ja)
Other versions
JP2005136804A (en
Inventor
晴久 加藤
康之 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2003372223A priority Critical patent/JP4089898B2/en
Publication of JP2005136804A publication Critical patent/JP2005136804A/en
Application granted granted Critical
Publication of JP4089898B2 publication Critical patent/JP4089898B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化動画像変換装置に関し、特に、ある方式で変換符号化された符号化情報を復号して得られる変換符号化係数を用い、符号化方式と解像度が異なる符号化情報へ、高速かつ高精度に変換することができる符号化動画像変換装置に関するものである。   The present invention relates to an encoded moving image conversion apparatus, and in particular, to a conversion information having a resolution different from that of an encoding method using a conversion encoding coefficient obtained by decoding encoded information converted and encoded by a certain method. The present invention relates to an encoded moving image conversion apparatus capable of converting at high speed and with high accuracy.

従来、種々の動画像符号化方式が知られており、ある方式で符号化された情報を他の方式で共有するためには符号化変換が必要である。この符号化方式変換として、例えば、DV(Digital Video)フォーマットからMPEGフォーマットへの変換がある。   Conventionally, various moving image encoding methods are known, and in order to share information encoded by a certain method with another method, encoding conversion is necessary. As this encoding method conversion, for example, there is conversion from DV (Digital Video) format to MPEG format.

符号化情報の方式および解像度(大きさ)を変換する場合、ある方式で符号化された符号化情報を画素領域まで完全に復号してから異なる方式および解像度へ再符号化する手法(第1の手法)がある。DVフォーマットからMPEGフォーマットへの変換の場合、DVフォーマットで符号化された圧縮符号化情報を一旦、完全に画素領域まで復号した後、改めて再符号化してMPEGフォーマットに変換する。   When converting the encoding information method and resolution (size), a method (first method) in which encoded information encoded by a certain method is completely decoded up to the pixel region and then re-encoded to a different method and resolution. Method). In the case of conversion from the DV format to the MPEG format, the compression encoded information encoded in the DV format is once decoded completely to the pixel area, and then re-encoded to convert it to the MPEG format.

また、ある方式で符号化された圧縮符号化情報そのものまたはその一部を復号した情報を用いて異なる方式および解像度で符号化された情報に変換する手法(第2の手法)も知られている。DVフォーマットからMPEGフォーマットへの変換の場合、DVフォーマットで符号化された圧縮符号化情報を可変長復号と逆量子化によってDCT係数まで部分的に復号し、復号されたDCT係数を基にDVフォーマットからMPEGフォーマットへ変換する。第2の手法は、非特許文献1に記載されている。
D.Kim, et al., “Direct converting DV into MPEG-2 intra coding”IEEE Transactions on Consumer Electronics, vol,47, no.4, 2001 pp.941-945
There is also known a method (second method) for converting information encoded in a different method and resolution using information obtained by decoding compressed encoded information itself or a part thereof encoded by a certain method. . In the case of conversion from DV format to MPEG format, compression encoded information encoded in DV format is partially decoded up to DCT coefficient by variable length decoding and inverse quantization, and DV format is based on the decoded DCT coefficient To MPEG format. The second technique is described in Non-Patent Document 1.
D. Kim, et al., “Direct converting DV into MPEG-2 intra coding” IEEE Transactions on Consumer Electronics, vol, 47, no. 4, 2001 pp. 941-945

しかしながら、圧縮符号化情報を完全に画素領域まで復号した後、改めて再符号化する第1の手法では、演算量が膨大になり、処理速度が遅いという課題がある。   However, the first method that completely decodes the compression-encoded information up to the pixel area and then re-encodes it again has a problem that the amount of calculation becomes enormous and the processing speed is slow.

第2の手法では、圧縮符号化情報やDCT係数を再利用してフォーマット変換および動き予測を行うが、動き補償は画素領域で行うため、第1の手法と同じ課題を抱える。さらに、DVフォーマットへのDCT変換では、低次の基底のDCT係数で近似しているため画質の劣化が著しい。   In the second method, compression conversion information and DCT coefficients are reused to perform format conversion and motion prediction. However, since motion compensation is performed in the pixel region, it has the same problem as the first method. Further, in the DCT conversion to the DV format, the image quality is significantly deteriorated because it is approximated by a low-order basis DCT coefficient.

本発明の目的は、前述した従来技術の課題を解決し、ある方式で符号化された符号化情報を復号して得られる変換符号化係数を用い、符号化方式と解像度が異なる符号化情報へ、変換符号化係数領域で高速かつ高精度に変換することができる符号化動画像変換装置を提供することにある。   An object of the present invention is to solve the above-described problems of the prior art, and to use encoded transform information obtained by decoding encoded information encoded by a certain method, and to encode information having a resolution different from that of the encoding method. Another object of the present invention is to provide an encoded moving image conversion apparatus that can perform high-speed and high-accuracy conversion in a transform coding coefficient region.

前記した課題を解決するために、本発明は、第1の符号化方式で符号化された符号化情報を前記第1の符号化方式とは異なる第2の符号化方式の符号化情報に変換するとともに、異なる解像度に変換して出力する符号化動画像変換装置において、第1の符号化方式の符号化情報を部分的に復号して変換符号化係数の一部だけを取得し、低次の基底による変換符号化係数を出力する符号化係数取得部と、前記符号化係数取得部で取得された変換符号化係数と参照変換符号化係数に基づいて動き情報を生成する動き予測部と、前記符号化係数取得部で取得された変換符号化係数および前記動き予測部で生成された動き情報を用いて変換符号化係数領域で動き補償を行って参照変換符号化係数を生成するとともに、予測誤差情報を生成する予測誤差情報生成部と、前記予測誤差情報生成部で生成された予測誤差情報における基底を前記第2の符号化方式の変換符号化の基底に変化させる基底変換部とを備えたことを第1の特徴とする。 In order to solve the above-described problem, the present invention converts encoded information encoded by the first encoding scheme into encoded information of a second encoding scheme different from the first encoding scheme. In addition, in the encoded moving image conversion apparatus that converts and outputs to different resolutions, the encoding information of the first encoding method is partially decoded to obtain only a part of the conversion encoding coefficient , A coding coefficient acquisition unit that outputs a transform coding coefficient based on a base of the above, a motion prediction unit that generates motion information based on the transform coding coefficient obtained by the coding coefficient obtaining unit and a reference transform coding coefficient, Using the transform coding coefficient acquired by the coding coefficient acquisition unit and the motion information generated by the motion prediction unit, motion compensation is performed in the transform coding coefficient region to generate a reference transform coding coefficient and prediction Prediction error that generates error information A broadcast generating unit, the prediction error the basal in information prediction error information generated by the generating unit second encoding method first characterized in that a basis conversion unit that changes the base of the transform coding And

また、本発明は、前記動き予測部が、前記符号化係数取得部で取得された変換符号化係数および参照変換符号化係数からそれぞれ生成された縮小画像間において動き情報を探索することを第の特徴とする。また、本発明は、前記動き予測部が、前記縮小画像に対して整数画素単位以上の高精度で動き情報を探索することを第の特徴とする。また、本発明は、前記動き予測部が、変換符号化係数の特徴に応じて動き情報の探索の精度を異ならせることを第の特徴とする。 Further, the present invention, the motion prediction unit, the encoding coefficient acquisition unit acquired by transform coding coefficients and the reference transform coding to explore the motion information between the reduced image generated respectively from the coefficient second It is characterized by. The third feature of the present invention is that the motion prediction unit searches for motion information with high accuracy of an integer pixel unit or more for the reduced image. The fourth feature of the present invention is that the motion prediction unit varies the accuracy of the search for motion information according to the feature of the transform coding coefficient.

また、本発明は、前記予測誤差情報生成部が、前記符号化係数取得部で取得された変換符号化係数と動き補償された変換符号化係数との差である予測誤差情報を求める減算器と、前記減算器からの予測誤差情報を量子化して量子化済み予測誤差情報を出力する量子化部と、前記量子化部からの量子化済み予測誤差情報を逆量子化する逆量子化部と、前記逆量子化部からの量子化誤差を含む予測誤差情報と動き補償された予測変換符号化係数とを加算して参照変換符号化係数を出力する加算器と、前記加算器からの参照変換符号化係数を格納するフレームメモリと、前記フレームメモリからの参照変換符号化係数と前記動き予測部で生成された動き情報に基づいて動き補償された予測変換符号化係数を求め、該予測変換符号化係数を前記減算器と加算器に出力する動き補償部とを備えることを第の特徴とする。 In the present invention, the prediction error information generation unit may obtain a prediction error information that is a difference between the transform coding coefficient acquired by the coding coefficient acquisition unit and a motion-compensated transform coding coefficient; A quantization unit that quantizes the prediction error information from the subtracter and outputs quantized prediction error information; and an inverse quantization unit that dequantizes the quantized prediction error information from the quantization unit; An adder that adds prediction error information including a quantization error from the inverse quantization unit and a motion-compensated prediction transform coding coefficient to output a reference transform coding coefficient; and a reference transform code from the adder A frame memory for storing a coding coefficient, a reference transform coding coefficient from the frame memory and a motion-compensated predictive transform coding coefficient based on motion information generated by the motion prediction unit, and the predictive transform coding Coefficient subtractor Further comprising a motion compensation unit for outputting to the adder to the fifth aspect.

また、本発明は、前記予測誤差情報生成部が、変換符号化係数の単位をまたがる領域から再構成した符号化変換係数を用いて動き補償を行うことを第の特徴とする。また、本発明は、前記予測誤差情報生成部が、複数の変換符号化係数単位を一括して処理して動き補償を行うことを第の特徴とする。 The sixth aspect of the present invention is that the prediction error information generation unit performs motion compensation using a coded transform coefficient reconstructed from a region that spans a unit of the transform coded coefficient. The seventh aspect of the present invention is that the prediction error information generation unit performs motion compensation by collectively processing a plurality of transform coding coefficient units.

また、本発明は、前記予測誤差情報生成部が、前記参照変換符号化係数を生成するためベースバンドによる動き補償処理を行列形式で表現したときに変換符号化係数に乗算される行列を動き補償テーブルとして保持し、さらに乗算器と加算器を備え、動き補償を行うに際し前記動き補償テーブルの要素と前記変換符号化係数との行列積を導出し、これを前記参照変換符号化係数とすることを第の特徴とする。
Further, the present invention provides a motion compensation for a matrix that is multiplied by a transform coding coefficient when the prediction error information generation unit expresses a baseband motion compensation process in a matrix format to generate the reference transform coding coefficient. held as a table, further comprising a multiplier and an adder, in performing motion compensation to derive a matrix product of the element and the transform coding coefficients of the motion compensation table, and the reference transform coding coefficients this This is the eighth feature.

また、本発明は、前記予測誤差情報生成部が、前記動き補償テーブルの要素と変換符号化係数との行列積を導出するに際し、一度演算した結果を保持し、前記動き補償テーブルの部分集合の対称性から一度演算した結果を再利用できる場合には、再度演算することなく前記保持した結果を利用することを第の特徴とする。また、本発明は、前記動き補償テーブルが、水平成分と垂直成分をそれぞれ個別に保持することを第10の特徴とする。 In the present invention, when the prediction error information generation unit derives a matrix product between an element of the motion compensation table and a transform coding coefficient, the prediction error information generation unit holds a result of the calculation once, and a subset of the motion compensation table The ninth feature is that when the result of the calculation once from the symmetry can be reused, the stored result is used without performing the calculation again . The tenth feature of the present invention is that the motion compensation table individually holds a horizontal component and a vertical component.

また、本発明は、前記動き補償テーブルが、前記低次の基底による復号処理と動き情報が取り得る全てのシフト演算と前記低次の基底による符号化処理とを予め計算して求められた数値を保持することを第11の特徴とする。 Further, the present invention, the motion compensation table, obtained the precomputed the lower order and all shift operations decoding and motion information can take by the base and the lower-order basis by the encoding processing numerical It is an eleventh feature to hold.

また、本発明は、前記基底変換部が、基底変換テーブルと乗算器と加算器を備え、前記基底変換テーブルの要素と変換符号化係数との行列積を導出することを第12の特徴とする。 According to a twelfth aspect of the present invention, the basis conversion unit includes a basis conversion table, a multiplier, and an adder, and derives a matrix product of the elements of the basis conversion table and transform coding coefficients. .

また、本発明は、前記基底変換テーブルが、前記低次の基底による復号処理と前記第2の符号化方式の基底による符号化処理とを予め計算して求められた数値を保持することを第13の特徴とする。 Further, the present invention, the said base conversion table holds the numerical value obtained by the encoding process by the base of the low-order decoding processing by the base of said second encoding method precalculated 13 features.

また、本発明は、前記基底変換部が、前記基底変換テーブルの要素と変換符号化係数との行列積を導出するに際し、一度演算した結果を保持し、前記基底変換テーブルの部分集合の対称性から一度演算した結果を再利用できる場合には、再度演算することなく前記保持した結果を利用することを第14の特徴とする。 In the present invention, when the basis conversion unit derives a matrix product between the elements of the basis conversion table and the transform coding coefficient, the basis conversion result is held, and the symmetry of the subset of the basis conversion table is maintained. In the fourteenth feature , when the result of the calculation once can be reused, the stored result is used without performing the calculation again .

本発明では、符号化方式の変換と解像度変換を、計算量の多い逆変換を行うことなく、変換符号化係数領域で行う。これにより、変換符号化によって圧縮符号化された動画像情報を直接的に利用して変換符号化係数の基底変換までを高速に実現することができる。   In the present invention, the coding method conversion and the resolution conversion are performed in the transform coding coefficient region without performing the inverse transform with a large amount of calculation. Thereby, it is possible to realize at high speed the basis conversion of the transform coding coefficient by directly using the moving image information compression-coded by transform coding.

また、縮小画像間での動き探索を用いた動き予測において高解像度かつ高精度の動き情報を推定することにより、出力サイズが異なっていても動き情報を高速かつ適切に決定することが可能になる。さらに、動き補償をも変換符号化領域で実現し、低次の変換符号化係数を利用し、動き予測や動き補償処理において定数行列などをテーブルなどとして保持することにより演算量を大幅に削減することができる。   In addition, by estimating motion information with high resolution and accuracy in motion prediction using motion search between reduced images, it becomes possible to determine motion information quickly and appropriately even if the output size is different. . In addition, motion compensation is also realized in the transform coding domain, using low-order transform coding coefficients, and maintaining constant matrices as tables in motion prediction and motion compensation processing, greatly reduces the amount of computation be able to.

以下、図面を参照して本発明を詳細に説明する。図1は、本発明に係る符号化動画像変換装置の原理を示すブロック図である。まず、第1の符号化方式の符号化情報を符号化係数取得部1で復号して変換符号化係数を取得する。ここで取得する変換符号化係数は、低次の基底で、出力すべき第2の符号化方式の基底とは異なる以後の変換処理は、取得された変換符号化を用いて変換符号化係数領域で行われる。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing the principle of an encoded moving image conversion apparatus according to the present invention. First, the encoding information of the first encoding method is decoded by the encoding coefficient acquisition unit 1 to acquire a transform encoding coefficient. The transform coding coefficient obtained here is a low- order basis and is different from the basis of the second coding scheme to be output . Subsequent conversion processing is performed in the transform coding coefficient region using the obtained transform coding.

動き予測部2は、符号化係数取得部1で取得された変換符号化係数と後述の予測誤差情報生成部3で生成された参照変換符号化係数に基づいて動き情報を生成する。予測誤差情報生成部3は、符号化係数取得部1で取得された変換符号化係数および動き予測部2で生成された動き情報を用いて変換符号化係数領域で動き補償を行って参照変換符号化係数を生成するとともに、第2の符号化方式とは異なる基底の予測誤差情報を生成する。   The motion prediction unit 2 generates motion information based on the transform coding coefficient acquired by the coding coefficient acquisition unit 1 and a reference transform coding coefficient generated by a prediction error information generation unit 3 described later. The prediction error information generation unit 3 performs motion compensation in the transform coding coefficient region using the transform coding coefficient acquired by the coding coefficient acquisition unit 1 and the motion information generated by the motion prediction unit 2, and performs a reference transform code. And a base prediction error information different from the second encoding method.

基底変換部4は、予測誤差情報生成部3で生成された予測誤差情報の基底を変化させ、第2の符号化方式の符号化情報として出力する。   The basis conversion unit 4 changes the basis of the prediction error information generated by the prediction error information generation unit 3 and outputs it as encoded information of the second encoding method.

図2は、第1の符号化方式の符号化情報がDVフォーマットであり、第2の符号化方式の符号化情報がMPEGフォーマットである場合の、本発明の実施形態のブロック図である。もちろん、本発明は、DVフォーマットとMPEGフォーマット間の変換に限定されるものではない。   FIG. 2 is a block diagram of an embodiment of the present invention when the encoding information of the first encoding method is in the DV format and the encoding information of the second encoding method is in the MPEG format. Of course, the present invention is not limited to conversion between the DV format and the MPEG format.

図2において、符号化係数取得部21は、入力されたDVフォーマットの圧縮符号化情報を部分的に復号して8×8DCT係数の低域4×4成分を取得し、基底の違いを調整するための定数を乗じて減算器22と第1の縮小画像生成部28に出力する。   In FIG. 2, the encoding coefficient acquisition unit 21 partially decodes the input compressed encoding information in the DV format to acquire the low frequency 4 × 4 component of the 8 × 8 DCT coefficient, and adjusts the difference between the bases. Is multiplied by a constant for output to the subtracter 22 and the first reduced image generation unit 28.

減算器22は、符号化係数取得部21で取得された1フレーム分の低域4×4DCT係数と動き補償された1フレーム分の予測4×4DCT係数の差を求め、1フレーム分の4×4DCT係数の差分値である予測誤差情報を出力する。動き補償された1フレーム分の予測4×4DCT係数は、後述の動き補償部27から出力される。   The subtracter 22 obtains a difference between the low-frequency 4 × 4 DCT coefficient for one frame acquired by the coding coefficient acquisition unit 21 and the predicted 4 × 4 DCT coefficient for one frame subjected to motion compensation, and 4 × for one frame. Prediction error information that is a difference value of 4DCT coefficients is output. The motion-compensated prediction 4 × 4 DCT coefficients for one frame are output from the motion compensation unit 27 described later.

量子化部23は、減算器22で得られた予測誤差情報を量子化し、量子化済み予測誤差情報(量子化済み低域4×4DCT係数)を逆量子化部24と基底変換部31に出力する。逆量子化部24は、量子化部23で得られた量子化予測誤差情報を逆量子化し、量子化誤差を含んだ予測誤差情報を出力する。   The quantization unit 23 quantizes the prediction error information obtained by the subtracter 22 and outputs the quantized prediction error information (quantized low frequency 4 × 4 DCT coefficient) to the inverse quantization unit 24 and the basis conversion unit 31. To do. The inverse quantization unit 24 inversely quantizes the quantization prediction error information obtained by the quantization unit 23 and outputs prediction error information including a quantization error.

加算器25は、逆量子化部24で得られた量子化誤差を含んだ予測誤差情報と動き補償された1フレーム分の予測4×4DCT係数を加算し、1フレーム分の参照4×4DCT係数を求め、フレームメモリ26に出力する。ここで用いる動き補償された1フレーム分の予測4×4DCT係数も後述の動き補償部27から出力される。   The adder 25 adds the prediction error information including the quantization error obtained by the inverse quantization unit 24 and the motion-compensated prediction 4 × 4 DCT coefficient for one frame, and adds a reference 4 × 4 DCT coefficient for one frame. Is output to the frame memory 26. The motion-compensated 27 × 4 DCT coefficients for one frame used here are also output from the motion compensation unit 27 described later.

フレームメモリ26は、加算器25で得られた1フレーム分の参照4×4DCT係数を格納し、これを符号化する順序に応じて1フレーム分の参照4×4DCT係数として動き補償部27と第2の縮小画像生成部29に出力する。   The frame memory 26 stores the reference 4 × 4 DCT coefficients for one frame obtained by the adder 25, and the motion compensation unit 27 and the first reference 4 × 4 DCT coefficients as one frame according to the encoding order. 2 to the reduced image generation unit 29.

動き補償部27は、フレームメモリ26から得られた1フレーム分の参照4×4DCT係数を動きベクトルを用いて4×4DCT係数上で動き補償して前の1フレーム分の予測4×4DCT係数を生成し、これを減算器22と加算器25に出力する。   The motion compensation unit 27 performs motion compensation on the reference 4 × 4 DCT coefficient for one frame obtained from the frame memory 26 on the 4 × 4 DCT coefficient using the motion vector, and obtains the predicted 4 × 4 DCT coefficient for the previous one frame. This is generated and output to the subtracter 22 and the adder 25.

第1の縮小画像生成部28は、符号化係数取得部21で取得された1フレーム分の低域4×4DCT係数のうちの2×2DCT係数を加減算のみからなる2×2IDCTで処理して縮小画像を生成し、この縮小画像を動き予測部30に出力する。   The first reduced image generation unit 28 reduces the 2 × 2 DCT coefficients of the low frequency 4 × 4 DCT coefficients for one frame acquired by the coding coefficient acquisition unit 21 by 2 × 2 IDCT including only addition and subtraction. An image is generated, and the reduced image is output to the motion prediction unit 30.

第2の縮小画像生成部29は、フレームメモリ26から得られた1フレーム分の低域4×4DCT係数のうちの2×2DCT係数を加減算のみからなる2×2IDCTで処理して縮小画像を生成し、この縮小画像を動き予測部30に出力する。   The second reduced image generating unit 29 generates a reduced image by processing the 2 × 2 DCT coefficients of the low frequency 4 × 4 DCT coefficients for one frame obtained from the frame memory 26 with 2 × 2 IDCT including only addition and subtraction. Then, this reduced image is output to the motion prediction unit 30.

動き予測部30は、第1の縮小画像生成部28で得られた縮小画像と第2の縮小画像生成部29で得られた縮小画像との間の動きベクトルを探索し、探索した動きベクトルを動き補償部27に出力する。   The motion prediction unit 30 searches for a motion vector between the reduced image obtained by the first reduced image generation unit 28 and the reduced image obtained by the second reduced image generation unit 29, and uses the searched motion vector. The result is output to the motion compensation unit 27.

動き予測部30で、オーバサンプリングにより1/4pel精度まで動きベクトルの探索を行い、出力サイズにスケーリングした動きベクトルを出力するようにすれば、高解像度かつ高速に動きベクトルを得ることができる。また、DCT係数のAC成分や量子化情報に応じて動きベクトルの探索精度を異ならせることもできる。例えば、DCT係数のAC成分が多い場合、動きベクトルの精度低下による画質低下は目立たないので、その探索精度を低くすることにより計算量を低減させることができる。   If the motion prediction unit 30 searches for a motion vector to 1/4 pel accuracy by oversampling and outputs a motion vector scaled to the output size, the motion vector can be obtained at high resolution and at high speed. Also, the motion vector search accuracy can be varied according to the AC component of the DCT coefficient and the quantization information. For example, when the AC component of the DCT coefficient is large, the deterioration in image quality due to the decrease in accuracy of the motion vector is not conspicuous. Therefore, the calculation amount can be reduced by reducing the search accuracy.

基底変換部31は、量子化部23で得られた量子化済み予測誤差情報をDCT係数上でMPEGフォーマットの8×8DCT係数に変換し、量子化済み8×8DCT係数を可変長符号化部32へ出力する。   The basis conversion unit 31 converts the quantized prediction error information obtained by the quantization unit 23 into 8 × 8 DCT coefficients in MPEG format on the DCT coefficients, and converts the quantized 8 × 8 DCT coefficients to the variable length coding unit 32. Output to.

可変長符号化部32は、基底変換部31で得られた量子化済み8×8DCT係数と動き補償部30で得られた動きベクトルを可変長符号化し、バッファ33に出力する。   The variable length coding unit 32 performs variable length coding on the quantized 8 × 8 DCT coefficient obtained by the basis conversion unit 31 and the motion vector obtained by the motion compensation unit 30, and outputs the result to the buffer 33.

バッファ33は、可変長符号化部32で得られたMPEGフォーマットのデータを一時的に保持し、送出する。レート制御部34は、バッファ33に保持された符号量をもとに量子化パラメータを決定し、量子化部23からの情報発生量を制御する。   The buffer 33 temporarily holds and transmits the MPEG format data obtained by the variable length coding unit 32. The rate control unit 34 determines a quantization parameter based on the code amount held in the buffer 33 and controls the amount of information generated from the quantization unit 23.

次に、動き補償部27における演算処理について説明する。動き補償する場合、16組の4×4DCT係数は、前フレームの25組の4×4DCT係数にまたがることがあるので、以下では、DCT係数領域において動きベクトルと25組の4×4DCT係数から16組の4×4DCT係数を取得して動き補償する場合を例として説明する。 Next, calculation processing in the motion compensation unit 27 will be described. In the case of motion compensation, 16 sets of 4 × 4 DCT coefficients may straddle 25 sets of 4 × 4 DCT coefficients in the previous frame, so in the following, in the DCT coefficient domain, 16 sets of motion vectors and 25 sets of 4 × 4 DCT coefficients are used. A case where motion compensation is performed by acquiring a set of 4 × 4 DCT coefficients will be described as an example.

動きベクトルの水平成分,垂直成分ともに4の倍数である場合は、1つのブロックは前フレームの複数のブロックにまたがらないので、該当する場所のDCT係数を取得して処理を終了する。それ以外の場合、複数のブロックにまたがるのでDCT係数をそれらのブロックから取得して再構成する必要がある。   If both the horizontal and vertical components of the motion vector are multiples of 4, one block does not extend over a plurality of blocks in the previous frame, so the DCT coefficient at the corresponding location is acquired and the process ends. In other cases, since it extends over a plurality of blocks, it is necessary to obtain and reconstruct DCT coefficients from those blocks.

まず、動きベクトルの水平成分,垂直成分ともに4の倍数でない場合、動きベクトルが指す領域を含む25組の4×4DCT係数Xm,nを下記(1)式のように1つの20×20行列Pとして表す。 First, if the horizontal and vertical components of the motion vector are not multiples of 4, 25 sets of 4 × 4 DCT coefficients X m, n including the region pointed to by the motion vector are expressed as one 20 × 20 matrix as shown in the following equation (1). Represent as P.

Figure 0004089898
Figure 0004089898

ここで、ベースバンドによる動き補償処理を行列形式で表現すると、動きベクトル(i,j)に対する4×4個の4×4DCT係数行列Qは下記(2)式で表される。 Here, when the motion compensation processing by the baseband is expressed in a matrix format, 4 × 4 4 × 4 DCT coefficient matrices Q for the motion vector (i, j) are expressed by the following equation (2).

Figure 0004089898
Figure 0004089898

ここで、Tは、n次のDCT変換行列(本例の場合、n=4)を表し、演算子tは、転置操作を表す。また、行列W,Hはそれぞれ、16×16要素を取得するために入力された動きベクトルに応じて変化する16×20行列、20×16行列であり、動きベクトルが整数画素単位の場合には下記(3),(4)式で表すことができる。 Here, T n represents an n-th order DCT transformation matrix (in this example, n = 4), and an operator t represents a transposition operation. In addition, the matrices W j and H i are 16 × 20 matrix and 20 × 16 matrix that change according to the motion vector input in order to obtain 16 × 16 elements, respectively, and the motion vector is an integer pixel unit. Can be expressed by the following equations (3) and (4).

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

ここで、Eは、n次の単位行列(本例の場合、n=4)を表す。また、0,0はそれぞれ、16×iの0行列、j×16の0行列を表す。つまり、16×20行列H内の16×16単位行列E16は動きベクトルの水平成分の4による剰余で前後する。同じく、20×16行列W内の16×16単位行列E16は動きベクトルの垂直成分の4による剰余で前後する。いずれも、剰余が0でない3通りを取り得るので、予め計算して保持しておくことができる。 Here, E n is (in this example, n = 4) n order unit matrix representing the. Also, 0 i and 0 j represent a 16 × i 0 matrix and a j × 16 0 matrix, respectively. That is, the 16 × 16 unit matrix E 16 in the 16 × 20 matrix H i is back and forth with a remainder of 4 of the horizontal component of the motion vector. Similarly, the 16 × 16 unit matrix E 16 in the 20 × 16 matrix W j is preceded and followed by a remainder of 4 of the vertical component of the motion vector. In any case, since there are three ways in which the remainder is not 0, it is possible to calculate and hold in advance.

また、動きベクトルが半画素単位の場合、行列W,Hはそれぞれ、下記(5),(6)式で表すことができる。 When the motion vector is a half-pixel unit, the matrices W j and H i can be expressed by the following equations (5) and (6), respectively.

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

ここで、上記(5)式における0と1/2と1とからなる半画素生成行列は16×20行列であり、上記(6)式における0と1/2と1とからなる半画素生成行列は20×16行列である。いずれの場合でも、上記(2)式において入力DCT係数行列P以外はすべて定数行列であるので、それらを予め計算して格納しておくことにより演算回数を削減することができる。   Here, the half pixel generation matrix composed of 0, 1/2, and 1 in the above equation (5) is a 16 × 20 matrix, and the half pixel generation composed of 0, 1/2, and 1 in the above equation (6). The matrix is a 20 × 16 matrix. In any case, all except the input DCT coefficient matrix P in the above equation (2) are constant matrices, so the number of operations can be reduced by calculating and storing them in advance.

さらに、上記(2)式の定数行列の積を求めると、下記(7)式のように対称性が現れる。下記(7)式は、低次の基底による復号処理と動きベクトルが取り得るすべてのシフト演算(HiあるいはWi)と低次の基底による符号化処理の組合せである。 Further, when the product of the constant matrix of the above equation (2) is obtained, symmetry appears as the following equation (7). The following expression (7) is a combination of a decoding process using a low-order basis, all shift operations (Hi or Wi) that a motion vector can take, and an encoding process using a low-order basis.

Figure 0004089898
Figure 0004089898

ここで、A,B,C,Dは4×4行列を表す。 Here, A i , B i , C j , and D j represent a 4 × 4 matrix.

上記(2)式に上記(7)式を適用すると、DCT係数領域で動き補償されたDCT係数行列Qは、下記(8)式で表される。下記(8)式のPの両側に掛かる〔 〕を動き補償テーブルとして予め保持させておけば、乗算器と加算器を使用して動き補償テーブルの要素とDCT係数との行列積を導出することにより、DCT係数行列Qを計算することができる。   When the above equation (7) is applied to the above equation (2), the DCT coefficient matrix Q subjected to motion compensation in the DCT coefficient region is expressed by the following equation (8). If [] applied to both sides of P in the following equation (8) is held in advance as a motion compensation table, a matrix product of the elements of the motion compensation table and the DCT coefficient is derived using a multiplier and an adder. Thus, the DCT coefficient matrix Q can be calculated.

また、動きテーブルの部分集合の対称性を利用し、一度演算した結果を再度演算することなく利用し得る演算順序にすれば、計算の高速化を図ることができる。さらに、下記(8)式のPの両側に掛かる〔 〕を別々に、すなわち水平成分と垂直成分をそれぞれ個別に動き補償テーブルに保持させるようにしてもよい。   Further, by using the symmetry of the subset of the motion table and making the calculation order that can be used without performing the calculation once again, the calculation speed can be increased. Further, [] applied to both sides of P in the following equation (8) may be separately held in the motion compensation table, that is, the horizontal component and the vertical component may be held individually.

Figure 0004089898
Figure 0004089898

上記(1)式を用い、上記(8)式を展開すると、下記(9)式が導出される。変換符号化係数を下記(9)式に従って一括処理することにより動き補償を行うことができる。ここで、α〜μは、下記(10)〜(21)式で表される。   When the above equation (8) is expanded using the above equation (1), the following equation (9) is derived. Motion compensation can be performed by collectively processing the transform coding coefficients according to the following equation (9). Here, α to μ are represented by the following equations (10) to (21).

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

上記(9)式の右辺括弧内の式は、共通する部分が多く、上記(10)〜(21)式を計算した結果を保持することで演算量を削減することができる。また、解像度変換行列はA,B,C,Dだけであるので、格納に必要なメモリ量を小さく抑えることが可能になる。 The expression in the right parenthesis of the expression (9) has many common parts, and the amount of calculation can be reduced by holding the result of calculating the expressions (10) to (21). In addition, since the resolution conversion matrix is only A i , B i , C j , D j , the amount of memory necessary for storage can be reduced.

特に動きベクトルの成分が偶数の場合には、B=HAH、D=HCHが成り立つので、さらなる高速化と省メモリ化が可能になる。ここで、Hは下記(22)式で表される行列である。 In particular, when the motion vector component is an even number, B i = HA i H and D j = HC j H are satisfied, so that higher speed and memory saving are possible. Here, H is a matrix represented by the following equation (22).

Figure 0004089898
Figure 0004089898

動きベクトルの水平成分,垂直成分のいずれか一方が4の倍数で、他方が4の倍数でない場合は、4の倍数の成分に係る処理を省略することが可能である。例えば、動きベクトルの水平成分が4の倍数の場合は入力DCT係数行列Pを20×16行列に設定し、垂直成分が4の倍数の場合は入力DCT係数行列Pを16×20行列に設定することにより演算量を削減することが可能になる。   When one of the horizontal component and the vertical component of the motion vector is a multiple of 4 and the other is not a multiple of 4, the processing related to the multiple component of 4 can be omitted. For example, when the horizontal component of the motion vector is a multiple of 4, the input DCT coefficient matrix P is set to a 20 × 16 matrix, and when the vertical component is a multiple of 4, the input DCT coefficient matrix P is set to a 16 × 20 matrix. This makes it possible to reduce the amount of calculation.

次に、基底変換部31における演算処理について説明する。以下では、4組の4×4DCT係数を1組の8×8DCT係数に基底変換する場合を例として説明する。 Next, calculation processing in the base conversion unit 31 will be described. In the following, an example will be described in which four sets of 4 × 4 DCT coefficients are base-transformed into one set of 8 × 8 DCT coefficients.

はじめに4組の4×4DCT係数X,Y,Z,Wを下記(23)式のように1つの8×8行列Uとして表す。   First, four sets of 4 × 4 DCT coefficients X, Y, Z, and W are represented as one 8 × 8 matrix U as shown in the following equation (23).

Figure 0004089898
Figure 0004089898

ベースバンドによる基底変換処理を行列式で表現すると、基底変換された8×8DCT係数行列Vは、下記(24)式で表される。   When the base conversion processing by the baseband is expressed by a determinant, the base-converted 8 × 8 DCT coefficient matrix V is expressed by the following equation (24).

Figure 0004089898
Figure 0004089898

ここで、Tは、n次のDCT変換行列を表し、演算子tは、転置操作を表す。入力DCT係数行列U以外はすべて定数行列であるので、それらを予め計算して格納しておくことにおり演算回数を削減することができる。 Here, T n represents an n-th order DCT transformation matrix, and an operator t represents a transposition operation. Since all except the input DCT coefficient matrix U are constant matrices, the number of operations can be reduced by calculating and storing them in advance.

また、上記(24)式の定数行列の積は、下記(25)式のように対称性が現れる。下記(25)式は、低次の基底による復号処理とMPEG(第2の符号化)方式の基底による符号化処理の組合せである。   In addition, the product of the constant matrix of the above equation (24) exhibits symmetry as in the following equation (25). The following equation (25) is a combination of a decoding process based on a low-order basis and an encoding process based on an MPEG (second encoding) system basis.

Figure 0004089898
Figure 0004089898

ここで、A,Bは4×4行列を表し、単項演算子「′」は斜め格子状に正負符号を反転させる操作を表す。単項演算子「′」は下記(26)式で表現することができる。   Here, A and B represent a 4 × 4 matrix, and the unary operator “′” represents an operation for inverting the sign of the sign in a diagonal lattice pattern. The unary operator “′” can be expressed by the following equation (26).

Figure 0004089898
Figure 0004089898

ここで、Hは上記(22)式で表される行列である。 Here, H is a matrix represented by the above equation (22).

上記(24)式に上記(25)式を適用すると、基底変換された8×8DCT係数行列Vは、下記(27)式で表される。下記(27)式のUの両側に掛かる〔 〕を基底変換テーブルとして予め保持させておけば、乗算器と加算器を使用して基底変換テーブルの要素とDCT係数との行列積を導出することにより、DCT係数行列Vを計算することができる。また、基底変換テーブルの部分集合の対称性を利用し、一度演算した結果を再度演算することなく利用し得る演算順序にすれば、計算の高速化を図ることができる。   When the above equation (25) is applied to the above equation (24), the base-transformed 8 × 8 DCT coefficient matrix V is expressed by the following equation (27). If [] applied to both sides of U in the following equation (27) is held in advance as a base conversion table, a matrix product of elements of the base conversion table and DCT coefficients is derived using a multiplier and an adder. Thus, the DCT coefficient matrix V can be calculated. Further, if the symmetry of the subset of the base conversion table is used and the calculation order is set so that the calculation result can be used without calculating again, the calculation speed can be increased.

Figure 0004089898
Figure 0004089898

上記(27)式を展開すると、下記(28)式が導出される。   When the above expression (27) is expanded, the following expression (28) is derived.

Figure 0004089898
Figure 0004089898

上記(28)式の括弧内の式(例えば、(AX+A′Z),(AY+A′W))は、それぞれ左右で等しいので、括弧内の式を計算した結果を保持することで演算量を削減することができる。また、解像度変換行列はA,Bだけであるので、格納に必要なメモリ量を小さく抑えることが可能になる。   Since the expressions in parentheses in the above expression (28) (for example, (AX + A′Z), (AY + A′W)) are equal on the left and right, the amount of calculation is reduced by holding the result of calculating the expression in parentheses. can do. Further, since the resolution conversion matrices are only A and B, the amount of memory required for storage can be kept small.

さらに、上記(28)式の右辺左上の4×4部分行列をωと置くと、下記(29)式が得られる。   Furthermore, when the 4 × 4 submatrix at the upper left of the right side of the equation (28) is set as ω, the following equation (29) is obtained.

Figure 0004089898
Figure 0004089898

上記(29)式の前後から行列H(上記(26)式)を掛け、下記(31)式の関係を利用すると、単項演算子「′」が反転し、斜め格子状に正負が反転した下記(30)式が得られる。ただし、ここでの式変形には、単位行列Eについての下記(31)式を利用する。   Multiplying the matrix H (formula (26)) from before and after the formula (29) and using the relationship of the formula (31) below, the unary operator “′” is inverted, and the positive and negative signs are inverted in a diagonal lattice. Equation (30) is obtained. However, the following equation (31) for the unit matrix E is used for the equation modification here.

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

上記(29)式と上記(30)式を加算すると、下記(32)式が得られる。   When the above equation (29) and the above equation (30) are added, the following equation (32) is obtained.

Figure 0004089898
Figure 0004089898

また、上記(32)式に対して前から行列Hを掛け、上記(31)式の関係を利用すると、下記(33)式が得られる。   Further, by multiplying the above equation (32) by the matrix H from the front and utilizing the relationship of the above equation (31), the following equation (33) is obtained.

Figure 0004089898
Figure 0004089898

上記(32)式と上記(33)式を加算すると、下記(34)式が得られる。   When the above equation (32) and the above equation (33) are added, the following equation (34) is obtained.

Figure 0004089898
Figure 0004089898

上記(34)式の左辺を展開し、右辺を(X+W′+HZ+YH)で統一すると、下記(35)式が得られる。   When the left side of the above equation (34) is expanded and the right side is unified with (X + W ′ + HZ + YH), the following equation (35) is obtained.

Figure 0004089898
Figure 0004089898

最後に上記(35)式を因数分解すると、下記(36),(37)式が得られる。   Finally, when the above equation (35) is factorized, the following equations (36) and (37) are obtained.

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

上記(37)式の両側から掛かる(E+H)は、下記(38)式に示すようにランクが足りないため、逆行列が存在しない。従って、上記(37)式において両辺に同じ(E+H)が掛けられていても打ち消し合うことはできない。   Since (E + H) applied from both sides of the above equation (37) has insufficient rank as shown in the following equation (38), there is no inverse matrix. Therefore, even if the same (E + H) is applied to both sides in the above equation (37), they cannot be canceled out.

Figure 0004089898
Figure 0004089898

ここで、上記(38)式の性質を考えると、(E+H)を前から掛けた場合は掛けられた行列が2行目から1行おきに0になり、後ろから掛けた場合は掛けられた行列が2列目から1列おきに0になる。   Here, considering the property of the above equation (38), when (E + H) is multiplied from the front, the multiplied matrix becomes 0 every other row from the second row, and when multiplied from the back, it is multiplied. The matrix becomes 0 every other column from the second column.

上記(38)式の左辺のωは、両側から(E+H)が掛けられているため、1行、1列ごとに0に置き換えられ、左上格子状要素だけが残る。右辺も同様に両側から(E+H)が掛けられているため、左上格子状要素だけが残る。格子状に残った要素の左辺と右辺は一致する。つまり、左上格子状の位置でのみ求めるべき部分行列ω(上記(29)式)に等しいので、A(X+W′+HZ+YH)Aの一致する位置だけを計算することで演算量を削減することが可能になる。 Since the left side ω of the above equation (38) is multiplied by (E + H) from both sides, it is replaced with 0 for each row and column, and only the upper left grid element remains. Similarly, since the right side is also multiplied by (E + H) from both sides, only the upper left grid element remains. The left side and the right side of the elements that remain in the lattice form match. In other words, it is equal to the partial matrix to be obtained only in the upper left grid positions omega (above expression (29)), is possible to reduce the calculation amount by calculating only matching the position of A (X + W '+ HZ + YH) A t It becomes possible.

一方、左上格子状要素以外の成分は、上記(29)式と上記(30)の加算および上記(32)式と上記(33)式の加算を、それぞれ減算に組み替えることで得られる下記(39)〜(41)式に従って計算することができる。   On the other hand, components other than the upper left grid element can be obtained by substituting the addition of the above formulas (29) and (30) and the addition of the above formulas (32) and (33) with subtraction (39 ) To (41).

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

Figure 0004089898
Figure 0004089898

以上から、求めるべき8×8DCT係数の左上4×4要素にあたる部分行列ωを1つおきの要素ごとに異なる4つの変換式で求めることができる。この演算手法は、左右から掛ける行列(AまたはB)が異なるだけで、上記(28)式の右上,左下,右下の残る3組の4×4部分行列にも当てはまる。さらに、部分行列の計算過程で共通する部分も多いため、その途中計算結果を保持することで総合的な演算量を削減することが可能になる。   From the above, the partial matrix ω corresponding to the upper left 4 × 4 element of the 8 × 8 DCT coefficient to be obtained can be obtained by four different conversion formulas for every other element. This calculation method also applies to the remaining three sets of 4 × 4 sub-matrices in the upper right, lower left, and lower right of the above equation (28), except that the matrix (A or B) multiplied from the left and right is different. Furthermore, since there are many common parts in the calculation process of the submatrix, it is possible to reduce the total amount of calculation by holding the calculation result in the middle.

以上のことから、基底変換部31で基底変換して8×8DCT係数全体を求めるには、まず、入力された4組の4×4DCT係数X,Y,Z,Wから下記(42)式で示す和と差を求めて保持しておく。   From the above, in order to obtain the entire 8 × 8 DCT coefficient by performing the basis conversion by the basis conversion unit 31, first, from the four sets of 4 × 4 DCT coefficients X, Y, Z, and W, the following equation (42) is used. Find and hold the sum and difference shown.

Figure 0004089898
Figure 0004089898

ここで、上記(42)式では行列Hを掛けているが、行列Hを前から掛ける場合は掛かる行列の行の正負符号を反転し、行列Hを後ろから掛ける場合は掛かる行列の列の正負符号を反転するだけで対応できるので、乗算の実行は不要である。   Here, in the above equation (42), the matrix H is multiplied. When the matrix H is multiplied from the front, the sign of the matrix row to be multiplied is inverted, and when the matrix H is multiplied from the rear, the sign of the column of the multiplied matrix is reversed. Since this can be dealt with by simply inverting the sign, it is not necessary to perform multiplication.

次に、下記(43)式で示す和と差を求めて保持しておく。   Next, the sum and difference shown by the following equation (43) are obtained and held.

Figure 0004089898
Figure 0004089898

次に、下記(44)式で行列積を計算する。この場合、0要素以外の1列おきにのみ要素を計算すればよい。ただし、最も上の行を1行目、最も左の列を1列目としたとき、任意の行列Xに対してX(E+H)/2は、偶数列を0に置き換え、X(E−H)/2は、奇数列を0に置き換える処理に相当する。よって、括弧の中の乗算は省略可能であるので、予め計算した結果を解像度変換行列として保持しておく。   Next, the matrix product is calculated by the following equation (44). In this case, elements need only be calculated every other column other than 0 elements. However, when the top row is the first row and the leftmost column is the first column, X (E + H) / 2 for any matrix X replaces even columns with 0, and X (E−H ) / 2 corresponds to a process of replacing an odd-numbered column with 0. Therefore, multiplication in parentheses can be omitted, and the result calculated in advance is held as a resolution conversion matrix.

Figure 0004089898
Figure 0004089898

最後に下記(45)〜(48)式で行列の積和を計算する。ただし、Vjiは、上記(28)式の部分行列を表し、出力すべき基底変換された行列である。ここで、任意の行列Xに対して(E+H)X/2は、偶数行を0に置き換え、(E−H)X/2は、奇数行を0に置き換える処理に相当する。よって、括弧の中の乗算は省略可能であるので、予め計算した結果を解像度変換行列として保持しておく。 Finally, the sum of products of the matrix is calculated by the following equations (45) to (48). However, V ji represents a partial matrix of the above equation (28), and is a base-transformed matrix to be output. Here, for an arbitrary matrix X, (E + H) X / 2 corresponds to a process for replacing even-numbered rows with 0, and (E−H) X / 2 corresponds to processing for replacing odd-numbered rows with 0. Therefore, multiplication in parentheses can be omitted, and the result calculated in advance is held as a resolution conversion matrix.

また、左辺の各行列積は、格子状にのみ有効な要素が存在するので、要素間の結合に足し算する必要はない。下記(45)〜(48)式における2項演算子「∪」は和集合を表し、各計算結果から必要な要素だけを取り纏めることで解像度変換を完了する。   In addition, each matrix product on the left side has elements that are effective only in a lattice pattern, and therefore it is not necessary to add to the connection between the elements. The binary operator “∪” in the following formulas (45) to (48) represents a union, and the resolution conversion is completed by collecting only necessary elements from the respective calculation results.

以上、実施形態について説明したが、本発明は、例えば、変換符号化方式の1つであるDVフォーマットからMPEG−1、MPEG−2、MPEG−4などへの高速変換を可能にするので、ブロードバンドモバイル上での動画像変換サービスやコンテンツ配信システムなどへの広い適用が可能である。   Although the embodiments have been described above, the present invention enables high-speed conversion from, for example, the DV format, which is one of the conversion encoding methods, to MPEG-1, MPEG-2, MPEG-4, etc. It can be widely applied to mobile video conversion services and content distribution systems.

本発明に係る符号化動画像変換装置の原理を示すブロック図である。It is a block diagram which shows the principle of the encoding moving image converter which concerns on this invention. 本発明の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of this invention.

符号の説明Explanation of symbols

1,21・・・符号化係数取得部、2,30・・・動き予測部、3・・・予測誤差情報生成部、4,31・・・基底変換部、22・・・減算器、23・・・量子化部、24・・・逆量子化部、25・・・加算器、26・・・フレームメモリ、27・・・動き補償部、28,29・・・縮小画像生成部、32・・・可変長符号化部、33・・・バッファ、34・・・レート制御部 DESCRIPTION OF SYMBOLS 1,21 ... Coding coefficient acquisition part, 2,30 ... Motion estimation part, 3 ... Prediction error information generation part, 4,31 ... Base conversion part, 22 ... Subtractor, 23 Quantizer, 24 Deverse quantizer, 25 Adder, 26 Frame memory, 27 Motion compensator, 28, 29 Reduced image generator, 32 ... Variable length encoding unit, 33 ... Buffer, 34 ... Rate control unit

Claims (14)

第1の符号化方式で符号化された符号化情報を前記第1の符号化方式とは異なる第2の符号化方式の符号化情報に変換するとともに、異なる解像度に変換して出力する符号化動画像変換装置において、
第1の符号化方式の符号化情報を部分的に復号して変換符号化係数の一部だけを取得し、低次の基底による変換符号化係数を出力する符号化係数取得部と、
前記符号化係数取得部で取得された変換符号化係数と参照変換符号化係数に基づいて動き情報を生成する動き予測部と、
前記符号化係数取得部で取得された変換符号化係数および前記動き予測部で生成された動き情報を用いて変換符号化係数領域で動き補償を行って参照変換符号化係数を生成するとともに、予測誤差情報を生成する予測誤差情報生成部と、
前記予測誤差情報生成部で生成された予測誤差情報における基底を前記第2の符号化方式の変換符号化の基底に変化させる基底変換部とを備えたことを特徴とする符号化動画像変換装置。
Encoding that converts encoded information encoded by the first encoding scheme into encoding information of a second encoding scheme different from the first encoding scheme, and converts the encoded information to a different resolution and outputs the encoded information In the video conversion device,
A coding coefficient acquisition unit that partially decodes the coding information of the first coding scheme to obtain only a part of the transform coding coefficient, and outputs a transform coding coefficient based on a low-order basis ;
A motion prediction unit that generates motion information based on the transform coding coefficient obtained by the coding coefficient obtaining unit and a reference transform coding coefficient;
Using the transform coding coefficient acquired by the coding coefficient acquisition unit and the motion information generated by the motion prediction unit, motion compensation is performed in the transform coding coefficient region to generate a reference transform coding coefficient and prediction A prediction error information generation unit for generating error information;
An encoded moving image conversion apparatus comprising: a basis conversion unit that changes a basis in the prediction error information generated by the prediction error information generation unit to a basis of transform encoding of the second encoding method .
前記動き予測部は、前記符号化係数取得部で取得された変換符号化係数および参照変換符号化係数からそれぞれ生成された縮小画像間において動き情報を探索することを特徴とする請求項1に記載の符号化動画像変換装置。The motion prediction unit searches for motion information between reduced images respectively generated from the transform coding coefficient and the reference transform coding coefficient acquired by the coding coefficient acquisition unit. Encoded video conversion device. 前記動き予測部は、前記縮小画像に対して整数画素単位以上の高精度で動き情報を探索することを特徴とする請求項2に記載の符号化動画像変換装置。The encoded moving image conversion apparatus according to claim 2, wherein the motion prediction unit searches for motion information with high accuracy of an integer pixel unit or more for the reduced image. 前記動き予測部は、変換符号化係数の特徴に応じて動き情報の探索の精度を異ならせることを特徴とする請求項2または3に記載の符号化動画変換装置。The encoded moving image conversion apparatus according to claim 2 or 3, wherein the motion prediction unit varies the accuracy of the search for motion information according to the characteristics of the transform coding coefficient. 前記予測誤差情報生成部は、前記符号化係数取得部で取得された変換符号化係数と動き補償された変換符号化係数との差である予測誤差情報を求める減算器と、前記減算器からの予測誤差情報を量子化して量子化済み予測誤差情報を出力する量子化部と、前記量子化部からの量子化済み予測誤差情報を逆量子化する逆量子化部と、前記逆量子化部からの量子化誤差を含む予測誤差情報と動き補償された予測変換符号化係数とを加算して参照変換符号化係数を出力する加算器と、前記加算器からの参照変換符号化係数を格納するフレームメモリと、前記フレームメモリからの参照変換符号化係数と前記動き予測部で生成された動き情報に基づいて動き補償された予測変換符号化係数を求め、該予測変換符号化係数を前記減算器と加算器に出力する動き補償部とを備えることを特徴とする請求項1ないし4のいずれかに記載の符号化動画像変換装置。The prediction error information generation unit includes: a subtractor that obtains prediction error information that is a difference between the transform coding coefficient acquired by the coding coefficient acquisition unit and a motion-encoded transform coding coefficient; From a quantization unit that quantizes prediction error information and outputs quantized prediction error information, an inverse quantization unit that inversely quantizes the prediction error information quantized from the quantization unit, and the inverse quantization unit An adder that adds prediction error information including quantization error and motion-compensated prediction transform coding coefficient to output a reference transform coding coefficient, and a frame that stores the reference transform coding coefficient from the adder A memory, a reference transform coding coefficient from the frame memory and a motion-predicted predictive transform coding coefficient based on the motion information generated by the motion prediction unit, and the predictive transform coding coefficient to the subtractor Output to adder Encoded moving picture conversion apparatus according to any one of claims 1, characterized in that it comprises a motion compensation unit 4. 前記予測誤差情報生成部は、変換符号化係数の単位をまたがる領域から再構成した符号化変換係数を用いて動き補償を行うことを特徴とする請求項1ないし5のいずれかに記載の符号化動画像変換装置。6. The encoding according to claim 1, wherein the prediction error information generation unit performs motion compensation using an encoded transform coefficient reconstructed from a region that spans a unit of the transform coding coefficient. Video conversion device. 前記予測誤差情報生成部は、複数の変換符号化係数単位を一括して処理して動き補償を行うことを特徴とする請求項1ないし6のいずれかに記載の符号化動画像変換装置。7. The encoded moving image conversion apparatus according to claim 1, wherein the prediction error information generation unit performs motion compensation by collectively processing a plurality of transform coding coefficient units. 前記予測誤差情報生成部は、前記参照変換符号化係数を生成するためベースバンドによる動き補償処理を行列形式で表現したときに変換符号化係数に乗算される行列を動き補償テーブルとして保持し、さらに乗算器と加算器を備え、動き補償を行うに際し、前記動き補償テーブルの要素と前記変換符号化係数との行列積を導出し、これを前記参照変換符号化係数とすることを特徴とする請求項1ないし7のいずれかに記載の符号化動画像変換装置。The prediction error information generation unit holds, as a motion compensation table, a matrix that is multiplied by the transform coding coefficient when the motion compensation processing by baseband is expressed in a matrix format to generate the reference transform coding coefficient; A multiplier and an adder are provided, and when performing motion compensation, a matrix product of an element of the motion compensation table and the transform coding coefficient is derived and used as the reference transform coding coefficient. Item 8. The encoded moving image conversion apparatus according to any one of Items 1 to 7. 前記予測誤差情報生成部は、前記動き補償テーブルの要素と変換符号化係数との行列積を導出するに際し、一度演算した結果を保持し、前記動き補償テーブルの部分集合の対称性から一度演算した結果を再利用できる場合には、再度演算することなく前記保持した結果を利用することを特徴とする請求項8に記載の符号化動画像変換装置。The prediction error information generation unit, when deriving a matrix product between the element of the motion compensation table and the transform coding coefficient, holds the result of the calculation once, and calculates once from the symmetry of the subset of the motion compensation table 9. The encoded moving image conversion apparatus according to claim 8, wherein when the result can be reused, the held result is used without being recalculated. 前記動き補償テーブルは、水平成分と垂直成分をそれぞれ個別に保持することを特徴とする請求項8に記載の符号化動画像変換装置。9. The encoded moving image conversion apparatus according to claim 8, wherein the motion compensation table holds a horizontal component and a vertical component individually. 前記動き補償テーブルは、前記低次の基底による復号処理と動き情報が取り得る全てのシフト演算と前記低次の基底による符号化処理とを予め計算して求められた数値を保持することを特徴とする請求項8に記載の符号化動画像変換装置。The motion compensation table holds numerical values obtained by calculating in advance the decoding process based on the low-order base, all shift operations that can be taken by motion information, and the coding process based on the low-order base. The encoded moving image conversion apparatus according to claim 8. 前記基底変換部は、基底変換テーブルと乗算器と加算器を備え、前記基底変換テーブルの要素と変換符号化係数との行列積を導出することを特徴とする請求項1ないし11のいずれかに記載の符号化動画像変換装置。12. The basis conversion unit according to claim 1, wherein the basis conversion unit includes a basis conversion table, a multiplier, and an adder, and derives a matrix product of elements of the basis conversion table and transform coding coefficients. The encoded moving image conversion apparatus described. 前記基底変換テーブルは、前記低次の基底による復号処理と前記第2の符号化方式の基底による符号化処理とを予め計算して求められた数値を保持することを特徴とする請求項12に記載の符号化動画像変換装置。13. The basis conversion table holds a numerical value obtained by calculating in advance the decoding process based on the low-order basis and the encoding process based on the base of the second encoding method. The encoded moving image conversion apparatus described. 前記基底変換部は、前記基底変換テーブルの要素と変換符号化係数との行列積を導出するに際し、一度演算した結果を保持し、前記基底変換テーブルの部分集合の対称性から一度演算した結果を再利用できる場合には、再度演算することなく前記保持した結果を利用することを特徴とする請求項12に記載の符号化動画像変換装置。The basis conversion unit holds a result of a calculation once when deriving a matrix product of elements of the basis conversion table and a transform coding coefficient, and calculates a result of the calculation once from a symmetry of a subset of the basis conversion table. 13. The encoded moving image conversion apparatus according to claim 12, wherein when the data can be reused, the stored result is used without being recalculated.
JP2003372223A 2003-10-31 2003-10-31 Encoded video conversion device Expired - Fee Related JP4089898B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003372223A JP4089898B2 (en) 2003-10-31 2003-10-31 Encoded video conversion device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003372223A JP4089898B2 (en) 2003-10-31 2003-10-31 Encoded video conversion device

Publications (2)

Publication Number Publication Date
JP2005136804A JP2005136804A (en) 2005-05-26
JP4089898B2 true JP4089898B2 (en) 2008-05-28

Family

ID=34648661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003372223A Expired - Fee Related JP4089898B2 (en) 2003-10-31 2003-10-31 Encoded video conversion device

Country Status (1)

Country Link
JP (1) JP4089898B2 (en)

Also Published As

Publication number Publication date
JP2005136804A (en) 2005-05-26

Similar Documents

Publication Publication Date Title
JP4966669B2 (en) Data compression using matching tracking
KR101153105B1 (en) Fast video codec transform implementations
JP5073004B2 (en) Image coding apparatus, image coding method, image decoding apparatus, and image decoding method
KR20080086771A (en) Method and apparatus for image encoding, decoding
US9049454B2 (en) High efficiency low complexity interpolation filters
EP2953364B1 (en) Moving image coding device and method
JP4089898B2 (en) Encoded video conversion device
JP2914326B2 (en) Transformation encoding of digital signal enabling reversible transformation
JP4222557B2 (en) Video composition device
JP4913349B2 (en) Encoded video conversion device
JP6004852B2 (en) Method and apparatus for encoding and reconstructing pixel blocks
JP5404857B2 (en) Image coding apparatus, image coding method, image decoding apparatus, and image decoding method
JP2005354307A (en) Inverse quantizer and image decoder employing same
KR100262962B1 (en) Motion prediction method and apparatus
JP4392798B2 (en) Encoded video conversion device
JP5194039B2 (en) Intra prediction apparatus, encoder, decoder, and program
JP4392797B2 (en) Encoded video conversion device
JP5175813B2 (en) Encoding device, decoding device, and image processing program
JP2004120620A (en) Coded motion picture conversion apparatus
JPH11146403A (en) Device and method for video signal coding and video signal coding program storage medium
Baldor et al. MPEG− 2 to H. 263 Transcoder System Modeling and Implementation
JP2006309652A (en) Signal processing method and signal processing device
JP2009071586A (en) Image resolution converting device
KR20130011610A (en) Apparatus and method for fast motion estimation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080221

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees