JP2001169295A - Method and device for trans-coding moving image coding data - Google Patents
Method and device for trans-coding moving image coding dataInfo
- Publication number
- JP2001169295A JP2001169295A JP2000266346A JP2000266346A JP2001169295A JP 2001169295 A JP2001169295 A JP 2001169295A JP 2000266346 A JP2000266346 A JP 2000266346A JP 2000266346 A JP2000266346 A JP 2000266346A JP 2001169295 A JP2001169295 A JP 2001169295A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion information
- processing target
- macroblock
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】[0001]
【発明が属する技術分野】この発明は、動画像情報の圧
縮伝送技術に係り、特に動画像符号化データを構成の異
なった動画像符号化データに変換するトランスコーディ
ング方法およびトランスコーデイング装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for compressing and transmitting moving picture information, and more particularly to a transcoding method and a transcoding apparatus for converting coded moving picture data into coded moving picture data having a different configuration.
【0002】[0002]
【従来の技術】文字、図形、音声、映像などの異なる情
報をデジタルデータで表現し、これらのメディアを統合
して一元的に取り扱うマルチメディアが近年注目を浴び
ている。このマルチメディアに対応するオーディオ・ビ
デオ符号化方式として、ISO/IECのMPEG(Mo
ving Picture Experts Group)1等があり、これらに準
拠した動画像符号化伝送システムが各種提供されてい
る。2. Description of the Related Art In recent years, multimedia that expresses different information such as characters, figures, sounds, and images by digital data, and integrates these media to handle them in a unified manner has been receiving attention in recent years. As an audio / video encoding system corresponding to this multimedia, ISO / IEC MPEG (Mo
(ving Picture Experts Group) 1 and the like, and various moving picture coding and transmission systems based on these are provided.
【0003】図24(a)および(b)は、この種の動
画像符号化伝送システムの一般的な構成を示すものであ
り、同図(a)は送信側の符号化器の構成を示すブロッ
ク図、同図(b)は受信側の復号器の構成を示すブロッ
ク図である。FIGS. 24 (a) and 24 (b) show a general configuration of this type of moving picture coded transmission system, and FIG. 24 (a) shows a configuration of an encoder on the transmission side. FIG. 3B is a block diagram showing the configuration of the decoder on the receiving side.
【0004】送信側の符号化器は、図24(a)に示す
ように、減算器101と、DCT(Discrete Cosine Tr
ansform ;離散コサイン変換)部102と、量子化器1
03と、逆量子化器104と、逆DCT部105と、動
き予測および補償部106と、可変長符号化器107お
よび108と、多重化装置109とを有している。As shown in FIG. 24 (a), an encoder on the transmitting side includes a subtractor 101 and a DCT (Discrete Cosine Trunk).
ansform; discrete cosine transform) unit 102 and quantizer 1
03, an inverse quantizer 104, an inverse DCT unit 105, a motion prediction and compensation unit 106, variable length encoders 107 and 108, and a multiplexer 109.
【0005】また、受信側の復号器は、図24(b)に
示すように、逆多重化装置201Aと、可変長復号器2
01および206と、逆量子化器202と、逆DCT部
203と、加算器204と、動き補償部205とを有し
ている。なお、以上列挙した符号化器および復号器の各
構成要素は、専用のハードウェアにより構成する他、所
定のプログラムを実行するDSP(デジタル信号プロセ
ッサ)等により構成してもよい。[0005] As shown in FIG. 24B, the decoder on the receiving side includes a demultiplexer 201A and a variable length decoder 2A.
01 and 206, an inverse quantizer 202, an inverse DCT unit 203, an adder 204, and a motion compensation unit 205. The components of the encoder and decoder enumerated above may be constituted by dedicated hardware, or may be constituted by a DSP (digital signal processor) that executes a predetermined program.
【0006】図24(a)および(b)に示す構成にお
いて、符号化器には、所定個数の画面(以下、フレーム
という)からなるピクチャグループの画像情報が順次供
給される。符号化器は、このピクチャグループを一単位
として画像情報の符号化を行う。1つのピクチャグルー
プには、1つのIフレームを含めることが必要であり、
また、これに加えて、1または複数のPフレームやBフ
レームを含めることができる。ここで、Iフレームは、
いわゆるフレーム内符号化の対象となるフレームであ
る。また、Pフレームは、当該フレームの前のフレーム
の画像を参照することにより符号化および復号が行われ
るフレームであり、Bフレームは、当該フレームの前お
よび後の各フレームを参照することにより符号化および
復号が行われるフレームである。In the configuration shown in FIGS. 24A and 24B, image information of a picture group consisting of a predetermined number of screens (hereinafter referred to as frames) is sequentially supplied to the encoder. The encoder encodes the picture information using the picture group as one unit. One picture group needs to include one I frame,
In addition, one or more P frames and B frames can be included. Here, the I frame is
This is a frame to be subjected to so-called intra-frame encoding. A P frame is a frame that is coded and decoded by referring to an image of a frame before the frame, and a B frame is coded by referring to each frame before and after the frame. And a frame to be decoded.
【0007】図25は、このようなピクチャグループを
構成する各フレームが順次与えられた場合の符号化器の
動作を例示している。なお、この図25では、説明を簡
単にするため、Iフレームに続いて、P1フレーム、P
2フレーム、という具合に、IフレームとPフレームが
符号化器に入力される場合を例に挙げている。以下、こ
の図25を参照し、符号化器の動作を説明する。FIG. 25 exemplifies the operation of the encoder when frames constituting such a picture group are sequentially given. In FIG. 25, for the sake of simplicity, the P1 frame, P1 frame,
An example is given in which two frames are used, and an I frame and a P frame are input to an encoder. Hereinafter, the operation of the encoder will be described with reference to FIG.
【0008】まず、Iフレームに対応した画像情報が入
力された場合、図24(a)における符号化器の各構成
要素による処理は行われず、所定の符号化アルゴリズム
により現画像(Iフレーム)の画像情報のフレーム内符
号化が行われ、この結果得られる符号化データが受信側
に伝送される。また、符号化器では、上記符号化アルゴ
リズムに対応した復号アルゴリズムに従って、符号化デ
ータからIフレームの画像情報が復号され、動き予測お
よび補償部106内のメモリ(図示略)に参照画像とし
て保存される。First, when image information corresponding to an I frame is input, the processing by each component of the encoder in FIG. 24A is not performed, and the current image (I frame) is processed by a predetermined encoding algorithm. Intra-frame encoding of the image information is performed, and the encoded data obtained as a result is transmitted to the receiving side. Further, the encoder decodes the I-frame image information from the encoded data according to a decoding algorithm corresponding to the above-mentioned encoding algorithm, and stores the I-frame image information in a memory (not shown) in the motion prediction and compensation unit 106 as a reference image. You.
【0009】次に、P1フレームが入力されると、符号
化器では、現画像(P1フレーム)が複数のマクロブロ
ックMBij(i=1〜M、j=1〜N)に分割され
る。ここで、各マクロブロックは、2×2=4個のブロ
ックからなり、各ブロックは8×8=64個の画素によ
り構成されている。そして、符号化器では、各マクロブ
ロックMBijについて、以下の処理が行われる。Next, when the P1 frame is input, the encoder divides the current image (P1 frame) into a plurality of macroblocks MBij (i = 1 to M, j = 1 to N). Here, each macro block is composed of 2 × 2 = 4 blocks, and each block is composed of 8 × 8 = 64 pixels. Then, the encoder performs the following processing for each macroblock MBij.
【0010】まず、動き予測および補償部106は、現
画像のマクロブロックMBijに類似した同サイズの参
照マクロブロックMBij’を参照画像(この場合、I
フレーム)の中から探索する。そして、この参照マクロ
ブロックMBij’が移動してマクロブロックMBij
となったとみなし、その空間的な移動距離および方位を
表す動き情報Vを出力する。ここで、動き情報Vは可変
長符号化器206によって可変長符号に変換される。First, the motion predicting and compensating unit 106 uses a reference macroblock MBij ′ of the same size similar to the macroblock MBij of the current image as a reference image (in this case,
Frame). Then, the reference macro block MBij 'moves and the macro block MBij
And outputs motion information V indicating the spatial movement distance and direction. Here, the motion information V is converted by the variable length encoder 206 into a variable length code.
【0011】減算器101は、マクロブロックMBij
の画像情報から参照マクロブロックMBij’の画像情
報を減算して両画像の差分を求め、DCT部102は、
この差分に対し、直交変換の一種であるDCTを施す。[0011] The subtracter 101 generates a macro block MBij
The image information of the reference macro block MBij ′ is subtracted from the image information of
DCT, which is a type of orthogonal transform, is applied to this difference.
【0012】量子化器103は、DCT部102から得
られる差分画像のDCT係数を量子化し、可変長符号化
器107は、この量子化により得られたデータを可変長
符号化する。A quantizer 103 quantizes the DCT coefficients of the difference image obtained from the DCT unit 102, and a variable length coder 107 performs variable length coding on the data obtained by the quantization.
【0013】このDCT係数を量子化したものの可変長
符号と上述した動き情報Vの可変長符号とが、多重化装
置109によって多重化され、マクロブロックMBij
に対応した符号化データとして受信側へ送信される。The variable length code obtained by quantizing the DCT coefficient and the variable length code of the motion information V described above are multiplexed by the multiplexing device 109, and the macro block MBij
Is transmitted to the receiving side as encoded data corresponding to.
【0014】一方、量子化器103の出力データは、逆
量子化器104によって逆量子化され、この逆量子化器
104の出力データが逆DCT部105に入力される。
この結果、逆DCT部105から差分画像Δが出力され
る。この差分画像Δは、現画像(P1フレーム)のマク
ロブロックMBijと参照マクロブロックMBij’と
の差分に対応した画像情報であるが、DCT、量子化、
逆量子化および逆DCTという過程を経て生成されるも
のであるため、これに伴った誤差を含んでいる。On the other hand, the output data of the quantizer 103 is inversely quantized by the inverse quantizer 104, and the output data of the inverse quantizer 104 is input to the inverse DCT unit 105.
As a result, the inverse DCT unit 105 outputs the difference image Δ. The difference image Δ is image information corresponding to the difference between the macroblock MBij of the current image (P1 frame) and the reference macroblock MBij ′.
Since it is generated through a process of inverse quantization and inverse DCT, it includes an error accompanying this.
【0015】動き予測および補償部106は、逆DCT
部105から得られた差分画像Δと参照マクロブロック
MBij’とを加算する等の方法により、現画像(フレ
ームP1)におけるマクロブロックMBijの画像情報
を復元し、後続フレームの符号化の際に参照する参照画
像としてメモリに保存する。以上の処理が現画像(P1
フレーム)を構成する全てのマクロブロックMBij
(i=1〜M、j=1〜N)について実施されるのであ
る。The motion predicting and compensating unit 106 performs inverse DCT
The image information of the macroblock MBij in the current image (frame P1) is restored by a method such as adding the difference image Δ obtained from the unit 105 and the reference macroblock MBij ′, and is referred to when encoding the subsequent frame. Is stored in the memory as a reference image to be processed. The above processing is performed for the current image (P1
All the macro blocks MBij constituting the frame)
(I = 1 to M, j = 1 to N).
【0016】そして、次のフレームP2が入力される
と、動き予測および補償部106内のメモリに保存され
た参照画像(フレームP1の画像)を参照して、上述と
同様な符号化処理が行われる。フレームP2の後続の各
フレームについても同様である。When the next frame P2 is input, the same encoding processing as described above is performed with reference to the reference image (image of frame P1) stored in the memory in the motion prediction and compensation unit 106. Will be The same applies to each frame subsequent to the frame P2.
【0017】図26は、以上のようにして符号化器から
送信されたIフレーム、P1フレーム、P2フレーム、
…の各符号化データが受信された場合における復号器の
動作を例示している。以下、この図26を参照し、復号
器の動作を説明する。FIG. 26 shows the I frame, P1 frame, P2 frame, and I frame transmitted from the encoder as described above.
4 illustrates the operation of the decoder when the respective encoded data items are received. Hereinafter, the operation of the decoder will be described with reference to FIG.
【0018】まず、Iフレームのフレーム内符号化デー
タが受信された場合、図24(b)における復号器で
は、図示の各構成要素による処理は行われず、符号器側
のフレーム内符号化アルゴリズムに対応した復号アルゴ
リズムに従って、フレーム内符号化データの復号が行わ
れる。この結果、符号器側における動き予測および補償
部106内のメモリに格納されたものと同じIフレーム
の画像情報が復号され、これが参照画像として復号器に
おける動き補償部205内のメモリ(図示略)に保存さ
れる。First, when the intra-frame coded data of the I frame is received, the decoder shown in FIG. 24B does not perform the processing by the components shown in FIG. Intra-frame encoded data is decoded according to the corresponding decoding algorithm. As a result, the same I-frame image information as that stored in the memory in the motion prediction and compensation unit 106 on the encoder side is decoded, and this is used as a reference image in the memory (not shown) in the motion compensation unit 205 in the decoder. Is stored in
【0019】次に、P1フレームの符号化データが復号
器に入力される。この符号化データは、P1フレームの
画像を分割した複数のマクロブロックMBij(i=1
〜M、j=1〜N)に各々に対応した次の情報を含んで
いる。 a.当該マクロブロックMBijと参照画像(フレーム
I)内のこれに類似した参照マクロブロックMBij’
との間の差分に対し、DCT、量子化および可変長符号
化を施して得られた可変長符号 b.参照マクロブロックMBij’から当該マクロブロ
ックMBijに至る動きベクトルを表す動き情報Vの可
変長符号Next, the encoded data of the P1 frame is input to the decoder. This coded data includes a plurality of macroblocks MBij (i = 1) obtained by dividing the image of the P1 frame.
.. M, j = 1 to N). a. The macroblock MBij and a similar reference macroblock MBij ′ in the reference image (frame I)
A variable length code obtained by performing DCT, quantization and variable length coding on the difference between b. Variable length code of motion information V representing a motion vector from reference macroblock MBij 'to the macroblock MBij
【0020】復号器では、上記aおよびbの各可変長符
号が逆多重化装置201Aによって分離され、可変長復
号化器201および206によって実際の数値に戻され
る。そして、これらの各情報に従い、各マクロブロック
MBij毎に以下の処理が行われる。In the decoder, the variable length codes a and b are demultiplexed by the demultiplexer 201A and returned to actual values by the variable length decoders 201 and 206. Then, the following processing is performed for each macro block MBij in accordance with each of these pieces of information.
【0021】まず、逆量子化器202および逆DCT部
203により、上記aの可変長符号から得た実際の数値
から、マクロブロックMBijと参照画像(フレーム
I)内の参照マクロブロックMBij’との間の差分画
像Δが復元される。First, the inverse quantizer 202 and the inverse DCT unit 203 use the actual numerical value obtained from the variable length code a to determine the relationship between the macroblock MBij and the reference macroblock MBij ′ in the reference image (frame I). The difference image Δ between them is restored.
【0022】また、動き補償部205では、マクロブロ
ックMBijに対応した上記bの動き情報Vに従い、当
該マクロブロックMBijに対応した参照画像(フレー
ムI)内の参照マクロブロックMBij’の所在が求め
られ、この参照マクロブロックMBij’の画像情報が
内蔵のメモリ(図示略)から読み出される。そして、参
照マクロブロックMBij’の画像情報と上記差分画像
Δとが加算器204によって加算され、マクロブロック
MBijの画像情報が復元される。Further, the motion compensating unit 205 obtains the location of the reference macroblock MBij 'in the reference picture (frame I) corresponding to the macroblock MBij according to the motion information V of b described above corresponding to the macroblock MBij. The image information of the reference macro block MBij ′ is read from a built-in memory (not shown). Then, the image information of the reference macroblock MBij ′ and the difference image Δ are added by the adder 204, and the image information of the macroblock MBij is restored.
【0023】以上の処理が全てのマクロブロックMBi
j(i=1〜M、j=1〜N)について行われ、フレー
ムP1の全画像が復元される。このフレームP1の復元
画像は参照画像として動き補償部205内のメモリに保
存される。The above processing is performed for all the macro blocks MBi
This is performed for j (i = 1 to M, j = 1 to N), and the entire image of the frame P1 is restored. The restored image of the frame P1 is stored in a memory in the motion compensation unit 205 as a reference image.
【0024】そして、次のフレームP2に対応した符号
化データが受信されると、動き補償部205内のメモリ
に保存された参照画像(フレームP1の画像)を参照し
て、上述と同様な復号処理が行われる。フレームP2の
後続の各フレームに対応した符号化データが受信された
場合も同様である。When coded data corresponding to the next frame P2 is received, decoding is performed in the same manner as described above with reference to the reference image (image of frame P1) stored in the memory in the motion compensation unit 205. Processing is performed. The same applies to a case where encoded data corresponding to each frame subsequent to the frame P2 is received.
【0025】さて、最近では、様々な通信システムにお
いて動画像の符号化伝送が検討されるようになってきて
いる。このため、ある伝送レートでの伝送を想定して動
画像の符号化データが生成されたが、この符号化データ
を当初の予定とは異なった伝送レートで伝送しなければ
ならないようなことが起こりうる。Recently, the coded transmission of moving images has been studied in various communication systems. For this reason, encoded data of a moving image was generated assuming transmission at a certain transmission rate, but this encoded data must be transmitted at a transmission rate different from the original schedule. sell.
【0026】このような場合、ピクチャグループ当たり
のフレームの数を減らし、符号化データのデータレート
を減少させることが求められる。このための技術とし
て、符号化データの方式を変換するトランスコーディン
グがある。図27(a)はこのトランスコーディングを
行うための方法を示すものであり、図27(b)はこの
トランスコーディングを行うための従来のトランスコー
ディング装置の構成を示すブロック図である。In such a case, it is required to reduce the number of frames per picture group and reduce the data rate of encoded data. As a technique for this, there is transcoding for converting the format of encoded data. FIG. 27 (a) shows a method for performing this transcoding, and FIG. 27 (b) is a block diagram showing the configuration of a conventional transcoding device for performing this transcoding.
【0027】図27(b)に示すように、従来のトラン
スコーディング装置は、前掲図24(b)に示すものと
同様な構成の復号器100と前掲図24(a)に示すも
のと同様な構成の符号化器200とを組み合わせた構成
を有している。As shown in FIG. 27 (b), a conventional transcoding apparatus has a decoder 100 having the same configuration as that shown in FIG. 24 (b) and a decoder similar to that shown in FIG. 24 (a). It has a configuration in which the encoder 200 having the above configuration is combined.
【0028】このトランスコーディング装置では、図2
7(a)に示すように、第1の符号化方法により生成さ
れた符号化データが復号器100によって復号され、こ
の復号により得られた画像が、符号化器200により第
2の符号化方法に従って符号化される。このような再符
号化を行うことにより、元の符号化データとはデータレ
ートの異なった符号化データを生成することができるの
である。In this transcoding device, FIG.
As shown in FIG. 7A, the encoded data generated by the first encoding method is decoded by the decoder 100, and the image obtained by the decoding is encoded by the encoder 200 by the second encoding method. Is encoded according to By performing such re-encoding, encoded data having a different data rate from the original encoded data can be generated.
【0029】[0029]
【発明が解決しようとする課題】ところで、上述した従
来のトランスコーディング方法は、符号化データから元
の画像を復号し、この画像を再符号化することにより他
の構成の符号化データを生成するので、演算量が多く、
非効率的であり、また、符号化データの復号および再符
号化に伴う変換誤差によって画質が劣化するという問題
があった。The above-described conventional transcoding method decodes an original image from encoded data and re-encodes the image to generate encoded data having another configuration. Therefore, the amount of computation is large,
There is a problem that the image quality is deteriorated due to inefficiency and a conversion error accompanying decoding and re-encoding of the encoded data.
【0030】この発明は以上説明した事情に鑑みてなさ
れたものであり、少ない演算量で、符号化データを他の
構成の符号化データに変換することができるトランスコ
ーディング方法およびトランスコーディング装置を提供
することを目的としている。The present invention has been made in view of the circumstances described above, and provides a transcoding method and a transcoding apparatus capable of converting encoded data into encoded data of another configuration with a small amount of computation. It is intended to be.
【0031】[0031]
【課題を解決するための手段】この発明は、動き補償を
伴ったフレーム間予測符号化アルゴリズムを含む符号化
アルゴリズムにより動画像を構成する複数のフレームか
ら得られた第1符号化データを、異なった構成を有する
第2符号化データに変換するトランスコーディング方法
において、前記動画像を構成する複数のフレームのうち
フレーム間予測符号化の対象となったものの一部のフレ
ームを処理対象フレームとし、処理対象フレームのフレ
ーム間予測符号化において参照された第1参照フレーム
とは別の第2参照フレームを参照して処理対象フレーム
のフレーム間予測符号化を行った場合に得られるであろ
う符号化データに相当する第2符号化データを、処理対
象フレームを含む1または複数のフレームの第1符号化
データから生成するフレーム間予測符号化データ再編集
過程を含み、前記フレーム間予測符号化データ再編集過
程は、少なくとも前記処理対象符号化データに含まれて
いる動き情報を用いて、前記第2符号化データに含める
べき動き情報を算出する動き情報算出過程を含むことを
特徴とするトランスコーディング方法を提供する。ま
た、この発明は、かかるトランスコーディング方法によ
りトランスコーディングを行うトランスコーディング装
置を提供する。SUMMARY OF THE INVENTION According to the present invention, first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame predictive encoding algorithm with motion compensation is converted. In the transcoding method for converting into the second encoded data having the configuration described above, a part of the plurality of frames constituting the moving image, which is a target of the inter-frame predictive encoding, is set as a processing target frame. Coded data that would be obtained when performing inter-frame predictive coding of the processing target frame with reference to a second reference frame different from the first reference frame referred to in the inter-frame predictive coding of the target frame Is generated from the first encoded data of one or a plurality of frames including the frame to be processed. A step of re-editing the inter-frame prediction coded data, wherein the step of re-editing the inter-frame prediction coded data includes at least the motion information included in the processing target coded data in the second coded data. A transcoding method includes a motion information calculating step of calculating power motion information. Further, the present invention provides a transcoding device that performs transcoding by the transcoding method.
【0032】[0032]
【発明の実施の形態】以下、図面を参照し、本発明の実
施形態について説明する。Embodiments of the present invention will be described below with reference to the drawings.
【0033】A.第1の実施形態 A−1.トランスコーディング 図1はこの発明の第1の実施形態において行われるトラ
ンスコーディングの例を示す図である。この図1には、
IフレームとP1フレーム〜P4フレームとからなるピ
クチャグループが図示されている。本実施形態では、こ
れらの各フレームのうち例えばP1フレームとP3フレ
ームとを間引くことによりデータレートの小さな符号化
データを生成する。ここで、P2フレームは間引かれる
P1フレームを参照しており、P4フレームは間引かれ
るP3フレームを参照している。従って、符号化データ
の中からP1フレームとP3フレームとに対応したもの
を間引くと、残りの符号化データからP2フレームやP
4フレームの画像を復号することができなくなる。A. First embodiment A-1. Transcoding FIG. 1 is a diagram showing an example of transcoding performed in the first embodiment of the present invention. In FIG. 1,
A picture group including an I frame and P1 to P4 frames is illustrated. In the present embodiment, coded data having a low data rate is generated by thinning out, for example, the P1 frame and the P3 frame among these frames. Here, the P2 frame refers to the P1 frame to be decimated, and the P4 frame refers to the P3 frame to be decimated. Therefore, when the data corresponding to the P1 frame and the P3 frame is thinned out from the encoded data, the P2 frame and the P2 frame are extracted from the remaining encoded data.
It becomes impossible to decode a 4-frame image.
【0034】本実施形態では、フレーム間予測符号化が
行われたフレームのうち間引かれるフレーム(この例で
はP1フレームおよびP3フレーム)を第1参照フレー
ムとし、この第1参照フレームを参照してフレーム間予
測符号化が行われたフレーム(この例ではP2フレーム
およびP4フレーム)を処理対象フレームとし、第1参
照フレームのフレーム間予測符号化において参照された
フレームを第2参照フレーム(この例ではIフレームお
よびP2フレーム)とする。そして、本実施形態では、
第2参照フレームを参照して処理対象フレームのフレー
ム間予測符号化を行った場合に得られるであろう符号化
データを、処理対象フレームに対応した符号化データ
と、第1参照フレームに対応した符号化データとから演
算する。これが本実施形態におけるフレーム間予測符号
化データ再編集処理である。In the present embodiment, the frames to be thinned out (the P1 frame and the P3 frame in this example) among the frames subjected to the inter-frame predictive coding are set as the first reference frame, and the first reference frame is referred to. The frames subjected to the inter-frame predictive coding (the P2 frame and the P4 frame in this example) are set as processing target frames, and the frame referred to in the inter-frame predictive coding of the first reference frame is referred to as a second reference frame (in this example, I frame and P2 frame). And in this embodiment,
The coded data that would be obtained when the inter-frame prediction coding of the processing target frame was performed with reference to the second reference frame was divided into the coded data corresponding to the processing target frame and the coded data corresponding to the first reference frame. The calculation is performed from the encoded data. This is the inter-frame prediction encoded data re-editing process in the present embodiment.
【0035】A−2.トランスコーディング装置 図2は、本実施形態に係るトランスコーディング法を実
施するためのトランスコーディング装置の構成を示すブ
ロック図である。図2において、逆多重化装置1は、I
フレーム以外の各フレームに対応した符号化データを量
子化されたDCT係数の可変長符号と動き情報の可変長
符号とに分離する装置である。可変長復号化器2Aは、
動き情報の可変長符号を実際に数値に戻す装置である。A-2. Transcoding Device FIG. 2 is a block diagram illustrating a configuration of a transcoding device for performing the transcoding method according to the present embodiment. In FIG. 2, the demultiplexer 1
This is an apparatus that separates encoded data corresponding to each frame other than a frame into a quantized DCT coefficient variable length code and motion information variable length code. The variable length decoder 2A includes:
This is a device that actually returns a variable length code of motion information to a numerical value.
【0036】動き情報算出回路2は、上述したフレーム
間予測符号化データ再編集処理の一部である動き情報算
出処理を行う回路である。さらに詳述すると、動き情報
算出回路2は、処理対象フレームに対応した動き情報、
第1参照フレームに対応した動き情報、第2参照フレー
ムに対応した動き情報、その他のフレームに対応した動
き情報を可変長復号化器2Aから受け取る。動き情報算
出回路2は、処理対象フレームに対応した動き情報を受
け取った場合、処理対象フレームに対応した動き情報と
第1参照フレームに対応した動き情報とから新たな動き
情報を算出し、元の動き情報の代わりに出力する。この
新たな動き情報は、第2参照フレームを参照して処理対
象フレームのフレーム間予測符号化を行ったときに得ら
れるであろう動き情報に相当する。第1参照フレームに
対応した動き情報は廃棄される。他のフレームに対応し
た動き情報は動き情報算出回路2をそのまま通過する。
可変長符号化器2Bは、このようにして動き情報算出回
路2から出力される動き情報を可変長符号化する回路で
ある。The motion information calculation circuit 2 is a circuit that performs a motion information calculation process which is a part of the above-described inter-frame prediction coded data re-editing process. More specifically, the motion information calculation circuit 2 includes motion information corresponding to the processing target frame,
The motion information corresponding to the first reference frame, the motion information corresponding to the second reference frame, and the motion information corresponding to other frames are received from the variable length decoder 2A. When receiving the motion information corresponding to the processing target frame, the motion information calculation circuit 2 calculates new motion information from the motion information corresponding to the processing target frame and the motion information corresponding to the first reference frame, and Output instead of motion information. This new motion information corresponds to motion information that would be obtained when performing inter-frame predictive coding of the processing target frame with reference to the second reference frame. The motion information corresponding to the first reference frame is discarded. Motion information corresponding to another frame passes through the motion information calculation circuit 2 as it is.
The variable length encoder 2B is a circuit that performs variable length encoding on the motion information output from the motion information calculation circuit 2 in this manner.
【0037】可変長復号器3は、逆多重化装置1から出
力される可変長符号からDCT係数の量子化データを復
号する装置である。また、逆量子化器4は、この量子化
データを逆量子化し、DCT係数を出力する装置であ
る。The variable length decoder 3 is a device for decoding quantized data of DCT coefficients from a variable length code output from the demultiplexer 1. The inverse quantizer 4 is a device that inversely quantizes the quantized data and outputs a DCT coefficient.
【0038】DCT係数算出回路5は、上述したフレー
ム間予測符号化データ再編集処理の一部であるDCT係
数算出処理を行う回路である。さらに詳述すると、DC
T係数算出回路5は、逆量子化器4から、処理対象フレ
ームに対応したDCT係数、第1参照フレームに対応し
たDCT係数、第2参照フレームに対応したDCT係
数、その他のフレームに対応したDCT係数を受け取
る。DCT係数算出回路5は、処理対象フレームに対応
したDCT係数を受け取った場合、処理対象フレームに
対応した動き情報およびDCT係数と第1参照フレーム
に対応したDCT係数とから新たなDCT係数を算出
し、元のDCT係数の代わりに出力する。この新たなD
CT係数は、第2参照フレームを参照して処理対象フレ
ームのフレーム間予測符号化を行った場合に得られるで
あろうDCT係数に相当する。第1参照フレームに対応
したDCT係数はDCT係数算出回路5によって廃棄さ
れる。他のフレームに対応したDCT係数はDCT係数
算出回路5をそのまま通過する。The DCT coefficient calculation circuit 5 is a circuit for performing a DCT coefficient calculation process which is a part of the above-described inter-frame prediction coded data re-editing process. More specifically, DC
The T coefficient calculation circuit 5 outputs a DCT coefficient corresponding to the processing target frame, a DCT coefficient corresponding to the first reference frame, a DCT coefficient corresponding to the second reference frame, and a DCT corresponding to other frames from the inverse quantizer 4. Receive the coefficient. When receiving the DCT coefficient corresponding to the processing target frame, the DCT coefficient calculation circuit 5 calculates a new DCT coefficient from the motion information and the DCT coefficient corresponding to the processing target frame and the DCT coefficient corresponding to the first reference frame. , Instead of the original DCT coefficients. This new D
The CT coefficient corresponds to a DCT coefficient that would be obtained when performing inter-frame predictive coding of the processing target frame with reference to the second reference frame. The DCT coefficient corresponding to the first reference frame is discarded by the DCT coefficient calculation circuit 5. DCT coefficients corresponding to other frames pass through the DCT coefficient calculation circuit 5 as they are.
【0039】量子化器6は、DCT係数算出回路5から
出力されたDCT係数を量子化し、量子化データを出力
する装置である。また、可変長符号化器7は、この量子
化データを可変長符号化して出力する装置である。多重
化器8は、可変長符号化器22から得られる各フレーム
の動き情報の可変長符号と、可変長符号化器7から得ら
れる各フレームのDCT係数に対応した可変長符号とを
多重化して出力する装置である。The quantizer 6 is a device that quantizes the DCT coefficient output from the DCT coefficient calculation circuit 5 and outputs quantized data. Further, the variable-length encoder 7 is a device that performs variable-length encoding on the quantized data and outputs the encoded data. The multiplexer 8 multiplexes the variable length code of the motion information of each frame obtained from the variable length encoder 22 and the variable length code corresponding to the DCT coefficient of each frame obtained from the variable length encoder 7. Output device.
【0040】次に、動き情報算出回路2の処理内容につ
いて詳しく説明する。例えば図1において、P3フレー
ムの間引きを行う場合を考える。この場合、P3フレー
ムが第1参照フレーム、P4フレームが処理対象フレー
ム、P2フレームが第2参照フレームである。ここで、
処理対象フレーム(P4フレーム)に対応した符号化デ
ータは、同フレーム中の各マクロブロック毎に動き情報
を含んでいるが、これらの動き情報は、第1参照フレー
ム(P3フレーム)の状態からの動きを表した内容にな
っている。従って、第1参照フレーム(P3フレーム)
を間引く場合には、処理対象フレーム(P4フレーム)
における各マクロブロックが第2参照フレーム(P2フ
レーム)の画面内において占めていた各エリアを求め、
各エリアから処理対象フレームの各マクロブロックの位
置までの移動に対応した新たな動き情報(以下、便宜
上、P2−P4間の動き情報という)を求める必要があ
る。そこで、本実施形態における動き情報算出回路2で
は、次の方法により、このP2−P4間の動き情報の算
出を行う。Next, the processing contents of the motion information calculation circuit 2 will be described in detail. For example, in FIG. 1, consider a case where P3 frame thinning is performed. In this case, the P3 frame is a first reference frame, the P4 frame is a processing target frame, and the P2 frame is a second reference frame. here,
The encoded data corresponding to the processing target frame (P4 frame) includes motion information for each macroblock in the same frame, and the motion information is obtained from the state of the first reference frame (P3 frame). It is a content that expresses movement. Therefore, the first reference frame (P3 frame)
When thinning out, the processing target frame (P4 frame)
, The area occupied by the macroblocks in the screen of the second reference frame (P2 frame) is obtained,
It is necessary to obtain new motion information corresponding to the movement from each area to the position of each macroblock of the processing target frame (hereinafter, referred to as motion information between P2 and P4 for convenience). Therefore, the motion information calculation circuit 2 in the present embodiment calculates the motion information between P2 and P4 by the following method.
【0041】図3において、処理対象MBとあるのは、
処理対象フレーム(P4フレーム)を構成する各マクロ
ブロックの中の1つである。ここで、処理対象MBの画
像に類似したマクロブロック(以下、第1参照MBとい
う)が第1参照フレーム(P3フレーム)に含まれてい
る場合、この第1参照MBから処理対象MBまでの移動
に対応した動き情報V0が、処理対象フレーム(P4フ
レーム)の符号化データの中に含まれている。従って、
処理対象MBの処理対象フレーム内での位置とこの動き
情報V0とにより第1参照MBの第1参照フレーム内で
の位置を求めることができる。In FIG. 3, the MB to be processed is
This is one of the macroblocks constituting the processing target frame (P4 frame). Here, when a macro block similar to the image of the processing target MB (hereinafter, referred to as a first reference MB) is included in the first reference frame (P3 frame), the movement from the first reference MB to the processing target MB is performed. Is included in the encoded data of the processing target frame (P4 frame). Therefore,
The position of the first reference MB in the first reference frame can be obtained from the position of the processing target MB in the processing target frame and the motion information V0.
【0042】しかし、この第1参照MBに類似した画像
(以下、第2参照MBという)が第2参照フレーム(P
2フレーム)に含まれていたとしてもその画像の所在位
置を第1参照フレーム(P3フレーム)の動き情報から
直接求めることはできない。その理由は次の通りであ
る。However, an image similar to the first reference MB (hereinafter, referred to as a second reference MB) has a second reference frame (P
Even if it is included in two frames, the location of the image cannot be directly obtained from the motion information of the first reference frame (P3 frame). The reason is as follows.
【0043】一般的に、第1参照MBは、第1参照フレ
ーム(P3フレーム)を分割した各マクロブロックのい
ずれとも一致せず、通常は、図示のように、4個のマク
ロブロックに跨った状態となる。ここで、動き情報はフ
レームを構成する各マクロブロック毎に定められている
情報であり、第1参照MBが跨っている4個のマクロブ
ロックについては動き情報V1〜V4が定まっている。
しかし、これらのマクロブロックはいずれも第1参照M
Bとは一致しない。このように、第1参照フレーム(P
3フレーム)の符号化データには、第1参照MBに対応
した動き情報が存在しないので、第2参照フレーム(P
2フレーム)における第2参照MBの所在位置を第1参
照フレーム(P3フレーム)の動き情報から直接求める
ことはできないのである。In general, the first reference MB does not match any of the macroblocks obtained by dividing the first reference frame (P3 frame), and usually extends over four macroblocks as shown in the figure. State. Here, the motion information is information defined for each macroblock constituting the frame, and motion information V1 to V4 are determined for four macroblocks straddling the first reference MB.
However, each of these macroblocks has a first reference M
B does not match. Thus, the first reference frame (P
Since the motion information corresponding to the first reference MB does not exist in the encoded data of (3 frames), the second reference frame (P
The location of the second reference MB in the second frame (2 frames) cannot be directly obtained from the motion information of the first reference frame (P3 frame).
【0044】そこで、この動き情報算出回路2では、次
のようにして、第2参照MBから処理対象MBまでの移
動に対応した動き情報を算出する。 ステップS1:まず、動き情報算出回路2は、第1参照
MBが跨っている4個のマクロブロックの中から、第1
参照MBと重複している部分の面積が最も大きいマクロ
ブロックに対応した動き情報を選択する。図3に示す例
では、4個のマクロブロックのうちマクロブロックb4
が、第1参照MBとの間の重複部分の面積が最も大きい
ので、このマクロブロックb4に対応した動き情報V4
が選択されることとなる。 ステップS2:次に、動き情報算出回路2は、処理対象
MBに対応した動き情報V0と、上記ステップS2にお
いて求めた動き情報V4を用いて、以下の演算を行い、
第2参照MBから処理対象MBまでの移動に対応した動
き情報の算出値Vnewを求める。Therefore, the motion information calculation circuit 2 calculates motion information corresponding to the movement from the second reference MB to the processing target MB as follows. Step S1: First, the motion information calculation circuit 2 selects a first macroblock from among the four macroblocks straddling the first reference MB.
The motion information corresponding to the macroblock having the largest area of the portion overlapping with the reference MB is selected. In the example shown in FIG. 3, the macro block b4 out of the four macro blocks
However, since the area of the overlapping portion with the first reference MB is the largest, the motion information V4 corresponding to this macroblock b4
Will be selected. Step S2: Next, the motion information calculation circuit 2 performs the following calculation using the motion information V0 corresponding to the processing target MB and the motion information V4 obtained in the above step S2.
A calculated value Vnew of the motion information corresponding to the movement from the second reference MB to the processing target MB is obtained.
【数1】 (Equation 1)
【0045】動き情報算出回路2は、以上説明した処理
を、処理対象フレーム(P4フレーム)における各マク
ロブロックを処理対象MBとして実行し、各マクロブロ
ックについて、第2参照フレーム(P2フレーム)内の
第2参照MB(各マクロブロックに対応したもの)から
当該処理対象マクロブロックまでの移動に対応した動き
情報の算出値Vnewを求めるのである。また、図1に
例示するように間引かれるフレームが複数ある場合、動
き情報算出回路2は、間引かれるフレームが参照してい
るフレームと間引かれるフレームを参照しているフレー
ムとの間の動き情報の算出値を上記と同様な手順により
求める。The motion information calculation circuit 2 executes the above-described processing with each macroblock in the processing target frame (P4 frame) as a processing target MB, and executes the processing for each macroblock in the second reference frame (P2 frame). The calculated value Vnew of the motion information corresponding to the movement from the second reference MB (corresponding to each macroblock) to the processing target macroblock is obtained. In addition, when there are a plurality of frames to be decimated as illustrated in FIG. 1, the motion information calculation circuit 2 determines whether a frame referred to by the decimated frame and a frame referred to by the decimated frame. The calculated value of the motion information is obtained by the same procedure as described above.
【0046】次に、DCT係数算出回路5の処理内容に
ついて詳述する。図4には、処理対象フレーム(P4フ
レーム)に含まれる各処理対象MBのうちの1個が示さ
れている。各処理対象MBは、図示のように4個のブロ
ックにより構成されている。本実施形態が前提とするフ
レーム間予測符号化方法では、このブロック単位で、フ
レーム間の差分画像のDCTが行われる。以下では、図
示の処理対象MB内の1つのブロック(以下、処理対象
ブロックという)に対応した差分画像のDCT係数の修
正手順を取り上げる。Next, the processing contents of the DCT coefficient calculation circuit 5 will be described in detail. FIG. 4 shows one of the processing target MBs included in the processing target frame (P4 frame). Each processing target MB is composed of four blocks as shown. In the inter-frame predictive encoding method based on the present embodiment, DCT of a difference image between frames is performed in block units. In the following, a procedure of correcting the DCT coefficient of the difference image corresponding to one block (hereinafter, referred to as a processing target block) in the illustrated processing target MB will be described.
【0047】まず、図4には第1参照フレーム(P3フ
レーム)における1つのMBが示されており、このMB
は、フレームP4の処理対象ブロックの画像に類似した
第1参照ブロックb’を含んでいる。以下、便宜上、こ
のブロックb’を第1参照ブロックと呼ぶ。First, FIG. 4 shows one MB in the first reference frame (P3 frame).
Includes a first reference block b ′ similar to the image of the processing target block of the frame P4. Hereinafter, for convenience, this block b 'is referred to as a first reference block.
【0048】この第1参照ブロックb’に対応した第2
参照フレーム(P2フレーム)および第1参照フレーム
(P3フレーム)間の差分画像のDCT係数が第1参照
フレーム(P3フレーム)の符号化データから得られれ
ば、このDCT係数を処理対象フレーム(P4フレー
ム)の処理対象ブロックに対応したDCT係数に加算す
ることにより、処理対象ブロックに対応したDCT係数
を第2参照フレームを参照した内容に修正することがで
きる。しかしながら、逆量子化器4からDCT係数算出
回路5に供給されるDCT係数は、各フレームを分割し
た各ブロックに対応したDCT係数であり、この中には
第1参照ブロックb’に対応したDCT係数はない。そ
こで、本実施形態におけるDCT係数算出回路5では、
次のようにして第1参照ブロックb’に対応したDCT
係数を算出する。A second reference block corresponding to the first reference block b '
If the DCT coefficient of the difference image between the reference frame (P2 frame) and the first reference frame (P3 frame) is obtained from the encoded data of the first reference frame (P3 frame), the DCT coefficient is converted to the processing target frame (P4 frame). By adding the DCT coefficient corresponding to the processing target block to the DCT coefficient corresponding to the processing target block, the DCT coefficient corresponding to the processing target block can be corrected to the content referring to the second reference frame. However, the DCT coefficients supplied from the inverse quantizer 4 to the DCT coefficient calculation circuit 5 are DCT coefficients corresponding to each block obtained by dividing each frame, and include DCT coefficients corresponding to the first reference block b ′. There are no coefficients. Therefore, in the DCT coefficient calculation circuit 5 in the present embodiment,
DCT corresponding to the first reference block b 'as follows
Calculate the coefficient.
【0049】まず、図4において、第1参照ブロック
b’は、4個のブロックb1〜b4に跨っている。DC
T係数算出回路5は、この第1参照ブロックb’のうち
ブロックb1内に侵入している部分の水平方向の長さw
1と高さ方向の長さh1、ブロックb2内に侵入してい
る部分の水平方向の長さw2と高さ方向の長さh2、ブ
ロックb3内に侵入している部分の水平方向の長さw3
と高さ方向の長さh3、ブロックb4内に侵入している
部分の水平方向の長さw4と高さ方向の長さh4を各々
求める。First, in FIG. 4, the first reference block b 'extends over four blocks b1 to b4. DC
The T coefficient calculation circuit 5 calculates the horizontal length w of the portion of the first reference block b ′ that has entered the block b1.
1, the length h1 in the height direction, the horizontal length w2 and the length h2 of the portion invading the block b2, and the horizontal length of the portion invading the block b3. w3
And the length h3 in the height direction, the horizontal length w4 and the length h4 in the height direction of the portion penetrating the block b4 are obtained.
【0050】次に、各ブロックbi(i=1〜4)に対
応したDCT係数の行列をBi(i=1〜4)とした場
合、DCT係数算出回路5は、第1参照ブロックb’に
対応したDCT係数の算出値の行列B’を次式により求
める。Next, when the matrix of DCT coefficients corresponding to each block bi (i = 1 to 4) is Bi (i = 1 to 4), the DCT coefficient calculation circuit 5 assigns the first reference block b ′ The matrix B ′ of the corresponding DCT coefficient calculation value is obtained by the following equation.
【数2】 (Equation 2)
【0051】ここで、HHiはhhiのDCT係数、H
wiはhwiのDCT係数であり、各hhiおよびhw
iは、次のように与えられる。Here, HHi is the DCT coefficient of hhi, H
wi is the DCT coefficient of hwi, and each hhi and hw
i is given as follows.
【数3】 (Equation 3)
【数4】 (Equation 4)
【数5】 (Equation 5)
【数6】 (Equation 6)
【0052】上記の各式においてIhiやIwiを用い
た行列の表記の意味するところは次の通りである。すな
わち、例えばhi=4であるとすると、上記各式は、次
のように表される。The meaning of the matrix notation using Ihi or Iwi in each of the above expressions is as follows. That is, for example, assuming that hi = 4, the above equations are represented as follows.
【数7】 (Equation 7)
【数8】 (Equation 8)
【0053】DCT係数算出回路5は、以上のようにし
て、第2参照フレーム(P2フレーム)および第1参照
フレーム(P3フレーム)間の差分画像であって第1参
照ブロックb’に対応したもののDCT係数を算出する
と、このDCT係数を処理対象ブロックのDCT係数に
加算し、第2参照フレーム(P2フレーム)および処理
対象フレーム(P4フレーム)間の動き補償後の差分画
像であって処理対象ブロックに対応したもののDCT係
数を得るのである。As described above, the DCT coefficient calculating circuit 5 is a difference image between the second reference frame (P2 frame) and the first reference frame (P3 frame), which corresponds to the first reference block b '. After calculating the DCT coefficient, the DCT coefficient is added to the DCT coefficient of the processing target block, and the difference image after motion compensation between the second reference frame (P2 frame) and the processing target frame (P4 frame), which is the processing target block Is obtained.
【0054】そして、DCT係数算出回路5は、処理対
象フレーム(P4フレーム)内の他のブロックについて
も、以上と同様な処理を行い、処理対象フレーム内の全
ブロックのDCT係数を修正する。以上、P3フレーム
を間引く場合を例に説明したが、他のフレームを間引く
場合も同様である。以上が本実施形態に係るトランスコ
ーディング装置の詳細である。The DCT coefficient calculation circuit 5 performs the same processing as described above for the other blocks in the processing target frame (P4 frame), and corrects the DCT coefficients of all the blocks in the processing target frame. Although the case where the P3 frame is thinned has been described above as an example, the same applies to the case where other frames are thinned. The above is the details of the transcoding device according to the present embodiment.
【0055】図5は、本実施形態に係るトランスコーデ
ィング装置を構成するに当たり、従来技術に係るトラン
スコーディング装置に含まれていたもののうち削除した
ものを示している。本実施形態によれば、符号化データ
から画像を復号することなく、符号化データのまま加工
することにより、特定フレームの間引きを行った符号化
データを生成するので、画像の復号のための逆DCT、
復号された画像を再符号化するためのDCT、逆量子
化、逆DCT、動き予測および補償が不要となる。この
ため、これらの不要な変換によって生じる誤差をなく
し、トランスコーディングに伴う画質の劣化を低減する
ことができ、かつ、トランスコーディングのための演算
量や演算時間を大幅に削減することができる。また、符
号化データから画像を復号しないので、復号した画像を
格納するためのメモリが不要であり、トランスコーディ
ング装置のハードウェアを小規模にすることができる。FIG. 5 shows the transcoding device according to the present embodiment, which is omitted from those included in the transcoding device according to the prior art. According to the present embodiment, since the encoded data is processed as it is without decoding the image from the encoded data, the encoded data in which the specific frame is thinned out is generated. DCT,
DCT, inverse quantization, inverse DCT, motion estimation and compensation for re-encoding the decoded image are not required. Therefore, errors caused by these unnecessary conversions can be eliminated, deterioration of image quality due to transcoding can be reduced, and the amount of calculation and time required for transcoding can be significantly reduced. Further, since the image is not decoded from the encoded data, a memory for storing the decoded image is not required, and the hardware of the transcoding device can be downsized.
【0056】A−3.動き情報算出アルゴリズムの他の
例 以上説明した第1の実施形態では、動く情報算出回路2
(図2)によって実行される動き情報算出アルゴリズム
の一例が示された。しかしながら、動き情報算出回路2
によって実行され得る動き情報算出アルゴリスムには他
に例がある。A-3. Another Example of Motion Information Calculation Algorithm In the first embodiment described above, the motion information calculation circuit 2
An example of the motion information calculation algorithm executed by (FIG. 2) is shown. However, the motion information calculation circuit 2
There are other examples of motion information calculation algorithms that can be performed by
【0057】A−3−1.例1 本例は、MPEG−4あるいはH.263のようなブロ
ック毎に動き補償を行うことができる符号化データに好
適なトランスコーディング方法およびトランスコーディ
ング装置を提供するものである。本例では、上記第1の
実施形態における動き情報算出回路2(図2参照)の動
き情報算出アルゴリズムが図6に示すものに変更されて
いる。以下、P4フレームを処理対象フレーム、P3フ
レームを第1参照フレーム、P2フレームを第2参照フ
レームとし、P3フレーム(第1参照フレーム)を間引
く場合を想定し、本例による動き情報算出アルゴリズム
について説明する。A-3-1. Example 1 This example uses MPEG-4 or H.264. It is an object of the present invention to provide a transcoding method and a transcoding apparatus suitable for encoded data capable of performing motion compensation for each block such as H.263. In this example, the motion information calculation algorithm of the motion information calculation circuit 2 (see FIG. 2) in the first embodiment is changed to that shown in FIG. Hereinafter, the motion information calculation algorithm according to the present example will be described on the assumption that the P4 frame is a processing target frame, the P3 frame is a first reference frame, the P2 frame is a second reference frame, and the P3 frame (first reference frame) is thinned out. I do.
【0058】このアルゴリズムでは、以下の手順により
動き情報の算出を行う。 ステップ1:まず、処理対象フレームにおける処理対象
マクロブロックに対応した動き情報V0を求め、この動
き情報V0から、第1参照フレームにおける当該処理対
象マクロブロックに対応した第1参照マクロブロックを
求める。In this algorithm, motion information is calculated according to the following procedure. Step 1: First, motion information V0 corresponding to a processing target macroblock in a processing target frame is obtained, and a first reference macroblock corresponding to the processing target macroblock in a first reference frame is obtained from the motion information V0.
【0059】ステップ2:次に、第1参照フレームにお
いて第1参照マクロブロックを分割した各第1参照ブロ
ック毎に、第1参照フレームにおける各マクロブロック
のうち当該第1参照ブロックと重複している部分の面積
が最も広いマクロブロックに対応した動き情報を求め
る。図14の例では、左上の第1参照ブロックについて
は、左上のマクロブロックb1と重複している面積が最
も広いので、この左上のマクロブロックb1に対応した
動き情報V1が第1参照フレームの符号化データの中か
ら選択されることとなる。また、右上の第1参照ブロッ
クについては、右上のマクロブロックb2と重複してい
る面積が最も広いので、この右上のマクロブロックb2
に対応した動き情報V2が第1参照フレームの符号化デ
ータの中から選択されることとなる。また、左下の第1
参照ブロックについては、左下のマクロブロックb3と
重複している面積が最も広いので、この左下のマクロブ
ロックb3に対応した動き情報V3が第1参照フレーム
の符号化データの中から選択されることとなる。最後
に、右下の第1参照ブロックについては、右下のマクロ
ブロックb4と重複している面積が最も広いので、この
右下のマクロブロックb4に対応した動き情報V4が第
1参照フレームの符号化データの中から選択されること
となる。Step 2: Next, each of the first reference blocks obtained by dividing the first reference macroblock in the first reference frame overlaps with the first reference block among the macroblocks in the first reference frame. The motion information corresponding to the macroblock having the largest area is obtained. In the example of FIG. 14, the upper left first reference block has the largest overlapping area with the upper left macro block b1, so that the motion information V1 corresponding to the upper left macro block b1 is the code of the first reference frame. Will be selected from the conversion data. Also, the upper right first reference block has the largest area overlapping the upper right macro block b2, and thus the upper right macro block b2
Is selected from the encoded data of the first reference frame. In addition, the first
Since the area of the reference block overlapping the lower left macroblock b3 is the largest, the motion information V3 corresponding to the lower left macroblock b3 is selected from the encoded data of the first reference frame. Become. Finally, the lower right first reference block has the largest overlapping area with the lower right macroblock b4, so that the motion information V4 corresponding to the lower right macroblock b4 is the code of the first reference frame. Will be selected from the conversion data.
【0060】ステップ3:上記ステップ1の動き情報V
0とステップS2において各第1参照ブロック毎に選択
した動き情報V1〜V4から、次の演算により、第2参
照フレームから処理対象フレームにおける処理対象マク
ロブロックを分割した4個のブロックまでの動き情報V
1new〜V4newを求める。Step 3: The motion information V of the above step 1
0 and motion information from the second reference frame to four blocks obtained by dividing the processing target macroblock in the processing target frame by the following calculation from the motion information V1 to V4 selected for each first reference block in step S2. V
1new to V4new are obtained.
【数9】 (Equation 9)
【0061】この動き情報算出アルゴリズムによれば、
処理対象マクロブロックを分割した各ブロックについ
て、参照画像との間の動き情報が得られるので、各ブロ
ック毎に動き補償が可能な符号化方法に対して最適なト
ランスコーディングを行うことができる。According to the motion information calculation algorithm,
Since motion information between each block obtained by dividing the macroblock to be processed and the reference image is obtained, it is possible to perform optimal transcoding for an encoding method capable of performing motion compensation for each block.
【0062】A−3−2.例2 次に、図7(a)に示す動き情報算出アルゴリズムで
は、以下の手順により動き情報の算出を行う。 ステップ1:まず、処理対象フレームの符号化データか
ら処理対象マクロブロックに対応した動き情報V0を求
め、この動き情報V0から、第1参照フレームにおける
当該処理対象マクロブロックに対応した第1参照マクロ
ブロックを求める。 ステップ2:次に、第1参照フレームにおいて各マクロ
ブロックのうち第1参照マクロブロックと重複している
マクロブロックb1〜b4を求め、これらのマクロブロ
ックb1〜b4のうち第1参照マクロブロックと重複し
ている部分の面積が最も広いマクロブロックに対応した
動き情報を求める。図7(a)の例では、図示された4
個のマクロブロックb1〜b4のうち右下に図示された
マクロブロックb4と第1参照マクロブロックとの重複
部分の面積が最も広いので、このマクロブロックb4に
対応した動き情報V4が第1参照フレームの符号化デー
タの中から選択されることとなる。A-3-2. Example 2 Next, in the motion information calculation algorithm shown in FIG. 7A, motion information is calculated according to the following procedure. Step 1: First, motion information V0 corresponding to the processing target macroblock is obtained from the encoded data of the processing target frame, and the first reference macroblock corresponding to the processing target macroblock in the first reference frame is obtained from the motion information V0. Ask for. Step 2: Next, in the first reference frame, macroblocks b1 to b4 overlapping with the first reference macroblock among the macroblocks are obtained, and overlapping with the first reference macroblock among these macroblocks b1 to b4. The motion information corresponding to the macroblock having the largest area of the portion where the motion is performed is obtained. In the example of FIG.
Since the area of the overlap between the macroblock b4 shown in the lower right of the macroblocks b1 to b4 and the first reference macroblock is the largest, the motion information V4 corresponding to this macroblock b4 is the first reference frame. Is selected from the encoded data of
【0063】ステップ3:次に、第1参照フレームにお
いて、第1参照マクロブロックの中心からこの第1参照
マクロブロックとの重複部分の面積が最も広いマクロブ
ロックb4の中心までの動き情報ΔV4を求める(図7
(b)参照)。 ステップS4:上記ステップ1の動き情報V0と、ステ
ップ2において求めた動き情報V4と、ステップ3にお
いて求めた動き情報ΔV4とから、次の演算により、第
2参照レームから処理対象フレームにおける処理対象マ
クロブロックまでの動き情報Vnewを求める。Step 3: Next, in the first reference frame, motion information ΔV4 from the center of the first reference macroblock to the center of the macroblock b4 having the largest area of the overlapping portion with the first reference macroblock is obtained. (FIG. 7
(B)). Step S4: From the motion information V0 obtained in the above step 1, the motion information V4 obtained in the step 2, and the motion information ΔV4 obtained in the step 3, the following operation calculates the macro to be processed in the frame to be processed from the second reference frame. The motion information Vnew up to the block is obtained.
【数10】 (Equation 10)
【0064】A−4.DCT係数算出アルゴリズムの他
の例 次に図7を参照し、本実施形態におけるDCT係数算出
回路のDCT係数算出アルゴリズムについて説明する。
本実施形態では、次の手順によりP3フレーム(第1参
照フレーム)間引き後の処理対象MBに対応したDCT
係数を算出する。 ステップS1:まず、P4フレーム(処理対象フレー
ム)の符号化データの中から処理対象MBに対応したD
CT係数(すなわち、処理対象MBと第1参照MBの差
分のDCT係数)を求める。 ステップS2:次に、間引かれるP3フレームにおいて
第1参照MBと重複しているマクロブロックb1〜b4
のうち第1参照MBと重複している部分の面積が最も広
いマクロブロックb4に対応したDCT係数(すなわ
ち、マクロブロックb4と参照MBとの差分のDCT係
数)を求める。 ステップS3:次に、ステップS1において求めた処理
対象MBに対応したDCT係数と、ステップS2におい
て求めたマクロブロックb4に対応したDCT係数とを
加算し、この加算結果をP3フレーム間引き後における
符号化MBに対応したDCT係数とする。A-4. Another Example of DCT Coefficient Calculation Algorithm Next, the DCT coefficient calculation algorithm of the DCT coefficient calculation circuit according to the present embodiment will be described with reference to FIG.
In the present embodiment, the DCT corresponding to the processing target MB after the P3 frame (first reference frame) has been thinned out according to the following procedure.
Calculate the coefficient. Step S1: First, from the encoded data of the P4 frame (processing target frame), D
A CT coefficient (that is, a DCT coefficient of a difference between the processing target MB and the first reference MB) is obtained. Step S2: Next, macroblocks b1 to b4 overlapping with the first reference MB in the P3 frame to be thinned out
Among them, the DCT coefficient corresponding to the macroblock b4 having the largest area overlapping with the first reference MB (that is, the DCT coefficient of the difference between the macroblock b4 and the reference MB) is obtained. Step S3: Next, the DCT coefficient corresponding to the processing target MB obtained in step S1 and the DCT coefficient corresponding to the macroblock b4 obtained in step S2 are added, and the addition result is encoded after P3 frame thinning-out. The DCT coefficient corresponds to the MB.
【0065】本例の場合、単なるDCT係数の加算によ
り処理対象MBに対応したDCT係数を得ることがで
き、上記第1の実施形態における数2のような演算を行
う必要がないので、演算量を削減することができるとい
う利点がある。なお、本例におけるDCT係数算出回路
は、本例における動き情報算出回路の他、他の構成の動
き情報算出回路と組み合わせてもよい。In the case of this example, the DCT coefficient corresponding to the MB to be processed can be obtained by simply adding the DCT coefficient, and it is not necessary to perform the operation as shown in the equation 2 in the first embodiment. There is an advantage that can be reduced. Note that the DCT coefficient calculation circuit in this example may be combined with a motion information calculation circuit having another configuration in addition to the motion information calculation circuit in this example.
【0066】A−5.変形例1 以上説明した実施形態では、ピクチャグループの中のフ
レームの概念を使用して説明したが、フレームに限ら
ず、本発明はフィールドを取り扱うMPEG−2などの
符号化方式にも適用可能である。例えばテレビジョン信
号の場合、図8に例示するように、1つのフレームが2
つのフィールドから構成されている。そして、隣り合っ
たフレームの奇数フィールド同士の間および偶数フィー
ルド同士の間でフレーム間予測符号化が行われる。この
ようなフレーム間予測符号化により得られた符号化デー
タのトランスコーディングを行う場合であっても、上記
各実施形態において説明したものと基本的に同じ手順に
より動き情報およびDCT係数の算出を行うことができ
る。すなわち、フレーム内の各フィールドを処理対象フ
レームとし、上記各実施形態による動き情報の算出およ
びDCT係数の算出を行えばよいのである。A-5. Modification Example 1 In the embodiment described above, the concept of a frame in a picture group has been described. However, the present invention is not limited to a frame, and the present invention is also applicable to an encoding method such as MPEG-2 that handles fields. is there. For example, in the case of a television signal, as shown in FIG.
It consists of two fields. Then, inter-frame predictive encoding is performed between odd fields and between even fields of adjacent frames. Even when transcoding encoded data obtained by such inter-frame predictive encoding, motion information and DCT coefficients are calculated by basically the same procedure as described in the above embodiments. be able to. That is, each field in the frame is set as a processing target frame, and the calculation of the motion information and the calculation of the DCT coefficient according to each of the above embodiments may be performed.
【0067】A−6.変形例2 以上説明した実施形態では、ピクチャグループの中のP
フレームを間引いた。これに対し、本実施形態では、例
えばIBBPという構成のピクチャグループにおいてB
フレームを間引き、その場合に残るBフレームの符号化
データの動き情報およびDCT係数を変更し、データ量
を削減する。A-6. Modification 2 In the embodiment described above, P in the picture group
Frames have been thinned out. On the other hand, in the present embodiment, for example, in a picture group having a configuration of IBBP, B
The frames are decimated, and the motion information and DCT coefficients of the coded data of the remaining B frames are changed to reduce the data amount.
【0068】以下、図9を参照し、本変形例に係るトラ
ンスコーディング方法について説明する。図9に示すピ
クチャグループにおいて、IフレームとPフレームとの
間には2個のBフレームが介挿されている。これらのB
フレームは、いずれもIフレームおよびPフレームを参
照することにより各々の符号化データが生成される。こ
こでは、これらのBフレームのうちPフレームの直前の
Bフレームを間引くものとする。この間引きを行った場
合、Iフレームの直後のBフレームが残るが、このBフ
レームは、次の3種類のマクロブロックを含んでいる。Hereinafter, a transcoding method according to the present modification will be described with reference to FIG. In the picture group shown in FIG. 9, two B frames are interposed between the I frame and the P frame. These B
Each of the frames generates encoded data by referring to the I frame and the P frame. Here, it is assumed that among these B frames, the B frame immediately before the P frame is thinned out. When this thinning is performed, a B frame immediately after the I frame remains, but this B frame includes the following three types of macroblocks.
【0069】a.順方向予測モードによりフレーム間予
測符号化がなされたマクロブロック。すなわち、前フレ
ーム(この例ではIフレーム)のみを参照した動き情報
を符号化データに含むマクロブロック。 b.双方向予測モードによりフレーム間予測符号化がな
されたマクロブロック。すなわち、前フレーム(この例
ではIフレーム)を参照した動き情報と後フレーム(こ
の例ではPフレーム)を参照した動き情報とを符号化デ
ータに含むマクロブロック。 c.逆方向予測モードによりフレーム間予測符号化がな
されたマクロブロック。すなわち、後フレーム(この例
ではPフレーム)のみを参照した動き情報を符号化デー
タに含むマクロブロック。A. A macroblock that has been subjected to inter-frame prediction coding in the forward prediction mode. That is, a macroblock in which encoded data includes motion information referencing only the previous frame (in this example, the I frame). b. A macroblock that has been subjected to inter-frame prediction coding in the bidirectional prediction mode. That is, a macroblock in which encoded data includes motion information referencing a previous frame (in this example, an I frame) and motion information referencing a subsequent frame (in this example, a P frame). c. A macroblock that has been subjected to inter-frame prediction coding in the backward prediction mode. In other words, a macroblock in which encoded data includes motion information that refers only to the subsequent frame (P frame in this example).
【0070】本実施形態では、これらの3種類のマクロ
ブロックa〜cの符号化データを次のように処理する。In this embodiment, the coded data of these three types of macroblocks a to c are processed as follows.
【0071】<マクロブロックaの符号化データの処理
>このマクロブロックの符号化データについては、動き
情報(順方向)Vforword(B)およびDCT係
数をそのまま残す。<Processing of Encoded Data of Macroblock a> As for the encoded data of this macroblock, the motion information (forward direction) Vforward (B) and the DCT coefficient are left as they are.
【0072】<マクロブロックbの符号化データの処理
>このマクロブロックの符号化データについては、前フ
レームを参照した動き情報(順方向)Vforword
(B)のみを残し、後フレームを参照した動き情報(逆
方向)Vbackword(B)を廃棄する。また、動
き補償後の差分画像のDCT係数については、そのまま
残す。<Processing of Encoded Data of Macroblock b> For the encoded data of this macroblock, motion information (forward) Vforward referring to the previous frame
The motion information (backward) Vbackword (B) referring to the subsequent frame is discarded, leaving only (B). The DCT coefficients of the difference image after the motion compensation are left as they are.
【0073】<マクロブロックcの符号化データの処理
>このマクロブロックの符号化データについては、当該
マクロブロックを処理対象マクロブロックとし、後フレ
ーム(Pフレーム)を上記各実施形態における間引かれ
るフレームとし、前フレーム(Iフレーム)を上記各実
施形態における間引かれるフレームが参照している参照
フレームとし、当該マクロブロックに対応した動き情報
を参照フレームを参照した内容に変更するとともに、当
該マクロブロックに対応したDCT係数も参照フレーム
を参照した内容に変更する。図9には上記第1の実施形
態に開示された動き情報の算出方法を本変形例に適用し
た例が示されている。すなわち、この図9に示す例で
は、以下に示す手順により当該マクロブロックについて
参照フレームを参照した動き情報を得ている。<Processing of Encoded Data of Macroblock c> Regarding the encoded data of this macroblock, the macroblock is set as a processing target macroblock, and the succeeding frame (P frame) is a frame to be thinned out in each of the above embodiments. The previous frame (I frame) is a reference frame referred to by the frame to be thinned out in each of the above embodiments, and the motion information corresponding to the macroblock is changed to the content referring to the reference frame, and the macroblock is changed. The DCT coefficient corresponding to the reference frame is also changed to the content referring to the reference frame. FIG. 9 shows an example in which the motion information calculation method disclosed in the first embodiment is applied to this modification. That is, in the example shown in FIG. 9, the motion information that refers to the reference frame for the macroblock is obtained by the following procedure.
【0074】a.符号化データから当該処理対象マクロ
ブロックに対応した動き情報Vbackword(B)
を求める。 b.動き情報Vbackword(B)からPフレーム
における当該処理対象マクロブロックに対応した第1参
照マクロブロックを求める。 c.Pフレームにおける各マクロブロックのうち第1参
照マクロブロックと重複している部分の面積が最も広い
マクロブロックに対応した動き情報Vforword
(p)を求める。 d.上記aおよびcの各動き情報から、下記式に従い、
Pフレームの符号化データを生成するために参照された
Iフレームと当該処理対象マクロブロックとの間の動き
補償のための動き情報Vnewを算出する。A. Motion information Vbackword (B) corresponding to the macroblock to be processed from the encoded data
Ask for. b. A first reference macroblock corresponding to the macroblock to be processed in the P frame is obtained from the motion information Vbackword (B). c. Motion information Vforward corresponding to the macroblock having the largest area of the portion overlapping with the first reference macroblock among the macroblocks in the P frame.
Find (p). d. From each of the a and c motion information,
The motion information Vnew for motion compensation between the I frame referred to for generating the encoded data of the P frame and the macroblock to be processed is calculated.
【数11】 以上が本変形例における動き情報の算出処理の詳細であ
る。[Equation 11] The above is the details of the motion information calculation process in the present modification.
【0075】Bフレームに対応したDCT係数の変更
も、以上の動き情報の場合と同様、上記第1の実施形態
のものをそのまま利用することができる。以上の処理を
経ることにより、間引き後に残ったBフレームは、前フ
レーム(この例ではIフレーム)のみを参照したPフレ
ームとなる。As for the change of the DCT coefficient corresponding to the B frame, as in the case of the motion information described above, the one of the first embodiment can be used as it is. Through the above processing, the B frame remaining after the thinning becomes a P frame that refers only to the previous frame (in this example, the I frame).
【0076】なお、以上の例では、第1の実施形態にお
ける動き情報およぶDCT係数の算出方法を利用する場
合を例に挙げたが、他の実施形態における動き情報およ
ぶDCT係数の算出方法を本実施形態に適用し得ること
は言うまでもない。また、以上の例では、IBBPとい
う構成においてBフレームを間引く場合について説明し
たが、本実施形態は例えばIBBPBBPという構成に
おいて2個のPフレームの間の2個のBフレームの一方
を間引く場合にも適用可能である。In the above example, the case of using the method of calculating the motion information and the DCT coefficient in the first embodiment has been described as an example. However, the method of calculating the motion information and the DCT coefficient in other embodiments is described in the present embodiment. It goes without saying that the present invention can be applied to the embodiment. Further, in the above example, the case where B frames are thinned out in the configuration of IBBP has been described. However, the present embodiment is also applicable to the case where one of two B frames between two P frames is thinned out in the configuration of IBBPBBP. Applicable.
【0077】B.第2の実施形態 B−1.トランスコーディングの例 図10(a)〜(c)は本実施形態において行われるト
ランスコーディングの例を示す図である。まず、図10
(a)に示す例では、Iフレームと2個のBフレームと
Pフレームとからなるピクチャグループに対応した符号
化データを、Iフレームと3個のPフレームとからなる
ピクチャグループに対応した符号化データに変換するト
ランスコーディングを行っている。B. Second embodiment B-1. Examples of transcoding FIGS. 10A to 10C are diagrams illustrating examples of transcoding performed in the present embodiment. First, FIG.
In the example shown in (a), encoded data corresponding to a picture group consisting of an I frame, two B frames, and a P frame is converted to encoding data corresponding to a picture group consisting of an I frame and three P frames. Transcoding to convert to data is performed.
【0078】この例において、トランスコーディング前
のBフレームに対応した符号化データは、その前のIフ
レームの画像データとその後のPフレームの画像データ
とを参照することにより生成されており、Iフレームと
の間で動き補償(順方向予測)と行うための動き情報と
Pフレームとの間で動き補償(逆方向予測)を行うため
の動き情報を含んでいる。In this example, the encoded data corresponding to the B frame before transcoding is generated by referring to the image data of the preceding I frame and the image data of the subsequent P frame. And motion information for performing motion compensation (forward prediction) between P frames and motion information for performing motion compensation (backward prediction) between P frames.
【0079】次に図10(b)に示す例では、上記図1
0(a)に示す例において、2個のBフレームのうち後
の方のBフレームに対応した符号化データを間引き、I
フレームの直後のBフレームに対応した符号化データを
Iフレームのみを参照したPフレームの符号化データに
変換し、このPフレームを参照した内容となるようにピ
クチャグループ内の最後のPフレームに対応した符号化
データの変換を行う。Next, in the example shown in FIG.
In the example shown in FIG. 0 (a), the encoded data corresponding to the later B frame of the two B frames is thinned out, and
The coded data corresponding to the B frame immediately after the frame is converted into coded data of a P frame referencing only the I frame, and the coded data corresponding to the last P frame in the picture group is referred to so as to refer to the P frame. The converted encoded data is converted.
【0080】次に図10(c)に示す例では、Iフレー
ムと3個のPフレームからなるピクチャグループに対応
した符号化データが与えられた場合において、3個のP
フレームのうち1個を間引き、Iフレームと2個のPフ
レームからなるピクチャグループに対応した符号化デー
タに変換する。Next, in the example shown in FIG. 10 (c), when encoded data corresponding to a picture group consisting of an I frame and three P frames is given,
One of the frames is thinned out and converted into encoded data corresponding to a picture group consisting of an I frame and two P frames.
【0081】以上例示したように本発明の適用対象とな
るトランスコーディングでは、ある処理対象フレームの
符号化データが他のフレーム(第1の参照フレーム)を
参照して生成されたものである場合において、当該処理
対象フレームの符号化データが第2の参照フレームを参
照した内容に変更される。その際に、第2の参照フレー
ムから当該処理対象フレームまでの動きに対応した動き
情報が必要となる。従来のトランスコーディング装置で
は、この動き情報を求めるために、当該処理対象フレー
ムの各マクロブロックに対応した画像と類似した画像を
第2の参照フレームの画像の中から探索するという方法
を採っていたので、演算量が膨大なものとなっていた。
本発明は、このような動き情報の探索に代わる新たな技
術的手段を提供し、トランスコーディングの際の演算量
を削減するものである。As exemplified above, in the transcoding to which the present invention is applied, in the case where the encoded data of a certain processing target frame is generated with reference to another frame (first reference frame), Then, the coded data of the frame to be processed is changed to the contents referring to the second reference frame. At that time, motion information corresponding to the motion from the second reference frame to the processing target frame is required. In order to obtain the motion information, the conventional transcoding device employs a method of searching for an image similar to the image corresponding to each macroblock of the processing target frame from the image of the second reference frame. Therefore, the amount of calculation was enormous.
The present invention provides a new technical means in place of such a search for motion information, and reduces the amount of computation at the time of transcoding.
【0082】B−2.トランスコーディング装置 図11は、この発明の一実施形態であるトランスコーデ
ィング装置の構成を示すブロック図である。図11に示
すように、このトランスコーディング装置は、復号器1
0と、符号化器20と、動き情報算出部40と、動き情
報修正部50とを有している。B-2. Transcoding Device FIG. 11 is a block diagram showing a configuration of a transcoding device according to one embodiment of the present invention. As shown in FIG. 11, the transcoding device includes a decoder 1
0, an encoder 20, a motion information calculation unit 40, and a motion information correction unit 50.
【0083】これらのうち復号器10は、ある符号化ア
ルゴリズムにより符号化された符号化データを受け取
り、この符号化データから元の画像データを復元する手
段であり、逆多重化器11と、可変長復号器12および
13と、逆量子化器14と、加算器16と、フレームメ
モリ17と、動き補償部18とを有している。The decoder 10 receives the coded data coded according to a certain coding algorithm and restores the original image data from the coded data. It has long decoders 12 and 13, an inverse quantizer 14, an adder 16, a frame memory 17, and a motion compensator 18.
【0084】ここで、逆多重化装置11は、Iフレーム
以外の各フレームに対応した符号化データを、フレーム
間予測符号化によって得られた差分画像のDCT係数を
表す可変長符号と、動き情報の可変長符号とに分離する
装置である。可変長復号器12および13は、逆多重化
装置1によって分離されたDCT係数の可変長符号およ
び動き情報の可変長符号を各々DCT係数の量子化デー
タおよび動き情報に戻す装置である。逆量子化器14
は、可変長復号器12から得られるDCT係数の量子化
データを逆量子化し、DCT係数を出力する装置であ
る。逆DCT部15は、逆量子化器14から得られるD
CT係数に逆DCTを施し、動き補償を伴うフレーム間
予測符号化において得られた予測誤差を求める装置であ
る。この予測誤差は、処理対象である符号化データを生
成する際に、動き補償を行いながら、当該符号化データ
に対応した画像と当該符号化データを生成するために参
照されたフレーム(第1の参照フレーム)の画像との減
算を行うことにより得られた差分画像に相当するもので
ある。フレームメモリ17は、復号された画像データを
格納するメモリである。動き補償部18は、ある処理対
象フレームに対応した予測誤差(差分画像)が逆DCT
部15から加算器16に出力されるときに、この処理対
象フレームの符号化データの生成時に参照された第1の
参照フレームの画像データをフレームメモリ17から読
み出し、これに対し、可変長復号器13からの動き情報
を用いた動き補償を施して加算器16に出力する装置で
ある。加算機16は、この動き補償された参照フレーム
の画像データと、逆DCT部15からの予測誤差とを加
算し、加算結果を処理対象フレームに対応した画像デー
タとして出力する。以上説明した復号器1の構成および
動作は、既に図17(b)および図19を参照して説明
した通りである。Here, the demultiplexer 11 converts the encoded data corresponding to each frame other than the I frame into a variable length code representing the DCT coefficient of the differential image obtained by the inter-frame predictive encoding, and the motion information. This is a device for separating into a variable-length code. The variable length decoders 12 and 13 are devices that return the variable length code of the DCT coefficient and the variable length code of the motion information separated by the demultiplexer 1 to the quantized data of the DCT coefficient and the motion information, respectively. Inverse quantizer 14
Is a device that inversely quantizes the quantized data of the DCT coefficient obtained from the variable length decoder 12 and outputs the DCT coefficient. The inverse DCT unit 15 calculates the DDC obtained from the inverse quantizer 14
This is an apparatus that performs inverse DCT on CT coefficients and obtains a prediction error obtained in inter-frame prediction coding with motion compensation. When generating the encoded data to be processed, the prediction error refers to an image corresponding to the encoded data and a frame (first frame) referred to for generating the encoded data while performing motion compensation. This corresponds to a difference image obtained by performing subtraction from the image of the reference frame). The frame memory 17 is a memory for storing the decoded image data. The motion compensator 18 determines that the prediction error (difference image) corresponding to a certain processing target frame is inverse DCT
When output from the unit 15 to the adder 16, the image data of the first reference frame referred to when the encoded data of the processing target frame is generated is read out from the frame memory 17. This is a device that performs motion compensation using the motion information from the adder 13 and outputs the result to the adder 16. The adder 16 adds the image data of the motion-compensated reference frame and the prediction error from the inverse DCT unit 15 and outputs the addition result as image data corresponding to the processing target frame. The configuration and operation of the decoder 1 described above are as described with reference to FIG. 17B and FIG.
【0085】次に、符号化器20は、減算器21と、D
CT部22と、量子化器23と、逆量子化器24と、逆
DCT部25と、加算器26と、フレームメモリ27
と、動き補償部28と、可変長符号化器29および30
と、多重化器31とを有している。Next, the encoder 20 includes a subtracter 21 and a D
CT unit 22, quantizer 23, inverse quantizer 24, inverse DCT unit 25, adder 26, frame memory 27
, A motion compensator 28, and variable length encoders 29 and 30
And a multiplexer 31.
【0086】ここで、減算器21は、復号器1側から供
給される処理対象フレームに対応した画像データと、動
き補償部28から供給される動き補償のなされた参照画
像データとの差分である予測誤差を算出する装置であ
る。なお、参照画像データについては後述する。DCT
部22は、減算器21から得られる予測誤差に対してD
CTを施す装置であり、量子化器23はこのDCT部2
2から得られるDCT係数に量子化を施し、量子化デー
タを出力する装置である。逆量子化器24は、量子化器
23から出力された量子化データに逆量子化を施してD
CT係数を出力する装置であり、逆DCT部25は、逆
量子化器24から出力されるDCT係数に逆DCTを施
して予測誤差を復元する装置である。フレームメモリ2
7は、参照フレームの画像データを記憶するためのメモ
リである。動き補償部28は、ある処理対象フレームに
対応した画像データが復号器1側から減算器21に供給
されるとき、フレームメモリ27に記憶された当該処理
対象フレームの符号化において参照された参照フレーム
に対応した画像データを読み出し、この画像データに対
し、後述する動き情報修正部4から供給される動き情報
を用いた動き補償を行う。そして、この動き補償により
得られる参照画像データを減算器21および加算器26
に供給する。加算器26は、この動き補償済みの参照画
像データと逆DCT部25から得られる予測誤差とを加
算し、処理対象フレームに対応した画像データを出力す
る。この画像データは、後続のフレームの符号化の際に
参照される参照フレームの画像データとしてフレームメ
モリ24に書き込まれる。Here, the subtracter 21 is a difference between the image data corresponding to the processing target frame supplied from the decoder 1 and the motion-compensated reference image data supplied from the motion compensator 28. This is a device for calculating a prediction error. The reference image data will be described later. DCT
The unit 22 calculates the prediction error obtained from the subtractor 21 by D
This is a device for performing CT, and the quantizer 23
2 is a device that performs quantization on the DCT coefficient obtained from No. 2 and outputs quantized data. The inverse quantizer 24 performs inverse quantization on the quantized data output from the quantizer 23,
The inverse DCT unit 25 is a device that outputs CT coefficients, and the inverse DCT unit 25 is a device that performs inverse DCT on the DCT coefficients output from the inverse quantizer 24 and restores a prediction error. Frame memory 2
Reference numeral 7 denotes a memory for storing image data of a reference frame. When the image data corresponding to a certain processing target frame is supplied from the decoder 1 to the subtractor 21, the motion compensating unit 28 sets the reference frame referred to in the encoding of the processing target frame stored in the frame memory 27. , And performs motion compensation on the image data using motion information supplied from a motion information correction unit 4 described later. Then, the reference image data obtained by the motion compensation is subtracted by the subtractor 21 and the adder 26.
To supply. The adder 26 adds the motion compensated reference image data and the prediction error obtained from the inverse DCT unit 25, and outputs image data corresponding to the processing target frame. This image data is written to the frame memory 24 as image data of a reference frame referred to when encoding a subsequent frame.
【0087】以上説明した符号化器20と、既に説明し
た従来のトランスコーディング装置における符号化器と
の間には大きな相違点がある。すなわち、従来のトラン
スコーディング装置の符号化器は動き予測および補償部
106を有しており(図24(a)参照)、この動き予
測および補償部106が、参照フレームから処理対象フ
レームまでの動きに対応した動き情報の探索を行ってい
たのに対し、本実施形態における符号化器20は、この
ような動き情報の探索のための手段を有していない。本
実施形態における符号化器20は、動き情報修正部50
から送られてくる動き情報を用いて参照フレームの画像
データの動き補償を行うのである。本実施形態の特徴
は、この動き情報を、従来に比して著しく少ない演算量
により得ている点にある。本実施形態では、この動き情
報を図11における動き情報算出部40および動き情報
修正部50により得ている。There is a great difference between the encoder 20 described above and the encoder of the conventional transcoding device already described. That is, the encoder of the conventional transcoding device has a motion prediction and compensation unit 106 (see FIG. 24A), and the motion prediction and compensation unit 106 calculates the motion from the reference frame to the processing target frame. , The encoder 20 in the present embodiment has no means for searching for such motion information. The encoder 20 in the present embodiment includes a motion information correction unit 50
Is used to perform motion compensation on the image data of the reference frame. The feature of the present embodiment is that this motion information is obtained with an extremely small amount of calculation compared to the related art. In the present embodiment, the motion information is obtained by the motion information calculation unit 40 and the motion information correction unit 50 in FIG.
【0088】次に動き情報算出部40について説明す
る。この動き情報算出部40は、復号器1の可変長復号
器13から得られる動き情報を用いて所定の演算を行う
ことにより、トランスコーディング後の符号化データに
含めるべき動き情報を算出する装置である。さらに詳述
すると、次の通りである。例えば図10(a)に例示す
るトランスコーディングを行う場合、Iフレームの直後
のBフレームを処理対象フレームとすると、この処理対
象フレームに対応した符号化データは、Iフレームおよ
びPフレーム(第1の参照フレーム)の画像データを参
照することにより生成されており、Iフレームから当該
処理対象フレームまでの動きに対応した動き情報とPフ
レームから当該処理対象フレームまでの動きに対応した
動き情報とを含んでいる。そして、トランスコーディン
グでは、この処理対象フレームの符号化データをIフレ
ーム(第2の参照フレーム)のみを参照した符号化デー
タに変換する。このIフレーム(第2の参照フレーム)
のみを参照した符号化データを得るため、動き情報算出
部3は、少なくとも当該処理対象フレームの符号化デー
タに含まれていた動き情報を用いて、Iフレーム(第2
の参照フレーム)から当該処理対象フレームまでの動き
に対応した動き情報を算出するのである。なお、この動
き情報の算出アルゴリズムは幾つか適当なものがあるの
で、後にまとめて詳述する。Next, the motion information calculator 40 will be described. The motion information calculation unit 40 is a device that calculates a motion information to be included in the coded data after transcoding by performing a predetermined operation using the motion information obtained from the variable length decoder 13 of the decoder 1. is there. The details are as follows. For example, when performing the transcoding illustrated in FIG. 10A, assuming that a B frame immediately after an I frame is a processing target frame, encoded data corresponding to this processing target frame is an I frame and a P frame (first frame). Reference frame) is generated by referring to the image data, and includes motion information corresponding to the movement from the I frame to the processing target frame and motion information corresponding to the movement from the P frame to the processing target frame. In. Then, in transcoding, the coded data of the processing target frame is converted into coded data that refers to only the I frame (second reference frame). This I frame (second reference frame)
In order to obtain encoded data with reference to only the frame information, the motion information calculation unit 3 uses at least the motion information included in the encoded data of the processing target frame to generate the I frame (second
The motion information corresponding to the motion from the reference frame to the processing target frame is calculated. Note that there are several suitable algorithms for calculating the motion information, which will be described later in detail.
【0089】次に動き情報修正部50について説明す
る。動き情報算出部40から得られる動き情報は、動き
情報の探索により得られたものではなく、既存の動き情
報に演算を施すことにより得られるものである。このた
め、あまり正確でない動き情報が得られる場合がある。
そこで、本実施形態では、動き情報算出部3から得られ
た動き情報が正確なものであるといえるか否かを判定
し、正確なものであると認められる場合には、その動き
情報をそのまま符号化器20に送る。これに対し、動き
情報算出部40から得られた動き情報が正確なものでな
いと認められる場合には、フレームメモリ17内に記憶
された第2の参照フレームの画像データの中から処理対
象フレームの画像に近似した画像を探索し、第2の参照
フレームから処理対象フレームまでの動きに対応した動
き情報を求める。動き情報修正部50は、このような機
能を営む手段である。なお、動き情報算出部3から得ら
れた動き情報が正確なものであるといえるか否かを判定
するための処理の具体的内容および探索により動き情報
を求める処理の詳細については、説明の重複を避けるた
め、本実施形態の動作の項において説明する。Next, the motion information correction unit 50 will be described. The motion information obtained from the motion information calculation unit 40 is not obtained by searching for motion information, but is obtained by performing an operation on existing motion information. For this reason, less accurate motion information may be obtained.
Therefore, in the present embodiment, it is determined whether or not the motion information obtained from the motion information calculation unit 3 is accurate, and if it is determined that the motion information is accurate, the motion information is used as it is. Send to encoder 20. On the other hand, when it is recognized that the motion information obtained from the motion information calculation unit 40 is not accurate, the image data of the second reference frame stored in the frame memory 17 includes the An image similar to the image is searched for, and motion information corresponding to the motion from the second reference frame to the processing target frame is obtained. The motion information correction unit 50 is a means for performing such a function. The details of the processing for determining whether or not the motion information obtained from the motion information calculation unit 3 is accurate and the details of the processing for obtaining the motion information by searching are not described again. In order to avoid this, a description will be given in the operation section of the present embodiment.
【0090】以下、図10(a)に示すトランスコーデ
ィングを行う場合を例に挙げ、本実施形態の動作につい
て説明する。なお、本実施形態に係るトランスコーディ
ング装置は、動き情報算出部40および動き情報修正部
50を有し、これらにより得られる動き情報を符号化器
20側において使用する点において、従来のトランスコ
ーディング装置と相違している。従って、以下では、動
き情報算出部40および動き情報修正部50の各々の動
作を中心に説明する。The operation of the present embodiment will be described below by taking as an example the case where the transcoding shown in FIG. 10A is performed. The transcoding device according to the present embodiment includes a motion information calculation unit 40 and a motion information correction unit 50, and the motion information obtained by these components is used on the encoder 20 side. Is different. Therefore, hereinafter, the operations of the motion information calculation unit 40 and the motion information correction unit 50 will be mainly described.
【0091】(1)動き情報算出部40の動作 まず、図12〜図14を参照し、図10(a)に示すト
ランスコーディングを行う場合における動き情報算出部
40の動作について説明する。(1) Operation of Motion Information Calculation Unit 40 First, the operation of the motion information calculation unit 40 when performing the transcoding shown in FIG. 10A will be described with reference to FIGS.
【0092】図12〜図14において、トランスコーデ
ィング前のIフレームとPフレームの間には2個のBフ
レームが介挿されている。動き情報算出部3は、これら
のBフレームを直前のフレームのみを参照したPフレー
ムとするのに必要な動き情報算出処理および最後のPフ
レームを直前のPフレーム(元々はBフレームであった
もの)のみを参照したPフレームとするのに必要な動き
情報算出処理を実行する。12 to 14, two B frames are interposed between the I frame and the P frame before transcoding. The motion information calculation unit 3 performs a motion information calculation process required to convert these B frames into P frames that refer only to the immediately preceding frame, and sets the last P frame to the immediately preceding P frame (which is originally a B frame). ) Is performed to execute a motion information calculation process required to obtain a P frame.
【0093】<Iフレームの直後のBフレームに対応し
た処理>本実施形態では、このBフレームに含まれる次
の3種類のマクロブロックを取り扱う。 a.順方向予測モードによりフレーム間予測符号化がな
されたマクロブロック。すなわち、前フレーム(この例
ではIフレーム)のみを参照した動き情報を符号化デー
タに含むマクロブロック。 b.双方向予測モードによりフレーム間予測符号化がな
されたマクロブロック。すなわち、前フレーム(この例
ではIフレーム)を参照した動き情報と後フレーム(こ
の例ではPフレーム)を参照した動き情報とを符号化デ
ータに含むマクロブロック。 c.逆方向予測モードによりフレーム間予測符号化がな
されたマクロブロック。すなわち、後フレーム(この例
ではPフレーム)のみを参照した動き情報を符号化デー
タに含むマクロブロック。 なお、Iフレームの直後のものに限らず、2番目のBフ
レームも同様である。<Process Corresponding to B Frame Immediately After I Frame> In the present embodiment, the following three types of macro blocks included in this B frame are handled. a. A macroblock that has been subjected to inter-frame prediction coding in the forward prediction mode. That is, a macroblock in which encoded data includes motion information referencing only the previous frame (in this example, the I frame). b. A macroblock that has been subjected to inter-frame prediction coding in the bidirectional prediction mode. That is, a macroblock in which encoded data includes motion information referencing a previous frame (in this example, an I frame) and motion information referencing a subsequent frame (in this example, a P frame). c. A macroblock that has been subjected to inter-frame prediction coding in the backward prediction mode. In other words, a macroblock in which encoded data includes motion information that refers only to the subsequent frame (P frame in this example). The same applies to the second B frame as well as the frame immediately after the I frame.
【0094】動き情報算出部3は、Iフレームの直後の
Bフレームに関し、3種類のマクロブロックa〜cに対
応したトランスコーディング後の動き情報を次のように
して算出する。The motion information calculation unit 3 calculates the post-transcoding motion information corresponding to the three types of macroblocks a to c for the B frame immediately after the I frame as follows.
【0095】まず、このマクロブロックaについては、
当該マクロブロックの符号化データから分離された動き
情報(順方向)Vforward(B)をそのままトラ
ンスコーディング後の動き情報とする。次に、マクロブ
ロックbについては、当該マクロブロックの符号化デー
タから分離された動き情報のうち、前フレームを参照し
た動き情報(順方向)Vforward(B)のみをト
ランスコーディング後の動き情報とし、後フレームを参
照した動き情報(逆方向)Vbackward(B)を
廃棄する。First, regarding this macro block a,
The motion information (forward direction) Vforward (B) separated from the encoded data of the macroblock is used as the motion information after transcoding. Next, for the macroblock b, of the motion information separated from the encoded data of the macroblock, only the motion information (forward) Vforward (B) referring to the previous frame is used as the motion information after transcoding, The motion information (backward) Vbackward (B) referring to the subsequent frame is discarded.
【0096】次に、マクロブロックcについてである
が、このマクロブロックcに対応した符号化データは、
Pフレーム(第1参照フレーム)との間の動き補償のた
めの動き情報Vbackward(B)しか含んでおら
ず、トランスコーディング後の参照先であるIフレーム
(第2参照フレーム)との間の動き補償のための動き情
報を含んでいない。一方、Pフレーム(第1参照フレー
ム)を構成する各マクロブロックの符号化データは、I
フレーム(第2参照フレーム)との間の動き補償のため
の動き情報Vforward(P)を含んでいる。そこ
で、動き情報算出回路3は、動き情報Vbackwao
rd(B)およびVforward(P)を用いた演算
により、当該マクロブロックcとIフレーム(第2参照
フレーム)との間の動き補償のための動き情報の予測値
を求める。Next, regarding the macro block c, the encoded data corresponding to the macro block c is as follows.
It contains only motion information Vbackward (B) for motion compensation with a P frame (first reference frame), and moves with an I frame (second reference frame) as a reference destination after transcoding. Does not include motion information for compensation. On the other hand, the encoded data of each macroblock constituting the P frame (first reference frame) is
It includes motion information Vforward (P) for motion compensation with a frame (second reference frame). Therefore, the motion information calculation circuit 3 sets the motion information Vbackwao
By using rd (B) and Vforward (P), a predicted value of motion information for motion compensation between the macroblock c and the I frame (second reference frame) is obtained.
【0097】ここで、図15を参照し、この動き情報の
予測値の算出方法の一例を説明する。 ステップ1:まず、処理対象であるマクロブロックcの
符号化データから分離された動き情報Vbackwar
d(B)を取得する。この動き情報Vbackward
(B)は、Pフレーム(第1参照フレーム)に含まれる
当該処理対象マクロブロックcに対応したマクロブロッ
ク(第1参照マクロブロック)から当該処理対象マクロ
ブロックcまでの動きに対応している。Here, an example of a method of calculating the predicted value of the motion information will be described with reference to FIG. Step 1: First, motion information Vbackwar separated from the encoded data of the macroblock c to be processed.
d (B) is obtained. This motion information Vbackward
(B) corresponds to the movement from the macroblock (first reference macroblock) corresponding to the processing target macroblock c included in the P frame (first reference frame) to the processing target macroblock c.
【0098】ステップ2:上記動き情報Vbackwa
rd(B)からPフレーム(第1参照フレーム)におけ
る当該マクロブロックcに対応した第1参照マクロブロ
ックを求める。 ステップ3:Pフレーム(第1参照フレーム)における
各マクロブロックのうち上記第1参照マクロブロックと
重複している部分の面積が最も広いマクロブロックに対
応した動き情報Vforward(P)を求める。図1
5に示す例において第1参照マクロブロックは、マクロ
ブロックb1〜b4に跨っており、これらのうちマクロ
ブロックb4と重複している部分の面積が最も広い。従
って、このマクロブロックb4に対応した動き情報V4
が動き情報Vforward(P)として選択されるこ
ととなる。Step 2: The motion information Vbackwa
From rd (B), a first reference macroblock corresponding to the macroblock c in the P frame (first reference frame) is obtained. Step 3: The motion information Vforward (P) corresponding to the macroblock having the largest area of the portion overlapping with the first reference macroblock among the macroblocks in the P frame (first reference frame) is obtained. FIG.
In the example shown in FIG. 5, the first reference macroblock straddles the macroblocks b1 to b4, and among these, the area overlapping with the macroblock b4 is the largest. Therefore, the motion information V4 corresponding to this macroblock b4
Is selected as the motion information Vforward (P).
【0099】ステップ4:上記動き情報Vbackwa
rd(B)およびVforward(P)から、下記式
に従い、当該マクロブロックcのトランスコーディング
後の予測動き情報Vforward(B)を算出する。Step 4: The motion information Vbackwa
From rd (B) and Vforward (P), the predicted motion information Vforward (B) after transcoding of the macroblock c is calculated according to the following equation.
【数12】 以上がIフレームの直後のBフレームに対応したトラン
スコーディング後の動き情報の算出方法の詳細である。(Equation 12) The above is the details of the method for calculating the motion information after transcoding corresponding to the B frame immediately after the I frame.
【0100】<2番目のBフレームに対応した処理>次
に図13を参照し、2番目のBフレームに対応した処理
を説明する。この2番目のBフレームも、Iフレームの
直後のBフレームと同様、上記3種類のマクロブロック
a〜cを含んでいる。また、処理対象フレームである2
番目のBフレームとそのトランスコーディング前の参照
先である第1参照フレーム(IフレームのBフレーム)
との時間差と、同処理対象フレームとそのトランスコー
ディング後の参照先である第2参照フレーム(Iフレー
ムの直後のBフレーム)との間差を比較すると、後者は
前者の1/2である。そこで、動き情報算出部3は、3
種類のマクロブロックa〜cに対応したトランスコーデ
ィング後の動き情報を次のような線形補間により算出す
る。<Process Corresponding to Second B Frame> Next, the process corresponding to the second B frame will be described with reference to FIG. The second B frame also includes the above three types of macroblocks a to c, like the B frame immediately after the I frame. In addition, the processing target frame 2
B-frame and first reference frame (I-frame B-frame) as a reference destination before transcoding
Comparing the time difference between the frame to be processed and the second reference frame (the B frame immediately after the I frame), which is a reference destination after the transcoding, the latter is 1/2 of the former. Therefore, the motion information calculation unit 3
The motion information after transcoding corresponding to the types of macroblocks a to c is calculated by the following linear interpolation.
【0101】まず、このマクロブロックaについては、
当該マクロブロックの符号化データから分離された動き
情報(順方向)Vforward(B)を取得し、Vf
orward(B)/2をトランスコーディング後の動
き情報とする。次に、マクロブロックbについては、当
該マクロブロックの符号化データから分離された動き情
報のうち、前フレームを参照した動き情報(順方向)V
forward(B)を取得し、Vforward
(B)/2をトランスコーディング後の動き情報とす
る。次に、マクロブロックcについては、上述したIフ
レームの直後のBフレームの場合と同様な方法により、
当該マクロブロックcとIフレーム(第2参照フレー
ム)における対応するマクロブロックとの間の動き補償
のための予測動き情報Vforward(B)を求め、
Vforward(B)/2をトランスコーディング後
の動き情報とする。以上が2番目のBフレームに対応し
たトランスコーディング後の動き情報の算出方法の詳細
である。画像の動きが比較的緩やかな場合には、このよ
うな線形補間によっても、動き情報探索によって得られ
るものに比較的近い動き情報の予測値が得られると考え
られる。First, regarding this macro block a,
The motion information (forward direction) Vforward (B) separated from the encoded data of the macroblock is obtained, and Vf
Here, “old (B) / 2” is set as the motion information after transcoding. Next, for the macroblock b, of the motion information separated from the encoded data of the macroblock, the motion information (forward direction) V referring to the previous frame.
Get forward (B) and get Vforward
Let (B) / 2 be the motion information after transcoding. Next, for the macroblock c, in the same manner as in the case of the B frame immediately after the I frame described above,
Calculating prediction motion information Vforward (B) for motion compensation between the macroblock c and the corresponding macroblock in the I frame (second reference frame);
Let Vforward (B) / 2 be the motion information after transcoding. The above is the details of the method of calculating the motion information after transcoding corresponding to the second B frame. When the motion of the image is relatively gentle, it is considered that even such linear interpolation can obtain a predicted value of motion information relatively close to that obtained by the motion information search.
【0102】<最後のPフレームに対応した処理>次に
図14を参照し、最後のPフレームに対応した処理を説
明する。このPフレームを構成する各マクロブロック
は、全て先頭のIフレーム(第1参照フレーム)を参照
することにより符号化データが生成されている。また、
この処理対象フレームであるPフレームとそのトランス
コーディング前の参照先である第1参照フレーム(Iフ
レーム)との時間差と、同処理対象フレームとそのトラ
ンスコーディング後の参照先である第2参照フレーム
(2番目のBフレーム)との時間差を比較すると、後者
は前者の1/3である。そこで、動き情報算出部3は、
この処理対象フレームにおけるトランスコーディング後
の動き情報を次のような線形補間により算出する。すな
わち、各マクロブロックについて、当該マクロブロック
の符号化データから分離された動き情報(順方向)Vf
orward(P)を取得し、Vforward(P)
/3をトランスコーディング後の動き情報とするのであ
る。以上が最後のPフレームに対応したトランスコーデ
ィング後の動き情報の算出方法の詳細である。<Processing Corresponding to the Last P Frame> Next, the processing corresponding to the last P frame will be described with reference to FIG. Encoded data is generated by referring to the leading I frame (first reference frame) in each macro block constituting the P frame. Also,
The time difference between the P frame, which is the processing target frame, and the first reference frame (I frame), which is the reference destination before transcoding, and the second reference frame, which is the same processing target frame and the reference destination after the transcoding ( Comparing the time difference with the second B frame, the latter is 1 / of the former. Therefore, the motion information calculation unit 3
The motion information after transcoding in the processing target frame is calculated by the following linear interpolation. That is, for each macroblock, the motion information (forward) Vf separated from the encoded data of the macroblock.
Obtain orward (P) and Vforward (P)
/ 3 is the motion information after transcoding. The above is the details of the method for calculating the motion information after transcoding corresponding to the last P frame.
【0103】(2)動き情報修正部50の動作 動き情報算出部40から得られる動き情報は、以上説明
したように既存の動き情報をそのまま流用し、あるいは
既存の動き情報に所定の演算を施すことにより得られる
ものであるため、あまり正確でない動き情報が得られる
場合がある。動き情報修正部50は、この動き情報算出
部40によって得られた動き情報が正確なものであると
いえるか否かを判定し、正確なものでないと認められる
場合には、これに代わる動き情報を生成して符号化器2
0に供給する。図16は、この動き情報修正部4の動作
を示すフローチャートである。動き情報修正部50は、
処理対象フレームを構成する各マクロブロック(以下、
処理対象マクロブロックという)毎にこのフローチャー
トに示す処理を実行する。(2) Operation of the motion information correction unit 50 As described above, the motion information obtained from the motion information calculation unit 40 uses the existing motion information as it is, or performs a predetermined operation on the existing motion information. , The motion information may not be very accurate. The motion information correcting unit 50 determines whether or not the motion information obtained by the motion information calculating unit 40 can be said to be accurate. To generate an encoder 2
Supply 0. FIG. 16 is a flowchart showing the operation of the motion information correction unit 4. The motion information correction unit 50
Each macro block (hereinafter, referred to as a macro block) that constitutes the frame to be processed
The processing shown in this flowchart is executed for each processing target macro block).
【0104】まず、動き情報修正部50は、動き情報算
出部3によって算出された動き情報(以下、動き情報M
Enewという)を用いて、処理対象マクロブロックに
対応した第2参照マクロブロックのフレーム内の位置を
求め、この第2参照マクロブロックに対応した画像デー
タをフレームメモリ17から読み出す。次に、動き情報
修正部4は、加算器16から得られた処理対象マクロブ
ロックの画像データから第2参照マクロブロックに対応
した画像データを差し引き、予測誤差(以下、第2の予
測誤差という)を算出する(以上、ステップS1)。First, the motion information correction unit 50 calculates the motion information (hereinafter, motion information M) calculated by the motion information calculation unit 3.
The position of the second reference macroblock in the frame corresponding to the macroblock to be processed is obtained using the “New”, and the image data corresponding to the second reference macroblock is read from the frame memory 17. Next, the motion information correction unit 4 subtracts the image data corresponding to the second reference macroblock from the image data of the processing target macroblock obtained from the adder 16, and calculates a prediction error (hereinafter, referred to as a second prediction error). Is calculated (step S1).
【0105】次に、動き情報修正部50は、逆DCT部
15から出力される当該処理対象マクロブロックに対応
した予測誤差(当該処理対象マクロブロックと第1参照
マクロブロックとの差分画像。以下、第1の予測誤差と
いう。)を取得し、次式に示す条件が成立するか否かを
判断する(ステップS2)。Next, the motion information correction unit 50 outputs a prediction error (a difference image between the processing target macroblock and the first reference macroblock, which is output from the inverse DCT unit 15). Then, it is determined whether or not a condition shown by the following equation is satisfied (step S2).
【数13】 ただし、αは所定の定数である。(Equation 13) Here, α is a predetermined constant.
【0106】上記式(13)に示す条件が満たされる場
合、動き情報修正部50は、動き情報MEnewが正確
な動き情報であるとみなし、その動き情報MEnewを
第2参照マクロブロックから当該処理対象ブロックまで
の動きに対応した動き情報として符号化器2に送る(ス
テップS5)。When the condition shown in the above equation (13) is satisfied, the motion information correcting unit 50 regards the motion information MEnew as accurate motion information, and converts the motion information MEnew from the second reference macroblock to the processing target. It is sent to the encoder 2 as motion information corresponding to the motion up to the block (step S5).
【0107】一方、上記式(13)に示す条件が満たさ
れない場合、動き情報修正部50は、動き情報MEne
wが不正確な動き情報であるとみなし、動き情報MEn
ewに基づき動き情報の探索範囲を決定し(ステップS
3)、この探索範囲内において動き情報MEnewに代
わる正確な動き情報を探索する(ステップS4)。以
下、これらの処理について、図17〜図19を参照して
説明する。On the other hand, when the condition shown in the above equation (13) is not satisfied, the motion information correction unit 50 sets the motion information
w is regarded as incorrect motion information, and the motion information
The search range of motion information is determined based on ew (step S
3) Search for accurate motion information in place of the motion information MEnew within this search range (step S4). Hereinafter, these processes will be described with reference to FIGS.
【0108】まず、図17は、図10(a)に示すトラ
ンスコーディングを行う場合において、Iフレームの直
後のBフレームに含まれるマクロブロックが処理対象マ
クロブロックである場合の動き情報の探索範囲の決定方
法を説明するものである。First, FIG. 17 shows the search range of the motion information when the transcoding shown in FIG. 10A is performed and the macroblock included in the B frame immediately after the I frame is the processing target macroblock. This is to explain a determination method.
【0109】ここで、Iフレームの直後のBフレームの
場合、トランスコーディング後の参照先である第2参照
フレームは、Iフレームとなる。そこで、動き情報修正
部4は、動き情報算出回路3によって算出された動き情
報(図17ではVforward(B))を用いて当該
処理対象マクロブロックに対応した第2参照マクロブロ
ックの位置を求める。図17ではこの第2参照マクロブ
ロックがIフレームを表す矩形の中に破線で示されてい
る。動き情報修正回路50は、第2参照フレームである
Iフレームを構成する各マクロブロックのうち第2参照
ブロックと重複している部分を有する4個のマクロブロ
ックを求める。この4個のマクロブロックが、処理対象
マクロブロックに対応した動き情報の探索範囲である。Here, in the case of the B frame immediately after the I frame, the second reference frame that is the reference destination after transcoding is an I frame. Thus, the motion information correction unit 4 uses the motion information (Vforward (B) in FIG. 17) calculated by the motion information calculation circuit 3 to obtain the position of the second reference macroblock corresponding to the processing target macroblock. In FIG. 17, the second reference macroblock is indicated by a broken line in a rectangle representing an I frame. The motion information correction circuit 50 obtains four macroblocks having a portion overlapping with the second reference block among the macroblocks forming the I frame that is the second reference frame. These four macroblocks are the search range of the motion information corresponding to the processing target macroblock.
【0110】このようにして動き情報の探索範囲が定ま
ると、動き情報修正部50は、第2参照フレーム(Iフ
レーム)に対応した画像のうちこの探索範囲内のものの
中から、処理対象マクロブロックの画像との間の予測誤
差が最も小さいものを探索する。そして、この探索によ
り得られた参照画像から処理対象マクロブロックまでの
動きに対応した動き情報を求める。When the search range of the motion information is determined in this manner, the motion information correction unit 50 selects a macro block to be processed from among the images corresponding to the second reference frame (I frame) within the search range. Search for an image with the smallest prediction error between the image and the other image. Then, motion information corresponding to the motion from the reference image obtained by this search to the processing target macroblock is obtained.
【0111】次に、図18は、図10(a)に示すトラ
ンスコーディングを行う場合において、2番目のBフレ
ームに含まれるマクロブロックが処理対象マクロブロッ
クである場合の動き情報の探索範囲の決定方法を説明す
るものである。また、図19は、最後のPフレームに含
まれるマクロブロックが処理対象マクロブロックである
場合の動き情報の探索範囲の決定方法を説明するもので
ある。これらの場合における動き情報修正部50の動作
は、既に説明したIフレームの直後のBフレームの場合
と同様である。すなわち、動き情報修正部50は、処理
対象フレームの直前の第2参照フレームを構成する各マ
クロブロックのうち第2参照マクロブロックと重複する
各マクロブロックを求め、これらのマクロブロックを探
索範囲として動き情報の探索を行うのである。Next, FIG. 18 shows a case where the transcoding shown in FIG. 10A is performed and the search range of the motion information is determined when the macroblock included in the second B frame is the macroblock to be processed. This is an explanation of the method. FIG. 19 illustrates a method of determining a search range of motion information when a macroblock included in the last P frame is a processing target macroblock. The operation of the motion information correction unit 50 in these cases is the same as that of the B frame immediately after the I frame described above. That is, the motion information correction unit 50 obtains each macroblock overlapping with the second reference macroblock among the macroblocks constituting the second reference frame immediately before the frame to be processed, and uses these macroblocks as a search range. Search for information.
【0112】以上が図16におけるステップS3および
S4に対応した動き情報修正部50の処理内容である。
動き情報修正部50は、このようにして得られた動き情
報を第2参照マクロブロックから当該処理対象ブロック
までの動きに対応した動き情報として符号化器20に送
る(ステップS5)。The above is the processing contents of the motion information correction unit 50 corresponding to steps S3 and S4 in FIG.
The motion information correction unit 50 sends the obtained motion information to the encoder 20 as motion information corresponding to the motion from the second reference macroblock to the processing target block (step S5).
【0113】(3)符号化器20の動作 符号化器20には、復号器10から出力された処理対象
フレームの各マクロブロック(処理対象マクロブロッ
ク)の画像データと、動き情報修正部50によって出力
された各処理対象マクロブロックに対応した動き情報と
が供給される。そして、符号化器20における動き補償
部28は、動き情報修正部50から受け取った各処理対
象マクロブロックに対応した動き情報を用いて、各処理
対象マクロブロックに対応した第2参照マクロブロック
の位置を各々求める。そして、この各処理対象マクロブ
ロックに対応した第2参照ブロックの画像データをフレ
ームフレームメモリ27から読み出して減算器21に送
る。(3) Operation of the Encoder 20 The encoder 20 outputs the image data of each macro block (processing target macro block) of the processing target frame output from the decoder 10 and the motion information correcting unit 50. The output motion information corresponding to each processing target macroblock is supplied. Then, the motion compensation unit 28 in the encoder 20 uses the motion information corresponding to each processing target macroblock received from the motion information correction unit 50 to calculate the position of the second reference macroblock corresponding to each processing target macroblock. Respectively. Then, the image data of the second reference block corresponding to each of the macroblocks to be processed is read out from the frame memory 27 and sent to the subtractor 21.
【0114】減算器21は、これらの各第2参照マクロ
ブロックの画像データを各々に対応した処理対象マクロ
ブロックの画像データから減算し、各々予測誤差として
出力する。この予測誤差は、DCT部22によってDC
T係数に変換され、量子化器23によって量子化データ
とされる。この量子化データは、逆量子化器24および
逆DCT部25を介することにより予測誤差に戻られ
る。加算器26は、動き補償部28から出力された第2
参照マクロブロックの画像データとこの予測誤差とを加
算し、処理対象マクロブロックに対応した画像データと
してフレームメモリ27に書き込む。The subtractor 21 subtracts the image data of each of the second reference macroblocks from the image data of the corresponding macroblock to be processed, and outputs each as a prediction error. This prediction error is converted by the DCT unit 22 into a DC
The data is converted into T coefficients, and is quantized by the quantizer 23. The quantized data is returned to the prediction error via the inverse quantizer 24 and the inverse DCT unit 25. The adder 26 outputs the second output from the motion compensation unit 28.
The image data of the reference macroblock and this prediction error are added and written to the frame memory 27 as image data corresponding to the macroblock to be processed.
【0115】一方、量子化器23から出力された量子化
データは、可変長符号化器29によって可変長符号とさ
れる。また、動き情報修正部4からの動き情報は可変長
符号化器30によって可変長符号とされる。これらの可
変長符号は、多重化器31によって多重化され、処理対
象フレームに対応したトランスコーディング後の符号化
データとして出力される。On the other hand, the quantized data output from the quantizer 23 is converted into a variable length code by the variable length encoder 29. Further, the motion information from the motion information correction unit 4 is converted into a variable length code by the variable length encoder 30. These variable-length codes are multiplexed by the multiplexer 31 and output as coded data after transcoding corresponding to the frame to be processed.
【0116】このように本実施形態によれば、符号化器
20側での動き情報探索は行われず、トランスコーディ
ングの際の動き情報の探索のための演算量が大幅に削減
されるので、トランスコーディングの効率を著しく高め
ることができる。As described above, according to the present embodiment, the motion information search is not performed on the encoder 20 side, and the amount of calculation for searching for motion information at the time of transcoding is greatly reduced. Coding efficiency can be significantly increased.
【0117】B−3.他のトランスコーディングにおけ
る動作例 以上説明した実施形態では、図10(a)に示すトラン
スコーディングを行う場合を例に挙げたが、ここでは他
のトランスコーディングを行う場合の動作例を説明す
る。B-3. Operation Example in Another Transcoding In the embodiment described above, the case where the transcoding shown in FIG. 10A is performed has been described as an example. However, an operation example in the case where another transcoding is performed will be described here.
【0118】まず、図20を参照し、図10(b)に示
すトランスコーディングを行う場合における動き情報算
出部40の動作を説明する。図20において、Iフレー
ムの直後のBフレームのトランスコーディング後の動き
情報の算出方法は上記実施形態において説明した通りで
ある。次に、図20における2番目のBフレームは、ト
ランスコーディングの際に間引かれる。First, the operation of the motion information calculator 40 when performing the transcoding shown in FIG. 10B will be described with reference to FIG. In FIG. 20, the method of calculating the motion information after transcoding the B frame immediately after the I frame is as described in the above embodiment. Next, the second B frame in FIG. 20 is thinned out at the time of transcoding.
【0119】そして、ピクチャグループの最後のPフレ
ームのトランスコーディング後の動き情報は次のように
して求める。まず、図20に示すように、トランスコー
ディング前にIフレームを参照フレームとしていたPフ
レームは、トランスコーディング後、Iフレームの直後
のPフレーム(元はBフレームであったもの)を参照し
たフレームとなる。ここで、IフレームとPフレームと
の間の時間差と、トランスコーディング前のIフレーム
の直後のPフレームと最後のPフレームとの時間差とを
比較すると、後者は前者の2/3となる。そこで、動き
情報算出部3は、最後のPフレームの各マクロブロック
に対応した動き情報V(P)を取得し、2V(P)/3
をトランスコーディング後の動き情報とする。Then, the motion information after the transcoding of the last P frame of the picture group is obtained as follows. First, as shown in FIG. 20, a P frame in which an I frame was used as a reference frame before transcoding is referred to as a P frame immediately after the I frame (which was originally a B frame) after transcoding. Become. Here, when the time difference between the I frame and the P frame is compared with the time difference between the P frame immediately after the I frame before transcoding and the last P frame, the latter is 2/3 of the former. Therefore, the motion information calculation unit 3 acquires the motion information V (P) corresponding to each macroblock of the last P frame, and obtains 2V (P) / 3
Is the motion information after transcoding.
【0120】次に、図21を参照し、図10(c)に示
すトランスコーディングを行う場合における動き情報算
出部40の動作を説明する。図21において、Iフレー
ムの直後のPフレームは、トランスコーディングの前後
において参照先であるフレームに変化がない。従って、
このPフレームは、動き情報算出部3の処理対象となら
ない。2番目のPフレームは、トランスコーディングの
際に間引かれる。従って、この2番目のPフレームも動
き情報算出部3の処理対象とならない。Next, the operation of the motion information calculation section 40 when performing the transcoding shown in FIG. 10C will be described with reference to FIG. In FIG. 21, in the P frame immediately after the I frame, the reference frame before and after transcoding does not change. Therefore,
This P frame is not a processing target of the motion information calculation unit 3. The second P frame is decimated during transcoding. Therefore, the second P frame is not a processing target of the motion information calculation unit 3.
【0121】次に、ピクチャグループの最後のPフレー
ムは、トランスコーディング前の参照先である第1参照
フレームは2番目のPフレームであるが、トランスコー
ディング後の参照先である第2参照フレームはIフレー
ムの直後の1番目のPフレームである。そこで、動き情
報算出部3は、処理対象フレームたる最後のPフレーム
を構成する各処理対象マクロブロックについて、以下の
手順により第2参照フレームと当該処理対象フレームと
の間の動きに対応した動き情報の予測値Vforwar
d(P)を算出する。Next, in the last P frame of the picture group, the first reference frame which is the reference destination before transcoding is the second P frame, whereas the second reference frame which is the reference destination after transcoding is This is the first P frame immediately after the I frame. Therefore, the motion information calculation unit 3 calculates the motion information corresponding to the motion between the second reference frame and the processing target frame by the following procedure for each processing target macroblock constituting the last P frame which is the processing target frame. Predicted value of Vforward
Calculate d (P).
【0122】ステップ1:まず、最後のPフレーム中の
処理対象マクロブロックに対応した動き情報Vforw
ard(P)を用いて、第1参照フレーム(2番目のP
フレーム)における当該処理対象マクロブロックに対応
した第1参照マクロブロックを求める。 ステップ2:次に第1参照フレームにおける各マクロブ
ロックのうち上記第1参照マクロブロックと重複してい
る部分の面積が最も広いマクロブロックに対応した動き
情報Vforward(P)を求め、この動き情報Vf
orward(P)と上記ステップ1において求めた動
き情報Vforward(P)を加算する。この結果、
第2参照フレーム(1番目のPフレーム)と当該処理対
象フレームとの間の動きに対応した動き情報の予測値V
forward(P)が得られる。Step 1: First, the motion information Vforw corresponding to the macroblock to be processed in the last P frame
ard (P), the first reference frame (the second P
A first reference macroblock corresponding to the processing target macroblock in the frame is obtained. Step 2: Next, among the macro blocks in the first reference frame, the motion information Vforward (P) corresponding to the macro block having the largest area overlapping with the first reference macro block is obtained, and the motion information Vf is obtained.
and the motion information Vforward (P) obtained in step 1 is added. As a result,
The predicted value V of the motion information corresponding to the motion between the second reference frame (first P frame) and the processing target frame
forward (P) is obtained.
【0123】以上が図10(b)および(c)に例示す
るようなフレームの間引きを伴うトランスコーディング
を行う場合の動き情報算出回路3の動作である。動き情
報修正部50および他の部分の動作は上記実施形態と何
等変わるところはない。図22には、図10(c)に例
示するトランスコーディングを行う場合において、動き
情報算出部40によって算出された最後のPフレーム内
の処理対象マクロブロックに対応した動き情報が不正確
なものであり、動き情報修正部50が動き情報の探索を
行う場合における探索範囲の決定方法を示されている。
この図に示すように、動き情報修正部50は、動き情報
算出部40によって算出された動き情報を用いて第2参
照フレーム(1番目のPフレーム)内の第2参照マクロ
ブロックを求め、この第2参照マクロブロックと重複し
ている第2参照フレーム内の各マクロブロックを探索範
囲として動き情報の探索を行うのである。The above is the operation of the motion information calculation circuit 3 when performing transcoding with frame thinning as illustrated in FIGS. 10B and 10C. The operation of the motion information correction unit 50 and other parts is not different from the above embodiment. FIG. 22 shows that when the transcoding illustrated in FIG. 10C is performed, the motion information corresponding to the processing target macroblock in the last P frame calculated by the motion information calculation unit 40 is incorrect. In this case, a method of determining a search range when the motion information correction unit 50 searches for motion information is shown.
As shown in the figure, the motion information correction unit 50 obtains a second reference macroblock in a second reference frame (first P frame) using the motion information calculated by the motion information calculation unit 40, The search for motion information is performed with each macroblock in the second reference frame overlapping with the second reference macroblock as a search range.
【0124】B−4.フレームが2つのフィールドによ
って構成されている場合の実施形態以上説明した実施形
態では、ピクチャグループの中のフレームの概念を使用
して説明したが、フレームに限らず、本実施形態は上記
第1実施形態と同様、図8に示すように、フィールドを
取り扱うMPEG−2などの符号化方式にも適用可能で
ある。すなわち、フレーム内の各フィールドを処理対象
フレームとし、上記実施形態による動き情報の算出およ
び修正を行えばよいのである。B-4. Embodiment in which a Frame is Consisting of Two Fields In the embodiment described above, the concept of the frame in the picture group has been described. However, the present embodiment is not limited to the frame, and the present embodiment is not limited to the first embodiment. Similarly to the embodiment, as shown in FIG. 8, the present invention can be applied to an encoding method such as MPEG-2 which handles fields. That is, each field in the frame is set as a processing target frame, and the calculation and correction of the motion information according to the above-described embodiment may be performed.
【0125】C.第3の実施形態 図23はこの発明の第3の実施形態であるトランスコー
ディング装置の構成を示すブロック図である。図23に
示すように、このトランスコーディング装置は、入力部
61と、バッファ62と、切換制御部63と、切換部6
4と、第1トランスコーディング部70と、第2トラン
スコーディング部80とを有している。C. Third Embodiment FIG. 23 is a block diagram showing a configuration of a transcoding device according to a third embodiment of the present invention. As shown in FIG. 23, this transcoding device includes an input unit 61, a buffer 62, a switching control unit 63, a switching unit 6
4, a first transcoding unit 70, and a second transcoding unit 80.
【0126】入力部61は、逆多重化器61Aと、可変
長復号器61Bおよび61Cと、逆量子化器61Dとを
有している。The input section 61 has a demultiplexer 61A, variable length decoders 61B and 61C, and a dequantizer 61D.
【0127】ここで、逆多重化器61Aは、Iフレーム
を除いた他のフレームの符号化データをフレーム間予測
符号化により得られた差分画像のDCT係数の可変長符
号と動き情報の可変長符号とに分離する装置である。可
変長復号器61Bおよび61Cは、逆多重化器61Aに
よって分離されたDCT係数の可変長符号と動き情報の
可変長符号をDCT係数の量子化データと動き情報に戻
す装置である。バッファ62は、可変長復号器61Cか
らの動き情報と逆量子化器61DからのDCT係数とを
受け取り、最近の所定個数のフレームに対応した動き情
報およびDCT係数を記憶する。最近の所定個数のフレ
ームとは、例えばピクチャグループである。1つのピク
チャグループに対応したDCT係数および動き情報の格
納が終了すると、その格納されたDCT係数および動き
情報がバッファ62から読み出されるとともに、次のピ
クチャグループに対応したDCT係数および動き情報の
格納が開始される。Here, the demultiplexer 61A converts the coded data of the other frames excluding the I frame into a variable length code of DCT coefficients of a differential image obtained by inter-frame predictive coding and a variable length of motion information. It is a device that separates it into a code. The variable length decoders 61B and 61C are devices that return the variable length code of the DCT coefficient and the variable length code of the motion information separated by the demultiplexer 61A to the quantized data of the DCT coefficient and the motion information. The buffer 62 receives the motion information from the variable length decoder 61C and the DCT coefficients from the inverse quantizer 61D, and stores the motion information and DCT coefficients corresponding to a predetermined number of recent frames. The predetermined number of recent frames is, for example, a picture group. When the storage of the DCT coefficients and the motion information corresponding to one picture group is completed, the stored DCT coefficients and the motion information are read out from the buffer 62, and the DCT coefficients and the motion information corresponding to the next picture group are stored. Be started.
【0128】切換制御部63は、バッファ62内の動き
情報を監視し、動画像の動きが速いか否かを動き情報に
基づいて判定し、この判定結果に基づいて切換部64を
制御する。 切換部64は、切換制御部63による制御
の下、所定個数のフレームに対応したDCT係数および
動き情報をバッファ62から第1トランスコーディング
部70または第2トランスコーディング部80に転送す
る。The switching control unit 63 monitors the motion information in the buffer 62, determines whether or not the motion of the moving image is fast based on the motion information, and controls the switching unit 64 based on the determination result. The switching unit 64 transfers DCT coefficients and motion information corresponding to a predetermined number of frames from the buffer 62 to the first transcoding unit 70 or the second transcoding unit 80 under the control of the switching control unit 63.
【0129】第1トランスコーディング部70は、第1
の実施形態に開示された方法に従ってトランスコーディ
ングを行う装置である。このため、第1トランスコーデ
ィング部70は、第1の実施形態に係るトランスコーデ
ィング装置に含まれていた要素を含んでいる(図2参
照)。第2トランスコーディング部80は、第2の実施
形態に開示された方法に従ってトランスコーディングを
行う装置である。このため、第2トランスコーディング
部80は、第2の実施形態に係るトランスコーディング
装置に含まれていた要素を含んでいる(図11参照)。The first transcoding unit 70
Is a device that performs transcoding according to the method disclosed in the embodiment. For this reason, the first transcoding unit 70 includes the elements included in the transcoding device according to the first embodiment (see FIG. 2). The second transcoding unit 80 is a device that performs transcoding according to the method disclosed in the second embodiment. For this reason, the second transcoding unit 80 includes the elements included in the transcoding device according to the second embodiment (see FIG. 11).
【0130】次に、本実施形態の動作について説明す
る。動画像のフレームの符号化データは、トランスコー
ディング装置に供給され、バッファ62には、最近の所
定個数のフレームに対応したDCT係数および動き情報
が格納される。Next, the operation of the present embodiment will be described. The encoded data of the moving image frame is supplied to the transcoding device, and the buffer 62 stores DCT coefficients and motion information corresponding to a predetermined number of recent frames.
【0131】バッファ62に格納されている動き情報が
所定の閾値より小さい場合(動画像の動きが遅い場
合)、切換制御部63は、DCT係数および動き情報が
バッファ62から第1トランスコーディング部70のD
CT係数算出回路5および動き情報算出回路2に各々転
送されるように切換部64を制御する。この結果、少な
い演算量で、動画像のDCT係数および動き情報に対し
て第1の実施形態において開示されたトランスコーディ
ングが施される。When the motion information stored in the buffer 62 is smaller than a predetermined threshold value (when the motion of the moving image is slow), the switching control unit 63 sends the DCT coefficient and the motion information from the buffer 62 to the first transcoding unit 70. D
The switching unit 64 is controlled so as to be transferred to the CT coefficient calculation circuit 5 and the motion information calculation circuit 2, respectively. As a result, the transcoding disclosed in the first embodiment is performed on the DCT coefficients and the motion information of the moving image with a small amount of calculation.
【0132】これに対し、バッファ62に格納されてい
る動き情報が閾値より大きい場合(動画像の動きが速い
場合)、動き情報算出回路2が正確な動き情報を算出す
ることは困難であり、トランスコーディングにより得ら
れる符号化データの符号量が増加する不具合が起こりう
る。そこで、この場合、切換制御部63は、DCT係数
および動き情報がバッファ62から第2トランスコーデ
ィング部80の逆DCT部15および動き情報算出部4
0に各々転送されるように切換部64を制御する。この
結果、動画像のDCT係数および動き情報に対して第2
の実施形態において開示されたトランスコーディングが
施される。On the other hand, when the motion information stored in the buffer 62 is larger than the threshold value (when the motion of the moving image is fast), it is difficult for the motion information calculation circuit 2 to calculate accurate motion information. A problem that the code amount of encoded data obtained by transcoding increases may occur. Therefore, in this case, the switching control unit 63 transmits the DCT coefficient and the motion information from the buffer 62 to the inverse DCT unit 15 and the motion information calculation unit 4 of the second transcoding unit 80.
The switching unit 64 is controlled so as to be respectively transferred to 0. As a result, the DCT coefficient of the moving image and the motion information
The transcoding disclosed in the embodiment is performed.
【0133】以上説明した第3の実施形態では、ピクチ
ャグループのような所定個数のフレーム単位で切換部6
4の切換制御が行われた。しかしながら、切換制御の方
法は、以上説明した態様に限定されるものではない。切
換制御を行うフレームの個数は、一定でなくてもよい。In the third embodiment described above, the switching unit 6 is provided in units of a predetermined number of frames such as a picture group.
The switching control of No. 4 was performed. However, the switching control method is not limited to the above-described embodiment. The number of frames for which the switching control is performed may not be constant.
【0134】D.変形例 以上説明した各実施形態では、一定個数のフレームから
なるピクチャグループの概念が用いられていたが、本発
明は、このようなピクチャグループへの適用に限定され
るものではなく、MPEG−4のようなピクチャグルー
プの概念を持たない符号化方式に適用してもよい。D. Modified Examples In each of the embodiments described above, the concept of a picture group including a fixed number of frames is used. However, the present invention is not limited to application to such a picture group, and may be applied to MPEG-4. May be applied to an encoding method that does not have the concept of a picture group.
【0135】[0135]
【発明の効果】以上説明したように、この発明によれ
ば、少ない演算量により、第1の動画像符号化データを
第2の動画像符号化データに変換するトランスコーディ
ングを実行することができる。As described above, according to the present invention, transcoding for converting the first encoded video data into the second encoded video data can be executed with a small amount of calculation. .
【図1】 この発明の第1の実施形態において行われる
トランスコーディングの例を示す図である。FIG. 1 is a diagram illustrating an example of transcoding performed in a first embodiment of the present invention.
【図2】 同実施形態におけるトランスコーディング装
置を示すブロック図である。FIG. 2 is a block diagram showing a transcoding device according to the embodiment.
【図3】 同実施形態における動き情報算出回路の処理
内容を示す図である。FIG. 3 is a diagram showing processing contents of a motion information calculation circuit in the embodiment.
【図4】 同実施形態におけるDCT係数算出回路の処
理内容を示す図である。FIG. 4 is a diagram showing processing contents of a DCT coefficient calculation circuit in the embodiment.
【図5】 同実施形態の効果を従来のトランスコーディ
ング装置との対比において説明する図である。FIG. 5 is a diagram illustrating the effect of the embodiment in comparison with a conventional transcoding device.
【図6】 動き情報算出アルゴリズムの他の例を示す図
である。FIG. 6 is a diagram illustrating another example of the motion information calculation algorithm.
【図7】 動き情報算出アルゴリズムの他の例を示す図
である。FIG. 7 is a diagram illustrating another example of the motion information calculation algorithm.
【図8】 同実施形態におけるフィールドの概念を示す
図である。FIG. 8 is a diagram showing a concept of a field in the embodiment.
【図9】 同実施形態における動き情報算出アルゴリズ
ムの他の例を示す図である。FIG. 9 is a diagram showing another example of the motion information calculation algorithm in the embodiment.
【図10】 この発明の第2の実施形態において行われ
るトランスコーディングの例を示す図である。FIG. 10 is a diagram illustrating an example of transcoding performed in a second embodiment of the present invention.
【図11】 この発明の第2の実施形態であるトランス
コーディング装置を示すブロック図である。FIG. 11 is a block diagram showing a transcoding device according to a second embodiment of the present invention.
【図12】 同実施形態における動き情報算出部の処理
内容を示す図である。FIG. 12 is a diagram showing processing contents of a motion information calculation unit in the embodiment.
【図13】 同実施形態における動き情報算出部の処理
内容を示す図である。FIG. 13 is a diagram showing processing contents of a motion information calculation unit in the embodiment.
【図14】 同実施形態における動き情報算出部の処理
内容を示す図である。FIG. 14 is a diagram showing processing contents of a motion information calculation unit in the embodiment.
【図15】 同実施形態における動き情報算出部の動き
情報算出アルゴリズムを示す図である。FIG. 15 is a diagram showing a motion information calculation algorithm of a motion information calculation unit in the embodiment.
【図16】 同実施形態における動き情報修正部の動作
を示すフローチャートである。FIG. 16 is a flowchart showing the operation of the motion information correction unit in the embodiment.
【図17】 同実施形態における動き情報修正部の動き
情報探索処理を説明する図である。FIG. 17 is a diagram illustrating the motion information search processing of the motion information correction unit in the embodiment.
【図18】 同実施形態における動き情報修正部の動き
情報探索処理を説明する図である。FIG. 18 is a diagram illustrating a motion information search process of a motion information correction unit according to the embodiment.
【図19】 同実施形態における動き情報修正部の動き
情報探索処理を説明する図である。FIG. 19 is a diagram illustrating a motion information search process of the motion information correction unit in the embodiment.
【図20】 同実施形態においてフレームの間引きを伴
うトランスコーディングを行う場合の動作例を示す図で
ある。FIG. 20 is a diagram illustrating an operation example when performing transcoding with frame thinning in the embodiment.
【図21】 同実施形態においてフレームの間引きを伴
うトランスコーディングを行う場合の動作例を示す図で
ある。FIG. 21 is a diagram illustrating an operation example when performing transcoding with frame thinning in the same embodiment.
【図22】 同実施形態においてフレームの間引きを伴
うトランスコーディングを行う場合の動作例を示す図で
ある。FIG. 22 is a diagram showing an operation example when performing transcoding with frame thinning in the embodiment.
【図23】 この発明の第3の実施形態であるトランス
コーディング装置の構成を示すブロック図である。FIG. 23 is a block diagram illustrating a configuration of a transcoding device according to a third embodiment of the present invention.
【図24】 動画像符号化伝送システムにおける符号化
器および復号器の一般的な構成を示すブロック図であ
る。FIG. 24 is a block diagram illustrating a general configuration of an encoder and a decoder in the video encoding / transmission system.
【図25】 上記符号化器の動作を例示する図である。FIG. 25 is a diagram illustrating an operation of the encoder.
【図26】 上記復号器の動作を例示する図である。FIG. 26 is a diagram illustrating an operation of the decoder.
【図27】 従来のトランスコーディング方法およびト
ランスコーディング装置を示す図である。FIG. 27 is a diagram illustrating a conventional transcoding method and transcoding device.
2……動き情報算出回路、5……DCT係数算出回路、
10……復号器、20……符号化器、40……動き情報
算出部、50……動き情報修正部、63……切換制御
部、64……切換部、70……第1トランスコーディン
グ部、80……第2トランスコーディング部。2 ... Motion information calculation circuit, 5 ... DCT coefficient calculation circuit,
10 Decoder, 20 Encoder, 40 Motion information calculation unit, 50 Motion information correction unit, 63 Switching control unit, 64 Switching unit, 70 First transcoding unit , 80... Second transcoding unit.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 三木 俊雄 東京都千代田区永田町二丁目11番1号 株 式会社エヌ・ティ・ティ・ドコモ内 Fターム(参考) 5C059 KK15 LA00 LB07 MA00 MA05 MA23 ME01 NN01 NN03 NN28 PP05 PP06 PP07 TA00 TB03 TC11 TD12 UA38 5J064 AA02 BA09 BA13 BA16 BB03 BC14 BC16 BC25 BD01 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Toshio Miki 2-1-1, Nagatacho, Chiyoda-ku, Tokyo F-term in NTT DoCoMo, Inc. (reference) 5C059 KK15 LA00 LB07 MA00 MA05 MA23 ME01 NN01 NN03 NN28 PP05 PP06 PP07 TA00 TB03 TC11 TD12 UA38 5J064 AA02 BA09 BA13 BA16 BB03 BC14 BC16 BC25 BD01
Claims (20)
アルゴリズムを含む符号化アルゴリズムにより動画像を
構成する複数のフレームから得られた第1符号化データ
を、異なった構成を有する第2符号化データに変換する
トランスコーディング方法において、 前記動画像を構成する複数のフレームのうちフレーム間
予測符号化の対象となったものの一部のフレームを処理
対象フレームとし、処理対象フレームのフレーム間予測
符号化において参照された第1参照フレームとは別の第
2参照フレームを参照して処理対象フレームのフレーム
間予測符号化を行った場合に得られるであろう符号化デ
ータに相当する第2符号化データを、処理対象フレーム
を含む1または複数のフレームの第1符号化データから
生成するフレーム間予測符号化データ再編集過程を含
み、 前記フレーム間予測符号化データ再編集過程は、少なく
とも前記処理対象符号化データに含まれている動き情報
を用いて、前記第2符号化データに含めるべき動き情報
を算出する動き情報算出過程を含むことを特徴とするト
ランスコーディング方法。1. A second encoding apparatus having a different configuration from a first encoding data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame prediction encoding algorithm with motion compensation. In a transcoding method of converting data, data of a plurality of frames constituting the moving image, a part of frames that have been subjected to inter-frame predictive coding, is set as a process target frame, and the inter-frame predictive coding of the process target frame is performed. Second encoded data corresponding to encoded data that would be obtained when performing inter-frame predictive encoding of a processing target frame with reference to a second reference frame different from the first reference frame referenced in Is generated from the first encoded data of one or more frames including the frame to be processed. The inter-frame predictive encoded data re-editing step calculates motion information to be included in the second encoded data using at least motion information included in the processing target encoded data. A transcoding method comprising a motion information calculation step.
過程では、フレーム間予測符号化が行われたフレームの
一部のフレームを第1参照フレームとし、この第1参照
フレームを参照してフレーム間予測符号化が行われたフ
レームを処理対象フレームとし、第1参照フレームのフ
レーム間予測符号化において参照されたフレームを第2
参照フレームとし、処理対象フレームに対応した第1符
号化データである処理対象符号化データと、第1参照フ
レームに対応した第1符号化データである第1参照符号
化データとから、第2参照フレームを参照して処理対象
フレームのフレーム間予測符号化を行ったときに得られ
る符号化データに対応した第2符号化データを生成し、 前記動き情報算出過程では、前記処理対象符号化データ
に含まれている動き情報と前記第1参照符号化データに
含まれている動き情報とから前記第2符号化データに含
めるべき動き情報を算出することを特徴とする請求項1
に記載のトランスコーディング方法。2. In the inter-frame prediction coded data re-editing process, a part of frames subjected to inter-frame prediction coding is set as a first reference frame, and the inter-frame prediction coding is performed by referring to the first reference frame. A frame on which prediction encoding has been performed is a processing target frame, and a frame referred to in the inter-frame prediction encoding of the first reference frame is a second frame.
A second reference is made from the processing target encoded data that is the first encoded data corresponding to the processing target frame and the first reference encoded data that is the first encoded data corresponding to the first reference frame. Generating second encoded data corresponding to encoded data obtained when performing inter-frame predictive encoding of the processing target frame with reference to the frame; 2. The motion information to be included in the second encoded data is calculated from the motion information included and the motion information included in the first reference encoded data.
The transcoding method according to 1.
対応した第1符号化データから一部のフレームに対応し
た第1符号化データを間引く間引き過程を有し、 前記フレーム間予測符号化データ再編集過程では、間引
かれる第1符号化データに対応したフレームを第1参照
フレームとし、第1参照フレームを参照してフレーム間
予測符号化が行われたフレームを処理対象フレームと
し、第1参照フレームのフレーム間予測符号化において
参照されたフレームを第2参照フレームとし、第2符号
化データを生成することを特徴とする請求項2に記載の
トランスコーディング方法。3. A thinning-out step of thinning out first coded data corresponding to some frames from first coded data corresponding to a plurality of frames constituting the moving image, wherein the inter-frame prediction coded data In the re-editing process, a frame corresponding to the first encoded data to be decimated is set as a first reference frame, and a frame subjected to inter-frame predictive encoding with reference to the first reference frame is set as a processing target frame. The transcoding method according to claim 2, wherein a frame referred to in the inter-frame predictive encoding of the reference frame is set as a second reference frame, and second encoded data is generated.
レームを構成する各マクロブロックを処理対象マクロブ
ロックとし、各処理対象マクロブロックについて、 a.前記処理対象符号化データから当該処理対象マクロ
ブロックに対応した動き情報を求め、 b.該動き情報から前記第1参照フレームにおける当該
処理対象マクロブロックに対応した第1参照マクロブロ
ックの位置を求め、 c.前記第1参照フレームにおける各マクロブロックの
うち前記第1参照マクロブロックと重複している部分の
面積が最も広いマクロブロックに対応した動き情報を求
め、 d.前記aおよびcの各動き情報から、第2参照フレー
ムと処理対象フレームとの間の動き補償のための動き情
報を算出することを特徴とする請求項2に記載のトラン
スコーディング方法。4. In the motion information calculating step, each macro block constituting the processing target frame is set as a processing target macro block, and each of the processing target macro blocks includes: a. Obtaining motion information corresponding to the macroblock to be processed from the encoded data to be processed; b. Obtaining a position of a first reference macroblock corresponding to the macroblock to be processed in the first reference frame from the motion information; c. Obtaining motion information corresponding to a macroblock having the largest area of a portion overlapping with the first reference macroblock among the macroblocks in the first reference frame; d. The transcoding method according to claim 2, wherein motion information for motion compensation between a second reference frame and a processing target frame is calculated from each of the motion information items a and c.
レームを構成する各マクロブロックを処理対象マクロブ
ロックとし、この処理対象マクロブロックを分割したブ
ロックを処理対象ブロックとし、各処理対象マクロブロ
ックについて、 a.前記処理対象符号化データから当該処理対象マクロ
ブロックに対応した動き情報を求め、 b.該動き情報から前記第1参照フレームにおける当該
処理対象マクロブロックに対応した第1参照マクロブロ
ックの位置を求め、 c.前記第1参照マクロブロックを分割した複数の第1
参照ブロックの各々について、前記第1参照フレームに
おける各マクロブロックのうち当該第1参照ブロックと
重複している部分の面積が最も広いマクロブロックに対
応した動き情報を求め、 d.前記aの動き情報と、前記cの複数の第1参照ブロ
ックの各々について求めた各動き情報とから、前記第2
参照フレームと前記処理対象フレームを分割した各処理
対象ブロックとの間の動き補償のための動き情報を算出
することを特徴とする請求項2に記載のトランスコーデ
ィング方法。5. In the motion information calculating step, each macro block constituting a processing target frame is set as a processing target macro block, a block obtained by dividing the processing target macro block is set as a processing target block, and each of the processing target macro blocks is a. Obtaining motion information corresponding to the macroblock to be processed from the encoded data to be processed; b. Obtaining a position of a first reference macroblock corresponding to the macroblock to be processed in the first reference frame from the motion information; c. A plurality of first sub-blocks obtained by dividing the first reference macro block;
For each of the reference blocks, obtain motion information corresponding to a macroblock having the largest area of a portion overlapping with the first reference block among the macroblocks in the first reference frame; d. From the motion information of a and the motion information obtained for each of the plurality of first reference blocks of c, the second
The transcoding method according to claim 2, wherein motion information for motion compensation between a reference frame and each processing target block obtained by dividing the processing target frame is calculated.
レームを構成する各マクロブロックを処理対象マクロブ
ロックとし、各処理対象マクロブロックについて、 a.前記処理対象符号化データから当該処理対象マクロ
ブロックに対応した動き情報を求め、 b.該動き情報から前記第1参照フレームにおける当該
処理対象マクロブロックに対応した第1参照マクロブロ
ックの位置を求め、 c.前記第1参照フレームにおける各マクロブロックの
うち前記第1参照マクロブロックと重複している部分の
面積が最も広いマクロブロックに対応した動き情報を求
め、 d.前記第1参照マクロブロックと重複している部分の
面積が最も広いマクロブロックから前記第1参照マクロ
ブロックまでの移動に対応した動き情報を求め、 e.前記a、cおよびdの各動き情報から、第2参照フ
レームと前記処理対象フレームとの間の動き補償のため
の動き情報を算出することを特徴とする請求項2に記載
のトランスコーディング方法。6. In the motion information calculation step, each macroblock constituting the processing target frame is set as a processing target macroblock, and each processing target macroblock includes: a. Obtaining motion information corresponding to the macroblock to be processed from the encoded data to be processed; b. Obtaining a position of a first reference macroblock corresponding to the macroblock to be processed in the first reference frame from the motion information; c. Obtaining motion information corresponding to a macroblock having the largest area of a portion overlapping with the first reference macroblock among the macroblocks in the first reference frame; d. Obtaining motion information corresponding to the movement from the macroblock having the largest area overlapping with the first reference macroblock to the first reference macroblock; e. The transcoding method according to claim 2, wherein motion information for motion compensation between a second reference frame and the processing target frame is calculated from each of the a, c, and d motion information.
は、フレームを分割したマクロブロック毎に動き補償を
行うとともに、マクロブロックを分割したブロック毎
に、フレーム間の差分画像の直交変換を行って符号化デ
ータを生成するものであり、 前記フレーム間予測符号化データ再編集過程は、 処理対象符号化データに含まれる動き情報および直交変
換係数と第1参照フレームの第1符号化データに含まれ
る直交変換係数を用いて、処理対象フレームを分割した
各処理対象ブロック毎に、第2参照フレームにおける当
該処理対象ブロックに対応した参照画像との間の差分の
直交変換係数を算出する直交変換係数算出過程を具備す
ることを特徴とする請求項1に記載のトランスコーディ
ング方法。7. The inter-frame predictive coding algorithm performs motion compensation for each macro block obtained by dividing a frame, and performs orthogonal transformation of a difference image between frames for each macro block obtained by dividing the macro block. The inter-frame predictive encoded data re-editing step includes the motion information and orthogonal transform coefficients included in the processing target encoded data and the orthogonal transform included in the first encoded data of the first reference frame. An orthogonal transform coefficient calculating step of calculating an orthogonal transform coefficient of a difference between a reference image corresponding to the processing target block in the second reference frame for each processing target block obtained by dividing the processing target frame using the coefficient. The transcoding method according to claim 1, comprising:
象フレームを分割した複数のマクロブロックを各々処理
対象マクロブロックとし、各処理対象マクロブロックを
分割した複数のブロックを各々処理対象ブロックとし、
各処理対象マクロブロックについて、 a.前記処理対象フレームの第1符号化データから当該
処理対象マクロブロックに対応した動き情報を求め、 b.該動き情報から前記第1参照フレームにおける当該
処理対象マクロブロックに対応した第1参照マクロブロ
ックの位置を求め、 c.当該処理対象マクロブロック内における各処理対象
ブロックについて、前記第1参照マクロブロックを分割
した第1参照ブロックのうち当該処理対象ブロックの当
該処理対象マクロブロック内での位置と同じ位置にある
第1参照ブロックと重複している部分を有する各ブロッ
クに対応した差分画像の直交変換係数と、当該第1参照
ブロックとこれと重複している部分を有する各ブロック
との位置関係と、当該処理対象ブロックに対応した差分
画像の直交変換係数とから、当該処理対象ブロックと、
第2参照フレーム内の当該処理対象ブロックに対応した
参照画像との差分の直交変換係数を算出することを特徴
とする請求項7に記載のトランスコーディング方法。8. In the orthogonal transform coefficient calculation step, a plurality of macroblocks obtained by dividing the processing target frame are each set as a processing target macroblock, and the plurality of blocks obtained by dividing each processing target macroblock are set as processing target blocks.
For each macroblock to be processed: a. Obtaining motion information corresponding to the macroblock to be processed from the first encoded data of the frame to be processed, b. Obtaining a position of a first reference macroblock corresponding to the macroblock to be processed in the first reference frame from the motion information; c. For each processing target block in the processing target macroblock, a first reference located at the same position as the position of the processing target block in the processing target macroblock among the first reference blocks obtained by dividing the first reference macroblock. The orthogonal transformation coefficient of the difference image corresponding to each block having a portion overlapping with the block, the positional relationship between the first reference block and each block having a portion overlapping with the first reference block, From the orthogonal transform coefficients of the corresponding difference image,
The transcoding method according to claim 7, wherein an orthogonal transform coefficient of a difference from a reference image corresponding to the processing target block in the second reference frame is calculated.
象フレームを分割した複数のマクロブロックを各々処理
対象マクロブロックとし、各処理対象マクロブロックを
分割した複数のブロックを各々処理対象ブロックとし、 a.前記処理対象フレームの第1符号化データから当該
処理対象マクロブロックに対応した動き情報を求め、 b.該動き情報から前記第1参照フレームにおける当該
処理対象マクロブロックに対応した第1参照マクロブロ
ックの位置を求め、 c.前記第1参照フレームにおいて前記第1参照マクロ
ブロックと重複している部分の面積が最も広いマクロブ
ロックに対応した差分画像の直交変換係数と、当該処理
対象マクロブロックに対応した差分画像の直交変換係数
とから、当該処理対象マクロブロックと、前記第2参照
フレーム内の当該処理対象マクロブロックに対応した参
照画像との差分の直交変換係数を算出することを特徴と
する請求項7に記載のトランスコーディング方法。9. In the orthogonal transform coefficient calculating step, a plurality of macroblocks obtained by dividing the frame to be processed are each processed macroblocks, and a plurality of blocks obtained by dividing each macroblock to be processed are each processed blocks. . Obtaining motion information corresponding to the macroblock to be processed from the first encoded data of the frame to be processed, b. Obtaining a position of a first reference macroblock corresponding to the macroblock to be processed in the first reference frame from the motion information; c. In the first reference frame, an orthogonal transform coefficient of a difference image corresponding to a macroblock having the largest area overlapping with the first reference macroblock, and an orthogonal transform coefficient of a difference image corresponding to the macroblock to be processed 8. The transcoding according to claim 7, wherein an orthogonal transformation coefficient of a difference between the processing target macroblock and a reference image corresponding to the processing target macroblock in the second reference frame is calculated from the following. Method.
よって構成され、これらの各フィールドを前記処理対象
フレームとして、前記第2符号化データを生成すること
を特徴とする請求項1に記載のトランスコーディング方
法。10. The transcoding method according to claim 1, wherein the frame is composed of a plurality of fields, and each of these fields is used as the processing target frame to generate the second encoded data. .
は、複数のピクチャグループからなり、前記フレーム間
予測符号化データ再編集手段は、各ピクチャグループが
Iフレームおよびその後のPフレーム間またはPフレー
ムおよびその後のPフレーム間に複数のBフレームを含
む場合に、これらのうちの1つのBフレームを間引き、
残ったBフレームをその前のIフレームまたはPフレー
ムのみを参照したPフレームに変換することを特徴とす
る請求項1に記載のトランスコーディング方法。11. The plurality of frames constituting the moving image are composed of a plurality of picture groups, and the inter-frame predictive coded data re-editing means determines that each picture group includes an I frame and a subsequent P frame or P frame. And when a plurality of B frames are included between P frames thereafter, one of these B frames is thinned out,
The transcoding method according to claim 1, wherein the remaining B frame is converted into a P frame referencing only the preceding I frame or P frame.
集過程は、 前記第1符号化データから前記動画像を構成する複数の
フレームの画像データを復元する画像データ復元過程
と、 前記動き情報算出過程により算出された動き情報が不正
確である場合に画像データ復元過程により復元された画
像データを探索することにより当該動き情報に代わる前
記第2符号化データに含めるべき動き情報を求める動き
情報修正過程と、 前記画像データ復元過程により得られた画像データと前
記動き情報算出過程および前記動き情報修正過程により
得られた動き情報を用いて符号化を行い、前記第2符号
化データを生成する符号化過程とを具備することを特徴
とする請求項1に記載のトランスコーディング方法。12. The inter-frame predictive encoded data re-editing step includes: an image data restoring step of restoring image data of a plurality of frames constituting the moving image from the first encoded data; and the motion information calculating step. A motion information correcting step of searching for image data restored in an image data restoring step when the motion information calculated by the above is inaccurate to obtain motion information to be included in the second encoded data instead of the motion information Coding using the image data obtained in the image data restoring process and the motion information obtained in the motion information calculating process and the motion information correcting process to generate the second coded data The transcoding method according to claim 1, further comprising the steps of:
フレームを構成する各処理対象マクロブロック毎に、前
記第1符号化データに含まれる当該処理対象マクロブロ
ックに対応した動き情報を用いた動き補償を行った場合
における当該処理対象マクロブロックの画像データと第
1参照フレームにおける当該処理対象マクロブロックに
対応した第1参照マクロブロックの画像データとの差分
である第1予測誤差を求める予測誤差復号過程と、 当該処理対象フレームを構成する各処理対象マクロブロ
ック毎に、前記動き情報算出過程により算出した動き情
報を用いた動き補償を行って、当該処理対象マクロブロ
ックの画像データと前記第2参照フレームの画像データ
との差分である第2予測誤差を算出する予測誤差算出過
程と、 前記第2予測誤差が前記第1予測誤差よりも所定値以上
大きい処理対象マクロブロックについて、当該処理対象
マクロブロックの画像データと前記第2参照フレームに
対応した画像デ−タとを用いて、前記動き情報算出過程
により得られた動き情報に代わる動き情報を探索する動
き情報探索過程とを含むことを特徴とする請求項12に
記載のトランスコーディング方法。13. The motion information correcting step comprises: decoding the first encoded data to obtain, for each processing target macroblock constituting a processing target frame, the processing target included in the first encoded data. The difference between the image data of the processing target macroblock and the image data of the first reference macroblock corresponding to the processing target macroblock in the first reference frame when motion compensation is performed using the motion information corresponding to the macroblock. A prediction error decoding step for obtaining a first prediction error, and a motion compensation using the motion information calculated in the motion information calculation step for each processing target macroblock constituting the processing target frame. A second prediction error, which is a difference between the image data of the target macroblock and the image data of the second reference frame, is calculated. A prediction error calculating step, and for a processing target macroblock in which the second prediction error is larger than the first prediction error by a predetermined value or more, the image data of the processing target macroblock and the image data corresponding to the second reference frame. 13. The transcoding method according to claim 12, further comprising: a motion information search step of searching for motion information in place of the motion information obtained in the motion information calculation step by using the data.
報算出過程によって算出された動き情報に基づいて動き
情報の探索範囲を定める処理を含み、前記動き情報探索
過程では該探索範囲内において動き情報の探索を行うこ
とを特徴とする請求項12に記載のトランスコーディン
グ方法。14. The motion information correcting step includes a process of determining a search range of the motion information based on the motion information calculated in the motion information calculating step, and in the motion information searching step, the motion information within the search range is determined. 13. The transcoding method according to claim 12, wherein the search is performed.
化アルゴリズムを含む符号化アルゴリズムにより動画像
を構成する複数のフレームから得られた第1符号化デー
タを、異なった構成を有する第2符号化データに変換す
るトランスコーディング方法において、 処理対象となる複数のフレームに対応した第1符号化デ
ータに含まれる動き情報から動画像の動きを判定する動
き判定過程と、 前記動画像を構成する複数のフレームのうちフレーム間
予測符号化の対象となったものの一部のフレームを処理
対象フレームとし、処理理対象フレームのフレーム間予
測符号化において参照された第1参照フレームとは別の
第2参照フレームを参照して処理対象フレームのフレー
ム間予測符号化を行った場合に得られるであろう符号化
データに相当する第2符号化データを、処理対象フレー
ムを含む1または複数のフレームの第1符号化データか
ら生成するフレーム間予測符号化データ再編集過程とを
具備し、 前記フレーム間予測符号化データ再編集過程は、前記動
き判定過程により動画像の動きが小さいと判定されたと
きに実行される第1再編集過程と、前記動き判定過程に
より動画像の動きが大きいと判定されたときに実行され
る第2再編集過程とを具備し、 前記第1再編集過程は、 前記処理対象フレームの第1符号化データに含まれてい
る動き情報と前記第1参照フレームの第1符号化データ
に含まれている動き情報とから前記第2符号化データに
含めるべき動き情報を算出する第1の動き情報算出過程
と、 処理対象フレームの第1符号化データに含まれる動き情
報および直交変換係数と第1参照フレームの第1符号化
データに含まれる直交変換係数を用いて、処理対象フレ
ームを分割した各処理対象ブロック毎に、第2参照フレ
ームにおける当該処理対象ブロックに対応した参照画像
との間の差分の直交変換係数を算出する直交変換係数算
出過程とを具備し、 前記第2再編集過程は、 前記処理対象フレームの第1符号化データに含まれてい
る動き情報と前記第1参照フレームの第1符号化データ
に含まれている動き情報とから前記第2符号化データに
含めるべき動き情報を算出する第2の動き情報算出過程
と、 前記第1符号化データから前記複数のフレームの画像デ
ータを復元する画像データ復元過程と、 前記第2の動き情報算出過程により算出された動き情報
が不正確である場合に画像データ復元過程により復元さ
れた画像データを探索することにより当該動き情報に代
わる前記第2符号化データに含めるべき動き情報を求め
る動き情報修正過程と、 前記画像データ復元過程により得られた画像データと前
記第2の動き情報算出過程および前記動き情報修正過程
により得られた動き情報を用いて符号化を行い、前記第
2符号化データを生成する符号化過程とを具備すること
を特徴とするトランスコーディング方法。15. A second encoder having a different configuration from a first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame prediction encoding algorithm with motion compensation. In the transcoding method for converting data, a motion determining step of determining a motion of a moving image from motion information included in first encoded data corresponding to a plurality of frames to be processed; A part of the frames targeted for inter-frame predictive coding is set as a processing target frame, and a second reference frame different from the first reference frame referred to in the inter-frame predictive coding of the processing target frame Corresponds to encoded data that would be obtained when performing inter-frame predictive encoding of the frame to be processed. (2) an inter-frame prediction coded data re-editing step of generating two coded data from the first coded data of one or a plurality of frames including a processing target frame; A first reediting step performed when the motion of the moving image is determined to be small by the motion determining step, and a second reediting step performed when the motion of the moving image is determined to be large by the motion determining step. A re-editing step, wherein the first re-editing step is included in the motion information included in the first encoded data of the processing target frame and the first encoded data of the first reference frame. A first motion information calculating step of calculating motion information to be included in the second coded data from the motion information; and a motion information and orthogonal transform function included in the first coded data of the processing target frame. And an orthogonal transform coefficient included in the first encoded data of the first reference frame, and for each processing target block obtained by dividing the processing target frame, a reference image corresponding to the processing target block in the second reference frame is generated. An orthogonal transform coefficient calculating step of calculating an orthogonal transform coefficient of a difference between the two frames, wherein the second re-editing step includes the motion information contained in the first encoded data of the processing target frame and the first reference. A second motion information calculating step of calculating motion information to be included in the second coded data from motion information included in the first coded data of the frame; and the plurality of frames from the first coded data. An image data restoring step of restoring the image data of the image data. If the motion information calculated by the second motion information calculating step is incorrect, the image data is restored by the image data restoring step. A motion information correction step of searching for image data to obtain motion information to be included in the second encoded data instead of the motion information; an image data obtained in the image data restoration step and the second motion information calculation And a coding step of performing coding using the motion information obtained by the motion information correcting step and generating the second coded data.
化アルゴリズムを含む符号化アルゴリズムにより動画像
を構成する複数のフレームから得られた第1符号化デー
タを、異なった構成を有する第2符号化データに変換す
るトランスコーディング装置において、 前記動画像を構成する複数のフレームのうちフレーム間
予測符号化の対象となったものの一部のフレームを処理
対象フレームとし、処理理対象フレームのフレーム間予
測符号化において参照された第1参照フレームとは別の
第2参照フレームを参照して処理対象フレームのフレー
ム間予測符号化を行った場合に得られるであろう符号化
データに相当する第2符号化データを、処理対象フレー
ムを含む1または複数のフレームの第1符号化データか
ら生成するフレーム間予測符号化データ再編集手段を具
備し、 前記フレーム間予測符号化データ再編集手段は、少なく
とも前記処理対象符号化データに含まれている動き情報
を用いて、前記第2符号化データに含めるべき動き情報
を算出する動き情報算出部を含むことを特徴とするトラ
ンスコーディング装置。16. A second encoder having a different configuration from a first encoded data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame prediction encoding algorithm with motion compensation. In a transcoding device for converting data, among a plurality of frames constituting the moving image, a part of frames targeted for inter-frame prediction encoding is set as a processing target frame, and an inter-frame prediction code of a processing target frame is set. Encoding corresponding to encoded data that would be obtained when performing inter-frame predictive encoding of a processing target frame with reference to a second reference frame different from the first reference frame referred to in the encoding Inter-frame predictive encoding for generating data from first encoded data of one or more frames including a processing target frame Data re-editing means, wherein the inter-frame predictive encoded data re-editing means uses at least motion information included in the processing target encoded data to generate motion information to be included in the second encoded data. A transcoding device, comprising: a motion information calculation unit that calculates a motion vector.
集手段では、フレーム間予測符号化が行われたフレーム
の一部のフレームを第1参照フレームとし、この第1参
照フレームを参照してフレーム間予測符号化が行われた
フレームを処理対象フレームとし、第1参照フレームの
フレーム間予測符号化において参照されたフレームを第
2参照フレームとし、処理対象フレームに対応した第1
符号化データである処理対象符号化データと、第1参照
フレームに対応した第1符号化データである第1参照符
号化データとから、第2参照フレームを参照して処理対
象フレームのフレーム間予測符号化を行ったときに得ら
れる符号化データに対応した第2符号化データを生成
し、 前記動き情報算出部では、前記処理対象符号化データに
含まれている動き情報と前記第1参照符号化データに含
まれている動き情報とから前記第2符号化データに含め
るべき動き情報を算出することを特徴とする請求項16
に記載のトランスコーディング装置。17. The inter-frame predictive coded data re-editing unit sets a part of frames subjected to inter-frame predictive coding as a first reference frame, and refers to the first reference frame to determine an inter-frame A frame subjected to predictive encoding is set as a processing target frame, a frame referred to in the inter-frame predictive coding of the first reference frame is set as a second reference frame, and a first reference frame corresponding to the processing target frame is set.
From the coded data to be processed, which is coded data, and the first reference coded data, which is the first coded data corresponding to the first reference frame, inter-frame prediction of the frame to be processed by referring to the second reference frame Generating second encoded data corresponding to encoded data obtained when encoding is performed, wherein the motion information calculation unit calculates the motion information included in the processing target encoded data and the first reference code. The motion information to be included in the second encoded data is calculated from the motion information included in the encoded data.
The transcoding device according to claim 1.
ムは、フレームを分割したマクロブロック毎に動き補償
を行うとともに、マクロブロックを分割したブロック毎
に、フレーム間の差分画像の直交変換を行って符号化デ
ータを生成するものであり、 前記フレーム間予測符号化データ再編集手段は、 処理対象符号化データに含まれる動き情報および直交変
換係数と第1参照フレームの第1符号化データに含まれ
る直交変換係数を用いて、処理対象フレームを分割した
各処理対象ブロック毎に、第2参照フレームにおける当
該処理対象ブロックに対応した参照画像との間の差分の
直交変換係数を算出する直交変換係数算出部を具備する
ことを特徴とする請求項16に記載のトランスコーディ
ング装置。18. The inter-frame prediction encoding algorithm performs motion compensation for each macro block obtained by dividing a frame, and performs orthogonal transformation of a difference image between frames for each macro block obtained by dividing the macro block. The inter-frame prediction coded data re-editing means includes: motion information and orthogonal transform coefficients included in the coded data to be processed; and orthogonal transform included in the first coded data of the first reference frame. An orthogonal transform coefficient calculating unit that calculates an orthogonal transform coefficient of a difference between a reference image corresponding to the processing target block in the second reference frame for each processing target block obtained by dividing the processing target frame using the coefficient; 17. The transcoding device according to claim 16, comprising:
集手段は、 前記第1符号化データから前記動画像を構成する複数の
フレームの画像データを復元する復号器と、 前記動き情報算出部により算出された動き情報が不正確
である場合に復号器により復元された画像データを探索
することにより当該動き情報に代わる前記第2符号化デ
ータに含めるべき動き情報を求める動き情報修正部と、 前記復号器により得られた画像データと前記動き情報算
出部および前記動き情報修正部により得られた動き情報
を用いて符号化を行い、前記第2符号化データを生成す
る符号化器とを具備することを特徴とする請求項16に
記載のトランスコーディング装置。19. The inter-frame prediction coded data re-editing means, comprising: a decoder for restoring image data of a plurality of frames constituting the moving image from the first coded data; A motion information correction unit that searches for image data restored by a decoder when the obtained motion information is incorrect to obtain motion information to be included in the second encoded data instead of the motion information; A coding unit that performs coding using the image data obtained by the coding unit and the motion information obtained by the motion information calculation unit and the motion information correction unit, and generates the second coded data. The transcoding device according to claim 16, wherein:
化アルゴリズムを含む符号化アルゴリズムにより動画像
を構成する複数のフレームから得られた第1符号化デー
タを、異なった構成を有する第2符号化データに変換す
るトランスコーディング装置において、 前記動画像を構成する複数のフレームのうちフレーム間
予測符号化の対象となったものの一部のフレームを処理
対象フレームとし、処理理対象フレームのフレーム間予
測符号化において参照された第1参照フレームとは別の
第2参照フレームを参照して処理対象フレームのフレー
ム間予測符号化を行った場合に得られるであろう符号化
データに相当する第2符号化データを、処理対象フレー
ムを含む1または複数のフレームの第1符号化データか
ら生成する第1トランスコーディング部および第2トラ
ンスコーディング部と、 処理対象となる複数のフレームに対応した第1符号化デ
ータに含まれる動き情報から動画像の動きを判定し、動
画像の動きが遅いときには第1符号化データを第1トラ
ンスコーディング部に供給し、動画像の動きが速いとき
には第1符号化データを第2トランスコーディング部に
供給するスイッチ手段とを具備し、 前記第1トランスコーディング部は、 前記処理対象フレームの第1符号化データに含まれてい
る動き情報と前記第1参照フレームの第1符号化データ
に含まれている動き情報とから前記第2符号化データに
含めるべき動き情報を算出する第1の動き情報算出部
と、 処理対象フレームの第1符号化データに含まれる動き情
報および直交変換係数と第1参照フレームの第1符号化
データに含まれる直交変換係数を用いて、処理対象フレ
ームを分割した各処理対象ブロック毎に、第2参照フレ
ームにおける当該処理対象ブロックに対応した参照画像
との間の差分の直交変換係数を算出する直交変換係数算
出部とを具備し、 前記第2トランスコーディング部は、 前記処理対象フレームの第1符号化データに含まれてい
る動き情報と前記第1参照フレームの第1符号化データ
に含まれている動き情報とから前記第2符号化データに
含めるべき動き情報を算出する第2の動き情報算出部
と、 前記第1符号化データから前記複数のフレームの画像デ
ータを復元する復号器と、 前記第2の動き情報算出部により算出された動き情報が
不正確である場合に復号器により復元された画像データ
を探索することにより当該動き情報に代わる前記第2符
号化データに含めるべき動き情報を求める動き情報修正
部と、 前記復号器により得られた画像データと前記第2の動き
情報算出部および前記動き情報修正部により得られた動
き情報を用いて符号化を行い、前記第2符号化データを
生成する符号化器とを具備することを特徴とするトラン
スコーディング装置。20. First encoding data obtained from a plurality of frames constituting a moving image by an encoding algorithm including an inter-frame predictive encoding algorithm with motion compensation, and a second encoding having a different configuration. In a transcoding device for converting data, among a plurality of frames constituting the moving image, a part of frames targeted for inter-frame prediction encoding is set as a processing target frame, and an inter-frame prediction code of a processing target frame is set. Encoding corresponding to encoded data that would be obtained when performing inter-frame predictive encoding of a processing target frame with reference to a second reference frame different from the first reference frame referred to in the encoding A first transcode for generating data from first encoded data of one or more frames including a frame to be processed And a second transcoding unit, and determining the motion of the moving image from the motion information included in the first encoded data corresponding to the plurality of frames to be processed. Switch means for supplying data to the first transcoding unit, and supplying first encoded data to the second transcoding unit when the motion of the moving image is fast, wherein the first transcoding unit Calculating the motion information to be included in the second encoded data from the motion information included in the first encoded data of the frame and the motion information included in the first encoded data of the first reference frame. 1 motion information calculation unit, the motion information and the orthogonal transform coefficient included in the first encoded data of the processing target frame, and the first encoded data of the first reference frame. For each of the processing target blocks obtained by dividing the processing target frame using the orthogonal conversion coefficients included in the orthogonal transformation coefficient of the difference between the second reference frame and the reference image corresponding to the processing target block. A transform coefficient calculating unit, wherein the second transcoding unit includes motion information included in first encoded data of the processing target frame and first motion data included in the first encoded data of the first reference frame. A second motion information calculator that calculates motion information to be included in the second encoded data from the motion information that is present; a decoder that restores the image data of the plurality of frames from the first encoded data; When the motion information calculated by the second motion information calculation unit is incorrect, the image data restored by the decoder is searched for before the motion information is replaced. A motion information correction unit for obtaining motion information to be included in the second encoded data; an image data obtained by the decoder; and a motion information obtained by the second motion information calculation unit and the motion information correction unit. And a coder that generates the second coded data by performing coding.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000266346A JP4153150B2 (en) | 1999-09-10 | 2000-09-01 | Transcoding method and transcoding apparatus for moving image encoded data |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25811999 | 1999-09-10 | ||
JP27655799 | 1999-09-29 | ||
JP11-258119 | 1999-09-29 | ||
JP11-276557 | 1999-09-29 | ||
JP2000266346A JP4153150B2 (en) | 1999-09-10 | 2000-09-01 | Transcoding method and transcoding apparatus for moving image encoded data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001169295A true JP2001169295A (en) | 2001-06-22 |
JP4153150B2 JP4153150B2 (en) | 2008-09-17 |
Family
ID=27334704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000266346A Expired - Fee Related JP4153150B2 (en) | 1999-09-10 | 2000-09-01 | Transcoding method and transcoding apparatus for moving image encoded data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4153150B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002118851A (en) * | 2000-10-11 | 2002-04-19 | Sony Corp | Motion vector conversion method and apparatus |
JP2002247588A (en) * | 2001-02-21 | 2002-08-30 | Sony Corp | Method and device for transforming moving vector |
JP2007228581A (en) * | 2006-02-24 | 2007-09-06 | Samsung Electronics Co Ltd | Video transcoding method and apparatus |
JP2008092328A (en) * | 2006-10-03 | 2008-04-17 | Victor Co Of Japan Ltd | Motion information converter of moving picture encoding and motion information converting program |
US8355439B2 (en) | 2003-08-12 | 2013-01-15 | Hitachi, Ltd. | Transcoder and imaging apparatus for converting an encoding system of video signal |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5333059B2 (en) | 2009-08-27 | 2013-11-06 | ブラザー工業株式会社 | Image recording device |
US9479660B2 (en) | 2009-08-27 | 2016-10-25 | Brother Kogyo Kabushiki Kaisha | Image recording apparatus |
-
2000
- 2000-09-01 JP JP2000266346A patent/JP4153150B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002118851A (en) * | 2000-10-11 | 2002-04-19 | Sony Corp | Motion vector conversion method and apparatus |
JP4622077B2 (en) * | 2000-10-11 | 2011-02-02 | ソニー株式会社 | Image processing apparatus and image processing method |
JP2002247588A (en) * | 2001-02-21 | 2002-08-30 | Sony Corp | Method and device for transforming moving vector |
US8355439B2 (en) | 2003-08-12 | 2013-01-15 | Hitachi, Ltd. | Transcoder and imaging apparatus for converting an encoding system of video signal |
JP2007228581A (en) * | 2006-02-24 | 2007-09-06 | Samsung Electronics Co Ltd | Video transcoding method and apparatus |
JP4704374B2 (en) * | 2006-02-24 | 2011-06-15 | 三星電子株式会社 | Video transcoding method and apparatus |
JP2008092328A (en) * | 2006-10-03 | 2008-04-17 | Victor Co Of Japan Ltd | Motion information converter of moving picture encoding and motion information converting program |
JP4577292B2 (en) * | 2006-10-03 | 2010-11-10 | 日本ビクター株式会社 | Motion information conversion apparatus and motion information conversion program for moving picture encoding |
Also Published As
Publication number | Publication date |
---|---|
JP4153150B2 (en) | 2008-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7359558B2 (en) | Spatial scalable compression | |
KR100592651B1 (en) | Transcoding | |
KR0161551B1 (en) | Method and apparatus for editing or mixing compressed pictures | |
US6912253B1 (en) | Method and apparatus for transcoding coded video image data | |
KR100763179B1 (en) | Method for compressing/Reconstructing motion vector of unsynchronized picture and apparatus thereof | |
US20060133475A1 (en) | Video coding | |
JP2004336369A (en) | Moving image encoder, moving image decoder, moving image encoding method, moving image decoding method, moving image encoding program and moving image decoding program | |
JP2006279573A (en) | Encoder and encoding method, and decoder and decoding method | |
JPH11275592A (en) | Moving image code stream converter and its method | |
JP2004519167A (en) | Method for encoding and decoding motion information | |
EP0756803B1 (en) | A transcoder | |
US20050265444A1 (en) | Moving image encoding/decoding apparatus and method | |
JP4153150B2 (en) | Transcoding method and transcoding apparatus for moving image encoded data | |
KR100203281B1 (en) | Moving picture decorder based on forced one-direction motion compensation | |
JP4164903B2 (en) | Video code string conversion apparatus and method | |
JP4361665B2 (en) | Transcoding method and transcoding apparatus for moving image encoded data | |
JP2002112269A (en) | Image synthesis method and image synthesis device | |
JP2001359103A (en) | Moving picture data coder, moving picture data transmission method and moving picture data decoder | |
WO2006024988A2 (en) | A method and apparatus for motion estimation | |
JPH06284415A (en) | Motion compensation prediction coding and decoding | |
JP2001268579A (en) | Moving image re-encoder | |
JP2004040446A (en) | Image-coding device | |
JP2004007736A (en) | Device and method for decoding image | |
JP2004146885A (en) | Composite image encoding apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080703 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |