JP2947089B2 - Moving picture decoding method and apparatus - Google Patents
Moving picture decoding method and apparatusInfo
- Publication number
- JP2947089B2 JP2947089B2 JP24370794A JP24370794A JP2947089B2 JP 2947089 B2 JP2947089 B2 JP 2947089B2 JP 24370794 A JP24370794 A JP 24370794A JP 24370794 A JP24370794 A JP 24370794A JP 2947089 B2 JP2947089 B2 JP 2947089B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frames
- motion vector
- warping
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】本発明は、動画像復号化技術に関し、特に
テレビ信号に代表される動画信号の蓄積記録、伝送、放
送に使用する動画像復号化技術に関する。[0001] The present invention relates to a moving picture decoding technique, and
Storage, recording, transmission and release of video signals represented by TV signals
The present invention relates to a moving picture decoding technique used for transmission .
【０００２】[0002]
【従来の技術】従来の動画符号化および復号の方法およ
び装置には、近年動き補償フレーム間予測符号化方式が
動画符号化の標準方式の一部として盛んに用いられてい
る。特に、この動き補償フレーム間予測符号化方式に、
離散コサイン符号化方式（以下ＤＣＴと記す）を組み合
わせたハイブリッド符号化方式などが最もよく使われて
いる。それらのシステムでは、ブロックマッチングを用
いた動き補償と、視覚特性を考慮した量子化を行うＤＣ
Ｔ符号化が用いられるのが常である。2. Description of the Related Art In a conventional moving picture encoding and decoding method and apparatus, a motion-compensated inter-frame predictive coding method has recently been actively used as a part of a standard moving picture coding method. In particular, the motion-compensated inter-frame predictive coding method includes:
A hybrid coding method combining a discrete cosine coding method (hereinafter referred to as DCT) is most often used. In these systems, a DC that performs motion compensation using block matching and quantization in consideration of visual characteristics is used.
Usually, T coding is used.
【０００３】本願発明に使用するワーピング動き補償予
測は、動き補償予測の一種で、ブロック単位で求めた動
きベクトルを内挿して画素単位に求め、画素単位の動き
補償を行う方式である。この技術に関しては、ジェー・
ニーウェロゥスキー等（J.Niewglowski,T.G.Campbell,a
nd P.Haavisto,）のア・ノベル・ビデオ・コーディング
・スキーム・ベースド・オン・テンポラル・プリディク
ション・ユーシング・ディジタル・イメージ・ワーピン
グ（A novel video codingscheme based on temporal p
rediction using digital image warping,）と題した、
１９９３年６月８〜１０日に米国・シカゴ市で開催され
たアイイーイーイー・インターナショナル・コンファレ
ンス・オン・コンシュマ・エレクトロニクス（IEEE Int
ernational Conference on Consumer Electronics ）で
の発表や、本願発明の発明者による出願番号平成５−３
３０５５６号（「コントロールグリッドを用いた動画符
号化方式」）に、「コントロールグリッド動き補償」と
いう名称で詳細な記述がある。また、ジー・ウォルバー
グ（G. Wolberg）によるディジタル・イメージ・ワーピ
ング（Digital Image Warping,）と題した、１９９０年
に米国・カリフォルニア州・ロスアラミトス社で発行さ
れたアイイーイーイー・コンピュータ・ソサィヤティ・
プレス（IEEE Computer Society Press,）での説明など
も知られている。さらにこの方式は、モーフィング動き
補償とも呼ばれ、ジー・ジェー・サリバン等（G.J. Sul
livan and R. L. Baker,）のモーション・コンペンセー
ション・フォー・ビデオ・コンプレッション・ユーシン
グ・コントロール・グリッド・インターポレーション
（Motion compensation for video compression using
control grid interpolation, ）と題した、１９９１年
５月にカナダ国トロント市で開催されたインターナショ
ナル・コンファレンス・オン・アコーステックス・スピ
ーチ・アンド・シグナル・プロセッシング（Int. Conf.
Acoustics, Speech, and Signal Processing,）でのア
イイーイーイー・プロシーディングス（IEEEProc.）の
２７１３〜２７１６頁に記載されているものや、中谷と
原島によるモーション・コンペンセーション・ベースド
・オン・セグメンテーション・バイ・インテグレーショ
ン・オブ・トライアンギュラ・パッチズ（Motion compe
nsation based on segmentation by integration of tr
iangular patches, ）と題した９１年画像符号化シンポ
ジウム予稿集、３―１などによって具体的な提案がなさ
れている。[0003] The warping motion compensation prediction used in the present invention is a type of motion compensation prediction, and is a method of interpolating a motion vector obtained in a block unit to obtain a pixel unit and performing motion compensation in a pixel unit. Regarding this technology, J.
J. Niewglowski, TGCampbell, a
A novel video codingscheme based on temporal p by A. Novell video coding scheme based on temporal prediction using digital image warping of nd P. Haavisto,
rediction using digital image warping,)
IEEE International Conference on Consumer Electronics (IEEE Int.) Held in Chicago, USA, June 8-10, 1993
International Conference on Consumer Electronics) and the application number Heisei 5-3 by the inventor of the present invention.
No. 30556 (“Moving picture coding method using control grid”) has a detailed description under the name of “control grid motion compensation”. Also, IEE Computer Society, a digital image warping by G. Wolberg, published in 1990 by Los Alamitos, California, USA, entitled Digital Image Warping,
Explanations at the press (IEEE Computer Society Press, etc.) are also known. Further, this method is also called morphing motion compensation, and is used by GJ Sullivan et al.
livan and RL Baker,) Motion compensation for video compression using control grid interpolation (Motion compensation for video compression using
International Conference on Acoustic Speech and Signal Processing (Int. Conf.), held in Toronto, Canada, May 1991, entitled "control grid interpolation."
Acoustics, Speech, and Signal Processing,), pages 2713-2716 of IEEE Proc., And Motion Compensation-Based On-Segmentation by Nakatani and Harashima.・ Integration of Triangular Patches (Motion compe
nsation based on segmentation by integration of tr
Specific proposals have been made in 1991 Image Encoding Symposium Proceedings, 3-1 entitled iangular patches,).
【０００４】次に、ワーピング動き補償の概要を説明す
る。図６はワーピング動き補償で動きベクトルがどうい
うふうに用いられるかを説明する説明図である。Next, an outline of warping motion compensation will be described. FIG. 6 is an explanatory diagram for explaining how a motion vector is used in warping motion compensation.
【０００５】まず画面の中に等間隔の格子を設定する。
それぞれの格子点での動きベクトルが求められ、格子点
以外の画素では最寄りの複数の格子点の動きベクトルか
ら画素ごとの動きベクトルを内挿計算で求める。[0005] First, equidistant grids are set in the screen.
A motion vector at each grid point is obtained, and for pixels other than the grid points, a motion vector for each pixel is obtained by interpolation from the motion vectors of a plurality of nearest grid points.
【０００６】この、ワーピング動き補償は、従来のブロ
ック単位の動き補償と置き換え可能である。従って、容
易にDCT等とのハイブリッド符号化方式にも対応でき
る。例えば、従来の動画像符号化装置としては、図７の
ブロック図に示すように、複数のフレームからなる動画
像データの過去のフレームを格納する第１のフレームメ
モリ１１と、第１のフレームメモリ１１からの出力と現
在のフレームとから動きベクトルを推定する動きベクト
ル推定手段１２と、動きベクトル推定手段１２の推定す
る動きベクトルを基にワーピング動き補償演算を行うワ
ーピング動き補償手段１３と、ワーピング動き補償手段
１３の補償演算結果と現在入力中のフレームの差分を計
算する差分器１４と、差分器１４の出力である予測誤差
信号を予測誤差符号として符号化する予測誤差符号化手
段１５と、そこで得られた局所復号信号をワーピング動
き補償手段１３の補償演算結果に加算し出力する加算器
１６と、加算器１６の出力を次のフレームのワーピング
動き補償演算に用いるために格納する第２のフレームメ
モリ１７と、動きベクトル推定手段１２が推定した動き
ベクトルを符号化する動きベクトル符号化手段１８と、
動きベクトル符号化手段１８の出力と予測誤差符号と各
フレームの量子化特性とを多重化し符号列として出力す
る多重化手段１９と、多重化手段１９の出力する符号列
を平滑化して一定速度で転送するバッファ２０と、現在
入力中のフレームとバッファでの発生符号量とを解析し
量子化特性を決定し予測誤差符号化手段１５と多重化手
段１９とに供給する解析器２１とを備えるものがある。The warping motion compensation can be replaced with the conventional block-based motion compensation. Therefore, it is possible to easily cope with a hybrid coding scheme with DCT or the like. For example, as a conventional moving picture encoding device, as shown in a block diagram of FIG. 7, a first frame memory 11 for storing past frames of moving picture data composed of a plurality of frames, a first frame memory A motion vector estimating means 12 for estimating a motion vector from the output from the current frame 11 and the current frame; a warping motion compensating means 13 for performing a warping motion compensation operation based on the motion vector estimated by the motion vector estimating means 12; A differentiator 14 for calculating the difference between the compensation operation result of the compensator 13 and the currently input frame; a prediction error encoder 15 for encoding a prediction error signal output from the differentiator 14 as a prediction error code; An adder 16 for adding the obtained local decoded signal to the compensation operation result of the warping motion compensator 13 and outputting the result; A second frame memory 17 to be stored in order to use the force to warping motion compensation operation of the next frame, the motion vector coding unit 18 for coding the motion vector the motion vector estimation unit 12 has estimated,
A multiplexing unit 19 that multiplexes the output of the motion vector coding unit 18, the prediction error code, and the quantization characteristic of each frame and outputs the coded sequence, and a coded sequence output by the multiplexing unit 19 that is smoothed at a constant speed. A buffer 20 for transferring data; and an analyzer 21 for analyzing a currently input frame and a generated code amount in the buffer, determining a quantization characteristic, and supplying the quantized characteristic to the prediction error encoding means 15 and the multiplexing means 19. There is.
【０００７】この動画像符号化装置の動作は、複数のフ
レームからなる動画像データを受信し、第１のフレーム
メモリ１１に格納した過去のフレームと現在入力中のフ
レームとから動きベクトル推定手段１２が動きベクトル
を推定し、この動きベクトルを基にワーピング動き補償
手段１３がワーピング動き補償演算を行う。次に、この
ワーピング動き補償演算結果と現在入力中のフレームと
の差分である予測誤差信号を差分器１４で算出し、算出
した予測誤差信号を予測誤差符号化手段１５で予測誤差
符号として符号化する。続いて加算器１６でこの予測誤
差符号をワーピング動き補償演算結果に加算し、この加
算結果を次のフレームのワーピング補償演算に用いるた
め、第２のフレームメモリ１７に記憶する。先に動きベ
クトル推定手段１２が推定した動きベクトルは転送する
ため動きベクトル符号化手段１８で符号化する。次に、
多重化手段１９は、動きベクトル符号化手段１８の出力
と予測誤差符号と各フレームの量子化特性とを多重化し
符号列として出力する。続いてバッファ２０は多重化手
段１９の出力する符号列を平滑化して一定速度で転送す
る。さらに、解析器２１は現在入力中のフレームとバッ
ファ２０での発生符号量とを解析し量子化特性を決定し
予測誤差符号化手段１５と多重化手段１９とに供給す
る。The operation of the moving picture coding apparatus is as follows. The moving picture data is composed of a plurality of frames, and the motion vector estimating means 12 is determined from the past frame stored in the first frame memory 11 and the currently input frame. Estimates the motion vector, and the warping motion compensating means 13 performs a warping motion compensation operation based on the motion vector. Next, a prediction error signal which is a difference between the warping motion compensation calculation result and the currently input frame is calculated by the differentiator 14, and the calculated prediction error signal is encoded by the prediction error encoding means 15 as a prediction error code. I do. Subsequently, the adder 16 adds this prediction error code to the warping motion compensation calculation result, and stores this addition result in the second frame memory 17 for use in the warping compensation calculation of the next frame. The motion vector estimated by the motion vector estimating means 12 is encoded by the motion vector encoding means 18 for transfer. next,
The multiplexing unit 19 multiplexes the output of the motion vector coding unit 18, the prediction error code, and the quantization characteristics of each frame, and outputs the multiplexed code string. Subsequently, the buffer 20 smoothes the code string output from the multiplexing means 19 and transfers the code string at a constant speed. Further, the analyzer 21 analyzes the currently input frame and the amount of code generated in the buffer 20, determines a quantization characteristic, and supplies it to the prediction error encoding means 15 and the multiplexing means 19.
【０００８】これに対して従来の動画像復号装置として
は、図８のブロック図に示すように、受信した符号列を
一時蓄積するバッファ３１と、バッファ３１を介して受
信した符号列を動きベクトルの符号化信号と予測誤差信
号符号と量子化特性とを含む複数の要素に分離する逆多
重化手段３２と、逆多重化手段３２の出力する予測誤差
符号と量子化特性とから予測誤差信号を復号する予測誤
差復号手段３３と、動きベクトルの符号化信号から動き
ベクトルを復号する動きベクトル復号手段３４と、復号
した動きベクトルを用いてワーピング動き補償を行うワ
ーピング動き補償手段３５と、予測誤差信号とワーピン
グ動き補償の結果とを加算する加算器３６と、加算器３
６の出力を次のフレームのワーピング動き補償に用いる
ために格納するフレームメモリ３７とを備えるものがあ
る。On the other hand, as shown in the block diagram of FIG. 8, a conventional moving picture decoding apparatus includes a buffer 31 for temporarily storing a received code string and a code string received via the buffer 31 as a motion vector. Demultiplexing means 32 for demultiplexing into a plurality of elements including the encoded signal, the prediction error signal code and the quantization characteristic, and the prediction error signal from the prediction error code and the quantization characteristic output from the demultiplexing means 32. A prediction error decoding unit 33 for decoding, a motion vector decoding unit 34 for decoding a motion vector from a coded signal of the motion vector, a warping motion compensation unit 35 for performing warping motion compensation using the decoded motion vector, and a prediction error signal And an adder 36 for adding the result of the warping motion compensation and an adder 3
And a frame memory 37 for storing the output of No. 6 for use in the warping motion compensation of the next frame.
【０００９】この復号器の動作は、まず、バッファ３１
が受信した符号列を逆多重化手段３２により動きベクト
ルの符号化信号と予測誤差符号と量子化特性とを含む複
数の要素に分離し、続いて予測誤差復号手段３３が予測
誤差符号と量子化特性とから差分を復号する。同時に動
きベクトル復号手段３４が動きベクトルの符号化信号か
ら動きベクトルを復号し、続いてワーピング動き補償手
段３５がこの動きベクトルとフレームメモリに記憶され
ている過去のフレームとを用いてワーピング動き補償を
行う。次に、加算器３６がワーピング動き補償の結果と
差分とを加算し複数のフレームからなる動画像データを
復号し、出力する。フレームメモリ３７は、加算器３６
の出力を次のフレームのワーピング動き補償に用いるた
めに格納する。The operation of this decoder is as follows.
Demultiplexes the received code string into a plurality of elements including a coded signal of a motion vector, a prediction error code, and a quantization characteristic by a demultiplexing unit 32. Subsequently, the prediction error decoding unit 33 The difference is decoded from the characteristic. At the same time, the motion vector decoding means 34 decodes the motion vector from the coded signal of the motion vector, and subsequently the warping motion compensation means 35 performs the warping motion compensation using this motion vector and the past frame stored in the frame memory. Do. Next, the adder 36 adds the result of the warping motion compensation and the difference, decodes and outputs moving image data composed of a plurality of frames. The frame memory 37 includes an adder 36
Is stored for use in warping motion compensation for the next frame.
【００１０】[0010]
【発明が解決しようとする課題】上述した従来の動画符
号化および復号装置は、動作原理が、動き補償予測符号
化方式であっても、あるいはワーピング動き補償予測符
号化方式であっても、低ビットレートの符号化に適用し
た場合には、画質が劣化するという問題点があった。The conventional moving picture coding and decoding apparatus described above has a low operating principle whether the operation principle is the motion compensation prediction coding scheme or the warping motion compensation prediction coding scheme. When applied to encoding at a bit rate, there is a problem that image quality deteriorates.
【００１１】本発明の目的は、ワーピング動き補償を飛
び越しフレームの相互間に内挿あるいは外挿法によるフ
レームを補完することにより、符号量を大幅に低減して
も画質の劣化を防止し、より効率的な符号化および復号
を行うことが可能な動画符号化および復号の方法および
装置を提供することにある。An object of the present invention is to interpolate warping motion compensation and interpolate a frame by interpolating or extrapolating frames between frames, thereby preventing deterioration of image quality even if code amount is significantly reduced. It is an object of the present invention to provide a moving image encoding and decoding method and apparatus capable of performing efficient encoding and decoding.
【００１２】[0012]
【課題を解決するための手段】本発明の動画符号化方法
は、複数のフレームからなる動画像データの過去のフレ
ームと現在入力中のフレームとから動きベクトルを推定
し、この動きベクトルを基にワーピング動き補償演算を
行い、このワーピング動き補償演算結果と現在入力中の
フレームとの差分である予測誤差信号を予測誤差符号と
して符号化し、この予測誤差符号を前記ワーピング動き
補償演算結果に加算し、この加算結果を次のフレームの
ワーピング補償演算に用いるためフレームメモリに記憶
し、前記動きベクトルを符号化し量子化特性を含めて前
記予測誤差符号と多重化し符号列として出力する動画符
号化方法において、現在入力中のフレームと出力中の符
号列との２つの信号の量的変化を解析することで前記複
数のフレーム中で量子化すべきフレームを定めるための
飛び越しフレーム数を定め、前記現在入力中の複数のフ
レームに対し前記定めた飛び越しフレーム数分飛び越し
ながら該当するフレームごとにワーピング動き補償演算
を行い先行して符号化したフレームとの差分である予測
誤差信号を予測誤差符号として符号化すると共に飛び越
した前記フレーム数を符号化し、前記動きベクトルの符
号化信号および前記該当するフレームの予測誤差符号と
前記フレーム数の符号化信号とを多重化し符号列として
出力する構成である。According to the moving picture coding method of the present invention, a motion vector is estimated from a past frame of moving image data composed of a plurality of frames and a frame currently being input, and the motion vector is estimated based on the motion vector. A warping motion compensation operation is performed, a prediction error signal that is a difference between the warping motion compensation operation result and the currently input frame is encoded as a prediction error code, and the prediction error code is added to the warping motion compensation operation result. A moving image encoding method of storing the addition result in a frame memory for use in a warping compensation operation of the next frame, encoding the motion vector, multiplexing the motion vector including the quantization characteristic with the prediction error code, and outputting a coded sequence, wherein the plurality of frames by analyzing quantitative changes of the two signals of a frame being currently input and the marks <br/> No. column in the output In defining a number interlaced frames for determining the frame to be quantized performs warping motion compensation operation for each frame corresponding with interlaced interlaced number of frames that defines the relative plurality of full <br/> frame of said currently input The prediction error signal, which is the difference from the previously encoded frame, is encoded as the prediction error code and the number of skipped frames is encoded, and the motion vector encoded signal and the prediction error code of the corresponding frame are encoded. In this configuration, the coded signal having the number of frames is multiplexed and output as a code string.
【００１３】本発明の動画復号方法は、受信した符号列
を逆多重化手段により動きベクトルの符号化信号と予測
誤差符号と量子化特性とを含む複数の要素に分離し、前
記動きベクトルの符号化信号から動きベクトルを復号
し、この動きベクトルとフレームメモリに記憶されてい
る過去のフレームとを用いてワーピング動き補償を行
い、前記予測誤差符号と前記量子化特性とから差分を復
号し、前記ワーピング動き補償の結果と前記差分とを加
算し複数のフレームからなる動画像データを復号する動
画復号方法において、前記受信した符号列を復号したデ
ータの定めるフレーム数分飛び越しながら抽出した複数
のフレームとこの飛び越したフレーム数に従って、前記
動きベクトルを復号した隣接するフレーム間の距離に応
じて内挿し、この内挿した動きベクトルでワーピング動
き補償のみを行って前記複数のフレームのそれぞれの間
に存在し前記受信した符号列に存在しない複数のフレー
ムを再構成する構成である。According to the moving picture decoding method of the present invention, the received code sequence is separated into a plurality of elements including a coded signal of a motion vector, a prediction error code, and a quantization characteristic by a demultiplexing means. Decoding a motion vector from the quantized signal, performing warping motion compensation using this motion vector and a past frame stored in a frame memory, decoding a difference from the prediction error code and the quantization characteristic, In the moving image decoding method for adding the result of the warping motion compensation and the difference and decoding moving image data composed of a plurality of frames, a plurality of frames extracted while jumping by the number of frames determined by the data obtained by decoding the received code string. According to the number of skipped frames, the motion vector is interpolated according to the distance between adjacent frames obtained by decoding the motion vector. And is configured to perform only the warping motion compensation by the motion vector to reconstruct the plurality of frames do not exist between each present in the received code sequence of said plurality of frames.
【００１４】本発明の動画復号方法は、受信した符号列
を逆多重化手段により動きベクトルの符号化信号と予測
誤差符号と量子化特性と飛び越しフレーム数とを含む複
数の要素に分離し、前記動きベクトルの符号化信号から
動きベクトルを復号し、この動きベクトルとフレームメ
モリに記憶されている過去のフレームとを用いてワーピ
ング動き補償を行い、前記予測誤差符号と前記量子化特
性とから差分を復号し、前記ワーピング動き補償の結果
と前記差分とを加算し、複数のフレームからなる動画像
データを前記飛び越しフレーム数に従って飛び越しなが
ら復号する動画復号方法において、飛び越されて復号さ
れなかったフレームを補完する方法であって、過去に復
号した最寄りのフレームと補完しようとするフレームと
のフレーム間距離に従って、このフレーム間距離が前記
飛び越しフレーム数より小さい場合は前記動きベクトル
を内挿し、前記飛び越しフレーム数より大きい場合は前
記動きベクトルを外挿し、この内挿および外挿した動き
ベクトルでワーピング動き補償のみを行って前記複数の
フレームのそれぞれの間に存在し前記受信した符号列に
存在しない複数のフレームを再構成する構成である。In the moving picture decoding method of the present invention, the received code sequence is separated into a plurality of elements including a coded signal of a motion vector, a prediction error code, a quantization characteristic, and the number of skipped frames by a demultiplexing means. A motion vector is decoded from the encoded signal of the motion vector, warping motion compensation is performed using the motion vector and a past frame stored in a frame memory, and a difference is calculated from the prediction error code and the quantization characteristic. decoded, the warping adds the result and the difference of the motion compensation, but the moving image data composed of a plurality of frames such interlaced according to the number of the interlaced frame
In the video decoding method of decoding from
This is a method of complementing a frame that was not
And the frame you are trying to complement
According to the inter-frame distance, the inter-frame distance is
If less than the number of skipped frames, the motion vector
And if it is larger than the number of skipped frames,
The motion vector is extrapolated, and only the warping motion compensation is performed using the interpolated and extrapolated motion vectors to reconstruct a plurality of frames existing between the plurality of frames and not existing in the received code string. Configuration.
【００１５】本発明の動画符号化装置は、複数のフレー
ムからなる動画像データの過去のフレームを格納する第
１のフレームメモリと、前記第１のフレームメモリから
の出力と現在のフレームとから動きベクトルを推定する
動きベクトル推定手段と、前記動きベクトル推定手段の
推定する動きベクトルを基にワーピング動き補償演算を
行うワーピング動き補償手段と、前記ワーピング動き補
償手段の補償演算結果と現在入力中のフレームの差分を
計算する差分器と、この差分器の出力である予測誤差信
号を予測誤差符号として符号化する予測誤差符号化手段
と、前記予測誤差符号を前記ワーピング動き補償手段の
補償演算結果に加算し出力する加算器と、この加算器の
出力を次のフレームのワーピング動き補償演算に用いる
ために格納する第２のフレームメモリと、前記動きベク
トルを符号化する動きベクトル符号化手段と、この動き
ベクトル符号化手段の出力と前記予測誤差符号と各フレ
ームの量子化特性とを多重化し符号列として出力する多
重化手段と、この多重化手段の出力する符号列を平滑化
して一定速度で転送するバッファと、現在入力中のフレ
ームと前記バッファで出力中の符号列の発生符号量との
２つの信号の量的変化を解析し量子化特性を決定し前記
予測誤差符号化手段と多重化手段とに供給する解析器と
を備える動画符号化装置において、前記解析器が現在入
力中のフレームと前記バッファで出力中の符号列の発生
符号量とを監視し解析しながら前記２つの信号の量的変
化が大きければ飛び越しフレーム数を小に前記２つの信
号の量的変化が小さければ飛び越しフレーム数を大に予
め定める基準に従って決定し出力する機能を備え、前記
多重化手段が前記飛び越しフレーム数を符号化して他の
符号と多重化する機能を備え、前記飛び越しフレーム数
に従って符号化するフレームを選出するタイミングを生
成するタイミング生成器と、このタイミング生成器の出
力を受け連続して入力する複数のフレームから符号化す
るフレームのみを取込むスイッチとを有する構成であ
る。[0015] A moving picture coding apparatus according to the present invention comprises a first frame memory for storing past frames of moving image data comprising a plurality of frames, and a motion based on an output from the first frame memory and a current frame. A motion vector estimating means for estimating a vector, a warping motion compensating means for performing a warping motion compensation operation based on the motion vector estimated by the motion vector estimating means, a compensation operation result of the warping motion compensating means, and a frame currently being input. , A prediction error encoding unit that encodes a prediction error signal output from the difference unit as a prediction error code, and adding the prediction error code to a compensation operation result of the warping motion compensation unit. And an output adder for storing the output of the adder for use in the warping motion compensation operation of the next frame. A frame memory, a motion vector encoding means for encoding the motion vector, and multiplexing for multiplexing an output of the motion vector encoding means, the prediction error code, and a quantization characteristic of each frame, and outputting as a code string. means and, in a buffer for transferring at a constant speed output code string by smoothing to the multiplexing means, and the generated code amount of the code sequence in the output frame and the buffer currently being entered
A moving image encoding apparatus comprising: an analyzer for analyzing a quantitative change of two signals to determine a quantization characteristic and supplying the same to the prediction error encoding means and the multiplexing means. While monitoring and analyzing the generated code amount of the code string being output in the buffer, and quantitatively changing the two signals.
If the number of skipping frames is small,
If the quantitative change of the signal is small, the number of skipped frames is greatly predicted.
The multiplexing means has a function of encoding the number of interlaced frames and multiplexing the same with another code, and has a function of selecting a frame to be encoded according to the number of interleaved frames. It has a configuration including a timing generator for generating, and a switch for receiving only the frame to be encoded from a plurality of frames that continuously receive the output of the timing generator.
【００１６】本発明の動画復号装置は、受信した符号列
を一時蓄積するバッファと、このバッファを介して受信
した符号列を動きベクトルの符号化信号と予測誤差信号
符号と量子化特性とを含む複数の要素に分離する逆多重
化手段と、この逆多重化手段の出力する予測誤差符号と
量子化特性とから予測誤差信号を復号する予測誤差復号
手段と、動きベクトルの符号化信号から動きベクトルを
復号する動きベクトル復号手段と、復号した動きベクト
ルを用いてワーピング動き補償を行うワーピング動き補
償手段と、前記予測誤差信号と前記ワーピング動き補償
の結果とを加算する加算器と、この加算器の出力を次の
フレームのワーピング動き補償に用いるために格納する
フレームメモリとを備える動画復号装置において、前記
逆多重化手段が出力に含まれる飛び越しフレーム数の符
号化信号を復号する機能を備え、復号された前記飛び越
しフレーム数と前記ワーピング動き補償手段からワーピ
ング動き補償実行時のフレームごとの終了信号とを受け
処理中のフレームと直前に処理したフレームとの距離を
計数するフレームカウンタと、前記動きベクトル復号手
段の復号した動きベクトルを記憶するメモリと、このメ
モリから動きベクトルを受け前記フレームカウンタから
フレーム間距離および飛び越しフレーム数を受け処理中
のフレームの動きベクトルを内挿計算で求め前記ワーピ
ング動き補償手段に供給する動きベクトル内挿手段と、
送信時に符号化され受信時に復号すべきフレームの出力
時にのみ接続し前記加算器に予測誤差信号を加える第１
のスイッチと、前記第１のスイッチの接続時にのみ接続
し前記加算器の出力を前記フレームメモリに格納する第
２のスイッチとを有する構成である。A moving picture decoding apparatus according to the present invention includes a buffer for temporarily storing a received code string, and a code string received via the buffer including a motion vector coded signal, a prediction error signal code, and a quantization characteristic. Demultiplexing means for demultiplexing into a plurality of elements; prediction error decoding means for decoding a prediction error signal from the prediction error code and quantization characteristics output from the demultiplexing means; , A warping motion compensation means for performing warping motion compensation using the decoded motion vector, an adder for adding the prediction error signal and the result of the warping motion compensation, and an adder for the adder. In a moving picture decoding apparatus comprising a frame memory for storing the output for use in warping motion compensation of the next frame, the demultiplexing means outputs A function of decoding a coded signal of the number of interlaced frames included in the frame, and a frame being processed which receives the decoded interlaced frame number and an end signal for each frame at the time of executing warping motion compensation from the warping motion compensation means. A frame counter for counting a distance from a frame processed immediately before; a memory for storing a motion vector decoded by the motion vector decoding means; a motion vector received from the memory; an inter-frame distance and the number of skipped frames from the frame counter; Motion vector interpolation means for obtaining a motion vector of the frame being received by interpolation calculation and supplying the motion vector to the warping motion compensation means;
A first method which is connected only at the time of outputting a frame to be coded at the time of transmission and to be decoded at the time of reception and adds a prediction error signal to the adder.
And a second switch connected only when the first switch is connected and storing the output of the adder in the frame memory.
【００１７】本発明の動画復号装置は、前記動きベクト
ル内挿手段を、前記メモリから動きベクトルを受け前記
フレームカウンタからフレーム間距離および飛び越しフ
レーム数を受け、過去に復号した最寄りのフレームと補
完しようとするフレームとのフレーム間距離に従って、
このフレーム間距離が前記飛び越しフレーム数より小さ
い場合は前記動きベクトルを内挿し、前記飛び越しフレ
ーム数より大きい場合は前記動きベクトルを外挿するよ
う前記動きベクトルを内挿および外挿計算で求め、前記
ワーピング動き補償手段に供給する動きベクトル内挿／
外挿手段で置換してもよい。In the moving picture decoding apparatus according to the present invention, the motion vector interpolation means receives the motion vector from the memory, receives the inter-frame distance and the number of skipped frames from the frame counter, and supplements the motion vector interpolation means with the nearest frame decoded in the past.
According to the distance between frames with the frame to be completed,
This inter-frame distance is smaller than the number of skipped frames.
If not, the motion vector is interpolated and the
If it is larger than the number of frames, extrapolate the motion vector.
Cormorant the motion calculated by the vector interpolation and extrapolation calculations of the warping to the motion compensation unit motion vector interpolation /
It may be replaced by extrapolation means.
【００１８】[0018]
【作用】この発明では、動画像を構成するフレームは３
種類に分類される。１つ目は、フレーム間予測符号化を
行わない、フレーム内符号化フレームで、Ｉフレームと
表記する。Ｉフレームは符号化もしくは復号を開始する
ために必要なフレームであり、用途に応じて挿入頻度が
変わる。According to the present invention, the number of frames constituting a moving image is three.
Classified into types. The first is an intra-coded frame that does not perform inter-frame predictive coding, and is referred to as an I-frame. An I frame is a frame required to start encoding or decoding, and its insertion frequency changes depending on the application.
【００１９】２つ目は、通常の予測符号化フレームで、
これは従来の技術で説明した通り符号化される。これを
Ｐフレームと表記する。本発明では、数フレームずつ飛
ばしながら、このＰフレームを設定する。図３はＩフレ
ームおよびＰフレームとその他の符号化されないフレー
ムとの関係を説明するための説明図である。図３に示す
ように、飛ばされたフレームは符号化されない。飛び越
しフレーム数は任意に変化して良い。そのために、動画
復号装置側で飛び越しフレーム数が必要とされ、動画符
号化装置側で飛び越しフレーム数を符号化多重する。こ
れが、請求項１および４の発明である。The second is a normal predictive coded frame.
This is encoded as described in the prior art. This is referred to as a P frame. In the present invention, this P frame is set while skipping every several frames. FIG. 3 is an explanatory diagram for explaining a relationship between an I frame and a P frame and other uncoded frames. As shown in FIG. 3, the skipped frames are not encoded. The number of jump frames may be arbitrarily changed. For this purpose, the number of skipped frames is required on the moving image decoding device side, and the moving image encoding device side encodes and multiplexes the number of skipped frames. This is the invention of claims 1 and 4.
【００２０】動画復号装置側ではＰフレームの動きベク
トルと予測誤差と飛び越しフレーム数のみが復号され
る。ここで飛び越されたフレームをＦフレームと表記す
る。このＦフレームを如何に再構成させるかにより、請
求項２および５、あるいは請求項３および６のいずれか
の発明となる。The moving picture decoding apparatus decodes only the motion vector of the P frame, the prediction error, and the number of skipped frames. Here, the skipped frame is referred to as an F frame. Depending on how the F frame is reconstructed, the invention of any one of claims 2 and 5 or claims 3 and 6 is achieved.
【００２１】Ｆフレームを再構成するに当ってＰフレー
ム用の動きベクトルをＦフレームの位置に応じて内挿し
てＦフレーム用の動きベクトルとすることができる。こ
の内挿された動きベクトルでワーピング動き補償を行
い、予測誤差を加えずにそのままＦフレームの再構成信
号として表示する。図４は復号時内挿法で処理するＩフ
レームおよびＰフレームと再構成されたＦフレームとの
関係を説明するための説明図である。図４に示す例で
は、Ｉフレームと直後のＰフレームとの間には１枚のＦ
フレームがはさまっている。このＦフレームはＰフレー
ム用の動きベクトルv0を内挿した(1/2)v0 によってワー
ピング動き補償で再構成される。更にこのＰフレームと
次のＰフレームの間には２枚のＦフレームがはさまって
おり、次のＰフレーム用の動きベクトルv1を用いた、(1
/3)v1,(2/3)v1 によって、ワーピング動き補償で再構成
される。これが請求項２および５の発明である。In reconstructing the F frame, the motion vector for the P frame can be interpolated according to the position of the F frame to obtain the motion vector for the F frame. Warping motion compensation is performed using the interpolated motion vector, and the signal is directly displayed as a reconstructed signal of the F frame without adding a prediction error. FIG. 4 is an explanatory diagram for explaining the relationship between the I frame and the P frame processed by the interpolation method at the time of decoding and the reconstructed F frame. In the example shown in FIG. 4, one F-frame exists between the I-frame and the immediately succeeding P-frame.
The frame is stuck. This F frame is reconstructed by warping motion compensation using (1/2) v0 obtained by interpolating the motion vector v0 for the P frame. Further, two F frames are sandwiched between the P frame and the next P frame, and the motion vector v1 for the next P frame is used.
/ 3) v1 and (2/3) v1 reconstructed by warping motion compensation. This is the invention of claims 2 and 5.
【００２２】一般に、動画像の動きは連続しており、こ
うした処理でも自然な画像を再構成できる。特にワーピ
ング動き補償は従来のブロック動き補償と違って、動き
補償結果に不連続点を発生させない。そのために、こう
した時間方向の動き内挿を行っても、不自然感を発生さ
せない。請求項２および５の発明ではＰフレーム用の動
きベクトルの復号を待って、Ｆフレームの復号が開始さ
れるので、復号遅延が生じてしまう。この問題を抑制す
るのが請求項３および６の発明である。ここでは、動き
ベクトルの内挿法だけではなく、外挿法も導入してい
る。図５は復号時内挿法および外挿法で処理するＩフレ
ームおよびＰフレームと再構成されたＦフレームとの関
係を説明するための説明図である。図５に示す例では、
第１のＰフレームと次のＰフレームの間には２枚のＦフ
レームがはさまっているが、最初のＦフレームの動きベ
クトルは請求項２および５の発明で用いた(1/3)v1では
なく、ひとつ前で用いた動きベクトルv0を用いた(2/3)v
0として、Ｉフレームからワーピング動き補償してい
る。これによって、復号遅延を抑制できるのである。こ
れが請求項３および６の発明である。Generally, the motion of a moving image is continuous, and a natural image can be reconstructed by such processing. In particular, the warping motion compensation does not generate discontinuities in the motion compensation result, unlike the conventional block motion compensation. Therefore, even if such time-direction motion interpolation is performed, no unnatural feeling is generated. According to the second and fifth aspects of the present invention, the decoding of the F frame is started after the decoding of the motion vector for the P frame is started, so that a decoding delay occurs. It is the invention of claims 3 and 6 that suppresses this problem. Here, an extrapolation method as well as a motion vector interpolation method is introduced. FIG. 5 is an explanatory diagram for explaining the relationship between the I frame and the P frame processed by the interpolation method and the extrapolation method at the time of decoding and the reconstructed F frame. In the example shown in FIG.
Two F frames are interposed between the first P frame and the next P frame. No, using the motion vector v0 used just before (2/3) v
As 0, warping motion compensation is performed from the I frame. Thereby, decoding delay can be suppressed. This is the invention of claims 3 and 6.
【００２３】[0023]
【実施例】次に、本発明の実施例について図面を参照し
て説明する。Next, embodiments of the present invention will be described with reference to the drawings.
【００２４】図１は本発明の動画符号化装置の一実施例
のブロック図である。FIG. 1 is a block diagram showing an embodiment of a moving picture coding apparatus according to the present invention.
【００２５】従来の動画符号化装置と異なるのは、解析
器１が、現在入力中のフレームと発生符号量とを監視し
ながら飛び越しフレーム数を決定し出力する機能を備
え、多重化手段２が、飛び越しフレーム数を符号化して
他の符号と多重化する機能を備え、さらに、飛び越しフ
レーム数に従って符号化するフレームを選出するタイミ
ングを生成するタイミング生成器３と、タイミング生成
器３の出力を受け連続して入力する複数のフレームから
符号化するフレームのみを取込むため遅延器４と組合せ
たスイッチ５とを追加した点である。その他、名称およ
び符号が従来の動画符号化装置と同一のものは、機能も
同一であるため説明を省略する。The difference from the conventional moving picture coding apparatus is that the analyzer 1 has a function of determining and outputting the number of skipped frames while monitoring the currently input frame and the generated code amount. And a function for encoding the number of interlaced frames and multiplexing with other codes, and further receives a timing generator 3 for generating a timing for selecting a frame to be encoded according to the number of interleaved frames, and an output of the timing generator 3. The point is that a switch 5 combined with a delay unit 4 is added to take in only a frame to be coded from a plurality of frames input continuously. In addition, those having the same names and codes as those of the conventional moving picture coding apparatus have the same functions, and thus description thereof will be omitted.
【００２６】次に動作について説明する。なお、説明が
冗長となることを防ぐため、主に従来の動画符号化装置
と異なる動作を行う部分について説明を行うこととす
る。Next, the operation will be described. In order to prevent the description from being redundant, a description will be given mainly of a portion that performs an operation different from that of the conventional moving picture coding apparatus.
【００２７】一般に、データ圧縮を行う場合、動きが単
調で少なければ飛び越しフレーム数は大きくしてよく、
動きが激しかったり、シーンチェンジが起こったりすれ
ば、飛び越しフレーム数を小さくする必要がある。この
ため、解析器１が、現在入力中のフレームとバッファ２
０の出力する符号列とを監視し、これら２つの信号の量
的変化を、変化量は以前より増加傾向か減少傾向か、変
化する速度が基準より早いか遅いか等を解析すること
で、複数のフレーム中で量子化すべきフレームを定める
ための飛び越しフレーム数を定め、多重化手段２とタイ
ミング生成器３とに通知する。タイミング生成器３は、
現在入力中のフレームに対し飛び越しするか否かを判別
しながら、指定されたフレーム数分飛び越したフレーム
をスイッチ５を操作して取込む。以後取込んだフレーム
を従来の動画符号化装置と同様に動作し、該当するフレ
ームごとにワーピング動き補償演算を行い、現在入力中
のフレームとの差分である予測誤差信号を予測誤差符号
として符号化すると共に、多重化手段２で飛び越したフ
レーム数を符号化し、動きベクトルの符号化信号および
該当するフレームの予測誤差符号とフレーム数の符号化
信号とを多重化し符号列として出力する。In general, when performing data compression, if the motion is monotonous and small, the number of skipped frames may be increased.
If the movement is severe or a scene change occurs, it is necessary to reduce the number of skipped frames. Therefore, the analyzer 1 transmits the currently input frame and the buffer 2
A code string output as 0 is monitored, and the quantitative change of these two signals is determined based on whether the change amount is increasing or decreasing more than before.
By analyzing whether the multiplexing speed is faster or slower than the reference, the number of interlaced frames for determining a frame to be quantized among a plurality of frames is determined, and is notified to the multiplexing means 2 and the timing generator 3. The timing generator 3
The switch 5 is fetched by operating the switch 5 while determining whether or not to skip the currently input frame while determining whether to skip the frame. Thereafter, the captured frame operates in the same manner as the conventional video encoding device, performs a warping motion compensation operation for each corresponding frame, and encodes a prediction error signal, which is a difference from the currently input frame, as a prediction error code. At the same time, the number of skipped frames is encoded by the multiplexing means 2, and the encoded signal of the motion vector, the prediction error code of the corresponding frame, and the encoded signal of the number of frames are multiplexed and output as a code sequence.
【００２８】図２は本発明の動画復号装置の一実施例の
ブロック図である。図２分図（ａ）は本発明の動画復号
装置の第１の実施例のブロック図で、図２分図（ｂ）は
本発明の動画復号装置の第２の実施例のブロック図であ
る。FIG. 2 is a block diagram of an embodiment of the moving picture decoding apparatus according to the present invention. FIG. 2A is a block diagram of a first embodiment of the moving picture decoding apparatus of the present invention, and FIG. 2B is a block diagram of a second embodiment of the moving picture decoding apparatus of the present invention. .
【００２９】本発明の動画復号装置の第１の実施例が従
来の動画復号装置と異なるのは、逆多重化手段２２が出
力に含まれる飛び越しフレーム数の符号化信号を復号す
る機能を備え、さらに、復号された飛び越しフレーム数
とワーピング動き補償手段からワーピング動き補償実行
時のフレームごとの終了信号とを受け、処理中のフレー
ムと直前に処理したフレームとの距離を計数するフレー
ムカウンタ２３と、動きベクトル復号手段３４の復号し
た動きベクトルを記憶するメモリ２４と、メモリ２４か
ら動きベクトルを受けフレームカウンタ２３からフレー
ム間距離および飛び越しフレーム数を受け処理中のフレ
ームの動きベクトルを内挿計算で求めワーピング動き補
償手段３５に供給する動きベクトル内挿手段２５と、送
信時に符号化され受信時に復号すべきフレームの出力時
にのみ接続し加算器３６に予測誤差信号を加える第１の
スイッチ２６と、第１のスイッチ２６の接続時にのみ接
続し加算器３６の出力をフレームメモリ３７に格納する
第２のスイッチ２７とを追加した点である。その他、名
称および符号が従来の動画復号装置と同一のものは、機
能も同一であるため説明を省略する。The first embodiment of the moving picture decoding apparatus of the present invention is different from the conventional moving picture decoding apparatus in that the demultiplexing means 22 has a function of decoding an encoded signal of the number of interlaced frames included in the output. Further, a frame counter 23 that receives the decoded number of skipped frames and an end signal for each frame at the time of executing the warping motion compensation from the warping motion compensation unit, and counts the distance between the frame being processed and the immediately preceding frame, A memory 24 for storing the motion vector decoded by the motion vector decoding means 34, a motion vector from the memory 24, an inter-frame distance and the number of skipped frames from the frame counter 23, and a motion vector of the frame being processed are obtained by interpolation. A motion vector interpolation means 25 for supplying to a warping motion compensation means 35; A first switch 26 which is connected only when outputting a frame to be decoded and adds a prediction error signal to the adder 36, and which is connected only when the first switch 26 is connected and stores the output of the adder 36 in a frame memory 37 That is, a second switch 27 is added. The other components having the same names and codes as those of the conventional video decoding device have the same functions, and thus the description is omitted.
【００３０】次に動作について説明する。なお、説明が
冗長となることを防ぐため、主に従来の動画復号装置と
異なる動作を行う部分について説明を行うこととする。Next, the operation will be described. In order to prevent the description from becoming redundant, a description will be given mainly of a portion that performs an operation different from that of the conventional moving picture decoding apparatus.
【００３１】受信した符号列から動きベクトルを動きベ
クトル復号手段３４で復号した後、この動きベクトルを
数フレームにわたって使うためにメモリ２４に格納し、
動きベクトル内挿手段２５が、フレームカウンタ２３か
らフレーム間距離および飛び越しフレーム数を受け、こ
の飛び越しフレーム数に従って、メモリ２４の動きベク
トルを復号した隣接するフレーム間の距離に応じて内挿
する。ワーピング動き補償手段３５は、この内挿した動
きベクトルでワーピング動き補償のみを行い、加算器３
６がワーピング動き補償の結果と差分とを、フレームカ
ウンタ２３の制御の下で第１のスイッチ２６を介して加
算し、送信側での実際のフレームのそれぞれの間に存在
し、受信した符号列には存在しなかった複数フレームを
含む動画像データを復号し出力する。このとき、フレー
ムメモリ３７は、加算器３６の出力を次のフレームのワ
ーピング動き補償に用いるために格納する。After the motion vector is decoded from the received code string by the motion vector decoding means 34, the motion vector is stored in the memory 24 for use over several frames.
The motion vector interpolation means 25 receives the inter-frame distance and the number of skipped frames from the frame counter 23, and interpolates the motion vector in the memory 24 according to the distance between the decoded adjacent frames according to the number of skipped frames. The warping motion compensating means 35 performs only warping motion compensation using the interpolated motion vector, and
6 adds the result of the warping motion compensation and the difference via the first switch 26 under the control of the frame counter 23, and exists between each of the actual frames on the transmitting side, And decodes and outputs moving image data including a plurality of frames that did not exist. At this time, the frame memory 37 stores the output of the adder 36 for use in warping motion compensation of the next frame.
【００３２】本発明の動画復号装置の第２の実施例が第
１の実施例と構成は全く同一で、唯一異なる点は、第１
の実施例では、動きベクトル内挿手段２５を用いていた
個所に、メモリ２４から動きベクトルを受けフレームカ
ウンタ２３からフレーム間距離および飛び越しフレーム
数を受け、処理中のフレームの動きベクトルを外挿およ
び内挿計算で求め、ワーピング動き補償手段３５に供給
する動きベクトル内挿／外挿手段２８に置換した点であ
る。The second embodiment of the moving picture decoding apparatus according to the present invention has exactly the same configuration as that of the first embodiment, except for the first embodiment.
In the embodiment, the motion vector interpolation means 25 is used at the place where the motion vector is received from the memory 24, the inter-frame distance and the number of skipped frames are received from the frame counter 23, and the motion vector of the frame being processed is extrapolated and The point is that the motion vector interpolation / extrapolation means 28 obtained by the interpolation calculation and supplied to the warping motion compensation means 35 has been replaced.
【００３３】次に動作について説明する。Next, the operation will be described.
【００３４】受信した符号列から動きベクトルを動きベ
クトル復号手段３４で復号した後、この動きベクトルを
数フレームにわたって使うためにメモリ２４に格納し、
動きベクトル内挿／外挿手段２８が、フレームカウンタ
２３からフレーム間距離および飛び越しフレーム数を受
け、この飛び越しフレーム数に従って、メモリ２４の動
きベクトルを復号した隣接するフレーム間の距離に応じ
て内挿および外挿する。ワーピング動き補償手段３５
は、この内挿および外挿した動きベクトルでワーピング
動き補償のみを行い、加算器３６がワーピング動き補償
の結果と差分とを、フレームカウンタ２３の制御の下で
第１のスイッチ２６を介して加算し、送信側での実際の
フレームのそれぞれの間に存在し、受信した符号列には
存在しなかった複数フレームを含む動画像データを復号
し出力する。このとき、フレームメモリ３７は、加算器
３６の出力を次のフレームのワーピング動き補償に用い
るために格納する。After the motion vector is decoded from the received code string by the motion vector decoding means 34, the motion vector is stored in the memory 24 for use over several frames.
The motion vector interpolation / extrapolation means 28 receives the inter-frame distance and the number of skipped frames from the frame counter 23, and interpolates according to the distance between adjacent frames obtained by decoding the motion vector in the memory 24 according to the number of skipped frames. And extrapolate. Warping motion compensation means 35
Performs only warping motion compensation with the interpolated and extrapolated motion vectors, and an adder 36 adds the result of the warping motion compensation and the difference via the first switch 26 under the control of the frame counter 23. Then, it decodes and outputs moving image data including a plurality of frames that exist between the actual frames on the transmission side and do not exist in the received code string. At this time, the frame memory 37 stores the output of the adder 36 for use in warping motion compensation of the next frame.
【００３５】[0035]
【発明の効果】以上説明したように、本発明は、動画符
号化装置側では入力中のフレームと出力する符号列とを
解析することで飛び越しフレーム数を定め、現在入力中
のフレームの該当するフレームごとにワーピング動き補
償演算を行い、現在入力中のフレームとの差分である予
測誤差信号を予測誤差符号として符号化すると共に飛び
越したフレーム数を符号化し、動きベクトルの符号化信
号および該当するフレームの予測誤差符号とフレーム数
の符号化信号とを多重化し符号列として出力し、動画復
号装置側では受信した符号列を復号し抽出したフレーム
と飛び越したフレーム数とに従って、復号した動きベク
トルの隣接するフレーム間の距離に応じて内挿および外
挿し、この内挿および外挿した動きベクトルでワーピン
グ動き補償のみを行い、受信した符号列に存在しない飛
び越した複数のフレームを再構成することにより、符号
量を大幅に低減しても画質の劣化を防止し、より効率的
な符号化および復号を行うことが可能になるという効果
が有る。As described above, according to the present invention, the moving picture coding apparatus determines the number of interlaced frames by analyzing the input frame and the output code string, and determines the number of interlaced frames corresponding to the currently input frame. A warping motion compensation operation is performed for each frame, and a prediction error signal, which is a difference from the currently input frame, is encoded as a prediction error code, and the number of skipped frames is encoded. Multiplexes the prediction error code and the coded signal of the number of frames and outputs the coded signal as a code string, and the moving picture decoding apparatus decodes the received code string and extracts the adjacent frame of the decoded motion vector according to the number of skipped frames. Interpolation and extrapolation according to the distance between frames to be interpolated, and only the warping motion compensation is performed using the interpolated and extrapolated motion vectors. By reconstructing multiple skipped frames that do not exist in the received code sequence, it is possible to prevent image quality degradation even if the code amount is significantly reduced, and to perform more efficient encoding and decoding. Has the effect of becoming
【図１】本発明の動画符号化装置の一実施例のブロック
図である。FIG. 1 is a block diagram of an embodiment of a moving image encoding apparatus according to the present invention.
【図２】本発明の動画復号装置の一実施例のブロック図
である。FIG. 2 is a block diagram of a moving image decoding apparatus according to an embodiment of the present invention.
【図３】ＩフレームおよびＰフレームとその他の符号化
されないフレームとの関係を説明するための説明図であ
る。FIG. 3 is an explanatory diagram for explaining a relationship between an I frame and a P frame and other uncoded frames.
【図４】復号時内挿法で処理するＩフレームおよびＰフ
レームと再構成されたＦフレームとの関係を説明するた
めの説明図である。FIG. 4 is an explanatory diagram for explaining a relationship between an I frame and a P frame processed by interpolation at decoding and a reconstructed F frame;
【図５】復号時内挿法および外挿法で処理するＩフレー
ムおよびＰフレームと再構成されたＦフレームとの関係
を説明するための説明図である。FIG. 5 is an explanatory diagram for explaining a relationship between an I frame and a P frame processed by an interpolation method and an extrapolation method at the time of decoding and a reconstructed F frame.
【図６】ワーピング動き補償で動きベクトルがどういう
ふうに用いられるかを説明する説明図である。FIG. 6 is an explanatory diagram illustrating how a motion vector is used in warping motion compensation.
【図７】従来の動画像符号化装置のブロック図である。FIG. 7 is a block diagram of a conventional video encoding device.
【図８】従来の動画像復号装置のブロック図である。FIG. 8 is a block diagram of a conventional video decoding device.
１，２１ 解析器 ２，１９ 多重化手段 ３ タイミング生成器 ４ 遅延器 ５ スイッチ １１ 第１のフレームメモリ １２ 動きベクトル推定手段 １３，３５ ワーピング動き補償手段 １４ 差分器 １５ 予測誤差符号化手段 １６，３６ 加算器 １７ 第２のフレームメモリ １８ 動きベクトル符号化手段 ２０，３１ バッファ ２２，３２ 逆多重化手段 ２３ フレームカウンタ ２４ メモリ ２５ 動きベクトル内挿手段 ２６ 第１のスイッチ ２７ 第２のスイッチ ２８ 動きベクトル内挿／外挿手段 ３３ 予測誤差復号手段 ３４ 動きベクトル復号手段 ３７ フレームメモリ 1, 21 analyzer 2, 19 multiplexing means 3 timing generator 4 delay unit 5 switch 11 first frame memory 12 motion vector estimating means 13, 35 warping motion compensating means 14 differentiator 15 prediction error encoding means 16, 36 Adder 17 Second frame memory 18 Motion vector encoding means 20, 31 Buffer 22, 32 Demultiplexing means 23 Frame counter 24 Memory 25 Motion vector interpolation means 26 First switch 27 Second switch 28 In motion vector Interpolation / extrapolation means 33 prediction error decoding means 34 motion vector decoding means 37 frame memory
Claims (4)
ベクトルの符号化信号と予測誤差符号と量子化特性とを
含む複数の要素に分離し、前記動きベクトルの符号化信
号から動きベクトルを復号し、この動きベクトルとフレ
ームメモリに記憶されている過去のフレームとを用いて
ワーピング動き補償を行い、前記予測誤差符号と前記量
子化特性とから差分を復号し、前記ワーピング動き補償
の結果と前記差分とを加算し複数のフレームからなる動
画像データを復号する動画復号方法において、 前記受信
した符号列を復号したデータの定めるフレーム数分飛び
越しながら抽出した複数のフレームとこの飛び越したフ
レーム数に従って、前記動きベクトルを復号した隣接す
るフレーム間の距離に応じて内挿し、 この内挿した動きベクトルでワーピング動き補償のみを
行って前記複数のフレームのそれぞれの間に存在し前記
受信した符号列に存在しない複数のフレームを再構成す
ることを特徴とする動画復号方法。 1. A received code sequence is moved by a demultiplexing means.
Vector encoded signal, prediction error code and quantization characteristics
Including a plurality of encoded signals of the motion vector.
Decoding the motion vector from the
Using the past frames stored in the
Perform warping motion compensation and calculate the prediction error code and the quantity
And decoding the difference from the
And the difference is added to the result of
In the moving picture decoding method for decoding image data, the receiving
Skips the number of frames determined by the data obtained by decoding the decoded code string.
Multiple frames extracted while passing
According to the number of frames, the neighboring
Interpolated according to the distance between frames, and only warping motion compensation is performed using the interpolated motion vector.
Performing the present between each of the plurality of frames
Reconstruct multiple frames not present in the received code string
A moving image decoding method.
ベクトルの符号化信号と予測誤差符号と量子化特性と飛
び越しフレーム数とを含む複数の要素に分離し、前記動
きベクトルの符号化信号から動きベクトルを復号し、こ
の動きベクトルとフレームメモリに記憶されている過去
のフレームとを用いてワーピング動き補償を行い、前記
予測誤差符号と前記量子化特性とから差分を復号し、前
記ワーピング動き補償の結果と前記差分とを加算し、複
数のフレームからなる動画像データを前記飛び越しフレ
ーム数に従って飛び越しながら復号する動画復号方法に
おいて、 飛び越されて復号されなかったフレームを補
完する方法であって、 過去に復号した最寄りのフレームと補完しようとするフ
レームとのフレーム間距離に従って、このフレーム間距
離が前記飛び越しフレーム数より小さい場合は前記動き
ベクトルを内挿し、前記飛び越しフレーム数より大きい
場合は前記動きベクトルを外挿し、 この内挿および外挿した動きベクトルでワーピング動き
補償のみを行って前記複数のフレームのそれぞれの間に
存在し前記受信した符号列に存在しない複数の フレーム
を再構成することを特徴とする動画復号方法。 2. The method according to claim 1, wherein the received code string is moved by a demultiplexing means.
Vector coded signal, prediction error code, quantization
Into a plurality of elements, including the
The motion vector is decoded from the encoded signal of the
Motion vector and the past stored in the frame memory
And warping motion compensation using the frame of
Decoding the difference from the prediction error code and the quantization characteristic,
The result of the warping motion compensation and the difference are added, and
Moving image data consisting of a number of frames
Video decoding method that decodes while jumping according to the number of frames
To compensate for frames that were skipped and not decoded.
Complete with the nearest frame decoded in the past
This frame-to-frame distance
If the separation is smaller than the number of skipped frames,
Interpolate the vector and make it larger than the number of skipped frames
In this case, the motion vector is extrapolated, and the warping motion is performed using the extrapolated and extrapolated motion vectors.
Performing only compensation between each of the plurality of frames.
A plurality of frames that are present and do not exist in the received code sequence
Moving image decoding method, wherein
と、このバッファを介して受信した符号列を動きベクト
ルの符号化信号と予測誤差信号符号と量子化特性とを含
む複数の要素に分離する逆多重化手段と、この逆多重化
手段の出力する予測誤差符号と量子化特性とから予測誤
差信号を復号する予測誤差復号手段と、動きベクトルの
符号化信号から動きベクトルを復号する動きベクトル復
号手段と、復号した動きベクトルを用いてワーピング動
き補償を行うワーピング動き補償手段と、前記予測誤差
信号と前記ワーピング動き補償の結果とを加算する加算
器と、この加算器の出力を次のフレームのワーピング動
き補償に用いるために格納するフレームメモリとを備え
る動画復号装置において、 前記逆多重化手段が出力に含まれる飛び越しフレーム数
の符号化信号を復号する機能を備え、 復号された前記飛び越しフレーム数と前記ワーピング動
き補償手段からワーピング動き補償実行時のフレームご
との終了信号とを受け処理中のフレームと直前に処理し
たフレームとの距離を計数するフレームカウンタと、 前記動きベクトル復号手段の復号した動きベクトルを記
憶するメモリと、 このメモリから動きベクトルを受け前記フレームカウン
タからフレーム間距離および飛び越しフレーム数を受け
処理中のフレームの動きベクトルを内挿計算で求め前記
ワーピング動き補償手段に供給する動きベクトル内挿手
段と、 送信時に符号化され受信時に復号すべきフレームの出力
時にのみ接続し前記加算器に予測誤差信号を加える第１
のスイッチと、 前記第１のスイッチの接続時にのみ接続し前記加算器の
出力を前記フレームメモリに格納する第２のスイッチと
を有することを特徴とする動画復号装置。 3. A buffer for temporarily storing received code strings.
And the motion vector of the code string received through this buffer
Including the coded signal, prediction error signal code and quantization
Demultiplexing means for demultiplexing into multiple elements, and the demultiplexing means
Prediction error from the prediction error code output from the means and the quantization characteristic.
Prediction error decoding means for decoding the difference signal;
A motion vector decoder that decodes a motion vector from an encoded signal
Signal and warping motion using the decoded motion vector.
Motion compensating means for performing compensation, and the prediction error
Addition for adding a signal and the result of the warping motion compensation
And the output of this adder to the warping operation of the next frame.
And a frame memory for storing for compensation.
In the moving picture decoding apparatus, the number of interlaced frames included in the output by the demultiplexer is
A function of decoding the coded signal, the the number of the interlaced frame is decoded warped dynamic
Frame from the compensation means
And the end signal of
A frame counter for counting the distance to the decoded frame, and a motion vector decoded by the motion vector decoding means.
And a frame counter for receiving a motion vector from the memory.
The distance between frames and the number of skipped frames from the
The motion vector of the frame being processed is obtained by interpolation calculation.
Motion vector interpolator supplied to warping motion compensator
Stage and the output of the frame to be encoded on transmission and decoded on reception
Connected only at the time of adding the prediction error signal to the adder.
And the switch of the adder connected only when the first switch is connected.
A second switch for storing an output in the frame memory;
A moving picture decoding apparatus comprising:
から動きベクトルを受け前記フレームカウンタからフレ
ーム間距離および飛び越しフレーム数を受け、過去に復
号した最寄りのフレームと補完しよ うとするフレームと
のフレーム間距離に従って、このフレーム間距離が前記
飛び越しフレーム数より小さい場合は前記動きベクトル
を内挿し、前記飛び越しフレーム数より大きい場合は前
記動きベクトルを外挿するよう前記動きベクトルを内挿
および外挿計算で求め、前記ワーピング動き補償手段に
供給する動きベクトル内挿／外挿手段で置換したことを
特徴とする請求項３記載の動画復号装置。 4. The memory according to claim 1 , wherein
From the frame counter.
In the past in response to the distance between frames and the number of skipped frames.
And the frame you are trying to complement
According to the inter-frame distance, the inter-frame distance is
If less than the number of skipped frames, the motion vector
And if it is larger than the number of skipped frames,
Interpolation of the motion vector to extrapolate the motion vector
And extrapolation calculation, the warping motion compensation means
Replacement by the supplied motion vector interpolation / extrapolation means
The moving picture decoding device according to claim 3, wherein
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24370794A JP2947089B2 (en) | 1994-10-07 | 1994-10-07 | Moving picture decoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24370794A JP2947089B2 (en) | 1994-10-07 | 1994-10-07 | Moving picture decoding method and apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4757599A Division JP3289695B2 (en) | 1999-02-25 | 1999-02-25 | Video encoding method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08107558A JPH08107558A (en) | 1996-04-23 |
| JP2947089B2 true JP2947089B2 (en) | 1999-09-13 |
Family
ID=17107794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24370794A Expired - Lifetime JP2947089B2 (en) | 1994-10-07 | 1994-10-07 | Moving picture decoding method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2947089B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1765020A4 (en) * | 2004-06-14 | 2010-10-06 | Jbf Partners Inc | Moving picture encoding method and moving picture decoding method |
| WO2009128208A1 (en) * | 2008-04-16 | 2009-10-22 | 株式会社日立製作所 | Dynamic image encoder, dynamic image decoder, dynamic image encoding method, and dynamic image decoding method |
-
1994
- 1994-10-07 JP JP24370794A patent/JP2947089B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08107558A (en) | 1996-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100964526B1 (en) | Multimedia coding techniques for transitional effects | |
| KR100592651B1 (en) | Transcoding | |
| JP4198206B2 (en) | Video information compression method and apparatus using motion dependent prediction | |
| US20060114995A1 (en) | Method and system for high speed video encoding using parallel encoders | |
| KR20060088461A (en) | Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal | |
| JP4875007B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture decoding apparatus | |
| JP2001028756A (en) | Method and device for executing selection between intra- frame coding mode and inter-frame coding mode in context base | |
| JP2006279917A (en) | Dynamic image encoding device, dynamic image decoding device and dynamic image transmitting system | |
| JPH10178645A (en) | Moving image encoding method and device, moving image signal transmitting method and signal recording medium | |
| JP2000023164A (en) | Digital video processing system | |
| JP2947089B2 (en) | Moving picture decoding method and apparatus | |
| JP3823370B2 (en) | Video encoding method, decoding method and apparatus | |
| KR20060069227A (en) | Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal | |
| JP3289695B2 (en) | Video encoding method and apparatus | |
| KR100203281B1 (en) | Moving picture decorder based on forced one-direction motion compensation | |
| JP2000036963A (en) | Image coder, image coding method and image decoder | |
| JP5472094B2 (en) | Moving image conversion apparatus, moving image distribution system, moving image conversion method, and program | |
| JP2614212B2 (en) | Image signal encoding method and apparatus | |
| KR20060059773A (en) | Method and apparatus for encoding/decoding video signal using vectors of pictures in a base layer | |
| JP3164056B2 (en) | Moving image encoding / decoding device, moving image encoding / decoding method, and moving image code recording medium | |
| JP4909592B2 (en) | Moving picture reproduction method, apparatus, and program | |
| JP2001359103A (en) | Moving picture data coder, moving picture data transmission method and moving picture data decoder | |
| JP4164903B2 (en) | Video code string conversion apparatus and method | |
| JP3859118B2 (en) | Variable image rate encoding apparatus, variable image rate decoding apparatus, variable image rate encoding method, and variable image rate decoding method | |
| JP3186406B2 (en) | Image synthesis coding method and image synthesis apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 19990119 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990601 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070702 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 11 |