JP2901105B2 - Motion compensated inter-frame subband coding - Google Patents
Motion compensated inter-frame subband codingInfo
- Publication number
- JP2901105B2 JP2901105B2 JP4001451A JP145192A JP2901105B2 JP 2901105 B2 JP2901105 B2 JP 2901105B2 JP 4001451 A JP4001451 A JP 4001451A JP 145192 A JP145192 A JP 145192A JP 2901105 B2 JP2901105 B2 JP 2901105B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- filter
- frame
- inter
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、動き補償フレーム間予
測とサブバンド分割を用いた動画像の高能率符号化方式
に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-efficiency moving picture coding method using motion compensated inter-frame prediction and subband division.
【０００２】[0002]
【従来の技術】動き補償フレーム間予測は、動画像符号
化において、高い符号化効率を保証することが知られて
いる。離散コサイン変換（Discrete Cosine Transfor
m，以下ＤＣＴという）などの直交変換と組み合わせた
ハイブリッド符号化は、代表的な例であり、ＣＣＩＴＴ
Ｈ.２６１、ＣＣＩＲ Ｒｅｃ.７２３などの国際標準符
号化方式として採用されている。ＤＣＴは空間冗長度の
圧縮に優れた特性を示すが、低ビットレート時にブロッ
ク歪みを与えるという問題点がある。2. Description of the Related Art It is known that motion-compensated inter-frame prediction guarantees high coding efficiency in video coding. Discrete Cosine Transfor
m, hereinafter referred to as DCT) is a typical example, and CCITT is a typical example.
H.261, CCIR Rec.723, etc. are adopted as international standard encoding systems. Although DCT has excellent characteristics for compressing spatial redundancy, it has a problem that block distortion occurs at a low bit rate.
【０００３】近年、ブロック歪みを与えない空間冗長度
除去方式として、ウェーブレットやＱＭＦ（Ｑuadratur
e Ｍirror Ｆilter）に代表されるような多段フイルタ
バンクによるサブバンド符号化が検討されている。Recently, wavelet and QMF (Quadratur) have been used as spatial redundancy elimination methods that do not give block distortion.
Sub-band coding using a multi-stage filter bank as represented by e-mirror filters) has been studied.
【０００４】動き補償フレーム間予測と多段フィルタバ
ンクを組み合わせたハイブリッド符号化の構成方法に
は、「差分後帯域分割を行うタイプ」と「帯域分割後差
分を求めるタイプ」の２つの形式が考えられる。[0004] There are two types of configuration methods of hybrid coding combining motion compensated inter-frame prediction and multi-stage filter banks, a "type for performing band division after difference" and a "type for obtaining difference after band division". .
【０００５】前者は従来の動き補償を用いたハイブリッ
ド符号化方式において、ＤＣＴを多段フィルタバンクに
置き換えた構成である。動きベクトルの検出は、入力画
像と既に符号化された前フレーム画像を用いて実行され
る。入力画像に対して動き補償フレーム間予測が行わ
れ、差分画像がサブバンド分割される。このタイプでは
通常、ブロックマッチング法を用いてブロック単位で動
きベクトル検出・予測が行われる。そのため、隣接した
ブロック間で動ベクトルが変化する場合、その予測信号
及び予測誤差信号には、ブロック境界部においてレベル
の急峻な変換が見られることが多い。この変化はＤＣＴ
などのブロック内で閉じた変換では問題とはならない
が、ブロックに閉じないフィルタを用いるサブバンド符
号化では、符号化効率の低下につながっていた。[0005] The former has a configuration in which DCT is replaced by a multistage filter bank in a conventional hybrid coding system using motion compensation. The motion vector detection is performed using the input image and the previously encoded previous frame image. Motion-compensated inter-frame prediction is performed on the input image, and the difference image is sub-band divided. In this type, motion vector detection / prediction is usually performed in block units using a block matching method. Therefore, when a motion vector changes between adjacent blocks, the prediction signal and the prediction error signal often show a sharp level conversion at the block boundary. This change is DCT
However, sub-band coding using a filter that is not closed in a block does not cause a problem, but the coding efficiency is reduced.
【０００６】この点を考慮して従来から、後者のタイプ
が用いられている（H.Gharavi: “Subband Coding Algo
rithm for Video Applications: Videophone to HDTV C
onferencing", IEEE Trans., CAS for Video Technolog
y, Vol.1, No.2, pp.174-182, June 1991）。In consideration of this point, the latter type is conventionally used (H. Gharavi: “Subband Coding Algo
rithm for Video Applications: Videophone to HDTV C
onferencing ", IEEE Trans., CAS for Video Technolog
y, Vol.1, No.2, pp.174-182, June 1991).
【０００７】この後者のタイプは、入力信号を帯域分割
し、各サブバンド毎に動き補償フレーム間予測を行うハ
イブリッド構成をとっている。入力画像は、直接サブバ
ンド分割され、周波数領域データに変換される。動きベ
クトル検出は、既に符号化された周波数領域データと入
力画像のサブバンド出力とを比較することにより実行さ
れる。動きベクトル検出は、各サブバンド毎に独立に処
理されるか、あるいは最も低域の画像に対してのみ動き
検出を行い、ここで得られた動きベクトルを他の帯域に
も適用する手法がとられる。この処理では、動きベクト
ル検出及び動き補償は、フィルタ出力後にサブサンプル
されたデータに対して実行される。従って、動きベクト
ル検出精度及びフレーム間予測精度は、原画像領域での
処理に比べて低下する。例えば、３ステージの２次元フ
ル分割フィルタバンクを用いる場合、分割後の画像での
１画素精度の動き検出は、元の画像領域では８画素精度
に相当する。従って、等価的に粗い動き補償精度しか得
られず、フレーム間予測効率の低下を招いていた。The latter type has a hybrid configuration in which an input signal is divided into bands and motion compensation inter-frame prediction is performed for each subband. The input image is directly sub-band divided and converted into frequency domain data. Motion vector detection is performed by comparing the already encoded frequency domain data with the subband output of the input image. The motion vector detection is performed independently for each sub-band, or the motion is detected only for the lowest band image, and the obtained motion vector is applied to other bands. Can be In this process, motion vector detection and motion compensation are performed on data that has been subsampled after filter output. Therefore, the motion vector detection accuracy and the inter-frame prediction accuracy are lower than the processing in the original image area. For example, when a three-stage two-dimensional full division filter bank is used, motion detection with one pixel accuracy in an image after division corresponds to eight pixel accuracy in the original image area. Therefore, only coarse motion compensation accuracy can be equivalently obtained, which causes a decrease in inter-frame prediction efficiency.
【０００８】[0008]
【発明が解決しようとする課題】前記従来の動き補償フ
レーム間予測サブバンド符号化では、以下の問題点があ
った。The conventional motion compensated inter-frame prediction sub-band coding has the following problems.
【０００９】１．動き補償フレーム間差分後にサブバン
ド分割を行うハイブリッド構成の場合、従来型の動き補
償はブロック毎に処理される。そのため、隣接したブロ
ック間で動きベクトルが変化するとき、その予測信号及
び予測誤差信号には、ブロック境界部においてレベルの
急峻な変化が見られることが多い。通常、サブバンドフ
ィルタの次数とサブサンプリング比は、動き補償ブロッ
クサイズに一致しない。従って、サブバンドフィルタリ
ングは、動き補償で生じた不連続信号を周波数領域デー
タに変換することになり、高周波成分の増加を招き、結
果的に符号化効率を低下させる。1. In the case of a hybrid configuration in which subband division is performed after the motion compensation inter-frame difference, the conventional motion compensation is processed for each block. For this reason, when a motion vector changes between adjacent blocks, a steep change in level is often seen in a prediction signal and a prediction error signal at a block boundary portion. Normally, the order of the subband filter and the subsampling ratio do not match the motion compensation block size. Therefore, subband filtering converts a discontinuous signal generated by motion compensation into frequency domain data, causing an increase in high frequency components and consequently lowering coding efficiency.
【００１０】２．サブバンド分割後に動き補償フレーム
間差分をとるハイブリッド構成の場合、入力信号を帯域
分割し、各サブバンド毎に動き補償フレーム間予測を行
うハイブリッド構成をとっている。周波数領域データに
関して予測ループが形成されるから動き補償の不連続を
変換するという問題はない。しかし、動きベクトル検出
及び動き補償は、フィルタ出力後にサブサンプルされた
データに対して処理されるから、動きベクトル検出精度
及びフレーム間予測精度は、原画像領域での処理に比べ
て低下する。ｎ多段構成の２分割サブバンドフィルタリ
ングの場合、最終段では動き補償精度が１／２nに劣化
する。[0010] 2. In the case of a hybrid configuration in which the difference between motion compensation frames is obtained after subband division, a hybrid configuration in which an input signal is divided into bands and motion compensation interframe prediction is performed for each subband. Since a prediction loop is formed for the frequency domain data, there is no problem of converting the discontinuity of motion compensation. However, since the motion vector detection and the motion compensation are performed on the subsampled data after the output of the filter, the motion vector detection accuracy and the inter-frame prediction accuracy are lower than the processing in the original image area. In the case of n-stage sub-band filtering with a multi-stage configuration, the motion compensation accuracy deteriorates to 1/2 n in the final stage.
【００１１】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、動き補償フレーム
間予測と多段サブバンド分割フィルタが組み合わされた
ハイブリッド符号化方式において、動き補償ブロック境
界での不連続によるサブバンド符号化効率の劣化を除去
し、かつ、サブサンプルを行わない画像サイズに対して
検出される動きベクトルの精度を維持する動き補償サブ
バンドフィルタ出力を得ることが可能な技術を提供する
ことにある。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a motion compensation method in a hybrid coding system in which motion compensated inter-frame prediction and a multistage subband splitting filter are combined. It is possible to obtain a motion-compensated sub-band filter output that removes deterioration of sub-band coding efficiency due to discontinuity at a block boundary and maintains the accuracy of a motion vector detected for an image size without sub-sampling. It is to provide a possible technology.
【００１２】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面よって明らか
にする。The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
【００１３】[0013]
【課題を解決するための手段】前記目的を達成するため
に、本発明は、入力されたディジタル画像信号系列の時
間的冗長度を動き補償フレーム間予測を用いて抑圧し、
空間的冗長度をウェーブレット変換などの多段フィルタ
バンクにより抑圧する動画像の高能率符号化方式におい
て、入力画像をＫ×Ｋ画素のブロックに分割し、フレー
ムメモリに蓄えられた当該符号化画像と入力画像間で、
フレーム間予測の対象である２画面間の動き量をブロッ
ク毎に検出し、あるいは予め原画像間でブロック毎の動
き量を検出しておき、フレームメモリ中の当該符号化画
像に対してブロック毎に動き量に相当する位置だけずら
せた位置を開始点として第１段目の帯域分割フィルタリ
ングを行うことにより動き補償された位置を基にしたフ
ィルタ出力係数を求め、第２段目以降の帯域分割は、前
記得られた第１段目のフィルタ出力に対して動き量やブ
ロックに関係なく帯域分割を行い、最終的に得られたフ
ィルタ出力係数を周波数領域でのフレーム間予測フィル
タ係数とし、一方、入力画像はブロックや動き量に関係
なく通常の多段の帯域分割を行いフィルタ出力係数を得
て、この係数からフレーム間予測フィルタ係数を減算す
ることによりフレーム間差分係数を求め、得られたフレ
ーム間差分係数を量子化、符号化伝送することを最も主
要な特徴とする。In order to achieve the above object, the present invention suppresses the temporal redundancy of an input digital image signal sequence using motion compensated inter-frame prediction.
In a high-efficiency video coding method in which spatial redundancy is suppressed by a multi-stage filter bank such as a wavelet transform, an input image is divided into blocks of K × K pixels, and the coded image stored in a frame memory is input to the input image. Between images,
The motion amount between two screens, which is the target of inter-frame prediction, is detected for each block, or the motion amount for each block is detected in advance between the original images, and the motion amount for each block in the frame memory is detected. The first stage band division filtering is performed by using a position shifted by a position corresponding to the amount of motion as a start point, thereby obtaining a filter output coefficient based on the position compensated for motion, and the second and subsequent band divisions are performed. Performs band division on the obtained first-stage filter output irrespective of the amount of motion or the block, and sets the finally obtained filter output coefficients as inter-frame prediction filter coefficients in the frequency domain. The input image is subjected to ordinary multi-stage band division irrespective of the block and the amount of motion to obtain a filter output coefficient, and the inter-frame prediction filter coefficient is subtracted from this coefficient to obtain a frame. Seeking beam interframe difference coefficients, we quantize the difference coefficient between the obtained frames to the most important feature to transmit coded.
【００１４】[0014]
【作用】前述の手段によれば、多段サブバンド分割のう
ち、第１段の帯域分割時に動き補償予測を行いながらサ
ブバンド分割に必要なフィルタ処理を実行し、第２段目
以降では通常のフィルタリングによる分割を繰り返すこ
とにより、周波数領域のデータにおいてフレーム間予測
あるいはフレーム内符号化を行うので、画素精度の高い
動き補償フレーム間サブバンド符号化方式が実現でき
る。また、局所的なフレーム内符号化が可能となり、動
き補償におけるブロック化に伴う予測画像のブロック段
差が解消される。そのため符号化効率が改善されるとと
もに、視覚的に障害の大きいブロック上の符号化雑音が
解消される。According to the above-mentioned means, of the multi-stage sub-band division, the filter processing necessary for the sub-band division is executed while performing the motion compensation prediction at the first-stage band division, and the ordinary processing is performed in the second and subsequent stages. By repeating division by filtering, inter-frame prediction or intra-frame encoding is performed on data in the frequency domain, so that a motion-compensated inter-frame sub-band encoding method with high pixel accuracy can be realized. In addition, local intra-frame encoding becomes possible, and a block step of a predicted image due to blocking in motion compensation is eliminated. As a result, the coding efficiency is improved, and the coding noise on the visually obstructive block is eliminated.
【００１５】すなわち、ウェーブレットや多段構成のＱ
ＭＦフィルタの場合、マクロブロック単位に動き補償と
フィルタリングを行うためには、マクロブロック毎に動
きベクトル量だけシフトした位置をフィルタ操作開始点
の基準にすれば良い。つまり、通常の場合に比べてさら
に動きベクトル分だけオフセットが加わることになる。That is, Q of wavelet or multi-stage configuration
In the case of the MF filter, in order to perform motion compensation and filtering for each macroblock, a position shifted by a motion vector amount for each macroblock may be used as a reference of a filter operation start point. That is, an offset is added by the amount of the motion vector as compared with the normal case.
【００１６】この手法により得られる動き補償出力は、
周波数領域のデータであり、時間領域に戻すとあるマク
ロブロックのフィルタ出力から生成される画像は隣接す
るマクロブロックデータから生成される画像と重畳され
る。The motion compensation output obtained by this method is:
When the data is returned in the frequency domain and is returned to the time domain, an image generated from a filter output of a certain macroblock is superimposed on an image generated from adjacent macroblock data.
【００１７】例えば、低域周波数成分に関して２分割を
繰り返すウェーブレットではフィルタ次数と動きベクト
ル分のシフトをフィルタ操作開始点に施し、２画素毎に
出力データを集積すればよい。ここで、従来のサブバン
ド分割後の動き補償と大きく異なる点は、原画像から見
て定義されるマクロブロックサイズ毎に動きベクトルが
用いられることにある。従って、従来法と異なり、原画
像の動き検出精度の反映された動き補償フィルタリング
出力が得られる。また、第１段目の出力データは既に動
き補償されているため第２段目以後の分割には動きベク
トルを考慮する必要はなく、単純に再分割を繰り返せば
よい。For example, in a wavelet in which the division into two is repeated with respect to the low frequency component, the filter order and the motion vector may be shifted at the filter operation start point, and the output data may be integrated every two pixels. Here, a significant difference from the conventional motion compensation after subband division is that a motion vector is used for each macroblock size defined as viewed from the original image. Therefore, unlike the conventional method, a motion compensation filtering output reflecting the motion detection accuracy of the original image is obtained. In addition, since the output data of the first stage has already been motion-compensated, there is no need to consider a motion vector in the division of the second and subsequent stages, and simple re-division may be repeated.
【００１８】[0018]
【実施例】まず、本発明の原理を説明する。帯域分割処
理を繰り返す木構造に基づくフィルタバンクの代表的な
例は、図１に示す２分割を低域周波数側で繰り返す構造
を持つオクターブ分割フィルタである。図１において、
Ｈ1，Ｈ2，Ｈ3はローパスフィルタ、Ｇ1，Ｇ2，Ｇ3はハ
イパスフィルタ、↓2 は２：１でまびくことを示す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS First, the principle of the present invention will be described. A typical example of a filter bank based on a tree structure in which band division processing is repeated is an octave division filter having a structure in which two divisions shown in FIG. 1 are repeated on a low frequency side. In FIG.
H 1 , H 2 , and H 3 indicate low-pass filters, G 1 , G 2 , and G 3 indicate high-pass filters, and ↓ 2 indicates 2: 1.
【００１９】帯域分割フィルタとしてＱＭＦが代表的で
あるが、分析合成フィルタの直交性、再構成の完全性、
有限次数での実現性の点でＣＱＦ(Ｃonjugate Ｑuadrat
ureＦilter），ＳＳＫＦ（Ｓymmetric Ｓhort Ｋernel
Ｆilter）などいくつかのバリエーションがある。ま
た、ウェーブレットフィルタもこのクラスに含まれる。
多段のデシメーション（decimation）とインターポーレ
イション（interpolation）による木構造のフィルタバ
ンクを用いれば、一様な帯域分割だけでなく非一様な分
割も可能である。演算量の点からも一様フィルタバンク
の高速変換処理と同等のレベルのフィルタバンクを構成
し得る。A typical example of the band division filter is a QMF. However, the orthogonality of the analysis / synthesis filter, the completeness of the reconstruction,
In terms of feasibility in finite order, CQF (Conjugate Quadrat
ureFilter), SSKF (Symmetric Short Kernel)
There are several variations, such as Filter. Wavelet filters are also included in this class.
If a filter bank having a tree structure based on multi-stage decimation and interpolation is used, not only uniform band division but also non-uniform division is possible. From the viewpoint of the amount of calculation, a filter bank having the same level as the high-speed conversion processing of the uniform filter bank can be formed.
【００２０】従来の動き補償は、原画像上でＫ×Ｋ画素
のマクロブロック単位に処理される。これと同等の処理
精度を多段フィルタで構成される多段サブバンド符号化
の第１段に取り入れた結果得られる作用について説明す
る。In the conventional motion compensation, the original image is processed in units of macroblocks of K × K pixels. The operation obtained as a result of incorporating the same processing accuracy into the first stage of the multistage subband coding constituted by the multistage filters will be described.
【００２１】入力信号をｘ(ｉ)（ｉ＝０，１，…，
Ｔ），Ｎ次サブバンドフィルタの係数をｈ(ｉ)（ｉ＝
０，１，…，Ｎ−１）とする。ｊ番目のマクロブロック
に属する動きベクトルをｖ(ｊ)，入出力信号の時刻をｎ
（ｎ∈Ｍ（ｊ））とする。ただし、Ｍ(ｊ)はマクロブロ
ックｊに属する時刻インデクス群を表す。The input signal is represented by x (i) (i = 0, 1,...,
T), the coefficients of the Nth-order subband filter are represented by h (i) (i =
0, 1, ..., N-1). The motion vector belonging to the j-th macroblock is v (j), and the time of the input / output signal is n.
(N∈M (j)). Here, M (j) represents a time index group belonging to macroblock j.
【００２２】入力信号ｘ(ｎ)を動きベクトルに相当する
サンプル数ｖ(ｊ)だけシフトし、フィルタｈ(ｎ)と畳み
込むことにより、動き補償された出力信号ｙ(ｎ)が得ら
れる。これは次式（１）で表される。The input signal x (n) is shifted by the number of samples v (j) corresponding to the motion vector and convolved with the filter h (n) to obtain a motion-compensated output signal y (n). This is represented by the following equation (1).
【００２３】[0023]
【数１】 (Equation 1)
【００２４】式（１）をＺ変換すれば、If the equation (1) is Z-transformed,
【００２５】[0025]
【数２】 (Equation 2)
【００２６】が得られる。Ｈ(ｚ)がハーフバンドフィル
タのとき２：１にデシメーション（decimation）された
信号Ｄ(ｚ2)は、Is obtained. When H (z) is a half-band filter, the signal D (z 2 ) decimated 2: 1 is
【００２７】[0027]
【数３】 (Equation 3)
【００２８】となる。## EQU1 ##
【００２９】一方、従来の手法では、デシメーション
（decimation）が先に行われ、周波数領域で動き補償が
行われる。デシメーション（decimation）後に動き補償
されたデータＦ(ｚ2)は、動きベクトルをｗ(ｊ)とすれ
ば、On the other hand, in the conventional method, decimation is performed first, and motion compensation is performed in the frequency domain. The motion-compensated data F (z 2 ) after decimation is given by a motion vector w (j).
【００３０】[0030]
【数４】 (Equation 4)
【００３１】となる。式（３）と（４）が一致する条件
は、## EQU1 ## The conditions under which equations (3) and (4) match are:
【００３２】[0032]
【数５】ｖ(ｊ)＝２ｗ(ｊ) ……（５） である。ｗ(ｊ)が１画素精度の動きベクトルであると
き、ｖ(ｊ)は２画素精度となる。従って、従来手法で
は、第１段のデシメーション（decimation）後の動き補
償精度は元の信号領域の１／２しかなく効率が低いこと
がわかる。逆に、本発明の方式（式（１））を用いれ
ば、従来法より精度の高い動き補償を実現できることが
わかる。V (j) = 2w (j) (5) When w (j) is a motion vector with one-pixel accuracy, v (j) has two-pixel accuracy. Therefore, in the conventional method, the motion compensation accuracy after the first-stage decimation is only half that of the original signal area, and the efficiency is low. Conversely, it can be seen that the use of the method (Equation (1)) of the present invention can achieve more accurate motion compensation than the conventional method.
【００３３】帯域分割フィルタの初段フィルタ出力は、
動き補償されたデータであるから、第２段目以降では通
常の２分割フィルタリングを低域周波数成分に対して繰
り返せば良い。動き補償フィルタバンクの構成を図２に
示す。図２において、Ｈ1，Ｈ2，Ｈ3はローパスフィル
タ、Ｇ1，Ｇ2，Ｇ3はハイパスフィルタ、↓2 は２：１
でまびくことを示す。The output of the first stage filter of the band division filter is
Since the data is motion-compensated, the normal divide-by-two filtering may be repeated for the low frequency components in the second and subsequent stages. FIG. 2 shows the configuration of the motion compensation filter bank. In FIG. 2, H 1 , H 2 , and H 3 are low-pass filters, G 1 , G 2 , and G 3 are high-pass filters, and ↓ 2 is 2: 1.
Shows that it is jumping.
【００３４】ここでは、簡単のために１次元信号の場合
について述べた。実際の画像信号は２次元信号であり、
可分型フィルタを用いて帯域分割を行う場合、水平分離
と垂直分離の両フィルタの初段において動き補償を行う
必要がある。通常、動き（シフト量）は水平、垂直成分
からなるベクトルｖ(ｊ)＝（ｖh(ｊ)，ｖv(ｊ)）で表さ
れる。しかし、それぞれの初段フィルタでは、シフト量
はｖh(ｊ)及びｖv（ｊ）ではなく、共にｖh(ｊ)＋Ｌｖv
(ｊ)（Ｌ：水平画素数）である点に注意を要する。Here, the case of a one-dimensional signal has been described for simplicity. The actual image signal is a two-dimensional signal,
When band division is performed using a separable filter, it is necessary to perform motion compensation at the first stage of both horizontal separation and vertical separation filters. Usually, the motion (shift amount) is represented by a vector v (j) = (v h (j), v v (j)) composed of horizontal and vertical components. However, in each of the first-stage filters, the shift amount is not v h (j) and v v (j), but both v h (j) + Lv v
Note that (j) (L: number of horizontal pixels).
【００３５】以下、本発明の一実施例を図面を参照して
詳細に説明する。An embodiment of the present invention will be described below in detail with reference to the drawings.
【００３６】図３は、本発明の動き補償フレーム間サブ
バンド符号化方式の一実施例における動き補償フレーム
間サブバンド符号化器の構成を示すブロック図である。FIG. 3 is a block diagram showing a configuration of a motion compensation inter-frame sub-band encoder according to an embodiment of the present invention.
【００３７】図３において、１は入力画像、２は１〜Ｎ
段サブバンド分割フィルタ処理部、３は予測フィルタ出
力係数、４は動き補償フレーム間差分フィルタ係数、５
は量子化器、６は可変長符号化器、７は逆量子化器、８
は１〜Ｎ段サブバンド合成フィルタ処理部、９はフレー
ムメモリ、１０は第１段目動き補償サブバンド分割フィ
ルタ処理部、１１は２〜Ｎ段サブバンド分割フィルタ処
理部、１２は動きベクトル検出部である。In FIG. 3, 1 is an input image and 2 is 1 to N
Stage subband division filter processing unit, 3 is a prediction filter output coefficient, 4 is a motion compensation frame difference filter coefficient, 5
Is a quantizer, 6 is a variable length encoder, 7 is an inverse quantizer, 8
Is a 1-N stage sub-band synthesis filter processing unit, 9 is a frame memory, 10 is a first stage motion compensation sub-band division filter processing unit, 11 is a 2-N stage sub-band division filter processing unit, and 12 is a motion vector detection. Department.
【００３８】次に、本実施例の動き補償フレーム間サブ
バンド符号化器の動作を図３を用いて説明する。入力画
像１は、フレームメモリ９に蓄えられた前フレームの画
像と比較され、動きベクトル検出部１２において動きベ
クトルが計算される。この動きベクトルを用いて、第１
段目サブバンド分割フィルタ処理部１０では、フレーム
メモリ９に蓄えられた前フレームの画像がシフト量に応
じてマクロブロック単位にフィルタリングされる。引き
続き、２〜Ｎ段目サブバンド分割フィルタ処理部１１で
は通常のサブバンド分割が実行される。最終段のフィル
タ出力、すなわち予測フィルタ出力係数３は、入力画像
１を１〜Ｎ段サブバンド分割フィルタ処理部２におい
て、サブバンド分割した結果得られるフイルタ出力係数
と比較され、動き補償フレーム間差分フィルタ係数４の
パワーが入力データ（フィルタ出力）のパワーより小さ
い時、フレーム間差分モードの符号化対象として扱われ
る。Next, the operation of the motion-compensated inter-frame sub-band encoder of this embodiment will be described with reference to FIG. The input image 1 is compared with the image of the previous frame stored in the frame memory 9, and a motion vector is calculated in the motion vector detection unit 12. Using this motion vector, the first
In the stage subband division filter processing unit 10, the image of the previous frame stored in the frame memory 9 is filtered in units of macroblocks according to the shift amount. Subsequently, the subband division filter processing unit 11 of the second to Nth stages performs normal subband division. The final stage filter output, that is, the prediction filter output coefficient 3, is compared with the filter output coefficient obtained as a result of subband division of the input image 1 in the 1 to N-stage subband division filter processing unit 2, and the difference between motion compensation frames is calculated. When the power of the filter coefficient 4 is smaller than the power of the input data (filter output), it is treated as an encoding target in the inter-frame difference mode.
【００３９】逆であれば入力データが符号化対象として
次の処理に引き継がれる。この切り替えは、マクロブロ
ック単位に行うことができる。フレーム間差分あるいは
フレーム内のフィルタ出力は、量子化器５において量子
化される。量子化番号は可変長符号化器６において、エ
ントロピー符号化され受信側へ伝送される。また、通常
のフレーム間符号化と同様に、次のフレームのフィルタ
出力と比較するため、符号化ループ内には、データを蓄
積しておく必要がある。そのため、量子化されたデータ
は、逆量子化器７において量子化値に戻される。この量
子化値は、フレームメモリ９に蓄えられている前フレー
ムの画像を、第１段目動き補償サブバンド分割フィルタ
処理（１０）し、さらに２〜Ｎ段サブバンド分割フィル
タ処理（１１）して得られた予測フィルタ出力係数３に
加算される。加算された係数は、１〜Ｎ段サブバンド合
成フィルタ処理部８において、符号化画像に変換されフ
レームメモリ９に蓄えられる。In the opposite case, the input data is to be encoded and is passed to the next processing. This switching can be performed for each macroblock. The inter-frame difference or the filter output in the frame is quantized by the quantizer 5. The quantization number is entropy-encoded in the variable length encoder 6 and transmitted to the receiving side. In addition, as in the case of normal inter-frame coding, it is necessary to accumulate data in the coding loop in order to compare with the filter output of the next frame. Therefore, the quantized data is returned to the quantized value in the inverse quantizer 7. The quantized value is obtained by subjecting the image of the previous frame stored in the frame memory 9 to the first-stage motion compensation sub-band division filter processing (10), and further to the second-N-stage sub-band division filter processing (11). It is added to the prediction filter output coefficient 3 obtained by the above. The added coefficient is converted into a coded image in the 1 to N-stage subband synthesis filter processing unit 8 and stored in the frame memory 9.
【００４０】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更し得
ることはいうまでもない。Although the present invention has been specifically described based on the embodiments, the present invention is not limited to the above-described embodiments, and it goes without saying that various changes can be made without departing from the scope of the invention. Absent.
【００４１】[0041]
【発明の効果】以上、説明したように、本発明によれ
ば、動き補償フレーム間予測とウェーブレット変換など
の多段サブバンド符号化において、画素精度の高い動き
補償フレーム間サブバンド符号化方式が実現でき、局所
的なフレーム内符号化が可能となり、動き補償における
ブロック化に伴う予測画像のブロック段差が解消され
る。そのため符号化効率が改善されるとともに、視覚的
に障害の大きいブロック上の符号化雑音が解消される。As described above, according to the present invention, a motion compensation inter-frame sub-band coding method with high pixel accuracy is realized in multi-stage sub-band coding such as motion compensation inter-frame prediction and wavelet transform. As a result, local intra-frame encoding becomes possible, and a block level difference in a predicted image due to blocking in motion compensation is eliminated. As a result, the coding efficiency is improved, and the coding noise on the visually obstructive block is eliminated.
【図１】 本発明の原理を説明するための３段オクター
ブバンクの構成を示すブロック図、FIG. 1 is a block diagram showing the configuration of a three-stage octave bank for explaining the principle of the present invention;
【図２】 本発明の原理を説明するための動き補償フイ
ルタバンクの構成を示すブロック図、FIG. 2 is a block diagram showing a configuration of a motion compensation filter bank for explaining the principle of the present invention;
【図３】 本発明の動き補償フレーム間サブバンド符号
化方式の一実施例における動き補償フレーム間サブバン
ド符号化器の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of a motion-compensated inter-frame subband encoder according to an embodiment of the present invention.
１…入力画像、２…１〜Ｎ段サブバンド分割フィルタ処
理部、３…予測フィルタ出力係数、４…動き補償フレー
ム間差分フィルタ係数、５…量子化器、６…可変長符号
化器、７…逆量子化器、８…１〜Ｎ段サブバンド合成フ
ィルタ処理部、９…フレームメモリ、１０…第１段目動
き補償サブバンド分割フィルタ処理部、１１…２〜Ｎ段
サブバンド分割フィルタ処理部、１２…動きベクトル検
出部。DESCRIPTION OF SYMBOLS 1 ... Input image, 2 ... 1 to N stage sub-band division | segmentation filter processing part, 3 ... Predictive filter output coefficient, 4 ... Motion compensation frame difference filter coefficient, 5 ... Quantizer, 6 ... Variable length encoder, 7 ... Inverse quantizer, 8... 1 to N-stage subband synthesis filter processing unit, 9... Frame memory, 10. Unit, 12 ... Motion vector detection unit.
フロントページの続き (56)参考文献 ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ Ｓ ＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ Ｔ ＥＣＨＮＯＬＯＧＹ，１［２］（1991. ６）Ｐ．174−183（Ｓｕｂｂａｎｄ ｃ ｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍｓ ｆ ｏｒ ｖｉｄｅｏ ａｐｐｌｉｃａｔｏ ｎｓ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68 Continuation of the front page (56) References IEEE TRANSITIONS ON CIRCUITS AND SYSTEMS FOR VIDEO ECHNOLOGY, 1 [2] (1991.6) 174-183 (Subband coding Algorithms for video applications) (58) Fields investigated (Int. Cl. 6 , DB name) H04N 7/ 24-7/68
Claims (1)
間的冗長度を動き補償フレーム間予測を用いて抑圧し、
空間的冗長度をウェーブレット変換などの多段フィルタ
バンクにより抑圧する動画像の高能率符号化方式におい
て、入力画像をＫ×Ｋ画素のブロックに分割し、フレー
ムメモリに蓄えられた当該符号化画像と入力画像間で、
フレーム間予測の対象である２画面間の動き量をブロッ
ク毎に検出し、あるいは予め原画像間でブロック毎の動
き量を検出しておき、フレームメモリ中の当該符号化画
像に対してブロック毎に動き量に相当する位置だけずら
せた位置を開始点として第１段目の帯域分割フィルタリ
ングを行うことにより動き補償された位置を基にしたフ
ィルタ出力係数を求め、第２段目以降の帯域分割は前記
得られた第１段目のフィルタ出力に対して動き量やブロ
ックに関係なく帯域分割を行い、最終的に得られたフィ
ルタ出力係数を周波数領域でのフレーム間予測フィルタ
係数とし、一方、入力画像はブロックや動き量に関係な
く通常の多段の帯域分割を行いフィルタ出力係数を得
て、この係数からフレーム間予測フィルタ係数を減算す
ることによりフレーム間差分係数を求め、得られたフレ
ーム間差分係数を量子化、符号化伝送することを特徴と
する動き補償フレーム間サブバンド符号化方式。The present invention suppresses temporal redundancy of an input digital image signal sequence using motion compensated inter-frame prediction.
In a high-efficiency video coding method in which spatial redundancy is suppressed by a multi-stage filter bank such as a wavelet transform, an input image is divided into blocks of K × K pixels, and the coded image stored in a frame memory is input to the input image. Between images,
The motion amount between two screens, which is the target of inter-frame prediction, is detected for each block, or the motion amount for each block is detected in advance between the original images, and the motion amount for each block in the frame memory is detected. The first stage band division filtering is performed by using a position shifted by a position corresponding to the amount of motion as a start point, thereby obtaining a filter output coefficient based on the position compensated for motion, and the second and subsequent band divisions are performed. Performs band division on the obtained first-stage filter output irrespective of the amount of motion or block, and uses the finally obtained filter output coefficient as an inter-frame prediction filter coefficient in the frequency domain. The input image is subjected to ordinary multi-stage band division irrespective of the block and motion amount to obtain the filter output coefficient, and the frame is subtracted from this coefficient by subtracting the inter-frame prediction filter coefficient. Calculated between the difference coefficients, the quantized difference coefficients between the obtained frame motion compensation interframe subband coding scheme, wherein the transmission coding.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4001451A JP2901105B2 (en) | 1992-01-08 | 1992-01-08 | Motion compensated inter-frame subband coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4001451A JP2901105B2 (en) | 1992-01-08 | 1992-01-08 | Motion compensated inter-frame subband coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06217291A JPH06217291A (en) | 1994-08-05 |
| JP2901105B2 true JP2901105B2 (en) | 1999-06-07 |
Family
ID=11501810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4001451A Expired - Fee Related JP2901105B2 (en) | 1992-01-08 | 1992-01-08 | Motion compensated inter-frame subband coding |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2901105B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11177993A (en) | 1997-12-12 | 1999-07-02 | Nec Corp | Moving image encoding device |
| KR100727969B1 (en) | 2005-08-27 | 2007-06-14 | 삼성전자주식회사 | Apparatus for encoding and decoding image, and method theroff, and a recording medium storing program to implement the method |
-
1992
- 1992-01-08 JP JP4001451A patent/JP2901105B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＯＬＯＧＹ，１［２］（１９９１．６）Ｐ．１７４−１８３（Ｓｕｂｂａｎｄ ｃｏｄｉｎｇ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｖｉｄｅｏ ａｐｐｌｉｃａｔｏｎｓ） |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06217291A (en) | 1994-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5767909A (en) | Apparatus for encoding a digital video signal using an adaptive scanning technique | |
| US5049993A (en) | Format conversion preprocessing method and circuit | |
| US7227898B2 (en) | Digital signal conversion method and digital signal conversion device | |
| JP3855286B2 (en) | Image encoding device, image encoding method, image decoding device, image decoding method, and recording medium | |
| US5777678A (en) | Predictive sub-band video coding and decoding using motion compensation | |
| US5311310A (en) | High efficiency coder and method employing overlapped motion compensation and perfect reconstruction filter banks | |
| DE69120139T2 (en) | Device and method for the adaptive compression of successive blocks of a digital video signal | |
| KR100231186B1 (en) | Method and device for decoding image data | |
| JP2506332B2 (en) | High-efficiency coding method for moving image signals | |
| US5534927A (en) | Method of performing high efficiency coding of image signal and system therefor | |
| US5434622A (en) | Image signal encoding apparatus using adaptive frame/field format compression | |
| KR950000830B1 (en) | Method and apparatus for coding digital video signal | |
| JP2880051B2 (en) | Video signal encoding device using 1D / 2D DCT | |
| JPH08275172A (en) | Picture formation | |
| US20070133680A1 (en) | Method of and apparatus for coding moving picture, and method of and apparatus for decoding moving picture | |
| JP2901105B2 (en) | Motion compensated inter-frame subband coding | |
| JPH04322593A (en) | Picture coder and its decoder | |
| JP3164056B2 (en) | Moving image encoding / decoding device, moving image encoding / decoding method, and moving image code recording medium | |
| JPH0662392A (en) | High efficient dynamic image encoding system | |
| JPH07336684A (en) | Picture signal decoding device | |
| JP3178140B2 (en) | Image data compression device | |
| Panchanathan et al. | Fast multiresolution motion estimation scheme for a wavelet transform video coder | |
| JP2001128183A (en) | Method and device for encoding moving picture, method and device for decoding moving picture, and recording medium storing moving picture encoding and encoding program | |
| JP3169147B2 (en) | High-efficiency coding device for video data | |
| JP2938652B2 (en) | Time-varying interframe subband coding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090319 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100319 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110319 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |