JP2536180B2 - Inter-field predictive coding device - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像信号の予測符号化方式に関する。The present invention relates to a predictive coding system for moving image signals.

（従来の技術） フレーム間予測符号化方式は動画像を効率的に符号化
する方式として知られている。すなわち動画像信号が時
間方向に高い相関を有することから、時間方向の差分信
号を符号化することで情報量圧縮符号化が実現できる。(Prior Art) The inter-frame predictive coding method is known as a method for efficiently coding a moving image. That is, since the moving image signal has a high correlation in the time direction, information amount compression coding can be realized by coding the difference signal in the time direction.

第２図を用いて説明を行う。まず符号器側においては
フレームメモリ90を持ち入力信号に対して１フレーム前
の信号を発生できるようになっている。この信号をフレ
ーム間予測信号を呼ぶ。このフレーム間予測信号と入力
動画像信号との差分を差分器10で計算しフレーム間予測
誤差信号と呼ばれる信号を生成する。動画像信号が時間
方向に高い相関性を有することからこのフレーム間予測
誤差信号はゼロに集中した確率分布特性を持つので量子
化器30において量子化・符号化を行えば圧縮符号化が実
現できる。量子化・符号化されたフレーム間予測誤差信
号は復号器側に伝送される。また符号器においては逆量
子化器40で逆量子化がなされ、逆量子化されたフレーム
間予測誤差信号は、加算器20でフレーム間予測信号と加
算されて、フレームメモリ90に格納され、次のフレーム
において、フレーム間予測信号を発生するために用いら
れる。復号器においては逆量子化器45で量子化器30の逆
変換（複合化、逆量子化）が行われ、量子化されたフレ
ーム間予測誤差信号が得られる。複合器でも複合器同様
フレームメモリ95を持ちフレーム間予測信号を発生す
る。符号器と復号器で逆変換されたフレーム間予測誤差
信号にフレーム間予測信号がそれぞれ加算器20、25で加
え合わされて復号信号を得る。復号信号はそれぞれのフ
レームメモリ90、95に蓄えられ、１フレーム分の時間が
経過した後、次のフレーム間予測信号として出力され
る。このような符号器・復号器で高能率符号化システム
が構成できる。A description will be given with reference to FIG. First, the encoder side has a frame memory 90 so that a signal one frame before the input signal can be generated. This signal is called an inter-frame prediction signal. The difference between the inter-frame prediction signal and the input moving image signal is calculated by the differentiator 10 to generate a signal called an inter-frame prediction error signal. Since the moving image signal has a high correlation in the time direction, this inter-frame prediction error signal has a probability distribution characteristic centered on zero, so compression coding can be realized by performing quantization / coding in the quantizer 30. . The quantized / encoded inter-frame prediction error signal is transmitted to the decoder side. In the encoder, dequantization is performed by the dequantizer 40, and the dequantized interframe prediction error signal is added to the interframe prediction signal by the adder 20 and stored in the frame memory 90. Frame, it is used to generate an inter-frame prediction signal. In the decoder, the inverse quantizer 45 performs the inverse transform (composite, inverse quantizer) of the quantizer 30 to obtain the quantized interframe prediction error signal. Like the compound device, the compound device also has a frame memory 95 and generates an inter-frame prediction signal. Interframe prediction signals are added to the interframe prediction error signals inversely transformed by the encoder and the decoder by adders 20 and 25, respectively, to obtain decoded signals. The decoded signal is stored in each of the frame memories 90 and 95, and is output as the next inter-frame prediction signal after the time of one frame has elapsed. A high-efficiency coding system can be configured with such an encoder / decoder.

また量子器30の前で２次元直交交換を行いフレーム間
予測誤差信号を周波数変換し量子化・符号化することで
更に符号化効率を高める方式も確立されている。このと
き、符号器と復号器の逆量子化器40、45の後に逆直交変
換器をおいて周波数領域から空間領域の信号に戻してお
く必要がある。In addition, a method has also been established in which two-dimensional orthogonal exchange is performed in front of the quantizer 30 to perform frequency conversion of the inter-frame prediction error signal and quantize / encode to further improve the coding efficiency. At this time, it is necessary to put an inverse orthogonal transformer after the inverse quantizers 40 and 45 of the encoder and the decoder to restore the signal in the frequency domain to the signal in the spatial domain.

ところでテレビ信号等では飛び越し走査と呼ばれる走
査方式が用いられており１フレームは時間的に連続する
２フィールドから構成されている。すなわち、第４図
（ａ）に示すようにまず奇数ラインのみが走査され、次
いで偶数ラインが走査される。奇数ラインが走査される
期間を第１フィールドと呼び、偶数ラインが走査される
期間を第２フィールドと呼ぶ。フィールドの時間間隔は
フレームの時間間隔の半分である。すなわちフレーム間
隔が1/30秒ならフィールド間隔は1/60秒となる。By the way, a scanning method called interlaced scanning is used for television signals and the like, and one frame is composed of two fields that are temporally continuous. That is, as shown in FIG. 4A, first, only odd lines are scanned, and then even lines are scanned. A period in which odd lines are scanned is called a first field, and a period in which even lines are scanned is called a second field. The field time interval is half the frame time interval. That is, if the frame interval is 1/30 second, the field interval is 1/60 second.

（発明が解決しようとする課題） ところでフレーム間予測符号化方式はフレーム間での
信号の変化が極く小さいことを利用した圧縮符号化方式
であるが、もしフィールド間で予測が可能なら予測誤差
信号はフレーム間予測信号を用いる場合よりも小さくな
る。何故ならフィールド間の方がフレーム間よりも時間
間隔が短いから動画像信号の変化量も小さくなるからで
ある。予測誤差が小さいということはそれだけゼロ信号
に確率分布が集中するということだから発生符号量は減
少する。すなわちフレーム間予測符号化方式よりも効率
的な符号化が実現できる。(Problems to be solved by the invention) By the way, the inter-frame predictive coding system is a compression coding system that utilizes the fact that the change of the signal between frames is extremely small. The signal is smaller than when using the inter-frame prediction signal. This is because the time interval between fields is shorter than that between frames, and the amount of change in the moving image signal is also small. The small prediction error means that the probability distribution concentrates on the zero signal, so the generated code amount decreases. That is, more efficient encoding than the interframe predictive encoding method can be realized.

しかしながら先にも説明した通り隣接するフィールド
は走査線構造が異なっているのでフレーム間予測方式の
ように単に１フィールド遅延させる等の簡単な処理では
予測信号を発生することができない。強いて行うとする
ならば１ラインずれた信号（テレビジョン画面上で見れ
ば半ラインずれた信号）で予測を行うことができるが正
確な予測を妨げる危険性がある。すなわち従来の技術で
は効果のあるフィールド間予測方式が確率されていなか
った。However, as described above, since adjacent fields have different scanning line structures, a prediction signal cannot be generated by a simple process such as delaying by one field like the inter-frame prediction method. If it is forced, the prediction can be performed with a signal shifted by one line (a signal shifted by a half line when viewed on the television screen), but there is a risk of hindering accurate prediction. That is, in the conventional technology, an effective inter-field prediction method has not been established.

すなわち本発明の目的は飛び越し走査された信号に対
してフィールド間予測を行う手段を確立することにあ
る。That is, it is an object of the present invention to establish means for performing inter-field prediction on interlaced signals.

（課題を解決するための手段） 本発明によれば逆量子化を受けた飛び越し走査された
予測誤差信号をライン補間することで順次走査信号へ変
換する。また従来フレームメモリーとして、飛び越し走
査信号を１フレーム蓄えていた手段を順次走査された信
号を１フィールド蓄える手段へと改める。これをフィー
ルドメモリと呼ぶ（ただしラインが２倍になるのでメモ
リ容量は同じになる）。これらの変更により正確なフィ
ールド間予測が可能となる。更に予測信号と入力信号と
の差分をとるためにフィールド間予測信号のライン間引
きを行って順次走査を飛び越し走査へ変換する手段を有
する。(Means for Solving the Problem) According to the present invention, the interpolated prediction error signal subjected to the inverse quantization is converted into a progressive scanning signal by line interpolation. Further, as the conventional frame memory, the means for storing the interlaced scanning signal for one frame is changed to the means for storing the sequentially scanned signal for one field. This is called a field memory (however, since the line is doubled, the memory capacity is the same). These changes allow accurate inter-field prediction. Further, there is provided a means for thinning lines of the inter-field prediction signal in order to obtain the difference between the prediction signal and the input signal and converting sequential scanning into interlaced scanning.

また本発明の別の構成によれば（従来の技術）の項で
説明した直交変換器を組合わせ符号化装置に対して、逆
直交変換を行う際に垂直方向に対して画素数を２倍にす
ることでライン補間機能を持たせている。この構成の場
合でもフレームメモリがフィールドメモリへと改めら
れ、予測信号に対してライン間引きを行う手段が必要と
なる。Further, according to another configuration of the present invention, the number of pixels is doubled in the vertical direction when performing the inverse orthogonal transform with respect to the combination coding apparatus which combines the orthogonal transformer described in the section (Prior Art). The line interpolation function is provided by setting. Even in the case of this configuration, the frame memory is changed to a field memory, and a means for thinning the lines for the prediction signal is required.

（作用） 本発明の第１の構成では入力信号と予測信号との差分
を計算し予測誤差信号を得る手段、量子化・符号化を行
う手段、逆量子化を行う手段に関しては飛び越し走査さ
れた信号で処理を行うが予測誤差信号と予測信号を加え
て復号信号を得る手段、と予測信号を生成するために一
定期間（１フィールド）信号を保持する手段では順次走
査された信号で処理される。飛び越し走査信号から順次
走査信号へ変換するにはライン補間が行われ順次走査か
ら飛び越し走査へ変換するにはライン間引きが行われ
る。(Operation) In the first configuration of the present invention, the means for calculating the difference between the input signal and the prediction signal to obtain the prediction error signal, the means for performing quantization / encoding, and the means for performing inverse quantization are interlaced scanned. A signal is processed, but a means for adding a prediction error signal and a prediction signal to obtain a decoded signal, and a means for holding a signal for a certain period (one field) to generate a prediction signal are processed by sequentially scanned signals. . Line interpolation is performed to convert the interlaced scanning signal to the progressive scanning signal, and line thinning is performed to convert the sequential scanning to the interlaced scanning.

また本発明の第２の構成は予測誤差信号に対して直交
変換を行う場合に対応している。この場合、量子化・符
号化された予測誤差信号に対して逆量子化、逆直交変
換、ライン補間の順序で処理を行わなければならないが
本発明では逆直交変換にライン補間機能を持たせてい
る。すなわち垂直方向に画素を２倍にする逆直交変換を
行うことでライン補間を行う。The second configuration of the present invention corresponds to the case where orthogonal transformation is performed on the prediction error signal. In this case, the quantized / encoded prediction error signal must be processed in the order of inverse quantization, inverse orthogonal transformation, and line interpolation. However, in the present invention, the inverse orthogonal transformation has a line interpolation function. There is. That is, line interpolation is performed by performing inverse orthogonal transformation that doubles the number of pixels in the vertical direction.

この画素数を２倍にする逆直交変換について説明す
る。逆直交変換は変換基底関数にたいして係数成分で重
み付けて加え合わせる操作である。画像信号をｘ（k,
l）、基底関数をf_ij（k,l）、係数成分をa_ijとする。こ
こでi,jは基底関数のインデックスでありk,lは画素位置
を示す。飛び越し操作では垂直方向に１ラインおきに間
引かれるのでｌは奇数のみの値か偶数のみの値をとる。
逆直交変換操作を式で表すと ｘ（k,l）＝Σ_ｉΣ_ja_ij・f_ij（k,l） となる。ここでｌの値をひとつおきではなく偶数・奇数
ともに計算すれば垂直方向に２倍の画素が計算され順次
走査データとなる。すなわち逆直交変換においては飛び
越し走査から順次走査への変換は極く簡単に行われる。
なお、順次走査された画像の走査線構造を第４図（ｂ）
に示す。The inverse orthogonal transform that doubles the number of pixels will be described. The inverse orthogonal transform is an operation of weighting and adding the transform basis functions with coefficient components. The image signal is x (k,
l), the basis function is f _ij (k, l), and the coefficient component is a _ij . Here, i and j are indices of the basis function, and k and l are pixel positions. In the interlacing operation, every other line is thinned out in the vertical direction, so that l takes only an odd value or an even value.
Denoting the inverse orthogonal transform operation by formula x (k, l) = Σ i Σ j a ij · f ij (k, l) and made. Here, if the value of l is calculated not for every other value but for even and odd numbers, twice the number of pixels is calculated in the vertical direction, and it becomes progressive scan data. That is, in the inverse orthogonal transform, the conversion from interlaced scanning to progressive scanning is extremely simple.
The scanning line structure of the sequentially scanned image is shown in FIG.
Shown in

以上が、本発明のフィールド間予測符号化方式の原理
である。この予測方式は動き補償符号化方式と組合せる
ことが可能であり、また他の予測方式、すなわちフレー
ム間予測符号化方式、フィールド内予測符号化方式、背
景予測符号化方式などと適応的に切り替えることも可能
である。切り替え方法は既に公知の方式を用いれば良
い。The above is the principle of the inter-field predictive coding system of the present invention. This prediction method can be combined with the motion compensation coding method, and can be adaptively switched to another prediction method such as an inter-frame prediction coding method, an intra-field prediction coding method, and a background prediction coding method. It is also possible. A known method may be used as the switching method.

（実施例） 本発明にしたがって構成した符号器・復号器の実施例
を第１図に示す。まず符号器側を第１図（ａ）で説明す
る。符号器側においてはフィールドメモリー50を持ち入
力信号に対して１フィールド前の信号を順次走査で発生
できるようになっている。この信号をフィールド間予測
信号と呼ぶ。この順次走査フィールド間予測信号からラ
イン間引き器70においてラインを間引くことで飛び越し
走査のフィールド間予測信号に変換する。この飛び越し
走査されたフィールド間予測信号と入力信号の差分を差
分器10で計算しフィールド間予測誤差信号を生成する。
このフィールド間予測誤差信号を量子化器30において量
子化・符号化する。この量子化・符号化されたフィール
ド間予測誤差信号は復号器側に伝送される。このフィー
ルド間予測信号は同時に逆量子化器40で逆変換される。
逆変換されたフィールド間予測誤差信号をライン補間器
60でライン補間して順次走査された信号に変換する。こ
れに順次走査されたフィールド間予測信号を加算器20で
加え合わせ復号信号（通常、「局部復号信号」とよばれ
る）を得る。局部復号信号はフィールドメモリ50に蓄え
られ、１フィールド分の時間が経過した後、次のフィー
ルド間予測信号として出力される。(Embodiment) An embodiment of an encoder / decoder constructed according to the present invention is shown in FIG. First, the encoder side will be described with reference to FIG. The encoder side has a field memory 50 so that a signal one field before the input signal can be sequentially scanned. This signal is called an inter-field prediction signal. The line skipping unit 70 thins out the lines from the progressive scanning inter-field prediction signal to convert the inter-field prediction signal for interlaced scanning. The difference between the inter-field prediction signal subjected to the interlaced scanning and the input signal is calculated by the differentiator 10 to generate the inter-field prediction error signal.
The inter-field prediction error signal is quantized and encoded in the quantizer 30. This quantized / encoded inter-field prediction error signal is transmitted to the decoder side. The inter-field prediction signal is simultaneously inverse-transformed by the inverse quantizer 40.
Line interpolator for inversely transformed inter-field prediction error signal
Line interpolation is performed at 60 to convert the signals into sequentially scanned signals. An inter-field prediction signal sequentially scanned is added to this by an adder 20 to obtain a decoded signal (usually referred to as "local decoded signal"). The locally decoded signal is stored in the field memory 50, and after the time for one field has elapsed, it is output as the next inter-field prediction signal.

次に復号器側について第１図（ｂ）で説明する。復号
器側では伝送されてきた信号が逆量子化器45で逆量子化
変換される。この逆量子化変換されたフィールド間予測
誤差信号をライン補間器65でライン補間して順次走査さ
れた信号に変換する。また復号器はフィールドメモリー
55で持ち入力信号に対して１フィールド前の信号をフィ
ールド間予測信号をして順次走査で発生できるようにな
っている。この順次走査フィールド間予測信号と先のラ
イン補間65で順次走査に変換されたフィールド間予測誤
差信号を加算器25で加え合わせ復号信号を得る。復号信
号はフィールドメモリ55蓄えられ、１フィールド分の時
間が経過した後、次のフィールド間予測信号として順次
走査で出力される。Next, the decoder side will be described with reference to FIG. On the decoder side, the transmitted signal is inversely quantized and converted by the inverse quantizer 45. The dequantized and transformed inter-field prediction error signal is line-interpolated by the line interpolator 65 and converted into a sequentially scanned signal. Also, the decoder is a field memory
At 55, the signal one field before the input signal is used as an inter-field prediction signal and can be generated by sequential scanning. This progressive scanning inter-field prediction signal and the inter-field prediction error signal converted into progressive scanning by the line interpolation 65 are added by the adder 25 to obtain a decoded signal. The decoded signal is stored in the field memory 55, and after the time for one field elapses, the decoded signal is sequentially output as an inter-field prediction signal.

また本発明の別の構成に従う実施例を第３図に示す。
まず符号器では第３図（ａ）に示すような構成となる。
第１図（ａ）で説明したと異なるのは直交変換器100が
減算器10と量子化器30の間に位置しておりフィールド間
予測誤差信号を直交変換することと、ライン補間機能を
持つ逆直交変換器80が逆変換すると同時に垂直方向の画
素密度を２倍にしてライン補間を行っている。また復号
器では第３図（ｂ）に示すような構成となる。第１図の
（ｂ）と異なるのはライン補間機能を持つ逆直交変換器
85が逆量子化器45と加算器25の間に位置しており直交変
換されたフィールド間予測信号を逆変換すると同時に垂
直方向の画素密度を２倍にしてライン補間を行ってい
る。An embodiment according to another structure of the present invention is shown in FIG.
First, the encoder has a configuration as shown in FIG.
The difference from that described with reference to FIG. 1A is that the orthogonal transformer 100 is located between the subtractor 10 and the quantizer 30, and has an orthogonal transformation of the inter-field prediction error signal and has a line interpolation function. At the same time as the inverse orthogonal transformer 80 performs the inverse transformation, the pixel density in the vertical direction is doubled to perform the line interpolation. The decoder has a configuration as shown in FIG. 3 (b). The difference from FIG. 1 (b) is that the inverse orthogonal transformer has a line interpolation function.
The reference numeral 85 is located between the inverse quantizer 45 and the adder 25 and inversely transforms the orthogonally transformed inter-field prediction signal and simultaneously doubles the pixel density in the vertical direction to perform line interpolation.

なお、以上の実施例では、順序走査方式の動画像信号
が復号器より得られることになるが、飛び越し走査方式
の動画像信号が所望の場合には、順次走査→研ぎ越し走
査の変換回路を後置すればよい。In the above embodiment, the moving image signal of the sequential scanning system is obtained from the decoder. However, when the moving image signal of the interlaced scanning system is desired, the conversion circuit for the progressive scanning → over-the-edge scanning is provided. It can be placed after.

（発明の効果） 本発明より従来のフレーム間予測方式よりも予測誤差
信号を大幅に小さくすることが出来、発生符号量を抑え
ることが出来る。(Effects of the Invention) According to the present invention, the prediction error signal can be made significantly smaller than that of the conventional interframe prediction method, and the generated code amount can be suppressed.

【図面の簡単な説明】[Brief description of drawings]

第１図（ａ），（ｂ）、第３図（ａ），（ｂ）は本発明
の実施例を示すブロック図、第２図は従来のフレーム間
予測符号化方式による符号器・復号器を示すブロック図
でをしめす。ブロック図、また第４図（ａ）は飛び越し
走査を説明するための図であり、第４図（ｂ）は順次走
査を説明するための図である。 図において、10は減算器、20、25は加算器、30は量子化
器、40、45は逆量子化器、50、55はフィールドメモリ、
60、65はライン補間器、70はライン間引き器、80、85は
ライン補間機能をもつ逆直交変換器、90、95はフレーム
メモリ、100は直交変換示す。1 (a) and (b), FIGS. 3 (a) and (b) are block diagrams showing an embodiment of the present invention, and FIG. 2 is a coder / decoder based on a conventional interframe predictive coding system. Is shown in the block diagram. FIG. 4A is a block diagram, and FIG. 4A is a diagram for explaining interlaced scanning, and FIG. 4B is a diagram for explaining sequential scanning. In the figure, 10 is a subtractor, 20 and 25 are adders, 30 is a quantizer, 40 and 45 are inverse quantizers, 50 and 55 are field memories,
Reference numerals 60 and 65 are line interpolators, 70 is a line thinning-out device, 80 and 85 are inverse orthogonal transformers having a line interpolation function, 90 and 95 are frame memories, and 100 is orthogonal transformation.

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】垂直方向に飛び越し走査されたテレビ信号
に対して、順次走査された局部復号信号からフィールド
間予測信号を生成する手段と、前記順次走査によるフィ
ールド間予測信号からライン間引きを行うことで飛び越
し走査されたフィールド間予測信号を生成する手段と、
前記飛び越し走査されたテレビ信号と前記飛び越し走査
されたフィールド間予測信号との差分を計算し飛び越し
走査されたフィールド間予測誤差信号を生成する手段
と、前記飛び越し走査されたフィールド間予測誤差信号
を量子化し符号化伝送する手段と、前記量子化されたフ
ィールド間予測誤差信号を逆量子化する手段と、前記逆
量子化された飛び越し走査されたフィールド間予測誤差
信号をライン補間することで順次走査されたフィールド
間予測誤差信号に変換する手段と、前記順次走査による
フィールド間予測信号と前記順次走査されたフィールド
間予測誤差信号を加え合わせることで前記局部復号信号
を得る手段を有することを特徴とする動画像信号のフィ
ールド間予測符号化装置。1. A means for generating an inter-field prediction signal from a sequentially decoded local decoded signal, and a line thinning-out from the inter-field prediction signal by the sequential scanning, for a television signal interlaced in the vertical direction. Means for generating inter-field prediction signals interlaced with
Means for calculating a difference between the interlaced-scanned television signal and the interlaced-scan inter-field prediction signal, and generating interlaced-scan inter-field prediction error signal; Means for performing encoding and transmission, means for dequantizing the quantized inter-field prediction error signal, and line scanning of the interquantized inter-field prediction error signal subjected to the interquantized scanning, and sequentially scanned. And a means for obtaining the local decoded signal by adding the inter-field prediction signal by the sequential scanning and the inter-field prediction error signal by the sequential scanning. An inter-field predictive coding apparatus for moving image signals. 【請求項２】請求項（１）の動画像信号の符号化装置に
関して請求項（１）の飛び越し走査されたフィールド間
予測誤差信号に対して直交交換を行う手段と、請求項
（１）の飛び越し走査から順次走査へライン補間し変換
する手段の代わりに前記直交変換の逆変換を垂直方向に
対しては２倍の画素にして行う手段とをさらに有するこ
とを特徴とする動画像信号のフィールド間予測符号化装
置。2. A moving picture signal encoding apparatus according to claim 1, wherein the interlaced scanning interfield prediction error signal according to claim 1 is orthogonally exchanged. A field of a moving image signal, further comprising means for performing inverse transformation of the orthogonal transformation with double pixels in the vertical direction, instead of means for performing line interpolation and conversion from interlaced scanning to progressive scanning. Inter-predictive coding device.