JPH0750834A - Rate conversion picture coder - Google Patents

Abstract

PURPOSE:To set a frame rate and a quantization step to a visually optimum value at a slow communication line speed by synthesizing plural frame picture data received from a communication line whose communication speed is fast to be one-frame data. CONSTITUTION:A signal is quantized by a 1st quantization means 109 and outputted to a communication line at a slow speed as q(t(Xi+n-Xi)+Q'i+n). Simultaneously data are inversely quantized by a 2nd inverse quantization means, subject to inverse orthogonal transformation by a 2nd inverse orthogonal transformation means 111, the result is added to prediction data up to an i-th frame at an adder means 112 and the result is stored in a 2nd picture memory 113 as prediction data up to (i+n)th frame. Similarly the content of a 3rd picture memory is subject to inverse orthogonal transformation by a 1st inverse orthogonal transformation means 118 via a selector 105, the result is added to prediction data up to the i-th frame at an adder means 119 and stored in the 1st picture memory 120 as prediction data up to the (i+n)th frame. When only a prediction error of the (i+1)th frame is a motion compensation prediction error, motion compensation is applied to the picture memories 120, 113.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、伝送速度の異なる通信
回線を中継して画像データを伝送する際の中継用画像符
号化装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a relay image encoding device for transmitting image data by relaying communication lines having different transmission speeds.

【０００２】[0002]

【従来の技術】従来、テレビ会議、テレビ電話信号の符
号化では、フレーム方向には１フレーム間の相関性を利
用するフレーム間予測とフレーム内直交変換を組み合わ
せたハイブリッド符号化を用いるのが一般的である。１
秒間に３０枚の画像（フレーム）で構成されるテレビ画
像の時間軸方向の相関性は大きく、フレーム間相関を利
用して１フレーム前の画面中の同一位置の画素を予測に
用いることにすれば、画面が静止している場合には最も
理想的な予測が行えることになる。しかし、フレーム間
符号化においては、画面中に動きがある場合には逆にフ
レーム間の相関は低くなり、むしろフィールド内の隣接
画素間の相関に比べても低くなってしまう。一方、フレ
ーム毎の画像信号の各画素も隣接する画素とのレベル変
化が小さく相関性が強い。その自己相関関数は負の指数
関数で近似できるとされている。このとき、自己相関関
数のフーリエ変換である電力スペクトル密度はゼロ周波
数成分（直流）で最大となり、周波数成分が高くなるに
つれて単調減少する性質を持っている。周波数領域への
直交変換として最もよく知られているのはフーリエ変換
であるが複素数演算を含み、構成が複雑になることか
ら、画像の符号化ではこれに代わる直交変換として２次
元ＤＣＴ（離散コサイン変換）を用いるのが一般的であ
る。ＤＣＴにより周波数成分に分解された変換係数は符
号化しない変換係数（無意係数）であるレベルゼロと離
散的な量子化代表値をとる有意係数であるレベル±１か
らレベル±Ｋに量子化されたのち、無意係数の連続性を
符号化するランレングス符号ならびに有意係数のレベル
の生起確率に応じて可変長符号を割り当てるハフマン符
号化により画像データは圧縮される。2. Description of the Related Art Conventionally, in video conferencing and video telephone signal encoding, hybrid encoding is generally used which combines interframe prediction utilizing intraframe correlation and intraframe orthogonal transformation in the frame direction. Target. 1
A television image composed of 30 images (frames) per second has a large correlation in the time axis direction, and it is possible to use the pixel at the same position in the screen one frame before in the prediction by utilizing the inter-frame correlation. For example, the most ideal prediction can be made when the screen is stationary. However, in the inter-frame coding, when there is a motion in the screen, the correlation between the frames is low, and the correlation between adjacent pixels in the field is low. On the other hand, each pixel of the image signal for each frame has a small level change with an adjacent pixel and has a strong correlation. It is said that the autocorrelation function can be approximated by a negative exponential function. At this time, the power spectrum density, which is the Fourier transform of the autocorrelation function, has a maximum at zero frequency component (DC) and has the property of monotonically decreasing as the frequency component increases. The most well-known orthogonal transform to the frequency domain is the Fourier transform, but since it involves complex number operations and complicates the structure, two-dimensional DCT (discrete cosine) is used as an alternative orthogonal transform in image coding. (Conversion) is generally used. The transform coefficient decomposed into frequency components by DCT is quantized from level ± 1 which is a transform coefficient (insignificant coefficient) which is not coded and level ± 1 which is a significant coefficient having a discrete quantized representative value to level ± K. After that, the image data is compressed by the run length code that encodes the continuity of the insignificant coefficients and the Huffman encoding that assigns the variable length code according to the occurrence probability of the level of the significant coefficient.

【０００３】例えばＣＣＩＴＴ勧告Ｈ．２６１では、動
きの少ない画像に対しては動き補償フレーム間予測を適
用し、フレーム間の予測誤差に対して以下に示すような
符号化を行なっている。また動きの大きい画像に対して
はフレーム間予測を適用せず、フレーム画素に対して直
接以下の符号化を行なう。図９はＨ．２６１における画
像データの符号化器および複号化器を示したものであ
る。図９において１１６は符号化器であり、１０７は減
算手段、１０８は２次元ＤＣＴを行なう直交変換手段、
１０９は量子化手段、１１０は逆量子化手段、１１１は
逆直交変換手段、１１２は加算手段、１１３は動き補償
用画像メモリ、１１４はループ内フィルタ、１１５は符
号化制御手段である。１２２は複号化器であり、１１７
は逆量子化手段、１１８は逆直交変換手段、１１９は加
算手段、１２０は動き補償用画像メモリ、１２１はルー
プ内フィルタ、１２３〜１２５はセレクタである。符号
化器１１６では減算手段１０７によりビデオ入力信号と
動き補償用画像メモリ１１３が記憶している予測データ
の差分をとることによりフレーム間の予測誤差を算出す
る。この時１６×１６画素の範囲内の動きは予測データ
をブロック周辺の１６×１６画素の任意の８×８ブロッ
クとして指定することにより動き補償される。動き量の
指定は２次元動きベクトルにより行い、画像データとと
もに複号化器に送られる。複号化側では複号ブロックよ
りこの動きベクトルだけずらした領域の動き補償用画像
メモリのデータを予測データとして複号を行なう。また
動き補償が利かないような大きな動きにたいしては、セ
レクタ１２３、１２４により予測をしないフレーム内符
号化を選択する。予測誤差やフレーム画素を８画素×８
ラインのブロックに分割し、この各ブロックに対して直
交変換手段１０８で２次元ＤＣＴを施す。ＤＣＴにより
各ブロックの画素は周波数成分に変換される。得られた
変換係数は量子化部１０９で量子化される。量子化によ
り各変換係数は無意係数のレベル０からレベル±１２７
までの整数である有意係数のレベルに代表される。量子
化されたデータは通信手段等を経て複号化器におくられ
るが、同時に逆量子化手段１１０、逆直交変換手段１１
１で逆変換された後、動き補償用画像メモリ１１３の記
憶する予測データに加算手段１１２により加算され、動
き補償用画像メモリ１１３に記憶され次の予測データと
なる。複号化器側では入力された画像データを逆量子化
手段１１７および逆直交変換手段１１８で逆変換した
後、動き補償用画像メモリ１２０が記憶する予測データ
に加算器１１９により加算し、ビデオ出力をえるととも
に、これを次の予測データとして動き補償用画像メモリ
１２０に記憶する。入力ブロックがフレーム内データの
場合には、セレクタ１２５により予測データは選択され
ず、入力データが直接逆変換され、ビデオ出力として取
り出され、動き補償用画像メモリに記憶される。伝送速
度の異なる通信回線を中継してこのようなハイブリッド
符号化された動画像データを伝送するために従来、速度
の早い通信回線から入力したデータを複号器１２２でビ
デオ信号に複号した後、符号器１１６で異なる符号化速
度で符号化を行い、遅い通信回線に出力していた。For example, CCITT Recommendation H.264. In H.261, motion-compensated inter-frame prediction is applied to an image with little motion, and the following coding is performed on the inter-frame prediction error. In addition, inter-frame prediction is not applied to images with large motion, and the following encoding is directly performed on frame pixels. FIG. 26 shows an image data encoder and a decoder in H.261. In FIG. 9, reference numeral 116 is an encoder, 107 is subtraction means, 108 is orthogonal transformation means for performing two-dimensional DCT,
109 is a quantizing means, 110 is an inverse quantizing means, 111 is an inverse orthogonal transforming means, 112 is an adding means, 113 is an image memory for motion compensation, 114 is a loop filter, and 115 is an encoding control means. 122 is a decryptor, 117
Is an inverse quantization means, 118 is an inverse orthogonal transformation means, 119 is an addition means, 120 is a motion compensation image memory, 121 is an in-loop filter, and 123 to 125 are selectors. In the encoder 116, the subtraction means 107 calculates the difference between the video input signal and the prediction data stored in the motion compensation image memory 113 to calculate a prediction error between frames. At this time, the motion within the range of 16 × 16 pixels is compensated by designating the prediction data as an arbitrary 8 × 8 block of 16 × 16 pixels around the block. The amount of motion is designated by a two-dimensional motion vector and sent to the decoder along with the image data. On the decoding side, decoding is performed by using the data of the motion compensation image memory in the area shifted by the motion vector from the decoding block as prediction data. In addition, for a large motion for which motion compensation is not effective, the intra-frame coding that does not perform prediction is selected by the selectors 123 and 124. 8 pixels for prediction error and frame pixels
The line is divided into blocks, and the orthogonal transform means 108 performs two-dimensional DCT on each block. The pixels of each block are converted into frequency components by DCT. The obtained transform coefficient is quantized by the quantization unit 109. Due to the quantization, each transform coefficient is changed from level 0 to level ± 127
Represented by the level of significance coefficient, which is an integer up to. The quantized data is sent to the decoder via the communication means and the like, but at the same time, the inverse quantization means 110 and the inverse orthogonal transformation means 11 are also provided.
After being inversely converted by 1, the addition data is added to the prediction data stored in the motion compensation image memory 113 by the addition unit 112 and stored in the motion compensation image memory 113 to be the next prediction data. On the decoding side, the input image data is inversely transformed by the inverse quantizing means 117 and the inverse orthogonal transforming means 118, and then added to the prediction data stored in the motion compensating image memory 120 by the adder 119 to output the video. At the same time, it is stored in the motion compensation image memory 120 as the next prediction data. When the input block is intra-frame data, the predictor data is not selected by the selector 125, the input data is directly inverse-converted, extracted as a video output, and stored in the motion compensation image memory. In order to transmit such hybrid-encoded moving image data by relaying through a communication line with a different transmission speed, conventionally, after decoding the data input from the high-speed communication line into a video signal with a decoder 122, , The encoder 116 performs encoding at different encoding speeds and outputs to a slow communication line.

【０００４】[0004]

【発明が解決しようとする課題】Ｈ．２６１のようなハ
イブリッド符号化および複号化を行なうのに必要な演算
性能として、例えばＣＩＦ画像（３６０×２８８）を１
５フレーム／秒で処理するためには１８２０ＭＩＰＳ必
要との報告があり、その内訳は符号化で１３４０ＭＩＰ
Ｓ、複号化で４８０ＭＩＰＳである。中でも動きベクト
ルの検出に８１０ＭＩＰＳ、直交変換、逆直交変換にそ
れぞれ１９０ＭＩＰＳ必要となる。従来のレート変換符
号化装置では複号化器で一度ビデオ信号に複号した後、
再び符号化器で符号化を行なうため、これらの演算をす
べて行なう必要があった。しかも、ここで検討している
のは速度の早い通信回線から速度の遅い通信回線への中
継だけであり、テレビ電話のように双方向に画像を伝送
するシステムにおいてはその逆の中継も必要となり、中
継装置の処理はさらに重くなる。[Problems to be Solved by the Invention] As a calculation performance required for performing hybrid coding and decoding such as H.261, a CIF image (360 × 288) is set to 1
It has been reported that 1820 MIPS is required to process at 5 frames / sec, and the breakdown is 1340 MIP in encoding.
S, 480 MIPS in decoding. Above all, 810 MIPS are required for motion vector detection, and 190 MIPS are required for orthogonal transform and inverse orthogonal transform, respectively. In the conventional rate conversion coding device, after decoding the video signal once with the decoding device,
Since the encoding is performed again by the encoder, it is necessary to perform all these operations. Moreover, we are only considering relaying from a high-speed communication line to a slow-speed communication line, and in a system that transmits images in both directions, such as a videophone, the reverse relay is also necessary. The processing of the relay device becomes heavier.

【０００５】本発明はかかる事情に鑑みて成されたもの
であり、フレーム内符号化データや動き補償のないフレ
ーム間予測データは直交変換係数のまま処理し、逆直交
変換や直交変換の処理を不要とし、動き補償も１フレー
ム分はそのまま動きベクトルを流用することにより、動
き予測の処理を不要として、処理量を大幅に減少させた
レート変換符号化装置を提供することを目的とする。The present invention has been made in view of the above circumstances, and the intra-frame coded data and the inter-frame prediction data without motion compensation are processed with the orthogonal transform coefficients as they are, and the inverse orthogonal transform and the orthogonal transform are performed. An object of the present invention is to provide a rate conversion coding device that does not require motion compensation and that does not require motion prediction processing by diverting motion vectors for one frame as they are for motion compensation.

【０００６】次に、符号化画像の品質を決定する要素と
して、１フレームの画品質と動きの再現性がある。ビッ
トレートを一定とすると量子化ステップ値で決まる１フ
レームの画品質とフレームレートで決まる動きの再現性
とはトレードオフの関係となる。つまり、早い通信回線
速度と遅い通信回線速度にはそれぞれ視覚的に最適な量
子化ステップとフレームレートが存在する。本発明はか
かる最適値に量子化ステップとフレームレートを設定で
きるレート変換符号化装置を提供する。Next, the image quality of one frame and the reproducibility of motion are factors that determine the quality of an encoded image. If the bit rate is constant, there is a trade-off relationship between the image quality of one frame determined by the quantization step value and the reproducibility of motion determined by the frame rate. That is, there are visually optimum quantization steps and frame rates for the high communication line speed and the low communication line speed, respectively. The present invention provides a rate conversion coding device capable of setting a quantization step and a frame rate to such optimum values.

【０００７】[0007]

【課題を解決するための手段】請求項１の発明は、通信
速度の早い通信回線から入力された画像データのフレー
ムデータを複数枚合成して１枚のフレームデータとし、
量子化精度を荒くして通信速度の遅い通信回線に送出す
ることを特徴としている。According to a first aspect of the present invention, a plurality of frame data of image data input from a communication line having a high communication speed are combined into one frame data,
The feature is that the quantization accuracy is roughened and the data is transmitted to a communication line with a low communication speed.

【０００８】請求項２の発明は、請求項１記載のフレー
ム合成方法を、通信速度の早い通信回線から入力した予
測誤差に直交変換を施した入力データを複数フレーム分
加算して１フレームの予測誤差に直交変換を施した出力
データとして通信速度の遅い通信回線に出力することと
したことを特徴としている。According to a second aspect of the present invention, in the frame synthesizing method according to the first aspect, a prediction error input from a communication line having a high communication speed is orthogonally transformed and input data is added for a plurality of frames to predict one frame. It is characterized in that it is output to a communication line with a low communication speed as output data obtained by subjecting the error to orthogonal transformation.

【０００９】請求項３の発明は、通信速度の早い通信回
線から入力した予測誤差に直交変換を施した入力データ
を送信元の符号化装置が設定した量子化係数１で逆量子
化を行なった後、複数フレーム分加算して１フレームの
前記予測誤差に前記直交変換を施したデータとし量子化
係数２で量子化を行なった後、前記通信速度の遅い通信
回線に出力することとしたことを特徴としている。According to the third aspect of the invention, the input data obtained by orthogonally transforming the prediction error input from the communication line having a high communication speed is inversely quantized with the quantization coefficient 1 set by the encoding device of the transmission source. After that, a plurality of frames are added to obtain the data in which the prediction error of one frame is subjected to the orthogonal transformation, the data is quantized with the quantization coefficient 2, and then the data is output to the communication line with the slow communication speed. It has a feature.

【００１０】請求項４の発明は、請求項１記載のフレー
ム合成方法を、通信速度の早い通信回線から入力した複
数フレーム分の入力データの中で、予測誤差のデータ量
がフレームの直交変換データのデータ量を上回る様な動
きの大きな画像フレームや予測誤差データの量子化誤差
の累積を排除するために挿入するフレーム内符号化され
たデータが存在する場合に、前記フレーム内符号化デー
タにそれ以降のフレームの前記予測誤差に前記直交変換
を施した前記通信速度の早い通信回線から入力した入力
データを加算して１フレームの前記予測誤差に前記直交
変換を施した出力データを算出し、フレーム内符号化デ
ータとして前記通信速度の遅い通信回線に出力すること
としたことを特徴とている。According to a fourth aspect of the present invention, in the frame synthesizing method according to the first aspect, the orthogonal transformation data in which the data amount of the prediction error is the frame among the input data for a plurality of frames input from the communication line having a high communication speed. If there is intraframe-coded data to be inserted in order to eliminate the accumulation of quantization errors of image frames and prediction error data that have large motions that exceed the data amount of The input data input from the communication line with the high communication speed, which has been subjected to the orthogonal transformation, is added to the prediction error of the subsequent frames to calculate output data obtained by performing the orthogonal transformation on the prediction error of one frame, The internal coded data is output to the communication line with the slow communication speed.

【００１１】請求項５の発明は、通信速度の早い通信回
線から入力した入力データを送信元の符号化装置が設定
した量子化係数１で逆量子化を行なった後、前記フレー
ム内符号化データにそれ以降のフレームの前記予測誤差
に前記直交変換を施した前記通信速度の早い通信回線か
ら入力した入力データを加算して１フレームの前記予測
誤差に前記直交変換を施した出力データを算出し、量子
化係数２で量子化を行なった後、フレーム内符号化デー
タとして前記通信速度の遅い通信回線に出力することを
特徴としている。According to a fifth aspect of the present invention, the input data input from the communication line having a high communication speed is inversely quantized by the quantization coefficient 1 set by the encoding device of the transmission source, and then the intra-frame encoded data is obtained. Is added to the prediction error of the subsequent frames and the input data input from the communication line having the high communication speed, which has been subjected to the orthogonal transformation, and output data obtained by performing the orthogonal transformation on the prediction error of one frame is calculated. After being quantized with the quantization coefficient 2, it is output to the communication line with a slow communication speed as intraframe coded data.

【００１２】請求項６の発明は、請求項３の発明に加
え、量子化係数２で量子化を行なった前記データを量子
化係数２で逆量子化し、画像メモリに保存することを特
徴としている。The invention of claim 6 is characterized in that, in addition to the invention of claim 3, the data quantized by the quantization coefficient 2 is dequantized by the quantization coefficient 2 and stored in the image memory. .

【００１３】請求項７の発明は、請求項５の発明に加
え、量子化係数２で量子化を行なった前記データを量子
化係数２で逆量子化し、画像メモリに保存することを特
徴としている。The invention of claim 7 is characterized in that, in addition to the invention of claim 5, the data quantized by the quantization coefficient 2 is dequantized by the quantization coefficient 2 and stored in the image memory. .

【００１４】請求項８の発明は、複号化器と符号化器に
加え、逆量子化された直交変換データを記録する第３の
画像メモリと複号化器の逆量子化手段が出力する逆量子
化した入力データと前記第３の画像メモリのデータを加
算して第３の画像メモリに再び記録する第３の加算手段
と、前記入力データがフレーム内予測データの場合には
前記第３の画像メモリのデータを前記第３の加算手段に
導かなくするスイッチ手段とで構成される予測誤差累算
器とからなり、入力データの最初の１フレーム以外に動
き予測がない期間はフレーム内予測データまたはフレー
ム間予測誤差を前記複号化器の逆量子化手段で逆量子化
した直交変換データを前記予測誤差累算器で累算し、所
定のフレーム数分累算した時点で符号化器の量子化手段
で量子化して出力するとともに複号化器の逆直交変換手
段で逆直交変換して複号化器の動き補償用画像メモリに
予測データとして書き込み、また所定枚数に達する前に
動き予測のフレームが入力された時点で複号化器の逆直
交変換手段で逆直交変換して複号化器の動き補償用画像
メモリに予測データとして書き込んだ後、動き予測を行
なうことを特徴としている。According to the invention of claim 8, in addition to the decoder and the encoder, a third image memory for recording the inversely quantized orthogonal transform data and the inverse quantizer of the decoder output. Third addition means for adding the inversely quantized input data and the data of the third image memory and recording it again in the third image memory; and the third adding means when the input data is intra-frame prediction data. And a prediction error accumulator composed of a switch means for not guiding the data of the image memory to the third adding means, and intra-frame prediction is performed during a period when there is no motion prediction other than the first frame of the input data. The data or the inter-frame prediction error is inversely quantized by the inverse quantizer of the decoding device, the orthogonal transformation data is accumulated by the prediction error accumulator, and the encoder is added when a predetermined number of frames are accumulated. Quantize with the quantizer of and output In addition, the inverse orthogonal transform means of the decoding device performs inverse orthogonal transformation and writes it as prediction data in the motion compensation image memory of the decoding device, and at the time when the motion prediction frame is input before reaching the predetermined number. The feature of the present invention is that the inverse orthogonal transform is performed by the inverse orthogonal transform means of the decoder and the result is written in the motion compensation image memory of the decoder as prediction data, and then the motion estimation is performed.

【００１５】請求項９の発明は、レート変換単位である
前記所定枚数のフレーム中に動き予測フレームが１枚の
み存在する場合にその動きベクトルをレート変換後の動
きベクトルとすることを特徴としている。According to a ninth aspect of the present invention, when there is only one motion prediction frame in the predetermined number of frames which is a rate conversion unit, the motion vector is set as the motion vector after rate conversion. .

【００１６】請求項１０の発明は、画像フレームを複数
のブロックに分割し、ブロック毎にフレーム内符号化、
フレーム間符号化、動き予測符号化を選択する画像符号
化において、複数フレームの同一ブロックに対して請求
項１から９記載の発明を適用することを特徴としてい
る。According to a tenth aspect of the present invention, the image frame is divided into a plurality of blocks, and intra-frame coding is performed for each block.
In the image coding for selecting the inter-frame coding or the motion prediction coding, the inventions according to claims 1 to 9 are applied to the same block of a plurality of frames.

【００１７】[0017]

【作用】請求項１の発明によれば、フレームレートと量
子化ステップは遅い通信回線速度において視覚的に最適
値に設定される。According to the first aspect of the present invention, the frame rate and the quantization step are visually set to optimum values at a low communication line speed.

【００１８】請求項２の発明によれば、フレームの合成
は直交変換係数のまま行なわれ、入力フレーム数分の逆
直交変換と出力フレーム数分の直交変換を不要としてい
る。According to the second aspect of the present invention, the synthesis of the frames is performed with the orthogonal transform coefficient as it is, and the inverse orthogonal transform for the number of input frames and the orthogonal transform for the number of output frames are unnecessary.

【００１９】請求項３の発明によれば、複数フレームを
合成したフレームは第２の量子化係数で量子化されるた
め、視覚的に最適な画品質とフレームレートにレート変
換される。According to the third aspect of the present invention, the frame obtained by synthesizing a plurality of frames is quantized by the second quantization coefficient, so that the rate is converted into a visually optimum image quality and frame rate.

【００２０】請求項４の発明によれば、合成する入力フ
レームにフレーム内符号化フレームが存在する場合で
も、フレームの合成は直交変換係数のまま行なわれ、入
力フレーム数分の逆直交変換と出力フレーム数分の直交
変換を不要としている。According to the fourth aspect of the invention, even if the intra-coded frame exists in the input frame to be combined, the frame combination is performed with the orthogonal transform coefficient, and the inverse orthogonal transform and the output corresponding to the number of input frames are performed. Orthogonal transformation for the number of frames is unnecessary.

【００２１】請求項５の発明によれば、請求項４で合成
されたフレームは第２の量子化係数で量子化されるた
め、視覚的に最適な画品質とフレームレートにレート変
換される。According to the invention of claim 5, since the frame combined in claim 4 is quantized by the second quantization coefficient, it is rate-converted to a visually optimum image quality and frame rate.

【００２２】請求項６の発明によれば、請求項３の発明
でレート変換したデータを画像メモリに保存し、動き補
償が行えるようにしている。According to the invention of claim 6, the data rate-converted by the invention of claim 3 is stored in an image memory so that motion compensation can be performed.

【００２３】請求項７の発明によれば、請求項５の発明
でレート変換したデータを画像メモリに保存し、動き補
償が行えるようにしている。According to the invention of claim 7, the rate-converted data of the invention of claim 5 is stored in an image memory so that motion compensation can be performed.

【００２４】請求項８の発明によれば、予測誤差累算器
の第３の画像メモリには入力データがフレーム間予測誤
差である場合、その予測誤差直交変換データが加算され
ていき、入力データがフレーム内予測データである場
合、予測直交変換データが上書きされる。所定のフレー
ム数が累算された後、符号化器の量子化手段で量子化さ
れ、速度の遅い通信回線に出力される。このとき、入力
データがすべてフレーム間予測誤差の場合はフレーム間
予測誤差として出力され、入力データに１枚でもフレー
ム内予測データが含まれる場合には付れーむ内予測デー
タとして出力される。その間、入力フレーム数分の逆直
交変換と出力フレーム数分の直交変換が不要となる。ま
た累算が所定枚数に達する前に動き予測のフレームが入
力された場合には、それまで累算した直交変換係数が複
号化器の逆直交変換手段におくられ一度に逆直交変換さ
れるため、累算したフレーム数分の逆直交変換が不要と
なる。According to the invention of claim 8, when the input data is an inter-frame prediction error, the prediction error orthogonal transformation data is added to the third image memory of the prediction error accumulator, and the input data is added. Is intra-frame prediction data, the prediction orthogonal transform data is overwritten. After the predetermined number of frames are accumulated, they are quantized by the quantizing means of the encoder and output to the slow communication line. At this time, if all the input data are inter-frame prediction errors, they are output as inter-frame prediction errors, and if even one piece of intra-frame prediction data is included in the input data, they are output as attached intra-prediction data. In the meantime, the inverse orthogonal transformation for the number of input frames and the orthogonal transformation for the number of output frames are unnecessary. If a motion prediction frame is input before the cumulative number reaches a predetermined number, the orthogonal transform coefficients accumulated up to that point are sent to the inverse orthogonal transform means of the decoder and inverse orthogonal transformed at once. Therefore, it is not necessary to perform inverse orthogonal transform for the number of accumulated frames.

【００２５】請求項９の発明によれば、入力された動き
ベクトルを用いて動き予測を行い、出力フレームの動き
予測誤差とともに動きベクトルとして出力することで動
きベクトルの検出を不要としている。According to the ninth aspect of the present invention, the motion prediction is performed using the input motion vector, and the motion vector is output together with the motion prediction error of the output frame, thereby eliminating the detection of the motion vector.

【００２６】請求項１０の発明によれば、対象画像の局
所的な特性に対応する目的でフレームを複数のブロック
に分けて処理を行なう場合にも、請求項１〜９の発明を
適用可能とする。According to the tenth aspect of the invention, the inventions of the first to ninth aspects can be applied even when the frame is divided into a plurality of blocks and processed for the purpose of dealing with the local characteristics of the target image. To do.

【００２７】[0027]

【実施例】【Example】

（実施例１）以下、本発明の実施例１ついて図面を参照
しながら説明する。(Embodiment 1) Hereinafter, Embodiment 1 of the present invention will be described with reference to the drawings.

【００２８】図１は本発明の実施例である画像符号化装
置の構成図である。図１において１０１は第３の加算手
段、１０２は第３の画像メモリ、１０３はスイッチ手段
で予測誤差累算器１０４を構成している。１０５、１０
６はセレクタである。符号化器１１６、複号化器１２２
およびそれらを構成するブロックは従来の技術で説明し
ているのでここでは省略する。FIG. 1 is a block diagram of an image coding apparatus according to an embodiment of the present invention. In FIG. 1, reference numeral 101 is a third adding means, 102 is a third image memory, and 103 is a switching means to form a prediction error accumulator 104. 105, 10
6 is a selector. Encoder 116, Decoder 122
The blocks constituting them and the blocks constituting them have been described in the prior art, and therefore will be omitted here.

【００２９】以上のように構成された画像符号化装置に
ついてその動作を図１を用いて説明する。図１は０から
ｉフレーム目までのレート変換を終了後、次のｎフレー
ム分の予測誤差信号を合成してｉ番目のフレームとの１
つの予測誤差信号を作成する様子を示しており、図中の
式はｉ＋ｎフレーム目の予測誤差が入力された時点を示
している。ここで、Ｘｉはｉフレームの空間座標表現、
ｔ（Ｘｉ）はその直交変換表現、さらにｑ（ｔ（Ｘ
ｉ））は、それを量子化したことを表わしている。ｉ＋
ｎフレーム目の予測誤差信号ｑ（ｔ（Ｅｉ＋ｎ））は第
１の逆量子化手段１１７で逆量子化されて、ｔ（Ｅｉ＋
ｎ）＋Ｑｉ＋ｎ＝ｔ（Ｘｉ＋ｎ−Ｘｉ＋ｎ−１）＋Ｑｉ
＋ｎとなる。ここで、Ｑｉ＋ｎはｉ＋ｎフレーム目の予
測誤差を量子化したことによる量子化誤差である。この
信号は第３の加算手段１０１に導かれるが、スイッチ手
段１０３はｉ＋ｎフレーム目のデータがフレーム間予測
誤差信号であることから図のようにたおれており、第３
の加算手段１０１の他方には第３の画像メモリに記憶さ
れているデータが入力される。つまり、ｉからｉ＋ｎ−
１フレーム目までの予測誤差信号の累計とｉ＋ｎフレー
ム目の予測誤差信号が加算され、その結果、ｔ（Ｘｉ＋
ｎ−Ｘｉ）＋Ｑ’ｉ＋ｎが出力される。ここでＱ’ｉ＋
ｎは量子化誤差の累計である。この信号は第３の画像メ
モリ１０２に記憶されるとともに、セレクタ１０６に入
力される。セレクタ１０６はｉフレームからｉ＋ｎフレ
ーム目のデータがすべてフレーム間予測誤差信号である
ことから図のようにたおれており、この信号は第１の量
子化手段１０９で量子化され、ｑ（ｔ（Ｘｉ＋ｎ−Ｘ
ｉ）＋Ｑ’ｉ＋ｎ）として速度の遅い通信回線に出力さ
れる。それと同時に、このデータは第２の逆量子化手段
で逆量子化され、さらに第２の逆直交変換手段１１１で
逆直交変換され、加算手段１１２でｉフレームまでの予
測データに加算され、ｉ＋ｎフレームまでの予測データ
として第２の画像メモリ１１３に保存される。同様に第
３の画像メモリの内容は、セレクタ１０５を経て第１の
逆直交変換手段１１８で逆直交変換され、加算手段１１
９でｉフレームまでの予測データに加算され、ｉ＋ｎフ
レームまでの予測データとして第１の画像メモリ１２０
に保存される。特別な場合として、ｉ＋１フレーム目の
予測誤差のみが動き補償予測誤差の場合、第１の画像メ
モリ１２０および第２の画像メモリ１１３に動き補償を
適用できる。この場合には、速度の遅い通信回線に出力
する画像データに付随して動き補償に用いた動きベクト
ルを出力する。なを、量子化ステップ、フレーム内／フ
レーム間識別、動きベクトルは画像データに付随する制
御データとして速度の早い通信回線より与えられる。The operation of the image coding apparatus configured as described above will be described with reference to FIG. In FIG. 1, after the rate conversion from the 0th frame to the i-th frame is completed, the prediction error signals for the next n frames are combined to obtain the 1-th frame of the i-th frame.
It shows how to generate two prediction error signals, and the formula in the figure shows the time when the prediction error of the (i + n) th frame is input. Where Xi is the spatial coordinate expression of the i frame,
t (Xi) is its orthogonal transform expression, and q (t (Xi)
i)) represents that it is quantized. i +
The prediction error signal q (t (Ei + n)) of the nth frame is dequantized by the first dequantization means 117, and t (Ei +).
n) + Qi + n = t (Xi + n−Xi + n−1) + Qi
+ N. Here, Qi + n is a quantization error caused by quantizing the prediction error of the i + nth frame. This signal is led to the third adding means 101, but the switching means 103 is put as shown in the figure because the data of the i + nth frame is an inter-frame prediction error signal,
The data stored in the third image memory is input to the other of the adding means 101. That is, i to i + n-
The cumulative total of the prediction error signals up to the first frame and the prediction error signal of the i + nth frame are added, and as a result, t (Xi +
n-Xi) + Q'i + n is output. Q'i +
n is the cumulative total of quantization errors. This signal is stored in the third image memory 102 and also input to the selector 106. The selector 106 holds as shown in the figure because all the data from the i-th frame to the i + n-th frame is an inter-frame prediction error signal, and this signal is quantized by the first quantizing means 109, and q (t (Xi + n -X
i) + Q'i + n) is output to the slow communication line. At the same time, this data is inversely quantized by the second inverse quantization means, further inversely orthogonally transformed by the second inverse orthogonal transformation means 111, added by the addition means 112 to the prediction data up to i frames, and i + n frames. Are stored in the second image memory 113 as prediction data up to. Similarly, the contents of the third image memory are subjected to inverse orthogonal transform by the first inverse orthogonal transform means 118 via the selector 105, and the addition means 11 is added.
9 is added to the prediction data up to the i frame, and the first image memory 120 is added as the prediction data up to the i + n frame.
Stored in. As a special case, when only the prediction error of the (i + 1) th frame is a motion compensation prediction error, motion compensation can be applied to the first image memory 120 and the second image memory 113. In this case, the motion vector used for motion compensation is output along with the image data output to the slow communication line. The quantization step, the intra-frame / inter-frame discrimination, and the motion vector are given as control data accompanying the image data from a high-speed communication line.

【００３０】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータを直交変換係数のまま合成して１枚のフレームを作
成することができ、逆直交変換と直交変換の処理を省略
できる。なを、ここでは直交変換の線型性を利用してい
る。また、第１の逆量子化手段１１７に比して第２の逆
量子化手段１１０の量子化ステップを大きくとることに
よってもレート変換が可能であり、遅い通信回線の通信
レートに応じた画品質と動きの最適値に設定できる。こ
のような操作はフレーム単位でおこなってもよいし、フ
レームを複数ブロックに分割している場合には、各フレ
ームの同一ブロック間に適用してもよい。As described above, according to the present embodiment, a plurality of inter-frame prediction error data input from a high-speed communication line can be combined as the orthogonal transform coefficient to create one frame. The inverse orthogonal transform and orthogonal transform processes can be omitted. However, the linearity of orthogonal transformation is used here. Also, rate conversion can be performed by making the quantization step of the second dequantization means 110 larger than that of the first dequantization means 117, and image quality according to the communication rate of the slow communication line can be obtained. And the optimum value of movement can be set. Such an operation may be performed for each frame, or when the frame is divided into a plurality of blocks, it may be applied between the same blocks of each frame.

【００３１】（実施例２）次に、０からｉフレーム目ま
でのレート変換を終了後、次のｎフレーム分の予測誤差
信号を合成する途中、ｉ＋ｎ−１フレーム目がフレーム
内符号化データであり、最後のｉ＋ｎフレーム目はｉ＋
ｎ−１フレーム目とのフレーム間予測誤差データであっ
た場合を図２を用いて説明する。フレーム内符号化デー
タが入力されるまでは、実施例１と同様に動作していた
ものとして、ｉ＋ｎ−１フレーム目が入力された時点で
スイッチ手段１０３は図２のように開くため、第１の逆
量子化手段１１７で逆量子化されたフレーム内予測デー
タは第３の画像メモリ１０２に上書きされる。この時、
符号化制御部１１５はフレーム内符号化データが入力さ
れたことを知覚する。次にｉ＋ｎフレーム目のｉ＋ｎ−
１フレームとのフレーム内予測誤差信号が入力される
が、この時にはスイッチ手段１０３は再び閉じ、予測誤
差信号の逆量子化されたデータは予測データに加算さ
れ、ｔ（Ｘｉ＋ｎ）＋Ｑ’ｉ＋ｎとして第３の画像メモ
リ１０２に記憶される。以下、実施例１と同様に第１の
量子化手段１０９で量子化され、ｑ（ｔ（Ｘｉ＋ｎ）＋
Ｑ’ｉ＋ｎ）として速度の遅い通信回線に出力される
が、符号化制御部１１５がフレーム内予測データの入力
を知覚しているため、セレクタ１２４およびセレクタ１
２５は図のように選択するため、第２の逆量子化手段１
１０で逆量子化され、第２の逆直交変換手段１１１で逆
直交変換された予測データは第２の画像メモリ１１３に
上書きされ、第１の逆直交変換手段１１８で逆直交変換
された予測データは第１の画像メモリに上書きされる。
なを、量子化ステップ、フレーム内／フレーム間識別、
動きベクトルは画像データに付随する制御データとして
速度の早い通信回線より与えられる。(Embodiment 2) Next, after the rate conversion from the 0th frame to the i-th frame is completed, the i + n-1th frame is the intra-frame coded data while the prediction error signals for the next n frames are being synthesized. Yes, the last i + n frame is i +
A case where it is the inter-frame prediction error data with respect to the (n-1) th frame will be described with reference to FIG. It is assumed that the same operation as in the first embodiment is performed until the intra-frame encoded data is input, and the switch means 103 opens as shown in FIG. The intra-frame prediction data dequantized by the dequantization means 117 is overwritten in the third image memory 102. At this time,
The encoding control unit 115 perceives that the intra-frame encoded data has been input. Next, i + n- of the i + nth frame
The intra-frame prediction error signal of one frame is input, but at this time, the switch means 103 is closed again, the dequantized data of the prediction error signal is added to the prediction data, and t (Xi + n) + Q′i + n is obtained. 3 is stored in the image memory 102. Hereinafter, as in the case of the first embodiment, the quantization is performed by the first quantization means 109, and q (t (Xi + n) +
Q′i + n) is output to the communication line with a low speed, but since the encoding control unit 115 perceives the input of the intraframe prediction data, the selector 124 and the selector 1
Since 25 is selected as shown in the figure, the second dequantization means 1
Prediction data inversely quantized by 10 and inversely orthogonally transformed by the second inverse orthogonal transformation unit 111 is overwritten in the second image memory 113, and prediction data is inversely orthogonally transformed by the first inverse orthogonal transformation unit 118. Is overwritten in the first image memory.
Quantization step, intra-frame / inter-frame discrimination,
The motion vector is given as control data accompanying the image data from a high speed communication line.

【００３２】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータにフレーム内予測データが含まれている場合にも直
交変換係数のまま合成して１枚のフレームを作成するこ
とができ、逆直交変換と直交変換の処理を省略できる。
なを、ここではフレーム内予測データが１フレームだけ
含まれる場合を説明したが、任意の位置に複数フレーム
が含まれている場合も、同様の動作を繰り返せばフレー
ムの合成が行える。また、第１の逆量子化手段１１７に
比して第２の逆量子化手段１１０の量子化ステップを大
きくとることによってもレート変換が可能であり、遅い
通信回線の通信レートに応じた画品質と動きの最適値に
設定できる。このような操作はフレーム単位でおこなっ
てもよいし、フレームを複数ブロックに分割している場
合には、各フレームの同一ブロック間に適用してもよ
い。As described above, according to the present embodiment, even when the intraframe prediction data is included in the plurality of interframe prediction error data input from the high speed communication line, the orthogonal transform coefficients are combined as they are. As a result, one frame can be created, and the processes of inverse orthogonal transform and orthogonal transform can be omitted.
Although the case where the intra-frame prediction data includes only one frame has been described here, even when a plurality of frames are included in an arbitrary position, the frames can be combined by repeating the same operation. Also, rate conversion can be performed by making the quantization step of the second dequantization means 110 larger than that of the first dequantization means 117, and image quality according to the communication rate of the slow communication line can be obtained. And the optimum value of movement can be set. Such an operation may be performed for each frame, or when the frame is divided into a plurality of blocks, it may be applied between the same blocks of each frame.

【００３３】（実施例３）次に、０からｉフレーム目ま
でのレート変換を終了後、次のｎフレーム分の予測誤差
信号を合成する途中、ｉ＋ｎ−１フレーム目が動き補償
予測誤差データであり、最後のｉ＋ｎフレーム目はｉ＋
ｎ−１フレーム目とのフレーム間予測誤差データであっ
た場合を図３を用いて説明する。(Third Embodiment) Next, after the rate conversion from the 0th frame to the i-th frame is completed, the i + n-1th frame is the motion compensation prediction error data while the prediction error signals for the next n frames are being synthesized. Yes, the last i + n frame is i +
A case where it is the inter-frame prediction error data with respect to the (n-1) th frame will be described with reference to FIG.

【００３４】ｉ＋ｎ−１フレーム目が入力されるまで
は、予測誤差累算器１０４は実施例１または実施例２と
同様に動作している。次に、ｉ＋ｎ−１フレーム目が動
き補償予測誤差信号である場合、第１の逆量子化手段１
１７で予測誤差データの逆量子化を始める前に第３の画
像メモリの内容をセレクタ１０５を介して第１の逆直交
変換手段１１８に送り、逆直交変換した後、第１の画像
メモリ１２０に書き込む。次にセレクタ１０５を第１の
逆量子化手段１１７に切り替え、画像データに付随して
速度の早い通信回線より入力された動きベクトルで第１
の画像メモリ１２０を動き補償し、従来の複号化器と同
様に動き補償予測誤差データを動き補償された第１の画
像メモリの出力に加算する。次フレーム以降、フレーム
間予測誤差または、フレーム内予測データが続く場合に
は、最後の予測誤差まで予測誤差累算器１０４に加算し
た後、第１の画像メモリに加算するが、セレクタ１０６
は第１の直交変換手段１０８を選択し、複号化器１２２
が出力するビデオ出力と第２の画像メモリに記憶されて
いるｉフレームまでの予測データに、画像データに付随
して速度の早い通信回線より入力された動きベクトルで
動き補償を行なったデータとの予測誤差を減算器１０７
で算出し、その結果を第１の直交変換手段１０８で直交
変換し、第１の量子化手段１０９で量子化して、速度の
遅い通信回線に出力する。この時、画像データに付随し
て、速度の早い通信回線より入力された動きベクトルを
制御データとして出力する。以下、第２の逆量子化手段
１１０で逆量子化し、第２の逆直交変換手段１１１で逆
直交変換して第２の画像メモリ１１３に加算すること
は、従来の符号化器の動作と同様である。The prediction error accumulator 104 operates in the same manner as in the first or second embodiment until the (i + n-1) th frame is input. Next, when the (i + n-1) th frame is a motion compensation prediction error signal, the first inverse quantization means 1
Before starting the dequantization of the prediction error data in 17, the contents of the third image memory are sent to the first inverse orthogonal transform means 118 via the selector 105, subjected to the inverse orthogonal transform, and then stored in the first image memory 120. Write. Next, the selector 105 is switched to the first dequantizing means 117, and the first motion vector is input by the motion vector input from the fast communication line accompanying the image data.
Motion compensation is performed on the image memory 120, and the motion-compensated prediction error data is added to the output of the motion-compensated first image memory as in the conventional decoder. When the inter-frame prediction error or the intra-frame prediction data continues after the next frame, the final prediction error is added to the prediction error accumulator 104 and then added to the first image memory.
Selects the first orthogonal transformation means 108, and the decoder 122
Of the video output and the prediction data up to the i-frame stored in the second image memory, and the data that is motion-compensated with the motion vector input from the high-speed communication line accompanying the image data. Prediction error subtractor 107
The first orthogonal transformation means 108 performs orthogonal transformation, the first quantization means 109 quantizes the result, and outputs the result to a communication line with a low speed. At this time, along with the image data, the motion vector input from the high speed communication line is output as control data. Hereinafter, dequantizing by the second dequantizing means 110, performing inverse orthogonal transform by the second inverse orthogonal transforming means 111 and adding to the second image memory 113 is similar to the operation of the conventional encoder. Is.

【００３５】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータに動き補償予測誤差データが１フレーム含まれてい
る場合にも、それ以外のフレームデータは直交変換係数
のまま合成して１枚のフレームを作成することができ、
逆直交変換と直交変換の処理を省略できる。また、ｉフ
レームまでの予測データとｉ＋ｎフレームまでのデータ
間で動き検出を実行するする必要がなく処理が大幅に削
減できる。なを、第１の逆量子化手段１１７に比して第
２の逆量子化手段１１０の量子化ステップを大きくとる
ことによってもレート変換が可能であり、遅い通信回線
の通信レートに応じた画品質と動きの最適値に設定でき
る。このような操作はフレーム単位でおこなってもよい
し、フレームを複数ブロックに分割している場合には、
各フレームの同一ブロック間に適用してもよい。As described above, according to the present embodiment, even when a plurality of inter-frame prediction error data input from a high-speed communication line includes one frame of motion compensation prediction error data, other than that. Frame data can be combined with orthogonal transform coefficients to create a single frame,
The inverse orthogonal transform and orthogonal transform processes can be omitted. In addition, it is not necessary to perform motion detection between the predicted data up to i frames and the data up to i + n frames, and the processing can be greatly reduced. However, rate conversion can also be performed by making the quantization step of the second dequantization means 110 larger than that of the first dequantization means 117, and the image can be converted according to the communication rate of the slow communication line. It can be set to the optimum value for quality and movement. Such an operation may be performed on a frame-by-frame basis, or if the frame is divided into multiple blocks,
It may be applied between the same blocks of each frame.

【００３６】（実施例４）次に、０からｉフレーム目ま
でのレート変換を終了後、次のｎフレーム分の予測誤差
信号を合成する途中に、動き補償予測誤差が２フレーム
以上ある場合を図４を用いて説明する。(Embodiment 4) Next, after the rate conversion from the 0th frame to the i-th frame is completed, a case where there are two or more motion compensation prediction errors in the middle of combining the prediction error signals for the next n frames will be described. This will be described with reference to FIG.

【００３７】図４において４２３は動き検出器で第２の
画像メモリ１１３に順次動きベクトルを指定し、その出
力画像とビデオ入力とを比較することにより画像の動き
を予測し、動き補償用の最適な動きベクトルを出力す
る。この場合、予測誤差累算器１０４および複号化器１
２２は実施例３ど同様の動作をし、ｉ＋ｎフレームまで
の予測データをビデオ出力するとともに、第１の画像メ
モリ１２０に記憶する。次に、動き検出器４２３は複号
化器が出力するビデオ出力と第２の画像メモリが記憶す
るｉフレーム目までの予測データの動き量を検出し、動
き補償に最適な動きベクトルを検出する。次にビデオ入
力と検出した動きベクトルで動き補償された第２の画像
メモリが記憶するｉフレーム目までの予測誤差が減算手
段１０７で算出される。以下、従来の符号化器と同様に
画像データが符号化され、検出した動きベクトルととも
に速度の遅い通信回線に出力され、第２の画像メモリに
ｉ＋ｎフレーム目の予測データが記憶される。In FIG. 4, reference numeral 423 is a motion detector which sequentially specifies motion vectors in the second image memory 113, compares the output image with the video input, predicts the motion of the image, and optimizes the motion compensation. Output motion vector. In this case, the prediction error accumulator 104 and the decoder 1
22 performs the same operation as in the third embodiment, outputs the predicted data up to i + n frames as a video, and stores it in the first image memory 120. Next, the motion detector 423 detects the amount of motion of the video output output from the decoder and the predicted data up to the i-th frame stored in the second image memory, and detects the optimum motion vector for motion compensation. . Next, the subtraction unit 107 calculates the prediction error up to the i-th frame stored in the second image memory that has been motion-compensated with the motion vector detected as the video input. After that, the image data is coded similarly to the conventional encoder, is output to the communication line having a low speed together with the detected motion vector, and the prediction data of the (i + n) th frame is stored in the second image memory.

【００３８】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータに動き補償予測誤差データが２フレーム以上含まれ
ている場合にも、それ以外のフレームデータは直交変換
係数のまま合成して１枚のフレームを作成することがで
き、逆直交変換と直交変換の処理を省略できる。なを、
第１の逆量子化手段１１７に比して第２の逆量子化手段
１１０の量子化ステップを大きくとることによってもレ
ート変換が可能であり、遅い通信回線の通信レートに応
じた画品質と動きの最適値に設定できる。このような操
作はフレーム単位でおこなってもよいし、フレームを複
数ブロックに分割している場合には、各フレームの同一
ブロック間に適用してもよい。As described above, according to the present embodiment, even when a plurality of inter-frame prediction error data input from a high speed communication line includes two or more frames of motion compensation prediction error data, other than that. The frame data can be combined as it is with the orthogonal transform coefficient to create one frame, and the inverse orthogonal transform and orthogonal transform processes can be omitted. What
The rate conversion can be performed by increasing the quantization step of the second dequantization means 110 as compared with the first dequantization means 117, and the image quality and motion according to the communication rate of the slow communication line can be obtained. Can be set to the optimum value of. Such an operation may be performed for each frame, or when the frame is divided into a plurality of blocks, it may be applied between the same blocks of each frame.

【００３９】[0039]

【発明の効果】以上のように、本発明によれば、視覚的
に最適な量子化ステップとフレームレートを設定でき、
フレーム内符号化データや動き補償のないフレーム間予
測データに対して逆直交変換や直交変換の処理を不要と
し、動き補償１フレーム分は、動き予測の処理が不要な
レート変換符号化装置を提供可能となる。As described above, according to the present invention, the optimal quantization step and frame rate can be set visually.
A rate conversion coding apparatus that does not require inverse orthogonal transform or orthogonal transform processing for intraframe coded data or interframe predicted data without motion compensation and does not require motion prediction processing for one frame of motion compensation. It will be possible.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施例１におけるレート変換符号化装
置の構成図FIG. 1 is a configuration diagram of a rate conversion encoding device according to a first embodiment of the present invention.

【図２】本発明の実施例２におけるレート変換符号化装
置の構成図FIG. 2 is a configuration diagram of a rate conversion encoding device according to a second embodiment of the present invention.

【図３】本発明の実施例３におけるレート変換符号化装
置の構成図FIG. 3 is a configuration diagram of a rate conversion encoding device according to a third embodiment of the present invention.

【図４】本発明の実施例４におけるレート変換符号化装
置の構成図FIG. 4 is a configuration diagram of a rate conversion encoding device according to a fourth embodiment of the present invention.

【図５】従来の技術における画像符号化装置の構成図FIG. 5 is a configuration diagram of an image encoding device according to a conventional technique.

【符号の説明】[Explanation of symbols]

１０１ 第３の加算手段 １０２ 第３の画像メモリ １０３ スイッチ手段 １０４ 予測誤差累算器 １１６ 符号化器 １２２ 複号化器 101 Third Addition Means 102 Third Image Memory 103 Switching Means 104 Prediction Error Accumulator 116 Encoder 122 Decoder

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9371−5Ｋ Ｈ０４Ｌ 13/00 ３０７ Ｃ ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. ⁶ Identification code Internal reference number FI technical display location 9371-5K H04L 13/00 307C

Claims (10)

【特許請求の範囲】[Claims] 【請求項１】通信速度の異なる伝送路間で画像データを
中継する際に、通信速度の早い通信回線から入力された
画像データのフレームデータを複数枚合成して１枚のフ
レームデータとし、量子化精度を荒くして通信速度の遅
い通信回線に送出することを特徴とするレート変換画像
符号化装置。1. When relaying image data between transmission lines having different communication speeds, a plurality of frame data of image data input from a communication line having a high communication speed are combined into one frame data, A rate conversion image coding device characterized by roughening the coding accuracy and sending out to a communication line with a slow communication speed. 【請求項２】画像データがフレーム間予測誤差に対して
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを複数フレーム
分加算して１フレームの前記予測誤差に前記直交変換を
施した出力データとして前記通信速度の遅い通信回線に
出力することを特徴とする請求項１記載のレート変換画
像符号化装置。2. Image data is hybrid-encoded data that performs orthogonal transformation on inter-frame prediction error, and the input is input from the communication line with a high communication speed in which the orthogonal transformation is performed on the prediction error. 2. The rate conversion image coding apparatus according to claim 1, wherein data is added for a plurality of frames and output to the communication line having a slow communication speed as output data obtained by subjecting the prediction error of one frame to the orthogonal transformation. . 【請求項３】画像データがフレーム間予測誤差に対して
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数１で逆量子化を行なった
後、複数フレーム分加算して１フレームの前記予測誤差
に前記直交変換を施したデータとし量子化係数２で量子
化を行なった後、前記通信速度の遅い通信回線に出力す
ることを特徴とする請求項１記載のレート変換画像符号
化装置。3. Image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line with a high communication speed, which has been subjected to the orthogonal transformation on the prediction error. After the data is dequantized with the quantization coefficient 1 set by the encoding device of the transmission source, a plurality of frames are added and the prediction error of one frame is subjected to the orthogonal transformation to obtain the data and the quantization coefficient 2 is used. 2. The rate conversion image coding apparatus according to claim 1, wherein after the quantization, the data is output to the communication line having a slow communication speed. 【請求項４】画像データがフレーム間予測誤差に対して
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した複数フレーム分の入力デー
タの中で、予測誤差のデータ量がフレームの直交変換デ
ータのデータ量を上回る様な動きの大きな画像フレーム
や予測誤差データの量子化誤差の累積を排除するために
挿入するフレーム内符号化されたデータが存在する場合
に、前記フレーム内符号化データにそれ以降のフレーム
の前記予測誤差に前記直交変換を施した前記通信速度の
早い通信回線から入力した入力データを加算して１フレ
ームの前記予測誤差に前記直交変換を施した出力データ
を算出し、フレーム内符号化データとして前記通信速度
の遅い通信回線に出力することを特徴とする請求項１記
載のレート変換画像符号化装置。4. Image data is hybrid-encoded data that performs orthogonal transformation on inter-frame prediction error, and a plurality of data input from the communication line with a high communication speed, which has undergone the orthogonal transformation on the prediction error. A frame that is inserted to eliminate the accumulation of quantization errors in predictive error data and image frames that have large movements in the amount of predictive error data that exceeds the amount of orthogonal transform data in the frame input data. When the intra-coded data exists, the intra-coded data is added with the input data input from the communication line with a high communication speed, which is obtained by performing the orthogonal transformation on the prediction error of the subsequent frames. Output data obtained by subjecting the prediction error of one frame to the orthogonal transformation is calculated, and is output to the communication line with the slow communication speed as intraframe coded data. Rate converting the image encoding apparatus according to claim 1, wherein the forces. 【請求項５】画像データがフレーム間予測誤差に対して
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数１で逆量子化を行なった
後、前記フレーム内符号化データにそれ以降のフレーム
の前記予測誤差に前記直交変換を施した前記通信速度の
早い通信回線から入力した入力データを加算して１フレ
ームの前記予測誤差に前記直交変換を施した出力データ
を算出し、量子化係数２で量子化を行なった後、フレー
ム内符号化データとして前記通信速度の遅い通信回線に
出力することを特徴とする請求項４記載のレート変換画
像符号化装置。5. Image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line having a high communication speed in which the orthogonal transformation is performed on the prediction error. After dequantizing the data with the quantization coefficient 1 set by the encoding device of the transmission source, the intraframe encoded data is subjected to the orthogonal transformation on the prediction error of the subsequent frames to obtain the communication speed Input data input from a fast communication line is added to calculate output data obtained by subjecting the prediction error of one frame to the orthogonal transformation, and quantized with a quantization coefficient of 2 to obtain the intra-frame encoded data. 5. The rate conversion image coding apparatus according to claim 4, wherein the rate conversion image coding apparatus outputs to a communication line having a slow communication speed. 【請求項６】画像データがフレーム間予測誤差に対して
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数１で逆量子化を行なった
後、複数フレーム分加算して１フレームの前記予測誤差
に前記直交変換を施したデータとし量子化係数２で量子
化を行なった後、前記通信速度の遅い通信回線に出力す
るとともに、量子化係数２で量子化を行なった前記デー
タを量子化係数２で逆量子化し、画像メモリに保存する
ことを特徴とする請求項３記載のレート変換画像符号化
装置。6. The image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line having a high communication speed in which the orthogonal transformation is performed on the prediction error. After the data is dequantized with the quantization coefficient 1 set by the encoding device of the transmission source, a plurality of frames are added and the prediction error of one frame is subjected to the orthogonal transformation to obtain the data and the quantization coefficient 2 is used. After being quantized, it is output to the communication line having a slow communication speed, and the data quantized by the quantized coefficient 2 is dequantized by the quantized coefficient 2 and stored in the image memory. The rate conversion image encoding device according to claim 3. 【請求項７】画像データがフレーム間予測誤差に対して
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数１で逆量子化を行なった
後、前記フレーム内符号化データにそれ以降のフレーム
の前記予測誤差に前記直交変換を施した前記通信速度の
早い通信回線から入力した入力データを加算して１フレ
ームの前記予測誤差に前記直交変換を施した出力データ
を算出し、量子化係数２で量子化を行なった後、フレー
ム内符号化データとして前記通信速度の遅い通信回線に
出力するとともに、量子化係数２で量子化を行なった前
記データを量子化係数２で逆量子化し、画像メモリに保
存することを特徴とする請求項５記載のレート変換画像
符号化装置。7. The image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line having a high communication speed in which the orthogonal transformation is performed on the prediction error. After dequantizing the data with the quantization coefficient 1 set by the encoding device of the transmission source, the intraframe encoded data is subjected to the orthogonal transformation on the prediction error of the subsequent frames to obtain the communication speed Input data input from a fast communication line is added to calculate output data obtained by subjecting the prediction error of one frame to the orthogonal transformation, and quantized with a quantization coefficient of 2 to obtain the intra-frame encoded data. The data is output to a communication line with a low communication speed, and the data quantized with a quantization coefficient of 2 is dequantized with a quantization coefficient of 2 and stored in an image memory. Rate converting the image encoding apparatus according to claim 5, wherein that. 【請求項８】画像データが動き補償フレーム間予測誤差
に対して直交変換を行うハイブリッド符号化されたデー
タであって、前記予測誤差に前記直交変換を施した前記
通信速度の早い通信回線から入力した入力データを送信
元の符号化装置が設定した量子化係数１で逆量子化を行
なう第１の逆量子化手段と前記第１の逆量子化手段で逆
量子化した直交変換データを逆直交変換して空間座標デ
ータにする第１の逆直交変換手段と予測データを保存し
ておく第１の動き補償用画像メモリと前記予測値と前記
予測誤差を加算する第１の加算器とからなり早いフレー
ムレートで符号化データを複号する複号器と、前記通信
速度の遅い通信回線に出力した出力データの予測データ
を保存しておく第２の動き補償用画像メモリと前記複号
器の出力するビデオ信号と前記第２の動き補償用画像メ
モリの出力する予測データとの予測誤差を算出する減算
手段と前記予測誤差を直交変換する直交変換手段と前記
直交変換手段の出力を量子化する量子化手段と前記量子
化手段の出力を逆量子化する第２の逆量子化手段と前記
逆量子化手段の出力を逆直交変換する第２の逆直交変換
手段と前記第２の動き補償用画像メモリの出力する予測
データと前記第２の直交変換手段の出力を加算して前記
第２の動き補償用画像メモリに再び記録する加算手段と
からなり遅いフレームレートで符号化を行なう符号化器
に加え、逆量子化された直交変換データを記録する第３
の画像メモリと前記第１の逆量子化手段が出力する逆量
子化した入力データと前記第３の画像メモリのデータを
加算して第３の画像メモリに再び記録する第３の加算手
段と、前記入力データがフレーム内予測データの場合に
は前記第３の画像メモリのデータを前記第３の加算手段
に導かなくするスイッチ手段とで構成される予測誤差累
算器とからなり、入力データの最初の１フレーム以外に
動き予測がない期間はフレーム内予測データまたはフレ
ーム間予測誤差を前記第１の逆量子化手段で逆量子化し
た直交変換データを前記予測誤差累算器で累算し、所定
のフレーム数分累算した時点で前記量子化手段で量子化
して出力するとともに第１の逆直交変換手段で逆直交変
換して第１の動き補償用画像メモリに予測データとして
書き込み、また所定枚数に達する前に動き予測のフレー
ムが入力された時点で第１の逆直交変換手段で逆直交変
換して第１の動き補償用画像メモリに予測データとして
書き込んだ後、動き予測を行なうことを特徴とする請求
項７記載のレート変換画像符号化装置。8. Image data is hybrid-encoded data for performing orthogonal transformation on a motion-compensated interframe prediction error, and is input from the communication line having a high communication speed, which has undergone the orthogonal transformation on the prediction error. The first dequantizing means for dequantizing the input data with the quantized coefficient 1 set by the coding device of the transmission source and the orthogonal transform data dequantized by the first dequantizing means are inverse orthogonal. It comprises a first inverse orthogonal transform means for converting into spatial coordinate data, a first motion compensation image memory for storing prediction data, and a first adder for adding the prediction value and the prediction error. A decoder for decoding encoded data at a high frame rate, a second motion compensation image memory for storing predicted data of output data output to the communication line having a low communication speed, and the decoder. Output bidet Subtraction means for calculating a prediction error between a signal and prediction data output from the second motion compensation image memory, orthogonal transformation means for orthogonally transforming the prediction error, and quantization means for quantizing the output of the orthogonal transformation means. A second inverse quantizing means for inversely quantizing the output of the quantizing means, a second inverse orthogonal transforming means for inverse orthogonal transforming the output of the inverse quantizing means, and the second motion compensation image memory. In addition to the encoder for performing encoding at a slow frame rate, the prediction data to be output and the adding means for adding the output of the second orthogonal transformation means and recording it again in the second motion compensation image memory are added. Third recording of inversely quantized orthogonal transform data
Image memory, and third adding means for adding the inversely quantized input data output from the first inverse quantizing means and the data in the third image memory and recording again in the third image memory, When the input data is intra-frame prediction data, it comprises a prediction error accumulator composed of switch means for not guiding the data of the third image memory to the third adding means, In the period when there is no motion prediction other than the first one frame, the intra-frame prediction data or the inter-frame prediction error is inversely quantized by the first inverse quantizing means, and the orthogonal transform data is accumulated by the prediction error accumulator. At the time when a predetermined number of frames have been accumulated, the quantization means quantizes and outputs the result, and the first inverse orthogonal transform means performs inverse orthogonal transform and writes it as prediction data in the first motion compensation image memory. When a frame for motion estimation is input before reaching the number of frames, inverse orthogonal transform is performed by the first inverse orthogonal transform means and the result is written as prediction data in the first motion compensation image memory, and then motion estimation is performed. The rate conversion image encoding device according to claim 7, characterized in that. 【請求項９】レート変換単位である前記所定枚数のフレ
ーム中に動き予測フレームが１枚のみ存在する場合にそ
の動きベクトルをレート変換後の動きベクトルとするこ
とを特徴とする請求項８記載のレート変換符号化装置。9. The motion vector after rate conversion is used as the motion vector when only one motion prediction frame is present in the predetermined number of frames which is a rate conversion unit. Rate conversion coding device. 【請求項１０】画像フレームを複数のブロックに分割
し、ブロック毎にフレーム内符号化、フレーム間符号
化、動き予測符号化を選択する画像符号化において、複
数フレームの同一ブロックに対して適用することを特徴
とした請求項１から９のいずれかに記載のレート変換画
像符号化装置。10. An image frame is divided into a plurality of blocks, and intra-frame coding, inter-frame coding, and motion prediction coding are selected for each block, and the image coding is applied to the same block of a plurality of frames. The rate conversion image encoding device according to any one of claims 1 to 9, characterized in that.