JPH0750834A - Rate conversion picture coder - Google Patents
Rate conversion picture coderInfo
- Publication number
- JPH0750834A JPH0750834A JP5195739A JP19573993A JPH0750834A JP H0750834 A JPH0750834 A JP H0750834A JP 5195739 A JP5195739 A JP 5195739A JP 19573993 A JP19573993 A JP 19573993A JP H0750834 A JPH0750834 A JP H0750834A
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- prediction error
- input
- orthogonal transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Communication Control (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、伝送速度の異なる通信
回線を中継して画像データを伝送する際の中継用画像符
号化装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a relay image encoding device for transmitting image data by relaying communication lines having different transmission speeds.
【0002】[0002]
【従来の技術】従来、テレビ会議、テレビ電話信号の符
号化では、フレーム方向には1フレーム間の相関性を利
用するフレーム間予測とフレーム内直交変換を組み合わ
せたハイブリッド符号化を用いるのが一般的である。1
秒間に30枚の画像(フレーム)で構成されるテレビ画
像の時間軸方向の相関性は大きく、フレーム間相関を利
用して1フレーム前の画面中の同一位置の画素を予測に
用いることにすれば、画面が静止している場合には最も
理想的な予測が行えることになる。しかし、フレーム間
符号化においては、画面中に動きがある場合には逆にフ
レーム間の相関は低くなり、むしろフィールド内の隣接
画素間の相関に比べても低くなってしまう。一方、フレ
ーム毎の画像信号の各画素も隣接する画素とのレベル変
化が小さく相関性が強い。その自己相関関数は負の指数
関数で近似できるとされている。このとき、自己相関関
数のフーリエ変換である電力スペクトル密度はゼロ周波
数成分(直流)で最大となり、周波数成分が高くなるに
つれて単調減少する性質を持っている。周波数領域への
直交変換として最もよく知られているのはフーリエ変換
であるが複素数演算を含み、構成が複雑になることか
ら、画像の符号化ではこれに代わる直交変換として2次
元DCT(離散コサイン変換)を用いるのが一般的であ
る。DCTにより周波数成分に分解された変換係数は符
号化しない変換係数(無意係数)であるレベルゼロと離
散的な量子化代表値をとる有意係数であるレベル±1か
らレベル±Kに量子化されたのち、無意係数の連続性を
符号化するランレングス符号ならびに有意係数のレベル
の生起確率に応じて可変長符号を割り当てるハフマン符
号化により画像データは圧縮される。2. Description of the Related Art Conventionally, in video conferencing and video telephone signal encoding, hybrid encoding is generally used which combines interframe prediction utilizing intraframe correlation and intraframe orthogonal transformation in the frame direction. Target. 1
A television image composed of 30 images (frames) per second has a large correlation in the time axis direction, and it is possible to use the pixel at the same position in the screen one frame before in the prediction by utilizing the inter-frame correlation. For example, the most ideal prediction can be made when the screen is stationary. However, in the inter-frame coding, when there is a motion in the screen, the correlation between the frames is low, and the correlation between adjacent pixels in the field is low. On the other hand, each pixel of the image signal for each frame has a small level change with an adjacent pixel and has a strong correlation. It is said that the autocorrelation function can be approximated by a negative exponential function. At this time, the power spectrum density, which is the Fourier transform of the autocorrelation function, has a maximum at zero frequency component (DC) and has the property of monotonically decreasing as the frequency component increases. The most well-known orthogonal transform to the frequency domain is the Fourier transform, but since it involves complex number operations and complicates the structure, two-dimensional DCT (discrete cosine) is used as an alternative orthogonal transform in image coding. (Conversion) is generally used. The transform coefficient decomposed into frequency components by DCT is quantized from level ± 1 which is a transform coefficient (insignificant coefficient) which is not coded and level ± 1 which is a significant coefficient having a discrete quantized representative value to level ± K. After that, the image data is compressed by the run length code that encodes the continuity of the insignificant coefficients and the Huffman encoding that assigns the variable length code according to the occurrence probability of the level of the significant coefficient.
【0003】例えばCCITT勧告H.261では、動
きの少ない画像に対しては動き補償フレーム間予測を適
用し、フレーム間の予測誤差に対して以下に示すような
符号化を行なっている。また動きの大きい画像に対して
はフレーム間予測を適用せず、フレーム画素に対して直
接以下の符号化を行なう。図9はH.261における画
像データの符号化器および複号化器を示したものであ
る。図9において116は符号化器であり、107は減
算手段、108は2次元DCTを行なう直交変換手段、
109は量子化手段、110は逆量子化手段、111は
逆直交変換手段、112は加算手段、113は動き補償
用画像メモリ、114はループ内フィルタ、115は符
号化制御手段である。122は複号化器であり、117
は逆量子化手段、118は逆直交変換手段、119は加
算手段、120は動き補償用画像メモリ、121はルー
プ内フィルタ、123〜125はセレクタである。符号
化器116では減算手段107によりビデオ入力信号と
動き補償用画像メモリ113が記憶している予測データ
の差分をとることによりフレーム間の予測誤差を算出す
る。この時16×16画素の範囲内の動きは予測データ
をブロック周辺の16×16画素の任意の8×8ブロッ
クとして指定することにより動き補償される。動き量の
指定は2次元動きベクトルにより行い、画像データとと
もに複号化器に送られる。複号化側では複号ブロックよ
りこの動きベクトルだけずらした領域の動き補償用画像
メモリのデータを予測データとして複号を行なう。また
動き補償が利かないような大きな動きにたいしては、セ
レクタ123、124により予測をしないフレーム内符
号化を選択する。予測誤差やフレーム画素を8画素×8
ラインのブロックに分割し、この各ブロックに対して直
交変換手段108で2次元DCTを施す。DCTにより
各ブロックの画素は周波数成分に変換される。得られた
変換係数は量子化部109で量子化される。量子化によ
り各変換係数は無意係数のレベル0からレベル±127
までの整数である有意係数のレベルに代表される。量子
化されたデータは通信手段等を経て複号化器におくられ
るが、同時に逆量子化手段110、逆直交変換手段11
1で逆変換された後、動き補償用画像メモリ113の記
憶する予測データに加算手段112により加算され、動
き補償用画像メモリ113に記憶され次の予測データと
なる。複号化器側では入力された画像データを逆量子化
手段117および逆直交変換手段118で逆変換した
後、動き補償用画像メモリ120が記憶する予測データ
に加算器119により加算し、ビデオ出力をえるととも
に、これを次の予測データとして動き補償用画像メモリ
120に記憶する。入力ブロックがフレーム内データの
場合には、セレクタ125により予測データは選択され
ず、入力データが直接逆変換され、ビデオ出力として取
り出され、動き補償用画像メモリに記憶される。伝送速
度の異なる通信回線を中継してこのようなハイブリッド
符号化された動画像データを伝送するために従来、速度
の早い通信回線から入力したデータを複号器122でビ
デオ信号に複号した後、符号器116で異なる符号化速
度で符号化を行い、遅い通信回線に出力していた。For example, CCITT Recommendation H.264. In H.261, motion-compensated inter-frame prediction is applied to an image with little motion, and the following coding is performed on the inter-frame prediction error. In addition, inter-frame prediction is not applied to images with large motion, and the following encoding is directly performed on frame pixels. FIG. 26 shows an image data encoder and a decoder in H.261. In FIG. 9, reference numeral 116 is an encoder, 107 is subtraction means, 108 is orthogonal transformation means for performing two-dimensional DCT,
109 is a quantizing means, 110 is an inverse quantizing means, 111 is an inverse orthogonal transforming means, 112 is an adding means, 113 is an image memory for motion compensation, 114 is a loop filter, and 115 is an encoding control means. 122 is a decryptor, 117
Is an inverse quantization means, 118 is an inverse orthogonal transformation means, 119 is an addition means, 120 is a motion compensation image memory, 121 is an in-loop filter, and 123 to 125 are selectors. In the encoder 116, the subtraction means 107 calculates the difference between the video input signal and the prediction data stored in the motion compensation image memory 113 to calculate a prediction error between frames. At this time, the motion within the range of 16 × 16 pixels is compensated by designating the prediction data as an arbitrary 8 × 8 block of 16 × 16 pixels around the block. The amount of motion is designated by a two-dimensional motion vector and sent to the decoder along with the image data. On the decoding side, decoding is performed by using the data of the motion compensation image memory in the area shifted by the motion vector from the decoding block as prediction data. In addition, for a large motion for which motion compensation is not effective, the intra-frame coding that does not perform prediction is selected by the selectors 123 and 124. 8 pixels for prediction error and frame pixels
The line is divided into blocks, and the orthogonal transform means 108 performs two-dimensional DCT on each block. The pixels of each block are converted into frequency components by DCT. The obtained transform coefficient is quantized by the quantization unit 109. Due to the quantization, each transform coefficient is changed from level 0 to level ± 127
Represented by the level of significance coefficient, which is an integer up to. The quantized data is sent to the decoder via the communication means and the like, but at the same time, the inverse quantization means 110 and the inverse orthogonal transformation means 11 are also provided.
After being inversely converted by 1, the addition data is added to the prediction data stored in the motion compensation image memory 113 by the addition unit 112 and stored in the motion compensation image memory 113 to be the next prediction data. On the decoding side, the input image data is inversely transformed by the inverse quantizing means 117 and the inverse orthogonal transforming means 118, and then added to the prediction data stored in the motion compensating image memory 120 by the adder 119 to output the video. At the same time, it is stored in the motion compensation image memory 120 as the next prediction data. When the input block is intra-frame data, the predictor data is not selected by the selector 125, the input data is directly inverse-converted, extracted as a video output, and stored in the motion compensation image memory. In order to transmit such hybrid-encoded moving image data by relaying through a communication line with a different transmission speed, conventionally, after decoding the data input from the high-speed communication line into a video signal with a decoder 122, , The encoder 116 performs encoding at different encoding speeds and outputs to a slow communication line.
【0004】[0004]
【発明が解決しようとする課題】H.261のようなハ
イブリッド符号化および複号化を行なうのに必要な演算
性能として、例えばCIF画像(360×288)を1
5フレーム/秒で処理するためには1820MIPS必
要との報告があり、その内訳は符号化で1340MIP
S、複号化で480MIPSである。中でも動きベクト
ルの検出に810MIPS、直交変換、逆直交変換にそ
れぞれ190MIPS必要となる。従来のレート変換符
号化装置では複号化器で一度ビデオ信号に複号した後、
再び符号化器で符号化を行なうため、これらの演算をす
べて行なう必要があった。しかも、ここで検討している
のは速度の早い通信回線から速度の遅い通信回線への中
継だけであり、テレビ電話のように双方向に画像を伝送
するシステムにおいてはその逆の中継も必要となり、中
継装置の処理はさらに重くなる。[Problems to be Solved by the Invention] As a calculation performance required for performing hybrid coding and decoding such as H.261, a CIF image (360 × 288) is set to 1
It has been reported that 1820 MIPS is required to process at 5 frames / sec, and the breakdown is 1340 MIP in encoding.
S, 480 MIPS in decoding. Above all, 810 MIPS are required for motion vector detection, and 190 MIPS are required for orthogonal transform and inverse orthogonal transform, respectively. In the conventional rate conversion coding device, after decoding the video signal once with the decoding device,
Since the encoding is performed again by the encoder, it is necessary to perform all these operations. Moreover, we are only considering relaying from a high-speed communication line to a slow-speed communication line, and in a system that transmits images in both directions, such as a videophone, the reverse relay is also necessary. The processing of the relay device becomes heavier.
【0005】本発明はかかる事情に鑑みて成されたもの
であり、フレーム内符号化データや動き補償のないフレ
ーム間予測データは直交変換係数のまま処理し、逆直交
変換や直交変換の処理を不要とし、動き補償も1フレー
ム分はそのまま動きベクトルを流用することにより、動
き予測の処理を不要として、処理量を大幅に減少させた
レート変換符号化装置を提供することを目的とする。The present invention has been made in view of the above circumstances, and the intra-frame coded data and the inter-frame prediction data without motion compensation are processed with the orthogonal transform coefficients as they are, and the inverse orthogonal transform and the orthogonal transform are performed. An object of the present invention is to provide a rate conversion coding device that does not require motion compensation and that does not require motion prediction processing by diverting motion vectors for one frame as they are for motion compensation.
【0006】次に、符号化画像の品質を決定する要素と
して、1フレームの画品質と動きの再現性がある。ビッ
トレートを一定とすると量子化ステップ値で決まる1フ
レームの画品質とフレームレートで決まる動きの再現性
とはトレードオフの関係となる。つまり、早い通信回線
速度と遅い通信回線速度にはそれぞれ視覚的に最適な量
子化ステップとフレームレートが存在する。本発明はか
かる最適値に量子化ステップとフレームレートを設定で
きるレート変換符号化装置を提供する。Next, the image quality of one frame and the reproducibility of motion are factors that determine the quality of an encoded image. If the bit rate is constant, there is a trade-off relationship between the image quality of one frame determined by the quantization step value and the reproducibility of motion determined by the frame rate. That is, there are visually optimum quantization steps and frame rates for the high communication line speed and the low communication line speed, respectively. The present invention provides a rate conversion coding device capable of setting a quantization step and a frame rate to such optimum values.
【0007】[0007]
【課題を解決するための手段】請求項1の発明は、通信
速度の早い通信回線から入力された画像データのフレー
ムデータを複数枚合成して1枚のフレームデータとし、
量子化精度を荒くして通信速度の遅い通信回線に送出す
ることを特徴としている。According to a first aspect of the present invention, a plurality of frame data of image data input from a communication line having a high communication speed are combined into one frame data,
The feature is that the quantization accuracy is roughened and the data is transmitted to a communication line with a low communication speed.
【0008】請求項2の発明は、請求項1記載のフレー
ム合成方法を、通信速度の早い通信回線から入力した予
測誤差に直交変換を施した入力データを複数フレーム分
加算して1フレームの予測誤差に直交変換を施した出力
データとして通信速度の遅い通信回線に出力することと
したことを特徴としている。According to a second aspect of the present invention, in the frame synthesizing method according to the first aspect, a prediction error input from a communication line having a high communication speed is orthogonally transformed and input data is added for a plurality of frames to predict one frame. It is characterized in that it is output to a communication line with a low communication speed as output data obtained by subjecting the error to orthogonal transformation.
【0009】請求項3の発明は、通信速度の早い通信回
線から入力した予測誤差に直交変換を施した入力データ
を送信元の符号化装置が設定した量子化係数1で逆量子
化を行なった後、複数フレーム分加算して1フレームの
前記予測誤差に前記直交変換を施したデータとし量子化
係数2で量子化を行なった後、前記通信速度の遅い通信
回線に出力することとしたことを特徴としている。According to the third aspect of the invention, the input data obtained by orthogonally transforming the prediction error input from the communication line having a high communication speed is inversely quantized with the quantization coefficient 1 set by the encoding device of the transmission source. After that, a plurality of frames are added to obtain the data in which the prediction error of one frame is subjected to the orthogonal transformation, the data is quantized with the quantization coefficient 2, and then the data is output to the communication line with the slow communication speed. It has a feature.
【0010】請求項4の発明は、請求項1記載のフレー
ム合成方法を、通信速度の早い通信回線から入力した複
数フレーム分の入力データの中で、予測誤差のデータ量
がフレームの直交変換データのデータ量を上回る様な動
きの大きな画像フレームや予測誤差データの量子化誤差
の累積を排除するために挿入するフレーム内符号化され
たデータが存在する場合に、前記フレーム内符号化デー
タにそれ以降のフレームの前記予測誤差に前記直交変換
を施した前記通信速度の早い通信回線から入力した入力
データを加算して1フレームの前記予測誤差に前記直交
変換を施した出力データを算出し、フレーム内符号化デ
ータとして前記通信速度の遅い通信回線に出力すること
としたことを特徴とている。According to a fourth aspect of the present invention, in the frame synthesizing method according to the first aspect, the orthogonal transformation data in which the data amount of the prediction error is the frame among the input data for a plurality of frames input from the communication line having a high communication speed. If there is intraframe-coded data to be inserted in order to eliminate the accumulation of quantization errors of image frames and prediction error data that have large motions that exceed the data amount of The input data input from the communication line with the high communication speed, which has been subjected to the orthogonal transformation, is added to the prediction error of the subsequent frames to calculate output data obtained by performing the orthogonal transformation on the prediction error of one frame, The internal coded data is output to the communication line with the slow communication speed.
【0011】請求項5の発明は、通信速度の早い通信回
線から入力した入力データを送信元の符号化装置が設定
した量子化係数1で逆量子化を行なった後、前記フレー
ム内符号化データにそれ以降のフレームの前記予測誤差
に前記直交変換を施した前記通信速度の早い通信回線か
ら入力した入力データを加算して1フレームの前記予測
誤差に前記直交変換を施した出力データを算出し、量子
化係数2で量子化を行なった後、フレーム内符号化デー
タとして前記通信速度の遅い通信回線に出力することを
特徴としている。According to a fifth aspect of the present invention, the input data input from the communication line having a high communication speed is inversely quantized by the quantization coefficient 1 set by the encoding device of the transmission source, and then the intra-frame encoded data is obtained. Is added to the prediction error of the subsequent frames and the input data input from the communication line having the high communication speed, which has been subjected to the orthogonal transformation, and output data obtained by performing the orthogonal transformation on the prediction error of one frame is calculated. After being quantized with the quantization coefficient 2, it is output to the communication line with a slow communication speed as intraframe coded data.
【0012】請求項6の発明は、請求項3の発明に加
え、量子化係数2で量子化を行なった前記データを量子
化係数2で逆量子化し、画像メモリに保存することを特
徴としている。The invention of claim 6 is characterized in that, in addition to the invention of claim 3, the data quantized by the quantization coefficient 2 is dequantized by the quantization coefficient 2 and stored in the image memory. .
【0013】請求項7の発明は、請求項5の発明に加
え、量子化係数2で量子化を行なった前記データを量子
化係数2で逆量子化し、画像メモリに保存することを特
徴としている。The invention of claim 7 is characterized in that, in addition to the invention of claim 5, the data quantized by the quantization coefficient 2 is dequantized by the quantization coefficient 2 and stored in the image memory. .
【0014】請求項8の発明は、複号化器と符号化器に
加え、逆量子化された直交変換データを記録する第3の
画像メモリと複号化器の逆量子化手段が出力する逆量子
化した入力データと前記第3の画像メモリのデータを加
算して第3の画像メモリに再び記録する第3の加算手段
と、前記入力データがフレーム内予測データの場合には
前記第3の画像メモリのデータを前記第3の加算手段に
導かなくするスイッチ手段とで構成される予測誤差累算
器とからなり、入力データの最初の1フレーム以外に動
き予測がない期間はフレーム内予測データまたはフレー
ム間予測誤差を前記複号化器の逆量子化手段で逆量子化
した直交変換データを前記予測誤差累算器で累算し、所
定のフレーム数分累算した時点で符号化器の量子化手段
で量子化して出力するとともに複号化器の逆直交変換手
段で逆直交変換して複号化器の動き補償用画像メモリに
予測データとして書き込み、また所定枚数に達する前に
動き予測のフレームが入力された時点で複号化器の逆直
交変換手段で逆直交変換して複号化器の動き補償用画像
メモリに予測データとして書き込んだ後、動き予測を行
なうことを特徴としている。According to the invention of claim 8, in addition to the decoder and the encoder, a third image memory for recording the inversely quantized orthogonal transform data and the inverse quantizer of the decoder output. Third addition means for adding the inversely quantized input data and the data of the third image memory and recording it again in the third image memory; and the third adding means when the input data is intra-frame prediction data. And a prediction error accumulator composed of a switch means for not guiding the data of the image memory to the third adding means, and intra-frame prediction is performed during a period when there is no motion prediction other than the first frame of the input data. The data or the inter-frame prediction error is inversely quantized by the inverse quantizer of the decoding device, the orthogonal transformation data is accumulated by the prediction error accumulator, and the encoder is added when a predetermined number of frames are accumulated. Quantize with the quantizer of and output In addition, the inverse orthogonal transform means of the decoding device performs inverse orthogonal transformation and writes it as prediction data in the motion compensation image memory of the decoding device, and at the time when the motion prediction frame is input before reaching the predetermined number. The feature of the present invention is that the inverse orthogonal transform is performed by the inverse orthogonal transform means of the decoder and the result is written in the motion compensation image memory of the decoder as prediction data, and then the motion estimation is performed.
【0015】請求項9の発明は、レート変換単位である
前記所定枚数のフレーム中に動き予測フレームが1枚の
み存在する場合にその動きベクトルをレート変換後の動
きベクトルとすることを特徴としている。According to a ninth aspect of the present invention, when there is only one motion prediction frame in the predetermined number of frames which is a rate conversion unit, the motion vector is set as the motion vector after rate conversion. .
【0016】請求項10の発明は、画像フレームを複数
のブロックに分割し、ブロック毎にフレーム内符号化、
フレーム間符号化、動き予測符号化を選択する画像符号
化において、複数フレームの同一ブロックに対して請求
項1から9記載の発明を適用することを特徴としてい
る。According to a tenth aspect of the present invention, the image frame is divided into a plurality of blocks, and intra-frame coding is performed for each block.
In the image coding for selecting the inter-frame coding or the motion prediction coding, the inventions according to claims 1 to 9 are applied to the same block of a plurality of frames.
【0017】[0017]
【作用】請求項1の発明によれば、フレームレートと量
子化ステップは遅い通信回線速度において視覚的に最適
値に設定される。According to the first aspect of the present invention, the frame rate and the quantization step are visually set to optimum values at a low communication line speed.
【0018】請求項2の発明によれば、フレームの合成
は直交変換係数のまま行なわれ、入力フレーム数分の逆
直交変換と出力フレーム数分の直交変換を不要としてい
る。According to the second aspect of the present invention, the synthesis of the frames is performed with the orthogonal transform coefficient as it is, and the inverse orthogonal transform for the number of input frames and the orthogonal transform for the number of output frames are unnecessary.
【0019】請求項3の発明によれば、複数フレームを
合成したフレームは第2の量子化係数で量子化されるた
め、視覚的に最適な画品質とフレームレートにレート変
換される。According to the third aspect of the present invention, the frame obtained by synthesizing a plurality of frames is quantized by the second quantization coefficient, so that the rate is converted into a visually optimum image quality and frame rate.
【0020】請求項4の発明によれば、合成する入力フ
レームにフレーム内符号化フレームが存在する場合で
も、フレームの合成は直交変換係数のまま行なわれ、入
力フレーム数分の逆直交変換と出力フレーム数分の直交
変換を不要としている。According to the fourth aspect of the invention, even if the intra-coded frame exists in the input frame to be combined, the frame combination is performed with the orthogonal transform coefficient, and the inverse orthogonal transform and the output corresponding to the number of input frames are performed. Orthogonal transformation for the number of frames is unnecessary.
【0021】請求項5の発明によれば、請求項4で合成
されたフレームは第2の量子化係数で量子化されるた
め、視覚的に最適な画品質とフレームレートにレート変
換される。According to the invention of claim 5, since the frame combined in claim 4 is quantized by the second quantization coefficient, it is rate-converted to a visually optimum image quality and frame rate.
【0022】請求項6の発明によれば、請求項3の発明
でレート変換したデータを画像メモリに保存し、動き補
償が行えるようにしている。According to the invention of claim 6, the data rate-converted by the invention of claim 3 is stored in an image memory so that motion compensation can be performed.
【0023】請求項7の発明によれば、請求項5の発明
でレート変換したデータを画像メモリに保存し、動き補
償が行えるようにしている。According to the invention of claim 7, the rate-converted data of the invention of claim 5 is stored in an image memory so that motion compensation can be performed.
【0024】請求項8の発明によれば、予測誤差累算器
の第3の画像メモリには入力データがフレーム間予測誤
差である場合、その予測誤差直交変換データが加算され
ていき、入力データがフレーム内予測データである場
合、予測直交変換データが上書きされる。所定のフレー
ム数が累算された後、符号化器の量子化手段で量子化さ
れ、速度の遅い通信回線に出力される。このとき、入力
データがすべてフレーム間予測誤差の場合はフレーム間
予測誤差として出力され、入力データに1枚でもフレー
ム内予測データが含まれる場合には付れーむ内予測デー
タとして出力される。その間、入力フレーム数分の逆直
交変換と出力フレーム数分の直交変換が不要となる。ま
た累算が所定枚数に達する前に動き予測のフレームが入
力された場合には、それまで累算した直交変換係数が複
号化器の逆直交変換手段におくられ一度に逆直交変換さ
れるため、累算したフレーム数分の逆直交変換が不要と
なる。According to the invention of claim 8, when the input data is an inter-frame prediction error, the prediction error orthogonal transformation data is added to the third image memory of the prediction error accumulator, and the input data is added. Is intra-frame prediction data, the prediction orthogonal transform data is overwritten. After the predetermined number of frames are accumulated, they are quantized by the quantizing means of the encoder and output to the slow communication line. At this time, if all the input data are inter-frame prediction errors, they are output as inter-frame prediction errors, and if even one piece of intra-frame prediction data is included in the input data, they are output as attached intra-prediction data. In the meantime, the inverse orthogonal transformation for the number of input frames and the orthogonal transformation for the number of output frames are unnecessary. If a motion prediction frame is input before the cumulative number reaches a predetermined number, the orthogonal transform coefficients accumulated up to that point are sent to the inverse orthogonal transform means of the decoder and inverse orthogonal transformed at once. Therefore, it is not necessary to perform inverse orthogonal transform for the number of accumulated frames.
【0025】請求項9の発明によれば、入力された動き
ベクトルを用いて動き予測を行い、出力フレームの動き
予測誤差とともに動きベクトルとして出力することで動
きベクトルの検出を不要としている。According to the ninth aspect of the present invention, the motion prediction is performed using the input motion vector, and the motion vector is output together with the motion prediction error of the output frame, thereby eliminating the detection of the motion vector.
【0026】請求項10の発明によれば、対象画像の局
所的な特性に対応する目的でフレームを複数のブロック
に分けて処理を行なう場合にも、請求項1〜9の発明を
適用可能とする。According to the tenth aspect of the invention, the inventions of the first to ninth aspects can be applied even when the frame is divided into a plurality of blocks and processed for the purpose of dealing with the local characteristics of the target image. To do.
【0027】[0027]
(実施例1)以下、本発明の実施例1ついて図面を参照
しながら説明する。(Embodiment 1) Hereinafter, Embodiment 1 of the present invention will be described with reference to the drawings.
【0028】図1は本発明の実施例である画像符号化装
置の構成図である。図1において101は第3の加算手
段、102は第3の画像メモリ、103はスイッチ手段
で予測誤差累算器104を構成している。105、10
6はセレクタである。符号化器116、複号化器122
およびそれらを構成するブロックは従来の技術で説明し
ているのでここでは省略する。FIG. 1 is a block diagram of an image coding apparatus according to an embodiment of the present invention. In FIG. 1, reference numeral 101 is a third adding means, 102 is a third image memory, and 103 is a switching means to form a prediction error accumulator 104. 105, 10
6 is a selector. Encoder 116, Decoder 122
The blocks constituting them and the blocks constituting them have been described in the prior art, and therefore will be omitted here.
【0029】以上のように構成された画像符号化装置に
ついてその動作を図1を用いて説明する。図1は0から
iフレーム目までのレート変換を終了後、次のnフレー
ム分の予測誤差信号を合成してi番目のフレームとの1
つの予測誤差信号を作成する様子を示しており、図中の
式はi+nフレーム目の予測誤差が入力された時点を示
している。ここで、Xiはiフレームの空間座標表現、
t(Xi)はその直交変換表現、さらにq(t(X
i))は、それを量子化したことを表わしている。i+
nフレーム目の予測誤差信号q(t(Ei+n))は第
1の逆量子化手段117で逆量子化されて、t(Ei+
n)+Qi+n=t(Xi+n−Xi+n−1)+Qi
+nとなる。ここで、Qi+nはi+nフレーム目の予
測誤差を量子化したことによる量子化誤差である。この
信号は第3の加算手段101に導かれるが、スイッチ手
段103はi+nフレーム目のデータがフレーム間予測
誤差信号であることから図のようにたおれており、第3
の加算手段101の他方には第3の画像メモリに記憶さ
れているデータが入力される。つまり、iからi+n−
1フレーム目までの予測誤差信号の累計とi+nフレー
ム目の予測誤差信号が加算され、その結果、t(Xi+
n−Xi)+Q’i+nが出力される。ここでQ’i+
nは量子化誤差の累計である。この信号は第3の画像メ
モリ102に記憶されるとともに、セレクタ106に入
力される。セレクタ106はiフレームからi+nフレ
ーム目のデータがすべてフレーム間予測誤差信号である
ことから図のようにたおれており、この信号は第1の量
子化手段109で量子化され、q(t(Xi+n−X
i)+Q’i+n)として速度の遅い通信回線に出力さ
れる。それと同時に、このデータは第2の逆量子化手段
で逆量子化され、さらに第2の逆直交変換手段111で
逆直交変換され、加算手段112でiフレームまでの予
測データに加算され、i+nフレームまでの予測データ
として第2の画像メモリ113に保存される。同様に第
3の画像メモリの内容は、セレクタ105を経て第1の
逆直交変換手段118で逆直交変換され、加算手段11
9でiフレームまでの予測データに加算され、i+nフ
レームまでの予測データとして第1の画像メモリ120
に保存される。特別な場合として、i+1フレーム目の
予測誤差のみが動き補償予測誤差の場合、第1の画像メ
モリ120および第2の画像メモリ113に動き補償を
適用できる。この場合には、速度の遅い通信回線に出力
する画像データに付随して動き補償に用いた動きベクト
ルを出力する。なを、量子化ステップ、フレーム内/フ
レーム間識別、動きベクトルは画像データに付随する制
御データとして速度の早い通信回線より与えられる。The operation of the image coding apparatus configured as described above will be described with reference to FIG. In FIG. 1, after the rate conversion from the 0th frame to the i-th frame is completed, the prediction error signals for the next n frames are combined to obtain the 1-th frame of the i-th frame.
It shows how to generate two prediction error signals, and the formula in the figure shows the time when the prediction error of the (i + n) th frame is input. Where Xi is the spatial coordinate expression of the i frame,
t (Xi) is its orthogonal transform expression, and q (t (Xi)
i)) represents that it is quantized. i +
The prediction error signal q (t (Ei + n)) of the nth frame is dequantized by the first dequantization means 117, and t (Ei +).
n) + Qi + n = t (Xi + n−Xi + n−1) + Qi
+ N. Here, Qi + n is a quantization error caused by quantizing the prediction error of the i + nth frame. This signal is led to the third adding means 101, but the switching means 103 is put as shown in the figure because the data of the i + nth frame is an inter-frame prediction error signal,
The data stored in the third image memory is input to the other of the adding means 101. That is, i to i + n-
The cumulative total of the prediction error signals up to the first frame and the prediction error signal of the i + nth frame are added, and as a result, t (Xi +
n-Xi) + Q'i + n is output. Q'i +
n is the cumulative total of quantization errors. This signal is stored in the third image memory 102 and also input to the selector 106. The selector 106 holds as shown in the figure because all the data from the i-th frame to the i + n-th frame is an inter-frame prediction error signal, and this signal is quantized by the first quantizing means 109, and q (t (Xi + n -X
i) + Q'i + n) is output to the slow communication line. At the same time, this data is inversely quantized by the second inverse quantization means, further inversely orthogonally transformed by the second inverse orthogonal transformation means 111, added by the addition means 112 to the prediction data up to i frames, and i + n frames. Are stored in the second image memory 113 as prediction data up to. Similarly, the contents of the third image memory are subjected to inverse orthogonal transform by the first inverse orthogonal transform means 118 via the selector 105, and the addition means 11 is added.
9 is added to the prediction data up to the i frame, and the first image memory 120 is added as the prediction data up to the i + n frame.
Stored in. As a special case, when only the prediction error of the (i + 1) th frame is a motion compensation prediction error, motion compensation can be applied to the first image memory 120 and the second image memory 113. In this case, the motion vector used for motion compensation is output along with the image data output to the slow communication line. The quantization step, the intra-frame / inter-frame discrimination, and the motion vector are given as control data accompanying the image data from a high-speed communication line.
【0030】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータを直交変換係数のまま合成して1枚のフレームを作
成することができ、逆直交変換と直交変換の処理を省略
できる。なを、ここでは直交変換の線型性を利用してい
る。また、第1の逆量子化手段117に比して第2の逆
量子化手段110の量子化ステップを大きくとることに
よってもレート変換が可能であり、遅い通信回線の通信
レートに応じた画品質と動きの最適値に設定できる。こ
のような操作はフレーム単位でおこなってもよいし、フ
レームを複数ブロックに分割している場合には、各フレ
ームの同一ブロック間に適用してもよい。As described above, according to the present embodiment, a plurality of inter-frame prediction error data input from a high-speed communication line can be combined as the orthogonal transform coefficient to create one frame. The inverse orthogonal transform and orthogonal transform processes can be omitted. However, the linearity of orthogonal transformation is used here. Also, rate conversion can be performed by making the quantization step of the second dequantization means 110 larger than that of the first dequantization means 117, and image quality according to the communication rate of the slow communication line can be obtained. And the optimum value of movement can be set. Such an operation may be performed for each frame, or when the frame is divided into a plurality of blocks, it may be applied between the same blocks of each frame.
【0031】(実施例2)次に、0からiフレーム目ま
でのレート変換を終了後、次のnフレーム分の予測誤差
信号を合成する途中、i+n−1フレーム目がフレーム
内符号化データであり、最後のi+nフレーム目はi+
n−1フレーム目とのフレーム間予測誤差データであっ
た場合を図2を用いて説明する。フレーム内符号化デー
タが入力されるまでは、実施例1と同様に動作していた
ものとして、i+n−1フレーム目が入力された時点で
スイッチ手段103は図2のように開くため、第1の逆
量子化手段117で逆量子化されたフレーム内予測デー
タは第3の画像メモリ102に上書きされる。この時、
符号化制御部115はフレーム内符号化データが入力さ
れたことを知覚する。次にi+nフレーム目のi+n−
1フレームとのフレーム内予測誤差信号が入力される
が、この時にはスイッチ手段103は再び閉じ、予測誤
差信号の逆量子化されたデータは予測データに加算さ
れ、t(Xi+n)+Q’i+nとして第3の画像メモ
リ102に記憶される。以下、実施例1と同様に第1の
量子化手段109で量子化され、q(t(Xi+n)+
Q’i+n)として速度の遅い通信回線に出力される
が、符号化制御部115がフレーム内予測データの入力
を知覚しているため、セレクタ124およびセレクタ1
25は図のように選択するため、第2の逆量子化手段1
10で逆量子化され、第2の逆直交変換手段111で逆
直交変換された予測データは第2の画像メモリ113に
上書きされ、第1の逆直交変換手段118で逆直交変換
された予測データは第1の画像メモリに上書きされる。
なを、量子化ステップ、フレーム内/フレーム間識別、
動きベクトルは画像データに付随する制御データとして
速度の早い通信回線より与えられる。(Embodiment 2) Next, after the rate conversion from the 0th frame to the i-th frame is completed, the i + n-1th frame is the intra-frame coded data while the prediction error signals for the next n frames are being synthesized. Yes, the last i + n frame is i +
A case where it is the inter-frame prediction error data with respect to the (n-1) th frame will be described with reference to FIG. It is assumed that the same operation as in the first embodiment is performed until the intra-frame encoded data is input, and the switch means 103 opens as shown in FIG. The intra-frame prediction data dequantized by the dequantization means 117 is overwritten in the third image memory 102. At this time,
The encoding control unit 115 perceives that the intra-frame encoded data has been input. Next, i + n- of the i + nth frame
The intra-frame prediction error signal of one frame is input, but at this time, the switch means 103 is closed again, the dequantized data of the prediction error signal is added to the prediction data, and t (Xi + n) + Q′i + n is obtained. 3 is stored in the image memory 102. Hereinafter, as in the case of the first embodiment, the quantization is performed by the first quantization means 109, and q (t (Xi + n) +
Q′i + n) is output to the communication line with a low speed, but since the encoding control unit 115 perceives the input of the intraframe prediction data, the selector 124 and the selector 1
Since 25 is selected as shown in the figure, the second dequantization means 1
Prediction data inversely quantized by 10 and inversely orthogonally transformed by the second inverse orthogonal transformation unit 111 is overwritten in the second image memory 113, and prediction data is inversely orthogonally transformed by the first inverse orthogonal transformation unit 118. Is overwritten in the first image memory.
Quantization step, intra-frame / inter-frame discrimination,
The motion vector is given as control data accompanying the image data from a high speed communication line.
【0032】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータにフレーム内予測データが含まれている場合にも直
交変換係数のまま合成して1枚のフレームを作成するこ
とができ、逆直交変換と直交変換の処理を省略できる。
なを、ここではフレーム内予測データが1フレームだけ
含まれる場合を説明したが、任意の位置に複数フレーム
が含まれている場合も、同様の動作を繰り返せばフレー
ムの合成が行える。また、第1の逆量子化手段117に
比して第2の逆量子化手段110の量子化ステップを大
きくとることによってもレート変換が可能であり、遅い
通信回線の通信レートに応じた画品質と動きの最適値に
設定できる。このような操作はフレーム単位でおこなっ
てもよいし、フレームを複数ブロックに分割している場
合には、各フレームの同一ブロック間に適用してもよ
い。As described above, according to the present embodiment, even when the intraframe prediction data is included in the plurality of interframe prediction error data input from the high speed communication line, the orthogonal transform coefficients are combined as they are. As a result, one frame can be created, and the processes of inverse orthogonal transform and orthogonal transform can be omitted.
Although the case where the intra-frame prediction data includes only one frame has been described here, even when a plurality of frames are included in an arbitrary position, the frames can be combined by repeating the same operation. Also, rate conversion can be performed by making the quantization step of the second dequantization means 110 larger than that of the first dequantization means 117, and image quality according to the communication rate of the slow communication line can be obtained. And the optimum value of movement can be set. Such an operation may be performed for each frame, or when the frame is divided into a plurality of blocks, it may be applied between the same blocks of each frame.
【0033】(実施例3)次に、0からiフレーム目ま
でのレート変換を終了後、次のnフレーム分の予測誤差
信号を合成する途中、i+n−1フレーム目が動き補償
予測誤差データであり、最後のi+nフレーム目はi+
n−1フレーム目とのフレーム間予測誤差データであっ
た場合を図3を用いて説明する。(Third Embodiment) Next, after the rate conversion from the 0th frame to the i-th frame is completed, the i + n-1th frame is the motion compensation prediction error data while the prediction error signals for the next n frames are being synthesized. Yes, the last i + n frame is i +
A case where it is the inter-frame prediction error data with respect to the (n-1) th frame will be described with reference to FIG.
【0034】i+n−1フレーム目が入力されるまで
は、予測誤差累算器104は実施例1または実施例2と
同様に動作している。次に、i+n−1フレーム目が動
き補償予測誤差信号である場合、第1の逆量子化手段1
17で予測誤差データの逆量子化を始める前に第3の画
像メモリの内容をセレクタ105を介して第1の逆直交
変換手段118に送り、逆直交変換した後、第1の画像
メモリ120に書き込む。次にセレクタ105を第1の
逆量子化手段117に切り替え、画像データに付随して
速度の早い通信回線より入力された動きベクトルで第1
の画像メモリ120を動き補償し、従来の複号化器と同
様に動き補償予測誤差データを動き補償された第1の画
像メモリの出力に加算する。次フレーム以降、フレーム
間予測誤差または、フレーム内予測データが続く場合に
は、最後の予測誤差まで予測誤差累算器104に加算し
た後、第1の画像メモリに加算するが、セレクタ106
は第1の直交変換手段108を選択し、複号化器122
が出力するビデオ出力と第2の画像メモリに記憶されて
いるiフレームまでの予測データに、画像データに付随
して速度の早い通信回線より入力された動きベクトルで
動き補償を行なったデータとの予測誤差を減算器107
で算出し、その結果を第1の直交変換手段108で直交
変換し、第1の量子化手段109で量子化して、速度の
遅い通信回線に出力する。この時、画像データに付随し
て、速度の早い通信回線より入力された動きベクトルを
制御データとして出力する。以下、第2の逆量子化手段
110で逆量子化し、第2の逆直交変換手段111で逆
直交変換して第2の画像メモリ113に加算すること
は、従来の符号化器の動作と同様である。The prediction error accumulator 104 operates in the same manner as in the first or second embodiment until the (i + n-1) th frame is input. Next, when the (i + n-1) th frame is a motion compensation prediction error signal, the first inverse quantization means 1
Before starting the dequantization of the prediction error data in 17, the contents of the third image memory are sent to the first inverse orthogonal transform means 118 via the selector 105, subjected to the inverse orthogonal transform, and then stored in the first image memory 120. Write. Next, the selector 105 is switched to the first dequantizing means 117, and the first motion vector is input by the motion vector input from the fast communication line accompanying the image data.
Motion compensation is performed on the image memory 120, and the motion-compensated prediction error data is added to the output of the motion-compensated first image memory as in the conventional decoder. When the inter-frame prediction error or the intra-frame prediction data continues after the next frame, the final prediction error is added to the prediction error accumulator 104 and then added to the first image memory.
Selects the first orthogonal transformation means 108, and the decoder 122
Of the video output and the prediction data up to the i-frame stored in the second image memory, and the data that is motion-compensated with the motion vector input from the high-speed communication line accompanying the image data. Prediction error subtractor 107
The first orthogonal transformation means 108 performs orthogonal transformation, the first quantization means 109 quantizes the result, and outputs the result to a communication line with a low speed. At this time, along with the image data, the motion vector input from the high speed communication line is output as control data. Hereinafter, dequantizing by the second dequantizing means 110, performing inverse orthogonal transform by the second inverse orthogonal transforming means 111 and adding to the second image memory 113 is similar to the operation of the conventional encoder. Is.
【0035】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータに動き補償予測誤差データが1フレーム含まれてい
る場合にも、それ以外のフレームデータは直交変換係数
のまま合成して1枚のフレームを作成することができ、
逆直交変換と直交変換の処理を省略できる。また、iフ
レームまでの予測データとi+nフレームまでのデータ
間で動き検出を実行するする必要がなく処理が大幅に削
減できる。なを、第1の逆量子化手段117に比して第
2の逆量子化手段110の量子化ステップを大きくとる
ことによってもレート変換が可能であり、遅い通信回線
の通信レートに応じた画品質と動きの最適値に設定でき
る。このような操作はフレーム単位でおこなってもよい
し、フレームを複数ブロックに分割している場合には、
各フレームの同一ブロック間に適用してもよい。As described above, according to the present embodiment, even when a plurality of inter-frame prediction error data input from a high-speed communication line includes one frame of motion compensation prediction error data, other than that. Frame data can be combined with orthogonal transform coefficients to create a single frame,
The inverse orthogonal transform and orthogonal transform processes can be omitted. In addition, it is not necessary to perform motion detection between the predicted data up to i frames and the data up to i + n frames, and the processing can be greatly reduced. However, rate conversion can also be performed by making the quantization step of the second dequantization means 110 larger than that of the first dequantization means 117, and the image can be converted according to the communication rate of the slow communication line. It can be set to the optimum value for quality and movement. Such an operation may be performed on a frame-by-frame basis, or if the frame is divided into multiple blocks,
It may be applied between the same blocks of each frame.
【0036】(実施例4)次に、0からiフレーム目ま
でのレート変換を終了後、次のnフレーム分の予測誤差
信号を合成する途中に、動き補償予測誤差が2フレーム
以上ある場合を図4を用いて説明する。(Embodiment 4) Next, after the rate conversion from the 0th frame to the i-th frame is completed, a case where there are two or more motion compensation prediction errors in the middle of combining the prediction error signals for the next n frames will be described. This will be described with reference to FIG.
【0037】図4において423は動き検出器で第2の
画像メモリ113に順次動きベクトルを指定し、その出
力画像とビデオ入力とを比較することにより画像の動き
を予測し、動き補償用の最適な動きベクトルを出力す
る。この場合、予測誤差累算器104および複号化器1
22は実施例3ど同様の動作をし、i+nフレームまで
の予測データをビデオ出力するとともに、第1の画像メ
モリ120に記憶する。次に、動き検出器423は複号
化器が出力するビデオ出力と第2の画像メモリが記憶す
るiフレーム目までの予測データの動き量を検出し、動
き補償に最適な動きベクトルを検出する。次にビデオ入
力と検出した動きベクトルで動き補償された第2の画像
メモリが記憶するiフレーム目までの予測誤差が減算手
段107で算出される。以下、従来の符号化器と同様に
画像データが符号化され、検出した動きベクトルととも
に速度の遅い通信回線に出力され、第2の画像メモリに
i+nフレーム目の予測データが記憶される。In FIG. 4, reference numeral 423 is a motion detector which sequentially specifies motion vectors in the second image memory 113, compares the output image with the video input, predicts the motion of the image, and optimizes the motion compensation. Output motion vector. In this case, the prediction error accumulator 104 and the decoder 1
22 performs the same operation as in the third embodiment, outputs the predicted data up to i + n frames as a video, and stores it in the first image memory 120. Next, the motion detector 423 detects the amount of motion of the video output output from the decoder and the predicted data up to the i-th frame stored in the second image memory, and detects the optimum motion vector for motion compensation. . Next, the subtraction unit 107 calculates the prediction error up to the i-th frame stored in the second image memory that has been motion-compensated with the motion vector detected as the video input. After that, the image data is coded similarly to the conventional encoder, is output to the communication line having a low speed together with the detected motion vector, and the prediction data of the (i + n) th frame is stored in the second image memory.
【0038】以上のように本実施例によれば、速度の早
い通信回線から入力される複数のフレーム間予測誤差デ
ータに動き補償予測誤差データが2フレーム以上含まれ
ている場合にも、それ以外のフレームデータは直交変換
係数のまま合成して1枚のフレームを作成することがで
き、逆直交変換と直交変換の処理を省略できる。なを、
第1の逆量子化手段117に比して第2の逆量子化手段
110の量子化ステップを大きくとることによってもレ
ート変換が可能であり、遅い通信回線の通信レートに応
じた画品質と動きの最適値に設定できる。このような操
作はフレーム単位でおこなってもよいし、フレームを複
数ブロックに分割している場合には、各フレームの同一
ブロック間に適用してもよい。As described above, according to the present embodiment, even when a plurality of inter-frame prediction error data input from a high speed communication line includes two or more frames of motion compensation prediction error data, other than that. The frame data can be combined as it is with the orthogonal transform coefficient to create one frame, and the inverse orthogonal transform and orthogonal transform processes can be omitted. What
The rate conversion can be performed by increasing the quantization step of the second dequantization means 110 as compared with the first dequantization means 117, and the image quality and motion according to the communication rate of the slow communication line can be obtained. Can be set to the optimum value of. Such an operation may be performed for each frame, or when the frame is divided into a plurality of blocks, it may be applied between the same blocks of each frame.
【0039】[0039]
【発明の効果】以上のように、本発明によれば、視覚的
に最適な量子化ステップとフレームレートを設定でき、
フレーム内符号化データや動き補償のないフレーム間予
測データに対して逆直交変換や直交変換の処理を不要と
し、動き補償1フレーム分は、動き予測の処理が不要な
レート変換符号化装置を提供可能となる。As described above, according to the present invention, the optimal quantization step and frame rate can be set visually.
A rate conversion coding apparatus that does not require inverse orthogonal transform or orthogonal transform processing for intraframe coded data or interframe predicted data without motion compensation and does not require motion prediction processing for one frame of motion compensation. It will be possible.
【図1】本発明の実施例1におけるレート変換符号化装
置の構成図FIG. 1 is a configuration diagram of a rate conversion encoding device according to a first embodiment of the present invention.
【図2】本発明の実施例2におけるレート変換符号化装
置の構成図FIG. 2 is a configuration diagram of a rate conversion encoding device according to a second embodiment of the present invention.
【図3】本発明の実施例3におけるレート変換符号化装
置の構成図FIG. 3 is a configuration diagram of a rate conversion encoding device according to a third embodiment of the present invention.
【図4】本発明の実施例4におけるレート変換符号化装
置の構成図FIG. 4 is a configuration diagram of a rate conversion encoding device according to a fourth embodiment of the present invention.
【図5】従来の技術における画像符号化装置の構成図FIG. 5 is a configuration diagram of an image encoding device according to a conventional technique.
101 第3の加算手段 102 第3の画像メモリ 103 スイッチ手段 104 予測誤差累算器 116 符号化器 122 複号化器 101 Third Addition Means 102 Third Image Memory 103 Switching Means 104 Prediction Error Accumulator 116 Encoder 122 Decoder
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 9371−5K H04L 13/00 307 C ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location 9371-5K H04L 13/00 307C
Claims (10)
中継する際に、通信速度の早い通信回線から入力された
画像データのフレームデータを複数枚合成して1枚のフ
レームデータとし、量子化精度を荒くして通信速度の遅
い通信回線に送出することを特徴とするレート変換画像
符号化装置。1. When relaying image data between transmission lines having different communication speeds, a plurality of frame data of image data input from a communication line having a high communication speed are combined into one frame data, A rate conversion image coding device characterized by roughening the coding accuracy and sending out to a communication line with a slow communication speed.
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを複数フレーム
分加算して1フレームの前記予測誤差に前記直交変換を
施した出力データとして前記通信速度の遅い通信回線に
出力することを特徴とする請求項1記載のレート変換画
像符号化装置。2. Image data is hybrid-encoded data that performs orthogonal transformation on inter-frame prediction error, and the input is input from the communication line with a high communication speed in which the orthogonal transformation is performed on the prediction error. 2. The rate conversion image coding apparatus according to claim 1, wherein data is added for a plurality of frames and output to the communication line having a slow communication speed as output data obtained by subjecting the prediction error of one frame to the orthogonal transformation. .
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数1で逆量子化を行なった
後、複数フレーム分加算して1フレームの前記予測誤差
に前記直交変換を施したデータとし量子化係数2で量子
化を行なった後、前記通信速度の遅い通信回線に出力す
ることを特徴とする請求項1記載のレート変換画像符号
化装置。3. Image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line with a high communication speed, which has been subjected to the orthogonal transformation on the prediction error. After the data is dequantized with the quantization coefficient 1 set by the encoding device of the transmission source, a plurality of frames are added and the prediction error of one frame is subjected to the orthogonal transformation to obtain the data and the quantization coefficient 2 is used. 2. The rate conversion image coding apparatus according to claim 1, wherein after the quantization, the data is output to the communication line having a slow communication speed.
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した複数フレーム分の入力デー
タの中で、予測誤差のデータ量がフレームの直交変換デ
ータのデータ量を上回る様な動きの大きな画像フレーム
や予測誤差データの量子化誤差の累積を排除するために
挿入するフレーム内符号化されたデータが存在する場合
に、前記フレーム内符号化データにそれ以降のフレーム
の前記予測誤差に前記直交変換を施した前記通信速度の
早い通信回線から入力した入力データを加算して1フレ
ームの前記予測誤差に前記直交変換を施した出力データ
を算出し、フレーム内符号化データとして前記通信速度
の遅い通信回線に出力することを特徴とする請求項1記
載のレート変換画像符号化装置。4. Image data is hybrid-encoded data that performs orthogonal transformation on inter-frame prediction error, and a plurality of data input from the communication line with a high communication speed, which has undergone the orthogonal transformation on the prediction error. A frame that is inserted to eliminate the accumulation of quantization errors in predictive error data and image frames that have large movements in the amount of predictive error data that exceeds the amount of orthogonal transform data in the frame input data. When the intra-coded data exists, the intra-coded data is added with the input data input from the communication line with a high communication speed, which is obtained by performing the orthogonal transformation on the prediction error of the subsequent frames. Output data obtained by subjecting the prediction error of one frame to the orthogonal transformation is calculated, and is output to the communication line with the slow communication speed as intraframe coded data. Rate converting the image encoding apparatus according to claim 1, wherein the forces.
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数1で逆量子化を行なった
後、前記フレーム内符号化データにそれ以降のフレーム
の前記予測誤差に前記直交変換を施した前記通信速度の
早い通信回線から入力した入力データを加算して1フレ
ームの前記予測誤差に前記直交変換を施した出力データ
を算出し、量子化係数2で量子化を行なった後、フレー
ム内符号化データとして前記通信速度の遅い通信回線に
出力することを特徴とする請求項4記載のレート変換画
像符号化装置。5. Image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line having a high communication speed in which the orthogonal transformation is performed on the prediction error. After dequantizing the data with the quantization coefficient 1 set by the encoding device of the transmission source, the intraframe encoded data is subjected to the orthogonal transformation on the prediction error of the subsequent frames to obtain the communication speed Input data input from a fast communication line is added to calculate output data obtained by subjecting the prediction error of one frame to the orthogonal transformation, and quantized with a quantization coefficient of 2 to obtain the intra-frame encoded data. 5. The rate conversion image coding apparatus according to claim 4, wherein the rate conversion image coding apparatus outputs to a communication line having a slow communication speed.
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数1で逆量子化を行なった
後、複数フレーム分加算して1フレームの前記予測誤差
に前記直交変換を施したデータとし量子化係数2で量子
化を行なった後、前記通信速度の遅い通信回線に出力す
るとともに、量子化係数2で量子化を行なった前記デー
タを量子化係数2で逆量子化し、画像メモリに保存する
ことを特徴とする請求項3記載のレート変換画像符号化
装置。6. The image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line having a high communication speed in which the orthogonal transformation is performed on the prediction error. After the data is dequantized with the quantization coefficient 1 set by the encoding device of the transmission source, a plurality of frames are added and the prediction error of one frame is subjected to the orthogonal transformation to obtain the data and the quantization coefficient 2 is used. After being quantized, it is output to the communication line having a slow communication speed, and the data quantized by the quantized coefficient 2 is dequantized by the quantized coefficient 2 and stored in the image memory. The rate conversion image encoding device according to claim 3.
直交変換を行うハイブリッド符号化されたデータであっ
て、前記予測誤差に前記直交変換を施した前記通信速度
の早い通信回線から入力した入力データを送信元の符号
化装置が設定した量子化係数1で逆量子化を行なった
後、前記フレーム内符号化データにそれ以降のフレーム
の前記予測誤差に前記直交変換を施した前記通信速度の
早い通信回線から入力した入力データを加算して1フレ
ームの前記予測誤差に前記直交変換を施した出力データ
を算出し、量子化係数2で量子化を行なった後、フレー
ム内符号化データとして前記通信速度の遅い通信回線に
出力するとともに、量子化係数2で量子化を行なった前
記データを量子化係数2で逆量子化し、画像メモリに保
存することを特徴とする請求項5記載のレート変換画像
符号化装置。7. The image data is hybrid-encoded data for performing orthogonal transformation on inter-frame prediction error, and the input is input from the communication line having a high communication speed in which the orthogonal transformation is performed on the prediction error. After dequantizing the data with the quantization coefficient 1 set by the encoding device of the transmission source, the intraframe encoded data is subjected to the orthogonal transformation on the prediction error of the subsequent frames to obtain the communication speed Input data input from a fast communication line is added to calculate output data obtained by subjecting the prediction error of one frame to the orthogonal transformation, and quantized with a quantization coefficient of 2 to obtain the intra-frame encoded data. The data is output to a communication line with a low communication speed, and the data quantized with a quantization coefficient of 2 is dequantized with a quantization coefficient of 2 and stored in an image memory. Rate converting the image encoding apparatus according to claim 5, wherein that.
に対して直交変換を行うハイブリッド符号化されたデー
タであって、前記予測誤差に前記直交変換を施した前記
通信速度の早い通信回線から入力した入力データを送信
元の符号化装置が設定した量子化係数1で逆量子化を行
なう第1の逆量子化手段と前記第1の逆量子化手段で逆
量子化した直交変換データを逆直交変換して空間座標デ
ータにする第1の逆直交変換手段と予測データを保存し
ておく第1の動き補償用画像メモリと前記予測値と前記
予測誤差を加算する第1の加算器とからなり早いフレー
ムレートで符号化データを複号する複号器と、前記通信
速度の遅い通信回線に出力した出力データの予測データ
を保存しておく第2の動き補償用画像メモリと前記複号
器の出力するビデオ信号と前記第2の動き補償用画像メ
モリの出力する予測データとの予測誤差を算出する減算
手段と前記予測誤差を直交変換する直交変換手段と前記
直交変換手段の出力を量子化する量子化手段と前記量子
化手段の出力を逆量子化する第2の逆量子化手段と前記
逆量子化手段の出力を逆直交変換する第2の逆直交変換
手段と前記第2の動き補償用画像メモリの出力する予測
データと前記第2の直交変換手段の出力を加算して前記
第2の動き補償用画像メモリに再び記録する加算手段と
からなり遅いフレームレートで符号化を行なう符号化器
に加え、逆量子化された直交変換データを記録する第3
の画像メモリと前記第1の逆量子化手段が出力する逆量
子化した入力データと前記第3の画像メモリのデータを
加算して第3の画像メモリに再び記録する第3の加算手
段と、前記入力データがフレーム内予測データの場合に
は前記第3の画像メモリのデータを前記第3の加算手段
に導かなくするスイッチ手段とで構成される予測誤差累
算器とからなり、入力データの最初の1フレーム以外に
動き予測がない期間はフレーム内予測データまたはフレ
ーム間予測誤差を前記第1の逆量子化手段で逆量子化し
た直交変換データを前記予測誤差累算器で累算し、所定
のフレーム数分累算した時点で前記量子化手段で量子化
して出力するとともに第1の逆直交変換手段で逆直交変
換して第1の動き補償用画像メモリに予測データとして
書き込み、また所定枚数に達する前に動き予測のフレー
ムが入力された時点で第1の逆直交変換手段で逆直交変
換して第1の動き補償用画像メモリに予測データとして
書き込んだ後、動き予測を行なうことを特徴とする請求
項7記載のレート変換画像符号化装置。8. Image data is hybrid-encoded data for performing orthogonal transformation on a motion-compensated interframe prediction error, and is input from the communication line having a high communication speed, which has undergone the orthogonal transformation on the prediction error. The first dequantizing means for dequantizing the input data with the quantized coefficient 1 set by the coding device of the transmission source and the orthogonal transform data dequantized by the first dequantizing means are inverse orthogonal. It comprises a first inverse orthogonal transform means for converting into spatial coordinate data, a first motion compensation image memory for storing prediction data, and a first adder for adding the prediction value and the prediction error. A decoder for decoding encoded data at a high frame rate, a second motion compensation image memory for storing predicted data of output data output to the communication line having a low communication speed, and the decoder. Output bidet Subtraction means for calculating a prediction error between a signal and prediction data output from the second motion compensation image memory, orthogonal transformation means for orthogonally transforming the prediction error, and quantization means for quantizing the output of the orthogonal transformation means. A second inverse quantizing means for inversely quantizing the output of the quantizing means, a second inverse orthogonal transforming means for inverse orthogonal transforming the output of the inverse quantizing means, and the second motion compensation image memory. In addition to the encoder for performing encoding at a slow frame rate, the prediction data to be output and the adding means for adding the output of the second orthogonal transformation means and recording it again in the second motion compensation image memory are added. Third recording of inversely quantized orthogonal transform data
Image memory, and third adding means for adding the inversely quantized input data output from the first inverse quantizing means and the data in the third image memory and recording again in the third image memory, When the input data is intra-frame prediction data, it comprises a prediction error accumulator composed of switch means for not guiding the data of the third image memory to the third adding means, In the period when there is no motion prediction other than the first one frame, the intra-frame prediction data or the inter-frame prediction error is inversely quantized by the first inverse quantizing means, and the orthogonal transform data is accumulated by the prediction error accumulator. At the time when a predetermined number of frames have been accumulated, the quantization means quantizes and outputs the result, and the first inverse orthogonal transform means performs inverse orthogonal transform and writes it as prediction data in the first motion compensation image memory. When a frame for motion estimation is input before reaching the number of frames, inverse orthogonal transform is performed by the first inverse orthogonal transform means and the result is written as prediction data in the first motion compensation image memory, and then motion estimation is performed. The rate conversion image encoding device according to claim 7, characterized in that.
ーム中に動き予測フレームが1枚のみ存在する場合にそ
の動きベクトルをレート変換後の動きベクトルとするこ
とを特徴とする請求項8記載のレート変換符号化装置。9. The motion vector after rate conversion is used as the motion vector when only one motion prediction frame is present in the predetermined number of frames which is a rate conversion unit. Rate conversion coding device.
し、ブロック毎にフレーム内符号化、フレーム間符号
化、動き予測符号化を選択する画像符号化において、複
数フレームの同一ブロックに対して適用することを特徴
とした請求項1から9のいずれかに記載のレート変換画
像符号化装置。10. An image frame is divided into a plurality of blocks, and intra-frame coding, inter-frame coding, and motion prediction coding are selected for each block, and the image coding is applied to the same block of a plurality of frames. The rate conversion image encoding device according to any one of claims 1 to 9, characterized in that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5195739A JPH0750834A (en) | 1993-08-06 | 1993-08-06 | Rate conversion picture coder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5195739A JPH0750834A (en) | 1993-08-06 | 1993-08-06 | Rate conversion picture coder |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0750834A true JPH0750834A (en) | 1995-02-21 |
Family
ID=16346167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5195739A Pending JPH0750834A (en) | 1993-08-06 | 1993-08-06 | Rate conversion picture coder |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0750834A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001506473A (en) * | 1997-09-23 | 2001-05-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Motion evaluation and motion compensation interpolation |
-
1993
- 1993-08-06 JP JP5195739A patent/JPH0750834A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001506473A (en) * | 1997-09-23 | 2001-05-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Motion evaluation and motion compensation interpolation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100593350B1 (en) | Image encoding device, image encoding method, image decoding device, image decoding method, and communication device | |
JPH05276502A (en) | Equipment and method for processing field group in video data compression system | |
JPH06217292A (en) | Device reducing quantization artifact in inter-frame hybrid encoding system equipped with motion compensation | |
JPH0870460A (en) | Movement compensation type coding method adapted to magnitude of movement,and its device | |
JPH09331533A (en) | Animation image coder | |
JPH04334190A (en) | Video signal coder | |
JPH01228384A (en) | Moving image coding system using area division | |
KR0178221B1 (en) | Improved pattern vector encoding system using average value of pixels | |
KR970004924B1 (en) | Improved motion vector transmission apparatus and method using layered coding | |
JPH0750834A (en) | Rate conversion picture coder | |
JPH04326690A (en) | Moving image encoder/decoder | |
JPH0984024A (en) | Coder for moving image signal | |
JPH10126794A (en) | Compressor for image signal between motion prediction frames | |
KR0181067B1 (en) | Moving picture encoder of having compatibility | |
KR0171152B1 (en) | Image processing system for very low-speed transmission | |
KR0181033B1 (en) | Apparatus for selectively encoding error signals | |
KR100774455B1 (en) | Bit rate operation apparatus for realtime video transmit application | |
JPH09182081A (en) | Movement compensation estimation encoder | |
JPH05236456A (en) | Method and device for encoding moving image | |
JPH0646411A (en) | Picture coder | |
KR970003794B1 (en) | Coding device for moving imagery | |
KR0169653B1 (en) | Device for encoding moving picture signals | |
KR100192784B1 (en) | A video encoder | |
KR0174959B1 (en) | Motion picture encoder for very low speed transmission | |
KR100203709B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream |