JP2702488B2 - Video predictive coding - Google Patents
Video predictive codingInfo
- Publication number
- JP2702488B2 JP2702488B2 JP773288A JP773288A JP2702488B2 JP 2702488 B2 JP2702488 B2 JP 2702488B2 JP 773288 A JP773288 A JP 773288A JP 773288 A JP773288 A JP 773288A JP 2702488 B2 JP2702488 B2 JP 2702488B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- prediction
- block size
- prediction error
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第９図〜第14図） 発明が解決しようとする問題点 問題点を解決するための手段（第１図） 作用（第２図） 実施例（第３図〜第７図） 変更例（第８図） 発明の効果 〔概要〕 可変ブロックサイズによる動画像の予測符号化方式に
関し， 動画像予測符号化における予測誤差算出のための計算
量の削減を図ることを目的とし， 符号化を行うブロックのブロックサイズを複数種類予
め定め，各ブロックサイズのブロックについて所要の予
測方法で予測誤差を求め，求められた予測誤差によって
符号化に適したブロックサイズを動画像の各部位毎に決
定してブロック単位で符号化する動画像予測符号化方式
において，最小ブロックサイズのブロックの各々につい
て該所要の予測方式により予測誤差を求め，求められた
最小ブロックサイズのブロックの予測誤差の平均値を演
算することによって上位層ブロックサイズのブロックの
予測誤差を算出するよう構成する。DETAILED DESCRIPTION OF THE INVENTION [Table of Contents] Outline Industrial application field Conventional technology (FIGS. 9 to 14) Problems to be Solved by the Invention Means for Solving Problems (FIG. 1) (FIG. 2) Embodiment (FIGS. 3 to 7) Modification (FIG. 8) Effect of the Invention [Overview] Regarding a predictive coding method for a moving image using a variable block size, a prediction error in moving image predictive coding In order to reduce the amount of calculation for the calculation, a plurality of types of block sizes of blocks to be coded are determined in advance, and a prediction error is obtained for a block of each block size by a required prediction method. In a moving picture prediction coding method in which a block size suitable for coding is determined for each part of a moving image and coding is performed on a block basis, the required prediction method is used for each block having the minimum block size. A prediction error is obtained by the formula, and an average value of the obtained prediction errors of the blocks having the minimum block size is calculated to calculate the prediction error of the block having the upper layer block size.
本発明は可変ブロックサイズによる動画像の予測符号
化方式に関する。The present invention relates to a moving picture predictive coding method using a variable block size.
テレビ会議システム等を実現する動画像帯域圧縮符号
化方式として予測符号化方式があり，これにはフレーム
内予測，フレーム間予測，動き補償予測等がある。As a moving image band compression encoding method for realizing a video conference system or the like, there is a prediction encoding method, which includes intra-frame prediction, inter-frame prediction, motion compensation prediction, and the like.
動き補償予測はフレーム間の相関を利用して動きの検
出を行うことにより時間軸方向の冗長性を大きく削減す
る方式であり，画面を複数のブロックに分割してブロッ
ク単位で符号化を行い，各ブロックにつき動ベクトルを
算出して予測の補正を行う。このブロックのサイズにつ
いて検討してみると，一般にブロックサイズは小さくな
るほど伝送情報量は増大するのでビットレートの低減化
の観点からはブロックサイズは大きくとったほうがよ
い。この場合，静止領域については予測のブロックサイ
ズを大きくして伝送情報量を小さくしても，復元された
画面と原画との誤差は小さい。一方，動領域ではブロッ
クサイズを大きくすると予測誤差が大きくなり，復元画
像の品質が劣化する。このためブロックサイズを小さく
して予測誤差を小さくする必要があるが，この場合，伝
送情報量が大きくなり，ビットレートの低減を図れな
い。Motion-compensated prediction is a method that greatly reduces the redundancy in the time axis direction by detecting motion using correlation between frames. It divides the screen into multiple blocks and performs coding in block units. A motion vector is calculated for each block to correct the prediction. When examining the size of this block, the smaller the block size is, the larger the amount of transmission information is. Therefore, it is better to increase the block size from the viewpoint of reducing the bit rate. In this case, the error between the restored picture and the original picture is small even if the amount of transmission information is reduced by increasing the prediction block size for the still area. On the other hand, when the block size is increased in the moving area, the prediction error increases, and the quality of the restored image deteriorates. For this reason, it is necessary to reduce the prediction error by reducing the block size. However, in this case, the amount of transmission information increases and the bit rate cannot be reduced.
このように動き補償予測方式では符号化を行うブロッ
クサイズは画面のどの部分でも一定であり，画面の静止
領域でも動きの激しい動領域でも同一のサイズで符号化
を行っている。このため，例えばブロックサイズを一様
に大きくした場合は動きの激しい部分では誤差が大きく
なる。一方，ブロックサイズを一様に小さくした場合は
動きの激しい部分での誤差を小さくできるが，半面，静
止部分に対しての伝達情報量が増大し，余分な情報を伝
送しなければならなくなる。As described above, in the motion compensation prediction method, the block size to be coded is constant in any part of the screen, and coding is performed with the same size in both the still area and the rapidly moving area of the screen. For this reason, for example, when the block size is uniformly increased, an error increases in a portion where movement is sharp. On the other hand, if the block size is reduced uniformly, the error in a portion with a lot of movement can be reduced, but on the other hand, the amount of information transmitted to a stationary portion increases, and extra information must be transmitted.
このような問題を解決するために，本出願人に係る発
明の名称「可変ブロックサイズ動き補償方式」と称され
る昭和62年９月22日付けの特許出願においては，動画像
の静止部分や動部分等の各部位の性質に応じて適応的に
予測方式とブロックサイズを選択して画像符号化を行う
ことにより，動画像全体に対して誤差の小さい的確な符
号化を行いつつ全体として伝送効率の向上を図ることが
できる画像符号化方式が提案される。以下にこの画像符
号化方式について更に詳細に説明する。In order to solve such a problem, in a patent application filed on September 22, 1987, called “variable block size motion compensation method” of the present invention, a stationary part of a moving image or Performs image coding by adaptively selecting a prediction method and block size according to the properties of each part such as a moving part, and transmits the entire moving image as a whole while performing accurate coding with a small error. An image coding scheme that can improve efficiency is proposed. Hereinafter, this image encoding method will be described in more detail.
この画像符号化方式は，動画像信号をブロック単位で
予測符号化し，それに際し予測方式としてフレーム間予
測，動き補償予測およびフレーム内予測の何れかを適応
的に選択するとともに，画像の変化の激しい部分に対し
てはブロックサイズを小さくし静止的な部分に対しては
ブロックサイズを大きくするといったように画面の部分
的な状態に応じてブロックサイズを適応的に切り換え
る。In this image coding method, a moving image signal is predictively coded on a block basis, and at that time, any one of an inter-frame prediction, a motion compensation prediction, and an intra-frame prediction is adaptively selected as a prediction method, and the image changes rapidly. The block size is adaptively switched according to the partial state of the screen, such as reducing the block size for a part and increasing the block size for a stationary part.
ここで被符号化ブロックのブロックサイズを最大で32
×32（pel）とし，このサイズで以下に説明する処理を
繰り返すものとして説明する。第９図に示されるよう
に，被符号化ブロックの最大サイズは32×32であり，こ
れを数段階に分けて順次に細分割して16×16,8×8,4×
４の計,4種類のブロックサイズを用意する。従って32×
32のブロックは，第10図に示されるように,16×16,8×
8,4×４と順次に小なるブロックに４段階に細分化され
ることになる。Here, the block size of the block to be coded is up to 32
X32 (pel), and the following description is repeated with this size. As shown in FIG. 9, the maximum size of the block to be coded is 32 × 32, which is divided into several stages and sequentially subdivided into 16 × 16,8 × 8,4 ×
Prepare a total of four, four types of block sizes. Therefore 32x
As shown in Fig. 10, 32 blocks are 16x16,8x
The blocks are subdivided into four smaller blocks in order of 8,4 × 4.
次にこのようにして得られた各階層のサイズのブロッ
ク全体についてブロック毎に，フレーム間予測，動き補
償予測およびフレーム内予測の３種類の予測符号化を行
ってそれぞれフレーム間予測誤差ε（ｋ），動き補償予
測誤差ε（ｍ）およびフレーム内予測誤差ε（ｎ）を得
る。そして各ブロック毎にこれらの予測誤差ε（ｋ），
ε（ｍ），ε（ｎ）を所定の評価関数に従って評価して
そのブロックについての最適の予測方式を決定し，その
予測方式識別情報とともにその予測方式による予測誤差
を当該ブロック対応のメモリに格納する。Next, three types of prediction coding of inter-frame prediction, motion compensation prediction, and intra-frame prediction are performed for each block of the entire block having the size of each layer obtained in this manner, and an inter-frame prediction error ε (k ), The motion compensation prediction error ε (m) and the intra-frame prediction error ε (n) are obtained. Then, for each block, these prediction errors ε (k),
Evaluate ε (m) and ε (n) according to a predetermined evaluation function to determine the optimal prediction method for the block, and store the prediction error along with the prediction method identification information in the memory corresponding to the block. I do.
なおここで動き補償予測の予測誤差ε（ｍ）の計算方
法についてさらに詳細に説明すると，これは以下のよう
に動ベクトル探索して行われる。すなわち動ベクトルの
探索は，第11図に示されるような探索順番表に基づいて
行われるものであり，現フレームの入力画面ORGに対し
て前フレームの参照画面REFの位置を探索順番表に従っ
てそれに示される動ベクトル位置に順次にずらして，そ
れぞれの位置において画面の予測誤差の絶対値の積算値
を求め，それらの値を評価して誤差が最小となる最適の
動ベクトルを決定してその最適動ベクトルの予測誤差を
当該ブロックの予測誤差とするものである。なおここで
は評価のために予測誤差の絶対値を用いたが，これに限
らず例えば予測誤差の平均二乗の平方根を用いることな
ども可能である。Here, the method of calculating the prediction error ε (m) of the motion compensation prediction will be described in more detail. This is performed by searching for a motion vector as follows. That is, the search for the motion vector is performed based on the search order table as shown in FIG. 11, and the position of the reference screen REF of the previous frame with respect to the input screen ORG of the current frame is set according to the search order table. It is sequentially shifted to the indicated motion vector position, the integrated value of the absolute value of the prediction error of the screen is obtained at each position, and these values are evaluated to determine the optimum motion vector that minimizes the error and determine the optimum motion vector. The prediction error of the motion vector is used as the prediction error of the block. Although the absolute value of the prediction error is used here for evaluation, the present invention is not limited to this. For example, the square root of the mean square of the prediction error may be used.
探索順番表の枡目の中の数字は探索位置の順番を示し
ており，これらは所定の探索範囲内において順番付けさ
れている。１番目に指定された位置を探索しその後，順
次に探索位置を遠ざけていく。ここで１番目の位置は参
照画面REFの位置を移動させていない場合に相当するも
のであり，従ってこれはフレーム間予測の場合に相当す
る。The numbers in the cells in the search order table indicate the order of the search positions, which are ordered within a predetermined search range. After searching for the first designated position, the search positions are sequentially moved away. Here, the first position corresponds to a case where the position of the reference screen REF is not moved, and thus corresponds to a case of inter-frame prediction.
以上のようにして各ブロックサイズの全てのブロック
について予測方式の決定が行われ，その結果選択された
予測方式と予測誤差が各ブロック対応のメモリにそれぞ
れ格納されると，次に符号化に最適のブロックサイズの
決定が行われる。このブロックサイズの決定は，まず４
×４のブロックと８×８のブロックの間で行われ，次い
で８×８と16×16の間,16×16と32×32の間の順で行わ
れる。As described above, the prediction method is determined for all blocks of each block size, and as a result, the selected prediction method and prediction error are stored in the memory corresponding to each block. Is determined. The decision of this block size is 4
The processing is performed between a × 4 block and an 8 × 8 block, and then between 8 × 8 and 16 × 16, and between 16 × 16 and 32 × 32.
すなわち８×８のブロックの予測誤差と，そのブロッ
クを更に４分割した４×４の４つのブロックの各予測誤
差の平均値とを所定の評価関数に従って評価し，画面の
その部位を符号化するには８×８のブロックと４×４の
ブロックとではどちらがより適切であるかを判定する。
このような処理を８×８と４×４のブロック全てにつき
行ったら，次に８×８と16×16のブロックに対して同様
な処理を行うものである。That is, the prediction error of the 8 × 8 block and the average value of the prediction errors of the 4 × 4 blocks obtained by further dividing the block into four are evaluated in accordance with a predetermined evaluation function, and that part of the screen is encoded. It is determined which of the 8 × 8 block and the 4 × 4 block is more appropriate.
After such processing has been performed for all 8 × 8 and 4 × 4 blocks, similar processing is then performed for 8 × 8 and 16 × 16 blocks.
以上により，画像の各部位に応じて最適なブロックサ
イズが選ばれる。この場合，動きが少ない静止的な部位
に対しては最大のブロックサイズ32×32が選択され，動
きが多くなるに従い順に小さなブロック16×16,8×8,4
×４が選択される。As described above, the optimal block size is selected according to each part of the image. In this case, the largest block size 32 × 32 is selected for a stationary part with little motion, and the smaller blocks 16 × 16, 8 × 8, 4 are sequentially selected as the motion increases.
× 4 is selected.
このようにして32×32のブロックサイズを最大ブロッ
クとして16×16,8×8,4×４の各サイズのブロックの全
てについて予測誤差等のデータを求めると，そのデータ
構造は第12図に示されるような４段４分岐のツリー状の
ものとなり，この中で評価関数に従って順次にブロック
サイズを決定することによって最適な径路が決定され
る。In this way, when the block size of 32 × 32 is set as the maximum block and data such as prediction errors are obtained for all blocks of each size of 16 × 16, 8 × 8 and 4 × 4, the data structure is as shown in FIG. As shown in the figure, a four-stage four-branch tree is formed, and the optimum path is determined by sequentially determining the block size according to the evaluation function.
第13図は処理結果の一例としての最適径路を示すもの
である。図中，細線の長円は最適のブロックサイズとし
て選ばれたブロックを示し，太線の長円は最適のブロッ
クサイズに選ばれなかったブロックを示す。なお各長円
に対応して予測誤差εと予測のための情報量ｉがデータ
としてメモリに格納されるものである。FIG. 13 shows an optimum path as an example of the processing result. In the figure, a thin line oval indicates a block selected as the optimum block size, and a thick line oval indicates a block not selected as the optimum block size. Note that the prediction error ε and the information amount i for prediction are stored in the memory as data corresponding to each oval.
第13図中に〜で示された16×16のブロックは，第
14図に示されるように,32×32のブロックを４分割した1
6×16の各ブロック〜の各位置に対応している。第1
3図において16×16のブロックよりさらに下位階層に分
岐されるブロックの上位階層ブロックに対する位置関係
も第14図の位置関係と同様になっている。したがって第
13図のように決定された径路は，画面上では第15図に示
すように,32×32のブロックが複数種類のブロックで細
分化されたものに対応する。The 16 × 16 blocks indicated by in FIG.
As shown in Fig. 14, 1 divided into 32x32 blocks
It corresponds to each position of each block from 6 × 16. First
In FIG. 3, the positional relationship of the block branched to a lower hierarchical layer from the 16 × 16 block with respect to the upper hierarchical block is the same as the positional relationship in FIG. Therefore the
The route determined as shown in FIG. 13 corresponds to a 32 × 32 block subdivided into a plurality of types of blocks on the screen as shown in FIG.
上述した可変ブロックサイズによる画像符号化方式で
は各ブロックサイズの全てのブロックについてそれぞれ
フレーム間予測，動き補償予測およびフレーム内予測を
行って予測誤差を求めている。このためこれらの予測処
理に要する計算量は固定ブロックサイズによる予測符号
化の場合に比較して多くなり，特に動き補償予測を行う
ための計算量は格段に多くなる。In the image coding method using the variable block size described above, prediction errors are obtained by performing inter-frame prediction, motion compensation prediction, and intra-frame prediction for all blocks of each block size. Therefore, the amount of calculation required for these prediction processes is larger than that in the case of predictive coding using a fixed block size, and the amount of calculation for performing motion compensation prediction is particularly large.
このことは装置化に際して実時間での処理を行う上で
不都合であり，また実時間で処理しようとすると装置が
大型化してしまうという問題点がある。This is inconvenient in performing real-time processing when realizing a device, and there is a problem in that if the processing is performed in real time, the device becomes large.
したがって本発明の目的は，可変ブロックサイズによ
る画像符号化に際し，各ブロックの予測誤差を算出する
ための計算量を削減することにある。Therefore, an object of the present invention is to reduce the amount of calculation for calculating the prediction error of each block in image coding with a variable block size.
第１図は本発明が係わる予測符号化方式の原理図であ
る。FIG. 1 is a principle diagram of a predictive coding system according to the present invention.
本発明に係る動画像の予測符号化方式は，符号化を行
うブロックのブロックサイズを複数種類予め定め（S
1），各ブロックサイズのブロックについて所要の予測
方法で予測誤差を求め（S2），求められた予測誤差によ
って符号化に適したブロックサイズを動画像の各部位毎
に決定して（S3）ブロック単位で符号化する動画像予測
符号化方式において，最小ブロックサイズのブロックの
各々について該所要の予測方式により予測誤差を求め
（S4），求められた最小ブロックサイズのブロックの予
測誤差の平均値を演算することによって上位層ブロック
サイズのブロックの予測誤差を算出する（S5）ものであ
る。In the predictive coding method of a moving image according to the present invention, a plurality of types of block sizes of blocks to be coded are determined in advance (S
1) A prediction error is calculated for a block of each block size by a required prediction method (S2), and a block size suitable for encoding is determined for each part of the moving image based on the obtained prediction error (S3). In the video predictive coding method of encoding in units of units, a prediction error is obtained for each of the blocks having the minimum block size by the required prediction method (S4), and the average value of the prediction errors of the obtained blocks having the minimum block size is calculated. By performing the calculation, the prediction error of the block of the upper layer block size is calculated (S5).
ブロックサイズとしてN1からNmまでの複数種類のサイ
ズで可変ブロックサイズの動画像符号化を行うものと
し，ここでサイズN1を最小のブロックとし,Nmを最大サ
イズのブロックとする。予測方法としてはここでは動き
補償予測を用いるものとする。And performs video encoding of the variable block sizes in a plurality of sizes from N 1 to N m as a block size, wherein the size N 1 the smallest block, the maximum size of a block N m. Here, the motion compensation prediction is used as the prediction method.
まず最下層の最小ブロックN1について動き補償予測を
行っそれぞれの同ベクトル毎に動き補償予測誤差を求め
てメモリに保存しておく。これを最小ブロックN1の全て
について行う。Keep in memory First, the minimum block N 1 lowermost seeking motion compensated prediction error for each of the same vectors performs motion compensation prediction. Is performed for all of the minimum block N 1 it.
最小ブロックN1の次に小さいブロックN2（最下層から
２段目）においては，そのブロックと同位置を占める最
下層の複数のブロックの予測誤差を各ベクトル毎に統合
（平均値を求める）してその平均値を予測誤差とし，そ
れをメモリに保存する。この操作をブロックN2のそれぞ
れについて行う。In the block N 2 (the second stage from the bottom layer), which is the second smallest block after the minimum block N 1 , the prediction errors of the bottom blocks occupying the same position as the block are integrated for each vector (average value is calculated). Then, the average value is used as a prediction error, which is stored in a memory. Performed for each the operation of the block N 2.
このような操作を最上層のブロックNmまで順次に進め
る。これによって最小ブロックN1以外のブロックの予測
誤差の計算は単にメモリからデータを読み出してその平
均値をとるだけの簡単な操作で行える。Such sequentially advance the operation to block N m of the top layer. Calculation of the prediction error of the minimum block N 1 other blocks thereby simply done by simple operation of taking the average value data is read from the memory.
なお予測方式がフレーム間予測の場合は動き補償予測
における動ベクトル（0,0）につき求めたデータがその
まま使え，また入力ブロック自身の平均値をとるフレー
ム内予測についても同様なことができるものである。If the prediction method is inter-frame prediction, the data obtained for the motion vector (0,0) in motion compensation prediction can be used as it is, and the same can be applied to intra-frame prediction that takes the average value of the input block itself. is there.
第２図は最大ブロックサイズを幹として得られる各ブ
ロックサイズのデータ構造を示すものであり，これはｋ
段ｌ分岐のツリー状構造となっており，動ベクトル毎に
かかるデータ構造対応のメモリが用意されるものであ
る。FIG. 2 shows a data structure of each block size obtained by using the maximum block size as a trunk.
It has a tree-like structure with 1 branch, and a memory corresponding to such a data structure is prepared for each motion vector.
以下，本発明の実施例を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
第３図には本発明の一実施例としての動画像予測符号
化方式における予測誤差計算手順の流れ図が示される。
この実施例方式は，第９図および第10図に示されるよう
な最大32×32（pel）のブロックを16×16,8×8,4×４の
各ブロックサイズに分割してそれぞれのサイズのブロッ
クに対して動き補償予測の動ベクトルの探索を行い，そ
の結果得られる予測誤差に基づき画面の各部位の性質に
応じて最適のブロックサイズを適応的に選択して符号化
する可変ブロックサイズ動き補償予測符号化に関しての
ものであり，このような処理が１画面中の他の32×32の
サイズのブロックに対しても繰り返されるものである。FIG. 3 shows a flowchart of a prediction error calculation procedure in the moving picture prediction encoding method as one embodiment of the present invention.
In this embodiment, the maximum 32 × 32 (pel) block as shown in FIGS. 9 and 10 is divided into 16 × 16, 8 × 8, 4 × 4 block sizes, and Variable block size that searches for the motion vector of motion compensation prediction for the block of, and adaptively selects and encodes the optimal block size according to the properties of each part of the screen based on the prediction error obtained as a result This is related to motion compensation prediction coding, and such processing is repeated for other 32 × 32 size blocks in one screen.
まず最小サイズの４×４の64個の各ブロックについて
動き補償予測を行い，予測誤差ε（ｍ）を求める。第４
図は或る一つの４×４ブロックについて予測誤差を算出
するための手順を詳細に示した流れ図である。First, motion compensation prediction is performed for each of 64 blocks of the minimum size of 4 × 4, and a prediction error ε (m) is obtained. 4th
The figure is a flowchart showing in detail a procedure for calculating a prediction error for a certain 4 × 4 block.
いま動き補償予測に際しての動ベクトルの探索の範囲
を，説明を簡単化するため，第５図に示されるような範
囲であるとする。すなわちｉ軸方向に−７〜＋７（画
素）,j軸方法に−７〜＋７（画素）の範囲である。この
探索範囲内にある各動ベクトルを で表すものとし，（i,j）はｉ軸およびｊ軸の座標を示
す。Now, let us say that the search range of the motion vector in the motion compensation prediction is a range as shown in FIG. 5 for the sake of simplicity. That is, the range is -7 to +7 (pixels) in the i-axis direction and -7 to +7 (pixels) in the j-axis method. Each motion vector within this search range is Where (i, j) indicates the coordinates of the i-axis and j-axis.
第４図において，まず変数ｉとｊをそれぞれ−７に設
定し（ステップS21,S22），動ベクトル の位置に参照画面REFを移動させてその位置で入力画面O
RGに対する予測誤差を算出する（ステップS23）。この
ようにして求めた予測誤差を当該動ベクトル 対応に用意されたメモリに格納する（ステップS24）。In FIG. 4, first, variables i and j are respectively set to -7 (steps S21 and S22), and the motion vector Move the reference screen REF to the position
A prediction error for RG is calculated (step S23). The prediction error obtained in this way is It is stored in the memory prepared for the correspondence (step S24).
上述の操作をｉ軸方向に−７から＋７（画素）まで繰
り返し（ステップS22〜S26），さらにこの操作をｊ軸方
向に−７から＋７（画素）まで繰り返すことによって
（ステップS22〜S28），第５図に示される探索範囲中の
全ての動ベクトル に対してそれぞれ予測誤差を求め，その結果を各動ベク
トル 対応のメモリに格納する。この操作を64個の４×４ブロ
ック全てについて行うものである。（ステップS11）。By repeating the above operation from -7 to +7 (pixels) in the i-axis direction (steps S22 to S26), and repeating this operation in the j-axis direction from -7 to +7 (pixels) (steps S22 to S28), All motion vectors in the search range shown in FIG. Is calculated for each motion vector Store in the corresponding memory. This operation is performed for all 64 4 × 4 blocks. (Step S11).
次にこのようにして求めた４×４ブロックの予測誤差
に基づき,8×８ブロックの予測誤差を算出する。これ
は，或る一つの８×８ブロックにつき，この８×８ブロ
ックと同位置を占める４つの４×４ブロックの予測誤差
の平均値を各動ベクトル 毎に求め，これを予測誤差とすることによる。この操作
はその８×８のブロックの大きさで動き補償を行ったこ
とと同じになる（ステップS13）。以上の操作を16個の
８×８ブロック全てについて行うものである。Next, the prediction error of the 8 × 8 block is calculated based on the prediction error of the 4 × 4 block thus obtained. This means that, for one 8 × 8 block, the average value of the prediction errors of four 4 × 4 blocks occupying the same position as this 8 × 8 block is calculated for each motion vector. Each time, this is used as the prediction error. This operation is the same as performing motion compensation with the 8 × 8 block size (step S13). The above operation is performed for all 16 8 × 8 blocks.
更に16×16のブロックの予測誤差の算出も上述同様に
して行われる。すなわち或る一つの16×16ブロックにつ
き，その16×16ブロックと同位置を占める４つの８×８
ブロックの予測誤差の平均値を各動ベクトル 毎に求め，これを予測誤差とする。この操作を４つの16
×16のブロック全てについて行う（ステップS13）。Further, the calculation of the prediction error of the 16 × 16 block is performed in the same manner as described above. That is, for a certain 16 × 16 block, four 8 × 8 blocks occupying the same position as the 16 × 16 block
The average value of the prediction error of the block is calculated for each motion vector. Calculated every time, and this is used as the prediction error. Perform this operation in four 16
This is performed for all of the × 16 blocks (step S13).
最後に最大サイズ32×32のブロックの予測誤差も上述
同様,32×32のブロック一つに相当する16×16のブロッ
ク４つの平均値をとり，これを予測誤差とすることによ
り算出される（ステップS14）。Lastly, the prediction error of the block having the maximum size of 32 × 32 is also calculated by taking the average value of four 16 × 16 blocks corresponding to one 32 × 32 block and using the average value as the prediction error as described above ( Step S14).
このようにして算出された各ブロックサイズのブロッ
クの予測誤差を格納するメモリ構成が第６図に示され
る。この第６図のメモリ構成は一つの動ベクトル についてのものであり，図中，左端は４×４ブロック対
応のメモリであり，右側にいくに従って順次,8×８ブロ
ック対応,16×16ブロック対応,32×32ブロック対応のメ
モリとなる。図からも明らかなように,4つの４×４のメ
モリの内容を加算して４で割ることにより平均値を求め
て８×８のメモリの内容とし，さらにこの８×８の４つ
のメモリの内容を加算して４で割って16×16のメモリの
内容とし，最後にこの16×16のメモリの内容を加算し４
で割って32×32のメモリの内容としている。FIG. 6 shows a memory configuration for storing the prediction error of the block of each block size calculated in this way. The memory configuration shown in FIG. In the figure, the left end is a memory corresponding to 4 × 4 blocks, and as it goes to the right side, it is a memory corresponding to 8 × 8 blocks, 16 × 16 blocks, and 32 × 32 blocks. As is clear from the figure, an average value is obtained by adding the contents of the four 4 × 4 memories and dividing by 4 to obtain the contents of the 8 × 8 memory. The contents are added, divided by 4 to obtain the contents of the 16 × 16 memory, and finally the contents of the 16 × 16 memory are added to obtain 4
Divided by the contents of 32 × 32 memory.
第６図に示すメモリ構成のブロックが，動ベクトル の全てについて備えられるものである。第７図はこのよ
うな全ての動ベクトルについての全体的なメモリ構成を
示す図である。図示のように，動ベクトル のそれぞれについて,4×4,8×8,16×16および32×32ブ
ロック対応のメモリからなるメモリブロックが備えられ
るものである。なおここで動 の時の動き補償予測はフレーム間予測となり，したがっ
てそのメモリの格納データはフレーム間予測誤差とな
る。The block of the memory configuration shown in FIG. It is provided for all of. FIG. 7 is a diagram showing the overall memory configuration for all such motion vectors. As shown, the motion vector Are provided with memory blocks composed of memories corresponding to 4 × 4, 8 × 8, 16 × 16 and 32 × 32 blocks. Note that here In this case, the motion compensation prediction is an inter-frame prediction, and the data stored in the memory is an inter-frame prediction error.
変更例 本発明の実施にあたっては種々の変更態様が可能であ
る。例えば，上述の実施例では予測方式として動き補償
予測を行う場合について説明したが，これに限らず本発
明は例えばフレーム間予測，あるいは入力ブロック自体
の平均血を求めて予測誤差を算出するフレーム内予測な
どを行う場合についても適用できるものである。Modifications Various modifications are possible in the implementation of the present invention. For example, in the above-described embodiment, the case where the motion compensation prediction is performed as the prediction method has been described. However, the present invention is not limited to this, and the present invention is not limited to this. The present invention can also be applied to the case where prediction is performed.
また可変ブロックサイズによる予測符号化において
は，計算量の削減と効率化などのため予測誤差を知りた
い段より１段小さいブロックサイズの動き補償予測が行
われない場合があるが，かかる場合のメモリ構成は第７
図に示されるようなものとすればよい。すなわち各メモ
リの番地対応に予測誤差の計算を行ったか否かを示すフ
ラグをたてるフラグ部分を設け（図中に で示す），この部分により計算がされていないことが判
明したら必要に応じて当該ブロックの動き補償予測の計
算を行うようにする。Also, in predictive coding using a variable block size, motion compensation prediction of a block size one stage smaller than the stage where the prediction error is to be known may not be performed in order to reduce the amount of calculation and increase efficiency. Configuration is 7th
What is necessary is just to be as shown in a figure. That is, a flag portion for setting a flag indicating whether or not a prediction error has been calculated for each address of each memory is provided (in FIG. If it is found that the calculation has not been performed by this part, the calculation of the motion compensation prediction of the block is performed as necessary.
本発明によれば，可変ブロックサイズによる動画像予
測符号化における予測誤差の算出を行うに際し，最小サ
イズのブロックについて所要の予測方式で予測誤差を一
度算出してメモリに格納しておけば，他のブロックサイ
ズのブロックの予測誤差の計算はメモリの内容を読み出
して平均をとるだけの簡単な演算で求められるようにな
り，よって予測誤差算出の計算量を大幅に削減すること
ができ，それにより装置の実時間処理化および小型化を
図ることができる。According to the present invention, when calculating a prediction error in video predictive coding using a variable block size, once a prediction error is calculated once in a required prediction method for a block of the minimum size and stored in a memory, The calculation of the prediction error for a block with a block size of can be obtained by a simple operation of reading out the contents of the memory and taking the average, thereby greatly reducing the calculation amount of the prediction error calculation. Real-time processing and downsizing of the device can be achieved.
第１図は本発明に係る動画像の予測符号化方式の原理
図， 第２図は本発明方式により算出される予測誤差を保存す
るメモリ構成の例を示す図， 第３図は本発明の一実施例としての予測符号化方式にお
ける予測誤差算出手順を説明する流れ図， 第４図は第２図における４×４ブロックにおける予測誤
差を求める手順を示す流れ図， 第５図は動ベクトル探索範囲の例を示す図， 第６図は本発明の実施例において或る一つの動ベクトル
に関してのメモリ構成の例を示す図， 第７図は本発明の実施例において全動ベクトルに関して
の全体的なメモリ構成を示す図， 第８図は本発明の変更例における或る一つの動ベクトル
に関してのメモリ構成を示す図， 第９図および第10図はブロック分割の例を説明する図， 第11図は動ベクトルの探索順番表を示す図， 第12図は可変ブロックサイズ予測符号化によるデータ構
造の一例を示す図，および 第13図〜第15図は可変ブロックサイズ予測符号化による
処理結果の一例を示す図である。FIG. 1 is a diagram illustrating the principle of a predictive coding method for a moving image according to the present invention, FIG. 2 is a diagram illustrating an example of a memory configuration for storing a prediction error calculated by the method according to the present invention, and FIG. FIG. 4 is a flowchart illustrating a procedure for calculating a prediction error in a predictive coding method as one embodiment; FIG. 4 is a flowchart illustrating a procedure for calculating a prediction error in a 4 × 4 block in FIG. 2; FIG. 6 is a diagram showing an example, FIG. 6 is a diagram showing an example of a memory configuration for one motion vector in the embodiment of the present invention, and FIG. 7 is an overall memory for all motion vectors in the embodiment of the present invention. FIG. 8 is a diagram showing a configuration, FIG. 8 is a diagram showing a memory configuration for a certain motion vector in a modified example of the present invention, FIGS. 9 and 10 are diagrams for explaining an example of block division, and FIG. Show motion vector search order table Figure, FIG. 12 FIG shows an example of a data structure according to variable block size prediction coding, and FIG. 13-FIG. 15 is a diagram showing an example of a processing result by the variable block size prediction coding.
Claims (2)
複数種類予め定め（S1）， 各ブロックサイズのブロックについて所要の予測方式で
予測誤差を求め（S2）， 求められた予測誤差によって符号化に適したブロックサ
イズを動画像の各部位毎に決定して（S3）ブロック単位
で符号化する動画像の予測符号化方式において， 最小ブロックサイズのブロックの各々について該所要の
予測方式により予測誤差を求め（S4）， 求められた最小ブロックサイズのブロックの予測誤差の
平均値を演算することによって上位層ブロックサイズの
ブロックの予測誤差を算出する（S5）ことを特徴とする
動画像の予測符号化方式。1. Predetermining a plurality of types of block sizes of blocks to be coded (S1), determining a prediction error for a block of each block size by a required prediction method (S2), and performing coding based on the determined prediction errors. In a predictive coding method for a moving image in which a suitable block size is determined for each part of the moving image (S3) and coding is performed in block units, a prediction error is calculated for each of the blocks having the minimum block size by the required predicting method. Calculating (S4), calculating a prediction error of a block having an upper layer block size by calculating an average value of prediction errors of a block having the obtained minimum block size (S5). method.
該上位層ブロックサイズのブロックの予測誤差の平均値
の演算は，動き補償の動ベクトル毎に行われることを特
徴とする特許請求の範囲第１項に記載の予測符号化方
式。2. A motion compensation prediction is used as a prediction method.
2. The predictive coding method according to claim 1, wherein the calculation of the average value of the prediction error of the block of the upper layer block size is performed for each motion compensation motion vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP773288A JP2702488B2 (en) | 1988-01-18 | 1988-01-18 | Video predictive coding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP773288A JP2702488B2 (en) | 1988-01-18 | 1988-01-18 | Video predictive coding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01183286A JPH01183286A (en) | 1989-07-21 |
| JP2702488B2 true JP2702488B2 (en) | 1998-01-21 |
Family
ID=11673880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP773288A Expired - Fee Related JP2702488B2 (en) | 1988-01-18 | 1988-01-18 | Video predictive coding |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2702488B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5144423A (en) * | 1990-12-11 | 1992-09-01 | At&T Bell Laboratories | Hdtv encoder with forward estimation and constant rate motion vectors |
| US5235419A (en) * | 1991-10-24 | 1993-08-10 | General Instrument Corporation | Adaptive motion compensation using a plurality of motion compensators |
| JP2007151169A (en) * | 1996-12-26 | 2007-06-14 | United Module Corp | Motion vector detection apparatus and recording medium |
| US8270490B2 (en) | 2006-07-06 | 2012-09-18 | Canon Kabushiki Kaisha | Motion vector detection apparatus, motion vector detection method, image encoding apparatus, image encoding method, and computer program |
| JP4789719B2 (en) * | 2006-07-06 | 2011-10-12 | キヤノン株式会社 | Motion vector detection apparatus, motion vector detection method, computer program, and storage medium |
| JP6365102B2 (en) * | 2014-08-14 | 2018-08-01 | 富士ゼロックス株式会社 | Data processing apparatus and program |
-
1988
- 1988-01-18 JP JP773288A patent/JP2702488B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01183286A (en) | 1989-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3190529B2 (en) | Video data block conversion system | |
| KR0178231B1 (en) | Method and apparatus for detecting motion vectors based on hierarchical motion estimation | |
| JP4662636B2 (en) | Improvement of motion estimation and block matching pattern | |
| US8019000B2 (en) | Motion vector detecting device | |
| WO1998042134A1 (en) | Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system | |
| JP4709155B2 (en) | Motion detection device | |
| US8135224B2 (en) | Generating image data | |
| JPH09233477A (en) | Motion vector generating method | |
| JPH06225292A (en) | Module memory for image decoding system | |
| JP2702488B2 (en) | Video predictive coding | |
| JP2787944B2 (en) | Motion compensation motion vector search method | |
| US5485214A (en) | Dual bus dual bank architecture for motion compensation | |
| KR100490730B1 (en) | Method and apparatus for motion estimation using of adaptive search pattern for video sequence compression | |
| JP4410172B2 (en) | Motion vector estimation method, motion vector estimation device, motion vector estimation program, and motion vector estimation program recording medium | |
| JPH0262178A (en) | Motion detection system for picture processor | |
| JP2608909B2 (en) | Video predictive coding | |
| JPH09284777A (en) | Video coding method and device using motion compensation without motion vector | |
| JP2861971B2 (en) | Motion vector prediction device | |
| JPH09200763A (en) | Motion compensating method for moving image encoding | |
| JPH08265773A (en) | Method for detecting hierarchical motion vector and device therefor | |
| JP2937134B2 (en) | Motion vector search method | |
| JP2853974B2 (en) | Hierarchical motion vector detection method and apparatus | |
| JP3001753B2 (en) | Motion vector detection method | |
| JP2005354174A (en) | Motion-searching apparatus | |
| JP2941751B2 (en) | Motion vector detection method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |