JP4648805B2

JP4648805B2 - Video compression device

Info

Publication number: JP4648805B2
Application number: JP2005262002A
Authority: JP
Inventors: 省造藤井; 秀美岡; 慎二郎水野; 慎哉瀬戸; 耕治有村
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-09-09
Filing date: 2005-09-09
Publication date: 2011-03-09
Anticipated expiration: 2025-09-09
Also published as: JP2007074634A

Description

本発明は可変ビットレート（ＶＢＲ）方式を用いて動画像圧縮を行う動画像圧縮装置に関するものである。 The present invention relates to a moving image compression apparatus that performs moving image compression using a variable bit rate (VBR) method.

近年、動画像符号化方式として、ＭＰＥＧ２（ＩＴＵ−ＴＨ．２６２）など、フレーム間相関を用いた符号化方式が用いられるようになってきた。これらの方式では符号化する画面を小さな矩形領域である符号化ブロックに分割し、各符号化ブロック毎に参照画面から検出した動きベクトルにより予測ブロックを求め、符号化ブロックと予測ブロックとの差分を圧縮符号化することで高効率圧縮符号化を実現している。 In recent years, an encoding method using inter-frame correlation such as MPEG2 (ITU-T H.262) has been used as a moving image encoding method. In these methods, the screen to be encoded is divided into encoded blocks that are small rectangular areas, a prediction block is obtained from the motion vector detected from the reference screen for each encoding block, and the difference between the encoding block and the prediction block is calculated. High-efficiency compression encoding is realized by compression encoding.

図７はＭＰＥＧ２の映像フレームと参照の関係を示すものである。映像フレームはＩ（Intra）ピクチャー、Ｐ（Predictive）ピクチャー、Ｂ（Bidirectionallypredictive）ピクチャーの３種類に分類される。Ｉピクチャーはイントラと呼ばれるフレーム内圧縮がなされる。Ｐピクチャーは、過去のＩピクチャーまたは過去のＰピクチャーを参照画面として動きベクトルを求めるものである。Ｂピクチャーは、過去のＩピクチャーまたはＰピクチャーを順方向参照画面として、未来のＩピクチャーまたはＰピクチャーを逆方向参照画面として動きベクトルを求めるものである。 FIG. 7 shows the relationship between MPEG2 video frames and references. Video frames are classified into three types: I (Intra) pictures, P (Predictive) pictures, and B (Bidirectionally predictive) pictures. The I picture is subjected to intra-frame compression called intra. The P picture is for obtaining a motion vector using a past I picture or a past P picture as a reference screen. The B picture obtains a motion vector using a past I picture or P picture as a forward reference screen and a future I picture or P picture as a backward reference screen.

図８はＭＰＥＧ２のグループオブピクチャー構造（以下ＧＯＰ構造と略す）を示すものである。ＧＯＰとは符号化順、復号化順でＩピクチャーを先頭とし、次のＩピクチャーまでを区切りとする構造であり、符号化、復号化の動作の大きな区切りとなるものである。図８では、１つのＧＯＰが１２枚のピクチャーより構成される場合の例を示している。 FIG. 8 shows an MPEG2 group of picture structure (hereinafter abbreviated as GOP structure). The GOP has a structure in which the I picture starts in the encoding order and the decoding order, and the next I picture is a delimiter. This is a large delimiter for encoding and decoding operations. FIG. 8 shows an example in which one GOP is composed of 12 pictures.

ＭＰＥＧ２の場合、圧縮後の符号は、主にベクトルの符号とＡＣ係数の符号とから構成されている。ベクトルの符号とは求めた動きベクトルを符号化したものであり、ＡＣ係数の符号とは動きベクトルから求めた予測ブロックと符号化ブロックの差分を直交変換し、量子化指標Ｑで指示される量子化ステップで量子化した後、可変長符号で符号化したものである。 In the case of MPEG2, the compressed code is mainly composed of a vector code and an AC coefficient code. The vector code is obtained by encoding the obtained motion vector, and the AC coefficient code is obtained by orthogonally transforming the difference between the prediction block and the encoded block obtained from the motion vector, and indicating the quantization index Q. After quantization in the encoding step, encoding is performed with a variable length code.

圧縮後の符号量を所望の符号量とするため符号量制御が必要となるが、その代表的方式として固定ビットレート（以下ＣＢＲと略す）方式と、可変ビットレート方式（以下ＶＢＲと略す）とが用いられている。ＣＢＲ方式は常に目標とする所望のビットレートとなるように符号量を制御する方式であり、ＶＢＲ方式は短時間でみた場合には映像の圧縮困難度合いに応じて符号量を増減させるが、数秒あるいは数分単位でみたときの平均ビットレートは所望の値となるように制御する方式である。いずれの方式においても、これから符号化する符号化画面で使用する割り当て符号量を設定してから圧縮動作を開始し、その符号化画面の圧縮処理中は量子化指標Ｑを随時制御して与えられた割り当て符号量になるように動作させるものである。従って、割り当て符号量の的確さが画質に及ぼす影響が大きく、適正な割り当て符号量の決定方法が数多く検討されている。過去の符号化の符号量と量子化指標Ｑの実績値に基づいて割り当て符号量を算出する方法が基本であるが、それに加えて入力画像の映像としての特徴を検出して制御に利用する方法が一般的になってきた。 Code amount control is required in order to set the code amount after compression to a desired code amount. As a typical method, a fixed bit rate (hereinafter abbreviated as CBR) method and a variable bit rate method (hereinafter abbreviated as VBR) are used. Is used. The CBR method is a method for controlling the code amount so that the desired bit rate is always a target, and the VBR method increases or decreases the code amount according to the degree of difficulty in compressing the video when viewed in a short time. Alternatively, the average bit rate when viewed in units of several minutes is controlled to be a desired value. In either method, the compression operation is started after setting the allocated code amount to be used in the encoding screen to be encoded in the future, and the quantization index Q is controlled as needed during the compression processing of the encoding screen. It is operated so that the allocated code amount becomes the same. Therefore, the accuracy of the assigned code amount has a great influence on the image quality, and many methods for determining an appropriate assigned code amount have been studied. A method of calculating the allocated code amount based on the past code amount and the actual value of the quantization index Q is a basic method. In addition to this, a method of detecting a feature of an input image as a video and using it for control Has become commonplace.

ＣＢＲの場合の例として特許文献１がある。特許文献１の符号量制御装置では符号化画面の映像的特徴として平均輝度（以下ＤＣ値と略す）の変化を監視し、大きな変化があった場合にそのＧＯＰ全体あるいは個別のピクチャーに対する割り当て符号量を制限するものである。大きな映像変化の場合には、割り当て符号量よりも圧縮処理後の実際の符号量が大幅に超過することがあるが、予め割り当て符号量を絞り込むことにより大幅な符号量超過を防止して、ＣＢＲでありながら適正な符号量制御ができることになる。 There exists patent document 1 as an example in the case of CBR. In the code amount control apparatus of Patent Document 1, a change in average luminance (hereinafter abbreviated as a DC value) is monitored as a video feature of the encoded screen, and when there is a large change, the assigned code amount for the entire GOP or an individual picture This is a limitation. In the case of a large video change, the actual code amount after compression processing may greatly exceed the allocated code amount. However, by reducing the allocated code amount in advance, a large code amount can be prevented from exceeding, and the CBR However, appropriate code amount control can be performed.

一方、ＶＢＲ方式でも入力画像の特徴検出が利用されるようになってきている。その代表的な従来例について以下に説明する。図９は一般的なＶＢＲ方式の動画像圧縮装置の構成を示すものである。図９で、入力映像は符号化画面メモリ１と前処理手段３ａに供給され、符号化画面メモリ１と参照画面メモリ２は映像データを圧縮手段７に供給し、前処理手段３ａの出力である入力映像情報は入力映像情報記憶手段４ａで一時記憶され、前処理手段３ａと入力映像情報記憶手段４ａの出力はともにイントラ判定手段５ａに接続される。イントラ判定手段５ａの出力であるイントラ通報は符号量制御手段６ａに通知され、符号量制御手段６ａは圧縮手段７から実績符号量と量子化指標Ｑを受け、割り当て符号量を供給する。 On the other hand, feature detection of an input image is also used in the VBR method. A typical example of this will be described below. FIG. 9 shows a configuration of a general VBR moving image compression apparatus. In FIG. 9, the input video is supplied to the encoding screen memory 1 and the preprocessing means 3a, and the encoding screen memory 1 and the reference screen memory 2 supply the video data to the compression means 7 and are the outputs of the preprocessing means 3a. The input video information is temporarily stored in the input video information storage unit 4a, and the outputs of the preprocessing unit 3a and the input video information storage unit 4a are both connected to the intra determination unit 5a. An intra report which is an output of the intra determination unit 5a is notified to the code amount control unit 6a, and the code amount control unit 6a receives the actual code amount and the quantization index Q from the compression unit 7 and supplies the allocated code amount.

以下、従来例の動作について説明する。符号量制御手段６ａの内部動作では、符号量Ｓと量子化指標Ｑを用いて（数１）で定義される複雑度Ｘが用いられる。 The operation of the conventional example will be described below. In the internal operation of the code amount control means 6a, the complexity X defined by (Equation 1) using the code amount S and the quantization index Q is used.

(数１)
Ｘ＝Ｓ＊Ｑ
符号量制御手段６ａは符号量割り当てのための基準の複雑度であるＸ_i0とＸ_p0とＸ_b0と、基準の量子化指標である量子化指標Ｑ₀を記憶している。Ｘ_i0，Ｘ_p0，Ｘ_b0はそれぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーの制御に使用する基準値としての複雑度である。 (Equation 1)
X = S * Q
The code amount control means 6a stores X _i0 , X _p0, and X _b0 that are reference complexity for code amount allocation, and a quantization index Q ₀ that is a reference quantization index. X _i0 , X _p0 , and X _b0 are the complexity as reference values used for controlling the I picture, P picture, and B picture, respectively.

あるＰピクチャーの符号化を行う場合の動作について説明する。符号量制御手段６ａはまず（数２）に従って基準の量子化指標Ｑ₀からＰピクチャー用の基準の量子化指標Ｑ_p0を算出し、基準の複雑度Ｘ_p0と量子化指標Ｑ_p0を用いて（数１）に従い割り当て符号量Ｓ_p0を求め、バッファシミュレーションによる制約を加えた後、圧縮手段７に供給する。 An operation when encoding a certain P picture will be described. The code amount control means 6a first calculates a reference quantization index Q _p0 for the P picture from the reference quantization index Q ₀ according to (Equation 2), and uses the reference complexity X _p0 and the quantization index Q _p0. The allocated code amount S _p0 is obtained according to ( _Equation 1), and after being restricted by buffer simulation, it is supplied to the compression means 7.

(数２)
Ｑ_p0＝Ｋ_p ＊Ｑ₀
圧縮手段７は符号化画面メモリ１と参照画面メモリ２から映像データを読み込み、割り当て符号量Ｓ_p0となるように量子化指標Ｑ_p0を制御しながら符号化ピクチャーの圧縮処理を行い、動作終了後に実際の符号量Ｓ_p1と実際の量子化指標Ｑ_p1とを実績値として符号量制御手段６ａに報告する。符号量制御手段６ａは符号量実績値Ｓ_p1と量子化指標Ｑ_p1とから該当ピクチャーの複雑度実績値Ｘ_p1を求め、それを基準の複雑度Ｘ_p0と比較する。その差異があらかじめ設定した許容誤差の範囲内であれば映像の状態が変化していないと判断して基準の複雑度Ｘ_p0をそのまま保持する。また、符号量実績値Ｓ_p1を用いて過去の平均的符号量を更新演算し、平均符号量から求まる平均ビットレートが目標とするビットレートに近づくように大きな時定数で少しずつ基準の量子化指標Ｑ₀を更新する。一方、複雑度実績値Ｘ_p1が許容誤差の範囲外であれば映像の状態が変化したと判断してその複雑度実績値Ｘ_p1を新たな基準の複雑度Ｘ_p0として記憶し、併せてＩピクチャーの基準の複雑度Ｘ_i0、Ｂピクチャーの基準の複雑度Ｘ_b0も更新する。Ｘ_i0，Ｘ_b0の更新は過去数フレームの実績値Ｘ_i1，Ｘ_p1，Ｘ_b1の平均値の比率から求める。同時に今後の割り当て符号量が適度な値の範囲になるように基準の量子化指標Ｑ₀の値を変更する。 (Equation 2)
Q _p0 = K _p * Q ₀
The compression means 7 reads the video data from the encoding screen memory 1 and the reference screen memory 2, performs the compression processing of the encoded picture while controlling the quantization index Q _p0 so that the allocated code amount S _p0 is obtained. The actual code amount S _p1 and the actual quantization index Q _p1 are reported to the code amount control means 6a as actual values. The code amount control means 6a obtains the complexity actual value X _p1 of the corresponding picture from the code amount actual value S _p1 and the quantization index Q _p1 , and compares it with the reference complexity X _p0 . If the difference is within a preset allowable error range, it is determined that the video state has not changed, and the reference complexity X _p0 is held as it is. In addition, the past average code amount is updated using the code amount actual value _Sp1 , and the reference quantization is gradually performed with a large time constant so that the average bit rate obtained from the average code amount approaches the target bit rate. to update the index Q _0. On the other hand, if the actual complexity value X _p1 is outside the allowable error range, it is determined that the state of the video has changed, and the actual complexity value X _p1 is stored as a new reference complexity X _p0. The reference complexity X _{i0 of} the picture and the reference complexity X _b0 of the B picture are also updated. The update of X _i0 and X _b0 is obtained from the ratio of the average values of the actual values X _i1 , X _p1 and X _b1 of the past several frames. At the same time, the value of the reference quantization index Q ₀ is changed so that the future allocated code amount is in an appropriate value range.

以上、Ｐピクチャーの場合の符号量制御手段６ａと圧縮手段７の基本動作を説明したが、Ｉピクチャー、Ｂピクチャーの場合も同様である。 The basic operations of the code amount control means 6a and the compression means 7 in the case of the P picture have been described above, but the same applies to the case of the I picture and the B picture.

一方、前処理手段３ａは入力映像を取り込み、その映像的特徴を検出して入力映像情報として出力する。入力映像情報としては数々のものが考えられるが、代表的な例としてＤＣ値と高域成分絶対値総和がある。ＤＣ値とは入力画面の輝度成分の画面全体としての平均値のことである。高域成分絶対値総和とは入力画面の水平方向にハイパスフィルタを掛け、その出力の絶対値の総和を求めたものである。前処理手段３ａがＤＣ値と高域成分絶対値総和を入力映像情報として出力すると、イントラ判定手段５ａは入力映像情報記憶手段４ａが記憶していた１フレーム過去の入力映像情報と、前処理手段３ａの現在の入力映像情報とを比較して、ＤＣ値あるいは高域成分絶対値総和のいずれかが予め設定された基準値以上に変化していたとき入力映像に大きな変化が発生したと判断して、イントラ通報を符号量制御手段６ａに発行する。 On the other hand, the preprocessing means 3a takes in the input video, detects its video characteristics, and outputs it as input video information. There are various types of input video information, but typical examples include a DC value and a sum of absolute values of high frequency components. The DC value is an average value of luminance components of the input screen as the entire screen. The high-frequency component absolute value sum is obtained by applying a high-pass filter in the horizontal direction of the input screen to obtain the sum of the absolute values of the outputs. When the preprocessing means 3a outputs the DC value and the high-frequency component absolute value sum as input video information, the intra determination means 5a receives the input video information of one frame past stored in the input video information storage means 4a and the preprocessing means. 3a is compared with the current input video information, and it is determined that a large change has occurred in the input video when either the DC value or the high-frequency component absolute value sum has changed to a predetermined reference value or more. The intra notification is issued to the code amount control means 6a.

図１０はイントラ通報とＧＯＰ再起動を説明するものである。図中に示すＰピクチャーとＢピクチャーの比較でイントラ判定手段５ａが大きな映像変化を検出して、そのＢピクチャーについてイントラ通報を発行し、符号量制御手段６ａはイントラ通報を受けると、イントラ通報を発行させたピクチャー以降最初のＰピクチャーをＩピクチャーに変更して新たなＧＯＰを作成する。その結果、直前のＧＯＰは短縮化されることとなり、図１０の例では６枚のピクチャーに短縮されている。 FIG. 10 explains intra notification and GOP restart. The intra determination means 5a detects a large video change by comparing the P picture and B picture shown in the figure, issues an intra report for the B picture, and when the code amount control means 6a receives the intra report, the intra report is issued. The first P picture after the issued picture is changed to an I picture to create a new GOP. As a result, the immediately preceding GOP is shortened, and is shortened to six pictures in the example of FIG.

一般に映像が大きく変化するところで、参照画像を用いた圧縮では画質劣化が激しくなる。しかし、以上のように入力映像の映像としての特徴を検出して利用することにより、映像変化に対してＩピクチャーを設けることができるから画質劣化を防止することができるものである。
特開２００３−３４８５９０号公報（第６−７頁、第１図） In general, where video changes greatly, compression using a reference image causes severe image quality degradation. However, by detecting and using the characteristics of the input video as the video as described above, it is possible to provide an I picture with respect to the video change, thereby preventing image quality deterioration.
JP 2003-348590 A (page 6-7, FIG. 1)

上述したように特許文献１の構成では、入力画像の映像としての特徴を検出して割り当て符号量の制御に利用しているが、ＣＢＲとしてのビットレートの安定を目的として割り当て符号量を制限するのみであり、ＶＢＲへの適用、すなわち画質確保のための割り当て符号量の積極的な増減の制御への適用は困難である。また、映像がより圧縮に容易な方向に変化したとき、逆に映像が劣化するという課題を有している。 As described above, in the configuration of Patent Document 1, the feature of the input image as a video is detected and used for controlling the allocated code amount. However, the allocated code amount is limited for the purpose of stabilizing the bit rate as CBR. However, it is difficult to apply to VBR, that is, to control the active increase / decrease of the allocated code amount for ensuring image quality. Also, when the video changes in a direction that is easier to compress, there is a problem that the video is deteriorated.

また、図９に示した一般的なＶＢＲの構成では、符号量制御手段６ａと圧縮手段７の作用だけでは、入力映像の状態が変化した場合に割り当て符号量の適正値への切り換えが遅れるため、短時間の画質劣化が避けられないという課題を有している。その対策として図１０に示すように入力映像の状態変化を検出して、新たなＧＯＰを開始するＧＯＰ再起動の方法がある。しかしこの方法では、Ｉピクチャーの直後に変化が検出された場合、２つのＩピクチャーが近接して存在してしまうという状態が容易に発生する。Ｉピクチャーは割り当て符号量が大きいから、バッファシミュレーションにより割り当て符号量が削減されてしまい、画質改善効果を得ることができない。特に変化が頻繁に発生する場合など逆に画質劣化を招くという課題を有する。 Further, in the general VBR configuration shown in FIG. 9, the switching of the assigned code amount to the appropriate value is delayed when the state of the input video changes only by the action of the code amount control means 6a and the compression means 7. Therefore, there is a problem that image quality deterioration cannot be avoided for a short time. As a countermeasure, there is a GOP restart method for detecting a change in the state of the input video and starting a new GOP as shown in FIG. However, with this method, when a change is detected immediately after an I picture, a state in which two I pictures are close to each other easily occurs. Since an I picture has a large allocated code amount, the allocated code amount is reduced by buffer simulation, and an image quality improvement effect cannot be obtained. In particular, there is a problem that image quality is deteriorated conversely, such as when changes frequently occur.

本発明は上記の問題点に鑑み、頻繁に発生する映像の状態変化に対してはその状態変化に同期して遅滞なく割り当て符号量を的確に増減制御するＶＢＲ方式の動画像圧縮装置を提供するものである。 SUMMARY OF THE INVENTION In view of the above problems, the present invention provides a VBR type moving image compression apparatus that accurately controls increase / decrease of an assigned code amount without delay in synchronization with a state change of a video that occurs frequently. Is.

本発明による動画像圧縮装置は、符号量が可変で、フレーム間相関に基づく動画像符号化方式を用いた動画像圧縮装置であって、符号化対象画面における複雑度指標を符号化前に算定する圧縮状態予測手段と、前記圧縮状態予測手段による前記複雑度指標を基に、前記符号化対象画面の割り当て符号量を求める符号量制御手段と、前記割り当て符号量となるように、前記符号化対象画面を圧縮する圧縮手段と、前記符号化対象画面とフレーム間相関の基になる参照画面との比較により、前記符号化対象画面における圧縮難易度を求める映像情報検出手段とを備え、前記圧縮状態予測手段は、前記映像情報検出手段による圧縮難易度の変化に基づき前記複雑度指標を算定し、前記映像情報検出手段は、前記符号化対象画面または前記符号化対象画面の縮小画面と、前記参照画面または前記参照画面の縮小画面とを互いにずらし、重なった領域が最もよく一致するずらし量を全体ベクトルとして特定する全体ベクトル検索部と、前記全体ベクトルを特定した重なり領域の統計的類似性指標を算出する類似性演算部とを備え、前記全体ベクトルと前記統計的類似性指標とから前記圧縮難易度の変化を求めるものである。 A moving image compression apparatus according to the present invention is a moving image compression apparatus that uses a moving image coding method based on inter-frame correlation with a variable amount of code, and calculates a complexity index in a coding target screen before coding. Compression state predicting means, code amount control means for obtaining an assigned code amount of the encoding target screen based on the complexity index by the compressed state predicting means, and the encoding so as to be the assigned code amount A compression means for compressing the target screen; and a video information detection means for obtaining a compression difficulty level in the encoding target screen by comparing the encoding target screen with a reference screen on which a correlation between frames is based. The state prediction means calculates the complexity index based on a change in compression difficulty by the video information detection means, and the video information detection means is the encoding target screen or the encoding target. An overall vector search unit for shifting the reduced screen of the screen and the reference screen or the reduced screen of the reference screen from each other, and specifying a shift amount that best matches the overlapped area as an overall vector, and an overlap that specifies the overall vector A similarity calculation unit for calculating a statistical similarity index of the region, and determining a change in the compression difficulty level from the whole vector and the statistical similarity index.

これにより、圧縮動作の難易度合いと対応する符号化画面と参照画面の相関性を映像情報として定量的に求めることとなり、映像情報の変化度合いから圧縮動作の難易度合いを相対的に求めることとなるから、それを圧縮予測情報として符号量と量子化指標の実績値に演算することで、正確な符号量割り当てが求められるという作用を有する。その結果として、符号量制御が映像変化に遅れることなく、常に高い画質を実現することができる。さらに、ＧＯＰ再起動処理も必要最小限に抑える、あるいは廃止することができるから、変化が高い頻度で発生する映像に対しても安定して高い画質を実現することができる。 As a result, the degree of difficulty of the compression operation and the correlation between the corresponding encoded screen and reference screen are quantitatively obtained as video information, and the degree of difficulty of the compression operation is relatively obtained from the degree of change of the video information. Therefore, it is possible to calculate the code amount and the actual value of the quantization index as compressed prediction information, thereby obtaining an accurate code amount assignment. As a result, it is possible to always realize high image quality without delaying the code amount control with respect to the video change. Furthermore, since the GOP restart process can be minimized or eliminated, a high image quality can be stably achieved even for a video that frequently changes.

これにより、圧縮動作におけるイントラマクロブロックのＡＣ係数符号量の程度にほぼ対応する全体ベクトルと、ＡＣ係数符号量とランダムな動きのベクトル符号量の程度にほぼ対応する類似性指標とを求めることで圧縮動作の難易度合いが定量的に求められる作用を有する。 As a result, an overall vector substantially corresponding to the degree of the AC coefficient code amount of the intra macroblock in the compression operation and a similarity index substantially corresponding to the degree of the AC coefficient code amount and the random motion vector code amount are obtained. It has an effect that the degree of difficulty of the compression operation is quantitatively obtained.

また、上記において、前記類似性演算部は、前記符号化対象画面と前記参照画面との重なり領域での共分散に基づく演算で、前記統計的類似性指標を算出するという態様もある。これにより、精度の高い統計的類似性指標が得られる作用を有する。 In the above, the similarity calculation section is a calculation based on the covariance in the overlapping region of the encoding target picture and the reference picture, there is also an embodiment that calculates the statistical similarity measure. This has an effect of obtaining a statistical similarity index with high accuracy.

また、上記において、前記圧縮状態予測手段は、前記符号化対象画面と同一種類の過去の画面における前記統計的類似性指標、及び前記全体ベクトルと前記映像情報検出手段が出力する前記統計的類似性指標、及び前記全体ベクトルとから圧縮難易度の変化を求め、該圧縮難易度の変化に応じて前記複雑度指標を算出するという態様がある。これにより、ベクトル符号量とＡＣ係数符号量の増減が過去の実績に対する相対的な比率として予測され、符号量と量子化指標の実績値に乗ずることで圧縮状態をより正確に推定する作用を有する。 Further, in the above, the compression state prediction means includes the statistical similarity index in the past screen of the same type as the encoding target screen, and the statistical similarity output from the whole vector and the video information detection means. There is a mode in which a change in compression difficulty is obtained from the index and the entire vector, and the complexity index is calculated according to the change in compression difficulty . Thereby, the increase / decrease in the vector code amount and the AC coefficient code amount is predicted as a relative ratio with respect to the past results, and has an effect of more accurately estimating the compression state by multiplying the code amount and the actual value of the quantization index. .

本発明によれば、映像情報検出手段が符号化画面と参照画面の関係を全体ベクトルと類似性指標として求め、圧縮状態予測手段が過去の全体ベクトルと類似性指標の比較を行うから、ベクトル符号量とＡＣ係数符号量の増減を相対的に予測することができ、これを圧縮予測情報として、符号量や量子化指標の実績値を利用することで、これから圧縮する符号化画面の圧縮状態を高い精度で予測することができ、適正な符号量割り当てを求めることができる。そのため符号量制御が映像変化に遅れることなく、常に高い画質を実現することができる。さらに、ＧＯＰ再起動処理も必要最小限に抑える、あるいは廃止することができるから、変化が高い頻度で発生する映像に対しても安定して高い画質を実現することができる。 According to the present invention, the video information detecting means obtains the relationship between the encoded screen and the reference screen as the whole vector and the similarity index, and the compressed state predicting means compares the past whole vector with the similarity index. It is possible to relatively predict the increase and decrease of the amount and the AC coefficient code amount, and by using the actual value of the code amount and the quantization index as the compression prediction information, the compression state of the encoding screen to be compressed from now on can be determined. Prediction can be performed with high accuracy, and appropriate code amount allocation can be obtained. Therefore, it is possible to always realize high image quality without delaying the code amount control with respect to the video change. Furthermore, since the GOP restart process can be minimized or eliminated, a high image quality can be stably achieved even for a video that frequently changes.

以下、本発明にかかわる動画像圧縮装置の実施の形態を図面に基づいて詳細に説明する。 Embodiments of a moving picture compression apparatus according to the present invention will be described below in detail with reference to the drawings.

図１は本発明の実施の形態における動画像圧縮装置の構成を示すブロック図である。図１において、１は符号化画面メモリ、２は参照画面メモリ、３は符号化画面メモリ１からの符号化画面と参照画面メモリ２からの参照画面の比較により映像情報を求める映像情報検出手段、４は過去の映像情報を記憶する映像情報記憶手段、５は映像情報記憶手段４からの過去の映像情報に対する映像情報検出手段３からの現在の符号化画面の映像情報の変化度合いから圧縮予測情報αを算出する圧縮状態予測手段、６は過去の符号化による符号量と量子化指標の実績値と圧縮予測情報αを用いて符号化画面の割り当て符号量を求める符号量制御手段、７は符号化画面メモリ１と参照画面メモリ２から映像データを読み込み、所定の割り当て符号量となるように量子化指標Ｑを制御しながら符号化ピクチャーの圧縮処理を行う圧縮手段である。圧縮手段７は、動作終了後に実際の符号量と実際の量子化指標とを実績値として符号量制御手段６に報告する。符号量制御手段６は圧縮手段７から実績符号量と量子化指標Ｑを受け、割り当て符号量を供給する。 FIG. 1 is a block diagram showing a configuration of a moving image compression apparatus according to an embodiment of the present invention. In FIG. 1, 1 is an encoded screen memory, 2 is a reference screen memory, 3 is a video information detecting means for obtaining video information by comparing the encoded screen from the encoded screen memory 1 and the reference screen from the reference screen memory 2, Reference numeral 4 denotes video information storage means for storing past video information, and reference numeral 5 denotes compressed prediction information based on the degree of change in video information on the current encoded screen from the video information detection means 3 with respect to past video information from the video information storage means 4. Compressed state prediction means for calculating α, 6 is a code amount control means for obtaining an assigned code amount of a coded screen using past coding amount, actual value of quantization index, and compressed prediction information α, and 7 is a code Compression means that reads video data from the coded screen memory 1 and the reference screen memory 2 and performs compression processing of the coded picture while controlling the quantization index Q so that a predetermined allocated code amount is obtained. . The compression unit 7 reports the actual code amount and the actual quantization index to the code amount control unit 6 as actual values after the operation ends. The code amount control unit 6 receives the actual code amount and the quantization index Q from the compression unit 7 and supplies the allocated code amount.

以上のように構成された実施の形態の動作について以下に説明する。 The operation of the embodiment configured as described above will be described below.

まず、Ｐピクチャーを符号化する場合の動作、すなわち順方向参照を用いたＭＰＥＧ２規格の動画像圧縮動作を行う場合について説明する。符号化画面メモリ１には符号化Ｐピクチャーが、参照画面メモリ２には符号化Ｐピクチャーの３フレーム過去に相当するＩピクチャーまたはＰピクチャーが既に記憶されているものとする。 First, an operation for encoding a P picture, that is, a case of performing an MPEG2 standard moving image compression operation using forward reference will be described. It is assumed that an encoded P picture is already stored in the encoded screen memory 1, and an I picture or P picture corresponding to the past three frames of the encoded P picture is already stored in the reference screen memory 2.

最初に、映像情報検出手段３が符号化画面と参照画面の画面全体としての移動状態を検出し、全体ベクトルを求める。この全体ベクトルの検出方法としては、画面のいくつかの部分の移動状態を検索してその総合として求める方法、符号化画面と参照画面それぞれの縮小画面を生成して、縮小画面のずれ状態を検索する方法などがある。本実施の形態では映像情報検出手段３が縮小画面を生成し、互いにずらしながら、重なり部分の差分絶対値平均が最小となるずらし量を全体ベクトルとして求めるものであるとする。これが全体ベクトル検索機能に該当する。 First, the video information detecting means 3 detects the movement state of the entire screen of the encoding screen and the reference screen, and obtains the entire vector. As a method for detecting the whole vector, a method for obtaining the total movement by searching the moving state of several parts of the screen, generating a reduced screen for each of the encoded screen and the reference screen, and searching for a shifted state of the reduced screen. There are ways to do it. In the present embodiment, it is assumed that the video information detecting means 3 generates a reduced screen and obtains a shift amount that minimizes the average difference absolute value of overlapping portions as an overall vector while shifting each other. This corresponds to the whole vector search function.

図２は本実施の形態での全体ベクトルの定義を示す説明図である。符号化画面の全体ベクトルの定義は図２の符号化画面上に図示したものであり、カメラの移動ベクトルに相当するものである。以下の説明ではＰピクチャーの全体ベクトルをＶ_pと記す。 FIG. 2 is an explanatory diagram showing the definition of the entire vector in the present embodiment. The definition of the entire vector of the encoding screen is illustrated on the encoding screen of FIG. 2 and corresponds to the movement vector of the camera. In the following description, the entire vector of the P picture is denoted as V _p .

図３は全体ベクトルＶ_pの状態での符号化画面と参照画面の重なり合いの関係を示すものである。映像情報検出手段３は図３の重なり領域に対して統計的類似性指標を算出する。類似性指標として（数３）に示す相関係数ｒを用いる。 FIG. 3 shows the overlapping relationship between the encoding screen and the reference screen in the state of the entire vector V _p . The video information detecting means 3 calculates a statistical similarity index for the overlapping region in FIG. The correlation coefficient r shown in (Equation 3) is used as the similarity index.

（数３）でｘは符号化画面の縮小画面の画素、ｙは参照画面の縮小画面の画素、総和は図３に示す重なり領域の範囲内として演算する。（数３）の分子は符号化画面と参照画面の重なり部分の共分散であり、それを分母の標準偏差で正規化したものである。すなわち、共分散を用いた演算である。相関係数は１から−１の値をとり、極めて強い相関関係があるとき１、無関係であるとき０、極めて強い逆相関があるとき−１となる特徴がある。Ｐピクチャーの相関係数をｒ_pと記すことにする。映像情報検出手段３は全体ベクトルＶ_pと相関係数ｒ_pの組を映像情報として出力する。 In (Expression 3), x is calculated as a pixel of the reduced screen of the encoding screen, y is a pixel of the reduced screen of the reference screen, and the sum is calculated within the range of the overlapping area shown in FIG. The numerator of (Equation 3) is the covariance of the overlapping portion of the encoding screen and the reference screen, and is normalized by the standard deviation of the denominator. That is, an operation using covariance. The correlation coefficient takes a value from 1 to −1, and is characterized by 1 when there is a very strong correlation, 0 when there is no relation, and −1 when there is a very strong inverse correlation. The correlation coefficient of the P picture is denoted as r _p . The video information detecting means 3 outputs a set of the whole vector V _p and the correlation coefficient r _p as video information.

映像情報記憶手段４はＩピクチャー、Ｐピクチャー、Ｂピクチャーの３種類について、常に最新の映像情報を保持しており、必要な映像情報を圧縮状態予測手段５に出力する。いま映像情報検出手段３から符号化画面であるＰピクチャーの映像情報を受け取ると、それを新たに記憶するとともに、現在の符号化画面の直前の同じ種類のピクチャーすなわち３フレーム前のＰピクチャーの映像情報を圧縮状態予測手段５に転送する。 The video information storage unit 4 always holds the latest video information for the three types of I picture, P picture, and B picture, and outputs necessary video information to the compression state prediction unit 5. When the video information of the P picture which is the encoded screen is received from the video information detecting means 3, it is newly stored and the same type of picture immediately before the current encoded screen, that is, the video of the P picture three frames before Information is transferred to the compression state prediction means 5.

圧縮状態予測手段５は映像情報検出手段３から転送された符号化画面Ｐピクチャーの映像情報と、映像情報記憶手段４から転送された直前のＰピクチャーの映像情報とから圧縮状態の予測を開始する。これは符号化画面の符号量予測、直前のＰピクチャーの符号量予測、圧縮状態予測の３ステップからなっている。まず、符号化画面Ｐピクチャーの符号量予測について説明する。圧縮状態予測手段５は全体ベクトルＶ_pを用いて、図３のＡに示す重なり部分とＢに示す余白部分の画面全体に対する面積比率を求める。 The compression state prediction unit 5 starts prediction of the compression state from the video information of the encoded screen P picture transferred from the video information detection unit 3 and the video information of the previous P picture transferred from the video information storage unit 4. . This consists of three steps: code amount prediction of the encoded screen, code amount prediction of the immediately preceding P picture, and compression state prediction. First, code amount prediction of an encoded screen P picture will be described. The compressed state prediction means 5 uses the entire vector V _p to obtain the area ratio of the overlapping portion shown in A and the blank portion shown in B to the entire screen.

(数４)
Ｋ_a＝Ａ／（Ａ＋Ｂ）
Ｋ_b＝Ｂ／（Ａ＋Ｂ）
（数４）で、Ｋ_aが重なり部分Ａの比率、Ｋ_bが余白部分Ｂの比率である。また、相関係数ｒ_pを図４の変換則に従って指標Ｒに変換する。以上のＫ_a，Ｋ_b，Ｒを用いて（数５）〜（数７）で符号量推定指標ｓを算出する。 (Equation 4)
K _a = A / (A + B)
K _b = B / (A + B)
In (Equation 4), K _a is the ratio of the overlapping portion A, and K _b is the ratio of the margin portion B. Further, the correlation coefficient r _p is converted into an index R according to the conversion rule of FIG. The code amount estimation index s is calculated by (Equation 5) to (Equation 7) using the above _Ka , _Kb , and R.

(数５)
ｓ₁＝Ｋ_b＊Ｋ₁
(数６)
ｓ₂＝Ｋ_a＊Ｋ₂＊Ｒ
(数７)
ｓ＝ｓ₁＋ｓ₂＋Ｋ₃
（数５）でｓ₁は余白部分ＢのイントラマクロブロックのＡＣ係数符号量の程度を推定するものである。Ｋ₁はその余白面積とイントラマクロブロックのＡＣ符号量の比例常数を意味するが、ここではＫ₁＝１とする。（数６）のｓ₂は重なり部分ＡでのＡＣ符号量と動きベクトル符号量の総合の程度を推定する指標である。これは、相関係数ｒが１に近いほど、つまり指標Ｒが０に近いほど重なり部分Ａは符号化画面と参照画面がよく一致し、ＡＣ係数も少なく、動きベクトルもほとんど全て同じものとなるからベクトル符号量も少なくなるという事実と、相関係数ｒが０に近づくあるいはマイナスになるなどの指標Ｒが１に近い状態では、符号化画面は参照画面と全く異なったものであり、イントラマクロブロックの比率も増え、ＡＣ係数符号量が増大し、また動きベクトルもまちまちな値をとって動きベクトル符号量も増大する、という事実とを根拠としている。Ｋ₂は指標Ｒと符号量の比例常数を意味するが、この実施の形態ではＫ₂＝０．８とする。ｓ₁，ｓ₂とも影響度合いをＫ_a，Ｋ_bで面積比率で重み付けている。（数７）で符号量推定指標ｓを算出する。Ｋ₃はヘッダ等の固定的な符号量の影響を示す項であり、この例ではＫ₃＝０．２とする。符号量推定指標ｓは符号量を直接示すものではなく、符号量の増減に比例すると推定できる指標である。Ｋ₁，Ｋ₂，Ｋ₃は動作の目標符号量の程度や圧縮手段７の性能等により最適値が異なる。以上の説明中に示した値は一例である。またＫ₁，Ｋ₂，Ｋ₃は互いの比率のみに意味があるのでＫ₁＝１として説明を進めた。 (Equation 5)
s ₁ = K _b * K ₁
(Equation 6)
s ₂ = K _a * K ₂ * R
(Equation 7)
s = s ₁ + s ₂ + K ₃
In (Equation 5), s ₁ estimates the degree of the AC coefficient code amount of the intra macroblock in the margin part B. K ₁ means a proportional constant of the margin area and the AC code amount of the intra macroblock, but here K ₁ = 1. S _{2 in} (Equation 6) is an index for estimating the total degree of the AC code amount and the motion vector code amount in the overlapping portion A. This is because the closer the correlation coefficient r is to 1, that is, the closer the index R is to 0, the more closely the overlapping portion A matches the encoding screen and the reference screen, the fewer AC coefficients, and almost the same motion vectors. From the fact that the amount of vector code is reduced and the index R is close to 1 such that the correlation coefficient r approaches 0 or becomes negative, the encoding screen is completely different from the reference screen, and the intra macro This is based on the fact that the block ratio increases, the AC coefficient code amount increases, and the motion vector takes various values to increase the motion vector code amount. K ₂ means a proportional constant between the index R and the code amount. In this embodiment, K ₂ = 0.8. s _1, s ₂ both influence the degree of K _a, and weighted by the area ratios K _b. The code amount estimation index s is calculated by (Equation 7). K ₃ is a term indicating the influence of a fixed code amount such as a header. In this example, K ₃ = 0.2. The code amount estimation index s does not directly indicate the code amount, but is an index that can be estimated to be proportional to the increase or decrease of the code amount. The optimum values of K ₁ , K ₂ , and K ₃ differ depending on the target code amount of operation, the performance of the compression means 7, and the like. The values shown in the above description are examples. Since K ₁ , K ₂ , and K ₃ are meaningful only in their ratio, the explanation has been made assuming that K ₁ = 1.

上述した符号化画面の符号量予測の結果である指標ｓをｓ(n)と記すこととする。同様に直前のＰピクチャーの符号量予測を行い、その結果である指標ｓをｓ(n-1)と記す。圧縮状態予測手段５は最終的な圧縮状態予測として（数８）に従い予測情報αを算出する。 The index s, which is the result of the code amount prediction of the coded screen described above, is denoted as s (n). Similarly, the code amount prediction of the immediately preceding P picture is performed, and the resulting index s is denoted as s (n-1). The compressed state prediction means 5 calculates the prediction information α according to (Equation 8) as the final compressed state prediction.

(数８)
α＝ｓ(n)／ｓ(n-1)
予測情報αは直前のＰピクチャーの圧縮状態を基準として、圧縮難易度合いを比率として予測した指標である。 (Equation 8)
α = s (n) / s (n-1)
The prediction information α is an index that predicts the degree of compression difficulty as a ratio based on the compression state of the immediately preceding P picture.

符号量制御手段６は上記予測情報αを受けて、符号化画面Ｐピクチャーの符号量割り当てを決定する。以下に符号量制御手段６の動作を説明するが、既に説明した図９の従来例の符号量制御手段６ａと圧縮手段７の基本動作とほぼ同じであるから、異なる点のみを説明することとする。 The code amount control means 6 receives the prediction information α and determines the code amount allocation of the encoded screen P picture. The operation of the code amount control means 6 will be described below. Since the basic operation of the code amount control means 6a and the compression means 7 of the conventional example of FIG. 9 already described is substantially the same, only the differences will be described. To do.

いま、Ｐピクチャーの圧縮動作であるから、符号量制御手段６は基準の複雑度指標Ｘ_p0を用いるのであるが、（数９）に従って予測情報αを乗じたＸ_p0′を求め、Ｘ_p0かＸ_p0′かいずれを今後の基準として採用するか判断を行う点が従来例と大きく異なる。 Now, because it is compression operation of the P-picture, but the code amount control unit 6 is to use a complexity measure X _p0 criteria, determine the X _p0 'multiplied by the prediction information α according equation (9), or X _p0 It differs greatly from the conventional example in that it is determined which of X _p0 ′ will be adopted as a future reference.

(数９)
Ｘ_p0′＝Ｘ_p0＊α
Ｘ_p0′がＸ_p0に対して予め設定された許容誤差の範囲内である場合、Ｘ_p0をそのまま基準の複雑度指標として使用し、許容誤差範囲外であれば、映像の状態が変化すると予測して前記のＸ_p0′を新たな基準の複雑度指標Ｘ_p0として記憶し、併せてＩピクチャーの基準の複雑度指標Ｘ_i0、Ｂピクチャーの基準の複雑度指標Ｘ_b0も更新する。Ｘ_i0，Ｘ_b0の更新は過去数フレームの実績値Ｘ_i1，Ｘ_p1，Ｘ_b1の平均値の比率から求める。同時に今後の平均符号量が目標符号量にワンステップ近づくように基準の量子化指標Ｑ₀の値を変更する。このように圧縮の難易度合いを過去に対する比率で予測した予測情報αをこれまでの符号量制御に用いていたＸ_p0に乗ずることにより、予測結果を的確に符号量制御に反映させることができる。例えば、符号化画面が変化し、参照画面との関係からより圧縮が困難な状態に変化したのであれば予測情報αが１より大きくなり、その程度に応じた符号量が割り当てられる。より参照画面と一致して圧縮が容易な方向に変化したのであれば予測情報αが１より小さくなり、その程度に応じて符号量が割り当てられることとなるのである。 (Equation 9)
X _p0 ′ = X _p0 * α
If X _p0 ′ is within the allowable error range set in advance _with respect to X _p0 , X _p0 is used as it is as the reference complexity index, and if it is outside the allowable error range, the video state is predicted to change. Then, the aforementioned X _p0 ′ is stored as a new reference complexity index X _p0 , and the reference complexity index X _{i0 for} the I picture and the reference complexity index X _{b0 for} the B picture are also updated. The update of X _i0 and X _b0 is obtained from the ratio of the average values of the actual values X _i1 , X _p1 and X _b1 of the past several frames. At the same time, the value of the reference quantization index Q ₀ is changed so that the future average code amount approaches the target code amount by one step. Thus, by multiplying the prediction information α that predicts the degree of difficulty of compression by the ratio to the past by X _p0 that has been used for the code amount control so far, the prediction result can be accurately reflected in the code amount control. For example, if the encoding screen changes and changes to a state where compression is more difficult due to the relationship with the reference screen, the prediction information α becomes larger than 1, and a code amount corresponding to the degree is assigned. If it is more consistent with the reference screen and changes in a direction in which compression is easier, the prediction information α is smaller than 1, and the amount of code is assigned according to the degree.

以上が従来例と異なる動作であるが、基準値が確定すれば、そこから割り当て符号量を決定し、圧縮手段７に符号化Ｐピクチャーを圧縮実行させ、結果の符号量Ｓ_p1と量子化指標Ｑ_p0を用いて複雑度指標Ｘ_p1を算出し、Ｘ_p1とＸ_p0の比較から基準値の更新処理を実行することは上述した従来例の場合と同じである。以上、Ｐピクチャーの場合の動作について説明した。 The above operation is different from the conventional example. When the reference value is determined, the allocated code amount is determined therefrom, the compression means 7 is caused to execute compression of the encoded P picture, and the resulting code amount S _p1 and the quantization index are determined. The calculation of the complexity index X _p1 using Q _p0 and executing the reference value updating process from the comparison of X _p1 and X _p0 is the same as in the case of the above-described conventional example. The operation in the case of the P picture has been described above.

以下、Ｂピクチャーを符号化する場合の動作、すなわち順方向参照と逆方向参照の双方向参照を用いたＭＰＥＧ２規格の動画像圧縮動作を行う場合について簡単に説明する。符号化画面メモリ１には符号化Ｂピクチャーが、参照画面メモリ２には順方向の参照画面として符号化Ｂピクチャーの過去のＰピクチャーと逆方向の参照画面として未来のＰピクチャーがそれぞれ既に記憶されているものとする。 Hereinafter, an operation for encoding a B picture, that is, a case of performing a moving picture compression operation of the MPEG2 standard using bidirectional reference of forward reference and backward reference will be briefly described. The encoded picture B is already stored in the encoded picture memory 1, and the past P picture of the encoded B picture and the future P picture are already stored in the reference picture memory 2 as the reference picture in the forward direction and the reference picture in the reverse direction. It shall be.

まず、映像情報検出手段３が符号化画面と参照画面の画面全体としての移動状態を検出し、全体ベクトルを求める。図５は順方向と逆方向の全体ベクトルの説明図である。図５で順方向参照画面と符号化画面および順方向全体ベクトルの関係は、既に説明した図２の参照画面と符号化画面および全体ベクトルの関係と全く同じである。逆方向について図５では符号化画面の左上の矩形領域と逆方向参照画面の右下の矩形領域がよく一致している状態を図示している。この場合、符号化画面から逆方向参照画面に向かって映像全体は時間的に画面内を右下に移動しており、カメラが撮影時左上に移動したと推定できる。逆方向全体ベクトルの定義は図５の符号化画面上に示したように、カメラの移動ベクトルの逆方向に相当するものである。以下の説明ではＢピクチャーの順方向全体ベクトルをＶ_bf、逆方向全体ベクトルをＶ_bbと記す。 First, the video information detecting means 3 detects the movement state of the entire screen of the encoding screen and the reference screen, and obtains the entire vector. FIG. 5 is an explanatory diagram of the entire vector in the forward direction and the reverse direction. The relationship between the forward reference screen, the encoding screen, and the entire forward vector in FIG. 5 is exactly the same as the relationship between the reference screen, the encoding screen, and the entire vector already described in FIG. Regarding the reverse direction, FIG. 5 illustrates a state in which the upper left rectangular area of the encoding screen and the lower right rectangular area of the reverse direction reference screen are in good agreement. In this case, it can be estimated that the entire video has moved to the lower right in the screen from the encoding screen toward the backward reference screen, and the camera has moved to the upper left at the time of shooting. The definition of the reverse direction whole vector corresponds to the reverse direction of the camera movement vector as shown on the encoding screen of FIG. In the following description, the forward whole vector of the B picture is denoted as V _bf and the backward whole vector is denoted as V _bb .

図６は順方向全体ベクトルＶ_bfの状態での符号化画面と順方向参照画面の重なり合いの関係と、逆方向全体ベクトルＶ_bbの状態での符号化画面と逆方向参照画面の重なり合いの関係とを示すものである。映像情報検出手段３は順方向類似性指標として、図６の符号化画面と順方向参照画面の重なり領域に対して相関係数ｒ_bfを、逆方向類似性指標として符号化画面と逆方向参照画面の重なり領域に対して相関係数ｒ_bbをそれぞれ算出する。映像情報検出手段３は全体ベクトルＶ_bfとＶ_bb、相関係数ｒ_bfとｒ_bbの４つの情報の組を映像情報として出力する。 FIG. 6 shows the relationship between the overlap of the encoding screen and the forward reference screen in the state of the forward overall vector V _bf , and the relationship of the overlap of the encoding screen and the backward reference screen in the state of the backward overall vector V _bb. Is shown. The video information detection means 3 uses the correlation coefficient r _bf as the forward similarity index for the overlapping area of the encoded screen and the forward reference screen in FIG. 6, and refers to the encoded screen as the backward similarity index. A correlation coefficient r _bb is calculated for each overlapping area of the screen. The video information detection means 3 outputs a set of four information, that is, the whole vectors V _bf and V _bb and the correlation coefficients r _bf and r _bb as video information.

圧縮状態予測手段５は映像情報検出手段３から転送された符号化画面Ｂピクチャーの映像情報と、映像情報記憶手段４から転送された直前のＢピクチャーの映像情報とから圧縮状態の予測を開始する。まず、符号化画面の符号量予測として順方向の情報であるＶ_bfとｒ_bfを用いて、（数４）〜（数７）で順方向に関する符号量推定指標ｓを求め、また同様に逆方向の情報であるＶ_bbとｒ_bbを用いて逆方向の符号量推定指標ｓを求め、そのいずれか値が小さい方を符号化画面の符号量推定指標ｓ(n)として採用する。同様に直前のＢピクチャーの符号量予測を行い、その結果小さい方の符号量推定指標ｓをｓ(n-1)とする。圧縮状態予測手段５は最終的な圧縮状態予測として（数８）に従い予測情報αを算出する。予測情報αは直前のＢピクチャーの圧縮状態を基準として、符号化画面の圧縮難易度合いを比率として予測する指標となっている。 The compression state prediction unit 5 starts prediction of the compression state from the video information of the encoded screen B picture transferred from the video information detection unit 3 and the video information of the previous B picture transferred from the video information storage unit 4. . First, the code amount estimation index s related to the forward direction is obtained from ( _Equation 4) to (Equation 7) using V _bf and r _bf which are forward information as the code amount prediction of the encoded screen, and vice versa. The code amount estimation index s in the reverse direction is obtained using the direction information V _bb and r _bb, and the smaller one of them is adopted as the code amount estimation index s (n) of the encoded screen. Similarly, the code amount prediction of the immediately preceding B picture is performed, and as a result, the smaller code amount estimation index s is set to s (n−1). The compressed state prediction means 5 calculates the prediction information α according to (Equation 8) as the final compressed state prediction. The prediction information α is an index for predicting the degree of compression difficulty of the encoded screen as a ratio based on the compression state of the immediately preceding B picture.

符号量制御手段６が予測情報αを用いて基準のＸ_b0を更新処理することは上述したＰピクチャーの動作の場合と全く同じであり、予測値を的確に符号量割り当てに反映させることができるのも全く同じである。 The code amount control means 6 uses the prediction information α to update the reference X _b0 in exactly the same way as in the P picture operation described above, and the prediction value can be accurately reflected in the code amount allocation. Is exactly the same.

以上のように本実施の形態では、符号化画面と参照画面のずれ量である全体ベクトルＶと重なり領域の相関係数ｒを類似性指標として求めるが、それら映像情報は圧縮状態の難易度合いと関連深いものであるから、映像情報から符号量推定指標ｓを求めることができる。符号量推定指標ｓは符号量の数値を正確に示すものではないが、符号化画面と同一種類で最も新しく符号化された画面の符号量推定指標ｓとの比率ｓ(n)／ｓ(n-1) を求めることにより、圧縮状態の難易度合いを精度良く予測情報αとして数値化することとなる。そしてその予測情報αを用いてＶＢＲの符号量割り当てに使用している複雑度指標Ｘを補正するので、これから圧縮する符号化画面の符号量割り当てをその圧縮難易度合いに適正に対応させた値とすることができ、映像変化に対しても１フレームも画質劣化を発生させることなく、常に高い画質を実現することができるものである。 As described above, in the present embodiment, the overall vector V, which is the amount of deviation between the encoded screen and the reference screen, and the correlation coefficient r of the overlapping region are obtained as similarity indices. Since it is closely related, the code amount estimation index s can be obtained from the video information. The code amount estimation index s does not accurately indicate the numerical value of the code amount, but the ratio s (n) / s (n) with the code amount estimation index s of the most recently encoded screen of the same type as the encoded screen. By obtaining -1), the degree of difficulty in the compressed state is accurately quantified as the prediction information α. Since the complexity index X used for VBR code amount allocation is corrected using the prediction information α, the code amount allocation of the encoding screen to be compressed from now on is appropriately associated with the degree of compression difficulty The image quality can be always improved without causing any image quality degradation even when the image changes.

なお、本実施の形態ではＧＯＰ再起動処理は特に必要としないものであるが、予測情報αが極めて大きな値である場合にのみＧＯＰ再起動処理を実行する構成としても良い。この場合、Ｉピクチャーの平均的符号量とＰピクチャーの平均的符号量の比率をしきい値として採用することで、予測情報αによって割り当て符号量を増加させたほうがＩピクチャーとするよりも符号量が大きくなるような場合にのみＧＯＰ再起動処理が選択されることとなる。 In the present embodiment, the GOP restart process is not particularly required, but the GOP restart process may be executed only when the prediction information α is an extremely large value. In this case, by adopting the ratio of the average code amount of the I picture and the average code amount of the P picture as a threshold value, the code amount is larger when the allocated code amount is increased by the prediction information α than when the I picture is used. The GOP restart process is selected only when the value becomes large.

また、映像情報から予測情報を求める演算では（数４）〜（数８）の演算式を用いたが、これは実験的に求められるデータから別の関数、あるいはテーブルとして構成することもできる。さらに、映像情報として全体ベクトルと相関係数を用いたが、これにＤＣ値を含めてもよく、また類似性指標としては相関係数以外に差分絶対値平均や差分自乗平均などの統計的指標を用いて構成することもできる。 Further, in the calculation for obtaining the prediction information from the video information, the calculation formulas (Equation 4) to (Equation 8) are used, but this can be configured as another function or table from the data obtained experimentally. Furthermore, the whole vector and the correlation coefficient are used as the video information. However, the DC value may be included in this, and the similarity index is a statistical index such as an absolute difference average or a mean square difference in addition to the correlation coefficient. Can also be used.

本発明の動画像圧縮装置は、映像変化があった場合にその映像の圧縮動作を開始する前に圧縮動作の難易度合いの変化を予測して適正な割り当て符号量を決定するものであるから、的確なＶＢＲ性能を発揮することができ、変化の頻繁に発生する映像に対しても１フレームたりとも画質劣化を生じさせず、高画質で安定性の高い性能が要求される動画像圧縮に適応できるものである。 Since the moving image compression apparatus of the present invention predicts a change in the degree of difficulty of the compression operation before starting the compression operation of the video when there is a video change, the appropriate allocation code amount is determined. Appropriate VBR performance can be demonstrated, and it is suitable for video compression that requires high image quality and high stability without causing any deterioration in image quality for even one frame of frequently changing video. It can be done.

本発明の実施の形態における動画像圧縮装置の構成を示すブロック図The block diagram which shows the structure of the moving image compression apparatus in embodiment of this invention 本発明の実施の形態におけるＰピクチャーの映像情報説明図Video information explanatory diagram of P picture in the embodiment of the present invention 本発明の実施の形態におけるＰピクチャーの重複領域の説明図Explanatory drawing of the overlap area | region of P picture in embodiment of this invention 本実施の形態における相関係数の変換の説明図Explanatory drawing of conversion of correlation coefficient in the present embodiment 本発明の実施の形態におけるＢピクチャーの映像情報説明図Video information explanatory diagram of B picture in the embodiment of the present invention 本発明の実施の形態におけるＢピクチャーの重複領域の説明図Explanatory drawing of the overlap area | region of B picture in embodiment of this invention ＭＰＥＧ２の参照関係の説明図Illustration of MPEG2 reference relationship ＭＰＥＧ２のＧＯＰ構造の説明図Illustration of MPEG2 GOP structure 従来の技術における動画像圧縮装置の構成を示すブロック図Block diagram showing the configuration of a moving image compression apparatus in the prior art 従来の技術におけるイントラ通報とＧＯＰ再起動の説明図Explanatory diagram of Intra-report and GOP restart in conventional technology

符号の説明Explanation of symbols

１符号化画面メモリ
２参照画面メモリ
３映像情報検出手段
４映像情報記憶手段
５圧縮状態予測手段
６符号量制御手段
７圧縮手段 DESCRIPTION OF SYMBOLS 1 Encoding screen memory 2 Reference screen memory 3 Image | video information detection means 4 Image | video information storage means 5 Compression state prediction means 6 Code amount control means 7 Compression means

Claims

符号量が可変で、フレーム間相関に基づく動画像符号化方式を用いた動画像圧縮装置であって、
符号化対象画面における複雑度指標を符号化前に算定する圧縮状態予測手段と、
前記圧縮状態予測手段による前記複雑度指標を基に、前記符号化対象画面の割り当て符号量を求める符号量制御手段と、
前記割り当て符号量となるように、前記符号化対象画面を圧縮する圧縮手段と、
前記符号化対象画面とフレーム間相関の基になる参照画面との比較により、前記符号化対象画面における圧縮難易度を求める映像情報検出手段と、
を備え、
前記圧縮状態予測手段は、
前記映像情報検出手段による圧縮難易度の変化に基づき前記複雑度指標を算定し、
前記映像情報検出手段は、
前記符号化対象画面または前記符号化対象画面の縮小画面と、前記参照画面または前記参照画面の縮小画面とを互いにずらし、重なった領域が最もよく一致するずらし量を全体ベクトルとして特定する全体ベクトル検索部と、
前記全体ベクトルを特定した重なり領域の統計的類似性指標を算出する類似性演算部と、
を備え、
前記全体ベクトルと前記統計的類似性指標とから前記圧縮難易度の変化を求める
動画像圧縮装置。 A moving picture compression apparatus using a moving picture coding system based on a correlation between frames, the code amount being variable,
Compression state prediction means for calculating the complexity index in the encoding target screen before encoding;
Based on the complexity index by the compression state prediction unit, a code amount control unit for obtaining an allocated code amount of the encoding target screen;
Compression means for compressing the encoding target screen so as to be the allocated code amount;
Video information detection means for obtaining a compression difficulty level in the encoding target screen by comparing the encoding target screen with a reference screen on which a correlation between frames is based;
With
The compression state prediction means includes
Calculate the complexity index based on the change in compression difficulty by the video information detection means,
The video information detecting means includes
Whole vector search that shifts the encoding target screen or the reduced screen of the encoding target screen and the reference screen or the reduced screen of the reference screen from each other and specifies a shift amount that best matches the overlapped area as an overall vector And
A similarity calculation unit for calculating a statistical similarity index of the overlapping region specifying the entire vector;
With
A moving image compression apparatus for obtaining a change in the compression difficulty level from the whole vector and the statistical similarity index .

前記類似性演算部は、
前記符号化対象画面と前記参照画面との重なり領域での共分散に基づく演算で、前記統計的類似性指標を算出する
請求項１に記載の動画像圧縮装置。 The similarity calculation unit includes:
In calculation based on the covariance in the overlapping region of the encoding target picture and the reference picture, moving image compression apparatus according to claim 1 for calculating the statistical similarity measure.

前記圧縮状態予測手段は、
前記符号化対象画面と同一種類の過去の画面における前記統計的類似性指標、及び前記全体ベクトルと前記映像情報検出手段が出力する前記統計的類似性指標、及び前記全体ベクトルとから圧縮難易度の変化を求め、該圧縮難易度の変化に応じて前記複雑度指標を算出する
請求項１または請求項２に記載の動画像圧縮装置。 The compression state prediction means includes
The statistical similarity measure in the past on the screen of the encoding target picture and the same type, and the statistical similarity index the entire vector and the image information detection means for outputting, and a compression difficulty from said entire vector The moving image compression apparatus according to claim 1 , wherein a change is obtained, and the complexity index is calculated according to a change in the compression difficulty level .