JPH08102938A - Image coder - Google Patents

Abstract

PURPOSE: To improve image quality by providing an image data storage means, a scene change detection means, a compression method selection means, a compression coding means and an output buffer means to the coder to implement efficient image compression. CONSTITUTION: Image data stored in a frame memory 40 are sent properly to an image information evaluation circuit 50. The circuit 50 calculates a parameter representing an image information quantity and enough to estimate a data quantity after compression. A compression method selection circuit 32 selects any of the compression systems of in-frame coding/inter-frame prediction coding based on the information quantity parameter from the circuit 50 and an output from a scene change detection circuit 31. A motion detector 41 and a motion vector generating circuit 34 detect a motion vector required for compression by the in-frame coding. A quantization step controller 33 controls sufficiently preceding frames by a quantization step of a quantizer 15 so as to compress the frames by the in-frame coding thereby reducing a residual data amount in an output buffer 18.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、例えば画像を圧縮符号
化する場合に用いて好適な画像符号化装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image coding apparatus suitable for use in compression coding an image, for example.

【０００２】[0002]

【従来の技術】従来の例えば画像を圧縮符号化する場合
に用いて好適な画像符号化装置の構成例を図９に示す。
この図９の画像符号化装置において、入力端子１には、
図１０に示すように、 輝度成分(Y) 352(H)×240(V)×30フレーム クロマ成分(Cb) 174(H)×120(V)×30フレーム クロマ成分(Cr) 174(H)×120(V)×30フレーム のピクセル数にディジタル化された画像データが供給さ
れる。2. Description of the Related Art FIG. 9 shows an example of the configuration of a conventional image coding apparatus suitable for use in compression coding an image.
In the image coding apparatus of FIG. 9, the input terminal 1 is
As shown in FIG. 10, luminance component (Y) 352 (H) × 240 (V) × 30 frames Chroma component (Cb) 174 (H) × 120 (V) × 30 frames Chroma component (Cr) 174 (H) The image data digitized to the pixel number of × 120 (V) × 30 frames is supplied.

【０００３】上記入力端子１に供給された入力画像デー
タは、当該入力画像データを一時的に蓄えて然るべき順
番に入れ替えるためのフレームメモリ１０を介して、動
き検出器２０とブロック分割器１１に送られる。当該ブ
ロック分割器１１は、フレームメモリ１０から供給され
たそれぞれのフレームを、図１１に示すように、輝度成
分(Y) ，クロマ成分(Cr),(Cb) それぞれを８×８ピクセ
ルのブロックに分割する。なお、輝度成分(Y) の４つの
ブロック(Y0,Y1,Y2,Y3）と１つのクロマ成分(Cb)のブロ
ックと、１つのクロマ成分(Cr)のブロックからなる合計
６つのブロック(Y0,Y1,Y2,Y3,Cb,Cr) は、マクロブロッ
ク(MB)と呼ばれている。なお、マクロブロックを構成す
る輝度画素（ルミナンスピクセル）とクロマ画素（クロ
ミナンスピクセル）との関係は、図１２に示すようにな
っている。The input image data supplied to the input terminal 1 is sent to a motion detector 20 and a block divider 11 via a frame memory 10 for temporarily storing the input image data and changing the order in an appropriate order. To be The block divider 11 converts each frame supplied from the frame memory 10 into a block of 8 × 8 pixels for each of the luminance component (Y), the chroma component (Cr), and (Cb), as shown in FIG. To divide. It should be noted that a total of 6 blocks (Y0, Y1, Y2, Y3) consisting of four blocks (Y0, Y1, Y2, Y3) of luminance component (Y0) and one block of chroma component (Cr) (Y0, Y1, Y2, Y3, Cb, Cr) are called macroblocks (MB). Note that the relationship between the luminance pixel (luminance pixel) and the chroma pixel (chrominance pixel) forming the macroblock is as shown in FIG.

【０００４】このブロック分割器１１からのマクロブロ
ック単位のデータは差分器１２に送られる。この差分器
１２では、ブロック分割器１１からのデータと後述する
フレーム間予測画像データとの差分をとり、その出力を
後述するフレーム間予測符号化がなされるフレームのデ
ータとして切換スイッチ１３の被切換端子ｂに送る。ま
た、当該切換スイッチ１３の被切換端子ａには、上記ブ
ロック分割器１１からのデータが後述するフレーム内符
号化がなされるフレームのデータとして供給される。The macroblock unit data from the block divider 11 is sent to the difference unit 12. The difference calculator 12 takes the difference between the data from the block divider 11 and the inter-frame prediction image data described later, and outputs the difference as the data of the frame to be subjected to the inter-frame prediction encoding described later, which is switched by the changeover switch 13. Send to terminal b. Further, the data from the block divider 11 is supplied to the switched terminal a of the change-over switch 13 as the data of the frame to be intra-frame coded which will be described later.

【０００５】上記切換スイッチ１３を介したブロック単
位のデータはＤＣＴ回路１４によって離散コサイン変換
（ＤＣＴ）処理され、そのＤＣＴ係数が量子化器１５に
送られる。当該量子化器１５では、所定の量子化ステッ
プ幅で上記ＤＣＴ出力を量子化し、この量子化した係数
がジグザグスキャン回路１６に送られる。当該ジグザグ
スキャン回路１６では、上記量子化係数を図１３に示す
ようにいわゆるジグザグスキャンによって並べ換え、そ
の出力を可変長符号化回路１７に送る。この可変長符号
化回路１７では、上記ジグザグスキャン回路１６の出力
データを可変長符号化（ＶＬＣ）し、その出力を出力バ
ッファ１８に送ると共に、当該可変長符号化処理により
発生した符号量を示す情報を、量子化ステップ制御器１
９に送る。量子化ステップ制御器１９は、可変長符号化
回路１７からの符号量を示す情報に基づいて量子化器１
５の量子化ステップ幅を制御する。また、上記出力バッ
ファ１８から出力されたデータは圧縮符号化がなされた
符号化出力として出力端子２から出力される。The block-unit data passed through the change-over switch 13 is subjected to a discrete cosine transform (DCT) process by the DCT circuit 14, and the DCT coefficient is sent to the quantizer 15. The quantizer 15 quantizes the DCT output with a predetermined quantization step width, and sends the quantized coefficient to the zigzag scan circuit 16. The zigzag scan circuit 16 rearranges the quantized coefficients by so-called zigzag scanning as shown in FIG. 13, and sends the output to the variable length coding circuit 17. The variable length coding circuit 17 performs variable length coding (VLC) on the output data of the zigzag scan circuit 16, sends the output to the output buffer 18, and indicates the code amount generated by the variable length coding process. Information, quantization step controller 1
Send to 9. The quantizing step controller 19 uses the quantizer 1 based on the information indicating the code amount from the variable length coding circuit 17.
Control the quantization step width of 5. Further, the data output from the output buffer 18 is output from the output terminal 2 as a coded output that is compression-coded.

【０００６】また、上記量子化器１５からの出力は、逆
量子化器２７によって逆量子化され、さらに逆ＤＣＴ回
路２６によって逆ＤＣＴ処理される。当該逆ＤＣＴ回路
２６の出力は、加算器２５に送られる。この加算器２５
には、フレーム間予測符号化のフレームのときにオンと
なる切換スイッチ２４を介した動き補償器２１からのフ
レーム間予測画像データも供給され、当該データと上記
逆ＤＣＴ回路２６の出力データとの加算が行われる。こ
の加算器２５の出力データは、フレームメモリ２２に一
時的に蓄えられた後、動き補償器２１に送られる。The output from the quantizer 15 is inversely quantized by the inverse quantizer 27, and further inversely DCT processed by the inverse DCT circuit 26. The output of the inverse DCT circuit 26 is sent to the adder 25. This adder 25
Is also supplied with the inter-frame predicted image data from the motion compensator 21 via the changeover switch 24 that is turned on in the case of the inter-frame predictive coding frame, and the data and the output data of the inverse DCT circuit 26 are exchanged. Addition is performed. The output data of the adder 25 is temporarily stored in the frame memory 22 and then sent to the motion compensator 21.

【０００７】当該動き補償器２１は、上記動き検出器２
０によって検出された動きベクトルに基づいて動き補償
を行い、これによって得たフレーム間予測画像データを
出力する。以下、上記図９の従来の画像符号化装置の具
体的な動作について詳細に説明する。ここで、説明のた
めに以下のように各フレームの呼び名を定義する。The motion compensator 21 corresponds to the motion detector 2 described above.
Motion compensation is performed based on the motion vector detected by 0, and the inter-frame predicted image data obtained by this is output. Hereinafter, a specific operation of the conventional image coding apparatus of FIG. 9 will be described in detail. Here, for the sake of explanation, the name of each frame is defined as follows.

【０００８】先ず、表示順にフレームを並べたとき、そ
れぞれをＩ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，
Ｂ７，Ｂ８，Ｉ９，Ｂ１０，Ｂ１１，Ｂ１２，・・・・
・と呼ぶこととする。これらのフレームのうち、Ｉ，
Ｐ，Ｂは、後に説明するが、圧縮方法の種類を示し、こ
れらＩ，Ｐ，Ｂの次の数字は、単純に表示順を示してい
る。また、フレーム間予測符号化におけるこれらＩ，
Ｐ，Ｂの関係は、図１４に示すようになる。First, when the frames are arranged in the order of display, they are respectively I0, B1, B2, P3, B4, B5, P6.
B7, B8, I9, B10, B11, B12, ...
・ We will call it. Of these frames, I,
As will be described later, P and B indicate the types of compression methods, and the numbers next to these I, P, and B simply indicate the display order. Also, these I in inter-frame predictive coding,
The relationship between P and B is as shown in FIG.

【０００９】カラー動画像符号化方式の国際標準化作業
グループであるいわゆるＭＰＥＧ（Moving Picture Exp
ert Group)のうちＭＰＥＧ１では、この様な画像を圧縮
するために、以下のようにすることが規定されている。
先ず、Ｉ０の画像を圧縮する。次に、Ｐ３の画像を圧縮
するのだが、Ｐ３そのものを圧縮するのではなく、Ｐ３
とＩ０の画像との差分データを圧縮する。The so-called MPEG (Moving Picture Exp), which is an international standardization work group for color moving picture coding systems
In MPEG1 of the ert group), the following is specified in order to compress such an image.
First, the image of I0 is compressed. Next, the image of P3 is compressed, but not P3 itself, but P3
And the difference data between the image of I0 and the image of I0 is compressed.

【００１０】その次に、Ｂ１の画像を圧縮するのだが、
Ｂ１そのものを圧縮するのではなく、Ｂ１とＩ０或い
は、Ｂ１とＰ３との差分データ或いはＩ０とＰ３の平均
値との差分（いずれか情報の少ない方）を圧縮する。そ
の次に、Ｂ２の画像を圧縮するのだが、Ｂ２そのものを
圧縮するのではなく、Ｂ２とＩ０或いは、Ｂ２とＰ３と
の差分データ或いはＩ０とＰ３の平均値との差分（どち
らか情報の少ない方を選んで）を圧縮する。Next, compress the B1 image.
Instead of compressing B1 itself, the difference data between B1 and I0, the difference data between B1 and P3, or the difference between the average value of I0 and P3 (whichever has less information) is compressed. Next, the image of B2 is compressed, but not the compression of B2 itself, but the difference data between B2 and I0, the difference data between B2 and P3, or the difference between the average value of I0 and P3 (whichever has less information). Choose one) and compress.

【００１１】次に、Ｐ６の画像を圧縮するのだが、Ｐ６
そのものを圧縮するのではなく、Ｐ６とＰ３の画像との
差分データを圧縮する。上述したような処理を順番に並
べて表すと、 となる。このようにエンコード順は、Ｉ０，Ｐ３，Ｂ
１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｐ９，Ｂ７，Ｂ８，Ｉ
９，Ｐ１２，Ｂ１０，Ｂ１１，・・・・のように、表示
順とは順番が入れ替わる。圧縮後のデータ（符号化デー
タ）はこの順番に並ぶことになる。Next, the image of P6 is compressed.
Instead of compressing itself, the difference data between the images of P6 and P3 is compressed. When the above processes are arranged in order, Becomes In this way, the encoding order is I0, P3, B
1, B2, P6, B4, B5, P9, B7, B8, I
9, P12, B10, B11, ... Switch the display order. The compressed data (encoded data) will be arranged in this order.

【００１２】以下、上述したことを図９の構成の動作と
共にさらに詳しく述べる。１枚目の画像（すなわちＩ
０）のエンコードでは、先ず、上記フレームメモリ１０
から１枚目に圧縮すべき画像のデータが、ブロック分割
器１１によってブロック化される。このブロック分割器
１１からは、前記Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ，Ｃｒ
の順にブロック毎のデータが出力され、被切換端子ａ側
に切り換えられた切換スイッチ１３を介してＤＣＴ回路
１４に送られる。このＤＣＴ回路１４では、それぞれの
ブロックについて縦横２次元の離散コサイン変換処理を
行う。これにより、時間軸であったデータが周波数軸に
変換される。The above will be described in more detail together with the operation of the configuration of FIG. The first image (ie I
In encoding 0), first, the frame memory 10
The image data to be compressed from the first image is divided into blocks by the block divider 11. From this block divider 11, Y0, Y1, Y2, Y3, Cb, Cr
The data for each block is output in this order and is sent to the DCT circuit 14 via the changeover switch 13 that is switched to the switched terminal a side. The DCT circuit 14 performs a two-dimensional vertical and horizontal discrete cosine transform process for each block. As a result, the data on the time axis is converted to the frequency axis.

【００１３】このＤＣＴ回路１４からのＤＣＴ係数は、
量子化器１５に送られ、当該量子化器１５で所定の量子
化ステップ幅で量子化される。その後、ジグザグスキャ
ン回路１６によって図１３のようにジグザグ順に並べ変
えられる。このようにジグザグ順に並べると、後ろへ行
くほど、その係数は周波数成分の高い係数となるから、
一般的に係数の値は後ろの方が小さくなる傾向にある。
したがって、ある値Ｓで量子化すると、後ろへ行くほ
ど、その結果は０になる頻度が増し、結果的に高域の成
分が切り落とされることになる。The DCT coefficient from the DCT circuit 14 is
It is sent to the quantizer 15, and is quantized by the quantizer 15 with a predetermined quantization step width. After that, the zigzag scanning circuit 16 rearranges them in zigzag order as shown in FIG. When arranged in a zigzag order in this manner, the coefficient becomes higher in frequency components toward the rear,
Generally, the coefficient value tends to be smaller in the rear.
Therefore, when quantization is performed with a certain value S, the frequency of the result becomes 0 as the position goes back, and as a result, high-frequency components are cut off.

【００１４】その後、この量子化後の係数は、可変長符
号化（ＶＬＣ）回路１７へ送られ、ここでいわゆるハフ
マンコーディングが施される。この結果得られる圧縮さ
れたビットストリームは、出力バッファ１８に一旦蓄え
られた後、一定のビットレートで送出される。当該出力
バッファ１８は、不規則に発生するビットストリームを
一定のビットレートで送出できるようにするための緩衝
のためのメモリである。Thereafter, the quantized coefficient is sent to a variable length coding (VLC) circuit 17, where it is subjected to so-called Huffman coding. The resulting compressed bit stream is temporarily stored in the output buffer 18 and then transmitted at a constant bit rate. The output buffer 18 is a buffer memory for allowing an irregularly generated bit stream to be transmitted at a constant bit rate.

【００１５】以上の様に１枚の画像だけ単独で圧縮する
ことをフレーム内（イントラ：Intra ）符号化と言い、
この画像をＩピクチャと呼ぶ。したがって、デコーダが
上記のＩピクチャのビットストリームを受信した場合
は、以上に述べたことを逆にたどり、１枚目の画像を完
成させる。次に、２枚目の画像（すなわちＰ３）のエン
コードでは、以下のようになされる。The compression of only one image alone as described above is called intra-frame (Intra) encoding,
This image is called an I picture. Therefore, when the decoder receives the above I-picture bitstream, the above-described procedure is reversed to complete the first image. Next, the second image (that is, P3) is encoded as follows.

【００１６】すなわち、この２枚目以降もＩピクチャと
して圧縮してビットストリームを作っても良いが圧縮率
を上げるには、連続する画像の内容には相関があること
を利用して、以下の様な方法で圧縮する。先ず、動き検
出器２０では、２枚目の画像を構成するマクロブロック
毎に、１枚目の画像（Ｉ０）の中からそれに良く似たパ
ターンを捜し出し、それを動きベクトルという（ｘ，
ｙ）の相対位置の座標として表現する。That is, the second and subsequent pictures may be compressed as I pictures to form a bit stream, but in order to increase the compression rate, the fact that there is a correlation between the contents of consecutive images is used to Compress it in the same way. First, the motion detector 20 searches for a pattern very similar to that of the first image (I0) for each macroblock forming the second image, and calls it a motion vector (x,
It is expressed as the coordinates of the relative position of y).

【００１７】また、２枚目の画像ではそれぞれのブロッ
クを、上記Ｉピクチャの場合のようにそのままＤＣＴ回
路１４に送るのではなく、そのブロック毎の動きベクト
ルに従って一枚目の画像から引っ張ってきたブロックと
の差分のデータ（差分器１２による差分データ）を、Ｄ
ＣＴ回路１４へ送るようにする。なお、動きベクトルの
検出方法としては、ＩＳＯ／ＩＥＣ 11172-2 annex D.
6.2 に詳細に述べられているためここでは省略する。Further, in the second image, each block is not sent to the DCT circuit 14 as it is as in the case of the I picture, but is pulled from the first image according to the motion vector of each block. The data of the difference with the block (difference data by the difference unit 12) is D
It is sent to the CT circuit 14. As a method of detecting the motion vector, ISO / IEC 11172-2 annex D.
Since it is described in detail in 6.2, it is omitted here.

【００１８】ここで、例えば上記動きベクトルによって
示された一枚目の画像のパターンと、これから圧縮しよ
うとするブロックのパターンとの間で、相関が非常に強
くなっていれば、その差分データは非常に小さくなり、
したがって、上記フレーム内（イントラ）符号化で圧縮
するよりも、上記動きベクトルと上記差分データとを符
号化した方が、圧縮後のデータ量は小さくなる。Here, if the correlation between the pattern of the first image indicated by the above motion vector and the pattern of the block to be compressed is very strong, the difference data is obtained. Very small,
Therefore, the amount of data after compression is smaller when the motion vector and the difference data are encoded than when the intra-frame (intra) encoding is performed.

【００１９】このような圧縮方法を、フレーム間（イン
ター：Inter)予測符号化と呼んでいる。ただし、常に差
分データが少なくなるわけではなく、絵柄（画像内容）
によっては、差分を取るよりも、上記フレーム内符号化
で圧縮した方が、圧縮率が上がる場合がある。このよう
な場合は、上記フレーム内符号化で圧縮する。フレーム
間予測符号化にするか、フレーム内符号化にするかは、
マクロブロック毎に異なる。Such a compression method is called inter-frame (Inter) predictive coding. However, the difference data does not always decrease, and the pattern (image content)
Depending on the case, the compression rate may be higher when the compression is performed by the intra-frame encoding than when the difference is calculated. In such a case, compression is performed by the above intraframe coding. Whether to use inter-frame predictive coding or intra-frame coding,
Different for each macroblock.

【００２０】以上のことを図９の画像符号化装置（エン
コーダ）に即して説明すると、先ず、フレーム間予測符
号化を行うためには、エンコーダ側でたえずデコーダ側
で作られる画像と同じ画像を作って置く必要がある。そ
のためにエンコーダ内には、デコーダと同じ回路が存在
する。その回路をローカルデコーダ（局部復号器）と呼
ぶ。図９の逆量子化器２７と逆ＤＣＴ回路２６と加算器
２５とフレームメモリ２２と動き補償器２１が当該ロー
カルデコーダに対応し、フレームメモリ２２内に記憶さ
れる画像のことをローカルデコーデッドピクチャ（Loca
l decoded picture)又はローカルデコーデッドデータ(L
ocal decoded data)と呼ぶ。これに対して、圧縮前の画
像のデータは、オリジナルピクチャ(Original picture)
又はオリジナルデータ(Original data) と呼ぶ。The above description will be described with reference to the image coding apparatus (encoder) of FIG. 9. First, in order to perform interframe predictive coding, the same image as the image that is always created on the decoder side on the encoder side. Need to make and put. Therefore, the same circuit as the decoder exists in the encoder. The circuit is called a local decoder (local decoder). The inverse quantizer 27, the inverse DCT circuit 26, the adder 25, the frame memory 22, and the motion compensator 21 shown in FIG. 9 correspond to the local decoder, and an image stored in the frame memory 22 is referred to as a local decoded picture. (Loca
l decoded picture) or local decoded data (L
ocal decoded data). On the other hand, the image data before compression is the original picture.
Or called original data.

【００２１】なお、前述した１枚目のＩピクチャの圧縮
時にも、上記ローカルデコーダを通して復号化された１
枚目の画像が、上記フレームメモリ２２内に格納され
る。ここで、注意すべきことは、このローカルデコーダ
によって得られる画像は、圧縮前の画像ではなく、圧縮
後復元した画像であり、圧縮による画質劣化のある、デ
コーダが復号化する画像とまったく同じ画像であるとい
うことである。It should be noted that even when the above-mentioned first I picture is compressed, it is decoded by the local decoder 1
The first image is stored in the frame memory 22. It should be noted here that the image obtained by this local decoder is not the image before compression but the image restored after compression, and is the same as the image to be decoded by the decoder, which has image quality deterioration due to compression. It means that

【００２２】このような状態のエンコーダに２枚目の画
像（Ｐ３）のデータ(Original data）が入ってくるわけ
だが（この段階ですでに、動きベクトルは検出済でなけ
ればならない）、データはブロック毎に動きベクトルを
持ち、このベクトルが動き補償器（MC:Motion Compensa
tion）２１に与えられる。当該動き補償回路２１は、そ
の動きベクトルの示すローカルデコーデッドピクチャ上
のデータ（動き補償データ：MC data:１マクロブロッ
ク）を上記フレーム間予測画像データとして出力する。The data (Original data) of the second image (P3) enters the encoder in such a state (the motion vector must already be detected at this stage), but the data is Each block has a motion vector, and this vector is a motion compensator (MC: Motion Compensa
tion) 21. The motion compensation circuit 21 outputs the data (motion compensation data: MC data: 1 macroblock) on the local decoded picture indicated by the motion vector as the inter-frame predicted image data.

【００２３】上記２枚目のオリジナルデータとこの動き
補償データ（フレーム間予測画像データ）のピクセル毎
の、差分器１２による差分データが、上記ＤＣＴ回路１
４に入力される。それからの後の圧縮方法は、基本的に
Ｉピクチャと同じである。上述のような圧縮方法によっ
て圧縮する画像をＰピクチャ（Predicted picture)と呼
ぶ。The difference data obtained by the difference calculator 12 for each pixel of the second original data and the motion compensation data (inter-frame predicted image data) is the DCT circuit 1.
4 is input. The compression method after that is basically the same as the I picture. An image compressed by the above compression method is called a P picture (Predicted picture).

【００２４】さらに詳しく説明すると、Ｐピクチャにお
いてすべてのマクロブロックがフレーム間予測符号化で
圧縮するとは限らず、フレーム内符号化で圧縮する方が
効率が良いと判断されるときは、そのマクロブロックは
当該フレーム内符号化で符号化を行う。すなわち、Ｐピ
クチャにおいても、マクロブロック毎に、フレーム内符
号化によるか（このマクロブロックをイントラマクロブ
ロックと呼ぶ）、又はフレーム間予測符号化によるか
（このマクロブロックをインターマクロブロックと呼
ぶ）のどちらかを選択して圧縮を行う。More specifically, not all macroblocks in a P picture are compressed by interframe predictive coding, and when it is judged that compression by intraframe coding is more efficient, that macroblock is compressed. Performs the intra-frame coding. That is, even in the P picture, whether each macroblock is based on intraframe coding (this macroblock is called an intra macroblock) or interframe predictive coding (this macroblock is called an inter macroblock). Select either one to perform compression.

【００２５】上述のように、上記ローカルデコーダで
は、量子化器１５の出力が、逆量子化器２７で逆量子化
され、さらに逆ＤＣＴ回路２６で逆ＤＣＴ処理された
後、エンコード時に動き補償データ（MC data ）と足さ
れ最終的なローカルデコーデッドピクチャとなる。次
に、３枚目の画像（すなわちＢ１）のエンコードでは、
以下のようになされる。As described above, in the local decoder, the output of the quantizer 15 is inversely quantized by the inverse quantizer 27, and further inversely DCT-processed by the inverse DCT circuit 26. (MC data) is added to form the final local decoded picture. Next, in encoding the third image (that is, B1),
It is done as follows.

【００２６】上記３枚目の画像（Ｂ１）のエンコードで
は、Ｉ０，Ｐ３の２枚の画像それぞれに対する動きベク
トルを探索する。ここで、Ｉ０に対する動きベクトルを
フォワードベクトル（forward Vector）ＭＶｆ(x,y) と
呼び、Ｐ３に対する動きベクトルをバックワードベクト
ル（Backward Vector)ＭＶｂ(x,y) と呼ぶ。この３枚目
の画像についても差分データを圧縮するわけであるが、
どのデータを圧縮するのかが、問題である。この場合も
一番情報量が少なくなるものとの差分を取れば良い。こ
のときの圧縮方法の選択肢としては、 （１）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとの差分 （２）バックワードベクトルＭＶｂ(x,y) の示すＰ３上
のデータとの差分 （３）フォワードベクトルＭＶｆ(x,y) の示すＩ０上の
データとバックワードベクトルＭＶｂ(x,y) の示すＰ３
上のデータの平均値との差分 （４）差分データは使わない（フレーム内符号化） の４つである。マクロブロック毎にこの４種類の圧縮方
法から一つが選択される。上記圧縮方法の選択肢のうち
の（１），（２），（３）の場合は、それぞれの動きベ
クトルも動き補償器２１に送られ、差分器２１ではその
動き補償データとの差分をとり、これがＤＣＴ回路１４
に送られる。上記圧縮方法の選択肢のうちの（４）の場
合は、そのままのデータがＤＣＴ回路１４へ送られる。In encoding the third image (B1), the motion vector for each of the two images I0 and P3 is searched. Here, the motion vector for I0 is called a forward vector MVf (x, y), and the motion vector for P3 is called a backward vector MVb (x, y). The difference data is also compressed for this third image,
The problem is which data to compress. Also in this case, the difference from the one having the smallest amount of information may be taken. The compression method options at this time are as follows: (1) Difference between data on I0 indicated by forward vector MVf (x, y) and (2) Data on P3 indicated by backward vector MVb (x, y). Difference (3) Data on I0 indicated by forward vector MVf (x, y) and P3 indicated by backward vector MVb (x, y)
Difference from the average value of the above data (4) Difference data is not used (intra-frame coding). One of these four types of compression methods is selected for each macroblock. In the case of (1), (2), and (3) of the compression method options, the respective motion vectors are also sent to the motion compensator 21, and the difference calculator 21 takes the difference from the motion compensation data. This is the DCT circuit 14
Sent to In the case of (4) of the options of the compression method, the data as it is is sent to the DCT circuit 14.

【００２７】上述した１枚目、２枚目のエンコードの処
理の結果、ローカルデコーデッドピクチャを格納するフ
レームメモリ２２には、Ｉ０，Ｐ３の２枚のピクチャ
が、復元されているのでこのようなことが可能である。
次に、４枚目の画像（すなわちＢ２）のエンコードで
は、以下のようになされる。As a result of the above-described first and second encoding processes, two pictures I0 and P3 have been restored in the frame memory 22 for storing the locally decoded pictures. It is possible.
Next, the encoding of the fourth image (that is, B2) is performed as follows.

【００２８】上記４枚目の画像（Ｂ２）のエンコードで
は、上述した３枚目（Ｂ１）のエンコード方法のところ
の説明文で、Ｂ１をＢ２に置き換えたこと以外は、上記
３枚目のエンコードと同じ方法で圧縮する。次に、５枚
目の画像（すなわちＰ６）のエンコードでは、以下のよ
うになされる。In encoding the fourth image (B2), the third image is encoded except that B1 is replaced with B2 in the description of the encoding method for the third image (B1). Compress in the same way as. Next, the encoding of the fifth image (that is, P6) is performed as follows.

【００２９】上記５枚目の画像（Ｐ６）のエンコードで
は、上述した２枚目（Ｐ３）のエンコード方法のところ
の説明文で、Ｐ３をＰ６に、Ｉ０をＰ３に置き換えただ
けで、他は同じ説明となる。６枚目以降は、上述の繰り
返しとなるので説明は省略する。また、ＭＰＥＧにおい
ては、ＧＯＰ（Group Of Picture）と呼ばれるものが規
定されている。In the encoding of the fifth image (P6), P3 is replaced with P6 and I0 is replaced with P3 in the above description of the encoding method for the second image (P3). Same explanation. The description is omitted for the sixth and subsequent sheets, because the above-mentioned steps are repeated. In MPEG, what is called GOP (Group Of Picture) is specified.

【００３０】すなわち、何枚かのピクチャの集まりがグ
ループオブピクチャ（ＧＯＰ）と呼ばれており、当該Ｇ
ＯＰは符号化データ（圧縮後のデータ）上で見て連続し
た画像の集まりでなくてはならないものである。また、
ＧＯＰはランダムアクセスを考慮したもので、そのため
には符号化データ上で見てＧＯＰの最初に来るピクチャ
は上記Ｉピクチャである必要がある。さらに、表示順
（ディスプレイ順）でＧＯＰの最後は、Ｉ又はＰピクチ
ャでなくてはならない。That is, a group of pictures is called a group of pictures (GOP).
OP is a group of consecutive images viewed on encoded data (compressed data). Also,
The GOP takes random access into consideration, and for that purpose, the first picture of the GOP on the encoded data needs to be the I picture. Furthermore, the last GOP in the display order (display order) must be an I or P picture.

【００３１】図１５には、最初が４枚のピクチャからな
るＧＯＰで、それ以降が６枚のピクチャからなるＧＯＰ
となる例を挙げる。なお、図１５のＡはディスプレイ順
を示し、図１５のＢは符号化データ順を示している。こ
の図１５において、ＧＯＰ２に注目すると、Ｂ４，Ｂ５
はＰ３，Ｉ６から形成されるため、例えばランダムアク
セスでＩ６にアクセスされると、Ｐ３が無いため、Ｂ
４，Ｂ５は正しく復号化できない。このようにＧＯＰ内
だけで正しく復号化できないＧＯＰは、クローズドＧＯ
Ｐ（Closed GOP）でないという。FIG. 15 shows a GOP consisting of four pictures at the beginning and a GOP consisting of six pictures after that.
Here is an example. Note that A in FIG. 15 shows the display order, and B in FIG. 15 shows the encoded data order. Focusing on GOP2 in FIG. 15, B4 and B5
Is formed from P3 and I6, for example, when I6 is accessed by random access, there is no P3, so B
4 and B5 cannot be correctly decoded. In this way, a GOP that cannot be correctly decoded only within the GOP is a closed GO.
It is not P (Closed GOP).

【００３２】これに対し、もしＢ４，Ｂ５がＩ６だけし
か参照していないとしならば、例えばランダムアクセス
でＩ６にアクセスしても、Ｐ３は必要ないため、これら
Ｂ４，Ｂ５は正しく復号化できることになる。このよう
にＧＯＰ内だけの情報で、完全に復号化できるＧＯＰを
クローズドＧＯＰ（Closed GOP）と呼ぶ。以上のような
圧縮方法の選択の中から一番効率の良い方法で圧縮する
わけであるが、その結果発生する符号化データ（Coded
data）の量は、入力画像にも依存し、実際に圧縮してみ
ないと判らない。On the other hand, if B4 and B5 refer only to I6, for example, even if I6 is accessed by random access, P3 is not necessary, so B4 and B5 can be correctly decoded. Become. A GOP that can be completely decoded with information only in the GOP is called a closed GOP. The most efficient compression method is selected from the above compression methods. The resulting encoded data (Coded
The amount of data) also depends on the input image and cannot be understood without actually compressing it.

【００３３】しかし、圧縮後のデータのビットレートを
一定にするためにコントロールすることも必要である。
当該コントロールを行うためのパラメータは、量子化器
１５に与える前記符号量を表す情報としての量子化ステ
ップ（又は量子化スケール：Q-scale ）である。同じ圧
縮方法でも、上記量子化ステップを大きくすれば発生ビ
ット量は減り、小さくすれば増える。However, it is also necessary to control the bit rate of the data after compression to be constant.
The parameter for performing the control is a quantization step (or quantization scale: Q-scale) as information representing the code amount given to the quantizer 15. Even with the same compression method, if the quantization step is increased, the amount of generated bits is decreased, and if it is decreased, it is increased.

【００３４】この量子化ステップの値は、次のようにし
て制御する。エンコーダには、圧縮後のデータを一定の
ビットレートにするために、出力に緩衝バッファ（出力
バッファ１８）が設けられており、これによって画像毎
のある程度のデータ発生量の差は吸収できるようになさ
れている。しかし、定められたビットレートを超えるよ
うなデータの発生が続けば、出力バッファ１８の残量が
増加し、ついにはオーバーフローを起こすことになる。
逆にビットレートを下回るデータの発生が続けば出力バ
ッファ１８の残量は減少し、最後にはアンダーフローを
引き起こすことになる。The value of this quantization step is controlled as follows. The encoder is provided with a buffer (output buffer 18) at the output in order to keep the compressed data at a constant bit rate, so that a certain amount of difference in the amount of data generated for each image can be absorbed. Has been done. However, if the generation of data that exceeds the defined bit rate continues, the remaining amount of the output buffer 18 increases, and eventually overflow occurs.
On the contrary, if the generation of data below the bit rate continues, the remaining amount of the output buffer 18 decreases, and finally underflow occurs.

【００３５】したがって、エンコーダは、出力バッファ
１８の残量をフィードバックすることにより、前記量子
化ステップ制御器１９が量子化器１５の量子化ステップ
をコントロールし、ここで出力バッファ１８の残量が少
なくなればあまり圧縮しないように量子化ステップを小
さくなるよう制御し、出力バッファ１８の残量が多くな
れば圧縮率を高くするように量子化ステップを大きくす
るようにコントロールを行うようにしている。Therefore, in the encoder, the quantization step controller 19 controls the quantization step of the quantizer 15 by feeding back the remaining amount of the output buffer 18, and the remaining amount of the output buffer 18 becomes small. If so, the quantization step is controlled so as not to compress too much, and if the remaining amount of the output buffer 18 is large, the quantization step is controlled so as to increase the compression rate.

【００３６】また、前述した圧縮方法（前記フレーム内
符号化やフレーム間予測符号化）によって発生する符号
化データ量の範囲には、大きな差がある。特にフレーム
内符号化方式で圧縮をすると大量のデータが発生するた
め、出力バッフファ１８の空き容量が小さい場合には量
子化ステップサイズを大きくしなければならず、場合に
よっては量子化ステップサイズを最大にしてもバッファ
１８のオーバーフローを招くかもしれない。よしんばバ
ッファ１８に収まったとしても量子化ステップが大きけ
ればフレーム内符号化の画像は後のフレーム間予測符号
化の画質に影響するので、フレーム内符号化での圧縮を
行う前には出力バッファ１８に十分な空き容量が必要で
ある。Further, there is a large difference in the range of the amount of coded data generated by the above-mentioned compression method (the intra-frame coding or the inter-frame predictive coding). In particular, when the intra-frame coding method is used for compression, a large amount of data is generated. Therefore, if the output buffer 18 has a small free space, the quantization step size must be increased. Even so, it may cause overflow of the buffer 18. Even if it fits in the goodbye buffer 18, if the quantization step is large, the image of the intra-frame coding affects the image quality of the subsequent inter-frame predictive coding. Therefore, before performing the compression in the intra-frame coding, the output buffer 18 You need to have enough free space.

【００３７】したがって、予め定められた順序の圧縮方
法を決めておき、フレーム内符号化の前には十分な出力
バッファ１８の空き容量を確保するように、量子化ステ
ップ制御器１９は量子化ステップサイズのフィードバッ
クコントロールを行うようにしている。以上のようにし
て一定レートの符号化データに抑えることが可能とな
る。Therefore, the quantization step controller 19 sets the compression method in a predetermined order so as to secure a sufficient free space of the output buffer 18 before the intra-frame coding. I try to control the size feedback. As described above, it is possible to suppress the encoded data to a constant rate.

【００３８】[0038]

【発明が解決しようとする課題】ところで、上述した従
来の方法では、以下の理由により高画質を得られないこ
とが欠点となっている。すなわち、出力バッファの残量
をフィードバックすることによって量子化ステップをコ
ントロールする従来の方法では、フィードバックに基本
的に遅延があるため入力画像の急激な情報量変化に追随
できない。そのため、入力画像の情報量が急激に増加し
た場合、大量の圧縮データが発生し、バッファの残量を
大幅に減らし、時にはオーバーフローを引き起こす。ま
た、オーバーフローしなかったとしても、出力バッファ
の残量は非常に少なくっているので、次に圧縮される画
像は量子化ステップが大きくなり、その結果画質の低下
を招くことになる。逆に、入力画像の情報量が急激に減
少した場合、発生する圧縮データは小さなものになるに
もかかわらず、上記遅延のために量子化ステップはすぐ
には小さくならないので、当該遅延の間の画質を上げる
ことができない。However, the above-mentioned conventional method has a drawback in that high image quality cannot be obtained for the following reasons. That is, in the conventional method of controlling the quantization step by feeding back the remaining amount of the output buffer, the feedback basically has a delay and cannot follow a rapid change in the information amount of the input image. Therefore, when the information amount of the input image rapidly increases, a large amount of compressed data is generated, the remaining amount of the buffer is greatly reduced, and sometimes the overflow occurs. Further, even if the overflow does not occur, the remaining amount of the output buffer is very small, so that the image to be compressed next has a large quantization step, resulting in the deterioration of the image quality. On the contrary, when the amount of information in the input image sharply decreases, the quantization step does not become small immediately because of the above delay although the generated compressed data becomes small. The image quality cannot be improved.

【００３９】また、一般に入力画像は様々で、同じ圧縮
率であっても同じ画質を得られるとは限らない。それは
画像の情報量そのものの違いや、圧縮方法に依存した特
徴（前後で相関が高い等）に依存するからである。した
がって、画質を均質に圧縮するには画像に適応的に圧縮
方法、圧縮率などを変えなければならない。さらに、時
々刻々情報量の変化する入力画像を一定のビットレート
で平均的に高画質に圧縮するためには、出力バッファに
よって低ビットレートを維持できる範囲でかつ画質が均
質になるように、情報量の多い画像（絵）には多めの圧
縮データを許し、情報量の少ない画像には少なめの圧縮
データにすることが必要だが、次のような場合に従来の
方法ではそれができない。In general, input images are various, and the same image quality is not always obtained even with the same compression rate. This is because it depends on the difference in the information amount of the image itself and the characteristics depending on the compression method (such as high correlation before and after). Therefore, in order to uniformly compress the image quality, it is necessary to adaptively change the compression method, compression rate, etc. of the image. Furthermore, in order to averagely compress an input image whose information amount changes every moment to a high image quality at a constant bit rate, in order to maintain a low bit rate by the output buffer and to make the image quality uniform, It is necessary to allow a large amount of compressed data for an image (picture) with a large amount of data and a small amount of compressed data for an image with a small amount of information, which cannot be done by the conventional method in the following cases.

【００４０】例えば、情報量の少ない画像が連続し、そ
のあとで急に情報量の多い画像が入ってくる場合を考え
ると、先に供給される情報量の少ない画像に対しては量
子化ステップをあまり小さくし過ぎず、その後に続く情
報量が多い画像が符号化されるまで出力バッファの残量
を低く保つべきであるのに、前述した出力バッファ残量
をフィードバックする方式では、上記情報量が少ない画
像が連続するうちに出力バッファの残量を増加させてし
まうようになる。Considering, for example, a case where an image with a small amount of information is continuous and then an image with a large amount of information comes in suddenly. Should not be too small, and the remaining amount of the output buffer should be kept low until an image with a large amount of information that follows is encoded. When the number of images is small, the remaining amount in the output buffer increases.

【００４１】逆に、情報量が多い画像の後に情報量の少
ない画像が続く場合では、先に供給される情報量の多い
画像を大きな量子化ステップで圧縮して出力バッファの
残量を減らさなくても、その後に続くのは情報量の少な
い画像なのでオーバーフローし難いはずであるが、上記
出力バッファ残量フィードバック方式では、続く画像の
情報量がわからないためバッファの残量を減らす方向、
すなわち量子化ステップを大きくする方向に制御し、画
質を低下させてしまう。On the contrary, when an image having a large amount of information follows an image having a small amount of information, the image supplied with a large amount of information is compressed by a large quantization step without reducing the remaining amount of the output buffer. However, since the subsequent image is an image with a small amount of information, it should be difficult to overflow, but in the above output buffer remaining amount feedback method, since the amount of information of the following image is unknown, the remaining amount of the buffer is reduced,
That is, the quantization step is controlled to be increased, and the image quality is degraded.

【００４２】さらに、入力画像の情報量の急激な変化の
顕著な例がシーンチェンジであるが、シーンチェンジは
前の画像との相関が極めて低いため、フレーム内符号化
で圧縮したほうが効率良く圧縮できるが、予め情報量を
知っており、かつ前後の画像のそれとの比較ができなけ
ればシーンチェンジかどうか、すなわち、フレーム内符
号化で圧縮するか、あるいはフレーム間予測符号化で圧
縮するか判断することができない。Further, a scene change is a remarkable example of a rapid change in the information amount of the input image. However, since the scene change has a very low correlation with the previous image, it is more efficient to compress it by intraframe coding. Yes, but if you know the amount of information in advance and can not compare it with that of the previous and next images, determine whether it is a scene change, that is, whether to compress with intraframe coding or with interframe predictive coding Can not do it.

【００４３】またさらに、フレーム内符号化で圧縮をす
るには出力バッファに十分な空き容量が必要であるが、
前の画像の画質を著しく損なうことなく出力バッファに
十分な空き容量を確保するためには、充分前のフレーム
から準備を行い、当該出力バッファの残量を減らしてお
かなければならない。したがって、フレーム内符号化で
圧縮をすることは圧縮を行うよりも充分以前に判ってい
なければならない。Furthermore, in order to perform compression by intra-frame coding, the output buffer must have sufficient free space,
In order to secure a sufficient free space in the output buffer without significantly impairing the image quality of the previous image, it is necessary to prepare from the frame sufficiently before and reduce the remaining amount of the output buffer. Therefore, compression with intraframe coding must be known well before compression.

【００４４】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、シーンチェンジが検出で
き、効率の良い画像圧縮が可能で、全体的に画質を向上
させることができると共に、コストの低減も可能な画像
符号化装置を提供することを目的とするものである。Therefore, the present invention has been proposed in view of the above-mentioned circumstances, can detect a scene change, can perform efficient image compression, and can improve the image quality as a whole. It is an object of the present invention to provide an image encoding device that can reduce cost.

【００４５】[0045]

【課題を解決するための手段】本発明の画像符号化装置
は、上述した目的を達成するために提案されたものであ
り、入力画像データを複数枚蓄える画像データ蓄積手段
と、上記画像データ蓄積手段に蓄積された入力画像デー
タを複数のブロックに分割し、それぞれのブロック毎に
サーチ側とリファレンス側のピクセル毎に求めた誤差値
を１画面分合計した第１の合計値と、時間的に過去の１
画面分の誤差値を合計した第２の合計値との比に基づい
てシーンチェンジ検出を行うシーンチェンジ検出手段
と、上記シーンチェンジ検出手段によるシーンチェンジ
検出出力に応じて画像データの圧縮方法を選択する圧縮
方法選択手段と、上記圧縮方法選択手段により選択され
た圧縮方法に従って上記入力画像データに所定の圧縮符
号化処理を施す圧縮符号化処理手段と、圧縮符号化され
た画像データを蓄積する出力バッファ手段と、上記シー
ンチェンジ検出手段によるシーンチェンジ検出出力に応
じて上記出力バッファ手段の蓄積量を制御するバッファ
制御手段とを有することを特徴とするものである。The image coding apparatus of the present invention is proposed in order to achieve the above-mentioned object, and is an image data storage unit for storing a plurality of input image data and the image data storage unit. The input image data accumulated in the means is divided into a plurality of blocks, and the error value obtained for each pixel on the search side and the reference side for each block is summed up by one screen for the first total value and temporally. Past one
A scene change detecting means for detecting a scene change based on a ratio with a second total value obtained by summing up error values for the screen, and a compression method of image data is selected according to a scene change detection output by the scene change detecting means. Compression method selecting means, compression encoding processing means for performing a predetermined compression encoding process on the input image data according to the compression method selected by the compression method selecting means, and an output for accumulating the compression encoded image data. It is characterized by having a buffer means and a buffer control means for controlling the amount of accumulation of the output buffer means according to the scene change detection output by the scene change detection means.

【００４６】ここで、上記シーンチェンジ検出手段は、
上記第１の合計値が所定の閾値以下であるときには上記
第２の合計値を保存しておく（更新しない）こと、及び
／又は、シーンチェンジを検出したときに上記第２の合
計値を保存しておく（更新しない）ことを行う。また、
本発明の画像符号化装置は、入力画像データを複数枚蓄
える画像データ蓄積手段と、上記画像データ蓄積手段に
蓄積された入力画像データを複数のブロックに分割し、
それぞれのブロック毎にサーチ側とリファレンス側のピ
クセル毎に求めた差分値の第１の絶対値和と、時間的に
過去の差分値の第２の絶対値和との比に基づいてシーン
チェンジ検出を行う第１のシーンチェンジ検出手段と、
上記第１のシーンチェンジ検出手段でシーンチェンジと
判定したブロックの１画面に対する割合に基づいて、当
該１画面のシーンチェンジを検出する第２のシーンチェ
ンジ検出手段と、上記第２のシーンチェンジ検出手段に
よるシーンチェンジ検出出力に応じて１画面の画像デー
タの圧縮方法を選択する圧縮方法選択手段と、上記圧縮
方法選択手段により選択された圧縮方法に従って上記入
力画像データに所定の圧縮符号化処理を施す圧縮符号化
処理手段と、圧縮符号化された画像データを蓄積する出
力バッファ手段と、上記シーンチェンジ検出手段による
シーンチェンジ検出出力に応じて上記出力バッファ手段
の蓄積量を制御するバッファ制御手段とを有することを
特徴とするものでもある。Here, the scene change detecting means is
When the first total value is less than or equal to a predetermined threshold value, the second total value is saved (not updated), and / or when the scene change is detected, the second total value is saved. Do it (do not update). Also,
The image coding apparatus of the present invention divides the input image data stored in the image data storage unit into a plurality of blocks, and the image data storage unit that stores a plurality of input image data,
Scene change detection based on the ratio between the first absolute value sum of the difference values obtained for each pixel on the search side and the reference side for each block and the second sum of the absolute value difference values that are temporally past First scene change detection means for performing
Second scene change detecting means for detecting a scene change of the one screen based on the ratio of the block determined to be a scene change by the first scene change detecting means to one screen, and the second scene change detecting means. According to the scene change detection output by the compression method selecting means for selecting the compression method of the image data of one screen, and the input image data is subjected to a predetermined compression encoding processing according to the compression method selected by the compression method selecting means. Compression encoding processing means, output buffer means for accumulating the compression encoded image data, and buffer control means for controlling the accumulation amount of the output buffer means according to the scene change detection output by the scene change detecting means. It is also characterized by having.

【００４７】このときも、上記第１のシーンチェンジ検
出手段は、上記第１の絶対値和が所定の閾値以下である
ときには上記第２の絶対値和を保存しておく（更新しな
い）こと、及び／又は、シーンチェンジを検出したとき
に上記第２の絶対値和を保存しておく（更新しない）よ
うにする。Also at this time, the first scene change detection means stores (does not update) the second sum of absolute values when the first sum of absolute values is equal to or less than a predetermined threshold value. And / or the second sum of absolute values is stored (not updated) when a scene change is detected.

【００４８】[0048]

【作用】本発明によれば、直前の誤差値（第１の誤差
値）と過去の誤差値（第２の誤差値）とを比較すること
で、ブロック毎にシーンチェンジであるか否かを検出し
ている。また、本発明によれば、直前の差分の絶対値和
（第１の絶対値和）と過去の差分の絶対値和（第２の絶
対値和）とを比較してブロック毎にシーンチェンジを検
出し、さらにシーンチェンジと判定されたブロックの１
画面中の割合からこの１画面がシーンチェンジであるか
否かを検出している。According to the present invention, by comparing the immediately preceding error value (first error value) with the past error value (second error value), it can be determined whether or not there is a scene change for each block. It is detecting. According to the present invention, the sum of absolute values of the immediately preceding difference (first sum of absolute values) and the sum of absolute values of past differences (second sum of absolute values) are compared to perform a scene change for each block. One of the blocks detected and judged to be a scene change
Whether or not this one screen is a scene change is detected from the ratio in the screen.

【００４９】ここで、第１の誤差値や第１の差分の絶対
値和が所定の閾値以下のときには、過去の第２の誤差値
や第２の差分の絶対値和を保存しておく（更新しない）
ことで、誤差値や差分の絶対値和の変動が少ない画像の
シーンチェンジの検出精度を上げている。また、第１の
誤差値や第１の差分の絶対値和からそのブロックがシー
ンチェンジであると検出したときにも、過去の第２の誤
差値や第２の差分の絶対値和を保存しておく（更新しな
い）ことで、次のブロックのシーンチェンジの検出を可
能としている。Here, when the first error value or the sum of absolute values of the first differences is less than or equal to a predetermined threshold, the past second error value or the sum of absolute values of the second difference is stored ( Do not update)
As a result, the accuracy of detecting a scene change in an image in which there is little variation in the error value or the sum of absolute differences is increased. Further, even when the block is detected as a scene change from the first error value and the sum of the absolute values of the first differences, the past second error value and the sum of the absolute values of the second differences are saved. By setting (not updating), the scene change of the next block can be detected.

【００５０】[0050]

【実施例】以下、図面を参照し、本発明の実施例につい
て詳述する。図１には本発明実施例の画像符号化装置の
概略構成を示す。なお、この図１において、前述した図
９と同じの構成については同一の指示符号を付してその
説明については省略する。Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 shows a schematic configuration of an image coding apparatus according to an embodiment of the present invention. In FIG. 1, the same components as those in FIG. 9 described above are designated by the same reference numerals, and the description thereof will be omitted.

【００５１】この図１の構成において、前記図９の構成
に追加された構成要素はシーンチェンジ検出回路３１と
圧縮方法選択回路３２と動きベクトル発生回路３４であ
り、また、フレームメモリ４０と動き検出器４１及び量
子化ステップ制御器３３が変更されている。すなわち、
本発明の第１の実施例の画像符号化装置は、入力画像デ
ータを複数枚フレーム分蓄える画像データ蓄積手段であ
るフレームメモリ４０と、上記フレームメモリ４０に蓄
積された入力画像データを複数のブロックに分割し、そ
れぞれのブロック毎にサーチ側とリファレンス側のピク
セル毎に求めた誤差値を１画面分合計した第１の合計値
(SAD) と、時間的に過去の１画面分の誤差値を合計した
第２の合計値(prev ＿SAD)との比に基づいてシーンチェ
ンジ検出を行うシーンチェンジ検出回路３１と、上記シ
ーンチェンジ検出回路３１によるシーンチェンジ検出出
力に応じて画像データの圧縮方法（フレーム内符号化／
フレーム間予測符号化）を選択する圧縮方法選択回路３
２と、上記圧縮方法選択回路３２により選択された圧縮
方法に従って上記入力画像データに所定の圧縮符号化処
理を施す圧縮符号化処理手段である差分器１２から可変
長符号化回路１７まで及びローカルデコーダと、圧縮符
号化された画像データを蓄積する出力バッファ１８と、
上記シーンチェンジ検出回路３２によるシーンチェンジ
検出出力に応じて上記出力バッファ１８の蓄積量を制御
するバッファ制御手段としての作用を有する量子化ステ
ップ制御器３３とを有することを特徴とするものであ
る。In the configuration of FIG. 1, the constituent elements added to the configuration of FIG. 9 are a scene change detection circuit 31, a compression method selection circuit 32 and a motion vector generation circuit 34, and a frame memory 40 and motion detection. The device 41 and the quantization step controller 33 have been changed. That is,
The image coding apparatus according to the first embodiment of the present invention includes a frame memory 40 that is an image data storage unit that stores input image data for a plurality of frames, and a plurality of blocks of the input image data stored in the frame memory 40. The first total value obtained by summing up the error values obtained for each pixel on the search side and the reference side for each block for one screen.
A scene change detection circuit 31 for detecting a scene change based on a ratio between (SAD) and a second total value (prev_SAD) obtained by summing the error values for one screen in the past in time, and the scene change detection. The image data compression method (intra-frame encoding /
Compression method selection circuit 3 for selecting interframe predictive coding)
2, from the difference unit 12 which is a compression encoding processing means for performing a predetermined compression encoding processing on the input image data according to the compression method selected by the compression method selection circuit 32 to the variable length encoding circuit 17 and the local decoder. And an output buffer 18 for accumulating compression-encoded image data,
And a quantization step controller 33 having a function as a buffer control means for controlling the storage amount of the output buffer 18 according to the scene change detection output from the scene change detection circuit 32.

【００５２】また、本発明の第２の実施例の画像符号化
装置は、上記図１のシーンチェンジ検出回路３１におい
て、上記フレームメモリ４０に蓄積された入力画像デー
タを複数のブロックに分割し、それぞれのブロック毎に
サーチ側とリファレンス側のピクセル毎に求めた差分値
（誤差）の第１の絶対値和(AD[i]) と、時間的に過去の
差分値（誤差）の第２の絶対値和(prev ＿AD[i])との比
に基づいてシーンチェンジ検出を行う（第１のシーンチ
ェンジ検出手段）と共に、シーンチェンジと判定したブ
ロックの１画面に対する割合に基づいて、当該１画面の
シーンチェンジを検出する（第２のシーンチェンジ検出
手段）ようにしている。The image coding apparatus of the second embodiment of the present invention divides the input image data accumulated in the frame memory 40 into a plurality of blocks in the scene change detection circuit 31 of FIG. The first absolute value sum (AD [i]) of the difference values (errors) obtained for each pixel on the search side and the reference side for each block, and the second sum of the difference values (errors) that are temporally past. Scene change detection is performed based on the ratio to the sum of absolute values (prev_AD [i]) (first scene change detection means), and the one screen is determined based on the ratio of the block determined to be a scene change to one screen. Is detected (second scene change detecting means).

【００５３】この図１において、先ず、入力端子１から
入力された入力画像データは、フレームメモリ４０に蓄
えられる。このフレームメモリ４０は、図９のフレーム
メモリ１０とは異なり、所定数のフレームを蓄積できる
ものである。このときの蓄積する所定数としては、多過
ぎるとフレームメモリ４０が大規模になってしまうので
好ましくない。上記所定数として効率的な長さ（フレー
ム数）は、ビットレートと出力バッファ１８の容量、フ
レーム内符号化の圧縮方式の画像同士の間隔（ほとんど
の場合ＧＯＰの長さといっても差し支えない）に大きく
依存する。これは圧縮方法及び圧縮率の違いから生ずる
圧縮データの大きさのむらを上記出力バッファ１８によ
って吸収し、定ビットレートにすることができる範囲
が、上記ビットレート及び出力バッファ容量とフレーム
内符号化がなされる画像同士の間隔等の条件によって制
約されるからである。In FIG. 1, first, the input image data input from the input terminal 1 is stored in the frame memory 40. The frame memory 40 is different from the frame memory 10 of FIG. 9 and can store a predetermined number of frames. If the predetermined number to be stored at this time is too large, the frame memory 40 becomes large in scale, which is not preferable. The effective length (the number of frames) as the above-mentioned predetermined number is the bit rate, the capacity of the output buffer 18, the interval between the images of the compression method of the intra-frame coding (in most cases, it can be said that it is the length of GOP). Heavily depends on. This is because the output buffer 18 absorbs the unevenness of the size of the compressed data caused by the difference in the compression method and the compression rate, and the constant bit rate is within a range in which the bit rate, the output buffer capacity and the intra-frame encoding are set. This is because it is restricted by conditions such as the distance between the images to be formed.

【００５４】ところで、一般的にフレーム内符号化方式
で圧縮することは定期的に行われる（これがＧＯＰの区
切りになることが多い）ものであり、このフレーム内符
号化の圧縮方式は当該圧縮後のデータ量が他の方式（フ
レーム間予測符号化）に比べてかなり大きいものであ
る。このため、当該フレーム内符号化による圧縮画像同
士（或いはＧＯＰ）の間隔で情報量を調べ、データ量の
配分をするのは、一つの合理的な方法である。By the way, generally, the compression by the intra-frame coding method is regularly performed (this is often a delimiter of GOP), and the compression method of the intra-frame coding is after the compression. The data amount of is much larger than other methods (interframe predictive coding). Therefore, it is one rational method to check the information amount at intervals of compressed images (or GOP) by the intra-frame coding and distribute the data amount.

【００５５】しかし、本実施例の方式では、後述するシ
ーンチェンジ等によって前後の画像の相関が著しく低く
なった場合にも、フレーム内符号化方式で圧縮するよう
にしている。その場合、定期的に行うはずである近傍の
フレーム内符号化によって圧縮を行う画像は、定ビット
レート或いは均質な画質の維持が困難になるため、フレ
ーム内符号化による圧縮である必然性を失い、フレーム
内符号化で圧縮することを取り止める必要がでてくる。However, in the method of the present embodiment, even if the correlation between the preceding and following images becomes significantly low due to a scene change, which will be described later, the intra-frame coding method is used for compression. In that case, since it is difficult to maintain a constant bit rate or uniform image quality in an image that is compressed by nearby intra-frame coding that should be performed regularly, the necessity of compression by intra-frame coding is lost, It becomes necessary to stop compressing by intra-frame coding.

【００５６】したがって、フレーム内符号化による圧縮
を行う周期の２倍程度を上記フレームメモリ４０の長さ
（上記所定数）とすることが適当である。もちろん、上
記フレーム数は一例であり、これに限定されることはな
く様々な条件に合わせて変更することは可能である。次
に、シーンチェンジ検出回路３１は、入力画像のシーン
チェンジを後述するように動き検出で得たパラメータを
用いて検出する。Therefore, it is appropriate to set the length of the frame memory 40 (the predetermined number) to about twice the cycle of compression by intra-frame coding. Of course, the number of frames is only an example, and the number of frames is not limited to this and can be changed according to various conditions. Next, the scene change detection circuit 31 detects a scene change of the input image by using a parameter obtained by motion detection as described later.

【００５７】ここで、当該シーンチェンジ検出回路３１
においてシーンチェンジを検出する目的は、フレーム間
予測符号化かフレーム内符号化のいずれかの圧縮方式を
決定するための判断材料にすることが主である。それ
は、前後で相関の極めて低い画像では、フレーム間予測
符号化で圧縮するよりもフレーム内符号化で圧縮する方
が効率良く圧縮できるからである。また、圧縮後のデー
タも大きなものとなるため、データ量配分や出力バッフ
ァマネジメントの観点からもシーンチェンジを把握する
ことは重要である。Here, the scene change detection circuit 31
The purpose of detecting a scene change in (2) is mainly to use it as a basis for determining a compression method of either interframe predictive coding or intraframe coding. This is because it is possible to more efficiently compress an image having an extremely low correlation before and after by intra-frame coding rather than by inter-frame predictive coding. Also, since the compressed data will be large, it is important to understand the scene change from the viewpoint of data amount distribution and output buffer management.

【００５８】また、上記フレームメモリ４０に蓄積され
た画像データは、適宜、画像情報評価回路５０にも送ら
れる。ここで、当該画像情報評価回路５０は、大別して
２通りのパラメータを算出するものである。第１のパラ
メータは、フレーム内符号化で圧縮を行った場合の圧縮
後のデータ量を予測することが可能なように、その画像
自身の情報量を示すものである。この第１のパラメータ
としては、例えば、フレームメモリ４０から供給された
画像データに対して、ＤＣＴ処理をブロック毎に行い、
そのＤＣＴ係数の和や統計をとったものとしたり、ま
た、それでは規模が大きくなる場合には、平均自乗誤差
のブロック毎の和を求めたものとする。いずれにして
も、当該画像情報評価回路５０では、画像の情報量を表
し、圧縮後のデーター量を類推するに足るパラメータを
算出する。第２のパラメータは、フレーム間予測符号化
で圧縮を行った場合の圧縮後のデータ量を予測すること
が可能な、画像の差分情報量を示すものである。この場
合のパラメータとしては、例えば、フレームメモリ４０
に格納された画像と動き補償後の画像との差分値のブロ
ック内の和を用いる。このパラメータ算出の際には、一
般的な動きベクトル検出回路で得られる動きベクトルが
検出された最小誤差を利用することができる。The image data stored in the frame memory 40 is also sent to the image information evaluation circuit 50 as appropriate. Here, the image information evaluation circuit 50 roughly calculates two kinds of parameters. The first parameter indicates the information amount of the image itself so that the data amount after compression when the compression is performed by the intraframe coding can be predicted. As the first parameter, for example, DCT processing is performed on the image data supplied from the frame memory 40 for each block,
It is assumed that the sum of DCT coefficients or statistics is taken, or if the scale becomes large, the sum of mean square errors for each block is obtained. In any case, the image information evaluation circuit 50 calculates a parameter that represents the information amount of the image and is sufficient to infer the compressed data amount. The second parameter indicates the amount of difference information of the image that can predict the amount of data after compression when the compression is performed by the inter-frame predictive coding. As the parameter in this case, for example, the frame memory 40
The in-block sum of the difference value between the image stored in the image and the image after the motion compensation is used. When calculating this parameter, it is possible to use the minimum error for detecting the motion vector obtained by a general motion vector detection circuit.

【００５９】次に、圧縮方法選択回路３２については説
明する。当該圧縮方法選択回路３２は、上記シーンチェ
ンジ検出回路３１からの出力と画像情報評価回路５０か
らの情報量パラメータとに基づいて、フレーム内符号化
／フレーム間予測符号化（Ｐ，Ｂピクチャ）のいずれの
圧縮方式で圧縮を行うのかを選択する回路である。ここ
で、フレーム内符号化方式による圧縮では少なくともＧ
ＯＰの最初になければならない。ＧＯＰはランダムアク
セスを考慮してある程度の間隔とするので、必然的にＩ
ピクチャはある程度定期的に発生するし、シーンチェン
ジ等によっても発生する。したがって、画像のカウント
とシーンチェンジ検出回路３１の出力が当該圧縮方法選
択回路３２に加えられるようになっている。Next, the compression method selection circuit 32 will be described. The compression method selection circuit 32 performs intra-frame coding / inter-frame prediction coding (P, B pictures) based on the output from the scene change detection circuit 31 and the information amount parameter from the image information evaluation circuit 50. This is a circuit for selecting which compression method is used for compression. Here, at least G is used for compression by the intraframe coding method.
Must be at the beginning of the OP. Since the GOP has a certain interval in consideration of random access, it is inevitably I
Pictures occur periodically to some extent and also due to scene changes and the like. Therefore, the image count and the output of the scene change detection circuit 31 are added to the compression method selection circuit 32.

【００６０】次に本実施例の構成における処理の流れ
を、図２のフローチャートに沿って説明する。先ず、ス
テップＳ１では、入力端子１に入力された画像データが
順次フレームメモリ４０へ格納される。ここで、先に述
べたようにＩピクチャの頻度や間隔の決定が画質に影響
を及ぼすので、これに関係して符号化に先だってＧＯＰ
を決めておく必要があり、また、後述するようにレート
コントロールをするために符号化に先だって１ＧＯＰ分
の画像についての情報を収集しなければならない。この
ように、次々と入力されてくる画像データに対してその
間の分析をし、符号化するまでの十分な遅延時間を稼ぐ
ため、大量のフレームメモリ４０を用いる。Next, the flow of processing in the configuration of this embodiment will be described with reference to the flowchart of FIG. First, in step S1, the image data input to the input terminal 1 is sequentially stored in the frame memory 40. Here, as described above, the determination of the frequency and interval of I-pictures affects the image quality.
Must be determined, and information on one GOP worth of images must be collected prior to encoding in order to perform rate control as described later. In this way, a large amount of frame memory 40 is used in order to analyze the input image data one after another and to obtain a sufficient delay time before encoding.

【００６１】次に、ステップＳ２では、フレーム内符号
化で圧縮するために必要な動きベクトルを動き検出器４
１及び動きベクトル発生回路３４で検出する。すなわ
ち、このステップＳ２では、上記フレームメモリ４０に
格納された画像データは予め定められたスケジュールで
メモリ中の各画像データをＰピクチャ或いはＢピクチャ
として圧縮符号化できるように、先ず動き検出器４１で
動き検出（モーションエスティメーション）を行う。な
お、動き検出を行う画像についてはＩピクチャを規定し
ない。それはどの画像データがＩピクチャになるのかこ
の時点では確定していないからであり、またＩピクチャ
は動き補償を必要としないため、後にどの画像データで
もＩピクチャにすることが可能だからである。Next, in step S2, the motion vector required for compression in the intraframe coding is calculated by the motion detector 4.
1 and the motion vector generation circuit 34 detect. That is, in step S2, the image data stored in the frame memory 40 is first compressed by the motion detector 41 so that each image data in the memory can be compression-coded as a P picture or a B picture according to a predetermined schedule. Detects motion (motion estimation). Note that I-pictures are not specified for images for which motion detection is performed. This is because it has not been determined at this point which image data will be an I picture, and since an I picture does not require motion compensation, any image data can be made an I picture later.

【００６２】ここでは、動き検出をする際に用いられる
最小歪み（Minimum Distortion）或いは誤差（差分値）
の絶対値和（ＡＤ：Absolute Difference ）と呼ばれる
ものを符号化に用いるパラメータの一つとして読み出し
格納する。なお、上記誤差の絶対値和（ＡＤ）は、リフ
ァレンス側の画像を８×８ピクセルのブロックに分割
し、輝度データ８×８×４ピクセルと色差データ８×８
×２ピクセルのマクロブロック（ＭＢ）に対し、動き検
出を行なった際に求めた動きベクトルで切りだされるサ
ーチ側のマクロブロックとの各画素同士の差の絶対値和
で、以下の式(1) で求めることができる。Here, the minimum distortion or error (difference value) used when detecting the motion.
An absolute value sum (AD: Absolute Difference) is read and stored as one of the parameters used for encoding. For the sum of absolute values of the above errors (AD), the image on the reference side is divided into blocks of 8 × 8 pixels, and luminance data of 8 × 8 × 4 pixels and color difference data of 8 × 8 are obtained.
For a macroblock (MB) of × 2 pixels, the sum of the absolute values of the differences between each pixel and the macroblock on the search side, which is cut out with the motion vector obtained when the motion detection is performed, is given by the following formula ( It can be found in 1).

【００６３】[0063]

【数１】 [Equation 1]

【００６４】これをさらにマクロブロック内のブロック
について集計したものを用いてマクロブロックの誤差の
絶対値和（ＡＤ）とする。このパラメータはシーンチェ
ンジの判定やフレーム間予測符号化で圧縮する場合の画
像の相関も考慮した情報量の推定に用いる。このパラメ
ータはまた、マクロブロックタイプを決定するために使
われる。This is further used as the sum of absolute values (AD) of the error of the macro block by using the sum of the blocks in the macro block. This parameter is used for the determination of the scene change and the estimation of the information amount in consideration of the correlation of the image when the image is compressed by the interframe predictive coding. This parameter is also used to determine the macroblock type.

【００６５】画像の情報量を推定するパラメータ（ＳＡ
Ｄ）は、式(2) のように、一つの画像内の上記誤差の絶
対値和（ＡＤ）を合計したものである。 ＳＡＤ＝ΣＡＤ (2) もちろん、上記誤差の絶対値和（ＡＤ）以外に最小歪み
（Minimum Distortion）を用いてもよい。A parameter (SA for estimating the information amount of an image
D) is the sum of the absolute value sums (AD) of the errors in one image, as in equation (2). SAD = ΣAD (2) Of course, a minimum distortion (Minimum Distortion) may be used in addition to the above absolute value sum (AD) of the errors.

【００６６】次に、ステップＳ３では、上記シーンチェ
ンジ検出回路３１でシーンチェンジの検出を行う。この
シーンチェンジ検出回路３１でのシーンチェンジ検出
は、動き検出器４１で得られた上記パラメータＡＤを使
って、シーンチェンジを検出する。ここで、シーンチェ
ンジ検出回路３１におけるシーンチェンジ検出のロジッ
クには２つのバリエーションがある。Next, in step S3, the scene change detection circuit 31 detects a scene change. In the scene change detection by the scene change detection circuit 31, the scene change is detected by using the parameter AD obtained by the motion detector 41. There are two variations in the scene change detection logic in the scene change detection circuit 31.

【００６７】すなわち、第１の実施例に対応する第１の
シーンチェンジ検出方法は、上記誤差の絶対値和（Ａ
Ｄ）を１画面分合計した合計値（ＳＡＤ）を使うもので
あり、第２の実施例に対応する第２のシーンチェンジ検
出方法は、上記誤差の絶対値和（ＡＤ）を使い各マクロ
ブロックで判定を行い、シーンチェンジと判定された割
合で検出する。これらどちらも、考え方は、過去の誤差
の絶対値和（ＡＤ）の値から検出しようとしている現在
の誤差の絶対値和（ＡＤ）の値が、ある比率以上に大き
くなった場合をシーンチェンジとするものである。That is, the first scene change detection method corresponding to the first embodiment is the sum of absolute values of the above errors (A
The total value (SAD) obtained by summing D) for one screen is used, and the second scene change detection method corresponding to the second embodiment uses the sum of absolute values (AD) of the above errors for each macroblock. The determination is made with, and it is detected at the rate determined as a scene change. In both of these, the idea is that when the value of the current absolute value sum (AD) to be detected from the past error absolute value (AD) value exceeds a certain ratio, it is called a scene change. To do.

【００６８】すなわち、この第１のシーンチェンジ検出
方法では、例えば、あるフレームから前方向の動きベク
トルの検出を行ったときにマクロブロック毎の誤差の絶
対値和を１画面分（１フレーム分）合計した値（合計値
(SAD) ）と、過去のフレームで同様に前方向の動きベク
トル検出を行ったときにマクロブロック毎の誤差の絶対
値和を１画面分（１フレーム分）合計した値（合計値(p
rev ＿SAD)との比（SAD ／prev＿SAD)が、ある閾値(Thr
esh)を越えた場合は当該フレームがシーンチェンジであ
ると判定する。That is, in the first scene change detection method, for example, when the forward motion vector is detected from a certain frame, the sum of absolute values of the errors for each macroblock is calculated for one screen (for one frame). Summed value (total value
(SAD)) and the sum of the absolute values of the error for each macroblock when the forward motion vector is similarly detected in the previous frame for one screen (for one frame) (total value (p
rev_SAD) ratio (SAD / prev_SAD) is a certain threshold (Thr
esh) is exceeded, it is determined that the frame is a scene change.

【００６９】ただし、この第１のシーンチェンジ検出方
法の場合、誤差の絶対値の合計値(SAD) が、ある閾値(m
in＿SAD)と比べて異常に小さい場合には、直前の誤差の
絶対値の上記合計値(prev ＿SAD)を更新しないようにす
る。また、シーンチェンジであると判定された場合は、
直前の上記合計値(prev ＿SAD)を更新しないようにす
る。However, in the case of this first scene change detection method, the total value (SAD) of the absolute values of the errors is a threshold value (m
If it is abnormally smaller than in_SAD), the above total value (prev_SAD) of absolute values of the immediately preceding error is not updated. Also, if it is determined that the scene change,
Do not update the previous sum (prev_SAD).

【００７０】上記第１のシーンチェンジ検出方法の詳細
なフローチャートは、図３に示すようになる。この図３
において、ステップＳ２０１では初期値の設定を行う。
この初期値設定はシーンチェンジを始まる前に行う。こ
の初期値として、変数(small＿SAD)は、通常の連続した
シーンでの少なめの前記合計値(SAD) とし、適切な値に
設定する。また、変数(thresh)は、例えば３を設定して
おく。A detailed flowchart of the first scene change detection method is shown in FIG. This figure 3
In step S201, initial values are set.
This initial value setting is performed before starting a scene change. As this initial value, the variable (small_SAD) is set to a small sum value (SAD) in a normal continuous scene and set to an appropriate value. The variable (thresh) is set to 3, for example.

【００７１】次のステップＳ２０２では各フレーム毎に
地点Ａを設定し、ステップＳ２０３では動き検出を行
い、前記誤差の絶対値和（ＡＤ）を１画面分集計して合
計値(SAD) を求める。次に、ステップＳ２０４では、前
述したように、あるフレームにおける合計値（SAD)と、
過去のフレームにおける合計値(prev ＿SAD)との比（SA
D ／prev＿SAD)が、ある閾値(Thresh)を越えたかいなか
の判定を行う。当該ステップＳ２０４において、越えた
と判定した場合にはステップＳ２０６でシーンチェンジ
を検出したと判定し、その後ステップＳ２０９に進んで
地点Ｂへ抜ける。一方、ステップＳ２０４において、越
えないと判定した場合にはステップＳ２０５でシーンチ
ェンジでないと判定する。In the next step S202, the point A is set for each frame, and in step S203, the motion is detected, and the sum of absolute values of the error (AD) is totaled for one screen to obtain the total value (SAD). Next, in step S204, as described above, the total value (SAD) in a certain frame,
Ratio of total value (prev_SAD) in the past frame (SA
It is determined whether D / prev_SAD has exceeded a certain threshold (Thresh). If it is determined in step S204 that the scene has been exceeded, it is determined in step S206 that a scene change has been detected, and then the process proceeds to step S209 to exit to point B. On the other hand, if it is determined in step S204 that it does not exceed, it is determined in step S205 that it is not a scene change.

【００７２】ステップＳ２０５の次はステップＳ２０７
に進む。このステップＳ２０７では、誤差の絶対値の合
計値(SAD) が、ある閾値(min＿SAD)と比べて小さいか否
かの判断を行う。このステップＳ２０７において、小さ
くないと判定した場合にはステップＳ２０９に進んで地
点Ｂへ抜ける。一方、ステップＳ２０７において、小さ
いと判定した場合には、ステップＳ２０８に進む。Following step S205 is step S207.
Proceed to. In this step S207, it is judged whether or not the total value (SAD) of the absolute values of the errors is smaller than a certain threshold value (min_SAD). In this step S207, when it is determined that it is not smaller, the process proceeds to step S209 and exits to the point B. On the other hand, if it is determined in step S207 that it is small, the process proceeds to step S208.

【００７３】ステップＳ２０８では、過去のフレームの
合計値(prev ＿SAD)を当該フレームの合計値(SAD) とす
ることで、合計値を更新しないようにし、その後、ステ
ップＳ２０９に進んで地点Ｂへ抜ける。次に、上記誤差
の絶対値和（ＡＤ）を使用して、図４に示すような縦１
５マクロブロック×横２２マクロブロックからなる画像
の各マクロブロック毎の比較判定によって、シーンチェ
ンジを検出する第２のシーンチェンジ検出方法について
説明する。In step S208, the total value (prev_SAD) of the past frame is set as the total value (SAD) of the frame so that the total value is not updated. Then, the process proceeds to step S209 to exit to point B. . Next, using the absolute value sum (AD) of the above errors, the vertical 1
A second scene change detection method for detecting a scene change by comparing and determining each macroblock of an image composed of 5 macroblocks × 22 horizontal macroblocks will be described.

【００７４】この第２のシーンチェンジ検出方法では、
例えば、あるフレームから前方向の動きベクトルの検出
を行ったときに、マクロブロック毎の誤差の絶対値和(A
D[i]) と、過去（直前）のフレームで同様に前方向の動
きブロック検出を行ったときにマクロブロック毎の誤差
の絶対値和(prev ＿AD[i])との比（AD[i] ／prev＿AD
[i])が、ある閾値(Thresh)を越えた場合は、そのマクロ
ブロックはシーンチェンジとなっていると判定する。In this second scene change detection method,
For example, when the forward motion vector is detected from a certain frame, the sum of absolute values of the errors (A
D [i]) and the sum of absolute values of errors (prev_AD [i]) for each macroblock when forward motion block detection is similarly performed in the past (previous) frame (AD [i] ] / Prev_AD
If [i]) exceeds a certain threshold (Thresh), it is determined that the macroblock has a scene change.

【００７５】ただし、この第２のシーンチェンジ検出方
法の場合、マクロブロック毎の誤差の絶対値和(AD[i])
が、ある閾値(min＿AD) と比べて異常に小さい場合は、
マクロブロック毎の直前の誤差の絶対値和(prev ＿AD
[i])を更新しない。また、シーンチェンジであると判定
されたマクロブロックでは、マクロブロック毎の直前の
誤差の絶対値和(prev ＿AD[i])を更新しない。However, in the case of this second scene change detection method, the sum of absolute values of errors for each macroblock (AD [i])
Is abnormally small compared to a certain threshold (min_AD),
Absolute sum of the previous error for each macroblock (prev_AD
[i]) is not updated. In addition, in a macroblock determined to be a scene change, the absolute value sum (prev_AD [i]) of the immediately preceding error for each macroblock is not updated.

【００７６】さらに、この第２のシーンチェンジ検出方
法では、上述のようにしてシーンチェンジと判定された
マクロブロックの数(MB ＿SC＿num)と、１画面（１フレ
ーム）のマクロブロックの数の合計との比(MB ＿SC＿nu
m ／１画面のマクロブロック数）が、ある閾値(thresh)
を越えた場合は、そのフレームはシーンチェンジである
と判定する。Further, in this second scene change detection method, the number of macro blocks (MB_SC_num) determined to be a scene change as described above and the total number of macro blocks in one screen (one frame) are added. Ratio of (MB_SC_nu
m / number of macroblocks per screen) is a certain threshold (thresh)
If it exceeds, it is determined that the frame is a scene change.

【００７７】このように、第２のシーンチェンジ検出方
法では、第１のシーンチェンジ検出方法のような単純な
検出と異なり、マクロブロック毎に判定を行なうため、
それぞれのマクロブロック領域でのシーンチェンジ判定
ができ、より精度の高いシーンチェンジ検出が可能とな
る。また、シーンチェンジと判定されたマクロブロック
では、マクロブロックタイプの判定でフレーム内符号化
のマクロブロック（イントラマクロブロック）とする等
の副次的な利用も有効である。As described above, in the second scene change detection method, unlike the simple detection as in the first scene change detection method, the determination is made for each macroblock.
It is possible to determine the scene change in each macroblock area, which enables more accurate scene change detection. In addition, for macroblocks that have been determined to be scene changes, it is also effective to make a secondary use such as by determining the macroblock type as an intraframe coding macroblock (intra macroblock).

【００７８】したがって、第２のシーンチェンジ検出方
法では、第１のシーンチェンジ検出方法に比べて、例え
ばアニメーションのような画像の場合のシーンチェンジ
の誤検出低減に役立つ。なお、当該アニメーション画像
のシーンチェンジ検出については後述する。第２のシー
ンチェンジ検出方法の詳細なフローチャートは、図５に
示すようになる。Therefore, the second scene change detection method is more useful than the first scene change detection method in reducing erroneous detection of scene changes in the case of images such as animations. The scene change detection of the animation image will be described later. A detailed flowchart of the second scene change detection method is shown in FIG.

【００７９】この図５において、ステップＳ２１１では
初期値の設定を行う。この初期値設定はシーンチェンジ
を始まる前に行う。この初期値として、変数(small＿A
D) は、通常の連続したシーンでの少なめの前記誤差の
絶対値和(AD)とし、また、変数(thresh)は、例えば０．
３を設定しておく。次のステップＳ２１２では各フレー
ム毎に地点Ａを設定し、ステップＳ２１３では動き検出
を行う。In FIG. 5, an initial value is set in step S211. This initial value setting is performed before starting a scene change. The variable (small_A
D) is the sum of small absolute values (AD) of the error in a normal continuous scene, and the variable (thresh) is, for example, 0.
3 is set in advance. In the next step S212, the point A is set for each frame, and in step S213, motion detection is performed.

【００８０】次に、ステップＳ２１４では、マクロブロ
ックの数を示す変数(MB ＿SC＿num)とフレーム内のマク
ロブロックの番号(i) をそれぞれ初期化する。その後、
マクロブロック毎の判定の処理に移る。このマクロブロ
ック毎の判定の処理では、先ず、ステップＳ２１５にお
いて、前述したように、あるフレームのマクロブロック
毎の誤差の絶対値和(AD[i]) と、過去（直前）のフレー
ムにおけるマクロブロック毎の誤差の絶対値和(prev ＿
AD[i])との比（AD[i] ／prev＿AD[i])が、ある閾値(Thr
esh)を越えたか否かの判定を行う。当該ステップＳ２１
５において、越えたと判定した場合にはステップＳ２１
７でシーンチェンジを検出したと判定し、その後ステッ
プＳ２１９に進む。一方、ステップＳ２１５において、
越えないと判定した場合にはステップＳ２１６でシーン
チェンジでないと判定した後、ステップＳ２１８に進
む。Next, in step S214, a variable (MB_SC_num) indicating the number of macroblocks and a macroblock number (i) in the frame are initialized. afterwards,
The process moves to the determination for each macroblock. In the determination processing for each macroblock, first, in step S215, as described above, the sum of absolute values of errors (AD [i]) for each macroblock in a certain frame and the macroblock in the past (previous) frame Absolute sum of errors for each (prev _
The ratio (AD [i] / prev_AD [i]) with AD [i]) is a certain threshold (Thr
esh) is exceeded. Step S21
If it is determined in step 5 that the value has been exceeded, step S21
It is determined in step 7 that a scene change has been detected, and then the process proceeds to step S219. On the other hand, in step S215,
If it is determined that it does not exceed the limit, it is determined in step S216 that it is not a scene change, and then the process proceeds to step S218.

【００８１】上記ステップＳ２１９ではマクロブロック
の数を示す変数(MB ＿SC＿num)を１ずつ増加させ、ステ
ップＳ２１８では過去（直前）のフレームにおけるマク
ロブロックの誤差の絶対値和(prev ＿AD[i])当該フレー
ムのマクロブロックの誤差の絶対値和(AD[i]) とするこ
とで、合計値を更新しないようにする。これらステップ
Ｓ２１８とＳ２１９の後はステップＳ２２０に進み、こ
こでマクロブロックの番号(i) を１ずつ増加させる。In step S219, the variable (MB_SC_num) indicating the number of macroblocks is incremented by 1, and in step S218, the absolute value sum (prev_AD [i]) of the macroblock errors in the past (previous) frame is concerned. The sum is not updated by setting the sum of absolute values of macro block errors (AD [i]). After these steps S218 and S219, the process proceeds to step S220, where the macroblock number (i) is incremented by one.

【００８２】次のステップＳ２２１では、マクロブロッ
クの番号(i) が１画面（１フレーム）のマクロブロック
数以上となったか否かの判定を行い、なっていないと判
定した場合にはステップＳ２１５に戻り、なったと判定
した場合にはステップＳ２２２に進む。ステップＳ２２
２では、マクロブロックの数(MB ＿SC＿num)と、１画面
（１フレーム）のマクロブロックの数の合計との比(MB
＿SC＿num ／１画面のマクロブロック数）が、ある閾値
(thresh)を越えたか否かの判定を行う。このステップＳ
２２２において、越えたと判定した場合にはステップＳ
２２３において当該フレームはシーンチェンジであると
判定し、越えていないと判定した場合にはステップＳ２
２４で当該フレームはシーンチェンジでないと判定す
る。In the next step S221, it is determined whether or not the macroblock number (i) has become equal to or larger than the number of macroblocks in one screen (one frame). If it is determined that the number is not, the process proceeds to step S215. If it is determined that the process returns, the process proceeds to step S222. Step S22
In 2, the ratio of the number of macroblocks (MB_SC_num) to the total number of macroblocks in one screen (one frame) (MB
_SC_num / number of macroblocks per screen) is a certain threshold
It is judged whether it exceeds (thresh). This step S
If it is determined in 222 that it has been exceeded, step S
If it is determined in 223 that the frame is a scene change and it is determined that the frame has not been exceeded, step S2
At 24, it is determined that the frame is not a scene change.

【００８３】図２のフローチャートに戻って、ステップ
Ｓ３の上述したシーンチェンジ検出の後のステップＳ４
では、ＧＯＰ長の決定を行い、ステップＳ５では圧縮方
法の選択（ピクチャタイプの決定）とを行う。すでに述
べたように、符号化に際してランダムアクセス性を考慮
して適当なフレーム数毎にＧＯＰを区切る。このとき少
なくともＧＯＰの符号順で最初のピクチャはＩピクチャ
でなければならないからピクチャの数をカウントし定期
的にピクチャタイプをＩピクチャにする。Returning to the flowchart of FIG. 2, step S4 after the scene change detection described above in step S3.
Then, the GOP length is determined, and in step S5, the compression method is selected (the picture type is determined). As described above, GOPs are divided every suitable number of frames in consideration of random accessibility during encoding. At this time, at least the first picture in the GOP code order must be an I picture, so the number of pictures is counted and the picture type is periodically set to I picture.

【００８４】一方、上記シーンチェンジによって前後の
ピクチャで相関が低くなった場合、これも先に述べたよ
うにＩピクチャで圧縮符号化すると効率が良い。しかし
ながら、Ｉピクチャは圧縮率が低いため、低ビットレー
トにおいては頻繁に現れると画質の低下を招く。したが
ってシーンチェンジが検出された場合、Ｉピクチャ同士
の間隔を適度に保つよう適応的にＧＯＰの長さを決め
る。On the other hand, when the correlation between the pictures before and after the scene change becomes low due to the scene change, it is efficient to perform compression coding with the I picture as described above. However, since the I picture has a low compression rate, if it frequently appears at a low bit rate, the image quality deteriorates. Therefore, when a scene change is detected, the GOP length is adaptively determined so as to maintain an appropriate interval between I pictures.

【００８５】次のステップＳ６では、マクロブロックタ
イプの判定を行う。すなわち、このステップＳ６では、
マクロブロック毎の圧縮方法と、マクロブロックタイプ
とを決める。ここで、マクロブロックタイプの決定のた
めには、先ず画像情報評価回路５０において、先ず、上
記動き検出で得られたパラメータ以外に誤差の平均絶対
値和（ＭＡＤ：Mean Absolute Difference）、アクティ
ビティ（Activity）を各画像毎に評価する。In the next step S6, the macroblock type is determined. That is, in this step S6,
The compression method for each macroblock and the macroblock type are determined. Here, in order to determine the macroblock type, first, in the image information evaluation circuit 50, in addition to the parameters obtained by the motion detection, the sum of mean absolute values of errors (MAD: Mean Absolute Difference) and activity (Activity). ) Is evaluated for each image.

【００８６】上記誤差の平均絶対値和（ＭＡＤ）はＩピ
クチャの情報量を推定するためのパラメータで、下記の
式(3) によって８×８画素のブロック毎に求める。ま
た、必要に応じてマクロブロック或いは画面で集計を行
う。このパラメータはまた、マクロブロックタイプを決
定するために使われる。The average sum of absolute values of errors (MAD) is a parameter for estimating the information amount of an I picture, and is calculated for each block of 8 × 8 pixels by the following equation (3). In addition, aggregation is performed on a macro block or screen as needed. This parameter is also used to determine the macroblock type.

【００８７】[0087]

【数２】 [Equation 2]

【００８８】これをさらに、式(4) のように、マクロブ
ロック内のブロックについて合計したものを用いてマク
ロブロックの判定に用いる。 ＭＡＤ＝Σ blockＭＡＤ (4) またさらに、式(5) のように、マクロブロックの値を一
つの画像内で合計してその値を、その画像の（Ｉピクチ
ャとしての）情報量を表すパラメータＳＭＡＤとする。Further, this is used for the determination of the macroblock by using the sum of the blocks in the macroblock as in the equation (4). MAD = Σ blockMAD (4) Further, as shown in equation (5), the macroblock values are summed within one image, and the value is a parameter SMAD representing the amount of information (as an I picture) of that image. And

【００８９】ＳＭＡＤ＝ΣＭＡＤ (5) また、上記アクティビティは、一つの画面の中でそのマ
クロブロックの画像の状態に応じて、よりきめ細かに量
子化ステップを制御することにより画質を維持しなが
ら、より圧縮効率を高めるためにその画像の状態を定量
化するパラメータである。SMAD = ΣMAD (5) Further, the above-mentioned activity is more precise while controlling the quantization step more finely according to the state of the image of the macroblock in one screen, while maintaining the image quality. It is a parameter that quantifies the state of the image in order to improve the compression efficiency.

【００９０】例えば一つのブロック内で画像が画素のレ
ベル変化の少ない平坦な部分（フラットな部分）では量
子化による歪みが目立ち易く、量子化ステップを小さく
してやるべきで、逆にレベル変化が多い複雑なパターン
のブロックでは量子化歪みは目立ち難く、情報量も多い
ので量子化ステップを大きくするべきである。そこで、
例えばブロックの平坦度（フラットネス）を表すパラメ
ータをこのアクティビティとして用いるようにしてい
る。For example, distortion due to quantization is apt to be noticeable in a flat portion (flat portion) where an image has a small amount of pixel level change in one block, and the quantization step should be made small. Quantization distortion is not noticeable in blocks with different patterns and the amount of information is large, so the quantization step should be increased. Therefore,
For example, a parameter representing the flatness of the block is used as this activity.

【００９１】上述のようにして求めた、上記誤差の平均
絶対値和（ＭＡＤ）と既に求めている誤差の絶対値和
（ＡＤ）は、それぞれフレーム内符号化／フレーム間予
測符号化で圧縮したときの圧縮後のデータ量に関係する
ので、この２つのパラメータを比較すればフレーム内符
号化／フレーム間予測符号化のどちらのマクロブロック
タイプがより少ないデータ量になるか判定できる。The average absolute value sum (MAD) of the above-mentioned errors and the absolute value sum (AD) of the errors already obtained, which have been obtained as described above, are respectively compressed by intra-frame coding / inter-frame predictive coding. Since this is related to the amount of data after compression, it is possible to determine which macroblock type of intra-frame coding / inter-frame predictive coding has a smaller amount of data by comparing these two parameters.

【００９２】次のステップＳ７では、レートコントロー
ルのためのビット配分を行う。各ピクチャ毎の圧縮符号
化された後のデータサイズは、その符号化方式や元々の
画像データが持つ情報量、前後の相関などによって大き
く変動する。平均的な画質を保つようにするならばこと
さらである。各ピクチャ毎の圧縮符号化された後のデー
タサイズのむらは出力バッファ１８によってある程度吸
収されるが、平均的には一定のビットレートにしなけれ
ばならない。したがって、ある区間を定めればその間の
ピクチャのトータルの圧縮後のデータ量が決まる。そこ
で、既に決定しているピクチャタイプと、予め調べてお
いた画像の情報量パラメータとを用いて各ピクチャ毎に
圧縮後のデータ量、すなわち各ピクチャが使って良いビ
ットの量を決める。In the next step S7, bit allocation for rate control is performed. The data size of each picture after being compression-encoded greatly varies depending on the encoding method, the amount of information of the original image data, the correlation between before and after, and the like. This is especially true if you want to maintain average image quality. The unevenness of the data size of each picture after being compression-encoded is absorbed to some extent by the output buffer 18, but the bit rate must be constant on average. Therefore, if a certain section is defined, the total amount of data after compression of the pictures during that section is determined. Therefore, the amount of data after compression, that is, the amount of bits that each picture can use is determined for each picture by using the picture type that has already been determined and the information amount parameter of the image that has been examined in advance.

【００９３】情報量の少ない画像やＢピクチャには少な
く、情報量の多い画像やＩピクチャには多くする。これ
をビット配分と呼ぶ。これによって画質のばらつきを抑
え、なおかつ一定レートに保つことが容易になる。例え
ば本実施例ではＧＯＰをその区間として、次の式(6) ，
式(7) のようにビット配分を行う。 Total Bit Count ＝（Bit Rate [bit/s]× Number Of Picture In GOP [picture ])／（Picture Rate [picture/s]） [bit] (6) Available Bits＝（Total Bit Count ×ターゲットの画像情報量パラメータ）／ 画像情報量パラメータのＧＯＰ合計値） [bit] (7) ここでいう情報量パラメータは、先に述べたパラメータ
ＳＭＡＤ，ＳＡＤを用い、これに圧縮するピクチャタイ
プ別の乗数をかけたものである。また、上記乗数は各ピ
クチャタイプ間のパラメータと画質との関係を調整する
ものである。The number is small for an image or B picture having a small amount of information, and large for an image or an I picture having a large amount of information. This is called bit allocation. This facilitates suppressing variations in image quality and maintaining a constant rate. For example, in this embodiment, GOP is used as the interval and the following equation (6)
Bit allocation is performed as in equation (7). Total Bit Count = (Bit Rate [bit / s] x Number Of Picture In GOP [picture]) / (Picture Rate [picture / s]) [bit] (6) Available Bits = (Total Bit Count x target image information (Amount parameter) / GOP total value of image information amount parameter) [bit] (7) As the information amount parameter here, the parameters SMAD and SAD described above are used and multiplied by a multiplier for each picture type to be compressed. It is a thing. Further, the multiplier adjusts the relationship between the parameter and the image quality between each picture type.

【００９４】なお、上記式(7) の上記画像情報量パラメ
ータのＧＯＰ合計値は、式(8) に示すようにして求め
る。 画像情報量パラメータのＧＯＰ合計値＝Ki×ΣSMAD＋Kp×ΣSADp＋Kb×ΣSADb SADp: ＰピクチャのＳＡＤ SADb: ＢピクチャのＳＡＤ (8) 次のステップＳ８では、量子化ステップ制御器３３にお
いて基本量子化ステップの決定及び画面内の量子化ステ
ップの制御を行う。The GOP total value of the image information amount parameter of the equation (7) is obtained as shown in the equation (8). GOP total value of image information amount parameter = Ki × ΣSMAD + Kp × ΣSADp + Kb × ΣSADb SADp: SAD of P picture SADb: SAD of B picture (8) In the next step S8, the quantization step controller 33 determines the basic quantization step. And control the quantization step in the screen.

【００９５】上述のようにしてピクチャタイプが決ま
り、マクロブロックタイプが決まれば、上記画像情報評
価回路５０によって求めた情報量パラメータと量子化ス
テップとから量子化後のデータサイズをある程度予測で
きる。したがって、情報量パラメータと量子化後のデー
タ量が決まっていれば、量子化ステップを逆算すること
ができる。このようにして求めた量子化ステップを、そ
のピクチャの基本量子化ステップとする。When the picture type is determined and the macroblock type is determined as described above, the data size after quantization can be predicted to some extent from the information amount parameter obtained by the image information evaluation circuit 50 and the quantization step. Therefore, if the information amount parameter and the amount of data after quantization are determined, the quantization step can be calculated backward. The quantization step thus obtained is used as the basic quantization step of the picture.

【００９６】量子化ステップ制御器３３では、上述のよ
うに画面内の量子化ステップを各ブロック毎になるべく
画質を高く、かつ、圧縮効率も高くするように制御す
る。この制御は、上記アクティビティやマクロブロック
タイプなどの情報を基に基本量子化ステップを制御する
ことで実現する。次のステップＳ１９では、符号化を行
う。As described above, the quantization step controller 33 controls the quantization step within the screen so that the image quality is as high as possible for each block and the compression efficiency is also high. This control is realized by controlling the basic quantization step based on the information such as the activity and the macroblock type. In the next step S19, encoding is performed.

【００９７】上述のようにして圧縮符号化の全てのパラ
メータが決まっているので、その後はＭＰＥＧの規則に
したがって圧縮符号化する。最後に、ステップＳ１１で
は、予測パラメータの更新を行う。ここで、画像情報量
と基本量子化ステップ、圧縮後のデータ量の関係は、圧
縮する画像に依存する。したがって、ここでは、その関
係を表す式に用いるパラメータ、予測パラメータを、圧
縮後の実際のデータ量をフィードバックすることにより
学習させ、予測の精度を向上させている。Since all the parameters for compression encoding have been determined as described above, compression encoding is then performed according to the MPEG rules. Finally, in step S11, the prediction parameter is updated. Here, the relationship between the image information amount, the basic quantization step, and the amount of data after compression depends on the image to be compressed. Therefore, here, the parameters used in the equation expressing the relationship and the prediction parameters are learned by feeding back the actual data amount after compression, and the prediction accuracy is improved.

【００９８】次に、前述したアニメーション画像のシー
ンチェンジ検出について、以下に説明する。アニメーシ
ョン画像についての前記画像の情報量を推定するパラメ
ータである誤差の絶対値和（ＡＤ）を１画面分合計した
合計値（ＳＡＤ）は、図６、図７に示すように、動きの
ある部分でも、実際には０に近い値と、より大きな値の
繰り返しになっている。これはアニメーションの多くの
場合、画像（絵）の変化は秒当たり３０フレームに対し
て、毎フレームではなく、例えば７フレーム／秒等にな
っているためである（さらに少ない場合もある）。な
お、比較のため、図８には、アニメーション画像ではな
く実写画像の場合の合計値（ＳＡＤ）を示している。Next, the scene change detection of the above-mentioned animation image will be described below. As shown in FIGS. 6 and 7, the total value (SAD) obtained by summing the absolute value sums (AD) of the errors, which is a parameter for estimating the information amount of the animation image, is a moving portion, as shown in FIGS. However, it is actually a repetition of a value close to 0 and a larger value. This is because in many cases of animation, the change of the image (picture) is not every frame but 30 frames per second, for example, 7 frames / second (there may be less). For comparison, FIG. 8 shows the total value (SAD) in the case of a real image instead of an animation image.

【００９９】このように、コマ数の少ないアニメーショ
ンでは、少ないコマ数で動きをつけるために、動きのあ
る部分は上記合計値（ＳＡＤ）が比較的大きな値をとる
ことがある。図７に示すように、クロスフェード部を除
いた上記合計値（ＳＡＤ）の最大値は２８６３になって
いる。一方、図６のシーンチェンジ部での合計値（ＳＡ
Ｄ）は、８３６６になっている。ここでもしも、この２
つの部分が連続していた場合、第１のシーンチェンジ検
出方法を行うと検出できないことになる。As described above, in an animation with a small number of frames, in order to move with a small number of frames, the total value (SAD) may take a relatively large value in a moving part. As shown in FIG. 7, the maximum value of the total value (SAD) excluding the crossfade part is 2863. On the other hand, the total value (SA
D) is 8366. Here and there, this 2
If the two parts are continuous, they cannot be detected by the first scene change detection method.

【０１００】そこで、第２のシーンチェンジ検出方法に
おいて、アニメーションのような画像のシーンチェンジ
を行う場合には、以下のようにする。先ず、マクロブロ
ック毎に合計値（ＳＡＤ）の変化率を求める。次に、合
計値（ＳＡＤ）は、検索画像と参照画像の距離が遠くな
ると大きくなる傾向にあるので、距離の影響を小さくす
るため、式(9) に示すように、補正係数Ｋ_MOD で割る。Therefore, in the second scene change detection method, when performing a scene change of an image such as an animation, the following is performed. First, the rate of change of the total value (SAD) is calculated for each macroblock. Next, since the total value (SAD) tends to increase as the distance between the search image and the reference image increases, the total value (SAD) is divided by the correction coefficient K _{MOD as} shown in Expression (9) to reduce the influence of the distance. .

【０１０１】 補正されたＳＡＤ＝ＳＡＤ／Ｋ_MOD (9) ここで、式(10)に示すように、Ｋ_MOD は距離が遠くなる
に従って大きくなる。Ｋ_MOD ＝１＋０．５×（（検索画
像と参照画像の距離）−１） (10)次に、式(11)に
示すように、マクロブロック毎の合計値（ＳＡＤ）の変
化率を求める。Corrected SAD = SAD / K _MOD (9) Here, as shown in Expression (10), K _MOD increases as the distance increases. K _MOD = 1 + 0.5 × ((distance between search image and reference image) −1) (10) Next, as shown in Expression (11), the rate of change of the total value (SAD) for each macroblock is obtained.

【０１０２】 ＳＡＤ変化率＝（ＭＢのＳＡＤ）／（ＭＢの前回のＳＡＤ） (11) また、このＳＡＤ変化率が決められた閾値Ｔ_SAD を越え
るマクロブロック（ＭＢ）の数をＣ_OVERとする。例外処
理として、あるマクロブロックについて式(11)の計算時
に、もしも分母（マクロブロックの前回のＳＡＤ）が０
で、分子（マクロブロックのＳＡＤ）が０でない場合、
閾値Ｔ_SAD を越えるものとして処理する。SAD change rate = (MB SAD) / (MB previous SAD) (11) Further, the number of macroblocks (MB) whose SAD change rate exceeds a predetermined threshold T _SAD is defined as C _OVER . . As an exception, if the denominator (the previous SAD of a macroblock) is 0 when calculating equation (11) for a macroblock.
If the numerator (SAD of macroblock) is not 0,
It is processed as if it exceeds the threshold T _SAD .

【０１０３】最後に、もしも式(12)に示すような場合に
おいて、Ｔ_MB＜Ｃ_OVERなら、シーンチェンジという判定
をする。 Ｔ_MB＝（画面全体のマクロブロック数）×（判定比率） (12) これは、例えば、判定比率を０．５にすれば、画面全体
のうち半分以上の面積が大きく変わったらシーンチェン
ジとすることを近似していることになる。Finally, if T _MB <C _OVER in the case of the formula (12), it is judged that the scene is changed. T _MB = (number of macroblocks on the entire screen) × (judgment ratio) (12) For example, if the judgment ratio is 0.5, a scene change occurs when more than half the area of the entire screen changes significantly. That is an approximation.

【０１０４】上述のようなことから、このシーンチェン
ジ判定方法では、大きく変化のあった部分の面積が画面
全体に対してどれくらいの比率を占めているかをシーン
チェンジの判定規準にしている。これにより、画面の小
さな部分だけに大きな変化が起きた場合でも、シーンチ
ェンジと判定してしまうことを防ぐことができる。ま
た、画面の面積でどのくらい大きく変わったらシーンチ
ェンジとみなすかを閾値を変えることで直接的に制御で
きるようになる。From the above, in this scene change determination method, the scene change determination criterion is based on how much the area of the part that has changed greatly occupies the entire screen. This makes it possible to prevent a scene change from being determined even when a large change occurs only in a small part of the screen. In addition, it becomes possible to directly control how much the screen area changes before it is regarded as a scene change by changing the threshold value.

【０１０５】上述したように、本発明実施例の画像符号
化装置においては、圧縮符号化の構成の前段に数フレー
ム分のフレームメモリ４０と、入力画像データの情報量
を評価する画像情報評価回路５０を有し、さらにシーン
チェンジ検出回路３１によって画像間の相関等を調べて
シーンチェンジを検出するようにしている。本実施例装
置では、上記シーンチェンジが検出されたフレームをフ
レーム内符号化で圧縮できるように、充分前のフレーム
から量子化ステップ制御器３３で量子化器１５の量子化
ステップを制御し、出力バッファ１８の残量を減らして
おけるようにしている。このため、シーンチェンジ検出
回路３１と圧縮符号化処理手段との間に充分な容量のフ
レームメモリ４０を備えている。As described above, in the image coding apparatus of the embodiment of the present invention, the frame memory 40 for several frames and the image information evaluation circuit for evaluating the information amount of the input image data are provided before the compression coding configuration. In addition, the scene change detection circuit 31 detects the scene change by checking the correlation between images. In the apparatus of the present embodiment, the quantization step controller 33 controls the quantization step of the quantizer 15 from a sufficiently preceding frame so that the frame in which the scene change is detected can be compressed by intra-frame encoding, and the output is performed. The remaining amount of the buffer 18 can be reduced. Therefore, the frame memory 40 having a sufficient capacity is provided between the scene change detection circuit 31 and the compression encoding processing means.

【０１０６】このように、本発明実施例装置において
は、画像情報評価回路５０によって符号化に先だって入
力画像データが本来持っている情報量の大小を数フレー
ム先まで事前に見積もり、それに合わせてビット量をそ
れぞれの画像に配分し、そのとき、配分したビット量の
総和から導かれるビットレートが一定になるようにす
る。また、前の画像と相関が著しく低くなる場合、すな
わちシーンチェンジを検出したときには、圧縮方法をフ
レーム内符号化に変更している。さらに、本実施例装置
では、圧縮方法に応じたデータ量の配分をとることが可
能なため、シーンチェンジが検出されるような前の画像
と相関が著しく低くなる画像でも画質の劣化を抑えて圧
縮することができる。As described above, in the apparatus of the embodiment of the present invention, the image information evaluation circuit 50 estimates beforehand the magnitude of the information amount originally possessed by the input image data up to several frames ahead of encoding, and the bit amount is adjusted accordingly. The amount is distributed to each image so that the bit rate derived from the sum of the distributed bit amounts is constant. Also, when the correlation with the previous image becomes significantly low, that is, when a scene change is detected, the compression method is changed to intraframe coding. Further, in the apparatus of the present embodiment, since the data amount can be distributed according to the compression method, it is possible to suppress the deterioration of the image quality even for an image having a significantly low correlation with the image before the scene change is detected. Can be compressed.

【０１０７】[0107]

【発明の効果】本発明においては、直前の誤差値（第１
の誤差値）と過去の誤差値（第２の誤差値）とを比較す
ることで、ブロック毎にシーンチェンジであるか否かを
検出することができ、効率の良い画像圧縮が可能とな
り、全体的に画質が向上する。また、シーンチェンジ検
出の為に新たに追加した回路は非常に簡単であり、コス
トがかからず、さらに回路は非常に簡単である割りには
シーンチェンジの検出精度が高く、効果が大きい。さら
に、もしも人間には認識できるがこのシーンチェンジ検
出方法で検出できないシーンチェンジがあったとして
も、それは変動率が小さい場合なので、その画像に特別
に多くのビットを配分する必要はなく、したがってバッ
ファ残量を空けておく必要もないため、未検出が画質劣
化の問題になり難い。In the present invention, the immediately preceding error value (first
Error value) and the past error value (second error value) are compared, it is possible to detect whether or not there is a scene change for each block, and efficient image compression becomes possible. Image quality is improved. Further, the circuit newly added for detecting the scene change is very simple and inexpensive, and the circuit change is very simple, but the detection accuracy of the scene change is high and the effect is great. Furthermore, if there are scene changes that humans can recognize but cannot be detected by this scene change detection method, it is not necessary to allocate extra bits to the image because the fluctuation rate is small, and therefore the buffer Since it is not necessary to leave the remaining amount, undetected is less likely to cause image quality deterioration.

【０１０８】ここで、第１の誤差値が所定の閾値以下の
ときには、過去の第２の誤差値を保存しておく（更新し
ない）ことで、誤差値の変動が少ない画像のシーンチェ
ンジの検出精度を上げることができ、したがって、効率
の良い画像圧縮が可能となる。また、第１の誤差値から
そのブロックがシーンチェンジであると検出したときに
も、過去の第２の誤差値を保存しておく（更新しない）
ことで、引き続き来るシーンチェンジを検出でき、効率
の良い画像圧縮が可能となる。さらに、これらのことを
同時に行えば、さらに効率の良い画像圧縮が可能とな
る。Here, when the first error value is less than or equal to the predetermined threshold value, the past second error value is stored (not updated) to detect the scene change of the image in which the error value does not vary much. The accuracy can be improved, and therefore efficient image compression can be performed. Also, when the block is detected as a scene change from the first error value, the past second error value is stored (not updated).
As a result, it is possible to detect a scene change that continues, and it is possible to perform efficient image compression. Furthermore, if these operations are performed at the same time, more efficient image compression becomes possible.

【０１０９】また、本発明においては、直前の差分の絶
対値和（第１の絶対値和）と過去の差分の絶対値和（第
２の絶対値和）とを比較してブロック毎にシーンチェン
ジを検出し、さらにシーンチェンジと判定されたブロッ
クの１画面中の割合からこの１画面がシーンチェンジで
あるか否かを検出しているため、シーンチェンジの検出
率が向上し、また、画面内での変更箇所及び比率が前も
ってわかるため、ビット配分やマクロブロックタイプの
判定にも利用でき、より効率の良い画像圧縮が可能とな
り、全体的に画質が向上する。Further, in the present invention, the sum of absolute values of the immediately preceding difference (first sum of absolute values) and the sum of absolute values of past differences (second sum of absolute values) are compared, and the scene is calculated for each block. Since the change is detected, and whether or not this one screen is a scene change is detected from the ratio of the blocks determined to be a scene change in one screen, the scene change detection rate is improved and Since the change location and the ratio within the area can be known in advance, it can be used for bit allocation and macroblock type determination, more efficient image compression is possible, and the overall image quality is improved.

【０１１０】この場合も、第１の差分の絶対値和が所定
の閾値以下のときには、過去の差分の絶対値和を保存し
ておく（更新しない）ことで、差分の絶対値和の変動が
少ない画像のシーンチェンジの検出精度を上げることが
でき、したがって、効率の良い画像圧縮が可能となる。
また、第１の差分の絶対値和からそのブロックがシーン
チェンジであると検出したときにも、過去の第２の差分
の絶対値和を保存しておく（更新しない）ことで、引き
続き来るシーンチェンジを検出でき、効率の良い画像圧
縮が可能となる。さらに、これらのことを同時に行え
ば、さらに効率の良い画像圧縮が可能となる。Also in this case, when the sum of absolute values of the first difference is equal to or smaller than the predetermined threshold, the sum of absolute values of past differences is saved (not updated), so that the variation of the sum of absolute values of difference is changed. It is possible to improve the accuracy of detecting a scene change in a small number of images, and therefore, it is possible to perform efficient image compression.
In addition, even when the block is detected as a scene change from the absolute value sum of the first difference, the previous absolute value value sum of the second difference is saved (not updated), so that the scenes that come next Changes can be detected, and efficient image compression can be performed. Furthermore, if these operations are performed at the same time, more efficient image compression becomes possible.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明実施例の画像符号化装置の概略構成を示
すブロック回路図である。FIG. 1 is a block circuit diagram showing a schematic configuration of an image encoding device according to an embodiment of the present invention.

【図２】本実施例装置の動作を説明するためのフローチ
ャートである。FIG. 2 is a flow chart for explaining the operation of the apparatus of this embodiment.

【図３】誤差値の合計値（ＳＡＤ）を使用したシーンチ
ェンジ検出（第１のシーンチェンジ検出方法）のフロー
チャートである。FIG. 3 is a flowchart of scene change detection (first scene change detection method) using a total value (SAD) of error values.

【図４】マクロブロック毎のシーンチェンジ判定の説明
に使用する図である。FIG. 4 is a diagram used to describe scene change determination for each macroblock.

【図５】差分値（誤差）の絶対値和（ＡＤ）を使用した
シーンチェンジ検出（第２のシーンチェンジ検出方法）
のフローチャートである。FIG. 5: Scene change detection using a sum of absolute values (AD) of difference values (errors) (second scene change detection method)
It is a flowchart of FIG.

【図６】画像の例としてアニメーション画像にシーンチ
ェンジが含まれるときの誤差値の合計値（ＳＡＤ）を示
す図である。FIG. 6 is a diagram showing a total value (SAD) of error values when a scene change is included in an animation image as an example of an image.

【図７】画像の例としてアニメーション画像にクロスフ
ェードが含まれるときの誤差値の合計値（ＳＡＤ）を示
す図である。FIG. 7 is a diagram illustrating a total value (SAD) of error values when a crossfade is included in an animation image as an example of an image.

【図８】画像の例として実写画像の誤差値の合計値（Ｓ
ＡＤ）を示す図である。FIG. 8 illustrates an example of an image, which is a total value (S
It is a figure which shows AD).

【図９】従来の画像符号化装置の概略構成を示すブロッ
ク回路図である。FIG. 9 is a block circuit diagram showing a schematic configuration of a conventional image encoding device.

【図１０】画像の解像度と構成について説明するための
図である。FIG. 10 is a diagram for explaining the resolution and structure of an image.

【図１１】マクロブロックとブロックについて説明する
ための図である。FIG. 11 is a diagram for explaining macroblocks and blocks.

【図１２】ルミナンスピクセルとクロミナンスピクセル
の配置について説明するための図である。FIG. 12 is a diagram for explaining an arrangement of luminance pixels and chrominance pixels.

【図１３】ジグザグスキャンについて説明するための図
である。FIG. 13 is a diagram for explaining zigzag scanning.

【図１４】参照画像の構成について説明するための図で
ある。FIG. 14 is a diagram for explaining the configuration of a reference image.

【図１５】ＧＯＰの一例について説明するための図であ
る。FIG. 15 is a diagram illustrating an example of a GOP.

【符号の説明】[Explanation of symbols]

２２ フレームメモリ １１ ブロック分割器 １２ 差分器 １３，２４ スイッチ １４ ＤＣＴ回路 １５ 量子化器 １６ ジグザグスキャン回路 １７ 可変長符号化回路 １８ 出力バッファ ２１ 動き補償器 ２５ 加算器 ２６ 逆ＤＣＴ回路 ２７ 逆量子化器 ３１ シーンチェンジ検出回路 ３２ 圧縮方法選択回路 ３３ 量子化ステップ制御器 ３４ 動きベクトル発生回路 ４１ 動き検出器 ５０ 画像情報評価回路 22 frame memory 11 block divider 12 differentiator 13, 24 switch 14 DCT circuit 15 quantizer 16 zigzag scan circuit 17 variable length coding circuit 18 output buffer 21 motion compensator 25 adder 26 inverse DCT circuit 27 inverse quantizer 31 scene change detection circuit 32 compression method selection circuit 33 quantization step controller 34 motion vector generation circuit 41 motion detector 50 image information evaluation circuit

Claims (8)

【特許請求の範囲】[Claims] 【請求項１】 入力画像データを複数枚蓄える画像デー
タ蓄積手段と、 上記画像データ蓄積手段に蓄積された入力画像データを
複数のブロックに分割し、それぞれのブロック毎にサー
チ側とリファレンス側のピクセル毎に求めた誤差値を１
画面分合計した第１の合計値と、時間的に過去の１画面
分の誤差値を合計した第２の合計値との比に基づいてシ
ーンチェンジ検出を行うシーンチェンジ検出手段と、 上記シーンチェンジ検出手段によるシーンチェンジ検出
出力に応じて画像データの圧縮方法を選択する圧縮方法
選択手段と、 上記圧縮方法選択手段により選択された圧縮方法に従っ
て上記入力画像データに所定の圧縮符号化処理を施す圧
縮符号化処理手段と、 圧縮符号化された画像データを蓄積する出力バッファ手
段と、 上記シーンチェンジ検出手段によるシーンチェンジ検出
出力に応じて上記出力バッファ手段の蓄積量を制御する
バッファ制御手段とを有することを特徴とする画像符号
化装置。1. An image data storage means for storing a plurality of input image data, and input image data stored in the image data storage means is divided into a plurality of blocks, and a pixel on the search side and a pixel on the reference side for each block. The error value obtained for each is 1
A scene change detecting means for detecting a scene change based on a ratio of a first total value of screen totals and a second total value of temporally past error values of one screen; A compression method selecting means for selecting a compression method of image data according to a scene change detection output by the detecting means, and a compression for applying a predetermined compression encoding process to the input image data according to the compression method selected by the compression method selecting means. It has an encoding processing means, an output buffer means for accumulating compression-encoded image data, and a buffer control means for controlling the accumulation amount of the output buffer means according to a scene change detection output by the scene change detecting means. An image encoding device characterized by the above. 【請求項２】 上記シーンチェンジ検出手段は、上記第
１の合計値が所定の閾値以下であるときには上記第２の
合計値を保存しておくことを特徴とする請求項１記載の
画像符号化装置。2. The image coding according to claim 1, wherein the scene change detecting means stores the second total value when the first total value is equal to or less than a predetermined threshold value. apparatus. 【請求項３】 上記シーンチェンジ検出手段は、シーン
チェンジを検出したときに上記第２の合計値を保存して
おくことを特徴とする請求項１記載の画像符号化装置。3. The image coding apparatus according to claim 1, wherein the scene change detecting means stores the second total value when a scene change is detected. 【請求項４】 上記シーンチェンジ検出手段は、上記第
１の合計値が所定の閾値以下であるとき、及び、シーン
チェンジを検出したときに上記第２の合計値を保存して
おくことを特徴とする請求項１記載の画像符号化装置。4. The scene change detection means stores the second total value when the first total value is less than or equal to a predetermined threshold value and when a scene change is detected. The image coding apparatus according to claim 1. 【請求項５】 入力画像データを複数枚蓄える画像デー
タ蓄積手段と、 上記画像データ蓄積手段に蓄積された入力画像データを
複数のブロックに分割し、それぞれのブロック毎にサー
チ側とリファレンス側のピクセル毎に求めた差分値の第
１の絶対値和と、時間的に過去の差分値の第２の絶対値
和との比に基づいてシーンチェンジ検出を行う第１のシ
ーンチェンジ検出手段と、 上記第１のシーンチェンジ検出手段でシーンチェンジと
判定したブロックの１画面に対する割合に基づいて、当
該１画面のシーンチェンジを検出する第２のシーンチェ
ンジ検出手段と、 上記第２のシーンチェンジ検出手段によるシーンチェン
ジ検出出力に応じて１画面の画像データの圧縮方法を選
択する圧縮方法選択手段と、 上記圧縮方法選択手段により選択された圧縮方法に従っ
て上記入力画像データに所定の圧縮符号化処理を施す圧
縮符号化処理手段と、 圧縮符号化された画像データを蓄積する出力バッファ手
段と、 上記シーンチェンジ検出手段によるシーンチェンジ検出
出力に応じて上記出力バッファ手段の蓄積量を制御する
バッファ制御手段とを有することを特徴とする画像符号
化装置。5. Image data storage means for storing a plurality of pieces of input image data, input image data stored in the image data storage means is divided into a plurality of blocks, and a pixel on the search side and a pixel on the reference side for each block. First scene change detection means for detecting a scene change based on a ratio of a first sum of absolute differences obtained for each time and a second sum of absolute past difference values; The second scene change detecting means for detecting the scene change of the one screen based on the ratio of the block judged to be the scene change by the first scene change detecting means to the one screen, and the second scene change detecting means. It is selected by the compression method selecting means for selecting the compression method of the image data of one screen according to the scene change detection output and the compression method selecting means. According to a scene change detection output by the scene change detecting means, a compression encoding processing means for performing a predetermined compression encoding processing on the input image data according to a compression method, an output buffer means for accumulating the compression encoded image data. And a buffer control means for controlling the storage amount of the output buffer means. 【請求項６】 上記第１のシーンチェンジ検出手段は、
上記第１の絶対値和が所定の閾値以下であるときには上
記第２の絶対値和を保存しておくことを特徴とする請求
項５記載の画像符号化装置。6. The first scene change detecting means comprises:
The image coding apparatus according to claim 5, wherein the second sum of absolute values is stored when the first sum of absolute values is equal to or less than a predetermined threshold value. 【請求項７】 上記第１のシーンチェンジ検出手段は、
シーンチェンジを検出したときに上記第２の絶対値和を
保存しておくことを特徴とする請求項５記載の画像符号
化装置。7. The first scene change detecting means comprises:
The image coding apparatus according to claim 5, wherein the second sum of absolute values is stored when a scene change is detected. 【請求項８】 上記第１のシーンチェンジ検出手段は、
上記第１の絶対値和が所定の閾値以下であるとき、及
び、シーンチェンジを検出したときに上記第２の絶対値
和を保存しておくことを特徴とする請求項５記載の画像
符号化装置。8. The first scene change detection means comprises:
The image encoding according to claim 5, wherein the second sum of absolute values is stored when the first sum of absolute values is equal to or less than a predetermined threshold value and when a scene change is detected. apparatus.