JPH0654319A - Inter-frame encoder - Google Patents

Abstract

PURPOSE:To prevent the deterioration of picture quality and time resolution at the time of encoding a television signal(TV signal) and a picture signal, especially at the time of instantaneously encoding the picture with the large fluctuation of generation code quantity at every screen. CONSTITUTION:The scene change of the inputted picture 4 is detected in a scenen change detecting circuit 71 and, by the result, a switch 31 is controlled and inter-frame encoding is executed. Moreover, a frame number after inter- frame encoding is measured in a quantization control B circuit 70 and quantization is controlled so as to keep buffer remaining quantity at a reception side a max. value when the value is more than a prescribed value. Thus, large code quantity is assigned to the picture immediately after scenen change so that the deterioration of picture quality and time resolution is reduced.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、テレビジョン信号（Ｔ
Ｖ信号）や画像信号の符号化に係り、特に、画面毎の発
生符号量の変動の大きい画像を即時に符号化する装置に
おいて、画質や時間解像度の劣化を防止する方法に関す
る。BACKGROUND OF THE INVENTION The present invention relates to a television signal (T
The present invention relates to a method of preventing deterioration of image quality and time resolution in an apparatus for immediately coding an image in which the amount of generated code varies greatly for each screen.

【０００２】[0002]

【従来の技術】ＴＶ信号をディジタル化して伝送するた
めには１００Ｍｂｉｔ／ｓ程度の伝送路が必要になる。
しかし、実際には、伝送路を有効に使用するために、ま
た伝送にかかるコストを低減するために、ＴＶ信号を符
号化し数Ｍｂｉｔ／ｓあるいはそれ以下の伝送路を用い
て伝送することが多い。図１に画像伝送システムの例を
示す。カメラ１より入力したＴＶ信号２は、アナログ−
ディジタル変換器３によりディジタル化され画像符号化
回路５に入力される。画像符号化回路５ではディジタル
画像を符号６に変換する。符号６は一旦送信バッファ７
に蓄えられ通信回線８の読出し速度に変換されて読み出
される。一方、受信側では伝送された符号を受信バッフ
ァ９に蓄える。蓄えられた符号は画像復号化回路１１よ
り読み出され、再生ディジタル画像信号１２に再生され
る。再生されたディジタル画像信号はディジタル−アナ
ログ変換器１３によってＴＶ信号１４に変換され、ＴＶ
モニタ１５に表示される。2. Description of the Related Art A transmission line of about 100 Mbit / s is required to digitize and transmit a TV signal.
However, in reality, in order to effectively use the transmission line and to reduce the cost required for the transmission, the TV signal is often encoded and transmitted using the transmission line of several Mbit / s or less. . FIG. 1 shows an example of an image transmission system. The TV signal 2 input from the camera 1 is analog-
It is digitized by the digital converter 3 and input to the image coding circuit 5. The image encoding circuit 5 converts the digital image into the code 6. Reference numeral 6 is a transmission buffer 7 once
Are stored in the communication line 8 and are read out after being converted into the reading speed of the communication line 8. On the other hand, on the receiving side, the transmitted code is stored in the receiving buffer 9. The stored code is read from the image decoding circuit 11 and reproduced as a reproduced digital image signal 12. The reproduced digital image signal is converted into a TV signal 14 by a digital-analog converter 13,
It is displayed on the monitor 15.

【０００３】このような符号化の一つにフレーム間符号
化がある。以下、このフレーム間符号化を簡単に説明す
る。Interframe coding is one of such coding methods. The interframe coding will be briefly described below.

【０００４】図２はフレーム間符号化回路の例である。
なお、図２は図１の画像符号化回路５に相当する。入力
されたディジタル画像信号４はフレームメモリ２０に蓄
えられる。一方、フレームメモリ３０には直前に符号化
し、伝送した画像が保持されている。また、スイッチ３
１は通常フレームメモリ３０側に接続されている。フレ
ームメモリ２０から読み出された画像信号２１は、フレ
ームメモリ３０に格納されている画像信号のうち、画面
上で同じ位置の予測信号３２との差分が差分回路２２に
より計算され、予測誤差信号２３が得られる。この予測
誤差信号２３を伝送する事により、画像を効率よく符号
化伝送する事ができる。具体的な処理としては、予測誤
差信号２３は量子化回路２４により所定の量子化ステッ
プサイズ３７に応じて量子化される。量子化は連続的な
値をとり得る信号を、いくつかの代表的な値に置き換え
る操作である。例えば、入力された予測誤差を量子化ス
テップサイズで割り、結果を四捨五入することにより実
現できる。例えば、量子化ステップサイズが１０とする
と、０から４の入力に対しては０、５から１４に対して
は１、１５から２４に対しては２が量子化した結果とし
て伝送される。これらの値を逆量子化するときにはそれ
ぞれ０，１０，２０が代表値として用いられる。このよ
うな量子化の操作では量子化ステップサイズが大きくな
るほど発生する情報量を少なくする事ができるが、それ
と同時に入力信号と代表値との差、即ち量子化誤差が大
きくなり、再生した画像の劣化が生じる。FIG. 2 shows an example of an interframe coding circuit.
Note that FIG. 2 corresponds to the image coding circuit 5 of FIG. The input digital image signal 4 is stored in the frame memory 20. On the other hand, the frame memory 30 holds the image coded immediately before and transmitted. Also, switch 3
1 is normally connected to the frame memory 30 side. The difference between the image signal 21 read from the frame memory 20 and the prediction signal 32 at the same position on the screen among the image signals stored in the frame memory 30 is calculated by the difference circuit 22, and the prediction error signal 23 Is obtained. By transmitting this prediction error signal 23, an image can be efficiently encoded and transmitted. As a specific process, the prediction error signal 23 is quantized by the quantization circuit 24 according to a predetermined quantization step size 37. Quantization is the operation of replacing a signal that can take continuous values with some typical values. For example, it can be realized by dividing the input prediction error by the quantization step size and rounding the result. For example, if the quantization step size is 10, 0 is transmitted as a result of quantization of 0 to 4 inputs, 1 is transmitted from 5 to 14 and 2 is transmitted from 15 to 24. When dequantizing these values, 0, 10, and 20 are used as representative values, respectively. In such a quantization operation, the amount of information generated can be reduced as the quantization step size increases, but at the same time, the difference between the input signal and the representative value, that is, the quantization error increases, and the reproduced image Deterioration occurs.

【０００５】量子化された信号は可変長符号化回路２６
において可変長符号６に変換され出力される。これと同
時に量子化された信号２５は逆量子化回路２７により代
表値に変換され、先に差分をとった予測信号３２に加え
られフレームメモリ３０に格納される。フレームメモリ
３０に格納された信号は、次のフレームの符号化におい
て予測信号を生成するのに用いられる。The quantized signal is a variable length coding circuit 26.
Is converted into a variable length code 6 and output. At the same time, the quantized signal 25 is converted into a representative value by the inverse quantization circuit 27, added to the prediction signal 32 having the difference previously calculated, and stored in the frame memory 30. The signal stored in the frame memory 30 is used to generate a prediction signal in the encoding of the next frame.

【０００６】スイッチ３１はフレーム間予測とフレーム
内予測を切り替えるスイッチである。先に述べたよう
に、通常はフレームメモリ３０側に接続されており、フ
レーム間予測を行っている。ただし、通信の先頭のフレ
ームや伝送エラーが生じた直後等はスイッチを零発生回
路３３側に接続し、予測信号３２を強制的に零にしてい
る。このスイッチの状態は画像信号と同時に符号化され
伝送される。また、一般にフレーム内符号化の符号化効
率はフレーム間符号化の符号化効率よりも数倍悪く、同
じ画質ならば数倍多い符号量がフレーム内符号化におい
て発生する。The switch 31 is a switch for switching between interframe prediction and intraframe prediction. As described above, it is usually connected to the frame memory 30 side and performs inter-frame prediction. However, the switch is connected to the zero generation circuit 33 side immediately after the first frame of communication or immediately after a transmission error occurs, and the prediction signal 32 is forcibly set to zero. The state of this switch is coded and transmitted simultaneously with the image signal. In addition, the coding efficiency of intraframe coding is generally several times worse than the coding efficiency of interframe coding, and if the image quality is the same, a code amount that is several times larger occurs in intraframe coding.

【０００７】次に、図３を用いて復号化回路の動作を説
明する。復号化回路１１は伝送されてきた符号１０を可
変長復号化回路４０にて復号化を行う。復号化された予
測誤差信号４１は逆量子化され、予測信号４７に加えら
れ再生ディジタル画像１２が作られる。再生ディジタル
画像１２は出力されると同時にフレームメモリ４５に格
納され次のフレームの予測信号を生成するのに用いられ
る。フレームメモリ４５の画像と、フレームメモリ３０
の画像はフレーム間符号化を行っている間は、常に同じ
画像が格納されている。これらの処理と並行してスイッ
チ４６のフレーム間／フレーム内予測の切替信号４６も
復号化され送信側で用いられた予測モードと同じモード
が選択される。Next, the operation of the decoding circuit will be described with reference to FIG. The decoding circuit 11 decodes the transmitted code 10 by the variable length decoding circuit 40. The decoded prediction error signal 41 is dequantized and added to the prediction signal 47 to produce the reproduced digital image 12. The reproduced digital image 12 is output and simultaneously stored in the frame memory 45 to be used for generating a prediction signal for the next frame. The image in the frame memory 45 and the frame memory 30
The same image is always stored during the inter-frame coding of the image. In parallel with these processes, the inter-frame / intra-frame prediction switching signal 46 of the switch 46 is also decoded and the same mode as the prediction mode used on the transmitting side is selected.

【０００８】以上がフレーム間符号化の簡単な例である
が、この他にもいくつかのフレーム間符号化を用いた方
式がある。例えば、ＣＣＩＴＴ（国際電信電話諮問委員
会）が定めたＴＶ電話、ＴＶ会議の標準化方式Ｈ．２６
１ではフレーム間符号化をベースに、フレーム間の動き
を補償する動き補償フレーム間符号化や、予測誤差信号
を直接量子化するのではなく、離散コサイン変換（ＤＣ
Ｔ）により周波数成分に変換した後に量子化をするなど
の改良が加えられている。また、ＩＳＯ（国際標準化機
構）が定めた蓄積メディア用符号化（ＭＰＥＧ）では、
上記のＨ．２６１をベースに更に、予測信号の生成を直
前のフレームからだけではなく、後のフレームからや、
これらの平均などの予測信号を用いることにより更に符
号化効率を上げている。The above is a simple example of interframe coding, but there are several other methods using interframe coding. For example, the standardization method H.264 for videophones and videoconferences established by CCITT (International Telegraph and Telephone Consultative Committee). 26
1 does not use motion-compensated inter-frame coding for compensating motion between frames or direct quantization of a prediction error signal based on inter-frame coding, but a discrete cosine transform (DC
Improvements such as quantization after conversion to frequency components by T) are added. In addition, in the encoding for storage media (MPEG) defined by ISO (International Organization for Standardization),
H. Further, based on the H.261, the prediction signal is generated not only from the immediately preceding frame but also from the subsequent frame,
Coding efficiency is further improved by using a prediction signal such as the average.

【０００９】これらの方式は、安田浩著の「マルチメデ
ィアの国際標準化」（１９９１年、丸善）に、Ｈ．２６
１に関しては８４ページから１０２ページに、ＭＰＥＧ
に関しては１２６ページから１５６ページに詳しく述べ
られているので、詳細な説明は省略する。These methods are described in "International standardization of multimedia" by Hiroshi Yasuda (Maruzen, 1991) by H.S. 26
For page 1, page 84 to page 102, MPEG
Since it is described in detail on pages 126 to 156, detailed description will be omitted.

【００１０】この様な画像のフレーム間符号化では１フ
レームを符号化したときの符号量は入力された画像の性
質に依存し、変動する。しかし、通信回線の容量は一定
であるため、量子化ステップサイズを意図的に変更する
事により１フレームの符号量を所定の値に制御する必要
がある。この処理を行うのが第２図の量子化制御回路３
６である。各符号６が生成するたびに、符号量計測回路
３４において、そのフレームの符号量を累積する。符号
量計測回路３４は各フレームの先頭で初期化される。初
期値は発生した符号量と伝送した符号量の差である。累
積した符号量３５は量子化制御回路３６に入力され、量
子化制御回路３６ではこの値を元に量子化ステップサイ
ズ３７を決定する。In such interframe coding of images, the code amount when one frame is coded varies depending on the property of the input image. However, since the capacity of the communication line is constant, it is necessary to control the code amount of one frame to a predetermined value by intentionally changing the quantization step size. This processing is performed by the quantization control circuit 3 shown in FIG.
It is 6. Each time each code 6 is generated, the code amount measuring circuit 34 accumulates the code amount of the frame. The code amount measuring circuit 34 is initialized at the beginning of each frame. The initial value is the difference between the generated code amount and the transmitted code amount. The accumulated code amount 35 is input to the quantization control circuit 36, and the quantization control circuit 36 determines the quantization step size 37 based on this value.

【００１１】図４は量子化制御回路の例である。計測さ
れた符号量３５は１フレームの期間中随時入力される。
これに同期して、各時点での目標符号量が目標符号量設
定回路６０より生成され、減算回路６１にて差分を計算
される。量子化ステップサイズ計算回路６２はこの差分
結果に比例した量子化ステップサイズ３７を算出する。
発生符号量と目標符号量の差が大きいときは量子化ステ
ップサイズは大きくなり発生符号量が減る。また差が小
さいときには量子化ステップサイズが小さくなり発生符
号量が増える。この様な制御により、発生符号量は、常
に目標符号量より一定値（ａ）大きい値に制御される。
目標符号量を伝送レートＲを伝送コマ数Ｐで割った値
（Ｒ／Ｐ）に設定すれば、フレーム先頭における符号量
計測回路初期値は先の一定値ａになり、フレーム末尾に
おける発生符号量はＲ／Ｐ＋ａに近い値になる。その結
果１フレームあたりの発生符号量はこれら値の差、即ち
（Ｒ／Ｐ＋ａ）−ａ＝Ｒ／Ｐになり、先の設定値に一致
する。FIG. 4 shows an example of the quantization control circuit. The measured code amount 35 is input at any time during one frame period.
In synchronization with this, the target code amount at each time point is generated by the target code amount setting circuit 60, and the subtraction circuit 61 calculates the difference. The quantization step size calculation circuit 62 calculates the quantization step size 37 proportional to this difference result.
When the difference between the generated code amount and the target code amount is large, the quantization step size increases and the generated code amount decreases. When the difference is small, the quantization step size becomes small and the generated code amount increases. By such control, the generated code amount is always controlled to a value larger than the target code amount by a constant value (a).
If the target code amount is set to a value (R / P) obtained by dividing the transmission rate R by the number of transmission frames P (R / P), the initial value of the code amount measuring circuit at the beginning of the frame becomes the above constant value a, and the generated code amount at the end of the frame. Becomes a value close to R / P + a. As a result, the generated code amount per frame becomes a difference between these values, that is, (R / P + a) -a = R / P, which matches the previously set value.

【００１２】１フレーム当たりの符号語の発生量は受信
側が受信した画像を正しく表示するために、ある程度の
規定が必要になる。The amount of code words generated per frame needs to be regulated to some extent in order to correctly display the image received by the receiving side.

【００１３】図５を用いてＨ．２６１における規定の概
要を説明する。図５はＨ．２６１の受信バッファの動作
を示したものである。受信バッファには一定レートで符
号が入力されてくる。一方、バッファからの読出は、ピ
クチャレート間隔のタイミング（約３３ｍｓ）毎にのみ
行われ、１フレーム単位の符号を一瞬にして読み出すと
仮定している。第５図では時刻ｔNに読出が行われ、そ
の後３フレーム分（ＴN+1）の時間をかけて次の１フレ
ーム分の符号が書き込まれ、時刻ｔN+1で次の符号が１
フレーム分読み出されている。時刻ｔNで読み出す符号
量をｄN、読みだした後のバッファ残量をｂN、次の読出
し（時刻ｔN+1）までのバッファ増量をＸN+1としたと
き、 ｂN ＋ ＸN+1 − ｄN+1 ＜ Ｂ ただし、Ｂ＝４・Ｒ／29.97 （Ｒは最大伝送レート）
を満たさなければならない。すなわち ｄN+1 ＞ ｂN ＋ ＸN+1 − Ｂ である。Referring to FIG. The outline of the regulations in H.261 will be described. FIG. 27 shows the operation of the reception buffer 261. Codes are input to the reception buffer at a constant rate. On the other hand, it is assumed that the reading from the buffer is performed only at each timing of the picture rate interval (about 33 ms), and the code for each frame is read in an instant. In FIG. 5, the reading is performed at time tN, after which the code for the next one frame is written over a time period of three frames (TN + 1), and at time tN + 1, the next code is 1
The frame has been read. When the code amount read at time tN is dN, the buffer remaining amount after reading is bN, and the buffer increase until the next read (time tN + 1) is XN + 1, bN + XN + 1−dN + 1 <B However, B = 4R / 29.97 (R is the maximum transmission rate)
Must be met. That is, dN + 1> bN + XN + 1-B.

【００１４】次に図６を用いてＭＰＥＧにおける１フレ
ームの発生符号量の規定を説明する。図６は図５と同様
に受信（再生）側におけるバッファ量の推移を表してい
る。図５と異なるのは伝送フレーム数がＨ．２６１では
３０フレーム／秒以下であったのに対し、ＭＰＥＧでは
ＮＴＳＣの場合、原則として約３０フレーム／秒に固定
されている点である。図５におけるＸNは一定値Ｘ（＝R
/29.97）になっている。受信するフレーム数と表示する
フレーム数が同じであるため、受信側では受信した画像
をすべて即座に表示しなければならない。逆にいえば、
新しいフレームを表示しようとするときには既にバッフ
ァの中にそのフレームの符号がすべて格納されていなけ
ればならない。このための条件としては、 ｄN+1 ＜＝ ｂN ＋ Ｘ ｄN+1 ＞ ｂN ＋ ２Ｘ − Ｂ ただし、Ｂは送信側が任意に決めるバッファサイズを満
たさなければならない。また、受信側では全てのフレー
ムを表示するために、一定期間（VBV delay）復号化の
開始を遅らせバッファに符号をためなければならない。
バッファサイズを大きくすれば１フレーム当たりの符号
量の規定に余裕が出来るため。高い画質を得る事が出来
るが、逆に表示までの遅延量はバッファサイズに比例し
て大きくなる。逆に、バッファサイズを小さくすると１
フレームの符号量の制限が厳しくなるため、量子化制御
により発生符号量を抑え、その結果画質が劣化する。Next, the definition of the amount of code generated in one frame in MPEG will be described with reference to FIG. Similar to FIG. 5, FIG. 6 shows the transition of the buffer amount on the receiving (reproducing) side. The difference from FIG. 5 is that the number of transmission frames is H.264. In the case of NTSC, in the case of NTSC, it is fixed at about 30 frames / sec in principle, whereas in 261 it was 30 frames / sec or less. XN in FIG. 5 is a constant value X (= R
/29.97). Since the number of received frames is the same as the number of displayed frames, the receiving side must immediately display all received images. Conversely speaking,
When trying to display a new frame, the buffer must already contain all the code for that frame. As a condition for this, dN + 1 <= bN + XdN + 1> bN + 2X-B However, B must satisfy a buffer size arbitrarily determined by the transmitting side. Also, in order to display all the frames on the receiving side, it is necessary to delay the start of decoding for a certain period (VBV delay) and store the code in the buffer.
This is because if the buffer size is increased, there is a margin in the regulation of the code amount per frame. Although high image quality can be obtained, conversely, the amount of delay until display increases in proportion to the buffer size. Conversely, if the buffer size is reduced, it becomes 1
Since the restriction on the code amount of the frame becomes strict, the generated code amount is suppressed by the quantization control, and as a result, the image quality is deteriorated.

【００１５】ＭＰＥＧではランダムアクセスなどの為
に、フレーム内符号化のフレーム（イントラ・フレー
ム）を定期的に挿入している。そのため、イントラ・フ
レームの直前には受信バッファ量ｂNを大きくしておく
必要がある。ここで、第６図より ｂN+1 ＝ ｂN ＋ Ｘ − ｄN+1 であるため、ｂNを大きくするには。発生符号量ｄN+1を
小さくしなければならない。なお、Ｈ．２６１の場合に
はＸは伝送フレーム数に応じて可変（ＸN+1）であるた
め、ｄN+1を小さくする代わりに、ＸN+1を大きくする、
即ち、コマ落としをしても同様の効果が得られる。In MPEG, a frame for intra-frame coding (intra frame) is periodically inserted for random access or the like. Therefore, it is necessary to increase the reception buffer amount bN immediately before the intra frame. Since bN + 1 = bN + X−dN + 1 from FIG. 6, it is necessary to increase bN. The generated code amount dN + 1 must be reduced. In addition, H. In the case of 261, since X is variable (XN + 1) according to the number of transmission frames, XN + 1 is increased instead of decreasing dN + 1.
That is, the same effect can be obtained even if the frames are dropped.

【００１６】[0016]

【発明が解決しようとする課題】ＴＶ信号を効率よく符
号化して伝送するには、フレーム間符号化は必須の技術
である。しかし、フレーム間符号化のような１フレーム
の符号量が変動する符号化方式では、１フレーム当たり
の符号量を制限する必要がある。これは、特に、イント
ラ・フレームなど、発生する情報量の多いフレームが混
在する時に重要になってくる。予めイントラフレームの
フレームがわかっている場合にはイントラ・フレームの
直前に受信バッファ残量が最大になるように制御が出来
る。しかし、シーンチェンジなどの場合には問題が生じ
る。即ち、フレーム間の相関利用するフレーム間符号化
では、シーンチェンジ直後のフレームを符号化すると大
量の情報が発生するため、フレーム内符号化の方が符号
化効率が高くなる事が多い。しかし、シーンチェンジの
起こるタイミングによって、受信バッファの残量は大き
く異なる。残量が少ないときには、発生符号量を抑えて
画質を悪くするか、画質を保ったまま大量の符号を伝送
し受信側にコマ落としを生じさせるか、のいずれかの手
段をとらなくてはならない。いずれの手段においても空
間的あるいは時間的な画質の劣化が生じるという問題が
生じる。Interframe coding is an essential technique for efficiently coding and transmitting TV signals. However, in an encoding method in which the code amount of one frame varies, such as inter-frame encoding, it is necessary to limit the code amount per frame. This becomes particularly important when a large amount of information-generating frames such as intra frames are mixed. When the frame of the intra frame is known in advance, control can be performed so that the remaining amount of the receiving buffer becomes maximum immediately before the intra frame. However, in the case of a scene change or the like, a problem occurs. That is, in inter-frame coding that uses correlation between frames, a large amount of information is generated when a frame immediately after a scene change is coded, and thus intra-frame coding often has higher coding efficiency. However, the remaining amount of the reception buffer varies greatly depending on the timing of scene change. When the remaining amount is small, it is necessary to reduce the generated code amount to deteriorate the image quality, or to transmit a large number of codes while maintaining the image quality and cause a frame drop on the receiving side. . Any of these methods has a problem in that the image quality deteriorates spatially or temporally.

【００１７】[0017]

【課題を解決するための手段】上記の課題を解決するに
は、まず、受信バッファ量を常時最大に近い値になるよ
うフレーム当たりの符号量を制御することと、シーンチ
ェンジを符号化開始前に検出し、フレーム内符号化を選
択し、しかも、そのフレームに割り当てる符号量を最大
にすることによってよって実現できる。To solve the above-mentioned problems, first, the code amount per frame is controlled so that the receive buffer amount is always close to the maximum value, and the scene change is performed before the start of encoding. , The intra-frame coding is selected, and the code amount assigned to the frame is maximized.

【００１８】[0018]

【作用】上記の手段によりシーンチェンジを含む画像信
号を空間的・時間的に劣化させることなく伝送すること
ができる。By the above means, an image signal including a scene change can be transmitted without deterioration in space and time.

【００１９】[0019]

【実施例】図７、図８、及び図９を用いて本発明の実施
例の説明を行う。本実施例は図２と同じ機能を実現する
ので、図７に示すフレーム間符号化回路の全体構成は図
２とほぼ同様の構成を有する。ただし、７０で示した量
子化制御回路、及び７１で示したシーンチェンジ検出回
路の部分が本発明に特有の部分である。EXAMPLE An example of the present invention will be described with reference to FIGS. 7, 8 and 9. Since this embodiment realizes the same function as that of FIG. 2, the entire configuration of the interframe coding circuit shown in FIG. 7 has a configuration substantially similar to that of FIG. However, the parts of the quantization control circuit shown by 70 and the scene change detection circuit shown by 71 are peculiar to the present invention.

【００２０】まず、図８を用いて実施例の量子化制御回
路７０の説明を行う。図８の部分は従来例の図４に対応
する。従来例と異なる点は目標符号量の設定を２通り用
意し、シーンチェンジなどによりイントラ・フレームが
発生してから一定期間は設定Ａ使用し、一定期間以降は
設定Ｂを使用する。First, the quantization control circuit 70 of the embodiment will be described with reference to FIG. The portion of FIG. 8 corresponds to FIG. 4 of the conventional example. The difference from the conventional example is that two kinds of setting of the target code amount are prepared, and the setting A is used for a certain period after the intra frame is generated due to a scene change or the like, and the setting B is used after the certain period.

【００２１】まず、基準フレーム数発生回路に、シーン
チェンジから次のシーンチェンジまでのフレーム数の最
小値ＮSCを設定しておく。また、シーンチェンジなどに
よりイントラ・フレームを伝送した時点でフレーム数カ
ウント回路８２を０にリセットする。これ以降、１フレ
ームを伝送する毎にフレーム数カウント回路８２を１つ
歩進させる。First, the minimum value NSC of the number of frames from one scene change to the next scene change is set in the reference frame number generation circuit. Also, the frame number counting circuit 82 is reset to 0 when the intra frame is transmitted due to a scene change or the like. After that, the frame number counting circuit 82 is incremented by one each time one frame is transmitted.

【００２２】ある、フレームを符号化する時、まずフレ
ーム数カウント回路８２の保持するフレーム数８４と基
準フレーム数８３（上記の例ではＮSC）を比較回路８５
において比較する。比較結果８６によりスイッチ８７に
より、フレーム数が基準フレーム数以下ならば目標符号
量設定Ａ回路８０を、基準以上ならば、目標符号量設定
Ｂ回路８８を選択する。設定Ａでは図１０の(ａ)に示す
ように、受信バッファ残量がＮSCフレームで最大になる
ように１フレーム当たりの符号量を制御する。例えば、
１フレーム当たりの符号量ｄAを、シーンチェンジの時
刻をｔ1として、 ｄA＝Ｘ−（（Ｂ−Ｘ）−ｂ1）／ＮSC とすることにより、実現が出来る。When a frame is encoded, first, the number of frames 84 held by the number-of-frames counting circuit 82 and the reference number of frames 83 (NSC in the above example) are compared by a comparison circuit 85.
Compare in. According to the comparison result 86, the switch 87 selects the target code amount setting A circuit 80 when the number of frames is less than the reference frame number, and the target code amount setting B circuit 88 when the number of frames is more than the reference number. In setting A, as shown in (a) of FIG. 10, the code amount per frame is controlled so that the remaining amount of the reception buffer becomes maximum in NSC frames. For example,
The code amount dA per frame can be realized by setting dA = X-((B−X) −b1) / NSC with the scene change time t1.

【００２３】一方、設定Ｂでは受信バッファ量を一定に
保つように符号量を制御する。例えば、１フレーム当た
りの符号量ｄBを、 ｄB＝Ｘ とすることにより、実現できる。このように制御するこ
とにより、シーンチェンジが発生してからＮSCフレーム
目（ＮSC／29.97秒）以降のシーンチェンジに対して
は、シーンチェンジ直後のフレームにバッファの最大量
に近いビット数を割り当てられるため画質の劣化、コマ
落としは生じない。On the other hand, in setting B, the code amount is controlled so that the reception buffer amount is kept constant. For example, the code amount dB per frame can be realized by setting dB = X. By controlling in this way, for the scene change after the NSC frame (NSC / 29.97 seconds) after the scene change occurs, the number of bits close to the maximum amount of the buffer can be assigned to the frame immediately after the scene change. Therefore, the image quality is not deteriorated and the frames are not dropped.

【００２４】図１０の(ｂ)は、シーンチェンジが予め設
定したＮSCフレーム目以前に生じた場合の受信バッファ
の様子を示している。この場合にはシーンチェンジの間
隔が短くなるほど、シーンチェンジ直後に割り当てられ
る符号量が少なくない、画質劣化、コマ落としの程度が
悪くなる。しかし、シーンチェンジが頻繁に生じる確率
は低く、ＮSCを１００〜２００（約２〜３秒）程度に設
定すれば実用上問題はない。FIG. 10B shows the state of the reception buffer when the scene change occurs before the preset NSC frame. In this case, as the scene change interval becomes shorter, the code amount assigned immediately after the scene change is not small, and the degree of image quality deterioration and frame drop becomes worse. However, the probability of frequent scene changes is low, and there is no practical problem if NSC is set to about 100 to 200 (about 2 to 3 seconds).

【００２５】図９は図７のシーンチェンジ検出回路７１
の詳細図である。シーンチェンジ検出回路７１では入力
画像４と直前に符号化した画像７３の類似性を調べ、シ
ーンチェンジが生じているか否かを判定する。上記の２
つの画像信号はそれぞれ輝度平均値回路９０−１、９０
−２に入力され輝度信号の平均値を求める。２つの平均
値は差分回路９１で差分をとられ、絶対値回路９２で正
の値に変換された後に、予め設定された比較値９３と比
較される。２つの平均輝度信号の絶対値差が比較値より
も大きければ、シーンチェンジが生じたと判定する。FIG. 9 shows the scene change detection circuit 71 of FIG.
FIG. The scene change detection circuit 71 checks the similarity between the input image 4 and the image 73 encoded immediately before, and determines whether or not a scene change has occurred. 2 above
The two image signals are brightness average value circuits 90-1 and 90, respectively.
Is input to -2 and the average value of the luminance signal is obtained. The difference between the two average values is taken by a difference circuit 91, converted into a positive value by an absolute value circuit 92, and then compared with a preset comparison value 93. If the absolute value difference between the two average luminance signals is larger than the comparison value, it is determined that a scene change has occurred.

【００２６】なお、上記の実施例の他に、以下に示す変
形例も採用可能である。In addition to the above embodiment, the following modified examples can be adopted.

【００２７】図７ではフレーム間符号化に対する実施例
を示したが、Ｈ．２６１に対してもＭＰＥＧに対しても
適用が可能である。また、実施例では主にＮＴＳＣを中
心に説明したが、ＰＡＬ、ＳＥＣＡＭ、あるいはＨＤＴ
Ｖ信号、２４コマのフィルム、３０コマのフィルムを走
査線化した信号にも適用可能である。また、フィールド
処理の画像、１つの画面を複数のフレームあるいはフィ
ールドに分割した画像にも適応できる。Although FIG. 7 shows an embodiment for interframe coding, the H.264 codec is used. It can be applied to both H.261 and MPEG. Also, in the embodiments, the explanation has been made mainly on NTSC, but PAL, SECAM, or HDT is used.
It can also be applied to a V signal, a signal of 24 frames, and a signal of 30 frames of film converted into scanning lines. Further, it can be applied to a field-processed image or an image obtained by dividing one screen into a plurality of frames or fields.

【００２８】図８の目標符号量設定回路ではシーンチェ
ンジ後、ＮSCフレームにおいて受信バッファ量を最大値
になるように制御しているが、最大値よりも少し小さい
値、例えば最大値の８０％、最大値より一定量少ない
値、などに設定しても構わない。The target code amount setting circuit of FIG. 8 controls the reception buffer amount to the maximum value in the NSC frame after the scene change, but it is a little smaller than the maximum value, for example, 80% of the maximum value. A value smaller than the maximum value by a fixed amount may be set.

【００２９】図８の基準フレーム数発生回路８１の発生
値８３は予め定めた値としたが、これをシーンチェンジ
毎、あるいは一定時間毎、あるいは不定期に変更しても
構わない。Although the generated value 83 of the reference frame number generation circuit 81 in FIG. 8 is a predetermined value, it may be changed at every scene change, every fixed time, or irregularly.

【００３０】図８で目標符号量の設定は２通りの例を示
したが、３通り以上を用いても構わない。また、符号量
制御の方法は目標値との比較による方法を示したが、符
号バッファをそのフレームの目標符号量に応じた伝送速
度で読出し、バッファ量の残量に比例した量子化ステッ
プサイズを設定しても構わない。また、１フレームの符
号量を所定の値に制御する、これらの他の方法と組み合
わせても構わない。Although FIG. 8 shows two examples of setting the target code amount, three or more types may be used. Also, the code amount control method showed the method by comparison with the target value, but the code buffer is read at the transmission rate according to the target code amount of the frame, and the quantization step size proportional to the remaining amount of the buffer amount is set. You can set it. Further, it may be combined with these other methods of controlling the code amount of one frame to a predetermined value.

【００３１】図８では１フレームの符号量を制御して受
信バッファ量を制御しているが、送信バッファを制御す
ることと等価である。送信バッファ残量と受信バッファ
残量の和は一定であるため、送信側のバッファ量を零に
近づくように制御することによって実現できる。In FIG. 8, the code amount of one frame is controlled to control the receive buffer amount, but this is equivalent to controlling the transmit buffer. Since the sum of the remaining amount of the transmission buffer and the remaining amount of the reception buffer is constant, it can be realized by controlling the buffer amount on the transmitting side so as to approach zero.

【００３２】図８の目標符号量の設定は１フレーム当た
りの符号量を１フレームに一回設定しているが、１フレ
ームを細かい部分に分割し、分割した小領域ごとに設定
ををし、制御しても構わない。また、逆に数フレームを
まとめた単位で設定し、制御しても構わない。設定値を
制御の途中で変更しても構わない。In the setting of the target code amount in FIG. 8, the code amount per frame is set once per frame, but one frame is divided into fine parts and the setting is made for each divided small area. You can control it. On the contrary, several frames may be set and controlled in a unit. The set value may be changed during the control.

【００３３】本文のなかでは、シーンチェンジはイント
ラ・フレームにより符号化する例を示したが、フレーム
間予測あるいは、フレーム間／フレーム内を画面内で混
在させた符号化をもちいてもよい。In the text, an example in which scene changes are encoded by intra frames is shown, but interframe prediction or interframe / intraframe encoding may be mixed in the screen.

【００３４】図９のシーンチェンジ検出回路では入力画
像と、符号化回路内の復号化画像の間で計算を行ってい
るが、後者に対応する入力画像を別のメモリに保持して
おき、入力画像間での計算を行っても同様の効果が得ら
れる。また、計算時の画像の解像度は符号化する時の解
像度よりも粗くしても構わない。The scene change detection circuit of FIG. 9 calculates between the input image and the decoded image in the encoding circuit, but the input image corresponding to the latter is held in another memory and input. The same effect can be obtained by performing calculation between images. The resolution of the image at the time of calculation may be coarser than the resolution at the time of encoding.

【００３５】図９のシーンチェンジ検出回路では画面全
体の輝度平均のみを比較してシーンチェンジを検出して
いるが、色信号を用いても構わない。また、信号値の平
均を用いているが、画面内の信号値の最大値、最小値、
中央値あるは周波数分解した後の特定の周波数成分の絶
対値、電力もしくはこれらの組み合わせなどの画面の特
徴値を用いることも本発明に含まれることは明白であ
る。また、これらの計算は画面全体で行っているが、画
面をいくつかの部分に分割して、分割した小領域ないで
計算し、比較しても構わない。また、以上の全ての手段
を全て組み合わせる事も可能である。Although the scene change detection circuit of FIG. 9 detects a scene change by comparing only the average luminance of the entire screen, a color signal may be used. Also, although the average of the signal values is used, the maximum value, the minimum value of the signal values on the screen,
It is obvious that the present invention also includes the use of the characteristic value of the screen such as the median value or the absolute value of the specific frequency component after frequency decomposition, the power, or a combination thereof. Further, although these calculations are performed on the entire screen, the screen may be divided into some parts, and calculation may be performed without using the divided small areas for comparison. It is also possible to combine all of the above means.

【００３６】これらの組み合わせでは各項目の１つでも
差が出た場合にシーンチェンジと判断する方法、多数決
の方法、重みを付けて多数決の方法、所定の数以上の項
目で差が生じたらシーンチェンジとする方法、特定の項
目で差が生じたらシーンチェンジとする方法、ニューラ
ルネットワークを用いて判定する方法あるいは上記の組
み合わせがあるが、これらも本発明に包含される。In these combinations, a method of judging a scene change when at least one of the items has a difference, a majority decision method, a majority decision method with weighting, and a scene when a difference occurs in a predetermined number or more There are a method of making a change, a method of making a scene change when a difference occurs in a specific item, a method of making a judgment using a neural network, or a combination of the above, and these are also included in the present invention.

【００３７】図９の比較値回路９３は固定の比較基準値
を発生しているが、先に挙げた画面の特徴値に応じて、
あるいは過去の判定の経緯に応じて変化させても良い。The comparison value circuit 93 of FIG. 9 generates a fixed comparison reference value, but according to the characteristic value of the screen mentioned above,
Alternatively, it may be changed according to the history of past determination.

【００３８】図８のシーンチェンジ検出信号７２はシー
ンチェンジ有無を表す信号であるが、これの代わりに先
に示した画面の特徴値の差を出力し、量子化制御回路に
おいて、この画面の特徴値の差の大きさ、即ちシーンチ
ェンジの度合いに応じて、そのフレームに割り当てる符
号量を変化させても良い。The scene change detection signal 72 in FIG. 8 is a signal indicating the presence or absence of a scene change. Instead of this, the difference between the characteristic values of the screen shown above is output, and the quantization control circuit outputs the characteristic of this screen. The code amount assigned to the frame may be changed according to the magnitude of the value difference, that is, the degree of the scene change.

【００３９】以上の説明はＭＰＥＧのような双方向の予
測を用いない符号化方式を例にして説明したが、双方向
の予測を用いた方式にも適用可能である。例えば３フレ
ームのうち２フレームを双方向の予測を行い（Ｂピクチ
ャ）、残り１フレームを通常の予測（Ｐピクチャ）を行
う場合を例に示す。この時、符号化の順序は次のように
なる。Although the above description has been given by taking an example of a coding system such as MPEG which does not use bidirectional prediction, it can be applied to a system which uses bidirectional prediction. For example, two frames out of three frames are bidirectionally predicted (B picture), and the remaining one frame is normally predicted (P picture). At this time, the encoding order is as follows.

【００４０】I3 B1 B2 P6 B4 B5 P9 B7 ... ここで、Ｉは先頭のイントラ・フレームを表す。また、
数字はフレーム番号を表している。４番目、５番目のＢ
ピクチャを符号化するには３番目と６番目の画像から双
方向の予測を行う。そのために、６番目（Ｐ６）を先に
符号化し、その後にＢ４，Ｂ５の符号化を行う。この様
な場合、受信側においてＰピクチャの符号を読み出す直
前のバッファ量が最大、あるいは最大より一定割合小さ
い値以上、あるいは最大より一定量小さい値以上に保つ
ように、定常状態において制御をすることにより先に述
べた制御と同様の効果が得られる。シーンチェンジ直後
の画像がＢピクチャである場合には次のＰあるいはＩピ
クチャを待って最大の符号量を割当、それまでのＢピク
チャは仮想的に、古いシーンの最終画像が繰り返されて
いるとして、最小の符号を割り当てることによりシーン
チェンジの劣化を少なくにする事ができる。例えば４番
目と５番目の間でシーンチェンジが生じた場合は、ま
ず、６番目の画像をイントラフレームにし、４番目の画
像は３番目の画像から主に予測をし、５番目の画像をは
６番目の画像から主に予測をする事になる。こうした場
合、符号化は I3 B1 B2 I6* B4 B5* P9* B7* ... のようになる。ここで＊印をつけたものはシーンチェン
ジ後のフレームを示す。I3 B1 B2 P6 B4 B5 P9 B7 ... Here, I represents the first intra frame. Also,
The numbers represent frame numbers. 4th and 5th B
To encode a picture, bidirectional prediction is performed from the third and sixth pictures. Therefore, the sixth (P6) is encoded first, and then B4 and B5 are encoded. In such a case, on the receiving side, control should be performed in a steady state so that the buffer amount immediately before reading the code of the P picture is kept to the maximum value or a value smaller than the maximum value by a fixed ratio or more than a value smaller than the maximum value by a fixed amount. Thus, the same effect as the control described above can be obtained. If the image immediately after the scene change is a B picture, the maximum code amount is assigned after waiting for the next P or I picture, and it is assumed that the B picture up to that point is virtually the final image of the old scene repeated. By assigning the smallest code, the deterioration of the scene change can be reduced. For example, when a scene change occurs between the 4th and 5th images, first, the 6th image is set to an intraframe, the 4th image is mainly predicted from the 3rd image, and the 5th image is The prediction will be mainly made from the 6th image. In such a case, the encoding would be I3 B1 B2 I6 * B4 B5 * P9 * B7 * .... Here, the ones marked with * indicate the frames after the scene change.

【００４１】[0041]

【発明の効果】本発明によれば、受信バッファを最大値
に近い値に制御し、しかもシーンチェンジを符号化前に
検出し多くの符号を割り当てるために、画質の劣化およ
びコマ落としが生じない。さらに定常状態ではバッファ
が一定になっているために、遅延量が一定の見やすい画
像が得られる。According to the present invention, since the reception buffer is controlled to a value close to the maximum value, and moreover, a scene change is detected before encoding and a large number of codes are assigned, deterioration of image quality and frame dropping do not occur. . Furthermore, since the buffer is constant in the steady state, an image with a constant delay amount that is easy to see can be obtained.

【図面の簡単な説明】[Brief description of drawings]

【図１】図１は画像伝送システムの説明図。FIG. 1 is an explanatory diagram of an image transmission system.

【図２】図２はフレーム間符号化回路の従来例を説明す
る図。FIG. 2 is a diagram for explaining a conventional example of an interframe coding circuit.

【図３】図３はフレーム間復号化回路の説明図。FIG. 3 is an explanatory diagram of an interframe decoding circuit.

【図４】図４は量子化制御回路の従来例を説明する図。FIG. 4 is a diagram illustrating a conventional example of a quantization control circuit.

【図５】図５はＨ．２６１における受信バッファ量の推
移を説明する図。FIG. 5 shows H.264. 26 is a diagram for explaining the transition of the reception buffer amount in H.261.

【図６】図６はＭＰＥＧにおえける受信バッファ量の推
移を説明する図。FIG. 6 is a diagram for explaining a transition of a reception buffer amount in MPEG.

【図７】図７は本発明を用いたフレーム間符号化回路の
実施例。FIG. 7 is an embodiment of an interframe coding circuit using the present invention.

【図８】図８は本発明を用いた量子化制御回路の詳細説
明図。FIG. 8 is a detailed explanatory diagram of a quantization control circuit using the present invention.

【図９】図９は本発明を用いたシーンチェンジ検出回路
の実施例。FIG. 9 is an embodiment of a scene change detection circuit using the present invention.

【図１０】図１０は本発明を用いたフレーム間符号化回
路の受信バッファ量推移を説明する図。FIG. 10 is a diagram for explaining a transition of a receiving buffer amount of the interframe coding circuit using the present invention.

【符号の説明】[Explanation of symbols]

１…画像入力カメラ、 ５…画像符号化回路、 ７…送信バッファ、 ９…受信バッファ、 １１…画像復号化回路、 １５…モニタ、 ２４…量子化回路、 ３４…符号量計測回路、 ３６…量子化制御回路、 ６０…目標符号量設定回路、 ６２…量子化ステップサイズ計算回路、 ７１…シーンチェンジ検出回路、 ８０…目標符号量設定Ａ回路、 ８８…目標符号量設定Ｂ回路、 ９０…輝度平均値計算回路。 DESCRIPTION OF SYMBOLS 1 ... Image input camera, 5 ... Image encoding circuit, 7 ... Transmission buffer, 9 ... Reception buffer, 11 ... Image decoding circuit, 15 ... Monitor, 24 ... Quantization circuit, 34 ... Code amount measuring circuit, 36 ... Quantum Control circuit, 60 ... Target code amount setting circuit, 62 ... Quantization step size calculation circuit, 71 ... Scene change detection circuit, 80 ... Target code amount setting A circuit, 88 ... Target code amount setting B circuit, 90 ... Luminance average Value calculation circuit.

Claims (2)

【特許請求の範囲】[Claims] 【請求項１】テレビジョン信号のフレーム間符号化装置
において、フレーム間の変化量を検出する手段、変化量
の大きいフレームをフレーム内符号化する手段有するこ
とを特徴とするフレーム間符号化装置。1. An interframe coding apparatus for a television signal, which comprises means for detecting a change amount between frames and means for intraframe coding a frame having a large change amount. 【請求項２】請求項１に記載のフレーム間符号化装置に
おいて、符号化した画像を一旦バッファメモリに蓄える
手段、蓄えた符号を所定の読出し速度で読み出す手段、
フレーム内符号化したフレームを伝送してから一定期間
以内にバッファメモリの残量を所定値以下に制御する手
段、該フレームを伝送してから一定期間以降、次のフレ
ーム内符号化を行うまでの期間、バッファメモリの残量
を所定値以下に制御する手段を有することを特徴とする
フレーム間符号化装置。2. The interframe coding apparatus according to claim 1, wherein the coded image is temporarily stored in a buffer memory, and the stored code is read at a predetermined read speed.
Means for controlling the remaining amount of the buffer memory to be a predetermined value or less within a fixed period after transmitting the intra-coded frame, and after the fixed period after transmitting the frame until the next intra-frame encoding is performed. An interframe coding apparatus, comprising means for controlling the remaining amount of the buffer memory to be a predetermined value or less for a period.