JP2003189311A - Image encoder and image encoding method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image encoder and an image encoding method that can maintain a stable output by preventing a wasteful increasing of an encoding quantity without the need for complicated calculations and realize processing with less delay. <P>SOLUTION: The image encoder and the image encoding method can easily set a target encoding quantity by a prescribed unit by multiplying a rate of the encoding quantity by each prescribed unit being divisions of a moving picture by a target encoding quantity of one picture resulting from e.g. a division of an output channel capacity by an input frame rate. The image encoder encodes the input picture in matching with a code generating state of the input picture by reflecting the encoding quantity at input or a dispersing state of the encode quantity in the picture on the target encoding quantity at output in this way. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、画像符号化装置及
び画像符号化方法に関する。TECHNICAL FIELD The present invention relates to an image coding apparatus and an image coding method.

【０００２】[0002]

【従来の技術】従来、画像符号化装置としては、特開平
７−３１２７５４号公報に記載されているものがある。2. Description of the Related Art Conventionally, as an image coding apparatus, there is one described in Japanese Patent Application Laid-Open No. 7-312754.

【０００３】図１０は、従来の動画像符号化装置の構成
を示すブロック図である。この図１０に示されるよう
に、従来の動画像符号化装置は、まず、入力画像ｘが、
動き補償を行う予測部１と減算部１９に入力される。そ
して、予測部１から予測された画像Ｘが減算部１９に供
給され、当該減算部１９において入力画像ｘと予測され
た画像Ｘとの差分（予測誤差信号ｅ）が算出される。FIG. 10 is a block diagram showing the structure of a conventional moving picture coding apparatus. As shown in FIG. 10, in the conventional moving image coding apparatus, first, the input image x is
It is input to the prediction unit 1 and the subtraction unit 19 that perform motion compensation. Then, the image X predicted from the prediction unit 1 is supplied to the subtraction unit 19, and the difference (prediction error signal e) between the input image x and the predicted image X is calculated in the subtraction unit 19.

【０００４】減算部１９は、この予測誤差信号ｅを直交
変換部３に供給する。直交変換部３は、減算部１９から
供給された予測誤差信号ｅを離散コサイン変換等の手法
により直交変換係数に変換した後、これを量子化部４に
供給する。量子化部４は、直交変換部３から供給された
直交変換係数を所定の量子化ステップで量子化し、当該
量子化された結果である量子化値をＶＬＣ（Variable L
ength Code）部５及び逆量子化部８にそれぞれ供給す
る。The subtracting section 19 supplies the prediction error signal e to the orthogonal transform section 3. The orthogonal transform unit 3 transforms the prediction error signal e supplied from the subtraction unit 19 into an orthogonal transform coefficient by a method such as discrete cosine transform, and then supplies this to the quantization unit 4. The quantizing unit 4 quantizes the orthogonal transform coefficient supplied from the orthogonal transforming unit 3 in a predetermined quantizing step, and quantizes the resulting quantized value into a VLC (Variable L
It is supplied to the ength code) unit 5 and the inverse quantization unit 8.

【０００５】ＶＬＣ部５は、量子化部４から供給された
信号の直流成分ＤＣについては、前ブロックの直交成分
との差分をとることにより、ＤＰＣＭ（Differential P
ulseCode Modulation）化を行い、また、交流成分ＡＣ
については、低周波成分から高周波成分の順序に従い、
ジグザグスキャンを行う。このときＶＬＣ部５は、量子
化部４から供給された信号の直交成分について、ジグザ
グスキャンによるデータ列のゼロラン長（ゼロ係数の個
数）とラン（Run）が終了した後の量子化値に対して、
２次元ハフマン符号化を行う。その後、ＶＬＣ部５の出
力はバッファ部６を介して伝送路に出力される。The VLC unit 5 calculates the difference between the DC component DC of the signal supplied from the quantizing unit 4 and the orthogonal component of the preceding block to obtain a DPCM (Differential P
ulseCode Modulation) and AC component AC
For, according to the order of low frequency component to high frequency component,
Perform a zigzag scan. At this time, the VLC unit 5 determines the zero run length (the number of zero coefficients) of the data string by the zigzag scan and the quantized value after the run for the orthogonal component of the signal supplied from the quantizer 4. hand,
Performs two-dimensional Huffman coding. After that, the output of the VLC unit 5 is output to the transmission path via the buffer unit 6.

【０００６】一方、加算器７において、前記量子化部４
から出力された量子化値を逆量子化部８、逆直交変換部
９により逆直交変換した信号と、１フレーム前の予測信
号（予測画像Ｘ）が加算され、その加算結果が局部復号
信号出力として予測部１に供給される。予測部１は、加
算部７から供給される局部復号信号を１フレーム分遅延
させた後、これを新たに動き補償された予測信号（予測
画像Ｘ）として、減算部１９に供給する。On the other hand, in the adder 7, the quantizer 4
A signal obtained by performing inverse orthogonal transform on the quantized value output from the inverse quantizer 8 and the inverse orthogonal transformer 9 is added to the prediction signal (prediction image X) one frame before, and the addition result is output as a locally decoded signal. Is supplied to the prediction unit 1. The prediction unit 1 delays the locally decoded signal supplied from the addition unit 7 by one frame, and then supplies this to the subtraction unit 19 as a newly motion-compensated prediction signal (prediction image X).

【０００７】この従来の動画像符号化装置は、かかる基
本構成に加えて、伝送可能な可能総符号量と実際に発生
している実総符号量とを比較し、当該比較結果に基づい
て、目標符号量を決定する構成が加えられている。In addition to the basic structure, this conventional moving picture coding apparatus compares the total transmittable code amount with the actual total code amount actually generated, and based on the comparison result, A configuration for determining the target code amount is added.

【０００８】すなわち、図１０において、減算部１９
は、上記２つのフレーム信号の差分をとって直交変換部
３に供給することに加えて、各領域ごとの差分信号の絶
対値の和を加算し、当該加算結果を相関信号としてステ
ップ切換え部３４に供給する。That is, in FIG. 10, the subtraction unit 19
In addition to taking the difference between the two frame signals and supplying it to the orthogonal transformation unit 3, the sum of the absolute values of the difference signals for each region is added, and the addition result is used as a correlation signal in the step switching unit 34. Supply to.

【０００９】符号量測定器２０は、ＶＬＣ部５において
発生した可変長符号化されたフレームの各領域ごとの符
号量を測定し、目標量算出器２８および特性算出器２２
に出力する。目標量算出器２８は、符号量測定器２０で
測定された各領域ごとの符号量を累算して符号化を開始
してから現在までの実際に発生した実総符号量を累算す
るとともに、符号化を開始してから現在までの総時間と
符号化信号を伝送する単位時間あたりの伝送速度より伝
送可能な可能総符号量を算出する。The code amount measuring device 20 measures the code amount for each area of the variable-length coded frame generated in the VLC unit 5, and the target amount calculating device 28 and the characteristic calculating device 22.
Output to. The target amount calculator 28 accumulates the code amount for each area measured by the code amount measurer 20 and accumulates the actual total code amount actually generated from the start of encoding to the present. Then, the total transmittable code amount is calculated from the total time from the start of encoding to the present and the transmission rate per unit time for transmitting the encoded signal.

【００１０】目標量算出器２８は、その上で実総符号量
と可能総符号量とを比較し、実総符号量が可能総符号量
より大きければ目標符号量をそれまでより減らす。また
少なければ、目標符号量をそれまでより増やす。The target amount calculator 28 then compares the actual total code amount with the possible total code amount, and if the actual total code amount is larger than the possible total code amount, reduces the target code amount until then. If the number is small, the target code amount is increased more than before.

【００１１】目標量算出器２８は、このようにして決定
した値をフレーム全体の目標符号量とし、フレーム内の
各領域ごとに大きさに応じて分配することにより、各領
域ごとの目標発生情報量を求め、量子化ステップ計算器
２３に供給する。The target amount calculator 28 uses the value thus determined as the target code amount of the entire frame, and distributes it to each region in the frame according to the size, thereby generating target generation information for each region. The quantity is obtained and supplied to the quantization step calculator 23.

【００１２】また、特性算出器２２は、量子化ステップ
と、当該量子化ステップを使用して可変長符号化した結
果の符号量の測定結果である符号量測定器２０の出力と
を使用してフレームの各領域における特性値を算出す
る。特性値メモリ２４は、特性算出器２２で算出された
各領域ごとの特性値を保存する。量子化ステップ計算器
２３は、各領域ごとにその領域の目標量算出器２８の出
力である目標量と特性値メモリ２４の出力である前フレ
ームのその領域の特性値とから新たな量子化ステップを
算出する。Further, the characteristic calculator 22 uses the quantization step and the output of the code amount measuring device 20 which is the measurement result of the code amount as a result of variable length coding using the quantization step. The characteristic value in each area of the frame is calculated. The characteristic value memory 24 stores the characteristic value for each area calculated by the characteristic calculator 22. The quantizing step calculator 23 calculates a new quantizing step for each region from the target amount which is the output of the target amount calculator 28 of the region and the characteristic value of the region of the previous frame which is the output of the characteristic value memory 24. To calculate.

【００１３】そして、減算部１９からステップ切換え部
３４に供給される相関信号がある閾値以下である場合に
は、算出された新たな量子化ステップを量子化部４に供
給することにより、量子化部４において当該新たな量子
化ステップを用いた量子化処理を実行する。これに対し
て、相関信号がある閾値以上である場合には、それまで
と同様に量子化ステップを決定する。When the correlation signal supplied from the subtraction unit 19 to the step switching unit 34 is below a certain threshold value, the calculated new quantization step is supplied to the quantization unit 4 to perform quantization. The unit 4 executes the quantization process using the new quantization step. On the other hand, when the correlation signal is equal to or higher than a certain threshold value, the quantization step is determined as before.

【００１４】[0014]

【発明が解決しようとする課題】しかしながら、従来の
動画像符号化装置においては、ピクチャ又はピクチャを
分割して得られる部分画像ごとの目標符号量を決定する
際に複雑な計算を要する上に、現在までの実際に発生し
た実総符号量と伝送可能な可能総符号量との比較結果に
基づいて目標符号量を求めており、当該求まった目標符
号量は、過去の情報からの推測でしかなく、必ずしも現
在のピクチャ又はピクチャを分割して得られる部分画像
にふさわしい値であるとは限らず、実際に符号化を行っ
た際に実際の符号量が目標符号量と大きく異なることが
あった。However, in the conventional moving image coding apparatus, in addition to requiring complicated calculation when determining the target code amount for each picture or partial image obtained by dividing the picture, The target code amount is calculated based on the result of comparison between the actual total code amount that has actually occurred up to now and the total transmittable code amount.The calculated target code amount can only be estimated from past information. However, it is not always a value suitable for the current picture or a partial image obtained by dividing the picture, and the actual code amount may differ greatly from the target code amount when actually encoding. .

【００１５】しかも、正確な符号量調節を行うことが困
難であったことにより、ピクチャごとの符号量にばらつ
きができ、極端に大きな符号量を持つピクチャができて
しまった場合に、不用意な駒落としや遅延を招いてしま
うおそれがあった。Moreover, since it is difficult to accurately adjust the code amount, the code amount varies from picture to picture, and when a picture having an extremely large code quantity is produced, it is inadvertent. There was a risk of dropping pieces and delays.

【００１６】本発明はかかる点に鑑みてなされたもので
あり、符号化方式を変換する際に、無駄な符号量の増大
を防ぎ、安定した出力を保つとともに、遅延を少なくす
ることができる画像符号化装置及び画像符号化方法を提
供することを目的とする。The present invention has been made in view of the above point, and when converting the encoding method, it is possible to prevent an unnecessary increase in the code amount, maintain a stable output, and reduce the delay. An object is to provide an encoding device and an image encoding method.

【００１７】[0017]

【課題を解決するための手段】本発明の画像符号化装置
は、動画像の符号量又は当該符号量のピクチャ内での分
散状態に基づいて、当該動画像を符号化する際の目標符
号量を決定する目標符合量決定手段、を有する構成を採
る。According to the image coding apparatus of the present invention, a target code amount for coding a moving image based on a code amount of the moving image or a dispersion state of the code amount in a picture. A target code amount determining means for determining is adopted.

【００１８】この構成によれば、入力時の符号量又は当
該符号量のピクチャ内での分散状態が出力時の目標符号
量に反映されることによって、複雑な計算を必要とせ
ず、無駄な符号量の増大を防ぎ安定した出力を保つとと
もに、遅延を少なくすることができる。According to this configuration, the code amount at the time of input or the dispersion state of the code amount in the picture is reflected in the target code amount at the time of output, so that complicated calculation is not necessary and useless code is generated. It is possible to prevent an increase in the amount, maintain a stable output, and reduce the delay.

【００１９】本発明の画像符号化装置は、動画像のフレ
ームレートを計測する入力フレームレート計測手段と、
前記動画像のデータを送出する回線の伝送容量及び前記
入力フレームレート計測手段によって計測された入力フ
レームレートに基づいて、ピクチャ毎の目標符号量を算
出するピクチャ目標符号量算出手段と、前記動画像のピ
クチャを分割して得られる所定単位の符号量の当該ピク
チャ内での割合を前記所定単位毎に算出し、当該算出結
果及び前記ピクチャ毎の目標符号量に基づいて前記所定
単位ごとの目標符号量を決定する手段と、前記決定に基
づいて前記動画像を符号化する符号化手段と、を有する
構成を採る。The image coding apparatus of the present invention comprises input frame rate measuring means for measuring the frame rate of a moving image,
Picture target code amount calculating means for calculating a target code amount for each picture based on a transmission capacity of a line for transmitting the data of the moving image and an input frame rate measured by the input frame rate measuring means; The ratio of the code amount of a predetermined unit obtained by dividing the picture is calculated for each predetermined unit, and the target code for each predetermined unit is calculated based on the calculation result and the target code amount for each picture. A configuration including a unit that determines the amount and a coding unit that encodes the moving image based on the determination is adopted.

【００２０】この構成によれば、動画像のピクチャを分
割してなる所定単位毎の符号量の割合を、例えば、出力
回線容量を入力フレームレートで割った、１ピクチャの
目標符号量に乗じることにより、前記所定単位毎の目標
符号量を容易に設定することができる。これにより、動
きが大きい等で符号量が大きくなる部分により多く符号
量が割り当てられるようピクチャ内での目標符号量の分
配が行われるため、ピクチャ内で有効に符号量を割り当
てることが可能となり、効率的な符号化を行い得るので
画質を向上させることができる。従って、無駄な符号量
の増大を防ぎ、安定した出力を保つとともに、遅延を少
なくすることができる。According to this structure, the ratio of the code amount for each predetermined unit obtained by dividing the picture of the moving image is multiplied by the target code amount of one picture obtained by dividing the output line capacity by the input frame rate, for example. Thereby, the target code amount for each of the predetermined units can be easily set. As a result, since the target code amount is distributed within the picture so that the code amount is allocated more to the portion where the code amount is large due to large motion, the code amount can be effectively allocated within the picture. Since efficient encoding can be performed, the image quality can be improved. Therefore, it is possible to prevent an unnecessary increase in the code amount, maintain a stable output, and reduce the delay.

【００２１】本発明の画像符号化装置は、上記の構成に
おいて、前記符号化手段によって符号化して得られた前
記所定単位の符号量が、前記所定単位毎の目標符号量に
対して所定の定数を乗じた値を越えた場合のみ、当該所
定単位のみ量子化値を修正して符号化し直すように前記
符号化手段を制御する符号量比較手段を有する構成を採
る。In the image coding apparatus of the present invention, in the above-mentioned configuration, the code amount of the predetermined unit obtained by coding by the coding unit is a predetermined constant with respect to the target code amount of each of the predetermined units. Only when the value multiplied by is exceeded, the code amount comparing means for controlling the encoding means is adapted so that the quantized value is corrected and encoded again only in the predetermined unit.

【００２２】この構成によれば、ピクチャ内の所定単位
毎に符号量制御のフィードバック処理をかけるため、遅
延を極力少なくした中での回線容量に合った安定した符
号量の提供を実現することができる。According to this structure, since the feedback processing of the code amount control is performed for each predetermined unit in the picture, it is possible to realize the provision of a stable code amount suitable for the line capacity while minimizing the delay. it can.

【００２３】本発明の画像符号化装置は、動画像の入力
ビットレートを測定する入力ビットレート測定手段と、
前記動画像を符号化する符号化手段と、前記符号化手段
から出力される動画像の出力ビットレートを測定する出
力ビットレート測定手段と、前記入力ビットレート測定
手段によって測定された入力ビットレートに所定の定数
を乗じた値が前記出力ビットレート測定手段により測定
された出力ビットレートを上回り、かつ前記符号化手段
の出力側に設けられた送信バッファの残留量が所定の閾
値を超えている場合に前記符号化手段の符号化前に駒落
としを行う駒落とし手段と、を有する構成を採る。The image coding apparatus of the present invention comprises input bit rate measuring means for measuring the input bit rate of a moving image,
Encoding means for encoding the moving image, output bit rate measuring means for measuring the output bit rate of the moving image output from the encoding means, and input bit rate measured by the input bit rate measuring means When the value multiplied by a predetermined constant exceeds the output bit rate measured by the output bit rate measuring means, and the residual amount of the transmission buffer provided on the output side of the encoding means exceeds a predetermined threshold value. And a frame dropping means for dropping frames before the encoding by the encoding means.

【００２４】この構成によれば、入出力ビットレートの
比較結果に基づいて、駒落とし処理を実行するため、安
定した出力符号量の提供が可能となり、遅延を軽減する
ことができる。According to this structure, since the frame dropping process is executed based on the comparison result of the input / output bit rates, it is possible to provide a stable output code amount and reduce the delay.

【００２５】本発明の画像符号化装置は、上記構成にお
いて、前記定数を変化させることにより、前記入力ビッ
トレート及び前記出力ビットレートの比較に基づく駒落
とし処理の優先度を決定する優先度判断手段を有する構
成を採る。In the image coding apparatus of the present invention, in the above configuration, priority determining means for determining the priority of the frame dropping processing based on the comparison of the input bit rate and the output bit rate by changing the constant. Is adopted.

【００２６】この構成によれば、駒落としの行い易さで
ある優先度を、定数を変えることによって制御するた
め、駒数を優先させたい場合、又は遅延を少なくしたい
場合等の要求に応じて駒落としの行われ易さの傾向を容
易に変えることができる。According to this structure, the priority, which is the ease of dropping frames, is controlled by changing the constant, so that it is possible to prioritize the number of frames or to reduce the delay in response to a request. It is easy to change the tendency of dropping pieces.

【００２７】本発明の画像符号化装置は、復号化手段を
介して入力される動画像の入力ビットレートを測定する
入力ビットレート測定手段と、前記動画像を符号化する
符号化手段と、前記符号化手段から出力される動画像の
データの出力ビットレートを測定する出力ビットレート
測定手段と、前記入力ビットレート測定手段によって計
測された入力ビットレートに所定の定数を乗じた値が前
記出力ビットレート測定手段によって計測された出力ビ
ットレートを上回る場合のみ、前記入力される動画像の
所定のピクチャを復号化しないように前記復号化手段を
制御する駒落とし制御手段と、を有する構成を採る。The image coding apparatus of the present invention comprises an input bit rate measuring means for measuring an input bit rate of a moving image input through a decoding means, an encoding means for encoding the moving image, and Output bit rate measuring means for measuring the output bit rate of the moving image data output from the encoding means, and a value obtained by multiplying the input bit rate measured by the input bit rate measuring means by a predetermined constant is the output bit. Only when the output bit rate measured by the rate measuring means is exceeded, a frame dropping control means for controlling the decoding means so as not to decode a predetermined picture of the input moving image is adopted.

【００２８】この構成によれば、Ｂピクチャ（Bidirect
ionally predictive-coded picture）は他のピクチャ
（Ｉピクチャ（Intra-coded picture）、Ｐピクチャ（P
redictive-coded picture））を復号化する際に必要と
ならないことを利用して、回線に余裕がある場合にのみ
Ｂピクチャを復号化することによりピクチャ枚数を増や
すため、出力画像の動きをより滑らかにすることができ
る。また、回線に余裕がある場合にのみＢピクチャを復
号化するため、強制的に全てのＢピクチャを復号化する
場合と違い、遅延や符号化時にピクチャ一枚当たりに割
り当てる符号量の低下による画質の劣化を抑えることが
できる。According to this structure, a B picture (Bidirect
ionally predictive-coded picture is another picture (I picture (Intra-coded picture), P picture (P
redictive-coded picture)) is not required when decoding, and the number of pictures is increased by decoding B-pictures only when there is a line, so the output image motion is smoother. Can be In addition, since B pictures are decoded only when there is a margin on the line, unlike in the case where all B pictures are forcibly decoded, image quality due to a decrease in the code amount assigned per picture at the time of delay or encoding Can be suppressed.

【００２９】本発明の画像符号化装置は、上記構成にお
いて、前記所定の定数を変化させることにより、Ｂピク
チャを復号化するか否かの決定に重み付けを行う優先度
判断手段を有する構成を採る。The image coding apparatus of the present invention adopts the above-mentioned configuration, which has a priority determination means for weighting the decision whether or not to decode the B picture by changing the predetermined constant. .

【００３０】この構成によれば、Ｂピクチャを復号化す
るか否かの傾向である重み付けを定数を変化させること
によって制御するため、画質を優先させたい場合、又は
動きを重視する場合等に応じて、Ｂピクチャの復号化の
され易さの傾向を容易に変えることができる。According to this configuration, since the weighting, which is the tendency of whether or not to decode the B picture, is controlled by changing the constant, it is possible to prioritize the image quality or to emphasize the motion. Thus, the tendency of the B picture to be easily decoded can be easily changed.

【００３１】本発明の画像符号化方法は、出力回線の伝
送容量及び入力された動画像のフレームレートに基づい
て、ピクチャ毎の目標符号量を算出するピクチャ目標符
号量算出ステップと、入力された前記動画像のピクチャ
内の所定単位毎に、当該ピクチャ内での符号量の割合を
計測する符号量割合計測ステップと、前記算出されたピ
クチャ毎の目標符号量を、前記計測された所定単位毎の
符号量の割合で分配することにより前記所定単位毎の目
標符号量を決定する所定単位目標符号量決定ステップ
と、前記決定された所定単位毎の目標符号量に基づい
て、前記動画像の符号化を行うステップと、を具備する
ようにした。The image coding method of the present invention includes a picture target code amount calculating step for calculating a target code amount for each picture based on the transmission capacity of the output line and the frame rate of the input moving image. For each predetermined unit in the picture of the moving image, a code amount ratio measuring step of measuring a ratio of the code amount in the picture, and the calculated target code amount for each picture are calculated for each predetermined unit. A predetermined unit target code amount determining step for determining a target code amount for each predetermined unit by distributing the code amount of the predetermined unit, and the code of the moving image based on the determined target code amount for each predetermined unit. And a step of performing conversion.

【００３２】この方法によれば、動きが大きい等で符号
量が大きくなる部分により多く符号量が割り当てられる
ようピクチャ内での目標符号量の分配を行うため、効率
的な符号化を行うことができる。According to this method, since the target code amount is distributed within the picture so that a larger code amount is allocated to a portion where the code amount is large due to large motion, etc., efficient coding can be performed. it can.

【００３３】本発明の画像符号化方法は、動画像の入力
ビットレートを測定する入力ビットレート測定ステップ
と、前記動画像を符号化する符号化ステップと、前記符
号化された後の動画像の出力ビットレートを測定する出
力ビットレート測定ステップと、前記測定された入力ビ
ットレートに所定の定数を乗じた値が前記測定された出
力ビットレートを上回り、かつ前記符号化された動画像
が出力回線に送信される前に一旦格納される送信バッフ
ァの残留量が所定の閾値を超えている場合に、前記動画
像に対して前記符号化の前に駒落とし処理を行う駒落と
しステップと、を具備するようにした。The image coding method of the present invention comprises an input bit rate measuring step for measuring an input bit rate of a moving image, an encoding step for encoding the moving image, and a moving image after the encoding. An output bit rate measuring step of measuring an output bit rate, a value obtained by multiplying the measured input bit rate by a predetermined constant exceeds the measured output bit rate, and the encoded moving image is output on an output line. If the residual amount of the transmission buffer that is temporarily stored before being transmitted to the above exceeds a predetermined threshold value, a frame dropping step for performing a frame dropping process on the moving image before the encoding is performed. I decided to do it.

【００３４】この方法によれば、入出力ビットレートの
比較結果に基づいて、駒落とし処理を実行するため、安
定した出力符号量の提供が可能となり、遅延を軽減する
ことができる。According to this method, since the frame dropping process is executed based on the comparison result of the input / output bit rates, it is possible to provide a stable output code amount and reduce the delay.

【００３５】本発明の画像符号化方法は、復号化手段を
介して入力される動画像の入力ビットレートを測定する
入力ビットレート測定ステップと、前記動画像を符号化
する符号化ステップと、前記符号化された後の動画像の
出力ビットレートを測定する出力ビットレート測定ステ
ップと、前記測定された入力ビットレートに所定の定数
を乗じた値が前記測定された出力ビットレートを上回る
場合のみ、前記入力される動画像の所定のピクチャを復
号化しないように前記復号化手段を制御する駒落とし制
御ステップと、を具備するようにした。The image coding method of the present invention comprises: an input bit rate measuring step of measuring an input bit rate of a moving image input through a decoding means; an encoding step of encoding the moving image; An output bit rate measuring step of measuring an output bit rate of a moving image after being encoded, and only when a value obtained by multiplying the measured input bit rate by a predetermined constant exceeds the measured output bit rate, A frame dropping control step for controlling the decoding means so as not to decode a predetermined picture of the input moving image.

【００３６】この方法によれば、Ｂピクチャは他のピク
チャ（Ｉピクチャ、Ｐピクチャ）を復号化する際に必要
とならないことを利用して、回線に余裕がある場合にの
みＢピクチャを復号化することによってピクチャ枚数を
増やすため、出力画像の動きをより滑らかにすることが
できる。また、回線に余裕がある場合にのみＢピクチャ
を復号化するため、強制的に全てのＢピクチャを復号化
する場合と違い、遅延や符号化時にピクチャ一枚当たり
に割り当てる符号量の低下による画質の劣化を押さえる
ことができる。According to this method, the B picture is decoded only when the line has a margin by utilizing the fact that the B picture is not necessary when decoding other pictures (I picture, P picture). By doing so, the number of pictures is increased, so that the motion of the output image can be made smoother. In addition, since B pictures are decoded only when there is a margin on the line, unlike in the case where all B pictures are forcibly decoded, image quality due to a decrease in the code amount assigned per picture at the time of delay or encoding The deterioration of can be suppressed.

【００３７】[0037]

【発明の実施の形態】本発明の骨子は、入力時の符号量
又は当該符号量のピクチャ内での分散状態を出力時の目
標符号量に反映させることによって、複雑な計算を必要
とせず、無駄な符号量の増大を防ぎ安定した出力を保つ
とともに、遅延の少ない画像符号化装置及び画像符号化
方法を提供することにある。BEST MODE FOR CARRYING OUT THE INVENTION The essence of the present invention is that, by reflecting the code amount at the time of input or the dispersion state within the picture of the code amount at the target code amount at the time of output, complicated calculation is not required, An object of the present invention is to provide an image encoding device and an image encoding method which prevent a wasteful increase of the code amount and maintain a stable output, and have a small delay.

【００３８】以下、本発明の実施の形態について、図面
を参照して詳細に説明する。ただし、ここでは、ピクチ
ャとは画像ストリームの内のある１フレーム分の画像の
ことを意味し、画像とはピクチャを含むある部分的な画
像ストリームを意味する。また、画像ストリームとは、
動画像のストリームを意味するものとする。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, here, a picture means an image for one frame in an image stream, and an image means a partial image stream including a picture. What is an image stream?
It means a stream of moving images.

【００３９】（実施の形態１）図１は、本発明の実施の
形態１に係る画像符号化装置を含む画像符号化方式変換
装置の構成を示すブロック図である。この画像符号化方
式変換装置は、例えば、携帯端末装置から受け取ったＭ
ＰＥＧ４（Moving Picture Experts Group 4）の規格に
基づく符号化方式で符号化された第１の画像ストリーム
を、Ｈ.２６３勧告に基づく符号化方式で再符号化し、
これをＩＳＤＮ（Integrated ServicesDigital Networ
k）のテレビ電話機に送信するようになされている。(Embodiment 1) FIG. 1 is a block diagram showing a configuration of an image coding system conversion apparatus including an image coding apparatus according to Embodiment 1 of the present invention. This image encoding system conversion device is, for example, an M received from a mobile terminal device.
The first image stream encoded by the encoding method based on the PEG4 (Moving Picture Experts Group 4) standard is re-encoded by the encoding method based on the H.263 recommendation,
ISDN (Integrated Services Digital Networ)
k) It is designed to be sent to videophones.

【００４０】図１において、入力バッファ１０１は、入
力された符号化済みの第１の画像ストリームを復号前に
保存しておくメモリである。フレームレート計測装置１
０２は、入力された第１の画像ストリームに秒間何枚の
ピクチャが含まれているかを表すフレームレートを計測
する装置である。ピクチャ目標符号量算出装置１０４
は、符号化時に発生させる符号量の目安である目標符号
量をピクチャ単位で算出するための装置である。復号化
装置１０９は、実際に第１の画像ストリームを復号化す
る装置である。ライン目標符号量算出装置１１０は、復
号化装置１０９にリンクして動作し、マクロブロックラ
イン（以下これをＭＢＬと呼ぶ）毎の目標符号量を求め
る装置である。フレームメモリ１１１は、復号化によっ
て生成された画像を符号化する前に蓄えておくためのメ
モリである。符号化装置１１２は、復号化装置１０９に
よって復号化された画像を符号化する装置である。符号
量比較装置１１３は、前記符号化装置１１２で実際に符
号化された第２の画像ストリームがライン目標符号量算
出装置１１０で算出された目標符号量に対して妥当であ
るかの判断を下す装置である。送信バッファ１１５は、
符号化装置１１２によって符号化された第２の画像スト
リームを格納するメモリである。これらの画像符号化方
式変換装置１００を構成する複数ブロックのうち、少な
くとも、フレームレート計測装置１０２、ピクチャ目標
符号量算出装置１０４、ライン目標符号量算出装置１１
０、符号化装置１１２及び符号量比較装置１１３によっ
て画像符号化装置が構成される。In FIG. 1, the input buffer 101 is a memory for storing the input coded first image stream before decoding. Frame rate measuring device 1
Reference numeral 02 is a device that measures a frame rate that indicates how many pictures are included in the input first image stream per second. Picture target code amount calculation device 104
Is a device for calculating the target code amount, which is a standard of the code amount generated at the time of encoding, in picture units. The decoding device 109 is a device that actually decodes the first image stream. The line target code amount calculation device 110 is a device that operates by linking to the decoding device 109 and obtains a target code amount for each macroblock line (hereinafter referred to as MBL). The frame memory 111 is a memory for storing an image generated by decoding before encoding. The encoding device 112 is a device that encodes the image decoded by the decoding device 109. The code amount comparison device 113 determines whether the second image stream actually encoded by the encoding device 112 is appropriate for the target code amount calculated by the line target code amount calculation device 110. It is a device. The transmission buffer 115 is
It is a memory that stores the second image stream encoded by the encoding device 112. Of the plurality of blocks forming the image coding method conversion apparatus 100, at least the frame rate measurement apparatus 102, the picture target code amount calculation apparatus 104, and the line target code amount calculation apparatus 11
0, the encoding device 112, and the code amount comparison device 113 constitute an image encoding device.

【００４１】以上のように構成された画像符号化方式変
換装置１００の動作について、図１を用いて説明する。
入力された第１の画像ストリームは、入力バッファ１０
１に蓄えられた後に、復号化装置１０９で一旦復号化さ
れてからフレームレート計測装置１０２を介してフレー
ムメモリ１１１に格納され、その後再度符号化装置１１
２において符号化され、さらに、符号量比較装置１１３
において符号量が比較された後に、送信バッファ１１５
に送信されるという過程を得ることで、第１の画像スト
リームは、例えばＭＰＥＧ４（Moving Picture Experts
Group 4）の規格に基づく符号化方式からＨ.２６３勧
告に基づく符号化方式に変換される。その過程の中で、
ライン目標符号量算出装置１１０は、符号化装置１１２
で符号化する際のＭＢＬ毎の目標符号量を算出する。例
えばピクチャ目標符号量算出装置１０４において、出力
回線容量をフレームレート計測装置１０２で計測された
フレームレートで割ったものを１ピクチャの目標符号量
として算出するとともに、復号化装置１０９で復号化が
行われている際のその入力ピクチャにおけるＭＢＬ毎の
実際の発生符号量の当該入力ピクチャ内での割合を計測
し、１ピクチャの目標符号量をその割合で分割しＭＢＬ
毎の目標符号量Ｚを求める。The operation of the image coding system conversion apparatus 100 configured as described above will be described with reference to FIG.
The input first image stream is input to the input buffer 10
1 is stored in the frame memory 111 via the frame rate measuring device 102 after being decoded by the decoding device 109, and then the coding device 11 again.
2 is encoded, and further, the code amount comparison device 113
After the code amount is compared in
The first image stream is, for example, MPEG4 (Moving Picture Experts).
The coding method based on the Group 4) standard is converted to the coding method based on the H.263 recommendation. In the process,
The line target code amount calculation device 110 includes an encoding device 112.
The target code amount for each MBL at the time of encoding is calculated. For example, in the picture target code amount calculation device 104, the output line capacity divided by the frame rate measured by the frame rate measurement device 102 is calculated as the target code amount of one picture, and the decoding device 109 performs decoding. The ratio of the actual amount of generated code for each MBL in the input picture during measurement is measured, and the target code amount of one picture is divided by the ratio to determine MBL.
The target code amount Z for each is obtained.

【００４２】符号化装置１１２は、ライン目標符号量算
出装置１１０で算出された目標符号量Ｚを目標に符号化
する。符号量比較装置１１３は、符号化装置１１２によ
って符号化された第２の画像ストリームについて、その
ＭＢＬ毎に、前記目標符号量Ｚにある値Ｘを乗じた値Ｙ
と実際に符号化によって発生した実符号量とを比較し、
実符号量が値Ｙを越えていた場合のみ符号化装置１１２
の量子化係数を上げて符号量を落とすように符号化装置
１１２を制御して、フレームメモリに残っている同じ画
像について、これを再符号化するというフィードバック
処理を施し、送信バッファ１１５へ送る。The encoder 112 encodes the target code amount Z calculated by the line target code amount calculator 110 as a target. The code amount comparison device 113 multiplies the target code amount Z by a value Y for each MBL of the second image stream coded by the coding device 112.
And the actual amount of code generated by encoding,
The encoder 112 only when the actual code amount exceeds the value Y.
The encoding device 112 is controlled so as to increase the quantization coefficient and decrease the code amount, perform feedback processing of re-encoding the same image remaining in the frame memory, and send it to the transmission buffer 115.

【００４３】因みに、図２は、図１について上述した画
像符号化方式変換装置１００の符号化装置１１２の構成
を示すブロック図である。なお、図２は、図１０との対
応部分に同一符号を付して示す図である。この図２に示
されるように、符号化装置１１２において、入力画像ｘ
（図１において復号化装置１０９によって復号化された
画像）が、動き補償を行う予測部１と減算部２０９とに
入力される。そして、予測部１から予測された画像Ｘが
減算部２０９に供給され、当該減算部２０９において、
入力画像ｘと予測された画像Ｘとの差分（予測誤差信号
ｅ）が算出される。Incidentally, FIG. 2 is a block diagram showing the configuration of the encoding device 112 of the image encoding system conversion device 100 described above with reference to FIG. Note that FIG. 2 is a diagram in which parts corresponding to those in FIG. As shown in FIG. 2, in the encoding device 112, the input image x
(The image decoded by the decoding device 109 in FIG. 1) is input to the prediction unit 1 and the subtraction unit 209 that perform motion compensation. Then, the image X predicted from the prediction unit 1 is supplied to the subtraction unit 209, and in the subtraction unit 209,
The difference (prediction error signal e) between the input image x and the predicted image X is calculated.

【００４４】減算部２０９は、この予測誤差信号ｅを直
交変換部３に供給する。直交変換部３は、減算部２０９
から供給された予測誤差信号ｅを離散コサイン変換等の
手法により直交変換係数に変換した後、これを量子化部
４に供給する。量子化部４は、直交変換部３から供給さ
れた直交変換係数を所定の量子化ステップで量子化し、
当該量子化された結果である量子化値をＶＬＣ部５及び
逆量子化部８にそれぞれ供給する。The subtraction unit 209 supplies the prediction error signal e to the orthogonal transformation unit 3. The orthogonal transformation unit 3 includes a subtraction unit 209.
The prediction error signal e supplied from the above is converted into an orthogonal transform coefficient by a method such as discrete cosine transform and then supplied to the quantizer 4. The quantization unit 4 quantizes the orthogonal transformation coefficient supplied from the orthogonal transformation unit 3 in a predetermined quantization step,
The quantized value that is the quantized result is supplied to the VLC unit 5 and the inverse quantization unit 8, respectively.

【００４５】ＶＬＣ部５は、量子化部４から供給される
信号の直流成分ＤＣについては、前ブロックの直交成分
との差分をとることにより、ＤＰＣＭ化を行い、また、
交流成分ＡＣについては、低周波成分から高周波成分の
順序に従い、ジグザグスキャンを行う。このときＶＬＣ
部５は、量子化部４から供給される直交成分について
は、ジグザグスキャンによるデータ列のゼロラン長とラ
ンが終了した後の量子化値に対して、２次元ハフマン符
号化を行う。その後、バッファ部６より伝送路に出力さ
れる。The VLC unit 5 performs DPCM conversion on the DC component DC of the signal supplied from the quantization unit 4 by taking the difference from the orthogonal component of the preceding block, and
For the AC component AC, zigzag scanning is performed in the order from the low frequency component to the high frequency component. At this time VLC
The unit 5 performs two-dimensional Huffman coding on the orthogonal component supplied from the quantization unit 4 with respect to the zero run length of the data string by the zigzag scan and the quantized value after the run is completed. After that, the data is output from the buffer unit 6 to the transmission path.

【００４６】一方、加算器７において、前記量子化部４
から出力された量子化値を逆量子化部８及び逆直交変換
部９を介して逆直交変換した信号と、１フレーム前の予
測信号（予測画像Ｘ）とが加算され、その加算結果が局
部復号信号出力として予測部１に供給される。予測部１
は、加算部７から供給される局部復号信号を１フレーム
分遅延させた後、これを新たに動き補償された予測信号
（予測画像Ｘ）として、減算部２０９に供給する。On the other hand, in the adder 7, the quantizer 4
A signal obtained by performing inverse orthogonal transform on the quantized value output from the inverse quantization unit 8 and the inverse orthogonal transformation unit 9 and the prediction signal (prediction image X) one frame before are added, and the addition result is locally It is supplied to the prediction unit 1 as a decoded signal output. Predictor 1
Delays the locally decoded signal supplied from the addition unit 7 by one frame, and then supplies this to the subtraction unit 209 as a newly motion-compensated prediction signal (prediction image X).

【００４７】ここで、量子化部４は、符号量制御部２１
０から供給される制御信号に基づいて、その量子化ステ
ップを切り換えるようになされている。すなわち、符号
量制御部２１０は、ライン目標符号量算出装置１１０か
ら供給される、ＭＢＬ毎の目標符号量Ｚを目標に量子化
ステップを決定し、当該決定された量子化ステップとな
るような制御信号を量子化部４に供給する。これによ
り、量子化部４は、ＭＢＬ毎に目標符号量Ｚとなるよう
な量子化処理を入力された画像に対して行うこととな
る。Here, the quantizing unit 4 includes a code amount control unit 21.
The quantization step is switched based on the control signal supplied from 0. That is, the code amount control unit 210 determines a quantization step with the target code amount Z for each MBL supplied from the line target code amount calculation device 110 as a target, and performs control such that the determined quantization step is achieved. The signal is supplied to the quantizer 4. As a result, the quantization unit 4 performs a quantization process for the target code amount Z for each MBL on the input image.

【００４８】また、符号量制御部２１０は、符号量比較
装置１１３からフィードバックされる制御信号に基づい
て、所定の量子化ステップとなるような制御信号を量子
化部４に供給することにより、量子化部４の量子化ステ
ップを制御する。これにより、符号化装置１１２から出
力される第２の画像ストリームの実符号量が目標符号量
Ｚにある値Ｘを乗じた値Ｙを越えている場合に、当該画
像ストリームと同じ画像をフレームメモリ１１１（図
１）から読み出して、新たな量子化ステップで量子化す
ることとなり、発生符号量を抑えることが可能となる。Further, the code amount control unit 210 supplies the control signal to the quantization unit 4 so that a predetermined quantization step is obtained, based on the control signal fed back from the code amount comparison device 113, and The quantization step of the quantization unit 4 is controlled. As a result, when the actual code amount of the second image stream output from the encoding device 112 exceeds the value Y obtained by multiplying the target code amount Z by a certain value X, the same image as that image stream is displayed in the frame memory. Since the data is read from 111 (FIG. 1) and quantized in a new quantization step, the amount of generated code can be suppressed.

【００４９】以上の構成において、画像符号化方式変換
装置１００は、入力された第１の画像ストリームの符号
化方式を変換するために当該第１の画像ストリームを一
旦復号化することを利用して、当該復号化された画像の
フレームレートを計測する。そして、画像符号化方式変
換装置１００は、当該計測されたフレームレートと出力
回線容量に基づいて、１ピクチャの目標符号量を算出す
る。In the above configuration, the image coding system conversion apparatus 100 utilizes that the first image stream is once decoded in order to convert the coding system of the input first image stream. , The frame rate of the decoded image is measured. Then, the image coding system conversion apparatus 100 calculates the target code amount of one picture based on the measured frame rate and the output line capacity.

【００５０】このように、画像符号化方式変換装置１０
０においては、出力回線容量を考慮した１ピクチャあた
りの目標符号量を定めることにより、出力回線容量に合
った符号発生量とするべく符号化装置１１２を制御する
ことができる。As described above, the image coding system conversion apparatus 10
In 0, by setting the target code amount per picture in consideration of the output line capacity, the coding device 112 can be controlled so that the code generation amount matches the output line capacity.

【００５１】そして、このように、出力回線容量を考慮
した目標符号量が決定されると、画像符号化方式変換装
置１００は、さらに、入力された１ピクチャ内での所定
部分画像単位（例えばＭＬＢ単位）での目標符号量Ｚ
が、当該ＭＬＢごとの発生符号量の１ピクチャ内での実
際の割合を基に決定する。これにより、例えば動きが大
きいことにより符号量が増大する部分（例えばＭＢＬ単
位）に対して、一段と多くの符号量が割り当てられるよ
うに、ピクチャ内で目標符号量の分配が行われるので、
効率的な符号化が可能となり、１ピクチャ単位で画一的
に符号量が決定される場合に比べて、無駄な符号量の増
大を防ぎ安定した出力符号量の提供が可能となる。When the target code amount in consideration of the output line capacity is determined in this way, the image coding system conversion apparatus 100 further determines a predetermined partial image unit (for example, MLB) in one input picture. Target code amount Z in units)
Is determined based on the actual ratio of the generated code amount for each MLB in one picture. As a result, the target code amount is distributed within the picture so that a larger code amount is allocated to a portion (for example, MBL unit) where the code amount increases due to a large motion.
Efficient encoding is possible, and as compared with the case where the code amount is uniformly determined for each picture, it is possible to prevent a wasteful increase in the code amount and provide a stable output code amount.

【００５２】このように、本実施の形態によれば、無駄
な符号量の増大を防ぎ安定した出力符号量の提供が可能
となり、同時に動きが大きいこと等で符号量が大きくな
る部分により多く符号量が割り当てられるように、ピク
チャ内で目標符号量の分配が行われるので効率的な符号
化が可能である。また、ＭＢＬ毎にフィードバック処理
をかけるので遅延を極力少なくした中での安定した符号
量の提供を実現することができる。As described above, according to the present embodiment, it is possible to prevent an unnecessary increase in the code amount and to provide a stable output code amount, and at the same time, increase the code amount in a portion where the code amount increases due to a large motion. Since the target code amount is distributed within the picture so that the amount is allocated, efficient coding is possible. Further, since the feedback process is applied to each MBL, it is possible to realize the stable provision of the code amount while minimizing the delay.

【００５３】なお、上述の実施の形態１の説明では、ラ
イン目標符号量算出装置１１０は、符号化装置１１２で
符号化する際のＭＢＬ毎の目標符号量を算出すると説明
したが、ピクチャ毎あるいはピクチャを分割して得られ
た部分画像毎（所定単位）の目標符号量を算出し、当該
算出結果に基づいて符号化装置１１２の符号化を制御す
るようにしても同様の効果を得ることができる。In the above description of the first embodiment, it is explained that the line target code amount calculating device 110 calculates the target code amount for each MBL when the encoding device 112 encodes it. A similar effect can be obtained by calculating the target code amount for each partial image (predetermined unit) obtained by dividing the picture and controlling the coding of the coding device 112 based on the calculation result. it can.

【００５４】（実施の形態２）図３は、本発明の実施の
形態２に係る画像符号化装置を含む画像符号化方式変換
装置２００の構成を示すブロック図である。なお、図３
は図１との対応部分に同一符号を付して示す図である。(Second Embodiment) FIG. 3 is a block diagram showing the configuration of an image coding system conversion device 200 including an image coding device according to a second embodiment of the present invention. Note that FIG.
FIG. 2 is a diagram showing parts corresponding to those in FIG.

【００５５】図３において、入力バッファ１０１は、入
力された符号化済みの第１の画像ストリームを復号前に
保存しておくメモリである。入力ビットレート測定装置
１０３は、入力ストリーム量が秒間何ビットであるかを
表すビットレートを測定する装置である。駒落とし装置
１０５は、復号化装置１０９によって復号化された画像
の駒落としを例えばフレーム単位で実行するための装置
であり、駒落としのための判定には、復号化装置１０９
に入力される画像ストリームと符号化装置１１２から出
力される画像ストリームの比較値（入出力のビットレー
ト比較値）を用いる。優先度判断装置１０７は、駒落と
し装置１０５の判定基準を補佐する装置であり、駒数優
先や画質優先等の設定を行うための装置である。復号化
装置１０９は、実際に画像ストリームを復号化する装置
である。フレームメモリ１１１は、復号化された画像ス
トリームを符号化する前に蓄えておくためのメモリであ
る。符号化装置１１２は、画像ストリームを符号化する
装置である。出力ビットレート測定装置１１４は、出力
のビットレートを測定する装置である。送信バッファ１
１５は、符号化された第２の画像ストリームを格納する
メモリである。これらの画像符号化方式変換装置１００
を構成する複数ブロックのうち、少なくとも、入力ビッ
トレート測定装置１０３、駒落とし装置１０５、符号化
装置１１２、出力ビットレート測定装置１１４によって
画像符号化装置が構成される。In FIG. 3, the input buffer 101 is a memory for storing the input coded first image stream before decoding. The input bit rate measuring device 103 is a device that measures a bit rate indicating how many bits the input stream amount is in a second. The frame dropping device 105 is a device for performing frame dropping of the image decoded by the decoding device 109, for example, on a frame-by-frame basis.
The comparison value (the input / output bit rate comparison value) of the image stream input to the image stream and the image stream output from the encoding device 112 is used. The priority determination device 107 is a device that assists the determination standard of the frame dropping device 105, and is a device for setting priority of the number of frames, priority of image quality, and the like. The decoding device 109 is a device that actually decodes the image stream. The frame memory 111 is a memory for storing the decoded image stream before encoding. The encoding device 112 is a device that encodes an image stream. The output bit rate measuring device 114 is a device that measures an output bit rate. Send buffer 1
Reference numeral 15 is a memory that stores the encoded second image stream. These image coding system conversion devices 100
The image coding apparatus is configured by at least the input bit rate measuring apparatus 103, the frame dropping apparatus 105, the coding apparatus 112, and the output bit rate measuring apparatus 114 among the plurality of blocks configuring

【００５６】以上のように構成された画像符号化方式変
換装置２００の動作について、図３を用いて説明する。
駒落とし装置１０５は、符号化装置１１２より前段に位
置しており、入力ビットレート測定装置１０３と出力ビ
ットレート測定装置１１４とで測定された入出力のビッ
トレートに基づいて、駒落とし判定を行う。例えば前記
出力ビットレート測定装置１１４で測定した出力ビット
レートが出力回線容量に達していて、かつ前記入力ビッ
トレート測定装置１０３で測定した入力ビットレートに
定数Ｃを乗じた値が出力ビットレートを上回っていて、
送信バッファ１１５の画像ストリーム蓄積量がある決め
られた閾値より大きい場合は、たとえ符号化しても遅延
を招いてしまうものと判断して符号化を行わずに駒落と
しをする。この駒落とし装置１０５の動作は優先度判断
装置１０７が管理し、例えばユーザの設定や相手端末の
要求によって、駒数を優先したい場合は復号化段階での
駒落としを行わない、もしくは値Ｃを小さくすることに
よって駒落としが行われ難いような状態に設定すること
が可能であり、逆に遅延をできるだけ少なくしたい時は
値Ｃを大きく設定し駒落とし装置１０５が動作し易い状
態となるように設定することが可能である。The operation of the image coding system conversion apparatus 200 configured as described above will be described with reference to FIG.
The frame dropping device 105 is positioned in front of the encoding device 112, and performs the frame dropping determination based on the input and output bit rates measured by the input bit rate measuring device 103 and the output bit rate measuring device 114. . For example, the output bit rate measured by the output bit rate measuring device 114 has reached the output line capacity, and the value obtained by multiplying the input bit rate measured by the input bit rate measuring device 103 by a constant C exceeds the output bit rate. And
If the amount of image stream accumulated in the transmission buffer 115 is larger than a predetermined threshold value, it is determined that even if the encoding is performed, a delay is caused, and the frame is dropped without performing the encoding. The operation of the frame dropping device 105 is managed by the priority determination device 107, and if it is desired to give priority to the number of frames according to the user's setting or the request of the partner terminal, the frame dropping at the decoding stage is not performed or the value C is set. By making it small, it is possible to set a state in which it is difficult to perform frame dropping, and conversely, when it is desired to reduce the delay as much as possible, the value C is set large so that the frame dropping device 105 can easily operate. It is possible to set.

【００５７】図４は、本実施の形態２の画像符号化方式
変換装置２００おける駒落とし処理の動作の説明に供す
るフローチャートである。この図４に示されるように、
画像符号化方式変換装置２００は、ステップＳＴ１０１
において、入力ビットレート測定装置１０３によって測
定された入力ビットレートと、出力ビットレート測定装
置１１４において測定された出力ビットレートとを比較
する。そして、画像符号化方式変換装置２００は、ステ
ップＳＴ１０２において、測定された入力ビットレート
及び出力ビットレートの比較結果として、入力ビットレ
ートに定数Ｃを乗じた値が出力ビットレートを上回って
いるか否かを判断する。FIG. 4 is a flow chart for explaining the operation of the frame dropping process in the image coding system conversion apparatus 200 according to the second embodiment. As shown in this FIG.
The image coding system conversion apparatus 200 has step ST101.
At, the input bit rate measured by the input bit rate measuring device 103 is compared with the output bit rate measured by the output bit rate measuring device 114. Then, in step ST102, the image coding system conversion device 200 determines whether or not the value obtained by multiplying the input bit rate by the constant C exceeds the output bit rate as the comparison result of the measured input bit rate and output bit rate. To judge.

【００５８】ここで肯定結果が得られると、このことは
入力ビットレートに定数Ｃを乗じた値が出力ビットレー
トを上回っていること、すなわち、入力された第１の画
像ストリームのビットレートが、そのときの符号化装置
１１２の出力である第２の画像ストリームのビットレー
ト（出力ビットレート）よりも高く、当該第１の画像ス
トリームの符号化方式を変換した後の第２の画像ストリ
ームのビットレート（出力ビットレート）がそれまでの
出力ビットレートよりも高くなることが予測される状態
であることを意味しており、このとき画像符号化方式変
換装置２００は、ステップＳＴ１０３に移って、送信バ
ッファ１１５のデータの蓄積量（残留量）を測定する。If a positive result is obtained here, this means that the value obtained by multiplying the input bit rate by the constant C is higher than the output bit rate, that is, the bit rate of the input first image stream is The bit rate of the second image stream, which is higher than the bit rate (output bit rate) of the second image stream output from the encoding device 112 at that time, after the encoding method of the first image stream is converted This means that the rate (output bit rate) is predicted to be higher than the output bit rate up to that point. At this time, the image coding method conversion apparatus 200 moves to step ST103 and transmits. The accumulated amount (residual amount) of data in the buffer 115 is measured.

【００５９】そして、画像符号化方式変換装置２００
は、ステップＳＴ１０４に移って、送信バッファ１１５
のデータ蓄積量が予め設定されている所定の閾値を越え
ているか否かを判断する。ここで肯定結果が得られる
と、このことは、送信バッファ１１５のデータ蓄積量が
閾値を越えていること、すなわち、このとき入力ビット
レートが測定された第１の画像ストリームを符号化した
場合、遅延を招いてしまうことを意味しており、このと
き、画像符号化方式変換装置２００は、ステップＳＴ１
０５に移って、符号化を行わずに駒落としをする。Then, the image coding system conversion apparatus 200
Moves to step ST104 and transmits buffer 115
It is determined whether or not the data storage amount of is above a predetermined threshold value set in advance. If a positive result is obtained here, this means that when the data storage amount of the transmission buffer 115 exceeds the threshold value, that is, when the first image stream whose input bit rate is measured at this time is encoded, This means that a delay is incurred, and at this time, the image coding system conversion apparatus 200 determines in step ST1.
Moving to 05, the frame is dropped without encoding.

【００６０】これに対して、上述のステップＳＴ１０２
において否定結果が得られると、このことは、その後、
第２の画像ストリームのビットレート（出力ビットレー
ト）がそれまでに比べて特段高くならないことが予測さ
れること意味しており、このとき、画像信号符号化方式
変換装置２００は、駒落とし処理を実行せずに再び上述
のステップＳＴ１０１に戻って、入出力ビットレートの
測定を繰り返す。On the other hand, the above-mentioned step ST102
If a negative result is obtained at
This means that it is predicted that the bit rate (output bit rate) of the second image stream will not be particularly high compared to that time, and at this time, the image signal coding system conversion device 200 performs frame dropping processing. Without execution, the process returns to the above-mentioned step ST101 and the measurement of the input / output bit rate is repeated.

【００６１】また、上述のステップＳＴ１０４において
否定結果が得られると、このことは、第１の画像ストリ
ームのビットレート（入力ビットレート）が高く、その
後、第２の画像ストリームのビットレート（出力ビット
レート）がそれまでに比べて高くなることが予測される
状態であるが、送信バッファ１１５のデータの蓄積量は
閾値を下回っており、たとえ第２の画像ストリームのビ
ットレート（出力ビットレート）が高くなっても、直ち
に遅延が生じることはないことを意味しており、このと
き、画像符号化方式変換装置２００は、駒落とし処理を
実行せずに再び上述のステップＳＴ１０１に戻って、入
出力ビットレートの測定を繰り返す。Further, when a negative result is obtained in the above-mentioned step ST104, this means that the bit rate (input bit rate) of the first image stream is high and then the bit rate (output bit rate) of the second image stream is high. The rate is expected to be higher than before, but the amount of data accumulated in the transmission buffer 115 is below the threshold, and even if the bit rate (output bit rate) of the second image stream is This means that the delay does not occur immediately even if it becomes higher. At this time, the image coding method conversion device 200 returns to the above-mentioned step ST101 again without executing the frame dropping process, and the input / output is performed. Repeat the bit rate measurement.

【００６２】このように、画像符号化方式変換装置２０
０は、入力ビットレート及び出力ビットレートの比較に
基づいて、その後、次のピクチャを符号化した場合に遅
延が生じるか否かを判断することに加えて、たとえ入力
ビットレートが出力ビットレートよりも高いという比較
結果（すなわち、次のピクチャを符号化した際に出力ビ
ットレートが高くなることが予測される状態）が得られ
ても、そのときの送信バッファ１１５のデータの蓄積量
が所定の閾値を下回っていれば、直ちに遅延が生じるこ
とはないという判断を行って、駒落とし処理を行わない
ことにより、遅延が生じない範囲で、不用意な駒落とし
が行われることを回避することができる。As described above, the image coding system conversion device 20
0 is based on the comparison of the input bit rate and the output bit rate, and then determines whether or not there will be a delay when the next picture is coded. Even if a comparison result that the output bit rate is high when the next picture is encoded is obtained (that is, the state in which the output bit rate is expected to increase when the next picture is encoded) If it is below the threshold, it is judged that no delay will occur immediately, and by not performing frame dropping processing, it is possible to avoid inadvertent frame dropping within the range in which no delay occurs. it can.

【００６３】すなわち、符号量の大きなピクチャは、一
つ前のピクチャからの動きが大きいピクチャ、又はシー
ンが変わったピクチャであり、重要なピクチャとなって
いる。従って、画像符号化方式変換装置２００は、単純
に入力ビットレートが高い場合に駒落としを行うのでは
なく、送信バッファ１１５のデータの蓄積量が閾値より
も大きいことを条件とした、駒落としの必要性の判断を
さらに行ったうえで駒落としを行うことにより、重要な
ピクチャが不必要に駒落としされることを回避すること
ができる。That is, a picture with a large code amount is a picture with a large motion from the previous picture or a picture with a changed scene, and is an important picture. Therefore, the image coding method conversion device 200 does not simply perform frame dropping when the input bit rate is high, but does not perform frame dropping on the condition that the amount of data stored in the transmission buffer 115 is larger than the threshold value. By performing the frame dropping after further determining the necessity, it is possible to avoid unnecessary frame dropping of an important picture.

【００６４】以上の構成において、画像符号化方式変換
装置２００は、入力された第１の画像ストリームの符号
化方式を変換するために当該画像ストリームを一旦復号
化することを利用して、当該復号化された状態でフレー
ム単位での駒落とし処理を行うのである。この場合、復
号化装置１０９に入力される画像ストリームのビットレ
ート（入力ビットレート）と、符号化装置１１２から出
力される第２の画像ストリームのビットレート（出力ビ
ットレート）とに基づいて、駒落とし処理が行われる。
すなわち、画像符号化方式変換装置２００においては、
入力された第１の画像ストリームを一旦復号化した後、
他の方式で再度符号化することで符号化方式を変換して
おり、この場合、符号化装置１１２の出力である他の方
式で符号化された第２の画像ストリームのビットレート
（出力ビットレート）は、復号化装置１０９に入力され
る第１の画像ストリームのビットレートの高低に応じて
同様に増減する関係を有している。すなわち、画像符号
化方式変換装置２００に入力される第１の画像ストリー
ムと、当該画像符号方式変換装置２００から出力される
第２の画像ストリームは、それぞれ異なる符号化方式で
符号化されているが、基本的には符号量が多い画像の符
号化方式を変換しても符号量が多くなることにより、ビ
ットレートを短時間で測った場合、画像ストリームにお
ける部分的な画像の発生符号量がビットレートに大きく
影響する事になる。よって、この短時間で測定されたビ
ットレートを用いると、入力される第１の画像ストリー
ムのビットレートが高ければ、符号化方式を変換した後
の第２の画像ストリームのビットレートも高くなること
が予測される。このような場合に符号化を行っても、送
信バッファ１１５の蓄積量によっては遅延が生ずること
となるのであり、この符号化方式変換装置２００では、
入出力ビットレートの比較結果と現在の送信バッファ容
量（データの蓄積量）に基づいて、駒落とし処理が実行
されることにより、安定した出力符号量の提供が可能と
なり、遅延を軽減することができる。このように、本実
施の形態によれば、入出力ビットレートの比較結果に基
づいて、駒落とし処理を実行することにより、安定した
出力符号量の提供ができ、遅延を軽減することができ
る。In the above configuration, the image coding system conversion apparatus 200 utilizes the fact that the image stream is decoded once in order to convert the coding system of the input first image stream. In the converted state, frame dropping processing is performed in frame units. In this case, based on the bit rate (input bit rate) of the image stream input to the decoding device 109 and the bit rate (output bit rate) of the second image stream output from the encoding device 112, the frame Drop processing is performed.
That is, in the image coding system conversion device 200,
After first decoding the input first image stream,
The encoding method is converted by re-encoding with another method. In this case, the bit rate (output bit rate) of the second image stream output by the encoding device 112 and encoded by the other method is converted. ) Has a relationship that similarly increases and decreases according to the bit rate of the first image stream input to the decoding device 109. That is, the first image stream input to the image coding method conversion apparatus 200 and the second image stream output from the image coding method conversion apparatus 200 are coded by different coding methods. , Basically, even if the coding method of an image with a large amount of code is converted, the amount of code is large, so when the bit rate is measured in a short time, the generated code amount of a partial image in the image stream is It will greatly affect the rate. Therefore, if the bit rate measured in this short time is used, the higher the bit rate of the input first image stream is, the higher the bit rate of the second image stream after the encoding method is converted is also. Is predicted. Even if encoding is performed in such a case, a delay will occur depending on the amount of data stored in the transmission buffer 115.
By executing the frame dropping process based on the comparison result of the input / output bit rate and the current transmission buffer capacity (data storage amount), it is possible to provide a stable output code amount and reduce the delay. it can. As described above, according to the present embodiment, it is possible to provide a stable output code amount and reduce the delay by executing the frame dropping process based on the comparison result of the input / output bit rates.

【００６５】（実施の形態３）図１との対応部分に同一
符号を付して示す図５は、本発明の実施の形態３に係る
画像符号化装置を含む画像符号化方式変換装置３００の
構成を示すブロック図である。(Third Embodiment) FIG. 5 in which parts corresponding to those in FIG. 1 are assigned the same reference numerals is shown in FIG. 5 showing an image coding system conversion device 300 including an image coding device according to a third embodiment of the present invention. It is a block diagram which shows a structure.

【００６６】図５において、入力バッファ１０１は、入
力された符号化済みの第１の画像ストリームを復号前に
保存しておくメモリである。入力ビットレート測定装置
１０３は、入力のビットレートを測定する装置である。
ピクチャ目標符号量算出装置１０４は、後述するフレー
ムレート計測装置１０２において計測されたフレームレ
ートと出力回線容量とに基づいて、符号化時に発生させ
る符号量の目安である目標符号量をピクチャ単位で算出
するための装置である。この場合、ピクチャ目標量算出
装置１０４は、出力回線容量をフレームレート計測装置
１０２で計測されたフレームレートで割ったものを１ピ
クチャの目標符号量として算出するようになされてい
る。優先度判断装置１０８はＢピクチャ（Picture）制
御装置１１６のＢピクチャ生成の判定基準を補佐する装
置で、駒数優先や画質優先等の設定を行うための装置で
ある。復号化装置１０９は、実際に第１の画像ストリー
ムを復号化する装置である。フレームレート計測装置１
０２は、入力された第１の画像ストリームに秒間何枚の
ピクチャが含まれているかを表すフレームレートを、復
号された画像を基に計測する装置である。符号化装置１
１２は、前記復号化装置１０９によって復号化された画
像を符号化する装置である。Ｂピクチャ制御装置１１６
は、Ｂピクチャを復号化するか否かの判定を下すための
装置で、Ｂピクチャを符号化方式変換する際には前記復
号化装置１０９にＢピクチャを復号化するよう命令を出
す。出力ビットレート測定装置１１４は、符号化装置１
１２の出力のビットレートを測定する装置である。送信
バッファ１１５は、符号化された第２の画像ストリーム
を一旦格納するメモリである。フレームメモリ１１７及
びフレームメモリ１１８は、復号化された画像を格納し
ておくためのメモリである。これらの画像符号化方式変
換装置３００を構成する複数ブロックのうち、少なくと
も、入力ビットレート測定装置１０３、Ｂピクチャ制御
装置１１６、符号化装置１１２及び出力ビットレート測
定装置１１４によって画像符号化装置が構成される。In FIG. 5, the input buffer 101 is a memory for storing the input coded first image stream before decoding. The input bit rate measuring device 103 is a device for measuring an input bit rate.
The picture target code amount calculation device 104 calculates a target code amount, which is a standard of the code amount generated at the time of encoding, on a picture-by-picture basis, based on a frame rate and an output line capacity measured by a frame rate measuring device 102 described later. It is a device for doing. In this case, the picture target amount calculation device 104 calculates the target code amount of one picture by dividing the output line capacity by the frame rate measured by the frame rate measurement device 102. The priority determination device 108 is a device for assisting the determination standard of B picture generation of the B picture control device 116, and is a device for setting the number of frames priority, image quality priority, and the like. The decoding device 109 is a device that actually decodes the first image stream. Frame rate measuring device 1
Reference numeral 02 denotes an apparatus that measures the frame rate, which indicates how many pictures are included in the input first image stream per second, based on the decoded image. Encoding device 1
Reference numeral 12 is a device that encodes the image decoded by the decoding device 109. B picture control device 116
Is a device for deciding whether or not to decode a B picture, and issues a command to the decoding device 109 to decode the B picture when converting the coding method of the B picture. The output bit rate measuring device 114 is the encoding device 1.
This device measures the bit rate of 12 outputs. The transmission buffer 115 is a memory that temporarily stores the encoded second image stream. The frame memory 117 and the frame memory 118 are memories for storing the decoded image. Of the plurality of blocks forming the image coding system conversion device 300, at least the input bit rate measurement device 103, the B picture control device 116, the coding device 112, and the output bit rate measurement device 114 form the image coding device. To be done.

【００６７】以上のように構成された画像符号化方式変
換装置３００の動作について、図５を用いて説明する。
入力された第１の画像ストリームは、入力バッファ１０
１に蓄えられた後に復号化装置１０９にて復号化され、
その後、Ｂピクチャ制御装置１１６に送られる。Ｂピク
チャ制御装置１１６は、第１の画像ストリーム内に含ま
れている双方向予測画像であるＢピクチャを復号化する
か否かを制御している。例えば、入力された第１の画像
ストリームにＢピクチャが存在している場合であって、
入力ビットレート測定装置１０３において測定された入
力ビットレートに対してある定数の値Ｂを乗じたもの
が、出力ビットレート測定装置１１４において測定され
た出力ビットレートよりも小さく、かつ出力回線容量が
出力ビットレートに対して余裕がある場合には、符号化
時に回線容量の都合で画質を劣化させて符号量を減らす
ようなことをしていないことを条件として、Ｂピクチャ
を復号化しても画質劣化と遅延を招かないと判断し、Ｂ
ピクチャ制御装置１１６は復号化装置１０９に対して、
Ｂピクチャを復号化するよう指示を出す。因みにこのと
き、Ｂピクチャ制御装置１１６は、ピクチャ目標符号量
算出装置１０４から供給されるピクチャ目標符号量に基
づいて、Ｂピクチャを復号するか否かを判断することも
行っている。Ｂピクチャの復号命令を受け取った復号化
装置１０９は、入力される第１の画像ストリームの中か
ら、パケットＩＤの記述に基づいてＢピクチャを判別
し、これを復号化する。The operation of the image coding system conversion device 300 configured as described above will be described with reference to FIG.
The input first image stream is input to the input buffer 10
After being stored in 1, it is decrypted by the decryption device 109,
After that, it is sent to the B-picture controller 116. The B-picture control device 116 controls whether or not to decode a B-picture, which is a bidirectionally predicted image included in the first image stream. For example, when a B picture is present in the input first image stream,
The value obtained by multiplying the input bit rate measured by the input bit rate measuring device 103 by a constant value B is smaller than the output bit rate measured by the output bit rate measuring device 114, and the output line capacity is output. If there is a margin for the bit rate, the image quality will deteriorate even if the B picture is decoded, on condition that the image quality is not deteriorated due to the line capacity at the time of encoding to reduce the code amount. And B
The picture control device 116 instructs the decoding device 109 to
Instruct to decode B picture. Incidentally, at this time, the B picture control device 116 also determines whether or not to decode the B picture based on the picture target code amount supplied from the picture target code amount calculation device 104. The decoding device 109 that has received the B-picture decoding instruction determines the B-picture from the input first image stream based on the description of the packet ID, and decodes it.

【００６８】そして、このように、Ｂピクチャ制御装置
１１６においてＢピクチャを復号化するよう指示が出さ
れた場合、復号化装置１０９において先に復号化された
Ｂピクチャよりも後のピクチャに当たるＰピクチャ、Ｉ
ピクチャは、フレームメモリ１１７又はフレームメモリ
１１８のうちの空いている方に格納され、このとき復号
化装置１０９に入力されたＢピクチャが復号化されて未
使用のフレームメモリを介して符号化装置１１２に送信
された後に、フレームメモリ１１７又はフレームメモリ
１１８のうちの一方に格納されているＰピクチャ、Ｉピ
クチャが符号化装置１１２に送信される。その後、符号
化された第２の画像ストリームは、送信バッファ１１５
へ送られることによって、回線状態に応じてＢピクチャ
を生成する画像符号化方式変換を行うことができる。In this way, when the B picture control unit 116 is instructed to decode a B picture, the P picture corresponding to a picture after the B picture previously decoded by the decoding apparatus 109. , I
The picture is stored in the vacant one of the frame memory 117 or the frame memory 118, and the B picture input to the decoding device 109 at this time is decoded and encoded through the unused frame memory to the encoding device 112. Then, the P picture and I picture stored in one of the frame memory 117 and the frame memory 118 are transmitted to the encoding device 112. After that, the encoded second image stream is transmitted to the transmission buffer 115.
By being sent to, it is possible to perform image coding method conversion that generates a B picture according to the line state.

【００６９】また、Ｂピクチャ制御装置１１６は、優先
度判断装置１０８によりＢピクチャを生成するか否かの
重み付けとなる値Ｂを変更し、画質を優先しようとする
場合は、Ｂピクチャの復号化を押さえるように値Ｂを大
きく設定する。この場合、Ｂピクチャ制御装置１１６
は、値Ｂを更に大きくしてＢピクチャの復号化を止める
ことも可能である。逆に動きを重視しようとする場合
は、Ｂピクチャ制御装置１１６は、値Ｂを小さく設定す
ることにより、Ｂピクチャが復号化され易い状態とする
こともできる。Further, the B picture control device 116 changes the value B, which is the weighting for determining whether or not the B picture is generated by the priority determination device 108, and when the image quality is to be prioritized, the B picture decoding is performed. The value B is set to a large value so as to hold down. In this case, the B picture control device 116
Can also increase the value B to stop the decoding of B-pictures. On the other hand, when the importance is attached to the motion, the B picture control device 116 can set the value B to be small so that the B picture can be easily decoded.

【００７０】以上の構成において、符号化方式変換装置
３００は、入力された第１の画像ストリームの符号化方
式を変換するために当該第１の画像ストリームを一旦復
号化することを利用してＢピクチャの復号を行うか否か
を入出力ビットレート及び回線容量の関係に基づいて判
断する。In the above configuration, the coding method conversion device 300 utilizes the fact that the first image stream is decoded once in order to convert the coding method of the input first image stream. Whether or not to decode the picture is determined based on the relationship between the input / output bit rate and the line capacity.

【００７１】すなわち、画像符号化方式変換装置３００
においては、入力された第１の画像ストリームを一旦復
号化した後、他の方式で再度符号化することで符号化方
式を変換しており、この場合、符号化装置１１２の出力
である他の方式で符号化された第２の画像ストリームの
ビットレート（出力ビットレート）は、復号化装置１０
９に入力される第１の画像ストリームのビットレートの
高低に応じて同様に増減する関係を有している。すなわ
ち、画像符号化方式変換装置３００に入力される第１の
画像ストリームと、当該画像符号方式変換装置３００か
ら出力される第２の画像ストリームはそれぞれ異なる符
号化方式で符号化されているが、基本的には符号量が多
い画像の符号化方式を変換しても符号量が多くなること
により、ビットレートを短時間で測った場合、画像スト
リームにおける部分的な画像の発生符号量がビットレー
トに大きく影響する事になる。よって、この短時間で測
定されたビットレートを用いると、入力される第１の画
像ストリームのビットレートが高ければ、符号化方式を
変換した後の第２の画像ストリームのビットレートも高
くなることが予測される。このような場合に全てのＢピ
クチャを復号化してピクチャ枚数を増やすと、遅延が発
生したり、ピクチャ１枚当たりに割り当てられる符号量
が低下し、画質が劣化することとなるので、画像符号化
方式変換装置３００は、Ｂピクチャの復号を行わないよ
うにすることで画質の劣化を防止することができる。因
みに、Ｂピクチャを復号したものは、他のピクチャ（Ｉ
ピクチャ、Ｐピクチャ）を復号化する際に必要とならな
いことにより、当該Ｂピクチャを復号化せずに抜き取る
ことが可能となるのである。That is, the image coding system conversion apparatus 300
In the above, the encoding method is converted by once decoding the input first image stream and then re-encoding with another method, and in this case, the other output which is the output of the encoding device 112 is changed. The bit rate (output bit rate) of the second image stream encoded by the method is the decoding device 10
9 has a relationship to increase / decrease in accordance with the bit rate of the first image stream input to the terminal 9. That is, the first image stream input to the image encoding system conversion device 300 and the second image stream output from the image encoding system conversion device 300 are encoded by different encoding systems, respectively. Basically, even if the coding method of an image with a large amount of code is converted, the amount of code is large. Therefore, when the bit rate is measured in a short time, the generated code amount of a partial image in the image stream is the bit rate. Will be greatly affected. Therefore, if the bit rate measured in this short time is used, the higher the bit rate of the input first image stream is, the higher the bit rate of the second image stream after the encoding method is converted is also. Is predicted. In such a case, if all the B pictures are decoded and the number of pictures is increased, a delay occurs, the code amount assigned per picture decreases, and the image quality deteriorates. The system conversion device 300 can prevent the deterioration of the image quality by not decoding the B picture. By the way, the decoded B picture is not the other picture (I
Since it is not necessary when decoding (picture, P picture), the B picture can be extracted without decoding.

【００７２】また、入出力ビットレートの関係及び回線
容量の余裕からＢピクチャを復号化しても遅延や画質劣
化が生じないと判断された場合には、画像符号化方式変
換装置３００は、当該Ｂピクチャを復号化することによ
り、ピクチャ枚数を増やして符号化装置１１２からの出
力画像（第２の画像ストリーム）の動きをより滑らかに
することができる。If it is determined that the B picture is decoded without delay or image quality deterioration due to the relationship of the input / output bit rate and the margin of the line capacity, the image coding system conversion apparatus 300 determines the B By decoding the picture, the number of pictures can be increased and the motion of the output image (second image stream) from the encoding device 112 can be made smoother.

【００７３】このように、本実施の形態によれば、Ｂピ
クチャは他のピクチャ（Ｉピクチャ、Ｐピクチャ）を復
号化する際に必要とならないことを利用して、回線に余
裕がある場合にのみＢピクチャを復号化することによっ
てピクチャ枚数を増やし、出力画像の動きをより滑らか
にすることが可能となる。また、強制的に全てのＢピク
チャを復号化する場合と異なり、遅延及び、符号化時に
ピクチャ一枚当たりに割り当てる符号量の低下による画
質の劣化を押さえることが可能となるのである。なお、
本実施の形態においては、Ｂピクチャを復号化しないこ
とによって駒落としを行う場合について述べたが、本発
明はこれに限らず、他の符号化方式で符号化されている
動画像については、当該動画像の他のピクチャを復号化
する際に必要とならないピクチャであれば、これを復号
化せずに駒落としを行うことができる。As described above, according to the present embodiment, the B picture is not necessary when decoding other pictures (I picture, P picture), and when the line has a margin, it is used. Only by decoding the B picture, the number of pictures can be increased and the motion of the output image can be made smoother. Further, unlike the case of forcibly decoding all the B pictures, it is possible to suppress the delay and the deterioration of the image quality due to the decrease of the code amount allocated per picture at the time of encoding. In addition,
In the present embodiment, the case where frame dropping is performed by not decoding a B picture has been described, but the present invention is not limited to this, and a moving image encoded by another encoding method is If the picture is not necessary when decoding other pictures of the moving image, it is possible to perform frame skipping without decoding this.

【００７４】（実施の形態４）図６は、本発明の実施の
形態４に係る画像符号化方式変換方法の説明に供するフ
ローチャートであり、これは図１について上述した本発
明の実施の形態１をソフトウェア（画像符号化方式変換
プログラム）で実現した場合を示している。この場合、
当該画像符号化方式変換プログラムは、図７に示される
ハードウエア構成によって実行される。この図７は、い
わゆるコンピュータ構成の汎用の情報処理装置４００を
示すものであり、メモリ部４０２に格納されている画像
符号化方式変換プログラムをＣＰＵ４０１が実行するこ
とにより、図６に示される処理が行われるようになされ
ている。メモリ部４０２は、画像符号化方式変換プログ
ラムを記憶することに加えて、後述するフレームメモ
リ、入力バッファ、送信バッファ等としても使用される
ものである。(Embodiment 4) FIG. 6 is a flow chart for explaining an image coding method conversion method according to Embodiment 4 of the present invention, which is Embodiment 1 of the present invention described above with reference to FIG. Shows the case where is realized by software (image coding method conversion program). in this case,
The image coding method conversion program is executed by the hardware configuration shown in FIG. 7. FIG. 7 shows a general-purpose information processing device 400 having a so-called computer configuration, and the processing shown in FIG. 6 is performed by the CPU 401 executing the image coding method conversion program stored in the memory unit 402. It is designed to be done. The memory unit 402 is used as a frame memory, an input buffer, a transmission buffer, etc., which will be described later, in addition to storing the image encoding method conversion program.

【００７５】この情報処理装置４００において、入力部
４０６は、キーボード及びマウス等の入力手段を含むも
のであり、オペレータが操作入力したコマンドをＣＰＵ
４０１に供給する。ＣＰＵ４０１は、当該コマンドに従
って、画像符号化方式変換プログラム等の種々のプログ
ラムを実行するようになされている。表示部４０７は、
液晶表示装置等で構成され、プログラムの実行状況を表
示する。In the information processing apparatus 400, the input unit 406 includes input means such as a keyboard and a mouse, and a command input by an operator is input to the CPU.
Supply 401. The CPU 401 is configured to execute various programs such as an image coding system conversion program according to the command. The display unit 407 is
It is composed of a liquid crystal display device, etc., and displays the execution status of the program.

【００７６】ドライブ４０４は、磁気ディスク、光ディ
スク又は光磁気ディスク等の記憶媒体に記録されている
プログラム又は各種情報を読み取って、記憶装置４０３
に記憶させるものである。The drive 404 reads a program or various information recorded in a storage medium such as a magnetic disk, an optical disk or a magneto-optical disk, and stores it in the storage device 403.
To remember.

【００７７】インターフェイス（Ｉ／Ｆ）４０５は、外
部から供給される符号化済みの第１の画像ストリームを
入力し、メモリ部４０２に供給するとともに、後述する
画像符号化方式が変換された後の第２の画像ストリーム
をメモリ部４０２から読み出して、出力回線に送出する
ものである。The interface (I / F) 405 inputs the coded first image stream supplied from the outside and supplies the coded first image stream to the memory section 402, and after the image coding method described later is converted. The second image stream is read from the memory unit 402 and sent to the output line.

【００７８】図６に示されるように、画像符号化方式変
換プログラムは、入力された第１の画像ストリームをス
テップＳＴ２０１において入力バッファに蓄えた後、ス
テップＳＴ２０２に移って復号化を行う。そして、画像
符号化方式変換プログラムは、ステップＳＴ２０３に移
って、上述のステップＳＴ２０２において復号化された
画像のフレームレートを計測し、続くステップＳＴ２０
４において、後述するステップＳＴ２０７での符号化処
理における１ピクチャ当たりの符号量の目標となるピク
チャ目標符号量を、後述する第２の画像ストリームを送
出する回線の伝送容量、及び上述のステップＳＴ２０３
において計測されたフレームレートに基づき算出する。
このピクチャ目標符号量の算出方法としては、例えば前
記回線の伝送容量を前記フレームレートで割ることによ
って算出する等の方法がある。As shown in FIG. 6, the image coding system conversion program stores the input first image stream in the input buffer in step ST201, and then moves to step ST202 to perform decoding. Then, the image coding method conversion program moves to step ST203, measures the frame rate of the image decoded in step ST202, and then continues to step ST20.
4, the picture target code amount, which is the target of the code amount per picture in the encoding process in step ST207, which will be described later, the transmission capacity of the line for transmitting the second image stream, which will be described later, and the above-mentioned step ST203.
It is calculated based on the frame rate measured in.
As a method of calculating the picture target code amount, for example, there is a method of calculating by dividing the transmission capacity of the line by the frame rate.

【００７９】画像符号化方式変換プログラムは、その
後、ステップＳＴ２０５において、ピクチャ内のＭＢＬ
毎の実際の発生符号量の割合を計測する処理を行うとと
もに、ＭＢＬ毎の実際の発生符号量の割合とピクチャの
目標符号量とから、例えばピクチャの目標符号量にＭＢ
Ｌ毎の実際の発生符号量の割合を乗じた値ＺをＭＢＬの
最大符号量として算出する。この値がＭＢＬ毎の目標符
号量Ｚとなる。Thereafter, in step ST205, the image coding method conversion program causes the MBL in the picture to be changed.
A process of measuring the ratio of the actual generated code amount for each MBL is performed, and the ratio of the actual generated code amount for each MBL and the target code amount of the picture are converted into, for example,
A value Z obtained by multiplying the ratio of the actual generated code amount for each L is calculated as the maximum code amount of MBL. This value becomes the target code amount Z for each MBL.

【００８０】そして、画像符号化方式変換プログラム
は、ステップＳＴ２０６において、復号化された画像を
一旦フレームメモリに格納し、続くステップＳＴ２０７
ではＭＢＬ毎の符号量がステップＳＴ２０５において求
められたＭＢＬ毎の目標符号量Ｚとなるように符号化を
行うことにより、第２の画像ストリームを得る。画像符
号化方式変換プログラムは、続くステップＳＴ２０８に
おいて、第２の画像ストリームについて、ＭＢＬ毎にス
テップＳＴ２０５で算出した目標符号量Ｚに定数Ｘを乗
じた値Ｙよりも、ステップＳＴ２０７における符号化に
よって発生した符号量が少ないか否かの比較を行い、値
Ｙを越える符号量が発生していた場合、画像符号化方式
変換プログラムは、ステップＳＴ２０９において肯定結
果を得ることにより、上述のステップＳＴ２０７に戻っ
て、符号化時の量子化係数を大きくし、上述のステップ
ＳＴ２０６でフレームメモリに格納されている同じ画像
を再符号化処理する。Then, in step ST206, the image coding system conversion program temporarily stores the decoded image in the frame memory, and then in step ST207.
Then, the second image stream is obtained by performing encoding so that the code amount for each MBL becomes the target code amount Z for each MBL obtained in step ST205. In the subsequent step ST208, the image coding method conversion program is generated by the coding in step ST207 for the second image stream, rather than the value Y obtained by multiplying the target code amount Z calculated in step ST205 for each MBL by a constant X. When the code amount exceeding the value Y is generated, the image coding method conversion program obtains an affirmative result in step ST209, and thus returns to step ST207. Then, the quantization coefficient at the time of encoding is increased, and the same image stored in the frame memory is re-encoded in step ST206 described above.

【００８１】これに対して、符号化によって発生したＭ
ＢＬ毎の符号量が値Ｙよりも小さい場合には、画像符号
化方式変換プログラムは、ステップＳＴ２０９において
否定結果を得ることにより、このとき符号化されること
によって得られた第２の画像ストリームを、ステップＳ
Ｔ２１０において送信バッファへ格納することにより、
画像符号化方式を変換する。ステップＳＴ２１０の処理
を完了した画像符号化方式変換プログラムは、新たな第
１の画像ストリームが入力されている間は、上述のステ
ップＳＴ２０１に戻って、同様の処理を繰り返す。On the other hand, M generated by encoding
When the code amount for each BL is smaller than the value Y, the image coding system conversion program obtains a negative result in step ST209, and thus the second image stream obtained by the coding at this time is obtained. , Step S
By storing in the transmission buffer at T210,
Convert the image coding method. The image coding method conversion program that has completed the process of step ST210 returns to step ST201 and repeats the same process while the new first image stream is being input.

【００８２】なお、図６に示される処理手順は、ある画
像のデータに着目した処理手順であり、画像符号化方式
変換プログラムは、順次入力される第１の画像ストリー
ムに対して常にこの処理手順を実行しているものであ
る。また、ピクチャ目標符号量の算出処理は、符号化処
理しようとする画像に対して、必ずしも同じ画像から計
測されたフレームレートを用いる必要はなく、繰り返さ
れる処理手順の前回計測されたものを用いるようにして
もよい。従って、ＭＢＬ毎の目標符号量の算出も、同様
に、符号化処理しようとする画像に対して、必ずしも同
じ画像に基づいて算出されたピクチャ目標符号量を用い
る必要はなく、繰り返される処理手順の前回算出された
ものを用いるようにしてもよい。The processing procedure shown in FIG. 6 is a processing procedure focusing on the data of a certain image, and the image coding system conversion program always performs this processing procedure on the first image stream that is sequentially input. Is what you are running. Further, in the process of calculating the picture target code amount, it is not always necessary to use the frame rate measured from the same image for the image to be encoded, but it is preferable to use the previously measured one of the repeated processing procedures. You may Therefore, in the calculation of the target code amount for each MBL, similarly, it is not always necessary to use the picture target code amount calculated based on the same image for the image to be encoded, and the repeated processing procedure You may make it use what was calculated last time.

【００８３】このように、本実施の形態によれば、演算
能力の優れたＤＳＰ（Digital Signal Processor）やＣ
ＰＵ（Central Processing Unit）があれば、専用のハ
ードウエア資源を使用しなくても済むため、装置のコス
トを低減させることができるという効果を有する。ま
た、本実施の形態の画像符号化方式変換方法は、ソフト
ウェアで実現されるため、ハードウエアで実現する場合
に比べ、バージョンアップや機能追加にも柔軟に対応す
ることが可能になるという効果を有する。なお、かかる
画像符号化方式変換方法のプログラムが記憶された記憶
媒体４０８（図７）を用いて、コンピュータ構成の情報
処理装置４００を実行させることにより、図６について
上述した画像符号化方式変換方法を実現することも可能
である。As described above, according to the present embodiment, a DSP (Digital Signal Processor) and a C having excellent calculation ability are provided.
If there is a PU (Central Processing Unit), there is no need to use a dedicated hardware resource, so that the cost of the device can be reduced. Further, since the image coding method conversion method of the present embodiment is realized by software, there is an effect that it is possible to flexibly cope with version upgrade and function addition as compared with the case of being realized by hardware. Have. The image coding method conversion method described above with reference to FIG. 6 is executed by causing the information processing apparatus 400 having a computer configuration to execute using the storage medium 408 (FIG. 7) in which the program of the image coding method conversion method is stored. It is also possible to realize

【００８４】なお、上述の実施の形態４の説明では、ス
テップＳＴ２１０において、符号化時のＭＢＬ毎の目標
符号量を算出すると説明したが、本発明はこれに限ら
ず、ピクチャ毎あるいはピクチャを分割して得られた部
分画像毎（所定単位）の目標符号量を算出し、当該算出
結果に基づいて符号化を制御するようにしても同様の効
果を得ることができる。In the above description of the fourth embodiment, it is described that the target code amount for each MBL at the time of encoding is calculated in step ST210, but the present invention is not limited to this, and each picture or each picture is divided. A similar effect can be obtained by calculating the target code amount for each partial image (predetermined unit) obtained in this way and controlling the encoding based on the calculation result.

【００８５】また、上述の実施の形態４の説明では、復
号化処理の後にピクチャ目標量算出処理及びライン目標
符号量算出処理を行う場合について述べたが、本発明は
これに限らず、図６に示される処理手順を繰り返してい
る場合に前回の処理手順において計測されたフレームレ
ートを用いる場合には、ピクチャ目標算出処理及びライ
ン目標算出処理を復号化処理の前に行うこともできる。Further, in the above description of the fourth embodiment, the case where the picture target amount calculation process and the line target code amount calculation process are performed after the decoding process has been described, but the present invention is not limited to this, and FIG. When the frame rate measured in the previous processing procedure is used when the processing procedure shown in (3) is repeated, the picture target calculation processing and the line target calculation processing can be performed before the decoding processing.

【００８６】（実施の形態５）図８は、本発明の実施の
形態５に係る画像符号化方式変換方法の説明に供するフ
ローチャートであり、これは図３について上述した本発
明の実施の形態２をソフトウェア（画像符号化方式変換
プログラム）で実現した場合を示している。この場合に
おいても、図７について上述した汎用の情報処理装置４
００において、メモリ部４０２に格納されている画像符
号化方式変換プログラムによって、図８に示される処理
が実行されることとなる。(Embodiment 5) FIG. 8 is a flow chart for explaining an image coding method conversion method according to Embodiment 5 of the present invention, which is Embodiment 2 of the present invention described above with reference to FIG. Shows the case where is realized by software (image coding method conversion program). Even in this case, the general-purpose information processing device 4 described above with reference to FIG.
At 00, the processing shown in FIG. 8 is executed by the image coding method conversion program stored in the memory unit 402.

【００８７】この図８に示されるように、画像符号化方
式変換プログラムは、入力された第１の画像ストリーム
をステップＳＴ３０１において入力バッファに一時的に
蓄える。画像符号化方式変換プログラムは、その後、ス
テップＳＴ３０２に移って、当該第１の画像ストリーム
の入力ビットレートを測定し、さらに続くステップＳＴ
３０３において第１の画像ストリームを復号化する。As shown in FIG. 8, the image coding system conversion program temporarily stores the input first image stream in the input buffer in step ST301. The image coding system conversion program then moves to step ST302, measures the input bit rate of the first image stream, and further proceeds to step ST
At 303, the first image stream is decoded.

【００８８】ステップＳＴ３０４は、ステップＳＴ３０
５の駒落とし処理を行うか否かの判断基準を調整する値
Ｃを調整する処理ステップであり、画像符号化方式変換
プログラムは、駒落としが起こり難くい特性としたい旨
の命令を例えば入力部４０６（図７）を介して外部から
受け取った場合には、値Ｃを小さくし、逆に駒落としが
起こり易い特性としたい旨の命令を受け取った場合には
値Ｃを大きくする処理を行う。Step ST304 is step ST30.
5 is a processing step for adjusting the value C for adjusting the criterion for determining whether or not to perform the frame dropping process, and the image coding system conversion program issues an instruction to the image input method conversion command that the frame dropping is unlikely to occur. When the value is received from the outside via 406 (FIG. 7), the value C is decreased, and conversely, the value C is increased when the command to make the characteristic that the frame drop easily occurs is received.

【００８９】ステップＳＴ３０５は、駒落とし処理を行
うか否かを判断する処理ステップであり、画像符号化方
式変換プログラムは、後述する出力ビットレートが回線
の伝送容量に達していて、送信バッファに一定以上蓄積
があり、かつ前記入力ビットレートに定数Ｃを乗じた値
が後述する出力ビットレートを上回っていた際に、後記
第２の画像ストリームを送信しても遅延を招くと判断
し、駒落としを行う。Step ST305 is a processing step for deciding whether or not to perform frame dropping processing. The image coding system conversion program determines that the output bit rate, which will be described later, has reached the transmission capacity of the line and is fixed in the transmission buffer. When there is the above accumulation and the value obtained by multiplying the input bit rate by the constant C is higher than the output bit rate described later, it is determined that the transmission of the second image stream, which will be described later, causes a delay, and the frame drop is performed. I do.

【００９０】なお、図８に示される処理手順は、第１の
画像ストリームが入力されている場合においては、常に
繰り返されながら当該第１の画像ストリームを処理して
いるものであり、ステップＳＴ３０５の判断に用いられ
る出力ビットレートは、前回の処理においてステップＳ
Ｔ３０８において測定されたものを用いるようになされ
ている。すなわち、ステップＳＴ３０５における判断
は、既に符号化された第２の画像ストリームのビットレ
ートが、その後どのように変化して行くかを予測するこ
とで駒落としが必要であるか否かを判断するのである。It should be noted that the processing procedure shown in FIG. 8 is such that when the first image stream is input, the first image stream is processed repeatedly while it is always being processed. The output bit rate used for the determination is the same as in step S in the previous process.
It is adapted to use the one measured at T308. That is, the determination in step ST305 determines whether or not frame dropping is necessary by predicting how the bit rate of the already encoded second image stream will change thereafter. is there.

【００９１】そして、ステップＳＴ３０５において肯定
結果が得られると、このことは、出力ビットレートが回
線の伝送容量に達していて、送信バッファに一定以上蓄
積があり、かつ前記入力ビットレートに定数Ｃを乗じた
値が出力ビットレートを上回っていることを意味してお
り、このとき画像符号化方式変換プログラムは、フレー
ム単位で駒落としを実行した後、上述のステップＳＴ３
０１に戻って、新たな第１の画像ストリームに対して同
様の処理を繰り返す。If a positive result is obtained in step ST305, this means that the output bit rate has reached the transmission capacity of the line, there is a certain amount of accumulation in the transmission buffer, and the input bit rate is a constant C. This means that the multiplied value exceeds the output bit rate. At this time, the image coding system conversion program executes frame dropping in frame units and then executes the above-mentioned step ST3.
Returning to 01, the same processing is repeated for the new first image stream.

【００９２】これに対して、ステップＳＴ３０５におい
て否定結果が得られると、このことは、出力ビットレー
トが回線の伝送容量に達していないこと、送信バッファ
の蓄積量が一定以下であること、又は前記入力ビットレ
ートに定数Ｃを乗じた値が出力ビットレートを下回って
いること、のうちの少なくとも１つが成立していること
を意味しており、このとき画像符号化方式変換プログラ
ムは、ステップＳＴ３０６に移って、このとき処理して
いる画像をフレームメモリに格納する。On the other hand, when a negative result is obtained in step ST305, this means that the output bit rate has not reached the transmission capacity of the line, the accumulated amount in the transmission buffer is below a certain level, or This means that at least one of the fact that the value obtained by multiplying the input bit rate by the constant C is lower than the output bit rate is satisfied, and at this time, the image coding system conversion program proceeds to step ST306. Then, the image processed at this time is stored in the frame memory.

【００９３】そして、画像符号化方式変換プログラム
は、ステップＳＴ３０７において、実際にフレームメモ
リ内の画像を符号化して第２の画像ストリームを生成
し、ステップＳＴ３０８においてその出力ビットレート
を測定した後、ステップＳＴ３０９に移って当該第２の
画像ストリームを送信バッファへ格納する。Then, in step ST307, the image coding method conversion program actually encodes the image in the frame memory to generate the second image stream, and measures the output bit rate in step ST308. In ST309, the second image stream is stored in the transmission buffer.

【００９４】このように、本実施の形態によれば、演算
能力の優れたＤＳＰやＣＰＵがあれば、専用のハードウ
エア資源を使用しなくても済むため、装置のコストを低
減させることができるという効果を有する。また、本実
施の形態の画像符号化方式変換方法は、ソフトウェアで
実現されるため、ハードウエアで実現する場合に比べ、
バージョンアップや機能追加にも柔軟に対応することが
可能になるという効果を有するとともに、ソフトウェア
で実現されているためにユーザが独自でステップＳＴ３
０４の処理やステップＳＴ３０５の判定式を変更するこ
とも可能であるという特徴を有する。なお、かかる画像
符号化方式変換方法のプログラムが記憶された記憶媒体
４０８（図７）を用いて、コンピュータ構成の情報処理
装置４００を実行させることにより、図８について上述
した画像符号化方式変換方法を実現することも可能であ
る。As described above, according to the present embodiment, if there is a DSP or a CPU having an excellent computing capability, it is not necessary to use a dedicated hardware resource, so that the cost of the device can be reduced. Has the effect. Further, since the image coding method conversion method of the present embodiment is realized by software, compared to the case of being realized by hardware,
In addition to the effect that it is possible to flexibly respond to version upgrades and function additions, since it is realized by software, the user can independently perform step ST3.
It has a feature that it is also possible to change the processing of 04 and the judgment formula of step ST305. The image encoding method converting method described above with reference to FIG. 8 is executed by causing the information processing apparatus 400 having a computer configuration to execute using the storage medium 408 (FIG. 7) storing the program of the image encoding method converting method. It is also possible to realize

【００９５】（実施の形態６）図９は、本発明の実施の
形態６に係る画像符号化方式変換方法の説明に供するフ
ローチャートであり、これは図５について上述した本発
明の実施の形態３をソフトウェア（画像符号化方式変換
プログラム）で実現した場合を示している。この場合に
おいても、図７について上述した汎用の情報処理装置４
００において、メモリ部４０２に格納されている画像符
号化方式変換プログラムによって、図９に示される処理
が実行されることとなる。(Sixth Embodiment) FIG. 9 is a flow chart for explaining an image coding method conversion method according to a sixth embodiment of the present invention, which is the third embodiment of the present invention described above with reference to FIG. Shows the case where is realized by software (image coding method conversion program). Even in this case, the general-purpose information processing device 4 described above with reference to FIG.
At 00, the processing shown in FIG. 9 is executed by the image coding method conversion program stored in the memory unit 402.

【００９６】この図９に示されるように、画像符号化方
式変換プログラムは、入力された第１の画像ストリーム
を、ステップＳＴ４０１において、入力バッファに一時
的に蓄える。そして、画像符号化方式変換プログラム
は、ステップＳＴ４０２において、入力ビットレートを
測定した後、ステップＳＴ４０３に移って、第１の画像
ストリームを復号化し、当該復号化された画像のフレー
ムレートを計測する。そして、さらに画像符号化方式変
換プログラムは、続くステップＳＴ４０５において、後
述するステップＳＴ４０９での符号化処理における１ピ
クチャ当たりの符号量の目標となるピクチャ目標符号量
を、後述する第２の画像ストリームを送出する回線の伝
送容量、及び上述のステップＳＴ４０４において計測さ
れたフレームレートに基づき算出する。このピクチャ目
標符号量の算出方法としては、例えば前記回線の伝送容
量をフレームレートで割ることによって算出する等の方
法がある。As shown in FIG. 9, the image coding system conversion program temporarily stores the input first image stream in the input buffer in step ST401. Then, the image coding method conversion program measures the input bit rate in step ST402, then moves to step ST403, decodes the first image stream, and measures the frame rate of the decoded image. Then, in the subsequent step ST405, the image coding method conversion program sets the picture target code amount, which is the target of the code amount per picture in the coding process in step ST409, which will be described later, to the second image stream, which will be described later. It is calculated based on the transmission capacity of the line to be transmitted and the frame rate measured in step ST404 described above. As a method of calculating the picture target code amount, for example, there is a method of calculating by dividing the transmission capacity of the line by the frame rate.

【００９７】ステップＳＴ４０６は、ステップＳＴ４０
７のＢピクチャの制御に関与する値Ｂを調整する処理ス
テップであり、画像符号化方式変換プログラムは、Ｂピ
クチャが生成され易い状態としたい旨の命令を例えば入
力部４０６（図７）を介して外部から受け取った場合に
は、値Ｂを小さくし、逆にＢピクチャが復号化され難い
状態としたい旨の命令を受け取った場合には、値Ｂを大
きくする処理を行う。Step ST406 is step ST40.
7 is a processing step for adjusting the value B involved in the control of the B picture, and the image coding system conversion program issues an instruction to make the B picture easily generated, for example, via the input unit 406 (FIG. 7). In the case of receiving from the outside, the value B is decreased, and conversely, when the instruction to make the B picture difficult to be decoded is received, the value B is increased.

【００９８】画像符号化方式変換プログラムは、このよ
うにして設定された値Ｂを用いて、ステップＳＴ４０７
におけるＢピクチャの制御処理を実行する。この処理
は、順次繰り返される図９の処理手順のステップＳＴ４
０３における復号化処理の制御を決定するものであり、
画像符号化方式変換プログラムは、第１の画像ストリー
ム内に含まれている双方向予測画像であるＢピクチャを
復号化するか否かを決定している。例えば、第１の画像
ストリームにＢピクチャが存在している場合であって、
入力ビットレートにある定数の値Ｂを乗じたものが後述
する出力ビットレートよりも小さく、かつ当該出力ビッ
トレートが出力回線容量に対して余裕がある際には、次
に繰り返される処理手順のステップＳＴ４０３において
Ｂピクチャを復号化するようにフラグを立てる。The image coding method conversion program uses the value B set in this way to perform the step ST407.
The control process of the B picture is executed. This process is repeated step ST4 of the processing procedure of FIG.
It determines the control of the decoding process in 03.
The image coding method conversion program determines whether or not to decode a B picture that is a bidirectionally predicted image included in the first image stream. For example, if there is a B picture in the first image stream,
When the value obtained by multiplying the input bit rate by a constant value B is smaller than the output bit rate to be described later, and the output bit rate has a margin with respect to the output line capacity, the step of the processing procedure to be repeated next In ST403, a flag is set to decode the B picture.

【００９９】このステップＳＴ４０７でフラグが立った
場合には、画像符号化方式変換プログラムは、ステップ
ＳＴ４０３においてＢピクチャを復号化するようにな
る。なお、図９に示される処理手順は、第１の画像スト
リームが入力されている場合においては、常に繰り返さ
れながら当該第１の画像ストリームを処理しているもの
であり、ステップＳＴ４０７において用いられる出力ビ
ットレートは、前回の処理のステップＳＴ４１０におい
て測定されたものを用いるようになされている。すなわ
ち、ステップＳＴ４０７における判断は、既に符号化さ
れた第２の画像ストリームのビットレートが、その後ど
のように変化して行くかを予測することによって、Ｂピ
クチャを復号化することが可能であるか否かを判断す
る。When the flag is set in step ST407, the image coding system conversion program decodes the B picture in step ST403. It should be noted that the processing procedure shown in FIG. 9 is such that, when the first image stream is input, the first image stream is constantly being processed, and the output used in step ST407. As the bit rate, the one measured in step ST410 of the previous process is used. That is, the determination in step ST407 is that the B picture can be decoded by predicting how the bit rate of the already encoded second image stream will change thereafter. Determine whether or not.

【０１００】ステップＳＴ４０３においてＢピクチャが
復号化されるようになると、先に復号化されたＢピクチ
ャより後のピクチャに当たるＰピクチャ、Ｉピクチャ
は、ステップＳＴ４０８において、フレームメモリ又は
フレームメモリのうちいずれか空いている方に格納され
る。このように、画像符号化方式変換プログラムは、先
に復号化されたＢピクチャより後のピクチャに当たるＰ
ピクチャ、Ｉピクチャを所定の複数のフレームメモリ
（図５について上述したフレームメモリ１１７及び１１
８に相当する）のいずれか空いている方に格納してお
き、Ｂピクチャを復号化した際に、これを未使用のフレ
ームメモリを使用して符号化処理（ステップＳＴ４０
９）を実行した後、当該複数のフレームメモリのいずれ
かに格納されているＰピクチャ、Ｉピクチャを用いて符
号化処理を実行する。When the B picture is decoded in step ST403, the P picture and I picture corresponding to the picture after the previously decoded B picture are either the frame memory or the frame memory in step ST408. Stored in the free one. In this way, the image coding system conversion program is a P that corresponds to a picture after the previously decoded B picture.
Pictures and I pictures are stored in a plurality of predetermined frame memories (the frame memories 117 and 11 described above with reference to FIG.
(Corresponding to No. 8) is stored in the free space, and when the B picture is decoded, this is encoded using an unused frame memory (step ST40).
After performing 9), the encoding process is performed using the P picture and I picture stored in any of the plurality of frame memories.

【０１０１】このように、画像符号化方式変換プログラ
ムは、ステップＳＴ４０９において、フレームメモリも
しくはフレームメモリ内の画像を符号化し第２の画像ス
トリームを生成し、ステップＳＴ４１０においてその出
力ビットレートを測定した後、ステップＳＴ４１１に移
って当該第２の画像ストリームを送信バッファへ格納す
る。As described above, the image coding system conversion program encodes the frame memory or the image in the frame memory to generate the second image stream in step ST409, and after measuring the output bit rate in step ST410. Then, the process moves to step ST411 and the second image stream is stored in the transmission buffer.

【０１０２】なお、上述の実施の形態６の説明では、復
号化処理の後にピクチャ目標量算出処理を行う場合につ
いて述べたが、本発明はこれに限らず、図９に示される
処理手順を繰り返している場合に前回の処理手順におい
て計測されたフレームレートを用いる場合には、ピクチ
ャ目標算出処理を復号化処理の前に行うこともできる。In the above description of the sixth embodiment, the case where the picture target amount calculation processing is performed after the decoding processing has been described, but the present invention is not limited to this, and the processing procedure shown in FIG. 9 is repeated. If the frame rate measured in the previous processing procedure is used, the picture target calculation processing can be performed before the decoding processing.

【０１０３】このように、本実施の形態によれば、演算
能力の優れたＤＳＰやＣＰＵがあれば、専用のハードウ
エア資源を使用しなくても済むため、装置のコストを低
減させることができるという効果を有する。また、本実
施の形態の画像符号化方式変換方法は、ソフトウェアで
実現されるため、ハードウエアで実現する場合に比べ、
バージョンアップや機能追加にも柔軟に対応することが
可能になるという効果を有するとともに、ソフトウェア
で実現されているためにユーザが独自でステップＳＴ４
０６の処理やステップＳＴ４０７の判定式を変更するこ
とも可能である。なお、かかる画像符号化方式変換方法
のプログラムが記憶された記憶媒体４０８（図７）を用
いて、コンピュータ構成の情報処理装置４００を実行さ
せることにより、図９について上述した画像符号化方式
変換方法を実現することも可能である。As described above, according to the present embodiment, if there is a DSP or a CPU having an excellent computing ability, it is not necessary to use a dedicated hardware resource, so that the cost of the device can be reduced. Has the effect. Further, since the image coding method conversion method of the present embodiment is realized by software, compared to the case of being realized by hardware,
In addition to the effect that it is possible to flexibly respond to version upgrades and function additions, the user can independently perform step ST4 because it is realized by software.
It is also possible to change the processing of 06 and the determination formula of step ST407. The image coding method conversion method described above with reference to FIG. 9 is executed by causing the information processing apparatus 400 having a computer configuration to execute using the storage medium 408 (FIG. 7) in which the program of the image coding method conversion method is stored. It is also possible to realize

【０１０４】[0104]

【発明の効果】以上説明したように、本発明によれば、
符号化方式を変換する際に、無駄な符号量の増大を防
ぎ、安定した出力を保つとともに、遅延を少なくするこ
とができる。As described above, according to the present invention,
When converting the encoding method, it is possible to prevent an unnecessary increase in the code amount, maintain a stable output, and reduce the delay.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施の形態１に係る画像符号化装置の
構成を示すブロック図FIG. 1 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 1 of the present invention.

【図２】本発明の実施の形態１に係る画像符号化装置に
用いられる符号化装置の構成を示すブロック図FIG. 2 is a block diagram showing a configuration of an encoding device used in the image encoding device according to the first embodiment of the present invention.

【図３】本発明の実施の形態２に係る画像符号化装置の
構成を示すブロック図FIG. 3 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 2 of the present invention.

【図４】本発明の実施の形態２に係る画像符号化装置の
駒落とし処理の手順を示すフロー図FIG. 4 is a flowchart showing a procedure of frame dropping processing of the image coding apparatus according to the second embodiment of the present invention.

【図５】本発明の実施の形態３に係る画像符号化装置の
構成を示すブロック図FIG. 5 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 3 of the present invention.

【図６】本発明の実施の形態４に係る画像符号化方法を
示すフロー図FIG. 6 is a flowchart showing an image coding method according to Embodiment 4 of the present invention.

【図７】本発明に係る画像符号化方法を実行するための
情報処理装置の構成を示すブロック図FIG. 7 is a block diagram showing the configuration of an information processing apparatus for executing the image coding method according to the present invention.

【図８】本発明の実施の形態５に係る画像符号化方法を
示すフロー図FIG. 8 is a flowchart showing an image coding method according to Embodiment 5 of the present invention.

【図９】本発明の実施の形態６に係る画像符号化方法を
示すフロー図FIG. 9 is a flowchart showing an image coding method according to Embodiment 6 of the present invention.

【図１０】従来の画像符号化装置の構成の一例を示すブ
ロック図FIG. 10 is a block diagram showing an example of a configuration of a conventional image encoding device.

【符号の説明】[Explanation of symbols]

１００,２００,３００ 画像符号化方式変換装置 １０２ フレームレート計測装置 １０３ 入力ビットレート計測装置 １０５ 駒落とし装置 １０７,１０８ 優先度判断装置 １０９ 復号化装置 １１０ ライン目標符号量算出装置 １１２ 符号化装置 １１３ 符号量比較装置 １１４ 出力ビットレート測定装置 １１５ 送信バッファ １１６ Ｂピクチャ制御装置 ４００ 情報処理装置 100, 200, 300 image coding system conversion device 102 Frame rate measuring device 103 Input bit rate measuring device 105 Frame dropping device 107, 108 priority determination device 109 Decoding device 110 line target code amount calculation device 112 encoder 113 code amount comparison device 114 output bit rate measuring device 115 send buffer 116 B-picture control device 400 Information processing device

───────────────────────────────────────────────────── フロントページの続き (72)発明者 西鳥羽 貴 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5C059 KK15 KK22 KK23 KK41 LB07 MA00 MA23 MC11 MC33 MC35 ME01 NN01 PP05 PP06 PP07 SS07 TA07 TA25 TA46 TA60 TB07 TC03 TC06 TC15 TC21 TC38 TD11 UA02 UA34 5J064 AA02 BA09 BA16 BC01 BC14 BC16 BC22 BC26 BC29    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Takashi Nishi Toba             3-1, Tsunashima-Higashi 4-chome, Kohoku-ku, Yokohama-shi, Kanagawa             Matsushita Communication Industry Co., Ltd. F-term (reference) 5C059 KK15 KK22 KK23 KK41 LB07                       MA00 MA23 MC11 MC33 MC35                       ME01 NN01 PP05 PP06 PP07                       SS07 TA07 TA25 TA46 TA60                       TB07 TC03 TC06 TC15 TC21                       TC38 TD11 UA02 UA34                 5J064 AA02 BA09 BA16 BC01 BC14                       BC16 BC22 BC26 BC29

Claims (10)

【特許請求の範囲】[Claims] 【請求項１】 動画像の符号量又は当該符号量のピクチ
ャ内での分散状態に基づいて、当該動画像を符号化する
際の目標符号量を決定する目標符合量決定手段、を具備
することを特徴とする画像符号化装置。1. A target code amount deciding means for deciding a target code amount when coding the moving image based on a code amount of the moving image or a distribution state of the code amount within a picture. An image encoding device characterized by the above. 【請求項２】 動画像のフレームレートを計測する入力
フレームレート計測手段と、 前記動画像のデータを送出する回線の伝送容量及び前記
入力フレームレート計測手段によって計測された入力フ
レームレートに基づいて、ピクチャ毎の目標符号量を算
出するピクチャ目標符号量算出手段と、 前記動画像のピクチャを分割して得られる所定単位の符
号量の当該ピクチャ内での割合を前記所定単位毎に算出
し、当該算出結果及び前記ピクチャ毎の目標符号量に基
づいて前記所定単位ごとの目標符号量を決定する手段
と、 前記決定に基づいて前記動画像を符号化する符号化手段
と、 を具備することを特徴とする画像符号化装置。2. An input frame rate measuring means for measuring a frame rate of a moving image, a transmission capacity of a line for transmitting the data of the moving image, and an input frame rate measured by the input frame rate measuring means, A picture target code amount calculating means for calculating a target code amount for each picture, and a ratio of the code amount of a predetermined unit obtained by dividing the picture of the moving image within the picture is calculated for each of the predetermined units. A unit for determining a target code amount for each of the predetermined units based on a calculation result and a target code amount for each picture; and an encoding unit for encoding the moving image based on the determination. The image coding device. 【請求項３】 前記符号化手段によって符号化して得ら
れた前記所定単位の符号量が、前記所定単位毎の目標符
号量に対して所定の定数を乗じた値を越えた場合のみ、
当該所定単位のみ量子化値を修正して符号化し直すよう
に前記符号化手段を制御する符号量比較手段を具備する
ことを特徴とする請求項２記載の画像符号化装置。3. Only when the code amount of the predetermined unit obtained by encoding by the encoding means exceeds a value obtained by multiplying the target code amount of each of the predetermined units by a predetermined constant,
3. The image coding apparatus according to claim 2, further comprising code amount comparing means for controlling the coding means so that the quantized value is corrected and coded only in the predetermined unit. 【請求項４】 動画像の入力ビットレートを測定する入
力ビットレート測定手段と、 前記動画像を符号化する符号化手段と、 前記符号化手段から出力される動画像の出力ビットレー
トを測定する出力ビットレート測定手段と、 前記入力ビットレート測定手段によって測定された入力
ビットレートに所定の定数を乗じた値が前記出力ビット
レート測定手段により測定された出力ビットレートを上
回り、かつ前記符号化手段の出力側に設けられた送信バ
ッファの残留量が所定の閾値を超えている場合に前記符
号化手段の符号化前に駒落としを行う駒落とし手段と、 を具備することを特徴とする画像符号化装置。4. An input bit rate measuring unit for measuring an input bit rate of a moving image, an encoding unit for encoding the moving image, and an output bit rate of a moving image output from the encoding unit. Output bit rate measuring means, a value obtained by multiplying the input bit rate measured by the input bit rate measuring means by a predetermined constant exceeds the output bit rate measured by the output bit rate measuring means, and the encoding means An image code including: a frame dropping unit that performs frame dropping before the encoding of the encoding unit when the remaining amount of the transmission buffer provided on the output side of the encoding unit exceeds a predetermined threshold value. Device. 【請求項５】 前記定数を変化させることにより、前記
入力ビットレート及び前記出力ビットレートの比較に基
づく駒落とし処理の優先度を決定する優先度判断手段を
具備することを特徴とする請求項４記載の画像符号化装
置。5. The priority determination means for determining the priority of the frame drop processing based on the comparison of the input bit rate and the output bit rate by changing the constant. The image encoding device described. 【請求項６】 復号化手段を介して入力される動画像の
入力ビットレートを測定する入力ビットレート測定手段
と、 前記動画像を符号化する符号化手段と、 前記符号化手段から出力される動画像のデータの出力ビ
ットレートを測定する出力ビットレート測定手段と、 前記入力ビットレート測定手段によって計測された入力
ビットレートに所定の定数を乗じた値が前記出力ビット
レート測定手段によって計測された出力ビットレートを
上回る場合のみ、前記入力される動画像の所定のピクチ
ャを復号化しないように前記復号化手段を制御する駒落
とし制御手段と、 を具備することを特徴とする画像符号化装置。6. An input bit rate measuring means for measuring an input bit rate of a moving image input via a decoding means, an encoding means for encoding the moving image, and an output from the encoding means. Output bit rate measuring means for measuring the output bit rate of the moving image data, and a value obtained by multiplying the input bit rate measured by the input bit rate measuring means by a predetermined constant is measured by the output bit rate measuring means. An image coding apparatus comprising: a frame dropping control unit that controls the decoding unit so as not to decode a predetermined picture of the input moving image only when the output bit rate is exceeded. 【請求項７】 前記所定の定数を変化させることによ
り、前記所定のピクチャを復号化するか否かの決定に重
み付けを行う優先度判断手段を具備することを特徴とす
る請求項６記載の画像符号化装置。7. The image according to claim 6, further comprising priority determination means for weighting a decision whether or not to decode the predetermined picture by changing the predetermined constant. Encoding device. 【請求項８】 出力回線の伝送容量及び動画像のフレー
ムレートに基づいて、ピクチャ毎の目標符号量を算出す
るピクチャ目標符号量算出ステップと、 前記動画像のピクチャ内の所定単位毎に、当該ピクチャ
内での符号量の割合を計測する符号量割合計測ステップ
と、 前記算出されたピクチャ毎の目標符号量を、前記計測さ
れた所定単位毎の符号量の割合で分配することにより前
記所定単位毎の目標符号量を決定する所定単位目標符号
量決定ステップと、 前記決定された所定単位毎の目標符号量に基づいて、前
記動画像の符号化を行うステップと、 を具備することを特徴とする画像符号化方法。8. A picture target code amount calculating step of calculating a target code amount for each picture based on a transmission capacity of an output line and a frame rate of the moving image, and for each predetermined unit in a picture of the moving image, A code amount ratio measuring step for measuring a code amount ratio in a picture; and the predetermined unit by distributing the calculated target code amount for each picture at a ratio of the measured code amount for each predetermined unit. A predetermined unit target code amount determining step for determining a target code amount for each, and a step of encoding the moving image based on the determined target code amount for each predetermined unit, Image coding method. 【請求項９】 動画像の入力ビットレートを測定する入
力ビットレート測定ステップと、 前記動画像を符号化する符号化ステップと、 前記符号化された後の動画像の出力ビットレートを測定
する出力ビットレート測定ステップと、 前記測定された入力ビットレートに所定の定数を乗じた
値が前記測定された出力ビットレートを上回り、かつ前
記符号化された動画像が出力回線に送信される前に一旦
格納される送信バッファの残留量が所定の閾値を超えて
いる場合に、前記動画像に対して前記符号化の前に駒落
とし処理を行う駒落としステップと、 を具備することを特徴とする画像符号化方法。9. An input bit rate measuring step for measuring an input bit rate of a moving image, an encoding step for encoding the moving image, and an output for measuring an output bit rate of the encoded moving image. A bit rate measuring step, a value obtained by multiplying the measured input bit rate by a predetermined constant exceeds the measured output bit rate, and before the encoded moving image is transmitted to an output line. A frame dropping step for performing a frame dropping process on the moving image before the encoding when the residual amount of the stored transmission buffer exceeds a predetermined threshold value. Encoding method. 【請求項１０】 復号化手段を介して入力される動画像
の入力ビットレートを測定する入力ビットレート測定ス
テップと、 前記動画像を符号化する符号化ステップと、 前記符号化された後の動画像の出力ビットレートを測定
する出力ビットレート測定ステップと、 前記測定された入力ビットレートに所定の定数を乗じた
値が前記測定された出力ビットレートを上回る場合の
み、前記入力される動画像の所定のピクチャを復号化し
ないように前記復号化手段を制御する駒落とし制御ステ
ップと、 を具備することを特徴とする画像符号化方法。10. An input bit rate measuring step of measuring an input bit rate of a moving image input through a decoding means, an encoding step of encoding the moving image, and a moving image after the encoding. An output bit rate measuring step of measuring an output bit rate of an image, and only when a value obtained by multiplying the measured input bit rate by a predetermined constant exceeds the measured output bit rate, the input moving image An image coding method, comprising: a frame dropping control step of controlling the decoding means so as not to decode a predetermined picture.