JP3859118B2

JP3859118B2 - Variable image rate encoding apparatus, variable image rate decoding apparatus, variable image rate encoding method, and variable image rate decoding method

Info

Publication number: JP3859118B2
Application number: JP2000255170A
Authority: JP
Inventors: 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2000-08-25
Filing date: 2000-08-25
Publication date: 2006-12-20
Anticipated expiration: 2020-08-25
Also published as: JP2002077910A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を再生画質を低下させることなく効率的に伝送、蓄積、表示するために、走査線構造を切り替えて単位時間あたりの画像数を変化させ、画像情報をより少ない符号量でディジタル信号にする高能率符号化する符号化処理、及びその符号化処理に適した復号化処理に関するものである。
【０００２】
【従来の技術】
＜可変画像レート符号化＞
動画像符号化では、６４ｋｂｐｓなど特に低い転送ビットレートで符号化する場合、入来するフレーム(画像)のすべてを符号化せず、間引いた一部の画像のみを符号化する場合がある。元の画像が３０フレーム／秒（ｆｐｓ）であると、間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどとなる。この場合、間引きにより動きのスムーズさは損なわれることになるが、被符号化フレームが減るので発生符号量は少なくすることができる。
ＭＰＥＧ方式では、画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれる片側方向予測と、Ｂピクチャーと呼ばれる双方向予測が使われる。ここで、Ｂピクチャーは、他の画像の参照画像にならないので、削除しても他の画像には影響しない。これにより、一度符号化された符号列から、Ｂピクチャーの符号列のみを削除することで画像レートを変更できる。この場合、Ｐピクチャーが３フレーム毎に設定されていると、３０フレーム／秒が１０フレーム／秒になる。
【０００３】
＜従来例可変画像レート符号化装置＞
図７は可変画像レート符号化装置の従来例構成を示したものである。画像入力端子７１より入来する３０フレーム／秒(ｆｐｓ)の動画像信号は、フレーム間引器７２で、画像レート制御器７３から与えられる画像レート情報に従って、３０ｆｐｓのままとするか、１／２ないし１／３に間引かれ１５ｆｐｓないし１０ｆｐｓの動画像信号となり、減算器４に与えられる。
動画像信号は、減算器４において動き補償予測器６５から与えられる予測信号が減算され、予測残差となってＤＣＴ５に与えられる。ＤＣＴ５は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器６に与える。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１０と逆量子化器９に与える。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、できた符号は出力端子１６から出力される。
符号量観測器７４は、可変長符号化器１０で発生する符号量を入力し、所定ビットレートでの出力を仮定して仮想バッファ充足度を求め、画像レート制御器７３に与える。仮想バッファ容量は所定ビットレートの０.２秒分程度である。
一方、逆量子化器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１３で予測信号が加算され再生画像となり、画像間予測器７５に与えられる。画像間予測器７５は、再生画像を１フレーム分蓄え、再生画像から予測信号形成して減算器４と加算器１３に与える。
画像レート制御器７４は、仮想バッファ充足度に応じて画像レートを制御する。発生符号量が多くて残留符号が多い場合は画像レートを下げ、発生符号量が少なく残留符号が少ない場合は画像レートを上げる。
＜従来例可変フレームレート復号化装置＞
図８は、図７の可変レート符号化装置に対応する復号化装置の従来例構成を示したものである。
符号入力端子２７より入来する符号列は、可変長復号化器２４で予測残差の可変長符号が固定長の符号に戻され、逆量子化器９に与えられる。固定長符号は逆量子化器９で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変換し、加算器１３に与える。加算器１３では再生予測残差信号に、画像間予測器８２から与えられる予測信号が加算され、再生画像となる。
この様にして得られた再生画像信号は、画像間予測器８２に与えられる共にフレーム補間器８１に与えられる。画像間予測器８２は、蓄積されている画像から予測信号を形成し、加算器１３に与える。
フレーム補間器８１は、再生画像を保持し、次の再生画像が与えられるまでの間、３０ｆｐｓで繰り返し同一の再生画像を画像出力端子２３から出力する。
【０００４】
【発明が解決しようとする課題】
従来の可変画像レート符号化装置は、被符号化画像が飛越し走査画像の場合、フィールドを間引くと垂直解像度が低下することになり、フレームを間引くとフレーム補間で時間逆転が起こることになる。従って、飛越し走査画像符号化ではフレームやフィールドを間引く可変画像レートの適用が困難であった。一方、順次走査画像符号化では可変画像レートの適用が可能であるが、飛越し走査での再生は走査線が破棄されることになり、走査線の情報及び符号化復号化処理が冗長になっていた。また、発生符号量により画像レートが変化するので、動きの大きなシーンで画像レートが低下しやすく、再生画像で動きの不自然さが目立った。本発明は以上の点に着目してなされたもので、画像の部分により所定画像レートのままでは飛越し走査符号化とし、画像レートを下げる部分では順次走査符号化とすることで、解像度の低下や時間逆転なしに可変画像レートを実現する動画像符号化装置、復号化装置、符号化方法、及び復号化方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、以下の装置及び方法を提供するものである。［１］（図１に対応）
所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、（８、１１）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成する画像形成手段と、（２、７、３）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得る符号化手段と、（４、５、６、１０）
設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、（１５）
を備えたことを特徴とする可変画像レート符号化装置。
［２］(図２に対応)
動画像符号列から所定画像レートの順次走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、（２９）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、（２４、９，１４，１３）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る復号化手段と、（２１，２６，２２）
を備えたことを特徴とする可変画像レート復号化装置。
［３］（図３に対応）
所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、（３３、３４）
前記入来飛越し走査画像を順次走査画像に変換する走査構造変換手段と、（３１）
設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得る画像間引き手段と、（２）
設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得る符号化手段と、（３、４、５、６、１０）
設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、（１５）
を備えたことを特徴とする可変画像レート符号化装置。
［４］（図４に対応）
動画像符号列から所定画像レートの飛越し走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、（２９）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、（２４、９、１４、１３）
設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する復号化手段と、（２６、４１、２２）
を備えたことを特徴とする可変画像レート復号化装置。
［５］所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
［６］動画像符号列から所定画像レートの順次走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る、ことを特徴とする可変画像レート復号化方法。
［７］所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、前記入来飛越し走査画像を順次走査画像に変換し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。
［８］動画像符号列から所定画像レートの飛越し走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する、ことを特徴とする可変画像レート復号化方法。
【０００６】
【発明の実施の形態】
本発明は、所定画像レートの入来動画像の動きの程度または前記入来動画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された符号化画像レートが前記所定画像レートと同じ場合には飛越し走査符号化とし、設定された符号化画像レートが前記所定画像レートよりも低い場合には順次走査符号化とする。飛越し走査符号化された部分は飛越し走査での再生ではそのままで、順次走査での再生では走査線を補間することで適正な再生画像が得られる。一方、画像レートを下げて順次走査符号化された部分は、順次走査での再生では単純にフレームを繰り返すことで所定画像レートにし、飛越し走査での再生では順次走査の１フレームを偶数フィールドと奇数フィールドに分解し、それぞれを繰り返す。いずれの場合も、不連続な動きとなることなくスムーズな再生画像が得られる。前記所定画像レートの場合は飛越し走査として符号化し、画像レートが下がる場合は順次走査符号化なので、符号化する情報が少なく、符号化効率がよい。
【０００７】
＜可変画像レート符号化装置の第１の実施例＞
本発明における可変画像レート符号化装置の第１の実施例について説明する。図１は、その構成を示したもので、図７の従来例と同一構成要素には同一付番を記してある。図１には、図７と比較して符号量観測器６４がなく、走査線間引き器２、動きベクトル（ＭＶ）検出器８、スイッチ３が追加されている。また、画像レート設定器１１とフレーム間引き器７の動作が異なる。
実施例において、従来例と異なるのは、前処理による画像間予測での画像構成である。予測残差に対する符号化方法は同じである。
順次走査画像入力端子１より入来する６０ｆｐｓの順次走査画像信号は、走査線間引き器２、フレーム間引き器７、ＭＶ検出器８に与えられる。走査線間引き器２は、走査線を１本おきに間引き飛越し走査の信号を形成し、スイッチ３に与える。画像レートは６０ｆｐｓのままである。
フレーム間引き器７は、順次走査のフレームを間引き、６０ｆｐｓから３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓへと低下させ、画像レートが低下した順次走査画像をスイッチ３に与える。スイッチ３は、画像レート設定器１１から与えられる画像レート情報により、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像である走査線間引き器２の出力を選択し、３０ｆｐｓ以下の場合は、３０ｆｐｓ以下の順次走査画像であるフレーム間引き器７の出力を選択する。
スイッチ３で選択された動画像信号は、減算器４において画像間予測器１２から与えられる予測信号が減算され、予測残差となってＤＣＴ５に与えられる。ＤＣＴ５は、予測残差にＤＣＴの変換処理を行い、得られた係数を量子化器６に与える。量子化器６は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１０と逆量子化器９に与える。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、できた符号列は多重化器１５に与えられる。
一方、逆量子化器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１３で予測信号が加算され再生画像となり、画像間予測器１２に与えられる。画像間予測器１２は、蓄えられている再生画像信号から予測信号を作り、減算器４と加算器１３に与える。その際、スイッチ３の動作と連動して、画像レートが６０ｆｐｓでは、飛越し走査用の画像間予測を行い、３０ｆｐｓ以下では順次走査用の画像間予測を行う。
一方、ＭＶ検出器８は、入来動画像の１フレーム間の空間移動量を１６×１６画素ブロック毎に求めて、ＭＶとして画像レート設定器１１に与える。画像レート設定器１１はＭＶから画像レートを設定する。６０ｆｐｓ、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓのうちのひとつが設定される。それぞれのレートの様子を図９に示す。画像レート設定器１１から出力される画像レートの情報は、フレーム間引き器７、スイッチ３、画像間予測器１２の他に多重化器１５にも与えられ、多重化器１５で主符号列と多重化される。その際、そのまま画像レート値を情報としても良いが、各フレーム（フィールド）のフレーム（フィールド）番号をレートに応じて間引く形にしても良い。
【０００８】
＜画像レート設定と間引き処理＞
次に画像レートの設定について説明する。画像レートは従来例と同様に発生符号量を観測して、仮想バッファの充足度により制御することも可能である。この場合、設定される画像レートは従来例と類似したものとなる。さらに、量子化ステップ幅や符号化モードなど他の符号化パラメータの情報を用いて、量子化が粗くなるなど画質が劣化しやすい場合に画像レートを低下させてもよい。一方、次に説明するような入来動画像の動きの程度により設定すると、視覚的に適切な転送レートが設定される。符号化パラメータと入来画像の動きの程度は、片方のみ使用することもできるが、両方の情報を用いて制御することも可能である。
入来動画像の動きの程度により画像レートを設定する場合について説明する。動画像信号は毎秒６０フレーム(フィールド)が基本であるが、この値は面フリッカの検知限界から来るものであり、画像のすべての動きでそれが必要なわけではない。実際、映画フィルムが２４ｆｐｓであることからも推測できるが、３０ｆｐｓで動きの劣化(不自然さ)が検知されるのは早い動きの場合のみで、通常２０ｆｐｓでも大きな劣化とはならない。しかし、それより低下すると静止に近い場合以外で動きの劣化が気になる。
従って、早い動きがある場合のみ６０ｆｐｓとし、動きが多い場合は３０ｆｐｓ、動きが少ない場合は２０ｆｐｓ、動きがほとんどない場合に１０〜１５ｆｐｓとする。この制御を適切に行うことで、動き劣化がほとんど気にならない再生画像が得られる。具体的にはＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成分ＭＶｙ(ｉ,ｊ)から求める。なお、ＭＶｘ(ｉ,ｊ)、ＭＶｙ(ｉ,ｊ)の値は１画素の動きが１.０、ｉは１フレーム内のブロック水平位置、ｊは１フレーム内のブロック垂直位置とする。１フレームが７２０×４８０画素の場合、画面全体の動きアクティビティＭＡを次式で求め、その値と閾値から画像レートＲを決める。
【数１】

数１においてｋは標準値を１とするが、量子化ステップ幅のパラメータなどにより変更しても良い。
【０００９】
＜可変画像レート復号化装置の第１の実施例＞
図１に示した第１の実施例の可変画像レート符号化装置に対応する可変画像レート復号化装置の第１の実施例について説明する。その構成を図２に示す。図８の従来例と同一構成要素には同一付番を記してある。図２には、図８と比較して、多重化分離器２８、走査線補間器２１、スイッチ２２が追加されている。また、フレーム補間器２６の動作が異なる。
符号入力端子２７より入来する符号列は、多重化分離器２８で主たる符号列と画像レートに関する情報に分離され、主たる符号列は可変長復号化器２３へ、画像レートに関する情報は画像レート設定器２９に与えられる。画像レート設定器２９は、フレーム（フィールド）番号等から画像レートを判断し、設定した画像レートを画像間予測器２５、フレーム補間器２６、スイッチ２２へ与る。
可変長復号化器２４は可変長符号を固定長の符号に戻し、固定長符号は逆量子化器９に与えられる。固定長符号は逆量子化器９で係数値となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変換し、加算器１３に与える。加算器１３では再生予測残差信号に予測信号が加算され、再生画像となる。
この様にして得られた再生画像信号は、画像間予測器２５と走査線補間器２１、さらにフレーム補間器２６に与えられる。画像間予測器２５は、メモリに蓄積されている復号画像から予測信号を形成し、得られた予測信号は加算器１３に与えられる。その際、画像レートが６０ｆｐｓのときは飛越し走査の予測信号を、３０ｆｐｓ以下のときは順次走査の予測信号とする。
一方、走査線補間器２１は飛越し走査で間引かれている走査線を補間して、６０ｆｐｓの順次走査画像を形成し、スイッチ２２に与える。フレーム補間器２６は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像としてスイッチ２２に与える。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フレームが、１０ｆｐｓの場合は６フレームが繰り返される。この様子を図１１に示す。
スイッチ２２は画像レートにより、６０ｆｐｓの場合は、走査線補間器２１の出力を選択し、３０ｆｐｓ以下の場合はフレーム補間器２６の出力を選択する。選択された信号はいずれも６０ｆｐｓの順次走査画像であり、順次走査画像出力端子２３より、出力される。
【００１０】
＜可変画像レート符号化装置の第２の実施例＞
本発明の可変画像レート符号化装置の第２の実施例について説明する。図３は、その構成を示したもので、図１に示した第１の実施例と同一構成要素には同一付番を記してある。図３には、図１と比較して、順次走査画像入力端子１の変わりに飛越し走査画像入力端子３２があり、走査線間引器２がなく、走査線補間器３１がある。
可変画像レート符号化装置の第２の実施例において、第１の実施例と異なるのは入力信号とそれに対する被符号化動画像の形成であり、予測残差に対する符号化処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては順次走査画像を入力していたが、第２の実施例では飛越し走査画像を入力する。
飛越し走査画像入力端子３２より入来する６０ｆｐｓの飛越し走査画像信号は、走査線補間器３１、スイッチ３、動きベクトル（ＭＶ）検出器３３に与えられる。走査線補間器３１は、飛越し走査で消失している走査線を補間して順次走査の信号を形成し、フレーム間引き器７に与える。走査線補間器３１から出力される画像レートは、６０ｆｐｓのままでもよいが、フレーム間引き器７で少なくとも３０ｆｐｓ以下にされるので、この出力段階で３０ｆｐｓとしても良い。
フレーム間引き器７は、画像レート設定器３４から与えられる画像レート情報に従って順次走査のフレームを間引き、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓへと低下させ、画像レートが低下した順次走査画像をスイッチ３に与える。スイッチ３は、画像レート情報により、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像である入来信号を選択し、３０ｆｐｓ以下の場合は３０ｆｐｓ以下の順次走査画像であるフレーム間引き器７の出力を選択する。
以下の減算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符号化器１０、画像間予測器１２、加算器１３、逆ＤＣＴ１４、多重化器１５の動作は第１の実施例と同じである。
一方、ＭＶ検出器３３は、図１のＭＶ検出器８と動作が多少異なり、飛越し走査画像に対しての動きベクトル検出処理となる。なお、画像レート設定器３４は、本質的には図１の画像レート設定器１１と同じであるが、ＭＶ検出器３３で求められる動きベクトルの大きさが、ＭＶ検出器８で求められる動きベクトルと異なるので、その分を補正して計算する。
【００１１】
＜可変画像レート復号化装置の第２の実施例＞
本発明の可変画像レート復号化装置の第２の実施例について説明する。その構成を図４に示す。図２の第１の実施例と同一構成要素には同一付番を記してある。図４には、図２と比較して、走査線補間器２１がなく走査線間引き器４１が追加されている。
可変画像レート復号化装置の第２の実施例において、第１の実施例と異なるのは出力信号とその形成であり、復号化処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては順次走査画像を出力していたが、第２実施例では飛越し走査画像を出力する。
符号入力端子２７、多重化分離器２８、可変長復号化器２４、逆量子化器９、逆ＤＣＴ１４、加算器１３、画像間予測器２５の動作は図２の第１の実施例と同じである。得られた再生画像信号は、フレーム補間器２６とスイッチ２２に与えられる。
フレーム補間器２６は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像としてスイッチ２２に与える。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フレームが、１０ｆｐｓの場合は６フレームが繰り返される。
フレーム補間器２６から出力される６０ｆｐｓの順次走査画像は、走査線間引き器４１で走査線が間引かれ、飛越し走査の各フィールドとなる。従って、走査線間引き器４１からは６０ｆｐｓの飛越し走査画像が出力される。なお、走査線間引き器４１の処理はフレーム補間器２６の処理と一体化することで、高速な６０ｆｐｓの順次走査画像の入出力をしなくて済む。
スイッチ２２は画像レート情報により、６０ｆｐｓの場合は、加算器１３の出力を選択し、３０ｆｐｓ以下の場合は走査線間引き器４１の出力を選択する。選択された信号はいずれも６０ｆｐｓの飛越し走査画像であり、飛越し画像出力端子２３より出力される。この復号処理の様子は図１２に示される。
【００１２】
＜可変画像レート符号化装置の第３の実施例＞
本発明の可変画像レート符号化装置の第３の実施例について説明する。図５は、その構成を示したもので、図１の第１の実施例と同一構成要素には同一付番を記してある。図５には、図１と比較して、双方向予測フレームの符号化系であるフレーム遅延器５２、減算器５７、ＤＣＴ５９、量子化器６０、可変長符号化器５５があり、フレーム間引器５６、走査線間引器５８の動作が異なる。
第３の実施例において、第３の実施例は、双方向予測を用いて、双方向予測フレーム（Ｂピクチャー）のみに間引き処理を適用するものである。また、走査線間引きは予測残差に適用される。
画像入力端子１より入来する６０ｆｐｓの順次走査画像信号は、スイッチ５１により、６フレーム毎に１フレーム設定されるＩピクチャー（フレーム内符号化画面）及びＰピクチャーでは減算器４に、Ｂピクチャーではフレーム遅延器５２に与えられる。
Ｐ(Ｉ)ピクチャーにおいては、動画像信号は減算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符号化器１０、加算器１３、逆ＤＣＴ１４で、第１の実施例と同様に符号化され、符号列が多重化器５３に与えられる。
Ｂピクチャーにおいては、動画像信号は、フレーム遅延器５２で先行するＰ(Ｉ)ピクチャーの符号化が完了するまで待機させられる。Ｐ(Ｉ)ピクチャーが６フレーム毎なら、５フレーム分の画像信号が、６フレームの間保持される。その後、フレーム間引き器５６に与えられる。
フレーム間引き器５６は、画像レート情報に応じてＢピクチャーのフレームを間引くが、その際にＰ(Ｉ)ピクチャーは必ず存在することを考慮して、符号化されるフレームが均等間隔になるようにする。その様子を図１０に示す。ここで、第１の実施例で使われている１５ｆｐｓは、残存するフレームがＰ(Ｉ)ピクチャーと同期しなくなるので、設定しない。
間引かれたＢピクチャーの動画像は減算器５７に与えられる。減算器５７は画像間予測器から与えられる予測信号を減算し、予測残差を走査線間引き器５８に与える。走査線間引き器５８では、画像レートが６０ｆｐｓの場合のみ飛越し走査の各フィールドに走査線が間引かれ、予測残差は飛越し走査の形で残り、ＤＣＴ５９に与えられる。
ＤＣＴ５９、量子化器６０、可変長符号化器５５の動作は、ＤＣＴ５、量子化器６、可変長符号化器１０と基本的に同じで、量子化のパラメータのみ異なる。このようにして得られた符号列は多重化器５３でＰ(Ｉ)ピクチャーの符号列と多重化される。画像レート設定器１４から出力される画像レートの情報も多重化される。
画像間予測器５４は、Ｐ(Ｉ)ピクチャーでは第１の実施例と同様に減算器４と加算器１３に予測信号を出力するが、Ｂピクチャーでは前後２画像から予測信号を形成し、減算器５７に与える。ただし、実施例１や２と異なり順次走査の予測信号のみを形成する。
ＭＶ検出器８、画像レート設定器１１の動作は第１の実施例と同じである。ただし、１５ｆｐｓは設定されない。
【００１３】
＜可変画像レート復号化装置の第３の実施例＞
図５に示した可変画像レート符号化装置の第３の実施例に対応する可変画像レート復号化装置の第３の実施例について説明する。その構成を図６に示す。図２の可変画像レート復号化装置の第１の実施例と同一構成要素には同一付番を記してある。図６には、図２と比較して、スイッチ２２がなく走査線補間器６１、フレーム補間器６２の位置及び動作が異なる。
可変画像レート復号化装置の第３の実施例において、第１の実施例と異なるのは画像間予測処理と補間方法で、予測残差信号の復号化処理は基本的に同じなので、異なる部分のみ説明する。符号入力端子２７、多重化分離器２８、可変長復号化器２４、逆量子化器９、逆ＤＣＴ１４の動作は、すべてのピクチャーに共通であり、図２の第１の実施例と基本的に同じである。得られた予測残差は走査線補間器６１に与えられる。走査線補間器６１は、画像レートが６０ｆｐｓの場合のみ、飛越し走査で間引かれているＢピクチャーの予測残差を補間する。順次走査の予測残差は加算器１３に与えられる。加算器１３は画像間予測器６３から与えられる予測信号を加算して、フレーム補間器６２と画像間予測器６３に与える。画像間予測器６３は、ＢピクチャーとＰ(Ｉ)ピクチャーで異なった予測信号を形成するが、いずれも順次走査である。
フレーム補間器６２は間引かれている順次走査画像のフレームを補間し、６０ｆｐｓの順次走査画像とする。処理は画像レートにより異なり、３０ｆｐｓの場合は２フレームが繰り返され、２０ｆｐｓの場合は３フレームが、１０ｆｐｓの場合は６フレームが繰り返される。ここで、ＢピクチャーとＰ(Ｉ)ピクチャーは順番が逆転しているので、Ｐ(Ｉ)ピクチャーはすぐに出力せず、順番を補正して出力する。
フレーム補間器６２から出力される６０ｆｐｓの順次走査画像は、順次走査画像出力端子２３より出力される。
【００１４】
【発明の効果】
以上の通り、本発明の符号化装置、符号化方法は、所定画像レートの入来動画像の動きの程度または前記入来動画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された符号化画像レートが前記所定画像レートと同じ場合には飛越し走査符号化とし、設定された符号化画像レートが前記所定画像レートよりも低い場合には順次走査符号化とするので、画像レートを微妙に調節でき、動きの視覚的検知能力に対して過不足のない画像レートが得られる。再生画像の視覚的品質を同様に保ちながらより低い転送ビットレートが実現される。また、転送レートを同一とすれば、間引かれずに残った画像により多くのビットが配分されることになり、再生画像の品質が向上する。一方、本発明の復号化装置、復号化方法は、飛越し走査符号化された部分は飛越し走査での再生ではそのままで、順次走査での再生では走査線を補間する。画像レートを下げて順次走査符号化された部分は、順次走査での再生では単純にフレームを繰り返すことで所定画像レートにし、飛越し走査での再生では順次走査の１フレームを偶数フィールドと奇数フィールドに分解し、それぞれを繰り返す。いずれの場合も、不連続な動きとなることなくスムーズな再生画像が得られ、動きの不自然さは最小限となる。
【図面の簡単な説明】
【図１】可変画像レート符号化装置の第１の実施例の構成例を示す図である。
【図２】可変画像レート復号化装置の第１の実施例の構成例を示す図である。
【図３】可変画像レート符号化装置の第２の実施例の構成例を示す図である。
【図４】可変画像レート復号化装置の第２の実施例の構成例を示す図である。
【図５】可変画像レート符号化装置の第３の実施例の構成例を示す図である。
【図６】可変画像レート復号化装置の第３の実施例の構成例を示す図である。
【図７】従来の可変画像レート符号化装置の構成例を示す図である。
【図８】従来の可変画像レート復号化装置の構成例を示す図である。
【図９】フレームや走査線の削減の様子を示す図である。
【図１０】可変画像レート符号化装置の第３の実施例でのＢピクチャー削減の様子を示す図である。
【図１１】可変画像レート復号化装置の第１の実施例での補間の様子を示す図である。
【図１２】可変画像レート復号化装置の第２の実施例での補間の様子を示す図である。
【符号の説明】
１順次走査画像入力端子
２、４１、５８走査線間引き器
３、２２、５１スイッチ
４、５７減算器
５、５９ＤＣＴ
６、６０量子化器
７、５６、７２フレーム間引き器
８、３３ＭＶ検出器
９逆量子化器
１０、５５可変長符号化器
１１、２９、３４画像レート設定器
１２、２５、５４、６３、７５、８２画像間予測器
１３加算器
１４逆ＤＣＴ
１５、５３多重化器
１６符号列出力端子
２１、３１、６１走査線補間器
２３順次走査画像出力端子
２４可変長復号化器
２６、６２、８１フレーム補間器
２７符号列入力端子
２８多重化分離器
３２飛越し走査画像入力端子
４２飛越し走査画像出力端子
５２フレーム遅延器
７３画像レート制御器
７４符号量観測器[0001]
BACKGROUND OF THE INVENTION
In order to efficiently transmit, store, and display images without degrading the reproduction image quality, the present invention changes the number of images per unit time by changing the scanning line structure, and digitally stores image information with a smaller code amount. The present invention relates to an encoding process for performing high-efficiency encoding into a signal, and a decoding process suitable for the encoding process.
[0002]
[Prior art]
<Variable image rate coding>
In the moving image encoding, when encoding at a particularly low transfer bit rate such as 64 kbps, not all of the incoming frames (images) are encoded, and only a part of the thinned images may be encoded. If the original image is 30 frames / second (fps), it becomes 15 fps, 10 fps, 5 fps, etc. by thinning. In this case, the smoothness of the movement is impaired by the thinning, but the amount of generated codes can be reduced because the number of frames to be encoded is reduced.
In the MPEG system, there are two types of inter-picture prediction methods, and unidirectional prediction called P picture and bidirectional prediction called B picture are used. Here, since the B picture does not become a reference image of another image, even if it is deleted, the other image is not affected. Thereby, the image rate can be changed by deleting only the code sequence of the B picture from the code sequence once encoded. In this case, if the P picture is set every 3 frames, 30 frames / second becomes 10 frames / second.
[0003]
<Conventional Example Variable Image Rate Encoding Device>
FIG. 7 shows a configuration of a conventional example of a variable image rate encoding apparatus. The moving image signal of 30 frames / second (fps) coming from the image input terminal 71 is left at 30 fps by the frame decimation unit 72 according to the image rate information given from the

image rate controller

73, or 1 / A moving image signal of 15 fps to 10 fps is thinned out by 2 to 1/3 and given to the subtractor 4.
The motion picture signal is subtracted from the prediction signal given from the motion compensation predictor 65 in the subtracter 4 and is given to the DCT 5 as a prediction residual. The DCT 5 performs DCT (Discrete Cosine Transform) conversion processing on the prediction residual, and gives the obtained coefficient to the quantizer 6. The quantizer 6 quantizes the coefficient with a predetermined step width, and supplies the coefficient that has become a fixed-length code to the variable-length encoder 10 and the inverse quantizer 9. The variable-length encoder 10 compresses the fixed-length prediction residual with the variable-length code, and the generated code is output from the output terminal 16.
The code amount observer 74 receives the code amount generated by the variable length encoder 10, obtains a virtual buffer sufficiency assuming an output at a predetermined bit rate, and gives it to the image rate controller 73. The virtual buffer capacity is about 0.2 seconds of a predetermined bit rate.
On the other hand, the inverse quantizer 9 and the inverse DCT 14 perform the inverse processing of the DCT 5 and the quantizer 6 to reproduce the prediction residual. The obtained reproduction prediction residual is added with the prediction signal by the adder 13 to form a reproduction image, which is given to the inter-picture prediction unit 75. The inter-image predictor 75 stores one frame of the reproduced image, forms a prediction signal from the reproduced image, and supplies the prediction signal to the subtracter 4 and the adder 13.
The image rate controller 74 controls the image rate according to the virtual buffer fullness. When the generated code amount is large and the residual code is large, the image rate is decreased, and when the generated code amount is small and the residual code is small, the image rate is increased.
<Conventional Example Variable Frame Rate Decoding Device>
FIG. 8 shows a conventional configuration of a decoding apparatus corresponding to the variable rate encoding apparatus of FIG.
The code string coming from the code input terminal 27 is supplied to the inverse quantizer 9 after the variable length decoder 24 returns the variable length code of the prediction residual to a fixed length code. The fixed-length code becomes a reproduction DCT coefficient value of the prediction residual by the inverse quantizer 9 and is given to the inverse DCT 14. The inverse DCT 14 converts 8 × 8 coefficients into a reproduction prediction residual signal and supplies it to the adder 13. In the adder 13, the prediction signal given from the inter-picture predictor 82 is added to the reproduction prediction residual signal to form a reproduction image.
The reproduced image signal obtained in this way is supplied to the inter-picture predictor 82 and is also supplied to the frame interpolator 81. The inter-picture predictor 82 forms a prediction signal from the stored image and supplies it to the adder 13.
The frame interpolator 81 holds the reproduced image and outputs the same reproduced image from the image output terminal 23 repeatedly at 30 fps until the next reproduced image is given.
[0004]
[Problems to be solved by the invention]
In the conventional variable image rate encoding apparatus, when the encoded image is an interlaced scanned image, the vertical resolution is reduced when the field is thinned out, and when the frame is thinned out, time reversal occurs by frame interpolation. Therefore, it is difficult to apply a variable image rate for thinning out frames and fields in interlaced scanning image coding. On the other hand, although variable image rate can be applied in progressive scanning image coding, reproduction with interlaced scanning results in the scanning line being discarded, and scanning line information and coding / decoding processing become redundant. It was. In addition, since the image rate changes depending on the amount of generated code, the image rate is likely to decrease in a scene with a large motion, and the unnatural motion is conspicuous in the reproduced image. The present invention has been made paying attention to the above points, and the resolution is lowered by performing interlaced scanning encoding at a predetermined image rate depending on the image portion and sequentially performing scanning encoding at the portion where the image rate is lowered. Another object of the present invention is to provide a moving image encoding apparatus, decoding apparatus, encoding method, and decoding method that realize a variable image rate without time reversal.
[0005]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides the following apparatus and method. [1] (corresponding to FIG. 1)
Depending on the degree of motion of the incoming sequential scan image at a predetermined image rate or the encoding parameters when encoding the incoming sequential scan image, flame Image rate setting means for setting the encoded image rate for each, (8, 11)
When the set encoded image rate is the same as the predetermined image rate, the scanning line of the incoming sequential scan image is thinned out to form an interlaced scan image, and the set encoded image rate is set to the predetermined image rate. Image forming means for forming a sequentially scanned image by thinning out the frames of the incoming sequentially scanned image in accordance with the encoded image rate when the image rate is lower than (2, 7, 3);
When the set encoded image rate is the same as the predetermined image rate, the interlaced scan image formed by the image forming unit is subjected to interlaced scan encoding, and the set encoded image rate is set to the predetermined image rate. Encoding means for obtaining a moving image code string by sequentially scanning and encoding the progressively scanned image formed by the image forming means when the image rate is lower than (4, 5, 6, 10);
(15) multiplexing means for multiplexing the set information relating to the encoded image rate and the moving image code string;
A variable image rate encoding apparatus comprising:
[2] (corresponding to Fig. 2)
In a decoding device that reproduces a progressively scanned image at a predetermined image rate from a moving image code string, obtain information about the encoded image rate from the moving image code string, flame Image rate setting means for setting a decoded image rate for each, (29)
When the set decoded image rate is the same as the predetermined image rate, interlaced scanning decoding is performed to obtain a decoded image. When the set decoded image rate is lower than the predetermined image rate, sequentially Decoding means for obtaining a decoded image by scanning decoding; (24, 9, 14, 13);
If the set decoded image rate is the same as the predetermined image rate, the scanning line of the decoded image obtained by the interlaced scanning decoding is interpolated, and the set decoded image rate is the predetermined image. A decoding means for interpolating a frame of the decoded image obtained by the progressive scanning decoding to obtain a reproduction sequential scanned image at the predetermined image rate when the rate is lower than the rate; (21, 26, 22)
A variable image rate decoding apparatus comprising:
[3] (corresponding to FIG. 3)
Depending on the degree of movement of the incoming interlaced scanned image at a predetermined image rate or the encoding parameters when encoding the incoming interlaced scanned image, flame Image rate setting means for setting the encoded image rate for each, (33, 34)
(31) scanning structure conversion means for converting the incoming interlaced scanning image into a sequential scanning image;
(2) an image decimation unit that, when the set encoded image rate is lower than the predetermined image rate, obtains a decimation moving image by decimation of frames of the sequentially scanned image according to the encoded image rate;
When the set encoded image rate is the same as the predetermined image rate, the incoming interlaced scanned image is directly interlaced and the encoded image rate is lower than the predetermined image rate. And (3, 4, 5, 6, 10) encoding means for obtaining a moving image code string by sequentially scanning and encoding the thinned moving image.
(15) multiplexing means for multiplexing the set information relating to the encoded image rate and the moving image code string;
A variable image rate encoding apparatus comprising:
[4] (corresponding to FIG. 4)
In a decoding device that reproduces an interlaced scanned image of a predetermined image rate from a moving image code string, obtains information on the encoded image rate from the moving image code string, flame Image rate setting means for setting a decoded image rate for each, (29)
When the set decoded image rate is the same as the predetermined image rate, interlaced scanning decoding is performed to obtain a decoded image. When the set decoded image rate is lower than the predetermined image rate, sequentially Decoding means for obtaining a decoded image by scanning decoding; (24, 9, 14, 13);
When the set decoded image rate is the same as the predetermined image rate, the decoded image obtained by the interlaced scanning decoding is output as it is, and the set decoded image rate is higher than the predetermined image rate. If low, decoding means for obtaining a plurality of interlaced scanned image fields from the decoded image obtained by the progressive scan decoding and outputting interlaced scanned images at a predetermined image rate; (26, 41, 22) )
A variable image rate decoding apparatus comprising:
[ 5 ] Depending on the degree of motion of the incoming sequential scan image at a predetermined image rate or the encoding parameters when encoding the incoming sequential scan image, flame An encoded image rate is set every time, and when the set encoded image rate is the same as the predetermined image rate, an interlaced scanned image is formed by thinning out the scanning lines of the incoming sequential scanned image and set. If the encoded image rate is lower than the predetermined image rate, a frame of the incoming sequential scan image is thinned according to the encoded image rate to form a sequentially scanned image, and the set encoding When the image rate is the same as the predetermined image rate, the interlaced scanning image formed by the image forming unit is interlaced and scanned, and the set encoded image rate is lower than the predetermined image rate. Obtains a moving image code string by sequentially scanning and encoding the progressively scanned image formed by the image forming means, and includes a plurality of information on the set encoded image rate and the moving image code string. Variable picture rate coding method characterized in that, to reduction.
[ 6 In a decoding method for reproducing a sequentially scanned image at a predetermined image rate from a moving image code sequence, information on the encoded image rate is obtained from the moving image code sequence, flame A decoded image rate is set every time, and when the set decoded image rate is the same as the predetermined image rate, interlaced scanning decoding is performed to obtain a decoded image, and the set decoded image rate is When the decoded image rate is lower than the predetermined image rate, the decoded image is sequentially scanned and decoded to obtain a decoded image. When the set decoded image rate is the same as the predetermined image rate, the decoded image obtained by the interlaced scanning decoding is obtained. If the set decoded image rate is lower than the predetermined image rate, the decoded image frame obtained by the sequential scanning decoding is interpolated to reproduce the predetermined image rate. A variable image rate decoding method characterized by obtaining a scanned image.
[ 7 ] Depending on the degree of motion of the incoming interlaced scanned image at a predetermined image rate or the encoding parameters when encoding the incoming interlaced scanned image, flame An encoded image rate is set for each, the incoming interlaced scanned image is converted into a sequentially scanned image, and when the set encoded image rate is lower than the predetermined image rate, the encoded image rate is set. Accordingly, the frame of the sequentially scanned image is thinned out to obtain a thinned moving image, and when the set encoded image rate is the same as the predetermined image rate, the incoming interlaced scanned image is directly interlaced and scanned and encoded. When the set encoded image rate is lower than the predetermined image rate, the thinned-out moving image is sequentially scan-encoded to obtain a moving image code string, and information on the set encoded image rate and the moving image A variable image rate encoding method characterized by multiplexing an image code string.
[ 8 In a decoding method for reproducing an interlaced scanned image at a predetermined image rate from a moving image code sequence, information on the encoded image rate is obtained from the moving image code sequence, flame A decoded image rate is set every time, and when the set decoded image rate is the same as the predetermined image rate, interlaced scanning decoding is performed to obtain a decoded image, and the set decoded image rate is When the decoded image rate is lower than the predetermined image rate, the decoded image is sequentially scanned and decoded to obtain a decoded image. When the set decoded image rate is the same as the predetermined image rate, the decoded image obtained by the interlaced scanning decoding is obtained. Is output as it is, and when the set decoded image rate is lower than the predetermined image rate, a plurality of fields of the interlaced scanning image are obtained from the decoded image obtained by the progressive scanning decoding, and the predetermined image rate is obtained. A variable image rate decoding method characterized by outputting an interlaced scanned image.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
According to the present invention, depending on the degree of motion of the incoming video at a predetermined image rate or the encoding parameters at the time of encoding the incoming video, flame When the encoded image rate is set for each, and when the set encoded image rate is the same as the predetermined image rate, the interlaced scanning encoding is performed. When the set encoded image rate is lower than the predetermined image rate Is progressive scanning encoding. The interlaced scan-encoded portion remains as it is in reproduction by interlaced scanning, and an appropriate reproduction image can be obtained by interpolating scanning lines in reproduction by sequential scanning. On the other hand, a portion that has been subjected to progressive scan encoding at a reduced image rate is set to a predetermined image rate by simply repeating frames in reproduction by progressive scan, and one frame of sequential scan as an even field in reproduction by interlaced scan. Decompose into odd fields and repeat each. In either case, a smooth reproduced image can be obtained without discontinuous movement. In the case of the predetermined image rate, encoding is performed as interlaced scanning, and when the image rate is reduced, progressive scanning encoding is performed. Therefore, there is little information to be encoded, and encoding efficiency is good.
[0007]
<First Embodiment of Variable Image Rate Encoding Device>
A first embodiment of a variable image rate encoding apparatus according to the present invention will be described. FIG. 1 shows the configuration, and the same reference numerals are given to the same components as those of the conventional example of FIG. Compared with FIG. 7, the code amount observer 64 is not provided in FIG. 1, but the scanning line thinning device 2, the motion vector (MV) detector 8, and the switch 3 are added. Further, the operations of the image rate setting unit 11 and the frame decimation unit 7 are different.
In the embodiment, what is different from the conventional example is an image configuration in inter-image prediction by preprocessing. The encoding method for the prediction residual is the same.
The 60 fps progressive scan image signal coming from the progressive scan image input terminal 1 is supplied to the scanning line thinning device 2, the frame thinning device 7, and the MV detector 8. The scanning line thinning device 2 forms a scanning signal by skipping every other scanning line, and supplies it to the switch 3. The image rate remains at 60 fps.
The frame decimation unit 7 decimates sequentially scanned frames and reduces the frames from 60 fps to 30 fps, 20 fps, and 15 fps, and gives a sequentially scanned image with a reduced image rate to the switch 3. The switch 3 selects the output of the scanning line decimation device 2, which is an interlaced scanning image of 60 fps in the case of 60 fps, and 30 fps or less in the case of 30 fps or less, according to the image rate information given from the image rate setting unit 11. The output of the frame decimation unit 7 which is a sequentially scanned image is selected.
The motion picture signal selected by the switch 3 is subtracted from the prediction signal given from the inter-picture predictor 12 in the subtracter 4 and given to the DCT 5 as a prediction residual. The DCT 5 performs a DCT conversion process on the prediction residual and gives the obtained coefficient to the quantizer 6. The quantizer 6 quantizes the coefficient with a predetermined step width, and supplies the coefficient that has become a fixed-length code to the variable-length encoder 10 and the inverse quantizer 9. The variable-length encoder 10 compresses the fixed-length prediction residual with the variable-length code, and the resulting code string is given to the multiplexer 15.
On the other hand, the inverse quantizer 9 and the inverse DCT 14 perform the inverse processing of the DCT 5 and the quantizer 6 to reproduce the prediction residual. The obtained reproduction prediction residual is added with a prediction signal by an adder 13 to form a reproduced image, which is given to the inter-picture predictor 12. The inter-picture predictor 12 creates a prediction signal from the stored reproduced image signal and supplies it to the subtracter 4 and the adder 13. At that time, inter-image prediction for interlaced scanning is performed at an image rate of 60 fps, and inter-image prediction for sequential scanning is performed at 30 fps or less in conjunction with the operation of the switch 3.
On the other hand, the MV detector 8 obtains the amount of spatial movement between one frame of the incoming moving image for each 16 × 16 pixel block, and gives it to the image rate setting unit 11 as MV. The image rate setting unit 11 sets the image rate from MV. One of 60 fps, 30 fps, 20 fps, 15 fps, and 10 fps is set. The state of each rate is shown in FIG. The information of the image rate output from the image rate setting unit 11 is given to the multiplexer 15 in addition to the frame decimation unit 7, the switch 3, and the inter-image predictor 12. It becomes. At this time, the image rate value may be used as information as it is, but the frame (field) number of each frame (field) may be thinned out according to the rate.
[0008]
<Image rate setting and thinning process>
Next, the setting of the image rate will be described. The image rate can be controlled by observing the amount of generated code as in the conventional example and by the degree of fullness of the virtual buffer. In this case, the set image rate is similar to the conventional example. Furthermore, the image rate may be reduced when information on other encoding parameters such as a quantization step width and an encoding mode is used and the image quality is likely to be deteriorated due to coarse quantization. On the other hand, if it is set according to the degree of movement of the incoming moving image as described below, a visually appropriate transfer rate is set. Only one of the encoding parameter and the degree of motion of the incoming image can be used, but it is also possible to control using both information.
A case where the image rate is set according to the degree of movement of the incoming moving image will be described. The moving image signal is basically 60 frames per second (field), but this value comes from the detection limit of the surface flicker, and it is not necessary for every movement of the image. Actually, although it can be estimated from the fact that the movie film is 24 fps, motion deterioration (unnaturalness) is detected at 30 fps only in the case of fast motion, and usually 20 fps does not cause significant deterioration. However, if it is lower than that, the deterioration of the movement is a concern except when it is almost stationary.
Accordingly, 60 fps is set only when there is a fast movement, 30 fps when there is a lot of movement, 20 fps when there is little movement, and 10 to 15 fps when there is little movement. By appropriately performing this control, it is possible to obtain a reproduced image in which motion deterioration is hardly noticed. Specifically, it is obtained from the horizontal component MVx (i, j) and the vertical component MVy (i, j) of MV. Note that the values of MVx (i, j) and MVy (i, j) are 1.0 for the movement of one pixel, i is the block horizontal position in one frame, and j is the block vertical position in one frame. When one frame is 720 × 480 pixels, the motion activity MA of the entire screen is obtained by the following equation, and the image rate R is determined from the value and threshold value.
[Expression 1]

In Equation 1, k is set to a standard value of 1, but may be changed according to a quantization step width parameter or the like.
[0009]
<First Embodiment of Variable Image Rate Decoding Device>
A first embodiment of a variable image rate decoding apparatus corresponding to the variable image rate encoding apparatus of the first embodiment shown in FIG. 1 will be described. The configuration is shown in FIG. The same components as those in the conventional example of FIG. 2, a demultiplexer 28, a scanning line interpolator 21, and a switch 22 are added as compared with FIG. Further, the operation of the frame interpolator 26 is different.
The code string coming from the code input terminal 27 is separated into information related to the main code string and the image rate by the demultiplexer 28, the main code string is sent to the variable length decoder 23, and the information related to the image rate is set to the image rate. Is provided to a container 29. The image rate setting unit 29 determines the image rate from the frame (field) number and the like, and applies the set image rate to the inter-image predictor 25, the frame interpolator 26, and the switch 22.
The variable length decoder 24 returns the variable length code to a fixed length code, and the fixed length code is supplied to the inverse quantizer 9. The fixed-length code becomes a coefficient value in the inverse quantizer 9 and is given to the inverse DCT 14. The inverse DCT 14 converts 8 × 8 coefficients into a reproduction prediction residual signal and supplies it to the adder 13. The adder 13 adds the prediction signal to the reproduction prediction residual signal to form a reproduction image.
The reproduced image signal obtained in this way is supplied to the inter-picture predictor 25, the scanning line interpolator 21, and the frame interpolator 26. The inter-picture predictor 25 forms a prediction signal from the decoded image stored in the memory, and the obtained prediction signal is given to the adder 13. At this time, when the image rate is 60 fps, the interlaced scanning prediction signal is used, and when the image rate is 30 fps or lower, the progressive scanning prediction signal is used.
On the other hand, the scanning line interpolator 21 interpolates the scanning lines thinned out by interlaced scanning to form a 60 fps sequential scanning image and supplies it to the switch 22. The frame interpolator 26 interpolates the frames of the progressive scanning image that have been thinned out, and supplies the result to the switch 22 as a sequential scanning image of 60 fps. The processing varies depending on the image rate. Two frames are repeated at 30 fps, three frames are repeated at 20 fps, four frames are repeated at 15 fps, and six frames are repeated at 10 fps. This is shown in FIG.
Depending on the image rate, the switch 22 selects the output of the scanning line interpolator 21 when it is 60 fps, and selects the output of the frame interpolator 26 when it is 30 fps or less. The selected signals are all 60 fps progressive scan images, and are output from the progressive scan image output terminal 23.
[0010]
<Second Embodiment of Variable Image Rate Encoding Device>
A second embodiment of the variable image rate encoding apparatus of the present invention will be described. FIG. 3 shows the configuration, and the same components as those in the first embodiment shown in FIG. Compared with FIG. 1, FIG. 3 includes an interlaced scanning image input terminal 32 instead of the sequential scanning image input terminal 1, no scanning line thinning-out device 2, and a scanning line interpolator 31.
In the second embodiment of the variable image rate encoding apparatus, the difference from the first embodiment is the formation of the input signal and the encoded moving image corresponding to the input signal, and the encoding process for the prediction residual is basically the same. Therefore, only different parts will be described. In the first embodiment, sequentially scanned images are input. In the second embodiment, interlaced scanned images are input.
The 60 fps interlaced scanning image signal coming from the interlaced scanning image input terminal 32 is given to the scanning line interpolator 31, the switch 3, and the motion vector (MV) detector 33. The scanning line interpolator 31 interpolates the scanning lines that have disappeared in the interlaced scanning to form a sequential scanning signal, which is given to the frame decimation unit 7. The image rate output from the scanning line interpolator 31 may be maintained at 60 fps, but is set to at least 30 fps or less by the frame decimation unit 7 and may be set to 30 fps at this output stage.
The frame decimation unit 7 decimates sequentially scanned frames in accordance with the image rate information given from the image rate setting unit 34, reduces the frames to 30 fps, 20 fps, 15 fps, and 10 fps, and gives a sequentially scanned image with a reduced image rate to the switch 3. . Based on the image rate information, the switch 3 selects an incoming signal that is an interlaced scanning image of 60 fps in the case of 60 fps, and selects the output of the frame decimation unit 7 that is a sequentially scanned image of 30 fps or less in the case of 30 fps or less. To do.
The following operations of the subtracter 4, DCT 5, quantizer 6, inverse quantizer 9, variable length encoder 10, inter-picture predictor 12, adder 13, inverse DCT 14, and multiplexer 15 are the first implementation. Same as example.
On the other hand, the operation of the MV detector 33 is slightly different from that of the MV detector 8 of FIG. 1, and is a motion vector detection process for interlaced scanning images. The image rate setting unit 34 is essentially the same as the image rate setting unit 11 of FIG. 1, but the magnitude of the motion vector obtained by the MV detector 33 is the motion vector obtained by the MV detector 8. Therefore, the calculation is performed with the amount corrected.
[0011]
<Second Embodiment of Variable Image Rate Decoding Device>
A second embodiment of the variable image rate decoding apparatus of the present invention will be described. The configuration is shown in FIG. The same components as those in the first embodiment shown in FIG. Compared with FIG. 2, the scanning line interpolator 21 is not provided in FIG.
In the second embodiment of the variable image rate decoding apparatus, the difference from the first embodiment is the output signal and its formation, and the decoding process is basically the same, so only the different parts will be described. In the first embodiment, sequentially scanned images are output. In the second embodiment, interlaced scanned images are output.
The operations of the code input terminal 27, the demultiplexer 28, the variable length decoder 24, the inverse quantizer 9, the inverse DCT 14, the adder 13, and the inter-picture predictor 25 are the same as those in the first embodiment of FIG. is there. The obtained reproduced image signal is given to the frame interpolator 26 and the switch 22.
The frame interpolator 26 interpolates the frames of the progressive scanning image that have been thinned out, and supplies the result to the switch 22 as a sequential scanning image of 60 fps. The processing varies depending on the image rate. Two frames are repeated at 30 fps, three frames are repeated at 20 fps, four frames are repeated at 15 fps, and six frames are repeated at 10 fps.
The 60 fps progressively scanned image output from the frame interpolator 26 is thinned out by the scanning line thinning device 41 and becomes interlaced scanning fields. Accordingly, the interlaced scanning image of 60 fps is output from the scanning line thinning-out device 41. The processing of the scanning line thinning device 41 is integrated with the processing of the frame interpolator 26, so that it is not necessary to input / output a high-speed 60 fps progressively scanned image.
Based on the image rate information, the switch 22 selects the output of the adder 13 when it is 60 fps, and selects the output of the scanning line thinning-out device 41 when it is 30 fps or less. All of the selected signals are 60 fps interlaced scanning images and are output from the interlaced image output terminal 23. The state of this decoding process is shown in FIG.
[0012]
<Third embodiment of variable image rate encoding apparatus>
A third embodiment of the variable image rate encoding apparatus of the present invention will be described. FIG. 5 shows the configuration, and the same components as those in the first embodiment of FIG. Compared to FIG. 1, FIG. 5 includes a frame delay unit 52, a subtractor 57, a DCT 59, a quantizer 60, and a variable length encoder 55 which are encoding systems for bi-predictive frames. The operation of the device 56 and the scanning line thinning device 58 are different.
In the third embodiment, the third embodiment applies the thinning-out process only to the bi-directional prediction frame (B picture) using bi-directional prediction. Scan line thinning is applied to the prediction residual.
The 60 fps progressively scanned image signal coming from the image input terminal 1 is sent to the subtracter 4 for the I picture (intra-frame coding screen) and P picture set by the switch 51 every 6 frames, and for the B picture. This is supplied to the frame delay unit 52.
In the P (I) picture, the moving image signals are the subtracter 4, DCT 5, quantizer 6, inverse quantizer 9, variable length encoder 10, adder 13, and inverse DCT 14, which are the same as those in the first embodiment. Encoding is performed in the same manner, and a code string is supplied to the multiplexer 53.
In the B picture, the moving image signal is made to wait until the preceding P (I) picture has been encoded by the frame delay unit 52. If the P (I) picture is every 6 frames, image signals for 5 frames are held for 6 frames. Thereafter, it is given to the frame thinning device 56.
The frame decimation unit 56 decimates the frames of the B picture according to the image rate information. At this time, considering that the P (I) picture always exists, the frames to be encoded are arranged at equal intervals. To do. This is shown in FIG. Here, 15 fps used in the first embodiment is not set because the remaining frame is not synchronized with the P (I) picture.
The thinned moving picture of the B picture is given to the subtractor 57. The subtractor 57 subtracts the prediction signal given from the inter-picture predictor, and gives the prediction residual to the scanning line thinning-out device 58. The scanning line thinning device 58 thins out scanning lines in each field of interlace scanning only when the image rate is 60 fps, and the prediction residual remains in the form of interlace scanning and is given to the DCT 59.
The operations of the DCT 59, the quantizer 60, and the variable length encoder 55 are basically the same as those of the DCT 5, the quantizer 6, and the variable length encoder 10, and only the quantization parameters are different. The code string obtained in this way is multiplexed with the code string of the P (I) picture by the multiplexer 53. Information on the image rate output from the image rate setting unit 14 is also multiplexed.
In the P (I) picture, the inter-picture predictor 54 outputs a prediction signal to the subtracter 4 and the adder 13 in the same manner as in the first embodiment. This is given to the device 57. However, unlike the first and second embodiments, only a prediction signal for sequential scanning is formed.
The operations of the MV detector 8 and the image rate setting unit 11 are the same as those in the first embodiment. However, 15 fps is not set.
[0013]
<Third embodiment of variable image rate decoding apparatus>
A third embodiment of the variable image rate decoding apparatus corresponding to the third embodiment of the variable image rate encoding apparatus shown in FIG. 5 will be described. The configuration is shown in FIG. The same components as those in the first embodiment of the variable image rate decoding apparatus in FIG. 6 is different from FIG. 2 in that the switch 22 is not provided and the positions and operations of the scanning line interpolator 61 and the frame interpolator 62 are different.
In the third embodiment of the variable image rate decoding apparatus, the difference between the first embodiment is the inter-picture prediction process and the interpolation method, and the decoding process of the prediction residual signal is basically the same. explain. The operations of the code input terminal 27, the demultiplexer 28, the variable length decoder 24, the inverse quantizer 9, and the inverse DCT 14 are common to all pictures, and are basically the same as in the first embodiment of FIG. The same. The obtained prediction residual is given to the scanning line interpolator 61. The scanning line interpolator 61 interpolates the prediction residual of the B picture thinned out by interlaced scanning only when the image rate is 60 fps. The progressive scanning prediction residual is supplied to the adder 13. The adder 13 adds the prediction signals given from the inter-picture predictor 63 and gives the result to the frame interpolator 62 and the inter-picture predictor 63. The inter-picture predictor 63 forms different prediction signals for the B picture and the P (I) picture, both of which are sequentially scanned.
The frame interpolator 62 interpolates the frames of the progressively scanned image that have been thinned out to obtain a progressively scanned image of 60 fps. The processing varies depending on the image rate. Two frames are repeated at 30 fps, three frames are repeated at 20 fps, and six frames are repeated at 10 fps. Here, since the order of the B picture and the P (I) picture is reversed, the P (I) picture is not output immediately, but the order is corrected and output.
The 60 fps progressive scan image output from the frame interpolator 62 is output from the progressive scan image output terminal 23.
[0014]
【The invention's effect】
As described above, the encoding device and the encoding method of the present invention are based on the degree of motion of an incoming moving image at a predetermined image rate or the encoding parameter at the time of encoding the incoming moving image, flame When the encoded image rate is set for each, and when the set encoded image rate is the same as the predetermined image rate, the interlaced scanning encoding is performed. When the set encoded image rate is lower than the predetermined image rate Therefore, the image rate can be finely adjusted, and an image rate that is not excessive or insufficient for the visual detection capability of motion can be obtained. A lower transfer bit rate is achieved while maintaining the visual quality of the reproduced image as well. Further, if the transfer rate is the same, more bits are allocated to the remaining image without being thinned, and the quality of the reproduced image is improved. On the other hand, according to the decoding apparatus and decoding method of the present invention, the interlaced scanning encoded portion remains unchanged in the interlaced scanning reproduction, and the scanning line is interpolated in the sequential scanning reproduction. For progressive scan reproduction, a portion that has been subjected to progressive scan encoding at a reduced image rate is simply set to a predetermined image rate by repeating frames, and in interlaced scan playback, one frame of sequential scan is made into an even field and an odd field. Disassemble and repeat each. In either case, a smooth reproduced image can be obtained without discontinuous movement, and unnaturalness of movement is minimized.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a first embodiment of a variable image rate encoding apparatus.
FIG. 2 is a diagram illustrating a configuration example of a first embodiment of a variable image rate decoding apparatus.
FIG. 3 is a diagram illustrating a configuration example of a second embodiment of the variable image rate encoding apparatus.
FIG. 4 is a diagram illustrating a configuration example of a second embodiment of a variable image rate decoding apparatus.
FIG. 5 is a diagram illustrating a configuration example of a third embodiment of the variable image rate encoding apparatus.
FIG. 6 is a diagram illustrating a configuration example of a third embodiment of a variable image rate decoding apparatus.
FIG. 7 is a diagram illustrating a configuration example of a conventional variable image rate encoding apparatus.
FIG. 8 is a diagram illustrating a configuration example of a conventional variable image rate decoding apparatus.
FIG. 9 is a diagram showing how frames and scanning lines are reduced.
FIG. 10 is a diagram illustrating a state of B picture reduction in the third embodiment of the variable image rate encoding apparatus.
FIG. 11 is a diagram showing a state of interpolation in the first embodiment of the variable image rate decoding apparatus.
FIG. 12 is a diagram illustrating a state of interpolation in the second embodiment of the variable image rate decoding apparatus.
[Explanation of symbols]
1 Sequential scanning image input terminal
2, 41, 58 Scanning line decimation device
3, 22, 51 switch
4, 57 subtractor
5, 59 DCT
6, 60 Quantizer
7, 56, 72 frame decimation device
8, 33 MV detector
9 Inverse quantizer
10, 55 Variable length encoder
11, 29, 34 Image rate setting device
12, 25, 54, 63, 75, 82 Inter-picture predictor
13 Adder
14 Reverse DCT
15, 53 Multiplexer
16 Code string output terminal
21, 31, 61 Scanning line interpolator
23 Sequential scanning image output terminal
24 Variable length decoder
26, 62, 81 frame interpolator
27 Code string input terminal
28 Demultiplexer
32 Interlaced scanning image input terminal
42 Interlaced scanning image output terminal
52 frame delay
73 Image rate controller
74 Code Quantity Observer

Claims

所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成する画像形成手段と、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得る符号化手段と、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、を備えたことを特徴とする可変画像レート符号化装置。Image rate setting means for setting the encoded image rate for each frame in accordance with the degree of motion of the incoming sequential scanned image at a predetermined image rate or the encoding parameter at the time of encoding the incoming sequential scanned image; When the encoded image rate is the same as the predetermined image rate, the scanning line of the incoming sequential scan image is thinned out to form an interlaced scan image, and the set encoded image rate is equal to the predetermined image rate. If lower, image forming means for thinning out frames of the incoming sequentially scanned image according to the coded image rate to form a sequentially scanned image, and the set coded image rate is equal to the predetermined image rate. In the same case, the interlaced scanning image formed by the image forming unit is interlaced and scanned, and the set encoded image rate is lower than the predetermined image rate. Encoding means for obtaining a moving image code string by sequentially scanning and encoding the progressively scanned image formed by the image forming means, and multiplexing the set information on the encoded image rate and the moving image code string. A variable image rate encoding apparatus comprising: a multiplexing unit configured to convert the image into a plurality of units;

動画像符号列から所定画像レートの順次走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る復号化手段と、を備えたことを特徴とする可変画像レート復号化装置。In a decoding apparatus for reproducing a sequentially scanned image at a predetermined image rate from a moving image code string, image rate setting means for obtaining information on the encoded image rate from the moving image code string and setting the decoded image rate for each frame When the set decoded image rate is the same as the predetermined image rate, the decoded image is obtained by interlaced scanning decoding, and when the set decoded image rate is lower than the predetermined image rate. Decoding means for obtaining a decoded image by sequentially scanning decoding, and when the set decoded image rate is the same as the predetermined image rate, a scanning line of the decoded image obtained by the interlaced scanning decoding is obtained. When the decoded image rate set by interpolation is lower than the predetermined image rate, the frame of the decoded image obtained by the progressive scanning decoding is interpolated to perform the predetermined image rate. Variable image rate decoding apparatus characterized by comprising: a decoding means for obtaining a reproduced progressive scanning image of the image rate, a.

所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定する画像レート設定手段と、前記入来飛越し走査画像を順次走査画像に変換する走査構造変換手段と、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得る画像間引き手段と、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得る符号化手段と、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する多重化手段と、を備えたことを特徴とする可変画像レート符号化装置。An image rate setting means for setting an encoded image rate for each frame according to a degree of movement of an incoming interlaced scanned image at a predetermined image rate or an encoding parameter when encoding the incoming interlaced scanned image; Scanning structure converting means for converting the incoming interlaced scanning image into a sequentially scanned image, and when the set encoded image rate is lower than the predetermined image rate, the sequential scanning according to the encoded image rate Image thinning means for thinning out an image frame to obtain a thinned moving image, and when the set encoded image rate is the same as the predetermined image rate, the incoming interlaced scanning image is directly interlaced and scanned, Encoding means for obtaining a moving image code string by sequentially scanning and encoding the thinned moving image when the set encoded image rate is lower than the predetermined image rate; Variable picture rate coding apparatus characterized by comprising a multiplexing means for multiplexing information and said video code stream for said coded picture rate was.

動画像符号列から所定画像レートの飛越し走査画像を再生する復号化装置において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定する画像レート設定手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得る復号化手段と、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する復号化手段と、を備えたことを特徴とする可変画像レート復号化装置。In a decoding apparatus that reproduces interlaced scanned images at a predetermined image rate from a moving image code string, information on the encoded image rate is obtained from the moving image code string, and an image rate setting for setting a decoded image rate for each frame And when the set decoded image rate is the same as the predetermined image rate, the decoded image is obtained by interlaced scanning decoding, and the set decoded image rate is lower than the predetermined image rate. A decoding means for obtaining a decoded image by sequentially scanning decoding, and when the set decoded image rate is the same as the predetermined image rate, the decoded image obtained by the interlaced scanning decoding is output as it is. However, when the set decoded image rate is lower than the predetermined image rate, the interlaced scanned image is duplicated from the decoded image obtained by the progressive scanning decoding. Variable image rate decoding apparatus characterized by comprising a decoding means for outputting an interlaced image in a predetermined image rate to obtain a field.

所定画像レートの入来順次走査画像の動きの程度または前記入来順次走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来順次走査画像の走査線を間引いて飛越し走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記入来順次走査画像のフレームを間引いて順次走査画像を形成し、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記画像形成手段で形成された前記飛越し走査画像を飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記画像形成手段で形成された前記順次走査画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。An encoded image rate is set for each frame in accordance with the degree of motion of the incoming sequential scanned image at a predetermined image rate or an encoding parameter at the time of encoding the incoming sequential scanned image, and the set encoded image When the rate is the same as the predetermined image rate, the interlaced scanning image is formed by thinning out the scanning line of the incoming sequential scanning image, and when the set encoded image rate is lower than the predetermined image rate. When the encoded image rate is the same as the predetermined image rate, the image forming means is configured to form a sequentially scanned image by thinning out the frames of the incoming sequentially scanned image according to the encoded image rate. The interlaced scan image formed by the interlaced scan encoding is interlaced scan encoded, and when the set encoded image rate is lower than the predetermined image rate, the image formed by the image forming means Give the video code stream by sequentially scanning encode the next scanned image, set multiplexes information and said video code stream for said coded image rate, variable picture rate coding method, characterized in that.

動画像符号列から所定画像レートの順次走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像の走査線を補間し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた復号画像のフレームを補間して前記所定画像レートの再生順次走査画像を得る、ことを特徴とする可変画像レート復号化方法。In a decoding method for reproducing a progressively scanned image at a predetermined image rate from a moving image code string, information on the encoded image rate is obtained from the moving image code string, and the decoded image rate is set for each frame . When the decoded image rate is the same as the predetermined image rate, interlaced scanning decoding is performed to obtain a decoded image. When the set decoded image rate is lower than the predetermined image rate, sequential scanning decoding is performed. When the decoded image rate set is the same as the predetermined image rate, the scan line of the decoded image obtained by the interlaced scanning decoding is interpolated to set the decoded image. When the image rate is lower than the predetermined image rate, a frame of the decoded image obtained by the progressive scanning decoding is interpolated to obtain a reproduction sequential scanned image at the predetermined image rate. Variable image rate decoding method comprising and.

所定画像レートの入来飛越し走査画像の動きの程度または前記入来飛越し走査画像の符号化時の符号化パラメータに応じて、フレーム毎に符号化画像レートを設定し、前記入来飛越し走査画像を順次走査画像に変換し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記符号化画像レートに応じて前記順次走査画像のフレームを間引いて間引き動画像を得、設定された前記符号化画像レートが前記所定画像レートと同じ場合には、前記入来飛越し走査画像をそのまま飛越し走査符号化し、設定された前記符号化画像レートが前記所定画像レートより低い場合には、前記間引き動画像を順次走査符号化して動画像符号列を得、設定された前記符号化画像レートに関する情報と前記動画像符号列とを多重化する、ことを特徴とする可変画像レート符号化方法。An encoded image rate is set for each frame in accordance with the degree of motion of the incoming interlaced scanned image at a predetermined image rate or the encoding parameter when encoding the incoming interlaced scanned image, and the incoming interlaced When the scanned image is converted into a sequentially scanned image and the set encoded image rate is lower than the predetermined image rate, the frame of the sequentially scanned image is thinned out according to the encoded image rate to obtain a thinned moving image. If the set encoded image rate is the same as the predetermined image rate, the incoming interlaced scanned image is interlaced and scanned, and the set encoded image rate is greater than the predetermined image rate. If it is low, the decimation moving image is sequentially scan-encoded to obtain a moving image code sequence, and the information relating to the set encoded image rate and the moving image code sequence are multiplexed. Variable picture rate coding method comprising.

動画像符号列から所定画像レートの飛越し走査画像を再生する復号化方法において、前記動画像符号列から符号化画像レートに関する情報を得て、フレーム毎に復号化画像レートを設定し、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、飛越し走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートより低い場合には、順次走査復号化して復号画像を得、設定された前記復号化画像レートが前記所定画像レートと同じ場合には、前記飛越し走査復号化により得られた復号画像をそのまま出力し、設定された前記復号化画像レートが前記所定画像レートより低い場合には、前記順次走査復号化により得られた前記復号画像から飛越し走査画像の複数フィールドを得て所定画像レートの飛越し走査画像を出力する、ことを特徴とする可変画像レート復号化方法。In a decoding method for reproducing an interlaced scanned image of a predetermined image rate from a moving image code string, information on the encoded image rate is obtained from the moving image code string, and the decoded image rate is set and set for each frame. When the decoded image rate is the same as the predetermined image rate, interlaced scanning decoding is performed to obtain a decoded image. When the set decoded image rate is lower than the predetermined image rate, sequential scanning decoding is performed. When the set decoded image rate is the same as the predetermined image rate, the decoded image obtained by the interlaced scanning decoding is output as it is, and the set decoded image is obtained. When the rate is lower than the predetermined image rate, a plurality of interlaced scanned image fields are obtained from the decoded image obtained by the progressive scanning decoding, and the predetermined image rate skipping is obtained. Variable image rate decoding method and outputs the scanned image, characterized in that.