JP2002077910A - 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 - Google Patents
可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法Info
- Publication number
- JP2002077910A JP2002077910A JP2000255170A JP2000255170A JP2002077910A JP 2002077910 A JP2002077910 A JP 2002077910A JP 2000255170 A JP2000255170 A JP 2000255170A JP 2000255170 A JP2000255170 A JP 2000255170A JP 2002077910 A JP2002077910 A JP 2002077910A
- Authority
- JP
- Japan
- Prior art keywords
- image
- rate
- image rate
- predetermined
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像を再生画質を低下させることなく効率的
に伝送、蓄積、表示するために、走査線構造を切り替え
て単位時間あたりの画像数を変化させ、画像情報をより
少ない符号量でディジタル信号にする高能率符号化する
符号化装置、及びその符号化処理に適した復号化装置を
提供する。 【解決手段】 所定画像レートの入来動画像の動きの程
度に関する情報を得て、画像の部分毎に符号化画像レー
トを設定し、設定された符号化画像レートが前記所定画
像レートと同じ場合には飛越し走査符号化とし、設定さ
れた符号化画像レートが前記所定画像レートよりも低い
場合には順次走査符号化とする。
に伝送、蓄積、表示するために、走査線構造を切り替え
て単位時間あたりの画像数を変化させ、画像情報をより
少ない符号量でディジタル信号にする高能率符号化する
符号化装置、及びその符号化処理に適した復号化装置を
提供する。 【解決手段】 所定画像レートの入来動画像の動きの程
度に関する情報を得て、画像の部分毎に符号化画像レー
トを設定し、設定された符号化画像レートが前記所定画
像レートと同じ場合には飛越し走査符号化とし、設定さ
れた符号化画像レートが前記所定画像レートよりも低い
場合には順次走査符号化とする。
Description
【０００１】
【発明の属する技術分野】本発明は、画像を再生画質を
低下させることなく効率的に伝送、蓄積、表示するため
に、走査線構造を切り替えて単位時間あたりの画像数を
変化させ、画像情報をより少ない符号量でディジタル信
号にする高能率符号化する符号化処理、及びその符号化
処理に適した復号化処理に関するものである。
低下させることなく効率的に伝送、蓄積、表示するため
に、走査線構造を切り替えて単位時間あたりの画像数を
変化させ、画像情報をより少ない符号量でディジタル信
号にする高能率符号化する符号化処理、及びその符号化
処理に適した復号化処理に関するものである。
【０００２】
【従来の技術】＜可変画像レート符号化＞動画像符号化
では、６４ｋｂｐｓなど特に低い転送ビットレートで符
号化する場合、入来するフレーム(画像)のすべてを符号
化せず、間引いた一部の画像のみを符号化する場合があ
る。元の画像が３０フレーム／秒（ｆｐｓ）であると、
間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどと
なる。この場合、間引きにより動きのスムーズさは損な
われることになるが、被符号化フレームが減るので発生
符号量は少なくすることができる。ＭＰＥＧ方式では、
画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれ
る片側方向予測と、Ｂピクチャーと呼ばれる双方向予測
が使われる。ここで、Ｂピクチャーは、他の画像の参照
画像にならないので、削除しても他の画像には影響しな
い。これにより、一度符号化された符号列から、Ｂピク
チャーの符号列のみを削除することで画像レートを変更
できる。この場合、Ｐピクチャーが３フレーム毎に設定
されていると、３０フレーム／秒が１０フレーム／秒に
なる。
では、６４ｋｂｐｓなど特に低い転送ビットレートで符
号化する場合、入来するフレーム(画像)のすべてを符号
化せず、間引いた一部の画像のみを符号化する場合があ
る。元の画像が３０フレーム／秒（ｆｐｓ）であると、
間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどと
なる。この場合、間引きにより動きのスムーズさは損な
われることになるが、被符号化フレームが減るので発生
符号量は少なくすることができる。ＭＰＥＧ方式では、
画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれ
る片側方向予測と、Ｂピクチャーと呼ばれる双方向予測
が使われる。ここで、Ｂピクチャーは、他の画像の参照
画像にならないので、削除しても他の画像には影響しな
い。これにより、一度符号化された符号列から、Ｂピク
チャーの符号列のみを削除することで画像レートを変更
できる。この場合、Ｐピクチャーが３フレーム毎に設定
されていると、３０フレーム／秒が１０フレーム／秒に
なる。
【０００３】＜従来例可変画像レート符号化装置＞図７
は可変画像レート符号化装置の従来例構成を示したもの
である。画像入力端子７１より入来する３０フレーム／
秒(ｆｐｓ)の動画像信号は、フレーム間引器７２で、画
像レート制御器７３から与えられる画像レート情報に従
って、３０ｆｐｓのままとするか、１／２ないし１／３
に間引かれ１５ｆｐｓないし１０ｆｐｓの動画像信号と
なり、減算器４に与えられる。動画像信号は、減算器４
において動き補償予測器６５から与えられる予測信号が
減算され、予測残差となってＤＣＴ５に与えられる。Ｄ
ＣＴ５は予測残差に対してＤＣＴ(Discrete Cosine Tra
nsform)の変換処理を行い、得られた係数を量子化器６
に与える。量子化器６は所定のステップ幅で係数を量子
化し、固定長の符号となった係数を可変長符号化器１０
と逆量子化器９に与える。可変長符号化器１０は、固定
長の予測残差を可変長符号で圧縮し、できた符号は出力
端子１６から出力される。符号量観測器７４は、可変長
符号化器１０で発生する符号量を入力し、所定ビットレ
ートでの出力を仮定して仮想バッファ充足度を求め、画
像レート制御器７３に与える。仮想バッファ容量は所定
ビットレートの０.２秒分程度である。一方、逆量子化
器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆
処理が行われ、予測残差を再生する。得られた再生予測
残差は加算器１３で予測信号が加算され再生画像とな
り、画像間予測器７５に与えられる。画像間予測器７５
は、再生画像を１フレーム分蓄え、再生画像から予測信
号形成して減算器４と加算器１３に与える。画像レート
制御器７４は、仮想バッファ充足度に応じて画像レート
を制御する。発生符号量が多くて残留符号が多い場合は
画像レートを下げ、発生符号量が少なく残留符号が少な
い場合は画像レートを上げる。 ＜従来例可変フレームレート復号化装置＞ 図８は、図７の可変レート符号化装置に対応する復号化
装置の従来例構成を示したものである。符号入力端子２
７より入来する符号列は、可変長復号化器２４で予測残
差の可変長符号が固定長の符号に戻され、逆量子化器９
に与えられる。固定長符号は逆量子化器９で予測残差の
再生ＤＣＴ係数値となり、逆ＤＣＴ１４に与えられる。
逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変
換し、加算器１３に与える。加算器１３では再生予測残
差信号に、画像間予測器８２から与えられる予測信号が
加算され、再生画像となる。この様にして得られた再生
画像信号は、画像間予測器８２に与えられる共にフレー
ム補間器８１に与えられる。画像間予測器８２は、蓄積
されている画像から予測信号を形成し、加算器１３に与
える。フレーム補間器８１は、再生画像を保持し、次の
再生画像が与えられるまでの間、３０ｆｐｓで繰り返し
同一の再生画像を画像出力端子２３から出力する。
は可変画像レート符号化装置の従来例構成を示したもの
である。画像入力端子７１より入来する３０フレーム／
秒(ｆｐｓ)の動画像信号は、フレーム間引器７２で、画
像レート制御器７３から与えられる画像レート情報に従
って、３０ｆｐｓのままとするか、１／２ないし１／３
に間引かれ１５ｆｐｓないし１０ｆｐｓの動画像信号と
なり、減算器４に与えられる。動画像信号は、減算器４
において動き補償予測器６５から与えられる予測信号が
減算され、予測残差となってＤＣＴ５に与えられる。Ｄ
ＣＴ５は予測残差に対してＤＣＴ(Discrete Cosine Tra
nsform)の変換処理を行い、得られた係数を量子化器６
に与える。量子化器６は所定のステップ幅で係数を量子
化し、固定長の符号となった係数を可変長符号化器１０
と逆量子化器９に与える。可変長符号化器１０は、固定
長の予測残差を可変長符号で圧縮し、できた符号は出力
端子１６から出力される。符号量観測器７４は、可変長
符号化器１０で発生する符号量を入力し、所定ビットレ
ートでの出力を仮定して仮想バッファ充足度を求め、画
像レート制御器７３に与える。仮想バッファ容量は所定
ビットレートの０.２秒分程度である。一方、逆量子化
器９及び逆ＤＣＴ１４ではＤＣＴ５及び量子化器６の逆
処理が行われ、予測残差を再生する。得られた再生予測
残差は加算器１３で予測信号が加算され再生画像とな
り、画像間予測器７５に与えられる。画像間予測器７５
は、再生画像を１フレーム分蓄え、再生画像から予測信
号形成して減算器４と加算器１３に与える。画像レート
制御器７４は、仮想バッファ充足度に応じて画像レート
を制御する。発生符号量が多くて残留符号が多い場合は
画像レートを下げ、発生符号量が少なく残留符号が少な
い場合は画像レートを上げる。 ＜従来例可変フレームレート復号化装置＞ 図８は、図７の可変レート符号化装置に対応する復号化
装置の従来例構成を示したものである。符号入力端子２
７より入来する符号列は、可変長復号化器２４で予測残
差の可変長符号が固定長の符号に戻され、逆量子化器９
に与えられる。固定長符号は逆量子化器９で予測残差の
再生ＤＣＴ係数値となり、逆ＤＣＴ１４に与えられる。
逆ＤＣＴ１４は８×８個の係数を再生予測残差信号に変
換し、加算器１３に与える。加算器１３では再生予測残
差信号に、画像間予測器８２から与えられる予測信号が
加算され、再生画像となる。この様にして得られた再生
画像信号は、画像間予測器８２に与えられる共にフレー
ム補間器８１に与えられる。画像間予測器８２は、蓄積
されている画像から予測信号を形成し、加算器１３に与
える。フレーム補間器８１は、再生画像を保持し、次の
再生画像が与えられるまでの間、３０ｆｐｓで繰り返し
同一の再生画像を画像出力端子２３から出力する。
【０００４】
【発明が解決しようとする課題】従来の可変画像レート
符号化装置は、被符号化画像が飛越し走査画像の場合、
フィールドを間引くと垂直解像度が低下することにな
り、フレームを間引くとフレーム補間で時間逆転が起こ
ることになる。従って、飛越し走査画像符号化ではフレ
ームやフィールドを間引く可変画像レートの適用が困難
であった。一方、順次走査画像符号化では可変画像レー
トの適用が可能であるが、飛越し走査での再生は走査線
が破棄されることになり、走査線の情報及び符号化復号
化処理が冗長になっていた。また、発生符号量により画
像レートが変化するので、動きの大きなシーンで画像レ
ートが低下しやすく、再生画像で動きの不自然さが目立
った。本発明は以上の点に着目してなされたもので、画
像の部分により所定画像レートのままでは飛越し走査符
号化とし、画像レートを下げる部分では順次走査符号化
とすることで、解像度の低下や時間逆転なしに可変画像
レートを実現する動画像符号化装置、復号化装置、符号
化方法、及び復号化方法を提供することを目的とする。
符号化装置は、被符号化画像が飛越し走査画像の場合、
フィールドを間引くと垂直解像度が低下することにな
り、フレームを間引くとフレーム補間で時間逆転が起こ
ることになる。従って、飛越し走査画像符号化ではフレ
ームやフィールドを間引く可変画像レートの適用が困難
であった。一方、順次走査画像符号化では可変画像レー
トの適用が可能であるが、飛越し走査での再生は走査線
が破棄されることになり、走査線の情報及び符号化復号
化処理が冗長になっていた。また、発生符号量により画
像レートが変化するので、動きの大きなシーンで画像レ
ートが低下しやすく、再生画像で動きの不自然さが目立
った。本発明は以上の点に着目してなされたもので、画
像の部分により所定画像レートのままでは飛越し走査符
号化とし、画像レートを下げる部分では順次走査符号化
とすることで、解像度の低下や時間逆転なしに可変画像
レートを実現する動画像符号化装置、復号化装置、符号
化方法、及び復号化方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、以下の装置及び方法を提供するも
のである。 ［１］（図１に対応） 所定画像レートの入来順次走査画像の動きの程度または
前記入来順次走査画像の符号化時の符号化パラメータに
応じて、画像の部分毎に符号化画像レートを設定する画
像レート設定手段と、（８、１１） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来順次走査画像の走査線を間引
いて飛越し走査画像を形成し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
符号化画像レートに応じて前記入来順次走査画像のフレ
ームを間引いて順次走査画像を形成する画像形成手段
と、（２、７、３） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記画像形成手段で形成された前記飛
越し走査画像を飛越し走査符号化し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記画像形成手段で形成された前記順次走査画像を
順次走査符号化して動画像符号列を得る符号化手段と、
（４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［２］（図２に対応） 動画像符号列から所定画像レートの順次走査画像を再生
する復号化装置において、前記動画像符号列から符号化
画像レートに関する情報を得て、画像の部分毎に復号化
画像レートを設定する画像レート設定手段と、（２９） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、（２４、９，１４，１３） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像の走査線を補間し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた復号画像のフレームを補間
して前記所定画像レートの再生順次走査画像を得る復号
化手段と、（２１，２６，２２） を備えたことを特徴とする可変画像レート復号化装置。 ［３］（図３に対応） 所定画像レートの入来飛越し走査画像の動きの程度また
は前記入来飛越し走査画像の符号化時の符号化パラメー
タに応じて、画像の部分毎に符号化画像レートを設定す
る画像レート設定手段と、（３３、３４） 前記入来飛越し走査画像を順次走査画像に変換する走査
構造変換手段と、（３１） 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記符号化画像レートに応じて前記
順次走査画像のフレームを間引いて間引き動画像を得る
画像間引き手段と、（２） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来飛越し走査画像をそのまま飛
越し走査符号化し、設定された前記符号化画像レートが
前記所定画像レートより低い場合には、前記間引き動画
像を順次走査符号化して動画像符号列を得る符号化手段
と、（３、４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［４］（図４に対応） 動画像符号列から所定画像レートの飛越し走査画像を再
生する復号化装置において、前記動画像符号列から符号
化画像レートに関する情報を得て、画像の部分毎に復号
化画像レートを設定する画像レート設定手段と、（２
９） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、（２４、９、１４、１３） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像をそのまま出力し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた前記復号画像から飛越し走
査画像の複数フィールドを得て所定画像レートの飛越し
走査画像を出力する復号化手段と、（２６、４１、２
２） を備えたことを特徴とする可変画像レート復号化装置。 ［５］（図１に対応） 所定画像レートの入来動画像の動きの程度を検出する動
き量検出手段と、（８） 検出された前記動きの程度が大きな部分では画像レート
が高く、検出された前記動きの程度が小さな部分では画
像レートが低くなるように符号化画像レートを設定する
画像レート設定手段と、（１１） 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記入来動画像を前記符号化画像レ
ートに応じて画像を間引いて可変画像レートの動画像を
得る画像形成手段と、（７、３） 前記可変画像レートの動画像を符号化し動画像符号列を
得る符号化手段と、（４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［６］ 所定画像レートの入来順次走査画像の動きの程
度または前記入来順次走査画像の符号化時の符号化パラ
メータに応じて、画像の部分毎に符号化画像レートを設
定し、設定された前記符号化画像レートが前記所定画像
レートと同じ場合には、前記入来順次走査画像の走査線
を間引いて飛越し走査画像を形成し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記符号化画像レートに応じて前記入来順次走査画
像のフレームを間引いて順次走査画像を形成し、設定さ
れた前記符号化画像レートが前記所定画像レートと同じ
場合には、前記画像形成手段で形成された前記飛越し走
査画像を飛越し走査符号化し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
画像形成手段で形成された前記順次走査画像を順次走査
符号化して動画像符号列を得、設定された前記符号化画
像レートに関する情報と前記動画像符号列とを多重化す
る、ことを特徴とする可変画像レート符号化方法。 ［７］ 動画像符号列から所定画像レートの順次走査画
像を再生する復号化方法において、前記動画像符号列か
ら符号化画像レートに関する情報を得て、画像の部分毎
に復号化画像レートを設定し、設定された前記復号化画
像レートが前記所定画像レートと同じ場合には、飛越し
走査復号化して復号画像を得、設定された前記復号化画
像レートが前記所定画像レートより低い場合には、順次
走査復号化して復号画像を得、設定された前記復号化画
像レートが前記所定画像レートと同じ場合には、前記飛
越し走査復号化により得られた復号画像の走査線を補間
し、設定された前記復号化画像レートが前記所定画像レ
ートより低い場合には、前記順次走査復号化により得ら
れた復号画像のフレームを補間して前記所定画像レート
の再生順次走査画像を得る、ことを特徴とする可変画像
レート復号化方法。 ［８］ 所定画像レートの入来飛越し走査画像の動きの
程度または前記入来飛越し走査画像の符号化時の符号化
パラメータに応じて、画像の部分毎に符号化画像レート
を設定し、前記入来飛越し走査画像を順次走査画像に変
換し、設定された前記符号化画像レートが前記所定画像
レートより低い場合には、前記符号化画像レートに応じ
て前記順次走査画像のフレームを間引いて間引き動画像
を得、設定された前記符号化画像レートが前記所定画像
レートと同じ場合には、前記入来飛越し走査画像をその
まま飛越し走査符号化し、設定された前記符号化画像レ
ートが前記所定画像レートより低い場合には、前記間引
き動画像を順次走査符号化して動画像符号列を得、設定
された前記符号化画像レートに関する情報と前記動画像
符号列とを多重化する、ことを特徴とする可変画像レー
ト符号化方法。 ［９］ 動画像符号列から所定画像レートの飛越し走査
画像を再生する復号化方法において、前記動画像符号列
から符号化画像レートに関する情報を得て、画像の部分
毎に復号化画像レートを設定し、設定された前記復号化
画像レートが前記所定画像レートと同じ場合には、飛越
し走査復号化して復号画像を得、設定された前記復号化
画像レートが前記所定画像レートより低い場合には、順
次走査復号化して復号画像を得、設定された前記復号化
画像レートが前記所定画像レートと同じ場合には、前記
飛越し走査復号化により得られた復号画像をそのまま出
力し、設定された前記復号化画像レートが前記所定画像
レートより低い場合には、前記順次走査復号化により得
られた前記復号画像から飛越し走査画像の複数フィール
ドを得て所定画像レートの飛越し走査画像を出力する、
ことを特徴とする可変画像レート復号化方法。 ［１０］ 所定画像レートの入来動画像の動きの程度を
検出し、検出された前記動きの程度が大きな部分では画
像レートが高く、検出された前記動きの程度が小さな部
分では画像レートが低くなるように符号化画像レートを
設定し、設定された前記符号化画像レートが前記所定画
像レートより低い場合には、前記入来動画像を前記符号
化画像レートに応じて画像を間引いて可変画像レートの
動画像を得、前記可変画像レートの動画像を符号化し動
画像符号列を得、設定された前記符号化画像レートに関
する情報と前記動画像符号列とを多重化する、ことを特
徴とする可変画像レート符号化方法。
するために本発明は、以下の装置及び方法を提供するも
のである。 ［１］（図１に対応） 所定画像レートの入来順次走査画像の動きの程度または
前記入来順次走査画像の符号化時の符号化パラメータに
応じて、画像の部分毎に符号化画像レートを設定する画
像レート設定手段と、（８、１１） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来順次走査画像の走査線を間引
いて飛越し走査画像を形成し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
符号化画像レートに応じて前記入来順次走査画像のフレ
ームを間引いて順次走査画像を形成する画像形成手段
と、（２、７、３） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記画像形成手段で形成された前記飛
越し走査画像を飛越し走査符号化し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記画像形成手段で形成された前記順次走査画像を
順次走査符号化して動画像符号列を得る符号化手段と、
（４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［２］（図２に対応） 動画像符号列から所定画像レートの順次走査画像を再生
する復号化装置において、前記動画像符号列から符号化
画像レートに関する情報を得て、画像の部分毎に復号化
画像レートを設定する画像レート設定手段と、（２９） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、（２４、９，１４，１３） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像の走査線を補間し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた復号画像のフレームを補間
して前記所定画像レートの再生順次走査画像を得る復号
化手段と、（２１，２６，２２） を備えたことを特徴とする可変画像レート復号化装置。 ［３］（図３に対応） 所定画像レートの入来飛越し走査画像の動きの程度また
は前記入来飛越し走査画像の符号化時の符号化パラメー
タに応じて、画像の部分毎に符号化画像レートを設定す
る画像レート設定手段と、（３３、３４） 前記入来飛越し走査画像を順次走査画像に変換する走査
構造変換手段と、（３１） 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記符号化画像レートに応じて前記
順次走査画像のフレームを間引いて間引き動画像を得る
画像間引き手段と、（２） 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来飛越し走査画像をそのまま飛
越し走査符号化し、設定された前記符号化画像レートが
前記所定画像レートより低い場合には、前記間引き動画
像を順次走査符号化して動画像符号列を得る符号化手段
と、（３、４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［４］（図４に対応） 動画像符号列から所定画像レートの飛越し走査画像を再
生する復号化装置において、前記動画像符号列から符号
化画像レートに関する情報を得て、画像の部分毎に復号
化画像レートを設定する画像レート設定手段と、（２
９） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、（２４、９、１４、１３） 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像をそのまま出力し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた前記復号画像から飛越し走
査画像の複数フィールドを得て所定画像レートの飛越し
走査画像を出力する復号化手段と、（２６、４１、２
２） を備えたことを特徴とする可変画像レート復号化装置。 ［５］（図１に対応） 所定画像レートの入来動画像の動きの程度を検出する動
き量検出手段と、（８） 検出された前記動きの程度が大きな部分では画像レート
が高く、検出された前記動きの程度が小さな部分では画
像レートが低くなるように符号化画像レートを設定する
画像レート設定手段と、（１１） 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記入来動画像を前記符号化画像レ
ートに応じて画像を間引いて可変画像レートの動画像を
得る画像形成手段と、（７、３） 前記可変画像レートの動画像を符号化し動画像符号列を
得る符号化手段と、（４、５、６、１０） 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、（１５） を備えたことを特徴とする可変画像レート符号化装置。 ［６］ 所定画像レートの入来順次走査画像の動きの程
度または前記入来順次走査画像の符号化時の符号化パラ
メータに応じて、画像の部分毎に符号化画像レートを設
定し、設定された前記符号化画像レートが前記所定画像
レートと同じ場合には、前記入来順次走査画像の走査線
を間引いて飛越し走査画像を形成し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記符号化画像レートに応じて前記入来順次走査画
像のフレームを間引いて順次走査画像を形成し、設定さ
れた前記符号化画像レートが前記所定画像レートと同じ
場合には、前記画像形成手段で形成された前記飛越し走
査画像を飛越し走査符号化し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
画像形成手段で形成された前記順次走査画像を順次走査
符号化して動画像符号列を得、設定された前記符号化画
像レートに関する情報と前記動画像符号列とを多重化す
る、ことを特徴とする可変画像レート符号化方法。 ［７］ 動画像符号列から所定画像レートの順次走査画
像を再生する復号化方法において、前記動画像符号列か
ら符号化画像レートに関する情報を得て、画像の部分毎
に復号化画像レートを設定し、設定された前記復号化画
像レートが前記所定画像レートと同じ場合には、飛越し
走査復号化して復号画像を得、設定された前記復号化画
像レートが前記所定画像レートより低い場合には、順次
走査復号化して復号画像を得、設定された前記復号化画
像レートが前記所定画像レートと同じ場合には、前記飛
越し走査復号化により得られた復号画像の走査線を補間
し、設定された前記復号化画像レートが前記所定画像レ
ートより低い場合には、前記順次走査復号化により得ら
れた復号画像のフレームを補間して前記所定画像レート
の再生順次走査画像を得る、ことを特徴とする可変画像
レート復号化方法。 ［８］ 所定画像レートの入来飛越し走査画像の動きの
程度または前記入来飛越し走査画像の符号化時の符号化
パラメータに応じて、画像の部分毎に符号化画像レート
を設定し、前記入来飛越し走査画像を順次走査画像に変
換し、設定された前記符号化画像レートが前記所定画像
レートより低い場合には、前記符号化画像レートに応じ
て前記順次走査画像のフレームを間引いて間引き動画像
を得、設定された前記符号化画像レートが前記所定画像
レートと同じ場合には、前記入来飛越し走査画像をその
まま飛越し走査符号化し、設定された前記符号化画像レ
ートが前記所定画像レートより低い場合には、前記間引
き動画像を順次走査符号化して動画像符号列を得、設定
された前記符号化画像レートに関する情報と前記動画像
符号列とを多重化する、ことを特徴とする可変画像レー
ト符号化方法。 ［９］ 動画像符号列から所定画像レートの飛越し走査
画像を再生する復号化方法において、前記動画像符号列
から符号化画像レートに関する情報を得て、画像の部分
毎に復号化画像レートを設定し、設定された前記復号化
画像レートが前記所定画像レートと同じ場合には、飛越
し走査復号化して復号画像を得、設定された前記復号化
画像レートが前記所定画像レートより低い場合には、順
次走査復号化して復号画像を得、設定された前記復号化
画像レートが前記所定画像レートと同じ場合には、前記
飛越し走査復号化により得られた復号画像をそのまま出
力し、設定された前記復号化画像レートが前記所定画像
レートより低い場合には、前記順次走査復号化により得
られた前記復号画像から飛越し走査画像の複数フィール
ドを得て所定画像レートの飛越し走査画像を出力する、
ことを特徴とする可変画像レート復号化方法。 ［１０］ 所定画像レートの入来動画像の動きの程度を
検出し、検出された前記動きの程度が大きな部分では画
像レートが高く、検出された前記動きの程度が小さな部
分では画像レートが低くなるように符号化画像レートを
設定し、設定された前記符号化画像レートが前記所定画
像レートより低い場合には、前記入来動画像を前記符号
化画像レートに応じて画像を間引いて可変画像レートの
動画像を得、前記可変画像レートの動画像を符号化し動
画像符号列を得、設定された前記符号化画像レートに関
する情報と前記動画像符号列とを多重化する、ことを特
徴とする可変画像レート符号化方法。
【０００６】
【発明の実施の形態】本発明は、所定画像レートの入来
動画像の動きの程度または前記入来動画像の符号化時の
符号化パラメータに応じて、画像の部分毎に符号化画像
レートを設定し、設定された符号化画像レートが前記所
定画像レートと同じ場合には飛越し走査符号化とし、設
定された符号化画像レートが前記所定画像レートよりも
低い場合には順次走査符号化とする。飛越し走査符号化
された部分は飛越し走査での再生ではそのままで、順次
走査での再生では走査線を補間することで適正な再生画
像が得られる。一方、画像レートを下げて順次走査符号
化された部分は、順次走査での再生では単純にフレーム
を繰り返すことで所定画像レートにし、飛越し走査での
再生では順次走査の１フレームを偶数フィールドと奇数
フィールドに分解し、それぞれを繰り返す。いずれの場
合も、不連続な動きとなることなくスムーズな再生画像
が得られる。前記所定画像レートの場合は飛越し走査と
して符号化し、画像レートが下がる場合は順次走査符号
化なので、符号化する情報が少なく、符号化効率がよ
い。
動画像の動きの程度または前記入来動画像の符号化時の
符号化パラメータに応じて、画像の部分毎に符号化画像
レートを設定し、設定された符号化画像レートが前記所
定画像レートと同じ場合には飛越し走査符号化とし、設
定された符号化画像レートが前記所定画像レートよりも
低い場合には順次走査符号化とする。飛越し走査符号化
された部分は飛越し走査での再生ではそのままで、順次
走査での再生では走査線を補間することで適正な再生画
像が得られる。一方、画像レートを下げて順次走査符号
化された部分は、順次走査での再生では単純にフレーム
を繰り返すことで所定画像レートにし、飛越し走査での
再生では順次走査の１フレームを偶数フィールドと奇数
フィールドに分解し、それぞれを繰り返す。いずれの場
合も、不連続な動きとなることなくスムーズな再生画像
が得られる。前記所定画像レートの場合は飛越し走査と
して符号化し、画像レートが下がる場合は順次走査符号
化なので、符号化する情報が少なく、符号化効率がよ
い。
【０００７】＜可変画像レート符号化装置の第１の実施
例＞本発明における可変画像レート符号化装置の第１の
実施例について説明する。図１は、その構成を示したも
ので、図７の従来例と同一構成要素には同一付番を記し
てある。図１には、図７と比較して符号量観測器６４が
なく、走査線間引き器２、動きベクトル（ＭＶ）検出器
８、スイッチ３が追加されている。また、画像レート設
定器１１とフレーム間引き器７の動作が異なる。実施例
において、従来例と異なるのは、前処理による画像間予
測での画像構成である。予測残差に対する符号化方法は
同じである。順次走査画像入力端子１より入来する６０
ｆｐｓの順次走査画像信号は、走査線間引き器２、フレ
ーム間引き器７、ＭＶ検出器８に与えられる。走査線間
引き器２は、走査線を１本おきに間引き飛越し走査の信
号を形成し、スイッチ３に与える。画像レートは６０ｆ
ｐｓのままである。フレーム間引き器７は、順次走査の
フレームを間引き、６０ｆｐｓから３０ｆｐｓ、２０ｆ
ｐｓ、１５ｆｐｓへと低下させ、画像レートが低下した
順次走査画像をスイッチ３に与える。スイッチ３は、画
像レート設定器１１から与えられる画像レート情報によ
り、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像
である走査線間引き器２の出力を選択し、３０ｆｐｓ以
下の場合は、３０ｆｐｓ以下の順次走査画像であるフレ
ーム間引き器７の出力を選択する。スイッチ３で選択さ
れた動画像信号は、減算器４において画像間予測器１２
から与えられる予測信号が減算され、予測残差となって
ＤＣＴ５に与えられる。ＤＣＴ５は、予測残差にＤＣＴ
の変換処理を行い、得られた係数を量子化器６に与え
る。量子化器６は所定のステップ幅で係数を量子化し、
固定長の符号となった係数を可変長符号化器１０と逆量
子化器９に与える。可変長符号化器１０は、固定長の予
測残差を可変長符号で圧縮し、できた符号列は多重化器
１５に与えられる。一方、逆量子化器９及び逆ＤＣＴ１
４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測
残差を再生する。得られた再生予測残差は加算器１３で
予測信号が加算され再生画像となり、画像間予測器１２
に与えられる。画像間予測器１２は、蓄えられている再
生画像信号から予測信号を作り、減算器４と加算器１３
に与える。その際、スイッチ３の動作と連動して、画像
レートが６０ｆｐｓでは、飛越し走査用の画像間予測を
行い、３０ｆｐｓ以下では順次走査用の画像間予測を行
う。一方、ＭＶ検出器８は、入来動画像の１フレーム間
の空間移動量を１６×１６画素ブロック毎に求めて、Ｍ
Ｖとして画像レート設定器１１に与える。画像レート設
定器１１はＭＶから画像レートを設定する。６０ｆｐ
ｓ、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ
のうちのひとつが設定される。それぞれのレートの様子
を図９に示す。画像レート設定器１１から出力される画
像レートの情報は、フレーム間引き器７、スイッチ３、
画像間予測器１２の他に多重化器１５にも与えられ、多
重化器１５で主符号列と多重化される。その際、そのま
ま画像レート値を情報としても良いが、各フレーム（フ
ィールド）のフレーム（フィールド）番号をレートに応
じて間引く形にしても良い。
例＞本発明における可変画像レート符号化装置の第１の
実施例について説明する。図１は、その構成を示したも
ので、図７の従来例と同一構成要素には同一付番を記し
てある。図１には、図７と比較して符号量観測器６４が
なく、走査線間引き器２、動きベクトル（ＭＶ）検出器
８、スイッチ３が追加されている。また、画像レート設
定器１１とフレーム間引き器７の動作が異なる。実施例
において、従来例と異なるのは、前処理による画像間予
測での画像構成である。予測残差に対する符号化方法は
同じである。順次走査画像入力端子１より入来する６０
ｆｐｓの順次走査画像信号は、走査線間引き器２、フレ
ーム間引き器７、ＭＶ検出器８に与えられる。走査線間
引き器２は、走査線を１本おきに間引き飛越し走査の信
号を形成し、スイッチ３に与える。画像レートは６０ｆ
ｐｓのままである。フレーム間引き器７は、順次走査の
フレームを間引き、６０ｆｐｓから３０ｆｐｓ、２０ｆ
ｐｓ、１５ｆｐｓへと低下させ、画像レートが低下した
順次走査画像をスイッチ３に与える。スイッチ３は、画
像レート設定器１１から与えられる画像レート情報によ
り、６０ｆｐｓの場合は、６０ｆｐｓの飛越し走査画像
である走査線間引き器２の出力を選択し、３０ｆｐｓ以
下の場合は、３０ｆｐｓ以下の順次走査画像であるフレ
ーム間引き器７の出力を選択する。スイッチ３で選択さ
れた動画像信号は、減算器４において画像間予測器１２
から与えられる予測信号が減算され、予測残差となって
ＤＣＴ５に与えられる。ＤＣＴ５は、予測残差にＤＣＴ
の変換処理を行い、得られた係数を量子化器６に与え
る。量子化器６は所定のステップ幅で係数を量子化し、
固定長の符号となった係数を可変長符号化器１０と逆量
子化器９に与える。可変長符号化器１０は、固定長の予
測残差を可変長符号で圧縮し、できた符号列は多重化器
１５に与えられる。一方、逆量子化器９及び逆ＤＣＴ１
４ではＤＣＴ５及び量子化器６の逆処理が行われ、予測
残差を再生する。得られた再生予測残差は加算器１３で
予測信号が加算され再生画像となり、画像間予測器１２
に与えられる。画像間予測器１２は、蓄えられている再
生画像信号から予測信号を作り、減算器４と加算器１３
に与える。その際、スイッチ３の動作と連動して、画像
レートが６０ｆｐｓでは、飛越し走査用の画像間予測を
行い、３０ｆｐｓ以下では順次走査用の画像間予測を行
う。一方、ＭＶ検出器８は、入来動画像の１フレーム間
の空間移動量を１６×１６画素ブロック毎に求めて、Ｍ
Ｖとして画像レート設定器１１に与える。画像レート設
定器１１はＭＶから画像レートを設定する。６０ｆｐ
ｓ、３０ｆｐｓ、２０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ
のうちのひとつが設定される。それぞれのレートの様子
を図９に示す。画像レート設定器１１から出力される画
像レートの情報は、フレーム間引き器７、スイッチ３、
画像間予測器１２の他に多重化器１５にも与えられ、多
重化器１５で主符号列と多重化される。その際、そのま
ま画像レート値を情報としても良いが、各フレーム（フ
ィールド）のフレーム（フィールド）番号をレートに応
じて間引く形にしても良い。
【０００８】＜画像レート設定と間引き処理＞次に画像
レートの設定について説明する。画像レートは従来例と
同様に発生符号量を観測して、仮想バッファの充足度に
より制御することも可能である。この場合、設定される
画像レートは従来例と類似したものとなる。さらに、量
子化ステップ幅や符号化モードなど他の符号化パラメー
タの情報を用いて、量子化が粗くなるなど画質が劣化し
やすい場合に画像レートを低下させてもよい。一方、次
に説明するような入来動画像の動きの程度により設定す
ると、視覚的に適切な転送レートが設定される。符号化
パラメータと入来画像の動きの程度は、片方のみ使用す
ることもできるが、両方の情報を用いて制御することも
可能である。入来動画像の動きの程度により画像レート
を設定する場合について説明する。動画像信号は毎秒６
０フレーム(フィールド)が基本であるが、この値は面フ
リッカの検知限界から来るものであり、画像のすべての
動きでそれが必要なわけではない。実際、映画フィルム
が２４ｆｐｓであることからも推測できるが、３０ｆｐ
ｓで動きの劣化(不自然さ)が検知されるのは早い動きの
場合のみで、通常２０ｆｐｓでも大きな劣化とはならな
い。しかし、それより低下すると静止に近い場合以外で
動きの劣化が気になる。従って、早い動きがある場合の
み６０ｆｐｓとし、動きが多い場合は３０ｆｐｓ、動き
が少ない場合は２０ｆｐｓ、動きがほとんどない場合に
１０〜１５ｆｐｓとする。この制御を適切に行うこと
で、動き劣化がほとんど気にならない再生画像が得られ
る。具体的にはＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成
分ＭＶｙ(ｉ,ｊ)から求める。なお、ＭＶｘ(ｉ,ｊ)、Ｍ
Ｖｙ(ｉ,ｊ)の値は１画素の動きが１.０、ｉは１フレー
ム内のブロック水平位置、ｊは１フレーム内のブロック
垂直位置とする。１フレームが７２０×４８０画素の場
合、画面全体の動きアクティビティＭＡを次式で求め、
その値と閾値から画像レートＲを決める。
レートの設定について説明する。画像レートは従来例と
同様に発生符号量を観測して、仮想バッファの充足度に
より制御することも可能である。この場合、設定される
画像レートは従来例と類似したものとなる。さらに、量
子化ステップ幅や符号化モードなど他の符号化パラメー
タの情報を用いて、量子化が粗くなるなど画質が劣化し
やすい場合に画像レートを低下させてもよい。一方、次
に説明するような入来動画像の動きの程度により設定す
ると、視覚的に適切な転送レートが設定される。符号化
パラメータと入来画像の動きの程度は、片方のみ使用す
ることもできるが、両方の情報を用いて制御することも
可能である。入来動画像の動きの程度により画像レート
を設定する場合について説明する。動画像信号は毎秒６
０フレーム(フィールド)が基本であるが、この値は面フ
リッカの検知限界から来るものであり、画像のすべての
動きでそれが必要なわけではない。実際、映画フィルム
が２４ｆｐｓであることからも推測できるが、３０ｆｐ
ｓで動きの劣化(不自然さ)が検知されるのは早い動きの
場合のみで、通常２０ｆｐｓでも大きな劣化とはならな
い。しかし、それより低下すると静止に近い場合以外で
動きの劣化が気になる。従って、早い動きがある場合の
み６０ｆｐｓとし、動きが多い場合は３０ｆｐｓ、動き
が少ない場合は２０ｆｐｓ、動きがほとんどない場合に
１０〜１５ｆｐｓとする。この制御を適切に行うこと
で、動き劣化がほとんど気にならない再生画像が得られ
る。具体的にはＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成
分ＭＶｙ(ｉ,ｊ)から求める。なお、ＭＶｘ(ｉ,ｊ)、Ｍ
Ｖｙ(ｉ,ｊ)の値は１画素の動きが１.０、ｉは１フレー
ム内のブロック水平位置、ｊは１フレーム内のブロック
垂直位置とする。１フレームが７２０×４８０画素の場
合、画面全体の動きアクティビティＭＡを次式で求め、
その値と閾値から画像レートＲを決める。
【数１】 数１においてｋは標準値を１とするが、量子化ステップ
幅のパラメータなどにより変更しても良い。
幅のパラメータなどにより変更しても良い。
【０００９】＜可変画像レート復号化装置の第１の実施
例＞図１に示した第１の実施例の可変画像レート符号化
装置に対応する可変画像レート復号化装置の第１の実施
例について説明する。その構成を図２に示す。図８の従
来例と同一構成要素には同一付番を記してある。図２に
は、図８と比較して、多重化分離器２８、走査線補間器
２１、スイッチ２２が追加されている。また、フレーム
補間器２６の動作が異なる。符号入力端子２７より入来
する符号列は、多重化分離器２８で主たる符号列と画像
レートに関する情報に分離され、主たる符号列は可変長
復号化器２３へ、画像レートに関する情報は画像レート
設定器２９に与えられる。画像レート設定器２９は、フ
レーム（フィールド）番号等から画像レートを判断し、
設定した画像レートを画像間予測器２５、フレーム補間
器２６、スイッチ２２へ与る。可変長復号化器２４は可
変長符号を固定長の符号に戻し、固定長符号は逆量子化
器９に与えられる。固定長符号は逆量子化器９で係数値
となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８
×８個の係数を再生予測残差信号に変換し、加算器１３
に与える。加算器１３では再生予測残差信号に予測信号
が加算され、再生画像となる。この様にして得られた再
生画像信号は、画像間予測器２５と走査線補間器２１、
さらにフレーム補間器２６に与えられる。画像間予測器
２５は、メモリに蓄積されている復号画像から予測信号
を形成し、得られた予測信号は加算器１３に与えられ
る。その際、画像レートが６０ｆｐｓのときは飛越し走
査の予測信号を、３０ｆｐｓ以下のときは順次走査の予
測信号とする。一方、走査線補間器２１は飛越し走査で
間引かれている走査線を補間して、６０ｆｐｓの順次走
査画像を形成し、スイッチ２２に与える。フレーム補間
器２６は間引かれている順次走査画像のフレームを補間
し、６０ｆｐｓの順次走査画像としてスイッチ２２に与
える。処理は画像レートにより異なり、３０ｆｐｓの場
合は２フレームが繰り返され、２０ｆｐｓの場合は３フ
レームが、１５ｆｐｓの場合は４フレームが、１０ｆｐ
ｓの場合は６フレームが繰り返される。この様子を図１
１に示す。スイッチ２２は画像レートにより、６０ｆｐ
ｓの場合は、走査線補間器２１の出力を選択し、３０ｆ
ｐｓ以下の場合はフレーム補間器２６の出力を選択す
る。選択された信号はいずれも６０ｆｐｓの順次走査画
像であり、順次走査画像出力端子２３より、出力され
る。
例＞図１に示した第１の実施例の可変画像レート符号化
装置に対応する可変画像レート復号化装置の第１の実施
例について説明する。その構成を図２に示す。図８の従
来例と同一構成要素には同一付番を記してある。図２に
は、図８と比較して、多重化分離器２８、走査線補間器
２１、スイッチ２２が追加されている。また、フレーム
補間器２６の動作が異なる。符号入力端子２７より入来
する符号列は、多重化分離器２８で主たる符号列と画像
レートに関する情報に分離され、主たる符号列は可変長
復号化器２３へ、画像レートに関する情報は画像レート
設定器２９に与えられる。画像レート設定器２９は、フ
レーム（フィールド）番号等から画像レートを判断し、
設定した画像レートを画像間予測器２５、フレーム補間
器２６、スイッチ２２へ与る。可変長復号化器２４は可
変長符号を固定長の符号に戻し、固定長符号は逆量子化
器９に与えられる。固定長符号は逆量子化器９で係数値
となり、逆ＤＣＴ１４に与えられる。逆ＤＣＴ１４は８
×８個の係数を再生予測残差信号に変換し、加算器１３
に与える。加算器１３では再生予測残差信号に予測信号
が加算され、再生画像となる。この様にして得られた再
生画像信号は、画像間予測器２５と走査線補間器２１、
さらにフレーム補間器２６に与えられる。画像間予測器
２５は、メモリに蓄積されている復号画像から予測信号
を形成し、得られた予測信号は加算器１３に与えられ
る。その際、画像レートが６０ｆｐｓのときは飛越し走
査の予測信号を、３０ｆｐｓ以下のときは順次走査の予
測信号とする。一方、走査線補間器２１は飛越し走査で
間引かれている走査線を補間して、６０ｆｐｓの順次走
査画像を形成し、スイッチ２２に与える。フレーム補間
器２６は間引かれている順次走査画像のフレームを補間
し、６０ｆｐｓの順次走査画像としてスイッチ２２に与
える。処理は画像レートにより異なり、３０ｆｐｓの場
合は２フレームが繰り返され、２０ｆｐｓの場合は３フ
レームが、１５ｆｐｓの場合は４フレームが、１０ｆｐ
ｓの場合は６フレームが繰り返される。この様子を図１
１に示す。スイッチ２２は画像レートにより、６０ｆｐ
ｓの場合は、走査線補間器２１の出力を選択し、３０ｆ
ｐｓ以下の場合はフレーム補間器２６の出力を選択す
る。選択された信号はいずれも６０ｆｐｓの順次走査画
像であり、順次走査画像出力端子２３より、出力され
る。
【００１０】＜可変画像レート符号化装置の第２の実施
例＞本発明の可変画像レート符号化装置の第２の実施例
について説明する。図３は、その構成を示したもので、
図１に示した第１の実施例と同一構成要素には同一付番
を記してある。図３には、図１と比較して、順次走査画
像入力端子１の変わりに飛越し走査画像入力端子３２が
あり、走査線間引器２がなく、走査線補間器３１があ
る。可変画像レート符号化装置の第２の実施例におい
て、第１の実施例と異なるのは入力信号とそれに対する
被符号化動画像の形成であり、予測残差に対する符号化
処理は基本的に同じであるので、異なる部分のみ説明す
る。第１の実施例においては順次走査画像を入力してい
たが、第２の実施例では飛越し走査画像を入力する。飛
越し走査画像入力端子３２より入来する６０ｆｐｓの飛
越し走査画像信号は、走査線補間器３１、スイッチ３、
動きベクトル（ＭＶ）検出器３３に与えられる。走査線
補間器３１は、飛越し走査で消失している走査線を補間
して順次走査の信号を形成し、フレーム間引き器７に与
える。走査線補間器３１から出力される画像レートは、
６０ｆｐｓのままでもよいが、フレーム間引き器７で少
なくとも３０ｆｐｓ以下にされるので、この出力段階で
３０ｆｐｓとしても良い。フレーム間引き器７は、画像
レート設定器３４から与えられる画像レート情報に従っ
て順次走査のフレームを間引き、３０ｆｐｓ、２０ｆｐ
ｓ、１５ｆｐｓ、１０ｆｐｓへと低下させ、画像レート
が低下した順次走査画像をスイッチ３に与える。スイッ
チ３は、画像レート情報により、６０ｆｐｓの場合は、
６０ｆｐｓの飛越し走査画像である入来信号を選択し、
３０ｆｐｓ以下の場合は３０ｆｐｓ以下の順次走査画像
であるフレーム間引き器７の出力を選択する。以下の減
算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長
符号化器１０、画像間予測器１２、加算器１３、逆ＤＣ
Ｔ１４、多重化器１５の動作は第１の実施例と同じであ
る。一方、ＭＶ検出器３３は、図１のＭＶ検出器８と動
作が多少異なり、飛越し走査画像に対しての動きベクト
ル検出処理となる。なお、画像レート設定器３４は、本
質的には図１の画像レート設定器１１と同じであるが、
ＭＶ検出器３３で求められる動きベクトルの大きさが、
ＭＶ検出器８で求められる動きベクトルと異なるので、
その分を補正して計算する。
例＞本発明の可変画像レート符号化装置の第２の実施例
について説明する。図３は、その構成を示したもので、
図１に示した第１の実施例と同一構成要素には同一付番
を記してある。図３には、図１と比較して、順次走査画
像入力端子１の変わりに飛越し走査画像入力端子３２が
あり、走査線間引器２がなく、走査線補間器３１があ
る。可変画像レート符号化装置の第２の実施例におい
て、第１の実施例と異なるのは入力信号とそれに対する
被符号化動画像の形成であり、予測残差に対する符号化
処理は基本的に同じであるので、異なる部分のみ説明す
る。第１の実施例においては順次走査画像を入力してい
たが、第２の実施例では飛越し走査画像を入力する。飛
越し走査画像入力端子３２より入来する６０ｆｐｓの飛
越し走査画像信号は、走査線補間器３１、スイッチ３、
動きベクトル（ＭＶ）検出器３３に与えられる。走査線
補間器３１は、飛越し走査で消失している走査線を補間
して順次走査の信号を形成し、フレーム間引き器７に与
える。走査線補間器３１から出力される画像レートは、
６０ｆｐｓのままでもよいが、フレーム間引き器７で少
なくとも３０ｆｐｓ以下にされるので、この出力段階で
３０ｆｐｓとしても良い。フレーム間引き器７は、画像
レート設定器３４から与えられる画像レート情報に従っ
て順次走査のフレームを間引き、３０ｆｐｓ、２０ｆｐ
ｓ、１５ｆｐｓ、１０ｆｐｓへと低下させ、画像レート
が低下した順次走査画像をスイッチ３に与える。スイッ
チ３は、画像レート情報により、６０ｆｐｓの場合は、
６０ｆｐｓの飛越し走査画像である入来信号を選択し、
３０ｆｐｓ以下の場合は３０ｆｐｓ以下の順次走査画像
であるフレーム間引き器７の出力を選択する。以下の減
算器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長
符号化器１０、画像間予測器１２、加算器１３、逆ＤＣ
Ｔ１４、多重化器１５の動作は第１の実施例と同じであ
る。一方、ＭＶ検出器３３は、図１のＭＶ検出器８と動
作が多少異なり、飛越し走査画像に対しての動きベクト
ル検出処理となる。なお、画像レート設定器３４は、本
質的には図１の画像レート設定器１１と同じであるが、
ＭＶ検出器３３で求められる動きベクトルの大きさが、
ＭＶ検出器８で求められる動きベクトルと異なるので、
その分を補正して計算する。
【００１１】＜可変画像レート復号化装置の第２の実施
例＞本発明の可変画像レート復号化装置の第２の実施例
について説明する。その構成を図４に示す。図２の第１
の実施例と同一構成要素には同一付番を記してある。図
４には、図２と比較して、走査線補間器２１がなく走査
線間引き器４１が追加されている。可変画像レート復号
化装置の第２の実施例において、第１の実施例と異なる
のは出力信号とその形成であり、復号化処理は基本的に
同じであるので、異なる部分のみ説明する。第１の実施
例においては順次走査画像を出力していたが、第２実施
例では飛越し走査画像を出力する。符号入力端子２７、
多重化分離器２８、可変長復号化器２４、逆量子化器
９、逆ＤＣＴ１４、加算器１３、画像間予測器２５の動
作は図２の第１の実施例と同じである。得られた再生画
像信号は、フレーム補間器２６とスイッチ２２に与えら
れる。フレーム補間器２６は間引かれている順次走査画
像のフレームを補間し、６０ｆｐｓの順次走査画像とし
てスイッチ２２に与える。処理は画像レートにより異な
り、３０ｆｐｓの場合は２フレームが繰り返され、２０
ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フ
レームが、１０ｆｐｓの場合は６フレームが繰り返され
る。フレーム補間器２６から出力される６０ｆｐｓの順
次走査画像は、走査線間引き器４１で走査線が間引か
れ、飛越し走査の各フィールドとなる。従って、走査線
間引き器４１からは６０ｆｐｓの飛越し走査画像が出力
される。なお、走査線間引き器４１の処理はフレーム補
間器２６の処理と一体化することで、高速な６０ｆｐｓ
の順次走査画像の入出力をしなくて済む。スイッチ２２
は画像レート情報により、６０ｆｐｓの場合は、加算器
１３の出力を選択し、３０ｆｐｓ以下の場合は走査線間
引き器４１の出力を選択する。選択された信号はいずれ
も６０ｆｐｓの飛越し走査画像であり、飛越し画像出力
端子２３より出力される。この復号処理の様子は図１２
に示される。
例＞本発明の可変画像レート復号化装置の第２の実施例
について説明する。その構成を図４に示す。図２の第１
の実施例と同一構成要素には同一付番を記してある。図
４には、図２と比較して、走査線補間器２１がなく走査
線間引き器４１が追加されている。可変画像レート復号
化装置の第２の実施例において、第１の実施例と異なる
のは出力信号とその形成であり、復号化処理は基本的に
同じであるので、異なる部分のみ説明する。第１の実施
例においては順次走査画像を出力していたが、第２実施
例では飛越し走査画像を出力する。符号入力端子２７、
多重化分離器２８、可変長復号化器２４、逆量子化器
９、逆ＤＣＴ１４、加算器１３、画像間予測器２５の動
作は図２の第１の実施例と同じである。得られた再生画
像信号は、フレーム補間器２６とスイッチ２２に与えら
れる。フレーム補間器２６は間引かれている順次走査画
像のフレームを補間し、６０ｆｐｓの順次走査画像とし
てスイッチ２２に与える。処理は画像レートにより異な
り、３０ｆｐｓの場合は２フレームが繰り返され、２０
ｆｐｓの場合は３フレームが、１５ｆｐｓの場合は４フ
レームが、１０ｆｐｓの場合は６フレームが繰り返され
る。フレーム補間器２６から出力される６０ｆｐｓの順
次走査画像は、走査線間引き器４１で走査線が間引か
れ、飛越し走査の各フィールドとなる。従って、走査線
間引き器４１からは６０ｆｐｓの飛越し走査画像が出力
される。なお、走査線間引き器４１の処理はフレーム補
間器２６の処理と一体化することで、高速な６０ｆｐｓ
の順次走査画像の入出力をしなくて済む。スイッチ２２
は画像レート情報により、６０ｆｐｓの場合は、加算器
１３の出力を選択し、３０ｆｐｓ以下の場合は走査線間
引き器４１の出力を選択する。選択された信号はいずれ
も６０ｆｐｓの飛越し走査画像であり、飛越し画像出力
端子２３より出力される。この復号処理の様子は図１２
に示される。
【００１２】＜可変画像レート符号化装置の第３の実施
例＞本発明の可変画像レート符号化装置の第３の実施例
について説明する。図５は、その構成を示したもので、
図１の第１の実施例と同一構成要素には同一付番を記し
てある。図５には、図１と比較して、双方向予測フレー
ムの符号化系であるフレーム遅延器５２、減算器５７、
ＤＣＴ５９、量子化器６０、可変長符号化器５５があ
り、フレーム間引器５６、走査線間引器５８の動作が異
なる。第３の実施例において、第３の実施例は、双方向
予測を用いて、双方向予測フレーム（Ｂピクチャー）の
みに間引き処理を適用するものである。また、走査線間
引きは予測残差に適用される。画像入力端子１より入来
する６０ｆｐｓの順次走査画像信号は、スイッチ５１に
より、６フレーム毎に１フレーム設定されるＩピクチャ
ー（フレーム内符号化画面）及びＰピクチャーでは減算
器４に、Ｂピクチャーではフレーム遅延器５２に与えら
れる。Ｐ(Ｉ)ピクチャーにおいては、動画像信号は減算
器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符
号化器１０、加算器１３、逆ＤＣＴ１４で、第１の実施
例と同様に符号化され、符号列が多重化器５３に与えら
れる。Ｂピクチャーにおいては、動画像信号は、フレー
ム遅延器５２で先行するＰ(Ｉ)ピクチャーの符号化が完
了するまで待機させられる。Ｐ(Ｉ)ピクチャーが６フレ
ーム毎なら、５フレーム分の画像信号が、６フレームの
間保持される。その後、フレーム間引き器５６に与えら
れる。フレーム間引き器５６は、画像レート情報に応じ
てＢピクチャーのフレームを間引くが、その際にＰ(Ｉ)
ピクチャーは必ず存在することを考慮して、符号化され
るフレームが均等間隔になるようにする。その様子を図
１０に示す。ここで、第１の実施例で使われている１５
ｆｐｓは、残存するフレームがＰ(Ｉ)ピクチャーと同期
しなくなるので、設定しない。間引かれたＢピクチャー
の動画像は減算器５７に与えられる。減算器５７は画像
間予測器から与えられる予測信号を減算し、予測残差を
走査線間引き器５８に与える。走査線間引き器５８で
は、画像レートが６０ｆｐｓの場合のみ飛越し走査の各
フィールドに走査線が間引かれ、予測残差は飛越し走査
の形で残り、ＤＣＴ５９に与えられる。ＤＣＴ５９、量
子化器６０、可変長符号化器５５の動作は、ＤＣＴ５、
量子化器６、可変長符号化器１０と基本的に同じで、量
子化のパラメータのみ異なる。このようにして得られた
符号列は多重化器５３でＰ(Ｉ)ピクチャーの符号列と多
重化される。画像レート設定器１４から出力される画像
レートの情報も多重化される。画像間予測器５４は、Ｐ
(Ｉ)ピクチャーでは第１の実施例と同様に減算器４と加
算器１３に予測信号を出力するが、Ｂピクチャーでは前
後２画像から予測信号を形成し、減算器５７に与える。
ただし、実施例１や２と異なり順次走査の予測信号のみ
を形成する。ＭＶ検出器８、画像レート設定器１１の動
作は第１の実施例と同じである。ただし、１５ｆｐｓは
設定されない。
例＞本発明の可変画像レート符号化装置の第３の実施例
について説明する。図５は、その構成を示したもので、
図１の第１の実施例と同一構成要素には同一付番を記し
てある。図５には、図１と比較して、双方向予測フレー
ムの符号化系であるフレーム遅延器５２、減算器５７、
ＤＣＴ５９、量子化器６０、可変長符号化器５５があ
り、フレーム間引器５６、走査線間引器５８の動作が異
なる。第３の実施例において、第３の実施例は、双方向
予測を用いて、双方向予測フレーム（Ｂピクチャー）の
みに間引き処理を適用するものである。また、走査線間
引きは予測残差に適用される。画像入力端子１より入来
する６０ｆｐｓの順次走査画像信号は、スイッチ５１に
より、６フレーム毎に１フレーム設定されるＩピクチャ
ー（フレーム内符号化画面）及びＰピクチャーでは減算
器４に、Ｂピクチャーではフレーム遅延器５２に与えら
れる。Ｐ(Ｉ)ピクチャーにおいては、動画像信号は減算
器４、ＤＣＴ５、量子化器６、逆量子化器９、可変長符
号化器１０、加算器１３、逆ＤＣＴ１４で、第１の実施
例と同様に符号化され、符号列が多重化器５３に与えら
れる。Ｂピクチャーにおいては、動画像信号は、フレー
ム遅延器５２で先行するＰ(Ｉ)ピクチャーの符号化が完
了するまで待機させられる。Ｐ(Ｉ)ピクチャーが６フレ
ーム毎なら、５フレーム分の画像信号が、６フレームの
間保持される。その後、フレーム間引き器５６に与えら
れる。フレーム間引き器５６は、画像レート情報に応じ
てＢピクチャーのフレームを間引くが、その際にＰ(Ｉ)
ピクチャーは必ず存在することを考慮して、符号化され
るフレームが均等間隔になるようにする。その様子を図
１０に示す。ここで、第１の実施例で使われている１５
ｆｐｓは、残存するフレームがＰ(Ｉ)ピクチャーと同期
しなくなるので、設定しない。間引かれたＢピクチャー
の動画像は減算器５７に与えられる。減算器５７は画像
間予測器から与えられる予測信号を減算し、予測残差を
走査線間引き器５８に与える。走査線間引き器５８で
は、画像レートが６０ｆｐｓの場合のみ飛越し走査の各
フィールドに走査線が間引かれ、予測残差は飛越し走査
の形で残り、ＤＣＴ５９に与えられる。ＤＣＴ５９、量
子化器６０、可変長符号化器５５の動作は、ＤＣＴ５、
量子化器６、可変長符号化器１０と基本的に同じで、量
子化のパラメータのみ異なる。このようにして得られた
符号列は多重化器５３でＰ(Ｉ)ピクチャーの符号列と多
重化される。画像レート設定器１４から出力される画像
レートの情報も多重化される。画像間予測器５４は、Ｐ
(Ｉ)ピクチャーでは第１の実施例と同様に減算器４と加
算器１３に予測信号を出力するが、Ｂピクチャーでは前
後２画像から予測信号を形成し、減算器５７に与える。
ただし、実施例１や２と異なり順次走査の予測信号のみ
を形成する。ＭＶ検出器８、画像レート設定器１１の動
作は第１の実施例と同じである。ただし、１５ｆｐｓは
設定されない。
【００１３】＜可変画像レート復号化装置の第３の実施
例＞図５に示した可変画像レート符号化装置の第３の実
施例に対応する可変画像レート復号化装置の第３の実施
例について説明する。その構成を図６に示す。図２の可
変画像レート復号化装置の第１の実施例と同一構成要素
には同一付番を記してある。図６には、図２と比較し
て、スイッチ２２がなく走査線補間器６１、フレーム補
間器６２の位置及び動作が異なる。可変画像レート復号
化装置の第３の実施例において、第１の実施例と異なる
のは画像間予測処理と補間方法で、予測残差信号の復号
化処理は基本的に同じなので、異なる部分のみ説明す
る。符号入力端子２７、多重化分離器２８、可変長復号
化器２４、逆量子化器９、逆ＤＣＴ１４の動作は、すべ
てのピクチャーに共通であり、図２の第１の実施例と基
本的に同じである。得られた予測残差は走査線補間器６
１に与えられる。走査線補間器６１は、画像レートが６
０ｆｐｓの場合のみ、飛越し走査で間引かれているＢピ
クチャーの予測残差を補間する。順次走査の予測残差は
加算器１３に与えられる。加算器１３は画像間予測器６
３から与えられる予測信号を加算して、フレーム補間器
６２と画像間予測器６３に与える。画像間予測器６３
は、ＢピクチャーとＰ(Ｉ)ピクチャーで異なった予測信
号を形成するが、いずれも順次走査である。フレーム補
間器６２は間引かれている順次走査画像のフレームを補
間し、６０ｆｐｓの順次走査画像とする。処理は画像レ
ートにより異なり、３０ｆｐｓの場合は２フレームが繰
り返され、２０ｆｐｓの場合は３フレームが、１０ｆｐ
ｓの場合は６フレームが繰り返される。ここで、Ｂピク
チャーとＰ(Ｉ)ピクチャーは順番が逆転しているので、
Ｐ(Ｉ)ピクチャーはすぐに出力せず、順番を補正して出
力する。フレーム補間器６２から出力される６０ｆｐｓ
の順次走査画像は、順次走査画像出力端子２３より出力
される。
例＞図５に示した可変画像レート符号化装置の第３の実
施例に対応する可変画像レート復号化装置の第３の実施
例について説明する。その構成を図６に示す。図２の可
変画像レート復号化装置の第１の実施例と同一構成要素
には同一付番を記してある。図６には、図２と比較し
て、スイッチ２２がなく走査線補間器６１、フレーム補
間器６２の位置及び動作が異なる。可変画像レート復号
化装置の第３の実施例において、第１の実施例と異なる
のは画像間予測処理と補間方法で、予測残差信号の復号
化処理は基本的に同じなので、異なる部分のみ説明す
る。符号入力端子２７、多重化分離器２８、可変長復号
化器２４、逆量子化器９、逆ＤＣＴ１４の動作は、すべ
てのピクチャーに共通であり、図２の第１の実施例と基
本的に同じである。得られた予測残差は走査線補間器６
１に与えられる。走査線補間器６１は、画像レートが６
０ｆｐｓの場合のみ、飛越し走査で間引かれているＢピ
クチャーの予測残差を補間する。順次走査の予測残差は
加算器１３に与えられる。加算器１３は画像間予測器６
３から与えられる予測信号を加算して、フレーム補間器
６２と画像間予測器６３に与える。画像間予測器６３
は、ＢピクチャーとＰ(Ｉ)ピクチャーで異なった予測信
号を形成するが、いずれも順次走査である。フレーム補
間器６２は間引かれている順次走査画像のフレームを補
間し、６０ｆｐｓの順次走査画像とする。処理は画像レ
ートにより異なり、３０ｆｐｓの場合は２フレームが繰
り返され、２０ｆｐｓの場合は３フレームが、１０ｆｐ
ｓの場合は６フレームが繰り返される。ここで、Ｂピク
チャーとＰ(Ｉ)ピクチャーは順番が逆転しているので、
Ｐ(Ｉ)ピクチャーはすぐに出力せず、順番を補正して出
力する。フレーム補間器６２から出力される６０ｆｐｓ
の順次走査画像は、順次走査画像出力端子２３より出力
される。
【００１４】
【発明の効果】以上の通り、本発明の符号化装置、符号
化方法は、所定画像レートの入来動画像の動きの程度ま
たは前記入来動画像の符号化時の符号化パラメータに応
じて、画像の部分毎に符号化画像レートを設定し、設定
された符号化画像レートが前記所定画像レートと同じ場
合には飛越し走査符号化とし、設定された符号化画像レ
ートが前記所定画像レートよりも低い場合には順次走査
符号化とするので、画像レートを微妙に調節でき、動き
の視覚的検知能力に対して過不足のない画像レートが得
られる。再生画像の視覚的品質を同様に保ちながらより
低い転送ビットレートが実現される。また、転送レート
を同一とすれば、間引かれずに残った画像により多くの
ビットが配分されることになり、再生画像の品質が向上
する。一方、本発明の復号化装置、復号化方法は、飛越
し走査符号化された部分は飛越し走査での再生ではその
ままで、順次走査での再生では走査線を補間する。画像
レートを下げて順次走査符号化された部分は、順次走査
での再生では単純にフレームを繰り返すことで所定画像
レートにし、飛越し走査での再生では順次走査の１フレ
ームを偶数フィールドと奇数フィールドに分解し、それ
ぞれを繰り返す。いずれの場合も、不連続な動きとなる
ことなくスムーズな再生画像が得られ、動きの不自然さ
は最小限となる。
化方法は、所定画像レートの入来動画像の動きの程度ま
たは前記入来動画像の符号化時の符号化パラメータに応
じて、画像の部分毎に符号化画像レートを設定し、設定
された符号化画像レートが前記所定画像レートと同じ場
合には飛越し走査符号化とし、設定された符号化画像レ
ートが前記所定画像レートよりも低い場合には順次走査
符号化とするので、画像レートを微妙に調節でき、動き
の視覚的検知能力に対して過不足のない画像レートが得
られる。再生画像の視覚的品質を同様に保ちながらより
低い転送ビットレートが実現される。また、転送レート
を同一とすれば、間引かれずに残った画像により多くの
ビットが配分されることになり、再生画像の品質が向上
する。一方、本発明の復号化装置、復号化方法は、飛越
し走査符号化された部分は飛越し走査での再生ではその
ままで、順次走査での再生では走査線を補間する。画像
レートを下げて順次走査符号化された部分は、順次走査
での再生では単純にフレームを繰り返すことで所定画像
レートにし、飛越し走査での再生では順次走査の１フレ
ームを偶数フィールドと奇数フィールドに分解し、それ
ぞれを繰り返す。いずれの場合も、不連続な動きとなる
ことなくスムーズな再生画像が得られ、動きの不自然さ
は最小限となる。
【図１】可変画像レート符号化装置の第１の実施例の構
成例を示す図である。
成例を示す図である。
【図２】可変画像レート復号化装置の第１の実施例の構
成例を示す図である。
成例を示す図である。
【図３】可変画像レート符号化装置の第２の実施例の構
成例を示す図である。
成例を示す図である。
【図４】可変画像レート復号化装置の第２の実施例の構
成例を示す図である。
成例を示す図である。
【図５】可変画像レート符号化装置の第３の実施例の構
成例を示す図である。
成例を示す図である。
【図６】可変画像レート復号化装置の第３の実施例の構
成例を示す図である。
成例を示す図である。
【図７】従来の可変画像レート符号化装置の構成例を示
す図である。
す図である。
【図８】従来の可変画像レート復号化装置の構成例を示
す図である。
す図である。
【図９】フレームや走査線の削減の様子を示す図であ
る。
る。
【図１０】可変画像レート符号化装置の第３の実施例で
のＢピクチャー削減の様子を示す図である。
のＢピクチャー削減の様子を示す図である。
【図１１】可変画像レート復号化装置の第１の実施例で
の補間の様子を示す図である。
の補間の様子を示す図である。
【図１２】可変画像レート復号化装置の第２の実施例で
の補間の様子を示す図である。
の補間の様子を示す図である。
１ 順次走査画像入力端子 ２、４１、５８ 走査線間引き器 ３、２２、５１ スイッチ ４、５７ 減算器 ５、５９ ＤＣＴ ６、６０ 量子化器 ７、５６、７２ フレーム間引き器 ８、３３ ＭＶ検出器 ９ 逆量子化器 １０、５５ 可変長符号化器 １１、２９、３４ 画像レート設定器 １２、２５、５４、６３、７５、８２ 画像間予測器 １３ 加算器 １４ 逆ＤＣＴ １５、５３ 多重化器 １６ 符号列出力端子 ２１、３１、６１ 走査線補間器 ２３ 順次走査画像出力端子 ２４ 可変長復号化器 ２６、６２、８１ フレーム補間器 ２７ 符号列入力端子 ２８ 多重化分離器 ３２ 飛越し走査画像入力端子 ４２ 飛越し走査画像出力端子 ５２ フレーム遅延器 ７３ 画像レート制御器 ７４ 符号量観測器
Claims (10)
- 【請求項１】所定画像レートの入来順次走査画像の動き
の程度または前記入来順次走査画像の符号化時の符号化
パラメータに応じて、画像の部分毎に符号化画像レート
を設定する画像レート設定手段と、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来順次走査画像の走査線を間引
いて飛越し走査画像を形成し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
符号化画像レートに応じて前記入来順次走査画像のフレ
ームを間引いて順次走査画像を形成する画像形成手段
と、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記画像形成手段で形成された前記飛
越し走査画像を飛越し走査符号化し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記画像形成手段で形成された前記順次走査画像を
順次走査符号化して動画像符号列を得る符号化手段と、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、を備えたこと
を特徴とする可変画像レート符号化装置。 - 【請求項２】動画像符号列から所定画像レートの順次走
査画像を再生する復号化装置において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定する画像
レート設定手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像の走査線を補間し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた復号画像のフレームを補間
して前記所定画像レートの再生順次走査画像を得る復号
化手段と、を備えたことを特徴とする可変画像レート復
号化装置。 - 【請求項３】所定画像レートの入来飛越し走査画像の動
きの程度または前記入来飛越し走査画像の符号化時の符
号化パラメータに応じて、画像の部分毎に符号化画像レ
ートを設定する画像レート設定手段と、 前記入来飛越し走査画像を順次走査画像に変換する走査
構造変換手段と、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記符号化画像レートに応じて前記
順次走査画像のフレームを間引いて間引き動画像を得る
画像間引き手段と、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来飛越し走査画像をそのまま飛
越し走査符号化し、設定された前記符号化画像レートが
前記所定画像レートより低い場合には、前記間引き動画
像を順次走査符号化して動画像符号列を得る符号化手段
と、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、を備えたこと
を特徴とする可変画像レート符号化装置。 - 【請求項４】動画像符号列から所定画像レートの飛越し
走査画像を再生する復号化装置において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定する画像
レート設定手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得る
復号化手段と、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像をそのまま出力し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた前記復号画像から飛越し走
査画像の複数フィールドを得て所定画像レートの飛越し
走査画像を出力する復号化手段と、を備えたことを特徴
とする可変画像レート復号化装置。 - 【請求項５】所定画像レートの入来動画像の動きの程度
を検出する動き量検出手段と、 検出された前記動きの程度が大きな部分では画像レート
が高く、検出された前記動きの程度が小さな部分では画
像レートが低くなるように符号化画像レートを設定する
画像レート設定手段と、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記入来動画像を前記符号化画像レ
ートに応じて画像を間引いて可変画像レートの動画像を
得る画像形成手段と、 前記可変画像レートの動画像を符号化し動画像符号列を
得る符号化手段と、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する多重化手段と、を備えたこと
を特徴とする可変画像レート符号化装置。 - 【請求項６】所定画像レートの入来順次走査画像の動き
の程度または前記入来順次走査画像の符号化時の符号化
パラメータに応じて、画像の部分毎に符号化画像レート
を設定し、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来順次走査画像の走査線を間引
いて飛越し走査画像を形成し、設定された前記符号化画
像レートが前記所定画像レートより低い場合には、前記
符号化画像レートに応じて前記入来順次走査画像のフレ
ームを間引いて順次走査画像を形成し、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記画像形成手段で形成された前記飛
越し走査画像を飛越し走査符号化し、設定された前記符
号化画像レートが前記所定画像レートより低い場合に
は、前記画像形成手段で形成された前記順次走査画像を
順次走査符号化して動画像符号列を得、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する、ことを特徴とする可変画像
レート符号化方法。 - 【請求項７】動画像符号列から所定画像レートの順次走
査画像を再生する復号化方法において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定し、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像の走査線を補間し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた復号画像のフレームを補間
して前記所定画像レートの再生順次走査画像を得る、こ
とを特徴とする可変画像レート復号化方法。 - 【請求項８】所定画像レートの入来飛越し走査画像の動
きの程度または前記入来飛越し走査画像の符号化時の符
号化パラメータに応じて、画像の部分毎に符号化画像レ
ートを設定し、 前記入来飛越し走査画像を順次走査画像に変換し、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記符号化画像レートに応じて前記
順次走査画像のフレームを間引いて間引き動画像を得、 設定された前記符号化画像レートが前記所定画像レート
と同じ場合には、前記入来飛越し走査画像をそのまま飛
越し走査符号化し、設定された前記符号化画像レートが
前記所定画像レートより低い場合には、前記間引き動画
像を順次走査符号化して動画像符号列を得、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する、ことを特徴とする可変画像
レート符号化方法。 - 【請求項９】動画像符号列から所定画像レートの飛越し
走査画像を再生する復号化方法において、 前記動画像符号列から符号化画像レートに関する情報を
得て、画像の部分毎に復号化画像レートを設定し、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、飛越し走査復号化して復号画像を得、
設定された前記復号化画像レートが前記所定画像レート
より低い場合には、順次走査復号化して復号画像を得、 設定された前記復号化画像レートが前記所定画像レート
と同じ場合には、前記飛越し走査復号化により得られた
復号画像をそのまま出力し、設定された前記復号化画像
レートが前記所定画像レートより低い場合には、前記順
次走査復号化により得られた前記復号画像から飛越し走
査画像の複数フィールドを得て所定画像レートの飛越し
走査画像を出力する、ことを特徴とする可変画像レート
復号化方法。 - 【請求項１０】所定画像レートの入来動画像の動きの程
度を検出し、 検出された前記動きの程度が大きな部分では画像レート
が高く、検出された前記動きの程度が小さな部分では画
像レートが低くなるように符号化画像レートを設定し、 設定された前記符号化画像レートが前記所定画像レート
より低い場合には、前記入来動画像を前記符号化画像レ
ートに応じて画像を間引いて可変画像レートの動画像を
得、 前記可変画像レートの動画像を符号化し動画像符号列を
得、 設定された前記符号化画像レートに関する情報と前記動
画像符号列とを多重化する、ことを特徴とする可変画像
レート符号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255170A JP3859118B2 (ja) | 2000-08-25 | 2000-08-25 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
| US09/805,255 US6940911B2 (en) | 2000-03-14 | 2001-03-14 | Variable picture rate coding/decoding method and apparatus |
| US11/178,386 US7860170B2 (en) | 2000-03-14 | 2005-07-12 | Variable picture rate coding/decoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000255170A JP3859118B2 (ja) | 2000-08-25 | 2000-08-25 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002077910A true JP2002077910A (ja) | 2002-03-15 |
| JP3859118B2 JP3859118B2 (ja) | 2006-12-20 |
Family
ID=18744007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000255170A Expired - Fee Related JP3859118B2 (ja) | 2000-03-14 | 2000-08-25 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3859118B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193850A (ja) * | 2002-12-10 | 2004-07-08 | Sony Corp | 符号化制御方法及び符号化制御プログラム |
| JP2006303638A (ja) * | 2005-04-15 | 2006-11-02 | Sony Corp | 映像処理装置 |
| JP2012175613A (ja) * | 2011-02-24 | 2012-09-10 | Sony Corp | 画像送信装置、画像送信方法、及びプログラム |
-
2000
- 2000-08-25 JP JP2000255170A patent/JP3859118B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004193850A (ja) * | 2002-12-10 | 2004-07-08 | Sony Corp | 符号化制御方法及び符号化制御プログラム |
| JP2006303638A (ja) * | 2005-04-15 | 2006-11-02 | Sony Corp | 映像処理装置 |
| JP4497019B2 (ja) * | 2005-04-15 | 2010-07-07 | ソニー株式会社 | 映像処理装置 |
| JP2012175613A (ja) * | 2011-02-24 | 2012-09-10 | Sony Corp | 画像送信装置、画像送信方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3859118B2 (ja) | 2006-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
| US7860170B2 (en) | Variable picture rate coding/decoding method and apparatus | |
| US5689305A (en) | System for deinterlacing digitally compressed video and method | |
| JP3360586B2 (ja) | スキャン変換装置及び方法 | |
| JP3649370B2 (ja) | 動き補償符号化装置及び動き補償符号化方法 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JP2002523947A (ja) | Ｍｐｅｇデータの復号化および走査変換の遂行に要するバッファメモリの量を減少させる方法および装置 | |
| JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JP3859118B2 (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP2002218472A (ja) | 可変画像レート復号化装置及び可変画像レート復号化方法 | |
| JP4320509B2 (ja) | 映像再符号化装置および方法 | |
| US6904093B1 (en) | Horizontal/vertical scanning frequency converting apparatus in MPEG decoding block | |
| JP3164056B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 | |
| JP2002010267A (ja) | 動きベクトル変換装置及び方法 | |
| JP2001258039A (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP4035808B2 (ja) | 動画像走査構造変換装置、動画像走査構造変換方法 | |
| JPH10126749A (ja) | 順次走査変換装置 | |
| JP3289695B2 (ja) | 動画符号化方法および装置 | |
| KR19980054366A (ko) | 디지탈 티브이의 피아이피(pip)구현장치 및 그 방법 | |
| JP4078803B2 (ja) | インターレース・プログレッシブ変換方法および変換装置 | |
| JPH08237599A (ja) | フレーム間帯域圧縮信号切り替え回路 | |
| KR100215789B1 (ko) | 디지탈 티브이의 피아이피 구현장치 및 그 방법 | |
| JP3968528B2 (ja) | 画像信号符号化方法及び装置 | |
| JPH08265759A (ja) | 圧縮信号切換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060901 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060914 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |