JP4113696B2 - 動画像可逆符号化方法とその復号化方法、及びそれらの装置 - Google Patents
動画像可逆符号化方法とその復号化方法、及びそれらの装置 Download PDFInfo
- Publication number
- JP4113696B2 JP4113696B2 JP2001308796A JP2001308796A JP4113696B2 JP 4113696 B2 JP4113696 B2 JP 4113696B2 JP 2001308796 A JP2001308796 A JP 2001308796A JP 2001308796 A JP2001308796 A JP 2001308796A JP 4113696 B2 JP4113696 B2 JP 4113696B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- signal
- dimensional
- motion vector
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を効率よく伝送、蓄積するための、符号化および復号化の技術に関する。
【０００２】
【従来の技術】
可逆画像符号化方式としては、ＪＰＥＧ−ＬＳやＪＰＥＧ２０００の可逆符号化モードが知られている。ＪＰＥＧ−ＬＳは、フレーム内予測器を使用して、予測器の出力である予測信号と原信号の差を符号化している。フレーム内予測器を使用していることにより、フレーム内の信号の相関を利用して符号化効率を高めている。ＪＰＥＧ２０００では、ロスレスＷａｖｅｌｅｔ変換を行い、Ｗａｖｅｌｅｔ係数を符号化している。Ｗａｖｅｌｅｔ変換を用いて画像信号を空間周波数帯域で分割し帯域毎に符号化を行っているために、空間解像度スケーラビリティを有する。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の両方式とも静止画像を対象としているために、動画に適応した場合、フレーム間の信号相関を利用することができない。動画像の非可逆符号化としては、空間解像度スケーラビリティを有し、フレーム間相関を利用した方法として、サブバンド領域で動き補償を行う方法があるが、動き補償はブロック単位に予測を行うことから符号化効率は必ずしも良くない。空間解像度スケーラビリティを有するとは、一つの符号化ビットストリームから異なる空間解像度の画像を直接復号化可能であることを示す。
【０００４】
本発明は、空間解像度スケーラビリティを有し、符号化効率に優れる動画像可逆符号化方法とその復号化方法、及びそれらの装置を提案することが課題である。
【０００５】
【課題を解決するための手段】
上記の課題を解決するため本発明は、動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した帯域毎に動き推定により時空間適応予測を行って予測残差信号を求め、該帯域毎の予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する際に、
該時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法を手段とする。
【０００６】
あるいは、動画像を出力する可逆復号化方法において、請求項１記載の動画像可逆符号化方法により符号化された帯域毎の予測残差信号と動きベクトルを復号し、該帯域毎の予測残差信号と該動きベクトルを用いて該帯域毎に時空間適応予測復号を行い、該時空間適応予測復号された帯域を帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法を手段とする。
【０００７】
あるいは、動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した帯域のうち最低周波数帯域に動き推定により時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化するとともに該最低周波数帯域以外の帯域を直接符号化する際に、
該時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法を手段とする。
【０００８】
あるいは、動画像を出力する可逆復号化方法において、請求項３記載の動画像可逆符号化方法により符号化された信号のうち、最低周波数帯域の予測残差信号と動きベクトルを復号して用いて時空間適応予測復号を行い、該最低周波数帯域以外の帯域を直接復号し、該時空間適応予測復号された最低周波数帯域と該直接復号された該最低周波数帯域以外の帯域とを帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法を手段とする。
【０００９】
あるいは、動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した最低周波数帯域では第１の時空間適応予測を行い、他の周波数帯域では第２の時空間適応予測を行い、帯域ごとに予測残差信号を求め、該帯域毎の予測残差信号と該最低周波数帯域の動きベクトルである基準動きベクトルとを符号化する際に、
該第１の時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により該基準動きベクトルを得、該基準動きベクトルを用いて、そして該第２の時空間適応予測では、該基準動きベクトルを基準にした動きベクトルを用いて、それぞれ現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法を手段とする。
【００１０】
あるいは、動画像を出力する可逆復号化方法において、請求項５記載の動画像可逆符号化方法により符号化された帯域毎の予測残差信号と最低周波数帯域の動きベクトルである基準動きベクトルを復号し、該帯域毎に時空間適応予測復号を行い、該時空間適応予測復号された帯域を帯域合成して動画像を復号する際に、
最低周波数帯域に係る時空間適応予測復号では該基準動きベクトルを用いて、その他の周波数帯域に係る時空間適応予測では該基準動きベクトルを基準にした動きベクトルを用いて、シフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法を手段とする。
【００１５】
また同じく本発明は、動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した帯域毎に動き推定により時空間適応予測を行って予測残差信号を求める手段と、該帯域毎の予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手段を有し、
該時空間適応予測を行って予測残差信号を求める手段は、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置を手段とする。
【００１６】
あるいは、動画像を出力する可逆復号化装置において、請求項７記載の動画像可逆符号化装置により符号化された帯域毎の予測残差信号と動きベクトルを復号する手段と、該帯域毎の予測残差信号と該動きベクトルを用いて該帯域毎に時空間適応予測復号を行う手段と、該時空間適応予測復号された帯域を帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置を手段とする。
【００１７】
あるいは、動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した帯域のうち最低周波数帯域に動き推定により時空間適応予測を行って予測残差信号を求める手段と、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化するとともに該最低周波数帯域以外の帯域を直接符号化する手段とを有し、
該時空間適応予測を行う手段は、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置を手段とする。
【００１８】
あるいは、動画像を出力する可逆復号化装置において、請求項９記載の動画像可逆符号化装置により符号化された信号のうち、最低周波数帯域の予測残差信号と動きベクトルを復号するとともに該最低周波数帯域以外の帯域を直接復号する手段と、該最低周波数帯域の予測残差信号と該動きベクトルを用いて時空間適応予測復号を行う手段と、該時空間適応予測復号された最低周波数帯域と該直接復号された該最低周波数帯域以外の帯域とを帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置を手段とする。
【００１９】
あるいは、動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した最低周波数帯域では第１の時空間適応予測を行い、他の周波数帯域では第２の時空間適応予測を行い、帯域ごとに予測残差信号を求める手段と、該帯域毎の予測残差信号と該最低周波数帯域の動きベクトルである基準動きベクトルとを符号化する手段とを有し、
該第１の時空間適応予測を行う手段は、現フレームと参照フレームからブロック単位推定手段により該基準動きベクトルを得、該基準動きベクトルを用いて、そして該第２の時空間適応予測では、該基準動きベクトルを基準にした動きベクトルを用いて、それぞれ現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置を手段とする。
【００２０】
あるいは、動画像を出力する可逆復号化装置において、請求項１１記載の動画像可逆符号化装置により符号化された帯域毎の予測残差信号と最低周波数帯域の動きベクトルである基準動きベクトルを復号する手段と、該帯域毎に時空間適応予測復号を行う手段と、該時空間適応予測復号された帯域を帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、最低周波数帯域に係る復号では該基準動きベクトルを用いて、その他の周波数帯域に係る復号では該基準動きベクトルを基準にした動きベクトルを用いて、シフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置を手段とする。
【００２５】
本発明では、空間解像度スケーラビリティを実現するために、画像信号を空間解像度の帯域で分割し、帯域毎に符号化を行う。符号化には、画素毎にフレーム内予測（２次元予測）とフレーム間予測（３次元予測）を切換える時空間適応予測符号化を用いて符号化効率を高める。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２７】
［第１実施形態例］
図１に空間解像度スケーラビリティを持つ動画像符号化方法を実現するための基本構成を示す。図１において、１０は帯域分割部、１１は分割された帯域毎に設けた時空間適応予測符号化部、１２はエントロピー符号化部である。
【００２８】
図１の構成の動作例としての動画像符号化方法を以下に示す。まず、入力された画像信号は帯域分割部１０において、複数の空間解像度の帯域に分割される。次に、分割した帯域毎に、時空間適応予測符号化部１１で生成される残差信号をエントロピー符号化部１２において符号化する。
【００２９】
帯域分割部１０では、図２で示すオクターブ分割を画像の水平方向、垂直方向にそれぞれ適用する。オクターブ分割では、２分割フィルタを用いて次々に帯域を分割することによって、入力信号を複数の帯域に分割することができ、最終的に、図３で示すように帯域が分割される。
【００３０】
図３において、Ｌは低周波数成分、Ｈは高周波数成分を示す。ここで用いる２分割フィルタと復号化側で用いる帯域合成フィルタは、可逆性を保つために完全再構成フィルタとする。
【００３１】
時空間適応予測符号化部１１では、以下の式で予測を行う。
【００３２】
ｆ（ａ０，ａ１，ａ２，ａ３，……，ｂ０，ｂ１，ｂ２，ｂ３，……）
但し、
ｆ：予測関数
ａ０，ａ１，ａ２，ａ３，……：符号化対象のフレームの画素の値
ｂ０，ｂ１，ｂ２，ｂ３，……：参照フレームの画素の値
参照フレームとしては、時間的に前方のフレーム、後方のフレーム、前方と後方のフレームの両方のいずれかを用いるが、復号器側では、参照フレームは先に復号する必要がある。予測に用いる画素の位置は以下の条件で決定する。符号化対象の画素の位置を（ｘ，ｙ）とする（ｘは水平方向の位置、ｙは垂直方向の位置）。符号化対象のフレームの場合、近傍かつ復号側で先に復号化する画素とする。例えば、１行目の左端の画素から右へと復号し、次に２行目を左から右へと行毎に復号する場合は、予測に用いる画素の位置（ｘａ，ｙａ）は、以下の条件を満たす必要がある。
【００３３】
ｙ−ｙ０＜ｙａ＜ｙかつｘ−ｘ０＜ｘａ＜ｘ＋ｘ１
または、
ｙａ＝ｙかつｘ−ｘ２＜ｘａ＜ｘ
但し、
ｙ０：垂直方向の近傍の範囲を定める適当な整数
ｘ０，ｘ１，ｘ２：水平方向の近傍の範囲を定める適当な整数
参照フレームの予測に用いる画素の位置（ｘｂ，ｙｂ）は以下の条件を満たす必要がある。
【００３４】
ｙ＋ｖｙ−ｙ３＜ｙａ＜ｙ＋ｖｙ＋ｙ４かつｘ＋ｖｘ−ｘ３＜ｘａ＜ｘ＋ｖｘ＋ｘ４
但し、
ｙ３，ｙ４：垂直方向の近傍の範囲を定める適当な整数
ｘ３，ｘ４：水平方向の近傍の範囲を定める適当な整数
Ｖ（ｖｘ，ｖｙ）：参照フレームヘの動きベクトル
動きベクトルＶ（ｖｘ，ｖｙ）は、参照フレームヘの動き推定を行うことによって得られる。
【００３５】
エントロピー符号化部１２では、各帯域の残差信号と時空間適応予測符号化部１１で用いた動きベクトルをエントロピー符号化して、符号化ビットストリームを作成する。
【００３６】
図５に時空間適応予測符号化方法を実現する時空間適応予測符号化部の基本構成を示す。図５において、３１はブロック単位動き推定手段、３２はシフト手段、３３は２次元予測器、３４は動き推定３次元予測器、３５は相関係数Ｒ計算手段、３６は第１の判断分岐手段、３７は加減算手段、３８は加減算手段である。
【００３７】
予測器としては、３種類の２次元予測器、７種類の３次元予測器を用意し、フレーム間相関により予測器を切換える。
【００３８】
３次元予測器は、フレーム間相関が強い場合には有効であるが、フレーム間相関が弱い場合には逆に残差信号が大きくなる可能性がある。そのために、フレーム間相関が弱い場合には２次元予測器に切換える方法を採用する。２次元予測器と３次元予測器とを切換えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算する。相関係数が大きい場合、すなわち、現フレーム内信号と参照フレーム内信号の波形が似ている場合には、予測精度が向上すると考えられることから、３次元予測を行う。それ以外の場合には、２次元予測を行う。
【００３９】
各予測器の予測方法と予測器の具体的切換え方法について以下に説明する。各予測器の予測方法を次に示す。
【００４０】
２次元予測器０ 予測信号ｙ＝ｍｉｎ（ａ，ｂ） …（１）
２次元予測器１ 予測信号ｙ＝ｍａｘ（ａ，ｂ） …（２）
２次元予測器２ 予測信号ｙ＝ａ＋ｂ−ｃ …（３）
３次元予測器３ 予測信号ｙ＝ｍｉｎ（ａ，ｘ’） …（４）
３次元予測器４ 予測信号ｙ＝ｍａｘ（ａ，ｘ’） …（５）
３次元予測器５ 予測信号ｙ＝ａ＋ｘ’−ａ …（６）
３次元予測器６ 予測信号ｙ＝ｍｉｎ（ｂ，ｘ’） …（７）
３次元予測器７ 予測信号ｙ＝ｍａｘ（ｂ，ｘ’） …（８）
３次元予測器８ 予測信号ｙ＝ｂ＋ｘ’−ｂ …（９）
３次元予測器９ 予測信号ｙ＝（ａ＋ｂ＋ｘ’）／３ …（１０）
ここで用いたａ，ｂ，ｃは、図７（ａ）で示すように、被符号化対象の画素ｘに隣接する上、左、右上の画素の復号値である。ａ’，ｂ’，ｘ’は、参照フレームの画素の復号値であり、被符号化対象のフレームと参照フレーム間の動きベクトル（ｋ，ｌ）（ｋ：水平方向、ｌ：垂直方向）から画素位置を定める。動きベクトルは、Ｌ×Ｌ画素の小ブロック単位であらかじめブロックマッチング法などにより計算し、付加情報として伝送する。被符号化対象の画素ｘの位置を（ｉ，ｊ）とすると、ｘ’の位置は（ｉ＋ｋ，ｊ＋ｌ）となる。また、図７（ｂ）に示す通り、ａ’，ｂ’は、ｘ’の隣接する上、左の画素である。参照フレームとしては、時間的に前方のフレーム、後方のフレーム、前方と後方のフレームの両方のいずれかを用いるが、復号器側では、参照フレームは先に復号する必要がある。
【００４１】
Ｒ≦Ｔ０かつｃ≧ｍａｘ（ａ，ｂ）の場合 ２次元予測器０を選択
Ｒ≦Ｔ０かつｃ≦ｍｉｎ（ａ，ｂ）の場合 ２次元予測器１を選択
Ｒ≦Ｔ０かつｍｉｎ（ａ，ｂ）＜ｃ＜ｍａｘ（ａ，ｂ）の場合 ２次元予測器２を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≧ｍａｘ（ａ，ｘ’）の場合 ３次元予測器３を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≦ｍｉｎ（ａ，ｘ’）の場合 ３次元予測器４を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつｍｉｎ（ａ，ｘ’）＜ａ’＜ｍａｘ（ａ，ｘ’）の場合 ３次元予測器５を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≧ｍａｘ（ｂ，ｘ’）の場合 ３次元予測器６を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≦ｍｉｎ（ｂ，ｘ’）の場合 ３次元予測器７を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｍｉｎ（ｂ，ｘ’）＜ｂ’＜ｍａｘ（ｂ，ｘ’）の場合 ３次元予測器８を選択
Ｒ＞Ｔ０かつ−Ｔ１＜Ｓ＜Ｔ１の場合 ３次元予測器９を選択
但し、
Ｒ＝ａａ’＋ｂｂ’＋ｃｃ’＋ｄｄ’−（ａ＋ｂ＋ｃ＋ｄ）（ａ’＋ｂ’＋ｃ’＋ｄ’） …（１１）
Ｓ＝｜ｘ’−ｂ’｜−｜ｘ’−ａ’｜ …（１２）
Ｔ０，Ｔ１：閾値
ａ，ｂ，ｃ，ｄ，ａ’，ｂ’，ｃ’，ｄ’，ｘ’：図７に示す画素の復号値
である。
【００４２】
ここで、Ｒは相関係数であり、Ｒが閾値Ｔ０より大きい場合には、３次元予測器を選択する。それ以外の場合には、２次元予測器を選択する。この選択は、実際には２段階で行われている。つまり、図５中の第１の判断分岐手段３６によりＲ値によって第１の判断分岐を行い、２次元予測器か３次元予測器かをまず切換えて２次元予測器３３または３次元予測器３４内で残る第２の判断分岐を行って各予測器１〜９の一つを選択する。
【００４３】
２次元予測器の３つの予測器の切換え方法は、既に提案されているものであり、静止画像可逆圧縮国際標準規格ＪＰＥＧ−ＬＳにおいて採用された方法と同じである。縦方向および横方法にエッジがあると判断された場合には、それぞれのエッジ方向に隣接する１画素を用いて予測し、それ以外の場合には隣接する３画素を用いて予測している。
【００４４】
３次元予測の場合にも２次元予測器と同様に、被符号化対象画素の近傍信号値の状態により予測器を切換える適応予測を行う。縦方向または横方向にエッジがあると判断された場合は、現フレームおよび参照フレームのそれぞれのエッジ方向に隣接する信号を用いて予測する。エッジの方向は、参照フレームの縦方向の差分絶対値｜ｘ’−ａ’｜と横方向の差分絶対値｜ｘ’−ｂ’｜を比較して、閾値Ｔ１よりも大きい方向をエッジと判断する。式（１２）のＳはそれらの差分値であり、エッジ方向を判断するパラメータとなる。エッジ方向を判断する縦方向のエッジと判断された場合、現フレームおよび参照フレームの縦方向の信号に関して、２次元予測器と同様な方法で予測信号を選択する。横方向のエッジの場合も同様な方法で予測器を選択する。エッジでないと判断された場合には、近傍の３画素の平均値を予測値とする。
【００４５】
加減算手段３７または３８は、予測器の出力である予測信号と原フレーム信号の差、すなわち予測残差信号を出力する。予測残差信号は、図略の量子化器で量子化する。量子化された残差信号と、３次元予測器で用いた動きベクトルを、図１のエントロピー符号化部１２に入力し、符号化ビットストリームを出力する。量子化器の量子化ステップを１にした場合は、本符号化方法は可逆符号化法になる。
【００４６】
［第２実施形態例］
図４に、上記第１実施形態例で符号化されたデータを復号する復号化方法を実現するための基本構成を示す。図４において、２０はエントロピー復号部、２１は帯域毎に設けた時空間適応予測復号化部、２２は帯域合成部である。
【００４７】
図４の構成の動作例としての復号化方法を以下に示す。最初にエントロピー復号化部２０において符号化ビットストリームから予測に用いる動きベクトルと予測残差信号を求める。次に、時空間適応予測符号化部２１において既に復号化された画像信号と残差信号を用いて被符号化信号を復号する。次に帯域合成部２２に、各時空間適応予測符号化部２１の出力を合成して画像を復号化する。
【００４８】
図６に、時空間適応予測復号化部の基本構成を示す。図６において、４１はシフト手段、４２は２次元予測器、４３は加算手段、４４は動き推定３次元予測器、４５は加算手段、４６は相関係数Ｒ計算手段、４７は第１の判断分岐手段である。
【００４９】
図６の動作例としての時空間適応予測復号化方法は、以下のとおりである。まず、２次元予測器４２を用いるか３次元予測器４４を用いるかを判断するために、動きベクトルを用いてシフト手段４１でシフトした参照フレーム内信号と現フレーム内信号の復号済み信号から、相関係数Ｒ計算手段４６により相関係数Ｒを計算する。第１の判断分岐手段４７は、相関係数Ｒが閾値Ｔ０より大きい場合には、動き推定３次元予測器４４側に切換えて３次元予測を行い、それ以外の場合には２次元予測器４２側に切換えて２次元予測を行う。２次元予測器４２および動き推定３次元予測器４４の構成と内部に用意した複数の予測器の切換えは第１実施形態例のものと同様である。動き推定３次元予測器４４では、現フレーム内信号の復号済み信号と動きベクトルを用いてシフトした参照フレーム内信号を用いて予測信号を生成し、加算手段４５は、この予測信号に残差信号を付加することで、現フレームの対象信号を復元する。２次元予測器４２では、現フレーム内信号の復号済み信号を用いて予測信号を生成し、加算手段４３がこの予測信号に残差信号を付加することで、現フレームの対象信号を復元する。
【００５０】
［第３実施形態例］
本実施形態例では、第１実施形態例の時空間適応予測符号化部１１において、各帯域における対象物体の動きをブロックマッチング法により推定する。ブロックマッチング法においては、動きベクトルを求めるために、次のＳＡＤ（Ｓｕｍｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を計算する。
【００５１】
ＳＡＤ（ｋ，ｌ）＝Σi=1 LΣj=1 L｜ｘ（ｉ，ｊ）−ｙ（ｉ＋ｋ，ｊ＋ｌ）｜ …（１３）
ここで、（ｋ，ｌ）を−ｗ＜ｋ，１＜ｗの範囲（ｗはウインドウサイズ）でＳＡＤ（ｋ，ｌ）を計算し、最小のＳＡＤ値を与えるベクトル（ｋ，ｌ）が動きベクトルとして選ばれる。３次元予測器の予測精度を向上させるために、通常、ＳＡＤは各帯域毎に計算される。ＳＡＤの計算には、かなりの時間を要する。これを考慮に入れ、符号化効率の低下をできるだけ抑えたうえで、計算時間を削減するために以下の３つの簡易符号化の手法（１），（２），（３）を提案する。
【００５２】
（１）帯域分割された信号のフレーム間相関ならびにフレーム内相関は、低域ほど強く、高域ほど弱い。最低周波数帯域以外の信号はフレーム間相関ならびにフレーム内相関が弱いことから、時空間適応予測符号化の効果がそれほど顕著に現れてこない。その性質を利用して、時空間適応予測符号化を最低周波数帯域のみに適用する。ＳＡＤの計算量が極端に減少するとともに、２次元および３次元予測処理時間も減少する。最低周波数帯域の動きベクトルと予測残差信号はエントロピー符号化され、最低周波数帯域以外の信号は、直接エントロピー符号化される。
【００５３】
図８に本方法を実現するための基本構成図を示す。図８において、５０は帯域分割部、５１は最低周波数帯域用の時空間適応予測符号化部、５２はエントロピー符号化部５２である。まず、入力された画像信号は帯域分割部５０において、複数の空間解像度の帯域に分割される。次に、分割した帯域のうち最低周波数帯域についてのみ時空間適応予測符号化部５１で残差信号を生成し、エントロピー符号化部５２でエントロピー符号化する。それ以外の帯域の信号はエントロピー符号化部５２において直接符号化する。
【００５４】
（２）動き推定を最低周波数帯域のみにて行い、動きベクトルを求める。他の帯域では、最低周波数帯域の動きベクトルを基準にした動きベクトルを用いて時空間適応予測符号化を行う。対象物体の動きは、帯域毎に変化するわけではないので、高域の物体の動きも低域の物体の動きも等しいはずである。すなわち、低域から高域に向けて同じ方向に存在する小ブロック動きベクトルは同じであると仮定する。例えば、図３の矢印で示した小ブロックの動きはほぼ等しい。但し、一つ高域に帯域が上がる毎に、画素数は縦および横方向に２倍になるので、一つ高域での動きベクトルは、
（２ｋ，２ｌ）
となる。Ｎ段高域の動きベクトルは、
（Ｎ×ｋ，Ｎ×ｌ）
となる。
【００５５】
本方法を実現するための基本構成図は、図１と同様であるが、各帯域毎の時空間適応予測符号化部１１で用いる動きベクトルは最低周波数帯域の動きベクトルを基準にした動きベクトルを用いる。最低周波数帯域の動きベクトルおよび全帯域の予測残差信号はエントロピー符号化部１２でエントロピー符号化される。
【００５６】
（３）ＳＡＤを計算するときに低域から高域に向かって行う。図３の例においては、ＬＬ３→ＨＬ３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２→ＨＬ１→ＬＨ１→ＨＨ１の順となる。まず、最低周波数帯域の各小ブロックに対してＳＡＤを計算する。ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔ（閾値） …（１４）
の小ブロック内の信号に関してはフレーム間相関が弱いと判断し、時空間適応予測処理は行わず２次元予測を行う。および対応する高域の小ブロックの信号に関しては時空間適応予測符号化を行わず、直接エントロピー符号化を行う。
【００５７】
式（１４）を満たさないブロック内の信号に関しては、通常どおり、時空間適応予測符号化を行う。引き続く高帯域のブロックにおいて、ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔｘ（高帯域での閾値。帯域によって閾値は異なる。） …（１５）
の場合にはフレーム間相関が弱いと判断し、時空間適応予測符号化を行わず、直接エントロピー符号化を行う。なお、対応する低域のブロックのＳＡＤが既に式（１４）を満足している場合には、直接エントロピー符号化を行うことが確定しているため、ＳＡＤの計算ならびに式（１５）の判断は行わない。
【００５８】
式（１４）および（１５）の条件を満足する小ブロックは、付加情報として動きベクトルの代りに固有の符号ＬＩＭＩＴを伝送し、対応する高域の小ブロックでは付加情報を伝送しない。動きベクトルならびに固有の符号ＬＩＭＩＴ、予測残差信号がエントロピー符号化される。
【００５９】
本方法を実現するための基本構成図は、図１と同様であるが、各時空間適応予測符号化器１１は、ブロック単位動き推定において、低域から高域に向かってＳＡＤを計算する機能、時空間適応予測符号化を行うか否かの判断機能、及び固有の符号ＬＩＭＩＴを伝送する機能等を有する。エントロピー符号化部１２は、各時空間適応予測符号化器１１からの、動きベクトルまたは固有の符号ＬＩＭＩＴ、時空間適応予測符号化されない信号または予測残差信号をエントロピー符号化する。
【００６０】
［第４実施形態例］
第３実施形態例による簡易符号化の手法で符号化された信号の簡易復号化方法を示す。
【００６１】
（１）図９に、簡易符号化（１）で符号化された信号を復号するための基本構成図を示す。図９において、６０はエントロピー復号部、６１は最低周波数帯域用の時空間適応予測復号化部、６２は帯域合成部である。
【００６２】
本方法では、エントロピー復号部６０でエントロピー復号化された動きベクトルと予測残差信号を用いて、最低周波数帯域は時空間予測復号化部６１により信号を復号する。それ以外の帯域は、エントロピー復号部６０でエントロピー復号化により、直接復号される。帯域合成部６２は、各帯域の出力を合成して画像を復号化する。
【００６３】
（２）簡易符号化（２）で符号化された信号を復号する復号化方法を実現するための基本構成図は、図４と同様であるが、各帯域毎の時空間適応予測復号化部２１で用いる動きベクトルは最低周波数帯域の動きベクトルを基準にした動きベクトルを用いる。すなわち、エントロピー復号部２０でエントロピー復号化された最低周波数帯域の動きベクトル（ｋ，ｌ）をもとにして、Ｎ段高域の動きベクトルを、
（Ｎ×ｋ，Ｎ×ｌ）
により計算する。その結果をもとに、各帯域毎に時空間適応予測復号化部２１で復号処理を行い、帯域合成部２２において、各帯域の出力を合成して画像を復号化する。
【００６４】
（３）簡易符号化（３）で符号化された信号を復号する復号化方法を実現するための基本構成図も、図４と同様であるが、各帯域毎の時空間適応予測復号化部２１では、エントロピー復号部２０でエントロピー復号化された最低周波数帯域の動きベクトル（ｋ，ｌ）ならびに予測残差信号を用いて、最低周波数帯帯域から最高周波数帯域の順番（図３の例においては、ＬＬ３→ＨＬ３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２→ＨＬ１→ＬＨ１→ＨＨ１の順）で、時空間適応予測復号処理を行って出力するか、または固有符号ＬＩＭＩＴにより、エントロピー復号化された高周波数帯域の信号を直接出力する。帯域合成部２２は、各帯域の出力を合成して画像を復号化する。
【００６５】
【発明の効果】
以上の説明で明らかなように本発明によれば、動画像の効率の良い可逆符号化ができ、少ないディスク容量で保存が可能となる。さらに、空間解像度スケーラビリティ性を有するために、画像表示機器の性能や用途に応じた空間解像度で、画像を復号化することが可能である。低域から任意の帯域までを復号化すると、原画像よりも低い空間解像度の画像を再生でき、全てのデータを復号化すると、原画像と同じ解像度の画像が再生される。画像表示装置の精度や用途に応じて原画像より低い解像度の画像を再生したい場合は、必要な帯域までに対する復号化のみが必要であり、復号化を行えば画像を符号化データより直接復号化でき、原画像と同じ解像度の画像を再生してから解像度変換を行うよりも処理時間が短くなる。また、符号化ビットストリームを伝送する場合は、必要なデータのみを伝送するので、伝送レートも小さくなる。
【図面の簡単な説明】
【図１】本発明の第１実施形態例による動画像符号化方法を実現するための基本構成を示す図である。
【図２】オクターブ分割を説明する図である。
【図３】画像の帯域分割を説明する図である。
【図４】本発明の第２実施形態例による動画像復号化方法を実現するための基本構成を示す図である。
【図５】本発明における時空間適応予測符号化部の基本構成を示す図である。
【図６】本発明における時空間適応予測復号化部の基本構成を示す図である。
【図７】（ａ），（ｂ）は、予測に用いる信号を説明する図である。
【図８】本発明の第３実施形態例による簡易符号化（１）を実現するための基本構成を示す図である。
【図９】本発明の第４実施形態例による簡易復号化（１）を実現するための基本構成を示す図である。
【符号の説明】
１０…帯域分割部
１１…時空間適応予測符号化部
１２…エントロピー符号化部
２０…エントロピー復号部
２１…時空間適応予測復号化部
２２…帯域合成部
３１…ブロック単位動き推定手段
３２…シフト手段
３３…２次元予測器
３４…動き推定３次元予測器
３５…相関係数Ｒ計算手段
３６…第１の判断分岐手段
３７…加減算手段
３８…加減算手段
４１…シフト手段
４２…２次元予測器
４３…加算手段
４４…動き推定３次元予測器
４５…加算手段
４６…相関係数Ｒ計算手段
４７…第１の判断分岐手段
５０…帯域分割部
５１…時空間適応予測符号化部
５２…エントロピー符号化部
６０…エントロピー復号部
６１…時空間適応予測復号化部
６２…帯域合成部
【発明の属する技術分野】
本発明は、動画像を効率よく伝送、蓄積するための、符号化および復号化の技術に関する。
【０００２】
【従来の技術】
可逆画像符号化方式としては、ＪＰＥＧ−ＬＳやＪＰＥＧ２０００の可逆符号化モードが知られている。ＪＰＥＧ−ＬＳは、フレーム内予測器を使用して、予測器の出力である予測信号と原信号の差を符号化している。フレーム内予測器を使用していることにより、フレーム内の信号の相関を利用して符号化効率を高めている。ＪＰＥＧ２０００では、ロスレスＷａｖｅｌｅｔ変換を行い、Ｗａｖｅｌｅｔ係数を符号化している。Ｗａｖｅｌｅｔ変換を用いて画像信号を空間周波数帯域で分割し帯域毎に符号化を行っているために、空間解像度スケーラビリティを有する。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の両方式とも静止画像を対象としているために、動画に適応した場合、フレーム間の信号相関を利用することができない。動画像の非可逆符号化としては、空間解像度スケーラビリティを有し、フレーム間相関を利用した方法として、サブバンド領域で動き補償を行う方法があるが、動き補償はブロック単位に予測を行うことから符号化効率は必ずしも良くない。空間解像度スケーラビリティを有するとは、一つの符号化ビットストリームから異なる空間解像度の画像を直接復号化可能であることを示す。
【０００４】
本発明は、空間解像度スケーラビリティを有し、符号化効率に優れる動画像可逆符号化方法とその復号化方法、及びそれらの装置を提案することが課題である。
【０００５】
【課題を解決するための手段】
上記の課題を解決するため本発明は、動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した帯域毎に動き推定により時空間適応予測を行って予測残差信号を求め、該帯域毎の予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する際に、
該時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法を手段とする。
【０００６】
あるいは、動画像を出力する可逆復号化方法において、請求項１記載の動画像可逆符号化方法により符号化された帯域毎の予測残差信号と動きベクトルを復号し、該帯域毎の予測残差信号と該動きベクトルを用いて該帯域毎に時空間適応予測復号を行い、該時空間適応予測復号された帯域を帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法を手段とする。
【０００７】
あるいは、動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した帯域のうち最低周波数帯域に動き推定により時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化するとともに該最低周波数帯域以外の帯域を直接符号化する際に、
該時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法を手段とする。
【０００８】
あるいは、動画像を出力する可逆復号化方法において、請求項３記載の動画像可逆符号化方法により符号化された信号のうち、最低周波数帯域の予測残差信号と動きベクトルを復号して用いて時空間適応予測復号を行い、該最低周波数帯域以外の帯域を直接復号し、該時空間適応予測復号された最低周波数帯域と該直接復号された該最低周波数帯域以外の帯域とを帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法を手段とする。
【０００９】
あるいは、動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した最低周波数帯域では第１の時空間適応予測を行い、他の周波数帯域では第２の時空間適応予測を行い、帯域ごとに予測残差信号を求め、該帯域毎の予測残差信号と該最低周波数帯域の動きベクトルである基準動きベクトルとを符号化する際に、
該第１の時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により該基準動きベクトルを得、該基準動きベクトルを用いて、そして該第２の時空間適応予測では、該基準動きベクトルを基準にした動きベクトルを用いて、それぞれ現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法を手段とする。
【００１０】
あるいは、動画像を出力する可逆復号化方法において、請求項５記載の動画像可逆符号化方法により符号化された帯域毎の予測残差信号と最低周波数帯域の動きベクトルである基準動きベクトルを復号し、該帯域毎に時空間適応予測復号を行い、該時空間適応予測復号された帯域を帯域合成して動画像を復号する際に、
最低周波数帯域に係る時空間適応予測復号では該基準動きベクトルを用いて、その他の周波数帯域に係る時空間適応予測では該基準動きベクトルを基準にした動きベクトルを用いて、シフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法を手段とする。
【００１５】
また同じく本発明は、動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した帯域毎に動き推定により時空間適応予測を行って予測残差信号を求める手段と、該帯域毎の予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手段を有し、
該時空間適応予測を行って予測残差信号を求める手段は、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置を手段とする。
【００１６】
あるいは、動画像を出力する可逆復号化装置において、請求項７記載の動画像可逆符号化装置により符号化された帯域毎の予測残差信号と動きベクトルを復号する手段と、該帯域毎の予測残差信号と該動きベクトルを用いて該帯域毎に時空間適応予測復号を行う手段と、該時空間適応予測復号された帯域を帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置を手段とする。
【００１７】
あるいは、動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した帯域のうち最低周波数帯域に動き推定により時空間適応予測を行って予測残差信号を求める手段と、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化するとともに該最低周波数帯域以外の帯域を直接符号化する手段とを有し、
該時空間適応予測を行う手段は、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置を手段とする。
【００１８】
あるいは、動画像を出力する可逆復号化装置において、請求項９記載の動画像可逆符号化装置により符号化された信号のうち、最低周波数帯域の予測残差信号と動きベクトルを復号するとともに該最低周波数帯域以外の帯域を直接復号する手段と、該最低周波数帯域の予測残差信号と該動きベクトルを用いて時空間適応予測復号を行う手段と、該時空間適応予測復号された最低周波数帯域と該直接復号された該最低周波数帯域以外の帯域とを帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置を手段とする。
【００１９】
あるいは、動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した最低周波数帯域では第１の時空間適応予測を行い、他の周波数帯域では第２の時空間適応予測を行い、帯域ごとに予測残差信号を求める手段と、該帯域毎の予測残差信号と該最低周波数帯域の動きベクトルである基準動きベクトルとを符号化する手段とを有し、
該第１の時空間適応予測を行う手段は、現フレームと参照フレームからブロック単位推定手段により該基準動きベクトルを得、該基準動きベクトルを用いて、そして該第２の時空間適応予測では、該基準動きベクトルを基準にした動きベクトルを用いて、それぞれ現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置を手段とする。
【００２０】
あるいは、動画像を出力する可逆復号化装置において、請求項１１記載の動画像可逆符号化装置により符号化された帯域毎の予測残差信号と最低周波数帯域の動きベクトルである基準動きベクトルを復号する手段と、該帯域毎に時空間適応予測復号を行う手段と、該時空間適応予測復号された帯域を帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、最低周波数帯域に係る復号では該基準動きベクトルを用いて、その他の周波数帯域に係る復号では該基準動きベクトルを基準にした動きベクトルを用いて、シフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置を手段とする。
【００２５】
本発明では、空間解像度スケーラビリティを実現するために、画像信号を空間解像度の帯域で分割し、帯域毎に符号化を行う。符号化には、画素毎にフレーム内予測（２次元予測）とフレーム間予測（３次元予測）を切換える時空間適応予測符号化を用いて符号化効率を高める。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２７】
［第１実施形態例］
図１に空間解像度スケーラビリティを持つ動画像符号化方法を実現するための基本構成を示す。図１において、１０は帯域分割部、１１は分割された帯域毎に設けた時空間適応予測符号化部、１２はエントロピー符号化部である。
【００２８】
図１の構成の動作例としての動画像符号化方法を以下に示す。まず、入力された画像信号は帯域分割部１０において、複数の空間解像度の帯域に分割される。次に、分割した帯域毎に、時空間適応予測符号化部１１で生成される残差信号をエントロピー符号化部１２において符号化する。
【００２９】
帯域分割部１０では、図２で示すオクターブ分割を画像の水平方向、垂直方向にそれぞれ適用する。オクターブ分割では、２分割フィルタを用いて次々に帯域を分割することによって、入力信号を複数の帯域に分割することができ、最終的に、図３で示すように帯域が分割される。
【００３０】
図３において、Ｌは低周波数成分、Ｈは高周波数成分を示す。ここで用いる２分割フィルタと復号化側で用いる帯域合成フィルタは、可逆性を保つために完全再構成フィルタとする。
【００３１】
時空間適応予測符号化部１１では、以下の式で予測を行う。
【００３２】
ｆ（ａ０，ａ１，ａ２，ａ３，……，ｂ０，ｂ１，ｂ２，ｂ３，……）
但し、
ｆ：予測関数
ａ０，ａ１，ａ２，ａ３，……：符号化対象のフレームの画素の値
ｂ０，ｂ１，ｂ２，ｂ３，……：参照フレームの画素の値
参照フレームとしては、時間的に前方のフレーム、後方のフレーム、前方と後方のフレームの両方のいずれかを用いるが、復号器側では、参照フレームは先に復号する必要がある。予測に用いる画素の位置は以下の条件で決定する。符号化対象の画素の位置を（ｘ，ｙ）とする（ｘは水平方向の位置、ｙは垂直方向の位置）。符号化対象のフレームの場合、近傍かつ復号側で先に復号化する画素とする。例えば、１行目の左端の画素から右へと復号し、次に２行目を左から右へと行毎に復号する場合は、予測に用いる画素の位置（ｘａ，ｙａ）は、以下の条件を満たす必要がある。
【００３３】
ｙ−ｙ０＜ｙａ＜ｙかつｘ−ｘ０＜ｘａ＜ｘ＋ｘ１
または、
ｙａ＝ｙかつｘ−ｘ２＜ｘａ＜ｘ
但し、
ｙ０：垂直方向の近傍の範囲を定める適当な整数
ｘ０，ｘ１，ｘ２：水平方向の近傍の範囲を定める適当な整数
参照フレームの予測に用いる画素の位置（ｘｂ，ｙｂ）は以下の条件を満たす必要がある。
【００３４】
ｙ＋ｖｙ−ｙ３＜ｙａ＜ｙ＋ｖｙ＋ｙ４かつｘ＋ｖｘ−ｘ３＜ｘａ＜ｘ＋ｖｘ＋ｘ４
但し、
ｙ３，ｙ４：垂直方向の近傍の範囲を定める適当な整数
ｘ３，ｘ４：水平方向の近傍の範囲を定める適当な整数
Ｖ（ｖｘ，ｖｙ）：参照フレームヘの動きベクトル
動きベクトルＶ（ｖｘ，ｖｙ）は、参照フレームヘの動き推定を行うことによって得られる。
【００３５】
エントロピー符号化部１２では、各帯域の残差信号と時空間適応予測符号化部１１で用いた動きベクトルをエントロピー符号化して、符号化ビットストリームを作成する。
【００３６】
図５に時空間適応予測符号化方法を実現する時空間適応予測符号化部の基本構成を示す。図５において、３１はブロック単位動き推定手段、３２はシフト手段、３３は２次元予測器、３４は動き推定３次元予測器、３５は相関係数Ｒ計算手段、３６は第１の判断分岐手段、３７は加減算手段、３８は加減算手段である。
【００３７】
予測器としては、３種類の２次元予測器、７種類の３次元予測器を用意し、フレーム間相関により予測器を切換える。
【００３８】
３次元予測器は、フレーム間相関が強い場合には有効であるが、フレーム間相関が弱い場合には逆に残差信号が大きくなる可能性がある。そのために、フレーム間相関が弱い場合には２次元予測器に切換える方法を採用する。２次元予測器と３次元予測器とを切換えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算する。相関係数が大きい場合、すなわち、現フレーム内信号と参照フレーム内信号の波形が似ている場合には、予測精度が向上すると考えられることから、３次元予測を行う。それ以外の場合には、２次元予測を行う。
【００３９】
各予測器の予測方法と予測器の具体的切換え方法について以下に説明する。各予測器の予測方法を次に示す。
【００４０】
２次元予測器０ 予測信号ｙ＝ｍｉｎ（ａ，ｂ） …（１）
２次元予測器１ 予測信号ｙ＝ｍａｘ（ａ，ｂ） …（２）
２次元予測器２ 予測信号ｙ＝ａ＋ｂ−ｃ …（３）
３次元予測器３ 予測信号ｙ＝ｍｉｎ（ａ，ｘ’） …（４）
３次元予測器４ 予測信号ｙ＝ｍａｘ（ａ，ｘ’） …（５）
３次元予測器５ 予測信号ｙ＝ａ＋ｘ’−ａ …（６）
３次元予測器６ 予測信号ｙ＝ｍｉｎ（ｂ，ｘ’） …（７）
３次元予測器７ 予測信号ｙ＝ｍａｘ（ｂ，ｘ’） …（８）
３次元予測器８ 予測信号ｙ＝ｂ＋ｘ’−ｂ …（９）
３次元予測器９ 予測信号ｙ＝（ａ＋ｂ＋ｘ’）／３ …（１０）
ここで用いたａ，ｂ，ｃは、図７（ａ）で示すように、被符号化対象の画素ｘに隣接する上、左、右上の画素の復号値である。ａ’，ｂ’，ｘ’は、参照フレームの画素の復号値であり、被符号化対象のフレームと参照フレーム間の動きベクトル（ｋ，ｌ）（ｋ：水平方向、ｌ：垂直方向）から画素位置を定める。動きベクトルは、Ｌ×Ｌ画素の小ブロック単位であらかじめブロックマッチング法などにより計算し、付加情報として伝送する。被符号化対象の画素ｘの位置を（ｉ，ｊ）とすると、ｘ’の位置は（ｉ＋ｋ，ｊ＋ｌ）となる。また、図７（ｂ）に示す通り、ａ’，ｂ’は、ｘ’の隣接する上、左の画素である。参照フレームとしては、時間的に前方のフレーム、後方のフレーム、前方と後方のフレームの両方のいずれかを用いるが、復号器側では、参照フレームは先に復号する必要がある。
【００４１】
Ｒ≦Ｔ０かつｃ≧ｍａｘ（ａ，ｂ）の場合 ２次元予測器０を選択
Ｒ≦Ｔ０かつｃ≦ｍｉｎ（ａ，ｂ）の場合 ２次元予測器１を選択
Ｒ≦Ｔ０かつｍｉｎ（ａ，ｂ）＜ｃ＜ｍａｘ（ａ，ｂ）の場合 ２次元予測器２を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≧ｍａｘ（ａ，ｘ’）の場合 ３次元予測器３を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≦ｍｉｎ（ａ，ｘ’）の場合 ３次元予測器４を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつｍｉｎ（ａ，ｘ’）＜ａ’＜ｍａｘ（ａ，ｘ’）の場合 ３次元予測器５を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≧ｍａｘ（ｂ，ｘ’）の場合 ３次元予測器６を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≦ｍｉｎ（ｂ，ｘ’）の場合 ３次元予測器７を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｍｉｎ（ｂ，ｘ’）＜ｂ’＜ｍａｘ（ｂ，ｘ’）の場合 ３次元予測器８を選択
Ｒ＞Ｔ０かつ−Ｔ１＜Ｓ＜Ｔ１の場合 ３次元予測器９を選択
但し、
Ｒ＝ａａ’＋ｂｂ’＋ｃｃ’＋ｄｄ’−（ａ＋ｂ＋ｃ＋ｄ）（ａ’＋ｂ’＋ｃ’＋ｄ’） …（１１）
Ｓ＝｜ｘ’−ｂ’｜−｜ｘ’−ａ’｜ …（１２）
Ｔ０，Ｔ１：閾値
ａ，ｂ，ｃ，ｄ，ａ’，ｂ’，ｃ’，ｄ’，ｘ’：図７に示す画素の復号値
である。
【００４２】
ここで、Ｒは相関係数であり、Ｒが閾値Ｔ０より大きい場合には、３次元予測器を選択する。それ以外の場合には、２次元予測器を選択する。この選択は、実際には２段階で行われている。つまり、図５中の第１の判断分岐手段３６によりＲ値によって第１の判断分岐を行い、２次元予測器か３次元予測器かをまず切換えて２次元予測器３３または３次元予測器３４内で残る第２の判断分岐を行って各予測器１〜９の一つを選択する。
【００４３】
２次元予測器の３つの予測器の切換え方法は、既に提案されているものであり、静止画像可逆圧縮国際標準規格ＪＰＥＧ−ＬＳにおいて採用された方法と同じである。縦方向および横方法にエッジがあると判断された場合には、それぞれのエッジ方向に隣接する１画素を用いて予測し、それ以外の場合には隣接する３画素を用いて予測している。
【００４４】
３次元予測の場合にも２次元予測器と同様に、被符号化対象画素の近傍信号値の状態により予測器を切換える適応予測を行う。縦方向または横方向にエッジがあると判断された場合は、現フレームおよび参照フレームのそれぞれのエッジ方向に隣接する信号を用いて予測する。エッジの方向は、参照フレームの縦方向の差分絶対値｜ｘ’−ａ’｜と横方向の差分絶対値｜ｘ’−ｂ’｜を比較して、閾値Ｔ１よりも大きい方向をエッジと判断する。式（１２）のＳはそれらの差分値であり、エッジ方向を判断するパラメータとなる。エッジ方向を判断する縦方向のエッジと判断された場合、現フレームおよび参照フレームの縦方向の信号に関して、２次元予測器と同様な方法で予測信号を選択する。横方向のエッジの場合も同様な方法で予測器を選択する。エッジでないと判断された場合には、近傍の３画素の平均値を予測値とする。
【００４５】
加減算手段３７または３８は、予測器の出力である予測信号と原フレーム信号の差、すなわち予測残差信号を出力する。予測残差信号は、図略の量子化器で量子化する。量子化された残差信号と、３次元予測器で用いた動きベクトルを、図１のエントロピー符号化部１２に入力し、符号化ビットストリームを出力する。量子化器の量子化ステップを１にした場合は、本符号化方法は可逆符号化法になる。
【００４６】
［第２実施形態例］
図４に、上記第１実施形態例で符号化されたデータを復号する復号化方法を実現するための基本構成を示す。図４において、２０はエントロピー復号部、２１は帯域毎に設けた時空間適応予測復号化部、２２は帯域合成部である。
【００４７】
図４の構成の動作例としての復号化方法を以下に示す。最初にエントロピー復号化部２０において符号化ビットストリームから予測に用いる動きベクトルと予測残差信号を求める。次に、時空間適応予測符号化部２１において既に復号化された画像信号と残差信号を用いて被符号化信号を復号する。次に帯域合成部２２に、各時空間適応予測符号化部２１の出力を合成して画像を復号化する。
【００４８】
図６に、時空間適応予測復号化部の基本構成を示す。図６において、４１はシフト手段、４２は２次元予測器、４３は加算手段、４４は動き推定３次元予測器、４５は加算手段、４６は相関係数Ｒ計算手段、４７は第１の判断分岐手段である。
【００４９】
図６の動作例としての時空間適応予測復号化方法は、以下のとおりである。まず、２次元予測器４２を用いるか３次元予測器４４を用いるかを判断するために、動きベクトルを用いてシフト手段４１でシフトした参照フレーム内信号と現フレーム内信号の復号済み信号から、相関係数Ｒ計算手段４６により相関係数Ｒを計算する。第１の判断分岐手段４７は、相関係数Ｒが閾値Ｔ０より大きい場合には、動き推定３次元予測器４４側に切換えて３次元予測を行い、それ以外の場合には２次元予測器４２側に切換えて２次元予測を行う。２次元予測器４２および動き推定３次元予測器４４の構成と内部に用意した複数の予測器の切換えは第１実施形態例のものと同様である。動き推定３次元予測器４４では、現フレーム内信号の復号済み信号と動きベクトルを用いてシフトした参照フレーム内信号を用いて予測信号を生成し、加算手段４５は、この予測信号に残差信号を付加することで、現フレームの対象信号を復元する。２次元予測器４２では、現フレーム内信号の復号済み信号を用いて予測信号を生成し、加算手段４３がこの予測信号に残差信号を付加することで、現フレームの対象信号を復元する。
【００５０】
［第３実施形態例］
本実施形態例では、第１実施形態例の時空間適応予測符号化部１１において、各帯域における対象物体の動きをブロックマッチング法により推定する。ブロックマッチング法においては、動きベクトルを求めるために、次のＳＡＤ（Ｓｕｍｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を計算する。
【００５１】
ＳＡＤ（ｋ，ｌ）＝Σi=1 LΣj=1 L｜ｘ（ｉ，ｊ）−ｙ（ｉ＋ｋ，ｊ＋ｌ）｜ …（１３）
ここで、（ｋ，ｌ）を−ｗ＜ｋ，１＜ｗの範囲（ｗはウインドウサイズ）でＳＡＤ（ｋ，ｌ）を計算し、最小のＳＡＤ値を与えるベクトル（ｋ，ｌ）が動きベクトルとして選ばれる。３次元予測器の予測精度を向上させるために、通常、ＳＡＤは各帯域毎に計算される。ＳＡＤの計算には、かなりの時間を要する。これを考慮に入れ、符号化効率の低下をできるだけ抑えたうえで、計算時間を削減するために以下の３つの簡易符号化の手法（１），（２），（３）を提案する。
【００５２】
（１）帯域分割された信号のフレーム間相関ならびにフレーム内相関は、低域ほど強く、高域ほど弱い。最低周波数帯域以外の信号はフレーム間相関ならびにフレーム内相関が弱いことから、時空間適応予測符号化の効果がそれほど顕著に現れてこない。その性質を利用して、時空間適応予測符号化を最低周波数帯域のみに適用する。ＳＡＤの計算量が極端に減少するとともに、２次元および３次元予測処理時間も減少する。最低周波数帯域の動きベクトルと予測残差信号はエントロピー符号化され、最低周波数帯域以外の信号は、直接エントロピー符号化される。
【００５３】
図８に本方法を実現するための基本構成図を示す。図８において、５０は帯域分割部、５１は最低周波数帯域用の時空間適応予測符号化部、５２はエントロピー符号化部５２である。まず、入力された画像信号は帯域分割部５０において、複数の空間解像度の帯域に分割される。次に、分割した帯域のうち最低周波数帯域についてのみ時空間適応予測符号化部５１で残差信号を生成し、エントロピー符号化部５２でエントロピー符号化する。それ以外の帯域の信号はエントロピー符号化部５２において直接符号化する。
【００５４】
（２）動き推定を最低周波数帯域のみにて行い、動きベクトルを求める。他の帯域では、最低周波数帯域の動きベクトルを基準にした動きベクトルを用いて時空間適応予測符号化を行う。対象物体の動きは、帯域毎に変化するわけではないので、高域の物体の動きも低域の物体の動きも等しいはずである。すなわち、低域から高域に向けて同じ方向に存在する小ブロック動きベクトルは同じであると仮定する。例えば、図３の矢印で示した小ブロックの動きはほぼ等しい。但し、一つ高域に帯域が上がる毎に、画素数は縦および横方向に２倍になるので、一つ高域での動きベクトルは、
（２ｋ，２ｌ）
となる。Ｎ段高域の動きベクトルは、
（Ｎ×ｋ，Ｎ×ｌ）
となる。
【００５５】
本方法を実現するための基本構成図は、図１と同様であるが、各帯域毎の時空間適応予測符号化部１１で用いる動きベクトルは最低周波数帯域の動きベクトルを基準にした動きベクトルを用いる。最低周波数帯域の動きベクトルおよび全帯域の予測残差信号はエントロピー符号化部１２でエントロピー符号化される。
【００５６】
（３）ＳＡＤを計算するときに低域から高域に向かって行う。図３の例においては、ＬＬ３→ＨＬ３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２→ＨＬ１→ＬＨ１→ＨＨ１の順となる。まず、最低周波数帯域の各小ブロックに対してＳＡＤを計算する。ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔ（閾値） …（１４）
の小ブロック内の信号に関してはフレーム間相関が弱いと判断し、時空間適応予測処理は行わず２次元予測を行う。および対応する高域の小ブロックの信号に関しては時空間適応予測符号化を行わず、直接エントロピー符号化を行う。
【００５７】
式（１４）を満たさないブロック内の信号に関しては、通常どおり、時空間適応予測符号化を行う。引き続く高帯域のブロックにおいて、ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔｘ（高帯域での閾値。帯域によって閾値は異なる。） …（１５）
の場合にはフレーム間相関が弱いと判断し、時空間適応予測符号化を行わず、直接エントロピー符号化を行う。なお、対応する低域のブロックのＳＡＤが既に式（１４）を満足している場合には、直接エントロピー符号化を行うことが確定しているため、ＳＡＤの計算ならびに式（１５）の判断は行わない。
【００５８】
式（１４）および（１５）の条件を満足する小ブロックは、付加情報として動きベクトルの代りに固有の符号ＬＩＭＩＴを伝送し、対応する高域の小ブロックでは付加情報を伝送しない。動きベクトルならびに固有の符号ＬＩＭＩＴ、予測残差信号がエントロピー符号化される。
【００５９】
本方法を実現するための基本構成図は、図１と同様であるが、各時空間適応予測符号化器１１は、ブロック単位動き推定において、低域から高域に向かってＳＡＤを計算する機能、時空間適応予測符号化を行うか否かの判断機能、及び固有の符号ＬＩＭＩＴを伝送する機能等を有する。エントロピー符号化部１２は、各時空間適応予測符号化器１１からの、動きベクトルまたは固有の符号ＬＩＭＩＴ、時空間適応予測符号化されない信号または予測残差信号をエントロピー符号化する。
【００６０】
［第４実施形態例］
第３実施形態例による簡易符号化の手法で符号化された信号の簡易復号化方法を示す。
【００６１】
（１）図９に、簡易符号化（１）で符号化された信号を復号するための基本構成図を示す。図９において、６０はエントロピー復号部、６１は最低周波数帯域用の時空間適応予測復号化部、６２は帯域合成部である。
【００６２】
本方法では、エントロピー復号部６０でエントロピー復号化された動きベクトルと予測残差信号を用いて、最低周波数帯域は時空間予測復号化部６１により信号を復号する。それ以外の帯域は、エントロピー復号部６０でエントロピー復号化により、直接復号される。帯域合成部６２は、各帯域の出力を合成して画像を復号化する。
【００６３】
（２）簡易符号化（２）で符号化された信号を復号する復号化方法を実現するための基本構成図は、図４と同様であるが、各帯域毎の時空間適応予測復号化部２１で用いる動きベクトルは最低周波数帯域の動きベクトルを基準にした動きベクトルを用いる。すなわち、エントロピー復号部２０でエントロピー復号化された最低周波数帯域の動きベクトル（ｋ，ｌ）をもとにして、Ｎ段高域の動きベクトルを、
（Ｎ×ｋ，Ｎ×ｌ）
により計算する。その結果をもとに、各帯域毎に時空間適応予測復号化部２１で復号処理を行い、帯域合成部２２において、各帯域の出力を合成して画像を復号化する。
【００６４】
（３）簡易符号化（３）で符号化された信号を復号する復号化方法を実現するための基本構成図も、図４と同様であるが、各帯域毎の時空間適応予測復号化部２１では、エントロピー復号部２０でエントロピー復号化された最低周波数帯域の動きベクトル（ｋ，ｌ）ならびに予測残差信号を用いて、最低周波数帯帯域から最高周波数帯域の順番（図３の例においては、ＬＬ３→ＨＬ３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２→ＨＬ１→ＬＨ１→ＨＨ１の順）で、時空間適応予測復号処理を行って出力するか、または固有符号ＬＩＭＩＴにより、エントロピー復号化された高周波数帯域の信号を直接出力する。帯域合成部２２は、各帯域の出力を合成して画像を復号化する。
【００６５】
【発明の効果】
以上の説明で明らかなように本発明によれば、動画像の効率の良い可逆符号化ができ、少ないディスク容量で保存が可能となる。さらに、空間解像度スケーラビリティ性を有するために、画像表示機器の性能や用途に応じた空間解像度で、画像を復号化することが可能である。低域から任意の帯域までを復号化すると、原画像よりも低い空間解像度の画像を再生でき、全てのデータを復号化すると、原画像と同じ解像度の画像が再生される。画像表示装置の精度や用途に応じて原画像より低い解像度の画像を再生したい場合は、必要な帯域までに対する復号化のみが必要であり、復号化を行えば画像を符号化データより直接復号化でき、原画像と同じ解像度の画像を再生してから解像度変換を行うよりも処理時間が短くなる。また、符号化ビットストリームを伝送する場合は、必要なデータのみを伝送するので、伝送レートも小さくなる。
【図面の簡単な説明】
【図１】本発明の第１実施形態例による動画像符号化方法を実現するための基本構成を示す図である。
【図２】オクターブ分割を説明する図である。
【図３】画像の帯域分割を説明する図である。
【図４】本発明の第２実施形態例による動画像復号化方法を実現するための基本構成を示す図である。
【図５】本発明における時空間適応予測符号化部の基本構成を示す図である。
【図６】本発明における時空間適応予測復号化部の基本構成を示す図である。
【図７】（ａ），（ｂ）は、予測に用いる信号を説明する図である。
【図８】本発明の第３実施形態例による簡易符号化（１）を実現するための基本構成を示す図である。
【図９】本発明の第４実施形態例による簡易復号化（１）を実現するための基本構成を示す図である。
【符号の説明】
１０…帯域分割部
１１…時空間適応予測符号化部
１２…エントロピー符号化部
２０…エントロピー復号部
２１…時空間適応予測復号化部
２２…帯域合成部
３１…ブロック単位動き推定手段
３２…シフト手段
３３…２次元予測器
３４…動き推定３次元予測器
３５…相関係数Ｒ計算手段
３６…第１の判断分岐手段
３７…加減算手段
３８…加減算手段
４１…シフト手段
４２…２次元予測器
４３…加算手段
４４…動き推定３次元予測器
４５…加算手段
４６…相関係数Ｒ計算手段
４７…第１の判断分岐手段
５０…帯域分割部
５１…時空間適応予測符号化部
５２…エントロピー符号化部
６０…エントロピー復号部
６１…時空間適応予測復号化部
６２…帯域合成部
Claims (12)
- 動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した帯域毎に動き推定により時空間適応予測を行って予測残差信号を求め、該帯域毎の予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する際に、
該時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法。 - 動画像を出力する可逆復号化方法において、請求項１記載の動画像可逆符号化方法により符号化された帯域毎の予測残差信号と動きベクトルを復号し、該帯域毎の予測残差信号と該動きベクトルを用いて該帯域毎に時空間適応予測復号を行い、該時空間適応予測復号された帯域を帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法。 - 動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した帯域のうち最低周波数帯域に動き推定により時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化するとともに該最低周波数帯域以外の帯域を直接符号化する際に、
該時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法。 - 動画像を出力する可逆復号化方法において、請求項３記載の動画像可逆符号化方法により符号化された信号のうち、最低周波数帯域の予測残差信号と動きベクトルを復号して用いて時空間適応予測復号を行い、該最低周波数帯域以外の帯域を直接復号し、該時空間適応予測復号された最低周波数帯域と該直接復号された該最低周波数帯域以外の帯域とを帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法。 - 動画像を対象とする可逆符号化方法において、原画像を帯域分割し、該分割した最低周波数帯域では第１の時空間適応予測を行い、他の周波数帯域では第２の時空間適応予測を行い、帯域ごとに予測残差信号を求め、該帯域毎の予測残差信号と該最低周波数帯域の動きベクトルである基準動きベクトルとを符号化する際に、
該第１の時空間適応予測では、現フレームと参照フレームからブロック単位推定手段により該基準動きベクトルを得、該基準動きベクトルを用いて、そして該第２の時空間適応予測では、該基準動きベクトルを基準にした動きベクトルを用いて、それぞれ現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法。 - 動画像を出力する可逆復号化方法において、請求項５記載の動画像可逆符号化方法により符号化された帯域毎の予測残差信号と最低周波数帯域の動きベクトルである基準動きベクトルを復号し、該帯域毎に時空間適応予測復号を行い、該時空間適応予測復号された帯域を帯域合成して動画像を復号する際に、
最低周波数帯域に係る時空間適応予測復号では該基準動きベクトルを用いて、その他の周波数帯域に係る時空間適応予測では該基準動きベクトルを基準にした動きベクトルを用いて、シフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法。 - 動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した帯域毎に動き推定により時空間適応予測を行って予測残差信号を求める手段と、該帯域毎の予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手段を有し、
該時空間適応予測を行って予測残差信号を求める手段は、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置。 - 動画像を出力する可逆復号化装置において、請求項７記載の動画像可逆符号化装置により符号化された帯域毎の予測残差信号と動きベクトルを復号する手段と、該帯域毎の予測残差信号と該動きベクトルを用いて該帯域毎に時空間適応予測復号を行う手段と、該時空間適応予測復号された帯域を帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置。 - 動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した帯域のうち最低周波数帯域に動き推定により時空間適応予測を行って予測残差信号を求める手段と、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化するとともに該最低周波数帯域以外の帯域を直接符号化する手段とを有し、
該時空間適応予測を行う手段は、現フレームと参照フレームからブロック単位推定手段により動きベクトルを得、その動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置。 - 動画像を出力する可逆復号化装置において、請求項９記載の動画像可逆符号化装置により符号化された信号のうち、最低周波数帯域の予測残差信号と動きベクトルを復号するとともに該最低周波数帯域以外の帯域を直接復号する手段と、該最低周波数帯域の予測残差信号と該動きベクトルを用いて時空間適応予測復号を行う手段と、該時空間適応予測復号された最低周波数帯域と該直接復号された該最低周波数帯域以外の帯域とを帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置。 - 動画像を対象とする可逆符号化装置において、原画像を帯域分割する手段と、該分割した最低周波数帯域では第１の時空間適応予測を行い、他の周波数帯域では第２の時空間適応予測を行い、帯域ごとに予測残差信号を求める手段と、該帯域毎の予測残差信号と該最低周波数帯域の動きベクトルである基準動きベクトルとを符号化する手段とを有し、
該第１の時空間適応予測を行う手段は、現フレームと参照フレームからブロック単位推定手段により該基準動きベクトルを得、該基準動きベクトルを用いて、そして該第２の時空間適応予測では、該基準動きベクトルを基準にした動きベクトルを用いて、それぞれ現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手段とを、有することを特徴とする動画像可逆符号化装置。 - 動画像を出力する可逆復号化装置において、請求項１１記載の動画像可逆符号化装置により符号化された帯域毎の予測残差信号と最低周波数帯域の動きベクトルである基準動きベクトルを復号する手段と、該帯域毎に時空間適応予測復号を行う手段と、該時空間適応予測復号された帯域を帯域合成して動画像を復号する手段とを有し、
該時空間適応予測復号する手段は、最低周波数帯域に係る復号では該基準動きベクトルを用いて、その他の周波数帯域に係る復号では該基準動きベクトルを基準にした動きベクトルを用いて、シフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換える手段と、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出する手段と、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測信号を算出する手段と、
該予測信号に該予測残差信号を付加して対象信号を復号化する手段とを、有することを特徴とする動画像可逆復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308796A JP4113696B2 (ja) | 2001-10-04 | 2001-10-04 | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308796A JP4113696B2 (ja) | 2001-10-04 | 2001-10-04 | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008059225A Division JP4511607B2 (ja) | 2008-03-10 | 2008-03-10 | 動画像可逆符号化方法とその復号化方法、及びそれらのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003116140A JP2003116140A (ja) | 2003-04-18 |
| JP4113696B2 true JP4113696B2 (ja) | 2008-07-09 |
Family
ID=19128047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001308796A Expired - Fee Related JP4113696B2 (ja) | 2001-10-04 | 2001-10-04 | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4113696B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4522951B2 (ja) * | 2006-01-16 | 2010-08-11 | 日本電信電話株式会社 | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
| JP5022400B2 (ja) * | 2009-03-30 | 2012-09-12 | 日本放送協会 | 動画像雑音除去装置、動領域画像雑音除去装置、動画像雑音除去プログラム、及び動領域画像雑音除去プログラム |
| JP2012129949A (ja) * | 2010-12-17 | 2012-07-05 | Toshiba Corp | 画像符号化方法及び装置、画像復号化方法及び装置 |
-
2001
- 2001-10-04 JP JP2001308796A patent/JP4113696B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003116140A (ja) | 2003-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102051083B1 (ko) | 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법 | |
| EP1723606B1 (en) | Method for encoding interlaced digital video data | |
| JP4991699B2 (ja) | ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法 | |
| US8401079B2 (en) | Image coding apparatus, image coding method, image decoding apparatus, image decoding method and communication apparatus | |
| WO2012042719A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| KR20060109249A (ko) | 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치 | |
| EP2555523A1 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
| KR20120105396A (ko) | 모션 추정을 위한 기법들 | |
| WO2019069602A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、プログラムおよび映像システム | |
| JP2006279917A (ja) | 動画像符号化装置、動画像復号装置及び動画像伝送システム | |
| KR20150034699A (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| WO2011070730A1 (ja) | 映像符号化装置および映像復号装置 | |
| JP4113696B2 (ja) | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 | |
| JP5598199B2 (ja) | 動画像符号化装置 | |
| JP4511607B2 (ja) | 動画像可逆符号化方法とその復号化方法、及びそれらのプログラム | |
| JPH0591498A (ja) | 帯域分割動画像符号化装置 | |
| JP3776735B2 (ja) | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 | |
| JP2021129148A (ja) | 予測装置、符号化装置、復号装置、及びプログラム | |
| JP4697802B2 (ja) | 動画像予測符号化方法および装置 | |
| KR102111437B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR0181067B1 (ko) | 호환성을 갖는 동영상 부호화기 | |
| KR20060063604A (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
| JP4153774B2 (ja) | 動画像符号化方法とその復号化方法、およびそれらの装置 | |
| JP2003116141A (ja) | 動画像予測符号化方法とその復号化方法、及びそれらの装置 | |
| KR101285841B1 (ko) | 움직임 벡터 부호화 장치 및 복호화 장치, 그리고 그것의 부호화 및 복호화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061010 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080414 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |