JP2003116140A - Moving picture reversible coding method and its decoding method, and apparatus for the same - Google Patents
Moving picture reversible coding method and its decoding method, and apparatus for the sameInfo
- Publication number
- JP2003116140A JP2003116140A JP2001308796A JP2001308796A JP2003116140A JP 2003116140 A JP2003116140 A JP 2003116140A JP 2001308796 A JP2001308796 A JP 2001308796A JP 2001308796 A JP2001308796 A JP 2001308796A JP 2003116140 A JP2003116140 A JP 2003116140A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- band
- residual signal
- decoding
- motion estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、動画像を効率よく
伝送、蓄積するための、符号化および復号化の技術に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an encoding and decoding technique for efficiently transmitting and storing moving images.
【０００２】[0002]
【従来の技術】可逆画像符号化方式としては、ＪＰＥＧ
−ＬＳやＪＰＥＧ２０００の可逆符号化モードが知られ
ている。ＪＰＥＧ−ＬＳは、フレーム内予測器を使用し
て、予測器の出力である予測信号と原信号の差を符号化
している。フレーム内予測器を使用していることによ
り、フレーム内の信号の相関を利用して符号化効率を高
めている。ＪＰＥＧ２０００では、ロスレスＷａｖｅｌ
ｅｔ変換を行い、Ｗａｖｅｌｅｔ係数を符号化してい
る。Ｗａｖｅｌｅｔ変換を用いて画像信号を空間周波数
帯域で分割し帯域毎に符号化を行っているために、空間
解像度スケーラビリティを有する。2. Description of the Related Art As a reversible image coding method, JPEG is used.
-Lossless encoding modes such as LS and JPEG2000 are known. JPEG-LS uses an intra-frame predictor to encode the difference between the predicted signal output from the predictor and the original signal. By using the intra-frame predictor, the coding efficiency is improved by utilizing the correlation of the signals within the frame. In JPEG2000, lossless Wave
et conversion is performed to encode Wavelet coefficients. Since the image signal is divided into spatial frequency bands using the Wavelet transform and coding is performed for each band, it has spatial resolution scalability.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上記従
来の両方式とも静止画像を対象としているために、動画
に適応した場合、フレーム間の信号相関を利用すること
ができない。動画像の非可逆符号化としては、空間解像
度スケーラビリティを有し、フレーム間相関を利用した
方法として、サブバンド領域で動き補償を行う方法があ
るが、動き補償はブロック単位に予測を行うことから符
号化効率は必ずしも良くない。空間解像度スケーラビリ
ティを有するとは、一つの符号化ビットストリームから
異なる空間解像度の画像を直接復号化可能であることを
示す。However, since both of the above-mentioned conventional methods target still images, it is not possible to utilize the signal correlation between frames when adapted to a moving image. Motion picture lossy encoding has spatial resolution scalability, and there is a method of motion compensation in the sub-band area as a method using inter-frame correlation, but motion compensation performs prediction in block units. Coding efficiency is not always good. Having spatial resolution scalability means that images with different spatial resolutions can be directly decoded from one encoded bitstream.
【０００４】本発明は、空間解像度スケーラビリティを
有し、符号化効率に優れる動画像可逆符号化方法とその
復号化方法、及びそれらの装置を提案することが課題で
ある。An object of the present invention is to propose a moving image lossless coding method and a decoding method thereof, which have spatial resolution scalability and excellent coding efficiency, and devices thereof.
【０００５】[0005]
【課題を解決するための手段】上記の課題を解決するた
め本発明は、動画像を対象とする可逆符号化方法におい
て、原画像を帯域分割し、該分割した帯域毎に動き推定
により時空間適応予測を行って予測残差信号を求め、該
帯域毎の予測残差信号と該時空間適応予測で用いた動き
推定結果とを符号化することを特徴とする動画像可逆符
号化方法を手段とする。In order to solve the above problems, the present invention provides a lossless coding method for moving images, in which the original image is band-divided and the space-time is estimated by motion estimation for each of the divided bands. Means: A lossless moving image encoding method, characterized in that adaptive prediction is performed to obtain a prediction residual signal, and the prediction residual signal for each band and the motion estimation result used in the space-time adaptive prediction are encoded. And
【０００６】あるいは、動画像を出力する可逆復号化方
法において、前記の動画像可逆符号化方法により符号化
された帯域毎の予測残差信号と動き推定結果を復号し、
該帯域毎の予測残差信号と該動き推定結果を用いて該帯
域毎に時空間適応予測復号を行い、該時空間適応予測復
号された帯域を帯域合成して動画像を復号することを特
徴とする動画像可逆復号化方法を手段とする。Alternatively, in a lossless decoding method for outputting a moving image, a prediction residual signal and a motion estimation result for each band encoded by the moving image lossless encoding method are decoded,
A feature of performing space-time adaptive prediction decoding for each band using the prediction residual signal for each band and the motion estimation result, and performing band-combining of the space-time adaptive prediction decoded bands to decode a moving image. The lossless moving image decoding method is as follows.
【０００７】あるいは、動画像を対象とする可逆符号化
方法において、原画像を帯域分割し、該分割した帯域の
うち最低周波数帯域に動き推定により時空間適応予測を
行って予測残差信号を求め、該予測残差信号と該時空間
適応予測で用いた動き推定結果とを符号化するとともに
該最低周波数帯域以外の帯域を直接符号化することを特
徴とする動画像可逆符号化方法を手段とする。Alternatively, in a lossless coding method for moving images, the original image is divided into bands, and the lowest frequency band of the divided bands is subjected to space-time adaptive prediction by motion estimation to obtain a prediction residual signal. A lossless coding method for moving images, characterized in that the prediction residual signal and the motion estimation result used in the space-time adaptive prediction are coded, and bands other than the lowest frequency band are directly coded. To do.
【０００８】あるいは、動画像を出力する可逆復号化方
法において、前記の動画像可逆符号化方法により符号化
された信号のうち、最低周波数帯域の予測残差信号と動
き推定結果を復号して用いて時空間適応予測復号を行
い、該最低周波数帯域以外の帯域を直接復号し、該時空
間適応予測復号された最低周波数帯域と該直接復号され
た該最低周波数帯域以外の帯域とを帯域合成して動画像
を復号することを特徴とする動画像可逆復号化方法を手
段とする。Alternatively, in a lossless decoding method for outputting a moving image, a prediction residual signal in the lowest frequency band and a motion estimation result are decoded and used from among the signals encoded by the moving image lossless encoding method. Perform space-time adaptive prediction decoding, directly decode bands other than the lowest frequency band, and combine the lowest frequency band subjected to the space-time adaptive prediction decoding and the band other than the directly decoded lowest frequency band. A moving image lossless decoding method is characterized in that a moving image is decoded according to the above method.
【０００９】あるいは、動画像を対象とする可逆符号化
方法において、原画像を帯域分割し、該分割した最低周
波数帯域のみにて動き推定を行い、該動き推定結果を基
準とした動き推定結果を用いて該分割した帯域毎に時空
間適応予測を行って予測残差信号を求め、該帯域毎の予
測残差信号と該最低周波数帯域の動き推定結果とを符号
化することを特徴とする動画像可逆符号化方法を手段と
する。Alternatively, in a lossless coding method for moving images, the original image is band-divided, motion estimation is performed only in the divided lowest frequency band, and the motion estimation result based on the motion estimation result is used as a reference. A moving image characterized by performing space-time adaptive prediction for each of the divided bands to obtain a prediction residual signal, and encoding the prediction residual signal for each band and the motion estimation result of the lowest frequency band. The image reversible coding method is used as a means.
【００１０】あるいは、動画像を出力する可逆復号化方
法において、前記の動画像可逆符号化方法により符号化
された帯域毎の予測残差信号と最低周波数帯域の動き推
定結果を復号し、該帯域毎の予測残差信号と該最低周波
数帯域の動き推定結果を基準とした動き推定結果を用い
て該帯域毎に時空間適応予測復号を行い、該時空間適応
予測復号された帯域を帯域合成して動画像を復号するこ
とを特徴とする動画像可逆復号化方法を手段とする。Alternatively, in the lossless decoding method for outputting a moving image, the prediction residual signal for each band and the motion estimation result of the lowest frequency band encoded by the moving image lossless encoding method are decoded, and the band is decoded. The prediction residual signal for each and the motion estimation result based on the motion estimation result of the lowest frequency band are used to perform space-time adaptive prediction decoding for each band, and the space-time adaptive prediction decoded band is band-synthesized. A moving image lossless decoding method is characterized in that a moving image is decoded according to the above method.
【００１１】あるいは、動画像を対象とする可逆符号化
方法において、原画像を帯域分割し、該分割した帯域の
フレーム間相関の強弱を最低周波数帯域から高帯域に向
かって判断し、該最低周波数帯域にてフレーム間相関が
強いと判断された場合は時空間適応予測で３次元予測を
行って予測残差信号を求めるとともに弱いと判断された
場合は時空間適応予測で２次元予測を行って予測残差信
号を求め、該高帯域にてフレーム間相関が強いと判断さ
れた場合は時空間適応予測を行って予測残差信号を求め
るとともに弱いと判断された場合は時空間適応予測を行
わず固有符号を出力し、該帯域別に求めた予測残差信号
と該求めた際の動き推定結果と該固有符号とを符号化す
るとともに該固有符号を出力した帯域を直接符号化する
ことを特徴とする動画像可逆符号化方法を手段とする。Alternatively, in the lossless coding method for moving images, the original image is divided into bands, the strength of inter-frame correlation of the divided bands is judged from the lowest frequency band toward the higher frequency band, and the lowest frequency is determined. When it is determined that the inter-frame correlation is strong in the band, three-dimensional prediction is performed by space-time adaptive prediction to obtain a prediction residual signal, and when it is determined that it is weak, two-dimensional prediction is performed by space-time adaptive prediction. A prediction residual signal is obtained, and when it is determined that inter-frame correlation is strong in the high band, space-time adaptive prediction is performed to obtain a prediction residual signal, and when it is determined that it is weak, space-time adaptive prediction is performed. Instead of outputting the eigencode, the prediction residual signal obtained for each band, the motion estimation result at the time of obtaining the eigencode, and the eigencode are coded, and the band in which the eigencode is output is directly coded. To Image lossless coding method and means.
【００１２】あるいは、動画像を出力する可逆復号化方
法において、前記の動画像可逆符号化方法により符号化
された帯域別の予測残差信号と動き推定結果と固有符号
とを復号し、該帯域別に予測残差信号と動き推定結果を
用いて時空間適応予測復号を行うとともに、該固有符号
を出力した帯域を直接復号し、該時空間適応予測復号さ
れた帯域と該直接復号された帯域とを帯域合成して動画
像を復号することを特徴とする動画像可逆復号化方法を
手段とする。Alternatively, in a lossless decoding method for outputting a moving image, a prediction residual signal for each band coded by the moving image lossless coding method, a motion estimation result and an eigencode are decoded, and the band is decoded. Separately, while performing space-time adaptive prediction decoding using the prediction residual signal and the motion estimation result, the band that outputs the eigencode is directly decoded, and the space-time adaptive prediction decoded band and the direct decoded band The method is a moving image lossless decoding method characterized in that the moving image is decoded by performing band synthesis of.
【００１３】あるいは、以上の動画像可逆符号化方法に
おいて、時空間適応予測では、画像信号の特性によって
画素毎に２次元予測か３次元予測かを切換え、該２次元
予測に切換えられた場合には該画像信号の特性から画素
毎に複数の２次元予測器を切換えて予測残差信号を算出
し、該３次元予測に切換えられた場合には該画像信号に
おける対象物体の動きを該ブロック毎に動き推定した動
き推定結果に基づいて画素毎に複数の３次元予測器を切
換えて予測残差信号を算出することを特徴とする動画像
可逆符号化方法を手段とする。Alternatively, in the above moving image lossless encoding method, in the spatiotemporal adaptive prediction, two-dimensional prediction or three-dimensional prediction is switched for each pixel depending on the characteristics of the image signal, and when switched to the two-dimensional prediction. Calculates a prediction residual signal by switching a plurality of two-dimensional predictors for each pixel from the characteristics of the image signal, and when the three-dimensional prediction is switched, the motion of the target object in the image signal is calculated for each block. And a lossless encoding method for moving images, characterized by calculating a prediction residual signal by switching a plurality of three-dimensional predictors for each pixel based on the motion estimation result of the motion estimation.
【００１４】あるいは、以上の動画像可逆復号化方法に
おいて、時空間適応予測復号では、予測残差信号と動き
推定結果に基づいて画像信号の特性により画素毎に２次
元予測か３次元予測かを切換え、該２次元予測に切換え
られた場合には該画像信号の特性から画素毎に複数の２
次元予測器を切換えて予測信号を算出し、該３次元予測
に切換えられた場合には画素毎に複数の３次元予測器を
切換えて予測信号を算出し、該予測信号に該予測残差信
号を付加して対象信号を復号化することを特徴とする動
画像予測復号化方法を手段とする。Alternatively, in the above-described video lossless decoding method, in the space-time adaptive prediction decoding, it is determined whether the prediction residual signal and the motion estimation result are 2D prediction or 3D prediction for each pixel depending on the characteristics of the image signal. When the switching is made to the two-dimensional prediction, a plurality of two pixels are provided for each pixel from the characteristics of the image signal.
The prediction signal is calculated by switching the dimensional predictor, and when switched to the three-dimensional prediction, a plurality of three-dimensional predictors are switched for each pixel to calculate the prediction signal, and the prediction residual signal is added to the prediction signal. Is added to decode a target signal, and a moving image predictive decoding method is characterized.
【００１５】また同じく本発明は、動画像を対象とする
可逆符号化装置において、原画像を帯域分割する手段
と、該分割した帯域毎に動き推定により時空間適応予測
を行って予測残差信号を求める手段と、該帯域毎の予測
残差信号と該時空間適応予測で用いた動き推定結果とを
符号化する手段とを、有することを特徴とする動画像可
逆符号化装置を手段とする。Further, the present invention is also a lossless coding apparatus for moving images, wherein the original image is divided into bands, and the prediction residual signal is obtained by performing space-time adaptive prediction by motion estimation for each of the divided bands. And a means for encoding the prediction residual signal for each band and a motion estimation result used in the space-time adaptive prediction. .
【００１６】あるいは、動画像を出力する可逆復号化装
置において、前記の動画像可逆符号化装置により符号化
された帯域毎の予測残差信号と動き推定結果を復号する
手段と、該帯域毎の予測残差信号と該動き推定結果を用
いて該帯域毎に時空間適応予測復号を行う手段と、該時
空間適応予測復号された帯域を帯域合成して動画像を復
号する手段とを、有することを特徴とする動画像可逆復
号化装置を手段とする。Alternatively, in a lossless decoding apparatus for outputting a moving image, a unit for decoding the prediction residual signal and the motion estimation result for each band encoded by the moving image lossless encoding apparatus, and a unit for each band And a means for performing space-time adaptive prediction decoding for each band using the prediction residual signal and the motion estimation result, and means for decoding the moving image by band-combining the space-time adaptive prediction decoded bands. Means is a moving image lossless decoding device characterized by the above.
【００１７】あるいは、動画像を対象とする可逆符号化
装置において、原画像を帯域分割する手段と、該分割し
た帯域のうち最低周波数帯域に動き推定により時空間適
応予測を行って予測残差信号を求める手段と、該予測残
差信号と該時空間適応予測で用いた動き推定結果とを符
号化するとともに該最低周波数帯域以外の帯域を直接符
号化する手段とを、有することを特徴とする動画像可逆
符号化装置を手段とする。Alternatively, in a lossless coding apparatus for moving images, means for band-dividing an original image and space-time adaptive prediction by motion estimation in the lowest frequency band of the divided bands to perform prediction residual signal And means for encoding the prediction residual signal and the motion estimation result used in the space-time adaptive prediction and for directly encoding a band other than the lowest frequency band. A moving image lossless encoding device is used as means.
【００１８】あるいは、動画像を出力する可逆復号化装
置において、前記の動画像可逆符号化装置により符号化
された信号のうち、最低周波数帯域の予測残差信号と動
き推定結果を復号するとともに該最低周波数帯域以外の
帯域を直接復号する手段と、該最低周波数帯域の予測残
差信号と該動き推定結果を用いて時空間適応予測復号を
行う手段と、該時空間適応予測復号された最低周波数帯
域と該直接復号された該最低周波数帯域以外の帯域とを
帯域合成して動画像を復号する手段とを、有することを
特徴とする動画像可逆復号化装置を手段とする。Alternatively, in the lossless decoding apparatus for outputting a moving image, the prediction residual signal in the lowest frequency band and the motion estimation result are decoded while decoding the signal encoded by the moving image lossless encoding apparatus. Means for directly decoding a band other than the lowest frequency band, means for performing space-time adaptive prediction decoding using the prediction residual signal of the lowest frequency band and the motion estimation result, and the lowest frequency decoded by the space-time adaptive prediction And a means for decoding a moving image by band-synthesizing a band and a band other than the directly decoded lowest frequency band.
【００１９】あるいは、動画像を対象とする可逆符号化
装置において、原画像を帯域分割する手段と、該分割し
た最低周波数帯域のみにて動き推定を行い、該動き推定
結果を基準とした動き推定結果を用いて該分割した帯域
毎に時空間適応予測を行って予測残差信号を求める手段
と、該帯域毎の予測残差信号と該最低周波数帯域の動き
推定結果とを符号化する手段とを、有することを特徴と
する動画像可逆符号化装置を手段とする。Alternatively, in a lossless coding apparatus for moving images, means for band-dividing an original image and motion estimation only in the divided lowest frequency band, and motion estimation based on the motion estimation result Means for performing space-time adaptive prediction for each of the divided bands using the result to obtain a prediction residual signal; and means for encoding the prediction residual signal for each band and the motion estimation result of the lowest frequency band And a lossless moving image encoding device.
【００２０】あるいは、動画像を出力する可逆復号化装
置において、前記の動画像可逆符号化装置により符号化
された帯域毎の予測残差信号と最低周波数帯域の動き推
定結果を復号する手段と、該帯域毎の予測残差信号と該
最低周波数帯域の動き推定結果を基準とした動き推定結
果を用いて該帯域毎に時空間適応予測復号を行う手段
と、該時空間適応予測復号された帯域を帯域合成して動
画像を復号する手段とを、有することを特徴とする動画
像可逆復号化装置を手段とする。Alternatively, in the lossless decoding device for outputting a moving image, means for decoding the prediction residual signal for each band and the motion estimation result of the lowest frequency band encoded by the moving image lossless encoding device, Means for performing space-time adaptive prediction decoding for each band using a prediction residual signal for each band and a motion estimation result based on the motion estimation result of the lowest frequency band; and the space-time adaptive prediction decoded band And a means for decoding a moving picture by band-synthesizing the moving picture and a lossless decoding apparatus for a moving picture.
【００２１】あるいは、動画像を対象とする可逆符号化
装置において、原画像を帯域分割する手段と、該分割し
た帯域のフレーム間相関の強弱を最低周波数帯域から高
帯域に向かって判断し、該最低周波数帯域にてフレーム
間相関が強いと判断された場合は時空間適応予測で３次
元予測を行って予測残差信号を求めるとともに弱いと判
断された場合は時空間適応予測で２次元予測を行って予
測残差信号を求め、該高帯域にてフレーム間相関が強い
と判断された場合は時空間適応予測を行って予測残差信
号を求めるとともに弱いと判断された場合は時空間適応
予測を行わず固有符号を出力する手段と、該帯域別に求
めた予測残差信号と該求めた際の動き推定結果と該固有
符号とを符号化するとともに該固有符号を出力した帯域
を直接符号化する手段とを、有することを特徴とする動
画像可逆符号化装置を手段とする。Alternatively, in a lossless coding apparatus for moving images, means for band-dividing an original image and strength of inter-frame correlation of the divided bands are judged from the lowest frequency band toward a higher band, When it is determined that the inter-frame correlation is strong in the lowest frequency band, three-dimensional prediction is performed by space-time adaptive prediction to obtain a prediction residual signal, and when it is determined that it is weak, two-dimensional prediction is performed by space-time adaptive prediction. The prediction residual signal is obtained by performing the space-time adaptive prediction when it is determined that the inter-frame correlation is strong in the high band and the prediction residual signal is obtained when it is determined that the inter-frame correlation is strong. Means for outputting a unique code without performing the above, a prediction residual signal obtained for each band, a motion estimation result at the time of the calculation, and the unique code, and a band for outputting the unique code is directly coded Do And stage, and means for moving picture lossless encoding apparatus characterized in that it has.
【００２２】あるいは、動画像を出力する可逆復号化装
置において、前記の動画像可逆符号化装置により符号化
された帯域別の予測残差信号と動き推定結果と固有符号
とを復号するとともに、該固有符号を出力した帯域を直
接復号する手段と、該帯域別に予測残差信号と動き推定
結果を用いて時空間適応予測復号を行う手段と、該時空
間適応予測復号された帯域と該直接復号された帯域とを
帯域合成して動画像を復号する手段とを、有することを
特徴とする動画像可逆復号化装置を手段とする。Alternatively, in the lossless decoding device for outputting a moving image, the prediction residual signal for each band, the motion estimation result and the eigen code encoded by the moving image lossless encoding device are decoded and Means for directly decoding the band in which the eigencode is output, means for performing space-time adaptive prediction decoding using the prediction residual signal and the motion estimation result for each band, the space-time adaptive prediction-decoded band and the direct decoding And a means for decoding a moving image by band-synthesizing the generated band and the moving image lossless decoding device.
【００２３】あるいは、以上の動画像可逆符号化装置に
おいて、時空間適応予測を行う手段は、画像信号の特性
によって画素毎に２次元予測か３次元予測かを切換える
手段と、該２次元予測に切換えられた場合には該画像信
号の特性から画素毎に複数の２次元予測器を切換えて予
測残差信号を算出する手段と、該３次元予測に切換えら
れた場合には該画像信号における対象物体の動きを該ブ
ロック毎に動き推定した動き推定結果に基づいて画素毎
に複数の３次元予測器を切換えて予測残差信号を算出す
る手段とを、有することを特徴とする動画像可逆符号化
装置を手段とする。Alternatively, in the above moving image reversible coding apparatus, the means for performing the spatiotemporal adaptive prediction is a means for switching between two-dimensional prediction and three-dimensional prediction for each pixel depending on the characteristics of the image signal, and the two-dimensional prediction. Means for calculating a prediction residual signal by switching a plurality of two-dimensional predictors for each pixel from the characteristics of the image signal when switched, and a target in the image signal when switched to the three-dimensional prediction And a means for calculating a prediction residual signal by switching a plurality of three-dimensional predictors for each pixel based on a motion estimation result obtained by estimating the motion of an object for each block. As a means.
【００２４】あるいは、以上の動画像可逆復号化装置に
おいて、時空間適応予測復号する手段は、予測残差信号
と動き推定結果に基づいて画像信号の特性により画素毎
に２次元予測か３次元予測かを切換える手段と、該２次
元予測に切換えられた場合には該画像信号の特性から画
素毎に複数の２次元予測器を切換えて予測信号を算出す
る手段と、該３次元予測に切換えられた場合には画素毎
に複数の３次元予測器を切換えて予測信号を算出する手
段と、該予測信号に該予測残差信号を付加して対象信号
を復号化する手段とを、有することを特徴とする動画像
予測復号化装置を手段とする。Alternatively, in the above-described video lossless decoding device, the means for performing space-time adaptive prediction decoding is two-dimensional prediction or three-dimensional prediction for each pixel depending on the characteristics of the image signal based on the prediction residual signal and the motion estimation result. Switching means, a means for calculating a prediction signal by switching a plurality of two-dimensional predictors for each pixel from the characteristics of the image signal when switched to the two-dimensional prediction, and switching to the three-dimensional prediction. In this case, there are provided means for switching a plurality of three-dimensional predictors for each pixel to calculate a prediction signal, and means for adding the prediction residual signal to the prediction signal and decoding the target signal. The moving picture predictive decoding device is used as a means.
【００２５】本発明では、空間解像度スケーラビリティ
を実現するために、画像信号を空間解像度の帯域で分割
し、帯域毎に符号化を行う。符号化には、画素毎にフレ
ーム内予測とフレーム間予測を切換える時空間適応予測
符号化を用いて符号化効率を高める。In the present invention, in order to realize the spatial resolution scalability, the image signal is divided into bands of spatial resolution, and coding is performed for each band. For the coding, space-time adaptive prediction coding that switches intra-frame prediction and inter-frame prediction for each pixel is used to improve coding efficiency.
【００２６】[0026]
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described in detail below with reference to the drawings.
【００２７】［第１実施形態例］図１に空間解像度スケ
ーラビリティを持つ動画像符号化方法を実現するための
基本構成を示す。図１において、１０は帯域分割部、１
１は分割された帯域毎に設けた時空間適応予測符号化
部、１２はエントロピー符号化部である。[First Embodiment] FIG. 1 shows a basic configuration for realizing a moving picture coding method having spatial resolution scalability. In FIG. 1, 10 is a band division unit, 1
Reference numeral 1 is a space-time adaptive prediction coding unit provided for each divided band, and 12 is an entropy coding unit.
【００２８】図１の構成の動作例としての動画像符号化
方法を以下に示す。まず、入力された画像信号は帯域分
割部１０において、複数の空間解像度の帯域に分割され
る。次に、分割した帯域毎に、時空間適応予測符号化部
１１で生成される残差信号をエントロピー符号化部１２
において符号化する。A moving picture coding method as an operation example of the configuration of FIG. 1 is shown below. First, the input image signal is divided into a plurality of spatial resolution bands by the band division unit 10. Next, the residual signal generated by the space-time adaptive prediction coding unit 11 is divided into entropy coding units 12 for each of the divided bands.
Is encoded in.
【００２９】帯域分割部１０では、図２で示すオクター
ブ分割を画像の水平方向、垂直方向にそれぞれ適用す
る。オクターブ分割では、２分割フィルタを用いて次々
に帯域を分割することによって、入力信号を複数の帯域
に分割することができ、最終的に、図３で示すように帯
域が分割される。The band division unit 10 applies the octave division shown in FIG. 2 to the horizontal and vertical directions of the image, respectively. In octave division, the input signal can be divided into a plurality of bands by dividing the bands one after another using a two-division filter, and finally the bands are divided as shown in FIG.
【００３０】図３において、Ｌは低周波数成分、Ｈは高
周波数成分を示す。ここで用いる２分割フィルタと復号
化側で用いる帯域合成フィルタは、可逆性を保つために
完全再構成フィルタとする。In FIG. 3, L indicates a low frequency component and H indicates a high frequency component. The bisection filter used here and the band synthesis filter used on the decoding side are perfect reconstruction filters in order to maintain reversibility.
【００３１】時空間適応予測符号化部１１では、以下の
式で予測を行う。The space-time adaptive predictive coding unit 11 performs prediction using the following equation.
【００３２】ｆ（ａ０，ａ１，ａ２，ａ３，……，ｂ
０，ｂ１，ｂ２，ｂ３，……）
但し、
ｆ：予測関数
ａ０，ａ１，ａ２，ａ３，……：符号化対象のフレーム
の画素の値
ｂ０，ｂ１，ｂ２，ｂ３，……：参照フレームの画素の
値
参照フレームとしては、時間的に前方のフレーム、後方
のフレーム、前方と後方のフレームの両方のいずれかを
用いるが、復号器側では、参照フレームは先に復号する
必要がある。予測に用いる画素の位置は以下の条件で決
定する。符号化対象の画素の位置を（ｘ，ｙ）とする
（ｘは水平方向の位置、ｙは垂直方向の位置）。符号化
対象のフレームの場合、近傍かつ復号側で先に復号化す
る画素とする。例えば、１行目の左端の画素から右へと
復号し、次に２行目を左から右へと行毎に復号する場合
は、予測に用いる画素の位置（ｘａ，ｙａ）は、以下の
条件を満たす必要がある。F (a0, a1, a2, a3, ..., b
F: prediction function a0, a1, a2, a3, ...: pixel value b0, b1, b2, b3, ... of the frame to be coded: reference frame For the pixel value reference frame, any of a temporally forward frame, a backward frame, and both a forward and backward frame is used, but the reference frame needs to be decoded first on the decoder side. The position of the pixel used for prediction is determined under the following conditions. The position of the pixel to be encoded is (x, y) (x is a horizontal position and y is a vertical position). In the case of a frame to be encoded, it is a pixel that is nearby and is to be decoded first on the decoding side. For example, when decoding from the leftmost pixel in the first row to the right and then decoding the second row from the left to the right row by row, the pixel position (xa, ya) used for prediction is Must meet the conditions.
【００３３】
ｙ−ｙ０＜ｙａ＜ｙかつｘ−ｘ０＜ｘａ＜ｘ＋ｘ１
または、
ｙａ＝ｙかつｘ−ｘ２＜ｘａ＜ｘ
但し、
ｙ０：垂直方向の近傍の範囲を定める適当な整数
ｘ０，ｘ１，ｘ２：水平方向の近傍の範囲を定める適当
な整数
参照フレームの予測に用いる画素の位置（ｘｂ，ｙｂ）
は以下の条件を満たす必要がある。Y−y0 <ya <y and x−x0 <xa <x + x1 or ya = y and x−x2 <xa <x, where y0 is an appropriate integer x0, x1, which defines a range in the vertical direction. x2: Pixel position (xb, yb) used for prediction of an appropriate integer reference frame that defines the range in the horizontal direction
Must meet the following conditions:
【００３４】ｙ＋ｖｙ−ｙ３＜ｙａ＜ｙ＋ｖｙ＋ｙ４か
つｘ＋ｖｘ−ｘ３＜ｘａ＜ｘ＋ｖｘ＋ｘ４
但し、
ｙ３，ｙ４：垂直方向の近傍の範囲を定める適当な整数
ｘ３，ｘ４：水平方向の近傍の範囲を定める適当な整数
Ｖ（ｖｘ，ｖｙ）：参照フレームヘの動きベクトル
動きベクトルＶ（ｖｘ，ｖｙ）は、参照フレームヘの動
き推定を行うことによって得られる。Y + vy-y3 <ya <y + vy + y4 and x + vx-x3 <xa <x + vx + x4 where y3 and y4 are suitable integers for defining the range in the vertical direction, and x3 and x4 are suitable integers for defining the range in the horizontal direction. V (vx, vy): Motion vector to reference frame Motion vector V (vx, vy) is obtained by performing motion estimation to the reference frame.
【００３５】エントロピー符号化部１２では、各帯域の
残差信号と時空間適応予測符号化部１１で用いた動きベ
クトルをエントロピー符号化して、符号化ビットストリ
ームを作成する。The entropy coding unit 12 entropy-codes the residual signal of each band and the motion vector used in the space-time adaptive prediction coding unit 11 to create a coded bit stream.
【００３６】図５に時空間適応予測符号化方法を実現す
る時空間適応予測符号化部の基本構成を示す。図５にお
いて、３１はブロック単位動き推定手段、３２はシフト
手段、３３は２次元予測器、３４は動き推定３次元予測
器、３５は相関係数Ｒ計算手段、３６は第１の判断分岐
手段、３７は加減算手段、３８は加減算手段である。FIG. 5 shows the basic structure of the space-time adaptive predictive coding unit for realizing the space-time adaptive predictive coding method. In FIG. 5, 31 is a block unit motion estimation means, 32 is a shift means, 33 is a two-dimensional predictor, 34 is a motion estimation three-dimensional predictor, 35 is a correlation coefficient R calculation means, and 36 is a first judgment branching means. , 37 are addition / subtraction means, and 38 are addition / subtraction means.
【００３７】予測器としては、３種類の２次元予測器、
７種類の３次元予測器を用意し、画像信号の性質により
予測器を切換える。As the predictor, three types of two-dimensional predictors,
Seven types of three-dimensional predictors are prepared, and the predictors are switched according to the characteristics of the image signal.
【００３８】３次元予測器は、フレーム間相関が強い場
合には有効であるが、フレーム間相関が弱い場合には逆
に残差信号が大きくなる可能性がある。そのために、フ
レーム間相関が弱い場合には２次元予測器に切換える方
法を採用する。２次元予測器と３次元予測器の切換える
ために、現フレームと参照フレームの被符号化対象画素
近傍の復号済み信号の相関係数を計算する。相関係数が
大きい場合、すなわち、現フレーム内信号と参照フレー
ム内信号の波形が似ている場合には、予測精度が向上す
ると考えられることから、３次元予測を行う。それ以外
の場合には、２次元予測を行う。The three-dimensional predictor is effective when the interframe correlation is strong, but on the contrary, when the interframe correlation is weak, the residual signal may be large. Therefore, when the inter-frame correlation is weak, a method of switching to a two-dimensional predictor is adopted. In order to switch between the two-dimensional predictor and the three-dimensional predictor, the correlation coefficient of the decoded signal in the vicinity of the pixel to be coded in the current frame and the reference frame is calculated. When the correlation coefficient is large, that is, when the waveforms of the current intra-frame signal and the reference intra-frame signal are similar to each other, it is considered that the prediction accuracy is improved, and therefore three-dimensional prediction is performed. In other cases, two-dimensional prediction is performed.
【００３９】各予測器の予測方法と予測器の具体的切換
え方法について以下に説明する。各予測器の予測方法を
次に示す。The prediction method of each predictor and the concrete switching method of the predictors will be described below. The prediction method of each predictor is shown below.
【００４０】
２次元予測器０ 予測信号ｙ＝ｍｉｎ（ａ，ｂ） …（１）
２次元予測器１ 予測信号ｙ＝ｍａｘ（ａ，ｂ） …（２）
２次元予測器２ 予測信号ｙ＝ａ＋ｂ−ｃ …（３）
３次元予測器３ 予測信号ｙ＝ｍｉｎ（ａ，ｘ’） …（４）
３次元予測器４ 予測信号ｙ＝ｍａｘ（ａ，ｘ’） …（５）
３次元予測器５ 予測信号ｙ＝ａ＋ｘ’−ａ …（６）
３次元予測器６ 予測信号ｙ＝ｍｉｎ（ｂ，ｘ’） …（７）
３次元予測器７ 予測信号ｙ＝ｍａｘ（ｂ，ｘ’） …（８）
３次元予測器８ 予測信号ｙ＝ｂ＋ｘ’−ｂ …（９）
３次元予測器９ 予測信号ｙ＝（ａ＋ｂ＋ｘ’）／３ …（１０）
ここで用いたａ，ｂ，ｃは、図７（ａ）で示すように、
符号化対象の画素ｘに隣接する上、左、右上の画素の復
号値である。ａ’，ｂ’，ｘ’は、参照フレームの画素
の復号値であり、符号化対象のフレームと参照フレーム
間の動きベクトル（ｋ，ｌ）（ｋ：水平方向、ｌ：垂直
方向）から画素位置を定める。動きベクトルは、Ｌ×Ｌ
画素の小ブロック単位であらかじめブロックマッチング
法などにより計算し、付加情報として伝送する。符号化
対象の画素ｘの位置を（ｉ，ｊ）とすると、ｘ’の位置
は（ｉ＋ｋ，ｊ＋ｌ）となる。また、図７（ｂ）に示す
通り、ａ’，ｂ’は、ｘ’の隣接する上、左の画素であ
る。参照フレームは、参照フレームとしては、時間的に
前方のフレーム、後方のフレーム、前方と後方のフレー
ムの両方のいずれかを用いるが、復号器側では、参照フ
レームは先に復号する必要がある。Two-dimensional Predictor 0 Prediction signal y = min (a, b) (1) Two-dimensional Predictor 1 prediction signal y = max (a, b) (2) Two-dimensional predictor 2 Prediction signal y = a + bc (3) Three-dimensional predictor 3 Prediction signal y = min (a, x ') (4) Three-dimensional predictor 4 Prediction signal y = max (a, x') (5) Three-dimensional prediction Prediction signal y = a + x'-a (6) Three-dimensional prediction device 6 Prediction signal y = min (b, x ') (7) Three-dimensional prediction device 7 Prediction signal y = max (b, x') (8) Three-dimensional predictor 8 Prediction signal y = b + x'-b (9) Three-dimensional predictor 9 Prediction signal y = (a + b + x ') / 3 (10) a, b, c used here are , As shown in FIG.
It is the decoded value of the upper, left, and upper right pixels adjacent to the pixel x to be encoded. a ′, b ′, and x ′ are the decoded values of the pixels of the reference frame, and are pixels from the motion vector (k, l) (k: horizontal direction, l: vertical direction) between the frame to be encoded and the reference frame. Determine the position. The motion vector is L × L
It is calculated in advance by a block matching method in units of small blocks of pixels and transmitted as additional information. If the position of the pixel x to be encoded is (i, j), the position of x'is (i + k, j + 1). Further, as shown in FIG. 7B, a ′ and b ′ are the upper and left pixels adjacent to x ′. As the reference frame, any one of a forward frame, a backward frame, and a forward frame and a backward frame is used as the reference frame, but the decoder side needs to decode the reference frame first.
【００４１】Ｒ≦Ｔ０かつｃ≧ｍａｘ（ａ，ｂ）の場合
２次元予測器０を選択
Ｒ≦Ｔ０かつｃ≦ｍｉｎ（ａ，ｂ）の場合 ２次元予測
器１を選択
Ｒ≦Ｔ０かつｍｉｎ（ａ，ｂ）＜ｃ＜ｍａｘ（ａ，ｂ）
の場合 ２次元予測器２を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≧ｍａｘ（ａ，ｘ’）の
場合 ３次元予測器３を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≦ｍｉｎ（ａ，ｘ’）の
場合 ３次元予測器４を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつｍｉｎ（ａ，ｘ’）＜ａ’＜
ｍａｘ（ａ，ｘ’）の場合 ３次元予測器５を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≧ｍａｘ（ｂ，ｘ’）
の場合 ３次元予測器６を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≦ｍｉｎ（ｂ，ｘ’）
の場合 ３次元予測器７を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｍｉｎ（ｂ，ｘ’）＜ｂ’
＜ｍａｘ（ｂ，ｘ’）の場合 ３次元予測器８を選択
Ｒ＞Ｔ０かつ−Ｔ１＜Ｓ＜Ｔ１の場合 ３次元予測器９
を選択
但し、
Ｒ＝ａａ’＋ｂｂ’＋ｃｃ’＋ｄｄ’−（ａ＋ｂ＋ｃ＋ｄ）（ａ’＋ｂ’＋ｃ
’＋ｄ’） …（１１）
Ｓ＝｜ｘ’−ｂ’｜−｜ｘ’−ａ’｜ …（１２）
Ｔ０，Ｔ１：閾値
ａ，ｂ，ｃ，ｄ，ａ’，ｂ’，ｃ’，ｄ’，ｘ’：図７
に示す画素の復号値
である。When R≤T0 and c≥max (a, b), the two-dimensional predictor 0 is selected. When R≤T0 and c≤min (a, b), the two-dimensional predictor 1 is selected: R≤T0 and min. (A, b) <c <max (a, b)
In the case of, the two-dimensional predictor 2 is selected When R> T0 and S> T1 and a ′ ≧ max (a, x ′) The three-dimensional predictor 3 is selected R> T0 and S> T1 and a ′ ≦ min (a , X ′) Select the three-dimensional predictor 4 R> T0 and S> T1 and min (a, x ′) <a ′ <
In the case of max (a, x ') Select the three-dimensional predictor 5 R> T0 and S <-T1 and b'≥max (b, x')
In the case of, the three-dimensional predictor 6 is selected R> T0 and S <-T1 and b ′ ≦ min (b, x ′)
In the case of, the three-dimensional predictor 7 is selected R> T0 and S <−T1 and min (b, x ′) <b ′
In the case of <max (b, x '), the three-dimensional predictor 8 is selected. In the case of R> T0 and -T1 <S <T1, the three-dimensional predictor 9 is selected.
However, R = aa '+ bb' + cc '+ dd'-(a + b + c + d) (a '+ b' + c '+ d') (11) S = | x'-b '|-| x'-a' | (12) T0, T1: threshold values a, b, c, d, a ', b', c ', d', x ': FIG.
It is the decoded value of the pixel shown in.
【００４２】ここで、Ｒは相関係数であり、Ｒが閾値Ｔ
０より大きい場合には、３次元予測器を選択する。それ
以外の場合には、２次元予測器を選択する。この選択
は、実際には２段階で行われている。つまり、図５中の
第１の判断分岐手段３６によりＲ値によって第１の判断
分岐を行い、２次元予測器か３次元予測器かをまず切換
えて２次元予測器３３または３次元予測器３４内で残る
第２の判断分岐を行って各予測器１〜９の一つを選択す
る。Here, R is a correlation coefficient, and R is a threshold value T.
If it is larger than 0, a three-dimensional predictor is selected. Otherwise, the two-dimensional predictor is selected. This selection is actually done in two stages. That is, the first decision branching means 36 in FIG. 5 makes the first decision branching according to the R value, and the two-dimensional predictor 33 or the three-dimensional predictor 34 is switched by switching between the two-dimensional predictor and the three-dimensional predictor. A second decision branch that remains in is performed to select one of the predictors 1-9.
【００４３】２次元予測器の３つの予測器の切換え方法
は、既に提案されているものであり、静止画像可逆圧縮
国際標準規格ＪＰＥＧ−ＬＳにおいて採用された方法と
同じである。縦方向および横方法にエッジがあると判断
された場合には、それぞれのエッジ方向に隣接する１画
素を用いて予測し、それ以外の場合には隣接する３画素
を用いて予測している。The method of switching the three predictors of the two-dimensional predictor has already been proposed and is the same as the method adopted in the international standard JPEG-LS for lossless compression of still images. When it is determined that there is an edge in the vertical direction and the horizontal method, prediction is performed using one pixel adjacent to each edge direction, and in other cases, prediction is performed using three adjacent pixels.
【００４４】３次元予測の場合にも２次元予測器と同様
に、符号化対象画素の近傍信号値の状態により予測器を
切換える適応予測を行う。縦方向または横方向にエッジ
があると判断された場合は、現フレームおよび参照フレ
ームのそれぞれのエッジ方向に隣接する信号を用いて予
測する。エッジの方向は、参照フレームの縦方向の差分
絶対値｜ｘ’−ａ’｜と横方向の差分絶対値｜ｘ’−
ｂ’｜を比較して、閾値Ｔ１よりも大きい方向をエッジ
と判断する。式（１２）のＳはそれらの差分値であり、
エッジ方向を判断するパラメータとなる。エッジ方向を
判断する縦方向のエッジと判断された場合、現フレーム
および参照フレームの縦方向の信号に関して、２次元予
測器と同様な方法で予測信号を選択する。横方向のエッ
ジの場合も同様な方法で予測器を選択する。エッジでな
いと判断された場合には、近傍の３画素の平均値を予測
値とする。In the case of three-dimensional prediction as well, similar to the two-dimensional predictor, adaptive prediction is performed by switching the predictors depending on the state of the neighboring signal value of the pixel to be coded. When it is determined that there is an edge in the vertical direction or the horizontal direction, prediction is performed using signals adjacent to the respective edge directions of the current frame and the reference frame. The direction of the edge is the absolute difference | x′−a ′ | in the vertical direction of the reference frame and the absolute difference │x′− in the horizontal direction.
b ′ | is compared, and a direction larger than the threshold T1 is determined to be an edge. S in equation (12) is their difference value,
It is a parameter for determining the edge direction. When it is determined that the edge is a vertical edge for determining the edge direction, a prediction signal is selected in the same manner as the two-dimensional predictor with respect to vertical signals of the current frame and the reference frame. A predictor is selected in the same manner for horizontal edges. When it is determined that the pixel is not an edge, the average value of three neighboring pixels is set as the predicted value.
【００４５】加減算手段３７または３８は、予測器の出
力である予測信号と原フレーム信号の差、すなわち予測
残差信号を出力する。予測残差信号は、図略の量子化器
で量子化する。量子化された残差信号と、３次元予測器
で用いた動きベクトルを、図１のエントロピー符号化部
１２に入力し、符号化ビットストリームを出力する。量
子化器の量子化ステップを１にした場合は、本符号化方
法は可逆符号化法になる。The adder / subtractor 37 or 38 outputs the difference between the prediction signal output from the predictor and the original frame signal, that is, the prediction residual signal. The prediction residual signal is quantized by a quantizer (not shown). The quantized residual signal and the motion vector used in the three-dimensional predictor are input to the entropy coding unit 12 in FIG. 1 and a coded bit stream is output. When the quantization step of the quantizer is set to 1, this coding method is a lossless coding method.
【００４６】［第２実施形態例］図４に、上記第１実施
形態例で符号化されたデータを復号する復号化方法を実
現するための基本構成を示す。図４において、２０はエ
ントロピー復号部、２１は帯域毎に設けた時空間適応予
測復号化部、２２は帯域合成部である。[Second Embodiment] FIG. 4 shows a basic structure for realizing a decoding method for decoding the data encoded in the first embodiment. In FIG. 4, 20 is an entropy decoding unit, 21 is a space-time adaptive prediction decoding unit provided for each band, and 22 is a band synthesizing unit.
【００４７】図４の構成の動作例としての復号化方法を
以下に示す。最初にエントロピー復号化部２０において
符号化ビットストリームから予測に用いる動きベクトル
と予測残差信号を求める。次に、時空間適応予測符号化
部２１において既に復号化された画像信号と残差信号を
用いて被符号化信号を復号する。次に帯域合成部２２
に、各時空間適応予測符号化部２１の出力を合成して画
像を復号化する。A decoding method as an operation example of the configuration of FIG. 4 is shown below. First, the entropy decoding unit 20 obtains a motion vector used for prediction and a prediction residual signal from the encoded bitstream. Next, the space-time adaptive predictive coding unit 21 decodes the coded signal using the image signal and the residual signal already decoded. Next, the band synthesis unit 22
Then, the output of each space-time adaptive predictive coding unit 21 is combined to decode the image.
【００４８】図６に、時空間適応予測復号化部の基本構
成を示す。図６において、４１はシフト手段、４２は２
次元予測器、４３は加算手段、４４は動き推定３次元予
測器、４５は加算手段、４６は相関係数Ｒ計算手段、４
７は第１の判断分岐手段である。FIG. 6 shows the basic structure of the space-time adaptive predictive decoding unit. In FIG. 6, reference numeral 41 is shift means, and 42 is 2.
Dimensional predictor, 43 is addition means, 44 is motion estimation three-dimensional predictor, 45 is addition means, 46 is correlation coefficient R calculation means, 4
Reference numeral 7 is a first judgment branching means.
【００４９】図５の動作例としての時空間適応予測復号
化方法は、以下のとおりである。まず、２次元予測器４
２を用いるか３次元予測器４４を用いるかを判断するた
めに、動きベクトルを用いてシフト手段４１でシフトし
た参照フレーム内信号と現フレーム内信号の復号済み信
号から、相関係数Ｒ計算手段４６により相関係数Ｒを計
算する。第１の判断分岐手段４７は、相関係数Ｒが閾値
Ｔ０より大きい場合には、動き推定３次元予測器４４側
に切換えて３次元予測を行い、それ以外の場合には２次
元予測器４２側に切換えて２次元予測を行う。２次元予
測器４２および動き推定３次元予測器４４の構成と内部
に用意した複数の予測器の切換えは第１実施形態例のも
のと同様である。動き推定３次元予測器４４では、現フ
レーム内信号の復号済み信号と動きベクトルを用いてシ
フトした参照フレーム内信号を用いて予測信号を生成
し、加算手段４５は、この予測信号に残差信号を付加す
ることで、現フレームの対象信号を復元する。２次元予
測器４２では、現フレーム内信号の復号済み信号を用い
て予測信号を生成し、加算手段４３がこの予測信号に残
差信号を付加することで、現フレームの対象信号を復元
する。The space-time adaptive prediction decoding method as the operation example of FIG. 5 is as follows. First, the two-dimensional predictor 4
In order to determine whether to use 2 or the three-dimensional predictor 44, the correlation coefficient R calculation means from the decoded signal of the reference intraframe signal and the current intraframe signal shifted by the shift means 41 using the motion vector. The correlation coefficient R is calculated by 46. When the correlation coefficient R is larger than the threshold value T0, the first judgment branching means 47 switches to the motion estimation three-dimensional predictor 44 side to perform three-dimensional prediction, and in other cases, the two-dimensional predictor 42. Switch to the side and perform two-dimensional prediction. The configurations of the two-dimensional predictor 42 and the motion estimation three-dimensional predictor 44 and the switching of a plurality of predictors prepared therein are the same as those in the first embodiment. The motion estimation three-dimensional predictor 44 generates a prediction signal using the decoded signal of the current intraframe signal and the reference intraframe signal shifted using the motion vector, and the adding means 45 adds the residual signal to this prediction signal. Is added to restore the target signal of the current frame. In the two-dimensional predictor 42, a decoded signal of the signal within the current frame is used to generate a predicted signal, and the adding means 43 adds a residual signal to this predicted signal to restore the target signal of the current frame.
【００５０】［第３実施形態例］本実施形態例では、第
１実施形態例の時空間適応予測符号化部１１において、
各帯域における対象物体の動きをブロックマッチング法
により推定する。ブロックマッチング法においては、動
きベクトルを求めるために、次のＳＡＤ（Ｓｕｍｏｆ
Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を計算す
る。[Third Embodiment] In the present embodiment, the space-time adaptive prediction coding unit 11 of the first embodiment is
The motion of the target object in each band is estimated by the block matching method. In the block matching method, the following SAD (Sumof
Calculate the Absolute Difference value.
【００５１】
ＳＡＤ（ｋ，ｌ）＝Σi=1 LΣj=1 L｜ｘ（ｉ，ｊ）−ｙ（ｉ＋ｋ，ｊ＋ｌ）｜
…（１３）
ここで、（ｋ，ｌ）を−ｗ＜ｋ，１＜ｗの範囲（ｗはウ
インドウサイズ）でＳＡＤ（ｋ，ｌ）を計算し、最小の
ＳＡＤ値を与えるベクトル（ｋ，ｌ）が動きベクトルと
して選ばれる。３次元予測器の予測精度を向上させるた
めに、通常、ＳＡＤは各帯域毎に計算される。ＳＡＤの
計算には、かなりの時間を要する。これを考慮に入れ、
符号化効率の低下をできるだけ抑えたうえで、計算時間
を削減するために以下の３つの簡易符号化の手法
（１），（２），（３）を提案する。SAD (k, l) = Σ i = 1 L Σ j = 1 L | x (i, j) −y (i + k, j + l) | (13) where (k, l) is −w SAD (k, l) is calculated in the range of <k, 1 <w (w is the window size), and the vector (k, l) giving the minimum SAD value is selected as the motion vector. In order to improve the prediction accuracy of the three-dimensional predictor, the SAD is usually calculated for each band. It takes a considerable amount of time to calculate the SAD. Taking this into account,
The following three simple coding methods (1), (2), and (3) are proposed in order to reduce the calculation time while suppressing the decrease in coding efficiency as much as possible.
【００５２】（１）帯域分割された信号のフレーム間相
関ならびにフレーム内相関は、低域ほど強く、高域ほど
弱い。最低周波数帯域以外の信号はフレーム間相関なら
びにフレーム内相関が弱いことから、時空間適応予測符
号化の効果がそれほど顕著に現れてこない。その性質を
利用して、時空間適応予測符号化を最低周波数帯域のみ
に適用する。ＳＡＤの計算量が極端に減少するととも
に、２次元および３次元予測処理時間も減少する。最低
周波数帯域の動きベクトルと予測残差信号はエントロピ
ー符号化され、最低周波数帯域以外の信号は、直接エン
トロピー符号化される。(1) The inter-frame correlation and intra-frame correlation of the band-divided signal are stronger in the lower band and weaker in the higher band. Since signals other than the lowest frequency band have weak inter-frame correlation and intra-frame correlation, the effect of space-time adaptive predictive coding does not appear so prominently. Utilizing this property, space-time adaptive prediction coding is applied only to the lowest frequency band. The calculation amount of SAD is extremely reduced, and the two-dimensional and three-dimensional prediction processing time is also reduced. The motion vector of the lowest frequency band and the prediction residual signal are entropy coded, and the signals other than the lowest frequency band are directly entropy coded.
【００５３】図８に本方法を実現するための基本構成図
を示す。図８において、５０は帯域分割部、５１は最低
周波数帯域用の時空間適応予測符号化部、５２はエント
ロピー符号化部５２である。まず、入力された画像信号
は帯域分割部１０において、複数の空間解像度の帯域に
分割される。次に、分割した帯域のうち最低周波数帯域
についてのみ時空間適応予測符号化部１１で残差信号を
生成し、エントロピー符号化部５２でエントロピー符号
化する。それ以外の帯域の信号はエントロピー符号化部
１２において直接符号化する。FIG. 8 shows a basic block diagram for realizing the present method. In FIG. 8, reference numeral 50 is a band division unit, 51 is a space-time adaptive prediction coding unit for the lowest frequency band, and 52 is an entropy coding unit 52. First, the input image signal is divided into a plurality of spatial resolution bands by the band division unit 10. Next, the space-time adaptive prediction coding unit 11 generates a residual signal only for the lowest frequency band among the divided bands, and the entropy coding unit 52 performs entropy coding. Signals in other bands are directly encoded by the entropy encoding unit 12.
【００５４】（２）動き推定を最低周波数帯域のみにて
行い、動きベクトルを求める。他の帯域では、最低周波
数帯域の動きベクトルを基準にした動きベクトルを用い
て時空間適応予測符号化を行う。対象物体の動きは、帯
域毎に変化するわけではないので、高域の物体の動きも
低域の物体の動きも等しいはずである。すなわち、低域
から高域に向けて同じ方向に存在する小ブロック動きベ
クトルは同じであると仮定する。例えば、図３の矢印で
示した小ブロックの動きはほぼ等しい。但し、一つ高域
に帯域が上がる毎に、画素数は縦および横方向に２倍に
なるので、一つ高域での動きベクトルは、
（２ｋ，２ｌ）
となる。Ｎ段高域の動きベクトルは、
（Ｎ×ｋ，Ｎ×ｌ）
となる。(2) Motion estimation is performed only in the lowest frequency band to obtain a motion vector. In other bands, the space-time adaptive prediction coding is performed using the motion vector based on the motion vector of the lowest frequency band. Since the movement of the target object does not change for each band, the movement of the high-frequency object and the movement of the low-frequency object should be the same. That is, it is assumed that the small block motion vectors existing in the same direction from the low band to the high band are the same. For example, the movements of the small blocks indicated by the arrows in FIG. 3 are almost equal. However, since the number of pixels doubles in the vertical and horizontal directions each time the band increases to one high band, the motion vector in one high band becomes (2k, 2l). The motion vector in the N-high band is (N × k, N × l).
【００５５】本方法を実現するための基本構成図は、図
１と同様であるが、各帯域毎の時空間適応予測符号化部
１１で用いる動きベクトルは最低周波数帯域の動きベク
トルを基準にした動きベクトルを用いる。最低周波数帯
域の動きベクトルおよび全帯域の予測残差信号はエント
ロピー符号化部１２でエントロピー符号化される。The basic configuration diagram for implementing the present method is the same as that in FIG. 1, but the motion vector used in the space-time adaptive predictive coding unit 11 for each band is based on the motion vector in the lowest frequency band. Use motion vectors. The motion vector of the lowest frequency band and the prediction residual signal of the entire band are entropy coded by the entropy coding unit 12.
【００５６】（３）ＳＡＤを計算するときに低域から高
域に向かって行う。図３の例においては、ＬＬ３→ＨＬ
３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２→ＨＬ１
→ＬＨ１→ＨＨ１の順となる。まず、最低周波数帯域の
各小ブロックに対してＳＡＤを計算する。ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔ（閾値） …（１４）
の小ブロック内の信号に関してはフレーム間相関が弱い
と判断し、時空間適応予測処理は行わず２次元予測を行
う。および対応する高域の小ブロックの信号に関しては
時空間適応予測符号化を行わず、直接エントロピー符号
化を行う。(3) When calculating the SAD, the SAD is calculated from the low range to the high range. In the example of FIG. 3, LL3 → HL
3 → LH3 → HH3 → HL2 → LH2 → HH2 → HL1
→ LH1 → HH1. First, the SAD is calculated for each small block in the lowest frequency band. The SAD determines that the inter-frame correlation is weak for the signals in the small blocks of SAD (k, l)> T (threshold value) (14), and the two-dimensional prediction is performed without performing the space-time adaptive prediction process. And, for the corresponding small block signal in the high frequency band, direct space entropy coding is performed without performing space-time adaptive prediction coding.
【００５７】式（１４）を満たさないブロック内の信号
に関しては、通常どおり、時空間適応予測符号化を行
う。引き続く高帯域のブロックにおいて、ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔｘ（高帯域での閾値。帯域によって閾値は異なる。）
…（１５）
の場合にはフレーム間相関が弱いと判断し、時空間適応
予測符号化を行わず、直接エントロピー符号化を行う。
なお、対応する低域のブロックのＳＡＤが既に式（１
４）を満足している場合には、直接エントロピー符号化
を行うことが確定しているため、ＳＡＤの計算ならびに
式（１５）の判断は行わない。For the signals in the block that do not satisfy the equation (14), the space-time adaptive prediction coding is performed as usual. In the subsequent high-band block, SAD judges that the inter-frame correlation is weak in the case of SAD (k, l)> Tx (high-band threshold. The threshold differs depending on the band). Direct entropy coding is performed without spatial adaptive prediction coding.
Note that the SAD of the corresponding low-frequency block has already been calculated by the formula (1
If 4) is satisfied, it is decided that the direct entropy coding is performed, and therefore the SAD calculation and the determination of the equation (15) are not performed.
【００５８】式（１４）および（１５）の条件を満足す
る小ブロックは、付加情報として動きベクトルの代りに
固有の符号ＬＩＭＩＴを伝送し、対応する高域の小ブロ
ックでは付加情報を伝送しない。動きベクトルならびに
固有の符号ＬＩＭＩＴ、予測残差信号がエントロピー符
号化される。Small blocks satisfying the conditions of equations (14) and (15) transmit a unique code LIMIT as the additional information instead of the motion vector, and the corresponding small blocks in the high band do not transmit the additional information. The motion vector as well as the unique code LIMIT and the prediction residual signal are entropy coded.
【００５９】本方法を実現するための基本構成図は、図
１と同様であるが、各時空間適応予測符号化器１１は、
ブロック単位動き推定において、低域から高域に向かっ
てＳＡＤを計算する機能、時空間適応予測符号化を行う
か否かの判断機能、及び固有の符号ＬＩＭＩＴを伝送す
る機能等を有する。エントロピー符号化部１２は、各時
空間適応予測符号化器１１からの、動きベクトルまたは
固有の符号ＬＩＭＩＴ、時空間適応予測符号化されない
信号または予測残差信号をエントロピー符号化する。The basic block diagram for implementing the present method is the same as that of FIG. 1, but each space-time adaptive predictive encoder 11 is
In the block unit motion estimation, it has a function of calculating SAD from a low band to a high band, a function of judging whether to perform space-time adaptive prediction coding, a function of transmitting a unique code LIMIT, and the like. The entropy encoding unit 12 entropy-encodes the motion vector or the unique code LIMIT, the signal not subjected to the space-time adaptive prediction encoding, or the prediction residual signal from each space-time adaptive prediction encoder 11.
【００６０】［第４実施形態例］第３実施形態例による
簡易符号化の手法で符号化された信号の簡易復号化方法
を示す。[Fourth Embodiment] A simple decoding method of a signal coded by the simple coding method according to the third embodiment will be described.
【００６１】（１）図９に、簡易符号化（１）で符号化
された信号を復号するための基本構成図を示す。図９に
おいて、６０はエントロピー復号部、６１は最低周波数
帯域用の時空間適応予測復号化部、６２は帯域合成部で
ある。(1) FIG. 9 shows a basic configuration diagram for decoding the signal encoded by the simple encoding (1). In FIG. 9, 60 is an entropy decoding unit, 61 is a space-time adaptive prediction decoding unit for the lowest frequency band, and 62 is a band synthesizing unit.
【００６２】本方法では、エントロピー復号部６０でエ
ントロピー復号化された動きベクトルと予測残差信号を
用いて、最低周波数帯域は時空間予測復号化部６１によ
り信号を復号する。それ以外の帯域は、エントロピー復
号部６０でエントロピー復号化により、直接復号され
る。帯域合成部６２は、各帯域の出力を合成して画像を
復号化する。In this method, the motion vector and the prediction residual signal that have been entropy decoded by the entropy decoding unit 60 are used to decode the signal by the space-time prediction decoding unit 61 for the lowest frequency band. The other bands are directly decoded by the entropy decoding unit 60 by entropy decoding. The band synthesis unit 62 synthesizes the output of each band and decodes the image.
【００６３】（２）簡易符号化（２）で符号化された信
号を復号する復号化方法を実現するための基本構成図
は、図４と同様であるが、各帯域毎の時空間適応予測復
号化部２１で用いる動きベクトルは最低周波数帯域の動
きベクトルを基準にした動きベクトルを用いる。すなわ
ち、エントロピー復号部２０でエントロピー復号化され
た最低周波数帯域の動きベクトル（ｋ，ｌ）をもとにし
て、Ｎ段高域の動きベクトルを、
（Ｎ×ｋ，Ｎ×ｌ）
により計算する。その結果をもとに、各帯域毎に時空間
適応予測復号化部２１で復号処理を行い、帯域合成部２
２において、各帯域の出力を合成して画像を復号化す
る。(2) Simple coding The basic block diagram for realizing the decoding method for decoding the signal coded by (2) is the same as FIG. 4, but the space-time adaptive prediction for each band is performed. As the motion vector used in the decoding unit 21, a motion vector based on the motion vector in the lowest frequency band is used. That is, based on the motion vector (k, l) in the lowest frequency band that has been entropy-decoded by the entropy decoding unit 20, the motion vector in the N-high band is calculated by (N × k, N × l). . Based on the result, the space-time adaptive prediction decoding unit 21 performs decoding processing for each band, and the band synthesis unit 2
In 2, the output of each band is combined to decode the image.
【００６４】（３）簡易符号化（３）で符号化された信
号を復号する復号化方法を実現するための基本構成図
も、図４と同様であるが、各帯域毎の時空間適応予測復
号化部２１では、エントロピー復号部２０でエントロピ
ー復号化された最低周波数帯域の動きベクトル（ｋ，
ｌ）ならびに予測残差信号を用いて、最低周波数帯帯域
から最高周波数帯域の順番（図３の例においては、ＬＬ
３→ＨＬ３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２
→ＨＬ１→ＬＨ１→ＨＨ１の順）で、時空間適応予測復
号処理を行って出力するか、または固有符号ＬＩＭＩＴ
により、エントロピー復号化された高周波数帯域の信号
を直接出力する。帯域合成部２２は、各帯域の出力を合
成して画像を復号化する。(3) The basic configuration diagram for realizing the decoding method for decoding the signal coded by the simple coding (3) is the same as in FIG. 4, but the space-time adaptive prediction for each band is performed. In the decoding unit 21, the motion vector of the lowest frequency band (k, which is entropy decoded in the entropy decoding unit 20
l) and the prediction residual signal, the order from the lowest frequency band to the highest frequency band (LL in the example of FIG. 3)
3 → HL3 → LH3 → HH3 → HL2 → LH2 → HH2
→ HL1 → LH1 → HH1) in order) to perform space-time adaptive prediction decoding processing and output, or the unique code LIMIT
Thus, the entropy-decoded high frequency band signal is directly output. The band synthesizing unit 22 synthesizes the outputs of the respective bands to decode the image.
【００６５】[0065]
【発明の効果】以上の説明で明らかなように本発明によ
れば、動画像の効率の良い可逆符号化ができ、少ないデ
ィスク容量で保存が可能となる。さらに、空間解像度ス
ケーラビリティ性を有するために、画像表示機器の性能
や用途に応じた空間解像度で、画像を復号化することが
可能である。低域から任意の帯域までを復号化すると、
原画像よりも低い空間解像度の画像を再生でき、全ての
データを復号化すると、原画像と同じ解像度の画像が再
生される。画像表示装置の精度や用途に応じて原画像よ
り低い解像度の画像を再生したい場合は、必要な帯域ま
でに対する復号化のみが必要であり、復号化を行えば画
像を符号化データより直接復号化でき、原画像と同じ解
像度の画像を再生してから解像度変換を行うよりも処理
時間が短くなる。また、符号化ビットストリームを伝送
する場合は、必要なデータのみを伝送するので、伝送レ
ートも小さくなる。As is apparent from the above description, according to the present invention, it is possible to efficiently perform lossless encoding of a moving image and save it with a small disk capacity. Further, because of the spatial resolution scalability, it is possible to decode an image with a spatial resolution according to the performance and application of the image display device. When decoding from low to any band,
An image having a spatial resolution lower than that of the original image can be reproduced, and when all data is decoded, an image having the same resolution as the original image is reproduced. If you want to reproduce an image with a resolution lower than the original image depending on the accuracy and application of the image display device, you need only decode up to the required band, and if you perform decoding, the image will be directly decoded from the encoded data. As a result, the processing time becomes shorter than that of performing resolution conversion after reproducing an image having the same resolution as the original image. In addition, when transmitting an encoded bitstream, only the necessary data is transmitted, so the transmission rate is also reduced.
【図１】本発明の第１実施形態例による動画像符号化方
法を実現するための基本構成を示す図である。FIG. 1 is a diagram showing a basic configuration for realizing a moving picture coding method according to a first embodiment of the present invention.
【図２】オクターブ分割を説明する図である。FIG. 2 is a diagram illustrating octave division.
【図３】画像の帯域分割を説明する図である。FIG. 3 is a diagram illustrating band division of an image.
【図４】本発明の第２実施形態例による動画像復号化方
法を実現するための基本構成を示す図である。FIG. 4 is a diagram showing a basic configuration for realizing a moving picture decoding method according to a second embodiment of the present invention.
【図５】本発明における時空間適応予測符号化部の基本
構成を示す図である。FIG. 5 is a diagram showing a basic configuration of a space-time adaptive predictive coding unit in the present invention.
【図６】本発明における時空間適応予測復号化部の基本
構成を示す図である。FIG. 6 is a diagram showing a basic configuration of a space-time adaptive prediction decoding unit according to the present invention.
【図７】（ａ），（ｂ）は、予測に用いる信号を説明す
る図である。7A and 7B are diagrams illustrating signals used for prediction.
【図８】本発明の第３実施形態例による簡易符号化
（１）を実現するための基本構成を示す図である。FIG. 8 is a diagram showing a basic configuration for realizing simple coding (1) according to the third exemplary embodiment of the present invention.
【図９】本発明の第４実施形態例による簡易復号化
（１）を実現するための基本構成を示す図である。FIG. 9 is a diagram showing a basic configuration for realizing simple decoding (1) according to the fourth exemplary embodiment of the present invention.
１０…帯域分割部 １１…時空間適応予測符号化部 １２…エントロピー符号化部 ２０…エントロピー復号部 ２１…時空間適応予測復号化部 ２２…帯域合成部 ３１…ブロック単位動き推定手段 ３２…シフト手段 ３３…２次元予測器 ３４…動き推定３次元予測器 ３５…相関係数Ｒ計算手段 ３６…第１の判断分岐手段 ３７…加減算手段 ３８…加減算手段 ４１…シフト手段 ４２…２次元予測器 ４３…加算手段 ４４…動き推定３次元予測器 ４５…加算手段 ４６…相関係数Ｒ計算手段 ４７…第１の判断分岐手段 ５０…帯域分割部 ５１…時空間適応予測符号化部 ５２…エントロピー符号化部 ６０…エントロピー復号部 ６１…時空間適応予測復号化部 ６２…帯域合成部 10 ... Band division unit 11 ... Space-time adaptive predictive coding unit 12 ... Entropy coding unit 20 ... Entropy decoding unit 21 ... Spatiotemporal adaptive prediction decoding unit 22 ... Band synthesis section 31 ... Block unit motion estimation means 32 ... Shift means 33 ... Two-dimensional predictor 34 ... Motion estimation three-dimensional predictor 35 ... Correlation coefficient R calculation means 36 ... First judgment branching means 37 ... Addition / subtraction means 38 ... Addition / subtraction means 41 ... Shift means 42 ... Two-dimensional predictor 43 ... Addition means 44 ... Motion estimation three-dimensional predictor 45 ... Addition means 46 ... Correlation coefficient R calculation means 47 ... First judgment branching means 50 ... Band division unit 51 ... Space-time adaptive predictive coding unit 52 ... Entropy coding unit 60 ... Entropy decoding unit 61 ... Spatiotemporal adaptive prediction decoding unit 62 ... Band synthesis section
───────────────────────────────────────────────────── フロントページの続き (72)発明者 澤邉 知子 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5C059 KK08 KK11 KK34 MA05 MA32 MA45 MC35 ME01 PP04 SS06 5J064 AA01 BA13 BB03 BC08 BC11 BC18 BC27 BD02 BD03 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Tomoko Sawabe 2-3-1, Otemachi, Chiyoda-ku, Tokyo Inside Telegraph and Telephone Corporation F-term (reference) 5C059 KK08 KK11 KK34 MA05 MA32 MA45 MC35 ME01 PP04 SS06 5J064 AA01 BA13 BB03 BC08 BC11 BC18 BC27 BD02 BD03
Claims (20)
いて、原画像を帯域分割し、該分割した帯域毎に動き推
定により時空間適応予測を行って予測残差信号を求め、
該帯域毎の予測残差信号と該時空間適応予測で用いた動
き推定結果とを符号化することを特徴とする動画像可逆
符号化方法。1. A lossless coding method for moving images, wherein an original image is band-divided, and space-time adaptive prediction is performed by motion estimation for each of the divided bands to obtain a prediction residual signal,
A moving image lossless encoding method characterized by encoding the prediction residual signal for each band and the motion estimation result used in the space-time adaptive prediction.
て、請求項１記載の動画像可逆符号化方法により符号化
された帯域毎の予測残差信号と動き推定結果を復号し、
該帯域毎の予測残差信号と該動き推定結果を用いて該帯
域毎に時空間適応予測復号を行い、該時空間適応予測復
号された帯域を帯域合成して動画像を復号することを特
徴とする動画像可逆復号化方法。2. A lossless decoding method for outputting a moving image, wherein a prediction residual signal and a motion estimation result for each band encoded by the moving image lossless encoding method according to claim 1 are decoded,
The method is characterized by performing space-time adaptive prediction decoding for each band using the prediction residual signal for each band and the motion estimation result, and band-combining the space-time adaptive prediction decoded bands to decode a moving image. Video lossless decoding method.
いて、原画像を帯域分割し、該分割した帯域のうち最低
周波数帯域に動き推定により時空間適応予測を行って予
測残差信号を求め、該予測残差信号と該時空間適応予測
で用いた動き推定結果とを符号化するとともに該最低周
波数帯域以外の帯域を直接符号化することを特徴とする
動画像可逆符号化方法。3. A lossless coding method for moving images, wherein an original image is band-divided, and space-time adaptive prediction is performed by motion estimation in the lowest frequency band of the divided bands to obtain a prediction residual signal. A video lossless encoding method characterized by encoding the prediction residual signal and the motion estimation result used in the space-time adaptive prediction and directly encoding a band other than the lowest frequency band.
て、請求項３記載の動画像可逆符号化方法により符号化
された信号のうち、最低周波数帯域の予測残差信号と動
き推定結果を復号して用いて時空間適応予測復号を行
い、該最低周波数帯域以外の帯域を直接復号し、該時空
間適応予測復号された最低周波数帯域と該直接復号され
た該最低周波数帯域以外の帯域とを帯域合成して動画像
を復号することを特徴とする動画像可逆復号化方法。4. A lossless decoding method for outputting a moving image, wherein among the signals encoded by the moving image lossless encoding method according to claim 3, a prediction residual signal in the lowest frequency band and a motion estimation result are decoded. Then, the space-time adaptive prediction decoding is performed, and the band other than the lowest frequency band is directly decoded, and the lowest frequency band subjected to the space-time adaptive prediction decoding and the band other than the directly decoded lowest frequency band. A video lossless decoding method characterized by decoding a video by band synthesis.
いて、原画像を帯域分割し、該分割した最低周波数帯域
のみにて動き推定を行い、該動き推定結果を基準とした
動き推定結果を用いて該分割した帯域毎に時空間適応予
測を行って予測残差信号を求め、該帯域毎の予測残差信
号と該最低周波数帯域の動き推定結果とを符号化するこ
とを特徴とする動画像可逆符号化方法。5. A lossless encoding method for moving images, wherein an original image is band-divided, motion estimation is performed only in the divided lowest frequency band, and a motion estimation result based on the motion estimation result is obtained. A moving image characterized by performing space-time adaptive prediction for each of the divided bands to obtain a prediction residual signal, and encoding the prediction residual signal for each band and the motion estimation result of the lowest frequency band. Image lossless coding method.
て、請求項５記載の動画像可逆符号化方法により符号化
された帯域毎の予測残差信号と最低周波数帯域の動き推
定結果を復号し、該帯域毎の予測残差信号と該最低周波
数帯域の動き推定結果を基準とした動き推定結果を用い
て該帯域毎に時空間適応予測復号を行い、該時空間適応
予測復号された帯域を帯域合成して動画像を復号するこ
とを特徴とする動画像可逆復号化方法。6. A lossless decoding method for outputting a moving image, wherein the prediction residual signal for each band and the motion estimation result of the lowest frequency band encoded by the moving image lossless encoding method according to claim 5 are decoded. , The prediction residual signal for each band and the motion estimation result based on the motion estimation result of the lowest frequency band are used to perform space-time adaptive prediction decoding for each band, and the space-time adaptive prediction decoded band is obtained. A video lossless decoding method characterized by decoding a video by band synthesis.
いて、原画像を帯域分割し、該分割した帯域のフレーム
間相関の強弱を最低周波数帯域から高帯域に向かって判
断し、該最低周波数帯域にてフレーム間相関が強いと判
断された場合は時空間適応予測で３次元予測を行って予
測残差信号を求めるとともに弱いと判断された場合は時
空間適応予測で２次元予測を行って予測残差信号を求
め、該高帯域にてフレーム間相関が強いと判断された場
合は時空間適応予測を行って予測残差信号を求めるとと
もに弱いと判断された場合は時空間適応予測を行わず固
有符号を出力し、該帯域別に求めた予測残差信号と該求
めた際の動き推定結果と該固有符号とを符号化するとと
もに該固有符号を出力した帯域を直接符号化することを
特徴とする動画像可逆符号化方法。7. A lossless coding method for moving images, wherein an original image is band-divided, strength of inter-frame correlation of the divided bands is judged from a lowest frequency band toward a higher frequency band, and the lowest frequency is determined. When it is determined that the inter-frame correlation is strong in the band, three-dimensional prediction is performed by space-time adaptive prediction to obtain a prediction residual signal, and when it is determined that it is weak, two-dimensional prediction is performed by space-time adaptive prediction. A prediction residual signal is obtained, and when it is determined that inter-frame correlation is strong in the high band, space-time adaptive prediction is performed to obtain a prediction residual signal, and when it is determined that it is weak, space-time adaptive prediction is performed. Instead of outputting the eigencode, the prediction residual signal obtained for each band, the motion estimation result at the time of obtaining the eigencode, and the eigencode are coded, and the band in which the eigencode is output is directly coded. Reversible moving image Encoding method.
て、請求項７記載の動画像可逆符号化方法により符号化
された帯域別の予測残差信号と動き推定結果と固有符号
とを復号し、該帯域別に予測残差信号と動き推定結果を
用いて時空間適応予測復号を行うとともに、該固有符号
を出力した帯域を直接復号し、該時空間適応予測復号さ
れた帯域と該直接復号された帯域とを帯域合成して動画
像を復号することを特徴とする動画像可逆復号化方法。8. A lossless decoding method for outputting a moving image, wherein a prediction residual signal for each band encoded by the moving image lossless encoding method according to claim 7, a motion estimation result, and an eigencode are decoded. , Performing the space-time adaptive prediction decoding using the prediction residual signal and the motion estimation result for each band, directly decoding the band that outputs the eigencode, and performing the space-time adaptive prediction decoding and the direct decoding A video lossless decoding method, characterized in that the video is decoded by performing band synthesis with the above-mentioned bands.
載の動画像可逆符号化方法において、時空間適応予測で
は、画像信号の特性によって画素毎に２次元予測か３次
元予測かを切換え、該２次元予測に切換えられた場合に
は該画像信号の特性から画素毎に複数の２次元予測器を
切換えて予測残差信号を算出し、該３次元予測に切換え
られた場合には該画像信号における対象物体の動きを該
ブロック毎に動き推定した動き推定結果に基づいて画素
毎に複数の３次元予測器を切換えて予測残差信号を算出
することを特徴とする動画像可逆符号化方法。9. The moving picture lossless encoding method according to claim 1, wherein in the spatiotemporal adaptive prediction, two-dimensional prediction or three-dimensional prediction is performed for each pixel depending on the characteristics of the image signal. When the two-dimensional prediction is switched to the two-dimensional prediction, a plurality of two-dimensional predictors are switched for each pixel from the characteristics of the image signal to calculate a prediction residual signal, and the three-dimensional prediction is switched. Is a moving image characterized by calculating a prediction residual signal by switching a plurality of three-dimensional predictors for each pixel based on a motion estimation result of motion estimation of a target object in the image signal for each block. Lossless encoding method.
記載の動画像可逆復号化方法において、時空間適応予測
復号では、予測残差信号と動き推定結果に基づいて画像
信号の特性により画素毎に２次元予測か３次元予測かを
切換え、該２次元予測に切換えられた場合には該画像信
号の特性から画素毎に複数の２次元予測器を切換えて予
測信号を算出し、該３次元予測に切換えられた場合には
画素毎に複数の３次元予測器を切換えて予測信号を算出
し、該予測信号に該予測残差信号を付加して対象信号を
復号化することを特徴とする動画像予測復号化方法。10. The moving image lossless decoding method according to claim 2, wherein the space-time adaptive prediction decoding is performed on the basis of the prediction residual signal and the motion estimation result. Two-dimensional prediction or three-dimensional prediction is switched for each pixel according to the characteristic, and when switched to the two-dimensional prediction, a plurality of two-dimensional predictors are switched for each pixel based on the characteristic of the image signal to calculate a prediction signal. When the switching to the three-dimensional prediction is performed, a plurality of three-dimensional predictors are switched for each pixel to calculate a prediction signal, and the prediction residual signal is added to the prediction signal to decode the target signal. A video predictive decoding method characterized by:
おいて、原画像を帯域分割する手段と、該分割した帯域
毎に動き推定により時空間適応予測を行って予測残差信
号を求める手段と、該帯域毎の予測残差信号と該時空間
適応予測で用いた動き推定結果とを符号化する手段と
を、有することを特徴とする動画像可逆符号化装置。11. A lossless coding apparatus for moving images, comprising means for band-dividing an original image, and means for obtaining a prediction residual signal by performing space-time adaptive prediction by motion estimation for each of the divided bands. A video lossless encoding apparatus comprising: a prediction residual signal for each band and a unit that encodes a motion estimation result used in the space-time adaptive prediction.
いて、請求項１１記載の動画像可逆符号化装置により符
号化された帯域毎の予測残差信号と動き推定結果を復号
する手段と、該帯域毎の予測残差信号と該動き推定結果
を用いて該帯域毎に時空間適応予測復号を行う手段と、
該時空間適応予測復号された帯域を帯域合成して動画像
を復号する手段とを、有することを特徴とする動画像可
逆復号化装置。12. A lossless decoding device for outputting a moving image, a means for decoding a prediction residual signal and a motion estimation result for each band encoded by the moving image lossless encoding device according to claim 11, and Means for performing space-time adaptive prediction decoding for each band using the prediction residual signal for each band and the motion estimation result;
Means for band-combining the space-time adaptive predictive-decoded bands to decode a moving image.
おいて、原画像を帯域分割する手段と、該分割した帯域
のうち最低周波数帯域に動き推定により時空間適応予測
を行って予測残差信号を求める手段と、該予測残差信号
と該時空間適応予測で用いた動き推定結果とを符号化す
るとともに該最低周波数帯域以外の帯域を直接符号化す
る手段とを、有することを特徴とする動画像可逆符号化
装置。13. A lossless coding apparatus for moving images, wherein the original image is divided into bands, and the prediction residual signal is obtained by performing space-time adaptive prediction by motion estimation in the lowest frequency band of the divided bands. And means for encoding the prediction residual signal and the motion estimation result used in the space-time adaptive prediction and for directly encoding a band other than the lowest frequency band. Video lossless encoding device.
いて、請求項１３記載の動画像可逆符号化装置により符
号化された信号のうち、最低周波数帯域の予測残差信号
と動き推定結果を復号するとともに該最低周波数帯域以
外の帯域を直接復号する手段と、該最低周波数帯域の予
測残差信号と該動き推定結果を用いて時空間適応予測復
号を行う手段と、該時空間適応予測復号された最低周波
数帯域と該直接復号された該最低周波数帯域以外の帯域
とを帯域合成して動画像を復号する手段とを、有するこ
とを特徴とする動画像可逆復号化装置。14. A lossless decoding device for outputting a moving image, which decodes a prediction residual signal in a lowest frequency band and a motion estimation result among the signals encoded by the moving image lossless encoding device according to claim 13. And means for directly decoding a band other than the lowest frequency band, means for performing space-time adaptive prediction decoding using the prediction residual signal of the lowest frequency band and the motion estimation result, and the space-time adaptive prediction decoding And a means for decoding a moving image by band-synthesizing the lowest frequency band and a band other than the directly decoded band other than the lowest frequency band.
おいて、原画像を帯域分割する手段と、該分割した最低
周波数帯域のみにて動き推定を行い、該動き推定結果を
基準とした動き推定結果を用いて該分割した帯域毎に時
空間適応予測を行って予測残差信号を求める手段と、該
帯域毎の予測残差信号と該最低周波数帯域の動き推定結
果とを符号化する手段とを、有することを特徴とする動
画像可逆符号化装置。15. A lossless coding apparatus for moving images, wherein a unit for band-dividing an original image and motion estimation is performed only in the divided lowest frequency band, and the motion estimation is based on the result of motion estimation. Means for performing space-time adaptive prediction for each of the divided bands using the result to obtain a prediction residual signal; and means for encoding the prediction residual signal for each band and the motion estimation result of the lowest frequency band A lossless moving image encoding apparatus having:
いて、請求項１５記載の動画像可逆符号化装置により符
号化された帯域毎の予測残差信号と最低周波数帯域の動
き推定結果を復号する手段と、該帯域毎の予測残差信号
と該最低周波数帯域の動き推定結果を基準とした動き推
定結果を用いて該帯域毎に時空間適応予測復号を行う手
段と、該時空間適応予測復号された帯域を帯域合成して
動画像を復号する手段とを、有することを特徴とする動
画像可逆復号化装置。16. A lossless decoding device for outputting a moving image, which decodes the prediction residual signal for each band and the motion estimation result of the lowest frequency band encoded by the moving image lossless encoding device according to claim 15. Means, means for performing space-time adaptive prediction decoding for each band using a motion estimation result with reference to the prediction residual signal for each band and the motion estimation result for the lowest frequency band, and the space-time adaptive prediction decoding And a means for decoding the moving image by band combining the generated bands.
おいて、原画像を帯域分割する手段と、該分割した帯域
のフレーム間相関の強弱を最低周波数帯域から高帯域に
向かって判断し、該最低周波数帯域にてフレーム間相関
が強いと判断された場合は時空間適応予測で３次元予測
を行って予測残差信号を求めるとともに弱いと判断され
た場合は時空間適応予測で２次元予測を行って予測残差
信号を求め、該高帯域にてフレーム間相関が強いと判断
された場合は時空間適応予測を行って予測残差信号を求
めるとともに弱いと判断された場合は時空間適応予測を
行わず固有符号を出力する手段と、該帯域別に求めた予
測残差信号と該求めた際の動き推定結果と該固有符号と
を符号化するとともに該固有符号を出力した帯域を直接
符号化する手段とを、有することを特徴とする動画像可
逆符号化装置。17. A lossless encoding apparatus for moving images, wherein means for band-dividing an original image and strength of inter-frame correlation of the divided bands are judged from a lowest frequency band toward a higher band, When it is determined that the inter-frame correlation is strong in the lowest frequency band, three-dimensional prediction is performed by space-time adaptive prediction to obtain a prediction residual signal, and when it is determined that it is weak, two-dimensional prediction is performed by space-time adaptive prediction. The prediction residual signal is obtained by performing the space-time adaptive prediction when it is determined that the inter-frame correlation is strong in the high band and the prediction residual signal is obtained when it is determined that the inter-frame correlation is strong. Means for outputting a unique code without performing the above, a prediction residual signal obtained for each band, a motion estimation result at the time of the calculation, and the unique code, and a band for outputting the unique code is directly coded Means to And a lossless moving image encoding apparatus.
いて、請求項１７記載の動画像可逆符号化装置により符
号化された帯域別の予測残差信号と動き推定結果と固有
符号とを復号するとともに、該固有符号を出力した帯域
を直接復号する手段と、該帯域別に予測残差信号と動き
推定結果を用いて時空間適応予測復号を行う手段と、該
時空間適応予測復号された帯域と該直接復号された帯域
とを帯域合成して動画像を復号する手段とを、有するこ
とを特徴とする動画像可逆復号化装置。18. A lossless decoding device for outputting a moving image, which decodes a prediction residual signal for each band, a motion estimation result, and an eigencode encoded by the moving image lossless encoding device according to claim 17. At the same time, means for directly decoding the band in which the eigencode is output, means for performing space-time adaptive prediction decoding using the prediction residual signal and the motion estimation result for each band, and the space-time adaptive prediction decoded band And a unit for decoding a moving image by band-combining the directly decoded band with each other.
れか１項記載の動画像可逆符号化装置において、時空間
適応予測を行う手段は、画像信号の特性によって画素毎
に２次元予測か３次元予測かを切換える手段と、該２次
元予測に切換えられた場合には該画像信号の特性から画
素毎に複数の２次元予測器を切換えて予測残差信号を算
出する手段と、該３次元予測に切換えられた場合には該
画像信号における対象物体の動きを該ブロック毎に動き
推定した動き推定結果に基づいて画素毎に複数の３次元
予測器を切換えて予測残差信号を算出する手段とを、有
することを特徴とする動画像可逆符号化装置。19. The lossless video encoding apparatus according to claim 11, 13, 15, or 17, wherein the means for performing space-time adaptive prediction is two-dimensional prediction for each pixel depending on the characteristics of the image signal. Means for switching between three-dimensional prediction, means for calculating a prediction residual signal by switching a plurality of two-dimensional predictors for each pixel based on the characteristics of the image signal when switched to the two-dimensional prediction, When the mode is switched to the dimensional prediction, a plurality of three-dimensional predictors are switched for each pixel based on the motion estimation result obtained by estimating the motion of the target object in the image signal for each block to calculate the prediction residual signal. A lossless moving image encoding apparatus, comprising:
れか１項記載の動画像可逆復号化装置において、時空間
適応予測復号する手段は、予測残差信号と動き推定結果
に基づいて画像信号の特性により画素毎に２次元予測か
３次元予測かを切換える手段と、該２次元予測に切換え
られた場合には該画像信号の特性から画素毎に複数の２
次元予測器を切換えて予測信号を算出する手段と、該３
次元予測に切換えられた場合には画素毎に複数の３次元
予測器を切換えて予測信号を算出する手段と、該予測信
号に該予測残差信号を付加して対象信号を復号化する手
段とを、有することを特徴とする動画像予測復号化装
置。20. The moving image lossless decoding apparatus according to claim 12, wherein the space-time adaptive predictive decoding means is an image based on a prediction residual signal and a motion estimation result. Means for switching between two-dimensional prediction and three-dimensional prediction for each pixel according to the characteristics of the signal, and a plurality of two pixels for each pixel based on the characteristics of the image signal when switching to the two-dimensional prediction.
Means for switching the dimensional predictor to calculate a prediction signal;
And a means for calculating a prediction signal by switching a plurality of three-dimensional predictors for each pixel when switched to the dimensional prediction, and a means for adding the prediction residual signal to the prediction signal and decoding the target signal. A moving image predictive decoding device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308796A JP4113696B2 (en) | 2001-10-04 | 2001-10-04 | Lossless video encoding method, decoding method thereof, and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308796A JP4113696B2 (en) | 2001-10-04 | 2001-10-04 | Lossless video encoding method, decoding method thereof, and apparatus thereof |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008059225A Division JP4511607B2 (en) | 2008-03-10 | 2008-03-10 | Lossless video encoding method, decoding method thereof, and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003116140A true JP2003116140A (en) | 2003-04-18 |
| JP4113696B2 JP4113696B2 (en) | 2008-07-09 |
Family
ID=19128047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001308796A Expired - Fee Related JP4113696B2 (en) | 2001-10-04 | 2001-10-04 | Lossless video encoding method, decoding method thereof, and apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4113696B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007189622A (en) * | 2006-01-16 | 2007-07-26 | Nippon Telegr & Teleph Corp <Ntt> | Moving image encoding method and device, decoding method and device, moving image processing program and computer readable recording medium |
| JP2010239296A (en) * | 2009-03-30 | 2010-10-21 | Nippon Hoso Kyokai <Nhk> | Moving image noise cancellation apparatus, moving regional image noise cancellation apparatus, moving image noise cancellation program, and moving regional image cancellation program |
| JP2012129949A (en) * | 2010-12-17 | 2012-07-05 | Toshiba Corp | Image encoding method and device, and image decoding method and device |
-
2001
- 2001-10-04 JP JP2001308796A patent/JP4113696B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007189622A (en) * | 2006-01-16 | 2007-07-26 | Nippon Telegr & Teleph Corp <Ntt> | Moving image encoding method and device, decoding method and device, moving image processing program and computer readable recording medium |
| JP4522951B2 (en) * | 2006-01-16 | 2010-08-11 | 日本電信電話株式会社 | Moving picture encoding method and apparatus, decoding method and apparatus, moving picture processing program, and computer-readable recording medium |
| JP2010239296A (en) * | 2009-03-30 | 2010-10-21 | Nippon Hoso Kyokai <Nhk> | Moving image noise cancellation apparatus, moving regional image noise cancellation apparatus, moving image noise cancellation program, and moving regional image cancellation program |
| JP2012129949A (en) * | 2010-12-17 | 2012-07-05 | Toshiba Corp | Image encoding method and device, and image decoding method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4113696B2 (en) | 2008-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4991699B2 (en) | Scalable encoding and decoding methods for video signals | |
| US8873623B2 (en) | Apparatus and method for generating a coded video sequence and for decoding a coded video sequence by using an intermediate layer residual value prediction | |
| JP5102228B2 (en) | Video encoding | |
| EP2319241B1 (en) | Skip modes for inter-layer residual video coding and decoding | |
| EP1457056B1 (en) | Skip macroblock coding | |
| KR20070047522A (en) | Method and apparatus for encoding and decoding of video | |
| KR20120105396A (en) | Techniques for motion estimation | |
| KR101700410B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| KR20060070400A (en) | Method for encoding and decoding video signal | |
| US20060078053A1 (en) | Method for encoding and decoding video signals | |
| JP5122288B2 (en) | Apparatus and method for generating an encoded video sequence using intermediate layer residual value prediction and decoding the encoded video sequence | |
| JP4113696B2 (en) | Lossless video encoding method, decoding method thereof, and apparatus thereof | |
| KR101562343B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| JPH0591498A (en) | Band division moving picture encoder | |
| JP4697802B2 (en) | Video predictive coding method and apparatus | |
| JP4511607B2 (en) | Lossless video encoding method, decoding method thereof, and program thereof | |
| KR102111437B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| US20060133488A1 (en) | Method for encoding and decoding video signal | |
| KR101934840B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| KR101810198B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| JP4153774B2 (en) | Video encoding method, decoding method thereof, and apparatus thereof | |
| JP2003116141A (en) | Moving picture prediction encoding method and its decoding method, and apparatus for the same | |
| KR101700411B1 (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| KR20190004247A (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes | |
| KR20190084929A (en) | Method and apparatus for image interpolation having quarter pixel accuracy using intra prediction modes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060808 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061010 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080414 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |