JP4522951B2 - 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents
動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4522951B2 JP4522951B2 JP2006007716A JP2006007716A JP4522951B2 JP 4522951 B2 JP4522951 B2 JP 4522951B2 JP 2006007716 A JP2006007716 A JP 2006007716A JP 2006007716 A JP2006007716 A JP 2006007716A JP 4522951 B2 JP4522951 B2 JP 4522951B2
- Authority
- JP
- Japan
- Prior art keywords
- band
- decoding
- frame
- inter
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、動画像を効率よく伝送、復号するための動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体に関する。
原画像を無歪みで再生できる可逆符号化は、医療、美術、印刷などの高精細な画像が要求される静止画像の領域において特に必要とされ、様々な手法が提案されている（例えば、非特許文献１，２，３参照）。
一方、動画像に対しては非可逆符号化の研究が活発に行われてきたが、近年はディジタル放送やディジタルシネマのアーカイブ、編集などにおいて動画像可逆符号化が必要とされている。
可逆符号化法は、静止画像を対象として様々な手法が提案されており、国際標準符号化としてJPEG-LS（非特許文献１参照）、JPEG2000ロスレスモード（非特許文献２参照）等の規格がある。
JPEG-LSは、非線形予測符号化とコンテクストモデリングに基づく方式で画像の局所的性質変化に追従した予測が可能であり、JPEG2000ロスレスモードと比較して演算が高速で符号化効率に優れる（例えば、非特許文献４参照）。
一方、JPEG2000は、解像度スケーラビリティやSNRスケーラビリティをはじめ画像の領域毎に圧縮率を可変にできるROI（Region Of Interest）機能などJPEG-LSにはない様々な高度な機能を持つ。
一方、符号化効率の観点からすると、フレーム間相関を利用することが望ましく、より高い圧縮率が得られると予想される。フレーム間相関を利用した可逆動画像符号化法は、解像度スケーラビリティ機能は持たないものの、フレーム間相関の除去に動き補償を用いて符号化効率を改善した手法である（例えば、非特許文献５，６参照）。
また、フレーム間相関を利用した可逆動画像符号化法は、解像度スケーラビリティ機能を有し、符号化効率に優れる機能がある（例えば、非特許文献７参照）。ウェーブレット変換と予測符号化を組み合わせたハイブリッド符号化であり、ウェーブレットの最低周波数帯域で適応的にフレーム内相関とフレーム間相関を除去し、低演算量で効率よくエントロピーを低減する。これは、自然画像が最低周波数帯域間でフレーム間相関が強く、それ以外の帯域では弱い性質を利用している。この方法は、多重解像度可逆ビデオ符号化法MLVC(Multiresolution Lossless Video Coding)と呼ばれている。
一方で、各周波数帯域間のフレーム間相関は高い周波数帯域では弱い傾向にあるものの、その大きさは一定ではなく画像によって異なる。MLVCを拡張し対象画像の統計的性質に応じてフレーム内相関とフレーム間相関を除去する帯域を適応的に変化させることにより符号化効率を改善した手法が提案されている（例えば、非特許文献８参照）。
この方法は、多重解像度可変可逆ビデオ符号化法Ex-MLVC(Extended Multiresolution Lossless Video Coding)と呼ばれている。
ISO/ITC JTC1/SC29 FCD14495, Lossless and near-lossless coding of continuous tone still images (JPEG-LS), ISO/IEC JTC1/SC29/WG1, July 1997. ISO/IEC JTC1/SC29 WG1 N1646R, JPEG2000 Part I Final Committee Draft Ver, 1.0, ISO/IEC JTC1/SC29 WG1, March 2000. T. Nakachi, T,Fujii and J. Suzuki, "Pel adaptive predictive coding based on image segmentation for lossless compression," IEICE Trans. on Fundamentals, vol. E82-A, no.6, June 1999. D. Santa-Cruz and T. Ebrahimi, "A study of JPEG2000 still image coding versus other standards," vol. 2, pp.673-676, Tampere, Finland, EUSIPCO-2000, Sep. 2000. 小野尚紀、八島由幸、"動き補償を用いたロスレス符号化の性能評価"、信学技法、IE95-18, pp.21-27, 1995. 中嶋淳一、八島由幸、小林直樹、"MPEG-2符号化パラメータに基づく階層的ロスレス符号化の検討" 信学技法、IE99-124, pp.25-30, 2000. T. Nakachi, T. Sawabe, T. Fujii and T. Fujii, "Multiresolution lossless video coding using inter/intra frame adaptive prediction, "IEICE Trans. on Fundamentals, vol. E85-A, no.8, pp.1822-1830, Aug, 2002. T. Nakachi, T. Sawabe and T. Fujii, "A Study on Multiresolution Lossless Video Codiong Using Inter/Intra Frame Adaptive Prediction," VCIP 2003, vol.5150, pp.1685-1696, June 2003.
ISO/ITC JTC1/SC29 FCD14495, Lossless and near-lossless coding of continuous tone still images (JPEG-LS), ISO/IEC JTC1/SC29/WG1, July 1997. ISO/IEC JTC1/SC29 WG1 N1646R, JPEG2000 Part I Final Committee Draft Ver, 1.0, ISO/IEC JTC1/SC29 WG1, March 2000. T. Nakachi, T,Fujii and J. Suzuki, "Pel adaptive predictive coding based on image segmentation for lossless compression," IEICE Trans. on Fundamentals, vol. E82-A, no.6, June 1999. D. Santa-Cruz and T. Ebrahimi, "A study of JPEG2000 still image coding versus other standards," vol. 2, pp.673-676, Tampere, Finland, EUSIPCO-2000, Sep. 2000. 小野尚紀、八島由幸、"動き補償を用いたロスレス符号化の性能評価"、信学技法、IE95-18, pp.21-27, 1995. 中嶋淳一、八島由幸、小林直樹、"MPEG-2符号化パラメータに基づく階層的ロスレス符号化の検討" 信学技法、IE99-124, pp.25-30, 2000. T. Nakachi, T. Sawabe, T. Fujii and T. Fujii, "Multiresolution lossless video coding using inter/intra frame adaptive prediction, "IEICE Trans. on Fundamentals, vol. E85-A, no.8, pp.1822-1830, Aug, 2002. T. Nakachi, T. Sawabe and T. Fujii, "A Study on Multiresolution Lossless Video Codiong Using Inter/Intra Frame Adaptive Prediction," VCIP 2003, vol.5150, pp.1685-1696, June 2003.
しかしながら、MLVC、 Ex-MLVCの両手法とも、空間解像度スケーラビリティを有するものの、符号化データの効率的な伝送順序については規定していない。なお、空間解像度スケーラビリティを有するとは、一つの符号化ビットストリームから異なる空間解像度の画像を段階的に復号化可能であることを示す。
本発明は、上記の点に鑑みなされたもので、空間解像度スケーラビリティを有する動画像可逆符号化・復号化において、符号化データを効率的に伝送することが可能な動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
図１は、本発明の原理を説明するための図である。
本発明（請求項１）は、入力された原画像をウェーブレット変換により帯域分割し（ステップ１）、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像と同じ解像度で再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が、所定の閾値より大きい場合には（ステップ２、Ｙｅｓ）、フレーム間予測を行い（ステップ３）、該フレーム間相関が所定の閾値より小さい場合には（ステップ２、Ｎｏ）、フレーム内予測を行い（ステップ４）、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数おし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップ（ステップ５）と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨｋの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップ（ステップ６）と、からなる。
復号化側において原画像と同じ解像度で再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が、所定の閾値より大きい場合には（ステップ２、Ｙｅｓ）、フレーム間予測を行い（ステップ３）、該フレーム間相関が所定の閾値より小さい場合には（ステップ２、Ｎｏ）、フレーム内予測を行い（ステップ４）、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数おし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップ（ステップ５）と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨｋの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップ（ステップ６）と、からなる。
本発明（請求項２）は、請求項１記載の動画像符号化方法により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、復号化手段において、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップ（ステップ７）と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップ（ステップ８）と、からなる。
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、復号化手段において、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップ（ステップ７）と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップ（ステップ８）と、からなる。
本発明（請求項３）は、入力された原画像をウェーブレット変換により帯域分割し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送ステップと、からなる。
復号化側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送ステップと、からなる。
本発明（請求項４）は、請求項３記載の動画像符号化方法により符号化されたデータを原画像の１／２n倍の解像度毎に段階的に再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、復号化手段において、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号ステップと、からなる。
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、復号化手段において、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号ステップと、からなる。
図２は、本発明の原理構成図である。
本発明（請求項５）は、入力された原画像をウェーブレット変換により帯域分割する帯域分割手段２０を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号化側において原画像と同じ解像度で再生する場合に、
帯域分割手段２０により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段３０と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段５１と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段５２と、を有する。
復号化側において原画像と同じ解像度で再生する場合に、
帯域分割手段２０により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段３０と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段５１と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段５２と、を有する。
本発明（請求項６）は、請求項５記載の動画像符号化装置により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段６１と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段６２と、を有する。
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段６１と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段６２と、を有する。
本発明（請求項７）は、入力された原画像をウェーブレット変換により帯域分割する帯域分割手段を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送手段と、を有する。
復号側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送手段と、を有する。
本発明（請求項８）は、請求項７記載の動画像符号化装置により符号化されたデータを原画像の１／２n倍の解像度に段階的に再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ、同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号手段と、を有する。
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ、同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号手段と、を有する。
本発明（請求項９）は、コンピュータを、請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させる動画像処理プログラムである。
本発明（請求項１０）は、コンピュータを、請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。
上記のように本発明によれば、空間解像度スケーラビリティを有する動画像可逆符号化方法・復号化方法において、符号化データの効率的な段階的伝送を実現することができる。
以下、図面と共に本発明の実施の形態を説明する。
[第１の実施の形態]
本実施の形態では、Ex-MLVCにおける符号化データの効率的な段階的伝送方法について説明する。以下では、Ex-MLVCの基礎であるMLVCの可逆符号化器を用いて説明する。
本実施の形態では、Ex-MLVCにおける符号化データの効率的な段階的伝送方法について説明する。以下では、Ex-MLVCの基礎であるMLVCの可逆符号化器を用いて説明する。
図３は、本発明の第１の実施の形態におけるMLVCの可逆符号化器の構成を示す。
同図に示すMLVC可逆符号化器は、可逆カラー変換部１０、可逆ウェーブレット変換部２０、時空間適応予測符号化部３０、エントロピー符号化部４０及び多重化部５０から構成される。
可逆カラー変換部１０は、入力された原画像のカラー成分間の相関を減少させ、その信号を可逆ウェーブレット変換部２０に出力する。
可逆ウェーブレット変換部２０は、可逆フィルタを用いて、入力された動画像の信号を帯域分割し、解像度スケーラビリティを実現すると共に、フレーム内相関を減少させ、最低周波数帯域を時空間適用予測符号化部３０に出力し、最低周波数帯域以外はエントロピー符号化部４０に出力する。最低周波数帯域以外の信号については、フレーム間相関が弱く、時間計算の増加に対する符号化効率の向上率が小さいことを考慮して時空間適応予測符号化は行わない。
時空間適応予測符号化部３０は、符号化対象画素近傍信号のフレーム間相関が所定の値より大きい場合はフレーム間予測を行い、フレーム間創刊が所定の値より小さい場合にはフレーム内予測を行い符号化し、多重化部５０に出力する。
エントロピー符号化部４０は、最低周波数帯域以外の信号に対してはエントロピー符号化を行い、多重化部５０に出力する。
多重化部５０は、時空間適応予測符号化部３０とエントロピー符号化部４０からの信号を多重化して、符号化ビットストリームを復号化器に出力する。
本実施の形態では、ランダムアクセス機能を実現するために、適当な間隔でフレーム内符号化（Inter-coded picture：Iフレーム）を行う。フレーム内符号化間の画像の集まりはGOP(Group Of Pictures)と呼ばれ、本実施の形態では、フレーム内符号化とフレーム間予測符号化フレーム（Predictive-coded picture：Pフレーム）の２種類のフレームにより構成する。
本実施の形態では、解像度スケーラビリティ実現の容易さから、可逆ウェーブレット変換部２０の変換方式としてウェーブレットを用いる。可逆符号化を実現するために、（５，３）可逆フィルタ（例えば、A.R. Calderbank et. al., "Wavelet transforms that map integers to integers," vol. E85-A, no.8, pp.1822-1830, Aug. 2002.）を使用し、画像の縦横方向で同一のものを用いる。ウェーブレット分割の方法は、１次元ウェーブレット変換を画像の縦横各方向に独立に施すことにより画像を４つの周波数帯域に分割し、最低周波数を担う周波数帯域を再帰的に４つの周波数帯域に分割するMallat分割（例えば、S.G. Mallat, "A Theory for multiresolution signal decomposition: The wavelet representation," IEEE Trans. Pattern Analysis & Machine Intelligence, vol. 11, pp. 674-693, July 1989）を用いる。
図４に２レベルのMallat分割の例を示す。当該可逆ウェーブレット変換部２０では、最低周波数帯域（LL）の信号を時空間適応予測符号化部３０に出力し、それ以外の帯域の信号をエントロピー符号化部４０に出力する。
可逆符号化に関する静止画像国際標準規格JPEG-LSは、非線形予測符号化とコンテクストモデリングに基づく方式で画像の局所的な性質変化に追従した予測が可能であり、JPEG2000ロスレスモードと比較して演算が高速で符号化効率に優れることが知られている。MLVCでは、JPEG-LSで用いられている非線形予測器を３次元間予測に拡張することにより、高い符号化効率を実現している。
MLVCの時空間適応予測符号化部３０は、図５に示すような構成を有する。時空間適応予測符号化部３０は、２次元予測器３１、３次元予測器３２、動き推定部３３、相関係数計算部３４、シフト演算子３５、エントロピー符号化部３６から構成され、予測符号化法を最低周波数帯域の信号に適用する。Iフレームおいては、２次元予測器３１（フレーム内相関を除去）を適用する。また、符号化効率を高めるため、Pフレームにおいては、２次元予測器３１と３次元予測器３２（フレーム内相関とフレーム間相関を同時に除去）を適応的に切り替え、残差信号を生成する。MLVCでは、この方法を「時空間適応予測符号化」と呼ぶ。
当該時空間適応予測符号化部３０における２次元予測器３１と３次元予測器３２の切り換えは、相関係数計算部３４において、図６に示す現フレームａ内の近傍信号値ｘ1〜ｘ4と参照フレームｂ内の近傍信号値ｙ１〜ｙ4の相関係数Ｒを計算して決定する。ここでｙ１〜ｙ4は、動き推定部３３の動き推定の結果をもとにシフト演算子３５によりシフトした信号列を用いる。相関係数計算部３４において相関係数を求め、相関係数がある閾値Ｔｈ以上の場合、フレーム間相関が大きいと判断し、３次元予測器３２を用いる。それ以外は２次元予測器３１を用いる。
つまり、
・相関係数Ｒ＜Ｔｈの場合は２次元予測器３１を用いる。
・相関係数Ｒ≧Ｔｈの場合は３次元予測器3２を用いる。
・相関係数Ｒ＜Ｔｈの場合は２次元予測器３１を用いる。
・相関係数Ｒ≧Ｔｈの場合は３次元予測器3２を用いる。
但し、
１）２次元予測：
本発明では、画像の局所的な性質変化に追従した予測を行うため、予め用意された複数の予測器を適応的に切り替える非線形予測器を用いる。ここでは、JPEG-LSと同じ非線形予測器を利用する。JPEG-LSでは、３種類の予測器を、符号化対象画素近傍信号の状態により切り換え、残差信号を生成する。縦方向及び横方向にエッジがあると判断された場合は、それぞれのエッジ方向に隣接する１画素を用いて予測し、輝度変化が滑らかであると判断した場合は隣接する３画素を用いて予測する。
本発明では、画像の局所的な性質変化に追従した予測を行うため、予め用意された複数の予測器を適応的に切り替える非線形予測器を用いる。ここでは、JPEG-LSと同じ非線形予測器を利用する。JPEG-LSでは、３種類の予測器を、符号化対象画素近傍信号の状態により切り換え、残差信号を生成する。縦方向及び横方向にエッジがあると判断された場合は、それぞれのエッジ方向に隣接する１画素を用いて予測し、輝度変化が滑らかであると判断した場合は隣接する３画素を用いて予測する。
２）３次元予測：
３次元予測の場合にも２次元予測と同様に、符号化対象画素の近傍信号値の状態により予測器を切り換える非線形予測を行う。縦方向または横方向にエッジがあると判断された場合は、現フレームａ及び参照フレームｂのそれぞれのエッジ方向に隣接する信号を用いて予測する。エッジの方向は、参照フレームｂの縦方向の差分絶対値│ｙ0−ｙ3│と横方向の差分絶対値│ｙ0−ｙ１│を比較して、ある閾値よりも大きい方向をエッジと判断する。縦方向のエッジ（以下の条件ｉの場合）と判断された場合は、現フレームａ及び参照フレームｂとの縦方向の信号ｘ3，ｙ0，ｙ3に関して、２次元予測と同様な方法で予測信号を選択する。横方向のエッジ（以下の条件iiの場合）の場合も同様な方法で予測器を選択する。エッジでないと判断された場合には、近傍の3画素（ｘ1，ｘ3，ｙ0）の平均値を予測値とする。
３次元予測の場合にも２次元予測と同様に、符号化対象画素の近傍信号値の状態により予測器を切り換える非線形予測を行う。縦方向または横方向にエッジがあると判断された場合は、現フレームａ及び参照フレームｂのそれぞれのエッジ方向に隣接する信号を用いて予測する。エッジの方向は、参照フレームｂの縦方向の差分絶対値│ｙ0−ｙ3│と横方向の差分絶対値│ｙ0−ｙ１│を比較して、ある閾値よりも大きい方向をエッジと判断する。縦方向のエッジ（以下の条件ｉの場合）と判断された場合は、現フレームａ及び参照フレームｂとの縦方向の信号ｘ3，ｙ0，ｙ3に関して、２次元予測と同様な方法で予測信号を選択する。横方向のエッジ（以下の条件iiの場合）の場合も同様な方法で予測器を選択する。エッジでないと判断された場合には、近傍の3画素（ｘ1，ｘ3，ｙ0）の平均値を予測値とする。
条件ｉ：│ｙ0−ｙ1│−│ｙ0−ｙ3│＞Ｔの場合：
Ex-MLVCでは、更なる符号化効率の向上を目的として、時空間適応予測符号化の適応帯域を画像の統計的性質に応じて適応的に変化させるモデルを提供している。
Ex-MLVCでは、最低周波数帯域については、MLVCと同様に、時空間適応予測符号化部３０で時空間適応予測処理を行い、それ以外の帯域においては、フレーム間相関が強い帯域では、時空間適応予測処理を行い、弱い帯域ではエントロピー符号化部３０でウェーブレット係数を直接符号化する。但し、
１）計算量をできるだけ低く抑え、
２）付加情報量をなくす、
ために各帯域において直接フレーム間相関は計算しない。
１）計算量をできるだけ低く抑え、
２）付加情報量をなくす、
ために各帯域において直接フレーム間相関は計算しない。
図７に示すように、ウェーブレット係数が最低周波数帯域を基準にして同一方向の帯域間には相関があることを利用して、1レベル低い周波数帯域での３次元予測と２次元予測の処理回数の比率に応じて切り換えを行う。
１）1レベル低周波数帯のRinter≧THの場合は、時空間適応予測を行う。
２）1レベル低周波数帯のRinter<THの場合は、ウェーブレット係数符号化を行う。
但し、
但し、
Rinterの値が大きい場合は、３次元予測器３２の処理回数が多いことを表す。即ち、フレーム間相関が強いことを意味している。また、上記の１）、２）のTHは所定の閾値を表す。
次に、帯域単位処理手順について説明する。
可逆ウェーブレット変換部２０におけるウェーブレット分割レベル数が「２」の場合を例に説明する。
図８は、本発明の第１の実施の形態における時空間適応予測の帯域単位処理を説明するための図（帯域分割＝２レベル）である。同図に示す矢印の方向に向かって、時空間適応予測処理を行うか否かを判断する。
図９は、本発明の第１の実施の形態における帯域単位の処理手順を示す。
まず、最初に、Ex-MLVCでは、最低周波数帯域LL2においては、MLVCと同様に時空間適応予測符号化部３０で時空間適応予測処理を行う。全ての処理が終了後、Rinterを計算する（ステップ１０１）。
RInter≧THの場合（ステップ１０２、Yes）、HL2、LH2、HH2帯域において時空間適応予測処理を行う（ステップ１０３，１０６，１０９）。RInter＜THの場合（ステップ１０２、No）は終了する。
時空間適応予測処理を行った場合は、時空間適用予測符号化部３０の相関係数計算部３４において、HL2、LH2、HH2帯域のそれぞれについて、RInterを計算する。それぞれの帯域においてRInter≧THの条件を満たすか否かを判断し（ステップ１０４，１０７，１１０）、HL1、LH1、HH1帯域において時空間適用予測処理を行うかどうかを決定する。
次に、小ブロック単位処理手順について説明する。
ウェーブレット変換領域おいては、各周波数帯の同じ空間位置に対応する成分は相関が強いことが知られている。この性質を利用して、小ブロック単位で時空間適用予測を行うかどうかの判断を行う。
図１０は、本発明の第１の実施の形態における時空間適応予測ブロック単位の処理を説明するための図である。同図では、分割レベル数が「２」の場合の処理方向を示している。
図１１は、本発明の第１の実施の形態におけるブロック単位の処理手順を示す。
処理手順は、図９に示す方法をブロック毎に行い、全ブロック数（N）になるまで繰り返す。
これにより、画像の局所的性質に追従させることが可能となり、符号化効率が改善する。
以上の帯域単位処理または小ブロック単位処理により生成された残差信号またはウェーブレット係数は、エントロピー符号化部４０により、符号化データとして出力される。
Ex-MLVCでは、スケーラビリティ機能により伝送時や復号時の時間優先度を自由に設定できる。スケーラビリティの単位として、C：色、R：空間解像度の２つを定義している。
図１２は、本発明の第１の実施の形態における空間解像度を優先的に並べたRC構造の例を示す。但し、これは１例であり、LLやHHなどの各成分をどのような順序で、符号化器による伝送あるいは、復号化器で復号するかはユーザに任されており、Ex-MLVCでは規定していない。ここでは、空間解像度の各成分（LL2、HL2、LH2、…）を効率よく、伝送並びに復号する順序について述べる。本発明では、空間解像度スケーラビリティを実現する際に、
１）原画像と同じ解像度で再生する場合；
２）原画像の１/２n倍の解像度毎に段階的に再生する場合；
の２つの技術を提供する。
１）原画像と同じ解像度で再生する場合；
２）原画像の１/２n倍の解像度毎に段階的に再生する場合；
の２つの技術を提供する。
まず、本実施の形態では、上記の１）の場合について説明する。
Ｉピクチャの場合、その伝送（符号化器）または復号（復号化器）する順序は固定であり、以下の２つの条件を満たすように並べる。
・低周波数帯域から高周波数帯域；
・同一レベル内の周波数帯域では、HL→LH→HH；
図１２（ａ）にはウェーブレットレベル＝２の場合のＲＣデータ構造を示す。図１３（ａ）には、図１２（ａ）に対応するウェーブレット領域での順序を示す。
・同一レベル内の周波数帯域では、HL→LH→HH；
図１２（ａ）にはウェーブレットレベル＝２の場合のＲＣデータ構造を示す。図１３（ａ）には、図１２（ａ）に対応するウェーブレット領域での順序を示す。
また、Ｐピクチャの場合は、以下の条件を満たすように並べ替えを行う。
・１番目は、最低周波数帯域LLN（但し、Ｎは正の整数でウェーブレット分割レベル数）；
・２番目以降の周波数帯域は、RInterの降順；
即ち、符号化器の多重化部５０から伝送（出力）する際には、予めメモリ等に格納された上記の条件を参照して、最低周波数帯域LLN以外は、RInterが大きい周波数帯域ほど先に伝送する。同様に、復号化器でも、予め上記の条件が格納されたメモリ等を参照して、最低周波数帯域LLN以外は、RInterが大きい周波数帯域ほど先に復号する。
・２番目以降の周波数帯域は、RInterの降順；
即ち、符号化器の多重化部５０から伝送（出力）する際には、予めメモリ等に格納された上記の条件を参照して、最低周波数帯域LLN以外は、RInterが大きい周波数帯域ほど先に伝送する。同様に、復号化器でも、予め上記の条件が格納されたメモリ等を参照して、最低周波数帯域LLN以外は、RInterが大きい周波数帯域ほど先に復号する。
ここで、RInterは、３次元予測器３２及び２次元予測器３１の処理回数比率を表し、RInterが大きいほど、３次元予測器３２の処理回数が多いことを意味している。即ち、上記の条件は、３次元予測器３２が２次元予測器３１よりも符号化効率に大きく寄与することを前提としている。
ウェーブレット分割レベル数が「２」で、RInterの大きさに関して、
・HL2→LH2→HL1→HH2→LH1→HH1
の場合、周波数帯域の伝送または復号の順序は、図１２（ｂ）ならびに、図１３（ｂ）のようになる。
・HL2→LH2→HL1→HH2→LH1→HH1
の場合、周波数帯域の伝送または復号の順序は、図１２（ｂ）ならびに、図１３（ｂ）のようになる。
［第２の実施の形態］
第２の実施の形態として、上記の空間解像度スケーラビリティを実現する際の「２）の原画像の１／２ｎの解像度毎に段階的に再生する場合」について説明する。
第２の実施の形態として、上記の空間解像度スケーラビリティを実現する際の「２）の原画像の１／２ｎの解像度毎に段階的に再生する場合」について説明する。
Ｉピクチャに関しては、前述の「１）原画像と同じ解像度で再生する場合」と同じ基準のもと、固定した順序に並べる。Ｐピクチャの場合は、以下の条件を満たすように並べ替えを行う。
・低周波数帯域から高周波数帯域；
・１番目は、最低周波数帯域LLN(但し、Ｎは正の整数でウェーブレット分割レベル数)；
・２−４番目は、HLN、LHN、HHNに関してRInterの降順；
・５番目以降の順番は、各レベル内の周波数帯域HL、LH、HHを、対応するレベルのHL、LH、HHの順序；
に準じる。
・１番目は、最低周波数帯域LLN(但し、Ｎは正の整数でウェーブレット分割レベル数)；
・２−４番目は、HLN、LHN、HHNに関してRInterの降順；
・５番目以降の順番は、各レベル内の周波数帯域HL、LH、HHを、対応するレベルのHL、LH、HHの順序；
に準じる。
ウェーブレット分割レベル数が「２」でRInterの大きさに関して、
・HL２→LH２→HH2
の場合、各周波数帯域の符号化器における伝送または、復号化器における復号の順序は、図１２（ｃ）並びに図１３（ｃ）のようになる。つまり、多重化部５０は、予め上記の条件が格納されたメモリ等を参照して符号化ビットストリームを伝送する。また、復号化器においても、予め上記の条件が格納されたメモリ等を参照して、入力されたデータを復号する。
・HL２→LH２→HH2
の場合、各周波数帯域の符号化器における伝送または、復号化器における復号の順序は、図１２（ｃ）並びに図１３（ｃ）のようになる。つまり、多重化部５０は、予め上記の条件が格納されたメモリ等を参照して符号化ビットストリームを伝送する。また、復号化器においても、予め上記の条件が格納されたメモリ等を参照して、入力されたデータを復号する。
また、上記の符号化器及び復号化器の動作をプログラムとして構築し、符号化器、復号化器として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
また、構築されたプログラムをハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールする、または、配布することが可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
本発明は、動画像の符号化・復号化技術に適用可能である。
１０ 可逆カラー変換部
２０ 可逆ウェーブレット変換部、帯域分割手段
３０ 時空間適応予測符号化部、符号化手段
４０ エントロピー符号化部
５０ 多重化部
５１ 第１の伝送手段
５２ 第２の伝送手段
６１ 第１の復号手段
６２ 第２の復号手段
３１ ２次元予測器
３２ ３次元予測器
３３ 動き推定部
３４ シフト演算子
２０ 可逆ウェーブレット変換部、帯域分割手段
３０ 時空間適応予測符号化部、符号化手段
４０ エントロピー符号化部
５０ 多重化部
５１ 第１の伝送手段
５２ 第２の伝送手段
６１ 第１の復号手段
６２ 第２の復号手段
３１ ２次元予測器
３２ ３次元予測器
３３ 動き推定部
３４ シフト演算子
Claims (10)
- 入力された原画像をウェーブレット変換により帯域分割し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像と同じ解像度で再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップと、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨｋの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップと、
からなることを特徴とする動画像符号化方法。 - 請求項１記載の動画像符号化方法により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、復号化手段において、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップと、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップと、
からなることを特徴とする動画像復号化方法。 - 入力された原画像をウェーブレット変換により帯域分割し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップと、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送ステップと、
からなることを特徴とする動画像符号化方法。 - 請求項３記載の動画像符号化方法により符号化されたデータを原画像の１／２n倍の解像度毎に段階的に再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、復号化手段において、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップと、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号ステップと、
からなることを特徴とする動画像復号化方法。 - 入力された原画像をウェーブレット変換により帯域分割する帯域分割手段を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号化側において原画像と同じ解像度で再生する場合に、
前記帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が、所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段と、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段と、
を有することを特徴とする動画像符号化装置。 - 請求項５記載の動画像符号化装置により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段と、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段と、
を有することを特徴とする動画像復号化装置。 - 入力された原画像をウェーブレット変換により帯域分割する帯域分割手段を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
前記帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段と、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送手段と、
を有することを特徴とする動画像符号化装置。 - 請求項７記載の動画像符号化装置により符号化されたデータを原画像の１／２n倍の解像度に段階的に再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段と、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ、同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号手段と、
を有することを特徴とする動画像復号化装置。 - コンピュータを、
請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させることを特徴とする動画像処理プログラム。 - コンピュータを、
請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006007716A JP4522951B2 (ja) | 2006-01-16 | 2006-01-16 | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006007716A JP4522951B2 (ja) | 2006-01-16 | 2006-01-16 | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007189622A JP2007189622A (ja) | 2007-07-26 |
| JP4522951B2 true JP4522951B2 (ja) | 2010-08-11 |
Family
ID=38344469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006007716A Expired - Fee Related JP4522951B2 (ja) | 2006-01-16 | 2006-01-16 | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4522951B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012129949A (ja) * | 2010-12-17 | 2012-07-05 | Toshiba Corp | 画像符号化方法及び装置、画像復号化方法及び装置 |
| US9992495B2 (en) * | 2013-10-10 | 2018-06-05 | Jean-Claude Colin | Method for encoding a matrix, in particular a matrix representative of a still or video image, using a wavelet transform, with numbers of wavelet levels that vary according to the image and different quantization factors for each wavelet level |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003116140A (ja) * | 2001-10-04 | 2003-04-18 | Nippon Telegr & Teleph Corp <Ntt> | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 |
-
2006
- 2006-01-16 JP JP2006007716A patent/JP4522951B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003116140A (ja) * | 2001-10-04 | 2003-04-18 | Nippon Telegr & Teleph Corp <Ntt> | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007189622A (ja) | 2007-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102343371B1 (ko) | 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법 | |
| KR100678958B1 (ko) | 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 | |
| KR100667806B1 (ko) | 영상 부호화 및 복호화 방법 및 장치 | |
| JP4991699B2 (ja) | ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法 | |
| KR101708265B1 (ko) | 영상 부호화 및 복호화 장치 및 그 방법 | |
| EP1737243A2 (en) | Video coding method and apparatus using multi-layer based weighted prediction | |
| JP4429968B2 (ja) | Ｓｖｃの圧縮率を高めるシステムおよび方法 | |
| JP2008522537A (ja) | 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置 | |
| EP1515561A1 (en) | Method and apparatus for 3-D sub-band video coding | |
| JP5768180B2 (ja) | 画像復号方法及び画像復号装置 | |
| KR100809603B1 (ko) | 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법 | |
| JPH11122617A (ja) | 画像圧縮 | |
| KR102105323B1 (ko) | 객체 기반 적응적 밝기 보상 방법 및 장치 | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| EP1841235A1 (en) | Video compression by adaptive 2D transformation in spatial and temporal direction | |
| JP4522951B2 (ja) | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 | |
| KR101086724B1 (ko) | 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기 | |
| JP2006246351A (ja) | 画像符号化装置および画像復号化装置 | |
| JP4153774B2 (ja) | 動画像符号化方法とその復号化方法、およびそれらの装置 | |
| JP2004320437A (ja) | データ処理装置、符号化装置およびそれらの方法 | |
| JP2011045138A (ja) | 画像復号方法 | |
| JP4667424B2 (ja) | 画像復号装置 | |
| JP2005184525A (ja) | 画像処理装置 | |
| JP4385928B2 (ja) | スケーラブル動画像符号化・復号化方法及びシステム | |
| JP2003116140A (ja) | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100506 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100525 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100526 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4522951 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130604 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140604 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |