JP4153774B2 - 動画像符号化方法とその復号化方法、およびそれらの装置 - Google Patents
動画像符号化方法とその復号化方法、およびそれらの装置 Download PDFInfo
- Publication number
- JP4153774B2 JP4153774B2 JP2002320771A JP2002320771A JP4153774B2 JP 4153774 B2 JP4153774 B2 JP 4153774B2 JP 2002320771 A JP2002320771 A JP 2002320771A JP 2002320771 A JP2002320771 A JP 2002320771A JP 4153774 B2 JP4153774 B2 JP 4153774B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- band
- inter
- frame
- frequency band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を効率よく伝送、蓄積するための符号化および復号化に関する。
【０００２】
【従来の技術】
動画像の代表的な符号化法として、
（１）ＭＰＥＧに代表される動き補償とＤＣＴを用いた手法。
【０００３】
（２）ＭｏｔｉｏｎＪＰＥＧ２０００に代表されるウェーブレット変換を用いた手法。
はよく知られている。
【０００４】
動き補償とＤＣＴを用いた手法はこれまで数々のモデルが提案され、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。
【０００５】
一方、ＭｏｔｉｏｎＪＰＥＧ２０００など、ウェーブレットを用いた手法は、動き補償とＤＣＴを用いた手法にはない空間・時間・ＳＮＲスケーラビリティなど様々な有効な機能を持つ。
【０００６】
しかしながら、ＭｏｔｉｏｎＪＰＥＧ２０００はフレーム内相関のみを利用するため、動き補償とＤＣＴを用いた手法よりも符号化効率が劣ることが知られている。ウェーブレットを用いて、かつフレーム間相関を除去し、符号化効率を改善した方法としては、時空間適応予測がある（例えば、非特許文献１参照）。
【０００７】
この方法は、可逆符号化として提案された手法であるが、非可逆符号化にも適用可能な手法であり、効率よくフレーム間相関を除去することが可能である。
【０００８】
【非特許文献１】
仲地孝之、澤邊知子、藤井竜也、藤井哲郎、“解像度スケーラビリティーを有する動画像可逆符号化法の検討”、第１６回ディジタル信号処理シンポジウム講演論文集、pp.439-444,2001年11月
【０００９】
【発明が解決しようとする課題】
時空間予測符号化は、ウェーブレット係数領域において非線形予測を適用することによってフレーム間相関を除去する。ウェーブレット変換を用いているため空間スケーラビリティ機能が実現でき、かつフレーム間相関も除去しているため符号化効率も高い方式である。
【００１０】
しかしながら、時空間予測を行う帯域が固定のために、必ずしも種々の画像に適した方式とはなっていない。また、帯域を可変としたモデルも提案されている（例えば、非特許文献１）。しかし、この手法では、付加情報量が必要であり効率的ではない。
【００１１】
本発明の目的は、付加情報量を増加させることなく、画像の統計的性質に応じて適応的にフレーム間相関を除去する帯域を変化させ、符号化効率を改善した時空間予測による動画像符号化方法とその復号化方法、およびそれらの装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の問題を解決するため、本発明は、以下の動画像符号化方法、動画像復号化方法、およびそれらの装置を特徴とする。
【００１３】
（１）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【００１４】
（２）動画像を出力とする復号化において、上記（１）記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【００１５】
（３）上記（１）記載の動画像符号化方法において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて符号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化することを特徴とする。
【００１６】
（４）動画像を出力とする復号化において、上記（３）記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて復号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化することを特徴とする。
【００１７】
（５）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、時空間適応予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【００１８】
（６）動画像を出力とする復号化において、上記（５）記載の動画像符号化方法により符号化された信号を、時空間適応予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【００１９】
（７）上記（５）記載の動画像符号化方法において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて符号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化することを特徴とする。
【００２０】
（８）動画像を出力とする復号化において、上記（７）記載の動画像符号化方法により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて復号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化することを特徴とする。
【００２１】
（９）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【００２２】
（１０）動画像を出力とする復号化において、上記（９）記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【００２３】
（１１）上記（９）記載の動画像符号化において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて符号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化する手段を有することを特徴とする。
【００２４】
（１２）動画像を出力とする復号化において、上記（１１）記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて復号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化する手段を有することを特徴とする。
【００２５】
（１３）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、時空間適応予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【００２６】
（１４）動画像を出力とする復号化において、上記（１３）記載の動画像符号化装置により符号化された信号を、時空間適応予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【００２７】
（１５）上記（１３）記載の動画像符号化において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて符号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化する手段を有することを特徴とする。
【００２８】
（１６）動画像を出力とする復号化において、上記（１５）記載の動画像符号化装置により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて復号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化する手段を有することを特徴とする。
【００２９】
【発明の実施の形態】
（第１実施形態）
図１及び図２に時空間適応予測による動画像符号化装置および方法を実現するための基本構成図を示す。図１は非可逆符号化用、図２は可逆符号化用であり、本発明による時空間適応予測符号化法は可逆および非可逆のどちらにも適用可能である。
【００３０】
図１または図２において、１０は帯域分割部、１１〜１４は分割された帯域ごとに設けた時空間適応予測処理部、１６はエントロピー符号化部である。非可逆符号化の場合には、量子化部１５においてウェーブレット係数または時空間適応予測による差分信号を量子化する。さらに、非可逆符号化の場合には、エントロピー符号化として、ＪＰＥＧ２０００で用いられているＥＢＣＯＴを用いることにより、空間およびＳＮＲスケーラビリティを実現できる。可逆符号化においては、量子化を行わず、ウェーブレット係数または時空間適応予測による差分信号を直接エントロピー符号化する。
【００３１】
入力された原画像は、帯域分割部１０において複数の空間解像度の帯域に分割される。この帯域分割には、図３に示すオクターブ分割を用いる。オクターブ分割では、１次元の２分割フィルタを用いて低帯域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。この処理を、水平方向および垂直方向にそれぞれ施す。
【００３２】
次に、分割された各帯域において時空間適応予測により符号化を行う。まず、最低周波数帯域ＬＬ（ｎ）に対して（ｎは、帯域分割レベル数）適応予測符号化を行う。ここで、適応予測符号化は、前記非特許文献１に示される方法を利用することができる。この方法を説明すると、時空間適応予測符号化法では、２次元予測器と３次元予測器を用意し、画像信号の局所的性質により予測器を切り替える。この２次元予測器と３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算する。この計算で、相関係数が大きい場合、すなわち現フレーム内信号と参照フレーム内信号の波形が似ている場合には、予測精度が向上すると考えられることから、３次元予測を行い、それ以外の場合には２次元予測を行う。これにより、画像の局所的性質に適応することができ、予測精度が向上する。
【００３３】
次に、最低周波数帯域における適応予測符号化が終了後、フレーム間相関判定部１７で現フレームと参照フレームの最低周波数帯域におけるフレーム間相関を計算する。フレーム間相関が大きいか小さいかを判断するにはいくつかの方法が考えられるが、一例を後の（第５実施形態）として示す。
【００３４】
まず、最低周波数帯域におけるフレーム間相関の大きさによって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において、適応予測符号化を行うかどうか決定する。
【００３５】
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００３６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化して処理終了する。
【００３７】
この理由は、最低周波数帯域の信号と隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の信号には相関が存在することを利用している。すなわち、最低周波数帯域においてフレーム間相関が大きい場合は、隣接する３つの帯域においてもフレーム間相関が強いことが予想される。この手法では、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において時空間適応予測を行うかどうかは最低周波数帯域によって決定され、エンコーダおよびデコーダで共有した情報を利用できるため、新たな付加情報量も必要としない。
【００３８】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。ウェーブレットにおいては、最低周波数帯域から見て同一方向の周波数帯域間には相関が存在することが知られている。すなわち、
ＬＨ（ｎ）、ＬＨ（ｎ−１）、…、ＬＨ（１）
の帯域間には相関が存在し、同様にＨＬ方向間、ＨＨ方向間、すなわち
ＨＬ（ｎ）、ＨＬ（ｎ−１）、…、ＨＬ（１）の間
ＨＨ（ｎ）、ＨＨ（ｎ−１）、…、ＨＨ（１）の間
に、それぞれ相関は存在する。この性質を利用して、各帯域において時空間適応予測を行うか行わないかを、それぞれの周波数帯域の１レベル低い周波数帯域のフレーム間相関の大きさによって判断する。すなわち、
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００３９】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００４０】
以上の処理を高帯域へ向かって行い、フレーム間相関が小さいか、最高周波数帯域ＬＨ（１）まで処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。
【００４１】
以上のＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図４であり、フレーム間相関の計算処理２３、２４、…の計算結果の大きさによりＬＨ方向の帯域時空間適応予測処理２１〜２２を行うか行わないかを判断する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図５は、それぞれの帯域の相関関係を図示したもので、矢印の方向に向かって以上に示した処理を進める。また、図６には分割レベルが２レベルの場合の帯域時空間適応予測処理のフローチャートを示し、ＬＬ（２）での予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００４２】
以上の方法においては、帯域時空間適応予測処理を行うかどうかは１レベル低い周波数帯域のフレーム間相関の大きさによって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない、
上記までの処理終了後、図１または図２のエントロピー符号化部１６においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【００４３】
（第２実施形態）
図７および図８に、上記の第１実施形態例で符号化されたデータを復号するための動画像復号化装置および方法を実現するための基本構成図を示す。図７は非可逆復号化用、図８は可逆復号化用である。図７または図８において、３０はエントロピー復号化部、３１〜３４は分割された帯域ごとに設けた時空間適応予測復号化部、３５は帯域合成部、３７はフレーム間相関判定部である。
【００４４】
最初にエントロピー復号化部３０において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部３５においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。最低周波数帯ＬＬ（ｎ）の時空間適応予測復号化部３１の処理は、例えば、前記の非特許文献１に示す方法を利用することができる。この方法を説明すると、時空間適応予測復号化においては、時空間適応予測符号化と同様に、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算して予測器を選択する。この計算で、相関係数が大きい場合には３次元予測を行い、小さい場合には２次元予測を行う。得られた予測値に、差分信号を逆量子化した信号を加えることにより、最低周波数帯域の信号が復元される。
【００４５】
次に、時空間適応予測復号化部３１は、引き続く高周波数帯域の復号を時空間予測復号化で行うか、直接ウェーブレット係数を復号するか判断するために、フレーム間相関判定部３７で最低周波数帯ＬＬ（ｎ）におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００４６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化して処理終了する。
【００４７】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。
【００４８】
ＬＨ方向、ＨＬ方向、ＨＨ方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、１レベル低い周波数帯域におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００４９】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００５０】
なお、ＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図９であり、フレーム間相関判定部４３、４４、…によりの計算により、ＬＨ方向の帯域時空間適応予測復号化処理４０〜４２を行うか行わないかを判断し、フレーム間相関が小さいか、または最高周波数帯域ＬＨ（１）の処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１０には分割レベルが２レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、ＬＬ（２）での予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００５１】
上記までの処理終了後、図７または図８の帯域合成部３５においては、各帯域の出力を合成して画像を復号化する。
【００５２】
（第３実施形態）
前記の第１実施形態例においては、適応予測符号化を行うかウェーブレット係数を直接符号化するかは各周波数帯域で帯域ごとに行っていた。本実施形態例では、最低周波数帯域以外において適応予測符号化を行うかウェーブレット係数を直接符号化するかの判断を小ブロック単位で行う。小ブロック単位の処理によって、より画像の局所的性質に適応した符号化が可能となり、符号化効率が向上する。
【００５３】
ウェーブレットにおいては、同じ空間位置に対応する各周波数成分は互いに相関があることが知られている、この性質を利用して、図１１に示すように各周波数帯域の同じ空間位置に対応する小ブロック単位で処理を行う。
【００５４】
まず、最低周波数帯域は、すべて第１実施形態例と同様に、すべて時空間適応予測符号化を施す。
【００５５】
次に、最低周波数帯域をＬ×Ｌ画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・フレーム間相関が大きい場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【００５６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００５７】
フレーム間相関が大きい場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図１２には分割レベルが２レベルの場合の帯域適応処理のフローチャートを示し、ＬＬ（２）の小ブロックＭＢ（ｎ）についての予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００５８】
エントロピー符号化においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【００５９】
（実施形態４）
本実施形態例では、前記の第３実施形態例による小ブロック単位処理により符号化された信号の復号化方法を示す。基本構成は、図７または図８に示す第３実施形態例に等しいが、最低周波数帯域以外の処理が小ブロック単位になる点が異なる。
【００６０】
最初にエントロピー復号化部３０において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部３５においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。
【００６１】
最低周波数帯ＬＬ（ｎ）の時空間適応予測復号化部３１の処理は、第３実施形態例に全く等しく、前記の非特許文献１に示す方法を利用することができる。
【００６２】
次に、復号化された最低周波数帯域の信号をＬ×Ｌ画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関の大きさによって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
フレーム間相関が大きい場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【００６３】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００６４】
フレーム間相関が大きい場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図１３には分割レベルが２レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、ＬＬ（２）の小ブロックＭＢ（ｎ）についての予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００６５】
これら判定処理後、帯域合成部３６においては、各帯域の出力を合成して画像を復号化する。
【００６６】
（第５実施形態）
本実施形態例では、前記の第１実施形態において、フレーム間相関の大きさとして、以下に示すフレーム間の相関係数Ｒinterを用いた場合の動画像符号化装置および方法の実施形態を示す。
【００６７】
Ｒinter＝Ｉｎｔｅｒ／（Ｉｎｔｅｒ＋Ｉｎｔｒａ）
ここで、Ｉｎｔｅｒはインターフレーム処理（３次元予測）の処理回数、Ｉｎｔｒａはイントラフレーム処理（２次元予測）の処理回数を表す。インターフレーム処理を行うかイントラフレーム処理を行うかは、被符号化画素近傍の２枚の連続するフレーム間の信号値の相関係数によって決定され、相関係数が大きい場合にはインターフレーム処理、小さい場合にはフレーム内処理を行う。
【００６８】
したがって、Ｒinterが大きい場合、すなわち、インターフレーム処理の処理回数が多い場合には、フレーム間相関が大きいと判断する。この最低周波数帯域でのＲinter値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において適応予測符号化を行うかどうか決定する。すなわち、
・Ｒinter＞＝ＴＨの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００６９】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００７０】
ここで、ＴＨは閾値であり、０＝＜ＴＨ＝＜１の値をとる。
【００７１】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域では以下のように処理を進める。
【００７２】
・Ｒinter＞＝ＴＨの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００７３】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００７４】
以上の処理を高帯域へ向かって行い、Ｒinter＜ＴＨの条件を満足するか、最高周波数帯域ＨＬ（１）まで処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。以上のＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図１４であり、Ｒinterによる相関判定部２５、２６、…の計算結果の大きさによりＬＨ方向の帯域時空間適応予測処理２１〜２２を行うか行わないかを判断する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１５には分割レベルが２レベルの場合の帯域時空間適応予測処理のフローチャートを示し、ＬＬ（２）での予測処理でＲinter値がＴＨ以上に大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにＲinter値とＴＨとの大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００７５】
以上の方法においては、時空間適応予測を行うかどうかは１レベル低い周波数帯域のＲinter値によって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない。
【００７６】
（第６実施形態）
本実施形態例では、第２実施形態において、フレーム間相関の大きさとして、Ｒinterを用いた場合の動画像復号化装置および方法の実施形態を示す。Ｒinterによる相関判定部２５、２６において最低周波数帯ＬＨ（ｎ）におけるＲinter値を計算する。この結果で、
・Ｒinter＞＝ＴＨの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００７７】
・Ｒinter＜ＴＨの場合、ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００７８】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域では以下のように処理を進める。
【００７９】
ＬＨ方向、ＨＬ方向、ＨＨ方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、１レベル低い周波数帯域におけるＲinter値を計算し、その値が、
・Ｒinter＞＝ＴＨの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００８０】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００８１】
なお、ＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理例を図１６に示した。Ｒinter＜ＴＨの条件を満足するかまたは最高周波数帯域ＬＨ（１）の処理を終了するか、いずれかの条件を満足すると、ＬＨ方向の処理は終了する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１７には分割レベルが２レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、ＬＬ（２）での予測処理でＲinter値がＴＨより大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにＲinterの大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００８２】
（第７実施形態）
本実施形態例では、第３実施形態において、フレーム間相関の大きさとして、Ｒinterを用いた場合の動画像符号化装置および方法の実施形態を示す。図１１の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのＲinter値を計算する。それぞれの小ブロックのＲinter値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・Ｒinter＞＝ＴＨの場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【００８３】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００８４】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図１８には分割レベルが２レベルの場合の帯域時空間適応符号化処理のフローチャートを示し、ＬＬ（２）ＭＢ（ｎ）での予測処理でＲinter値がＴＨより大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにＲinterの大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００８５】
（第８実施形態）
本実施形態例では、第４実施形態において、フレーム間相関の大きさとして、Ｒinterを用いた場合の動画像復号化装置および方法の実施形態を示す。図１１の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのＲinter値を計算する。それぐれの小ブロックのＲinter値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
・Ｒinter＞＝ＴＨの場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【００８６】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００８７】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図１９には分割レベルが２レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、ＬＬ（２）ＭＢ（ｎ）での予測処理でＲinter値がＴＨより大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにＲinterの大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００８８】
【発明の効果】
以上の説明で明らかなように、本発明によれば、動画像の効率の良い非可逆符号化および可逆符号化ができ、少ないディスク容量で保存が可能となる。さらに、空間解像度スケーラビリティーを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。
【００８９】
また、低域から任意の帯域まで復号すると原画像よりも低い空間解像度の画像を再生でき、全てのデータを復号すると、原画像と同じ解像度の画像が再生される。画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生したい場合は、必要な帯域までに対応する符号化データの復号のみで済む。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また符号化ビットストリームを伝送する場合は必要なデータのみを伝送すれば良いため、伝送レートも小さくなる。
【図面の簡単な説明】
【図１】本発明の第１実施形態における動画像符号化装置・方法の基本構成図（非可逆符号化用）。
【図２】本発明の第１実施形態における動画像符号化装置・方法の基本構成図（可逆符号化用）。
【図３】オクターブ分割による帯域分割の模式図。
【図４】帯域時空間適応予測符号化処理の要部構成図。
【図５】分割帯域のフレーム間相関関係図。
【図６】フレーム間相関による帯域時空間適応予測符号化処理のフローチャート。
【図７】本発明の第２実施形態における動画像復号化装置・方法の基本構成図（非可逆符号化用）。
【図８】本発明の第２実施形態における動画像符号化装置・方法の基本構成図（可逆符号化用）。
【図９】帯域時空間適応予測復号化処理の要部構成図。
【図１０】フレーム間相関による帯域時空間適応予測復号処理のフローチャート。
【図１１】小ブロック分割帯域のフレーム間相関関係図。
【図１２】小ブロックによる帯域時空間適応予測符号化処理のフローチャート。
【図１３】小ブロックによる帯域時空間適応予測復号化処理のフローチャート。
【図１４】相関係数Ｒinterによる帯域時空間適応予測符号化処理の要部構成図。
【図１５】相関係数Ｒinterによる帯域時空間適応予測符号化処理のフローチャート。
【図１６】相関係数Ｒinterによる帯域時空間適応予測復号化処理の要部構成図。
【図１７】相関係数Ｒinterによる帯域時空間適応予測復号化処理のフローチャート。
【図１８】小ブロックと相関係数Ｒinterによる帯域時空間適応予測符号化処理のフローチャート。
【図１９】小ブロックと相関係数Ｒinterによる帯域時空間適応予測復号化処理のフローチャート。
【符号の説明】
１０…帯域分割部
１１〜１４、２０〜２２…帯域時空間適応予測部
１５…量子化部
１６…エントロピー符号化部
１７…フレーム間相関判定部
２３、２４…フレーム間相関判定部
２５、２６…Ｒinterによる相関判定部
３０…エントロピー復号化部
３１〜３４…帯域時空間適応予測復号化部
３５…逆量子化部
３６…帯域合成部
３７…フレーム間相関判定部
４０〜４２…帯域時空間適応予測復号化部
４３、４４…フレーム間相関判定部
【発明の属する技術分野】
本発明は、動画像を効率よく伝送、蓄積するための符号化および復号化に関する。
【０００２】
【従来の技術】
動画像の代表的な符号化法として、
（１）ＭＰＥＧに代表される動き補償とＤＣＴを用いた手法。
【０００３】
（２）ＭｏｔｉｏｎＪＰＥＧ２０００に代表されるウェーブレット変換を用いた手法。
はよく知られている。
【０００４】
動き補償とＤＣＴを用いた手法はこれまで数々のモデルが提案され、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。
【０００５】
一方、ＭｏｔｉｏｎＪＰＥＧ２０００など、ウェーブレットを用いた手法は、動き補償とＤＣＴを用いた手法にはない空間・時間・ＳＮＲスケーラビリティなど様々な有効な機能を持つ。
【０００６】
しかしながら、ＭｏｔｉｏｎＪＰＥＧ２０００はフレーム内相関のみを利用するため、動き補償とＤＣＴを用いた手法よりも符号化効率が劣ることが知られている。ウェーブレットを用いて、かつフレーム間相関を除去し、符号化効率を改善した方法としては、時空間適応予測がある（例えば、非特許文献１参照）。
【０００７】
この方法は、可逆符号化として提案された手法であるが、非可逆符号化にも適用可能な手法であり、効率よくフレーム間相関を除去することが可能である。
【０００８】
【非特許文献１】
仲地孝之、澤邊知子、藤井竜也、藤井哲郎、“解像度スケーラビリティーを有する動画像可逆符号化法の検討”、第１６回ディジタル信号処理シンポジウム講演論文集、pp.439-444,2001年11月
【０００９】
【発明が解決しようとする課題】
時空間予測符号化は、ウェーブレット係数領域において非線形予測を適用することによってフレーム間相関を除去する。ウェーブレット変換を用いているため空間スケーラビリティ機能が実現でき、かつフレーム間相関も除去しているため符号化効率も高い方式である。
【００１０】
しかしながら、時空間予測を行う帯域が固定のために、必ずしも種々の画像に適した方式とはなっていない。また、帯域を可変としたモデルも提案されている（例えば、非特許文献１）。しかし、この手法では、付加情報量が必要であり効率的ではない。
【００１１】
本発明の目的は、付加情報量を増加させることなく、画像の統計的性質に応じて適応的にフレーム間相関を除去する帯域を変化させ、符号化効率を改善した時空間予測による動画像符号化方法とその復号化方法、およびそれらの装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の問題を解決するため、本発明は、以下の動画像符号化方法、動画像復号化方法、およびそれらの装置を特徴とする。
【００１３】
（１）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【００１４】
（２）動画像を出力とする復号化において、上記（１）記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【００１５】
（３）上記（１）記載の動画像符号化方法において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて符号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化することを特徴とする。
【００１６】
（４）動画像を出力とする復号化において、上記（３）記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて復号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化することを特徴とする。
【００１７】
（５）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、時空間適応予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【００１８】
（６）動画像を出力とする復号化において、上記（５）記載の動画像符号化方法により符号化された信号を、時空間適応予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【００１９】
（７）上記（５）記載の動画像符号化方法において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて符号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化することを特徴とする。
【００２０】
（８）動画像を出力とする復号化において、上記（７）記載の動画像符号化方法により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて復号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化することを特徴とする。
【００２１】
（９）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【００２２】
（１０）動画像を出力とする復号化において、上記（９）記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【００２３】
（１１）上記（９）記載の動画像符号化において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて符号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化する手段を有することを特徴とする。
【００２４】
（１２）動画像を出力とする復号化において、上記（１１）記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて復号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化する手段を有することを特徴とする。
【００２５】
（１３）動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、時空間適応予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【００２６】
（１４）動画像を出力とする復号化において、上記（１３）記載の動画像符号化装置により符号化された信号を、時空間適応予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【００２７】
（１５）上記（１３）記載の動画像符号化において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて符号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化する手段を有することを特徴とする。
【００２８】
（１６）動画像を出力とする復号化において、上記（１５）記載の動画像符号化装置により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて復号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化する手段を有することを特徴とする。
【００２９】
【発明の実施の形態】
（第１実施形態）
図１及び図２に時空間適応予測による動画像符号化装置および方法を実現するための基本構成図を示す。図１は非可逆符号化用、図２は可逆符号化用であり、本発明による時空間適応予測符号化法は可逆および非可逆のどちらにも適用可能である。
【００３０】
図１または図２において、１０は帯域分割部、１１〜１４は分割された帯域ごとに設けた時空間適応予測処理部、１６はエントロピー符号化部である。非可逆符号化の場合には、量子化部１５においてウェーブレット係数または時空間適応予測による差分信号を量子化する。さらに、非可逆符号化の場合には、エントロピー符号化として、ＪＰＥＧ２０００で用いられているＥＢＣＯＴを用いることにより、空間およびＳＮＲスケーラビリティを実現できる。可逆符号化においては、量子化を行わず、ウェーブレット係数または時空間適応予測による差分信号を直接エントロピー符号化する。
【００３１】
入力された原画像は、帯域分割部１０において複数の空間解像度の帯域に分割される。この帯域分割には、図３に示すオクターブ分割を用いる。オクターブ分割では、１次元の２分割フィルタを用いて低帯域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。この処理を、水平方向および垂直方向にそれぞれ施す。
【００３２】
次に、分割された各帯域において時空間適応予測により符号化を行う。まず、最低周波数帯域ＬＬ（ｎ）に対して（ｎは、帯域分割レベル数）適応予測符号化を行う。ここで、適応予測符号化は、前記非特許文献１に示される方法を利用することができる。この方法を説明すると、時空間適応予測符号化法では、２次元予測器と３次元予測器を用意し、画像信号の局所的性質により予測器を切り替える。この２次元予測器と３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算する。この計算で、相関係数が大きい場合、すなわち現フレーム内信号と参照フレーム内信号の波形が似ている場合には、予測精度が向上すると考えられることから、３次元予測を行い、それ以外の場合には２次元予測を行う。これにより、画像の局所的性質に適応することができ、予測精度が向上する。
【００３３】
次に、最低周波数帯域における適応予測符号化が終了後、フレーム間相関判定部１７で現フレームと参照フレームの最低周波数帯域におけるフレーム間相関を計算する。フレーム間相関が大きいか小さいかを判断するにはいくつかの方法が考えられるが、一例を後の（第５実施形態）として示す。
【００３４】
まず、最低周波数帯域におけるフレーム間相関の大きさによって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において、適応予測符号化を行うかどうか決定する。
【００３５】
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００３６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化して処理終了する。
【００３７】
この理由は、最低周波数帯域の信号と隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の信号には相関が存在することを利用している。すなわち、最低周波数帯域においてフレーム間相関が大きい場合は、隣接する３つの帯域においてもフレーム間相関が強いことが予想される。この手法では、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において時空間適応予測を行うかどうかは最低周波数帯域によって決定され、エンコーダおよびデコーダで共有した情報を利用できるため、新たな付加情報量も必要としない。
【００３８】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。ウェーブレットにおいては、最低周波数帯域から見て同一方向の周波数帯域間には相関が存在することが知られている。すなわち、
ＬＨ（ｎ）、ＬＨ（ｎ−１）、…、ＬＨ（１）
の帯域間には相関が存在し、同様にＨＬ方向間、ＨＨ方向間、すなわち
ＨＬ（ｎ）、ＨＬ（ｎ−１）、…、ＨＬ（１）の間
ＨＨ（ｎ）、ＨＨ（ｎ−１）、…、ＨＨ（１）の間
に、それぞれ相関は存在する。この性質を利用して、各帯域において時空間適応予測を行うか行わないかを、それぞれの周波数帯域の１レベル低い周波数帯域のフレーム間相関の大きさによって判断する。すなわち、
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００３９】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００４０】
以上の処理を高帯域へ向かって行い、フレーム間相関が小さいか、最高周波数帯域ＬＨ（１）まで処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。
【００４１】
以上のＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図４であり、フレーム間相関の計算処理２３、２４、…の計算結果の大きさによりＬＨ方向の帯域時空間適応予測処理２１〜２２を行うか行わないかを判断する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図５は、それぞれの帯域の相関関係を図示したもので、矢印の方向に向かって以上に示した処理を進める。また、図６には分割レベルが２レベルの場合の帯域時空間適応予測処理のフローチャートを示し、ＬＬ（２）での予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００４２】
以上の方法においては、帯域時空間適応予測処理を行うかどうかは１レベル低い周波数帯域のフレーム間相関の大きさによって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない、
上記までの処理終了後、図１または図２のエントロピー符号化部１６においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【００４３】
（第２実施形態）
図７および図８に、上記の第１実施形態例で符号化されたデータを復号するための動画像復号化装置および方法を実現するための基本構成図を示す。図７は非可逆復号化用、図８は可逆復号化用である。図７または図８において、３０はエントロピー復号化部、３１〜３４は分割された帯域ごとに設けた時空間適応予測復号化部、３５は帯域合成部、３７はフレーム間相関判定部である。
【００４４】
最初にエントロピー復号化部３０において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部３５においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。最低周波数帯ＬＬ（ｎ）の時空間適応予測復号化部３１の処理は、例えば、前記の非特許文献１に示す方法を利用することができる。この方法を説明すると、時空間適応予測復号化においては、時空間適応予測符号化と同様に、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算して予測器を選択する。この計算で、相関係数が大きい場合には３次元予測を行い、小さい場合には２次元予測を行う。得られた予測値に、差分信号を逆量子化した信号を加えることにより、最低周波数帯域の信号が復元される。
【００４５】
次に、時空間適応予測復号化部３１は、引き続く高周波数帯域の復号を時空間予測復号化で行うか、直接ウェーブレット係数を復号するか判断するために、フレーム間相関判定部３７で最低周波数帯ＬＬ（ｎ）におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００４６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化して処理終了する。
【００４７】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。
【００４８】
ＬＨ方向、ＨＬ方向、ＨＨ方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、１レベル低い周波数帯域におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００４９】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００５０】
なお、ＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図９であり、フレーム間相関判定部４３、４４、…によりの計算により、ＬＨ方向の帯域時空間適応予測復号化処理４０〜４２を行うか行わないかを判断し、フレーム間相関が小さいか、または最高周波数帯域ＬＨ（１）の処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１０には分割レベルが２レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、ＬＬ（２）での予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００５１】
上記までの処理終了後、図７または図８の帯域合成部３５においては、各帯域の出力を合成して画像を復号化する。
【００５２】
（第３実施形態）
前記の第１実施形態例においては、適応予測符号化を行うかウェーブレット係数を直接符号化するかは各周波数帯域で帯域ごとに行っていた。本実施形態例では、最低周波数帯域以外において適応予測符号化を行うかウェーブレット係数を直接符号化するかの判断を小ブロック単位で行う。小ブロック単位の処理によって、より画像の局所的性質に適応した符号化が可能となり、符号化効率が向上する。
【００５３】
ウェーブレットにおいては、同じ空間位置に対応する各周波数成分は互いに相関があることが知られている、この性質を利用して、図１１に示すように各周波数帯域の同じ空間位置に対応する小ブロック単位で処理を行う。
【００５４】
まず、最低周波数帯域は、すべて第１実施形態例と同様に、すべて時空間適応予測符号化を施す。
【００５５】
次に、最低周波数帯域をＬ×Ｌ画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・フレーム間相関が大きい場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【００５６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００５７】
フレーム間相関が大きい場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図１２には分割レベルが２レベルの場合の帯域適応処理のフローチャートを示し、ＬＬ（２）の小ブロックＭＢ（ｎ）についての予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００５８】
エントロピー符号化においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【００５９】
（実施形態４）
本実施形態例では、前記の第３実施形態例による小ブロック単位処理により符号化された信号の復号化方法を示す。基本構成は、図７または図８に示す第３実施形態例に等しいが、最低周波数帯域以外の処理が小ブロック単位になる点が異なる。
【００６０】
最初にエントロピー復号化部３０において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部３５においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。
【００６１】
最低周波数帯ＬＬ（ｎ）の時空間適応予測復号化部３１の処理は、第３実施形態例に全く等しく、前記の非特許文献１に示す方法を利用することができる。
【００６２】
次に、復号化された最低周波数帯域の信号をＬ×Ｌ画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関の大きさによって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
フレーム間相関が大きい場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【００６３】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００６４】
フレーム間相関が大きい場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図１３には分割レベルが２レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、ＬＬ（２）の小ブロックＭＢ（ｎ）についての予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００６５】
これら判定処理後、帯域合成部３６においては、各帯域の出力を合成して画像を復号化する。
【００６６】
（第５実施形態）
本実施形態例では、前記の第１実施形態において、フレーム間相関の大きさとして、以下に示すフレーム間の相関係数Ｒinterを用いた場合の動画像符号化装置および方法の実施形態を示す。
【００６７】
Ｒinter＝Ｉｎｔｅｒ／（Ｉｎｔｅｒ＋Ｉｎｔｒａ）
ここで、Ｉｎｔｅｒはインターフレーム処理（３次元予測）の処理回数、Ｉｎｔｒａはイントラフレーム処理（２次元予測）の処理回数を表す。インターフレーム処理を行うかイントラフレーム処理を行うかは、被符号化画素近傍の２枚の連続するフレーム間の信号値の相関係数によって決定され、相関係数が大きい場合にはインターフレーム処理、小さい場合にはフレーム内処理を行う。
【００６８】
したがって、Ｒinterが大きい場合、すなわち、インターフレーム処理の処理回数が多い場合には、フレーム間相関が大きいと判断する。この最低周波数帯域でのＲinter値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において適応予測符号化を行うかどうか決定する。すなわち、
・Ｒinter＞＝ＴＨの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００６９】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００７０】
ここで、ＴＨは閾値であり、０＝＜ＴＨ＝＜１の値をとる。
【００７１】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域では以下のように処理を進める。
【００７２】
・Ｒinter＞＝ＴＨの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００７３】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００７４】
以上の処理を高帯域へ向かって行い、Ｒinter＜ＴＨの条件を満足するか、最高周波数帯域ＨＬ（１）まで処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。以上のＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図１４であり、Ｒinterによる相関判定部２５、２６、…の計算結果の大きさによりＬＨ方向の帯域時空間適応予測処理２１〜２２を行うか行わないかを判断する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１５には分割レベルが２レベルの場合の帯域時空間適応予測処理のフローチャートを示し、ＬＬ（２）での予測処理でＲinter値がＴＨ以上に大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにＲinter値とＴＨとの大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００７５】
以上の方法においては、時空間適応予測を行うかどうかは１レベル低い周波数帯域のＲinter値によって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない。
【００７６】
（第６実施形態）
本実施形態例では、第２実施形態において、フレーム間相関の大きさとして、Ｒinterを用いた場合の動画像復号化装置および方法の実施形態を示す。Ｒinterによる相関判定部２５、２６において最低周波数帯ＬＨ（ｎ）におけるＲinter値を計算する。この結果で、
・Ｒinter＞＝ＴＨの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００７７】
・Ｒinter＜ＴＨの場合、ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００７８】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域では以下のように処理を進める。
【００７９】
ＬＨ方向、ＨＬ方向、ＨＨ方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、１レベル低い周波数帯域におけるＲinter値を計算し、その値が、
・Ｒinter＞＝ＴＨの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００８０】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００８１】
なお、ＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理例を図１６に示した。Ｒinter＜ＴＨの条件を満足するかまたは最高周波数帯域ＬＨ（１）の処理を終了するか、いずれかの条件を満足すると、ＬＨ方向の処理は終了する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１７には分割レベルが２レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、ＬＬ（２）での予測処理でＲinter値がＴＨより大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにＲinterの大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００８２】
（第７実施形態）
本実施形態例では、第３実施形態において、フレーム間相関の大きさとして、Ｒinterを用いた場合の動画像符号化装置および方法の実施形態を示す。図１１の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのＲinter値を計算する。それぞれの小ブロックのＲinter値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・Ｒinter＞＝ＴＨの場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【００８３】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００８４】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図１８には分割レベルが２レベルの場合の帯域時空間適応符号化処理のフローチャートを示し、ＬＬ（２）ＭＢ（ｎ）での予測処理でＲinter値がＴＨより大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにＲinterの大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００８５】
（第８実施形態）
本実施形態例では、第４実施形態において、フレーム間相関の大きさとして、Ｒinterを用いた場合の動画像復号化装置および方法の実施形態を示す。図１１の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのＲinter値を計算する。それぐれの小ブロックのＲinter値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
・Ｒinter＞＝ＴＨの場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【００８６】
・Ｒinter＜ＴＨの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００８７】
Ｒinter＞＝ＴＨの場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図１９には分割レベルが２レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、ＬＬ（２）ＭＢ（ｎ）での予測処理でＲinter値がＴＨより大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにＲinterの大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００８８】
【発明の効果】
以上の説明で明らかなように、本発明によれば、動画像の効率の良い非可逆符号化および可逆符号化ができ、少ないディスク容量で保存が可能となる。さらに、空間解像度スケーラビリティーを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。
【００８９】
また、低域から任意の帯域まで復号すると原画像よりも低い空間解像度の画像を再生でき、全てのデータを復号すると、原画像と同じ解像度の画像が再生される。画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生したい場合は、必要な帯域までに対応する符号化データの復号のみで済む。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また符号化ビットストリームを伝送する場合は必要なデータのみを伝送すれば良いため、伝送レートも小さくなる。
【図面の簡単な説明】
【図１】本発明の第１実施形態における動画像符号化装置・方法の基本構成図（非可逆符号化用）。
【図２】本発明の第１実施形態における動画像符号化装置・方法の基本構成図（可逆符号化用）。
【図３】オクターブ分割による帯域分割の模式図。
【図４】帯域時空間適応予測符号化処理の要部構成図。
【図５】分割帯域のフレーム間相関関係図。
【図６】フレーム間相関による帯域時空間適応予測符号化処理のフローチャート。
【図７】本発明の第２実施形態における動画像復号化装置・方法の基本構成図（非可逆符号化用）。
【図８】本発明の第２実施形態における動画像符号化装置・方法の基本構成図（可逆符号化用）。
【図９】帯域時空間適応予測復号化処理の要部構成図。
【図１０】フレーム間相関による帯域時空間適応予測復号処理のフローチャート。
【図１１】小ブロック分割帯域のフレーム間相関関係図。
【図１２】小ブロックによる帯域時空間適応予測符号化処理のフローチャート。
【図１３】小ブロックによる帯域時空間適応予測復号化処理のフローチャート。
【図１４】相関係数Ｒinterによる帯域時空間適応予測符号化処理の要部構成図。
【図１５】相関係数Ｒinterによる帯域時空間適応予測符号化処理のフローチャート。
【図１６】相関係数Ｒinterによる帯域時空間適応予測復号化処理の要部構成図。
【図１７】相関係数Ｒinterによる帯域時空間適応予測復号化処理のフローチャート。
【図１８】小ブロックと相関係数Ｒinterによる帯域時空間適応予測符号化処理のフローチャート。
【図１９】小ブロックと相関係数Ｒinterによる帯域時空間適応予測復号化処理のフローチャート。
【符号の説明】
１０…帯域分割部
１１〜１４、２０〜２２…帯域時空間適応予測部
１５…量子化部
１６…エントロピー符号化部
１７…フレーム間相関判定部
２３、２４…フレーム間相関判定部
２５、２６…Ｒinterによる相関判定部
３０…エントロピー復号化部
３１〜３４…帯域時空間適応予測復号化部
３５…逆量子化部
３６…帯域合成部
３７…フレーム間相関判定部
４０〜４２…帯域時空間適応予測復号化部
４３、４４…フレーム間相関判定部
Claims (16)
- 動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項１記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする動画像復号化方法。
- 請求項１記載の動画像符号化方法において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて符号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項３記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて復号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化することを特徴とする動画像復号化方法。
- 動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、時空間適応予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項５記載の動画像符号化方法により符号化された信号を、時空間適応予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする動画像復号化方法。
- 請求項５記載の動画像符号化方法において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて符号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化することを特徴とする動画像符号化方法。
- 動画像を出力とする復号化において、請求項７記載の動画像符号化方法により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて復号化し、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化することを特徴とする動画像復号化方法。
- 動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項９記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
- 請求項９記載の動画像符号化において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて符号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項１１記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には該帯域を時空間適応予測にて復号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
- 動画像を対象とする符号化において、原画像を帯域分割し、分割した帯域ごとにイントラフレーム処理（２次元予測）を行う２次元予測器とインターフレーム処理（３次元予測）を行う３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算し、相関係数が大きい場合にはインターフレーム処理（３次元予測）を行い、それ以外の場合にはイントラフレーム処理（２次元予測）を行う時空間適応予測において、時空間適応予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項１３記載の動画像符号化装置により符号化された信号を、時空間適応予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
- 請求項１３記載の動画像符号化において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（ ２次元予測）に対して高い場合には時空間適応予測にて符号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
- 動画像を出力とする復号化において、請求項１５記載の動画像符号化装置により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して高い場合には時空間適応予測にて復号化する手段と、インターフレーム処理（３次元予測）の割合がイントラフレーム処理（２次元予測）に対して低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002320771A JP4153774B2 (ja) | 2002-11-05 | 2002-11-05 | 動画像符号化方法とその復号化方法、およびそれらの装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002320771A JP4153774B2 (ja) | 2002-11-05 | 2002-11-05 | 動画像符号化方法とその復号化方法、およびそれらの装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004158946A JP2004158946A (ja) | 2004-06-03 |
| JP4153774B2 true JP4153774B2 (ja) | 2008-09-24 |
Family
ID=32801518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002320771A Expired - Fee Related JP4153774B2 (ja) | 2002-11-05 | 2002-11-05 | 動画像符号化方法とその復号化方法、およびそれらの装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4153774B2 (ja) |
-
2002
- 2002-11-05 JP JP2002320771A patent/JP4153774B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004158946A (ja) | 2004-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101972407B1 (ko) | 영상 부호화 및 복호화 장치 및 그 방법 | |
| KR102051083B1 (ko) | 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법 | |
| RU2615323C2 (ru) | Способ и устройство для кодирования видео и способ и устройство для декодирования видео | |
| JP5197630B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 | |
| KR20100017453A (ko) | 비디오 신호 처리 방법 및 장치 | |
| JP2008522537A (ja) | 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置 | |
| KR20110065089A (ko) | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 | |
| KR20130098122A (ko) | 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법 | |
| KR20060119736A (ko) | 영상 신호의 인코딩 방법 | |
| KR100809603B1 (ko) | 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법 | |
| KR101700410B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| EP1841235A1 (en) | Video compression by adaptive 2D transformation in spatial and temporal direction | |
| WO2014084674A2 (ko) | 잔차 변환을 이용한 인트라 예측 방법 및 장치 | |
| JP4762486B2 (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
| JP4153774B2 (ja) | 動画像符号化方法とその復号化方法、およびそれらの装置 | |
| JP4522951B2 (ja) | 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体 | |
| KR101562343B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR102111437B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| JP4113696B2 (ja) | 動画像可逆符号化方法とその復号化方法、及びそれらの装置 | |
| KR101934840B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR101810198B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| KR101700411B1 (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 | |
| JP4511607B2 (ja) | 動画像可逆符号化方法とその復号化方法、及びそれらのプログラム | |
| KR20140129418A (ko) | 잔차 변환을 이용한 인트라 예측 방법 및 장치 | |
| KR20190084929A (ko) | 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |