JP2006108923A - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム Download PDF

Info

Publication number
JP2006108923A
JP2006108923A JP2004290549A JP2004290549A JP2006108923A JP 2006108923 A JP2006108923 A JP 2006108923A JP 2004290549 A JP2004290549 A JP 2004290549A JP 2004290549 A JP2004290549 A JP 2004290549A JP 2006108923 A JP2006108923 A JP 2006108923A
Authority
JP
Japan
Prior art keywords
band signal
low
band
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004290549A
Other languages
English (en)
Inventor
Chunsen Bun
チュンセン ブン
Thiow Keng Tan
ティオ ケン タン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2004290549A priority Critical patent/JP2006108923A/ja
Priority to CNA2005101076013A priority patent/CN1777288A/zh
Priority to EP20050021321 priority patent/EP1643773A3/en
Priority to US11/239,196 priority patent/US20060074692A1/en
Publication of JP2006108923A publication Critical patent/JP2006108923A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

【課題】 動き補償付き時間方向帯域分割の処理遅延を低減し、且つ高い符号化効率で動画像を符号化することが可能な動画像符号化装置を提供する。
【解決手段】 一実施形態に係る動画像符号化装置では、動画像における複数の画像が二つずつ符号化対象とされる。符号化対象の画像は、帯域分割処理によって高帯域信号と低帯域信号に帯域分割される。高帯域信号は第1の符号化処理によって圧縮高帯域信号とされ、低帯域信号は第2の符号化処理によって圧縮低帯域信号とされる。圧縮低帯域信号は、第2の復号処理によって再生低帯域信号とされる。第2の符号化処理では、符号化対象の低帯域信号の予測信号が他の低帯域信号に基づく再生低帯域信号から生成され、符号化対象の低帯域信号と当該再生低帯域信号との差分に基づく残差信号が符号化される。
【選択図】 図1

Description

本発明は、動き補償付き時間方向帯域分割処理を用いた動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラムに関するものである。
動画像データの伝送や蓄積を効率よく行うための技術として、種々の圧縮符号化技術が知られている。例えば、MPEG1〜4やH.261〜H.264に採用された動画像符号化技術、及びサブバンド分割やウェーブレット分割を用いた動画像符号化技術等が知られている。
サブバンド分割やウェーブレット分割を用いた動画像符号化方式では、動画像を構成する複数の画像が一つずつ符号化対象となる。符号化対象の画像は、所定のフィルタを用いて複数の周波数帯域に分割される。分割された各信号は、量子化され、更に符号化される。この符号化を「画面内サブバンド符号化方式」という。
一方、時間方向帯域分割と称される処理に基づく符号化方式がある。この方式では、動画像を構成する複数の画像が二つずつ符号化対象となる。符号化対象の二つの画像は、所定のフィルタを用いて時間方向に帯域分割されることによって、高周波数帯域信号(以下、高帯域信号という)と低周波数帯域信号(以下、低帯域信号という)とに分割される。高帯域信号は、離散コサイン変換を用いて符号化される。低帯域信号は、符号化対象の二つの画像とは異なる二つの画像から同様に生成された低帯域信号と一組とされ、さらに時間方向に帯域分割される。かかる方式では、低帯域信号の時間方向での帯域分割が繰り返されることによって、良好な符号化性能が達成される。
上述した時間方向帯域分割に、従来の動き検出、動き補償が加えられた「動き補償付き時間方向帯域分割」と称される処理を用いた動画像符号化方式が、下記の非特許文献1に記載されている。
動き補償付き時間方向帯域分割によれば、低帯域信号では入力画像が本来所有する雑音信号が軽減され、かつ、高帯域信号では予測誤差が小さくなるため圧縮符号化効率が高くなる。
Seung-Jong Choi and John W. Woods, "Motion-Compensated 3-D Subband Coding of Video", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 8, NO. 2, FEBRUARY 1999。
しかしながら、上述した動き補償付き時間方向帯域分割を用いた動画像符号化の圧縮符号化効率を高めるためには、低帯域信号の帯域分割の処理回数を多くする必要がある。
図20は従来の動き補償付き時間方向帯域分割処理の流れを模式的に示す図である。図20において、a0、b0、a1、b1、a2、b2、a3、b3、a4、b4は、それぞれ、動画像を構成する各画像を表す。それらのうち二つの画像ai、bi(i=0,1,2,3,…)は、帯域分割処理2001によって、高帯域信号hi(i=0,1,2,3,…)と低帯域信号ri(i=0,1,2,3,…)とに分割される。隣り合う2つの低帯域信号riは、帯域分割処理2002によって、さらに高帯域信号と低帯域信号とに分割される。例えば、r0とr1は帯域分割処理2002によって、高帯域信号h01と低帯域信号r01とに分割される。同様に、r2とr3は帯域分割処理2002によって、高帯域信号h23と低帯域信号r23とに分割される。圧縮率を高めるために、r01とr23は帯域分割処理2003によって、高帯域信号h0123と低帯域信号r0123とに分割される。このようにして分割された画像信号r0123、h0123、h01、h23、h0、h1、h2、h3は、所定の方法で圧縮符号化される。帯域分割処理2001、2002、2003としては、一般的にはHaar変換が用いられる。
図20からわかるように、最終の低帯域信号r0123を生成するためには、a0、b0、a1、b1、a2、b2、a3、b3の8コマの画像が必要となる。さらに圧縮率を高めるためには、16コマの画像が必要となる。
このように、従来の動き補償付き時間方向帯域分割を用いた符号化は、圧縮率を高めるために、低帯域信号の分割回数を多くする必要がある。したがって、映像伝送の遅延時間が大きくなる。また、最終の低帯域信号の分割が終了するまで入力画像や中間処理画像を記憶するために、大容量のフレームメモリが必要となる。
このような問題は、動き補償付き時間方向帯域分割に基づくデータを復号する際にも同様に生じる。
そこで、本発明は、動き補償付き時間方向帯域分割の処理遅延を低減し、且つ高い符号化効率で動画像を符号化することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムを提供することを目的としている。また、本発明は、この動画像符号化装置によって生成されたデータから、少ない処理遅延で動画像を復元可能な動画像復号装置、動画像復号方法、動画像復号プログラムを提供することを目的としている。
本発明の一側面に係る動画像符号化装置は、(a)動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、(b)上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、(c)上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、を備え、(d)上記第2の符号化手段は、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
また、本発明の別の一側面に係る動画像符号化方法は、(a)帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、(b)第1の符号化手段が、上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化ステップと、(c)第2の符号化手段が、上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化ステップと、を含み、(d)上記第2の符号化ステップにおいて、上記第2の符号化手段が、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
また、本発明の更に別の一側面に係る動画像符号化プログラムは、コンピュータを、(a)動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、(b)上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、(c)上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、として機能させるためのプログラムである。ここで、(d)第2の符号化手段は、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
本発明によれば、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象の画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第2の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの低帯域信号に基づく予測信号との差分による残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
本発明の一側面に係る動画像符号化装置は、(a)動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、(b)上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、(c)上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、(d)上記低帯域信号を再生するための第2の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号手段と、を備え、(e)上記第2の符号化手段は、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
また、本発明の別の一側面に係る動画像符号化方法は、(a)帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、(b)第1の符号化手段が、上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化ステップと、(c)第2の符号化手段が、上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化ステップと、(d)第2の復号手段が、上記低帯域信号を再生するための第2の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号ステップと、を含み、(e)上記第2の符号化ステップにおいて、上記第2の符号化手段が、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
また、本発明の更に別の一側面に係る動画像符号化プログラムは、コンピュータを、(a)動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、(b)上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、(c)上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、(d)上記低帯域信号を再生するための第2の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号手段と、として機能させるためのプログラムである。ここで、(e)第2の符号化手段は、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
本発明によれば、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第2の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの再生低帯域信号に基づく予測信号との差分による残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
本発明の一側面に係る動画像符号化装置は、(a)動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、(b)上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、(c)上記圧縮高帯域信号を再生するための第1の復号処理を上記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第1の復号手段と、(d)上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、(e)上記低帯域信号を再生するための第2の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号手段と、(f)上記第1の復号手段によって生成された再生高帯域信号と上記第2の復号手段によって生成された再生低帯域信号とを帯域合成することによって、上記第1の画像及び第2の画像各々の再生画像を生成する帯域合成手段と、を備え、(g)上記第2の符号化手段は、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
また、本発明の別の一側面に係る動画像符号化方法は、(a)帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、(b)第1の符号化手段が、上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化ステップと、(c)第1の復号手段が、上記圧縮高帯域信号を再生するための第1の復号処理を上記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第1の復号ステップと、(d)第2の符号化手段が、上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化ステップと、(e)第2の復号手段が、上記低帯域信号を再生するための第2の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号ステップと、(f)帯域合成手段が、上記第1の復号手段によって生成された再生高帯域信号と上記第2の復号手段によって生成された再生低帯域信号とを帯域合成することによって、上記第1の画像及び第2の画像各々の再生画像を生成する帯域合成ステップと、を含み、(g)上記第2の符号化ステップにおいて、上記第2の符号化手段が、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つ再生画像のうち少なくとも一つを参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
また、本発明の更に別の一側面に係る動画像符号化プログラムは、コンピュータを、(a)動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、(b)上記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、(c)上記圧縮高帯域信号を再生するための第1の復号処理を上記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第1の復号手段と、(d)上記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、(e)上記低帯域信号を再生するための第2の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号手段と、(f)上記第1の復号手段によって生成された再生高帯域信号と上記第2の復号手段によって生成された再生低帯域信号とを帯域合成することによって、上記第1の画像及び第2の画像各々の再生画像を生成する帯域合成手段と、として機能させるためのプログラムである。ここで、(g)第2の符号化手段は、上記第1の画像及び第2の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第1の画像及び第2の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
本発明によれば、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第2の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの再生低帯域信号及び再生画像の少なくとも一つに基づく予測信号との差分に基づく残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
本発明の一側面に係る動画像復号装置は、(a)動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号手段と、(b)上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号手段と、を備え、(c)上記第2の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。なお、本発明に係る動画像復号装置は、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つ再生画像を生成する帯域合成手段を更に備えてもよい。
また、本発明の別の一側面に係る動画像復号方法は、(a)第1の復号手段が、動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号ステップと、(b)第2の復号手段が、上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号ステップと、を含み、(c)上記第2の復号ステップにおいて、上記第2の復号手段が、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。なお、本発明に係る動画像復号方法は、帯域合成手段が、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成ステップを更に含んでもよい。
また、本発明の更に別の一側面に係る動画像復号プログラムは、コンピュータを、(a)動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号手段と、(b)上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号手段と、として機能するためのプログラムである。ここで、(c)第2の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。なお、本発明の形態に係る動画像復号プログラムは、コンピュータを、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段として更に機能させるためのプログラムであってもよい。
本発明では、復号対象の圧縮低帯域信号を復号した信号(再生残差信号)に、当該復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から生成済みの再生低帯域信号を参照することによって生成された予測信号を加算することによって、再生低帯域信号が生成される。このように、一度の復号処理によって再生低帯域信号が生成されるので、本発明によれば、再生低帯域信号の復元における遅延が削減される。なお、本発明において、帯域合成手段を更に備える場合では、この再生低帯域信号が、対応の再生高帯域信号に帯域合成されることによって、二つの再生画像が生成される。このように、一度の帯域合成処理によって二つの再生画像が生成されるので、動画像の復元における遅延が削減される。
本発明の一側面に係る動画像復号装置は、(a)動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号手段と、(b)上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号手段と、(c)上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、を備え、(d)上記第2の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。
また、本発明の別の一側面に係る動画像復号方法は、(a)第1の復号手段が、動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号ステップと、(b)第2の復号手段が、上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号ステップと、(c)帯域合成手段が、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成ステップと、を含み、(d)上記第2の復号において、上記第2の復号手段が、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。
また、本発明の更に別の一側面に係る動画像復号プログラムは、コンピュータを、(a)動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号手段と、(b)上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号手段と、(c)上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、として機能させるためのプログラムである。ここで、(d)第2の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。
本発明では、復号対象の圧縮低帯域信号を復号した信号(再生残差信号)に、当該復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から生成済みの再生低帯域信号及び再生画像の少なくとも一つを参照することによって生成された予測信号を加算することによって、再生低帯域信号が生成される。この再生低帯域信号が、対応の再生高帯域信号に帯域合成されることによって、二つの再生画像が生成される。このように、一度の帯域合成処理によって二つの再生画像が生成されるので、本発明によれば、動画像の復元における遅延が削減される。
以上説明したように、本発明によれば、動き補償付き時間方向帯域分割の処理遅延を低減し、且つ高い符号化効率で動画像を符号化することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムが提供される。また、この動画像符号化装置によって生成されたデータから、少ない処理遅延で動画像を復元可能な動画像復号装置、動画像復号方法、動画像復号プログラムが提供される。
本発明によれば、符号化及び復号に要する時間が短縮されるので、映像伝送の遅延時間が大幅に短縮される。更に、符号化及び復号の際に入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
<第1の実施形態>
図1は本発明の第1の実施形態に係る符号化装置の構成を示す図である。図1に示す動画像符号化装置120は、物理的には、CPU(中央処理装置)、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置120は、携帯電話といった移動通信端末、あるいはDVD記録装置といった機器であってもよい。すなわち、動画像符号化装置120には、情報処理可能な装置が広く適用される。
図1に示すように、動画像符号化装置120は、機能的に、入力端子101、入力画像記憶部102、帯域分割部(帯域分割手段)103、第1の符号化部(第1の符号化手段)104、第1の復号部(第1の復号手段)105、第2の符号化部(第2の符号化手段)106、第2の復号部(第2の復号手段)107、多重化部108、帯域合成部(帯域合成手段)109、出力端子110、及び、記憶部116を備える。
入力端子101には、複数の画像を含む動画像が入力される。入力端子101は、ラインL101経由で入力画像記憶部102に動画像を出力する。
入力画像記憶部102は、ラインL101経由で受けた動画像を一時的に記憶する。入力画像記憶部102は、記憶された動画像を構成する複数の画像のうち、時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像(以下、画像K及び画像Lという)として出力する。
帯域分割部103は、ラインL119経由で受けた画像KとラインL102経由で受けた画像Lとを時間方向に帯域分割することによって、高帯域信号HKLと低帯域信号LKLとを生成する。図2は帯域分割部103の構成を示す図である。図2に示すように、帯域分割部103は、動き補償器201と、減算器202と、増幅器203と、動き補償器204と、加算器205とを有する。
動き補償器201は、画像Lの予測画像を動き補償処理によって生成する。動き補償器201は、この動き補償処理において、画像Kを参照する。動き補償器201は、例えばブロックマッチング法に基づく動き補償処理を実行することできる。具体的に、動き補償器201は、画像Lをn×m(本実施の形態ではn=m=8とする)画素からなるブロックに分割する。そして、動き補償器201は、画像Lの各ブロックついて、そのブロック内の部分画像に対する誤差が最も小さい部分画像をもつ領域を画像Kから求める。動き補償器201は、更に、各ブロックについて、そのブロックと求めた対応の領域との間のベクトルを動きベクトルとし、当該領域内の部分画像を予測画像とする。
減算器202は、ラインL102経由で受けた画像Lの各ブロックの部分画像とラインL203経由で受けた対応の予測画像との差分を求めることによって、高帯域信号HKLを生成する。
増幅器203は、ラインL119経由で受けた画像Kの画素値を2倍に増幅することによって、画像Kを生成する。
動き補償器204は、高帯域信号HKLに動き補償処理を適用することによって、動き補償信号を生成する。なお、動き補償器204は、この動き補償処理において、動き補償器201によって生成された動きベクトルの方向を逆にしたベクトルを動きベクトルとして用いる。
加算器205は、ラインL205経由で受けた上記画像KとラインL206経由で受けた動き補償信号とを加算することによって、低帯域信号LKLを生成する。
図1に戻り、帯域分割部103は、動きベクトルをラインL120経由で多重化部108及び帯域合成部109に出力する。
第1の符号化部104は、ラインL103経由で受けた高帯域信号HKLに第1の符号化処理を適用することによって、圧縮高帯域信号HKLCを生成する。具体的に、この第1の符号化処理において、第1の符号化部104は、高帯域信号HKLを複数のブロックに分割する。そして、第1の符号化部104は、各ブロックについて、そのブロック内の信号に対して離散コサイン変換を施すことによって変換係数を生成し、当該変換係数を量子化することによって量子化変換係数を生成し、当該量子化変換係数を可変長符号化することによって、圧縮高帯域信号HKLCを生成する。なお、離散コサイン変換の代わりにウェーブレット変換が適用されてもよい。
第1の復号部105は、ラインL105経由で受けた圧縮高帯域信号HKLCに第1の復号処理を適用することによって、再生高帯域信号HKLRを復元する。第1の復号処理では、第1の符号化処理と対称の処理である。したがって、第1の復号部105は、第1の復号処理において、圧縮高帯域信号HKLCを可変長復号することによって再生量子化変換係数を生成し、当該再生量子化変換係数を逆量子化することによって再生変換係数を生成し、当該再生変換係数に対して逆離散コサイン変換を施すことによって、再生高帯域信号HKLRを復元する。
第2の符号化部106は、ラインL106経由で受けた低帯域信号LKLに第2の符号化処理を適用することによって、圧縮低帯域信号LKLCを生成する。また、第2の符号化部106は、第2の符号化処理で生成された動きベクトル及び参照画像識別情報をラインL117経由で出力する。
第2の復号部107は、ラインL114経由で受けた圧縮低帯域信号LKLCに第2の復号処理を適用することによって、再生低帯域信号LKLRを復元する。なお、第2の符号化部106と第2の復号部107の詳細については、後述する。
多重化部108は、ラインL104経由で受けた圧縮高帯域信号HKLCと、ラインL113経由で受けた圧縮低帯域信号LKLCと、ラインL120経由で帯域分割部103から受けた動きベクトルと、ラインL117経由で第2の符号化部106から受けた動きベクトル及び参照画像識別情報とを多重化することによって、動画像の圧縮データを生成する。該圧縮データは、ラインL108経由で出力端子110に出力される。
帯域合成部109は、ラインL109経由で受けた再生高帯域信号HKLRと、ラインL110経由で受けた再生低帯域信号LKLRとを帯域合成することによって、画像K及び画像L各々の再生画像を生成する。以下、画像Kの再生画像を再生画像Kとし、画像Lの再生画像を再生画像Lと称する。なお、帯域合成部109は、帯域合成の際、ラインL120経由で帯域分割部103から受けた動きベクトルを用いる。
図3は帯域合成部109の構成を示す図である。図3に示すように、帯域合成部109は、動き補償器301と、減算器302と、増幅器303と、動き補償器304と、加算器305とを備える。
動き補償器301は、ラインL109経由で受けた再生高帯域信号HKLRに動き補償処理を適用することによって、動き補償信号を生成する。なお、動き補償器301の動き補償処理は、動き補償器204の動き補償処理と同じ処理である。すなわち、動き補償器301は、L120経由で受けた動きベクトル(図1参照)を用いて、動き補償処理を行う。
減算器302は、ラインL110経由で受けた再生低帯域信号LKLRと、ラインL303経由で受けた動き補償信号との差分を求めることによって、画像Kの再生信号を生成する。
増幅器303は、ラインL305経由で受けた画像Kの再生信号の信号値を1/2倍することによって、再生画像Kを生成する。
動き補償器304は、帯域分割部103から受けた動きベクトルを用いて、再生画像Kに動き補償処理を適用することによって、再生画像Lの予測画像を生成する。なお、動き補償器304の動き補償処理は、動き補償器201の動き補償処理と同じ処理である。
加算器305は、ラインL109経由で受けた再生高帯域信号HKLRと、ラインL306経由で受けた予測画像とを加算することによって、再生画像Lを生成する。
図1に戻り、記憶部116は、ラインL110経由で受けた再生低帯域信号LKLRと、ラインL122及びL107経由で受けた再生画像K及び再生画像Lとを記憶する。
以下、図1を参照して、第2の符号化部106を詳細に説明する。図1に示すように、第2の符号化部106は、動き検出器111と、減算器112と、符号化器113と、動き補償器117とを備える。
以下、画像K及び画像Lとは異なる動画像の二つの画像であって、動画像符号化装置120によって画像K及び画像Lより先に処理される二つの画像を画像M及び画像Nと称する。動画像符号化装置120は、画像K及び画像Lを処理する前に、画像M及び画像Nを帯域分割することによって生成された低帯域信号を再生してなる再生低帯域信号LMNR、画像Mを再生してなる再生画像M、及び、画像Nを再生してなる再生画像Nを記憶部116に記憶しているものとする。
動き検出器111は、ラインL106経由で符号化対象の低帯域信号LKLを受け、ラインL116経由で再生低帯域信号LMNR、再生画像M、及び、再生画像Nを受ける。動き検出器111は、再生低帯域信号LMNR、再生画像M、及び、再生画像Nを参照することによって、低帯域信号LKLの動き検出処理を実行する。動き検出器111は、この動き検出処理にブロックマッチング法を用いることができる。
具体的に、動き検出器111は、この動き検出処理において、低帯域信号LKLの各ブロックについて、そのブロック内の信号に対する誤差が最も小さい信号をもつ領域を、上記再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうちから求める。動き検出器111は、低帯域信号LKLの各ブロックと求めた対応の領域との間のベクトルを動きベクトルとし、当該対応の領域が上記再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうちの何れから選択されたものであるかを特定するための情報、すなわち参照画像識別情報を生成する。
動き補償器117は、動き補償処理によって、低帯域信号LKLの予測信号を生成する。具体的に、この動き補償処理において、動き補償器117は、ラインL117経由で受けた参照画像識別情報及び動きベクトルに基づき、ラインL118経由で受けた再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうちから上記領域を特定して、当該領域内の信号を予測信号とする。
減算器112は、ラインL106経由で受けた低帯域信号LKLの各ブロックの信号と、ラインL112経由で受けた対応の予測信号との差分を求めることによって、残差信号を生成する。
符号化器113は、ラインL111経由で受けた上記残差信号に符号化処理を適用することによって、圧縮低帯域信号LKLCを生成する。本実施の形態では、符号化器113は、残差信号に離散コサイン変換を施すことによって変換係数を生成し、当該変換係数を量子化することによって量子化変換係数を生成し、当該量子化変換係数を可変長符号化することによって、圧縮低帯域信号LKLCを生成する。なお、離散コサイン変換の代わりにウェーブレット変換が適用されてもよい。
以下、図1を参照して、第2の復号部107を詳細に説明する。図1に示すように、第2の復号部107は、復号器114と、加算器115とを備える。
復号器114は、ラインL114経由で受けた圧縮低帯域信号LKLCに復号処理を適用することによって、再生残差信号を復元する。復号器114の復号処理は、符号化器113の符号化処理と対称の処理である。本実施の形態では、復号器114は、圧縮低帯域信号LKLCを可変長復号することによって再生量子化変換係数を生成し、当該再生量子化変換係数を逆量子化することによって再生変換係数を生成し、当該再生変換係数に逆離散コサイン変換を施すことによって再生残差信号を復元する。
加算器115は、ラインL112経由で受けた予測信号とラインL115経由で受けた再生残差信号とを加算することによって、再生低帯域信号LKLRを生成する。
以下、動画像符号化装置120の動作について説明する、併せて第1の実施形態に係る動画像符号化方法について説明する。図4は、本発明の第1の実施形態に係る動画像符号化方法のフローチャートである。
図4に示すように、この動画像符号化方法では、まず、複数の画像を含む動画像が入力され、入力画像記憶部102によって当該動画像が一時的に記憶され、記憶された動画像を構成する複数の画像のうち、時間方向に順に並ぶ二つの画像が符号化対象の画像K及び画像Lとして出力される。(ステップS01)。
次いで、帯域分割部103によって、画像Kと画像Lが時間方向に帯域分割されることによって、高帯域信号HKL、低帯域信号LKL、及び動きベクトルが生成される(ステップS02)。ステップS02の詳細については後述する。
次いで、第1の符号化部104によって、高帯域信号HKLに上述した第1の符号化処理が適用されることによって、圧縮高帯域信号HKLCが生成される(ステップS03)。
次いで、第1の復号部105によって、圧縮高帯域信号HKLCに上述した第1の復号処理が適用されることによって、再生高帯域信号HKLRが復元される(ステップS04)。
次いで、第2の符号化部106によって、低帯域信号LKLに第2の符号化処理が適用されることによって、圧縮低帯域信号LKLC、動きベクトル、及び、参照画像識別情報が生成される(ステップS05)。ステップS05の詳細については後述する。
次いで、第2の復号部107によって、圧縮低帯域信号LKLCに第2の復号処理が適用されることによって、再生低帯域信号LKLRが復元される(ステップS06)。ステップS06の詳細については後述する。
次いで、多重化部108によって、圧縮高帯域信号HKLCと、圧縮低帯域信号LKLCと、帯域分割部103から受けた動きベクトルと、第2の符号化部106から受けた動きベクトル及び参照画像識別情報とが多重化されることによって、圧縮データが生成される(ステップS07)。
次いで、帯域合成部109によって、再生高帯域信号HKLRと、再生低帯域信号LKLRとが帯域合成されることによって、上記画像K,画像L各々の再生画像K,再生画像Lが生成される(ステップS08)。この帯域合成においては、帯域分割部103から受けた動きベクトルが用いられる。なお、ステップS08の詳細は後述する。
次いで、記憶部116によって、再生低帯域信号LKLRと、再生画像K、及び、再生画像Lが記憶される。(ステップS09)。
以下、ステップS02の帯域分割について詳細に説明する。図5は、帯域分割に関するフローチャートである。まず、動画像を構成する複数の画像のうち、時間方向に順に並ぶ二つの画像が符号化対象の画像K及び画像Lとして入力される(ステップS02−1)。
次いで、動き補償器201によって、上述した動き補償処理が実行される(ステップS02−2)。すなわち、画像Kを参照することによって画像Lの予測画像が生成される
次いで、減算器202によって、画像Lの各ブロックの部分画像と対応の予測画像との差分が求められることによって、高帯域信号HKLが生成される(ステップS02−3)。
次いで、増幅器203によって、画像Kの画素値が2倍に増幅されることによって、画像Kが生成される(ステップS02−4)。
次いで、動き補償器204によって、高帯域信号HKLに上述の動き補償処理が適用されることによって、動き補償信号が生成される。(ステップS02−5)。
次いで、加算器205によって、画像Kと動き補償信号とが加算されることによって、低帯域信号LKLが生成される(ステップS02−6)。
以下、ステップS05の第2の符号化処理について詳細に説明する。図6は、第2の符号化処理に関するフローチャートである。まず、符号化対象の低帯域信号LKLと、画像M及び画像Nに対して生成済みの再生低帯域信号LMNR、再生画像M、及び再生画像Nが入力される(ステップS05−1)。
次いで、動き検出器111によって、上述した動き検出処理が実行されることによって、動きベクトル及び参照画像識別情報が生成される(ステップS05−2)。
次いで、動き補償器117によって、上述した動き補償処理が実行される(ステップS05−3)。この動き補償処理では、動き検出器111によって生成された動きベクトル及び参照画像識別情報によって特定される領域内の信号が予測信号とされる。
次いで、減算器112によって、低帯域信号LKLの各ブロックの信号と、対応の予測信号との差分が求められることによって、残差信号が生成される(ステップS05−4)。
次いで、符号化器113によって、減算器112によって生成された残差信号に上述した符号化処理が適用されることによって、圧縮低帯域信号LKLCが生成される(ステップS05−5)。
以下、ステップS06の第2の復号処理について詳細に説明する。図7は、第2の復号処理に関するフローチャートである。まず、圧縮低帯域信号LKLCが入力される(ステップS06−1)。
次いで、復号器114によって、圧縮低帯域信号LKLCに復号処理が適用されることによって、再生残差信号が復元される(ステップS06−2)。復号器114の復号処理は、符号化器113の符号化処理と対称の処理である。本実施の形態では、復号器114によって、圧縮低帯域信号LKLCが可変長復号されることによって再生量子化変換係数が生成され、当該再生量子化変換係数が逆量子化されることによって再生変換係数が生成され、当該再生変換係数に逆離散コサイン変換が施されることによって再生残差信号が復元される。
次いで、加算器115によって、上記予測信号と上記再生残差信号が加算されることによって、再生低帯域信号LKLRが生成される(ステップS06−3)。
以下、ステップS08の帯域合成について詳細に説明する。図8は、帯域合成に関するフローチャートである。まず、再生高帯域信号HKLR、再生低帯域信号LKLR、帯域分割部から受けた動きベクトルが入力される(ステップS08−1)。
次いで、動き補償器301によって、再生高帯域信号HKLRに上述した動き補償処理が適用されることによって、動き補償信号が生成される(ステップS08−2)。
次いで、減算器302によって、再生低帯域信号LKLRと、上記動き補償信号との差分が求められることによって、画像Kの再生信号が生成される(ステップS08−3)。
次いで、増幅器303によって、画像Kの再生信号の信号値が1/2倍されることによって、再生画像Kが生成される(ステップS08−4)。
次いで、動き補償器304によって、再生画像Kに上述した動き補償処理が適用されることによって、再生画像Lの予測画像が生成される(ステップS08−5)。この動き補償処理では、帯域分割部103からの動きベクトルが用いられる。
次いで、加算器305によって、再生高帯域信号HKLRと上記予測画像とが加算されることによって、再生画像Lが生成される(ステップS08−6)。
次に、コンピュータを動画像符号化装置120として動作させるための動画像符号化プログラムについて説明する。図9は、本発明の第1の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。
図9に示すように、動画像符号化プログラムP100は、記録媒体10に格納されて提供される。記録媒体10としては、フロッピーディスク、CD−ROM、DVD、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。
図10は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図11は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
図10に示すように、コンピュータ30は、フロッピーディスクドライブ装置、CD−ROMドライブ装置、DVDドライブ装置等の読取装置12と、オペレーティングシステムを常駐させた作業用メモリ(RAM)14と、記録媒体10に記憶されたプログラムを記憶するメモリ16と、ディスプレイといった表示装置18と、入力装置であるマウス20及びキーボード22と、データ等の送受を行うための通信装置24と、プログラムの実行を制御するCPU26とを備えている。コンピュータ30は、記録媒体10が読取装置12に挿入されると、読取装置12から記録媒体10に格納された動画像符号化プログラムP100にアクセス可能になり、当該動画像符号化プログラムP100によって、動画像符号化装置120として動作することが可能になる。
図11に示すように、動画像符号化プログラムP100は、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信した動画像符号化プログラムP100をメモリ16に格納し、当該動画像符号化プログラムP100を実行することができる。
図9に示すように、動画像符号化プログラムP100は、入力画像記憶モジュールP10と、帯域分割モジュールP20と、第1の符号化モジュールP30と、第1の復号モジュールP40と、第2の符号化モジュールP50と、第2の復号モジュールP60と、多重化モジュールP70と、帯域合成モジュールP80と、記憶モジュールP90とを備えている。また、帯域分割モジュールP20は、動き補償サブモジュールP21と、減算サブモジュールP22と、増幅サブモジュールP23と、動き補償サブモジュールP24と、加算サブモジュールP25とによって構成され、第2の符号化モジュールP50は、動き検出サブモジュールP51と、動き補償サブモジュールP52と、減算サブモジュールP53と、符号化サブモジュールP54とによって構成され、第2の復号モジュールP60は、復号サブモジュールP61と、加算サブモジュールP62とによって構成され、帯域合成モジュールP80は、動き補償サブモジュールP81と、減算サブモジュールP82と、増幅サブモジュールP83と、動き補償サブモジュールP84と、加算サブモジュールP85とによって構成される。
入力画像記憶モジュールP10、帯域分割モジュールP20、第1の符号化モジュールP30、第1の復号モジュールP40、第2の符号化モジュールP50、第2の復号モジュールP60、多重化モジュールP70、帯域合成モジュールP80、記憶モジュールP90、動き補償サブモジュールP21、減算サブモジュールP22、増幅サブモジュールP23、動き補償サブモジュールP24、加算サブモジュールP25、動き検出サブモジュールP51、動き補償サブモジュールP52、減算サブモジュールP53、符号化サブモジュールP54、復号サブモジュールP61、加算サブモジュールP62、動き補償サブモジュールP81、減算サブモジュールP82、増幅サブモジュールP83、動き補償サブモジュールP84、及び、加算サブモジュールP85がコンピュータに実現させる機能はそれぞれ、上述した入力画像記憶部102、帯域分割部103、第1の符号化部104、第1の復号部105、第2の符号化部106、第2の復号部107、多重化部108、帯域合成部109、記憶部116、動き補償器201、減算器202、増幅器203、動き補償器204、加算器205、動き検出器111、動き補償器117、減算器112、符号化器113、復号器114、加算器115、動き補償器301、減算器302、増幅器303、動き補償器304、及び、加算器305のうち対応要素と同様である。
以下、動画像符号化装置120の作用及び効果を説明する。動画像符号化装置120では、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象の画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第2の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの再生低帯域信号及び再生画像の少なくとも一つに基づく予測信号とのによる残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
したがって、符号化に要する時間が短縮され、映像伝送の遅延時間が大幅に短縮される。更に、符号化の際、入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
以上、動画像符号化装置120について説明したが、動画像符号化装置120は、最初の符号化対象の二つの画像を符号化する際、記憶部116に信号を記憶していないので、本実施の形態では、動画像符号化装置120は、最初の符号化対象の二つの画像から生成した低帯域信号には、H.264に採用されている画面内予測を適用する。
また、第2の符号化部106は、生成済みの再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうちから低帯域信号LKRの予測信号を生成するが、再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうち少なくとも一つを用いて予測信号を生成してもよい。また、図21に示すように、第2の符号化部106は、再生低帯域信号LMNRのみから予測信号を生成してもよい。この場合の動画像符号化装置120aは、第1の復号部105及び帯域合成部109を削減可能である。
また、符号化対象の画像K及び画像Lは、時間方向に隣接する2枚の画像であってもよく、時間方向に離れた2つのフレームの画像であってもよい。
また、第1の符号化部104は、第2の符号化部106と異なる構成となっているが、第2符号化部106と同じ構成になっていてもよい。この場合には、第1の符号化部104は、高帯域信号HKLに対する予測信号を、画像M及びNから既に生成済みの再生高帯域信号HMN等を参照することによって生成する。また、この場合には、第1の復号部105が、第2の復号部107と同様の構成とされる。
<第2の実施形態>
次に、本発明の第2の実施形態に係る動画像符号化装置について説明する。図12は本発明の第2の実施形態に係る符号化装置の構成を示す図である。図12に示す動画像符号化装置1220は、物理的には、CPU(中央処理装置)、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置1220は、携帯電話といった移動通信端末、あるいはDVD記録装置といった機器であってもよい。すなわち、動画像符号化装置1220には、情報処理可能な装置が広く適用される。
図12に示すように、動画像符号化装置1220は、機能的には、入力端子101、入力画像記憶部102、帯域分割部(帯域分割手段)103、第1の符号化部(第1の符号化手段)104、第2の符号化部(第2の符号化手段)1206、多重化部108、出力端子110、及び、記憶部1216を備える。
入力端子101、入力画像記憶部102、帯域分割部103、第1の符号化部104、及び、多重化部108は、動画像符号化装置120における対応の要素と同様の要素である。
第2の符号化部1206は、ラインL106経由で受けた低帯域信号LKLに第2の符号化処理を適用することによって、圧縮低帯域信号LKLCを生成する。また、第2の符号化部1206は、第2の符号化処理によって生成された動きベクトルをラインL117経由で出力する。
記憶部1216は、ラインL106経由で受けた低帯域信号LKLを記憶する。
以下、第2の符号化部1206について詳細に説明する。図12に示すように、第2の符号化部1206は、動き検出器1211と、減算器1212と、符号化器1213と、動き補償器1217とを備える。
以下、動画像符号化装置1220は、画像K及び画像Lを処理する前に、画像M及び画像Nを帯域分割することによって生成される低帯域信号LMNを記憶部1216に記憶しているものとする。
動き検出器1211は、ラインL106経由で符号化対象の低帯域信号LKLを受け、ラインL116経由で低帯域信号LMNを受ける。動き検出器1211は、低帯域信号LMNを参照する動き検出処理を実行する。すなわち、動き検出器1211による動き検出処理は、第1の実施形態の動き検出器111による動き検出処理と、参照する信号が異なる。この動き検出処理によって、動き検出器1211は、低帯域信号LKLの各ブロックと低帯域信号LMN内の対応の領域との間のベクトルを求め、当該ベクトルを動きベクトルとする。
動き補償器1217は、動き補償処理を実行することによって、低帯域信号LKLの予測信号を生成する。この動き補償処理において、動き補償器1217は、ラインL117経由で受けた動きベクトルから、ラインL118経由で受けた低帯域信号LMN内の領域を特定し、当該領域内の信号を予測信号とする。
減算器1212は、ラインL106経由で受けた低帯域信号LKLの各ブロックの信号と、ラインL1212経由で受けた対応の予測信号との差分を求めることによって、残差信号を生成する。
符号化器1213は、ラインL1211経由で受けた残差信号に符号化処理を適用することによって、圧縮低帯域信号LKLCを生成する。この符号化処理は、符号化器113による符号化処理と同様である。
次に、動画像符号化装置1220の動作について説明する。併せて、第2の実施形態に係る動画像符号化方法について説明する。図13は、本発明の第2の実施形態に係る動画像符号化方法のフローチャートである。
図13に示すように、この動画像符号化方法では、まず、ステップS01からステップS03までの処理については、第1の実施形態の対応の処理と同様である。
次いで、第2の符号化部1206によって、低帯域信号LKLに第2の符号化処理が適用されることによって、圧縮低帯域信号LKLC及び動きベクトルが生成される(ステップS105)。
続くステップS07の処理は、第1の実施形態における対応の処理と同様である。ステップS07に続き、記憶部1216によって、低帯域信号LKLが記憶される(ステップS109)。
以下、ステップS105の第2の符号化処理について詳細に説明する。図14は、第2の符号化処理に関するフローチャートである。まず、符号化対象の低帯域信号LKLと、画像M及び画像Nに対して生成済みの低帯域信号LMNが入力される(ステップS105−1)。
次いで、動き検出器1211によって、上述した動き検出処理が実行されることによって、動きベクトルが生成される(ステップS105−2)。
次いで、動き補償器1217によって、上述した動き補償処理が実行されることによって、低帯域信号LKLの予測信号が生成される(ステップS105−3)。
次いで、減算器1212によって、低帯域信号LKLの各ブロックの信号と、対応の予測信号との差分が求められることによって、残差信号が生成される(ステップS105−4)。
次いで、符号化器1213によって、残差信号に上述した符号化処理が適用されることによって、圧縮低帯域信号LKLCが生成される(ステップS105−5)。
次に、コンピュータを動画像符号化装置1220として動作させる動画像符号化プログラムについて説明する。図15は、本発明の第2の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。
図15に示すように、動画像復号プログラムP300は、記録媒体10に格納されて提供される。記録媒体10としては、フロッピーディスク、CD−ROM、DVD、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。
動画像符号化プログラムP200が、図10及び図11に示すコンピュータ30の読取装置12に挿入されると、コンピュータ30は、記録媒体10に格納された動画像符号化プログラムP200にアクセス可能になる。当該動画像符号化プログラムP200によって、コンピュータ30は、動画像符号化装置1220として動作することが可能になる。なお、図11に示すように、動画像符号化プログラムP200は、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信した動画像符号化プログラムP200をメモリ16に格納し、当該動画像符号化プログラムP200を実行することができる。
図15に示すように、動画像符号化プログラムP200は、入力画像記憶モジュールP10と、帯域分割モジュールP20と、第1の符号化モジュールP30と、第2の符号化モジュールP150と、多重化モジュールP70と、及び、記憶モジュールP190とを備えている。また、第2の符号化モジュールP150は、動き検出サブモジュールP151と、動き補償サブモジュールP152と、減算サブモジュールP153と、符号化サブモジュールP154とによって構成される。
入力画像記憶モジュールP10、帯域分割モジュールP20、第1の符号化モジュールP30、第2の符号化モジュールP150、多重化モジュールP70、記憶モジュールP190、動き検出サブモジュールP151、動き補償サブモジュールP152、減算サブモジュールP153、及び、符号化サブモジュールP154がコンピュータに実現させる機能はそれぞれ、上述した入力画像記憶部102、帯域分割部103、第1の符号化部104、第2の符号化部1206、多重化モジュール108、記憶部1216、動き検出器1211、動き補償器1217、減算器1212、及び、符号化器1213のうち対応要素と同様である。
以下、動画像符号化装置1220の作用及び効果を説明する。動画像符号化装置1220では、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第2の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの低帯域信号に基づく予測信号との差分による残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
したがって、符号化に要する時間が短縮され、映像伝送の遅延時間が大幅に短縮される。更に、符号化の際、入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
<第3の実施形態>
次に、本発明の第3の実施形態に係る動画像復号装置について説明する。図16は、本発明の第3の実施形態に係る動画像復号装置の構成を示す図である。図16に示す動画像復号装置1620は、動画像符号化装置120によって生成された圧縮データから動画像を再生可能な装置である。
動画像復号装置1620は、物理的には、CPU(中央処理装置)、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像復号装置1620は、携帯電話といった移動通信端末、DVD再生装置といった機器であってもよい。すなわち、動画像復号装置1620には、情報処理可能な装置が広く適用される。
図16に示すように、動画像復号装置1620は、機能的には、入力端子1601と、データ解析部1602と、第1の復号部(第1の復号手段)1603と、第2の復号部(第2の復号手段)1604と、記憶部1607と、帯域合成部(帯域合成手段)1609と、出力端子1610及び1611とを備える。
入力端子1601には、動画像符号化装置120によって生成された圧縮データが入力される。入力端子1601は、ラインL1601経由で圧縮動画像データをデータ解析部1602に出力する。
データ解析部1602は、ラインL1601経由で受けた圧縮データを解析することによって、圧縮高帯域信号HKLCをラインL1602経由で第1の復号部1603へ、圧縮低帯域信号LKLCをラインL1612経由で第2の復号部1604へ、動画像符号化装置120の第2の符号化部106で生成された動きベクトル及び参照画像識別情報をラインL1611経由で第2の復号部1604へ、動画像符号化装置120の帯域分割部103で生成された動きベクトルをラインL1610経由で帯域合成部1609へ出力する。
第1の復号部1603は、ラインL1602経由で受けた圧縮高帯域信号HKLCに第1の復号処理を適用することによって、再生高帯域信号HKLRを生成する。第1の復号処理では、動画像符号化装置120の第1の符号化処理と対象の処理が実行される。したがって、第1の復号部1603は、圧縮高帯域信号HKLCを可変長復号することによって再生量子化変換係数を生成し、当該再生量子化変換係数を逆量子化することによって再生変換係数を生成し、当該再生変換係数に対して逆離散コサイン変換を施すことによって、再生高帯域信号HKLRを復元する。
第2の復号部1604は、ラインL1612経由で受けた圧縮低帯域信号LKLCに第2の復号処理を適用することによって、再生低帯域信号LKLRを生成する。第2の復号部1604の詳細な構成については、後述することとする。
帯域合成部1609は、ラインL1603経由で受けた再生高帯域信号HKLRと、ラインL1605経由で受けた再生低帯域信号LKLRとを帯域合成することによって、画像K,画像Lの再生画像K,再生画像Lを生成する。なお、帯域合成部1609は、帯域合成の際、ラインL1610経由で受けた動きベクトルを用いる。帯域合成部1609の処理は、動画像符号化装置120の帯域合成部109の処理と同じ処理である。
記憶部1607は、ラインL1605経由で受けた再生低帯域信号LKLRと、ラインL1608及びL1609経由で受けた再生画像K及び再生画像Lとを記憶する。
以下、第2の復号部1604について詳細に説明する。第2の復号部1604は、復号器1605と、加算器1606と、動き補償器1608とを備える。
動画像復号装置1620は、圧縮低帯域信号LKLCに第2の復号処理を適用する前に、再生低帯域信号LMNR、再生画像M、及び、再生画像Nを記憶部1607に記憶しているものとする。
復号器1605は、ラインL1612経由で受けた圧縮低帯域信号LKLCに復号処理を適用することによって、再生残差信号を復元する。この復号処理は、動画像符号化装置120の符号化器113の符号化処理と対象の処理である。
動き補償器1608は、ラインL1611経由で受けた参照画像識別情報及び動きベクトルに基づき、ラインL1606経由で受けた再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうちから、領域を特定して、当該領域内の信号を予測信号とする。
加算器1606は、ラインL1604経由で受けた再生残差信号とラインL1607経由で受けた予測信号とを加算することによって、再生低帯域信号LKLRを生成する。
次に、動画像復号装置1620の動作について説明する。併せて、第3の実施形態に係る動画像復号方法について説明する。図17は、本発明の第3の実施形態に係る動画像復号方法のフローチャートである。
図17に示すように、この動画像復号方法では、まず、圧縮データが入力される(ステップS201)。
次いで、データ解析部1602によって、圧縮動画像データが解析されることによって、圧縮高帯域信号HKLCが第1の復号部1603へ、圧縮低帯域信号LKLCが第2の復号部1604へ、動画像符号化装置120の第2の符号化部106で生成された動きベクトル及び参照画像識別情報が第2の復号部1604へ、動画像符号化装置120の帯域分割部103で生成された動きベクトルが帯域合成部1609へ出力される(ステップS202)。
次いで、第1の復号部1603によって、圧縮高帯域信号HKLCに上述した第1の復号処理が適用されることによって、再生高帯域信号HKLRが復元される。(ステップS203)。
次いで、第2の復号部1604によって、圧縮低帯域信号LKLCに上述した第2の復号処理が適用されることによって、再生低帯域信号LKLRが復元される(ステップS204)。ステップS204の詳細は後述する。
次いで、帯域合成部1609によって、再生高帯域信号HKLRと再生低帯域信号LKLRとが帯域合成されることによって、画像K及び画像L各々の再生画像が生成される(ステップS205)。
次いで、記憶部1607によって、上記再生低帯域信号LKLR、再生画像K、及び、再生画像Lが記憶される。(ステップS206)。
以下、ステップS204の第2の復号について詳細に説明する。図18は、第2の復号処理に関するフローチャートである。まず、圧縮低帯域信号LKLC、動画像符号化装置120の第2の符号化部106で生成された動きベクトル及び参照画像識別情報、上記再生低帯域信号LKLR、再生画像K、及び、再生画像Lが入力される(ステップS204−1)。
次いで、復号器1605によって、圧縮低帯域信号LKLCに復号処理が適用されることによって、再生残差信号が復元される。この復号処理は、動画像符号化装置120の符号化器113の符号化処理と対象の処理である(ステップS204−2)。
次いで、動き補償器1608によって、参照画像識別情報及び動きベクトルに基づき、再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうちから、領域が特定され、当該領域内の信号が予測信号とされる(ステップS204−3)。
ついで、加算器1606によって、上記再生残差信号と上記予測信号が加算されることによって、再生低帯域信号LKLRが生成される(ステップS204−4)。
次に、本発明の実施形態に係る動画像復号プログラムについて説明する。図19は、本発明の実施形態に係る動画像復号プログラムの構成を、記録媒体と共に示す図である。
図19に示すように、動画像復号プログラムP300は、記録媒体10に格納されて提供される。記録媒体10としては、フロッピーディスク、CD−ROM、DVD、あるいはROM等の記録媒体、あるいは半導体メモリ等が例示される。
動画像復号プログラムP300が、図10及び図11に示すコンピュータ30の読取装置12に挿入されると、コンピュータ30は、記録媒体10に格納された動画像復号プログラムP300にアクセス可能になる。当該動画像復号プログラムP300によって、コンピュータ30は、動画像復号装置1620として動作することが可能になる。なお、図11に示すように、動画像復号プログラムP300は、搬送波に重畳されたコンピュータデータ信号40としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ30は、通信装置24によって受信した動画像復号プログラムP300をメモリ16に格納し、当該動画像復号プログラムP300を実行することができる。
図19に示すように、動画像復号プログラムP300は、データ解析モジュールP210と、第1の復号モジュールP220と、第2の復号モジュールP230と、帯域合成モジュールP240と、記憶モジュールP250とを備えている。また、第2の復号モジュールP230は、復号サブモジュールP231と、動き補償サブモジュールP232と、加算サブモジュールP233とを備えている。
データ解析モジュールP210、第1の復号モジュールP220、第2の復号モジュールP230、帯域合成モジュールP240、記憶モジュールP250、復号サブモジュールP231、動き補償サブモジュールP232、及び、加算サブモジュールP233がコンピュータに実現させる機能はそれぞれ、上述したデータ解析部1602、第1の復号部1603、第2の復号部1604、帯域合成部1609、記憶部1607、復号器1605、動き補償器1608、加算器1606のうち、対応の要素と同様である。
以上、動画像復号装置1620について説明したが、動画像復号装置1620は、最初の画像を再生する際に、記憶部1607に信号を記憶していないので、本実施の形態では、動画像復号装置1620は、最初の画像の再生に際しては、H.264で適用されている画面内予測復号処理を用いる。
また、第2の復号部1604は、生成済みの再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうちから予測信号を生成するが、動画像符号化装置の第2の符号化部による第2の符号化処理に応じて、再生低帯域信号LMNR、再生画像M、及び、再生画像Nのうち少なくとも一つから予測信号を生成することができる。更に、再生低帯域信号LMNR、再生画像M、及び、再生画像Nに限定せずに、これらの再生信号と異なる複数の再生低帯域信号LXYR、再生画像X、及び、再生画像Yを参照画像として用いてもよい。ここで、X≠M又はN、Y≠M又はNとする。
以下、動画像復号装置1620の作用及び効果を説明する。動画像復号装置1620では、復号対象の圧縮低帯域信号を復号した信号(再生残差信号)に、当該復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から生成済みの再生低帯域信号及び再生画像の少なくとも一つを参照することによって生成された予測信号を加算することによって、再生低帯域信号が生成される。この再生低帯域信号が、対応の再生高帯域信号に帯域合成されることによって、二つの再生画像が生成される。このように、一度の帯域合成処理によって二つの再生画像が生成されるので、動画像の復元における遅延が削減されている。
したがって、復号に要する時間が短縮され、映像伝送の遅延時間が大幅に短縮される。更に、復号の際、入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
以上、好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置及び詳細において変更され得ることができることは、当業者によって認識される。本発明は実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲及びその精神の範囲から来るすべての修正及び変更に権利を請求する。
図1は、本発明の第1の実施形態に係る動画像符号化装置の構成を示す図である。 図2は、帯域分割部の構成を示す図である。 図3は、帯域合成部の構成を示す図である。 図4は、本発明の第1の実施形態に係る動画像符号化方法のフローチャートである。 図5は、帯域分割に関するフローチャートである 図6は、第2の符号化処理に関するフローチャートである。 図7は、第2の復号処理に関するフローチャートである。 図8は、帯域合成に関するフローチャートである。 図9は、本発明の第1の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。 図10は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 図11は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 図12は、本発明の第2の実施形態に係る符号化装置の構成を示す図である。 図13は、本発明の第2の実施形態に係る動画像符号化方法のフローチャートである。 図14は、第2の符号化処理に関するフローチャートである。 図15は、本発明の第2の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。 図16は、本発明の第3の実施形態に係る動画像復号装置の構成を示す図である。 図17は、本発明の第3の実施形態に係る動画像復号方法のフローチャートである。 図18は、第2の復号処理に関するフローチャートである。 図19は、本発明の実施形態に係る動画像復号プログラムの構成を、記録媒体と共に示す図である。 図20は、従来の動き補償付き時間方向帯域分割処理の流れを模式的に示す図である。 図21は、本発明の第1の実施形態に係る動画像符号化装置の一変形例の構成を示す図である。
符号の説明
120…動画像符号化装置、101…入力端子、102…入力画像記憶部、103…帯域分割部、104…第1の符号化部、105…第1の復号部、106…第2の符号化部、107…第2の復号部、108…多重化部、109…帯域合成部、110…出力端子。

Claims (9)

  1. 動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
    前記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、
    前記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、
    を備え、
    前記第2の符号化手段は、前記第1の画像及び第2の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第1の画像及び第2の画像とは異なる前記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
    動画像符号化装置。
  2. 動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
    前記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、
    前記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、
    前記低帯域信号を再生するための第2の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号手段と、
    を備え、
    前記第2の符号化手段は、前記第1の画像及び第2の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第1の画像及び第2の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
    動画像符号化装置。
  3. 動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
    前記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、
    前記圧縮高帯域信号を再生するための第1の復号処理を前記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第1の復号手段と、
    前記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、
    前記低帯域信号を再生するための第2の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号手段と、
    前記第1の復号手段によって生成された再生高帯域信号と前記第2の復号手段によって生成された再生低帯域信号とを帯域合成することによって、前記第1の画像及び第2の画像各々の再生画像を生成する帯域合成手段と、
    を備え、
    前記第2の符号化手段は、前記第1の画像及び第2の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第1の画像及び第2の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
    動画像符号化装置。
  4. 動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号手段と、
    前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号手段と、
    を備え、
    前記第2の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
    動画像復号装置。
  5. 動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号手段と、
    前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号手段と、
    前記再生高帯域信号と前記再生低帯域信号とを帯域合成することによって、前記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、
    を備え、
    前記第2の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
    動画像復号装置。
  6. 帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、
    第1の符号化手段が、前記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化ステップと、
    第1の復号手段が、前記圧縮高帯域信号を再生するための第1の復号処理を前記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第1の復号ステップと、
    第2の符号化手段が、前記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化ステップと、
    第2の復号手段が、前記低帯域信号を再生するための第2の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号ステップと、
    帯域合成手段が、前記第1の復号手段によって生成された再生高帯域信号と前記第2の復号手段によって生成された再生低帯域信号とを帯域合成することによって、前記第1の画像及び第2の画像各々の再生画像を生成する帯域合成ステップと、
    を含み、
    前記第2の符号化ステップにおいて、前記第2の符号化手段が、前記第1の画像及び第2の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第1の画像及び第2の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
    動画像符号化方法。
  7. 第1の復号手段が、動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号ステップと、
    第2の復号手段が、前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号ステップと、
    帯域合成手段が、前記再生高帯域信号と前記再生低帯域信号とを帯域合成することによって、前記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成ステップと、
    を含み、
    前記第2の復号ステップにおいて、前記第2の復号手段が、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
    動画像復号方法。
  8. コンピュータを、
    動画像において時間方向に順に並ぶ二つの画像を符号化対象の第1の画像及び第2の画像とし、該第1の画像及び第2の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
    前記高帯域信号に第1の符号化処理を適用することによって、圧縮高帯域信号を生成する第1の符号化手段と、
    前記圧縮高帯域信号を再生するための第1の復号処理を前記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第1の復号手段と、
    前記低帯域信号に第2の符号化処理を適用することによって、圧縮低帯域信号を生成する第2の符号化手段と、
    前記低帯域信号を再生するための第2の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第2の復号手段と、
    前記第1の復号手段によって生成された再生高帯域信号と前記第2の復号手段によって生成された再生低帯域信号とを帯域合成することによって、前記第1の画像及び第2の画像各々の再生画像を生成する帯域合成手段と、
    として機能させ、
    前記第2の符号化手段は、前記第1の画像及び第2の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第1の画像及び第2の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
    動画像符号化プログラム。
  9. コンピュータを、
    動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第1の復号処理を適用することによって、再生高帯域信号を生成する第1の復号手段と、
    前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第2の復号処理を適用することによって、再生低帯域信号を生成する第2の復号手段と、
    前記再生高帯域信号と前記再生低帯域信号とを帯域合成することによって、前記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、
    として機能させ、
    前記第2の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
    動画像復号プログラム。
JP2004290549A 2004-10-01 2004-10-01 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム Pending JP2006108923A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004290549A JP2006108923A (ja) 2004-10-01 2004-10-01 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム
CNA2005101076013A CN1777288A (zh) 2004-10-01 2005-09-29 动画图像编码装置和方法、动画图像解码装置和方法
EP20050021321 EP1643773A3 (en) 2004-10-01 2005-09-29 Encoding and decoding with motion compensated temporal filtering
US11/239,196 US20060074692A1 (en) 2004-10-01 2005-09-30 Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, moving picture coding program, and moving picture decoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004290549A JP2006108923A (ja) 2004-10-01 2004-10-01 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム

Publications (1)

Publication Number Publication Date
JP2006108923A true JP2006108923A (ja) 2006-04-20

Family

ID=35614693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004290549A Pending JP2006108923A (ja) 2004-10-01 2004-10-01 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム

Country Status (4)

Country Link
US (1) US20060074692A1 (ja)
EP (1) EP1643773A3 (ja)
JP (1) JP2006108923A (ja)
CN (1) CN1777288A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225431A (ja) * 2008-02-19 2009-10-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4689545B2 (ja) * 2006-07-05 2011-05-25 富士フイルム株式会社 データ圧縮装置およびデータ圧縮プログラム
JPWO2008093698A1 (ja) * 2007-01-31 2010-05-20 ソニー株式会社 情報処理装置および方法
WO2023198447A1 (en) * 2022-04-14 2023-10-19 Interdigital Ce Patent Holdings, Sas Coding of signal in frequency bands

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225431A (ja) * 2008-02-19 2009-10-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US20060074692A1 (en) 2006-04-06
EP1643773A3 (en) 2008-02-13
CN1777288A (zh) 2006-05-24
EP1643773A2 (en) 2006-04-05

Similar Documents

Publication Publication Date Title
WO2010038587A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
US20120127002A1 (en) Coding method, decoding method, coding apparatus, and decoding apparatus
JP5542680B2 (ja) 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP4656912B2 (ja) 画像符号化装置
WO2010032693A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
WO2006054667A1 (ja) データ圧縮伸張方法、プログラム及び装置
WO2012120909A1 (ja) 動画像復号化装置および動画像復号化方法
JP4973886B2 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP3964139B2 (ja) 動き補償適応型画像処理方法及びその装置
JP2011518527A (ja) 映像の復号化
JP5092558B2 (ja) 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置
WO2006046550A1 (ja) 画像符号化方法および装置、ならびに画像復号方法および装置
JP6013547B2 (ja) 画像符号化装置および画像符号化方法
EP1643773A2 (en) Encoding and decoding with motion compensated temporal filtering
JP4835855B2 (ja) 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム
JP2016158282A (ja) 動画像予測復号方法及び動画像予測復号装置
JP5698644B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
KR20140071809A (ko) 비디오 데이터의 처리 방법 및 장치
JP2011114369A (ja) 画像符号化復号装置
JP2938652B2 (ja) 時変フレーム間サブバンド符号化方法
JP3712919B2 (ja) 符号化データ再圧縮方法および符号化データ復元方法ならびにコンピュータにそれらの方法を実行させるためのプログラムを記録した記録媒体
JP2700355B2 (ja) 画像データの圧縮装置
JP5957558B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
WO2007108254A1 (ja) 動画像符号化装置、及び、動画像復号装置
JP4448115B2 (ja) 符号化動画像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126