JP4174254B2 - 動画像符号化装置及び動画像復号装置並びにそれらの方法 - Google Patents
動画像符号化装置及び動画像復号装置並びにそれらの方法 Download PDFInfo
- Publication number
- JP4174254B2 JP4174254B2 JP2002212617A JP2002212617A JP4174254B2 JP 4174254 B2 JP4174254 B2 JP 4174254B2 JP 2002212617 A JP2002212617 A JP 2002212617A JP 2002212617 A JP2002212617 A JP 2002212617A JP 4174254 B2 JP4174254 B2 JP 4174254B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image data
- decoding
- data
- subband
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、動画像データの符号化又は復号を好適に行う動画像符号化装置及び動画像復号装置並びにそれらの方法に関する。
【0002】
【従来の技術】
従来、動画像データは、種々の制約からインターレース画像として取り扱われることが一般的であった。しかしながら、撮像デバイス、記憶デバイス、表示デバイス等の高性能化による従来からの制約の解消と、動画像データの高画質化の要求の高まりに伴って、プログレッシブ(ノンインターレース)画像として取り扱われることが多くなってきている。例えば、パーソナルコンピュータのモニタが、一般にプログレッシブ表示を行うため、パーソナルコンピュータで動画像を取り扱う場合にはプログレッシブ画像が適しているという事実もその要因の一つであろう。
【0003】
一般に、動画像データの符号化方式は、フレーム間の相関を利用するものとしないものとに大別することができる。それぞれの方式には長所及び短所が存在し、どちらの方式が適しているかということは使用するアプリケーション次第である。例えば、Motion JPEGは、動画像データの各フレームを一枚の静止画像としてとらえて独立に符号化する方式であり、フレーム間の相関を用いない符号化方式の一例である。フレーム毎に独立に符号化することによって、復号側の処理能力に応じて復号フレーム数を選択して復号することが可能であるという利点がある。
【0004】
近年、動画像データをフレーム毎独立に符号化する符号化方式において、各フレームをウェーブレット変換とビットプレーン符号化とを組み合わせて符号化する方式が注目を集めている。このような動画像符号化方式には、ウェーブレット変換におけるサブバンド分解の仕組みを利用して空間解像度を段階的に変えた復号が可能であること、また、復号ビットプレーン数を変えることにより、復号画素精度を段階的に変更することが可能である等の大きな特徴がある。
【0005】
一方、ISO/IEC JTC1/SC29/WG1で標準化作業が進められている画像符号化方式であるJPEG2000(ISO/IEC 15444)もウェーブレット変換とビットプレーン符号化との組み合わせにより構成されている。同標準のPart3では、動画像の各フレームの符号化に適用した場合のファイルフォーマットの規定を行っている。
【0006】
図18は、ウェーブレット変換とビットプレーン符号化とを組み合わせた符号化方式を使用した従来の画像符号化装置の構成を示すブロック図である。図18を用いて、従来の画像符号化装置における符号化処理の流れについて簡単に説明する。図18に示すように、従来の画像符号化装置は、画像入力部201、離散ウェーブレット変換部202、係数量子化部203、ビットプレーン符号化部204、符号列形成部205及び符号出力部206を備えている。
【0007】
まず、符号化対象となる画像データが画像入力部201から本装置に入力される。入力された符号化対象となる画像データは、離散ウェーブレット変換部202で複数の周波数帯域(サブバンド)に分割される。画像データのウェーブレット変換の方法としては、まず1次元の変換処理を水平、垂直方向にそれぞれに適用して4つのサブバンドに分割する方法が用いられる。そして、さらに低周波サブバンド(サブバンドLL)のみを繰り返して分割する方法が一般的である。
【0008】
次に、係数量子化部203は、各サブバンドの係数をサブバンド毎に定めた量子化ステップで量子化する。さらに、ビットプレーン符号化部204では、量子化された各サブバンドの変換係数を矩形の小領域(以下、「コードブロック」と称す。)に分割し、コードブロック毎に変換係数の上位ビットから下位ビットへとビットプレーン方向を優先して符号化を行う。尚、ビットプレーン中の各ビットを符号化する際には、符号化済みの情報からいくつかの状態(コンテクスト)に分類し、それぞれ異なる出現確率予測モデルで符号化する。
【0009】
その後、符号列形成部205では、ビットプレーン符号化部204で生成されたコードブロック符号化データを所定の順序で並べて符号列が生成される。生成された符号列は、符号出力部206から画像符号化装置外部へと出力される。
【0010】
一方、離散ウェーブレット変換部202において2次元のウェーブレット変換を2回施し、低周波サブバンドLLから高周波サブバンドHH2へと順々に各サブバンドの係数を符号化して画像復号装置に伝送した場合、復号側ではサブバンドLLの係数を受信した段階で元の1/4の解像度の復元画像を得ることができる。また、サブバンドLL、LH1、HL1、HH1の係数を受信した段階で元の1/2の解像度の復元画像を得ることができる。さらに、サブバンドLH2、HL2、HH2までの係数を受信した場合には、元の解像度の復元画像を得ることができるというように、徐々に解像度を上げて画像を復号することができる。
【0011】
また、ビットプレーン符号化部204で得られる各コードブロックのビットプレーン符号化データを上位のビットから下位のビットへと伝送した場合、復号側では徐々に精度を上げて各サブバンドの変換係数を復元することができる。これによって、伝送の初期状態では荒い画質で復号することが可能であり、伝送が進むにつれて高画質に改善するように復号することが可能である。
【0012】
【発明が解決しようとする課題】
しかしながら、依然として、動画像データをプログレッシブ画像として扱うことに対応していないテレビでの画像表示要求がある。この場合は、プログレッシブ画像からインターレース画像を生成して出力することが求められる。
【0013】
このような場合、上述した従来の画像符号化及び画像復号方式では、一旦、1フレーム分のデータを復号した後で、偶数ライン又は奇数ラインをフィールドとして取り出して出力する必要があり、出力する必要のないラインのデータも復号しなければならないという問題があった。
【0014】
本発明は、このような事情を考慮してなされたものであり、プログレッシブ画像の符号化データから効率よくインターレース画像を復号することができる動画像符号化装置及び動画像復号装置並びにそれらの方法を提供することを目的とする。
【0015】
【課題を解決するための手段】
上記課題を解決するため、本発明の動画像符号化装置は以下の構成を備える。すなわち、
ノンインターレースの動画像データを符号化する動画像符号化装置であって、
ノンインターレースの動画像データを入力する入力手段と、
前記動画像データを構成する奇数番目のフレームに対し、分解フィルタを垂直、水平方向に適用することで、周波数変換して複数のサブバンドに分解する第1のサブバンド分解手段と、
前記動画像データを構成する偶数番目のフレームを垂直、水平方向に適用することで、周波数変換し複数のサブバンドに分解する第2のサブバンド分解手段であって、着目する偶数番目のフレームの最初の垂直方向にサブバンド分解する際に適用する前記分解フィルタを適用する位置を、前記第1のサブバンド分解手段における奇数番目のフレームの最初の垂直方向にサブバンド分解する際に適用する前記分解フィルタを適用する位置に対して、1ライン分ずらす第2のサブバンド分解手段と、
前記第1、第2のサブバンド分解手段で得られた複数のサブバンドに分解されたフレームを符号化する符号化手段と、
該符号化手段で生成されたフレームの符号化データを出力する出力手段とを備える。
【0018】
さらに、本発明は、ノンインターレースの動画像データを符号化する動画像符号化装置であって、ノンインターレースの動画像データを入力する入力手段と、前記動画像データの所定フレームの次フレームを垂直方向に1ラインデータ分シフトさせたフレームを生成するラインシフト手段と、前記所定フレーム及び1ラインデータ分シフトされたフレームを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、複数のサブバンドに分解されたフレームを符号化する符号化手段と、符号化されたフレームを出力する出力手段とを備えることを特徴とする。
【0019】
さらにまた、本発明に係る動画像符号化装置は、前記サブバンド分解手段が、2次元離散ウェーブレット変換を用いてそれぞれのフレームを複数のサブバンドに分解することを特徴とする。
【0020】
さらにまた、本発明における前記動画像符号化装置を用いて符号化された動画像データから、ノンインターレース又はインターレース画像データを復号する動画像復号装置は以下の構成を備える。すなわち、
上記動画像符号化装置を用いて符号化された動画像符号化データを復号する動画像復号装置であって、
前記動画像符号化データをインターレース又はノンインターレースのいずれで復号するかを選択する選択手段と、
該選択手段により、ノンインターレースで復号することが選択された場合、フレームの全周波数成分のサブバンドの符号化データを入力し、前記選択手段によりインターレースで復号することが選択された場合、フレームの垂直方向の1/2の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力する入力手段と、
前記入力手段で入力した各サブバンドの符号化データを復号するサブバンド復号手段と、
該サブバンド復号手段で復号したサブバンドを合成して、フレームの画像データ、又は、1フレームの垂直方向の1/2の大きさの画像データを生成する合成手段と、
画像データ中の各ラインを、符号化処理時とは逆方向に1ライン分だけシフトするシフト手段と、
前記選択手段でノンインターレースで復号することが選択された場合、前記合成手段で得られる、連続する2つフレームの画像データを第1のフレーム、第2のフレームとしたとき、前記第1のフレームの画像データについてはノンインターレースのフレームの画像データとして出力し、前記第2のフレームの画像データについては、前記シフト手段によりシフトした結果の画像をノンインターレースのフレームの画像データとして出力し、
前記選択手段でインターレースで復号することが選択された場合、前記合成手段で得られた画像データを、インターレースのフィールドの画像データとして出力する出力手段とを備える。
【0022】
さらにまた、本発明は、前記動画像符号化装置を用いて符号化された動画像データから、インターレース画像データを復号する動画像復号装置であって、前記動画像データの所定フレーム及び該所定フレームの次フレームに関する前記符号化データを入力する入力手段と、前記符号化データから所定のサブバンドを復号するサブバンド復号手段と、前記符号化データから復号された所定のサブバンドを合成して所定フレーム及び該所定フレームの次フレームを復元するサブバンド合成手段と、前記所定フレームの次フレームのラインデータを1ラインシフトするラインシフト手段と、前記所定フレームから奇数フィールドを出力し、1ラインシフトされた次フレームから偶数フィールドを出力する出力手段とを備えることを特徴とする。
【0023】
さらにまた、本発明に係る動画像復号装置は、前記符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示する指示手段をさらに備え、インターレースで復号する指示がされた場合、前記入力手段は、所定の高周波成分の符号化データを含まない符号化データのみを入力することを特徴とする。
【0024】
さらにまた、本発明に係る動画像復号装置は、前記符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示する指示手段をさらに備え、ノンインターレースで復号する指示がされた場合、前記入力手段は、すべての符号化データを入力し、前記出力手段は、入力された符号化データから復元された所定フレーム及び該所定フレームの次フレームを出力することを特徴とする。
【0025】
【発明の実施の形態】
以下、図面を参照して、本発明の一実施形態による動画像符号化装置及び動画像復号装置について説明する。
【0026】
<第1の実施形態>
[動画像符号化装置]
図1は、本発明の第1の実施形態に係る動画像符号化装置の構成を示すブロック図である。図1に示すように、動画像符号化装置は、動画像データ入力部101、スイッチ102、離散ウェーブレット変換部103、104、係数量子化部105、ビットプレーン符号化部106、符号列形成部107及び二次記憶装置108を備えている。
【0027】
次に、図1に示される第1の実施形態における動画像符号化装置の各構成要素の動作について詳細に説明する。尚、本実施形態では、1秒あたり60フレームであって、1画素の輝度値が8ビットのモノクロ動画像データを4秒分(合計240フレーム)が動画像符号化装置に取り込まれ、符号化されるものとして説明する。すなわち、本実施形態による動画像符号化装置では、動画像データ入力部101から入力される1秒あたり60フレームの動画像データをフレーム単位として符号化し、最終的に二次記憶装置108に符号化データ列を格納するものである。
【0028】
まず、動画像データ入力部101から1秒あたり60フレームであって、4秒分の動画像データが入力される。動画像データ入力部101は、例えばディジタルカメラ等の撮像部分であって、CCD等の撮像デバイスとガンマ補正、シェーディング補正等の各種画像調整回路とによって実現することが可能である。動画像データ入力部101は、入力された動画像データを1フレームずつスイッチ102に送る。尚、以降の説明において、便宜上各フレームデータには、入力された順に1から番号を与えて、例えばフレーム1、フレーム2、…というような番号で各フレームを識別するようにする。また、各フレームにおける水平方向の位置(座標)をx、垂直方向の位置をy、位置(x,y)の画素値をP(x,y)で表す。
【0029】
スイッチ102は、動画像データ入力部101から入力されたフレームデータを、フレームの番号に応じて接続を切り替えることにより、離散ウェーブレット変換部103又は離散ウェーブレット変換部104のいずれかに送る。本実施形態では、スイッチ102は、入力されたフレームが奇数フレームの場合には離散ウェーブレット変換部103に接続し、偶数フレームの場合には離散ウェーブレット変換部104へ接続するものとする。
【0030】
離散ウェーブレット変換部103に入力された奇数フレームのデータ及び離散ウェーブレット変換部104に入力された偶数フレームのデータは、それぞれ不図示の内部バッファに適宜格納され、2次元離散ウェーブレット変換される。2次元離散ウェーブレット変換は、1次元の離散ウェーブレット変換を水平及び垂直方向それぞれに適用することにより実現するものである。図2は、2次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【0031】
すなわち、図2(a)に示されるような符号化対象画像に対して、まず垂直方向に1次元離散ウェーブレット変換を適用し、図2(b)に示されるように低周波サブバンドLと高周波サブバンドHとに分解する。次に、それぞれのサブバンドに対して水平方向の1次元離散ウェーブレット変換を適用することにより、図2(c)に示されるようなLL、HL、LH、HHの4つのサブバンドに分解する。
【0032】
本実施形態における離散ウェーブレット変換部103、104では、上述した2次元離散ウェーブレット変換により得られたサブバンドLLに対して、繰り返し2次元離散ウェーブレット変換を適用する。これによって、符号化対象画像をLL、LH1、HL1、HH1、LH2、HL2、HH2の7つのサブバンドに分解することができる。図3は、2回の2次元離散ウェーブレット変換によって得られる7つのサブバンドを説明するための図である。
【0033】
尚、本実施形態では、各サブバンド内の係数をC(S,x,y)と表す。ここで、Sはサブバンドの種類を表し、LL、LH1、HL1、HH1、LH2、HL2、HH2のいずれかである。また、(x,y)は各サブバンド内の左上隅の係数位置を(0,0)としたときの水平方向及び垂直方向の係数位置(座標)を表す。
【0034】
尚、離散ウェーブレット変換部103と離散ウェーブレット変換部104は、フレームデータに対して最初に適用される垂直方向の1次元離散ウェーブレット変換の方法が異なるのみであって、その後の水平方向の変換及びサブバンドLLをさらに分解する方法は両者とも同一である。
【0035】
本実施形態では、離散ウェーブレット変換部104における最初の垂直方向への1次元離散ウェーブレット変換を除き、離散ウェーブレット変換部103、104におけるN個の1次元信号x(n)に対する1次元離散ウェーブレット変換は、式(1)、(2)を用いて行われる。
【0036】
h(n)=x(2n+1)
−floor{(x(2n)+x(2n+2))/2} (1)
l(n)=x(2n)
+floor{(h(n−1)+h(n)+2)/4} (2)
但し、nは0〜N−1の整数とする。
【0037】
また、h(n)は高周波サブバンドの係数、l(n)は低周波サブバンドの係数、floor{R}は実数Rを超えない最大の整数値を表す。尚、式(1)、(2)の計算において必要となる1次元信号x(n)の両端(n<0及びn>N−1)におけるx(n)は、公知の方法により1次元信号x(n)(n=0〜N−1)の値から求めておく。
【0038】
また、離散ウェーブレット変換部104における最初の垂直方向の1次元離散ウェーブレット変換では、N個の1次元信号x(n)(n=0〜N−1)に対する式(3)、(4)により、低周波サブバンドの係数l(n)、高周波サブバンドの係数h(n)が求められる。
【0039】
h(n)=x(2n)
−floor{(x(2n−1)+x(2n+1))/2} (3)
l(n)=x(2n+1)
+floor{(h(n)+h(n+1)+2)/4} (4)
尚、1次元信号x(n)の両端(n<0及びn>N−1)については、上記の場合と同様に公知の方法を用いて1次元信号x(n)(n=0〜N−1)の値から求めておく。
【0040】
図4は、離散ウェーブレット変換部103と離散ウェーブレット変換部104における分解要領の違いを説明するための図である。図4(a)は、離散ウェーブレット変換部103で適用される方式を示しており、図4(b)は、離散ウェーブレット変換部104で適用される方式を示している。尚、図4において無地の丸印は符号化対象のフレームデータの垂直方向1列からの画素データ、斜線パターンの丸印は高周波サブバンドの係数、ドットパターンの丸印は低周波サブバンドの係数を表している。また、各丸印を結ぶ線は、低周波及び高周波それぞれの係数を求めるために参照するデータの関係を示したものである。
【0041】
図4(a)に示すように、離散ウェーブレット変換部103では、x(2n)を中心として垂直方向に連続する5つの信号から低周波サブバンドの係数l(n)を求めている。これに対して、離散ウェーブレット変換部104では、x(2n+1)を中心とする5つの信号から低周波サブバンドの係数l(n)が生成されており、両者は垂直方向で1信号分(1ライン分)ずれている。
【0042】
また、係数量子化部105では、離散ウェーブレット変換部103、104により生成される各サブバンドの係数C(S,x,y)が、各サブバンド毎に定めた量子化ステップdelta(S)を用いて量子化される。ここで、量子化された係数値をQ(S,x,y)と表す場合、係数量子化部105で行われる量子化処理は式(5)により表すことができる。
【0043】
Q(S,x,y)=sign{C(S,x,y)}
×floor{|C(S,x,y)|/delta(S)} (5)ここで、sign{I}は整数Iの正負符号を表す関数であり、Iが正の場合は1を、負の場合は−1を返すものとする。また、floor{R}は実数Rを超えない最大の整数値を表す。
【0044】
また、ビットプレーン符号化部106は、係数量子化部105において量子化された係数値Q(S,x,y)を符号化し、符号列を生成する。尚、各サブバンドの係数をブロック分割し、別々に符号化することによりランダムアクセスを容易にする方法など符号化手法として様々な手法が提案されているが、ここでは説明を簡単にするためにサブバンド単位に符号化することとする。
【0045】
各サブバンドの量子化された係数値Q(S,x,y)(以降、単に「係数値」と称す。)の符号化は、サブバンド内の係数値Q(S,x,y)の絶対値を自然2進数で表現し、上位の桁から下位の桁へとビットプレーン方向を優先して二値算術符号化することにより行われる。各サブバンドの係数値Q(S,x,y)を自然2進表記した場合の下からn桁目のビットをQn(x,y)と表記して説明する。尚、2進数の桁を表す変数nをビットプレーン番号と呼ぶこととし、ビットプレーン番号nはLSB(最下位ビット)を0桁目とする。
【0046】
図5は、ビットプレーン符号化部106でサブバンドSを符号化する処理手順を説明するためのフローチャートである。図5に示すように、まず、符号化対象となるサブバンドS内の係数の絶対値を調べ、その最大値Mabs(S)を求める(ステップS601)。次に、サブバンド内の係数の絶対値の最大値Mabs(S)を2進数で表現する場合に必要となる桁数NBP(S)を式(6)を用いて求める(ステップS602)。
【0047】
NBP(S)=ceil{log2(Mabs(S))} (6)
但し、ceil{R}は実数Rに等しい、又はそれ以上の最小の整数値を表すものとする。
【0048】
次に、ビットプレーン番号nに有効桁数NBP(S)を代入する(ステップS603)。そして、ビットプレーン番号nから1を引いてn−1を求めてnに代入する(ステップS604)。
【0049】
さらに、n桁目のビットプレーンを二値算術符号を用いて符号化する(ステップS605)。本実施形態においては、使用する算術符号としてMQ-Coderを用いることとする。このMQ-Coderを用いて、ある状態(コンテクスト)Sで発生した二値シンボルを符号化する手順、或いは、算術符号化処理のための初期化手順、終端手順については、静止画像の国際標準ISO/IEC15444-1勧告等に詳細に説明されているのでここでは説明を省略する。
【0050】
また、本実施形態では、各ビットプレーンの符号化の開始時に算術符号化器を初期化し、終了時に算術符号化器の終端処理を行うものとする。また、個々の係数の最初に符号化される「1」の直後に、その係数の正負符号を0、1で表し、算術符号化する。ここでは、正の場合は0、負の場合は1とする。例えば、係数が−5で、この係数の属するサブバンドSの有効桁数NBP(S)が6の場合、係数の絶対値は2進数000101で表され、各ビットプレーンの符号化により上位桁から下位桁へと符号化される。そして、2番目のビットプレーンの符号化時(この場合、上から4桁目)に最初の「1」が符号化され、この直後に正負符号「1」を算術符号化する。
【0051】
次に、ビットプレーン番号nが0であるか否かを判定する(ステップS606)。その結果、nが0、すなわちステップS605においてLSBプレーンの符号化を行った場合(YES)、サブバンドの符号化処理を終了する。また、それ以外の場合(NO)、ステップS604に処理を移す。
【0052】
上述した処理によって、サブバンドSの全係数を符号化することができ、各ビットプレーンnに対応する符号列CS(S,n)を生成する。生成した符号列CS(S,n)は、符号列形成部107に送られ、符号列形成部107内の不図示のバッファに一時的に格納される。
【0053】
符号列形成部107では、ビットプレーン符号化部106により全サブバンドの係数の符号化が終了して全符号列が内部バッファに格納されると、所定の順序で内部バッファに格納される符号列を読み出す。そして、必要な付加情報を挿入して、1枚のフレームに対応する符号列を形成し、二次記憶装置108に格納する。
【0054】
符号列形成部107で生成される最終的な符号列は、ヘッダと、レベル0、レベル1及びレベル2の3つに階層化された符号化データとにより構成される。ここで、レベル0の符号化データは、サブバンドLLの係数を符号化して得られるCS(LL,NBP(LL)−1)からCS(LL,0)の符号列で構成される。
【0055】
また、レベル1は、LH1、HL1、HH1の各サブバンドの係数を符号化して得られる符号列CS(LH1,NBP(LH1)−1)からCS(LH1,0)、CS(HL1,NBP(HL1)−1)からCS(HL1,0)、及びCS(HH1,NBP(HH1)−1)からCS(HH1,0)で構成される。さらに、レベル2は、LH2、HL2、HH2の各サブバンドの係数を符号化して得られる符号列CS(LH2,NBP(LH2)−1)からCS(LH2,0)、CS(HL2,NBP(HL2)−1)からCS(HL2,0)、及びCS(HH2,NBP(HH2)−1)からCS(HH2,0)で構成される。図6は、符号列形成部107において生成される1枚のフレームデータに対応する符号列の細部構造を示す図である。
【0056】
また、二次記憶装置108は、符号列形成部107で生成された各フレームの符号列を格納する。この二次記憶装置108は、例えば、ハードディスクやメモリといった記憶装置で実現することが可能である。図7は、二次記憶装置108に格納される各フレームの符号列の一例を示す図である。図7に示すように、二次記憶装置108に符号列を格納する方法としては、各フレームの順番に並べて1つのファイルとして格納してもよいし、各フレームの符号化データを別々のファイルとして格納してもよい。
【0057】
すなわち、本発明は、ノンインターレースの動画像データを符号化する動画像符号化に関するものであって、ノンインターレースの動画像データの所定フレームを周波数変換して複数のサブバンドに分解し、前記所定フレームの次フレームを垂直方向に1ライン分ずらして周波数変換して複数のサブバンドに分解し、複数のサブバンドに分解されたフレームを符号化することを特徴とする。
【0058】
また、本発明は、第1及び第2のサブバンド分解工程が、2次元離散ウェーブレット変換を用いてそれぞれのフレームを複数のサブバンドに分解することを特徴とする。
【0059】
[動画像復号装置]
図8は、上述した本発明に係る第1の実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。図8において、図1に示す動画像符号化装置のブロック図と共通する部分(二次記憶装置108)については同じ符号で示し、その説明を省略する。図8に示すように、本実施形態における動画像復号装置は、符号列読み出し部901、ビットプレーン復号部902、係数逆量子化部903、スイッチ904、逆離散ウェーブレット変換部905、906、動画像データ出力部907、信号線908及び二次記憶装置108とを備える。
【0060】
以下、図8を参照して、本実施形態による動画像符号化装置により生成した符号化データを復号する動画像復号装置の動作手順について説明する。
【0061】
本実施形態による動画像復号装置は、信号線908を通じて装置外部から入力されるインターレース/プログレッシブ(ノンインターレース)切り替え制御信号により、インターレース画像、プログレッシブ画像(ノンインターレース画像)のいずれかを選択して再生することが可能である。本実施形態では、信号線908から入力される信号値は「0」又は「1」のいずれかであって、例えば、「0」が入力された場合はインターレース画像を出力し、「1」が入力された場合はプログレッシブ画像を出力するものとする。
【0062】
動画像データの復号は、符号化データ中のフレームを単位に行われる。そこで、符号列読み出し部901は、二次記憶装置108に格納されている符号化データから着目するフレームの符号化データを読み出して不図示の内部バッファに格納する。このとき、信号線908を介して受信されるインターレース/プログレッシブ切り替え制御信号が「0」である場合、すなわちインターレース画像の出力が選択されている場合には、フレームの符号化データのうち、サブバンドLH2、HH2の符号化データの読み出しを行わないようにする。
【0063】
ビットプレーン復号部902は、符号列読み出し部901の内部バッファに格納される符号化データをサブバンド順に読み出して、量子化された変換係数データQ(S,x,y)を復号する。ビットプレーン復号部902における処理は、図1に示されるビットプレーン符号化部106と対をなすものである。
【0064】
すなわち、ビットプレーン符号化部106では、上位のビットプレーンから下位のビットプレーンへと係数の絶対値の各ビットを所定のコンテクストにより二値算術符号化した。これに対しビットプレーン復号部902では、同様に上位のビットプレーンから下位のビットプレーンへと符号化時と同じコンテキストにより二値算術符号化データの復号を行い、係数の各ビットを復元する。また、係数の正負符号については符号化時と同じタイミングで、同じコンテクストを用いて算術符号の復号を行うようにする。
【0065】
係数逆量子化部903では、各サブバンド毎に定めた量子化ステップdelta(S)とビットプレーン復号部902で復号された量子化された係数値をQ(S,x,y)とから、各サブバンドの係数C(S,x,y)を復元する。
【0066】
スイッチ904は、復号対象のフレーム番号に応じて接続が切り替えられ、逆離散ウェーブレット変換を逆離散ウェーブレット変換部905で行うか、又は逆離散ウェーブレット変換部906で行うかが選択できる。本実施形態では、奇数フレームについての復号では逆離散ウェーブレット変換部905に接続し、偶数フレームについての復号では逆離散ウェーブレット変換部906に接続するものとする。
【0067】
逆離散ウェーブレット変換部905及び逆離散ウェーブレット変換部906では、それぞれ図1における離散ウェーブレット変換部103及び離散ウェーブレット変換部104でのウェーブレット変換処理の逆変換が行われ、フレームのデータを復元する。このとき、信号線908から入力される制御信号が「1」の場合、まずサブバンドLL、HL1、LH1、HH1の係数から図2(c)に示されるサブバンドLLを復元し、このサブバンドLLとサブバンドLH2、HL2及びHH2から、図2(b)を経て、図2(a)に示すように元のフレームデータと同じ大きさで復元する。
【0068】
一方、信号線908から入力される制御信号が「0」の場合は、同様にサブバンドLL、LH1、HL1、HH1の係数からLLサブバンドを復元した後、このサブバンドLLとHL2から元のフレームデータに比べて垂直方向のライン数が半分の画像を復元する。図9は、信号線908からの制御信号が「0」であってインターレース画像を出力する場合の逆変換過程を説明するための図である。
【0069】
そして、動画像データ出力部907は、逆離散ウェーブレット変換部905又は906から出力される復元画像データを装置外部へと出力する。動画像データ出力部907は、例えば、ハードディスクやメモリといった記憶装置と、ネットワーク回線や表示デバイスへのインタフェース等によって実現することが可能である。
【0070】
信号線908の制御信号が「0」である場合、すなわち、インターレース画像の出力が選択されている場合には、復号対象となる符号化データの1つのフレームから復号されるデータが、インターレース画像における1つのフィールドに相当する。従って、この場合、図7に示される符号化データのフレーム1符号化データから、本動画像復号装置の出力する動画像データの第1フレームにおける奇数フィールドが得られ、フレーム2符号化データから第1フレームにおける偶数フィールドが得られることになる。
【0071】
すなわち、本発明は、符号化された動画像データから、インターレース画像データを復号する動画像復号に関するものであって、符号化された動画像データから所定のサブバンドを復号し、所定フレームの符号化データから復号された所定のサブバンドを合成して所定フレームに関する奇数フィールドを復元する。また、所定フレームの次フレームの符号化データから復号された所定のサブバンドを合成して所定フレームに関する偶数フィールドを復元することを特徴とする。
【0072】
また、本発明は、前記符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示し、インターレースで復号する指示がされた場合、所定の高周波成分の符号化データを含まない符号化された動画像データが復号され、ノンインターレースで復号する指示がされた場合、すべての符号化された動画像データから復号されたサブバンドを合成して所定フレームを復元し、所定フレームの次フレームに関する符号化データから復号されたサブバンドを合成して次フレームを復元することを特徴とする。
【0073】
しかしながら、本発明はこれに限らず、4ビット、10ビット、12ビット等の8ビット以外のビット数で輝度値を表現している場合や、各画素をRGB、YCrCb、CMYK等の複数の色成分で表現するカラー画像データを用いてもよい。また、画像領域の各画素の状態を示す多値情報を符号化し、また復号する場合、例えば、各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化し、また復号する場合にも適用することができる。また、取り込み時間や1秒あたりの取り込みフレーム数についても、上述した実施形態に限定されるものではない。
【0074】
上述したように、符号化の過程で垂直方向に最初に適用される離散ウェーブレット変換において、低域通過フィルタと高域通過フィルタを、奇数フレームと偶数フレームとで1ラインずらして適用することによって、復号側で全符号化データを復号することなく符号化データの一部の符号化データを復号することで1秒あたり30フレームのインターレース画像を再生することができ、また、全てのサブバンドの符号化データを復号することにより1秒あたり60フレームのプログレッシブ画像を再生することができる。
【0075】
<第2の実施形態>
[動画像符号化装置]
図10は、本発明の第2の実施形態に係る動画像符号化装置の細部構成を示すブロック図である。上述した第1の実施形態で用いられた図1に示すブロック図と共通する部分については同じ符号で示し、それらの説明を省略する。
【0076】
図10に示すように、動画像符号化装置は、動画像データ入力部101、スイッチ102、ラインシフト処理部1001、離散ウェーブレット変換部103、係数量子化部105、ビットプレーン符号化器106、符号列形成部107及び二次記憶装置108とを備える。
【0077】
第1の実施の形態では奇数フレームと偶数フレームとで垂直方向に最初に適用されるフィルタが1ラインずれるように離散ウェーブレット変換を切り替える構成としたが、本実施形態ではラインシフト処理部1001によりフレームの偶数フレームを1ラインずらすことにより同様の効果を得るようにしたものである。
【0078】
本実施形態では、第1の実施形態と同様にして、1秒あたり60フレームであって1画素の輝度値が8ビットのモノクロ動画像データを4秒分(合計240フレーム)符号化するものとして説明する。以下、図10を参照して、本実施形態における動画像符号化装置の動作手順について説明する。尚、第1の実施形態における動作の同じ部分については説明を省略する。
【0079】
まず、動画像データ入力部101から前述の1秒あたり60フレームであって4秒分の動画像データが入力される。動画像データ入力部101は、例えば、デジタルカメラ等の撮像部分であって、CCD等の撮像デバイスとガンマ補正、シェーディング補正等の各種画像調整回路を用いて実現可能である。動画像データ入力部101は、入力された画像を1フレームずつスイッチ102に送る。尚、第1の実施形態と同様に、入力されたフレームデータには時間順に1から番号を与え、フレーム1、フレーム2、…という番号で各フレームを識別するようにする。また、各フレームの水平方向の位置(座標)をx、垂直方向の位置をy、座標(x,y)における画素値をP(x,y)で表す。
【0080】
スイッチ102は、動画像データ入力部101から入力されるフレームデータを、フレームの番号に応じて接続を切り替えて離散ウェーブレット変換部103又はラインシフト処理部1001のいずれかに送る。本実施形態においては、入力されたフレームが奇数フレームの場合は離散ウェーブレット変換部103に接続を切り替え、入力されたフレームが偶数フレームの場合はラインシフト処理部1001に接続を切り替える。
【0081】
図11は、動画像データ入力部101から入力される偶数フレームのデータP(x,y)についてのラインシフト処理部1001で行われる1ライン分のシフト処理を説明するための図である。本実施形態におけるラインシフト処理部1001では、図11に示すように、偶数フレームの先頭1ライン分のデータを当該フレームの最後のラインの後に移動させるようにする。
【0082】
そして、ラインシフト処理部1001によるシフト処理後の偶数フレームデータと、スイッチ102を経由して入力される奇数フレームデータについて、離散ウェーブレット変換部103、係数量子化部105、ビットプレーン符号化部106及び符号列形成部107において、上述した第1の実施形態と同様の符号化処理が行われ、二次記憶装置108に入力された動画像データに対する符号化データが格納される。
【0083】
すなわち、本発明は、ノンインターレースの動画像データを符号化する動画像符号化に関し、ノンインターレースの動画像データの処理フレームの次フレームを垂直方向に1ラインデータ分シフトさせたフレームを生成する。そして、所定フレーム及び1ラインデータ分シフトされたフレームを周波数変換して複数のサブバンドに分解し、複数のサブバンドに分解されたフレームを符号化することを特徴とする。
【0084】
また、本発明は、2次元離散ウェーブレット変換を用いてそれぞれのフレームを複数のサブバンドに分解することを特徴とする。
【0085】
[動画像復号装置]
図12は、本発明の第2の実施形態に係る動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。尚、図12においては、図1及び図8に示される装置のブロック図と共通する部分については同じ符号で示し、それらの説明を省略する。図12に示すように、動画像復号装置は、二次記憶装置108、符号列読み出し部901、ビットプレーン復号部902、係数逆量子化部903、スイッチ904、逆離散ウェーブレット変換部905、ラインシフト処理部1201、動画像データ出力部907及び信号線908とを備える。
【0086】
以下、図12を参照して、本実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の動作について説明する。
【0087】
本実施形態に係る動画像復号装置は、第1の実施形態で説明した動画像復号装置と同じく、信号線908を通じて装置外部から入力されるインターレース/プログレッシブ切り替え制御信号により、インターレース画像又はプログレッシブ画像のいずれかを選択して再生するものである。尚、信号線908から入力される信号値は「0」又は「1」のいずれかである。そして、「0」の場合はインターレース画像を出力し、「1」の場合はプログレッシブ画像を出力するように設定されているものとする。
【0088】
図12に示す動画像復号装置では、第1の実施形態における動画像復号装置と同様に、符号列読み出し部901、ビットプレーン復号部902、係数逆量子化部903及び離散ウェーブレット変換部905での処理により、二次記憶装置108に格納される動画像符号化データの各フレームのデータが復号される。尚、復号されたフレームデータをP’(x,y)と表す。
【0089】
スイッチ904では、復号対象のフレーム番号に応じて接続が切り替えられ、上記復号処理で復号したフレームデータが、直接動画像データ出力部907かラインシフト処理部1201のいずれかに送られる。このとき、信号線908から入力される制御信号が「0」である場合、スイッチ904は動画像データ出力部907に接続して復号したフレームデータが送られる。また、制御信号が「1」であり、かつ、復号されたフレームが偶数フレームである場合、スイッチ904はラインシフト処理部1201に接続する。
【0090】
図13は、動画像データ入力部901から入力される偶数フレームのデータP(x,y)についてのラインシフト処理部1201で行われる1ライン分のシフト処理を説明するための図である。ラインシフト処理部1201では、スイッチ904を経由して入力されるフレームデータを、図13に示すように下に1ラインずらす処理を行う。このとき、フレームの最終1ライン分のデータはシフト処理後のフレームの先頭ラインに移動させる。この操作は、符号化側のラインシフト処理部1001で行われた操作を元に戻すためのものである。尚、図13において、符号Nはフレームデータのライン数を示す。
【0091】
動画像データ出力部907は、スイッチ904を経由して入力される復元画像データと、ラインシフト処理部1201から入力される復元画像データとを装置外部へと出力する。動画像データ出力部907は、例えば、ハードディスクやメモリといった記憶装置と、ネットワーク回線や表示デバイスへのインタフェース等を用いて実現可能である。
【0092】
第1の実施の形態で述べた画像復号装置と同様に、信号線908からの制御信号が「0」である場合、すなわちインターレース画像の出力が選択されている場合には、復号対象となる符号化データの1つのフレームから復号されるデータがインターレース画像における1つのフィールドに相当する。従って、この場合、図7に示す符号化データのフレーム1符号化データから、本動画像復号装置の出力する動画像データの第1フレームの奇数フィールドが得られ、フレーム2符号化データから第1フレームの偶数フィールドが得られる。
【0093】
すなわち、本発明は、符号化された動画像データから、インターレース画像データを復号する動画像復号に関するものであって、動画像データの所定フレーム及びその次フレームに関する符号化データから所定のサブバンドを復号する。そして、符号化データから復号された所定のサブバンドを合成して所定フレーム及びその次フレームを復元し、所定フレームから奇数フィールドを出力し、次フレームから偶数フィールドを出力することを特徴とする。
【0094】
また、本発明は、符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示し、インターレースで復号する指示がされた場合、所定の高周波成分の符号化データを含まない符号化データから所定のサブバンドを復号することを特徴とする。
【0095】
さらに、本発明は、符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示し、ノンインターレースで復号する指示がされた場合、すべての符号化データから所定のサブバンドを復号し、入力された符号化データから復元された所定フレーム及びその次フレームを出力することを特徴とする。
【0096】
しかしながら、本発明はこれだけに限らず、4ビット、10ビット、12ビット等の8ビット以外のビット数で輝度値を表現している場合や、各画素をRGB、YCrCb、CMYK等の複数色成分で表現するカラー画像データにも適用可能である。また、画像領域の各画素の状態を示す多値情報を符号化し復号する場合、例えば、各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化し復号する場合にも適用することができる。さらに、取り込み時間や1秒あたりの取り込みフレーム数についても、上述した例に限定されるものではない。
【0097】
<第3の実施形態>
第1の実施形態では、離散ウェーブレット変換部103、104において水平方向及び垂直方向に同じ回数の離散ウェーブレット変換を施したが、垂直方向の離散ウェーブレット変換の回数を多くすることで、インターレース画像データの復号時の水平方向、垂直方向の逆離散ウェーブレット変換回数を同数とすることも可能である。
【0098】
図14は、本発明の第3の実施形態に係る動画像符号化装置の構成を示すブロック図である。図14に示す画像符号化装置において、第1の実施形態で説明した図1に示される画像符号化装置と共通する部分については同じ符号で示し、それらの説明を省略する。図14に示す画像符号化装置において、第1の実施形態による画像符号化装置と異なる部分は、離散ウェーブレット変換部1401、1402及び符号列形成部1403の機能である。
【0099】
本実施形態においても、第1及び第2の実施形態と同様に、1秒あたり60フレームが取り込まれるものであって、1画素の輝度値が8ビットのモノクロ動画像データを4秒分、すなわち240フレームを符号化するものとして説明する。以下、離散ウェーブレット変換部1401、1402及び符号列形成部1403の動作を中心にして本動画像符号化装置について説明する。
【0100】
離散ウェーブレット変換部1401と離散ウェーブレット変換部1402とは、フレームデータに対して最初に適用される垂直方向の1次元離散ウェーブレット変換の方法のみ異なっている。離散ウェーブレット変換部1401、離散ウェーブレット変換部1402とも、まず、フレームデータに対して垂直方向に1次元離散ウェーブレット変換を施し、低周波サブバンドの係数Lと高周波サブバンドの係数Hに分解する。この低周波サブバンドの係数Lについてさらに垂直方向及び水平方向に1次元の離散ウェーブレット変換を適用して、5つのサブバンドLL、HL1、LH1、HH1、Hに分解する。図15は、第3の実施形態の動画像符号化装置におけるサブバンド分解を説明するための概要図である。
【0101】
離散ウェーブレット変換部1401における最初の垂直方向のサブバンド分解は式(7)、(8)に示すフィルタにより行われる。
【0102】
l(n)=x(2n) (7)
h(n)=x(2n+1)
−floor{(l(n)−l(n+1))/2} (8)
ここで、h(n)は高周波サブバンドの係数、l(n)は低周波サブバンドの係数を表し、floor{R}は実数Rを超えない最大の整数値を表す。尚、式(7)、(8)の計算において必要となる1次元信号x(n)の両端(n<0及びn>N−1)は公知の手法により1次元信号x(n)(n=0〜N−1)の値から求めておく。
【0103】
また、離散ウェーブレット変換部1402における最初の垂直方向のサブバンド分解は式(9)、(10)に示すフィルタにより行われる。
【0104】
l(n)=x(2n+1) (9)
h(n)=x(2n)
−floor{(l(n−1)−l(n))/2} (10)
また、離散ウェーブレット変換部1401、1402における最初の垂直方向のサブバンド分解を除き、N個の1次元信号x(n)(n=0〜N−1)のサブバンド分解は、式(11)、(12)によって行われる。
【0105】
h(n)=x(2n+1)
−floor{(x(2n)+x(2n+2))/2} (11)
l(n)=x(2n)
+floor{h(n−1)+h(n)+2)/4} (12)
ここで、h(n)は高周波サブバンドの係数、l(n)は低周波サブバンドの係数を表し、floor{R}は実数Rを超えない最大の整数値を表す。尚、ここでは説明を省略するが、上記式の計算において必要となる1次元信号x(n)の両端(n<0及びn>N−1)は公知の手法により1次元信号x(n)(n=0〜N−1)の値から求めておく。
【0106】
符号列形成部1403は、ビットプレーン符号化部106により全サブバンドの係数の符号化が終了し、全符号列が内部バッファに格納されると、所定の順序で内部バッファに格納される符号列を読み出す。そして、必要な付加情報を挿入して、1枚のフレームに対応する2つの符号列を形成し、二次記憶装置108に格納する。
【0107】
符号列形成部1403で生成される符号列の1つは、ヘッダと、レベル0、レベル1の2つに階層化された符号化データにより構成される。レベル0の符号化データは、サブバンドLLの係数を符号化して得られるCS(LL,NBP(LL)−1)〜CS(LL,0)の符号列から構成される。また、レベル1は、LH1、HL1、HH1の各サブバンドの係数を符号化して得られる符号列CS(LH1,NBP(LH1)−1)〜CS(LH1,0)、CS(HL1,NBP(HL1)−1)〜CS(HL1,0)、及びCS(HH1,NBP(HH1)−1)〜CS(HH1,0)から構成される。これをフィールド用符号列と呼ぶ。
【0108】
符号列形成部1403で生成されるもう一方の符号列は、サブバンドHの係数を符号化して得られる符号列CS(H,NBP(H)−1)〜CS(H,0)から構成される。これをプログレッシブ用追加符号列と呼ぶ。図16は、符号列形成部1403により生成される1枚のフレームデータに対応するフィールド用符号列及びプログレッシブ用追加符号列の構造を示す図である。
【0109】
図17は、符号列形成部1403において生成される各フレームの符号列を順番に並べた動画像符号化データの一例を示す図である。図17に示す動画像符号化データのヘッダ部分には各フレームのフィールド用符号列の先頭位置と符号列の長さを格納しておき、インターレース画像の再生時に必要なデータの取り出しを容易にする。
【0110】
本実施形態では、まず、垂直方向に2つの周波数帯域に分解した後、低周波成分を水平・垂直方向に対して同数の分解を行っている。本実施形態では説明のために簡単な符号化方式を用いているが、例えば、最初の垂直方向の分解により得られる低周波成分をJPEG2000のPart1等の水平方向、垂直方向の分解回数を同数に限定した符号化方式を適用することにより、図17に示されるフィールド用符号列として規格に準じた符号列を格納することでインターレース画像の再生について様々な動画像復号装置間での互換性を有し、かつ、特殊な動画像復号装置においてプログレッシブ画像を再生するようにした動画像符号化データを生成することができる。
【0111】
すなわち、本発明は、ノンインターレースの動画像データを符号化する動画像符号化に関し、ノンインターレースの動画像データの所定フレームを周波数変換して垂直方向に2つのサブバンドに分解し、一方のサブバンドをさらに複数のサブバンドに分解する。また、所定フレームの次フレームを垂直方向に1ラインずらしたフレームを周波数変換して垂直方向に2つのサブバンドに分解し、一方のサブバンドについて分解されたサブバンドと同数のサブバンドに分解し、複数のサブバンドに分解されたフレームを符号化する。
【0112】
しかしながら、本発明はこれだけに限らず、4ビット、10ビット、12ビット等の8ビット以外のビット数で輝度値を表現している場合や、各画素をRGB、YCrCb、CMYK等の複数色成分で表現するカラー画像データにも適用可能である。また、画像領域の各画素の状態を示す多値情報を符号化し復号する場合、例えば、各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化し復号する場合にも適用することができる。さらに、取り込み時間や1秒あたりの取り込みフレーム数についても、上述した例に限定されるものではない。
【0113】
<その他の実施形態>
本発明は、上述した実施の形態に限定されるものではない。例えば、上述した第1〜第3の実施形態においては、サブバンドを単位としてビットプレーン符号化を行ったが、サブバンドをさらに複数のブロックに分割し、ブロックごとにビットプレーン符号化を行ってもよい。また、一つのビットプレーンを複数のパスで符号化するようにしても構わない。
【0114】
また、二値算術符号化の方法としてMQ-Coderを用いる例について述べたが、上述の実施の形態に限定されるものではなく、例えば、QM-Coder等、MQ-Coder以外の算術符号化方法を適用しても構わない。また、マルチコンテクストの情報源を符号化するに適する方式であればその他の二値符号化方式を適用しても構わない。
【0115】
さらに、復号画素精度を段階的に変更する必要のない場合には、サブバンドの係数をビットプレーン符号化ではなく、多値のままエントロピー符号化する方法を用いても良い。さらにまた、サブバンド分解のためのフィルタは上述の実施の形態に限定されるものではなく、その他のフィルタを使用しても構わない。さらに、その適用回数についても上述の実施の形態に限定されるものではない。また、符号列の構成も上述した実施の形態に限定するものではなく、符号データの順序、付加情報の格納形態などを変えても構わない。
【0116】
尚、本発明は、複数の機器(例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用してもよい。
【0117】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0118】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0119】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0120】
【発明の効果】
以上説明したように、本発明によれば、プログレッシブ画像の符号化データから効率よくインターレース画像又はプログレッシブ画像を復号することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図2】2次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【図3】2回の2次元離散ウェーブレット変換によって得られる7つのサブバンドを説明するための図である。
【図4】離散ウェーブレット変換部103と離散ウェーブレット変換部104における分解要領の違いを説明するための図である。
【図5】ビットプレーン符号化部106でサブバンドSを符号化する処理手順を説明するためのフローチャートである。
【図6】符号列形成部107において生成される1枚のフレームデータに対応する符号列の細部構造を示す図である。
【図7】二次記憶装置108に格納される各フレームの符号列の一例を示す図である。
【図8】本発明に係る第1の実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。
【図9】信号線908からの制御信号が「0」であってインターレース画像を出力する場合の逆変換過程を説明するための図である。
【図10】本発明の第2の実施形態に係る動画像符号化装置の細部構成を示すブロック図である。
【図11】動画像データ入力部101から入力される偶数フレームのデータP(x,y)についてのラインシフト処理部1001で行われる1ライン分のシフト処理を説明するための図である。
【図12】本発明の第2の実施形態に係る動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。
【図13】動画像データ入力部901から入力される偶数フレームのデータP(x,y)についてのラインシフト処理部1201で行われる1ライン分のシフト処理を説明するための図である。
【図14】本発明の第3の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図15】第3の実施形態の動画像符号化装置におけるサブバンド分解を説明するための概要図である。
【図16】符号列形成部1403により生成される1枚のフレームデータに対応するフィールド用符号列及びプログレッシブ用追加符号列の構造を示す図である。
【図17】符号列形成部1403において生成される各フレームの符号列を順番に並べた動画像符号化データの一例を示す図である。
【図18】ウェーブレット変換とビットプレーン符号化とを組み合わせた符号化方式を使用した従来の画像符号化装置の構成を示すブロック図である。
【符号の説明】
101 動画像データ入力部
102、904 スイッチ
103、104、1401、1402 離散ウェーブレット変換部
105 係数量子化部
106 ビットプレーン符号化部
107、1403 符号列形成部
108 二次記憶装置
901 符号列読み出し部
902 ビットプレーン復号部
903 係数逆量子化部
905、906 逆離散ウェーブレット変換部
907 動画像データ出力部
908 信号線
1001、1201 ラインシフト処理部
Claims (6)
- ノンインターレースの動画像データを符号化する動画像符号化装置であって、
ノンインターレースの動画像データを入力する入力手段と、
前記動画像データの第1フレームの次の第2フレームを垂直方向に1ラインデータ分シフトさせるラインシフト手段と、
前記第1フレーム及び1ラインデータ分シフトされた前記第2フレームを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
複数のサブバンドに分解された前記第1及び第2フレームを符号化する符号化手段と、
符号化されたフレームを出力する出力手段と
を備えることを特徴とする動画像符号化装置。 - 前記サブバンド分解手段が、2次元離散ウェーブレット変換を用いて前記第1及び第2フレームのそれぞれを複数のサブバンドに分解することを特徴とする請求項1記載の動画像符号化装置。
- 請求項1又は請求項2に記載の動画像符号化装置を用いて符号化された動画像符号化データを復号する動画像復号装置であって、
前記動画像符号化データをインターレース又はノンインターレースのいずれで復号するかを選択する選択手段と、
該選択手段により、ノンインターレースで復号することが選択された場合、フレームの全周波数成分のサブバンドの符号化データを入力し、前記選択手段によりインターレースで復号することが選択された場合、フレームの垂直方向の1/2の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力する入力手段と、
前記入力手段で入力した各サブバンドの符号化データを復号するサブバンド復号手段と、
該サブバンド復号手段で復号したサブバンドを合成して、フレームの画像データ、又は、1フレームの垂直方向の1/2の大きさの画像データを生成する合成手段と、
画像データ中の各ラインを、符号化処理時とは逆方向に1ライン分だけシフトするシフト手段と、
前記選択手段でノンインターレースで復号することが選択された場合、前記合成手段で得られる、連続する2つフレームの画像データを第1のフレーム、第2のフレームとしたとき、前記第1のフレームの画像データについてはノンインターレースのフレームの画像データとして出力し、前記第2のフレームの画像データについては、前記シフト手段によりシフトした結果の画像をノンインターレースのフレームの画像データとして出力し、
前記選択手段でインターレースで復号することが選択された場合、前記合成手段で得られた画像データを、インターレースのフィールドの画像データとして出力する出力手段と
を備えることを特徴とする動画像復号装置。 - ノンインターレースの動画像データを符号化する動画像符号化方法であって、
ノンインターレースの動画像データの第1フレームの次の第2フレームを垂直方向に1ラインデータ分シフトさせるラインシフト工程と、
前記第1フレーム及び1ラインデータ分シフトされた前記第2フレームを周波数変換して複数のサブバンドに分解するサブバンド分解工程と、
複数のサブバンドに分解された前記第1及び第2フレームを符号化する符号化工程と
を有することを特徴とする動画像符号化方法。 - 前記サブバンド分解工程が、2次元離散ウェーブレット変換を用いて前記第1及び第2フレームのそれぞれを複数のサブバンドに分解することを特徴とする請求項4記載の動画像符号化方法。
- 請求項4又は5に記載の動画像符号化方法を用いて符号化された動画像データから、インターレース画像データを復号する動画像復号方法であって、
前記動画像符号化データをインターレース又はノンインターレースのいずれで復号するかを選択する選択工程と、
該選択工程により、ノンインターレースで復号することが選択された場合、フレームの全周波数成分のサブバンドの符号化データを入力し、前記選択工程によりインターレースで復号することが選択された場合、フレームの垂直方向の1/2の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力する入力工程と、
前記入力工程で入力した各サブバンドの符号化データを復号するサブバンド復号工程と、
該サブバンド復号工程で復号したサブバンドを合成して、フレームの画像データ、又は、1フレームの垂直方向の1/2の大きさの画像データを生成する合成工程と、
画像データ中の各ラインを、符号化処理時とは逆方向に1ライン分だけシフトするシフト工程と、
前記選択工程でノンインターレースで復号することが選択された場合、前記合成工程で得られる、連続する2つフレームの画像データを第1のフレーム、第2のフレームとしたとき、前記第1のフレームの画像データについてはノンインターレースのフレームの画像データとして出力し、前記第2のフレームの画像データについては、前記シフト工程によりシフトした結果の画像をノンインターレースのフレームの画像データとして出力し、
前記選択工程でインターレースで復号することが選択された場合、前記合成工程で得られた画像データを、インターレースのフィールドの画像データとして出力する出力工程と
を備えることを特徴とする動画像復号方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002212617A JP4174254B2 (ja) | 2002-07-22 | 2002-07-22 | 動画像符号化装置及び動画像復号装置並びにそれらの方法 |
US10/620,604 US7302105B2 (en) | 2002-07-22 | 2003-07-17 | Moving image coding apparatus, moving image decoding apparatus, and methods therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002212617A JP4174254B2 (ja) | 2002-07-22 | 2002-07-22 | 動画像符号化装置及び動画像復号装置並びにそれらの方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004056576A JP2004056576A (ja) | 2004-02-19 |
JP2004056576A5 JP2004056576A5 (ja) | 2006-12-28 |
JP4174254B2 true JP4174254B2 (ja) | 2008-10-29 |
Family
ID=31935503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002212617A Expired - Fee Related JP4174254B2 (ja) | 2002-07-22 | 2002-07-22 | 動画像符号化装置及び動画像復号装置並びにそれらの方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4174254B2 (ja) |
-
2002
- 2002-07-22 JP JP2002212617A patent/JP4174254B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004056576A (ja) | 2004-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4367880B2 (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
JP4480119B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4702928B2 (ja) | 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
US7302105B2 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
JP4365957B2 (ja) | 画像処理方法及びその装置及び記憶媒体 | |
US6560369B1 (en) | Conversion of wavelet coded formats depending on input and output buffer capacities | |
WO2006046551A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
JP2006014121A (ja) | 画像符号化方法、画像符号化装置および撮像装置 | |
JP2002034043A (ja) | 符号化装置及び符号化方法並びに記憶媒体 | |
JP2007267384A (ja) | 圧縮装置及び圧縮方法 | |
JP2005218124A (ja) | データ圧縮システム | |
JP6727011B2 (ja) | 画像符号化装置及びその制御方法 | |
WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
JPH08294119A (ja) | 画像符号化/復号化装置 | |
JP2001359117A (ja) | 画像処理装置及び該装置における画像処理方法 | |
JP4174254B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
JP2002135593A (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
JP2006340300A (ja) | 信号処理方法及び信号処理装置、並びに信号処理プログラム及び情報記録媒体 | |
JP2005223852A (ja) | 画像符号化装置および方法、ならびに画像復号装置および方法 | |
JP2003244443A (ja) | 画像符号化装置及び画像復号装置 | |
JP5078199B2 (ja) | 画像符号化装置及びその方法並びにプログラムコード、記憶媒体 | |
JPH11331612A (ja) | 画像処理装置及び方法及び記憶媒体 | |
JP2010004279A (ja) | 画像処理装置及びそれを備えた画像形成装置 | |
JP2008124969A (ja) | 画像可逆符号化方法及び画像可逆符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080804 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |