JP3204645B2 - 映像符号化及び復号化方法並びにその装置 - Google Patents
映像符号化及び復号化方法並びにその装置Info
- Publication number
- JP3204645B2 JP3204645B2 JP34762698A JP34762698A JP3204645B2 JP 3204645 B2 JP3204645 B2 JP 3204645B2 JP 34762698 A JP34762698 A JP 34762698A JP 34762698 A JP34762698 A JP 34762698A JP 3204645 B2 JP3204645 B2 JP 3204645B2
- Authority
- JP
- Japan
- Prior art keywords
- coefficients
- encoding
- unit
- frame
- dct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
る方法及びその装置、並びに符号化された映像信号を復
号化する方法及びその装置に関し、特に低伝送率ビデオ
映像を符号化しこれを復号化する方法及び装置に関す
る。
停止映像の符号化/復号化規格であるJPEG(Joint P
hotographic Coding Experts Group)、動映像の符号化
/復号化規格であるMPEG(Moving Picture Experts
Group)、また低伝送率ビデオ標準案であるH.261、
H.263等が提示されている。特に、既存の空中網(P
ublic Switched Telephone Network;PSTN)を通ずる映像
通信の必要性が増大するに伴い、符号化アルゴリズム及
び標準化活動の側面で超低ビット率映像符号化(very lo
w bit video coding)の研究が活発に行われている。そ
の代表的な例としてITU−T(International Telecom
munication Union-Telecommunication Standardization
Sector;国際電気通信連合−電気通信標準化部分、全
CCITT)のH.263勧告案は、映像電話システム
の具現のために超低ビット率伝送に適した動き補償ハイ
ブリッド(motion compensated hybrid)DPCM/DC
T(Differential Pulse Code Modulation/Discrete Cos
ine Transform)符号化方法を使用する。この類の映像符
号化方法は、入力デジタル映像信号をDCT変換し量子
化した後、量子化した映像信号を復元して原映像信号と
の誤差を検出し、その動きを推定して量子化ステップを
制御することにより所望のビット率を確保している。
ne Transform;DCT)による動映像符号化装置の構成ブロ
ック図である。映像符号化は、I(Intra)フレーム符号
化及びP(predictive)フレーム符号化に大別される。
この際、Iフレームの場合は、入力されるビデオビット
ストリームのままDCT部101に出力され、Pフレー
ムの場合は、減算器110の出力、つまり動き予測され
たデータと現在入力されるビットストリームとの差がD
CT部101に出力される。
じてデータの相関性を除去する。このため、入力される
フレームをブロック単位に分けた後、各々のブロックを
軸変換させる。すなわち、各ブロックの映像を空間領域
から周波数領域へ変換する。このようにDCTされたデ
ータは一方(低域側)に集中する傾向にあり、このよう
に集中されたデータのみが量子化部により量子化され
る。この際、前記量子化には、量子化パラメータ、つま
り加重値マトリックス(weight matrix)と量子化スケー
ルコード(quantization-scale-code)が用いられる。
T係数の加重値を示し、量子化スケールコードは量子化
ステップを決定する。
数はエントロピー符号化(entropy coding)部103に出
力される。前記エントロピー符号化部103は、可変長
符号化(variabale Length Coding; VLC)を適用して、頻
繁にでる値は少ない数のビット、希にでる値は多い数の
ビットで表示して全体のビット数を減少させた後、チャ
ネル104を介して伝送する。
量子化部105で逆量子化され、IDCT部106でI
DCTされ、加算器107に出力される。前記加算器1
07は、動き予測部109で動き予測されたデータと、
前記IDCTされたデータとを加算し、フレームメモリ
108に貯蔵する。前記動き予測部109の出力とID
CTされた出力とを加算してフレームメモリ108に貯
蔵すると、前記動き予測部109で現在入力されるピク
チャの動き推定の時に前記フレームメモリ108に貯蔵
されたデータが直ぐ前のピクチャとなる。
に画面の中央部に人体又は物体の動きがあるため、動き
予測部109では、このような性質を用いて時間軸の重
複性を除去する。すなわち、画面の変化しない部分、若
しくは動きのある画面中の類似な部分を直ぐ前のピクチ
ャから持ってくることにより、伝送すべきデータ量を大
幅に減少させることができる。
ロックを探すことを動き推定(Motion estimation)と
し、どのくらい動いたかを示すことを動きベクトル(Mot
ion Vector; MV)とする。前記動きベクトルは、VLC
された変換係数情報と共にチャネル104を介して伝送
される。この際、前記動きベクトルも最大の符号化効率
を得るためにエントロピー符号化部103でVLCされ
る。
するためには、まず動きベクトル(MV)を求めなければな
らない。この際、MVは、一つのマクロブロック当たり
に最大4個まで出るが、これがそのまま送られると、あ
まりにビット量が大きいため、直ぐ前のマクロブロック
のMVとの差のみをVLCして伝送する。
過程では、前方向、後方向の予測ブロックを用い、2つ
の動き補償フレームを用いる。その中のPフレームは、
前方向予測のみで動き補償を行い、それ自体で次のPフ
レームを予測するのに用いられる。更に、前記Pフレー
ムは、Bフレーム(両方向で予測されたフレーム)の前
方向及び後方向の予測のためにも用いられる。しかし、
Bフレームは、それ自体が予測のために用いられること
はない。
号化時に基準となる画面であり、原信号をブロック毎に
DCT変換及び量子化過程に適用して空間方向の重複性
のみを除去する。すなわち、基本的に最初のフレームは
Iフレーム符号化し、標準によって伝送されたパケット
の損失がある場合に随時に受信端でIフレームの要請を
する。こうすると、送信端からIフレームを送る。この
際、Iフレームは、P、Bフレームの動き予測に用いら
れるため、Iフレーム符号化の結果は続くフレーム
(P、Bフレーム)の符号化効率を大きく左右する。更
に、映像の背景(background)部分の場合、Iフレーム符
号化後、シーン転換(scene change)が起こる前までは続
くPフレームでの背景部分の符号化が殆どなされないた
め、Iフレーム符号化の結果が続けて主観的画質に影響
を及ぼす。すなわち、Iフレーム符号化の結果がよけれ
ば、以後のPフレーム符号化の結果もよい。
レームは2部分、例えば隣接フレーム間の高い視覚的相
関性を利用する動き補償予測(motion compensated pred
iction)部分と、動き補償後の予測エラーであるDFD
(Displaced Frame Difference)を符号化する過程とに大
別される。
り現在フレームと、動きベクトルだけ移動した以前フレ
ームとの差信号であり、DFD符号化はPフレームの発
生ビットの大部分を占める。
符号化と同方式で符号化される。しかし、これは、自然
(natural)映像とDFD映像特性との相違点をあまり利
用しない。DFD映像は、主として平坦(smoothing)領
域を含む自然映像より遥かに多い中間(mid)及び高周波
数成分を有するため、空間的相関性が小さい。このた
め、DCT変換時に、高いエネルギー圧縮(compaction)
の自然映像よりもエネルギー圧縮効率が落ち、その結
果、既存のジグザグスキャニングによるラン長(run-len
gth)符号化方法の効率も落ちる。更に、DFD映像は、
超低ビット率伝送時に符号化されるDCT係数の数が非
常に少なく、各係数は非常に大きな量子化レベルとして
表現されるため、再構成された映像にブロック現象及び
リンギング(ringing)効果が著しく現れる。
e)は、ビット率制御部111でのビット率の調節であ
る。単純に固定された量子化パラメータによってビット
が発生し、係数別に符号化されるため、目標とするビッ
ト率(target bit rates)に合わせるためには反復的な方
法が要求される。しかし、そうしても正確なビット率の
調節は非常に難しい。
隙(量子化パラメータ)を調節するだけでビット率を調
節する構造を有する。従って、超低ビット率伝送時に、
大きな量子化の間隙によるDCTの誤差が大きくなり、
その結果がPフレームの動き推定及び補償等の符号化に
影響を及ぼして全体的な符号化の性能を落とす主要因と
なる。更に、超低ビット率(12〜48kbps)伝送時にIフ
レームの符号化に必要とされるビット量が全体発生ビッ
トの約40〜70%であるため、Iフレームの効率的な
符号化は全体符号化性能の向上のためには必須的であ
る。
(Embedded Zerotree Wavelet)の概念が紹介されなが
ら、停止映像圧縮分野における既存のDCTによる映像
符号化器(JPEG)よりも優れたビット率歪曲(rate distor
tion)性能の向上を示すEZ(embedded Zerotree)映像符
号化の研究が盛んに進んでいる。
変換された係数符号化に多く用いられる方法である。す
なわち、ウェーブレット(wavelet)係数のゼロツリー構
造を用いて位置(position)及び大きさ(amplitude)情報
を重要度順に符号化することにより、重要度(significa
ce)に基づいて整列されたビットストリーム(bit strea
m)、例えば組込式(embedded)ビットストリームを得る。
この方法は、圧縮性能に優れ、アルゴリズムが単純であ
り、多様な解像度及び画質の可能な階位(scalability)
特性及び正確なビット率調節機能がある。すなわち、ビ
ットストリームの伝送のある時点で止まっても所与のビ
ット率で良質の映像が得られ、ビット率の制御(rate co
ntrol)が非常に容易であるという利点がある。このよう
なEZ符号化の主要特徴は、ウェーブレット変換の自己
類似性質(self-simiarity)を利用して帯域間の重要度(s
ignificance)係数の位置を予測し、ウェーブレット係数
の大きさが順次的に近似化される連続推定量子化(Succe
ssive Approximation Quantization: SAQ)を行う。
ある。
多様な解像度を有する帯域(subband)に分解される。こ
の際、最粗(coarse)帯域には原映像の低周波成分が集ま
り、他の帯域には細部高周波成分が集まっている。そし
て、最高周波数帯域以外の所与の帯域における全係数は
次の細部帯域と類似方向の係数と関係ある。従って、粗
帯域の係数をペアレント(parent)、類似方向への同位置
にある細密帯域の係数集合をチルドレン(children)とす
る。この際、最低周波数帯域のペアレントノード(paten
t node)は、異なる方向の3つのチルドレンを有する。
ドレンの関係で形成されたゼロツリーとのデータ構造を
作る。前記ゼロツリー構造は、もしも粗帯域のウェーブ
レット係数が所与の臨界値よりも小さい場合に該チルド
レンもやはり小さい確率が高いという性質を利用する。
このようなゼロツリー構造は、DCT係数の符号化に一
般的に利用されるジグザグ(zigzag)スキャニング及びE
OB(End of block)の概念と類似である。例えば、前記
EZWは係数を帯域別にスキャニングする。すなわち、
ペアレントは、同帯域の全ての隣接のペアレントがスキ
ャニングされた後、それらのチルドレンがスキャニング
される。そして、各係数は、現臨界値に対して比較され
る。この際、係数の絶対値が臨界値よりも大きい場合に
は、負(negative)或いは正(positive)の重要度シンボル
(significant symbol)のうち一つに符号化される。ま
た、ゼロツリールートシンボル(root symbol)は、ゼロ
ツリー構造をなす全チルドレンが臨界値以下値であるペ
アレントを符号化するのに用いられる。アイソレートゼ
ロシンボル(isolated zero symbol)は少なくとも一つの
チルドレンが臨界値以上である係数を符号化する。
れた係数に対して連続推定量子化(SAQ)を用いて更に符
号化する。前記ウェーブレット係数の量子化のための連
続推定技法は、重要なビット順に並んだ組込式ビットス
トリームを作る。そして、前記EZWは、ウェーブレッ
トが周波数及び空間情報を有するため、データの空間的
なグルーピング(grouping)及び量子化が可能である。ま
た、同方向の帯域に対する連続推定アルゴリズムの効率
を向上させるには、ゼロ及び非ゼロ(nonzero)値を効率
よく予測しなければならない。
号化器のうち、向上したゼロツリー方法によるSaid
and PearmanのSPIHT(Set Partition
ingin Hierarchical Trees)符号化器があるが、圧縮性
能面に優れた組込式映像符号化器である。
れたツリーノード(tree node)を除去し、半分ずつ減少
する臨界値に対して重要ノード(significance node)を
更新することにより、係数間の重複性(redundency)を効
率よく除去する。
する最も大きな理由は、重要係数が最低帯域に主に分布
する性質を用いる向上したゼロツリー構造であるからで
ある。
は、主に高解像度(512×512)映像による停止映
像圧縮符号化には非常に効率的であるものの、QCIF
等の低解像度(176×144)を主として使用する低
伝送率ビデオ圧縮ではフィルタリング特性及び不充分な
帯域分解、つまりウェーブレットの空間周波数特性の低
下に起因して(ゼロツリー符号化効率が落ちることによ
り)符号化性能が著しく低下する。また、EZWをDF
D符号化に適用する場合、既存のウェーブレットによる
ピラミッド構造の分解は、上位レベルへのエネルギー圧
縮効率が低下、且つ中間及び高周波数成分が碌に反映さ
れないため、全体的な符号化の効率がむしろDCTによ
る方法よりも落ちる。そして、DCTは、若干の変形(v
ariation)はあるものの、比較的によく定義された単一
変換である反面に、ウェーブレットは、ウェーブレット
種類(orthogonal, biothogonal, wavelet packet, mult
i wavelet等)により幾多の種類の映像符号化器を組立
可能である。これは、ウェーブレットによるビデオ符号
化及び復号化器を設計するにあたって幾多の選択が存す
るという問題点がある。
像圧縮標準案であるJPEG及びMPEG(MPEG1, MPEG
2, MPEG4)、H.261、H.263等の大部分のビデ
オ圧縮標準案のIフレーム及び動き補償された映像との
エラー(つまり、DFD; Displaced Frame Difference)を
符号化するために使用される点に鑑みて、既存のビデオ
符号化器との互換性(compatibility)も大きな問題とな
る。
なされたものであり、その目的は、DCTを用いて既存
の組込式映像符号化の利点を有する映像符号化装置及び
方法、そして復号化装置及び方法を提供することにあ
る。
ルピラミッド構造として再配置した後、ゼロツリー符号
化することにより、ゼロツリー符号化の効率を高めなが
ら既存のDCTによる符号化器との互換性を維持する、
映像符号化装置及び方法、そして復号化装置及び方法を
提供することにある。
ずる映像電話システム用の低伝送ビット率映像の伝送に
適したDCTによる組込式映像符号化装置及び方法、そ
して復号化装置及び方法を提供することにある。
像とのエラー信号の符号化効率を高めるDCTによる組
込式映像符号化装置及び方法、そして復号化装置及び方
法を提供することにある。
は、入力フレームを複数個のブロックに分けた後、各ブ
ロック別にブロックの空間領域を周波数領域に変換する
第1段階と、前記第1段階で変換された周波数帯域別の
係数を映像再現に必要な情報を含んでいる程度に基づい
て重要度順に分類して再配置する第2段階と、前記第2
段階で再配置された係数の位置及び大きさの情報を重要
度順に符号化して重要度に基づいて整列されたビットス
トリームを出力する第3段階とを備えることを特徴とす
る。
を複数個のブロックに分けた後、各ブロックの空間領域
を周波数領域に変換する変換部と、前記変換部の変換係
数を映像再現に必要な情報を含んでいる程度に基づいて
重要度順に分類して再配置する再配置部と、前記再配置
された係数の位置及び大きさの情報を重要度順に符号化
して重要度に基づいて整列されたビットストリームを出
力するゼロツリー符号化部とを備えることを特徴とす
る。
れるデータをDCTによって周波数領域に変換すること
を特徴とする。
I又はPフレームを用いて動き補償予測を行った後、前
記動き補償されたデータと現在入力されるデータとの差
をDCTにより周波数領域に変換することを特徴とす
る。
対してはイントラ或いはインタモードで符号化すること
を特徴とする。
をウェーブレット解釈を用いて分類した後、これを2レ
ベルピラミッド構造として再配置することを特徴とす
る。
は、均一帯域分解方法で分解された4つの帯域を独立的
にウェーブレット変換した構造であることを特徴とす
る。
数と周波数によるAC係数値とに分解して、DCの空間
的相関性を用いるために定義されたペアレント−チルド
レン関係で最低周波数帯域のみを再配置する形態に分類
及び再配置することを特徴とする。
の量子化のために、DC値をバイアス(bias)させること
を特徴とする。
C係数の平均値をDC係数から減算してDC値をバイア
スさせることを特徴とする。
フレーム当たりのイントラブロックのDCT係数の平均
値をDC係数から減算してDC係数をバイアスさせるこ
とを特徴とする。
ドのブロックに対してはDC平均値を0としてDC値を
バイアスさせないことを特徴とする。
各係数は一連の臨界値に比べて重要係数の位置及び符号
を符号化し、初期臨界値は最大計数値よりも小さい2の
最大階乗とし、これを半分ずつ減らしながら行うことを
特徴とする。
置及び符号を符号化する分類経路と、重要係数を連続的
に推定するのに必要な細密区分経路との2段階を包含す
ることを特徴とする。
リームは、重要性テスト結果と、符号と、細密に分類さ
れたビットとを備えることを特徴とする。
数の近似値を先伝送し、一度に1ビットずつ全重要係数
値を細密に分類することにより、最も重要な情報を徐々
に伝送することを特徴とする。
号化過程で発生する重要性テスト結果、符号、細密な分
類シンボルは適応的算術符号化方法によって無損失エン
トロピー符号化するエントロピー符号化部を更に含むこ
とを特徴とする。
償及び予測のために多数個の均一の分解帯域を有するよ
うに逆再配置することを特徴とする。
ットストリームデータを重要度の高い順に変換する第1
段階と、前記第1段階で変換されたデータをもともとの
ブロック単位のフレーム領域に再配置する第2段階と、
前記第2段階で再配置されたブロック単位のデータを周
波数領域から空間領域に変換する第3段階とを備えるこ
とを特徴とする。
ータをEZ(embedded zerotree)構造に変換することを
特徴とする。前記第2段階は、前記EZ構造に変換され
たデータをウェーブレット構造に再配置することを特徴
とする。前記第3段階は、再配置されたデータを逆離散
余弦変換(IDCT)することを特徴とする。
トリームデータをEZ構造により重要度による原映像情
報に分類して再配置する分類及び再配置部と、前記分類
及び再配置されたデータをブロック単位として入力ビッ
トストリームデータのDC係数と周波数によるAC係数
値をピクチャに対応する情報として変換するIDCT部
とを備えることを特徴とする。
添付図面を参照して詳細に説明する。
ツリー構造は、ウェーブレット変換の帯域間空間周波数
の特性によるディケーイングスペクトル(decaying spec
trum)性質を共通利用する。かかる性質は、DCTも違
いはあるもののウェーブレットと共有する。従って、D
CT係数の適切な再配置方法によってDCTをEZ符号
化に利用することができる。
の分解帯域を有するウェーブレット変換というウェーブ
レット解釈を用いて、DCT係数を2レベルゼロツリー
構造に再配置することでゼロツリー符号化の効率を高め
る。
の2レベルマッピング(mapping)方法は、効率的なゼロ
ツリー構造を作って低伝送ビット率ビデオ圧縮標準案で
あるH.263のIフレーム符号化方法よりも画質面で
優れた性能を示し、更に既存のシャピロ(shapiro)のウ
ェーブレットによるEZW方法よりも一層高いビット率
歪曲(rate distortion)向上を示している。また、停止
映像圧縮でも、JPEG及び他の代表的なウェーブレッ
ト組込式映像符号化器の引用された結果に匹敵するビッ
ト率歪曲向上を示している。
ック図である。量子化器200以外のブロックは従来の
図1と同様なので、同様なブロックについては同符号を
付けて詳細な説明を省略する。
既存の接近方法を脱し、各係数を一定のビットで徐々に
量子化するEZ量子化器200を採択する。この際、図
2に示すような映像符号化器に入力されるビデオの各フ
レームは、最初フレーム(I)はイントラ(intra)、そ
の以外のフレーム(P)はインタ(inter)で符号化され
る。符号化は、マクロブロック単位になっており、明る
さ及び色成分は4:2:0のフォーマットである。
像の明るさ(Y)及び色(Cb、Cr)成分を8×8ブ
ロックに分けた後、各ブロックをDCT部101に入力
する。前記DCT101は、各ブロックの映像を空間領
域から周波数領域へ変換して空間的重複性を除去する。
前記DCT部101でDCTされた各ブロックの係数
は、量子化器200の再配置(rearrange)部210に入
力され、2レベルピラミッド構造に再配置される。すな
わち、前記DCT部101により周波数領域に変換され
たDCT係数を、重要度の高い順に分類し、2レベルピ
ラミッド構造に再配置する。
ッド構造に再配置されたDCT係数は、ゼロツリーコー
ディング部202でEZ構造としてコーディングされて
量子化される。この際、SPIHTコーディング法を使
用してもよい。前記量子化された各係数は、エントロピ
ー符号化部103でエントロピー符号化された後にチャ
ネル104を介して伝送される。
フレーム、例えばPフレームの場合にはH.263+で
使用される動き推定及び報償方法が用いられる。従っ
て、本発明の映像符号化器は、ブロック動き推定、AN
NEX D(Unrestricted Motion Vector Mode)または
ANNEX F(Advanced Prediction Mode)を選択的に
使用可能である。そして、各ブロックの動き予測後の残
り(residuals)エラーも、DCT部101でDCTした
後、量子化のために再配置部201で2レベルピラミッ
ド構造の残留フレームに再配置する。この際、早い動き
或いは物体の動きにより重畳又は露呈された領域、或い
はシーン転換の起こる場合、そんなマクロブロックに対
しては予測失敗する。その場合、動き推定後にDFDを
符号化することよりは原映像のブロックを符号化するこ
とが、符号化効率及び主観的画質の側面で好ましい。
ントラモードで選択して符号化する。ここで、イントラ
符号化は、その自身のマクロブロックの情報のみを用い
てマクロブロックを符号化することであり、インタ符号
化はその自身だけでなく他の時間のマクロブロックの情
報を用いてマクロブロックを符号化することである。こ
の際、イントラ/インタモードの決定は次の(数1)に
なっており、H.263符号化器のモード決定と同様で
ある。
合には、イントラモードが選択され、動き推定が行われ
ない。ただ、Tは所与の臨界値であり、各ブロックの動
き状態に基づいて変わることができる。イントラ/イン
タモードの情報は、H.263のように付加情報として
伝送される。ここで、MBmeanはマクロブロックの
平均値であり、Aは前記マクロブロックに対する各ピク
セルと平均値との差、つまり各ピクセルの偏差であり、
SADは以前フレームの同じ位置での差値である。
ックのDCT変換後の周波数スペクトルの特性は、イン
タモードのブロックと大きな差がある。特に、イントラ
モードと選択されたブロックのDC係数の大きさが大き
い。このため、本発明では、各フレーム当たりのイント
ラブロックのDCT係数の平均値をDC係数から減算し
てDC係数をバイアスさせることにより、大きなDC係
数に起因して不要なスキャニングに浪費されるビット数
を減少させる。勿論、インタブロックはバイアスせずに
再配置過程を行う。
ラミッド構造のDCT係数は、Iフレーム符号化と同様
に、ゼロツリーコーディング部202でEZ符号化を用
いて量子化する。この際、前記再配置部201でDCT
係数を2レベルピラミッド構造に再配置する目的は、D
CTされた係数がEZ符号化することができるようにし
て係数の空間及び周波数間の相互依存性を高めてEZ符
号化の効率を高めることにある。すなわち、DCT係数
の再配置で量子化係数を最上位ビットから最下位ビット
の順に符号化し、帯域内(DC係数の空間的相関性)及
び帯域間空間的依存性(一ブロックの低周波からの高周
波までのディケーイングスペクトルの特性)を用いてE
Z符号化の効率を高めることができる。
説明するための図である。
drature Mirror Filter)等のFIR(Finite Impulse Re
sponse)分解フィルタを用いて帯域通過フィルタリング
した部分映像に分解する。かかる過程は、DCTで使用
する基底関数(basic function)分解と関連しているよう
に見える。単に、出力データの構成方法には相違があ
る。
も長い分解フィルタのために正確な関係の定義が複雑で
あるが、重ねられない(un-overlapped)ブロックに対す
るDCT計算は各ブロックのDCT基底関数と映像をた
たみこみ(convolution)、ブロックの大きさのファクタ
(factor)だけ副標本化(subsampling)することと等価で
ある。例えば、2×2ブロックDCTを顧慮すると、変
換後の各ブロックは程度差はあるが、図3の左図に示す
ようにa(最低周波数)からd(最高周波数)まで4種
類の変換係数を有する。これは、同一映像に対する適当
な2×2分解フィルタを利用して映像を分解した後、各
方向に2だけ副標本化すると、帯域分解された映像は変
換されたブロックと等価である。すなわち、図3の右図
に示すように、最上位帯域(low-pass/low-pass)は各D
CT変換ブロックの最低周波数成分を集めたものと同一
である。他の変換係数は残留帯域に対して同様な方法で
集まる。
ックDCTは、64個の均一の分解帯域を有するウェー
ブレット変換と見られる。従って、本発明は、8×8ブ
ロックDCTが64個の均一の分解帯域を有するウェー
ブレット変換であるウェーブレット解釈を利用してDC
T係数を2レベルゼロツリー構造として再配置する。
造に再配置する過程を示す図で、符号401はDCTさ
れた係数を示し、符号402はこれを2レベルピラミッ
ド構造に再配置したものを表示する。すなわち、前記再
配置部201は、DCTされた各8×8ブロックを、E
ZWで定義された形態の3レベルウェーブレットピラミ
ッド構造と見なす。そして、各係数間の空間的相関性を
示すペアレント−チルドレンの関係を説明するべく各係
数の該当する位置に番号を付与する。
れば、係数iのペアレントはi/4の整数値である。こ
れに対して、係数jが1〜15の中の係数であれば、係
数jのチルドレンは{4j、4j+1、4j+2、4j
+3}である。そして、DC係数の0は、係数1、2、
3の3つのチルドレンを有するツリー(tree)のルート(r
oot)である。
はDC係数及び始めの幾個のAC係数に包含されている
ため、各DCTブロックのDC係数及びチルドレン1、
2、3は映像の大きさのメモリの最上位帯域にマッピン
グ(mapping)され、各係数の各ペアレント1、2、3に
対するチルドレン4、5、6、7;8、9、10、1
1;12、13、14、15;がそれぞれその次の帯域
に、次の帯域のペアレントに対するチルドレンがそれぞ
れその次の帯域に対応する。
レンの関係(501−502−502’−503−50
3’)を示す。本発明の構造と従来のウェーブレットに
よる2レベルピラミッド構造との相違点は分解方法によ
る周波数特性である。すなわち、従来のウェーブレット
の2レベルピラミッド構造は、階層的帯域分解方法であ
って一つの低周波帯域にのみ対して再びウェーブレット
変換を適用する。しかし、本発明の2レベルピラミッド
構造は、均一帯域分解方法で分解された4つの帯域を独
立的にウェーブレット変換した構造である。
均一帯域分解方法と異なる相違点はDCの空間的相関性
を用いるために定義されたペアレント−チルドレンの関
係で最低周波帯域のみを再配置した形態である。
ド構造は低周波成分をよく反映するものの、中間周波数
の成分をよく反映しない。反面に、本発明の構造は、従
来のウェーブレット2レベル構造に比べて低周波成分の
反映特性は多少劣るが、中間周波数成分をよく反映する
特性を有する。
的分解方法よりも有利である。その理由は、ゼロツリー
符号化の効率を決定するディケーイングスペクトル(dec
aying spectrum)性質を失わないながら、一般に低ビッ
ト率で高周波成分まで符号化できない符号化特性上、中
間周波数成分をよく反映して符号化効率を高めることが
できるからである。
造に再配置されたDCT係数の量子化は、EZWの向上
した方法、つまりゼロツリー符号化部202によりゼロ
ツリー構造に符号化してなされる。すなわち、前記ゼロ
ツリー符号化部202は、最上位帯域から符号化するこ
とにより、視覚的に最も重要(significant)な影響を及
ぼす係数を優先的に符号化する。
の平均値をDC係数から減算してDC係数をバイアスさ
せて符号化の効率を高める。まず、最上位帯域のDC成
分(各ノード)に対してDC成分の平均値を減算する。
隣り合う周辺ブロックのDC値は空間的相関性が大きい
ため、このようにして各DC値はどのくらい平均値にバ
イアス(bias)され、ゼロツリー符号化時に不要なスキャ
ニングに浪費されるビットを減少させて効率を高めるこ
とができる。
ブロックDCの空間的相関性が大きくないため、DC平
均値を0として上記過程を経ない。
重要(significant)係数の位置及び符号(sign)を符号化
するが、初期しきい値(threshold level)は最大計数値
よりも小さい2の最大階乗とし、これを半分ずつ減らし
ながら行う。
数として区分され、臨界値よりも小さな係数は重要でな
い係数として区分される。すなわち、重要度に基づいて
LIS(list of a significant sets)、LIP(list in
significant pixels)、LSP(list of significant pi
xels)の3つの目録(list)を使用する。
に、LISはLIPの各ペアレントのチルドレンの集合
にそれぞれ初期化される。
化する分類経路(sorting pass)と、重要係数を連続的に
推定するのに必要な詳細区分経路(refinement pass)と
の2段階を包含する。前記分類経路では、まずLIP画
素を現在のしきい値と比較し、重要係数であれば符号を
出力しLSPに移動させる。
なければ、ただ1ビットだけで表現可能である。もし、
重要ピクセル(significant pixel)がある場合には、現
在ルートの子孫(descendant)をルート(root)として有す
るサブセット(subset)に分割した後、上記過程を繰り返
し行う。そして、LIS、LIPに対する一度の分類経
路(sorting pass)が終わると、LSPに対して細密区分
経路(refinement pass)が行われて各係数値が1ビット
ずつ細密に分類される。このように、一度の全体経路が
終わると、臨界値を2で割ってその次の分類経路に移
る。
出力ビットストリームは、重要性テストの結果と、符号
と、細密に分類されたビットとを備え、符号器と復号器
とが同一のアルゴリズムを共有しながら、符号化の進行
中のあらゆる決定結果を出力するため、重要係数の位置
情報を別に伝送する必要がない。
の近似値を先伝送し、一度に一ビットずつあらゆる重要
係数値を細密に分類することにより、常に最も重要な情
報を選択するプログラレシーブ(progressive)伝送とな
る。もし、DCTが、ウェーブレットのように単位的(u
nirary)且つ幾何学的な規則(euclidean norm)が保存さ
れるとしたら、上記のような順次的な伝送はMSE(mea
n square error)を減少させる最適の方法である。
は、前記ゼロツリー符号化部202のEZ符号化過程で
発生する重要性テストの結果と符号と細密な分類シンボ
ルは適応的算術符号化方法によって無損失エントロピー
(entropy)符号化される。この方法は、復号化器に内在
的(implicitly)にモデルを伝送するため、映像に対する
事前情報を必要とせず、重要係数間の統計的依存性を非
常に効率よく利用することができる。
符号化アルゴリズムを利用した。本発明は、組込式符号
化器であるため、ビット率制御部111のビット率の調
節は、既存のビット率歪曲による、あるビット率調節ア
ルゴリズムも可能であり、容易にビット率を調節可能で
ある。
力は、動き予測のために逆量子化される必要がある。こ
のため、前記ゼロツリー符号化部202の出力を、再配
置部201に入力される前の状態、つまり多数個(例え
ば64個)の均一の分解帯域を有するように逆再配置部
203で逆再配置すると、逆量子化を行った結果を得
る。
IDCT部106でIDCTされ、加算器107に出力
される。この後の動作は図1と同様である。
なわち、本発明の映像符号化装置の性能評価は停止映像
符号化及びH.263のIフレーム符号化の2つの側面
で評価する。実験映像は、QCIF(176×144)
フォーマットのMPEG4のテストシーケンス「Hall M
onitor」、「Container」、「News」、「Foreman」、
「Table」、「Weather」及び最初フレーム(Iフレー
ム)の明るさ成分(Y)を利用する。
調節は、6から31までのQP(Quantization Paramete
r)を変化させて符号化ビットを発生させ、発生されたビ
ットをピクセル当たりのビット率(rate per pixel)に換
算して同ビット率でEZW及びSPIHT及び本発明の
符号化を各々行った。
るさ(Y)成分を符号化するのに要るビットに限定し、
色成分(Cb、Cr)を符号化するのに要るビットは除
外する。又、EZW符号化器及びSPIHT符号化器の
フィルタは、同等の比較のために、SPIHT符号化器
で使用する双直交フィルタ(biorthogonal filter)で統
一させる。そして、本発明による符号化器は2レベル構
造であるの点に鑑みて、EZ符号化の性能評価のために
2レベルにSPIHT及びEZWを行った。
ス「Hall Monitor」(ホールモニタ)に対する各々のビ
ット率歪曲性能(すなわち、客観的画質評価)並びに同
ビット率で再構成された映像(つまり、主観的画質評
価)を示す。図7は従来のH.263+符号化器と本発
明の符号化器との符号化性能を比較するグラフである。
NNEX Iを有するH.263+映像符号化器よりも
優れたIフレーム符号化の優れたビット率歪曲性能の向
上を示している。従って、シーン転換及び高速度の物体
移動による場面での露呈或いは重畳された領域に対して
優れた符号化効率が得られる。
は、複雑度の各々の異なる全てのテスト映像に対して、
低伝送率DCTによる標準案のH.263及び同レベル
構造の代表的なウェーブレット組込式映像符号化器より
も優れたビット率歪曲性能向上を示し、主観的画質面で
も画質向上している。また、本発明の映像符号化装置
は、停止映像圧縮標準案のJPEG、改良(improved)J
PEG、同レベル構造のウェーブレット符号化器よりも
効率が向上している。
レベルマッピング方法は、効率的なゼロツリー構造を作
って停止映像圧縮でもJPEG及び他の代表的なウェー
ブレット組込式映像符号化器の引用された結果に匹敵す
る性能を示す。
像を復号する映像復号化器は、映像符号化器と同様なア
ルゴリズムを使用する。本発明による映像復号化は、映
像符号化の反対過程を行う。例えば、本発明の復号化方
法は、伝送されるビットストリームデータを重要度の高
い順に変換し、前記変換されたデータをもともとのブロ
ック単位のフレーム領域に再配置した後、再配置された
ブロック単位のデータを周波数領域から空間領域へ変換
する。すなわち、入力ビットストリームデータをEZ構
造に変換し、これをウェーブレット構造に再配置した
後、IDCTして復元する。
ビットストリームデータをEZ構造に基づいて重要度に
よる原映像情報に分類して再配置する再配置部と、前記
分類及び再配置されたデータをブロック単位として入力
ビットストリームデータのDC係数と周波数によるAC
係数値をピクチャに対応する情報に変換するIDCT部
とを備える。
は、本発明の映像符号化と同様な過程を経るので、ID
CT、ウェーブレット構造への再配列復元、EZコーデ
ィング/デコーディングを行うことは自明である。
号化器は、既存の映像符号化器と互換性を有する。すな
わち、第1符号化手段は図1と同様な既存の方式を行
い、第2符号化手段は図2と同様な本発明の符号化方式
を行い、この2つのうち一つを使用者の手動選択或いは
自動選択(低伝送率の場合)により選択する手段を更に
備えることで互換性を確保する。
号化装置は、DCT及びウェーブレート変換の特性を利
用してDCT係数を2レベルピラミッド構造として再配
置して、既存のEZ符号化方法を効率よく利用すること
ができる。これは、実験結果で立証される。
化装置及び方法、並びに復号化装置及び方法によれば、
8×8ブロック単位のピクチャデータをDCT変換し、
前記DCT係数をウェーブレット構造に変換して重要度
高い情報順に分類した結果を得た後、これをEZ符号化
して伝送し、伝送された映像を前記映像符号化の反対過
程で復号化する。これにより、下記のような利点を奏す
る。
bility)及び優れたビット率歪曲(rate-distortion)性能
向上により、空中網(PSTN)を通ずる映像電話システム用
の低伝送率ビデオ伝送に適する。
特性及びビット率の制御が非常に容易である。従って、
通常的に利用されるビット予算(budget)がない時、或い
はバッファが所与の臨界値を越える時、いつでもビット
ストリームを打ち切る(truncation)ことができる。この
特徴は、映像データベースでのブラウジング(browsing)
に特に有用である。
歪曲性能により、シーン転換及び早速度の物体移動によ
る場面での露呈或いは重畳された領域(motion failed領
域)に対して優れた符号化効率が得られる。特に、MP
EG−4又はH.263のテスト映像でなくカメラに直
接入力される自然映像である場合、イントラマクロブロ
ックの発生が多いため、一層大きな符号化効率が得られ
る。すなわち、低伝送率映像符号化器の性能にはIフレ
ームの効率的な符号化が非常に大切であるため、本発明
の符号化器が映像符号化器に実際適用される場合、全体
的な符号化効率が向上する。
は、DC係数を優先的に符号化し、中間及び高周波数の
成分を反映する結果である。又、これにより、DFD符
号化のエネルギー圧縮効率を高めて全体的な符号化効率
を向上させる。
263++、H.26Lの要求条件に適し、実際応用可
能である。
ク図である。
である。
めの図である。
構造に再配置される関係を示す図である。
置においてペアレント−チルドレンの関係を示す図であ
る。
従来技術との性能評価及び比較の一例をグラフに示す図
である。
本発明と従来技術との性能評価の一例をグラフに示す図
である。
Claims (12)
- 【請求項1】 入力フレームを複数個のブロックに分け
た後、各ブロック別にブロックの空間領域を周波数領域
に変換する第1段階と、 前記変換された周波数領域の係数を、ウェーブレット解
釈を用いて所定のレベルのピラミッド構造に再配置する
第2段階と、 前記再配置された係数を一連の臨界値と比較して重要係
数と非重要係数とに区分し、区分された重要係数の位置
及び大きさをゼロツリー符号化し、初期の臨界値は最大
係数より小さい2の最大階乗と設定し、これを半分ずつ
減らしながらゼロツリーを符号化して整列されたビット
ストリームを出力する第3段階と、 を備えることを特徴とする映像符号化方法。 - 【請求項2】 前記第1段階は、Iフレームの場合には
入力されるデータを離散余弦変換(discrete cosine tra
nsform; DCT)により周波数領域に変換し、Pフレームの
場合には以前のI、Pフレームを利用して動き補償予測
を行った後、前記動き補償されたデータと現在入力され
るデータとの差を離散余弦変換(DCT)により周波数領域
に変換することを特徴とする請求項1記載の映像符号化
方法。 - 【請求項3】 前記第1段階は、Pフレームの符号化時
に、 Pフレームのイントラモード/インタモードを決定する
段階と、 前記イントラモードの場合には動き補償無しに符号化
し、前記インタモードの場合には動き補償して符号化す
る段階と、 を更に備えることを特徴とする請求項2記載の映像符号
化方法。 - 【請求項4】 前記第2段階は、 前記周波数領域の係数を周波数に基づいてDC係数とA
C係数とに分解(decomposing)する段階と、前記分解されたDC係数とAC係数を2−レベルウェー
ブレットピラミッド構造に再配置する段階と、 前記再配置された段階から 前記DC係数の空間的相関性
を利用するために定義されたペアレント(parent)−チ
ルドレン(children)関係を有する構造に最低周波数帯
域の係数を再び再配置する段階と、からなる ことを特徴とする請求項1記載の映像符号化方
法。 - 【請求項5】 前記第2段階は、 前記DC係数から前記フレームにおけるDC係数の平均
値を減算する段階を更に備えることを特徴とする請求項
4記載の映像符号化方法。 - 【請求項6】 入力フレームを複数個のブロックに分け
た後、各ブロックの空間領域を周波数領域に変換するD
CTユニット(unit)と、 前記変換された周波数領域の係数をウェーブレット解釈
を用いて所定レベルのピラミッド構造に再配置する再配
置ユニットと、 前記再配置された係数を一連の臨界値と比較して重要係
数と非重要係数とに区分し、区分された重要係数の位置
および大きさをゼロツリー符号化し、初期の臨界値は最
大係数より小さい最大階乗と設定し、これを半分ずつ減
らしながらゼロツリーを符号化して整列されたビットス
トリームを出力する符号化ユニットとを備えることを特
徴とする映像符号化装置。 - 【請求項7】 前記DCTユニットは、Iフレームの場
合には入力データを離散余弦変換(DCT)により周波
数領域に変換し、Pフレームの場合には以前のI、Pフ
レームを用いて動き補償予測を行った後、前記動き補償
されたデータと現在入力されるデータとの差を離散余弦
変換(DCT)により周波数領域に変換することを特徴
とする請求項6記載の映像符号化装置。 - 【請求項8】 前記Pフレームの符号化時に、各ブロッ
クに対して動き推定しないイントラモード、或いは動き
推定するインタモードを決定して符号化することを特徴
とする請求項7記載の映像符号化装置。 - 【請求項9】 前記ゼロツリー符号化ユニットは、 重要係数の位置及び符号を符号化する分類経路(sorting
pass)ユニットと、 前記重要係数を連続的に推定する細密区分経路(refinem
ent pass)ユニットとを備えることを特徴とする請求項
6記載の映像符号化装置。 - 【請求項10】 入力フレームを複数個のブロックに分
け、各ブロック別にブロックの空間領域を周波数領域に
変換するDCTユニットと、前記DCTユニットの 変換係数をジグザグスキャニング
(zigzag scanning)で量子化した後、ラン長(run-lengt
h)符号化して出力する第1符号化ユニットと、前記DCTユニットの変換係数をウェーブレット解釈を
用いて所定のレベルの ピラミッド構造に再配置する 再配
置ユニットと、 前記再配置された係数を一連の臨界値と比較して重要係
数と非重要係数とに区分し、区分された重要係数の位置
および大きさをゼロツリー符号化し、初期の臨界値は最
大係数より小さい2の最大階乗と設定し、これを半分ず
つ減らしながらゼロツリーを符号化して整列されたビッ
トストリームを出力する第2符号化ユニットと、 前記第1符号化ユニット及び前記第2符号化ユニットの
うち何れか一つを選択する選択ユニットと、 を備えることを特徴とする映像符号化装置。 - 【請求項11】 伝送されるビットストリームデータを
EZ(embedded Zerotree)構造に変換する第1段階と、 前記第1段階で変換されたデータを所定のレベルのウェ
ーブレットピラミッド構造に再配置する第2段階と、 前記第2段階で再配置されたブロック単位のデータを周
波数領域から空間領域に変換する第3段階と、 を備えることを特徴とする映像復号化方法。 - 【請求項12】 入力ビットストリームデータを、EZ
構造により重要度による原映像情報に分類して再配置す
る逆再配置ユニットと、 前記分類及び再配置されたデータをブロック単位として
入力ビットストリームデータのDC係数と周波数による
AC係数値をピクチャに対応する情報として変換する逆
離散余弦変換(IDCT)ユニットと、 を備えることを特徴とする映像復号化装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019970081038A KR100299484B1 (ko) | 1997-12-31 | 1997-12-31 | 영상부호화및복호화방법과장치 |
KR1019980047239A KR100323701B1 (ko) | 1998-11-02 | 1998-11-02 | 영상부호화장치 |
KR1997-81038 | 1998-11-02 | ||
KR1998-47239 | 1998-11-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11262012A JPH11262012A (ja) | 1999-09-24 |
JP3204645B2 true JP3204645B2 (ja) | 2001-09-04 |
Family
ID=26633342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34762698A Expired - Lifetime JP3204645B2 (ja) | 1997-12-31 | 1998-12-07 | 映像符号化及び復号化方法並びにその装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6393060B1 (ja) |
EP (1) | EP0928109A3 (ja) |
JP (1) | JP3204645B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100664932B1 (ko) | 2004-10-21 | 2007-01-04 | 삼성전자주식회사 | 비디오 코딩 방법 및 장치 |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6567117B1 (en) * | 1998-09-09 | 2003-05-20 | Nippon Telegraph And Telephone Corporation | Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method |
KR100284027B1 (ko) * | 1998-12-22 | 2001-03-02 | 서평원 | 웨이블릿 패킷 계수의 재배치방법 |
AUPQ156199A0 (en) * | 1999-07-12 | 1999-08-05 | Canon Kabushiki Kaisha | Method and apparatus for re-ordering of a bit stream |
US7065253B2 (en) * | 1999-09-03 | 2006-06-20 | Intel Corporation | Wavelet zerotree coding of ordered bits |
KR20010089729A (ko) * | 1999-10-28 | 2001-10-08 | 요트.게.아. 롤페즈 | 웨이블렛 분해에 기초한 컬러 비디오 부호화 방법 |
KR20010053814A (ko) * | 1999-12-01 | 2001-07-02 | 윤종용 | 영상 부호화 시스템의 부호화방식 선택장치 및 방법 |
US6671413B1 (en) * | 2000-01-24 | 2003-12-30 | William A. Pearlman | Embedded and efficient low-complexity hierarchical image coder and corresponding methods therefor |
JP4495821B2 (ja) * | 2000-03-06 | 2010-07-07 | 株式会社東芝 | データ伝送システムとその通信装置 |
US6597739B1 (en) * | 2000-06-20 | 2003-07-22 | Microsoft Corporation | Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding |
AUPQ982400A0 (en) | 2000-09-01 | 2000-09-28 | Canon Kabushiki Kaisha | Entropy encoding and decoding |
AU755959B2 (en) * | 2000-09-01 | 2003-01-02 | Canon Kabushiki Kaisha | Entropy encoding and decoding |
KR100345447B1 (ko) * | 2000-09-27 | 2002-07-26 | 한국전자통신연구원 | 스트리밍 서비스를 위한 가변 비트율 처리 방법 |
US7020206B1 (en) * | 2000-11-27 | 2006-03-28 | Intel Corporation | Wavelet coding of video |
TW589870B (en) * | 2000-12-19 | 2004-06-01 | Pts Corp | Adaptive transforms |
US6710819B2 (en) * | 2001-02-22 | 2004-03-23 | Ati Technologies, Inc. | Method and system for improved display filtering |
US7822969B2 (en) * | 2001-04-16 | 2010-10-26 | Digimarc Corporation | Watermark systems and methods |
WO2003005699A2 (en) * | 2001-07-05 | 2003-01-16 | Board Of Trustees Operating Michigan State University | Transcaling: a video coding and multicasting framework for wireless ip multimedia services |
US7046852B2 (en) * | 2001-09-13 | 2006-05-16 | Sharp Laboratories Of America, Inc. | Fast image decompression via look up table |
US6724914B2 (en) * | 2001-10-16 | 2004-04-20 | Digimarc Corporation | Progressive watermark decoding on a distributed computing platform |
JP3861698B2 (ja) | 2002-01-23 | 2006-12-20 | ソニー株式会社 | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム |
KR100598093B1 (ko) * | 2003-01-29 | 2006-07-07 | 삼성전자주식회사 | 낮은 메모리 대역폭을 갖는 동영상 압축 장치와 그 방법 |
EP1445734B1 (en) * | 2003-02-06 | 2007-08-08 | STMicroelectronics S.r.l. | Method and apparatus for texture compression |
US7412100B2 (en) * | 2003-09-04 | 2008-08-12 | Qualcomm Incorporated | Apparatus and method for sub-sampling images in a transform domain |
KR100987765B1 (ko) * | 2003-09-30 | 2010-10-13 | 삼성전자주식회사 | 동영상 부호화기에서의 예측 수행 방법 및 장치 |
KR20050090302A (ko) * | 2004-03-08 | 2005-09-13 | 경희대학교 산학협력단 | 비디오 인코더/디코더, 비디오 인코딩/디코딩 방법, 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체 |
US7818444B2 (en) | 2004-04-30 | 2010-10-19 | Move Networks, Inc. | Apparatus, system, and method for multi-bitrate content streaming |
JP2008502151A (ja) * | 2004-06-04 | 2008-01-24 | ザ ボード オブ トラスティーズ オブ ザ ユニヴァーシティー オブ イリノイ | 印刷可能半導体素子を製造して組み立てるための方法及びデバイス |
KR100723408B1 (ko) * | 2004-07-22 | 2007-05-30 | 삼성전자주식회사 | 컬러영상의 변환/역변환 및 양자화/역양자화 방법 및장치와, 이를 이용한 컬러영상의 부호화/복호화 방법 및장치 |
US20060078049A1 (en) * | 2004-10-13 | 2006-04-13 | Nokia Corporation | Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability |
CN1312933C (zh) * | 2004-10-28 | 2007-04-25 | 复旦大学 | 一种基于树状结构的视频图像压缩编码方法 |
KR100667815B1 (ko) * | 2005-09-22 | 2007-01-12 | 삼성전자주식회사 | 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체 |
US9521431B2 (en) * | 2007-01-03 | 2016-12-13 | Numeri Ltd. | Method and a system for wavelet based processing |
JP4254867B2 (ja) * | 2007-01-31 | 2009-04-15 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP5092558B2 (ja) * | 2007-06-08 | 2012-12-05 | 株式会社日立製作所 | 画像符号化方法、画像符号化装置、画像復号化方法及び画像復号化装置 |
NO20074463A (no) * | 2007-09-03 | 2009-02-02 | Tandberg Telecom As | Metode for entropikoding av transformasjonskoeffisienter i videokomprimeringssystemer |
US8369403B2 (en) * | 2007-09-12 | 2013-02-05 | Sony Corporation | Image processing device and image processing method |
TWI410139B (zh) * | 2007-09-12 | 2013-09-21 | Sony Corp | Image processing apparatus and image processing method |
US7973975B2 (en) * | 2008-04-01 | 2011-07-05 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
KR101474756B1 (ko) | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
CN101841707B (zh) * | 2010-03-19 | 2012-01-04 | 西安电子科技大学 | 基于jpeg2000标准的高速实时处理算术熵编码方法 |
US10015616B2 (en) * | 2014-06-06 | 2018-07-03 | University Of Maryland, College Park | Sparse decomposition of head related impulse responses with applications to spatial audio rendering |
US10313686B2 (en) * | 2016-09-20 | 2019-06-04 | Gopro, Inc. | Apparatus and methods for compressing video content using adaptive projection selection |
KR102285064B1 (ko) | 2017-10-30 | 2021-08-04 | 한국전자통신연구원 | 은닉 변수를 이용하는 영상 및 신경망 압축을 위한 방법 및 장치 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5251028A (en) * | 1991-08-08 | 1993-10-05 | Matsushita Electric Corporation Of America | Apparatus for reducing quantization artifacts in an interframe hybrid coding system with motion compensation |
JP3245977B2 (ja) * | 1992-06-30 | 2002-01-15 | ソニー株式会社 | ディジタル画像信号の伝送装置 |
US5412741A (en) * | 1993-01-22 | 1995-05-02 | David Sarnoff Research Center, Inc. | Apparatus and method for compressing information |
US5477272A (en) * | 1993-07-22 | 1995-12-19 | Gte Laboratories Incorporated | Variable-block size multi-resolution motion estimation scheme for pyramid coding |
DE69633129T2 (de) * | 1995-10-25 | 2005-08-04 | Sarnoff Corp. | Waveletbaum-bildcoder mit überlappenden bildblöcken |
US6144773A (en) * | 1996-02-27 | 2000-11-07 | Interval Research Corporation | Wavelet-based data compression |
US5748116A (en) * | 1996-11-27 | 1998-05-05 | Teralogic, Incorporated | System and method for nested split coding of sparse data sets |
US6125201A (en) * | 1997-06-25 | 2000-09-26 | Andrew Michael Zador | Method, apparatus and system for compressing data |
US6229929B1 (en) * | 1998-05-14 | 2001-05-08 | Interval Research Corporation | Border filtering of video signal blocks |
-
1998
- 1998-11-30 US US09/200,989 patent/US6393060B1/en not_active Expired - Fee Related
- 1998-12-07 JP JP34762698A patent/JP3204645B2/ja not_active Expired - Lifetime
- 1998-12-11 EP EP98310197A patent/EP0928109A3/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100664932B1 (ko) | 2004-10-21 | 2007-01-04 | 삼성전자주식회사 | 비디오 코딩 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
EP0928109A2 (en) | 1999-07-07 |
EP0928109A3 (en) | 2000-12-27 |
US6393060B1 (en) | 2002-05-21 |
JPH11262012A (ja) | 1999-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3204645B2 (ja) | 映像符号化及び復号化方法並びにその装置 | |
Martucci et al. | A zerotree wavelet video coder | |
Marpe et al. | Performance evaluation of Motion-JPEG2000 in comparison with H. 264/AVC operated in pure intracoding mode | |
US6084908A (en) | Apparatus and method for quadtree based variable block size motion estimation | |
US8345752B2 (en) | Method and apparatus for entropy encoding/decoding | |
JP2000511366A6 (ja) | 4分割ツリーベースの可変ブロックサイズ動き推定装置および方法 | |
Xing et al. | Arbitrarily shaped video-object coding by wavelet | |
Zhao et al. | Low-complexity and low-memory entropy coder for image compression | |
JPH11122617A (ja) | 画像圧縮 | |
KR100801967B1 (ko) | 문맥 기반 적응적 가변 길이 부호화 인코더 및 디코더,문맥 기반 적응성 가변 길이 부호화하는 방법과 복호화하는방법 및 이를 이용한 동영상 전송 시스템. | |
US6956973B1 (en) | Image compression | |
KR100323701B1 (ko) | 영상부호화장치 | |
Jeong et al. | A DCT-based embedded image coder using wavelet structure of DCT for very low bit rate video codec | |
Kahu et al. | A low-complexity, sequential video compression scheme using frame differential directional filter bank decomposition in CIE la* b* color space | |
KR100299484B1 (ko) | 영상부호화및복호화방법과장치 | |
Marpe et al. | Design of a highly efficient wavelet-based video coding scheme | |
Omaki et al. | Embedded zerotree wavelet based algorithm for video compression | |
Marpe et al. | High-performance wavelet-based video coding using variable block-size motion compensation and adaptive arithmetic coding | |
Milicevic et al. | Multimedia H. 264/AVC standard as a tool for video coding performance improvement | |
Ng et al. | An adaptive multiresolution modification of the H. 263 video coding algorithm | |
Al-Shaykh et al. | Video Sequence Compression | |
Rüfenacht et al. | Scalable Image and Video Compression | |
Sun et al. | Study of a lossless video coding algorithm based on H. 26L tools | |
Ezhilarasan et al. | A hybrid transformation technique for advanced video coding | |
Mueller et al. | Embedded Laplacian pyramid still image coding using zerotrees |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010528 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080629 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090629 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 9 |