JP2000165861A

JP2000165861A - 動画像復号装置

Info

Publication number: JP2000165861A
Application number: JP33577298A
Authority: JP
Inventors: Yukio Go; 志雄呉
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1998-11-26
Filing date: 1998-11-26
Publication date: 2000-06-16

Abstract

(57)【要約】【課題】使用メモリ及びメモリアクセス量の少ない動
画像復号装置を提供する。【解決手段】圧縮符号化された画像信号の入力が可変
長復号手段２１（VLD）に接続され、VLDの可変長復号さ
れた動きベクトルなどの制御情報s２１−２が動き補償
補間手段２６（IMC）に接続され、VLDの可変長復号され
た画像データ信号ｓ２１−１が逆量子化手段２２（IQ）
に接続され、IQの出力s２２が、離散余弦逆変換手段２
３（IDCT）に接続され、IDCTの出力ｓ２３が加算手段２
４に接続され、加算手段の出力ｓ２４が外部端子及びデ
ータ圧縮手段１１に接続され、データ圧縮手段の出力ｓ
１１がメモリ２５に接続され、メモリの出力ｓ２５デー
タ伸長手段１２に接続され、データ伸長手段の出力ｓ１
２が動き補償補間手段２６（IMC）に接続され、IMCの出
力が加算手段２４に接続されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の符号化・
復号化装置に用いられ、画像符号化復号化時におけるメ
モリの効果的削減に関するものである。

【０００２】

【従来の技術】従来このような分野の技術として例え
ば、下記の文献に記載されるものがあった。文献名：藤
原洋監修、“最新ＭＰＥＧ教科書”、アスキー出版
社、pp129-pp155。

【０００３】前記文献には、動画像符号化の国際標準で
あるMPEG2の符号化方法が記載されている。図２は従来
の動画像復号方法の構成図である。図２において、圧縮
符号化された画像信号の入力が可変長復号手段（以下、
VLDと略す）２１に接続され、VLD２１の可変長復号され
た動きベクトルなどの制御情報s２１−２が動き補償補
間手段（以下、 IMCと略す）２６に接続され、VLD２６
の可変長復号された画像データ信号ｓ２１−１が逆量子
化手段（以下、 IQと略す）２２に接続され、IQ２２の
出力s２２が、離散余弦逆変換手段（以下、 IDCTと略
す）２３に接続され、IDCT２３の出力ｓ２３が加算手段
２４に接続され、加算手段の出力ｓ２４が外部端子及び
メモリ２５に接続され、メモリの出力ｓ２５がIMC２６
に接続され、IMCの出力が加算手段２４に接続されてい
る。

【０００４】MPEG2などの圧縮符号化された画像信号が
入力されると、VLD２１では、該符号化された画像信号
を解読し、動きベクトルなどの情報ｓ２１−２をIMC２
６に出力し、画像データ信号ｓ２１−１をIQ２２に出力
する。IQ２２では、入力される画像データに対して逆量
子化をし、逆量子化された画像信号を出力する。IDCT２
３では、入力される画像信号に対してIDCTをし、画像デ
ータを復元する。IMC２６では、入力される画像の動き
ベクトル情報に従って、メモリ２５から、動きベクトル
によって示された位置から参照画像データを読み出す。
加算手段では、該読み出された参照画像データと前記ID
CTの出力する画像データとの和を出力する。該参照画像
データとIDCT画像データとの和が復元された現画像であ
る。メモリ２５では、該復元された現画像を保存し、次
の画像の参照画像とする。

【０００５】

【発明が解決しようとする課題】しかし、このような動
画像復元方法では、参照画像を保存するために、大きい
メモリとそれに伴う多くのメモリアクセスが必要であ
る。HDTVなどの大きな画像では、メモリ及びメモリアク
セスに対する負担がかなり大きい。従って、より多くの
メモリ量とより高速なメモリアクセスが要求され、より
高価な装置となってしまう。

【０００６】

【課題を解決するための手段】本発明は、従来の動画像
復元方法及び装置において、復元された画像をメモリに
格納する前に、簡易でかつ効率の良い圧縮手段により画
像データを圧縮し、参照画像をメモリから読み出す時に
該画像を復元することにより、メモリ量及びメモリアク
セス量を減らしている。

【０００７】

【発明の実施の形態】《具体例１》以下、本発明による
具体例１の動画像復元方法及び装置について詳細に説明
する。

【０００８】＜構成＞図１は本発明による具体例１の動
画像復元装置の構成図である。本発明の具体例１の動画
像復元装置は、図２に示した従来の動画像復元装置にお
いて、加算手段２４とメモリ２５の間にデータ圧縮手段
１１を設け、加算手段２４より出力された復元画像デー
タｓ２４を圧縮してメモリ２５に格納するようにし、そ
して、メモリ２５とIMC２６の間にデータ伸長手段１２
を設け、メモリ２５から読み出された圧縮参照画像デー
タｓ２５を復元させてIMC２６に出力するように構成し
ている。

【０００９】＜動作＞図１において、VLD２１、及びIQ
２２、及びIDCT２３、及び加算手段２４、及びメモリ２
５、及びIMC２６は、前記従来の動画像復号装置のもの
と同じ動作をする。

【００１０】データ圧縮手段１１は、図３に示すよう
に、ブロック分割手段３１とデータ変換手段３２及び符
号化手段３３によって構成されている。加算手段より復
元された画像データが入力されると、ブロック分割手段
３１では、該画像データをｍ×ｎのブロックに分割しデ
ータ変換手段３２に出力する。データ変換手段３２で
は、該ｍ×ｎのブロックに対して、例えばアダマル変換
などの変換を行い、変換データを符号化手段３３に出力
する。２次元のアダマル変換は縦及び横の１次元のアダ
マル変換を組み合わせとして実現できる。また、１次元
の2^K個のデータのアダマル変換は（１）式のように表す
事ができる。

【００１１】

【数１】

【００１２】（１）式において、[x]は入力画像デー
タ、[X]はアダマル変換された画像データ、[H₂ ^K] はア
ダマル変換係数を表わし、[H₂ ^K]は（２）式のように求
められる。

【００１３】

【数２】

【００１４】符号化手段３３では、入力される変換デー
タに対して、適応的固定符号長符号化を行う。固定符号
長符号化とは、ブロック内の各データに対して固定の符
号量（ビット数）を割り当て、それぞれのデータに対し
ては、そのデータの値によって適応的に符号化を行う手
法である。図４は適応的固定符号長符号化手法の動作の
説明図である。以下、図４を参照しながら該適応的固定
符号長符号化について説明する。まず、ブロック内のデ
ータに対して、それぞれ固定の符号長B及び複数個の閾
値Tnを用意する。閾値が２個の場合に、固定符号長内の
１ビットを識別ビットとし、閾値が４個の場合に、２ビ
ットを識別ビットとする。ある任意のデータに対して、
まず該データの絶対値が与えられた第１の閾値T1を超え
たかどうかをチェックし、超えていなければ、識別ビッ
トを例えば「０」とし、該データを第１の閾値の範囲内
でB-t（識別ビットがｔビットとした場合に）ビットに
符号化する。もし超えていたら、該データの絶対値から
第１の閾値を引いた値に対して第２の閾値を超えたかど
うかのチェックをし、もし第２の閾値を超えていなかっ
たら、識別ビットを「１」とし、同様に符号化をする。
この作業を繰り返していく。もし、該データが最後の閾
値Tnを超えた場合に、該データを閾値を超えないよう
（絶対値＝Tn−１）にクリッピングして符号化をする。
符号化の方法としては、例えば、該当する閾値Tkに対し
て、-Tkから+Tkまでの範囲を2^B-t等分となるように量子
化係数Qkを算出し、該等分された範囲に対してそれぞれ
0から2^B-t−１のインデクスをつけ、ある範囲内に入っ
ているデータに対して該範囲のインデクスを出力する方
法がある。

【００１５】データ伸長手段１２は、図５に示すよう
に、ブロック分割され符号化された画像データを復号す
る復号手段４１及びデータ逆変換手段４２及びブロック
統合手段４３によって構成されている。メモリ２５より
入力される圧縮された画像データが入力されると、復号
手段４１では、前記符号化手段３３と逆の動作をし、符
号化されたデータを復号する。まず、符号化されたデー
タの識別ビットより該データがどの閾値の範囲内に入っ
ているかをチェックし、そして該データのインデクスビ
ットから該データが前記閾値内のどの範囲に入っている
かをチェックする。例えば、該データがXkとXk+1(Xk<Xk
+1)の範囲内に入っているとすると、該データをXk+Zkと
して出力し、そして符号化手段において引かれた閾値を
足しあわせて出力する。ここで、Zkは、a(Xk+1-Xk)(0<=
a<=1の任意の固定値)とする。

【００１６】データ変換手段４２では、該復号されたｍ
×ｎのブロックデータに対して、アダマル逆変換などを
行い、逆変換後のデータをブロック統合符号化４３に出
力する。２次元のアダマル逆変換も、アダマル変換同
様、縦及び横の１次元のアダマル逆変換を組み合わせて
実現できる。また、１次元の2^K個のデータのアダマル逆
変換は（３）式のように表す事ができる。

【００１７】

【数３】

【００１８】ここではアダマル変換を用いたが、これ以
外のDCT, Wavelet, DFT(フーリエ変換）、などの変換を
用いることもできる。しかしこれらの演算処理は大量で
あるため、加減算のみで実現できるアダマル変換を用い
ることによってより処理の負担を軽くすることができ
る。

【００１９】ブロック統合手段４３では、該逆変換され
たｍ×ｎのブロックデータを統合し、前記のブロック分
割手段よりブロック分割されたデータを元の構造に戻
す。

【００２０】＜効果＞以上詳細に説明したように、本発
明の第1の具体例によれば、データ圧縮手段を設ける事
により、参照画像データの符号量（ビット量）が圧縮さ
れ、少ないメモリで参照画像を格納する事ができる。、
メモリ量が低減する事によってメモリアクセス量も低減
する。また、アダマル変換などの変換を行う事によって
画像データを周波数帯域に変換する事ができ、符号化手
段では、各周波数成分の特徴に応じて符号量および閾値
を決定する事が出来、効率の良い符号化を行う事ができ
る。さらに、各周波数成分に適応的固定符号長符号化を
行う事によって、ブロック全体の符号量が固定され、ど
のブロックがメモリのどこに入っているかを簡単に計算
できる。このため、ランダムアクセス性が高くなる。

【００２１】これに加えてそれぞれのデータに対しては
そのデータの値に応じて適切な符号化を行う事ができる
ので、符号化効率の良い符号化が同時に実現できる。

【００２２】IMCなどでは、任意の画像データを取り出
す必要があるので、ランダムアクセス性が極めて重要で
ある。また、平坦な画像では、高周波成分の値が小さく
なるが、ノイズに対しても敏感であるので、小さな高周
波成分に対して細かい量子化が要求される。一方、激し
く変化する画像は高周波成分が大きくなるが、ノイズに
対しても鈍感になるので、大きく量子化しても、視覚的
には画質の劣化が感じにくいので、符号量を少なく押さ
える事ができる。従って、適応的符号化を行う事によっ
て、効率の良い符号化が実現できるのである。

【００２３】《具体例２》＜構成及び動作＞本発明の具体例２の動画像復号装置
は、本発明の具体例１の動画像復号装置のデータ圧縮手
段１１において、カラー画像の輝度成分（Y）と色差成
分（U,V）の比がY:U:V=4:1:1の場合に色差成分UおよびV
が輝度成分に比べてそれぞれ縦横共に半分となるよう、
カラー画像の輝度成分（Y）と色差成分（U,V）の比がY:
U:V=4:2:2の場合に色差成分UおよびVが輝度成分に比べ
てそれぞれ横のみ半分となるよう、ブロックに分割し、
輝度成分のブロックとそれに対応する色差成分のブロッ
クの割り当て符号量（ビット数）の和が一定となるよう
に、変換及び符号化を行う。特に、メモリのデータビッ
ト幅が固定の場合に、該符号量の和がメモリのデータビ
ット幅の倍数となるように設定する事を特徴とする。例
えば、データビット幅が８ビットの場合に、輝度成分の
ブロックと色差成分のブロックの符号量の和が８の倍数
となるようにし、データビット幅が１６あるいは３２ビ
ットの場合に、輝度成分のブロックと色差成分のブロッ
クの符号量の和がそれぞれ１６あるいは３２の倍数とな
るように設定する。

【００２４】＜効果＞カラー画像に対して、輝度成分と
色差成分を統合的に扱い、ブロック分割および符号化を
行うによって、メモリアクセス量を減らす事ができる上
に、符号化効率を高める事もできる。例えば、色差成分
ブロックの大きさを輝度成分ブロックと同じにすると、
IMCにおける色差成分のランダムアクセス性が低下して
しまう。これは輝度成分と色差成分とは成分比が異なる
ため、ブロック内の一部の画素のみが必要な場合に、輝
度成分に比べて色差成分の方は必要でない画素データ
（オーバーヘッド）の読み込みが増えてしまうことによ
って生じる。

【００２５】一方、色差成分ブロックを小さくすると、
ブロックに割り当てる符号量がメモリのデータビット幅
の制限を受けるので、効率の良い符号化が困難になる。
例えば、ブロックサイズを2×2とし、メモリのデータビ
ット幅を３２ビットとすると、例え該ブロックに３２ビ
ット以下の符号量を割り当てても、１アクセスで３２ビ
ット読み出されるので、実符号以外の残りのビット数が
無駄になる。そこで本具体例２のように、輝度成分と色
差成分を統合的に扱う事によって、例えば、輝度成分を
4x4のブロック、色差成分を2×2のブロックとし、メモ
リのデータビット幅を３２ビットとすると、輝度成分と
色差成分のトータルの符号量が３２ビットの倍数となれ
ば良いので、例えば、輝度成分ブロックに９８ビット、
色差成分U,Vにそれぞれ１５ビットのように、割り当て
る事が出来、効率の良い符号化が実現できる。また、色
差成分のブロックサイズを本具体例のように設定する事
によって、輝度成分と色差成分が同一画像領域を表して
いるので、IMC及び画像表示のためのアクセスオーバー
ヘッドも低減できる。

【００２６】《具体例３》＜構成及び動作＞本発明の具体例３の動画像復号装置
は、本発明の具体例１及び具体例２の動画像復号装置の
データ圧縮手段１１において、閾値を２のべき乗となる
ように設定している。

【００２７】＜効果＞閾値を２のべき乗にする事によっ
て、符号化時にインデクスを求めるために除算及び復号
時インデクスから画像データへの復号のための乗算が必
要なくなり、簡単で高速なシフト演算で行う事が出来る
ため、装置の簡略化及び高速化に役立つ。例えば、閾値
を2^kとすると、該閾値内の範囲が-2^kから2^k-1までであ
るので、該閾値内のデータがk+1ビットで表現できる。
該閾値内のデータをBビットで符号化するとすると、実
際に該閾値内のデータを(k+1-B)ビット分だけ左（絶対
値が小さくなる方向）にシフトし、下位からBビット分
だけ取り出せば良い。該取り出されたBビット分の符号
がインデクスに相当する。また、復号手段では、該Bビ
ット分の符号を (k+1-B)ビット分だけ右にシフトし、バ
イアスZkを足すことで復号できる。

【００２８】《具体例４》＜構成及び動作＞本発明の具体例４の動画像復号装置
は、本発明の具体例３の動画像復号装置のデータ伸長手
段１２において、復号の段階で画像データを2^m倍してか
らバイアスZkを足すようにし、逆変換後に1/2^m倍して元
に戻している。

【００２９】＜効果＞具体例１にて説明したように、量
子化ノイズを低減させるために、復号手段では、復号デ
ータが該データの範囲内の確率分布の中心となるように
バイアスを足す必要がある。一方、ハードウェア装置で
は、整数演算を行う事が一般的である。この場合に、符
号化では、例えば、１ビットのみ左にシフトした場合す
なわち量子化係数が２の場合に、復号手段では、１ビッ
トのみ右シフトをする。従って、バイアスの取りうる値
が０か１しかない。バイアスを０にする事はつまり画像
データを量子化係数２で割って切り捨てをする事を意味
し、バイアスを１にする事はつまり画像データを量子化
係数２で割って切り上げをする事を意味する。いずれも
該データの確率分布の端である。しかし、復号の段階で
画像データを2^m倍する事によって、例え符号化で１ビッ
トのみ左にシフトしたとしても、復号手段では、ｍ＋１
ビット右にシフトをすることになり、バイアスの取りう
る値が０から２^m+1−１までの任意の値を取る事が出
来、より該データの確率分布の中心値に近づける事がで
きる。従って、量子化誤差が低減し、画像品質が向上す
る。

【図面の簡単な説明】

【図１】本発明による具体例1の動画像復号装置の構成
図である。

【図２】従来例の動画像復号装置の構成図である。

【図３】本発明によるデータ圧縮手段の構成図である。

【図４】本発明による適応的固定符号長符号化の説明図
である。

【図５】本発明によるデータ伸長手段の構成図である。

【符号の説明】

11, データ圧縮手段 12, データ伸長手段 21, 可変長復号手段（ＶＬＤ） 22, 逆量子化手段（ＩＱ） 23, 離散余弦逆変換手段（ＩＤＣＴ） 24, 加算手段 25, メモリ 26, 動き補償補間手段（ＩＭＣ） 31, ブロック分割手段 32, データ変換手段 33, 符号化手段 41, 復号手段 42, データ逆変換手段 43, ブロック統合手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 GA11 GB07 GB19 GB21 GB22 GB25 GB26 GB32 GB40 KA01 KA22 5C059 KK02 KK08 KK15 LC08 MA22 MC11 ME01 ME13 PP04 PP14 TA11 TA16 TA60 TB15 TC18 TD12 UA02 UA05 UA31 5C078 AA09 BA22 BA44 BA53 BA56 BA57 CA02 CA22 CA27 DA01 DA02 9A001 BB02 BB03 BB04 DD08 EE02 EE04 EE05 FF01 HH25 HH27 HH30

Claims

【特許請求の範囲】

【請求項１】圧縮符号化された画像データを復元する
復元手段と、前記復元手段から出力される復元された画像データを圧
縮するデータ圧縮手段と、前記データ圧縮手段から出力される圧縮された画像デー
タを格納するメモリと、前記メモリから出力される圧縮された画像データを伸長
するデータ伸長手段と、を備えることを特徴とする動画像復号装置。
【請求項２】前記データ圧縮手段は、前記復元された画像データをブロックに分割するブロッ
ク分割手段と、前記ブロック分割手段で分割されたそれぞれのブロック
に対して独立にデータ変換を行うデータ変換手段と、前記データ変換手段でデータ変換されたデータを符号化
する符号化手段と、を備えることを特徴とする請求項１に記載の動画像復号
装置。
【請求項３】前記データ伸長手段は、前記データ圧縮手段から出力される圧縮された画像デー
タを復号する復号手段と、前記復号手段で復号された画像データを逆変換するデー
タ逆変換手段と、前記データ逆変換手段で逆変換されたデータブロックを
統合して元に戻すブロック統合手段と、を備えることを特徴とする請求項１または２に記載の動
画像復号装置。
【請求項４】前記データ変換手段及びデータ逆変換手
段は、直交変換及び直交逆変換を用いることを特徴とする請求
項２または３に記載の動画像復号装置。
【請求項５】前記データ変換手段及びデータ逆変換手
段は、アダマル変換及び逆変換を用いることを特徴とする請求
項２から４に記載の動画像復号装置。
【請求項６】前記符号化手段は、閾値を用いて前記画像データを複数個のクラスに分割し
てそれぞれのクラスの前記画像データに異なる量子化を
行って固定符号長の符号化を行うことを特徴とする請求
項２から５までに記載の動画像復号装置。
【請求項７】前記符号化手段は、閾値の大きさを２のべき乗とし、量子化及び逆量子化の
演算をシフト演算することを特徴とする請求項６に記載
の動画像復号方法及び装置。
【請求項８】前記復号手段は、復号された画像データを２のべき乗倍し、整数演算にお
いても、逆量子化後の画像データが確率分布の中心付近
の値を取ることを特徴とする請求項２から７に記載の動
画像復号装置。
【請求項９】前記符号化手段は、前記ブロック分割手段で分割されたそれぞれのブロック
内の個々の成分に対して異なる符号量を割り当て、かつ
前記ブロックの総符号量が前記メモリのデータビット幅
の整数倍となるように設定することを特徴とする請求項
２から８に記載の動画像復号装置。
【請求項１０】前記ブロック分割手段は、カラー画像の色差成分のブロックを輝度成分のブロック
と同一の画像領域を示すように分割し、かつ前記同一画
像領域を示す輝度成分ブロックと色差成分ブロックとを
統合したブロックを一つの符号化ブロックとし、前記統
合されたブロックの総符号量がメモリのデータビット幅
の整数倍となるように設定することを特徴とする請求項
２から９に記載の動画像復号装置。