JP2007043304A - 動画像復号装置および方法 - Google Patents

Abstract

【課題】 低解像度復号装置の復号画像の劣化を軽減し、必要とするメモリ容量の増加を抑えることのできる動画像復号装置を得る。
【解決手段】 復号画像を縮小手段６で縮小し、記憶手段１０に格納する。誤差情報生成手段７は、縮小後の復号画像と縮小前の復号画像との誤差情報を生成する。圧縮手段８は、誤差情報を圧縮して記憶手段１０に格納し、伸長手段９は、記憶手段１０に格納されている圧縮された誤差情報を復元する。予測画像生成手段５は、縮小後の復号画像と復元後の誤差情報とから予測画像を生成する。
【選択図】 図１

Description

この発明は、入力した画像信号を低解像度化した復号画像とする動画像復号装置および方法に関するものである。

高品位テレビ映像（ＨＤＴＶ）の復号装置として、復号処理中にメモリへ格納する画像を低解像度化することでメモリ容量及びメモリ帯域を削減し、低コストの受信機を構成可能にした低解像度復号装置が研究されている。

例えば、このような従来の復号装置としては特許文献１に示すものがあった。このような従来の復号装置は、シンタックス復号及び逆量子化手段、逆変換及びダウンコンバート手段、動きベクトル補正手段、予測画像生成及び記憶手段といった手段を備え、次のような処理を行う。即ち、シンタックス復号及び逆量子化手段は、ビットストリームを復号し、動きベクトルを出力するとともに、ビットストリーム中のＤＣＴ係数を逆量子化して出力する。逆変換及びダウンコンバート手段は、逆量子化されたＤＣＴ係数にダウンコンバートと逆ＤＣＴ変換を施し、縮小された残差画像を生成する。動きベクトル補正手段は、縮小サイズに合わせて動きベクトルを補正する。予測画像生成及び記憶手段は、縮小サイズの復号画像を格納し、過去の復号画像である参照画像から予測画像を生成する。復号画像は予測画像と残差画像との加算で得られ、予測画像生成及び記憶手段に格納されてから出力される。

特許第３４２３５９５号公報

従来の低解像度復号装置では、本来の参照画像を縮小して予測画像生成及び記憶手段に格納し、予測画像の生成に用いていた。このため縮小の過程で発生する誤差が予測画像に影響し復号画像のノイズとなって現れ、蓄積してしまうという問題があった。

この発明は上記のような問題を解決するためになされたもので、低解像度復号装置の復号画像の劣化を軽減すると共に、低解像度復号装置として必要とするメモリ容量の増加を抑えることのできる動画像復号装置および方法を得ることを目的とする。

この発明に係る動画像復号装置は、シンタックス復号手段の解析結果に基づいてビットストリームを復号した復号画像を縮小する縮小手段と、縮小後の復号画像と縮小前の復号画像との誤差情報を生成する誤差情報生成手段と、誤差情報を情報圧縮する圧縮手段と、圧縮された誤差情報を復元する伸長手段と、縮小後の復号画像と復元後の誤差情報とから予測画像を生成する予測画像生成手段とを備えたものである。

この発明の動画像復号装置は、縮小後の復号画像と縮小前の復号画像との誤差情報を生成し、この誤差情報を圧縮、復元して、縮小後の復号画像と復元した誤差情報とから予測画像を生成するようにしたので、低解像度復号装置の復号画像の劣化を軽減することができると共に、低解像度復号装置として必要とするメモリ容量の増加を抑えることができる。

実施の形態１．
図１は、この発明の実施の形態１による動画像復号装置を示す構成図である。
図において、動画像復号装置は、シンタックス復号手段１、逆量子化手段２、逆ＤＣＴ手段３、加算手段４、予測画像生成手段５、縮小手段６、誤差情報生成手段７、圧縮手段８、伸長手段９、記憶手段１０を備えている。

シンタックス復号手段１は、入力ビットストリームを解読し、ＤＣＴ係数情報と予測情報とを復号する手段である。逆量子化手段２は、ＤＣＴ係数情報を逆量子化する手段である。逆ＤＣＴ手段３は、逆量子化後のＤＣＴ係数情報を逆ＤＣＴ変換し、差分画像情報を得るための手段である。加算手段４は、逆ＤＣＴ手段３の出力と予測画像生成手段５の出力とを加算して縮小手段６と誤差情報生成手段７とに出力する手段である。予測画像生成手段５は、記憶手段１０に格納された縮小された復号画像と伸長手段９にて伸長された誤差情報とシンタックス復号手段１にて得られた予測情報とから予測画像を生成する手段である。縮小手段６は、復号画像を低解像度化してそのサイズを縮小する手段である。誤差情報生成手段７は、縮小手段６にて縮小された画像と縮小前の画像との誤差情報を生成する手段である。圧縮手段８は、誤差情報生成手段７にて生成された誤差情報を情報圧縮する手段である。伸長手段９は、圧縮手段８で圧縮された誤差情報を伸長して復元する手段である。記憶手段１０は、縮小された復号画像と圧縮された誤差情報とを格納するための手段であり、圧縮された復号画像が出力画像として出力される。

尚、動画像復号装置はコンピュータを用いて実現され、上述したシンタックス復号手段１〜伸長手段９は、専用のハードウェア、または、それぞれの機能に対応するソフトウェアと、これを実行するためのＣＰＵやメモリ等のハードウェアから構成されている。

次に、実施の形態１の動作について説明する。
先ず、入力ビットストリームから、シンタックス復号手段１、逆量子化手段２、逆ＤＣＴ手段３を経て復号画像が得られる。縮小手段６は、復号画像を水平２分の１、垂直２分の１のサイズに縮小して記憶手段１０に格納する。このとき、復号画像が将来参照画像として使われ得る場合は、誤差情報生成手段７にて誤差情報を算出し、圧縮手段８にて圧縮して記憶手段１０に格納する。ここで、誤差情報とは縮小によって失われた情報を補完するための情報であり、例えば、次のような情報とする。

例えば、ｉ，ｊを画素位置を表すインデックスとし、復号画像の画素値ｘ（ｉ，ｊ）、復号画像を縮小して、拡大した画素値ｙ（ｉ，ｊ）とした場合、誤差情報ｚ（ｉ，ｊ）はこれらの差 ｚ（ｉ，ｊ）＝ｙ（ｉ，ｊ）−ｘ（ｉ，ｊ）で表される。

次の画像を復号する際に、画面間予測符号化にて符号化されている場合は、記憶手段１０から縮小された画像と圧縮された誤差情報とが読み出され、誤差情報は伸長手段９にて復元され、予測画像生成手段５にて予測画像を生成する。

誤差情報の圧縮および伸長方法としては、例えば量子化が考えられる。本実施の形態では、画素データを８ビットとし、誤差情報を６ビットへ圧縮するものとする。
ここで、記憶手段１０の容量について考察する。画面サイズは、水平Ｈ画素、垂直Ｖ画素とする。色差フォーマットは４：２：０で記憶手段１０に格納するものとする。記憶手段１０中の画面数は、参照画像２面と、表示面２面の計４面とする。

ＨＤＴＶのまま記憶手段１０へ格納した場合、下式のビット量が記憶手段に必要となる。
Ｈ＊Ｖ＊１．５＊４＊８＝４８ＨＶ ［ビット］
尚、上式中、“１．５”は４：２：０フォーマットで輝度成分の画素数を色差成分も含めた画素成分に変換した値であり、“４”は記憶手段１０中の画面数、“８”は画素データのビット数を示している。

一方、本実施の形態の場合、下式のビット量が記憶手段に必要となる。
（復号画像）＝Ｈ＊Ｖ＊１／４＊１．５＊４＊８＝１２ＨＶ ［ビット］
（誤差情報）＝Ｈ＊Ｖ＊２＊６＊１．５＝１８ＨＶ ［ビット］
（復号画像）＋（誤差情報）＝３０ＨＶ ［ビット］
尚、上式中、復号画像における“１／４”は、縮小率（＝（１／２）＊（１／２））を示し、誤差情報における“２”は参照画像の値（＝２面）、“６”は圧縮後のサイズを示している。

以上から本実施の形態の場合では、ＨＤＴＶのまま記憶手段１０へ格納する場合に比べ、記憶手段１０で必要とする記憶容量が削減されていることがわかる。

このように予測画像の誤差情報を記憶手段に格納し予測画像の生成に用いることにより、復号画像のノイズを軽減することができる。また、ノイズ軽減の代償として誤差情報を記憶手段１０に格納することで本来の記憶手段１０の削減効果が減少してしまうが、誤差情報を圧縮して格納することにより記憶手段１０の容量増加を抑制できる。

また、色差成分の復号ノイズは目立ちにくい性質があるため、誤差情報を輝度成分のみ生成する方法も考えられる。この場合、
（誤差情報）＝Ｈ＊Ｖ＊２＊６＝１２ＨＶ ［ビット］
（復号画像）＋（誤差情報）＝２４ＨＶ ［ビット］
となり、更に記憶手段１０の容量削減効果が高まる。

以上のように、実施の形態１の動画像復号装置によれば、予測符号化された動画像のビットストリームを解析するシンタックス復号手段と、シンタックス復号手段の解析結果に基づいてビットストリームを復号した復号画像を縮小する縮小手段と、縮小後の復号画像と縮小前の復号画像との誤差情報を生成する誤差情報生成手段と、誤差情報を情報圧縮する圧縮手段と、圧縮された誤差情報を復元する伸長手段と、縮小後の復号画像と復元後の誤差情報とから予測画像を生成する予測画像生成手段とを備えたので、低解像度復号装置の復号画像の劣化を軽減することができると共に、低解像度復号装置として必要とするメモリ容量の増加を抑えることができる。

また、実施の形態１の動画像復号装置によれば、誤差情報は輝度成分についてのみ生成するようにしたので、更に必要とするメモリ容量の削減効果を高くすることができる。

また、実施の形態１の動画像復号方法によれば、入力される予測符号化された動画像のビットストリームから復号画像を出力する動画像復号装置における動画像復号方法であって、予測符号化された動画像のビットストリームを解析するシンタックス復号ステップと、シンタックス復号ステップでの解析結果に基づいてビットストリームを復号した復号画像を縮小する縮小ステップと、縮小後の復号画像と縮小前の復号画像との誤差情報を生成する誤差情報生成ステップと、誤差情報を情報圧縮する圧縮ステップと、圧縮された誤差情報を復元する伸長ステップと、縮小後の復号画像のみあるいは縮小後の復号画像と復元後の誤差情報とから予測画像を生成する予測画像生成ステップとを備えたので、低解像度復号装置として、その復号画像の劣化を軽減することができ、かつ、必要とするメモリ容量の増加を抑えることができる。

実施の形態２．
実施の形態２は、復号画像を圧縮する際に、水平方向と垂直方向と２段階で圧縮し、垂直方向の圧縮前後の誤差を誤差情報とした例である。

図２は、実施の形態２の動画像復号装置を示す構成図である。
図において、水平縮小手段６１は、復号画像を水平方向に縮小する手段であり、垂直縮小手段６２は、画像を垂直方向に縮小する手段である。また、誤差情報生成手段７ａは、水平縮小手段６１の出力と垂直縮小手段６２の出力との誤差情報、即ち、垂直圧縮前後の画像の誤差情報を生成する手段である。その他の各構成は、実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。

このように構成された動画像復号装置では、誤差情報生成手段７ａが、垂直圧縮前後の画像の誤差情報を生成する以外は、実施の形態１の動作と同様である。また、このような誤差情報を生成する理由は次の通りである。即ち、一般的に垂直方向の縮小による復号画像ノイズに比べ、水平方向の縮小による復号画像は目立ちにくいことが知られてからである。このため、本実施の形態では、誤差情報を垂直方向の縮小誤差のみに限ることで、復号ノイズへの影響を抑えながら、誤差情報の容量を２分の１に圧縮している。

以上のように、実施の形態２の動画像復号装置によれば、縮小手段は、水平方向に縮小する水平縮小手段と、垂直方向に縮小する垂直縮小手段とから構成され、誤差情報生成手段は、水平方向に縮小後の画像について、垂直方向の縮小前後の画像の誤差情報を生成するようにしたので、復号ノイズへの影響を抑えながら、必要とするメモリ容量を更に削減することができる。

実施の形態３．
以上の実施の形態１および２では、全ての予測画像について誤差情報を使用するようにしたものであるが、次に記憶手段の入出力経路であるバスについて、低解像度復号装置が使用できる転送容量が限られているような場合に、バス使用状況を考慮して誤差情報の使用または不使用を選択する実施の形態を示す。

図３は、実施の形態３による動画像復号装置を示す構成図である。
図において、記憶手段１１は、機能的には記憶手段１０と同様であるが、バス１２で接続された構成で表記している。また、誤差情報使用判定手段１３は、誤差情報を使用するか否かを、バス１２の使用状況に応じて動的に判定する手段である。更に、予測画像生成手段５ａは、誤差情報使用判定手段１３の判定結果に基づき、誤差情報を使用して予測画像を生成するか、あるいは誤差情報なしで予測画像を生成する手段である。その他の各構成については、図１に示した実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。

誤差情報使用判定手段１３における判定手段方法は、先ず、予め定められた基準転送量に対して、実際に使用した転送量との差をマクロブロック単位に転送余裕量として蓄積する。転送余裕量はピクチャ単位で初期化する。ここでいうピクチャ、マクロブロックはＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８−２）で用いられる語と同じ意味である。
（転送余裕量）＝Σ｛（基準転送量）−（使用転送量）｝
そして誤差情報の使用を判定する際には、転送余裕量の値を参照し、値が正の場合のみ誤差情報を使用するようにする。そして誤差情報を使用した場合には、使用転送量に誤差情報の転送量も含めて転送余裕量の値を更新する。

図４は、誤差情報使用判定手段１３における誤差情報の使用判定処理を示したフローチャートである。
先ず、誤差情報使用判定手段１３は、転送余裕量を初期化する（ステップＳＴ１０１）。その後、処理マクロブロックが画面間予測符号化を用いているかを判定し（ステップＳＴ１０２）、画面間予測符号化を用いている場合は、転送余裕量があるか（０を超えているか）を判定し（ステップＳＴ１０３）、転送余裕量があった場合は、誤差情報を使用する旨の指示を予測画像生成手段５ａに出力する（ステップＳＴ１０４）。一方、ステップＳＴ１０２において、画面間予測符号化を用いていない場合は、予測画像を使用しないため、ステップＳＴ０１３の判定処理をスキップする。また、ステップＳＴ１０３において、転送余裕量が無かった場合（＝０）、およびステップＳＴ１０４で誤差情報を使用すると指示した後は、転送余裕量を更新する（ステップＳＴ１０５）。その後、ステップＳＴ１０６において、ピクチャの終了判定を行い、このようなステップＳＴ１０２〜ステップＳＴ１０５の処理を、ピクチャが終了するまで行う。

予測画像生成手段５ａは、誤差情報使用判定手段１３の判定結果に基づき、誤差情報を使用して予測画像を生成するか、あるいは誤差情報なしで予測画像を生成する。これ以外の動作は、実施の形態１と同様であるため、ここでの説明は省略する。

以上のように、実施の形態３の動画像復号装置によれば、誤差情報の使用または不使用を判定する誤差情報使用判定手段を備え、予測画像生成手段は、誤差情報使用判定手段の判定結果に従い、誤差情報の使用を制限するようにしたので、例えば、画像転送量に制限がある場合等でも、その転送余裕量に応じてできるだけ復号画像のノイズを軽減することができる。

また、実施の形態３の動画像復号装置によれば、誤差情報使用判定手段は、シンタックス復号手段から得られる予測方式の情報に基づき、復号画像を記憶するための記憶手段との間に発生した画像転送容量を算出し、画像転送容量の累積値に応じて誤差情報の使用または不使用を判定するようにしたので、限られたバス帯域といった転送条件の中で出来るだけ復号画像のノイズを軽減するよう制御することができる。

実施の形態４．
実施の形態４は、実施の形態３の構成に加えて、更にノイズの程度も含めて考慮する例である。

図５は、実施の形態４の動画像復号装置を示す構成図である。
図において、誤差情報生成手段７ｂは、誤差情報と同時に誤差の程度を示す誤差レベルをマクロブロック単位に算出する手段である。誤差レベル記憶手段１４は、誤差情報生成手段７ｂからの誤差レベルを必要な画面分保持する手段である。誤差情報使用判定手段１３ａは、誤差情報の使用または不使用の判定を行う際に、実施の形態３の誤差情報使用判定手段１３の機能に加えて、誤差レベル記憶手段１４で記憶されている誤差レベルも考慮に入れて判定する手段である。その他の構成は、実施の形態３と同様であるため、対応する部分に同一符号を付してその説明を省略する。

次に、実施の形態４の動作について説明する。
図６は、誤差情報使用判定手段１３ａによる誤差情報の使用判定処理を示したフローチャートである。
ステップＳＴ２０１〜ステップＳＴ２０３までの処理は、実施の形態３におけるステップＳＴ１０１〜ステップＳＴ１０３までの処理と同様である。ステップＳＴ２０３において、転送余裕量があった場合、誤差情報使用判定手段１３ａは、誤差レベル記憶手段１４に記憶されている誤差レベルの値が１であるかを判定する（ステップＳＴ２０４）。ここで誤差レベルとは例えば次のような値である。

例えば、誤差情報をｚ（ｉ，ｊ）とした場合、ｚ（ｉ，ｊ）の絶対値をマクロブロック単位に合計したもの
評価値Ｅ（ｋ）＝Σ｜ｚ（ｉ，ｊ）｜ ｉ，ｊ∈ＭＢ（ｋ）
が考えられる。
誤差レベルとして、この評価値Ｅ（ｋ）をレベル分けする。例えば、評価値Ｅ（ｋ）が１００以上ならばレベル２、８０以下ならレベル１、８０以下ならレベル０といったように分類する。但し、図６のフローチャートの場合は、０または１の２種類としている。

ステップＳＴ２０４において、誤差レベルが１であった場合は、誤差情報を使用する旨の指示を予測画像生成手段５ａに出力する（ステップＳＴ２０５）。即ち、誤差がある値より大きい場合のみ、優先的に誤差情報を使用する。

一方、ステップＳＴ２０３において、転送余裕量が無かった場合（＝０）、ステップＳＴ２０４において誤差レベルが１でなかった場合、およびステップＳＴ２０５で誤差情報を使用すると指示した後は、転送余裕量を更新する（ステップＳＴ２０６）。その後、ステップＳＴ２０７において、ピクチャの終了判定を行い、このようなステップＳＴ２０２〜ステップＳＴ２０６の処理を、ピクチャが終了するまで行う。これ以外の動作は、実施の形態３と同様であるため、ここでの説明は省略する。

尚、上記評価値Ｅ（ｋ）の別の定義として、例えば、最大値を評価値として、
Ｅ（ｋ）＝ｍａｘ（｜ｚ（ｉ，ｊ）｜） ｉ，ｊ∈ＭＢ（ｋ）
とし、誤差レベルは、
レベル０：Ｅ（ｋ）が１２０未満
レベル１：Ｅ（ｋ）が１２０以上
といった分類方法であってもよい。

以上のように、実施の形態４の動画像復号装置によれば、誤差情報生成手段は、誤差の程度を表す誤差レベルを計算し、誤差情報使用判定手段は、誤差レベルが所定値以上の程度を示す値であった場合に誤差情報を使用すると判定するようにしたので、重大な復号ノイズの修復を優先させることができ、その結果、動画像復号装置として高いノイズ削減効果を得ることができる。

この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態２による動画像復号装置を示す構成図である。 この発明の実施の形態３による動画像復号装置を示す構成図である。 この発明の実施の形態３による動画像復号装置の誤差情報の使用判定処理を示すフローチャートである。 この発明の実施の形態４による動画像復号装置を示す構成図である。 この発明の実施の形態４による動画像復号装置の誤差情報の使用判定処理を示すフローチャートである。

符号の説明

１ シンタックス復号手段、２ 逆量子化手段、３ 逆ＤＣＴ手段、５，５ａ 予測画像生成手段、６ 縮小手段、７，７ａ、７ｂ 誤差情報生成手段、８ 圧縮手段、９ 伸長手段、１０，１１ 記憶手段、１２ バス、１３，１３ａ 誤差情報使用判定手段、１４ 誤差レベル記憶手段、６１ 水平縮小手段、６２ 垂直縮小手段。

Claims (7)

1. 予測符号化された動画像のビットストリームを解析するシンタックス復号手段と、
   前記シンタックス復号手段の解析結果に基づいてビットストリームを復号した復号画像を縮小する縮小手段と、
   縮小後の復号画像と縮小前の復号画像との誤差情報を生成する誤差情報生成手段と、
   誤差情報を情報圧縮する圧縮手段と、
   圧縮された誤差情報を復元する伸長手段と、
   縮小後の復号画像と復元後の誤差情報とから予測画像を生成する予測画像生成手段とを備えた動画像復号装置。
2. 誤差情報は輝度成分についてのみ生成することを特徴とする請求項１記載の動画像復号装置。
3. 縮小手段は、水平方向に縮小する水平縮小手段と、垂直方向に縮小する垂直縮小手段とから構成され、
   誤差情報生成手段は、水平方向に縮小後の画像について、垂直方向の縮小前後の画像の誤差情報を生成することを特徴とする請求項１または請求項２記載の動画像復号装置。
4. 誤差情報の使用または不使用を判定する誤差情報使用判定手段を備え、
   予測画像生成手段は、前記誤差情報使用判定手段の判定結果に従い、誤差情報の使用を制限することを特徴とする請求項１から請求項３のうちのいずれか１項記載の動画像復号装置。
5. 誤差情報使用判定手段は、シンタックス復号手段から得られる予測方式の情報に基づき、復号画像を記憶するための記憶手段との間に発生した画像転送容量を算出し、画像転送容量の累積値に応じて誤差情報の使用または不使用を判定することを特徴とする請求項４記載の動画像復号装置。
6. 誤差情報生成手段は、誤差の程度を表す誤差レベルを計算し、
   誤差情報使用判定手段は、前記誤差レベルが所定値以上の程度を示す値であった場合に誤差情報を使用すると判定することを特徴とする請求項４または請求項５記載の動画像復号装置。
7. 入力される予測符号化された動画像のビットストリームから復号画像を出力する動画像復号装置における動画像復号方法であって、
   前記予測符号化された動画像のビットストリームを解析するシンタックス復号ステップと、
   前記シンタックス復号ステップでの解析結果に基づいてビットストリームを復号した復号画像を縮小する縮小ステップと、
   縮小後の復号画像と縮小前の復号画像との誤差情報を生成する誤差情報生成ステップと、
   誤差情報を情報圧縮する圧縮ステップと、
   圧縮された誤差情報を復元する伸長ステップと、
   縮小後の復号画像のみあるいは縮小後の復号画像と復元後の誤差情報とから予測画像を生成する予測画像生成ステップとを備えた動画像復号方法。
   

Images