JP3818484B2 - 符号化動画像データの復号装置および記録媒体 - Google Patents
符号化動画像データの復号装置および記録媒体 Download PDFInfo
- Publication number
- JP3818484B2 JP3818484B2 JP25755399A JP25755399A JP3818484B2 JP 3818484 B2 JP3818484 B2 JP 3818484B2 JP 25755399 A JP25755399 A JP 25755399A JP 25755399 A JP25755399 A JP 25755399A JP 3818484 B2 JP3818484 B2 JP 3818484B2
- Authority
- JP
- Japan
- Prior art keywords
- discrete cosine
- cosine transform
- image data
- moving image
- inverse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は符号化動画像データの復号装置に関し、特に動画像復号処理負荷を軽減して、処理性能が低いパーソナルコンピュータにも使用できるようにした符号化動画像データの復号装置に関する。
【０００２】
【従来の技術】
圧縮符号化された動画像の復号装置の従来例を図１２に示す。図１２において、符号化動画像データは可変長復号器１１に入力され、可変長復号化される。復号された量子化係数ａすなわち量子化離散コサイン変換係数は逆量子化器１２に入力され、一方復号された動きベクトル情報ｂは動き補償予測器１７に入力される。該量子化係数ａは逆量子化器１２で逆量子化され、離散コサイン変換係数Ｆ(u,v) が逆離散コサイン変換器３１に入力される。動き補償予測器１７では前記動きベクトル情報ｂを用いて、フレームメモリ１８に蓄積された画像から予測に用いる予測画像データを抽出する。
【０００３】
可変長復号器１１で復号された符号化モード情報ｃはスイッチ手段１９を制御する。符号化モードが面内符号化モードの場合はスイッチ手段１９はオフとされ、逆離散コサイン変換器１３からの出力ｆ(x,y) は加算器１６で何も加算されずそのまま復号画像出力ｒ(x,y) として出力されると共に、フレームメモリ１８に蓄積される。
【０００４】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段１９はオンとされ、逆離散コサイン変換器３１からの出力ｆ(x,y) は動き補償予測画像ｃ(x,y) と加算器１６で加算されて復号画像出力ｒ(x,y) として出力されると共に、フレームメモリ１８に蓄積される。
【０００５】
動画像の復号処理では、逆離散コサイン変換がもっとも処理負荷が大きいため、例えばB.G.Lee,"A new algorithm to compute the discrete cosine transform," IEEE Trans.Acoust.,Speech, and Signal Processing, vol.ASSP-32, pp/1243-1245, Dec.1984.などの高速逆離散コサイン変換アルゴリズムが利用される。
【０００６】
さらに高速化が要求される場合は、復号する画面数を間引いて、復号処理を軽減する方法が用いられている。たとえば、画面内符号化（イントラ符号化）された画像のみを復号し、画面内符号化以外で符号化された画像は復号しない方法も用いられている。
【０００７】
【発明が解決しようとする課題】
しかしながら、例えばパーソナルコンピュータなどを用いてソフトウェアで復号処理を行なう場合、パーソナルコンピュータの処理性能が低い場合は、このような高速処理でも処理が間に合わず、大幅に再生画面数が低下するという問題がある。
【０００８】
本発明の目的は、前記した従来技術の問題点を解決し、従来の処理速度よりもさらに高速処理できる符号化動画像データの復号装置を提供することにある。また、他の目的は、再生時の画質の劣化や再生画面数の低下を大してもたらすことなく、動画像復号処理負荷を大幅に軽減できる符号化動画像データの復号装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明は、逆量子化された離散コサイン変換係数を符号化側の離散コサイン変換基底よりも小さく、かつＤＣ成分のみの基底を含まない基底用の変換係数に変更する手段と、該手段により変更された変換係数を前記符号化側の離散コサイン変換基底よりも小さく、かつＤＣ成分のみの基底を含まない基底を用いた逆離散コサイン変換を用いて逆変換する手段と、該逆離散コサイン変換された画像データを符号化側と同一のサイズに変換する手段とを具備した点に第１の特徴がある。
【００１０】
また、本発明は、前記の各手段（機能）を記録したコンピュータ読取り可能な記録媒体を提供する点に、第２の特徴がある。
【００１１】
前記第１、第２の特徴によれば、逆量子化された離散コサイン変換係数は、符号化側の離散コサイン変換基底よりも小さな基底用の変換係数に変更され、符号化側の離散コサイン変換基底よりも小さな基底を用いた逆離散コサイン変換を用いて逆変換されるので、該逆変換に要する処理速度を向上でき、ひいては全体の復号処理速度を大幅に向上することができるようになる。
【００１３】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の第１の実施形態の構成を示すブロック図である。なお、図１２と同一の符号は、同一または同等物を示す。この実施形態は、符号化側の離散コサイン変換より小さい基底を用いて、復号側で逆離散コサイン変換するようにしたものである。
【００１４】
符号化データあるいは符号化動画像データは、可変長復号器１１に入力される。可変長復号器１１では、量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。復号された量子化離散コサイン変換係数ａは逆量子化器１２に入力され、動きベクトル情報ｂは動き補償予測器１７に入力され、符号化モード情報ｃは後述するスイッチ手段１９を制御する。
逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。該離散コサイン変換係数Ｆ(u,v) はスケーリング器１３に入力され、係数データがスケーリングされる。スケーリング方法については、図１１の式(1) で与えられる式に沿って各離散コサイン変換係数を変更する。
【００１５】
ここで、Ｆ(u,v) 、Ｆ'(u,v)はそれぞれスケーリング器１３に入力される離散コサイン変換係数、スケーリング処理後の離散コサイン変換係数である。また、Ｎ×Ｎ（Ｎは正の偶数）は符号化側の離散コサイン変換の基底サイズ、ｕ、ｖはそれぞれ水平方向、垂直方向の離散コサイン変換係数の座標を示し、ｕ＝０，１，…，（Ｎ／２ｐ１−１）、ｖ＝０，１…，（Ｎ／２ｐ２−１）である。ｐ1 、ｐ2 はそれぞれ水平方向と垂直方向の小基底逆離散コサイン変換の基底サイズを決定するパラメータ（整数）で、基底サイズは水平、垂直方向それぞれ、Ｎ／２ｐ１、Ｎ／２ｐ２である。例えば、ｐ1 ＝ｐ2 ＝１であれば、基底サイズはＮ／２×Ｎ／２となる。
【００１６】
また、簡易的に、下記の式(2) のようなスケーリングも利用可能である。
Ｆ'(u,v)＝Ｆ(u,v) ／｛（２ｐ１／２）×（２ｐ２／２）｝ …(2)
スケーリング処理後の離散コサイン変換係数Ｆ'(u,v)は、小基底逆離散コサイン変換器１４に入力される。小基底逆離散コサイン変換器１４では、水平方向、垂直方向の基底サイズがＮ／２ｐ１、Ｎ／２ｐ２の、従来に比べて小基底の逆離散コサイン変換により離散コサイン変換係数Ｆ'(u,v)が逆変換され、画像ｆ'(i,j)が出力される。
【００１７】
画像ｆ'(i,j)は解像度変換器１５に入力され符号化側と同一のサイズの空間解像度に変換され、ｆ(x,y) として出力される。なお、ｆ'(i,j)からｆ(x,y) への空間解像度変換方法としては、内挿補間法や単純内挿法などを利用することができる。
【００１８】
たとえば、ｐ1 ＝ｐ2 ＝１の時、内挿補間法では、次の式(3) 〜式(6) のように変換できる。
f(x,y) = f(2i, 2j) = f'(i,j) …(3)
f(x,y) = f(2i+1,2j) = (f'(i,j)+f'(i+1,j))/2 …(4)
f(x,y) = f(2i, 2j+1) = (f'(i,j)+f'(i,j+1))/2 …(5)
f(x,y) = f(2i+1, 2j+1) = (f'(i,j)+ f'(i+1,j)+f'(i,j+1)+ f'(i+1,j+1))/4…(6)
なお、ｘ，ｙ＝０，１，２，…，Ｎ−１である。
【００１９】
また、単純内挿法では、次の式(7) 〜式(10)のような変換を用いることが可能である。
f(x,y) = f(2i, 2j) = f'(i,j) …(7)
f(x,y) = f(2i+1,2j) = f'(i,j) …(8)
f(x,y) = f(2i, 2j+1) = f'(i,j) …(9)
f(x,y) = f(2i+1, 2j+1) = f'(i,j) …(10)
一方、可変長復号器１１で復号された動きベクトル情報ｂは動き補償予測器１７に入力される。動き補償予測器１７では入力された動きベクトル情報ｂにしたがってフレームメモリ１８から該当の画像情報をロードし、動き補償予測器１７から動き補償予測画像ｃ(x,y) として出力する。
【００２０】
また、可変長復号器１１で復号された符号化モード情報ｃはスイッチ手段１９を制御する。符号化モードが面内符号化モードの場合はスイッチ手段１９はオフとされ、解像度変換器１５からの出力ｆ(x,y) は加算器１６で何も加算されずそのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００２１】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段１９はオンとされ、解像度変換器１５からの出力ｆ(x,y) は加算器１６で動き補償予測画像ｃ(x,y) が加算されて復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００２２】
以上のように、この実施形態によれば、小基底逆離散コサイン変換器１４はスケーリング器１３でスケーリング処理された水平方向、垂直方向の基底サイズＮ／２ｐ１、Ｎ／２ｐ２を用いて、逆離散コサイン変換をすることになるので、処理速度を従来のものに比べて、大幅に改善することができるようになる。
【００２３】
次に、本発明の第２実施形態を、図２を参照して説明する。この実施形態は、ローパスフィルタ処理と非零係数逆離散コサイン変換処理を用いて復号するようにしたものである。
【００２４】
符号化データはまず可変長復号器１１に入力される。可変長復号器１１および逆量子化器１２の動作は、前記第１実施形態と同一または同等であるので、説明を省略する。逆量子化器１２から出力された離散コサイン変換係数Ｆ(u,v) はローパスフィルタ２１に入力され、係数データがフィルタリングされる。
【００２５】
フィルタリング方法についてはサイズがＮ×Ｎの離散コサイン変換係数Ｆ(u,v) の中で低域の係数のみを残すことで実現することができる。ローパスフィルタリング後の係数をＦ'(u,v)とすると、次の式(11)、(12)のようなフィルタリングを利用することが可能である。
0 ≦u ≦b1かつ 0≦v ≦b2の時、F '(u,v) = F(u,v) …(11)
u > b1または v > b2 の時、F '(u,v) = 0 …(12)
ここで、ｕ，ｖ＝０，１，２，…，Ｎ−１である。またｂ1 、ｂ2 は、Ｎ以下の整数でフィルタリングパラメータである。
【００２６】
また，以下のような式(13)、(14)を用いてフィルタリングすることも可能である。
b2 u + b1 v ≦ b1 b2の時、F '(u,v) = F(u,v) …(13)
b2 u + b1 v > b1 b2 の時、F '(u,v) = 0 …(14)
ローパスフィルタリング処理後の離散コサイン変換係数Ｆ'(u,v)は符号化側と同一サイズの基底を持つ非零係数逆離散コサイン変換器２２に入力される。非零係数逆離散コサイン変換器２２では離散コサイン変換係数Ｆ'(u,v)が逆変換され、画像ｆ(x,y) が出力される。ここで、ｘ，ｙ＝０，１，２，…，Ｎ−１である。また、非零係数逆離散コサイン変換器２２の基底は、符号化側の離散コサイン変換と同一のサイズＮ×Ｎで、ｕ，ｖそれぞれがｂ1 、ｂ2 以下の係数を用いて、図１１の式(15)、(16)により逆離散コサイン変換を行う。非零係数逆離散コサイン変換器２２の基底は、符号化側の離散コサイン変換と同一のサイズであるが、前記ローパスフィルタ２１によるフィルタリングにより、Ｆ'(u,v)＝０のデータが多量に存在することになるので、非零係数逆離散コサイン変換器２２の処理速度は大幅に向上する。
【００２７】
なお、前記式(15)、(16)を用いた逆離散コサイン変換に代えて、バタフライ演算を用いても良い。図３は、従来の、すなわち前記フィルタリングしない時のバタフライ演算を用いた高速逆離散コサイン変換の一例を示すものであり、B.G.Lee,"A new algorithm to compute the discrete cosine transform," IEEE Trans.Acoust.,Speech, and Signal Processing, vol.ASSP-32, pp/1243-1245, Dec.1984.での高速逆離散コサイン変換処理を示す。図はＮ＝８とした場合の１次元信号における逆離散コサイン処理を示している。なお、図中の符号は、図１１の式(17)の意味を有している。図３の処理によれば、Ｆ'(0)，Ｆ'(1)，…，Ｆ'(7)の８点入力に対して逆離散コサイン変換処理が行われ、ｆ(0) ，ｆ(1) ，…，ｆ(7) の８つの画像出力が得られる。
【００２８】
しかしながら、本実施形態のフィルタリングをした後には、バタフライ演算は図４に示すようになる。図４は、フィルタリングパラメータｂ1 を４（ｂ1 ＝４）とした場合のバタフライ演算による非零係数逆離散コサイン変換を示す。本実施形態ではＦ'(0)〜Ｆ'(3)の４点だけが入力されて逆離散コサイン変換処理が行われ、ｆ(0) ，ｆ(1) ，…，ｆ(7) の８つの画素データが復元される。このように、従来のＮ点入力の逆離散コサイン変換に対して、本実施形態では非零となる低域のｂ点の入力信号に対応する逆離散コサイン変換計算のみを行えばよく、処理速度は大幅に向上する。
【００２９】
可変長復号器１１で復号された動きベクトル情報は、前記第１実施形態と同様に、動き補償予測器１７に入力される。動き補償予測器１７では入力された動きベクトル情報にしたがってフレームメモリ１８から該当の画像情報をロードし，動き補償器１７から動き補償予測画像ｃ(x,y) として出力する。
【００３０】
また、可変長復号器１１で復号された符号化モード情報も、前記第１実施形態と同様に、スイッチ手段１９を制御する。符号化モードが面内符号化モードの場合はスイッチ手段１９はオフとされ、逆離散コサイン変換器２２からの出力ｆ(x,y) は加算器１６で何も加算されずそのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００３１】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段１９はオンとされ、非零係数逆離散コサイン変換器２２からの出力ｆ(x,y) は加算器１６で動き補償予測画像ｃ(x,y) が加算されて復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００３２】
以上のように、本実施形態によれば、非零係数逆離散コサイン変換器２２の基底は、符号化側の離散コサイン変換と同一のサイズであるが、前記ローパスフィルタ２１によるフィルタリングにより、Ｆ'(u,v)＝０となるデータが多量に存在することになるので、非零係数逆離散コサイン変換器２２の実質的な処理量は大幅に低減され、処理速度は大幅に向上することになる。
【００３３】
次に、図５を参照して、第３の実施形態を説明する。この実施形態は、従来から実施されている、画面内符号化モードで符号化された画像のみを復号し、画面内符号化以外で符号化された画像は復号しない方法の処理速度をさらに向上させるようにしたものである。
【００３４】
符号化データは可変長復号器１１に入力される。可変長復号器１１で符号化モードを復号し、量子化離散コサイン変換係数ａ、符号化モード情報ｃなどが復号される。符号化モードが面内符号化モードの時に、スイッチ手段１１ａが閉じられ、可変長復号器１１から量子化離散コサイン変換係数ａが逆量子化器１２に出力される。逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。該離散コサイン変換係数Ｆ(u,v) はスケーリング器１３に入力され、係数データがスケーリングされる。
【００３５】
スケーリング方法については前記式(1) で与えられる式に沿って各離散コサイン変換係数を変更する。また、簡易的に前記式(2) のようなスケーリングも利用可能である。
【００３６】
スケーリング処理後の離散コサイン変換係数Ｆ'(u,v)は小基底逆離散コサイン変換器１４に入力される。小基底逆離散コサイン変換器１４では水平方向、垂直方向の基底サイズがＮ／２ｐ１，Ｎ／２ｐ２の逆離散コサイン変換により離散コサイン変換係数Ｆ'(u,v)が逆変換され画像ｆ'(i,j)が出力される。画像ｆ'(i,j)は解像度変換器１５に入力され符号化側と同一のサイズの空間解像度に変換され、ｆ(x,y) として出力される。なお、ｆ'(i,j)からｆ(x,y) への空間解像度変換方法としては第１実施形態と同様の内挿補間法や単純内挿法などを利用することができる。
解像度変換器１５からの出力ｆ(x,y) はそのまま復号画像出力ｒ(x,y) として出力される。
【００３７】
この実施形態によれば、画面内符号化モードで符号化された画像の処理速度を大幅に向上させることができるようになる。
【００３８】
次に、本発明の第４の実施形態を図６を参照して説明する。この実施形態も、前記第３の実施形態と同様に、画面内符号化モードで符号化された画像の処理速度を改善するようにしたものである。
【００３９】
符号化データは可変長復号器１１に入力される。可変長復号器１１で符号化モードを復号し、量子化離散コサイン変換係数ａ、符号化モード情報ｃなどが復号される。符号化モードが面内符号化モードの時に、スイッチ手段１１ａが閉じられ、可変長復号器１１から量子化離散コサイン変換係数ａが逆量子化器１２に出力される。逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。該離散コサイン変換係数Ｆ(u,v) はローパスフィルタ２１に入力され、係数データがフィルタリングされる。
【００４０】
フィルタリング方法としては、ローパスフィルタリング後の係数をＦ'(u,v)とすると、前記式(11)、(12)のようなフィルタリングを利用することが可能である。また、前記式(13)、(14)を用いてフィルタリングすることも可能である。このフィルタリングにより、サイズがＮ×Ｎの離散コサイン変換係数Ｆ(u,v) の中の低域の係数のみを残すことができるようになる。
【００４１】
ローパスフィルタリング処理後の離散コサイン変換係数Ｆ'(u,v)は非零係数逆離散コサイン変換器２２に入力される。この非零係数逆離散コサイン変換器２２の基底は符号化側の離散コサイン変換と同一のサイズＮ×Ｎで、ｕ、ｖそれぞれがｂ1 、ｂ2 以下の係数を用いて、前記式(15)、(16)により逆離散コサイン変換を行う。また、第２実施例と同様に、図４のバタフライ演算を用いてもよい。
【００４２】
非零係数逆離散コサイン変換器２２からは離散コサイン変換係数Ｆ'(u,v)が逆変換され画像ｆ(x,y) が出力される。ここで、ｘ，ｙ＝０，１，２，…，Ｎ−１である。逆離散コサイン変換器２２からの出力ｆ(x,y) はそのまま復号画像出力ｒ(x,y) として出力される。
【００４３】
この実施形態によれば、第３実施形態と同様に、画面内符号化モードで符号化された画像の処理速度を大幅に向上させることができるようになる。
【００４４】
次に、本発明の第５の実施形態を図７を参照して説明する。図において、１１ａはスイッチ手段を示し、他の符号は図１と同一または同等物を示す。この実施形態は、面内符号化および片方向予測符号化された画面の復号処理の速度を改善したものである。
【００４５】
符号化データは可変長復号器１１に入力され、可変長復号器１１では、量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。符号化モード情報ｃは、前記スイッチ手段１１ａ，１９の動作を制御する。
【００４６】
符号化モード情報ｃは、符号化モードが面内符号化モードおよび片方向予測符号化画面モードの時にスイッチ手段１１ａをオンにし、面内符号化モードの時にスイッチ１９をオフ、片方向予測符号化画面モードの時にスイッチ１９をオンにする。また、これらの符号化モード以外の時にはオフにする。この結果、符号化モードが面内符号化モードあるいは片方向予測符号化画面モードの時に、量子化離散コサイン変換係数ａは逆量子化器１２に入力され、第１実施形態で説明したのと同様の動作により、最終的に復号画像出力ｒ(x,y) が得られることになる。この実施形態によれば、面内符号化画面および片方向予測符号化画面のみが復号され、他の符号化画面は復号されないので、この間引きによる復号速度の向上に加えて、前記第１実施形態で説明した、小基底逆離散コサイン変換器１４による処理速度の向上を図ることができるので、第１実施形態の処理速度以上の改善を図ることができるようになる。
【００４７】
次に、本発明の第６の実施形態を図８を参照して説明する。図において、１１ａはスイッチ手段を示し、他の符号は図１と同一または同等物を示す。この実施形態は、面内符号化および片方向予測符号化された画面の復号処理の速度を改善したものである。
【００４８】
符号化データは可変長復号器１１に入力され、可変長復号器１１では、量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。符号化モード情報ｃは、前記スイッチ手段１１ａ，１９の動作を制御する。
【００４９】
符号化モード情報ｃは、符号化モードが面内符号化モードおよび片方向予測符号化画面モードの時にスイッチ手段１１ａをオンにし、面内符号化モードの時にスイッチ１９をオフ、片方向予測符号化画面モードの時にスイッチ１９をオンにする。また、これらの符号化モード以外の時にはオフにする。この結果、符号化モードが面内符号化モードあるいは片方向予測符号化画面モードの時に、量子化離散コサイン変換係数ａは逆量子化器１２に入力され、第２実施形態で説明したのと同様の動作により、最終的に復号画像出力ｒ(x,y) が得られることになる。この実施形態によれば、第５実施形態と同様に、面内符号化画面および片方向予測符号化画面の復号速度を向上させることができるようになる。
【００５０】
次に、本発明の第７の実施形態を図９を参照して説明する。図において、５０は逆離散コサイン変換器、５１、５２は切替器を示し、他の符号は図１と同一または同等物を示す。この実施形態は、面内符号化された画像は、これ以外で符号化された画像の復号の基礎になるから、該面内符号化された画像は完全な形で復号し、これ以外で符号化された画像の復号の速度を向上させるようにしたものである。
【００５１】
符号化データは可変長復号器１１に入力され、可変長復号器１１では量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。
【００５２】
量子化離散コサイン変換係数ａは逆量子化器１２に入力され、また動きベクトル情報は動き補償予測器１７に入力される。逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。
【００５３】
符号化モードが面内符号化モードの場合は切替器５１は端子ｓ1 に接続され、また、切替器５２は端子ｓ3 に接続され、切替器１９はオフとなり、量子化離散コサイン変換係数ａは逆離散コサイン変換器５０に入力される。逆離散コサイン変換機５０では符号化側と同一の基底サイズＮ×Ｎで逆離散コサイン変換を行いｆ(x,y) を出力し、そのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００５４】
一方、符号化モードが面内符号化モード以外の場合は切替器５１は端子ｓ2 に接続され、また、切替器５２は端子ｓ4 に接続され、切替器１９はオンとなり、該離散コサイン変換係数はスケーリング器１３に入力され、係数データがスケーリングされる。スケーリング処理後の離散コサイン変換係数Ｆ'(u,v)は小基底逆離散コサイン変換器１４に入力され、次いでその出力は解像度変換器１５に入力される。該スケーリング器１３、小基底逆離散コサイン変換器１４、および解像度変換器１５の動作、および他の構成要素の動作は、前記第１実施形態と同様であるので、説明を省略する。
【００５５】
この実施形態によれば、復号された画像の画質の向上と、復号処理速度の向上とを同時に実現することができる。
【００５６】
次に、本発明の第８の実施形態を図１０を参照して説明する。図において、６０は逆離散コサイン変換器、６１、６２は切替器を示し、他の符号は図２と同一または同等物を示す。この実施形態は、第７の実施形態と同様に、面内符号化された画像は完全な形で復号し、これ以外で符号化された画像に対してはその復号の速度を向上させるようにしたものである。
【００５７】
この実施形態では、符号化モードが面内符号化モードの場合は切替器６１は端子ｓ1 に接続され、また、切替器６２は端子ｓ3 に接続され、切替器１９はオフとなり、量子化離散コサイン変換係数ａは逆離散コサイン変換器６０に入力される。逆離散コサイン変換器６０では符号化側と同一の基底サイズＮ×Ｎで逆離散コサイン変換を行いｆ(x,y) を出力し、そのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００５８】
一方、符号化モードが面内符号化モード以外の場合、切替器６１は端子ｓ2 に接続され、また、切り替え器６２は端子ｓ4 に接続され、切替器１９はオンとなり、該離散コサイン変換係数Ｆ(u,v) はローパスフィルタ２１に入力され、係数データがフィルタリングされる。該フィルタリングされたデータは、次いで、非零係数逆離散コサイン変換器２２に入力される。該ローパスフィルタ２１および非零係数逆離散コサイン変換器２２の動作、ならびに他の構成要素の動作は、前記第２実施形態と同様であるので、説明を省略する。
【００５９】
この実施形態によれば、第７の実施形態と同様に、復号された画像の画質の向上と、復号処理速度の向上とを同時に実現することができる。
【００６０】
次に、前記した各実施形態の復号装置の機能は、ソフトウェア（プログラム）で実現することができ、該ソフトウェアは、光ディスク、フロッピーディスク、ハードディスク等の可搬型記録媒体に記録することができる。
【００６１】
図１３は、該記録媒体に記録されるプログラムの一例を示すものであり、同図(a) は前記図１の実施形態の機能を実行する記録媒体の内容を示すものであり、同図(b) は前記図２の実施形態の機能を実行する記録媒体の内容を示すものである。
【００６２】
図１３(a) の記録媒体２００には、可変長復号機能１１１、逆量子化機能１２１、スケーリング機能１３１、小基底逆離散コサイン変換機能１４１、解像度変換機能１５１、加算機能１６１、および動き補償予測機能１７１の復号プログラムが記録されている。
【００６３】
図１３(b) の記録媒体２００には、可変長復号機能１１１、逆量子化機能１２１、ローパスフィルタ機能２１１、非零係数逆離散コサイン変換機能２２１、加算機能１６１、および動き補償予測機能１７１の復号プログラムが記録されている。なお、前記記録媒体に記録される機能は、前記の機能全てではなく、主要な機能のみであってもよい。
【００６４】
図１４は、該可搬型記録媒体に記録された復号プログラムを読み取って復号機能を実行するコンピュータのハード構成を示すブロック図である。該コンピュータ１００は、前記した復号プログラムが記録された記録媒体２００と、該記録媒体２００から復号プログラムを読取る読取装置１０１と、該復号プログラムを実行するＣＰＵ１０２と、各種のデータを記憶するＲＯＭ１０３と、演算パラメータなどを記憶するＲＡＭ１０４と、キーボード、マウスなどの入力装置１０２と、ディスプレー、プリンタ等の出力装置１０５と、装置の各部を接続するバス１０６から構成されている。
【００６５】
ＣＰＵ１０２は、読取装置１０１を経由して記録媒体２００に記録されている復号処理プログラムを読み込んだ後、該復号処理プログラムを実行することにより、前記した復号処理を実行する。該復号処理プログラムを実行するために使用されるフレームメモリ１８としては、前記ＲＡＭ１０４の一部の領域、あるいは図示されていないハードディスクの一部の領域を利用することができる。なお、前記記録媒体２００には、ネットワークのように、データを一時的に記録保持するような伝送媒体も含まれる。
【００６６】
また、復号化される符号化データは、該ハードディスク等のメモリ中に予め入れておいても、また図示されていないネットワークから該コンピュータ１００に取込むようにしてもよい。
【００６７】
【発明の効果】
以上のように、本発明によれば、小基底サイズの逆離散コサイン変換や、離散コサイン変換係数のローパスフィルタと非零係数逆離散コサイン変換を用いて復号処理をするようにしたので、従来よりも高速に動画像復号を行うことが可能となる。また、高速に動画像復号処理を行うことのできるプログラムを格納した記録媒体を提供することができる。
【００６８】
例えば、ＩＴＵにおける動画像符号化方式Ｈ．２６３によるシミュレーション実験では、図１の装置（第１実施形態）を使った場合、符号化側と同一の基底サイズの逆離散コサイン変換を行う従来の場合に比べて、３０％以上高速に復号できた。
【図面の簡単な説明】
【図１】 本発明の第１実施形態の構成を示すブロック図である。
【図２】 本発明の第２実施形態の構成を示すブロック図である。
【図３】 バタフライ演算を用いた高速逆離散コサイン変換の一例を示す説明図である。
【図４】 本発明の第２実施形態に適用されるバタフライ演算の説明図である。
【図５】 本発明の第３実施形態の構成を示すブロック図である。
【図６】 本発明の第４実施形態の構成を示すブロック図である。
【図７】 本発明の第５実施形態の構成を示すブロック図である。
【図８】 本発明の第６実施形態の構成を示すブロック図である。
【図９】 本発明の第７実施形態の構成を示すブロック図である。
【図１０】 本発明の第８実施形態の構成を示すブロック図である。
【図１１】 数式を示す図である。
【図１２】 従来装置の構成を示すブロック図である。
【図１３】 記録媒体に記録されたプログラムの概要を示す図である。
【図１４】 本発明の記録媒体に記録された復号プログラムを実行するコンピュータの構成を示すブロック図である。
【符号の説明】
１１…可変長復号器、１２…逆量子化器、１３…スケーリング器、１４…小基底逆離散コサイン変換器、１５…解像度変換器、１６…加算器、１７…動き補償予測器、１８…フレームメモリ、１９…スイッチ手段、２１…ローパスフィルタ、２２…非零係数逆離散コサイン変換器、５０、６０…逆離散コサイン変換器。
【発明の属する技術分野】
本発明は符号化動画像データの復号装置に関し、特に動画像復号処理負荷を軽減して、処理性能が低いパーソナルコンピュータにも使用できるようにした符号化動画像データの復号装置に関する。
【０００２】
【従来の技術】
圧縮符号化された動画像の復号装置の従来例を図１２に示す。図１２において、符号化動画像データは可変長復号器１１に入力され、可変長復号化される。復号された量子化係数ａすなわち量子化離散コサイン変換係数は逆量子化器１２に入力され、一方復号された動きベクトル情報ｂは動き補償予測器１７に入力される。該量子化係数ａは逆量子化器１２で逆量子化され、離散コサイン変換係数Ｆ(u,v) が逆離散コサイン変換器３１に入力される。動き補償予測器１７では前記動きベクトル情報ｂを用いて、フレームメモリ１８に蓄積された画像から予測に用いる予測画像データを抽出する。
【０００３】
可変長復号器１１で復号された符号化モード情報ｃはスイッチ手段１９を制御する。符号化モードが面内符号化モードの場合はスイッチ手段１９はオフとされ、逆離散コサイン変換器１３からの出力ｆ(x,y) は加算器１６で何も加算されずそのまま復号画像出力ｒ(x,y) として出力されると共に、フレームメモリ１８に蓄積される。
【０００４】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段１９はオンとされ、逆離散コサイン変換器３１からの出力ｆ(x,y) は動き補償予測画像ｃ(x,y) と加算器１６で加算されて復号画像出力ｒ(x,y) として出力されると共に、フレームメモリ１８に蓄積される。
【０００５】
動画像の復号処理では、逆離散コサイン変換がもっとも処理負荷が大きいため、例えばB.G.Lee,"A new algorithm to compute the discrete cosine transform," IEEE Trans.Acoust.,Speech, and Signal Processing, vol.ASSP-32, pp/1243-1245, Dec.1984.などの高速逆離散コサイン変換アルゴリズムが利用される。
【０００６】
さらに高速化が要求される場合は、復号する画面数を間引いて、復号処理を軽減する方法が用いられている。たとえば、画面内符号化（イントラ符号化）された画像のみを復号し、画面内符号化以外で符号化された画像は復号しない方法も用いられている。
【０００７】
【発明が解決しようとする課題】
しかしながら、例えばパーソナルコンピュータなどを用いてソフトウェアで復号処理を行なう場合、パーソナルコンピュータの処理性能が低い場合は、このような高速処理でも処理が間に合わず、大幅に再生画面数が低下するという問題がある。
【０００８】
本発明の目的は、前記した従来技術の問題点を解決し、従来の処理速度よりもさらに高速処理できる符号化動画像データの復号装置を提供することにある。また、他の目的は、再生時の画質の劣化や再生画面数の低下を大してもたらすことなく、動画像復号処理負荷を大幅に軽減できる符号化動画像データの復号装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記目的を達成するために、本発明は、逆量子化された離散コサイン変換係数を符号化側の離散コサイン変換基底よりも小さく、かつＤＣ成分のみの基底を含まない基底用の変換係数に変更する手段と、該手段により変更された変換係数を前記符号化側の離散コサイン変換基底よりも小さく、かつＤＣ成分のみの基底を含まない基底を用いた逆離散コサイン変換を用いて逆変換する手段と、該逆離散コサイン変換された画像データを符号化側と同一のサイズに変換する手段とを具備した点に第１の特徴がある。
【００１０】
また、本発明は、前記の各手段（機能）を記録したコンピュータ読取り可能な記録媒体を提供する点に、第２の特徴がある。
【００１１】
前記第１、第２の特徴によれば、逆量子化された離散コサイン変換係数は、符号化側の離散コサイン変換基底よりも小さな基底用の変換係数に変更され、符号化側の離散コサイン変換基底よりも小さな基底を用いた逆離散コサイン変換を用いて逆変換されるので、該逆変換に要する処理速度を向上でき、ひいては全体の復号処理速度を大幅に向上することができるようになる。
【００１３】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の第１の実施形態の構成を示すブロック図である。なお、図１２と同一の符号は、同一または同等物を示す。この実施形態は、符号化側の離散コサイン変換より小さい基底を用いて、復号側で逆離散コサイン変換するようにしたものである。
【００１４】
符号化データあるいは符号化動画像データは、可変長復号器１１に入力される。可変長復号器１１では、量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。復号された量子化離散コサイン変換係数ａは逆量子化器１２に入力され、動きベクトル情報ｂは動き補償予測器１７に入力され、符号化モード情報ｃは後述するスイッチ手段１９を制御する。
逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。該離散コサイン変換係数Ｆ(u,v) はスケーリング器１３に入力され、係数データがスケーリングされる。スケーリング方法については、図１１の式(1) で与えられる式に沿って各離散コサイン変換係数を変更する。
【００１５】
ここで、Ｆ(u,v) 、Ｆ'(u,v)はそれぞれスケーリング器１３に入力される離散コサイン変換係数、スケーリング処理後の離散コサイン変換係数である。また、Ｎ×Ｎ（Ｎは正の偶数）は符号化側の離散コサイン変換の基底サイズ、ｕ、ｖはそれぞれ水平方向、垂直方向の離散コサイン変換係数の座標を示し、ｕ＝０，１，…，（Ｎ／２ｐ１−１）、ｖ＝０，１…，（Ｎ／２ｐ２−１）である。ｐ1 、ｐ2 はそれぞれ水平方向と垂直方向の小基底逆離散コサイン変換の基底サイズを決定するパラメータ（整数）で、基底サイズは水平、垂直方向それぞれ、Ｎ／２ｐ１、Ｎ／２ｐ２である。例えば、ｐ1 ＝ｐ2 ＝１であれば、基底サイズはＮ／２×Ｎ／２となる。
【００１６】
また、簡易的に、下記の式(2) のようなスケーリングも利用可能である。
Ｆ'(u,v)＝Ｆ(u,v) ／｛（２ｐ１／２）×（２ｐ２／２）｝ …(2)
スケーリング処理後の離散コサイン変換係数Ｆ'(u,v)は、小基底逆離散コサイン変換器１４に入力される。小基底逆離散コサイン変換器１４では、水平方向、垂直方向の基底サイズがＮ／２ｐ１、Ｎ／２ｐ２の、従来に比べて小基底の逆離散コサイン変換により離散コサイン変換係数Ｆ'(u,v)が逆変換され、画像ｆ'(i,j)が出力される。
【００１７】
画像ｆ'(i,j)は解像度変換器１５に入力され符号化側と同一のサイズの空間解像度に変換され、ｆ(x,y) として出力される。なお、ｆ'(i,j)からｆ(x,y) への空間解像度変換方法としては、内挿補間法や単純内挿法などを利用することができる。
【００１８】
たとえば、ｐ1 ＝ｐ2 ＝１の時、内挿補間法では、次の式(3) 〜式(6) のように変換できる。
f(x,y) = f(2i, 2j) = f'(i,j) …(3)
f(x,y) = f(2i+1,2j) = (f'(i,j)+f'(i+1,j))/2 …(4)
f(x,y) = f(2i, 2j+1) = (f'(i,j)+f'(i,j+1))/2 …(5)
f(x,y) = f(2i+1, 2j+1) = (f'(i,j)+ f'(i+1,j)+f'(i,j+1)+ f'(i+1,j+1))/4…(6)
なお、ｘ，ｙ＝０，１，２，…，Ｎ−１である。
【００１９】
また、単純内挿法では、次の式(7) 〜式(10)のような変換を用いることが可能である。
f(x,y) = f(2i, 2j) = f'(i,j) …(7)
f(x,y) = f(2i+1,2j) = f'(i,j) …(8)
f(x,y) = f(2i, 2j+1) = f'(i,j) …(9)
f(x,y) = f(2i+1, 2j+1) = f'(i,j) …(10)
一方、可変長復号器１１で復号された動きベクトル情報ｂは動き補償予測器１７に入力される。動き補償予測器１７では入力された動きベクトル情報ｂにしたがってフレームメモリ１８から該当の画像情報をロードし、動き補償予測器１７から動き補償予測画像ｃ(x,y) として出力する。
【００２０】
また、可変長復号器１１で復号された符号化モード情報ｃはスイッチ手段１９を制御する。符号化モードが面内符号化モードの場合はスイッチ手段１９はオフとされ、解像度変換器１５からの出力ｆ(x,y) は加算器１６で何も加算されずそのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００２１】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段１９はオンとされ、解像度変換器１５からの出力ｆ(x,y) は加算器１６で動き補償予測画像ｃ(x,y) が加算されて復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００２２】
以上のように、この実施形態によれば、小基底逆離散コサイン変換器１４はスケーリング器１３でスケーリング処理された水平方向、垂直方向の基底サイズＮ／２ｐ１、Ｎ／２ｐ２を用いて、逆離散コサイン変換をすることになるので、処理速度を従来のものに比べて、大幅に改善することができるようになる。
【００２３】
次に、本発明の第２実施形態を、図２を参照して説明する。この実施形態は、ローパスフィルタ処理と非零係数逆離散コサイン変換処理を用いて復号するようにしたものである。
【００２４】
符号化データはまず可変長復号器１１に入力される。可変長復号器１１および逆量子化器１２の動作は、前記第１実施形態と同一または同等であるので、説明を省略する。逆量子化器１２から出力された離散コサイン変換係数Ｆ(u,v) はローパスフィルタ２１に入力され、係数データがフィルタリングされる。
【００２５】
フィルタリング方法についてはサイズがＮ×Ｎの離散コサイン変換係数Ｆ(u,v) の中で低域の係数のみを残すことで実現することができる。ローパスフィルタリング後の係数をＦ'(u,v)とすると、次の式(11)、(12)のようなフィルタリングを利用することが可能である。
0 ≦u ≦b1かつ 0≦v ≦b2の時、F '(u,v) = F(u,v) …(11)
u > b1または v > b2 の時、F '(u,v) = 0 …(12)
ここで、ｕ，ｖ＝０，１，２，…，Ｎ−１である。またｂ1 、ｂ2 は、Ｎ以下の整数でフィルタリングパラメータである。
【００２６】
また，以下のような式(13)、(14)を用いてフィルタリングすることも可能である。
b2 u + b1 v ≦ b1 b2の時、F '(u,v) = F(u,v) …(13)
b2 u + b1 v > b1 b2 の時、F '(u,v) = 0 …(14)
ローパスフィルタリング処理後の離散コサイン変換係数Ｆ'(u,v)は符号化側と同一サイズの基底を持つ非零係数逆離散コサイン変換器２２に入力される。非零係数逆離散コサイン変換器２２では離散コサイン変換係数Ｆ'(u,v)が逆変換され、画像ｆ(x,y) が出力される。ここで、ｘ，ｙ＝０，１，２，…，Ｎ−１である。また、非零係数逆離散コサイン変換器２２の基底は、符号化側の離散コサイン変換と同一のサイズＮ×Ｎで、ｕ，ｖそれぞれがｂ1 、ｂ2 以下の係数を用いて、図１１の式(15)、(16)により逆離散コサイン変換を行う。非零係数逆離散コサイン変換器２２の基底は、符号化側の離散コサイン変換と同一のサイズであるが、前記ローパスフィルタ２１によるフィルタリングにより、Ｆ'(u,v)＝０のデータが多量に存在することになるので、非零係数逆離散コサイン変換器２２の処理速度は大幅に向上する。
【００２７】
なお、前記式(15)、(16)を用いた逆離散コサイン変換に代えて、バタフライ演算を用いても良い。図３は、従来の、すなわち前記フィルタリングしない時のバタフライ演算を用いた高速逆離散コサイン変換の一例を示すものであり、B.G.Lee,"A new algorithm to compute the discrete cosine transform," IEEE Trans.Acoust.,Speech, and Signal Processing, vol.ASSP-32, pp/1243-1245, Dec.1984.での高速逆離散コサイン変換処理を示す。図はＮ＝８とした場合の１次元信号における逆離散コサイン処理を示している。なお、図中の符号は、図１１の式(17)の意味を有している。図３の処理によれば、Ｆ'(0)，Ｆ'(1)，…，Ｆ'(7)の８点入力に対して逆離散コサイン変換処理が行われ、ｆ(0) ，ｆ(1) ，…，ｆ(7) の８つの画像出力が得られる。
【００２８】
しかしながら、本実施形態のフィルタリングをした後には、バタフライ演算は図４に示すようになる。図４は、フィルタリングパラメータｂ1 を４（ｂ1 ＝４）とした場合のバタフライ演算による非零係数逆離散コサイン変換を示す。本実施形態ではＦ'(0)〜Ｆ'(3)の４点だけが入力されて逆離散コサイン変換処理が行われ、ｆ(0) ，ｆ(1) ，…，ｆ(7) の８つの画素データが復元される。このように、従来のＮ点入力の逆離散コサイン変換に対して、本実施形態では非零となる低域のｂ点の入力信号に対応する逆離散コサイン変換計算のみを行えばよく、処理速度は大幅に向上する。
【００２９】
可変長復号器１１で復号された動きベクトル情報は、前記第１実施形態と同様に、動き補償予測器１７に入力される。動き補償予測器１７では入力された動きベクトル情報にしたがってフレームメモリ１８から該当の画像情報をロードし，動き補償器１７から動き補償予測画像ｃ(x,y) として出力する。
【００３０】
また、可変長復号器１１で復号された符号化モード情報も、前記第１実施形態と同様に、スイッチ手段１９を制御する。符号化モードが面内符号化モードの場合はスイッチ手段１９はオフとされ、逆離散コサイン変換器２２からの出力ｆ(x,y) は加算器１６で何も加算されずそのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００３１】
一方、符号化モードが面内符号化モード以外の場合はスイッチ手段１９はオンとされ、非零係数逆離散コサイン変換器２２からの出力ｆ(x,y) は加算器１６で動き補償予測画像ｃ(x,y) が加算されて復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００３２】
以上のように、本実施形態によれば、非零係数逆離散コサイン変換器２２の基底は、符号化側の離散コサイン変換と同一のサイズであるが、前記ローパスフィルタ２１によるフィルタリングにより、Ｆ'(u,v)＝０となるデータが多量に存在することになるので、非零係数逆離散コサイン変換器２２の実質的な処理量は大幅に低減され、処理速度は大幅に向上することになる。
【００３３】
次に、図５を参照して、第３の実施形態を説明する。この実施形態は、従来から実施されている、画面内符号化モードで符号化された画像のみを復号し、画面内符号化以外で符号化された画像は復号しない方法の処理速度をさらに向上させるようにしたものである。
【００３４】
符号化データは可変長復号器１１に入力される。可変長復号器１１で符号化モードを復号し、量子化離散コサイン変換係数ａ、符号化モード情報ｃなどが復号される。符号化モードが面内符号化モードの時に、スイッチ手段１１ａが閉じられ、可変長復号器１１から量子化離散コサイン変換係数ａが逆量子化器１２に出力される。逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。該離散コサイン変換係数Ｆ(u,v) はスケーリング器１３に入力され、係数データがスケーリングされる。
【００３５】
スケーリング方法については前記式(1) で与えられる式に沿って各離散コサイン変換係数を変更する。また、簡易的に前記式(2) のようなスケーリングも利用可能である。
【００３６】
スケーリング処理後の離散コサイン変換係数Ｆ'(u,v)は小基底逆離散コサイン変換器１４に入力される。小基底逆離散コサイン変換器１４では水平方向、垂直方向の基底サイズがＮ／２ｐ１，Ｎ／２ｐ２の逆離散コサイン変換により離散コサイン変換係数Ｆ'(u,v)が逆変換され画像ｆ'(i,j)が出力される。画像ｆ'(i,j)は解像度変換器１５に入力され符号化側と同一のサイズの空間解像度に変換され、ｆ(x,y) として出力される。なお、ｆ'(i,j)からｆ(x,y) への空間解像度変換方法としては第１実施形態と同様の内挿補間法や単純内挿法などを利用することができる。
解像度変換器１５からの出力ｆ(x,y) はそのまま復号画像出力ｒ(x,y) として出力される。
【００３７】
この実施形態によれば、画面内符号化モードで符号化された画像の処理速度を大幅に向上させることができるようになる。
【００３８】
次に、本発明の第４の実施形態を図６を参照して説明する。この実施形態も、前記第３の実施形態と同様に、画面内符号化モードで符号化された画像の処理速度を改善するようにしたものである。
【００３９】
符号化データは可変長復号器１１に入力される。可変長復号器１１で符号化モードを復号し、量子化離散コサイン変換係数ａ、符号化モード情報ｃなどが復号される。符号化モードが面内符号化モードの時に、スイッチ手段１１ａが閉じられ、可変長復号器１１から量子化離散コサイン変換係数ａが逆量子化器１２に出力される。逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。該離散コサイン変換係数Ｆ(u,v) はローパスフィルタ２１に入力され、係数データがフィルタリングされる。
【００４０】
フィルタリング方法としては、ローパスフィルタリング後の係数をＦ'(u,v)とすると、前記式(11)、(12)のようなフィルタリングを利用することが可能である。また、前記式(13)、(14)を用いてフィルタリングすることも可能である。このフィルタリングにより、サイズがＮ×Ｎの離散コサイン変換係数Ｆ(u,v) の中の低域の係数のみを残すことができるようになる。
【００４１】
ローパスフィルタリング処理後の離散コサイン変換係数Ｆ'(u,v)は非零係数逆離散コサイン変換器２２に入力される。この非零係数逆離散コサイン変換器２２の基底は符号化側の離散コサイン変換と同一のサイズＮ×Ｎで、ｕ、ｖそれぞれがｂ1 、ｂ2 以下の係数を用いて、前記式(15)、(16)により逆離散コサイン変換を行う。また、第２実施例と同様に、図４のバタフライ演算を用いてもよい。
【００４２】
非零係数逆離散コサイン変換器２２からは離散コサイン変換係数Ｆ'(u,v)が逆変換され画像ｆ(x,y) が出力される。ここで、ｘ，ｙ＝０，１，２，…，Ｎ−１である。逆離散コサイン変換器２２からの出力ｆ(x,y) はそのまま復号画像出力ｒ(x,y) として出力される。
【００４３】
この実施形態によれば、第３実施形態と同様に、画面内符号化モードで符号化された画像の処理速度を大幅に向上させることができるようになる。
【００４４】
次に、本発明の第５の実施形態を図７を参照して説明する。図において、１１ａはスイッチ手段を示し、他の符号は図１と同一または同等物を示す。この実施形態は、面内符号化および片方向予測符号化された画面の復号処理の速度を改善したものである。
【００４５】
符号化データは可変長復号器１１に入力され、可変長復号器１１では、量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。符号化モード情報ｃは、前記スイッチ手段１１ａ，１９の動作を制御する。
【００４６】
符号化モード情報ｃは、符号化モードが面内符号化モードおよび片方向予測符号化画面モードの時にスイッチ手段１１ａをオンにし、面内符号化モードの時にスイッチ１９をオフ、片方向予測符号化画面モードの時にスイッチ１９をオンにする。また、これらの符号化モード以外の時にはオフにする。この結果、符号化モードが面内符号化モードあるいは片方向予測符号化画面モードの時に、量子化離散コサイン変換係数ａは逆量子化器１２に入力され、第１実施形態で説明したのと同様の動作により、最終的に復号画像出力ｒ(x,y) が得られることになる。この実施形態によれば、面内符号化画面および片方向予測符号化画面のみが復号され、他の符号化画面は復号されないので、この間引きによる復号速度の向上に加えて、前記第１実施形態で説明した、小基底逆離散コサイン変換器１４による処理速度の向上を図ることができるので、第１実施形態の処理速度以上の改善を図ることができるようになる。
【００４７】
次に、本発明の第６の実施形態を図８を参照して説明する。図において、１１ａはスイッチ手段を示し、他の符号は図１と同一または同等物を示す。この実施形態は、面内符号化および片方向予測符号化された画面の復号処理の速度を改善したものである。
【００４８】
符号化データは可変長復号器１１に入力され、可変長復号器１１では、量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。符号化モード情報ｃは、前記スイッチ手段１１ａ，１９の動作を制御する。
【００４９】
符号化モード情報ｃは、符号化モードが面内符号化モードおよび片方向予測符号化画面モードの時にスイッチ手段１１ａをオンにし、面内符号化モードの時にスイッチ１９をオフ、片方向予測符号化画面モードの時にスイッチ１９をオンにする。また、これらの符号化モード以外の時にはオフにする。この結果、符号化モードが面内符号化モードあるいは片方向予測符号化画面モードの時に、量子化離散コサイン変換係数ａは逆量子化器１２に入力され、第２実施形態で説明したのと同様の動作により、最終的に復号画像出力ｒ(x,y) が得られることになる。この実施形態によれば、第５実施形態と同様に、面内符号化画面および片方向予測符号化画面の復号速度を向上させることができるようになる。
【００５０】
次に、本発明の第７の実施形態を図９を参照して説明する。図において、５０は逆離散コサイン変換器、５１、５２は切替器を示し、他の符号は図１と同一または同等物を示す。この実施形態は、面内符号化された画像は、これ以外で符号化された画像の復号の基礎になるから、該面内符号化された画像は完全な形で復号し、これ以外で符号化された画像の復号の速度を向上させるようにしたものである。
【００５１】
符号化データは可変長復号器１１に入力され、可変長復号器１１では量子化離散コサイン変換係数ａ、動きベクトル情報ｂ、符号化モード情報ｃなどが復号される。
【００５２】
量子化離散コサイン変換係数ａは逆量子化器１２に入力され、また動きベクトル情報は動き補償予測器１７に入力される。逆量子化器１２に入力された該量子化離散コサイン変換係数ａは逆量子化され、離散コサイン変換係数Ｆ(u,v) が出力される。
【００５３】
符号化モードが面内符号化モードの場合は切替器５１は端子ｓ1 に接続され、また、切替器５２は端子ｓ3 に接続され、切替器１９はオフとなり、量子化離散コサイン変換係数ａは逆離散コサイン変換器５０に入力される。逆離散コサイン変換機５０では符号化側と同一の基底サイズＮ×Ｎで逆離散コサイン変換を行いｆ(x,y) を出力し、そのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００５４】
一方、符号化モードが面内符号化モード以外の場合は切替器５１は端子ｓ2 に接続され、また、切替器５２は端子ｓ4 に接続され、切替器１９はオンとなり、該離散コサイン変換係数はスケーリング器１３に入力され、係数データがスケーリングされる。スケーリング処理後の離散コサイン変換係数Ｆ'(u,v)は小基底逆離散コサイン変換器１４に入力され、次いでその出力は解像度変換器１５に入力される。該スケーリング器１３、小基底逆離散コサイン変換器１４、および解像度変換器１５の動作、および他の構成要素の動作は、前記第１実施形態と同様であるので、説明を省略する。
【００５５】
この実施形態によれば、復号された画像の画質の向上と、復号処理速度の向上とを同時に実現することができる。
【００５６】
次に、本発明の第８の実施形態を図１０を参照して説明する。図において、６０は逆離散コサイン変換器、６１、６２は切替器を示し、他の符号は図２と同一または同等物を示す。この実施形態は、第７の実施形態と同様に、面内符号化された画像は完全な形で復号し、これ以外で符号化された画像に対してはその復号の速度を向上させるようにしたものである。
【００５７】
この実施形態では、符号化モードが面内符号化モードの場合は切替器６１は端子ｓ1 に接続され、また、切替器６２は端子ｓ3 に接続され、切替器１９はオフとなり、量子化離散コサイン変換係数ａは逆離散コサイン変換器６０に入力される。逆離散コサイン変換器６０では符号化側と同一の基底サイズＮ×Ｎで逆離散コサイン変換を行いｆ(x,y) を出力し、そのまま復号画像出力ｒ(x,y) として出力されるとともにフレームメモリ１８に蓄積される。
【００５８】
一方、符号化モードが面内符号化モード以外の場合、切替器６１は端子ｓ2 に接続され、また、切り替え器６２は端子ｓ4 に接続され、切替器１９はオンとなり、該離散コサイン変換係数Ｆ(u,v) はローパスフィルタ２１に入力され、係数データがフィルタリングされる。該フィルタリングされたデータは、次いで、非零係数逆離散コサイン変換器２２に入力される。該ローパスフィルタ２１および非零係数逆離散コサイン変換器２２の動作、ならびに他の構成要素の動作は、前記第２実施形態と同様であるので、説明を省略する。
【００５９】
この実施形態によれば、第７の実施形態と同様に、復号された画像の画質の向上と、復号処理速度の向上とを同時に実現することができる。
【００６０】
次に、前記した各実施形態の復号装置の機能は、ソフトウェア（プログラム）で実現することができ、該ソフトウェアは、光ディスク、フロッピーディスク、ハードディスク等の可搬型記録媒体に記録することができる。
【００６１】
図１３は、該記録媒体に記録されるプログラムの一例を示すものであり、同図(a) は前記図１の実施形態の機能を実行する記録媒体の内容を示すものであり、同図(b) は前記図２の実施形態の機能を実行する記録媒体の内容を示すものである。
【００６２】
図１３(a) の記録媒体２００には、可変長復号機能１１１、逆量子化機能１２１、スケーリング機能１３１、小基底逆離散コサイン変換機能１４１、解像度変換機能１５１、加算機能１６１、および動き補償予測機能１７１の復号プログラムが記録されている。
【００６３】
図１３(b) の記録媒体２００には、可変長復号機能１１１、逆量子化機能１２１、ローパスフィルタ機能２１１、非零係数逆離散コサイン変換機能２２１、加算機能１６１、および動き補償予測機能１７１の復号プログラムが記録されている。なお、前記記録媒体に記録される機能は、前記の機能全てではなく、主要な機能のみであってもよい。
【００６４】
図１４は、該可搬型記録媒体に記録された復号プログラムを読み取って復号機能を実行するコンピュータのハード構成を示すブロック図である。該コンピュータ１００は、前記した復号プログラムが記録された記録媒体２００と、該記録媒体２００から復号プログラムを読取る読取装置１０１と、該復号プログラムを実行するＣＰＵ１０２と、各種のデータを記憶するＲＯＭ１０３と、演算パラメータなどを記憶するＲＡＭ１０４と、キーボード、マウスなどの入力装置１０２と、ディスプレー、プリンタ等の出力装置１０５と、装置の各部を接続するバス１０６から構成されている。
【００６５】
ＣＰＵ１０２は、読取装置１０１を経由して記録媒体２００に記録されている復号処理プログラムを読み込んだ後、該復号処理プログラムを実行することにより、前記した復号処理を実行する。該復号処理プログラムを実行するために使用されるフレームメモリ１８としては、前記ＲＡＭ１０４の一部の領域、あるいは図示されていないハードディスクの一部の領域を利用することができる。なお、前記記録媒体２００には、ネットワークのように、データを一時的に記録保持するような伝送媒体も含まれる。
【００６６】
また、復号化される符号化データは、該ハードディスク等のメモリ中に予め入れておいても、また図示されていないネットワークから該コンピュータ１００に取込むようにしてもよい。
【００６７】
【発明の効果】
以上のように、本発明によれば、小基底サイズの逆離散コサイン変換や、離散コサイン変換係数のローパスフィルタと非零係数逆離散コサイン変換を用いて復号処理をするようにしたので、従来よりも高速に動画像復号を行うことが可能となる。また、高速に動画像復号処理を行うことのできるプログラムを格納した記録媒体を提供することができる。
【００６８】
例えば、ＩＴＵにおける動画像符号化方式Ｈ．２６３によるシミュレーション実験では、図１の装置（第１実施形態）を使った場合、符号化側と同一の基底サイズの逆離散コサイン変換を行う従来の場合に比べて、３０％以上高速に復号できた。
【図面の簡単な説明】
【図１】 本発明の第１実施形態の構成を示すブロック図である。
【図２】 本発明の第２実施形態の構成を示すブロック図である。
【図３】 バタフライ演算を用いた高速逆離散コサイン変換の一例を示す説明図である。
【図４】 本発明の第２実施形態に適用されるバタフライ演算の説明図である。
【図５】 本発明の第３実施形態の構成を示すブロック図である。
【図６】 本発明の第４実施形態の構成を示すブロック図である。
【図７】 本発明の第５実施形態の構成を示すブロック図である。
【図８】 本発明の第６実施形態の構成を示すブロック図である。
【図９】 本発明の第７実施形態の構成を示すブロック図である。
【図１０】 本発明の第８実施形態の構成を示すブロック図である。
【図１１】 数式を示す図である。
【図１２】 従来装置の構成を示すブロック図である。
【図１３】 記録媒体に記録されたプログラムの概要を示す図である。
【図１４】 本発明の記録媒体に記録された復号プログラムを実行するコンピュータの構成を示すブロック図である。
【符号の説明】
１１…可変長復号器、１２…逆量子化器、１３…スケーリング器、１４…小基底逆離散コサイン変換器、１５…解像度変換器、１６…加算器、１７…動き補償予測器、１８…フレームメモリ、１９…スイッチ手段、２１…ローパスフィルタ、２２…非零係数逆離散コサイン変換器、５０、６０…逆離散コサイン変換器。
Claims (8)
- 動き補償予測と離散コサイン変換を用いて圧縮符号化された動画像データを復号する符号化動画像データの復号装置において、
逆量子化された離散コサイン変換係数Ｆ（ｕ，ｖ）を、下記の (1) 式または (2) 式を用いて、符号化側の離散コサイン変換基底よりも小さく、かつＤＣ成分のみの基底を含まない基底用の変換係数Ｆ’（ｕ，ｖ）に変更する手段と、
該手段により変更された変換係数Ｆ’（ｕ，ｖ）を、水平方向、垂直方向の基底サイズがＮ／２ ｐ１ 、Ｎ／２ ｐ２ の基底を用いた逆離散コサイン変換を用いて逆変換する手段と、
該逆離散コサイン変換された画像データを符号化側と同一のサイズに変換する手段とを具備したことを特徴とする符号化動画像データの復号装置。
ここに、ｕ、ｖはそれぞれ水平方向、垂直方向の離散コサイン変換係数の座標、ｐ１、ｐ２はそれぞれ水平方向、垂直方向の基底サイズを決定するパラメータ、Ｎ×Ｎは符号化側の離散コサイン変換の基底サイズである。 - 請求項１に記載の符号化動画像データの復号装置において、
面内符号化された画像のみを復号するようにしたことを特徴とする符号化動画像データの復号装置。 - 請求項１に記載の符号化動画像データの復号装置において、
符号化側と同一サイズのブロックデータで動き補償予測を行ない、前記符号化側と同一のブロックサイズに逆離散コサイン変換された画像ブロックデータを動画像データに復元する手段と、
該復元された動画像データを前記動き補償予測のために蓄積する手段とを、さらに具備したことを特徴とする符号化動画像データの復号装置。 - 請求項３に記載の符号化動画像データの復号装置において、
面内符号化された画像と片方向予測符号化された画像のみを復号するようにしたことを特徴とする符号化動画像データの復号装置。 - 請求項３に記載の符号化動画像データの復号装置において、
前記符号化側の離散コサイン変換基底よりも小さな基底を用いた逆離散コサイン変換を用いて逆変換する手段と切替手段を介して接続された、符号化側と同一のブロックサイズで逆離散コサイン変換する手段をさらに具備し、
面内符号化画像は、前記符号化側と同一のブロックサイズで逆離散コサイン変換する手段で復号し、
該面内符号化画像以外の符号化画像は、前記符号化側の離散コサイン変換基底よりも小さな基底を用いた逆離散コサイン変換を用いて逆変換処理し、かつ前記動き補償予測をして復号するようにしたことを特徴とする符号化動画像データの復号装置。 - 請求項１ないし５のいずれかに記載の符号化動画像データの復号装置において、
前記逆量子化された離散コサイン変換係数を、符号化側の離散コサイン変換基底よりも小さな基底用の変換係数に変更する手段は、スケーリング処理手段であることを特徴とする符号化動画像データの復号装置。 - 逆量子化された離散コサイン変換係数Ｆ（ｕ，ｖ）を、下記の (1) 式 または (2) 式により、符号化側の離散コサイン変換基底よりも小さく、かつＤＣ成分のみの基底を含まない基底用の変換係数Ｆ’（ｕ，ｖ）に変更する工程と、
前記工程により変更された変換係数Ｆ’（ｕ，ｖ）を、水平方向、垂直方向の基底サイズがＮ／２ ｐ１ 、Ｎ／２ ｐ２ の基底を用いた逆離散コサイン変換を用いて逆変換する工程と、
該逆離散コサイン変換された画像データを符号化側と同一のサイズに変換する工程とを、
コンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
ここに、ｕ、ｖはそれぞれ水平方向、垂直方向の離散コサイン変換係数の座標、ｐ１、ｐ２はそれぞれ水平方向、垂直方向の基底サイズを決定するパラメータ、Ｎ×Ｎは符号化側の離散コサイン変換の基底サイズである。 - 請求項７に記載された記録媒体において、
さらに、符号化側と同一サイズのブロックデータで動き補償予測を行なって動画像を復元する工程のプログラムを記録したコンピュータ読取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25755399A JP3818484B2 (ja) | 1999-09-10 | 1999-09-10 | 符号化動画像データの復号装置および記録媒体 |
| US09/657,368 US7380015B1 (en) | 1999-09-10 | 2000-09-07 | Apparatus and method for compression-transmitting and decoding picture information and storage medium stored its control programs |
| US11/244,033 US7801969B2 (en) | 1999-09-10 | 2005-10-06 | Apparatus and method for compression-transmitting and decoding picture information and storage medium stored its control programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25755399A JP3818484B2 (ja) | 1999-09-10 | 1999-09-10 | 符号化動画像データの復号装置および記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004341735A Division JP2005117681A (ja) | 2004-11-26 | 2004-11-26 | 符号化動画像データの復号装置および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001086505A JP2001086505A (ja) | 2001-03-30 |
| JP3818484B2 true JP3818484B2 (ja) | 2006-09-06 |
Family
ID=17307891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25755399A Expired - Fee Related JP3818484B2 (ja) | 1999-09-10 | 1999-09-10 | 符号化動画像データの復号装置および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3818484B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102215406B (zh) * | 2011-07-15 | 2012-10-24 | 东南大学 | 一种基于dct变换的分段编码信号的快速解码方法 |
-
1999
- 1999-09-10 JP JP25755399A patent/JP3818484B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001086505A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5128976B2 (ja) | 復元されたフレームのフレーム率をアップコンバートする装置および方法 | |
| JP5086343B2 (ja) | 逆離散コサイン変換計算における誤差低減 | |
| JP2673778B2 (ja) | 動画像の復号化における雑音低減装置 | |
| JP5259396B2 (ja) | ハイブリッド映像圧縮のための非線形予測フィルタ | |
| JP2006157481A (ja) | 画像符号化装置及びその方法 | |
| JP4776505B2 (ja) | 画像符号化装置、画像復号装置及び画像処理プログラム | |
| JP3818484B2 (ja) | 符号化動画像データの復号装置および記録媒体 | |
| JP4559811B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP2005287006A (ja) | 画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体及び画像処理装置 | |
| JP2005502285A (ja) | 連続する画像を符号化する方法および装置 | |
| JP3695451B2 (ja) | 画像サイズの変更方法及装置 | |
| US7099523B2 (en) | Method and system for scaling a signal sample rate | |
| JPWO2005125175A1 (ja) | 量子化テーブル生成装置、量子化テーブル生成方法、量子化テーブル生成プログラム、画像圧縮装置、画像圧縮方法および画像圧縮プログラム | |
| JP2005117681A (ja) | 符号化動画像データの復号装置および記録媒体 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP3709106B2 (ja) | 画像圧縮および伸張装置 | |
| US20050238241A1 (en) | Image compression apparatus generating and using assistant images for deblocking processing and a method thereof | |
| JP3235266B2 (ja) | 画像拡大装置及び画像符号化復号化装置 | |
| JPH1188183A (ja) | ウェーブレット変換装置およびその方法並びにウェーブレット逆変換装置およびその方法並びに画像符号化装置およびその方法並びに画像復号化装置およびその方法 | |
| JP2004523989A (ja) | ２つの画像形式をサポート及び／又は変換する方法及び装置 | |
| JPH06209467A (ja) | 画像符号化・復号化装置 | |
| JP5175813B2 (ja) | 符号化装置、復号装置及び画像処理プログラム | |
| JP2004214983A (ja) | 画像処理方法 | |
| JP2005354307A (ja) | 逆量子化器及びこれを用いた画像復号化装置 | |
| JP2001320587A (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050330 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060608 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150623 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |