JP3937632B2 - 画像復号装置及び画像復号方法 - Google Patents
画像復号装置及び画像復号方法 Download PDFInfo
- Publication number
- JP3937632B2 JP3937632B2 JP04373499A JP4373499A JP3937632B2 JP 3937632 B2 JP3937632 B2 JP 3937632B2 JP 04373499 A JP04373499 A JP 04373499A JP 4373499 A JP4373499 A JP 4373499A JP 3937632 B2 JP3937632 B2 JP 3937632B2
- Authority
- JP
- Japan
- Prior art keywords
- orthogonal transform
- coefficients
- block
- discrete cosine
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、８×８画素からなる直交変換ブロック単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データを復号する画像復号装置及び画像復号方法に関し、特に、第１の解像度の圧縮画像データを復号して、この第１の解像度よりも低い第２の解像度の動画像データに縮小する画像復号装置及び画像復号方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ２（Moving Picture Experts Group phase2）等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。そのため、近年、高解像度画像の圧縮画像データを復号するとともにこの圧縮画像データを１／２の解像度に縮小することにより、標準解像度画像の画像データを生成して、この画像データを標準解像度に対応したテレビジョンモニタに表示するダウンデコーダが求められている。
【０００３】
高解像度画像に対して動き予測による予測符号化及び離散コサイン変換による圧縮符号化をしたＭＰＥＧ２等のビットストリームを、復号するとともに標準解像度画像にダウンサンプリングするダウンデコーダが、文献「低域ドリフトのないスケーラブル・デコーダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-108,1995-01）に提案されている（以下、この文献を文献１と呼ぶ。）。この文献１には、以下の第１から第３のダウンデコーダが示されている。
【０００４】
第１のダウンデコーダは、図４に示すように、高解像度画像のビットストリームに対して８（垂直方向のＤＣ成分から数えた係数の数）×８（水平方向のＤＣ成分から数えた係数の数）の逆離散コサイン変換をする逆離散コサイン変換装置１０１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１０２と、参照画像を一時記憶するフレームメモリ１０３と、フレームメモリ１０３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１０４と、フレームメモリ１０３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１０５とを備えている。
【０００５】
この第１のダウンデコーダでは、逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１０５で縮小して標準解像度の画像データを出力する。
【０００６】
第２のダウンデコーダは、図５に示すように、高解像度画像のビットストリームのＤＣＴ（Discrete Cosine Transform）ブロックの高周波成分の係数を０に置き換えて８×８の逆離散コサイン変換をする逆離散コサイン変換装置１１１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１１２と、参照画像を一時記憶するフレームメモリ１１３と、フレームメモリ１１３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１１４と、フレームメモリ１１３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１１５とを備えている。
【０００７】
この第２のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち高周波成分の係数を０に置き換えて逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１０５で縮小して標準解像度の画像データを出力する。
【０００８】
第３のダウンデコーダは、図６に示すように、高解像度画像のビットストリームのＤＣＴブロックの低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像に復号する縮小逆離散コサイン変換装置１２１と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１２２と、参照画像を一時記憶するフレームメモリ１２３と、フレームメモリ１２３が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１２４とを備えている。
【０００９】
この第３のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換を行い、高解像度画像から標準解像度画像として復号する。
【００１０】
ここで、上記第１のダウンデコーダでは、ＤＣＴブロック内の全ての係数に対して逆離散コサイン変換を行い高解像度画像を復号しているため、高い演算処理能力の逆離散コサイン変換装置１０１と高容量のフレームメモリ１０３とが必要となる。また、上記第２のダウンデコーダでは、ＤＣＴブロック内の係数のうち高周波成分を０として離散コサイン変換を行い高解像度画像を復号しているため、逆離散コサイン変換装置１１１の演算処理能力は低くて良いが、やはり高容量のフレームメモリ１１３が必要となる。これら第１及び第２のダウンデコーダに対し、第３のダウンデコーダでは、ＤＣＴブロック内の全ての係数うち低周波成分の係数のみを用いて逆離散コサイン変換をしているため逆離散コサイン変換装置１２１の演算処理能力が低くてよく、さらに、標準解像度画像の参照画像を復号しているのでフレームメモリ１２３の容量も少なくすることができる。
【００１１】
ところで、テレビジョン放送等の動画像の表示方式には、順次走査方式と飛び越し走査方式とがある。順次走査方式は、フレーム内の全ての画素を同じタイミングでサンプリングした画像を、順次表示する表示方式である。飛び越し走査方式は、フレーム内の画素を水平方向の１ライン毎に異なるタイミングでサンプリングした画像を、交互に表示する表示方式である。
【００１２】
この飛び越し走査方式では、フレーム内の画素を１ライン毎に異なるタイミングでサンプリングした画像のうちの一方を、トップフィールド（第１フィールドともいう。）といい、他方をボトムフィールド（第２のフィールドともいう。）という。フレームの水平方向の先頭ラインが含まれる画像がトップフィールドとなり、フレームの水平方向の２番目のラインが含まれる画像がボトムフィールドとなる。従って、飛び越し走査方式では、１つのフレームが２つのフィールドから構成されることとなる。
【００１３】
ＭＥＰＧ２では、飛び越し走査方式に対応した動画像信号を効率良く圧縮するため、画面の圧縮単位であるピクチャにフレームを割り当てて符号化するだけでなく、ピクチャにフィールドを割り当てて符号化することもできる。
【００１４】
ＭＰＥＧ２では、ピクチャにフィールドが割り当てられた場合には、そのビットストリームの構造をフィールド構造と呼び、ピクチャにフレームが割り当てられた場合には、そのビットストリームの構造をフレーム構造と呼ぶ。また、フィールド構造では、フィールド内の画素からＤＣＴブロックが形成され、フィールド単位で離散コサイン変換がされる。このフィールド単位で離散コサイン変換を行う処理モードのことをフィールドＤＣＴモードと呼ぶ。また、フレーム構造では、フレーム内の画素からＤＣＴブロックが形成され、フレーム単位で離散コサイン変換がされる。このフレーム単位で離散コサイン変換を行う処理モードのことをフレームＤＣＴモードと呼ぶ。さらに、フィールド構造では、フィールド内の画素からマクロブロックが形成され、フィールド単位で動き予測がされる。このフィールド単位で動き予測を行う処理モードのことをフィールド動き予測モードと呼ぶ。また、フレーム構造では、フレーム内の画素からマクロブロックが形成され、フレーム単位で動き予測がされる。フレーム単位で動き予測を行う処理モードのことをフレーム動き予測モードと呼ぶ。
【００１５】
ところで、上記文献１に示された第３のダウンデコーダを利用して、飛び越し走査方式に対応した圧縮画像データを復号する画像復号装置が、例えば文献「A Compensation Method of Drift Errors in Scalability」（N.OBIKANE,K.TAHARA and J.YONEMITSU,HDTV Work Shop'93）に提案されている（以下、この文献を文献２と呼ぶ）。
【００１６】
この文献２に示された従来の画像復号装置は、図７に示すように、高解像度画像をＭＰＥＧ２で圧縮したビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１３１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長符号復号装置１３２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置２０３３と、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像を復号する縮小逆離散コサイン変換装置１３４と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１３５と、参照画像を一時記憶するフレームメモリ１３６と、フレームメモリ１３６が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１３７とを備えている。
【００１７】
この文献２に示された従来の画像復号装置の縮小逆離散コサイン変換装置１３４は、ＤＣＴブロック内の全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換をするが、フレームＤＣＴモードとフィールドＤＣＴモードとで、逆離散コサイン変換を行う係数の位置が異なっている。
【００１８】
具体的には、縮小逆離散コサイン変換装置１３４は、フィールドＤＣＴモードの場合には、図８に示すように、ＤＣＴブロック内の８×８個のうち、低域の４×４個の係数のみに逆離散コサイン変換を行う。それに対し、縮小逆離散コサイン変換装置１３４は、フレームＤＣＴモードの場合には、図９に示すように、ＤＣＴブロック内の８×８個の係数のうち、４×２個＋４×２個の係数のみに逆離散コサイン変換を行う。
【００１９】
また、この文献２に示された従来の画像復号装置の動き補償装置１３７は、 高解像度画像に対して行われた動き予測の情報（動きベクトル）に基づき、フィールド動き予測モード及びフレーム動き予測モードのそれぞれに対応した１／４画素精度の動き補償を行う。すなわち、通常ＭＰＥＧ２では１／２画素精度で動き補償が行われることが定められているが、高解像度画像から標準解像度画像を復号する場合には、ピクチャ内の画素数が１／２に間引かれるため、動き補償装置１３７では動き補償の画素精度を１／４画素精度として動き補償を行っている。
【００２０】
従って、動き補償装置１３７では、高解像度画像に対応した動き補償を行うため、標準解像度の画像としてフレームメモリ１３６に格納された参照画像の画素に対して線形補間して、１／４画素精度の画素を生成している。
【００２１】
具体的に、フィールド動き予測モード及びフレーム動き予測モードの場合の垂直方向の画素の線形補間処理を、図１０及び図１１を用いて説明する。なお、図面中には、縦方向に垂直方向の画素の位相を示し、表示画像の各画素が位置する位相を整数で示している。
【００２２】
まず、フィールド動き予測モードで動き予測がされた画像の補間処理について、図１０を用いて説明する。高解像度画像（上位レイヤー）に対しては、図１０（ａ）に示すように、各フィールドそれぞれ独立に、１／２画素精度で動き補償がされる。これに対し、標準解像度画像（下位レイヤー）に対しては、図１０（ｂ）に示すように、整数精度の画素に基づきフィールド内で線形補間をして、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素を生成し、動き補償がされる。すなわち、標準解像度画像（下位レイヤー）では、トップフィールドの整数精度の各画素に基づきトップフィールドの１／４画素精度の各画素が線形補間により生成され、ボトムフィールドの整数精度の各画素に基づきボトムフィールドの１／４画素精度の各画素が線形補間により生成される。例えば、垂直方向の位相が０の位置にあるトップフィールドの画素の値をａ、垂直方向の位相が１の位置にあるトップフィールドの画素の値をｂとする。この場合、垂直方向の位相が１／４の位置にあるトップフィールドの画素は（３ａ＋ｂ）／４となり、垂直方向の位相が１／２の位置にあるトップフィールドの画素は（ａ＋ｂ）／２となり、垂直方向の位相が３／４の位置にあるトップフィールドの画素は（ａ＋３ｂ）／４となる。
【００２３】
続いて、フレーム動き予測モードで動き予測がされた画像の補間処理について、図１１を用いて説明する。高解像度画像（上位レイヤー）に対しては、図１１（ａ）に示すように、各フィールド間で補間処理がされ、すなわち、ボトムフィールドとトップフィールドとの間で補間処理がされ、１／２画素精度で動き補償がされる。標準解像度画像（下位レイヤー）に対しては、図１１（ｂ）に示すように、トップフィールド及びボトムフィールドの２つのフィールドの整数精度の各画素に基づき、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素が線形補間により生成され、動き補償がされる。例えば、垂直方向の位相が−１の位置にあるボトムフィールドの画素の値をａ、垂直方向の位相が０の位置にあるトップフィールドの画素の値をｂ、垂直方向の位相が１の位置にあるボトムフィールドの画素の値をｃ、垂直方向の位相が２の位置にあるトップフィールドの画素の値をｄ、垂直方向の位相が３の位置にあるボトムフィールドの画素の値をｅとする。この場合、垂直方向の位相が０〜２の間にある１／４画素精度の各画素は、以下のように求められる。
【００２４】
垂直方向の位相が１／４の位置にある画素は（ａ＋４ｂ＋３ｃ）／８となる。垂直方向の位相が１／２の位置にある画素は（ａ＋３ｃ）／４となる。垂直方向の位相が３／４の位置にある画素は（ａ＋２ｂ＋３ｃ＋２ｄ）／８となる。垂直方向の位相が５／４の位置にある画素は（２ｂ＋３ｃ＋２ｄ＋ｅ）／８となる。垂直方向の位相が３／２の位置にある画素は（３ｃ＋ｅ）／４となる。垂直方向の位相が７／４の位置にある画素は（３ｃ＋４ｄ＋ｅ）／８となる。
【００２５】
以上のように上記文献２に示された従来の画像復号装置は、飛び越し走査方式に対応した高解像度画像の圧縮画像データを、標準解像度画像データに復号することができる。
【００２６】
しかしながら、上記文献２に示された従来の画像復号装置では、フィールドＤＣＴモードで得られる標準解像度画像の各画素と、フレームＤＣＴモードで得られる標準解像度の各画素との位相がずれる。具体的には、フィールドＤＣＴモードでは、図１２に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。それに対して、フレームＤＣＴモードでは、図１３に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が０、２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。そのため、位相が異なる画像がフレームメモリ１３６に混在し、出力する画像の画質が劣化する。
【００２７】
また、上記文献２に示された従来の画像復号装置では、フィールド動き予測モードとフレーム動き予測モードとで位相ずれの補正がされていない。そのため、出力する画像の画質が劣化する。
【００２８】
【発明が解決しようとする課題】
このような問題を解決するための画像復号装置が、特願平１０−２０８３８５号により提案されている。
【００２９】
つぎに、特願平１０−２０８３８５で提案された画像復号装置について説明する。
【００３０】
図１４に示す特願平１０−２０８３８５号で提案した画像復号装置２００は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００３１】
なお、以下、高解像度画像のことを上位レイヤーとも呼び、標準解像度画像のことを下位レイヤーとも呼ぶものとする。また、通常、８×８の離散コサイン係数を有するＤＣＴブロックを逆離散コサイン変換した場合８×８の画素から構成される復号データを得ることができるが、例えば、８×８の離散コサイン係数を復号して４×４の画素から構成される復号データを得るような、逆離散コサイン変換をするとともに解像度を縮小する処理を、縮小逆離散コサイン変換という。
【００３２】
この画像復号装置２００は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置２０１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置２０２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置２０３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置２０４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置２０５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置２０６と、参照画像を一時記憶するフレームメモリ２０７と、フレームメモリ２０７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置２０８と、フレームメモリ２０７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置２０９と、フレームメモリ２０７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２１０とを備えている。
【００３３】
フィールドモード用縮小逆離散コサイン変換装置２０４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置２０４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置２０４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図１５に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。すなわち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００３４】
フレームモード用縮小逆離散コサイン変換装置２０５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置２０５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置２０５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置２０４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置２０５で復号された画像データの各画素の位相は、図１５に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【００３５】
なお、このフレームモード用縮小逆離散コサイン変換装置２０５の処理については、その詳細を後述する。
【００３６】
加算装置２０６は、フィールドモード用縮小逆離散コサイン変換装置２０４又はフレームモード用縮小逆離散コサイン変換装置２０５により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ２０７に格納する。また、加算装置２０６は、フィールドモード用縮小逆離散コサイン変換装置２０４又はフレームモード用縮小逆離散コサイン変換装置２０５により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置２０８或いはフレームモード用動き補償装置２０９により動き補償がされた参照画像を合成して、フレームメモリ２０７に格納する。
【００３７】
フィールドモード用動き補償装置２０８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置２０８は、フレームメモリ２０７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置２０８により動き補償がされた参照画像は、加算装置２０６に供給され、インター画像に合成される。
【００３８】
フレームモード用動き補償装置２０９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置２０９は、フレームメモリ２０７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置２０９により動き補償がされた参照画像は、加算装置２０６に供給され、インター画像に合成される。
【００３９】
画枠変換・位相ずれ補正装置２１０は、フレームメモリ２０７が記憶した標準解像度の参照画像或いは加算装置２０６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換・位相ずれ補正装置２１０は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる標準解像度画像を、例えば、トップフィールドの各画素の垂直方向の位相が０、２、４・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３、５・・・となるように補正する。また、画枠変換・位相ずれ補正装置２１０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００４０】
特願平１０−２０８３８５で提案した画像復号装置２００では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【００４１】
つぎに、上記フレームモード用縮小逆離散コサイン変換装置２０５の処理内容について、さらに詳細に説明する。
【００４２】
フレームモード用縮小逆離散コサイン変換装置２０５には、図１６に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【００４３】
まず、ステップＳ１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ1〜ｙ8として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ1〜ｘ8として図中に示す。）を得ることができる。
【００４４】
続いて、ステップＳ２において、この８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応した４×４のトップフィールドの画素ブロックと、飛び越し走査に対応した４×４のボトムフィールドの画素ブロックの２つの画素ブロックに分離する。すなわち、垂直方向に１ライン目の画素データｘ1と、３ライン目の画素データｘ3と、５ライン目の画素データｘ5と、７ライン目の画素データｘ7とを取り出して、トップフィールドに対応した画素ブロックを生成する。また、垂直方向に２ライン目の画素データｘ2と、４ライン目の画素データｘ4と、６ライン目の画素データｘ6と、８ライン目の画素データｘ8とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。なお、ＤＣＴブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離する処理を、以下フィールド分離という。
【００４５】
続いて、ステップＳ３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換（ＤＣＴ４×４）をする。
【００４６】
続いて、ステップＳ４において、４×４の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ1，ｚ3，ｚ5，ｚ7として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。また、４×４の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ2，ｚ4，ｚ6，ｚ8として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。
【００４７】
続いて、ステップＳ５において、高域成分の離散コサイン係数を間引いた画素ブロックに対して、２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行う。２×２の逆離散コサイン変換をすることにより、２×２の復号された画素データｘ′（トップフィールドの画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′3として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′2，ｘ′4として図中に示す。）を得ることができる。
【００４８】
続いて、ステップＳ６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互に合成して、４×４の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。なお、トップフィールドとボトムフィールドに対応した２つの画素ブロックの各画素を垂直方向に交互に合成する処理を、以下フレーム合成という。
【００４９】
以上のステップＳ１からステップＳ６を行うことにより、フレームモード用縮小逆離散コサイン変換装１５では、図１５で示したような、フィールドモード用縮小逆離散コサイン変換装置２０４で生成した標準解像度画像の画素の位相と同位相の画素から構成される４×４のＤＣＴブロックを生成することができる。
【００５０】
また、フレームモード用縮小逆離散コサイン変換装置２０５では、以上のステップＳ１からステップＳ６までの処理を１つの行列を用いて演算する。具体的には、フレームモード用縮小逆離散コサイン変換装置２０５では、以上の処理を加法定理を用いて展開計算することにより得られる以下の式（１）に示す行列［ＦＳ′］と、１つのＤＣＴブロックの離散コサイン係数ｙ（ｙ1〜ｙ8）とを行列演算することにより、縮小逆離散コサイン変換したＤＣＴブロックの画素データｘ′（ｘ′1〜ｘ′4）を得ることができる。
【００５１】
【数１】
【００５２】
但し、この式（１）において、Ａ〜Ｊは以下の通りである。
【００５３】
【数２】
【００５４】
以上のように特願平１０−２０８３８５で提案した画像復号装置２００においては、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置２００では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとで異なる処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。
【００５５】
なお、上記画像復号装置２００では、フィールドモード用縮小逆離散コサイン変換装置２０４の４×４の縮小逆離散コサイン変換処理、及び、フレームモード用縮小逆離散コサイン変換装置２０５の上記ステップＳ１〜ステップＳ６の縮小逆離散コサイン変換処理を、高速アルゴリズムを用いて処理してもよい。
【００５６】
例えば、Ｗａｎｇのアルゴリズム（参考文献：Zhong DE Wang.,"Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を用いることにより、処理を高速化することができる。
【００５７】
フィールドモード用縮小逆離散コサイン変換装置２０４が演算をする行列を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（２）に示すように分解される。
【００５８】
【数３】
【００５９】
図１７にフィールドモード用縮小逆離散コサイン変換装置２０４の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。
【００６０】
この処理フローは、第１から第５の乗算器２０４ａ〜２０４ｅ及び第１から第９の加算器２０４ｆ〜２０４ｎから構成され、１次元の離散コサイン係数Ｘ（０）〜Ｘ（３）が入力される。第１から第５の乗算器２０４ａ〜２０４ｅに示しているＷ0〜Ｗ4は、各乗算器が乗算する値を示している。この処理フローからは、以下の式（３）〜式（６）に示す演算がされた４つの係数値或いは画素値Ｙ（０）〜Ｙ（３）が出力される。なお、この式（３）〜式（６）では、Ｗ0＝Ｗ1の関係がある。
【００６１】
【数４】
【００６２】
フィールドモード用縮小逆離散コサイン変換装置２０４では、ＤＣＴブロックの低域の４×４の垂直方向の４個の係数に対して図１７に示す処理フローを施した後、係数位置をメモリ内で９０°転換し、ＤＣＴブロックの低域の４×４の水平方向の４個の係数に対して再度この図１７に示す処理フローを施す。
【００６３】
このようにＷａｎｇのアルゴリズムを適用することにより演算を高速化することができる。
【００６４】
また、フレームモード用縮小逆離散コサイン変換装置２０５が演算をする行列［ＦＳ′］を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（７）に示すように分解される。
【００６５】
【数５】
【００６６】
但し、この式（７）において、Ａ〜Ｊは、以下の通りである。
【００６７】
【数６】
【００６８】
図１８にフレームモード用縮小逆離散コサイン変換装置２０５の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。
【００６９】
この処理フローは、第１から第１０の乗算器２０５ａ〜２０５ｊ及び第１から第１２の加算器２０５ｋ〜２０５ｖから構成され、１次元の離散コサイン係数Ｘ（０）〜Ｘ（７）が入力される。第１から第１０の乗算器２０５ａ〜２０５ｊに示しているＷ0〜Ｗ9は、各乗算器が乗算する値を示している。この処理フローからは、以下の式（８）〜式（１１）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力される。なお、この式（８）〜式（１１）では、Ｗ0＝Ｗ1の関係がある。
【００７０】
【数７】
【００７１】
フレームモード用縮小逆離散コサイン変換装置２０５では、ＤＣＴブロックの低域の８×４の垂直方向の８個の係数に対して図１８に示す処理フローを施した後、係数位置をメモリ内で９０°転換し、ＤＣＴブロックの低域の４×４の水平方向の４個の係数に対して図１７に示す処理フローを施す。
【００７２】
このようにＷａｎｇのアルゴリズムを適用することにより演算を高速化することができる。
【００７３】
ところで、以上のような特願平１０−２０８３８５号で提案した画像復号装置２００では、フィールドモード時の縮小逆離散コサイン変換と、フレームモード時の縮小逆離散コサイン変換とが全く別の処理フローとなっている。
【００７４】
そのため、例えば、これらの処理をソフトウェアで行おうとした場合には、コードサイズが大きくなり、多くの命令メモリが必要となってしまう。同様に、コードサイズが大きくなることによりキャッシュミスを起こし易くなり、復号処理の低下を招く可能性がある。また、これらの処理を専用回路で行おうとした場合も、回路規模が大きくなってしまう。
【００７５】
本発明は、このような実情を鑑みてなされたものであり、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくすことが可能な、高解像度画像の圧縮画像データから標準解像度の画像データを復号する画像復号装置及び画像復号方法であって、処理フローを簡略化した画像復号装置及び画像復号方法を提供することを目的とする。
【００７６】
【課題を解決するための手段】
本発明にかかる画像復号装置は、８×８画素からなる画素ブロックに対して２次元の直交変換をして８×８係数からなる直交変換ブロックを生成して圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度の１／２の解像度の動画像データを復号する画像復号装置であって、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた直交変換ブロックと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をして、４×４係数となる直交変換ブロックを生成する第１の逆直交変換手段と、上記第１の逆直交変換手段により逆直交変換がされた４×４係数に対して、水平方向の１次元の逆直交変換をして、４×４画素からなる画素ブロックを生成する第２の逆直交変換手段とを備え、上記第１の逆直交変換手段は、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成することを特徴とする。
【００７７】
この画像復号装置では、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成する。そして、この画像復号装置では、第１の解像度より低い第２の解像度の動画像データを出力する。さらに、この画像復号装置では、フィールド直交変換モードにより直交変換がされた直交変換ブロックと、フレーム直交変換モードにより直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をする。
【００７８】
また、本発明にかかる画像復号方法は、８×８画素からなる画素ブロックに対して２次元の直交変換をして８×８係数からなる直交変換ブロックを生成して圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度の１／２の解像度の動画像データを復号する画像復号方法であって、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた直交変換ブロックと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をして、４×４係数となる直交変換ブロックを生成し、逆直交変換がされた上記４×４係数に対して、水平方向の１次元の逆直交変換をして、４×４画素からなる画素ブロックを生成し、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成することを特徴とする。
【００７９】
この画像復号方法では、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成する。そして、この画像復号装置では、第１の解像度より低い第２の解像度の動画像データを出力する。さらに、この画像復号装置では、フィールド直交変換モードにより直交変換がされた直交変換ブロックと、フレーム直交変換モードにより直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をする。
【００８０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００８１】
図１に本発明の実施の形態の画像復号装置のブロック構成図を示す。
【００８２】
図１に示す画像復号装置１０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００８３】
この画像復号装置１０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置１４と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【００８４】
縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックがフィールドＤＣＴモードで離散コサイン変換されている場合には、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。この縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図１５に示したように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。すなわち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００８５】
また、縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックがフレームＤＣＴモードで離散コサイン変換されている場合には、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、上述したフレームモード用縮小逆離散コサイン変換装置１５と同様の８×４の縮小逆離散コサイン変換を行う。そして、縮小逆離散コサイン変換装置１４では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドＤＣＴモードで離散コサイン変換されている場合に復号した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、縮小逆離散コサイン変換装置１４は、図１５に示したような、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる画像を生成する。
【００８６】
加算装置１６は、縮小逆離散コサイン変換装置１４により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ１７に格納する。また、加算装置１６は、縮小逆離散コサイン変換装置１４により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置１８或いはフレームモード用動き補償装置１９により動き補償がされた参照画像を合成して、フレームメモリ１７に格納する。
【００８７】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００８８】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００８９】
画枠変換・位相ずれ補正装置２０は、フレームメモリ１７が記憶した標準解像度の参照画像或いは加算装置１６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換・位相ずれ補正装置２０は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる標準解像度画像を、例えば、トップフィールドの各画素の垂直方向の位相が０、２、４・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３、５・・・となるように補正する。また、画枠変換・位相ずれ補正装置２０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００９０】
この画像復号装置１０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【００９１】
つぎに、上記縮小逆離散コサイン変換装置１４の処理内容について、さらに詳細に説明する。
【００９２】
縮小逆離散コサイン変換装置１４は、図２に示すように、逆量子化装置１３から高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが供給される入力バッファ２１と、垂直成分の１次元の逆離散コサイン変換を行う垂直成分逆離散コサイン変換部２２と、中間バッファ２３と、水平成分の１次元の逆離散コサイン変換を行う水平成分逆離散コサイン変換部２４と、出力バッファ２５と有している。
【００９３】
入力バッファ２１には、逆量子化装置１３により逆量子化されたビットストリームがＤＣＴブロック単位で入力され、このＤＣＴブロックを一時格納する。
【００９４】
垂直成分逆離散コサイン変換部２２は、入力バッファ２１に格納されたＤＣＴブロック単位の離散コサイン係数を抜き出し、このＤＣＴブロックに対して垂直方向の一次元の逆離散コサイン変換を行う。このとき、垂直成分逆離散コサイン変換部２２は、８個の垂直方向の係数に対して離散コサイン変換をするとともに、この８個の係数を４個の係数に縮小する縮小逆離散コサイン変換を行う。
【００９５】
また、この垂直成分逆離散コサイン変換部２２には、離散コサイン変換をするＤＣＴブロックの離散コサイン変換のモード情報が入力される。すなわち、そのＤＣＴブロックが、フィールドＤＣＴモードで離散コサイン変換されているか、或いは、フレームＤＣＴモード離散コサイン変換がされているかどうかの情報が入力される。垂直成分逆離散コサイン変換部２２は、離散コサイン変換をするＤＣＴブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合には、上述した特願平１０−２０８３８５号で提案した画像復号装置２００のフィールドモード用縮小逆離散コサイン変換装置２０４と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行う。また、垂直成分逆離散コサイン変換部２２は、離散コサイン変換をするＤＣＴブロックが、フレームＤＣＴモードで離散コサイン変換されている場合には、上述した特願平１０−２０８３８５号で提案した画像復号装置２００のフレームモード用縮小逆離散コサイン変換装置２０５と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行う。
【００９６】
この垂直成分逆離散コサイン変換部２２の具体的な処理フローを図３に示す。
【００９７】
この図３に示した処理フローは、縮小逆離散コサイン変換装置１４が演算をする行列を、分解してＷａｎｇのアルゴリズムに適用したものである。
【００９８】
この垂直成分逆離散コサイン変換部２２の処理フローは、第１から第１０の乗算器３１〜４０及び第１から第１２の加算器４１〜５２から構成され、１次元の離散コサイン係数Ｘ（０）〜Ｘ（７）が入力される。第１から第１０の乗算器３１〜４０に示しているＡ〜Ｊは、各乗算器が乗算する値を示している。
【００９９】
第１の乗算器３１は最も低域の離散コサイン係数Ｘ（０）に対して値Ａを乗算する。第２の乗算器３２は低域から３番目の離散コサイン係数Ｘ（２）に対して値Ｂを乗算する。第３の乗算器３３は低域から５番目の離散コサイン係数Ｘ（４）に対して値Ｃを乗算する。第４の乗算器３４は低域から７番目の離散コサイン係数Ｘ（６）に対して値Ｄを乗算する。第５の乗算器３５は低域から４番目の離散コサイン係数Ｘ（３）に対して値Ｅを乗算する。第６の乗算器３６は低域から６番目の離散コサイン係数Ｘ（５）に対して値Ｆを乗算する。第７の乗算器３７は低域から２番目の離散コサイン係数Ｘ（１）に対して値Ｇを乗算する。第８の乗算器３８は低域から２番目の離散コサイン係数Ｘ（１）に対して値Ｈを乗算する。
【０１００】
また、第９の乗算器３９は、フィールドＤＣＴモードの場合には低域から４番目の離散コサイン係数Ｘ（３）に対して値Ｉを乗算し、また、フレームＤＣＴモードの場合には最も高域の離散コサイン係数Ｘ（７）に対して値Ｉを乗算する。また、第１０の乗算器４０は、フィールドＤＣＴモードの場合には低域から４番目の離散コサイン係数Ｘ（３）に対して値Ｊを乗算し、また、フレームＤＣＴモードの場合には最も高域の離散コサイン係数Ｘ（７）に対して値Ｊを乗算する。この第９及び第１０の乗算器３９，４０に入力する離散コサイン係数の切り換えは、即ち離散コサイン係数Ｘ（３）と離散コサイン係数Ｘ（７）の入力データポートの切り換えは、切換スイッチ６０により行われる。
【０１０１】
従って、フィールドＤＣＴモードの場合、この図３に示す処理フローからは、以下の式（１２）〜式（１５）に示す演算がされた４つの係数値Ｙ（０）〜Ｙ（３）が出力される。
【０１０２】
【数８】
【０１０３】
また、フレームＤＣＴモードの場合、この図３に示す処理フローからは、以下の式（１６）〜式（１９）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力される。
【０１０４】
【数９】
【０１０５】
また、第１から第１０の各乗算器３１〜４０は、例えば内部にレジスタを備えており、そのレジスタ内に乗算するＡ〜Ｊの値が格納される。このレジスタ内の値は、フィールドＤＣＴモードとフレームＤＣＴモードとで切り換えられる。
【０１０６】
フィールドＤＣＴモードとフレームＤＣＴモードとで切り換えられる各乗算器の乗算定数を以下の表に示す。なお、この表では、Ｗ0＝Ｗ1の関係がある。
【０１０７】
【表１】
【０１０８】
この表に示されたフィールドＤＣＴモードの場合の各値を上記式（１２）〜式（１５）に代入すると、図３に示した処理フローからは、以下の式（２０）〜式（２３）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力されることとなる。
【０１０９】
【数１０】
【０１１０】
この式（２０）〜式（２３）に示され得たＹ（０）からＹ（３）は、上記式（３）〜式（６）の各値と同一となる。すなわち、特願平１０−２０８３８５号で提案した画像復号装置２００のフィールドモード用縮小逆離散コサイン変換装置２０４と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行っている。
【０１１１】
また、フレームＤＣＴモードの場合の各値を上記式（１６）〜式（１９）に代入すると、図３に示した処理フローからは、以下の式（２４）〜式（２７）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力されることとなる。
【０１１２】
【数１１】
【０１１３】
この式（２４）〜式（２７）に示され得たＹ（０）からＹ（３）は、上記式（７）〜式（１１）の各値と同一となる。すなわち、すなわち、特願平１０−２０８３８５号で提案した画像復号装置２００のフレームモード用縮小逆離散コサイン変換装置２０５と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行う。
【０１１４】
以上のように垂直成分逆離散コサイン変換部２２では、各乗算器３１〜３３の乗算定数を切り換えるとともにデータの入力ポートを切り換えることにより、フィールドＤＣＴモードの場合とフレームＤＣＴモードの場合の垂直方向の縮小逆離散コサイン変換をすることができる。また、この垂直成分逆離散コサイン変換部２２では、フィールドＤＣＴモードの縮小逆離散コサイン変換とフレームＤＣＴモードの縮小逆離散コサイン変換とを１つの処理フローで演算するの、その構成が非常に簡易となる。
【０１１５】
以上のように演算された離散コサイン係数は、中間バッファ２３に一旦格納される。
【０１１６】
水平成分逆離散コサイン変換部２４は、中間バッファ２３に格納されたＤＣＴブロック単位の離散コサイン係数を抜き出し、このＤＣＴブロックに対して水平方向の一次元の逆離散コサイン変換を行う。このとき、水平成分逆離散コサイン変換部２４は、４個の垂直方向の係数に対して離散コサイン変換をする。水平成分逆離散コサイン変換部２４は、離散コサイン変換をするＤＣＴブロックが、フィールドＤＣＴモードで離散コサイン変換されているか、或いは、フレームＤＣＴモードで離散コサイン変換されているかにかかわらず、上述した特願平１０−２０８３８５号で提案した画像復号装置２００のフィールドモード用縮小逆離散コサイン変換装置２０４と同一のアルゴリズムで、水平方向の逆離散コサイン変換を行う。
【０１１７】
すなわち、この水平成分逆離散コサイン変換部２４の処理フローは、上記図１７で示したものと同一となる。
【０１１８】
なお、この水平成分逆離散コサイン変換部２４の処理フローは、上記垂直成分逆離散コサイン変換部２２のフィールドＤＣＴモードの際の処理フローと同一であるので、この垂直成分逆離散コサイン変換部２２の処理フローを流用しても良い。
【０１１９】
出力バッファ２５は、水平成分逆離散コサイン変換部２４が演算した４×４の画素値をＤＣＴブロック単位で一時格納し、加算装置１６に供給する。
【０１２０】
以上のように本発明の実施の形態の画像復号装置１０では、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくた高解像度画像の圧縮画像データから標準解像度の画像データを復号することができ、かつ、その処理フローを簡略化することができる。
【０１２１】
【発明の効果】
本発明にかかる画像復号装置及び画像復号方法では、フレーム直交変換モードにより直交変換がされた直交変換ブロックの全周波数成分の係数に対して逆直交変換をして飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、この画像復号方法では、第１の解像度より低い第２の解像度の動画像データを出力する。さらに、この画像復号方法では、フィールド直交変換モードにより直交変換がされた直交変換ブロックと、フレーム直交変換モードにより直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をする。
【０１２２】
このことにより、本発明では、復号に必要な演算量及び記憶容量を少なくすることができるとともに、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくすことができる。また、第２の解像度の動画像データの画質を向上させることができる。さらに、本発明では、逆離散コサイン変換に伴う処理を簡略化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像復号装置のブロック図である。
【図２】上記画像復号装置の縮小逆離散コサイン変換装置のブロック構成図である。
【図３】上記縮小離散コサイン変換装置の垂直成分逆離散コサイン変換部の処理フローを示す図である。
【図４】従来の第１のダウンデコーダを示すブロック図である。
【図５】従来の第２のダウンデコーダを示すブロック図である。
【図６】従来の第３のダウンデコーダを示すブロック図である。
【図７】従来の画像復号装置のブロック図である。
【図８】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図９】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図１０】上記従来の画像復号装置のフィールド動き予測モードにおける線形補間処理を説明するための図である。
【図１１】上記従来の画像復号装置のフレーム動き予測モードにおける線形補間処理を説明するための図である。
【図１２】上記従来の画像復号装置のフィールドＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図１３】上記従来の画像復号装置のフレームＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図１４】特願平１０−２０８３８５で提案された画像復号装置のブロック図である。
【図１５】上記特願平１０−２０８３８５で提案された画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図１６】上記特願平１０−２０８３８５で提案された画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図１７】Ｗａｎｇのアルゴリズムを上記特願平１０−２０８３８５で提案された画像復号装置のフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図１８】Ｗａｎｇのアルゴリズムを上記特願平１０−２０８３８５で提案された画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理に適用した場合の演算フローを示す図である。
【符号の説明】
１０ 画像復号装置、１４ 縮小逆離散コサイン変換装置、２２ 垂直成分逆離散コサイン変換部、２４ 水平成分逆離散コサイン変換部
【発明の属する技術分野】
本発明は、８×８画素からなる直交変換ブロック単位で直交変換することによる圧縮符号化をした第１の解像度の圧縮画像データを復号する画像復号装置及び画像復号方法に関し、特に、第１の解像度の圧縮画像データを復号して、この第１の解像度よりも低い第２の解像度の動画像データに縮小する画像復号装置及び画像復号方法に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ２（Moving Picture Experts Group phase2）等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。そのため、近年、高解像度画像の圧縮画像データを復号するとともにこの圧縮画像データを１／２の解像度に縮小することにより、標準解像度画像の画像データを生成して、この画像データを標準解像度に対応したテレビジョンモニタに表示するダウンデコーダが求められている。
【０００３】
高解像度画像に対して動き予測による予測符号化及び離散コサイン変換による圧縮符号化をしたＭＰＥＧ２等のビットストリームを、復号するとともに標準解像度画像にダウンサンプリングするダウンデコーダが、文献「低域ドリフトのないスケーラブル・デコーダ」（岩橋・神林・貴家：信学技報 CS94-186,DSP94-108,1995-01）に提案されている（以下、この文献を文献１と呼ぶ。）。この文献１には、以下の第１から第３のダウンデコーダが示されている。
【０００４】
第１のダウンデコーダは、図４に示すように、高解像度画像のビットストリームに対して８（垂直方向のＤＣ成分から数えた係数の数）×８（水平方向のＤＣ成分から数えた係数の数）の逆離散コサイン変換をする逆離散コサイン変換装置１０１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１０２と、参照画像を一時記憶するフレームメモリ１０３と、フレームメモリ１０３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１０４と、フレームメモリ１０３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１０５とを備えている。
【０００５】
この第１のダウンデコーダでは、逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１０５で縮小して標準解像度の画像データを出力する。
【０００６】
第２のダウンデコーダは、図５に示すように、高解像度画像のビットストリームのＤＣＴ（Discrete Cosine Transform）ブロックの高周波成分の係数を０に置き換えて８×８の逆離散コサイン変換をする逆離散コサイン変換装置１１１と、離散コサイン変換がされた高解像度画像と動き補償がされた参照画像とを加算する加算装置１１２と、参照画像を一時記憶するフレームメモリ１１３と、フレームメモリ１１３が記憶した参照画像に１／２画素精度で動き補償をする動き補償装置１１４と、フレームメモリ１１３が記憶した参照画像を標準解像度の画像に変換するダウンサンプリング装置１１５とを備えている。
【０００７】
この第２のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち高周波成分の係数を０に置き換えて逆離散コサイン変換を行い高解像度画像として復号した出力画像を、ダウンサンプリング装置１０５で縮小して標準解像度の画像データを出力する。
【０００８】
第３のダウンデコーダは、図６に示すように、高解像度画像のビットストリームのＤＣＴブロックの低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像に復号する縮小逆離散コサイン変換装置１２１と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１２２と、参照画像を一時記憶するフレームメモリ１２３と、フレームメモリ１２３が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１２４とを備えている。
【０００９】
この第３のダウンデコーダでは、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換を行い、高解像度画像から標準解像度画像として復号する。
【００１０】
ここで、上記第１のダウンデコーダでは、ＤＣＴブロック内の全ての係数に対して逆離散コサイン変換を行い高解像度画像を復号しているため、高い演算処理能力の逆離散コサイン変換装置１０１と高容量のフレームメモリ１０３とが必要となる。また、上記第２のダウンデコーダでは、ＤＣＴブロック内の係数のうち高周波成分を０として離散コサイン変換を行い高解像度画像を復号しているため、逆離散コサイン変換装置１１１の演算処理能力は低くて良いが、やはり高容量のフレームメモリ１１３が必要となる。これら第１及び第２のダウンデコーダに対し、第３のダウンデコーダでは、ＤＣＴブロック内の全ての係数うち低周波成分の係数のみを用いて逆離散コサイン変換をしているため逆離散コサイン変換装置１２１の演算処理能力が低くてよく、さらに、標準解像度画像の参照画像を復号しているのでフレームメモリ１２３の容量も少なくすることができる。
【００１１】
ところで、テレビジョン放送等の動画像の表示方式には、順次走査方式と飛び越し走査方式とがある。順次走査方式は、フレーム内の全ての画素を同じタイミングでサンプリングした画像を、順次表示する表示方式である。飛び越し走査方式は、フレーム内の画素を水平方向の１ライン毎に異なるタイミングでサンプリングした画像を、交互に表示する表示方式である。
【００１２】
この飛び越し走査方式では、フレーム内の画素を１ライン毎に異なるタイミングでサンプリングした画像のうちの一方を、トップフィールド（第１フィールドともいう。）といい、他方をボトムフィールド（第２のフィールドともいう。）という。フレームの水平方向の先頭ラインが含まれる画像がトップフィールドとなり、フレームの水平方向の２番目のラインが含まれる画像がボトムフィールドとなる。従って、飛び越し走査方式では、１つのフレームが２つのフィールドから構成されることとなる。
【００１３】
ＭＥＰＧ２では、飛び越し走査方式に対応した動画像信号を効率良く圧縮するため、画面の圧縮単位であるピクチャにフレームを割り当てて符号化するだけでなく、ピクチャにフィールドを割り当てて符号化することもできる。
【００１４】
ＭＰＥＧ２では、ピクチャにフィールドが割り当てられた場合には、そのビットストリームの構造をフィールド構造と呼び、ピクチャにフレームが割り当てられた場合には、そのビットストリームの構造をフレーム構造と呼ぶ。また、フィールド構造では、フィールド内の画素からＤＣＴブロックが形成され、フィールド単位で離散コサイン変換がされる。このフィールド単位で離散コサイン変換を行う処理モードのことをフィールドＤＣＴモードと呼ぶ。また、フレーム構造では、フレーム内の画素からＤＣＴブロックが形成され、フレーム単位で離散コサイン変換がされる。このフレーム単位で離散コサイン変換を行う処理モードのことをフレームＤＣＴモードと呼ぶ。さらに、フィールド構造では、フィールド内の画素からマクロブロックが形成され、フィールド単位で動き予測がされる。このフィールド単位で動き予測を行う処理モードのことをフィールド動き予測モードと呼ぶ。また、フレーム構造では、フレーム内の画素からマクロブロックが形成され、フレーム単位で動き予測がされる。フレーム単位で動き予測を行う処理モードのことをフレーム動き予測モードと呼ぶ。
【００１５】
ところで、上記文献１に示された第３のダウンデコーダを利用して、飛び越し走査方式に対応した圧縮画像データを復号する画像復号装置が、例えば文献「A Compensation Method of Drift Errors in Scalability」（N.OBIKANE,K.TAHARA and J.YONEMITSU,HDTV Work Shop'93）に提案されている（以下、この文献を文献２と呼ぶ）。
【００１６】
この文献２に示された従来の画像復号装置は、図７に示すように、高解像度画像をＭＰＥＧ２で圧縮したビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１３１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされたビットストリームを復号する可変長符号復号装置１３２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置２０３３と、ＤＣＴブロックの全ての係数のうち低周波成分の係数のみを用いて例えば４×４の逆離散コサイン変換をして標準解像度画像を復号する縮小逆離散コサイン変換装置１３４と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１３５と、参照画像を一時記憶するフレームメモリ１３６と、フレームメモリ１３６が記憶した参照画像に１／４画素精度で動き補償をする動き補償装置１３７とを備えている。
【００１７】
この文献２に示された従来の画像復号装置の縮小逆離散コサイン変換装置１３４は、ＤＣＴブロック内の全ての係数のうち低周波成分の係数のみを用いて逆離散コサイン変換をするが、フレームＤＣＴモードとフィールドＤＣＴモードとで、逆離散コサイン変換を行う係数の位置が異なっている。
【００１８】
具体的には、縮小逆離散コサイン変換装置１３４は、フィールドＤＣＴモードの場合には、図８に示すように、ＤＣＴブロック内の８×８個のうち、低域の４×４個の係数のみに逆離散コサイン変換を行う。それに対し、縮小逆離散コサイン変換装置１３４は、フレームＤＣＴモードの場合には、図９に示すように、ＤＣＴブロック内の８×８個の係数のうち、４×２個＋４×２個の係数のみに逆離散コサイン変換を行う。
【００１９】
また、この文献２に示された従来の画像復号装置の動き補償装置１３７は、 高解像度画像に対して行われた動き予測の情報（動きベクトル）に基づき、フィールド動き予測モード及びフレーム動き予測モードのそれぞれに対応した１／４画素精度の動き補償を行う。すなわち、通常ＭＰＥＧ２では１／２画素精度で動き補償が行われることが定められているが、高解像度画像から標準解像度画像を復号する場合には、ピクチャ内の画素数が１／２に間引かれるため、動き補償装置１３７では動き補償の画素精度を１／４画素精度として動き補償を行っている。
【００２０】
従って、動き補償装置１３７では、高解像度画像に対応した動き補償を行うため、標準解像度の画像としてフレームメモリ１３６に格納された参照画像の画素に対して線形補間して、１／４画素精度の画素を生成している。
【００２１】
具体的に、フィールド動き予測モード及びフレーム動き予測モードの場合の垂直方向の画素の線形補間処理を、図１０及び図１１を用いて説明する。なお、図面中には、縦方向に垂直方向の画素の位相を示し、表示画像の各画素が位置する位相を整数で示している。
【００２２】
まず、フィールド動き予測モードで動き予測がされた画像の補間処理について、図１０を用いて説明する。高解像度画像（上位レイヤー）に対しては、図１０（ａ）に示すように、各フィールドそれぞれ独立に、１／２画素精度で動き補償がされる。これに対し、標準解像度画像（下位レイヤー）に対しては、図１０（ｂ）に示すように、整数精度の画素に基づきフィールド内で線形補間をして、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素を生成し、動き補償がされる。すなわち、標準解像度画像（下位レイヤー）では、トップフィールドの整数精度の各画素に基づきトップフィールドの１／４画素精度の各画素が線形補間により生成され、ボトムフィールドの整数精度の各画素に基づきボトムフィールドの１／４画素精度の各画素が線形補間により生成される。例えば、垂直方向の位相が０の位置にあるトップフィールドの画素の値をａ、垂直方向の位相が１の位置にあるトップフィールドの画素の値をｂとする。この場合、垂直方向の位相が１／４の位置にあるトップフィールドの画素は（３ａ＋ｂ）／４となり、垂直方向の位相が１／２の位置にあるトップフィールドの画素は（ａ＋ｂ）／２となり、垂直方向の位相が３／４の位置にあるトップフィールドの画素は（ａ＋３ｂ）／４となる。
【００２３】
続いて、フレーム動き予測モードで動き予測がされた画像の補間処理について、図１１を用いて説明する。高解像度画像（上位レイヤー）に対しては、図１１（ａ）に示すように、各フィールド間で補間処理がされ、すなわち、ボトムフィールドとトップフィールドとの間で補間処理がされ、１／２画素精度で動き補償がされる。標準解像度画像（下位レイヤー）に対しては、図１１（ｂ）に示すように、トップフィールド及びボトムフィールドの２つのフィールドの整数精度の各画素に基づき、垂直方向に１／４画素、１／２画素、３／４画素分の位相がずれた画素が線形補間により生成され、動き補償がされる。例えば、垂直方向の位相が−１の位置にあるボトムフィールドの画素の値をａ、垂直方向の位相が０の位置にあるトップフィールドの画素の値をｂ、垂直方向の位相が１の位置にあるボトムフィールドの画素の値をｃ、垂直方向の位相が２の位置にあるトップフィールドの画素の値をｄ、垂直方向の位相が３の位置にあるボトムフィールドの画素の値をｅとする。この場合、垂直方向の位相が０〜２の間にある１／４画素精度の各画素は、以下のように求められる。
【００２４】
垂直方向の位相が１／４の位置にある画素は（ａ＋４ｂ＋３ｃ）／８となる。垂直方向の位相が１／２の位置にある画素は（ａ＋３ｃ）／４となる。垂直方向の位相が３／４の位置にある画素は（ａ＋２ｂ＋３ｃ＋２ｄ）／８となる。垂直方向の位相が５／４の位置にある画素は（２ｂ＋３ｃ＋２ｄ＋ｅ）／８となる。垂直方向の位相が３／２の位置にある画素は（３ｃ＋ｅ）／４となる。垂直方向の位相が７／４の位置にある画素は（３ｃ＋４ｄ＋ｅ）／８となる。
【００２５】
以上のように上記文献２に示された従来の画像復号装置は、飛び越し走査方式に対応した高解像度画像の圧縮画像データを、標準解像度画像データに復号することができる。
【００２６】
しかしながら、上記文献２に示された従来の画像復号装置では、フィールドＤＣＴモードで得られる標準解像度画像の各画素と、フレームＤＣＴモードで得られる標準解像度の各画素との位相がずれる。具体的には、フィールドＤＣＴモードでは、図１２に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。それに対して、フレームＤＣＴモードでは、図１３に示すように、下位レイヤーのトップフィールドの各画素の垂直方向の位相が０、２・・・となり、下位レイヤーのボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。そのため、位相が異なる画像がフレームメモリ１３６に混在し、出力する画像の画質が劣化する。
【００２７】
また、上記文献２に示された従来の画像復号装置では、フィールド動き予測モードとフレーム動き予測モードとで位相ずれの補正がされていない。そのため、出力する画像の画質が劣化する。
【００２８】
【発明が解決しようとする課題】
このような問題を解決するための画像復号装置が、特願平１０−２０８３８５号により提案されている。
【００２９】
つぎに、特願平１０−２０８３８５で提案された画像復号装置について説明する。
【００３０】
図１４に示す特願平１０−２０８３８５号で提案した画像復号装置２００は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００３１】
なお、以下、高解像度画像のことを上位レイヤーとも呼び、標準解像度画像のことを下位レイヤーとも呼ぶものとする。また、通常、８×８の離散コサイン係数を有するＤＣＴブロックを逆離散コサイン変換した場合８×８の画素から構成される復号データを得ることができるが、例えば、８×８の離散コサイン係数を復号して４×４の画素から構成される復号データを得るような、逆離散コサイン変換をするとともに解像度を縮小する処理を、縮小逆離散コサイン変換という。
【００３２】
この画像復号装置２００は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置２０１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置２０２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置２０３と、フィールドＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフィールドモード用縮小逆離散コサイン変換装置２０４と、フレームＤＣＴモードで離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成するフレームモード用縮小逆離散コサイン変換装置２０５と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置２０６と、参照画像を一時記憶するフレームメモリ２０７と、フレームメモリ２０７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置２０８と、フレームメモリ２０７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置２０９と、フレームメモリ２０７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２１０とを備えている。
【００３３】
フィールドモード用縮小逆離散コサイン変換装置２０４は、入力されたビットストリームのマクロブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合に用いられる。フィールドモード用縮小逆離散コサイン変換装置２０４は、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。このフィールドモード用縮小逆離散コサイン変換装置２０４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図１５に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。すなわち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００３４】
フレームモード用縮小逆離散コサイン変換装置２０５は、入力されたビットストリームのマクロブロックが、フレームＤＣＴモードで離散コサイン変換されている場合に用いられる。フレームモード用縮小逆離散コサイン変換装置２０５は、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、縮小逆離散コサイン変換を行う。そして、フレームモード用縮小逆離散コサイン変換装置２０５では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドモード用縮小逆離散コサイン変換装置２０４で生成した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、フレームモード用縮小逆離散コサイン変換装置２０５で復号された画像データの各画素の位相は、図１５に示すように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。
【００３５】
なお、このフレームモード用縮小逆離散コサイン変換装置２０５の処理については、その詳細を後述する。
【００３６】
加算装置２０６は、フィールドモード用縮小逆離散コサイン変換装置２０４又はフレームモード用縮小逆離散コサイン変換装置２０５により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ２０７に格納する。また、加算装置２０６は、フィールドモード用縮小逆離散コサイン変換装置２０４又はフレームモード用縮小逆離散コサイン変換装置２０５により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置２０８或いはフレームモード用動き補償装置２０９により動き補償がされた参照画像を合成して、フレームメモリ２０７に格納する。
【００３７】
フィールドモード用動き補償装置２０８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置２０８は、フレームメモリ２０７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置２０８により動き補償がされた参照画像は、加算装置２０６に供給され、インター画像に合成される。
【００３８】
フレームモード用動き補償装置２０９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置２０９は、フレームメモリ２０７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置２０９により動き補償がされた参照画像は、加算装置２０６に供給され、インター画像に合成される。
【００３９】
画枠変換・位相ずれ補正装置２１０は、フレームメモリ２０７が記憶した標準解像度の参照画像或いは加算装置２０６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換・位相ずれ補正装置２１０は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる標準解像度画像を、例えば、トップフィールドの各画素の垂直方向の位相が０、２、４・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３、５・・・となるように補正する。また、画枠変換・位相ずれ補正装置２１０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００４０】
特願平１０−２０８３８５で提案した画像復号装置２００では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【００４１】
つぎに、上記フレームモード用縮小逆離散コサイン変換装置２０５の処理内容について、さらに詳細に説明する。
【００４２】
フレームモード用縮小逆離散コサイン変換装置２０５には、図１６に示すように、高解像度画像を圧縮符号化したビットストリームが、１つのＤＣＴブロック単位で入力される。
【００４３】
まず、ステップＳ１において、この１つのＤＣＴブロックの離散コサイン係数ｙ（ＤＣＴブロックの全ての離散コサイン係数のうち垂直方向の係数をｙ1〜ｙ8として図中に示す。）に対して、８×８の逆離散コサイン変換（ＩＤＣＴ８×８）を行う。逆離散コサイン変換をすることにより、８×８の復号された画素データｘ（ＤＣＴブロックの全ての画素データのうち垂直方向の画素データをｘ1〜ｘ8として図中に示す。）を得ることができる。
【００４４】
続いて、ステップＳ２において、この８×８の画素データｘを、垂直方向に１ライン毎交互に取り出して、飛び越し走査に対応した４×４のトップフィールドの画素ブロックと、飛び越し走査に対応した４×４のボトムフィールドの画素ブロックの２つの画素ブロックに分離する。すなわち、垂直方向に１ライン目の画素データｘ1と、３ライン目の画素データｘ3と、５ライン目の画素データｘ5と、７ライン目の画素データｘ7とを取り出して、トップフィールドに対応した画素ブロックを生成する。また、垂直方向に２ライン目の画素データｘ2と、４ライン目の画素データｘ4と、６ライン目の画素データｘ6と、８ライン目の画素データｘ8とを取り出して、ボトムフィールドに対応した画素ブロックを生成する。なお、ＤＣＴブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離する処理を、以下フィールド分離という。
【００４５】
続いて、ステップＳ３において、フィールド分離した２つの画素ブロックそれぞれに対して４×４の離散コサイン変換（ＤＣＴ４×４）をする。
【００４６】
続いて、ステップＳ４において、４×４の離散コサイン変換をして得られたトップフィールドに対応する画素ブロックの離散コサイン係数ｚ（トップフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ1，ｚ3，ｚ5，ｚ7として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。また、４×４の離散コサイン変換をして得られたボトムフィールドに対応する画素ブロックの離散コサイン係数ｚ（ボトムフィールドに対応する画素ブロックの全ての係数のうち垂直方向の離散コサイン係数をｚ2，ｚ4，ｚ6，ｚ8として図中に示す。）の高域成分を間引き、２×２の離散コサイン係数から構成される画素ブロックとする。
【００４７】
続いて、ステップＳ５において、高域成分の離散コサイン係数を間引いた画素ブロックに対して、２×２の逆離散コサイン変換（ＩＤＣＴ２×２）を行う。２×２の逆離散コサイン変換をすることにより、２×２の復号された画素データｘ′（トップフィールドの画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′1，ｘ′3として図中に示し、また、ボトムフィールドに対応する画素ブロックの全ての画素データのうち垂直方向の画素データをｘ′2，ｘ′4として図中に示す。）を得ることができる。
【００４８】
続いて、ステップＳ６において、トップフィールドに対応する画素ブロックの画素データと、ボトムフィールドに対応する画素ブロックの画素データとを、垂直方向に１ラインずつ交互に合成して、４×４の画素データから構成される縮小逆離散コサイン変換をしたＤＣＴブロックを生成する。なお、トップフィールドとボトムフィールドに対応した２つの画素ブロックの各画素を垂直方向に交互に合成する処理を、以下フレーム合成という。
【００４９】
以上のステップＳ１からステップＳ６を行うことにより、フレームモード用縮小逆離散コサイン変換装１５では、図１５で示したような、フィールドモード用縮小逆離散コサイン変換装置２０４で生成した標準解像度画像の画素の位相と同位相の画素から構成される４×４のＤＣＴブロックを生成することができる。
【００５０】
また、フレームモード用縮小逆離散コサイン変換装置２０５では、以上のステップＳ１からステップＳ６までの処理を１つの行列を用いて演算する。具体的には、フレームモード用縮小逆離散コサイン変換装置２０５では、以上の処理を加法定理を用いて展開計算することにより得られる以下の式（１）に示す行列［ＦＳ′］と、１つのＤＣＴブロックの離散コサイン係数ｙ（ｙ1〜ｙ8）とを行列演算することにより、縮小逆離散コサイン変換したＤＣＴブロックの画素データｘ′（ｘ′1〜ｘ′4）を得ることができる。
【００５１】
【数１】
但し、この式（１）において、Ａ〜Ｊは以下の通りである。
【００５３】
【数２】
以上のように特願平１０−２０８３８５で提案した画像復号装置２００においては、フィールドＤＣＴモードでは、トップフィールドとボトムフィールドとのそれぞれに４×４の縮小逆離散コサイン変換を行い標準解像度画像を復号し、フレームＤＣＴモードでは、フレーム分離をして縮小逆離散コサイン変換を行い標準解像度画像を復号する。この画像復号装置２００では、このようにフィールドＤＣＴモードとフレームＤＣＴモードとで異なる処理を行うため、飛び越し走査画像が有するインタレース性を損なうことなく、かつ、フィールドＤＣＴモードとフレームＤＣＴモードとで復号した画像の位相を同一とすることができ、出力する画像の画質を劣化させない。
【００５５】
なお、上記画像復号装置２００では、フィールドモード用縮小逆離散コサイン変換装置２０４の４×４の縮小逆離散コサイン変換処理、及び、フレームモード用縮小逆離散コサイン変換装置２０５の上記ステップＳ１〜ステップＳ６の縮小逆離散コサイン変換処理を、高速アルゴリズムを用いて処理してもよい。
【００５６】
例えば、Ｗａｎｇのアルゴリズム（参考文献：Zhong DE Wang.,"Fast Algorithms for the Discrete W Transform and for the Discrete Fourier Transform",IEEE Tr.ASSP-32,NO.4,pp.803-816, Aug.1984）を用いることにより、処理を高速化することができる。
【００５７】
フィールドモード用縮小逆離散コサイン変換装置２０４が演算をする行列を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（２）に示すように分解される。
【００５８】
【数３】
図１７にフィールドモード用縮小逆離散コサイン変換装置２０４の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。
【００６０】
この処理フローは、第１から第５の乗算器２０４ａ〜２０４ｅ及び第１から第９の加算器２０４ｆ〜２０４ｎから構成され、１次元の離散コサイン係数Ｘ（０）〜Ｘ（３）が入力される。第１から第５の乗算器２０４ａ〜２０４ｅに示しているＷ0〜Ｗ4は、各乗算器が乗算する値を示している。この処理フローからは、以下の式（３）〜式（６）に示す演算がされた４つの係数値或いは画素値Ｙ（０）〜Ｙ（３）が出力される。なお、この式（３）〜式（６）では、Ｗ0＝Ｗ1の関係がある。
【００６１】
【数４】
フィールドモード用縮小逆離散コサイン変換装置２０４では、ＤＣＴブロックの低域の４×４の垂直方向の４個の係数に対して図１７に示す処理フローを施した後、係数位置をメモリ内で９０°転換し、ＤＣＴブロックの低域の４×４の水平方向の４個の係数に対して再度この図１７に示す処理フローを施す。
【００６３】
このようにＷａｎｇのアルゴリズムを適用することにより演算を高速化することができる。
【００６４】
また、フレームモード用縮小逆離散コサイン変換装置２０５が演算をする行列［ＦＳ′］を、Ｗａｎｇのアルゴリズムを用いて分解すると、以下の式（７）に示すように分解される。
【００６５】
【数５】
但し、この式（７）において、Ａ〜Ｊは、以下の通りである。
【００６７】
【数６】
図１８にフレームモード用縮小逆離散コサイン変換装置２０５の処理にＷａｎｇのアルゴリズムを適用した場合の処理フローを示す。
【００６９】
この処理フローは、第１から第１０の乗算器２０５ａ〜２０５ｊ及び第１から第１２の加算器２０５ｋ〜２０５ｖから構成され、１次元の離散コサイン係数Ｘ（０）〜Ｘ（７）が入力される。第１から第１０の乗算器２０５ａ〜２０５ｊに示しているＷ0〜Ｗ9は、各乗算器が乗算する値を示している。この処理フローからは、以下の式（８）〜式（１１）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力される。なお、この式（８）〜式（１１）では、Ｗ0＝Ｗ1の関係がある。
【００７０】
【数７】
フレームモード用縮小逆離散コサイン変換装置２０５では、ＤＣＴブロックの低域の８×４の垂直方向の８個の係数に対して図１８に示す処理フローを施した後、係数位置をメモリ内で９０°転換し、ＤＣＴブロックの低域の４×４の水平方向の４個の係数に対して図１７に示す処理フローを施す。
【００７２】
このようにＷａｎｇのアルゴリズムを適用することにより演算を高速化することができる。
【００７３】
ところで、以上のような特願平１０−２０８３８５号で提案した画像復号装置２００では、フィールドモード時の縮小逆離散コサイン変換と、フレームモード時の縮小逆離散コサイン変換とが全く別の処理フローとなっている。
【００７４】
そのため、例えば、これらの処理をソフトウェアで行おうとした場合には、コードサイズが大きくなり、多くの命令メモリが必要となってしまう。同様に、コードサイズが大きくなることによりキャッシュミスを起こし易くなり、復号処理の低下を招く可能性がある。また、これらの処理を専用回路で行おうとした場合も、回路規模が大きくなってしまう。
【００７５】
本発明は、このような実情を鑑みてなされたものであり、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくすことが可能な、高解像度画像の圧縮画像データから標準解像度の画像データを復号する画像復号装置及び画像復号方法であって、処理フローを簡略化した画像復号装置及び画像復号方法を提供することを目的とする。
【００７６】
【課題を解決するための手段】
本発明にかかる画像復号装置は、８×８画素からなる画素ブロックに対して２次元の直交変換をして８×８係数からなる直交変換ブロックを生成して圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度の１／２の解像度の動画像データを復号する画像復号装置であって、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた直交変換ブロックと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をして、４×４係数となる直交変換ブロックを生成する第１の逆直交変換手段と、上記第１の逆直交変換手段により逆直交変換がされた４×４係数に対して、水平方向の１次元の逆直交変換をして、４×４画素からなる画素ブロックを生成する第２の逆直交変換手段とを備え、上記第１の逆直交変換手段は、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成することを特徴とする。
【００７７】
この画像復号装置では、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成する。そして、この画像復号装置では、第１の解像度より低い第２の解像度の動画像データを出力する。さらに、この画像復号装置では、フィールド直交変換モードにより直交変換がされた直交変換ブロックと、フレーム直交変換モードにより直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をする。
【００７８】
また、本発明にかかる画像復号方法は、８×８画素からなる画素ブロックに対して２次元の直交変換をして８×８係数からなる直交変換ブロックを生成して圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度の１／２の解像度の動画像データを復号する画像復号方法であって、飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた直交変換ブロックと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をして、４×４係数となる直交変換ブロックを生成し、逆直交変換がされた上記４×４係数に対して、水平方向の１次元の逆直交変換をして、４×４画素からなる画素ブロックを生成し、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成することを特徴とする。
【００７９】
この画像復号方法では、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成する。そして、この画像復号装置では、第１の解像度より低い第２の解像度の動画像データを出力する。さらに、この画像復号装置では、フィールド直交変換モードにより直交変換がされた直交変換ブロックと、フレーム直交変換モードにより直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をする。
【００８０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００８１】
図１に本発明の実施の形態の画像復号装置のブロック構成図を示す。
【００８２】
図１に示す画像復号装置１０は、垂直方向の有効ライン数が例えば１１５２本の高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが入力され、この入力されたビットストリームを復号するとともに１／２の解像度に縮小して、垂直方向の有効ライン数が例えば５７６本の標準解像度画像を出力する装置である。
【００８３】
この画像復号装置１０は、圧縮された高解像度画像のビットストリームが供給され、このビットストリームを解析するビットストリーム解析装置１１と、データの発生頻度に応じた符号長を割り当てる可変長符号化がされた上記ビットストリームを復号する可変長符号復号装置１２と、ＤＣＴブロックの各係数に量子化ステップを掛ける逆量子化装置１３と、離散コサイン変換がされたＤＣＴブロックに対して縮小逆離散コサイン変換をして標準解像度画像を生成する縮小逆離散コサイン変換装置１４と、縮小逆離散コサイン変換がされた標準解像度画像と動き補償がされた参照画像とを加算する加算装置１６と、参照画像を一時記憶するフレームメモリ１７と、フレームメモリ１７が記憶した参照画像にフィールド動き予測モードに対応した動き補償をするフィールドモード用動き補償装置１８と、フレームメモリ１７が記憶した参照画像にフレーム動き予測モードに対応した動き補償をするフレームモード用動き補償装置１９と、フレームメモリ１７が記憶した画像に対してポストフィルタリングをすることにより、画枠変換をするとともに画素の位相ずれを補正してテレビジョンモニタ等に表示するための標準解像度の画像データを出力する画枠変換・位相ずれ補正装置２０とを備えている。
【００８４】
縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックがフィールドＤＣＴモードで離散コサイン変換されている場合には、フィールドＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、図８で示したような、低域の４×４の係数のみに逆離散コサイン変換を行う。すなわち、水平方向及び垂直方向の低域の４点の離散コサイン係数に基づき縮小逆離散コサイン変換を行う。この縮小逆離散コサイン変換装置１４では、以上のような縮小逆離散コサイン変換を行うことにより、１つのＤＣＴブロックが４×４の画素から構成される標準解像度画像を復号することができる。この復号された画像データの各画素の位相は、図１５に示したように、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる。すなわち、復号された下位レイヤーのトップフィールドでは、先頭画素（位相が１／２の画素）の位相が上位レイヤーのトップフィールドの先頭から１番目と２番目の画素（位相が０と２の画素）の中間位相となり、先頭から２番目の画素（位相が５／２の画素）の位相が上位レイヤーのトップフィールドの先頭から３番目と４番目の画素（位相が４と６の画素）の中間位相となる。また、復号された下位レイヤーのボトムフィールドでは、先頭画素（位相が１の画素）の位相が上位レイヤーのボトムフィールドの先頭から１番目と２番目の画素（位相が１と３の画素）の中間位相となり、先頭から２番目の画素（位相が３の画素）の位相が上位レイヤーのボトムフィールドの先頭から３番目と４番目の画素（位相が５と７の画素）の中間位相となる。
【００８５】
また、縮小逆離散コサイン変換装置１４は、入力されたビットストリームのマクロブロックがフレームＤＣＴモードで離散コサイン変換されている場合には、フレームＤＣＴモードで離散コサイン変換がされたマクロブロック内の８×８個の係数が示されたＤＣＴブロックに対して、上述したフレームモード用縮小逆離散コサイン変換装置１５と同様の８×４の縮小逆離散コサイン変換を行う。そして、縮小逆離散コサイン変換装置１４では、１つのＤＣＴブロックが４×４の画素から構成される解像度画像を復号するとともに、フィールドＤＣＴモードで離散コサイン変換されている場合に復号した標準解像度画像の画素の位相と同位相の画像を生成する。すなわち、縮小逆離散コサイン変換装置１４は、図１５に示したような、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる画像を生成する。
【００８６】
加算装置１６は、縮小逆離散コサイン変換装置１４により縮小逆離散コサイン変換されたマクロブロックがイントラ画像の場合には、そのイントラ画像をそのままフレームメモリ１７に格納する。また、加算装置１６は、縮小逆離散コサイン変換装置１４により縮小逆離散コサイン変換されたマクロブロックがインター画像である場合には、そのインター画像に、フィールドモード用動き補償装置１８或いはフレームモード用動き補償装置１９により動き補償がされた参照画像を合成して、フレームメモリ１７に格納する。
【００８７】
フィールドモード用動き補償装置１８は、マクロブロックの動き予測モードがフィールド動き予測モードの場合に用いられる。フィールドモード用動き補償装置１８は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フィールド動き予測モードに対応した動き補償をする。このフィールドモード用動き補償装置１８により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００８８】
フレームモード用動き補償装置１９は、マクロブロックの動き予測モードがフレーム動き予測モードの場合に用いられる。フレームモード用動き補償装置１９は、フレームメモリ１７に記憶されている標準解像度画像の参照画像に対して、トップフィールドとボトムフィールドとの間の位相ずれ成分を考慮した形で１／４画素精度で補間処理を行い、フレーム動き予測モードに対応した動き補償をする。このフレームモード用動き補償装置１９により動き補償がされた参照画像は、加算装置１６に供給され、インター画像に合成される。
【００８９】
画枠変換・位相ずれ補正装置２０は、フレームメモリ１７が記憶した標準解像度の参照画像或いは加算装置１６が合成した画像が供給され、この画像をポストフィルタリングにより、トップフィールドとボトムフィールドとの間の位相ずれ成分を補正するとともに画枠を標準解像度のテレビジョンの規格に合致するように変換する。すなわち、画枠変換・位相ずれ補正装置２０は、トップフィールドの各画素の垂直方向の位相が１／２、５／２・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３・・・となる標準解像度画像を、例えば、トップフィールドの各画素の垂直方向の位相が０、２、４・・・となり、ボトムフィールドの各画素の垂直方向の位相が１、３、５・・・となるように補正する。また、画枠変換・位相ずれ補正装置２０は、高解像度のテレビジョン規格の画枠を、１／４に縮小して標準解像度のテレビジョン規格の画枠に変換する。
【００９０】
この画像復号装置１０では、以上のような構成を有することにより、高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームを、復号するとともに解像度を１／２に縮小して、標準解像度画像を出力することができる。
【００９１】
つぎに、上記縮小逆離散コサイン変換装置１４の処理内容について、さらに詳細に説明する。
【００９２】
縮小逆離散コサイン変換装置１４は、図２に示すように、逆量子化装置１３から高解像度画像をＭＰＥＧ２で画像圧縮したビットストリームが供給される入力バッファ２１と、垂直成分の１次元の逆離散コサイン変換を行う垂直成分逆離散コサイン変換部２２と、中間バッファ２３と、水平成分の１次元の逆離散コサイン変換を行う水平成分逆離散コサイン変換部２４と、出力バッファ２５と有している。
【００９３】
入力バッファ２１には、逆量子化装置１３により逆量子化されたビットストリームがＤＣＴブロック単位で入力され、このＤＣＴブロックを一時格納する。
【００９４】
垂直成分逆離散コサイン変換部２２は、入力バッファ２１に格納されたＤＣＴブロック単位の離散コサイン係数を抜き出し、このＤＣＴブロックに対して垂直方向の一次元の逆離散コサイン変換を行う。このとき、垂直成分逆離散コサイン変換部２２は、８個の垂直方向の係数に対して離散コサイン変換をするとともに、この８個の係数を４個の係数に縮小する縮小逆離散コサイン変換を行う。
【００９５】
また、この垂直成分逆離散コサイン変換部２２には、離散コサイン変換をするＤＣＴブロックの離散コサイン変換のモード情報が入力される。すなわち、そのＤＣＴブロックが、フィールドＤＣＴモードで離散コサイン変換されているか、或いは、フレームＤＣＴモード離散コサイン変換がされているかどうかの情報が入力される。垂直成分逆離散コサイン変換部２２は、離散コサイン変換をするＤＣＴブロックが、フィールドＤＣＴモードで離散コサイン変換されている場合には、上述した特願平１０−２０８３８５号で提案した画像復号装置２００のフィールドモード用縮小逆離散コサイン変換装置２０４と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行う。また、垂直成分逆離散コサイン変換部２２は、離散コサイン変換をするＤＣＴブロックが、フレームＤＣＴモードで離散コサイン変換されている場合には、上述した特願平１０−２０８３８５号で提案した画像復号装置２００のフレームモード用縮小逆離散コサイン変換装置２０５と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行う。
【００９６】
この垂直成分逆離散コサイン変換部２２の具体的な処理フローを図３に示す。
【００９７】
この図３に示した処理フローは、縮小逆離散コサイン変換装置１４が演算をする行列を、分解してＷａｎｇのアルゴリズムに適用したものである。
【００９８】
この垂直成分逆離散コサイン変換部２２の処理フローは、第１から第１０の乗算器３１〜４０及び第１から第１２の加算器４１〜５２から構成され、１次元の離散コサイン係数Ｘ（０）〜Ｘ（７）が入力される。第１から第１０の乗算器３１〜４０に示しているＡ〜Ｊは、各乗算器が乗算する値を示している。
【００９９】
第１の乗算器３１は最も低域の離散コサイン係数Ｘ（０）に対して値Ａを乗算する。第２の乗算器３２は低域から３番目の離散コサイン係数Ｘ（２）に対して値Ｂを乗算する。第３の乗算器３３は低域から５番目の離散コサイン係数Ｘ（４）に対して値Ｃを乗算する。第４の乗算器３４は低域から７番目の離散コサイン係数Ｘ（６）に対して値Ｄを乗算する。第５の乗算器３５は低域から４番目の離散コサイン係数Ｘ（３）に対して値Ｅを乗算する。第６の乗算器３６は低域から６番目の離散コサイン係数Ｘ（５）に対して値Ｆを乗算する。第７の乗算器３７は低域から２番目の離散コサイン係数Ｘ（１）に対して値Ｇを乗算する。第８の乗算器３８は低域から２番目の離散コサイン係数Ｘ（１）に対して値Ｈを乗算する。
【０１００】
また、第９の乗算器３９は、フィールドＤＣＴモードの場合には低域から４番目の離散コサイン係数Ｘ（３）に対して値Ｉを乗算し、また、フレームＤＣＴモードの場合には最も高域の離散コサイン係数Ｘ（７）に対して値Ｉを乗算する。また、第１０の乗算器４０は、フィールドＤＣＴモードの場合には低域から４番目の離散コサイン係数Ｘ（３）に対して値Ｊを乗算し、また、フレームＤＣＴモードの場合には最も高域の離散コサイン係数Ｘ（７）に対して値Ｊを乗算する。この第９及び第１０の乗算器３９，４０に入力する離散コサイン係数の切り換えは、即ち離散コサイン係数Ｘ（３）と離散コサイン係数Ｘ（７）の入力データポートの切り換えは、切換スイッチ６０により行われる。
【０１０１】
従って、フィールドＤＣＴモードの場合、この図３に示す処理フローからは、以下の式（１２）〜式（１５）に示す演算がされた４つの係数値Ｙ（０）〜Ｙ（３）が出力される。
【０１０２】
【数８】
また、フレームＤＣＴモードの場合、この図３に示す処理フローからは、以下の式（１６）〜式（１９）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力される。
【０１０４】
【数９】
また、第１から第１０の各乗算器３１〜４０は、例えば内部にレジスタを備えており、そのレジスタ内に乗算するＡ〜Ｊの値が格納される。このレジスタ内の値は、フィールドＤＣＴモードとフレームＤＣＴモードとで切り換えられる。
【０１０６】
フィールドＤＣＴモードとフレームＤＣＴモードとで切り換えられる各乗算器の乗算定数を以下の表に示す。なお、この表では、Ｗ0＝Ｗ1の関係がある。
【０１０７】
【表１】
この表に示されたフィールドＤＣＴモードの場合の各値を上記式（１２）〜式（１５）に代入すると、図３に示した処理フローからは、以下の式（２０）〜式（２３）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力されることとなる。
【０１０９】
【数１０】
この式（２０）〜式（２３）に示され得たＹ（０）からＹ（３）は、上記式（３）〜式（６）の各値と同一となる。すなわち、特願平１０−２０８３８５号で提案した画像復号装置２００のフィールドモード用縮小逆離散コサイン変換装置２０４と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行っている。
【０１１１】
また、フレームＤＣＴモードの場合の各値を上記式（１６）〜式（１９）に代入すると、図３に示した処理フローからは、以下の式（２４）〜式（２７）に示す演算がされた４つの係数値Ｙ（０）からＹ（３）が出力されることとなる。
【０１１２】
【数１１】
この式（２４）〜式（２７）に示され得たＹ（０）からＹ（３）は、上記式（７）〜式（１１）の各値と同一となる。すなわち、すなわち、特願平１０−２０８３８５号で提案した画像復号装置２００のフレームモード用縮小逆離散コサイン変換装置２０５と同一のアルゴリズムで、垂直方向の逆離散コサイン変換を行う。
【０１１４】
以上のように垂直成分逆離散コサイン変換部２２では、各乗算器３１〜３３の乗算定数を切り換えるとともにデータの入力ポートを切り換えることにより、フィールドＤＣＴモードの場合とフレームＤＣＴモードの場合の垂直方向の縮小逆離散コサイン変換をすることができる。また、この垂直成分逆離散コサイン変換部２２では、フィールドＤＣＴモードの縮小逆離散コサイン変換とフレームＤＣＴモードの縮小逆離散コサイン変換とを１つの処理フローで演算するの、その構成が非常に簡易となる。
【０１１５】
以上のように演算された離散コサイン係数は、中間バッファ２３に一旦格納される。
【０１１６】
水平成分逆離散コサイン変換部２４は、中間バッファ２３に格納されたＤＣＴブロック単位の離散コサイン係数を抜き出し、このＤＣＴブロックに対して水平方向の一次元の逆離散コサイン変換を行う。このとき、水平成分逆離散コサイン変換部２４は、４個の垂直方向の係数に対して離散コサイン変換をする。水平成分逆離散コサイン変換部２４は、離散コサイン変換をするＤＣＴブロックが、フィールドＤＣＴモードで離散コサイン変換されているか、或いは、フレームＤＣＴモードで離散コサイン変換されているかにかかわらず、上述した特願平１０−２０８３８５号で提案した画像復号装置２００のフィールドモード用縮小逆離散コサイン変換装置２０４と同一のアルゴリズムで、水平方向の逆離散コサイン変換を行う。
【０１１７】
すなわち、この水平成分逆離散コサイン変換部２４の処理フローは、上記図１７で示したものと同一となる。
【０１１８】
なお、この水平成分逆離散コサイン変換部２４の処理フローは、上記垂直成分逆離散コサイン変換部２２のフィールドＤＣＴモードの際の処理フローと同一であるので、この垂直成分逆離散コサイン変換部２２の処理フローを流用しても良い。
【０１１９】
出力バッファ２５は、水平成分逆離散コサイン変換部２４が演算した４×４の画素値をＤＣＴブロック単位で一時格納し、加算装置１６に供給する。
【０１２０】
以上のように本発明の実施の形態の画像復号装置１０では、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくた高解像度画像の圧縮画像データから標準解像度の画像データを復号することができ、かつ、その処理フローを簡略化することができる。
【０１２１】
【発明の効果】
本発明にかかる画像復号装置及び画像復号方法では、フレーム直交変換モードにより直交変換がされた直交変換ブロックの全周波数成分の係数に対して逆直交変換をして飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をして低周波成分の係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成する。そして、この画像復号方法では、第１の解像度より低い第２の解像度の動画像データを出力する。さらに、この画像復号方法では、フィールド直交変換モードにより直交変換がされた直交変換ブロックと、フレーム直交変換モードにより直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をする。
【０１２２】
このことにより、本発明では、復号に必要な演算量及び記憶容量を少なくすることができるとともに、飛び越し走査画像が有するインタレース性を損なうことなくフィールド直交変換モードとフレーム直交変換モードとによる画素の位相ずれをなくすことができる。また、第２の解像度の動画像データの画質を向上させることができる。さらに、本発明では、逆離散コサイン変換に伴う処理を簡略化することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像復号装置のブロック図である。
【図２】上記画像復号装置の縮小逆離散コサイン変換装置のブロック構成図である。
【図３】上記縮小離散コサイン変換装置の垂直成分逆離散コサイン変換部の処理フローを示す図である。
【図４】従来の第１のダウンデコーダを示すブロック図である。
【図５】従来の第２のダウンデコーダを示すブロック図である。
【図６】従来の第３のダウンデコーダを示すブロック図である。
【図７】従来の画像復号装置のブロック図である。
【図８】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図９】上記従来の画像復号装置のフィールドＤＣＴモードにおける縮小逆離散コサイン変換処理を説明するための図である。
【図１０】上記従来の画像復号装置のフィールド動き予測モードにおける線形補間処理を説明するための図である。
【図１１】上記従来の画像復号装置のフレーム動き予測モードにおける線形補間処理を説明するための図である。
【図１２】上記従来の画像復号装置のフィールドＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図１３】上記従来の画像復号装置のフレームＤＣＴモードの結果得られる画素の位相を説明するための図である。
【図１４】特願平１０−２０８３８５で提案された画像復号装置のブロック図である。
【図１５】上記特願平１０−２０８３８５で提案された画像復号装置のフレームメモリに格納される参照画像の垂直方向の画素の位相を説明するための図である。
【図１６】上記特願平１０−２０８３８５で提案された画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理の内容を説明するための図である。
【図１７】Ｗａｎｇのアルゴリズムを上記特願平１０−２０８３８５で提案された画像復号装置のフィールドモード用縮小逆離散コサイン変換装置の処理に適用した場合の演算フローを示す図である。
【図１８】Ｗａｎｇのアルゴリズムを上記特願平１０−２０８３８５で提案された画像復号装置のフレームモード用縮小逆離散コサイン変換装置の１ブロック処理に適用した場合の演算フローを示す図である。
【符号の説明】
１０ 画像復号装置、１４ 縮小逆離散コサイン変換装置、２２ 垂直成分逆離散コサイン変換部、２４ 水平成分逆離散コサイン変換部
Claims (4)
- ８×８画素からなる画素ブロックに対して２次元の直交変換をして８×８係数からなる直交変換ブロックを生成して圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度の１／２の解像度の動画像データを復号する画像復号装置において、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた直交変換ブロックと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をして、４×４係数となる直交変換ブロックを生成する第１の逆直交変換手段と、
上記第１の逆直交変換手段により逆直交変換がされた４×４係数に対して、水平方向の１次元の逆直交変換をして、４×４画素からなる画素ブロックを生成する第２の逆直交変換手段とを備え、
上記第１の逆直交変換手段は、フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成すること
を特徴とする画像復号装置。 - 上記第１の逆直交変換手段及び第２の逆直交変換手段は、高速アルゴリズムに基づき逆直交変換をすること
を特徴とする請求項１に記載の画像復号装置。 - ８×８画素からなる画素ブロックに対して２次元の直交変換をして８×８係数からなる直交変換ブロックを生成して圧縮符号化をした第１の解像度の圧縮画像データから、上記第１の解像度の１／２の解像度の動画像データを復号する画像復号方法において、
飛び越し走査に対応した直交変換方式（フィールド直交変換モード）により直交変換がされた直交変換ブロックと、順次走査に対応した直交変換方式（フレーム直交変換モード）により直交変換がされた直交変換ブロックとで、逆直交変換に用いる各乗算係数を切り換えるとともに各乗算係数に入力する係数を切り換え、上記圧縮画像データの直交変換ブロックの各係数のうち８×４係数に対して垂直方向の１次元の逆直交変換をして、４×４係数となる直交変換ブロックを生成し、
逆直交変換がされた上記４×４係数に対して、水平方向の１次元の逆直交変換をして、４×４画素からなる画素ブロックを生成し、
フィールド直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向及び垂直方向の低域の４係数に対して逆直交変換をして４×４係数からなる直交変換ブロックを生成し、
フレーム直交変換モードにより直交変換された上記直交変換ブロックの各係数に対しては、水平方向の低域の４係数及び垂直方向の８係数に対して逆直交変換をし、逆直交変換をした直交変換ブロックの各画素を飛び越し走査に対応した２つの画素ブロックに分離し、分離した２つの画素ブロックに対してそれぞれ直交変換をし、直交変換をした２つの画素ブロックの各係数のうち水平方向及び垂直方向２係数に対して逆直交変換をし、逆直交変換をした２つの画素ブロックを合成して４×４係数からなる直交変換ブロックを生成すること
を特徴とする画像復号方法。 - 高速アルゴリズムに基づき逆直交変換をすること
を特徴とする請求項３に記載の画像復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04373499A JP3937632B2 (ja) | 1999-02-22 | 1999-02-22 | 画像復号装置及び画像復号方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04373499A JP3937632B2 (ja) | 1999-02-22 | 1999-02-22 | 画像復号装置及び画像復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000244916A JP2000244916A (ja) | 2000-09-08 |
| JP3937632B2 true JP3937632B2 (ja) | 2007-06-27 |
Family
ID=12672024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04373499A Expired - Fee Related JP3937632B2 (ja) | 1999-02-22 | 1999-02-22 | 画像復号装置及び画像復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3937632B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003223433A (ja) * | 2002-01-31 | 2003-08-08 | Matsushita Electric Ind Co Ltd | 直交変換方法、直交変換装置、符号化方法、符号化装置、逆直交変換方法、逆直交変換装置、復号化方法、及び、復号化装置 |
-
1999
- 1999-02-22 JP JP04373499A patent/JP3937632B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000244916A (ja) | 2000-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4026238B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP3975629B2 (ja) | 画像復号装置及び画像復号方法 | |
| US6748018B2 (en) | Picture decoding method and apparatus | |
| US6650708B1 (en) | Video signal encoding apparatus | |
| KR100370076B1 (ko) | 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법 | |
| KR19980080157A (ko) | 이산 코사인 변환 인코드 화상의 다운 변환을 위한 주파수 영역 필터링 | |
| US20020090028A1 (en) | Codec system and method for spatially scalable video data | |
| JP2000059795A (ja) | 情報ストリ―ムデコ―ダにおいてモ―ションベクトル情報を適応的にスケ―リングする方法および装置 | |
| JP2001204026A (ja) | 画像情報変換装置及び方法 | |
| JP4361987B2 (ja) | フィールドモード符号化を含む画像フレームのサイズ変更のための方法及び装置 | |
| KR100711597B1 (ko) | 감소된 해상도의 비디오 신호를 유도하기 위한 디코딩 장치 및 방법 | |
| JP2001285863A (ja) | 画像情報変換装置及び方法 | |
| JP3937599B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP4051772B2 (ja) | 画像復号装置及び画像復号方法 | |
| KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
| US6493391B1 (en) | Picture decoding method and apparatus | |
| US6532309B1 (en) | Picture decoding method and apparatus | |
| JP3937632B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP4051799B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP4016166B2 (ja) | 画像復号装置及び画像復号方法 | |
| JP2000041253A (ja) | 画像復号装置及び画像復号方法 | |
| JP2000059777A (ja) | 画像復号装置及び画像復号方法 | |
| JP2000041254A (ja) | 画像復号装置及び画像復号方法 | |
| JP2001285875A (ja) | 画像情報変換装置及び方法 | |
| JP2002034046A (ja) | 画像情報変換装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070319 |
|
| LAPS | Cancellation because of no payment of annual fees |