JP3643777B2

JP3643777B2 - 動画像復号装置および動画像復号方法

Info

Publication number: JP3643777B2
Application number: JP2001054495A
Authority: JP
Inventors: 勝典平瀬
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2001-02-28
Filing date: 2001-02-28
Publication date: 2005-04-27
Anticipated expiration: 2021-02-28
Also published as: JP2002262293A; US7024052B2; US20020118757A1

Description

【０００１】
【発明の属する技術分野】
この発明は、ＭＰＥＧ（Moving Picture Expert Group）等の方式で圧縮符号化された信号を復号化する動画像復号方法および動画像復号装置の構成に関する。
【０００２】
【従来の技術】
デジタルＴＶなどの分野において画像データを圧縮符号化するための画像符号化方式としてＭＰＥＧ方式が知られている。
【０００３】
このＭＰＥＧ方式のうち代表的なものとしては、ＭＰＥＧ１と、ＭＰＥＧ２がある。ＭＰＥＧ１では、順次走査（ノンインターレース走査）の画像だけが対象であるが、ＭＰＥＧ２では、順次走査の画像だけでなく、飛び越し走査（インターレース走査）の画像が対象となる。
【０００４】
このようなＭＰＥＧの符号化には、動き補償予測（時間的圧縮）、ＤＣＴ（Discrete Cosine Transform）（空間的圧縮）およびエントロピー符号化（可変長符号化）が採用されている。ＭＰＥＧの符号化では、まず、マクロブロック単位毎に、時間軸方向の予測符号化（ＭＰＥＧ１ではフレーム予測符号化、ＭＰＥＧ２ではフレーム予測符号化またはフィールド予測符号化）が行われる。
【０００５】
マクロブロックは、たとえば、１６（水平方向画像数）×１６（垂直方向画素数）の大きさのＹ信号（輝度信号）と、８（水平方向画像数）×８（垂直方向画素数）の大きさのＣｂ信号（色差信号）と、８（水平方向画像数）×８（垂直方向画素数）の大きさのＣｒ信号（色差信号）とからなる。
【０００６】
以下では、説明の便宜上、Ｙ信号についてのみ説明する。予測符号化方式に対応して、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類の画像タイプが存在する。以下では、フレーム内予測符号化を例にとって説明する。
【０００７】
（１）Ｉピクチャ：フレーム内の情報のみから符号化された画面で、フレーム間予測を行わずに生成される画面である。Ｉピクチャ内の全てのマクロブロック・タイプは、フレーム内情報のみで符号化するフレーム内予測符号化である。
【０００８】
（２）Ｐピクチャ：ＩまたはＰピクチャからの予測を行うことによって生成される画面であり、一般的に、Ｐピクチャ内のマクロブロック・タイプは、フレーム内情報のみで符号化するフレーム内符号化と、過去の再生画像から予測する順方向フレーム間予測符号化との両方を含んでいる。
【０００９】
（３）Ｂピクチャ：双方向予測によってできる画面で、一般的に、以下のマクロブロック・タイプを含んでいる。
【００１０】
ａ）フレーム内情報のみで符号化するフレーム内予測符号化
ｂ）過去の再生画像から予測する順方向フレーム間予測符号化
ｃ）未来から予測する逆方向フレーム間予測符号化
ｄ）前後両方の予測による内挿的フレーム間予測符号化
ここで、内挿的フレーム間予測とは、順方向予測と逆方向予測の２つの予測を対応画素間で平均することをいう。
【００１１】
したがって、このような全てのマクロブロック・タイプに対応して復号処理を行うためのＭＰＥＧ復号器では、一般的には、ＩピクチャまたはＰピクチャを格納しておくための参照画像用のメモリとしては、２画面分のメモリが必要になってしまう。
【００１２】
そこで、たとえば、特開２０００−４４４０号公報には、ＭＰＥＧ等で圧縮された動画像を復号する際に、データをフレームメモリに圧縮して格納することで、メモリ容量の低減化が図れる動画像復号化方法および動画像復号化装置が示されている。
【００１３】
すなわち、特開２０００−４４４０号公報に開示された動画像復号化方法は、ＭＰＥＧ方式によって圧縮符号化された信号を、逆ＤＣＴを行なって得た画像データに基づいて、または得られた上記画像データと参照画像データとに基づいて第１の再生画像データを生成する第１ステップ、第１の再生画像データに対してアダマール変換符号化を行なって第１の再生画像データに対してビット方向にデータ量が削減された第２の再生画像データを生成する第２ステップ、第２ステップによって得られた第２の再生画像データのうち参照画像データを生成するために必要な第２の再生画像データを参照画像用メモリに記憶させる第３ステップ、ならびに参照画像用メモリに格納された第２の再生画像データに基づいて第１の再生画像データに対応した参照画像データを生成する第４ステップを備えることによって実現することができる。
【００１４】
【発明が解決しようとする課題】
しかし、特開２０００−４４４０号公報に開示された動画像復号化方法では、直交変換の後整数化を行なう場合に、すべて同じ方向で整数化を行なっているので、上記の方法では、画面全体として切り上げになる確率が高くなり、誤差蓄積により劣化が目立つ場合があるという問題点があった。
【００１５】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、誤差蓄積を低減して目立つ劣化を抑えた動画像復号方法および装置を提供することである。
【００１６】
【課題を解決するための手段】
請求項１記載の動画像復号装置は、動画像を圧縮するにあたり時間軸方向に予測符号化を行なった圧縮符号化画像データを復号するための動画像復号装置であって、圧縮符号化画像データを受けて、再生画像データを生成するための画像再生手段と、画像再生手段の出力を受けて、所定のデータ変換ブロックごとに直交変換を行ないデータ圧縮を行なうための直交圧縮変換手段と、直交圧縮変換の出力を受けて、予測符号化に対する参照画像データを格納するための記憶手段とを備え、直交圧縮変換手段は、所定のデータ変換ブロックごとに直交変換後の整数化方式を切り替える。
【００１７】
請求項２記載の動画像復号装置は、請求項１記載の動画像復号装置の構成に加えて、直交圧縮変換手段は、所定のデータ変換ブロックごとに直交変換後の整数化のためのしきい値のレベルを切り替える、請求項１記載の動画像復号装置。
【００１８】
請求項３記載の動画像復号装置は、請求項１または２記載の動画像復号装置の構成に加えて、直交圧縮変換手段は、直交変換としてアダマール変換を行なう。
【００１９】
請求項４記載の動画像復号装置は、請求項１記載の動画像復号装置の構成に加えて、圧縮画像データは、輝度信号と色差信号とを含み、直交圧縮変換手段は、輝度信号については、所定のデータ変換ブロックごとに直交変換後の整数化方式を切り替え、色差信号については、ＤＣ成分は所定のデータ変換ブロックごとに直交変換後の整数化方式を切り替え、ＡＣ成分は全ての所定のデータ変換ブロックについて切り捨て処理を行なう。
【００２０】
請求項５記載の動画像復号装置は、請求項４記載の動画像復号装置の構成に加えて、直交圧縮変換手段は、直交変換としてアダマール変換を行なう。
【００２１】
請求項６記載の動画像復号方法は、動画像を圧縮するにあたり時間軸方向に予測符号化を行なった圧縮画像データを信号に対して、再生処理を行なって得た画像データに基づいて、または得られた上記画像データと参照画像データとに基づいて第１の再生画像データを生成する第１ステップと、第１の再生画像データの所定のデータ変換ブロックごとに直交変換後の整数化方式を切り替えて直交変換符号化を行ない、第１の再生画像データに対してビット方向にデータ量が削減された第２の再生画像データを生成する第２ステップと、第２の再生画像データのうち参照画像データを生成するために必要な第２の再生画像データを参照画像用メモリに記憶させる第３ステップと、参照画像用メモリに格納された第２の再生画像データに基づいて第１の再生画像データに対応した参照画像データを生成する第４ステップとを備える。
【００２２】
請求項７記載の動画像復号方法は、請求項６記載の動画像復号方法の構成に加えて、第２のステップにおいては、所定のデータ変換ブロックごとに直交変換後の整数化のためのしきい値のレベルを切り替える。
【００２３】
請求項８記載の動画像復号方法は、請求項６または７記載の動画像復号方法の構成に加えて、第２のステップにおいては、直交変換としてアダマール変換を行なう。
【００２４】
【発明の実施の形態】
［ＭＰＥＧ復号器１０００の構成］
図１は、ＭＰＥＧ復号器１０００の構成を示す概略ブロック図である。
【００２５】
図１を参照して、変換係数の可変長符号は、可変長符号化器２１に送られる。ブロック・タイプを含む制御信号はＣＰＵ４０に送られる。動きベクトルの可変長符号は、可変長復号化器３０に送られて復号化される。可変長復号化器３０によって得られた動きベクトルは、ベクトル値変換回路３１に送られ、動きベクトルの水平方向の大きさが１／２になるように変換される。ベクトル値変換回路３１によって水平方向の大きさが１／２になるように変換された動きベクトルは、第１参照画像メモリ２７および第２参照画像メモリ２８に、参照画像の切り出し位置を制御するための制御信号として送られる。可変長符号化器２１は、変換係数の可変長符号を復号化する。逆量子化器２２は、可変長符号化器２１から得た変換係数（量子化されたＤＣＴ係数）を逆量子化してＤＣＴ係数に変換する。水平高域係数除去回路（係数削減回路）２３は、逆量子化器２２で生成されたＤＣＴ係数を８（水平方向画素数）×８（垂直方向画素数）のサブブロック単位に対応する８×８のＤＣＴ係数に戻すとともに、各サブブロックの水平周波数の高域成分のＤＣＴ係数を除去して、４（水平周波数方向）×８（垂直周波数方向）の数のＤＣＴ係数に変換する。
【００２６】
逆ＤＣＴ回路２４は、水平高域係数除去回路２３で生成された４×８の数のＤＣＴ係数に、４×８の逆ＤＣＴを施して、もとのサブブロック単位のデータが水平方向に１／２に圧縮された４（水平方向画素数）×８（垂直方向画素数）のデータ数からなるデータを生成する。
【００２７】
また、このようにして得られた１つのマクロブロックを構成する４つのサブブロック単位に対応する画像データに基づいて、水平方向が１／２に圧縮された８×１６の１つのマクロブロック単位の再生画像データまたは予測誤差データを生成する。
【００２８】
したがって、逆ＤＣＴ回路２４によって得られるマクロブロック単位のデータ量は、原画像のマクロブロック単位の画像データ量の半分となる。
【００２９】
逆ＤＣＴ回路２４によって生成された水平方向が１／２に圧縮された８×１６のマクロブロック単位の予測誤差データには、そのマクロブロック・タイプに応じた参照画像データ（水平方向が１／２に圧縮された８×１６のマクロブロック単位の参照画像データ）が、加算器２５によって加算され、再生画像データが生成される。参照画像データは、スイッチ３３を介して加算器２５に送られる。ただし、逆ＤＣＴ回路２４から出力された画像データがフレーム内予測符号化に対する再生画像データである場合には、参照画像データは加算されない。
【００３０】
逆ＤＣＴ回路２４および加算器２５によって得られた水平方向が１／２に圧縮された８×１６のマクロブロック単位の第１の再生画像データは、アダマール変換符号化回路４１に送られる。
【００３１】
アダマール変換符号化回路４１は、４次アダマール変換処理および量子化処理を行なう。アダマール変換符号化回路４１は、８×１６のマクロブロック単位の再生画像データをブロック分割する。
【００３２】
図２は、このようなブロック分割処理を説明するための概念図である。
入力画像信号がインターレス画像の場合には、図２（ｄ）に示すように、奇数ライン同士の隣り合う２つのラインと水平方向に隣り合う２画素からなる２×２のブロックおよび偶数ライン同士の隣り合う２つのラインと水平方向に隣り合う２画素からなる２×２のブロックに、第１の再生画像データが分割される。
【００３３】
入力画像信号がプログレッシブ画像の場合には、図２（ｃ）に示すように、垂直方向の隣り合う２つのラインと水平方向に隣り合う２画素からなる２×２のブロックに、第１の再生画像データが分割される。
【００３４】
入力画像信号の種類に応じたブロックの分割の切換は、ＣＰＵ４０からの制御信号に基づいて行なわれる。
【００３５】
なお、入力された画像がプログレッシブ画像の場合には、図２（ａ）に示すように、垂直方向の隣り合う４つの画素からなる４×１ブロックに第１の再生画像データを分割し、入力される画像がインターレス画像の場合には、図２（ｄ）に示すような２×２のブロックに第１の再生画像データを分割してもよい。
【００３６】
また、入力される画像がインターレス画像の場合には、図２（ｂ）に示すように、奇数ライン同士のライン間においては垂直方向の隣り合う４つの画素からなる４×１のブロックおよび偶数ライン同士のライン間において垂直方向の隣り合う４つの画素からなる４×１のブロックに、第１の再生画像データを分割してもよい。
【００３７】
各ブロック内の各画素の画素値（８ビット）を図２（ｃ）または図２（ｄ）に示すように、ａ、ｂ、ｃ、ｄとすると、各ブロックごとに次の式（１）〜（４）で表わされるようなアダマール変換が行なわれる。
【００３８】
【数１】

【００３９】
本来のアダマール変換では係数は、１／（４×√２）であるが、ここでは処理を簡単にするために係数を１／４としている。
【００４０】
次に、アダマール変換符号化回路４１において、量子化が行なわれる。ここでは、ビット方向に１／２に圧縮するために、１ブロック内の４画素の画素値の合計に対して、１６ビットが割当てられる。
【００４１】
各係数Ｋ０、Ｋ１、Ｋ２、Ｋ３に対するビット割当て方法として、たとえばＫ０には８ビットが、Ｋ１およびＫ２には４ビットが、Ｋ３には０ビットが割当てられる。したがって、Ｋ０は上記数式（１）によって算出された値がそのまま採用される。またＫ３は上記式（４）にかかわらず無視される。
【００４２】
Ｋ１またはＫ２については、上記式（２）〜（３）で求められた８ビットの値（−１２８〜＋１２７）が、量子化・逆量子化テーブルに基づいて、４ビットの値（−８〜＋７）に変換される。
【００４３】
Ｋ０、Ｋ１、Ｋ２に対する量子化値を、Ｋ０′、Ｋ１′、Ｋ２′で表わすことにする。
【００４４】
上記４次アダマール変換処理および量子化処理によって、８×１６のマクロブロック単位の第２の再生画像データが得られる。
【００４５】
第２の再生画像データのデータ量は、第１の再生画像のデータ量の１／２となる。
【００４６】
したがって、アダマール変換符号化回路４１によって得られるマクロブロック単位の第２の再生画像データのデータ量は、原画像のマクロブロック単位の画像データ量の１／４となる。
【００４７】
アダマール変換符号化回路４１によって得られたマクロブロック単位の第２の再生画像データが、Ｂピクチャに対する再生画像データである場合には、その再生画像データはスイッチ３４に送られる。
【００４８】
アダマール変換符号化回路４１によって得られたマクロブロック単位の第２の再生画像データが、ＩピクチャまたはＰピクチャに対する再生画像データである場合には、その再生画像データはスイッチ３２を介して第１参照画像用メモリ２７または第２参照画像用メモリ２８に格納される。第１参照画像用メモリ２７または第２画像参照用メモリ２８に格納される画像データ量は従来の１／４となる。スイッチ３２はＣＰＵ４０によって制御される。
【００４９】
第１アダマール変換復号化回路４２は、第２参照画像用メモリ２７から読出された８×１６のマクロブロック単位の第２の再生画像データに対して、逆量子化処理およびアダマール逆変換処理を行なって、第１の再生画像に対する参照画像データを生成する。
【００５０】
つまり、まず、第１参照画像用メモリ２７から読出された第２の再生画像データを構成する各量子化値Ｋ０′、Ｋ１′、Ｋ２′が、逆量子化値Ｋ０"、Ｋ１"、Ｋ２"に変換される。具体的には、Ｋ０′に対する逆量子化値Ｋ０"はＫ０′と等しい。
【００５１】
Ｋ１′およびＫ２′に対する逆量子化値Ｋ１"およびＫ２"は、量子化・逆量子化テーブルに基づいて求められる。
【００５２】
このようにして得られた逆量子化値Ｋ０"、Ｋ１"、Ｋ２"が得られると、次の式（５）〜（８）に基づいて、アダマール逆変換処理が行なわれる。ただし、この例では、Ｋ３"は０として取り扱われている。
【００５３】
【数２】

【００５４】
これにより、第１参照画像用メモリ２７から読出されたマクロブロック単位の第２の再生画像データが、第１の再生画像データに対応した参照画像データに変換される。
【００５５】
第２アダマール変換復号化回路４３は、第２参照画像用メモリ２８から読出された８×１６のマクロブロック単位の再生画像データに対して、上述したのと同様な逆量子化処理およびアダマール逆変換処理を行なって、第１の再生画像データに対応した参照画像データを生成する。
【００５６】
平均化部２９は、第１アダマール変換復号化回路４２および第２アダマール変換復号化回路４３から読出された画像データを平均して、内挿的フレーム間予測符号化に用いられる８×１６のマクロブロック単位の参照画像データを生成する。
【００５７】
スイッチ３３は、ＣＰＵ４０によって次のように制御される。
逆ＤＣＴ回路２４から出力されたデータがフレーム内予測符号化に対する再生画像データである場合には、スイッチ３３の共通端子が接地端子に切換えられる。
【００５８】
逆ＤＣＴ回路２４から出力されたデータが順方向フレーム間予測符号に対する予測誤差データである場合または逆方向フレーム間予測符号に対する予測誤差データである場合には、スイッチ３３の共通端子が第１アダマール変換復号化回路４２から参照画像データが送られる端子または第２アダマール変換復号化回路４３からの参照画像データが送られる端子のいずれか一方を選択するように切換えられる。
【００５９】
なお、参照画像用メモリ２７、２８から参照画像が読出される場合には、ベクトル値変換回路３１からの動きベクトルに基づいて、その切出し位置が制御される。ベクトル値変換回路３１によって動きベクトルの水平方向の大きさが１／２に変換されているのは、アダマール変換符号化回路４１から参照画像用メモリ２７、２８に送られるマクロブロック単位の画像データは水平方向に１／２に圧縮されたものとなっているためである。
【００６０】
逆ＤＣＴ回路２４から出力されたデータが内挿的フレーム化予測符号に対する予測誤差データである場合には、スイッチ３３の共通端子が平均化部２９の出力が送られる端子を選択するように切換えられる。
【００６１】
スイッチ３４は、アダマール変換符号化回路４１からスイッチ３４に送られてきたＢピクチャに対する第２の再生画像データ、参照画像用メモリ２７に格納されたＩピクチャまたはＰピクチャに対する第２の再生画像データ、参照画像用メモリ２８に格納されたＩピクチャまたはＰピクチャに対する第２の再生画像データが原画像の順序と同じ順番で出力されるようにＣＰＵ４０によって制御される。
【００６２】
スイッチ３４から出力された第２の再生画像データは、第３アダマール変換復号化回路３５によって、上述したのと同様な逆量子化処理およびアダマール逆変換処理が行なわれることにより、第１の再生画像データに対応した画像データに変換された後、フォーマット変換回路３６に送られる。
【００６３】
フォーマット変換回路３６は、第３アダマール変換復号化回路３５から送られてきた画像データをモニタ装置の水平および垂直走査線数に対応するようにフォーマット変換する。フォーマット変換後の画像データは、モニタ装置に送られる。
【００６４】
上述のようにすることで、第１参照画像用メモリ２７および第２参照画像用メモリ２８として、従来のそれらの容量の１／４のものを用いることができる。
【００６５】
［アダマール変換符号化回路４１の動作］
（単純な整数化処理の問題点）
図３は、図１に示したアダマール変換符号化回路４１が、式（１）〜（４）に対応する処理を行った後に単純な整数化を行うとした場合の処理を示すフローチャートである。以下に説明するように、このような単純な整数化では、十分な画質を得ることができない。
【００６６】
図３のフローチャートに示すように、アダマール変換処理が開始され（ステップＳ１００）、アダマール変換処理が行われると（ステップＳ１０２）、アダマール変換のＫ０、Ｋ１、Ｋ２、Ｋ３の小数点以下がとり得る値としては、０．００，０．２５，０．５０，０．７５がある。
【００６７】
そこで、続いて、整数化のためにＸｉ（ｉ＝０，１，２，３）の正負を判断し（ステップＳ１０４）に応じて、以下に説明するような２通りの方法で整数化処理を行なう。
【００６８】
まず、（ａ＋ｂ＋ｃ＋ｄ）、（ａ−ｂ＋ｃ−ｄ）、（ａ＋ｂ−ｃ−ｄ）、（ａ−ｂ−ｃ＋ｄ）が０以上の場合、２を加算して、４で割って、小数部を切り捨てて整数化する（ステップＳ１０６）。
【００６９】
一方、（ａ＋ｂ＋ｃ＋ｄ）、（ａ−ｂ＋ｃ−ｄ）、（ａ＋ｂ−ｃ−ｄ）、（ａ−ｂ−ｃ＋ｄ）が負の場合、２を減算して、４で割って、小数部を切り捨てて整数化する（ステップＳ１０８）。
【００７０】
続いて、整数化の丸めを行なうため、中間値では、０．２５が切り捨て、０．５０，０．７５が切り上げの整数化を行ない（ステップＳ１１０）、処理が終了する（ステップＳ１１０）。このステップＳ１０４〜Ｓ１１０のような整数化を行うとすると、切り捨てられる中間値が０．２５のみであるため、画像全体としては、数値の絶対値が大きくなる方向に偏って整数化が行われることになる。
【００７１】
したがって、フリッカ、色変動などの目立つ劣化が存在する。
（本発明に係るアダマール変換符号化回路４１の構成）
以上のような問題点に対応するために、アダマール変換符号化回路４１は、以下に説明するような構成を有して、整数化動作を行なう。
【００７２】
図４は、アダマール変換符号化回路４１の構成を説明するための概略ブロック図である。
【００７３】
図４を参照して、アダマール変換符号化回路４１は、上記アダマール変換の式（１）〜（４）の処理にそれぞれ対応する加算処理を行なうための加算回路４１０．１〜４１０．３と、加算回路４１０．０〜４１０．３からの出力をそれぞれ受けて、後に説明するような整数化処理および除算処理を行なうための除算・整数化回路４１２．０〜４１２．３と、除算・整数化回路４１２．０〜４１２．３の出力をそれぞれ受けて、アダマール変換後の上述したような量子化処理を行なうための量子化回路４１４．０〜４１４．３とを備える。
【００７４】
加算回路４１０．１〜４１０．３、除算・整数化回路４１２．０〜４１２．３および量子化回路４１４．０〜４１４．３は、ＣＰＵ４０からの制御信号により制御される。ここで、除算・整数化回路４１２．０〜４１２．３からの出力は、上述した式（１）〜（４）に対応した係数Ｋ０〜Ｋ３であり、量子化回路４１４．０〜４１４．３の出力は、上述した係数値Ｋ０′、Ｋ１′、Ｋ２′、Ｋ３′となる。
【００７５】
図５は、図４に示した除算・整数化回路４１２．０の構成を説明するための概略ブロック図である。他の除算・整数化回路４１２．１〜４１２．３の構成も基本的に同様である。
【００７６】
図５を参照して、除算・整数化回路４１２．０は、加算回路４１０．０からの入力信号を受けて正負判定を行なうための正負判定回路４１２０と、加算回路４１０．０からの入力信号を一方入力として受ける加算器４１２２と、制御信号に応じて、固定レベル−１および−２，固定レベル＋１および＋２のそれぞれにおいて、いずれかを選択的に出力するためのスイッチ回路４１２４と、スイッチ回路４１２４からの出力を受けて、固定レベル−１と−２のうちの選択された方と、固定レベル＋１と＋２のうちの選択された方とのうち、いずれか一方を選択して、加算器４１２２の他方入力に与えるスイッチ回路４１２６と、加算器４１２２の出力を受けて２ビットシフト動作することで４での除算処理を行なうためのシフト回路４１２８とを備える。
【００７７】
図６は、本発明に係るアダマール変換符号化回路４１の動作を説明するためのフローチャートである。
【００７８】
図６を参照して、アダマール変換処理が開始されると（ステップＳ２００）、まず、加算回路４１０．０〜４１０．３において入力された画素値に対して対応する加算処理が行なわれる（ステップＳ２０２）。
【００７９】
続いて、後に説明するように、入力された画素値が属するアダマールブロックがどの位置にあるかの判断が行なわれ（ステップＳ２０４）、アダマールブロックごとに、以下に説明するとおり、しきい値を変えて整数化の丸めを行なう。
【００８０】
以下では、このようにして場合分けされる各アダマールブロックのタイプごとに処理の内容を説明すると以下のとおりである。
【００８１】
（アダマールブロックがタイプ１のブロックである場合）
（ａ＋ｂ＋ｃ＋ｄ）、（ａ−ｂ＋ｃ−ｄ）、（ａ＋ｂ−ｃ−ｄ）、（ａ−ｂ−ｃ＋ｄ）が０以上の場合（ステップＳ２０６）、２を加算して、４で割って（ステップＳ２１０）、小数部を切り捨てて整数化する（ステップＳ２１８）。
【００８２】
また、（ａ＋ｂ＋ｃ＋ｄ）、（ａ−ｂ＋ｃ−ｄ）、（ａ＋ｂ−ｃ−ｄ）、（ａ−ｂ−ｃ＋ｄ）が負の場合（ステップＳ２０６）、２を減算して、４で割って（ステップＳ２１２）、小数部を切り捨てて整数化する（ステップＳ２１８）。
【００８３】
中間値では、０．２５は切り捨て方向、０．５０，０．７５は切り上げ方向に丸められる。
【００８４】
（アダマールブロックがタイプ２のブロックである場合）
（ａ＋ｂ＋ｃ＋ｄ）、（ａ−ｂ＋ｃ−ｄ）、（ａ＋ｂ−ｃ−ｄ）、（ａ−ｂ−ｃ＋ｄ）が０以上の場合（ステップＳ２０８）、１を加算して、４で割って（ステップＳ２１４）、小数部を切り捨てて整数化する（ステップＳ２１８）。
【００８５】
また、（ａ＋ｂ＋ｃ＋ｄ）、（ａ−ｂ＋ｃ−ｄ）、（ａ＋ｂ−ｃ−ｄ）、（ａ−ｂ−ｃ＋ｄ）が負の場合（ステップＳ２０８）、１を減算して、４で割って、小数部を切り捨てて整数化する（ステップＳ２１８）。
【００８６】
中間値では、０．２５、０．５０が切り捨て方向、０．７５が切り上げ方向に丸められる。
【００８７】
図７〜図１０は、上述したようなタイプ１およびタイプ２のアダマールブロックの配置の例を説明するための概念図である。
【００８８】
タイプ１とタイプ２の切換は、図７に示すように、縦の列ごとに行なうことが可能である。
【００８９】
また、第８図に示すように碁の目格子状に切換えてもよい。
さらに、図９（ａ）、（ｂ）に示すように、図７の切換方式をフレームごとに、図９（ａ）の場合と図９（ｂ）の場合のように、交互に切換える方式を変えてもよい。
【００９０】
さらに、図１０（ａ）、（ｂ）に示すように、図８の切換方式をフレームごとに、図１０（ａ）の場合と図１０（ｂ）の場合のように、交互に切換える方式を変えてもよい。
【００９１】
以上のような処理により、画面全体としての誤差蓄積が軽減でき、フリッカ、色変動などの目立つ劣化を抑制することができる。小数点以下の値が０．５の場合、ブロックごとに交互に、切り捨て、切り上げ方向に整数化の丸めをする。具体的には、以下に示すタイプ１とタイプ２の方法の丸めによる整数化をブロックごとに切換えることにより、タイプ１では数値の絶対値が大きくなる方向の整数化に偏り、タイプ２では数値の絶対値が小さくなる方向の整数化に偏り、画面全体としてどちら側にも偏らないようにすることが可能である。
【００９２】
以上の説明では、輝度信号の場合について説明を行なった。色差信号についても、輝度信号と同様の処理を行なうことが可能である。あるいは、輝度信号の場合については、図６で説明した方法で整数化を行ない、色差信号については、ＤＣ成分は図６に示した方法によりアダマールブロックごとに切換えて丸め処理を行ない、ＡＣ成分については全てのアダマールブロックについて切り捨て処理を行なうとすることが可能である。
【００９３】
なお、以上の説明においては、変換値の一意性が保持されることを利用するために、直交変換、特にアダマール変換を例にとって説明したが、本発明はこのような場合に限定されることなく、たとえば、図２で説明したようなブロックごとに直交変換を行なうことで、変換結果の値の偏りに基づいてデータ圧縮が可能な直交変換であれば、他の直交変換を用いることも可能である。
【００９４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００９５】
【発明の効果】
以上説明したとおり、本発明によれば、画面全体として誤差蓄積を軽減することにより、フリッカ、色変動等の目立つ劣化を抑制することができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ復号器１０００の構成を示す概略ブロック図である。
【図２】ブロック分割処理を説明するための概念図である。
【図３】アダマール変換処理を行った後に単純な整数化を行うとした場合の処理を示すフローチャートである。
【図４】アダマール変換符号化回路４１の構成を説明するための概略ブロック図である。
【図５】図４に示した除算・整数化回路４１２．０の構成を説明するための概略ブロック図である。
【図６】本発明に係るアダマール変換符号化回路４１の動作を説明するためのフローチャートである。
【図７】タイプ１およびタイプ２のアダマールブロックの配置の第１の例を説明するための概念図である。
【図８】タイプ１およびタイプ２のアダマールブロックの配置の第２の例を説明するための概念図である。
【図９】タイプ１およびタイプ２のアダマールブロックの配置の第３の例を説明するための概念図である。
【図１０】タイプ１およびタイプ２のアダマールブロックの配置の第４の例を説明するための概念図である。
【符号の説明】
２１可変長符号化器、２２逆量子化器、２３水平高域係数除去回路、２４逆ＤＣＴ回路、２５加算器、２７第１参照画像用メモリ、２８第２参照画像用メモリ、２９平均化部、３０可変長復号化器、３１ベクトル値変換回路、３２、３２、３４スイッチ、３５、４２、４３アダマール変換復号化回路、３６フォーマット変換回路、４０ＣＰＵ、４１アダマール変換符号化回路。

Claims

動画像を圧縮するにあたり時間軸方向に予測符号化を行なった圧縮符号化画像データを復号するための動画像復号装置であって、
前記圧縮符号化画像データを受けて、再生画像データを生成するための画像再生手段と、
前記画像再生手段の出力を受けて、所定のデータ変換ブロックごとに直交変換を行ないデータ圧縮を行なうための直交圧縮変換手段と、
前記直交圧縮変換の出力を受けて、前記予測符号化に対する参照画像データを格納するための記憶手段とを備え、
前記直交圧縮変換手段は、
前記所定のデータ変換ブロック内の画素の画素値に対して直交変換を行う直交変換手段と、
前記直交変換手段の出力値を整数化する整数化手段と、
前記整数化手段の出力値を量子化する量子化手段とを含み、
前記整数化手段は、
前記所定のデータ変換ブロックごとに、数値の絶対値が大きくなる方向の整数化を行うか、数値の絶対値が小さくなる方向の整数化を行うかを切り替える、動画像復号装置。
前記直交変換手段は、前記直交変換としてアダマール変換を行なう、請求項１記載の動画像復号装置。
前記整数化手段は、
前記直交変換手段の出力値に第１の所定値を加算して、第２の所定値で割り、小数部を切り捨てて整数化するものであって、
前記第１の所定値は、前記所定のデータ変換ブロックごとに異なる値である、請求項３記載の動画像復号装置。
前記圧縮画像データは、輝度信号と色差信号とを含み、
前記整数化手段は、前記輝度信号については、前記所定のデータ変換ブロックごとに直交変換後の整数化方式を切り替え、前記色差信号については、ＤＣ成分は前記所定のデータ変換ブロックごとに直交変換後の整数化方式を切り替え、ＡＣ成分は全ての前記所定のデータ変換ブロックについて切り捨て処理を行なう、請求項１記載の動画像復号装置。
動画像を圧縮するにあたり時間軸方向に予測符号化を行なった圧縮画像データを信号に対して、再生処理を行なって得た画像データに基づいて、または得られた上記画像データと参照画像データとに基づいて第１の再生画像データを生成する第１ステップと、
前記第１の再生画像データの所定のデータ変換ブロックごとに直交変換後の整数化方式を切り替えて直交変換符号化を行ない、前記第１の再生画像データに対してビット方向にデータ量が削減された第２の再生画像データを生成する第２ステップと、
前記第２の再生画像データのうち参照画像データを生成するために必要な第２の再生画像データを参照画像用メモリに記憶させる第３ステップと、
前記参照画像用メモリに格納された前記第２の再生画像データに基づいて前記第１の再生画像データに対応した参照画像データを生成する第４ステップとを備え、
前記第２ステップは、
前記所定のデータ変換ブロック内の画素の画素値に対して直交変換を行うステップと、
前記直交変換後の値を整数化するステップと、
前記整数化された値を量子化するステップとを有し、
前記整数化するステップは、前記所定のデータ変換ブロックごとに、数値の絶対値が大きくなる方向の整数化を行うか、数値の絶対値が小さくなる方向の整数化を行うかを切り替えることを特徴とした、動画像復号方法。