JP2006121273A - 符号化変換方法及び符号化変換装置 - Google Patents

Abstract

【課題】 第１のブロックサイズで圧縮符号化した信号を、少ない演算量で第２及び第３のブロックサイズで圧縮符号化した信号へ変換する符号化変換装置を実現する。
【解決手段】 第１の符号化方法により符号化された画像信号を復号化して複数の係数テーブルを得、係数テーブル同士の直流係数値の差により、第１のイントラ予測符号化又はブロック数が多い複数の第２予測モードパターンを有した第２のイントラ予測符号化を係数情報検出手段２１により選択し、係数テーブルの水平及び垂直方向の係数値を比較して第１のイントラ予測符号化を行うための第１予測モードパターンを設定し、水平、垂直方向の交流成分を第２の基準値と比較して交流成分が多く分布する方向を求めて第２予測モードパターンの中から数種類の候補パターンを候補パターン選出手段２２により選択し、イントラ予測符号化手段３１により変換符号化信号を生成する。
【選択図】 図１

Description

本発明は、第１の変換符号化が用いられて符号化された圧縮符号化信号を第２の変換符号化により符号化された圧縮符号化信号に変換する符号化変換方法及び符号化変換装置に関する。

最近になり、ＢＳ（broadcasting satellite）放送には、ＭＰＥＧ（moving picture experts group）−２により符号化された圧縮符号化信号が用いられ、アナログ放送よりも狭い周波数帯域で高画質な画像信号が放送されるようになってきた。ＤＶＤ（Digital versatile Disc）に記録される信号や地上波ディジタル放送で放送される信号にもＭＰＥＧ−２により圧縮符号化された信号が用いられている。
一方、さらに符号化効率を高めた圧縮符号化方式としてＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）とか、Ｈ．２６４と呼ばれる符号化方式が開発されている。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４はＭＰＥＧ−２よりも高能率な符号化できる圧縮符号化方式である。そこで、ＭＰＥＧ−２により符号化されて放送、又は記録された信号をＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４により符号化された信号に変換し、通信用信号として伝送すると通信路の伝送帯域を小さく出来る。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４により符号化された信号に変換して記録するとさらに多くのビデオライブラリーを限られた容量の記録媒体に記録することが出来る。ＭＰＥＧ−２により記録された信号をＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４により符号化された信号に、容易に変換できると、自宅で録画した番組を移動先でポータブル型再生装置を用いて試聴するのに好適である。

特許文献１には、画像信号が所定のブロックサイズに分割され、分割されたブロックの信号を直交変換及び動き予測を用いて符号化された圧縮符号化信号のビットレートの変換を、画質劣化を抑制し、高速かつ効率的に行う再符号化装置を実現するに際し、周波数領域への変換処理および量子化を用いた所定符号化方式の圧縮動画ビットストリームを入力し、少なくとも量子化された信号を逆量子化して周波数復号信号を計算し、蓄積した過去の周波数第１誤差信号および空間第１誤差信号の一方を用いて周波数補正信号を計算し、計算された周波数復号信号と周波数補正信号とを用いて周波数符号化信号を計算し、その計算された周波数符号化信号を再量子化し、再度符号化変換して圧縮動画ビットストリームを生成する圧縮動画ビットストリームの再符号化装置が開示されている。
特開２００３−２４４７０５号公報

しかしながら、特許文献１に開示されている再符号化装置は、例えば縦及び横方向のそれぞれが８画素づつに分割された、いわゆる８×８画素で構成されるブロックの信号を再符号化してビットレートを変換した圧縮符号化信号を得る方法である。ＭＰＥＧ−２のブロックは８×８画素で構成されるのに比し、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４のブロックは１６×１６のブロックと４×４のブロックが適応的に選択され、より高い圧縮率が得られる方のブロックが用いられて直交変換及び動き予測符号化がなされる。従って、ＭＰＥＧ−２により符号化された信号をＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４により符号化された信号に変換するためには異なるサイズでブロック化し、直交変換及び量子化して得られる係数値信号を符号化するなど、符号化信号の変換が必要である。

従来の再符号化装置は、第１のブロックサイズとされて直交変換及び量子化された圧縮符号化信号を第２のブロックサイズで分割されて直交変換及び量子化された圧縮符号化信号に変換する符号化変換装置を実現することはできなかった。第１のブロックサイズで符号化された圧縮符号化信号を復号化し、復号化して得られる画像信号を第２のブロックサイズで分割して圧縮符号化を行う方法はあるものの、その場合は新たな画像信号を符号化すると同じ演算量が必要とされるなど煩雑である。

そこで、本発明は、上記のような問題点を解消するためになされたもので、第１のブロックサイズで直交変換及び量子化して生成された圧縮符号化信号を第２及び第３のブロックサイズで分割されて直交変換及び量子化して生成されるさらに効率の高い圧縮符号化信号への変換を、少ない演算量で実現可能とする符号化変換方法及び符号化変換装置を提供することを目的とする。

本願発明における第１の発明は、第１の符号化方法により符号化された画像信号を第２の符号化方法に変換して出力する符号化変換方法において、前記第１の符号化方法により符号化された前記画像信号を復号化した後、ＤＣＴブロックに戻して得られた複数の係数テーブルを作成し、前記複数の係数テーブルにおける直流成分の係数値同士を比較して、それらの差が予め定められた第１の基準値よりも小さい場合には、前記複数の係数テーブルと同数以下のブロックを用いた複数の第１予測モードパターンからなる第１のイントラ予測符号化モードを選択し、大きい場合には、前記複数の係数テーブルよりもブロック数が多い複数の第２予測モードパターンからなる第２のイントラ予測符号化モードを選択し、前記複数の係数テーブルにおける水平方向の係数値の和と垂直方向の係数値の和とを比較し、それらの差から第１のイントラ予測符号化を行うための第１予測モードパターンを設定し、前記複数の係数テーブルにおける水平及び垂直方向の交流成分の係数値を予め定められた第２の基準値と比較して前記交流成分が多く分布する方向を求め、前記複数の第２予測モードパターンの中から、前記交流成分が多く分布する方向に基づいて数種類の候補パターンを選択し、前記数種類の候補パターンを用いて、前記復号化された画像信号の符号化を行った後、前記数種類の候補パターンごとの符号化信号それぞれの符号量を計測し、前記それぞれの符号量のうち最も小さな符号量を与える候補パターンを１つ選択し、前記予測モードパターンにより設定された前記第１のイントラ予測符号化により、或いは前記１つのパターンに選択された候補パターンの前記第２のイントラ予測符号化を前記複数の係数テーブルについて行うことにより前記復号化された画像信号をイントラ符号化して符号化信号を得ることを特徴とする符号化変換方法を提供する。
第２の発明は、第１の符号化方法により符号化された画像信号を第２の符号化方法に変換して出力する符号化変換装置において、前記第１の符号化方法により符号化された前記画像信号を復号化した後、ＤＣＴブロックに戻して得られた複数の係数テーブルを作成する係数テーブル作成手段と、前記複数の係数テーブルにおける直流成分の係数値同士を比較して、それらの差が予め定められた第１の基準値よりも小さい場合には、前記複数の係数テーブルと同数以下のブロックを用いた複数の第１予測モードパターンからなる第１のイントラ予測符号化モードを選択する選択信号を出力し、大きい場合には、前記複数の係数テーブルよりもブロック数が多い複数の第２予測モードパターンからなる第２のイントラ予測符号化モードを選択する選択信号を出力する係数情報検出手段と、前記複数の係数テーブルにおける水平方向の係数値の和と垂直方向の係数値の和とを比較し、それらの差から第１のイントラ予測符号化を行うための第１予測モードパターンを設定し、前記複数の係数テーブルにおける水平及び垂直方向の交流成分の係数値を予め定められた第２の基準値と比較して前記交流成分が多く分布する方向を求め、前記複数の第２予測モードパターンの中から、前記交流成分が多く分布する方向に基づいて数種類の候補パターンを選択する候補パターン選出手段と、前記数種類の候補パターンを用いて、前記復号化された画像信号の符号化を行った後、前記数種類の候補パターンごとの符号化信号それぞれの符号量を計測し、前記それぞれの符号量のうち最も小さな符号量を与える候補パターンを１つ選択し、前記予測モードパターンにより設定された前記第１のイントラ予測符号化により、或いは前記１つのパターンに選択された候補パターンの前記第２のイントラ予測符号化を前記複数の係数テーブルについて行うことにより前記復号化された画像信号をイントラ符号化して符号化信号を得る符号化手段と、を備えたことを特徴とする符号化変換装置を提供する。

本発明によれば、第１の符号化方法により符号化された画像信号を復号化した後、ＤＣＴブロックに戻して得られた複数の係数テーブルを作成する係数テーブル作成手段と、前記複数の係数テーブルにおける直流成分の係数値同士を比較して、それらの差が予め定められた第１の基準値よりも小さい場合には、前記複数の係数テーブルと同数以下のブロックを用いた複数の第１予測モードパターンからなる第１のイントラ予測符号化モードを選択する選択信号を出力し、大きい場合には、前記複数の係数テーブルよりもブロック数が多い複数の第２予測モードパターンからなる第２のイントラ予測符号化モードを選択する選択信号を出力する係数情報検出手段と、前記複数の係数テーブルにおける水平方向の係数値の和と垂直方向の係数値の和とを比較し、それらの差から第１のイントラ予測符号化を行うための第１予測モードパターンを設定し、前記複数の係数テーブルにおける水平及び垂直方向の交流成分の係数値を予め定められた第２の基準値と比較して前記交流成分が多く分布する方向を求め、前記複数の第２予測モードパターンの中から、前記交流成分が多く分布する方向に基づいて数種類の候補パターンを選択する候補パターン選出手段と、前記数種類の候補パターンを用いて、前記復号化された画像信号の符号化を行った後、前記数種類の候補パターンごとの符号化信号それぞれの符号量を計測し、前記それぞれの符号量のうち最も小さな符号量を与える候補パターンを１つ選択し、前記予測モードパターンにより設定された前記第１のイントラ予測符号化により、或いは前記１つのパターンに選択された候補パターンの前記第２のイントラ予測符号化を前記複数の係数テーブルについて行うことにより前記復号化された画像信号をイントラ符号化して符号化信号を得る符号化手段とを有する格別な構成があるので、第１のブロックサイズで直交変換及び量子化して生成された圧縮符号化信号を第２及び第３のブロックサイズで分割されて直交変換及び量子化して生成されるさらに効率の高い圧縮符号化信号への変換を、少ない演算量で実現可能とする符号化変換方法及び符号化変換装置を実現できる。

以下に本発明の各実施例に係る符号化変換装置について図１〜図１５を用いて説明する。
図１は、本発明の実施に係る符号化変換装置の概略構成例を示すブロック図である。
図２は、本発明の実施に係る符号化変換装置の動画像復号部の構成例を示す図である。
図３は、本発明の実施に係る符号化変換装置の動画像情報変換部の構成例を示す図である。
図４は、本発明の実施に係る符号化変換装置の動画像符号化部の構成例を示す図である。
図５は、本発明の実施に係る４個の８×８画素ブロックで構成されるマクロブロックを示す図である。
図６は、本発明の実施に係る１個の１６×１６画素ブロックで構成されるマクロブロックを示す図である。
図７は、本発明の実施に係る１６個の４×４画素ブロックで構成されるマクロブロックを示す図である。
図８は、本発明の実施に係る１６×１６画素ブロックのフレーム内符号化画像の予測方向を示す図である。
図９は、本発明の実施に係る４×４画素ブロックのフレーム内符号化画像の予測方向を示す図である。
図１０は、本発明の実施に係る８×８画素ブロックの符号化画像を平均値予測４×４画素ブロックに変換する例を示す図である。
図１１は、本発明の実施に係る８×８画素ブロックの符号化画像を縦方向予測４×４画素ブロックに変換する例を示す図である。
図１２は、本発明の実施に係る８×８画素ブロックの符号化画像を横方向予測４×４画素ブロックに変換する例を示す図である。
図１３は、本発明の実施に係る符号化変換装置の動作をフローチャートで例示した図である。
図１４は、本発明の実施に係る１６×１６画素ブロックの予測動作をフローチャートで例示した図である。
図１５は、本発明の実施に係る４×４画素ブロックの予測動作をフローチャートで例示した図である。

その符号化変換方法及び符号化変換装置は、例えば縦８画素×横８画素である第１のブロックサイズで直交変換及び量子化して生成された圧縮符号化信号を、例えば縦１６画素×横１６画素又は縦４画素×横４画素である第２、第３のブロックサイズで分割されて直交変換及び量子化して生成され、効率がさらに高い圧縮符号化信号に変換する符号化変換を少ない演算量で実現するという目的を、第１のブロックサイズで直交変換及び量子化して生成されたイントラフレームに係る係数テーブルを基に第２、第３のブロックサイズで分割されて直交変換及び量子化して生成するイントラフレームの予測方向を予め検出して符号化行うようにし、全ての予測方向における係数テーブルを求めて符号量の少ない予測方向を決定する必要のある演算処理量を削減し、容易に再符号化することのできる符号化変換装置を実現した。

符号化変換装置の構成について述べる。
図１に示す符号化変換装置は、可変長復号器１１、逆量子化器１２、及び復号化器１３よりなる動画像復号部１と、係数変換情報解釈器２１、イントラ（フレーム内）予測情報器２２、及び符号化モード情報解釈器２３よりなる動画像情報変換部２と、イントラ予測器３１、インター（フレーム間）予測器３２、符号化器３３及び可変長符号化器３４よりなる動画像符号化部３とより構成される。
図２に示す動画像復号部１は、可変長復号器１１と、逆量子化器１２と、インター予測復号器１３１、逆係数変換器１３２、加算器１３３、及び画像メモリ１３４よりなる復号化器１３とより構成される。
図３に示す動画像情報変換部２は、係数メモリ２１１、ブロック間差分値演算回路２１２、及び閾値判定回路２１３よりなる係数変換情報解釈器２１と、水平方向係数平均回路２２１、垂直方向係数平均回路２２２、及びイントラ予測方向判定回路２２３よりなるイントラ予測情報器２２と、符号化モード情報取得回路２３１及び符号化モード決定回路２３２よりなる符号化モード情報解釈器２３とより構成される。
図４に示す動画像符号化部３は、イントラ予測器３１と、インター予測器３２と、減算回路３３１、係数変換回路３３２、量子化回路３３３、逆量子化回路３３４、逆係数変換回路３３５、加算回路３３６、及び画像メモリ３３７よりなる符号化器３３と、可変長符号化器３４と、スイッチ３８と、スイッチ３９とより構成される。

符号化変換装置の動作について述べる。
その符号化変換装置は、縦８画素×横８画素のブロックに分割されて符号化される例えばＭＰＥＧ（moving picture experts group）−２で規定される方法により符号化された符号化信号を、縦１６画素×横１６画素のブロック又は縦４画素×横４画素のブロックに分割して符号化を行う例えばＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）や、Ｈ．２６４で規定される方法により符号化された符号化信号に変換する。それらの符号化はフレーム内（イントラ）符号化とフレーム間（インター）符号化によりなされる。ＭＰＥＧ−２のフレーム内符号化はブロックに分割された画像をそのままＤＣＴ（discrete cosine transform）するのに比し、ＭＰＥＧ−４ ＡＶＣやＨ．２６４ではブロックの上側や左側に隣接して存在する画素データを参照して符号化する後述のイントラ予測符号化を行う。本符号化変換装置は、縦８画素×横８画素のブロックに分割されてイントラ符号化された信号を縦１６画素×横１６画素のブロック又は縦４画素×横４画素のブロックに分割してイントラ予測符号化を行った符号化信号に変換する変換動作を簡易に行うものである。

まず、縦８画素×横８画素のブロックに分割され、ＤＣＴ変換、量子化、及び可変長符号化された符号化信号が動画像復号部１の可変長復号器１１に入力される。可変長復号器１１では入力された符号化信号は可変長復号されて量子化テーブルが得られると共に、その量子化テーブルはフレーム内符号化されたテーブルであるか、又はフレーム間符号化されたテーブルであるかに係る符号化モード情報が得られる。符号化モード情報解釈器２３からは、符号化モード情報を基にし、フレーム間予測符号化のなされた入力符号化信号に対してはインター予測符号化を行い、フレーム内符号化された入力符号化信号に対してはイントラ予測符号化を行うための符号化制御信号をイントラ予測器３１及びインター予測器３２に出力する。逆量子化器１２では、得られた量子化テーブルを逆量子化し、画像信号をＤＣＴ変換した係数値テーブルが得られる。復号化器１３ではイントラ符号化及びインター符号化された係数値テーブルを復号化し、復号動画像信号を得る。

動画像情報変換部２の係数変換情報解釈器２１では、隣接するブロック同士の量子化テーブルの直流成分が比較される。比較して得られる差信号のレベルが所定値より小さい場合には隣接するブロック間での輝度レベルの変化が少ない。従って、イントラ予測符号化は縦１６画素×横１６画素に分割された大きなブロックにより再符号化を行うものとする。差信号のレベルが所定値を越える場合には輝度レベルの変化が大きな画像であると判断されるため、縦４画素×横４画素に小分割されたブロックによりイントラ予測符号化を行うものとする。係数変換情報解釈器２１からは大きなブロックにより再符号化を行うか、又は小さなブロックにより再符号化を行うかに係るブロック選択信号が出力される。イントラ予測情報器２２では、ブロックに隣接する画素データを参照してイントラ予測符号化するに際し、後述のイントラ予測モードのうちのどの予測モードにより符号化を行うかのモード情報が出力される。

動画像符号化部３のイントラ予測器３１及びインター予測器３２には、復号動画像信号、符号化制御信号、ブロック選択信号、及びモード情報のそれぞれが入力される。符号化制御信号がインター予測符号化を指定する場合に、復号動画像信号はインター予測器３２でフレーム間符号化がなされる。イントラ予測符号化を指定する場合には、復号動画像信号はイントラ予測器３１でフレーム内予測符号化がなされる。そのフレーム内予測符号化はブロック選択信号により指定される１６×１６画素ブロックによる符号化、又は４×４画素ブロックによる符号化が、後述のモード情報に従った予測モードでなされる。符号化器３３では、イントラ予測符号化、及びインター予測符号化時に係数変換及び量子化がなされて量子化信号が生成される。可変長符号化器３４で、生成された量子化信号は可変長符号化され変換符号化信号が生成されて符号化変換装置から出力される。

図２を参照して動画像復号部１の復号化器１３を説明する。
可変長復号器１１で可変長復号されて得られる量子化テーブルはインター予測復号器１３１で動き補償復号化され、予測復号信号が得られる。逆係数変換器１３２では逆量子化器１２で逆量子化された係数信号は逆係数変換されて画素情報が復号化される。加算器１３３では復号化された画素情報と予測復号信号とが加算され画像信号が復号化され、画像メモリ１３４に記憶される。記憶された画像信号は所定のフレームレートで読み出され、再符号化するための動画像信号が得られる。

図３を参照して動画像情報変換部２を説明する。
まず、係数メモリ２１１には逆量子化器１２から出力される係数信号が一時記憶される。その係数信号は縦８画素×横８画素で構成されるブロックの係数信号が上下左右に組み合わされる縦１６画素×横１６画素のマクロブロックの信号として記憶される。ブロック間差分値演算回路２１２では各ブロックの左上に配置される４つのブロックの直流係数信号が得られ、得られた直流係数信号同士の差分値が求められる。ここで差分値の値が小さい場合は４つのブロックの平均輝度レベルが似かよったレベルの場合であると判断される。その場合は縦１６画素×横１６画素のマクロブロックの信号を１つの縦１６画素×横１６画素のブロックの信号として符号化した方が符号化効率が高い場合である。一方、差分値の値が大きい場合は４つのブロックの平均輝度レベルのそれぞれが異なる場合であると判断される。その場合は縦４画素×横４画素のブロック構成にして符号化を行う。即ち、１個のマクロブロックの信号を１６個の縦４画素×横４画素のブロックの信号として符号化した方が符号化効率が高い場合である。閾値判定回路２１３では、係数変換情報解釈器２１で求められた差信号の値を所定の閾値と比較される。閾値判定回路２１３からは、差信号の値が閾値以下の場合には１６×１６のブロックとして符号化を行うための、閾値を越える場合には４×４のブロック構成として符号化を行うための符号化制御信号が出力される。

水平方向係数平均回路２２１及び垂直方向係数平均回路２２２には１つのブロックの交流係数信号が入力される。水平方向係数平均回路２２１では水平方向にそれぞれの交流係数信号の絶対値を加算平均した後述の水平方向係数平均値が求められる。同様にして垂直方向係数平均回路２２２では垂直方向にそれぞれの交流係数信号の絶対値を加算平均した後述の垂直方向係数平均値が求められる。イントラ予測方向判定回路２２３では水平方向係数平均値と垂直方向係数平均値とが比較され、後述のイントラ予測符号化を行うための予測方向が判定される。判定された予測方向はイントラ予測器３１に入力される。
符号化モード情報解釈器２３の符号化モード情報取得回路２３１では可変長復号器１１で可変長復号化して得られる符号化信号がイントラ符号化された信号であるか、インター符号化して得られた信号であるかに係る情報が取得される。符号化モード決定回路２３２では、イントラ符号化された信号はイントラ予測符号化により再符号化が行われ、インター符号化された信号はインター予測符号化により再符号化されることを決定し、その決定に係る符号化制御信号が出力される。

図４を参照して動画像符号化部３について詳述する。
符号化モード情報解釈器２３の符号化モード決定回路２３２から出力される符号化制御信号によりスイッチ３８及びスイッチ３９が駆動される。イントラ予測符号化により再符号化が行われる場合には、スイッチ３８及びスイッチ３９はａ側に投入され復号化器１３から供給される復号動画像信号はイントラ予測符号化がなされる。後述の予測モードに係る情報は、イントラ予測情報器２２からイントラ予測器３１に供給され、イントラ予測器３１からはモード情報に従って予測符号化がなされた予測符号化信号が出力される。符号化モード決定回路２３２から出力される符号化制御信号によりインター予測符号化される場合にはインター予測器３２が用いられて予測符号化がなされる。符号化器３３では、いわゆるＭＰＥＧ−４ ＡＶＣやＨ．２６４でなされる符号化回路と同様に符号化及び局部復号化がなされる。局部復号化されて得られる画像信号は画像メモリ３３７に一時記憶され、イントラ予測器３１及びインター予測器３２で予測符号化が行われるための参照画像として用いられる。量子化回路３３３で量子化された再符号化信号及びインター予測器３２から出力される動きベクトル情報は可変長符号化器３４で可変長符号化される。可変長符号化して得られる再符号化された変換符号化信号は動画像符号化部３から出力される。

図５を参照して符号化信号のブロック構成を説明する。
同図に示す配列は、縦１６画素×横１６画素のＭＰＥＧ−２で符号化される際に使用されるマクロブロックである。そのマクロブロックは、ＤＣＴ０〜ＤＣＴ３として示される４個の縦８画素×横８画素により構成されるブロックからなっている。ＤＣＴ演算はＤＣＴ０〜ＤＣＴ３のそれぞれのブロックについて行われ、４つの縦８×横８に配置される係数テーブルが得られる。符号化変換装置にはマクロブロック単位で符号化された符号化信号が入力される。

図６、図７を参照して再符号化される信号のブロック構成を説明する。
ＭＰＥＧ−４ ＡＶＣやＨ．２６４でなされる符号化では、縦１６画素×横１６画素で入力される画像信号が縦１６画素×横１６画素の１つのブロック、又は縦４画素×横４画素の１６個のブロックに分割されて符号化される。例えば「空」のように隣接する画素間で相関の高い画像は縦１６画素×横１６画素の１つのブロックでＤＣＴ演算を行うとエネルギーは周波数の低い係数部分に集中するため圧縮効率を高くすることが出来る。反面、「海面の波」や「ゆれる木の葉」のように小さな画像が独立した動きをするような画像では、縦４画素×横４画素の１６個のブロックに分割した方がブロックに隣接する画素データを参照することにより、及び小領域の動き補償を行うことにより高い圧縮率が得られる。

図８を参照して、縦１６画素×横１６画素のブロックのイントラ予測について説明する。
イントラ予測はブロックの周辺に隣接する画素データを参照することにより符号化効率を高めようとするものである。図中、モード０として示すイントラ予測は、縦じま模様を符号化するときに、ブロックの上側にある網点を付して示した画素を参照し、その画素に対する差の画像信号を符号化する。モード１は横じま模様の画像を符号化するときに用いる予測方法であり、ブロックの左側に隣接する網点を付した画素を参照して符号化する。モード２は、全体が均一な輝度レベルのブロックであり、ブロックの左側及び上側に隣接する画素の輝度レベルの平均値を求め、その平均値を参照して符号化を行う方法である。モード３は平面的に輝度が変化しているブロックに適した予測方法であり、既に符号化がされている左側及び上側に隣接する画素を参照して斜め方向に予測符号化を行う。

図９を参照して、縦４画素×横４画素のブロックのイントラ予測について説明する。
図中、モード４として示す前述のイントラ予測符号化は縦縞模様の画像の符号化に適した予測方法であり、予測に用いる画素データはブロックの上側に隣接するＡ〜Ｄの画素を用いる。モード５は横縞模様の画像の符号化に適した予測方法である。モード６は一様な画像データの符号化に用いる予測方法であり、Ａ〜ＤとＩ〜Ｌの８個の画素の輝度レベルの平均値を用いて予測する。モード７は左下方向の縞模様に適した予測符号化であり、参照される画素データはブロックの上側に隣接するＢ〜Ｄの画素のほかに、それらの横に隣接するＥ〜Ｈの画素も用いて予測符号化を行う方法である。モード８は右下方向の縞模様に適した予測符号化であり、Ａ〜Ｃ、Ｉ〜Ｋの画素の他にＭの画素も予測に用いる。モード９はモード４とモード８の中間の方向の縞模様に対して行うイントラ予測符号化の方法である。モード１０はモード５とモード８の中間の縞模様に対して行う方法である。同様に、モード１１はモード４とモード７の中間の画像に対する予測方法であり、モード１２はモード５に対する方向が少し右上がりである画像に対して行う予測方法である。モード１２の場合、ブロックの下側に隣接する画素を用いるとさらに効率の高い予測が可能であるが、下側には既に符号化処理を行った画素データがないため、ブロックの右側に隣接される画素データのみを用いて予測を行う。

図１０を参照して、縦８画素×横８画素のブロックを縦４画素×横４画素のブロックに変換する場合のモードの決定方法について説明する。
同図において、入力される縦８画素×横８画素（以降、単に８×８と略記することもある。）のブロックにおけるＤＣＴ演算及び量子化がなされて得られる量子化値の配列は直流レベルが１８であり、横方向の交流レベルは１次が−１、２次が０である。縦方向の交流レベルは１次が０、２次が０である。
２次元平面における横方向の次数をＵ、縦方向の次数をＶとするときの量子化値を（Ｕ，Ｖ）として示す。同図（ｅ）の交流成分の量子化値は、（１，０）＝−１、（０，１）＝０、そして（１，１）＝−１である。

例えば（１，０）と（２，０）との絶対値の平均値をγｈとし、（０，１）と（０，２）との絶対値の平均値をγｖとし、（１，１）の絶対値をγｄとする。（ｅ）に示す量子化値の場合ではγｈ＝１、γｖ＝０、γｄ＝１である。また、それらのγ値の大きさを判定するための閾値として例えばγ１＝３を設定する。γｈ、γｖ、及びγｄのそれぞれは閾値γ１より小さい。（ｅ）に示す８×８のブロック内の画素は均一であると判断されるため、そのブロックを（ｆ）に示す４×４画素のブロックで再符号化を行う場合のイントラ予測モードはモード６を用いるのが好ましいと判断される。

図１１を参照して、γｈが大きい場合の８×８のブロック画像を４×４のブロックの画像に再符号化する例について説明する。
（ｇ）に示す交流レベルの絶対値の平均値は、γｈ＝（１１＋２３）／２＝１７、γｖ＝１、γｄ＝１である。この８×８の画像は横方向の成分値のみが大きいので画像は縦じま成分を多く含んでいると判断できる。そこでモード４を用いて再符号化するとイントラ予測情報器２２で解釈する。イントラ予測情報器２２からイントラ予測器３１にモード４を指定するモード情報が供給される。イントラ予測器３１では、モード４と、モード４に類似するモード９及びモード１１によりイントラ予測符号化が行われる。３つのモードのうち、得られる誤差成分の符号化量が最も少ない方のモードを符号化モードとして決定する。

図１１を参照して、γｖが大きい場合の８×８のブロック画像を４×４のブロックの画像に再符号化する例について説明する。
（ｉ）に示す交流レベルの絶対値の平均値は、γｈ＝２、γｖ＝１４、γｄ＝１である。この場合は、縦方向の成分値のみが大きいので画像には横じま成分が多く含まれており、モード５を用いて再符号化すべきと解釈される。イントラ予測器３１では、モード５、モード１０及びモード１２でイントラ予測符号化し、それらの中で誤差成分の符号化量が最も少ないモードが符号化モードとして決定される。

前述の図３を用いて説明した符号化制御信号についてさらに説明する。
図５に示したＤＣＴ０〜ＤＣＴ３のそれぞれの交流成分値を（ｕ，ｖ）として示すとき、判定係数αを例えばＤＣＴ０〜ＤＣＴ３のそれぞれの（０，１）、（１，１）、（１，０）の絶対値の平均値として定義し、求められたαの値と所定の閾値α１とを比較する。αがα１より小さい場合は均一な輝度レベルの画像であると判断し１６×１６のブロックにより符号化する。αがα１を超える場合は４×４のブロックで符号化する。

図８に示した１６×１６のブロックにおけるイントラ予測モードの決定も同様に行う。
即ち、同図のように配列されるＤＣＴ０〜ＤＣＴ３の４個の直流成分値を基に、横方向の差分値βｈと縦方向の差分値βｖを定義する。それぞれのＤＣＴ演算されるブロックの明度差に係る閾値β１を定める。βｈとβｖの両者がβ１より小さい場合はモード２を選択する。βｈがβ１以下であり、且つβｖのみがβ１を超える場合はモード１により、βｈのみがβ１を超える場合にはモード０を選択する。βｖ及びβｈの両者がβ１を超えるときには図９に示した４×４のブロックによるイントラ予測符号化を行うとして解釈する。

図１３を参照して、符号化変換装置のイントラ予測処理の流れを説明する。
Ｓ（ステップ）６１において、入力される符号化信号を可変長符号化及び逆量子化して得られるマクロブロックの係数信号を入力する。Ｓ６２でそれぞれのブロックに係る係数のうち、直流成分及び低次交流成分の係数値を取得する。Ｓ６３でそれぞれのブロックの係数の位置（次数）、係数値の絶対値、及び符号を取得する。次に取得したそれぞれの値を基にα値を求める。α値が閾値α１より小さい場合はＳ６６により１６×１６のブロックによるイントラ予測符号化を行うモードを設定する。符号化を行う場合のモード０〜３のうち、適したモードを解釈し、絞り込む。α値が閾値α１より大きい場合は４×４イントラ予測符号化を行うものとし、同様にその場合に用いる予測モード４から１２のうちのいずれを用いるかの絞込みを行う。イントラ予測時の予測モード情報をイントラ予測器３１に出力する。

図１４を参照して、１６×１６イントラ予測符号化を行う場合のイントラ予測モードの絞込みを説明する。
Ｓ７１で係数信号を入力する。Ｓ７２で４つのブロックの直流成分値から水平方向と垂直方向の判定係数βｈ及びβｖを算出する。Ｓ７３で判定係数βｈ及びβｖのそれぞれと閾値β１を比較する。Ｓ７４で、βｈ及びβｖの両者がβ１より小さいか、片方のみが大きいかのそれぞれの場合により図８に示したモードのうちいずれのモードによりイントラ符号化を行うかの絞込みを行う。βｈ及びβｖの両者がβ１より大きい場合は４×４のブロックによるイントラ予測符号化を行うものとする。Ｓ７５で予測されたイントラ予測時に使用するモード情報をイントラ予測器３１に出力する。

図１５を参照して、４×４イントラ予測符号化を行う場合のイントラ予測モードの絞込みを説明する。
Ｓ８１で係数信号を入力する。Ｓ８２で８×８のブロックの交流成分値から判定係数γｈ、γｖ、及びγｄを算出する。Ｓ８３で判定係数γｈ、γｖ、及びγｄそれぞれと閾値γ１とを比較する。Ｓ８４で、図９に示したモードのうちからイントラ予測符号化に使用するモードの候補を絞り込む。Ｓ８５で予測されたイントラ予測時に使用するモード情報をイントラ予測器３１に出力する。

いわゆるＭＰＥＧ−４ ＡＶＣやＨ．２６４による圧縮符号化では、入力される１６×１６のマクロブロックの画像に対し、図８で示した全てのモードによる符号化を行い、それぞれのモードで符号化した場合の符号量のうち最も小さい符号量を与えるモードを符号化結果から求める。次に１６×１６のマクロブロックを４×４の１６のブロックに分割し、分割されたそれぞれの４×４のブロックに対して図９に示した９種類のモードに対する符号化を行い、最小の符号良を与えるモードとその場合の符号量を求める。その動作を１６個の４×４ブロックについて行う。１６個のブロックそれぞれに対する最小の符号量を与えるモードを特定し、それらの場合の最小符号量の総和を求める。求められた結果を基に１６×１６のブロックによるイントラ予測符号化と、４×４のブロックによるイントラ予測符号化とを比較する。その結果により１６×１６のブロックで符号化した方が良いか、又は４×４のブロックで符号化したほうが良いかが選択される。即ち１６×１６のブロックに対する符号化が４回と、４×４のブロックに対する符号化が１６×９の１４４回とが行われた後に最適なブロック選択と符号化モード情報とが得られる。

本実施例で示した符号化変換装置では、ＭＰＥＧ−２で符号化した際に得られるＤＣＴ変換後の変換係数情報、又はその変換係数情報を量子化して得られる量子化情報を解釈することにより、１６×１６のブロックに対する符号化は１回、４×４のブロックに対する符号化は１×１６＝１６回〜３×１６＝４８回程度の回数で行う。モード選択のために行う仮イントラ予測符号化のための回数を大幅に縮減することが出来るものである。

以上のように、本実施例で示した符号化変換装置によれば、第１の符号化方法により符号化された画像信号を復号化した後、ＤＣＴブロックに戻して得られた複数の係数テーブルを作成する係数テーブル作成手段と、前記複数の係数テーブルにおける直流成分の係数値同士を比較して、それらの差が予め定められた第１の基準値よりも小さい場合には、前記複数の係数テーブルと同数以下のブロックを用いた複数の第１予測モードパターンからなる第１のイントラ予測符号化モードを選択する選択信号を出力し、大きい場合には、前記複数の係数テーブルよりもブロック数が多い複数の第２予測モードパターンからなる第２のイントラ予測符号化モードを選択する選択信号を出力する係数情報検出手段と、前記複数の係数テーブルにおける水平方向の係数値の和と垂直方向の係数値の和とを比較し、それらの差から第１のイントラ予測符号化を行うための第１予測モードパターンを設定し、前記複数の係数テーブルにおける水平及び垂直方向の交流成分の係数値を予め定められた第２の基準値と比較して前記交流成分が多く分布する方向を求め、前記複数の第２予測モードパターンの中から、前記交流成分が多く分布する方向に基づいて数種類の候補パターンを選択する候補パターン選出手段と、前記数種類の候補パターンを用いて、前記復号化された画像信号の符号化を行った後、前記数種類の候補パターンごとの符号化信号それぞれの符号量を計測し、前記それぞれの符号量のうち最も小さな符号量を与える候補パターンを１つ選択し、前記予測モードパターンにより設定された前記第１のイントラ予測符号化により、或いは前記１つのパターンに選択された候補パターンの前記第２のイントラ予測符号化を前記複数の係数テーブルについて行うことにより前記復号化された画像信号をイントラ符号化して符号化信号を得る符号化手段とを有する格別な構成があるので、第１のブロックサイズで直交変換及び量子化して生成された圧縮符号化信号を第２及び第３のブロックサイズで分割されて直交変換及び量子化して生成されるさらに効率の高い圧縮符号化信号への変換を、少ない演算量で実現可能とする符号化変換装置を実現できる。

例えばＭＰＥＧ−２で符号化した第１の圧縮符号化信号を、例えばＭＰＥＧ−４ ＡＶＣやＨ．２６４により符号化した第２の圧縮符号化信号に変換する符号化信号変換装置に適用できる。

本発明の実施に係る符号化変換装置の概略構成例を示すブロック図である。 本発明の実施に係る符号化変換装置の動画像復号部の構成例を示す図である。 本発明の実施に係る符号化変換装置の動画像情報変換部の構成例を示す図である。 本発明の実施に係る符号化変換装置の動画像符号化部の構成例を示す図である。 本発明の実施に係る４個の８×８画素ブロックで構成されるマクロブロックを示す図である。 本発明の実施に係る１個の１６×１６画素ブロックで構成されるマクロブロックを示す図である。 本発明の実施に係る１６個の４×４画素ブロックで構成されるマクロブロックを示す図である。 本発明の実施に係る１６×１６画素ブロックのフレーム内符号化画像の予測方向を示す図である。 本発明の実施に係る４×４画素ブロックのフレーム内符号化画像の予測方向を示す図である。 本発明の実施に係る８×８画素ブロックの符号化画像を平均値予測４×４画素ブロックに変換する例を示す図である。 本発明の実施に係る８×８画素ブロックの符号化画像を縦方向予測４×４画素ブロックに変換する例を示す図である。 本発明の実施に係る８×８画素ブロックの符号化画像を横方向予測４×４画素ブロックに変換する例を示す図である。 本発明の実施に係る符号化変換装置の動作をフローチャートで例示した図である。 本発明の実施に係る１６×１６画素ブロックの予測動作をフローチャートで例示した図である。 本発明の実施に係る４×４画素ブロックの予測動作をフローチャートで例示した図である。

符号の説明

１ 動画像復号部
２ 動画像情報変換部
３ 動画像符号化部
１１ 可変長復号器
１２ 逆量子化器
１３ 復号化器
２１ 係数変換情報解釈器
２２ イントラ予測情報器
２３ 符号化モード情報解釈器
３１ イントラ予測器
３２ インター予測器
３３ 符号化器
３４ 可変長符号化器
３８、３９ スイッチ
１３１ インター予測復号器
１３２ 逆係数変換器
１３３ 加算器
１３４ 画像メモリ
２１１ 係数メモリ
２１２ ブロック間差分値演算回路
２１３ 閾値判定回路
２２１ 水平方向係数平均回路
２２２ 垂直方向係数平均回路
２２３ イントラ予測方向判定回路
２３１ 符号化モード情報取得回路
２３２ 符号化モード決定回路
３３１ 減算回路
３３２ 係数変換回路
３３３ 量子化回路
３３４ 逆量子化回路
３３５ 逆係数変換回路
３３６ 加算回路
３３７ 画像メモリ

Claims (2)

1. 第１の符号化方法により符号化された画像信号を第２の符号化方法に変換して出力する符号化変換方法において、
   前記第１の符号化方法により符号化された前記画像信号を復号化した後、ＤＣＴブロックに戻して得られた複数の係数テーブルを作成し、
   前記複数の係数テーブルにおける直流成分の係数値同士を比較して、それらの差が予め定められた第１の基準値よりも小さい場合には、前記複数の係数テーブルと同数以下のブロックを用いた複数の第１予測モードパターンからなる第１のイントラ予測符号化モードを選択し、大きい場合には、前記複数の係数テーブルよりもブロック数が多い複数の第２予測モードパターンからなる第２のイントラ予測符号化モードを選択し、
   前記複数の係数テーブルにおける水平方向の係数値の和と垂直方向の係数値の和とを比較し、それらの差から第１のイントラ予測符号化を行うための第１予測モードパターンを設定し、
   前記複数の係数テーブルにおける水平及び垂直方向の交流成分の係数値を予め定められた第２の基準値と比較して前記交流成分が多く分布する方向を求め、前記複数の第２予測モードパターンの中から、前記交流成分が多く分布する方向に基づいて数種類の候補パターンを選択し、
   前記数種類の候補パターンを用いて、前記復号化された画像信号の符号化を行った後、前記数種類の候補パターンごとの符号化信号それぞれの符号量を計測し、前記それぞれの符号量のうち最も小さな符号量を与える候補パターンを１つ選択し、
   前記予測モードパターンにより設定された前記第１のイントラ予測符号化により、或いは前記１つのパターンに選択された候補パターンの前記第２のイントラ予測符号化を前記複数の係数テーブルについて行うことにより前記復号化された画像信号をイントラ符号化して符号化信号を得ることを特徴とする符号化変換方法。
2. 第１の符号化方法により符号化された画像信号を第２の符号化方法に変換して出力する符号化変換装置において、
   前記第１の符号化方法により符号化された前記画像信号を復号化した後、ＤＣＴブロックに戻して得られた複数の係数テーブルを作成する係数テーブル作成手段と、
   前記複数の係数テーブルにおける直流成分の係数値同士を比較して、それらの差が予め定められた第１の基準値よりも小さい場合には、前記複数の係数テーブルと同数以下のブロックを用いた複数の第１予測モードパターンからなる第１のイントラ予測符号化モードを選択する選択信号を出力し、大きい場合には、前記複数の係数テーブルよりもブロック数が多い複数の第２予測モードパターンからなる第２のイントラ予測符号化モードを選択する選択信号を出力する係数情報検出手段と、
   前記複数の係数テーブルにおける水平方向の係数値の和と垂直方向の係数値の和とを比較し、それらの差から第１のイントラ予測符号化を行うための第１予測モードパターンを設定し、前記複数の係数テーブルにおける水平及び垂直方向の交流成分の係数値を予め定められた第２の基準値と比較して前記交流成分が多く分布する方向を求め、前記複数の第２予測モードパターンの中から、前記交流成分が多く分布する方向に基づいて数種類の候補パターンを選択する候補パターン選出手段と、
   前記数種類の候補パターンを用いて、前記復号化された画像信号の符号化を行った後、前記数種類の候補パターンごとの符号化信号それぞれの符号量を計測し、前記それぞれの符号量のうち最も小さな符号量を与える候補パターンを１つ選択し、前記予測モードパターンにより設定された前記第１のイントラ予測符号化により、或いは前記１つのパターンに選択された候補パターンの前記第２のイントラ予測符号化を前記複数の係数テーブルについて行うことにより前記復号化された画像信号をイントラ符号化して符号化信号を得る符号化手段と、
   を備えたことを特徴とする符号化変換装置。
   
   

Images