JP5100689B2 - 動画像符号化装置及び動画像復号装置 - Google Patents

Description

この発明は、インタレース形式の動画像信号を符号化する動画像符号化装置と、インタレース形式の動画像信号が符号化されている符号化データを復号する動画像復号装置とに関するものである。

動画像信号には、プログレッシブ信号とインタレース信号の２種類がある。
プログレッシブ信号は、「順次走査」と呼ばれているものであり、ＰＣモニタなどに使用されている走査線を上から下に１ラインずつ走査していくものである。
一方、インタレース信号は、「飛び越し走査」と呼ばれているものであり、１フレームを２つのフィールドに分割し、それぞれのフィールドが互いに重ならない１ライン置きに走査していくものである。

インタレース信号は、プログレッシブ信号と比べて、半分の走査線で１つのフィールドを構成することができるため、同じ信号量であっても、見かけ上２倍の動き（フレームレート）を表現することができる。
このインタレース信号を効率よく符号化処理する国際標準方式として、以下の非特許文献１に開示されている「ＭＰＥＧ−２」や、非特許文献２に開示されている「ＡＶＣ」などがある。

図６はＭＰＥＧ−２で符号化処理を実施する一般的な動画像符号化装置を示す構成図である。
ＭＰＥＧ−２では、輝度信号が１６画素×１６ラインの画素数で構成されるマクロブロックを一単位として符号化処理を行う。
動画像信号がインタレース信号の場合、図７の斜線が施されていないフィールドの信号（以下、「トップフィールド」と称する）１６画素×８ライン分と、斜線が施されているフィールドの信号（以下、「ボトムフィールド」と称する）１６画素×８ライン分とが組み合わされた１６画素×１６ラインの信号でマクロブロックが構成される。

ＭＰＥＧ−２では、ＤＣＴを用いて、インタレース信号を８×８サイズのブロック単位で符号化処理を実施する際、ブロック化部が、１ビットのフラグである「ｄｃｔ＿ｔｙｐｅ」が“０”であれば、図８に示すように、インタレース信号のトップフィールドとボトムフィールドを交互に配置することでフレームブロックを構成する。
一方、「ｄｃｔ＿ｔｙｐｅ」が“１”であれば、図９に示すように、インタレース信号のトップフィールドとボトムフィールドを分離して配置することでフィールドブロックを構成する。

このように、ブロック化部では、フレームブロック又はフィールドブロックのいずれか一方を構成するが、通常、動画像信号が静止状態の場合（動画像信号の動きが小さく、その動き量が基準値に満たない場合）にはフレームブロックを構成し、動画像信号が動きのある状態の場合（動画像信号の動きが大きく、その動き量が基準値以上である場合）にはフィールドブロックを構成する。
即ち、動画像信号が静止状態の場合、トップフィールドとボトムフィールドの間の信号には時間的な変化がないため、フィールドに分けることなく、空間距離の近い信号を使用した方が高い符号化効率が得られる。そのため、動画像信号が静止状態の場合には、フレームブロックを構成する。
逆に、動画像信号が動きのある状態の場合、２つのフィールドの間には時間的な変化が生じるため、空間距離の近さよりも、それぞれのフィールドに分けて時間距離の近い信号を使用した方が高い符号化効率が得られる。そのため、動画像信号が動きのある状態の場合には、フィールドブロックを構成する。

ＤＣＴ部では、ブロック化部がフレームブロック又はフィールドブロックを構成すると、そのフレームブロック又はフィールドブロックにＤＣＴを施して、ＤＣＴ係数を算出する。
量子化部では、予め用意されている量子化マトリクスを用いて、ＤＣＴ部により算出されたＤＣＴ係数を量子化して、量子化インデックスを算出する。
可変長符号化部では、量子化部により算出された量子化インデックスを可変長符号化して符号化データを生成する。

ＩＳＯ／ＩＥＣ １３８１８−２「Information technology - Generic coding of moving pictures and associated audio information -- Part 2: Video」 ＩＳＯ／ＩＥＣ １４４９６−１０「Information technology -- Coding of audio-visual objects -- Part 10: Advanced video coding」

従来の動画像符号化装置は以上のように構成されているので、予め用意されている量子化マトリクスを用いて、ＤＣＴ部により算出されたＤＣＴ係数を量子化して、量子化インデックスを算出する。しかし、ブロック化部により構成されているブロックの種類が、フレームブロックであるのか、フィールドブロックであるのかにかかわらず、常に、同一の量子化マトリクスを用いているため、必ずしもフレームブロックやフィールドブロックに適する量子化処理を行うことができず、効率的な符号化処理を実現することができないなどの課題があった。

ここで、効率的な符号化処理を実現することができないことを具体的に説明する。
図１０（Ａ）のように、マクロブロックの中に４つの円が並んでいるインタレース信号を符号化する場合を考える。
このようなインタレース信号からフレームブロックを構成する場合、図１０（Ｂ）に示すように、一つのブロック内に一つの円が入るため、水平方向の信号の状態と垂直方向の信号の状態とに差がなく等しくなる。そのため、ＤＣＴ係数も水平方向と垂直方向の値が等しくなる。
一方、フィールドブロックを構成する場合、1ラインおきの信号を用いてブロックが構成されるため、一つのブロックが画面上に占める面積がフレームブロックと比べて垂直方向で２倍となる。そのため、図１０（Ｃ）に示すように、一つのブロック内に二つの円が入るので、水平方向の信号と比べて垂直方向の信号が２倍の密度になる。したがって、ＤＣＴ係数も垂直方向の値が水平方向の値と比べて２倍大きくなる。
このようにフレームブロックとフィールドブロックとでは、ＤＣＴ係数の分布（特に垂直方向の分布）が異なる傾向があるにもかかわらず、従来の動画像符号化装置では、１種類の量子化マトリクスしか用意されていないため、効率のよい符号化処理を実現することができない。

この発明は上記のような課題を解決するためになされたもので、フレームブロック又はフィールドブロックのいずれを構成する場合でも、効率的な符号化処理を実現することができる動画像符号化装置を得ることを目的とする。
また、この発明は、上記の動画像符号化装置によりインタレース形式の動画像信号が符号化されている符号化データを効率的に復号して、復号画像を出力することができる動画像復号装置を得ることを目的とする。

この発明に係る動画像符号化装置は、量子化マトリクスを選択する際に動画像信号を構成する画素のアスペクト比を示す指標信号を参照するとともに、ブロック構成手段により構成されたブロックの種類がフレームブロックであれば、そのフレームブロックに対応する量子化マトリクスを用いて、離散コサイン変換手段の変換結果を量子化することで量子化インデックスを算出し、ブロック構成手段により構成されたブロックの種類がフィールドブロックであれば、そのフィールドブロックに対応する量子化マトリクスを用いて、離散コサイン変換手段の変換結果を量子化することで量子化インデックスを算出する量子化手段と、動画像信号を構成する画素のアスペクト比を示す指標信号と、量子化手段により算出された量子化インデックス及び上記ブロック構成手段により構成されたブロックの種類を示すブロックタイプ信号を可変長符号化して符号化データを出力する可変長符号化手段とを備えるようにしたものである。

この発明によれば、量子化マトリクスを選択する際に動画像信号を構成する画素のアスペクト比を示す指標信号を参照するとともに、ブロック構成手段により構成されたブロックの種類がフレームブロックであれば、そのフレームブロックに対応する量子化マトリクスを用いて、離散コサイン変換手段の変換結果を量子化することで量子化インデックスを算出し、ブロック構成手段により構成されたブロックの種類がフィールドブロックであれば、そのフィールドブロックに対応する量子化マトリクスを用いて、離散コサイン変換手段の変換結果を量子化することで量子化インデックスを算出する量子化手段と、動画像信号を構成する画素のアスペクト比を示す指標信号と、量子化手段により算出された量子化インデックス及び上記ブロック構成手段により構成されたブロックの種類を示すブロックタイプ信号を可変長符号化して符号化データを出力する可変長符号化手段とを備えるように構成したので、フレームブロック又はフィールドブロックのいずれを構成する場合でも、効率的な符号化処理を実現することができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 フレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスの一例を示す説明図である。 この発明の実施の形態２による動画像符号化装置を示す構成図である。 この発明の実施の形態３による動画像復号装置を示す構成図である。 この発明の実施の形態４による動画像復号装置を示す構成図である。 ＭＰＥＧ−２で符号化処理を実施する一般的な動画像符号化装置を示す構成図である。 インタレース信号のマクロブロックを示す説明図である。 フレームブロックを示す説明図である。 フィールドブロックを示す説明図である。 同じインタレース信号から構成されるフレームブロックとフィールドブロックの一例を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、画面並べ替え部１はインタレース形式の動画像信号（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）であるインタレース信号を入力すると、符号化順にピクチャの並び替えを行うとともに、そのインタレース信号をマクロブロック単位に分割する処理を実施する。
減算器２は画面並べ替え部１から出力されたマクロブロック単位のインタレース信号と動き補償部１４により生成された予測画像の画像信号との差分を求め、その差分を示す差分信号を出力する処理を実施する。

モード判定部３は画面並べ替え部１から出力されたマクロブロック単位のインタレース信号と、減算器２から出力された差分信号とを入力し、符号化処理方式としてフレーム内符号化処理を採用する場合、符号化対象信号として、そのインタレース信号をブロック化部４に出力し、符号化処理方式としてフレーム間符号化処理を採用する場合、符号化対象信号として、その差分信号をブロック化部４に出力する処理を実施する。

ブロック化部４はモード判定部３から出力された符号化対象信号が、動きの無い信号（動きが小さな信号）であれば、その符号化対象信号のトップフィールドとボトムフィールドを交互に配置することでフレームブロック（図８を参照）を構成し、動きのある信号（動きが大きな信号）であれば、そのトップフィールドとボトムフィールドを分離して配置することでフィールドブロック（図９を参照）を構成する処理を実施する。
また、ブロック化部４は構成したブロックの種類がフレームブロックであるのか、フィールドブロックであるのかを示すｄｃｔ＿ｔｙｐｅ（ブロックタイプ信号）を出力する処理を実施する。
なお、ブロック化部４はブロック構成手段を構成している。
この実施の形態１では、符号化対象信号の動きが小さく、その動き量が基準値に満たない場合、その符号化対象信号を「動きの無い信号」と称し、符号化対象信号の動きが大きく、その動き量が基準値以上である場合、その符号化対象信号を「動きのある信号」と称する。

ＤＣＴ部５はブロック化部４により構成されたフレームブロック又はフィールドブロックにＤＣＴ（離散コサイン変換）を施してＤＣＴ係数を出力する処理を実施する。なお、ＤＣＴ部５は離散コサイン変換手段を構成している。
量子化部６は予めフレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスを用意しており、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出し、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出する処理を実施する。なお、量子化部６は量子化手段を構成している。

逆量子化部７は予めフレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスを用意しており、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する量子化マトリクスを用いて、量子化部６により算出された量子化インデックスを逆量子化してＤＣＴ係数を出力し、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する量子化マトリクスを用いて、量子化部６により算出された量子化インデックスを逆量子化してＤＣＴ係数を出力する処理を実施する。
ＩＤＣＴ部８は逆量子化部７から出力されたＤＣＴ係数にＩＤＣＴ（逆離散コサイン変換）を施して、局部復号信号であるフレームブロック又はフィールドブロックを出力する処理を実施する。

スイッチ９はモード判定部３により符号化処理方式としてフレーム内符号化処理が採用された場合、予測画像の画像信号として零値を加算器１０に出力し、符号化処理方式としてフレーム間符号化処理が採用された場合、動き補償部１４により生成された予測画像の画像信号を加算器１０に出力する処理を実施する。
加算器１０はスイッチ９から出力された予測画像の画像信号とＩＤＣＴ部８から出力された局部復号信号を加算して、予測用参照画像の画像信号を出力する処理を実施する。

スイッチ１１は符号化対象のピクチャに応じて、加算器１０から出力された予測用参照画像の画像信号を格納するフレームメモリ１２を切り替える処理を実施する。
フレームメモリ１２はスイッチ１１から出力された予測用参照画像の画像信号を格納するメモリである。
動き検出部１３は画面並べ替え部１から出力されたマクロブロック単位のインタレース信号とフレームメモリ１２により格納されている予測用参照画像の画像信号との間で動きベクトルを検出する処理を実施する。

動き補償部１４は動き検出部１３により検出された動きベクトルを用いて、フレームメモリ１２により格納されている予測用参照画像の画像信号の動き補償を実施して、予測画像の画像信号を生成する処理を実施する。
可変長符号化部１５は量子化部６により算出された量子化インデックス、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅ及び動き検出部１３により検出された動きベクトルなどを可変長符号化して符号化データを出力する処理を実施する。なお、可変長符号化部１５は可変長符号化手段を構成している。

次に動作について説明する。
画面並べ替え部１は、インタレース形式の動画像信号であるインタレース信号を入力すると、符号化順にピクチャの並び替えを行うとともに、そのインタレース信号をマクロブロック単位に分割する。
減算器２は、画面並べ替え部１からマクロブロック単位のインタレース信号を受けると、そのインタレース信号と動き補償部１４により生成された予測画像の画像信号との差分を求め、その差分を示す差分信号をモード判定部３に出力する。

モード判定部３は、画面並べ替え部１から出力されたマクロブロック単位のインタレース信号と、減算器２から出力された差分信号とを入力し、符号化処理方式としてフレーム内符号化処理を採用する場合、符号化対象信号として、そのインタレース信号をブロック化部４に出力し、符号化処理方式としてフレーム間符号化処理を採用する場合、符号化対象信号として、その差分信号をブロック化部４に出力する。
なお、モード判定部３は、採用する符号化処理方式を決定するに際して、例えば、フレーム内符号化処理で符号化した場合の符号化効率と、フレーム間符号化処理で符号化した場合の符号化効率とを比較し、符号化効率が高い方の符号化処理方式を選択する。

ブロック化部４は、モード判定部３から符号化対象信号を受けると、その符号化対象信号の動きの有無（動きの大小）を判定する。動きの有無を判定する手法は公知の技術を使用すればよいので、ここでは詳細な説明を省略する。
ブロック化部４は、符号化対象信号の動きの有無を判定して、動きの無い信号であれば、図８に示すように、その符号化対象信号のトップフィールドとボトムフィールドを交互に配置することでフレームブロックを構成し、そのフレームブロックをＤＣＴ部５に出力する。
一方、動きのある信号であれば、図９に示すように、そのトップフィールドとボトムフィールドを分離して配置することでフィールドブロックを構成し、そのフィールドブロックをＤＣＴ部５に出力する。
ブロック化部４は、フレームブロック又はフィールドブロックを構成すると、構成したブロックの種類を示すｄｃｔ＿ｔｙｐｅを量子化部６，逆量子化部７及び可変長符号化部１５に出力する。

ＤＣＴ部５は、ブロック化部４からフレームブロック又はフィールドブロックを受けると、そのフレームブロック又はフィールドブロックにＤＣＴを施してＤＣＴ係数を量子化部６に出力する。

量子化部６は、予め、フレームブロックに対応する量子化マトリクスと、フィールドブロックに対応する量子化マトリクスとを用意している。
ここで、図２はフレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスの一例を示す説明図である。
フレームブロックの信号は、図１０（Ｂ）に示すように、水平方向と垂直方向の信号の状態が等しいため、方向に関係なく等しく量子化処理を実施することができるようにするために、量子化マトリクスの値についても、図２（Ａ）に示すように、水平方向と垂直方向が同じ傾向を有しているものを用意している。
一方、フィールドブロックの信号は、図１０（Ｃ）に示すように、水平方向と比べて垂直方向の信号の状態が２倍の密度になるため、図２（Ｂ）に示すように、量子化マトリクスの値が垂直方向に対して水平方向が２倍になるようにしている。
これにより、垂直方向のＤＣＴ係数の量子化誤差が水平方向のＤＣＴ係数の量子化誤差と比べて２分の１に小さくできるため、垂直方向の信号の状態をより性能よく符号化処理することが可能となる。

量子化部６は、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する図２（Ａ）の量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出する。
一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する図２（Ｂ）の量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出する。

逆量子化部７は、量子化部６と同様に、２種類の量子化マトリクス（図２（Ａ）（Ｂ）の量子化マトリクス）を用意しており、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する図２（Ａ）の量子化マトリクスを用いて、量子化部６により算出された量子化インデックスを逆量子化してＤＣＴ係数をＩＤＣＴ部８に出力する。
一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する図２（Ｂ）の量子化マトリクスを用いて、量子化部６により算出された量子化インデックスを逆量子化してＤＣＴ係数をＩＤＣＴ部８に出力する。
ＩＤＣＴ部８は、逆量子化部７からＤＣＴ係数を受けると、そのＤＣＴ係数にＩＤＣＴを施して、局部復号信号であるフレームブロック又はフィールドブロックを加算器１０に出力する。

スイッチ９は、モード判定部３により符号化処理方式としてフレーム内符号化処理が採用された場合、予測画像の画像信号として零値を加算器１０に出力し、符号化処理方式としてフレーム間符号化処理が採用された場合、動き補償部１４から出力された予測画像の画像信号を加算器１０に出力する。
加算器１０は、スイッチ９から出力された予測画像の画像信号とＩＤＣＴ部８から出力された局部復号信号を加算して、予測用参照画像の画像信号をスイッチ１１に出力する。
スイッチ１１は、加算器１０から出力された予測用参照画像の画像信号をフレームメモリ１２に格納する。

動き検出部１３は、画面並べ替え部１からマクロブロック単位のインタレース信号を受けると、そのインタレース信号とフレームメモリ１２により格納されている予測用参照画像の画像信号との間で動きベクトルを検出する。
動き補償部１４は、動き検出部１３が動きベクトルを検出すると、その動きベクトルを用いて、フレームメモリ１２により格納されている予測用参照画像の画像信号の動き補償を実施して、予測画像の画像信号を生成する。
可変長符号化部１５は、量子化部６により算出された量子化インデックス、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅ、動き検出部１３により検出された動きベクトルや、符号化方式情報（符号化処理方式としてフレーム内符号化処理が採用されているのか、フレーム間符号化処理が採用されているのかを示す情報）などを可変長符号化して符号化データを出力する。

以上で明らかなように、この実施の形態１によれば、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する図２（Ａ）の量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出し、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する図２（Ｂ）の量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出する量子化部６を設けるように構成したので、フレームブロック又はフィールドブロックのいずれを構成する場合でも、効率的な符号化処理を実現することができる効果を奏する。
なお、この実施の形態１では、動きの有る／無しでブロック化部４が構成するブロックを切り替えるものについて示したが、動きの有る／無しに関わらず両方のブロックを構成して、両方のブロックの符号化処理を実施し、符号量の少ない方のブロック、あるいは、符号化処理によって発生する符号化雑音が小さい方のブロック、あるいは、符号量と符号化雑音のバランスが良い方のブロックを選択するようにしてもよい。
このような構成にすることにより、符号化効率を高めることができる効果が得られる。

実施の形態２．
図３はこの発明の実施の形態２による動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
モード判定部２１は図１のモード判定部３と同様にして、符号化対象信号をブロック化部４に出力する処理を実施するほか、量子化マトリクスの選択に用いる指標信号として、符号化処理方式がフレーム内符号化処理であるのか、フレーム間符号化処理であるのかを示すフラグ「ｍｔｘ＿ｆｌａｇ」を量子化部２２に出力する処理を実施する。

量子化部２２は予めフレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスをそれぞれ複数個用意しており、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フレームブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出する。一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フィールドブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出する処理を実施する。なお、量子化部２２は量子化手段を構成している。

逆量子化部２３は予めフレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスをそれぞれ複数個用意しており、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フレームブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、量子化部２２により算出された量子化インデックスを逆量子化してＤＣＴ係数を出力する。一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フィールドブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、量子化部２２により算出された量子化インデックスを逆量子化してＤＣＴ係数を出力する処理を実施する。

可変長符号化部２４は量子化部２２により算出された量子化インデックス、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅ、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」及び動き検出部１３により検出された動きベクトルなどを可変長符号化して符号化データを出力する処理を実施する。なお、可変長符号化部２４は可変長符号化手段を構成している。

次に動作について説明する。
モード判定部２１は、画面並べ替え部１から出力されたマクロブロック単位のインタレース信号と、減算器２から出力された差分信号とを入力すると、図１のモード判定部３と同様に、符号化対象信号として、そのインタレース信号又は差分信号をブロック化部４に出力する。
また、モード判定部２１は、量子化マトリクスの選択に用いる指標信号として、符号化処理方式がフレーム内符号化処理であるのか、フレーム間符号化処理であるのかを示すフラグ「ｍｔｘ＿ｆｌａｇ」を量子化部２２、逆量子化部２３及び可変長符号化部２４に出力する。

量子化部２２は、予め、フレームブロックに対応する量子化マトリクスを２種類以上用意し、また、フィールドブロックに対応する量子化マトリクスを２種類用意している。
量子化部２２は、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フレームブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択する。
フレームブロックに対応する複数の量子化マトリクスのうち、例えば、フラグ「ｍｔｘ＿ｆｌａｇ」がフレーム内符号化処理を採用する旨を示している場合、フレーム内符号化処理に適している量子化マトリクスを選択し（例えば、ＡＣ係数を細かく量子化することが可能な量子化マトリクス）、フラグ「ｍｔｘ＿ｆｌａｇ」がフレーム間符号化処理を採用する旨を示している場合、フレーム間符号化処理に適している量子化マトリクスを選択する（例えば、ＡＣ係数を粗く量子化することが可能な量子化マトリクス）。

一方、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フィールドブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択する。
フィールドブロックに対応する複数の量子化マトリクスのうち、例えば、フラグ「ｍｔｘ＿ｆｌａｇ」がフレーム内符号化処理を採用する旨を示している場合、フレーム内符号化処理に適している量子化マトリクスを選択し（例えば、ＡＣ係数を細かく量子化することが可能な量子化マトリクス）、フラグ「ｍｔｘ＿ｆｌａｇ」がフレーム間符号化処理を採用する旨を示している場合、フレーム間符号化処理に適している量子化マトリクスを選択する（例えば、ＡＣ係数を粗く量子化することが可能な量子化マトリクス）。
量子化部２２は、量子化に用いる量子化マトリクスを選択すると、その量子化マトリクスを用いて、ＤＣＴ部５から出力されたＤＣＴ係数を量子化することで量子化インデックスを算出する。

逆量子化部２３は、量子化部２２と同様に、フレームブロックに対応する量子化マトリクスを２種類以上用意し、また、フィールドブロックに対応する量子化マトリクスを２種類用意している。
逆量子化部２３は、量子化部２２と同様の方法で、逆量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、量子化部２２により算出された量子化インデックスを逆量子化してＤＣＴ係数をＩＤＣＴ部８に出力する。

可変長符号化部２４は、量子化部２２により算出された量子化インデックス、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅ、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」、動き検出部１３により検出された動きベクトルや、符号化方式情報などを可変長符号化して符号化データを出力する。
ただし、可変長符号化部２４において、符号化方式情報が可変長符号化されるので、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」については必ずしも可変長符号化する必要がない。

以上で明らかなように、この実施の形態２によれば、量子化部２２が、ブロック化部４から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フレームブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択し、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、モード判定部２１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フィールドブロックに対応する複数の量子化マトリクスの中から量子化に用いる量子化マトリクスを選択するように構成したので、上記実施の形態１よりも更に、量子化に用いる量子化マトリクスの適正化が図られ、更に効率的な符号化処理を実現することができる効果を奏する。

なお、この実施の形態２では、モード判定部２１が、量子化マトリクスの選択に用いる指標信号として、符号化処理方式がフレーム内符号化処理であるのか、フレーム間符号化処理であるのかを示すフラグ「ｍｔｘ＿ｆｌａｇ」を量子化部２２、逆量子化部２３及び可変長符号化部２４に出力するものについて示したが、量子化マトリクスの選択に用いる指標信号として、インタレース信号を構成する画素のアスペクト比（１画素が画面内に占める割合の縦方向と横方向の比）が量子化部２２、逆量子化部２３及び可変長符号化部２４に与えられるようにしてもよい。
この場合、量子化部２２及び逆量子化部２３は、画素のアスペクト比が縦長の場合、図１０（Ｃ）に示すように、垂直方向の信号の密度が多くなるので、図２（Ｂ）のフィールドブロック用の量子化マトリクスのような傾向を示す量子化マトリクスを選択する。一方、画素のアスペクト比が水平方向と垂直方向で等しい場合、図１０（Ｂ）に示すような信号の状態になるので、図２（Ａ）のフレームブロック用の量子化マトリクスのような傾向を示す量子化マトリクスを選択する。

また、量子化マトリクスの選択に用いる指標信号として、ＤＣＴ部５から出力されたＤＣＴ係数の分布が量子化部２２、逆量子化部２３及び可変長符号化部２４に与えられるようにしてもよい。
この場合、量子化部２２及び逆量子化部２３は、例えば、垂直方向に大きな値を有するＤＣＴ係数が多ければ、図２（Ｂ）のフィールドブロック用の量子化マトリクスのような傾向を示す量子化マトリクスを選択する。一方、垂直方向のＤＣＴ係数と水平方向のＤＣＴ係数との間に特に偏りがなければ、図２（Ａ）のフレームブロック用の量子化マトリクスのような傾向を示す量子化マトリクスを選択する。

実施の形態３．
図４はこの発明の実施の形態３による動画像復号装置を示す構成図である。
図４において、可変長復号部３１は図１の動画像符号化装置から出力された符号化データを可変長復号して、量子化インデックスを逆量子化部３２に出力し、ｄｃｔ＿ｔｙｐｅ（ブロックタイプ信号）を逆量子化部３２及びマクロブロック化部３４に出力し、動きベクトルを動き補償部３８に出力する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。

逆量子化部３２は予めフレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスを用意しており、可変長復号部３１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する量子化マトリクスを用いて、可変長復号部３１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力し、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する量子化マトリクスを用いて、可変長復号部３１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力する処理を実施する。なお、逆量子化部３２は逆量子化手段を構成している。

ＩＤＣＴ部３３は逆量子化部３２から出力されたＤＣＴ係数にＩＤＣＴを施して、フレームブロック又はフィールドブロックを出力する処理を実施する。なお、ＩＤＣＴ部３３は逆離散コサイン変換手段を構成している。
マクロブロック化部３４は可変長復号部３１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、ＩＤＣＴ部３３から出力されたフレームブロック内のフィールドを並び替えて元のマクロブロックを構成し、可変長復号部３１から出力されたｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、ＩＤＣＴ部３３から出力されたフィールドブロック内のフィールドを並び替えて元のマクロブロックを構成する処理を実施する。なお、マクロブロック化部３４はマクロブロック構成手段を構成している。

加算器３５はマクロブロック化部３４から出力されたマクロブロックの信号（図１のモード判定部３から出力された符号化対象信号（マクロブロック単位のインタレース信号、または、差分信号）に相当する信号）と動き補償部３８から出力された予測画像の画像信号を加算して、復号画像の画像信号を生成する処理を実施する。
スイッチ３６は復号画像のピクチャに応じて、加算器３５から出力された復号画像の画像信号を格納するフレームメモリ３７を切り替える処理を実施する。
フレームメモリ３７は復号画像の画像信号を格納するメモリである。
動き補償部３８は可変長復号部３１から出力された動きベクトルを用いて、フレームメモリ３７により格納されている復号画像の画像信号の動き補償を実施して、予測画像の画像信号を生成する処理を実施する。

次に動作について説明する。
可変長復号部３１は、図１の動画像符号化装置から出力された符号化データを入力すると、その符号化データを可変長復号して、量子化インデックスを逆量子化部３２に出力し、ｄｃｔ＿ｔｙｐｅを逆量子化部３２及びマクロブロック化部３４に出力する。また、動きベクトルを動き補償部３８に出力する。

逆量子化部３２は、図１の量子化部６と同じ２種類の量子化マトリクス（図２（Ａ）（Ｂ）の量子化マトリクス）を用意しており、可変長復号部３１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する図２（Ａ）の量子化マトリクスを用いて、可変長復号部３１から出力された量子化インデックスを逆量子化してＤＣＴ係数をＩＤＣＴ部３３に出力する。
一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する図２（Ｂ）の量子化マトリクスを用いて、可変長復号部３１から出力された量子化インデックスを逆量子化してＤＣＴ係数をＩＤＣＴ部３３に出力する。
ＩＤＣＴ部３３は、逆量子化部３２からＤＣＴ係数を受けると、そのＤＣＴ係数にＩＤＣＴを施して、フレームブロック又はフィールドブロックをマクロブロック化部３４に出力する。

マクロブロック化部３４は、可変長復号部３１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、ＩＤＣＴ部３３から出力されたフレームブロック内のフィールドを並び替えることで（図１のブロック化部４と逆の処理）、元のマクロブロックを構成して、そのマクロブロックを加算器３５に出力する。
一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、ＩＤＣＴ部３３から出力されたフィールドブロック内のフィールドを並び替えることで（図１のブロック化部４と逆の処理）、元のマクロブロックを構成して、そのマクロブロックを加算器３５に出力する。
なお、ここでは、元のマクロブロックの並べ方については、本発明に影響を及ぼさないため言及しない。例えば、元のマクロブロックの状態として、二つのフィールドを組み合わせたフレームの状態（図７の状態）であってもよいし、それぞれのフィールドを分離した状態であってもよいし、その他の並べ方であってもよい。

加算器３５は、マクロブロック化部３４からマクロブロックの信号を受けると、そのマクロブロックの信号と動き補償部３８から出力された予測画像の画像信号を加算して、復号画像の画像信号を生成する。
スイッチ３６は、加算器３５により生成された復号画像の画像信号をフレームメモリ３７に格納する。
動き補償部３８は、可変長復号部３１から出力された動きベクトルを用いて、フレームメモリ３７により格納されている復号画像の画像信号の動き補償を実施して、予測画像の画像信号を生成し、その予測画像の画像信号を加算器３５に出力する。

以上で明らかなように、この実施の形態３によれば、逆量子化部３２が、可変長復号部３１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、フレームブロックに対応する量子化マトリクスを用いて、可変長復号部３１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力し、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、フィールドブロックに対応する量子化マトリクスを用いて、可変長復号部３１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力するように構成したので、図１の動画像符号化装置によりインタレース信号が符号化されている符号化データを効率的に復号して、復号画像を出力することができる効果を奏する。

実施の形態４．
図５はこの発明の実施の形態４による動画像復号装置を示す構成図であり、図において、図４と同一符号は同一又は相当部分を示すので説明を省略する。
可変長復号部４１は図３の動画像符号化装置から出力された符号化データを可変長復号して、量子化インデックス及びフラグ「ｍｔｘ＿ｆｌａｇ」を逆量子化部４２に出力し、ｄｃｔ＿ｔｙｐｅ（ブロックタイプ信号）を逆量子化部４２及びマクロブロック化部３４に出力し、動きベクトルを動き補償部３８に出力する処理を実施する。なお、可変長復号部４１は可変長復号手段を構成している。

逆量子化部４２は予めフレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスをそれぞれ複数個用意しており、可変長復号部４１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、可変長復号部４１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フレームブロックに対応する複数の量子化マトリクスの中から逆量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、可変長復号部４１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力する。一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、可変長復号部４１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フィールドブロックに対応する複数の量子化マトリクスの中から逆量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、可変長復号部４１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力する処理を実施する。なお、逆量子化部４２は逆量子化手段を構成している。

次に動作について説明する。
可変長復号部４１及び逆量子化部４２以外は、上記実施の形態３と同じである。
可変長復号部４１は、図３の動画像符号化装置から出力された符号化データを入力すると、その符号化データを可変長復号して、量子化インデックス及びフラグ「ｍｔｘ＿ｆｌａｇ」を逆量子化部４２に出力し、ｄｃｔ＿ｔｙｐｅを逆量子化部４２及びマクロブロック化部３４に出力する。また、動きベクトルを動き補償部３８に出力する。

逆量子化部４２は、図３の量子化部２２と同様に、フレームブロックに対応する量子化マトリクスとフィールドブロックに対応する量子化マトリクスをそれぞれ複数個用意している。
逆量子化部４２は、可変長復号部４１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、可変長復号部４１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フレームブロックに対応する複数の量子化マトリクスの中から逆量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、可変長復号部４１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力する。
一方、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、可変長復号部４１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フィールドブロックに対応する複数の量子化マトリクスの中から逆量子化に用いる量子化マトリクスを選択し、その量子化マトリクスを用いて、可変長復号部４１から出力された量子化インデックスを逆量子化してＤＣＴ係数を出力する。

以上で明らかなように、この実施の形態４によれば、逆量子化部４２が、可変長復号部４１から出力されたｄｃｔ＿ｔｙｐｅが「フレームブロック」である旨を示す場合、可変長復号部４１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フレームブロックに対応する複数の量子化マトリクスの中から逆量子化に用いる量子化マトリクスを選択し、そのｄｃｔ＿ｔｙｐｅが「フィールドブロック」である旨を示す場合、可変長復号部４１から出力されたフラグ「ｍｔｘ＿ｆｌａｇ」を参照して、フィールドブロックに対応する複数の量子化マトリクスの中から逆量子化に用いる量子化マトリクスを選択するように構成したので、上記実施の形態３よりも更に、逆量子化に用いる量子化マトリクスの適正化が図られ、更に効率的な復号処理を実現することができる効果を奏する。

なお、上記実施の形態１〜４では、動画像符号化装置もしくは動画像復号装置が、２つ以上の量子化マトリクスをあらかじめ持っておくものとして説明を行ったが、動画像符号化装置が量子化マトリクスを生成し、例えば、その量子化マトリクスの情報を符号化データの一部に含めて動画像復号装置に出力することによって、量子化マトリクスを都度切り替えることも可能である。
このような構成にすることによって、動画像符号化装置に入力される画像信号の状態や、動画像符号化装置で設定されたビットレートなどのパラメータに応じて、最適な量子化マトリクスを設計し、これを用いて符号化処理を行うことが可能となる。

１ 画面並べ替え部、２ 減算器、３ モード判定部、４ ブロック化部（ブロック構成手段）、５ ＤＣＴ部（離散コサイン変換手段）、６ 量子化部（量子化手段）、７ 逆量子化部、８ ＩＤＣＴ部、９ スイッチ、１０ 加算器、１１ スイッチ、１２ フレームメモリ、１３ 動き検出部、１４ 動き補償部、１５ 可変長符号化部（可変長符号化手段）、２１ モード判定部、２２ 量子化部（量子化手段）、２３ 逆量子化部、２４ 可変長符号化部（可変長符号化手段）、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化部（逆量子化手段）、３３ ＩＤＣＴ部（逆離散コサイン変換手段）、３４ マクロブロック化部（マクロブロック構成手段）、３５ 加算器、３６ スイッチ、３７ フレームメモリ、３８ 動き補償部、４１ 可変長復号部（可変長復号手段）、４２ 逆量子化部（逆量子化手段）。

Claims (2)

1. マクロブロック内のインタレース形式の動画像信号のトップフィールドとボトムフィールドを交互に配置するフレームブロック又は上記動画像信号のトップフィールドとボトムフィールドを分離して配置するフィールドブロックを構成するブロック構成手段と、
   上記ブロック構成手段により構成されたフレームブロック又はフィールドブロックを離散コサイン変換する離散コサイン変換手段と、
   量子化マトリクスを選択する際に動画像信号を構成する画素のアスペクト比を示す指標信号を参照するとともに、上記ブロック構成手段により構成されたブロックの種類がフレームブロックであれば、上記フレームブロックに対応する量子化マトリクスを用いて、上記離散コサイン変換手段の変換結果を量子化することで量子化インデックスを算出し、上記ブロック構成手段により構成されたブロックの種類がフィールドブロックであれば、上記フィールドブロックに対応する量子化マトリクスを用いて、上記離散コサイン変換手段の変換結果を量子化することで量子化インデックスを算出する量子化手段と、
   上記動画像信号を構成する画素のアスペクト比を示す指標信号と、上記量子化手段により算出された量子化インデックス及び上記ブロック構成手段により構成されたブロックの種類を示すブロックタイプ信号を可変長符号化して符号化データを出力する可変長符号化手段とを備えた動画像符号化装置。
2. 符号化データを可変長復号して、画素のアスペクト比を示す指標信号と量子化インデックスとブロックタイプ信号を出力する可変長復号手段と、
   量子化マトリクスを選択する際に上記画素のアスペクト比を示す指標信号を参照するとともに、上記可変長復号手段から出力されたブロックタイプ信号が示すブロックの種類がフレームブロックである場合、上記フレームブロックに対応する量子化マトリクスを用いて、上記可変長復号手段から出力された量子化インデックスを逆量子化し、上記可変長復号手段から出力されたブロックタイプ信号が示すブロックの種類がフィールドブロックである場合、上記フィールドブロックに対応する量子化マトリクスを用いて、上記可変長復号手段から出力された量子化インデックスを逆量子化する逆量子化手段と、
   上記逆量子化手段の逆量子化結果を逆離散コサイン変換することでフレームブロック又はフィールドブロックを出力する逆離散コサイン変換手段と、
   上記逆離散コサイン変換手段から出力されたフレームブロック又はフィールドブロック内のフィールドを並び替えて元のマクロブロックを構成するマクロブロック構成手段とを備えた動画像復号装置。

Images