JP2008219205A

JP2008219205A - 画像情報符号化装置及び画像情報符号化方法

Info

Publication number: JP2008219205A
Application number: JP2007050779A
Authority: JP
Inventors: Junichi Tanaka; 潤一田中; Kazufumi Sato; 数史佐藤; Yoichi Yagasaki; 陽一矢ケ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-02-28
Filing date: 2007-02-28
Publication date: 2008-09-18

Abstract

【課題】計算量を削減しつつ、入力画像情報をより忠実に再現しつつ、モスキートノイズなどの量子化劣化を最小限にする。
【解決手段】直交変換サイズ判定部１３により、マクロブロックアクティビティ、マクロブロック分散、マクロブロックに含まれるエッジの数などの入力画像情報の特徴量を利用して直交変換サイズの判定を行い、直交変換部１５の直交変換サイズを前もって決定する。
【選択図】図１

Description

本発明は、動画画像情報を可変の直交変換サイズ単位で直交変換して符号化した画像圧縮情報を出力する画像情報符号化装置及び画像情報符号化方法に関し、特に、ＭＰＥＧ、Ｈ.２６ｘ等のように、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報符号化装置及び画像情報符号化方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度（ＳＤ：ＳｔａｎｄａｒｄＤｅｆｉｎｉｔｉｏｎ）画像及び高精細（ＨＤ：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。

さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ.２６Ｌ（ＩＴＵ−ＴＱ６／１６ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪｏｉｎｔＭｏｄｅｌｏｆＥｎｈａｎｃｅｄ−ＣｏｍｐｒｅｓｓｉｏｎＶｉｄｅｏＣｏｄｉｎｇとして行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４及びＭＰＥＧ−４Ｐａｒｔ１０（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）という名の元に国際標準となった。

ここで、ＡＶＣ規格に基づいた画像圧縮情報を出力とする画像情報符号化装置１００の概略構成を図２のブロック図に示す。

この画像情報符号化装置１００は、Ａ／Ｄ変換部１０１、画面並べ替えバッファ１０２、加算器１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、蓄積バッファ１０７、逆量子化部１０８、逆直交変換部１０９、デブロックフィルタ１１０、フレームメモリ１１１、イントラ予測部１１２、動き予測・補償部１１３、レート制御部１１４などからなる。

この図２に示す画像情報符号化装置１００において、Ａ／Ｄ変換部１０１は、入力された画像信号をデジタル信号に変換して画面並べ替えバッファ１０２に供給する。そして、画面並べ替えバッファ１０２は、当該画像情報符号化装置１００から出力する画像圧縮情報のＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）構造に応じて、フレームの並べ替えを行う。

ここで、イントラ符号化、すなわち、単一のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、イントラ予測部１１２により生成される画素値の差分情報が直交変換部１０４に入力され、直交変換部１０４において、離散コサイン変換、カルーネン・レーベ変換等の直交変換が施される。直交変換部１０４は、直交変換により得られる変換係数を量子化部１０５に供給する。

量子化部１０５は、直交変換部１０４から供給される変換係数に対して量子化処理を施し、量子化した変換係数を可逆符号化部１０６に供給する。

可逆符号化部１０６は、量子化部１０５から供給される量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。この可逆符号化部１０６により可逆符号化された変換係数は、蓄積バッファ１０７に蓄積され、画像圧縮情報として出力される。

量子化部１０５の挙動は、レート制御部１１４によって制御される。また、量子化部１０５は、量子化した変換係数を逆量子化部１０８に供給する。さらに、逆直交変換部１０９において逆直交変換処理が施されて、復号画像情報となり、デブロックフィルタ１１０においてブロック歪の除去が施された後、その情報はフレームメモリ１１１に蓄積される。イントラ予測部１１２において、当該ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化部１０６に伝送され、画像圧縮情報におけるヘッダ情報の一部として符号化される。

一方、インター符号化、すなわち、複数のフレームを用いて符号化が行われる画像情報に関しては、画面並べ替えバッファ１０２からの画像情報は動き予測・補償部１１３に入力される。動き予測・補償部１１３は、同時に参照される画像情報をフレームメモリ１１１から読み出し、動き予測・補償処理を施して参照画像情報を生成し、この参照画像情報を加算器１０３に供給する。加算器１０３は、画面並べ替えバッファ１０２からの画像情報を参照画像情報との差分信号に変換する。動き予測・補償部１１３は、同時に動きベクトル情報を可逆符号化部１０６に供給する。可逆符号化部１０６は、その動きベクトル情報に対して可変長符号化、算術符号化といった可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化を施される画像圧縮情報と同様である。

次に、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報復号装置２００の概略構成を図３のブロック図を示す。

この画像情報復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、加算器２０５、画面並べ替えバッファ２０６、Ｄ／Ａ変換部２０７、フレームメモリ２０８、動き補償・補償部２０９、イントラ予測部２１０、デブロックフィルタ２１１などからなる。

この図３に示す画像情報復号装置２００において、蓄積バッファ２０１は、入力された画像圧縮情報を一時的に格納して、可逆復号部２０２に転送する。可逆復号部２０２は、蓄積バッファ２０１から転送されてくる画像圧縮情報に対して、定められた画像圧縮情報のフォーマットに基づき、可変長復号、算術復号等の処理を施す。また、可逆復号部２０２は、当該フレームがイントラ符号化されたものである場合、画像圧縮情報のヘッダ部に格納されたイントラ予測モード情報についても復号し、その情報をイントラ予測部２１０に供給する。さらに、可逆復号部２０２は、当該フレームがインター符号化されたものである場合、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部２０９に供給する。

逆量子化部２０３は、可逆復号部２０２から供給される量子化された変換係数を逆量子化し、変換係数として逆直交変換部２０４に供給する。逆直交変換部２０４は、逆量子化部２０３から供給される変換係数に対して、定められた方式に基づき、４次の逆直交変換を施す。

ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、加算器２０５に供給され、イントラ予測部２１０において生成された予測画像情報と合成され、更に、デブロックフィルタ２１１においてブロック歪の除去が施された後、画面並べ替えバッファ２０６に格納され、Ｄ／Ａ変換部２０７によりＤ／Ａ変換処理の後に出力される。

一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部２０９は、可逆復号部２０２により可逆復号処理が施された動きベクトル情報、及び、フレームメモリ２０８に格納された画像情報を元に参照画像情報を生成し、加算器２０５に供給する。加算器２０５は、この参照画像情報と逆直交変換部２０４の出力とを合成する。その他の処理はイントラ符号化されたフレームと同様である。

特開２００５−３４１１８４号公報特開２００５−３９７４３号公報特開２００２−１８５９１４号公報

ところで、ＡＶＣではそもそも４×４ＤＣＴしか存在しなかった。これは、ＤＣＴサイズを小さくすることでモスキートノイズの伝播が抑えられるという効果があったためである。しかし、標準解像度（ＳＤ：ＳｔａｎｄａｒｄＤｅｆｉｎｉｔｉｏｎ）画像やそれ以下の画像サイズではその効果が高いが、高精細（ＨＤ：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）画像では４×４ＤＣＴではＧｒａｉｎｎｏｉｓｅなどのテクスチャーが忠実に再現できず８×８ＤＣＴの方がより忠実に再現できることが後にわかった。

そこで、２００４年には、原画をより忠実に再現することを目的に従来のプロファイルに加えてＦｉｄｅｌｉｔｙＲａｎｇｅＥｘｔｅｎｔｉｏｎとしてＨｉｇｈＰｒｏｆｉｌｅが追加された。従来のＭａｉｎＰｒｏｆｉｌｅとの大きな相違点は、ＤＣＴサイズを８×８と４×４をマクロブロック単位で切り替えることができる、ＳｃａｌｉｎｇＬｉｓｔＭａｔｒｉｘと呼ばれる量子化マトリクスを使用することができるということである。

８×８ＤＣＴの導入により高精細（ＨＤ：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ）画像におけるＧｒａｉｎｎｏｉｓｅなどのテクスチャー（模様）の再現性が向上している。ＳｃａｌｉｎｇＬｉｓｔＭａｔｒｉｘの導入により人間の視覚特性に適した画質向上が図られている。

８×８ＤＣＴと４×４ＤＣＴを切り替えるためには、ＰＰＳ（Ｐｉｃｔｕｒｅｐａｒａｍｅｔｅｒｓｅｔ）における変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）を［１］に設定する必要がある。これによりマクロブロック毎にＤＣＴサイズを切り替えることができる。

マクロブロックのＤＣＴサイズはＭａｃｒｏｂｌｏｃｋｌａｙｅｒｓｙｎｔａｘにおけるｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇにより切り替えることができる。このフラグが［０］であれば４×４ＤＣＴ、［１］であれば８×８ＤＣＴである。８×８ＤＣＴの場合は動き補償のブロックサイズが８×８以上でなければならない。

このように、ＨｉｇｈＰｒｏｆｉｌｅを追加し、ＤＣＴサイズの切り替えが可能になったのであるが、ＨＤでもエッジ部分もしくは極端に複雑なテクスチャーでは８×８ＤＣＴを使用することによるモスキートノイズが観測され、主観画質が悪いという現象が発生する。入力画像情報をより忠実に再現しつつ、モスキートノイズなどの量子化劣化を最小限にするためにＤＣＴサイズを切り替えなければならないという問題点がある。また８×８ＤＣＴ、４×４ＤＣＴの両方を考慮した動き予測およびイントラ予測を行わなければならないため計算量の増加という問題点がある。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、計算量を削減しつつ、入力画像情報をより忠実に再現しつつ、モスキートノイズなどの量子化劣化を最小限にすることができる画像情報符号化装置及び画像情報符号化方法を提供することにある
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、上述の課題を解決するために、直交変換サイズ判定手段により、入力画像情報の特徴量を利用して直交変換サイズの判定を行い、前もって直交変換サイズを決定することで、ＤＣＴサイズ判定部を導入する。特徴量は入力マクロブロックにおける画像のエッジ部分もしくは複雑なテクスチャーを表現できるものであれば良く、例えば、マクロブロックアクティビティ、マクロブロック分散、マクロブロックに含まれるエッジの数などである。

すなわち、本発明は、動画画像情報を可変の直交変換サイズ単位で直交変換して符号化した画像圧縮情報を出力する画像情報符号化装置であって、入力された動画画像情報について、所定画素数単位の画像特徴量に基づいて、上記直交変換サイズを判定する直交変換サイズ判定手段を備え、この直交変換サイズ判定手段による判定結果に応じて上記直交変換サイズを切り換えて直交変換を行うことを特徴とする。

また、本発明は、動画画像情報を可変の直交変換サイズ単位で直交変換して符号化した画像圧縮情報を出力する画像情報符号化方法であって、入力された動画画像情報について、所定画素数単位の画像特徴量に基づいて、上記直交変換サイズを判定し、その判定結果に応じて上記直交変換サイズを切り換えて直交変換を行うことを特徴とする。

本発明では、直交変換サイズ判定手段により、マクロブロックアクティビティ、マクロブロック分散、マクロブロックに含まれるエッジの数などの入力画像情報の特徴量を利用して直交変換サイズの判定を行い、前もって直交変換サイズを決定することで、計算量を削減しつつ、入力画像情報をより忠実に再現しつつ、モスキートノイズなどの量子化劣化を最小限にすることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の画像情報符号化装置１０に適用される。

この画像情報符号化装置１０は、Ａ／Ｄ変換部１１、画面並べ替えバッファ１２、ＤＣＴサイズ判定部１３、加算器１４、直交変換部１５、量子化部１６、可逆符号化部１７、蓄積バッファ１８、逆量子化部１９、逆直交変換部２０、デブロックフィルタ２１、フレームメモリ２２、イントラ予測部２３、動き予測・補償部２４、レート制御部２５などからなる。

この図１に示す画像情報符号化装置１０において、Ａ／Ｄ変換部１１は、入力された動画像信号をデジタル信号に変換して画面並べ替えバッファ１２に供給する。

画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１によりデジタル信号に変換された入力画像情報について、当該画像情報符号化装置１０から出力する画像圧縮情報のＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）構造に応じて、フレームの並べ替えを行い、並べ替え済みの入力画像情報をＤＣＴサイズ判定部１３を介して加算器１４、直交変換部１５、イントラ予測部２３及び動き予測・補償部２４に供給する。

ＤＣＴサイズ判定部１３は、画面並べ替えバッファ１２から供給される入力画像情報について、例えば、マクロブロックアクティビティ、マクロブロック分散、マクロブロックに含まれるエッジの数などの特徴量を用いてＤＣＴサイズを判定し、判定結果に応じてＤＣＴサイズを示す変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）を変更する。

加算器１４は、ＤＣＴサイズ判定部１３を介して供給される入力画像情報とイントラ若しくはインター予測画像情報との差分値をマクロブロック毎に生成する。

ここで、イントラ符号化、すなわち、単一のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、イントラ予測部２３により生成されるイントラ予測画像情報の差分値が直交変換部１５に入力される。また、インター符号化、すなわち、複数のフレームを用いて符号化が行われる画像情報に関しては、入力画像情報と、動き補償・予測部２４により生成される参照画像情報の差分値が直交変換部１５に入力される。

直交変換部１５は、加算器１４から供給されるマクロブロック毎の差分値について、可変の変換サイズ単位で離散コサイン変換、カルーネン・レーベ変換等の直交変換、ここでは、離散コサイン変換（ＤＣＴ）を行い、得られる直交変換（ＤＣＴ）係数を量子化部１６に供給する。この直交変換部１５における可変の変換サイズは、ＤＣＴサイズ判定部１３により与えられる変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）で示される変換サイズに切り替えられる。ここで、上記変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）は、［１］の場合に、直交変換サイズが８×８であることを示し、［０］の場合に、直交変換サイズが４×４であることを示す。

量子化部１６は、直交変換部１５から供給される変換係数に対して量子化処理を施し、量子化した変換係数を可逆符号化部１７及び逆量子化部１９に供給する。

量子化部１６の挙動は、レート制御部２５によって制御されている。

可逆符号化部１７は、量子化部１６から供給される量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化、例えば、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）符号化を施す。この可逆符号化部１７により可逆符号化された変換係数は、蓄積バッファ１８に蓄積され、画像圧縮情報として出力される。

また、逆量子化部１９は、量子化部１６から供給される量子化された直交変換係数の逆量子化処理を行い、直交変換係数を逆直交変換部２０に供給する。

逆直交変換部２０は、逆量子化部１９から供給される直交変換係数の逆直交変換処理を行い、得られる復号画像情報をデブロックフィルタ２１を介してフレームメモリ２２に供給する。

デブロックフィルタ２１は、復号画像情報に含まれるブロック歪を除去する。

フレームメモリ２２は、復号画像情報を蓄積する。

イントラ予測部２３は、フレームメモリ２２から、隣接する、既に符号化済の画像情報を取り出して、これを元に、ＤＣＴサイズに適したイントラ予測処理のみを行う。ここで、このイントラ予測部２３は、ＤＣＴサイズ判定部１３により与えられる変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）が［１］の際には、Ｉｎｔｒａ８×８のみのイントラ予測を行う。

動き予測・補償部２４は、ＤＣＴサイズ判定部１３による判定結果に応じて、必要なブロックサイズのみ、参照画像情報に対して動きベクトルの探索及びインター予測画像情報の生成を行い、ＤＣＴサイズが事前にわからない場合は、ブロックサイズをＤＣＴサイズ判定部１３にフィードバックする。ここで、この動き予測・補償部２４は、ＤＣＴサイズ判定部１３により与えられる変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）が［１］の場合に、上記８×８サイズのみの動き予測を行い、また、ＤＣＴサイズ判定部１３により与えられる変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）が［０］の場合には、Ｉｎｔｒａ４×４又はＩｎｔｒａ１６×１６のイントラ予測を行う。

レート制御部２５は、フィードバック制御により量子化部１６の動作の制御を行い、出力となる画像圧縮情報の符号量制御を行う。

次に、本発明の特徴となるＤＣＴサイズ判定部１３における動作原理について説明する。

ＤＣＴサイズ判定部１３では、マクロブロック単位の特徴量よりＤＣＴサイズを判定する。特徴量は例えばマクロブロックアクティビティ、マクロブロック分散、マクロブロックに含まれるエッジの数などである。

マクロブロックアクティビティＭＢＡＣＴは、次のように計算する。

ここで、Ｐ_ｋは原画の輝度信号ブロック内画素値である。ここで、ｓｂｌｋはマクロブロックに含まれる４つの８×８画素ブロックを表している。ＤＣＴサイズの判定は、例えば次のようにある閾値Ｔｈ_ａｃｔを用いて判定する。

また、マクロブロック分散ＭＢＶＡＲは次のように計算する。

ここで、Ｐ_ｋは原画の輝度信号ブロック内画素値である。ＤＣＴサイズの判定は、例えば閾値Ｔｈ_ｖａｒを用いて次のように判定する。

また、マクロブロックエッジＭＢＥＤＧＥは、次のように計算する。エッジ検出には、どのような方法を使用しても良いが、ここではｓｏｂｅｌオペレーションを示す。

上記係数を入力画像情報のｉ行ｊ列に乗算し合計したものをｇ_ｈｓｉｊ、ｇ_ｈｖｉｊとしたとき、注目画素のｓｏｂｅｌオペレーション後の画素値ｇ_ｉｊは次の式で表される。

ここで、閾値Ｔｈ_{ｓｏｂｅｌ}以上の値の画素値の数をマクロブロックごとに集計したＭＢＥＤＧＥは次のように表される。

ここで、Ｅ_ｋはブロック内ｓｏｂｅｌオペレーション後の画素値が閾値Ｔｈ_{ｓｏｂｅｌ}以上の場合［１］それ以外［０］の値をとるものである。ＤＣＴサイズの判定は例えば次のようにある閾値Ｔｈ_ｅｄｇｅを用いて判定する。

この処理に使用するエッジ検出方法はｓｏｂｅｌオペレーションのみに限定されず、さまざまなエッジ検出方法を利用することができる。また、マクロブロック内のエッジの数だけでなく、縦、横それぞれのエッジの数を別々に評価してよい。

次に、イントラ予測部２３における動作原理について説明する。

ＤＣＴサイズ判定部１３により与えられる変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）の値が［０］の場合は、ＤＣＴサイズが４×４であるために、ＤＣＴサイズが８×８であるＩｎｔｒａ８×８の予測は行わず、［１］の場合は、ＤＣＴサイズが８×８であるのでＤＣＴサイズが４×４であるＩｎｔｒａ４×４およびＩｎｒａ１６×１６の予測は行わない。これにより計算量の削減が行える。

さらに、動き予測・補償部２４における動作原理について説明する。

ＤＣＴサイズ判定部１３により与えられる変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）の値が［１］の場合は、ＤＣＴサイズが８×８であるため、動き補償のブロックサイズが８×８以上でなければならない。そのため、８×８未満の動き予測を行う必要がないため計算の削減を行うことが可能になる。

しかし、ハードウェアの構成によりパイプライン処理によりＤＣＴサイズ判定部１３でのＤＣＴサイズ判定より先に動き補償を行っている場合に関しては、選択された動き補償のブロックサイズが８×８未満の場合は、変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）は［０］である必要があるため、その情報をＤＣＴサイズ判定部１３にフィードバックする必要がある。これによりシンタックス上矛盾のないＤＣＴサイズ判定を行うことができる。

本発明に係る画像情報符号化装置の構成例を示すブロック図である。ＡＶＣ符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置の概略構成を示すブロック図である。ＡＶＣ符号化方式に基づく画像圧縮情報を入力とする画像情報復号装置の概略構成を示すブロック図である。

符号の説明

１１Ａ／Ｄ変換部、１２画面並べ替えバッファ、１３ＤＣＴサイズ判定部、１４加算器、１５直交変換部、１６量子化部、１７可逆符号化部、１８蓄積バッファ、１９逆量子化部、２０逆直交変換部、２１デブロックフィルタ、２２フレームメモリ、２３イントラ予測部、２４動き予測・補償部、２５レート制御部、

Claims

動画画像情報を可変の直交変換サイズ単位で直交変換して符号化した画像圧縮情報を出力する画像情報符号化装置であって、
入力された動画画像情報について、所定画素数単位の画像特徴量に基づいて、上記直交変換サイズを判定する直交変換サイズ判定手段を備え、
この直交変換サイズ判定手段による判定結果に応じて上記直交変換サイズを切り換えて直交変換を行うことを特徴とする画像情報符号化装置。
ＭＰＥＧ−４、ＡＶＣ符号化方式等に基づく画像圧縮情報を出力する画像情報符号化装置であって、
上記直交変換サイズ判定手段は、入力された動画画像情報について、マクロブロック単位の画像特徴量に基づいて、上記直交変換サイズを判定し、その判定結果に応じて変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）を変更することで上記直交変換サイズを４×４もしくは８×８に切り替えることを特徴とする請求項１記載の画像情報符号化装置。
上記直交変換サイズ判定手段は、上記画像特徴量としてマクロブロックアクティビティＭＢＡＣＴを使用して上記直交変換を切り替えることを特徴とする請求項２記載の画像情報符号化装置。
上記直交変換サイズ判定手段は、上記画像特徴量としてマクロブロック分散ＭＢＶＡＲを使用して上記直交変換を切り替えることを特徴とする請求項２記載の画像情報符号化装置。
上記直交変換サイズ判定手段は、画像特徴量としてマクロブロックに含まれるエッジＭＢＥＤＧＥを使用して上記直交変換を切り替えることを特徴とする請求項２記載の画像情報符号化装置。
上記直交変換する動画画像情報に動き予測・補償処理を施す予測・補償手段を備え、
上記予測・補償手段により動き予測を行う前に上記直交変換サイズ判定手段による判定結果に基づいて直交変換サイズを決定してしまうことで、上記予測・補償手段は、上記直交変換サイズが８×８であることを示す上記変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）が［１］の場合に、上記８×８サイズのみの動き予測を行うことを特徴とする請求項２記載の画像情報符号化装置。
上記直交変換する動画画像情報に動き予測・補償処理を施す予測・補償手段を備え、
上記直交変換サイズ判定手段は、上記予測・補償手段により動き予測を行った後に直交変換サイズを決定する場合に、上記変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）が［１］で、かつ、動き予測により決定された動き補償のサイズが８×８ブロックサイズ未満の場合に上記変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）を［０］に変更することを特徴とする請求項２記載の画像情報符号化装置。
上記直交変換する動画画像情報に動きイントラ予測処理を施すイントラ予測手段を備え、
上記イントラ予測手段によりイントラ予測を行う前に上記直交変換サイズ判定手段による判定結果に基づいてＤＣＴサイズを決定してしまうことで、上記イントラ予測手段は、上記変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）が［１］の際には、Ｉｎｔｒａ８×８のみのイントラ予測を行うことを特徴とする請求項２記載の画像情報符号化装置。
上記直交変換する動画画像情報に動きイントラ予測処理を施すイントラ予測手段を備え、
上記イントラ予測手段によりイントラ予測を行う前に上記直交変換サイズ判定手段による判定結果に基づいてＤＣＴサイズを決定してしまうことで、上記イントラ予測手段は、上記変換サイズフラグ（ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８×８＿ｆｌａｇ）が［０］の際には、Ｉｎｔｒａ４×４又はＩｎｔｒａ１６×１６のイントラ予測を行うことを特徴とする請求項２記載の画像情報符号化装置。
動画画像情報を可変の直交変換サイズ単位で直交変換して符号化した画像圧縮情報を出力する画像情報符号化方法であって、
入力された動画画像情報について、所定画素数単位の画像特徴量に基づいて、上記直交変換サイズを判定し、
その判定結果に応じて上記直交変換サイズを切り換えて直交変換を行うことを特徴とする画像情報符号化方法。