JP2003319394A - 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 飛び越し走査フォーマットの画像情報を入力
とし、マクロブロックレベルでフィールド／フレーム適
応型符号化処理を行い、直交変換にはABTを用いる画像
符号化装置を実現する。 【解決手段】 フィールド／フレーム判定部５３は、マ
クロブロックをフィールドベースまたはフレームベース
で符号化した場合の符号化効率が高い方を判定する。AB
Tブロックサイズ決定部５５は、最も符号化効率が高い
ブロックサイズを決定する。フィールド／フレーム変換
部５６は、マクロブロックがフィールドベース符号化さ
れる場合、直交変換の前に入力画像をフィールド構造に
変換する。ABT変換部５７は、決定されたブロックサイ
ズに従い、入力画像を直交変換する。可逆符号化部５９
は、Frame/Field Flag等を可逆符号化する。本発明は、
画像情報符号化装置および画像情報復号装置に適用でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化装置および
方法、復号装置および方法、記録媒体、並びにプログラ
ムに関し、例えば、画像信号を従来よりも高い圧縮率で
符号化し、伝送または蓄積する場合に用いて好適な符号
化装置および方法、復号装置および方法、記録媒体、並
びにプログラムに関する。

【０００２】

【背景技術】近年、画像をディジタル信号として取り扱
い、当該ディジタル信号を効率よく伝送、蓄積すること
を目的として、画像情報特有の冗長性を利用して、離散
コサイン変換等の直交変換と動き補償により圧縮するMP
EG(Moving Picture Expert Group）等の方式に準拠した
装置が、放送局などの情報配信、および一般家庭におけ
る情報受信の双方において普及しつつある。

【０００３】特に、MPEG２(ISO/IEC 13818-2)圧縮方式
は、汎用性がある画像圧縮方式として定義された規格で
あり、飛び越し走査画像および順次走査画像の双方、並
びに標準解像度画像および高精細画像を網羅する標準で
あって、例えばDVD(DigitalVersatile Disk)規格に代表
されるように、プロフェッショナル用途およびコンシュ
ーマー用途の広範なアプリケーションに現在広く用いら
れている。

【０００４】MPEG２圧縮方式を用いることにより、例え
ば、７２０×４８０画素を持つ標準解像度の飛び越し走
査画像に対しては４乃至８Mbps、１９２０×１０８８画
素を持つ高解像度の飛び越し走査画像に対しては１８乃
至２２Mbpsの符号量（ビットレート）を割り当てること
で、高い圧縮率と良好な画質の実現が可能である。

【０００５】ところで、MPEG２は、主として放送用に適
合する高画質符号化を対象としていたが、より高い圧縮
率の符号化方式には対応していなかったので、より高い
圧縮率の符号化方式として、MPEG４符号化方式の標準化
が行われた。画像符号化方式に関しては、１９９８年１
２月にISO/IEC 14496-2としてその規格が国際標準に承
認された。

【０００６】さらに、近年、テレビ会議用の画像符号化
を当初の目的として、国際電気連合の電気通信標準化部
門であるITU-T(International Telecommunication Unio
n −Telecommunication Standardization Sector)によ
るＨ.２６Ｌ（ITU-T Q6/16 VCEG）と称される標準の規
格化が進められている。

【０００７】Ｈ．２６Ｌは、MPEG２やMPEG４などの従来
の符号化方式に比較して、符号化処理、および復号処理
により多くの演算量が必要となるが、より高い符号化効
率が実現されることが知られている。

【０００８】またさらに、現在、MPEG４の活動の一環と
してITU-Tと共同で、Ｈ．２６Ｌに基づいた、Ｈ．２６
Ｌではサポートされない機能を取り入れた、より高い符
号化効率を実現する符号化技術の標準化が、Joint Mode
l of Enhanced-CompressionVideo Codingとして進めら
れている。

【０００９】ここで、離散コサイン変換またはカルーネ
ン・レーベ変換等の直交変換と動き補償とを利用した従
来の画像情報符号化装置について、図１を参照して説明
する。図１は、従来の画像情報符号化装置の構成の一例
を示している。

【００１０】当該画像情報符号化装置において、アナロ
グ信号である入力画像信号は、Ａ／Ｄ変換部１によって
ディジタル信号に変換された後、画面並べ替えバッファ
２に供給される。画面並べ替えバッファ２は、Ａ／Ｄ変
換部１からの画像情報を、当該画像情報符号化装置が出
力する画像圧縮情報のGOP(Group of Pictures)構造に応
じて、フレームの並べ替えを行う。

【００１１】まず、イントラ（画像内）符号化が行われ
る画像について説明する。画面並び替えバッファ２にお
いて、イントラ符号化が行われる画像については、その
画像情報が加算器３を介して直交変換部４に供給され
る。直交変換部４では、画像情報に対して直交変換（離
散コサイン変換、またはカルーネン・レーベ変換等）が
施され、得られた変換係数が量子化部５に供給される。
量子化部５では、蓄積バッファ７に蓄積された変換係数
のデータ量に基づくレート制御部８からの制御に従い、
直交変換部４から供給された変換係数に対して量子化処
理が施こされる。

【００１２】可逆符号化部６では、量子化部５から供給
された量子化された変換係数や量子化スケール等から符
号化モードが決定され、決定された符号化モードに対し
て可逆符号化（可変長符号化、または算術符号化等）が
施こされ、画像符号化単位のヘッダ部に挿入される情報
が形成される。また、符号化された符号化モードは、蓄
積バッファ７に供給されて蓄積される。蓄積バッファ７
に蓄積された、符号化された符号化モードは、画像圧縮
情報として後段に出力される。

【００１３】また、可逆符号化部６では、量子化された
変換係数に対して可逆符号化が施され、符号化された変
換係数が蓄積バッファ７に蓄積させる。蓄積バッファ７
に蓄積された、符号化された変換係数も、画像圧縮情報
として後段に出力される。

【００１４】逆量子化部９では、量子化部５によって量
子化された変換係数が逆量子化される。逆直交変換部１
０では、逆量子化された変換係数に対して逆直交変換処
理が施されて復号画像情報が生成される。ループフィル
タ１１では、生成された復号画像情報のブロック歪が除
去される。ブロック歪が除去された復号画像情報は、フ
レームメモリ１２に蓄積される。

【００１５】次に、インター（画像間）符号化が行われ
る画像について説明する。画面並び替えバッファ２にお
いて、インター符号化が行われる画像については、その
画像情報が加算器３および動き予測・補償部１３に供給
される。

【００１６】動き予測・補償部１３では、画面並び替え
バッファ２からのインター符号化が行われる画像に対応
する、参照するための画像情報がフレームメモリ１２か
ら読み出され、動き予測・補償処理を施して参照画像情
報が生成され、加算器３に供給される。また、動き予測
・補償部１３で動き予測・補償処理の際に得られた動き
ベクトル情報は、可逆符号化部６に供給される。

【００１７】加算器３では、動き予測・補償部１３から
の参照画像情報が、画面並び替えバッファ２からのイン
ター符号化が行われる画像の画像情報との差分信号に変
換される。

【００１８】インター符号化が行われる画像を処理する
場合、直交変換部４では、差分信号に対して直交変換が
施され、得られる変換係数が量子化部５に供給される。
量子化部５では、レート制御部８からの制御に従い、直
交変換部４から供給された変換係数に対して量子化処理
を施される。

【００１９】可逆符号化部６では、量子化部５によって
量子化された変換係数および量子化スケール、並びに動
き予測・補償部１３から供給された動きベクトル情報等
に基づいて符号化モードが決定され、決定された符号化
モードに対して可逆符号化が施され、画像符号化単位の
ヘッダ部に挿入される情報が生成される。符号化された
符号化モードは蓄積バッファ７に蓄積される。蓄積バッ
ファ７に蓄積された符号化された符号化モードは、画像
圧縮情報として出力される。

【００２０】また、可逆符号化部６では、動き予測・補
償部１３からの動きベクトル情報に対して可逆符号化処
理が施され、画像符号化単位のヘッダ部に挿入される情
報が生成される。

【００２１】なお、インター符号化が行われる画像を処
理する場合における逆量子化部９以降の処理について
は、イントラ符号化を施される画像を処理する場合と同
様であるので、その説明を省略する。

【００２２】次に、図１に示した従来の画像情報符号化
装置が出力する画像圧縮情報を入力とし、画像信号を復
元する従来の画像情報復号装置について、図２を参照し
て説明する。図２は、従来の画像情報復号装置の構成の
一例を示している。

【００２３】当該画像情報復号装置において、入力され
た画像圧縮情報は、蓄積バッファ２１に一時的に格納さ
れた後、可逆復号化部２２に転送される。可逆復号化部
２２は、予め定められている画像圧縮情報のフォーマッ
トに基づき、画像圧縮情報に対して可逆復号（可変長復
号、または算術復号等）を施し、ヘッダ部に格納された
符号化モード情報を取得して逆量子化部２３に供給す
る。また同様に、可逆復号化部２２は、量子化されてい
る変換係数を取得して逆量子化部２３に供給する。さら
に、可逆復号化部２２は、復号するフレームがインター
符号化されたものである場合には、画像圧縮情報のヘッ
ダ部に格納された動きベクトル情報についても復号し、
その情報を動き予測・補償部３０に供給する。

【００２４】逆量子化部２３は、可逆復号化部２２から
供給された量子化されている変換係数を逆量子化し、得
られる変換係数を逆直交変換部２４に供給する。逆直交
変換部２４は、予め定められている画像圧縮情報のフォ
ーマットに基づき、変換係数に対して逆直交変換（逆離
散コサイン変換、または逆カルーネン・レーベ変換等）
を施す。

【００２５】ここで、対象となるフレームがイントラ符
号化されたものである場合には、逆直交変換が施された
画像情報は、加算器２５を介して画面並べ替えバッファ
２６に格納され、Ｄ／Ａ変換部２７によってアナログ信
号に変換されて後段に出力される。逆直交変換が施され
た画像情報は、ループフィルタ２８によってブロック歪
が除去された後、フレームメモリ２９にも格納される。

【００２６】また、対象となるフレームがインター符号
化されたものである場合には、動き予測・補償部３０で
は、可逆復号化部２２からの動きベクトル情報とフレー
ムメモリ２９に格納された画像情報とに基づいて参照画
像が生成され、加算器２５に供給される。加算器２５で
は、動き予測・補償部２８からの参照画像と逆直交変換
部２５の出力とが合成されて画像情報が生成される。な
お、その他の処理については、イントラ符号化されたフ
レームと同様であるため、説明を省略する。

【００２７】ところで、MPEG２においては、入力となる
画像信号が飛び越し走査フォーマットであった場合、マ
クロブロックレベルでフィールド／フレーム適応型符号
化処理が可能とされている。

【００２８】現在、Ｈ．２６Ｌにはそのような仕様は定
義されていないが、文献「"Interlace Coding Tools fo
r H.26L Video Coding(L.Wang et al. ,VCEG-O37,Dec.2
001)"」（以下、文献１と記述する）には、Ｈ．２６Ｌ
の仕様を、マクロブロックレベルでフィールド／フレー
ム適応型符号化処理を可能とするように拡張することが
提案されている。

【００２９】文献１に提案されている、マクロブロック
レベルでのフィールド／フレーム適応型符号化処理につ
いて説明する。

【００３０】現在のＨ．２６Ｌにおいては、マクロブロ
ックにおける動き予測・補償の単位として、図１５に示
すような７種類のモード（mode１乃至７）が定義されて
いる。

【００３１】文献１においては、画像圧縮情報のマクロ
ブロックに対応するシンタクスとして、図４に示すよう
に、RunとMB_typeの間にFrame/Field Flagを持つことが
提案されている。Frame/Field Flagの値が０である場
合、当該マクロブロックはフレームベースの符号化が施
されることを示し、Frame/Field Flagの値が１である場
合、フィールドベースの符号化が施されることを示して
いる。

【００３２】Frame/Field Flagの値が１である場合（す
なわち、フィールドベースの符号化が施される場合）、
マクロブロック内の画素は、図５に示すように行単位で
画素の並べ替えが行われる。

【００３３】Frame/Field Flagの値が１である場合、マ
クロブロックにおける動き予測・補償の単位として、図
３のmode３乃至７に相当する、図６に示す５種類モード
（mode１ａ乃至５ａ）が定義されている。

【００３４】例えば、図６のmode２ａにおいて、マクロ
ブロックを４分割した８×８ブロック０乃至３のうち、
ブロック０，１は同一のフィールドパリティに属し、ま
た、ブロック２，３は同一のフィールドパリティに属す
る。また例えば、図６のmode３ａにおいて、マクロブロ
ックを８分割した４×８ブロック０乃至８のうち、ブロ
ック０乃至３は同一のフィールドパリティに属し、ま
た、ブロック４乃至７は同一のフィールドパリティに属
する。

【００３５】Frame/Field Flagの値が１である場合のイ
ントラ予測モードについて説明する。例えば、図９に示
した４×４ブロックに位置する画素ａ乃至ｐは、Frame/
Field Flagの値が１である場合においても、隣接する４
×４ブロックに位置する画素Ａ乃至Ｉを用いてイントラ
予測が行われるが、画素ａ乃至ｐ、および画素Ａ乃至Ｉ
が全て同一フィールドパリティに属していることが特徴
である。

【００３６】画素Ａ乃至Ｉが、画素ａ乃至ｐと同一のマ
クロブロックに属している場合について、図８を参照し
て説明する。マクロブロックを１６分割した４×４ブロ
ック７に存在する画素ａ乃至ｐは、隣接するブロック
２，３，６の端に存在する画素Ａ乃至Ｉを用いてイント
ラ予測が行われる。

【００３７】画素Ａ乃至Ｉが、画素ａ乃至ｐとは異なる
マクロブロックに属する場合について、図９を参照して
説明する。

【００３８】図９Ａは、処理対象としているマクロブロ
ックの左側のマクロブロックと、上側のマクロブロック
に対するFrame/Field Flagの値がそれぞれ１である場合
を示している。この場合、処理対象としているマクロブ
ロックを１６分割した４×４ブロックＣに存在する画素
のイントラ予測は、左側のマクロブロックを１６分割し
たブ４×４ブロックＡに存在する画素と、上側のマクロ
ブロックを１６分割した４×４ブロックＢに存在する画
素を用いて行われる。４×４ブロックＣ’に存在する画
素のイントラ予測は、４×４ブロックＡ’に存在する画
素と、４×４ブロックＢ’に存在する画素を用いて行わ
れる。

【００３９】図９Ｂは、処理対象としているマクロブロ
ックに対するFrame/Field Flagの値が１であり、その左
側および上側のマクロブロックに対するFrame/Field Fl
agの値がそれぞれ０である場合を示している。この場
合、処理対象としているマクロブロックを１６分割した
４×４ブロックＣに存在する画素のイントラ予測は、左
側のマクロブロックを１６分割した４×４ブロックＡに
存在する画素と、上側のマクロブロックを１６分割した
４×４ブロックＢに存在する画素を用いて行われる。４
×４ブロックＣ’に存在する画素のイントラ予測は、４
×４ブロックＡ’に存在する画素と、４×４ブロックＢ
に存在する画素を用いて行われる。

【００４０】次に、色差信号のイントラ予測について、
図１０を参照して説明する。Frame/Field Flagの値が１
である場合、色差信号のイントラ予測モードは１種類だ
けが定義されている。

【００４１】図１０において、Ａ乃至Ｄは、それぞれ色
差信号の４×４ブロックを示す。ブロックＡ，Ｂは、第
１フィールドに属し、ブロックＣ，Ｄは、第２フィール
ドに属する。ｓ₀乃至ｓ₂は、ブロックＡ乃至Ｄに隣接す
るブロックのうち、第１フィールドパリティに属するブ
ロックに存在する色差信号の合計値である。ｓ₃至ｓ
₅は、ブロックＡ乃至Ｄに隣接するブロックのうち、第
２フィールドパリティに属するブロックに存在する色差
信号の合計値である。

【００４２】ブロックＡ乃至Ｄにそれぞれ対応する予測
値Ａ乃至Ｄは、ｓ₀乃至ｓ₅が全て画枠内に存在する場
合、次式（１）に従って予測される。 Ａ＝（ｓ₀＋ｓ₂＋４）／８ Ｂ＝（ｓ₁＋２）／４ Ｃ＝（ｓ₃＋ｓ₅＋４）／８ Ｄ＝（ｓ₄＋２）／４ ・・・（１）

【００４３】ただし、ｓ₀乃至ｓ₅のうち、ｓ₀，ｓ₁，ｓ
₃，ｓ₄だけが画枠内に存在する場合、ブロックＡ乃至Ｄ
にそれぞれ対応する予測値Ａ乃至Ｄは、次式（２）に従
って予測される。 Ａ＝（ｓ₀＋２）／４ Ｂ＝（ｓ₁＋２）／４ Ｃ＝（ｓ₃＋２）／４ Ｄ＝（ｓ₄＋２）／４ ・・・（２）

【００４４】さらに、ｓ₀乃至ｓ₅のうち、ｓ₂ｓ₅だけが
画枠内に存在する場合、ブロックＡ乃至Ｄにそれぞれ対
応する予測値は、次式（３）に従って予測される。 Ａ＝（ｓ₂＋２）／４ Ｂ＝（ｓ₂＋２）／４ Ｃ＝（ｓ₅＋２）／４ Ｄ＝（ｓ₅＋２）／４ ・・・（３）

【００４５】図１１は、上述したようにイントラ予測さ
れた後の色差信号の残差成分を符号化する方法を示して
いる。すなわち、それぞれの４×４ブロックに対して直
交変換処理を施した後、第１フィールドおよび第２フィ
ールドの直流成分を用いて図示すような２×２ブロック
が生成され、再び直交変換処理が施される。

【００４６】次に、Frame/Field Flagの値が１である場
合における動き予測・補償処理について説明する。Fram
e/Field Flagの値が１である場合、動き予測補償モード
としては、インター１６×１６モード、インター８×１
６モード、インター８×８モード、インター４×８モー
ド、インター４×４モードの６種類のモードが存在す
る。

【００４７】例えば、インター１６×１６モードは、イ
ンター８×１６モードにおける第１フィールドに対する
動きベクトル情報、第２フィールドに対する動きベクト
ル情報、および参照フレームが同等であるモードであ
る。

【００４８】これら６種類の動き予測補償モードに対し
て、それぞれCode_Number０乃至５が割り当てられてい
る。

【００４９】現在のＨ．２６Ｌにおいては、図１２に示
すような、複数の参照フレームを設けることができるマ
ルチプルフレーム予測が規定されている。現在のフレー
ムベースのＨ．２６Ｌの規格において、参照フレームに
関する情報は、マクロブロックレベルで定義されてお
り、直前に符号化されたフレームに対し、Code_Number
０が割り当てられており、その１乃至５回前に符号化さ
れたフレームに対し、それぞれCode_Number１乃至５が
割り当てられている。

【００５０】これに対して、フィールドベース符号化を
行う場合、直前に符号化されたフレームの第１フィール
ドに対してCode_Number０が割り当てられ、第２フィー
ルドに対してCode_Number１が割り当てられる。その１
回前に符号化されたフレームの第１フィールドに対して
Code_Number２が割り当てられ、第２フィールドに対し
てCode_Number３が割り当てられる。さらに１回前に符
号化されたフレームの第１フィールドに対してCode_Num
ber４が割り当てられ、第２フィールドに対してCode_Nu
mber５が割り当てられる。

【００５１】また、フィールドベース符号化が行われる
マクロブロックに対しては、第１フィールドに対する参
照フィールドと、第２フィールドに対する参照フィール
ドが別個に規定される。

【００５２】次に、Frame/Field Flagの値が１である場
合の動きベクトル情報予測方式について説明するが、ま
ず、現在のＨ．２６Ｌにおいて規定されているメディア
ン予測について、図１２を参照して説明する。図１２に
示す１６×１６マクロブロックＥに対応する１６×１
６、８×８、または４×４動きベクトル情報は、隣接す
るマクロブロックＡ乃至Ｃの動きベクトル情報のメディ
アンを用いて予測される。

【００５３】ただし、マクロブロックＡ乃至Ｃのうち、
画枠内に存在しないものについては、対応する動きベク
トル情報の値は０であるとしてメディアンを算出する。
例えば、マクロブロックＤ，Ｂ，Ｃが画枠内に存在しな
い場合、予測値としてマクロブロックＡに対応する動き
ベクトル情報を用いる。また、マクロブロックＣが画枠
内に存在しない場合、その代わりにマクロブロックＤの
動きベクトル情報を用いてメディアンを算出する。

【００５４】なお、マクロブロックＡ乃至Ｄの参照フレ
ームは必ずしも同一でなくてもよい。

【００５５】次に、マクロブロックのブロックサイズ
が、８×１６、１６×８、８×４、または４×８である
場合について、図１４を参照して説明する。なお、注目
するマクロブロックＥとこれに隣接するマクロブロック
Ａ乃至Ｄは、図２４に示すように配置されているとす
る。

【００５６】図１４Ａは、マクロブロックＥ１，Ｅ２の
ブロックサイズが８×１６である場合を示している。左
側のマクロブロックＥ１に関しては、左に隣接するマク
ロブロックＡがマクロブロックＥ１と同じフレームを参
照している場合、マクロブロックＡの動きベクトル情報
が予測値として用いられる。左に隣接するマクロブロッ
クＡがマクロブロックＥ１と異なるフレームを参照して
いる場合、上述したメディアン予測が適用される。

【００５７】右側のマクロブロックＥ２に関しては、右
上に隣接するマクロブロックＣがマクロブロックＥ２と
同じフレームを参照している場合、マクロブロックＣの
動きベクトル情報が予測値として用いられる。右上に隣
接するマクロブロックＣがマクロブロックＥ２と異なる
フレームを参照している場合、上述したメディアン予測
が適用される。

【００５８】図１４Ｂは、マクロブロックＥ１，Ｅ２の
ブロックサイズが１６×８である場合を示している。上
側のマクロブロックＥ１に関しては、上に隣接するマク
ロブロックＢがマクロブロックＥ１と同じフレームを参
照している場合、マクロブロックＢの動きベクトル情報
が予測値として用いられる。上に隣接するマクロブロッ
クＢがマクロブロックＥ１と異なるフレームを参照して
いる場合、上述したメディアン予測が適用される。

【００５９】下側のマクロブロックＥ２に関しては、左
に隣接するマクロブロックＡがマクロブロックＥ２と同
じフレームを参照している場合、マクロブロックＡの動
きベクトル情報が予測値として用いられる。左に隣接す
るマクロブロックＡがマクロブロックＥ２と異なるフレ
ームを参照している場合、上述したメディアン予測が適
用される。

【００６０】図１４Ｃは、マクロブロックＥ１乃至Ｅ８
のブロックサイズが８×４である場合を示している。左
側のマクロブロックＥ１乃至Ｅ４に対しては、上述した
メディアン予測が適用され、右側のマクロブロックＥ５
乃至Ｅ８に対しては、左側のマクロブロックＥ１乃至Ｅ
４の動きベクトル情報が予測値として用いられる。

【００６１】図１４Ｄは、マクロブロックＥ１乃至Ｅ８
のブロックサイズが４×８である場合を示している。上
側のマクロブロックＥ１乃至Ｅ４に対しては、上述した
メディアン予測が適用され、下側のマクロブロックＥ５
乃至Ｅ８に対しては、上側のマクロブロックＥ１乃至Ｅ
４の動きベクトル情報が予測値として用いられる。

【００６２】Frame/Field Flagの値が１である場合にお
いても、動きベクトル情報の水平方向成分の予測に関し
ては、図１３および図１４を参照して上述の方式に準ず
る。しかしながら、垂直方向成分に関しては、フィール
ドベースのブロックとフレームベースのブロックが混在
するため、以下のような処理を行う。なお、注目するマ
クロブロックＥとこれに隣接するマクロブロックＡ乃至
Ｄは、図１３に示すように配置されているとする。

【００６３】マクロブロックＥをフレームベース符号化
する場合であって、隣接するマクロブロックＡ乃至Ｄの
いずれかがフィールドベース符号化されている場合、第
１フィールドに対する動きベクトル情報の垂直方向成分
と、第２フィールドに対する動きベクトル情報の垂直方
向成分の平均値の２倍を算出し、これをフレームベース
の動きベクトル情報に相当するものとして予測処理を行
う。

【００６４】マクロブロックＥをフィールドベース符号
化する場合であって、隣接するブロックＡ乃至Ｄのいず
れかがフレームベース符号化されている場合、動きベク
トル情報の垂直方向成分の値を２で割った商を、フィー
ルドベースの動きベクトルに相当するものとして予測処
理を行う。

【００６５】ところで、現在のＨ．２６Ｌにおいては、
４×４ブロックを単位とした離散コサイン変換処理の
後、量子化処理を行うようになされているが、文献「"A
BT Coding for Higher Resolution Video"(M.Wien et a
l. Joint Video Team of ISO/IEC MPEG & ITU-T VCEG,J
VT-B053)」（以下、文献２と記述する）においては、離
散コサイン変換処理の単位として、ブロックサイズが４
×４、４×８、８×４、および８×８の４種類のブロッ
クを用いることが開示されている。

【００６６】以下、文献２に開示されている、ブロック
サイズが４×４、４×８、８×４、および８×８の４種
類のブロックを離散コサイン変換処理の単位として用い
ること（以下、ABTを用いた直交変換とも記述する）に
ついて説明するが、その前に、現在のＨ．２６Ｌで規定
されている、離散コサイン変換処理および量子化処理に
ついて説明する。

【００６７】例えば量子化されている画素値をａ，ｂ，
ｃ，ｄとし、変換係数をＡ，Ｂ，Ｃ，Ｄとすれば、離散
コサイン変換に相当する処理は次式（４）によって表さ
れる。 Ａ＝１３ａ＋１３ｂ＋１３ｃ＋１３ｄ Ｂ＝１７ａ＋７ｂ−７ｃ＋１７ｄ Ｃ＝１３ａ−１３ｂ−１３ｃ＋１３ｄ Ｄ＝７ａ−１７ｂ＋１７ｃ−７ｄ ・・・（４）

【００６８】さらに、変換後の係数をａ’，ｂ’，
ｃ’，ｄ’とすれば、逆離散コサイン変換に相当する処
理は次式（５）によって表される。 ａ’＝１３Ａ＋１７Ｂ＋１３Ｃ＋１７Ｄ ｂ’＝１３Ａ＋７Ｂ−１３Ｃ−１７Ｄ ｃ’＝１３Ａ−７Ｂ−１３Ｃ＋１７Ｄ ｄ’＝１３Ａ−１７Ｂ＋１３Ｃ−７Ｄ ・・・（５）

【００６９】ここで、量子化されている画素値ａと変換
後の係数ａ’は、次式（６）に示す関係となる。 ａ’＝６７６ａ ・・・（６）

【００７０】このような量子化されている画素値ａと変
換後の係数ａ’との関係は、式（４）および（５）に正
規化のプロセスが含まれていないことに起因する。な
お、正規化のプロセスは、逆量子化後の最後のシフト演
算によって、後述するように実行される。

【００７１】Ｈ．２６Ｌにおいては、量子化／逆量子化
を行うための媒介変数として、０乃至３１の値を取り得
る量子化パラメータＱＰが定義されている。量子化ステ
ップは、量子化パラメータＱＰの値が１増加する毎に、
１２％ずつ増加するように設計されている。すなわち、
量子化パラメータＱＰの値が６だけ増加した場合、量子
化ステップサイズは２倍になることになる。

【００７２】画像圧縮情報中に埋め込まれている量子化
パラメータＱＰは、輝度信号に対するものである。そこ
で、以下、輝度信号に対する量子化パラメータＱＰと区
別するために、色差信号に対する量子化パラメータをＱ
Ｐ_chromaと記述する。輝度信号に対する量子化パラメー
タＱＰと色差信号に対する量子化パラメータをＱＰ
_chromaとの対応関係は以下のとおりである。すなわち、
例えば、輝度信号に対する量子化パラメータＱＰの値０
乃至１７は、それぞれ、色差信号に対する量子化パラメ
ータをＱＰ_chromaの値０乃至１７に対応する。また例え
ば、輝度信号に対する量子化パラメータＱＰの値２０
は、それぞれ、色差信号に対する量子化パラメータをＱ
Ｐ_chromaの値１９に対応する。 ＱＰ 0,1,2,・・・,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31 ＱＰ_chroma 0,1,2,・・・,17,17,18,19,20,20,21,22,22,23,23,24,24,25,25

【００７３】Ｈ．２６Ｌにおいては、量子化／逆量子化
のため配列Ａ（ＱＰ），Ｂ（ＱＰ）が定義されている。 Ａ（ＱＰ＝０，１，・・・，３１） ６２０，５５３，４９２，４３９，３９１，３４８，３
１０，２７６，２４６，２１９，１９５，１７４，１５
５，１３８，１２３，１１０，９８，８７，７８，６
９，６２，５５，４９，４４，３９，３５，３１，２
７，２４，２２，１９，１７ Ｂ（ＱＰ＝０，１，・・・，３１） ３８８１，４３５１，４８９０，５４８１，６１５４，
６９１４，７７６１，８７１８，１０９８７，１２３３
９，１３８２８，１５５２３，１７４３５，１９５６
１，２１８７３，２４５５２，２７６５６，３０８４
７，３４８７０，３８８０７，４３７４７，４９１０
３，５４６８３，６１６９４，６８７４５，７７６１
５，８９１１３，１００２５３，１０９３６６，１２６
６３５，１４１５３３

【００７４】なお、配列Ａ（ＱＰ）と配列Ｂ（ＱＰ）に
は、次式（７）に示す関係が成立する。 Ａ（ＱＰ）×Ｂ（ＱＰ）×６７６²＝２⁴⁰ ・・・（７）

【００７５】例えば、係数Ｋを量子化する処理は、次式
（８）にしたがって実行される。 LEVEL＝（Ｋ×Ａ（ＱＰ）＋ｆ×２²⁰）／２²⁰ ・・・（８） ただし、式（８）のｆに関し、｜ｆ｜は、０から０．５
までの値であり、ｆの符号は係数Ｋに一致する。

【００７６】また例えば、逆量子化の処理は、次式
（９）にしたがって実行される。 Ｋ’＝LEVEL×Ｂ（ＱＰ） ・・・（９）

【００７７】次に、文献２に開示されているABT(Adapti
ve Block Transform)を用いた直交変換を含む符号化方
式について説明する。

【００７８】インター符号化されるマクロブロックに関
して定義されている７種類のモードを図１５に示す。す
なわち、モード１は、動き補償・予測のブロックサイズ
が１６×１６であり、離散コサイン変換のブロックサイ
ズが８×８である。モード２は、動き補償・予測のブロ
ックサイズが８×１６であり、離散コサイン変換のブロ
ックサイズが８×８である。モード３は、動き補償・予
測のブロックサイズが１６×８であり、離散コサイン変
換のブロックサイズが８×８である。モード４は、動き
補償・予測のブロックサイズと離散コサイン変換のブロ
ックサイズがともに８×８である。モード５は、動き補
償・予測のブロックサイズと離散コサイン変換のブロッ
クサイズがともに８×４である。モード６は、動き補償
・予測のブロックサイズと離散コサイン変換のブロック
サイズがともに４×８である。モード７は、動き補償・
予測のブロックサイズと離散コサイン変換のブロックサ
イズがともに４×４である。

【００７９】なお、イントラ符号化されるマクロブロッ
クに関しても、同様に、図１５に示した７種類のモード
が定義されている。ただし、モード４乃至７において
は、Ｈ．２６Ｌで規定されているイントラ予測が行われ
るが、モード０乃至３においては、イントラＤＣ予測だ
けが行われる。

【００８０】ブロックサイズが４×４以上である場合、
Directional予測を実行する前にブロックの境界に位置
する画素値にフィルタリングを施すことにより、Direct
ional予測の効率を高めることができる。このフィルタ
リングは、長さ８画素のブロック境界に適用される。こ
こで、ブロックの上部境界に位置する画素に対するフィ
ルタリング処理について説明する。なお、ブロックの左
部境界に位置する画素値に関する処理も同様である。

【００８１】例えば、Ｎ×Ｍブロック（Ｎ，Ｍ＝４また
は８）に存在する要素をＰ（ｉ，ｊ）（ｉ＝０乃至Ｎ−
１；ｊ＝０乃至Ｍ−１）とし、当該ブロックＮ×Ｍブロ
ックの上部境界に位置する、既に復号されている画素を
Ｐ（ｎ，−１）（ｎ＝０乃至Ｎ−１）とすれば、画素Ｐ
（ｎ，−１）には、次式（１０）に示す３タップのＦＩ
Ｒフィルタが施され、得られる画素Ｐ’（ｎ，−１）を
用いてDirectional予測が行われる。 ［７，１８，７］//３２ ・・・（１０）

【００８２】次に、文献２に開示されているABTを用い
た直交変換について説明する。ABTを用いた直交変換
は、次式（１１）に示す４×４行列Ｔ₄と、次式（１
２）に示す８×８行列Ｔ₈が用いられた次式（１３）に
したがって行われる。 Ｔ₄＝ 13 13 13 13 17 7 -7 -17 13 -13 -13 13 7 -17 17 -7 ・・・（１１）

【００８３】 Ｔ₈＝ 17 17 17 17 17 17 17 17 24 20 12 6 -6 -12 -20 -24 23 7 -7 -23 -23 -7 7 23 20 -6 -24 -12 12 24 6 -20 17 -17 -17 17 17 -17 -17 17 12 -24 6 20 -20 -6 24 -12 7 -23 23 -7 -7 23 -23 7 6 -12 20 -24 24 -20 12 -6 ・・・（１２）

【００８４】 ［Ｃ_n×m］＝［Ｔ_m］×［Ｂ_n×m］×［Ｔ_n］^T ・・・（１３） ただし、式（１３）において、［Ｂ_n×m］は、ｎ×ｍブ
ロック（ｎ，ｍ＝４または８）の画素であり、［Ｔ_n］
は、水平方向に対する直交変換行列であり、［Ｔ_m］
は、垂直方向に対する直交変換行列である。［Ｃ_n×m］
は、直交変換係数であるが、正規化は、後述するように
量子化処理と同時に施される。

【００８５】文献２に開示されているABTを用いた直交
変換を含む符号化方式においては、現在のＨ．２６Ｌに
対応して、量子化パラメータＱＰを媒介変数とする変数
Ａ_{n ×m}（ＱＰ）および変数Ｂ_n×m（ＱＰ）が、以下のよ
うに定義されている。

【００８６】Ａ_4×4（ＱＰ＝０乃至３１）＝620,553,49
2,439,391,348,310,276,246,219,195,174,155,138,123,
110,98,87,78,69,62,55,49,44,39,35,31,27,24,22,19,1
7 Ｂ_4×4（ＱＰ＝０乃至３１）＝3881,4351,4890,5481,61
54,6914,7761,8718,9781,10987,12339,13828,15523,174
35,19561,21873,24552,27656,30847,34870,38807,4374
7,49103,54683,61694,68745,77615,89113,100253,10936
6,126635, 141533 Ａ_8×4（ＱＰ＝０乃至３１）＝335,299,266,237,211,18
8,168,149,133,118,105,94,84,75,67,59,53,47,42,37,3
4,30,26,24,21,19,17,15,13,12,10,9 Ｂ_8×4（ＱＰ＝０乃至３１）＝2100,2353,2645,2968,33
34,3742,4188,4721,5289,5962,6700,7484,8375,9380,10
500,11924,13274,14968,16750,19014,20691,23450,2705
8,29313,33500,37026,41382,46900,54116,58625,70350,
78167 Ａ_8×8（ＱＰ＝０乃至３１）＝181,162,144,128,114,10
2,91,81,72,64,57,51,45,40,36,32,29,25,23,20,18,16,
14,13,11,10,9,8,7,6,6,5 Ｂ_8×8（ＱＰ＝０乃至３１）＝1136,1270,1428,1607,18
04,2017,2260,2539,2857,3214,3609,4033,4571,5142,57
14,6428,7093,8228,8943,10285,11428,12856,14693,158
23,18700,20570,22855,25712,29385,34283,34283,41139

【００８７】なお、変数Ａ_n×m（ＱＰ）と変数Ｂ
_n×m（ＱＰ）には、次式（１４）に示す関係が成立す
る。 Ａ_n×m（ＱＰ）×Ｂ_n×m（ＱＰ）×Ｎ² _n×m＝２⁴⁰ ・・・（１４） ただし、式（１４）において、Ｎ² _n×mは、図１６に示
すとおりである。

【００８８】なお、量子化処理および逆量子化処理は、
現在のＨ．２６Ｌと同様に、式（８），（９）に従って
実行される。

【００８９】式（１３）に従って直交変換された２次元
配列［Ｃ_n×m］は、そのブロックサイズに応じて、図１
７に示す４種類のスキャン方式のいずれかによって１次
元配列に並べ替えられる。

【００９０】ABTを用いた直交変換を含む符号化方式に
用いるループフィルタは、現在のＨ．２６Ｌにおいて定
められている方式と同様であるが、直交変換のブロック
サイズが４×８、８×４、または８×８であった場合、
ブロック内の４×４サブブロック境界においては、フィ
ルタリング処理を行わないようになされている。

【００９１】可逆符号化に関しては、現在のＨ．２６Ｌ
においては、可変長符号化の一種であるUVLC(Universal
Variable Length Code)と、算術符号化の一種であるCA
BAC(Context-based adaptive binary arithmetic codin
g)の２種類が定義されており、ユーザは可逆符号化方式
にUVLCまたはCABACの一方を選択して適用することが可
能である。文献２のABTの符号化方式においては、ABTに
対するCABACが規定されている。

【００９２】ABTを用いた直交変換を含む符号化方式に
おいては、図１８に示すようにCode_Numberが割り当て
られている、イントラABTモードを符号化する必要があ
り、このイントラABTモードは、現在のＨ．２６Ｌにお
いて、インター符号化されるフレームにおけるMB_type
に対して定義されているコンテキストモデルを用いて符
号化される。

【００９３】４×４、４×８、８×４、および８×８ブ
ロックに関しては、イントラ予測モードが符号化される
必要があるが、現在のＨ．２６Ｌにおいて定義されてい
るイントラ予測モードがそのまま適用される。

【００９４】CBPYに関しては、現在のＨ．２６Ｌと同様
の処理が、ABTの符号化方式においても適用される。

【００９５】LEVELに関しては、図１５に示した７種類
のモードのうち、モード５乃至７においては、現在の
Ｈ．２６Ｌと同様の手法が適用される。モード１乃至４
においては、CBP＝１であるということは、少なくとも
１つの非零係数が８×８ブロック内に存在することにな
るため、第１のLEVELに関しては、第１のEOB(End Of Bl
ock)が存在することなく符号化される。

【００９６】RUNに関しては、４×４ブロックにおいて
は、現在のＨ．２６Ｌで定められている手法が適用され
るが、４×８、８×４、および８×８ブロックにおいて
は、図１９に示すようなテーブルに基づいて２値化が行
われる。これらのRUN情報を、CABACを用いて符号化する
ためのコンテキストモデルを図２０に示す。

【００９７】動き予測に関しては、現在のＨ．２６Ｌに
おいては、複数の４×４ブロックに対して、アダマール
変換が施される。また、動き予測により生成された差分
値を直交変換して得られる係数の絶対値和SATD(the sum
of the absolute values ofthe transformed block di
fferences)を用いて、整数画素精度以下の動き予測が行
われる。

【００９８】ABTを用いた直交変換を含む符号化処理に
おいても、同様にアダマール変換が用いられる。ただ
し、正規化プロセスには√２で除算する演算が必要とな
るが、文献２においては、１／√８の近似値として１８
１／５１２を用いている。図２１に、アダマール変換後
の正規化ファクタを示す。

【００９９】イントラモードの選択について説明する。
Low Complexity Modeにおいては、上述した絶対値和SAT
Dを最小とするようなイントラモードが選択される。Hig
h Complexity Modeにおいては、次式（１５）に示すコ
スト関数Ｊを用いたモード判定が行われる。 Ｊ＝Ｄ＋λ_modeＲ ・・・（１５） ただし、式（１５）において、Ｄは歪であり、Ｒはビッ
トコストである。また、λ_modeは現在のＨ．２６Ｌにお
いて用いられているラグランジェ乗数である。

【０１００】具体的には、まず、４×４、４×８、８×
４、および８×８の各ABTブロックに対して、最適なイ
ントラ予測モードが選択される。４×４以外のABTブロ
ックにおいてはＤＣ予測のみが適用される。このそれぞ
れに対し、式（１５）を用いてコスト関数Ｊの値が計算
され、最適なABTブロックが選択される。

【０１０１】

【発明が解決しようとする課題】ところで、文献２に提
案されている方法では、入力となる画像情報が飛び越し
走査フォーマットである場合、フィールド構造およびフ
レーム構造の一方の画像情報だけしか符号化することは
できないが、文献１に提案されている、マクロブロック
レベルでのフィールド／フレーム適応型符号化処理を組
み合わせることによって、より高い符号化効率を実現で
きることが期待される。

【０１０２】本発明はこのような状況に鑑みてなされた
ものであり、飛び越し走査フォーマットの画像情報を入
力とし、マクロブロックレベルでフィールド／フレーム
適応型符号化処理を行い、直交変換にはABTを用いる画
像符号化装置を実現することを目的とする。

【０１０３】

【課題を解決するための手段】本発明の符号化装置は、
予め設定されている複数の直交変換用ブロックサイズの
いずれかにマクロブロックを分割して直交変換する直交
変換手段と、最も符号化効率が高くなるように、直交変
換用ブロックサイズを決定するブロックサイズ決定手段
と、直交変換手段の処理結果を量子化する量子化手段
と、量子化手段の処理結果を可逆符号化する可逆符号化
手段とを含むことを特徴とする。

【０１０４】前記直交変換用ブロックサイズは、４×
４，４×８，８×４、および８×８の４種類であるよう
にすることができる。

【０１０５】前記ブロックサイズ決定手段は、マクロブ
ロックがインターマクロブロックであってフィールドベ
ースの符号化処理が施される場合、動き予測・補償用ブ
ロックサイズに対応して直交変換用ブロックサイズを決
定するようにすることができる。

【０１０６】前記ブロックサイズ決定手段は、マクロブ
ロックがインターマクロブロックであってフィールドベ
ースの符号化処理が施される場合、動き予測・補償用ブ
ロックサイズが１６×８であるとき、直交変換用ブロッ
クサイズを８×８に決定するようにすることができる。

【０１０７】前記ブロックサイズ決定手段は、マクロブ
ロックがインターマクロブロックであってフィールドベ
ースの符号化処理が施される場合、動き予測・補償用ブ
ロックサイズが８×８であるとき、直交変換用ブロック
サイズも８×８に決定するようにすることができる。

【０１０８】前記ブロックサイズ決定手段は、マクロブ
ロックがインターマクロブロックであってフィールドベ
ースの符号化処理が施される場合、動き予測・補償用ブ
ロックサイズが８×４であるとき、直交変換用ブロック
サイズも８×４に決定するようにすることができる。

【０１０９】前記ブロックサイズ決定手段は、マクロブ
ロックがインターマクロブロックであってフィールドベ
ースの符号化処理が施される場合、動き予測・補償用ブ
ロックサイズが４×８であるとき、直交変換用ブロック
サイズも４×８に決定するようにすることができる。

【０１１０】前記ブロックサイズ決定手段は、マクロブ
ロックがインターマクロブロックであってフィールドベ
ースの符号化処理が施される場合、動き予測・補償用ブ
ロックサイズが４×４であるとき、直交変換用ブロック
サイズも４×４に決定するようにすることができる。

【０１１１】本発明の符号化装置は、マクロブロックレ
ベルでの符号化処理を、フィールドベースとするかフレ
ームベースとするかを判定するフィールド／フレーム判
定手段をさらに含むことができる。

【０１１２】前記フィールド／フレーム判定手段による
判定と、前記ブロックサイズ決定手段による決定は、同
時に行われるようにすることができる。

【０１１３】前記フィールド／フレーム判定手段による
判定と、前記ブロックサイズ決定手段による決定は、動
き予測処理によって生成された差分値を直交変換して得
られる係数の絶対値和SATDが最小となるように、同時に
行われるようにすることができる。

【０１１４】前記フィールド／フレーム判定手段による
判定と、前記ブロックサイズ決定手段による決定は、コ
スト関数Ｊの値に基づいて、同時に行われるようにする
ことができる。

【０１１５】前記フィールド／フレーム判定手段は、フ
レーム内で垂直方向に隣接した画素の差分の自乗和Ｖ
_ar1と、フィールド内で垂直方向に隣接した画素の差分
の自乗和Ｖ_ar2との比較結果に対応して、マクロブロッ
クレベルでの符号化処理を、フィールドベースとするか
フレームベースとするかを判定するようにすることがで
きる。

【０１１６】前記ブロックサイズ決定手段は、動き予測
処理によって生成された差分値を直交変換して得られる
係数の絶対値和SATDが最小となるように、直交変換用ブ
ロックサイズを決定するようにすることができる。

【０１１７】前記ブロックサイズ決定手段は、コスト関
数Ｊの値に基づいて、直交変換用ブロックサイズを決定
するようにすることができる。

【０１１８】前記可逆符号化手段は、フィールド／フレ
ーム判定手段による判定結果を示すfield/frame_flag、
およびブロックサイズ決定手段による決定結果を示すMB
_typeも可逆符号化するようにすることができる。

【０１１９】前記可逆符号化手段は、UVLCを用いるよう
にすることができる。

【０１２０】前記可逆符号化手段は、CABACを用いるよ
うにすることができる。

【０１２１】本発明の符号化方法は、予め設定されてい
る複数の直交変換用ブロックサイズのいずれかにマクロ
ブロックを分割して直交変換する直交変換ステップと、
最も符号化効率が高くなるように、直交変換用ブロック
サイズを決定するブロックサイズ決定ステップと、直交
変換ステップの処理結果を量子化する量子化ステップ
と、量子化ステップの処理結果を可逆符号化する可逆符
号化ステップとを含むことを特徴とする。

【０１２２】本発明の第１の記録媒体のプログラムは、
予め設定されている複数の直交変換用ブロックサイズの
いずれかにマクロブロックを分割して直交変換する直交
変換ステップと、最も符号化効率が高くなるように、直
交変換用ブロックサイズを決定するブロックサイズ決定
ステップと、直交変換ステップの処理結果を量子化する
量子化ステップと、量子化ステップの処理結果を可逆符
号化する可逆符号化ステップとを含むことを特徴とす
る。

【０１２３】本発明の第１のプログラムは、予め設定さ
れている複数の直交変換用ブロックサイズのいずれかに
マクロブロックを分割して直交変換する直交変換ステッ
プと、最も符号化効率が高くなるように、直交変換用ブ
ロックサイズを決定するブロックサイズ決定ステップ
と、直交変換ステップの処理結果を量子化する量子化ス
テップと、量子化ステップの処理結果を可逆符号化する
可逆符号化ステップとをコンピュータに実行させること
を特徴とする。

【０１２４】本発明の復号装置は、圧縮画像情報を復号
して、マクロブロックレベルでの符号化処理がフィール
ドベースであるかフレームベースであるかを示すfield/
frame_flag、符号化処理に含まれる直交変換処理でのブ
ロックサイズを示すMB_type、量子化されている直交変
換係数、並びに予測モード情報および動きベクトル情報
を生成する復号手段と、量子化されている直交変換係数
を逆量子化する逆量子化手段と、MB_typeに基づき、逆
量子化手段の処理結果を逆直交変換する逆直交変換手段
と、予測モード情報および動きベクトル情報に従い、復
号画像情報を元にして参照画像を生成する参照画像生成
手段とを含むことを特徴とする。

【０１２５】本発明の復号装置は、field/frame_flagに
基づき、逆直交手段の処理結果をフレーム構造に変換す
るフレーム構造変換手段をさらに含むことができる。

【０１２６】本発明の復号装置は、field/frame_flagに
基づき、参照画像生成手段に供給される前の復号情報を
フィールド構造に変換するフィールド構造変換手段をさ
らに含むことができる。

【０１２７】本発明の復号装置の復号方法は、圧縮画像
情報を復号して、マクロブロックレベルでの符号化処理
がフィールドベースであるかフレームベースであるかを
示すfield/frame_flag、符号化処理に含まれる直交変換
処理でのブロックサイズを示すMB_type、量子化されて
いる直交変換係数、並びに予測モード情報および動きベ
クトル情報を生成する復号ステップと、量子化されてい
る直交変換係数を逆量子化する逆量子化ステップと、MB
_typeに基づき、逆量子化手段の処理結果を逆直交変換
する逆直交変換ステップと、予測モード情報および動き
ベクトル情報に従い、復号画像情報を元にして参照画像
を生成する参照画像生成ステップとを含むことを特徴と
する。

【０１２８】本発明の第２の記録媒体のプログラムは、
圧縮画像情報を復号して、マクロブロックレベルでの符
号化処理がフィールドベースであるかフレームベースで
あるかを示すfield/frame_flag、符号化処理に含まれる
直交変換処理でのブロックサイズを示すMB_type、量子
化されている直交変換係数、並びに予測モード情報およ
び動きベクトル情報を生成する復号ステップと、量子化
されている直交変換係数を逆量子化する逆量子化ステッ
プと、MB_typeに基づき、逆量子化手段の処理結果を逆
直交変換する逆直交変換ステップと、予測モード情報お
よび動きベクトル情報に従い、復号画像情報を元にして
参照画像を生成する参照画像生成ステップとを含むこと
を特徴とする。

【０１２９】本発明の第２のプログラムは、圧縮画像情
報を復号して、マクロブロックレベルでの符号化処理が
フィールドベースであるかフレームベースであるかを示
すfield/frame_flag、符号化処理に含まれる直交変換処
理でのブロックサイズを示すMB_type、量子化されてい
る直交変換係数、並びに予測モード情報および動きベク
トル情報を生成する復号ステップと、量子化されている
直交変換係数を逆量子化する逆量子化ステップと、MB_t
ypeに基づき、逆量子化手段の処理結果を逆直交変換す
る逆直交変換ステップと、予測モード情報および動きベ
クトル情報に従い、復号画像情報を元にして参照画像を
生成する参照画像生成ステップとをコンピュータに実行
させることを特徴とする。

【０１３０】本発明の符号化装置および方法、並びに第
１のプログラムにおいては、最も符号化効率が高くなる
ように、直交変換用ブロックサイズが決定され、決定さ
れた直交変換用ブロックサイズにマクロブロックが分割
されて直交変換され、直交変換の処理結果が量子化さ
れ、量子化の処理結果が可逆符号化される。

【０１３１】本発明の復号装置および方法、並びに第２
のプログラムにおいては、圧縮画像情報が復号されて、
マクロブロックレベルでの符号化処理がフィールドベー
スであるかフレームベースであるかを示すfield/frame_
flag、符号化処理に含まれる直交変換処理でのブロック
サイズを示すMB_type、量子化されている直交変換係
数、並びに予測モード情報および動きベクトル情報が生
成され、量子化されている直交変換係数が逆量子化さ
れ、MB_typeに基づいて逆量子化の処理結果が逆直交変
換される。また、予測モード情報および動きベクトル情
報に従い、復号画像情報を元にして参照画像が生成され
る。

【０１３２】符号化装置および復号装置は、互いに独立
した装置であってもよいし、信号処理装置の符号化処理
および復号処理を行うブロックであってもよい。

【０１３３】

【発明の実施の形態】以下、本発明を適用した画像情報
符号化装置について、図２２を参照して説明する。

【０１３４】当該画像情報符号化装置において、Ａ／Ｄ
変換部５１は、アナログ信号である入力画像情報をディ
ジタル信号に変換する。画面並べ替えバッファ５２は、
当該画像情報符号化装置が出力する画像圧縮情報のGOP
構造に対応して、入力される画像を並び替える。

【０１３５】フィールド／フレーム判定部５３は、マク
ロブロックをフィールドベースで符号化した場合と、フ
レームベースで符号化した場合の符号化効率が高い方を
判定し、対応するFrame/Field Flagを生成して、フィー
ルド／フレーム変換部５６，６４，６７、および可逆符
号化部５９に出力する。

【０１３６】加算器５４は、マクロブロックがインター
符号化される場合、画面並べ替えバッファ５２からフィ
ールド／フレーム判定部５３を介して入力される入力画
像と、動き予測・補償部６８からの参照画像との差分画
像を生成してABTブロックサイズ決定部５５に出力す
る。また、加算器５４は、マクロブロックがイントラ符
号化される場合、画面並べ替えバッファ５２からフィー
ルド／フレーム判定部５３を介して入力される入力画像
をそのままABTブロックサイズ決定部５５に出力する。

【０１３７】ABTブロックサイズ決定部５５は、４×
４、４×８、８×４、および８×８の中から最も符号化
効率が高いブロックサイズを決定して後段に通知する。
フィールド／フレーム変換部５６は、マクロブロックが
フィールドベース符号化される場合、ABT変換部５７に
供給される前の入力画像を、図２３に示すように、フレ
ーム構造からフィールド構造に変換する。

【０１３８】ABT変換部５７は、ABTブロックサイズ決定
部５５によって決定されたブロックサイズに従い、入力
画像を直交変換して、得られたABT変換係数を量子化部
５８に出力する。なお、ABT変換部５７においては、マ
クロブロックをフレームベースで符号化する場合に対応
して、図１５に示した７種類のモードと同一のモードが
定義されている。さらに、マクロブロックをフィールド
ベースで符号化する場合に対応して、図２４に示す５種
類のモードが定義されている。すなわち、モード１は、
動き補償・予測のブロックサイズが１６×８であり、離
散コサイン変換のブロックサイズが８×８である。モー
ド２は、動き補償・予測のブロックサイズと離散コサイ
ン変換のブロックサイズがともに８×８である。モード
３は、動き補償・予測のブロックサイズと離散コサイン
変換のブロックサイズがともに８×４である。モード４
は、動き補償・予測のブロックサイズと離散コサイン変
換のブロックサイズがともに４×８である。モード５
は、動き補償・予測のブロックサイズと離散コサイン変
換のブロックサイズがともに４×４である。

【０１３９】量子化部５８は、ABT変換部５７からのABT
変換係数を量子化する。可逆符号化部５９は、量子化部
５８および動き予測・補償部６８から入力される各シン
タクス要素、並びにフィールド／フレーム判定部５３か
ら入力されるFrame/Field Flagを、UVLCまたはCABACに
よって可逆符号化する。蓄積バッファ６０は、符号化さ
れた各シンタクス要素を蓄積し、画像圧縮情報として後
段に出力する。レート制御部６１は、蓄積バッファ６０
の蓄積量に基づき、当該画像符号化装置から出力される
画像圧縮情報のビットレートが目標値となるように、量
子化部５８をフィードバック制御する。

【０１４０】逆量子化部６２は、量子化されているABT
変換係数を逆量子化する。逆ABT変換部６３は、ABT変換
係数を決定されているブロックサイズで逆ABT変換し、
復号画像情報を生成する。フィールド／フレーム変換部
６４は、マクロブロックがフィールドベース符号化され
ている場合、フレームメモリ６６に格納する前の復号画
像情報を、フレーム構造に変換する。すなわち、図２３
に示したフィールド／フレーム変換部５６の動作とは逆
の動作を実行する。ループフィルタ６５は、フレームメ
モリ６６に格納する前の復号画像情報のブロック歪を除
去する。フレームメモリ６６は、参照画像の元となる復
号画像情報を格納する。

【０１４１】フィールド／フレーム変換部６７は、動き
予測・補償部６８によるフィールドモードに対応する動
きベクトルの探索に先立ち、フレームメモリ６６内の復
号画像情報をフレーム構造からフィールド構造に変換す
る。動き予測・補償部６８は、動き予測処理により、最
適な予測モード情報および動きベクトル情報を生成する
とともに、参照画像を生成する。

【０１４２】制御部６９は、記録媒体７０に記録されて
いる制御用プログラムに基づき、当該画像情報符号化装
置の各部を制御する。

【０１４３】ここで、フィールド／フレーム判定部５３
による、マクロブロックの符号化をフィールドベースと
するかフレームベースとするかの判定について説明す
る。

【０１４４】Low Complexity Modeでは、次式（１６）
に示すように、フレーム内で垂直方向に隣接した画素の
差分の自乗和Ｖ_ar1と、次式（１７）に示すように、フ
ィールド内で垂直方向に隣接した画素の差分の自乗和Ｖ
_ar2を比較し、Ｖ_ar1よりもＶ _ar2が小さい場合、フィー
ルドベースで符号化した方の符号化効率が高いと判定
し、Ｖ_ar1よりもＶ_ar2が小さくない場合、フレームベー
スで符号化した方の符号化効率が高いと判定するように
する。 Ｖ_ar1＝Σ_uΣ_v｛（X[2v][u]-X[2v+1][u]）²＋（X[2v+1][u]-X[2v+2][u]）²｝ ・・・（１６） Ｖ_ar2＝Σ_uΣ_v｛（X[2v][u]-X[2v+2][u]）²＋（X[2v+1][u]-X[2v+3][u]）²｝ ・・・（１７）

【０１４５】ただし、式（１６），（１７）において、
演算子Σ_uは、ｕ＝０乃至１５の総和を示し、演算子Σ_v
は、ｖ＝０乃至６の総和を示している。また、X[v][u]
は、マクロブロック輝度信号の第（ｖ，ｕ）要素を示し
ている。

【０１４６】High Complexity Modeでは、マクロブロッ
クの符号化をフィールドベースとするかフレームベース
とするかの判定に、フィールド／フレーム判定部５３だ
けでなく、ABTブロックサイズ決定部２８も動作する。
すなわち、図１５に示したものと同等のフレームモード
符号化に対して定義された７種類と、図２５に示したフ
ィールドモード符号化に対して定義された５種類の合計
１２種類のモードに対して、式（１５）によって定義さ
れたコスト関数Ｊを用いて当該マクロブロックの符号化
効率を最良とするモードを選択するようになされてい
る。

【０１４７】次に、ABTブロックサイズ決定部５５によ
る、最も符号化効率が高いブロックサイズを決定する処
理について説明する。

【０１４８】Low Complexity Modeでは、フィールドベ
ース符号化が行われる場合、およびフレームベース符号
化が行われる場合、それぞれにおいて、背景技術で上述
した絶対値和SATDを最小とするモードが選択されるよう
になされている。

【０１４９】なお、Low Complexity Modeにおいても、
フィールド／フレーム判定装置２６と、ＡＢＴブロック
サイズ２８が合わせて動作するようにしてもよい。すな
わち、図１５に示したものと同等のフレームモード符号
化に対して定義された７種類と、図２５に示したフィー
ルドモード符号化に対して定義された５種類の合計１２
種類のモードに対して、それぞれ絶対値和SATDを算出
し、それらの最小値に対応するモードを選択するように
してもよい。

【０１５０】次に、可逆符号化部５９によるフィールド
／フレーム判定部５３によって生成されたfield/frame_
flagを可逆符号化する処理について説明する。なお、fi
eld/frame_flagの値が１である場合（マクロブロックが
フィールドベース符号化される場合）、Ｐピクチャ／Ｂ
ピクチャに対するMB_typeも符号化される。

【０１５１】可逆符号化部５９においてCABACが用いら
れる場合、field/frame_flag、およびＰピクチャ／Ｂピ
クチャに対するMB_typeに対して以下のようなコンテキ
ストモデルが定義されている。

【０１５２】図２５に示すように配置されているマクロ
ブロックＡ，Ｂ，Ｃのうち、マクロブロックＣに対する
frame／field flagに関するコンテキストモデルについ
て説明する。マクロブロックＣのframe／field flagに
関するコンテキストモデルctx_fifr_flag(C)は、次式
（２１）によって定義される。 ctx_fifr_flag(C)＝ａ＋２ｂ ・・・（１８） ただし、式（１８）において、ａ，ｂは、それぞれマク
ロブロックＡ，Ｂのframe／field flagの値である。

【０１５３】次に、Ｉピクチャに対するMB_typeに関す
るコンテキストモデルについて説明する。frame／field
flagが１である場合、図２６に示すように、Ｉピクチ
ャに含まれるマクロブロックＣの５種類のMB_typeに対
し、それぞれCode_Numberが割り当てられている。これ
らのCode_Numberに対応するコンテキストモデルctx_mb_
type_intra_field（C）は次式（１９）によって定義さ
れる。 ctx_mb_type_intra_field（C）＝Ａ＋Ｂ ・・・（１９）

【０１５４】ただし、式（１９）において、Ａは、マク
ロブロックＡがIntra４×４である場合には０であり、I
ntra１６×１６である場合には１である。同様に、Ｂ
は、マクロブロックＢがIntra４×４である場合には０
であり、Intra１６×１６である場合には１である。し
たがって、コンテキストモデルctx_mb_type_intra_fiel
d(C)は、０，１，２のいずれかの値をとる。なお、隣接
するマクロブロックＡ，Ｂは、フィールドベース符号化
されていても、フレームベース符号化されていてもかま
わない。

【０１５５】次に、Ｐ／Ｂピクチャに対するMB_typeに
関するコンテキストモデルについて説明する。マクロブ
ロックＣがＰピクチャに含まれる場合、マクロブロック
ＣのMB_typeに対応するコンテキストモデルctx_mb_type
_inter_field(C)は、次式（２３）によって定義され
る。また、Ｂピクチャに含まれる場合、次式（２４）に
よって定義される。 ctx_mb_type_inter_field(C)＝((A==skip)?0:1)＋２((B==skip)?0:1) ・・・（２０） ctx_mb_type_inter_field(C)＝((A==Direct)?0:1)＋２((B==Direct)?0:1) ・・・（２１）

【０１５６】ただし、式（２０）において、演算子((A=
=Skip)?0:1)は、マクロブロックＡがSkipモードである
場合には０を示し、マクロブロックＡがSkipモードでは
ない場合には１を示すものとする。同様に、演算子((B=
=Skip)?0:1)は、マクロブロックＢがSkipモードである
場合には０を示し、マクロブロックＢがSkipモードでは
ない場合には１を示すものとする。

【０１５７】また、式（２１）において、演算子((A==D
irect)?0:1)は、マクロブロックＡがDirectモードであ
る場合には０を示し、マクロブロックＡがDirectモード
ではない場合には１を示すものとする。演算子((B==Dir
ect)?0:1)は、マクロブロックＢがDirectモードである
場合には０を示し、マクロブロックＢがDirectモードで
はない場合には１を示すものとする。

【０１５８】したがって、インターフレームにおけるマ
クロブロックＣのMB_typeに対応するコンテキストモデ
ルctx_mb_type_inter_field(C)は、Ｐピクチャである場
合とＢピクチャである場合に対して、それぞれ３種類の
値を取ることになる。

【０１５９】なお、隣接するマクロブロックＡ，Ｂは、
フィールドベース符号化されていても、フレームベース
符号化されていてもかまわない。

【０１６０】２値化されていないＰピクチャにおけるMB
_typeは、図２７Ａに示すテーブルによって２値化され
る。また、２値化されていないＢピクチャにおけるMB_t
ypeは、図２７Ｂに示すテーブルによって２値化され
る。

【０１６１】フレームベース符号化されるマクロブロッ
クに対しては、Ｐピクチャに属する場合、１０種類のMB
_typeが定義されている。一方、フィールドベース符号
化されるマクロブロックに対しては、Ｐピクチャに属す
る場合、前記１６種類のうち、１６×１６モード、およ
び８×１６モードが定義されていない。すなわち、フィ
ールドベース符号化されるマクロブロックに対しては、
Ｐピクチャに関して８種類のMB_typeが定義されてい
る。

【０１６２】フレームベース符号化されるマクロブロッ
クに対しては、Ｂピクチャに関して１８種類のMB_type
が定義されている。一方、フィールドベース符号化され
るマクロブロックに対しては、Ｂピクチャに属する場
合、前記１８種類のうち、前方向１６×１６モード、後
方向１６×１６モード、前方向８×１６モード、および
後方向８×１６モードが定義されていない。すなわち、
フィールドベース符号化されるマクロブロックに対して
は、Ｂピクチャに関して１４種類のMB_typeが定義され
ている。

【０１６３】以上説明したように、本発明をした画像情
報符号化装置によれば、飛び越し走査フォーマットの画
像情報を入力とし、マクロブロックレベルでフィールド
／フレーム適応型符号化処理を行い、直交変換にはABT
を用いるようにしたので、従来よりも高い符号化効率を
実現できることが可能となる。

【０１６４】次に、図２８は、図２６の画像情報符号化
装置に対応する画像情報復号装置の構成例を示してい
る。

【０１６５】当該画像情報復号装置において、蓄積バッ
ファ８１は、入力される画像圧縮情報を蓄積して、適
宜、可逆復号化部８２に出力する。可逆復号化部８２
は、UVLCまたはCABACを用いて符号化されている画像圧
縮情報を復号し、得られる量子化されているABT変換係
数を逆量子化部８３に出力し、field/frame_flagをフィ
ールド／フレーム変換部８５に出力し、Ｐピクチャ／Ｂ
ピクチャに対するMB_typeを逆ABT変換部８４に出力し、
予測モード情報および動きベクトル情報を動き予測・補
償部９２に出力する。

【０１６６】逆量子化部８３は、量子化されているABT
変換係数を逆量子化する。逆ABT変換部８４は、ABT変換
係数を、４×４、４×８、８×４、および８×８のう
ち、MB_typeによって定められているブロックサイズで
逆直交変換する。

【０１６７】フィールド／フレーム変換部８５は、マク
ロブロックがフィールドベース符号化されている場合、
加算器８６に入力される前の逆ABT変換処理が施された
直交変換係数をフィールド構造からフレーム構造に変換
する。加算器８６は、マクロブロックがインター符号化
されたものである場合、逆ABT変換が施された差分画像
と、動き予測・補償部９２からの参照画像とを合成して
出力画像を生成し、後段に出力する。また、加算器８６
は、マクロブロックがインター符号化されたものである
場合、逆ABT変換が施された画像を、そのまま出力画像
として後段に出力する。

【０１６８】画面並べ替えバッファ８７は、入力された
画像圧縮情報のGOP構造に応じ、加算器８６からの出力
画像を並べ替えてＤ／Ａ変換部８８に出力する。Ｄ／Ａ
変換部８８は、ディジタル信号である出力画像をアナロ
グ信号に変換する。

【０１６９】ループフィルタ８９は、加算器８６からの
出力画像のブロック歪を除去する。フレームメモリ９０
は、ブロック歪が除去された、参照画像の元となる画像
情報を格納する。フィールド／フレーム変換部９１は、
マクロブロックがフィールドベース符号化されている場
合、動き予測・補償部９２に供給する前に、フレームメ
モリ９０に格納されている画像情報をフィールド構造に
変換する。動き予測・補償部９２は、可逆復号化部８２
からの予測モード情報および動きベクトル情報に基づ
き、フレームメモリ９０格納されている画像情報、また
はフィールド／フレーム変換部９１によってフィールド
構造に変換された画像情報を元にして参照画像を生成し
て加算器８６に出力する。

【０１７０】以上説明したように構成される画像情報復
号装置によれば、図２６の画像情報符号化装置が出力す
る画像圧縮情報を復号し、元の画像情報を得ることがで
きる。

【０１７１】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウェアに組み込まれているコン
ピュータ、または、各種のプログラムをインストールす
ることで、各種の機能を実行することが可能な、例えば
汎用のパーソナルコンピュータなどに、例えば図２２の
記録媒体７０からインストールされる。

【０１７２】この記録媒体７０は、コンピュータとは別
に、ユーザにプログラムを提供するために配布される、
プログラムが記録されている磁気ディスク（フレキシブ
ルディスクを含む）、光ディスク（CD-ROM(Compact Dis
c-Read Only Memory)、DVD(Digital Versatile Disc)を
含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、
もしくは半導体メモリなどよりなるパッケージメディア
により構成されるだけでなく、コンピュータに予め組み
込まれた状態でユーザに提供される、プログラムが記録
されているROMやハードディスクなどで構成される。

【０１７３】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【０１７４】

【発明の効果】以上のように、第１の本発明によれば、
飛び越し走査フォーマットの画像情報を入力とし、マク
ロブロックレベルでフィールド／フレーム適応型符号化
処理を行い、直交変換にはABTを用いる画像符号化装置
を実現することが可能となる。

【０１７５】また、第２の本発明によれば、飛び越し走
査の画像情報がマクロブロックレベルで適応的にフィー
ルドベースまたはフレームベースで符号化されている圧
縮画像情報を元に前記画像情報を復元する画像復号装置
を実現することが可能となる。

【図面の簡単な説明】

【図１】直交変換と動き補償を用いた従来の画像情報符
号化装置の構成の一例を示すブロック図である。

【図２】図１の画像情報復号装置に対応する画像情報復
号装置の構成例を示すブロック図である。

【図３】Ｈ．２６Ｌにおいて定義されている、マクロブ
ロックに対する動き予測・補償の単位を示す７種類のモ
ードを説明するための図である。

【図４】マクロブロックレベルのフィールド／フレーム
適応符号化を可能とするように、Ｈ．２６Ｌを拡張した
場合における画像圧縮情報のシンタクスを示した図であ
る。

【図５】マクロブロックをフィールドベース符号化する
場合において、マクロブロックの画素を行単位で並べ替
える処理を説明するための図である。

【図６】マクロブロックをフィールドベース符号化する
場合の動き予測・補償の単位として定義されている７種
類のモードを説明するための図である。

【図７】文献１に開示されているイントラ予測モードを
説明するための図である。

【図８】マクロブロックをフィールドベース符号化する
場合において、マクロブロック内でイントラ予測を行う
動作を説明するための図である。

【図９】マクロブロックをフィールドベース符号化する
場合において、複数のマクロブロックに跨ってイントラ
予測を行う動作を説明するための図である。

【図１０】マクロブロックをフィールドベース符号化す
る場合において、色差信号に対するイントラ予測を行う
動作を説明するための図である。

【図１１】マクロブロックをフィールドベース符号化す
る場合において、色差信号の残差成分を符号化する動作
を説明するための図である。

【図１２】Ｈ．２６Ｌにおいて規定されている、マルチ
プルフレーム予測の概念を説明するための図である。

【図１３】マクロブロックをフィールドベース符号化す
る場合における、動きベクトル情報の予測方式を説明す
るための図である。

【図１４】Ｈ．２６Ｌで定められている、ブロックの予
測モードが８×１６，１６×８，８×４、または４×８
であった場合における、動きベクトル情報の予測値を生
成する方法を説明するための図である。

【図１５】文献２で定められている、インターマクロブ
ロックに対する７種類のモードを説明するための図であ
る。

【図１６】式（１４）におけるＮ² _n×mの具体的な値を
示す図である。

【図１７】文献２で定められている、２次元配列の直交
変換係数を１次元データに並べ替えるスキャン方式を説
明するための図である。

【図１８】文献２で規定されているイントラABTブロッ
クモードを示す図である。

【図１９】文献２で規定されている、４×８、８×４、
および８×８ブロックに対するRUNを２値化するための
テーブルを示す図である。

【図２０】文献２で規定されている、ABTブロックの各
ブロックサイズにおけるRUNを、CABACを用いて符号化す
るためのコンテキストモデルを示す図である。

【図２１】文献２に開示されている、ABTブロックの各
ブロックサイズに対するアダマール変換後の正規化ファ
クタを示した図である。

【図２２】本発明の一実施の形態である画像情報符号化
装置の構成例を示すブロック図である。

【図２３】マクロブロックの画素を、フレーム構造から
フィールド構造に変換する処理を説明するための図であ
る。

【図２４】図２２のABT変換部５７において、マクロブ
ロックがフィールベース符号化されるときに用いられる
５種類のモードを説明するための図である。

【図２５】図２２の可逆符号化部５９がCABACによる符
号化を行う場合、マクロブロックのFrame/Field Flagに
対して定義されているコンテキストモデルを説明するた
めの図である。

【図２６】マクロブロックがフィールドベース符号化さ
れるときに用いられるイントラABTブロックモードを示
す図である。

【図２７】マクロブロックがフィールドベース符号化さ
れる場合における、ＰピクチャおよびＢピクチャに属す
るマクロブロックのMB_typeを２値化するためのテーブ
ルを示す図である。

【図２８】図２２の画像情報符号化装置に対応する、本
発明の一実施の形態である画像情報復号装置の構成例を
示すブロック図である。

【符号の説明】

５３ フィールド／フレーム判定部， ５５ ABTブロ
ックサイズ決定部，５６ フィールド／フレーム変換
部， ５７ ABT変換部， ５９ 可逆符号化部， ６
３ 逆ABT変換部，６４ フィールド／フレーム変換
部， ６５ ループフィルタ， ６７ フィールド／フ
レーム変換部， ６９ 制御部， ７０記録媒体， ８
２ 可逆復号部， ８４ 逆ABT変換部， ８５フィー
ルド／フレーム変換部， ９１ フィールド／フレーム
変換部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ピーター クーン 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 矢ヶ崎 陽一 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 LC03 MA00 MA02 MA03 MA04 MA05 MA14 MA21 MA22 MA23 MC11 MC32 MC34 MC38 ME01 ME11 NN01 NN21 NN28 PP05 PP06 PP07 RC12 RC40 SS07 SS20 TA12 TA13 TA18 TA23 TA24 TA46 TB07 TC02 TC04 TC08 TD02 TD06 UA02 UA32 UA33 UA39 5J064 AA02 BA04 BA09 BA16 BB03 BB12 BC01 BC06 BC08 BC11 BC14 BC16 BC26 BD02 BD03

Claims (34)

【特許請求の範囲】
1. 【請求項１】 飛び越し走査の画像情報を入力として、
   マクロブロックレベルで適応的にフィールドベースまた
   はフレームベースの符号化処理を施す符号化装置におい
   て、 予め設定されている複数の直交変換用ブロックサイズの
   いずれかにマクロブロックを分割して直交変換する直交
   変換手段と、 最も符号化効率が高くなるように、前記直交変換用ブロ
   ックサイズを決定するブロックサイズ決定手段と、 前記直交変換手段の処理結果を量子化する量子化手段
   と、 前記量子化手段の処理結果を可逆符号化する可逆符号化
   手段とを含むことを特徴とする符号化装置。
2. 【請求項２】 前記直交変換用ブロックサイズは、４×
   ４，４×８，８×４、および８×８の４種類であること
   を特徴とする請求項１に記載の符号化装置。
3. 【請求項３】 前記ブロックサイズ決定手段は、前記マ
   クロブロックがインターマクロブロックであって前記フ
   ィールドベースの符号化処理が施される場合、動き予測
   ・補償用ブロックサイズに対応して前記直交変換用ブロ
   ックサイズを決定することを特徴とする請求項１に記載
   の符号化装置。
4. 【請求項４】 前記ブロックサイズ決定手段は、前記マ
   クロブロックがインターマクロブロックであって前記フ
   ィールドベースの符号化処理が施される場合、前記動き
   予測・補償用ブロックサイズが１６×８であるとき、前
   記直交変換用ブロックサイズを８×８に決定することを
   特徴とする請求項３に記載の符号化装置。
5. 【請求項５】 前記ブロックサイズ決定手段は、前記マ
   クロブロックがインターマクロブロックであって前記フ
   ィールドベースの符号化処理が施される場合、前記動き
   予測・補償用ブロックサイズが８×８であるとき、前記
   直交変換用ブロックサイズも８×８に決定することを特
   徴とする請求項３に記載の符号化装置。
6. 【請求項６】 前記ブロックサイズ決定手段は、前記マ
   クロブロックがインターマクロブロックであって前記フ
   ィールドベースの符号化処理が施される場合、前記動き
   予測・補償用ブロックサイズが８×４であるとき、前記
   直交変換用ブロックサイズも８×４に決定することを特
   徴とする請求項３に記載の符号化装置。
7. 【請求項７】 前記ブロックサイズ決定手段は、前記マ
   クロブロックがインターマクロブロックであって前記フ
   ィールドベースの符号化処理が施される場合、前記動き
   予測・補償用ブロックサイズが４×８であるとき、前記
   直交変換用ブロックサイズも４×８に決定することを特
   徴とする請求項３に記載の符号化装置。
8. 【請求項８】 前記ブロックサイズ決定手段は、前記マ
   クロブロックがインターマクロブロックであって前記フ
   ィールドベースの符号化処理が施される場合、前記動き
   予測・補償用ブロックサイズが４×４であるとき、前記
   直交変換用ブロックサイズも４×４に決定することを特
   徴とする請求項３に記載の符号化装置。
9. 【請求項９】 前記マクロブロックレベルでの前記符号
   化処理を、前記フィールドベースとするか前記フレーム
   ベースとするかを判定するフィールド／フレーム判定手
   段をさらに含むことを特徴とする請求項１に記載の符号
   化装置。
10. 【請求項１０】 前記フィールド／フレーム判定手段に
    よる判定と、前記ブロックサイズ決定手段による決定
    は、同時に行われることを特徴とする請求項９に記載の
    符号化装置。
11. 【請求項１１】 前記フィールド／フレーム判定手段に
    よる判定と、前記ブロックサイズ決定手段による決定
    は、動き予測処理によって生成された差分値を直交変換
    して得られる係数の絶対値和SATDが最小となるように、
    同時に行われることを特徴とする請求項１０に記載の符
    号化装置。
12. 【請求項１２】 前記フィールド／フレーム判定手段に
    よる判定と、前記ブロックサイズ決定手段による決定
    は、コスト関数Ｊの値に基づいて、同時に行われること
    を特徴とする請求項１０に記載の符号化装置。
13. 【請求項１３】 前記フィールド／フレーム判定手段
    は、フレーム内で垂直方向に隣接した画素の差分の自乗
    和Ｖ_ar1と、フィールド内で垂直方向に隣接した画素の
    差分の自乗和Ｖ_ar2との比較結果に対応して、前記マク
    ロブロックレベルでの前記符号化処理を、前記フィール
    ドベースとするか前記フレームベースとするかを判定す
    ることを特徴とする請求項９に記載の符号化装置。
14. 【請求項１４】 前記ブロックサイズ決定手段は、動き
    予測処理によって生成された差分値を直交変換して得ら
    れる係数の絶対値和SATDが最小となるように、前記直交
    変換用ブロックサイズを決定することを特徴とする請求
    項１に記載の符号化装置。
15. 【請求項１５】 前記ブロックサイズ決定手段は、コス
    ト関数Ｊの値に基づいて、前記直交変換用ブロックサイ
    ズを決定することを特徴とする請求項１に記載の符号化
    装置。
16. 【請求項１６】 前記可逆符号化手段は、前記フィール
    ド／フレーム判定手段による判定結果を示すfield/fram
    e_flag、および前記ブロックサイズ決定手段による決定
    結果を示すMB_typeも可逆符号化することを特徴とする
    請求項１に記載の符号化装置。
17. 【請求項１７】 前記可逆符号化手段は、UVLCを用いる
    ことを特徴とする請求項１に記載の符号化装置。
18. 【請求項１８】 前記可逆符号化手段は、CABACを用い
    ることを特徴とする請求項１に記載の符号化装置。
19. 【請求項１９】 前記可逆符号化手段には、前記フィー
    ルド／フレーム判定手段による判定結果を示すfield/fr
    ame_flag、および前記ブロックサイズ決定手段による決
    定結果を示すMB_typeのそれぞれに対するコンテキスト
    モデルが定義されていることを特徴とする請求項１８に
    記載の符号化装置。
20. 【請求項２０】 マクロブロックＣのframe／field fla
    gに関するコンテキストモデルctx_fifr_flag(C)は、前
    記マクロブロックＣに隣接するマクロブロックＡ，Ｂそ
    れぞれのframe／field flagの値ａ，ｂを用いて次式の
    ように定義されている ctx_fifr_flag(C)＝ａ＋２ｂ ことを特徴とする請求項１９に記載の符号化装置。
21. 【請求項２１】 Ｉピクチャに含まれるマクロブロック
    ＣのMB_typeに対応するコンテキストモデルctx_mb_type
    _intra_field（C）は、前記マクロブロックＣに隣接す
    るマクロブロックＡ，ＢそれぞれがIntra４×４である
    場合には０であり、Intra１６×１６である場合には１
    である値、Ａ，Ｂを用いた次式によって定義されている ctx_mb_type_intra_field（C）＝Ａ＋Ｂ ことを特徴とする請求項１９に記載の符号化装置。
22. 【請求項２２】 Ｐピクチャに含まれるマクロブロック
    ＣのMB_typeに対応する第１のコンテキストモデルctx_m
    b_type_inter_field(C)は、前記マクロブロックＣに隣
    接するマクロブロックＡ，ＢそれぞれがSkipモードであ
    るか否かに対応して０または１を示す演算子(A==Skip)?
    0:1)，((B==Skip)?0:1)を用いて次式のように定義され
    ている ctx_mb_type_inter_field(C)＝((A==skip)?0:1)＋２((B
    ==skip)?0:1) ことを特徴とする請求項１９に記載の符号化装置。
23. 【請求項２３】 Ｐピクチャに含まれるマクロブロック
    Ｃを前記フィールドベースで符号化する場合、前記マク
    ロブロックＣのMB_typeに対応するCode_Number０乃至７
    は、それぞれ、０，１００，１０１，１１０００，１１
    ００１，１１０１０，１１０１１または１１１００に２
    値化されることを特徴とする請求項２２に記載の符号化
    装置。
24. 【請求項２４】 Ｂピクチャに含まれるマクロブロック
    ＣのMB_typeに対応する第１のコンテキストモデルctx_m
    b_type_inter_field(C)は、前記マクロブロックＣに隣
    接するマクロブロックＡ，ＢそれぞれがDirectモードで
    あるか否かに対応して０または１を示す演算子(A==Dire
    ct)?0:1)，((B==Direct)?0:1)を用いて次式のように定
    義されている ctx_mb_type_inter_field(C)＝((A==Direct)?0:1)＋２
    ((B==Direct)?0:1) ことを特徴とする請求項１９に記載の符号化装置。
25. 【請求項２５】 Ｂピクチャに含まれるマクロブロック
    Ｃを前記フィールドベースで符号化する場合、前記マク
    ロブロックＣのMB_typeに対応するCode_Number０乃至１
    ３は、それぞれ、０，１００，１０１，１１０００，１
    １００１，１１０１０，１１０１１，１１１００，１１
    １０００，１１１０００１，１１１００１０，１１１０
    ０１１，１１１０１００，１１１０１０１または１１１
    ０１１０に２値化されることを特徴とする請求項２４に
    記載の符号化装置。
26. 【請求項２６】 飛び越し走査の画像情報を入力とし
    て、マクロブロックレベルで適応的にフィールドベース
    またはフレームベースの符号化処理を施す符号化装置の
    符号化方法において、 予め設定されている複数の直交変換用ブロックサイズの
    いずれかにマクロブロックを分割して直交変換する直交
    変換ステップと、 最も符号化効率が高くなるように、前記直交変換用ブロ
    ックサイズを決定するブロックサイズ決定ステップと、 前記直交変換ステップの処理結果を量子化する量子化ス
    テップと、 前記量子化ステップの処理結果を可逆符号化する可逆符
    号化ステップとを含むことを特徴とする符号化方法。
27. 【請求項２７】 飛び越し走査の画像情報を入力とし
    て、マクロブロックレベルで適応的にフィールドベース
    またはフレームベースの符号化処理を施すプログラムで
    あって、 予め設定されている複数の直交変換用ブロックサイズの
    いずれかにマクロブロックを分割して直交変換する直交
    変換ステップと、 最も符号化効率が高くなるように、前記直交変換用ブロ
    ックサイズを決定するブロックサイズ決定ステップと、 前記直交変換ステップの処理結果を量子化する量子化ス
    テップと、 前記量子化ステップの処理結果を可逆符号化する可逆符
    号化ステップとを含むことを特徴とするコンピュータが
    読み取り可能なプログラムが記録されている記録媒体。
28. 【請求項２８】 飛び越し走査の画像情報を入力とし
    て、マクロブロックレベルで適応的にフィールドベース
    またはフレームベースの符号化処理を施すコンピュータ
    に、 予め設定されている複数の直交変換用ブロックサイズの
    いずれかにマクロブロックを分割して直交変換する直交
    変換ステップと、 最も符号化効率が高くなるように、前記直交変換用ブロ
    ックサイズを決定するブロックサイズ決定ステップと、 前記直交変換ステップの処理結果を量子化する量子化ス
    テップと、 前記量子化ステップの処理結果を可逆符号化する可逆符
    号化ステップとを実行させるプログラム。
29. 【請求項２９】 飛び越し走査の画像情報がマクロブロ
    ックレベルで適応的にフィールドベースまたはフレーム
    ベースで符号化されている圧縮画像情報を元に前記画像
    情報を復元する復号装置において、 前記圧縮画像情報を復号して、前記マクロブロックレベ
    ルでの符号化処理が前記フィールドベースであるか前記
    フレームベースであるかを示すfield/frame_flag、前記
    符号化処理に含まれる直交変換処理でのブロックサイズ
    を示すMB_type、量子化されている直交変換係数、並び
    に予測モード情報および動きベクトル情報を生成する復
    号手段と、 前記量子化されている直交変換係数を逆量子化する逆量
    子化手段と、 前記MB_typeに基づき、前記逆量子化手段の処理結果を
    逆直交変換する逆直交変換手段と、 前記予測モード情報および前記動きベクトル情報に従
    い、復号画像情報を元にして参照画像を生成する参照画
    像生成手段とを含むことを特徴とする復号装置。
30. 【請求項３０】 前記field/frame_flagに基づき、前記
    前記逆直交手段の処理結果をフレーム構造に変換するフ
    レーム構造変換手段をさらに含むことを特徴とする請求
    項２８に記載の復号装置。
31. 【請求項３１】 前記field/frame_flagに基づき、前記
    参照画像生成手段に供給される前の前記復号情報をフィ
    ールド構造に変換するフィールド構造変換手段をさらに
    含むことを特徴とする請求項２８に記載の復号装置。
32. 【請求項３２】 飛び越し走査の画像情報がマクロブロ
    ックレベルで適応的にフィールドベースまたはフレーム
    ベースで符号化されている圧縮画像情報を元に前記画像
    情報を復元する復号装置の復号方法において、 前記圧縮画像情報を復号して、前記マクロブロックレベ
    ルでの符号化処理が前記フィールドベースであるか前記
    フレームベースであるかを示すfield/frame_flag、前記
    符号化処理に含まれる直交変換処理でのブロックサイズ
    を示すMB_type、量子化されている直交変換係数、並び
    に予測モード情報および動きベクトル情報を生成する復
    号ステップと、 前記量子化されている直交変換係数を逆量子化する逆量
    子化ステップと、 前記MB_typeに基づき、前記逆量子化手段の処理結果を
    逆直交変換する逆直交変換ステップと、 前記予測モード情報および前記動きベクトル情報に従
    い、復号画像情報を元にして参照画像を生成する参照画
    像生成ステップとを含むことを特徴とする復号方法。
33. 【請求項３３】 飛び越し走査の画像情報がマクロブロ
    ックレベルで適応的にフィールドベースまたはフレーム
    ベースで符号化されている圧縮画像情報を元に前記画像
    情報を復元するプログラムであって、 前記圧縮画像情報を復号して、前記マクロブロックレベ
    ルでの符号化処理が前記フィールドベースであるか前記
    フレームベースであるかを示すfield/frame_flag、前記
    符号化処理に含まれる直交変換処理でのブロックサイズ
    を示すMB_type、量子化されている直交変換係数、並び
    に予測モード情報および動きベクトル情報を生成する復
    号ステップと、 前記量子化されている直交変換係数を逆量子化する逆量
    子化ステップと、 前記MB_typeに基づき、前記逆量子化手段の処理結果を
    逆直交変換する逆直交変換ステップと、 前記予測モード情報および前記動きベクトル情報に従
    い、復号画像情報を元にして参照画像を生成する参照画
    像生成ステップとを含むことを特徴とするコンピュータ
    が読み取り可能なプログラムが記録されている記録媒
    体。
34. 【請求項３４】 飛び越し走査の画像情報がマクロブロ
    ックレベルで適応的にフィールドベースまたはフレーム
    ベースで符号化されている圧縮画像情報を元に前記画像
    情報を復元するコンピュータに、 前記圧縮画像情報を復号して、前記マクロブロックレベ
    ルでの符号化処理が前記フィールドベースであるか前記
    フレームベースであるかを示すfield/frame_flag、前記
    符号化処理に含まれる直交変換処理でのブロックサイズ
    を示すMB_type、量子化されている直交変換係数、並び
    に予測モード情報および動きベクトル情報を生成する復
    号ステップと、 前記量子化されている直交変換係数を逆量子化する逆量
    子化ステップと、 前記MB_typeに基づき、前記逆量子化手段の処理結果を
    逆直交変換する逆直交変換ステップと、 前記予測モード情報および前記動きベクトル情報に従
    い、復号画像情報を元にして参照画像を生成する参照画
    像生成ステップとを実行させるプログラム。