JP2003204552A

JP2003204552A - イメージおよびビデオコード化のための改善ブロック変換および量子化

Info

Publication number: JP2003204552A
Application number: JP2002272011A
Authority: JP
Inventors: Henrique S Malvar; エス．マルバーヘンリク
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2001-09-18
Filing date: 2002-09-18
Publication date: 2003-07-18
Anticipated expiration: 2022-09-18
Also published as: EP1768418A2; CN1764277A; EP1750450B1; ES2615488T3; US20110116543A1; KR100839308B1; JP3964925B2; EP1750449B1; JP2007151131A; ES2628527T3; US8971405B2; KR100839310B1; JP4560028B2; US7881371B2; KR20060112256A; ES2628532T3; KR100839309B1; ES2628498T3; EP1750450A3; CN100463522C

Abstract

(57)【要約】【課題】イメージまたはビデオの符号化および復号化
のための改善された方法およびブロック変換を提供する
こと。【解決手段】復号化中に変換係数を出力画素情報に非
量子化する２次元逆変換において、１計数当たり、すべ
て１６ビット演算の４つの加算および１つのシフト演算
のみで実行する。それぞれの係数の位置に基づいて選択
された３つのテーブルの１つを使用した、符号化中の量
子化および復号化中の非量子化（１６ビット）は、他の
変換乗算の要素を、２の累乗（例えば、２または１／
２）の要素を除いて既に補正するパラメータ値を有し、
この２の累乗は、変換および逆変換処理中にシフト演算
によって実行される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は一般に、イメージお
よびビデオ信号の符号化および復号化に関し、より詳細
には、イメージビデオ信号を符号化かつ復号化するため
の、ブロック変換および逆変換、ならびに量子化および
非量子化方法の改善に関する。

【０００２】

【従来の技術】離散コサイン変換（ＤＣＴ）は、ブロッ
ク変換イメージおよびビデオ（イメージのシーケンス）
コード化、例えばＪＰＥＧおよびＭＰＥＧにおいて一般
的に使用されている。多々ある理由の中で、これは、Ｄ
ＣＴが、（イメージデータに対応するような）ランダム
信号を、イメージの視覚品質に関してより重要な低周波
数部分と、より重要でない高周波数部分に分離し、した
がって圧縮を容易にするという理由からである。

【０００３】例としてＨ．２６Ｌは、４×４ブロックの
画素を使用してフレームを構築するイメージおよび／ま
たはビデオコード化技術である。８×８ブロックを使用
するＭＰＥＧおよびＪＰＥＧとは異なり、Ｈ．２６Ｌ
は、同じフレーム内の既存の他のブロックの予測情報
（すなわちフレーム内コード化）、ならびにフレーム間
の推定および動き補正（すなわちフレーム間コード化）
を使用することによって、４×４画素ブロックで比較的
高品質の圧縮を取得する。一般に、フレーム内予測を達
成するために、Ｈ．２６Ｌエンコーダは、構築されるフ
レーム内の他の前の画素ブロックのどれが予測のための
基礎として使用されているかを、対応するＨ．２６Ｌデ
コーダに伝え、新しいブロックのための画素を決定する
際に、（前のフレーム内ブロックの画素から）６つの可
能な予測法（公式）のどれを使用するかを識別する。こ
れは予測誤差につながり、この予測誤差もまた、新しい
ブロックを訂正するためにデコーダに提供される。予測
誤差情報は、予測されたブロックを訂正するための誤差
情報を再計算するために、ブロック変換（ＤＣＴ）で符
号化されてデコーダに送られる。上記再計算の中には逆
変換が含まれる。

【０００４】イメージおよびビデオ符号化または復号化
には、著しい量の処理パワーがかかる。知られているよ
うに、エンコーダは通常、デコーダすなわち、データを
イメージに変換する多数のデコーダよりはるかに大きい
処理パワーを有する。デコーダは通常、消費者デバイス
内に実装されているからである。例えとして、イメージ
およびビデオ復号化は、テレビジョンセットトップボッ
クス、パーソナルデジタルアシスタント（ＰＤＡ）、ポ
ケットサイズのパーソナルコンピュータ、およびより進
んだ携帯電話内で行なわれる。

【０００５】

【発明が解決しようとする課題】したがって、イメージ
およびビデオ符号化および復号化の方法を考えるとき、
復号化を単純にしておくことは、たとえそれによって符
号化が計算上複雑になることを意味しても、重要であ
る。復号化を単純化することはそれがなんであれ、、そ
うすることによって符号化および復号化処理が、既存の
圧縮レベル、最終イメージ品質、およびデコーダで必要
な他のリソース量に、既存技術と比べて実質的にどのよ
うな点でも不利なインパクトを与えなければ、望まし
い。

【０００６】

【課題を解決するための手段】簡単には、本発明は、エ
ンコーダおよびデコーダの双方において、計算の複雑さ
を著しく単純化する、イメージおよびビデオのための改
善方法、改善システムおよび改善ブロック変換を提供す
る。同時に、圧縮、イメージ／ビデオ品質、および他の
リソースは、無視し得る程にしか影響を受けない。

【０００７】より詳細には、離散コサイン変換（ＤＣ
Ｔ）に対して新しい整数近似を行う直交ブロック変換お
よび対応する逆変換が、提供される。エンコーダおよび
デコーダの双方において計算の複雑性を著しく減少させ
る他の計算上の変更も提供される。実際、一実施例で
は、エンコーダおよびデコーダにおいて、係数当たりの
変換処理数が、（Ｈ．２６Ｌに指定された変換で必要
な、３２ビット演算での４つの加算および３つの乗算か
ら）１６ビット演算での４つの加算および１つのシフト
に減少した。本発明は、画素情報（例えば誤差訂正デー
タ）を正しく変換する。それぞれの係数の位置に基づい
て選択された３つのテーブルの１つを使用して、符号化
におけるの量子化（倍率（スケーリング）変更および整
数への丸め）、および復号化における非量子化は、変換
および逆変換処理中にシフト動作によって実行される１
つを除いて、他の変換乗算の要素のために既に補正され
たパラメータ値を有するからである。

【０００８】さらに、復号化において、それぞれの量子
化済み係数に対して、デコーダは、（Ｈ２６．Ｌにおい
て必要とされる）３２ビット乗算の代わりに、その量子
化済み係数を変換係数に非量子化するために１６ビット
乗算を実行する。したがって典型的イメージおよびビデ
オを有する多数のデバイス上では、Ｈ．２６Ｌに比べて
本発明の処理の利益は著しく、特に品質および／または
圧縮の損失がたとえあっても無視し得るデコーダにおい
て著しい。

【０００９】他の利益および利点は、図面と共に見れば
次の詳細な説明から明らかになろう。

【００１０】

【発明の実施の形態】図１は、特にイメージおよび／ま
たはビデオデータを復号化するために、本発明を実施す
ることができる、適切なオペレーティング環境１２０の
一実施例を示す。オペレーティング環境１２０は、適切
なオペレーティング環境の一実施例に過ぎず、本発明の
使用法または機能の範囲に関して制限を設けるものでも
ない。本発明を適用した、よく知られているコンピュー
ティングシステム、環境、および／または構成は、パー
ソナルコンピュータ、サーバコンピュータ、ハンドヘル
ドまたはラップトップデバイス、マルチプロセッサシス
テム、マイクロプロセッサに基づくシステム、プログラ
ム可能消費者電子機器、ネットワークＰＣ、ミニコンピ
ュータ、メインフレームコンピュータ、任意の上記シス
テムまたはデバイス等を含む分散コンピューティング環
境を含むが、これらに制限されない。例えば、イメージ
および／またはビデオイメージデータを符号化すること
は、現代のハンドヘルドパーソナルコンピュータより大
きな処理パワーを有するコンピュータ上でしばしば実行
される可能性が高いが、符号化が例示的デバイス上で実
行できない、またはよりパワフルなマシン上で復号化で
きないという理由はない。

【００１１】本発明を、１つまたは複数のコンピュータ
または他のデバイスによって実行されるプログラムモジ
ュールなど、コンピュータ実行可能命令の一般的文脈に
おいて述べることができる。一般にプログラムモジュー
ルは、特定のタスクを実行するかまたは特定の抽象的デ
ータタイプを実施するルーチン、プログラム、オブジェ
クト、コンポーネント、データ構造等を含む。通常、プ
ログラムモジュールの機能は、様々な実施形態において
望まれているように、組合わせるかまたは分散してもよ
い。コンピューティングデバイス１２０は通常、少なく
とも何らかの形態のコンピュータ読取り可能媒体を含
む。コンピュータ読取り可能媒体は、コンピューティン
グデバイス１２０によってアクセスすることができる任
意の利用可能な媒体でよい。制限ではなく実施例とし
て、コンピュータ読取り可能媒体は、コンピュータ記憶
媒体および通信媒体を含むことができる。コンピュータ
記憶媒体は、コンピュータ読取り可能命令、データ構
造、プログラムモジュール等の情報記憶のための任意の
方法または技術で実施される揮発性および不揮発性の取
外し可能および取外し不能媒体を含む。コンピュータ記
憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ
メモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ
（デジタルバーサタイルディスク）または他の光記憶、
磁気カセット、磁気テープ、磁気ディスク記憶または他
の磁気記憶デバイス、あるいは希望する情報を格納する
ために使用することができコンピューティングデバイス
１２０によってアクセスすることができる他の任意の媒
体を含むが限定はされない。通信媒体は通常、コンピュ
ータ読取り可能命令、データ構造、プログラムモジュー
ルあるいは搬送波または他の搬送機構などの変調済みデ
ータ信号内の他のデータを実施し、任意の情報配信媒体
を含む。用語「変調済みデータ信号」は、１つまたは複
数のその特性セットを有する信号、またはその信号内に
情報を符号化するような方法で変更された信号を意味す
る。制限ではなく実施例として、通信媒体は、有線ネッ
トワークまたは直接有線接続などの有線媒体、ならびに
音響、ＲＦ、赤外線および他の無線媒体などの無線媒体
を含む。上記の任意の組合わせもまた、コンピュータ読
取り可能媒体の範囲内に含まれるべきである。

【００１２】図１は１つのそのようなハンドヘルドコン
ピューティングデバイス１２０の、それはプロセッサ１
２２、メモリ１２４、ディスプレイ１２６、およびキー
ボード１２８（物理または仮想キーボードでもよい）を
含むが、機能コンポーネントを示す。メモリ１２４は一
般に、揮発性メモリ（例えばＲＡＭ）および不揮発性メ
モリ（例えばＲＯＭ、ＰＣＭＣＩＡカードなど）の双方
を含む。Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｃｏｒｐｏｒ
ａｔｉｏｎからのＷｉｎｄｏｗｓ（登録商標）ＣＥオペ
レーティングシステム、または他のオペレーティングシ
ステムなどのオペレーティングシステム１３０は、メモ
リ１２４内に常駐し、プロセッサ１２２上で実行され
る。

【００１３】１つまたは複数のアプリケーションプログ
ラム１３２は、メモリ１２４にロードされ、オペレーテ
ィングシステム１３０上で実行される。アプリケーショ
ンの実施例は、電子メールプログラム、スケジューリン
グプログラム、ＰＩＭ（個人情報管理）プログラム、ワ
ードプロセッシングプログラム、スプレッドシートプロ
グラム、インターネットブラウザプログラムなどを含
む。ハンドヘルドパーソナルコンピュータ１２０は、メ
モリ１２４内にロードされた通知マネージャ１３４もま
た含み、その通知マネージャ１３４はプロセッサ１２２
上で実行される。通知マネージャ１３４は、例えばアプ
リケーションプログラム１３２からの通知要求を処理す
る。

【００１４】ハンドヘルドパーソナルコンピュータ１２
０は、１つまたは複数のバッテリとして実装される電源
１３６を有する。電源１３６は、ＡＣアタプタまたはパ
ワードドッキングクレードルなど、ビルトインバッテリ
にオーバーライドまたは再充電する外部電源をさらに含
むことができる。

【００１５】図１に示す例示的ハンドヘルドパーソナル
コンピュータ１２０は、３つのタイプの外部通知機構、
すなわち１つまたは複数の発行ダイオード（ＬＥＤ）１
４０およびオーディオジェネレータ１４４と共に示され
ている。これらのデバイスは、活動化（アクチベート）
されたときに、たとえこのハンドヘルドパーソナルコン
ピュータプロセッサ１２２および他のコンポーネントが
バッテリパワーを保存するために遮断されていても、通
知機構によって命じられた期間はオンであり続けるよう
に、これらの機器は電源１３６に直接、接続される。Ｌ
ＥＤ１４０は、ユーザがアクションを起こすまで無制限
にオンのままが好ましい。現在のバージョンのオーディ
オジェネレータ１４４は、今日のハンドヘルドパーソナ
ルコンピュータバッテリにとって過大なパワーを使用
し、その結果システムの残りが遮断されるときまたは活
動化後ある有限期間で遮断されるように構成されること
に留意されたい。

【００１６】符号化および復号化背景として、離散コサイン変換（ＤＣＴ）は、線形変換
Ｘ＝Ｈｘによって長さＮのベクトルｘを変換係数の新し
いベクトルＸに写像する。ここで、Ｈの第ｋ行第ｎ列の
要素は、ｋ＝０、１、．．．、Ｎ−１、ｎ＝０、
１、．．．、Ｎ−１に対して、

【００１７】

【数６】

【００１８】によって定義され、ｃ_０＝√２、かつｋ＞
１に対してｃ_ｋ＝１である。ＤＣＴ行列は直交であり、
その逆行列はその転置行列に等しい。すなわちｘ＝Ｈ
^ー１Ｘ＝Ｈ^ｔＸである。

【００１９】ＤＣＴの１つの欠点は、要素Ｈ（ｋ、ｎ）
が無理数であり、その結果、整数入力データｘ（ｎ）が
無理変換係数（ｉｒｒａｔｉｏｎａｌｔｒａｎｓｆｏ
ｒｍａｃｏｅｆｆｉｃｉｅｎｔｉｅｎｔｅｓ）Ｘ
（ｋ）に写像されることである。結果として、デジタル
コンピュータでは、直接および逆変換を連続して計算す
るとき、出力データは入力データと正確に等しくはなら
ない。換言すれば、Ｘ＝Ｈｘ、かつｕ＝ｒｏｕｎｄ（Ｈ
^ＴＸ）として計算する場合、すべてのｎに対してｕ
（ｎ）＝ｘ（ｎ）、は真ではない。しかし適切な倍率変
更要素ａ＾、ａ〜を導入し、たとえばＸ＝ａ〜Ｈｘかつ
ｕ＝ｒｏｕｎｄ（ａ＾Ｈ^ｔＸ）とすることによって、ａ
＾およびａ〜を充分大きく選ぶとき、ほとんど全てのｎ
に対してｕ（ｎ）＝Ｇｘ（ｎ）、ここでＧは整数、とな
るが、これは正確な結果を保証するものではない。

【００２０】動き補正ビデオエンコーダでは、例えば過
去の復号化済みフレームのデータが予測情報のための参
照情報として使用される。この予測情報は現在のフレー
ムを生成するために使用される。したがって、符号化の
一部として、エンコーダは、自分自身の復号化済みフレ
ームを生成する。それによってエンコーダは、逆変換を
計算しなければならない。公式ｕ＝ｒｏｕｎｄ（ａ＾、
Ｈ^ＴＸ）が使用される場合、異なるプロセッサ内の異な
る浮動小数点フォーマットおよび丸め方法は、異なる結
果につながる。結果として、エンコーダで復号化された
データと（異なるプロセッサを有する）デコーダによっ
て復号化されたデータの間でずれが生じ、エンコーダ
は、デコーダが生成しているブロックのフレームとます
ます似ていないブロックのフレームに予測／動き情報の
基礎を置くので、それによってイメージは、それぞれの
新しいフレームごとにますます悪くなる。

【００２１】データずれの問題に対する１つの解決方法
は、整数のみを含む行列によって行列Ｈを近似し、それ
によって丸め誤差を無くする方法ことである。Ｈの行が
直交で同じノルム（２乗の和）を有する場合、すべての
整数ｘに対して、ｕは整数演算で正確に計算できること
になる。換言すれば、直接変換がＸ＝Ｈｘによって、逆
変換がｕ＝Ｈ^ＴＸによって計算されるときｕ＝Ｇｘとな
る。ここでＧはＨ内の任意の行の２乗ノルムに等しい整
数である。

【００２２】ＤＣＴに対する整数近似を生成する一方法
は、一般公式Ｑ（ｋ、ｎ）＝ｒｏｕｎｄ（ａ＾Ｈ（ｋ、ｎ））を使用することである。ここでａ＾は倍率変更パラメー
タである。

【００２３】Ｈ．２６Ｌビデオ圧縮標準では、４画素×
４画素のブロックからイメージが構成され、この場合、
Ｈ．２６ＬのＤＣＴ公式においてＮ＝４である。これ
は、

【００２４】

【数７】

【００２５】に等しいＤＣＴ行列となる。ここでｃ□√
２ｃｏｓ（π／８）かつｓ□√２ｓｉｎ（π／８）であ
る。

【００２６】Ｈ．２６Ｌの現在のバージョンでの変換行
列は、ａ＾＝２６と設定することによって得られ、値
は、

【００２７】

【数８】

【００２８】と計算される。

【００２９】倍率変更パラメータ値が２６なので、Ｑ_０
の行および列は互いに直交であり（すなわち、任意の２
つの列の内積が０）、すべての行および列が６７６に等
しいノルムを有する。実際、ａ＾＜５０の値に対して、
ａ＾＝２またはａ＾＝２６のみが、等しいノルム行を有
する直交行列を与える。しかし、ａ＾＝２に対する解
は、よい圧縮にならず、ａ＾に対するより大きい値は、
直接変換Ｘ＝Ｑ_０ｘの結果を計算するのに必要な計算の
複雑性（例えば、ワード長）が増すので魅力的ではな
い。したがって、Ｈ．２６Ｌではａ＾＝２６が今まで選
ばれていた。

【００３０】逆変換はｘ′＝Ｑ_０Ｘによって定義され、
その結果同様に整数演算で計算することができる。上記
定義から、ｘ′＝６７６ｘ、すなわち再構築されたデー
タｘ′は、元のデータｘを整数利得の６７６（Ｑ_０内の
任意の行のノルム）によって増幅したものに等しい。

【００３１】本発明の一態様によれば、符号化および復
号化のときに計算の複雑性を著しく減少させ、直交であ
りさらに異なる値を有する整数近似を使用するブロック
変換行列が提供される。より詳細には、ａ＾＝２．５を
使用して次の行列が生成される。

【００３２】

【数９】

【００３３】Ｑ_Ｄの行は互いに直交である一方、それら
のノルムは異なり（行０および２は４に等しいノルムを
有し、行１および３は１０に等しいノルムを有する）、
以下に述べるように、計算の複雑性を著しくは増加させ
ない方法での量子化および非量子化で処理される。

【００３４】図面の図２に移ると、何らかのタイプの媒
体および／または中間デバイス２２０を介して接続可能
なブロック変換エンコーダ２００およびブロック変換デ
コーダ２２２がここに示されている。理解されるよう
に、エンコーダ２００はその出力をデコーダ２２２に対
して直接利用可能にする必要はなく、したがって図２内
の２２０のラベルを付けられたラインは、ネットワーク
ケーブル、無線伝送媒体、電話回線、記憶装置、ルー
タ、および／またはそれらの実質的に任意の組合わせな
ど、実質的に任意のタイプの媒体またはデバイスを表
す。

【００３５】一般にエンコーダ２００は、（例えば、誤
差訂正情報を表す）ＮｘＮ入力画素データ２０２の各ブ
ロックを分離可能な２次元変換２０４を介して変換する
ことによって動作する。より詳細には、最初に、ブロッ
ク内の画素データの行が行変換処理２０６によって変換
され、次いで行変換の結果（図２には具体的に表されて
いない）が、列変換処理２０８によって結果としての変
換係数２１０に変換される。換言すれば、この２次元Ｄ
ＣＴは本質的に、画素ブロックの各行に対して１次元Ｄ
ＣＴを実行し、行に対する１次元ＤＣＴによって生成さ
れた画素ブロックの各列に対して１次元のＤＣＴを続行
する。行および列変換は、反対の順序で実行して同じ結
果を得ることができる。

【００３６】Ｈ．２６Ｌでは、指定された変換行列は、
変換係数を計算するための次の公式になる。Ａ＝１３ａ＋１３ｂ＋１３ｃ＋１３ｄＢ＝１７ａ＋７ｂ−７ｃ−１７ｄＣ＝１３ａ−１３ｂ−１３ｃ＋１３ｄＤ＝７ａ−１７ｂ＋１７ｃ−７ｄここで［ａｂｃｄ］は、最初に４×４ブロック内の画素
値の行を表し、次いで行変換後に、それらの行変換され
たデータ値の列を表す。しかし、実際には、これらの公
式を単純化することができ、ＤＣＴ行列は、必要な乗算
および加算演算の数を減らす反復的構造を有する。それ
にもかかわらず、上記行列は、それぞれの画素に対する
変換係数を計算するのに、少なくとも４つの加算および
３つの乗算を必要とする。さらに、それぞれの画素は符
号付き９ビット値であるので、行および列の要素によっ
て乗算する（利得はノルムである６７６に等しい）と
き、その計算は３２ビット演算を必要とする。３２ビッ
ト演算は単一計算が多数の１６ビット計算と同じ時間が
かかる。これらの考慮は符号化中は通常重要ではない
が、これらのＨ．２６Ｌに指定された行列値では、特別
な演算および３２ビット演算もまた復号化中に行われ、
その労力が著しい。

【００３７】Ｈ．２６で規定された行列とは対照的に、
同じ一般的公式表現を使用すると、上述のように本発明
のブロック変換行列は、

【００３８】

【数１０】

【００３９】であり、この行列は、変換係数を計算する
ための次の公式を提供する。Ａ＝ａ＋ｂ＋ｃ＋ｄＢ＝２ａ＋ｂ−ｃ−２ｄＣ＝ａ−ｂ−ｃ＋ｄＤ＝ａ−２ｂ＋２ｃ−ｄ

【００４０】この公式／行列がより最適に機能する理由
の一部は、変換段階において個々の乗算を実行する代わ
りに、倍率変更において使用される値を単純に変更する
ことによって、その増倍率が本質的に量子化段階で処理
されることである。結果として、これらの公式で唯一の
乗算は、２の累乗によるものであり、これはプロセッサ
内で、単純な左シフト演算によって達成され、実際の乗
算ではない。補助変数としてｕ、ｖ、ｙおよびｚを使用
し、「＜＜１」が１ビット左シフト（２を乗じることに
等価であるが計算はより速い）を意味する場合、上記公
式は、次の公式に単純化される。ｕ＝ａ＋ｄ、ｖ＝ｂ＋ｃ、ｙ＝ｂ−ｃ、ｚ＝ａ−ｄ、Ａ＝ｕ＋ｖ、Ｃ＝ｕ−ｖ、Ｂ＝ｙ＋（ｚ＜＜１）、Ｄ＝ｚ−（ｙ＜＜１）

【００４１】図３内に表されるバタフライ構造を介し
て、（２点間の線は合計を示し、線上の数（−１、２お
よび−２）は増倍率を示す）これらの変換係数を見つけ
ることは、それぞれの所与の画素に対して４つの加算お
よび１つのシフトだけを実際必要とし、Ｈ．２６Ｌに指
定された要素に比べると非常に著しい性能改善を提供す
る。さらに、より低い係数値のため、すべての変換動作
は（９ビットの画素データを有する）１６ビット演算で
実行することができる。より詳細には、上記に定義され
た変換行列Ｑ_Ｄで、２次元２−Ｄ変換後に、最大信号増
幅は３６であり、この２次元変換後の出力係数は、入力
より６ビット多く広がる。したがって、９ビットの入力
に対して、出力係数は、１５ビットの動的範囲を有し、
この２次元直接変換は１６ビット演算で計算できること
を意味する。さらに、以下に述べるように、それぞれが
１６ビット演算だけを必要とするはるかに少ない演算か
らもたらされる性能向上は、逆変換を有する復号化演算
中に本質的に繰り返され、復号化性能の著しい向上を提
供する。

【００４２】変換係数２１０が計算されると、係数ブロ
ック２１０は、値を倍率変更しそれらをそのもっとも近
い整数に丸めることによって量子化される。これは、量
子化処理２１２によって図２内に表され、この処理は、
量子化パラメータ２１４からの量子化値の中から変換係
数２１０を量子化済み係数２１６に倍率変更することを
選択する。上述のように、改善された行列内には１つで
はなくて３つのノルムがあるので、量子化される変換済
み係数がブロック内のどこに位置するかに応じて、３つ
の量子化テーブルＱ０、Ｑ１およびＱ２がこれらの値を
含む。

【００４３】倍率変更および丸めのための量子化公式
は、次のとおりであり、３２ビットの正確さで計算され
るべきである。Ｌ＝［Ｋ×Ａ（ＱＰ、ｒ）＋ｆＸ］＞＞２０ここでＬは量子化済み係数、Ｋは変換済み係数、Ａ（Ｑ
Ｐ、ｒ）は量子化パラメータＱＰおよびｒによってイン
デックス付けされた増倍率であり、ｒはどのテーブル
（ＱＯ、Ｑｌ、Ｑ２）を使用するかを識別し、ｆＸは範
囲［０〜０．５］×２^２０（ｆＸはＫと同じ符号を有す
る）、＞＞２０は数を倍率縮小するために右に２０個シ
フトすること（１，０４８，５７６で除すること）を意
味する。したがって量子化処理には、誤差が持ち込まれ
る。量子化のために３２ビット演算が使用されるが、こ
れは、符号化のときにのみ必要であり、それは復号化の
ときほどには重要ではない（非量子化は、以下に述べる
ように１６ビットの正確さしか必要ではない）ことに留
意されたい。

【００４４】したがってインデックス（索引）ｒは、３
つの異なるノルムに適合させるために３つの量子化テー
ブルＱ０、Ｑｌ、Ｑ２のどれを使用するかを、ブロック
内の係数Ｋの位置に基づき選択する。

【００４５】係数が位置｛（０、０）、（０、１）、
（１、０）、（１，１）｝の１つから来た場合、ｒ＝０
（Ｑ０を使用）係数が位置｛（０、２）、（０、３）、（１、２）、
（１、３）、（２、０）、（２、１）、（３、０）、
（３、１）｝から来た場合、ｒ＝１（Ｑ１を使用）係数が位置｛（２、２）、（２、３）、（３、２）、
（３、３）｝から来た場合、ｒ＝２（Ｑ２を使用）２０ビット右にシフトの後に、それぞれの量子化済み結
果Ｌは１６ビット整数に適合する。

【００４６】例示的実施例では、増倍率Ａ（ＱＰ、ｒ）
は、次のテーブルにしたがって、量子化パラメータＱＰ
および係数位置グループｒに依存する。Ａ（ＱＰ＝０．．３１，ｒ＝０）＝｛１０４８５８，９
３４１８，８３２２６，７４１４６，６６０５６，５８
８４９，５２４２９，４６７０９，４１６１３，３７０
７３，３３０２８，２９４２５，２６２１４，２３３５
４，２０８０６，１８５３６，１６５１４，１４７１
２，１３１０７，１１６７７，１０４０３，９２６８，
８２５７，７３５６，６５５４，５８３９，５２０２，
４６３４，４１２９，３６７８，３２７７，２９１
９｝；Ａ（ＱＰ＝０．．３１，ｒ＝１）＝｛６６３１８，５９
０８２，５２６３６，４６８９４，４１７７８，３７２
２０，３３１５９，２９５４１，２６３１８，２３４４
７，２０８８９，１８６１０，１６５７９，１４７７
１，１３１５９，１１７２３，１０４４４，９３０５，
８２９０，７３８５，６５８０，５８６２，５２２２，
４６５２，４１４５，３６９３，３２９０，２９３１，
２６１１，２３２６，２０７２，１８４６｝；Ａ（ＱＰ＝０．．３１，ｒ＝２）＝｛４１９４３，３７
３６７，３３２９０，２９６５８，２６４２２，２３５
４０，２０９７２，１８６８４，１６６４５，１４８２
９，１３２１１，１１７７０，１０４８６，９３４２，
８３２３，７４１５，６６０６，５８８５，５２４３，
４６７１，４１６１，３７０７，３３０３，２９４２，
２６２１，２３３５，２０８１，１８５４，１６５１，
１４７１，１３１１，１１６８｝．

【００４７】上記の特定の値は、テーブルインデックス
が６増える毎に量子化ステップサイズが２倍になるべき
であるというＨ．２６Ｌ内の設計仕様を満足させるよう
に定められた。他のビデオまたは固定イメージコード化
アプリケーションに対しては、希望する忠実度の増加を
考慮して他の量子化テーブルを設計することができる。
エンコーダで量子化テーブルを格納するためには、１つ
ではなくて３つのテーブルを格納するための何らかの特
別なテーブルスペースが必要であるが、特別なスペース
のこの量は、わずか６４バイトであり無視し得ることに
留意されたい。

【００４８】図２に戻ると、量子化処理に続いて、量子
化済み係数２１６は、一般にブロックを符号化するのに
必要なビット数をさらに減らすエントロピエンコーダ２
１８に供給される。エントロピエンコーダ（およびデコ
ーダ）は知られており、したがって本発明がエントロピ
符号化の前に実質的に独立して動作し、エントロピ復号
化の後に実質的に独立して動作するので、本明細書では
述べない。

【００４９】ブロック変換デコーダ２２２内の復号化の
考慮すると、どのように配信されるかにかかわらず、エ
ントロピ符号化済み出力ビットは、エントロピデコーダ
２２４に対する入力ビットとして供給される。一般に、
そのようなエントロピデコーダは知られており、したが
って他の可能な動作の中で、エントロピエンコーダ２２
４が所与のブロックに対する量子化済み係数２２６を再
生成することを述べれば充分である。通常、符号化およ
び復号化は損失が大きくない、すなわちエントロピエン
コーダ２１８に供給される量子化済み係数２１６は、エ
ントロピデコーダ２２４によって生成される量子化済み
係数２２６と同一であることに留意されたい。

【００５０】以下に述べるように、復号化処理全体で１
６ビット演算を使用できるように、本発明と調和して、
したがってデコーダの計算の複雑性を非常に単純化する
修正の逆変換行列が提供されるけれども、一般に、ブロ
ック変換デコーダ２２２は、ブロック変換エンコーダ２
００の動作を反映する。

【００５１】量子化済み係数２２６がエントロピデコー
ダ２２４から取り出されると、それぞれの量子化済み係
数Ｌは、公式Ｋ′＝Ｌ×Ｂ（ＱＰ、ｒ）を実行する非量子化処理２２８によって再構築された
（非量子化された）値Ｋ′に変換される。ここで、増倍
率Ｂは、符号化時に使用されるインデックスＱＰに依存
し、ｒは、（３ノルムに適合するための）テーブルＤ
０、Ｄ１、Ｄ２の１つからパラメータを選択することに
よって、非量子化パラメータ２３０を決定する。おそら
くデコーダ上の計算の複雑性を減らすが、少なくともｒ
を識別するために係数毎に２ビット余計に送ることが必
要なこのｒ値をエンコーダから送ることは実現可能であ
るが、量子化に関して上述したように、ブロック内の非
量子化されている係数の位置からｒを導き出すことがで
きることに留意されたい。

【００５２】このように、増倍率Ｂ（ＱＰ、ｒ）は、符
号化時に使用されるＱＰに対する量子化パラメータイン
デックス、および係数位置グループｒに依存する。一例
示的実施例では、その依存性は次のテーブルによって指
定される。Ｂ（ＱＰ＝０．．３１，ｒ＝０）＝｛８０，９０，１０
１，１１３，１２７，１４３，１６０，１８０，２０
２，２２６，２５４，２８５，３２０，３５９，４０
３，４５３，５０８，５７０，６４０，７１８，８０
６，９０５，１０１６，１１４０，１２８０，１４３
７，１６１３，１８１０，２０３２，２２８１，２５６
０，２８７４｝；Ｂ（ＱＰ＝０．．３１，ｒ＝１）＝｛１０１，１１４，
１２７，１４３，１６１，１８０，２０２，２２７，２
５５，２８６，３２１，３６１，４０５，４５４，５１
０，５７２，６４３，７２１，８１０，９０９，１０２
０，１１４５，１２８５，１４４３，１６１９，１８１
７，２０４０，２２９０，２５７０，２８８５，３２３
９，３６３５｝；Ｂ（ＱＰ＝０．．３１，ｒ＝２）＝｛１２８，１４４，
１６１，１８１，２０３，２２８，２５６，２８７，３
２３，３６２，４０６，４５６，５１２，５７５，６４
５，７２４，８１３，９１２，１０２４，１１４９，１
２９０，１４４８，１６２５，１８２５，２０４８，２
２９９，２５８０，２８９６，３２５２，３６５０，４
０９５，４５９６｝．

【００５３】符号化テーブルのように、上記特定の値
は、量子化ステップサイズがテーブルインデックス内の
増分６毎に２倍にになるべきであるというＨ．２６Ｌ内
の設計仕様を満足させるように定められた。他のビデオ
または固定イメージコード化アプリケーションに対し
て、希望する忠実さの増加を考慮して、他の量子化テー
ブルを設計することができる。

【００５４】理解できるように、これらの増倍率値のそ
れぞれは、デコーダで１６ビット演算しか必要としない
ことを保証するほど充分低いが、非量子化公式は、係数
をより大きな値に倍率拡大して戻す。テーブル内のそれ
ぞれのエントリが他の２つのテーブル内のＱＰでインデ
ックス付けされた対応するテーブルエントリに（ノルム
に基づいて）数学的に関連する。このため、３つのテー
ブルを有するのではなくて、ｒ値に基づく適切な数学的
調整を有するＱＰ値の１テーブルだけを有することが、
代替例として可能である。しかし、小さいテーブル内の
ルックアップは比較的効率的であり、（指定されたＨ．
２６Ｌ変換に必要な）エントリ当たり４ビットで３２エ
ントリの１つのテーブルの代わりに、エントリ当たり２
バイトで３２エントリの３つのテーブルを格納するため
に必要なバイト数は６４の余分なバイトであり、現代の
コンピューティングデバイスにおいて、特に非量子化に
よって生成された変換係数が３２ビットのダブルワード
ではなくて１６ビットワードに適合し、それによって必
要なメモリの合計量を減らすことを考慮すると、このバ
イトは無視し得る。

【００５５】図２に同様に表すように、量子化済み係数
２２６が上記公式およびテーブルを介して非量子化され
ると、再構築された変換係数２３２の４×４行列が存在
する。それらの変換係数２３２から、列および行逆変換
処理２３６および２３８をそれぞれ含む２次元逆変換処
理２３４にそれらを供給することによって、再構築され
た画素が生成される。

【００５６】本発明にしたがって、通常行われる逆変換
Ｑ_Ｉ＝Ｑ_Ｄ ^Ｔを使用する代わりに、１６ビット非量子化
および逆変換計算を可能にするために、本発明は、次の
逆変換行列を定義して使用する。

【００５７】

【数１１】

【００５８】Ｑ_Ｉの列は互いに直交であるがそのノルム
は異なることに留意されたい。しかし上述のように、こ
れは非量子化パラメータを選択する際に使用される
「ｒ」値を介して処理された。さらに、Ｑ_ＤからＱ_Ｉを
生成する際に、Ｑ_Ｄは転置され、列１および３は１／２
倍された。しかし再び、テーブルＤ０、Ｄ１およびＤ２
内に既にあるＱＰ値は、このために事前に調整され、補
正するためのどんな追加計算の複雑性も必要ない。さら
に、そのような行列で逆変換を計算するときに行う必要
のある唯一の「乗算」は、１／２倍であり、実際には非
常に効率的な右シフト演算によって実行される。そのよ
うな不正確な除算によって導入される小量のノイズは本
質的に、レート歪み性能に何もインパクトを有しないこ
とに留意されたい。

【００５９】上記に定義されたＱ_Ｉで、その最大利得は
４に等しい。したがって、２次元逆変換処理は、動的範
囲を４ビット拡大するのみであり、１６ビット演算の計
算を可能にする。

【００６０】図２に表される列逆変換処理２３６および
（列逆変換処理の結果に対して動作する）行逆変換処理
２３８は、出力画素データ２４０を生成する。この目的
のために、上記逆変換行列を使用し［ＡＢＣＤ］
を逆変換すべき特定の行または列とすると、対応する逆
変換済み値［ａ′ｂ′ｃ′ｄ′］は、ｕ＝Ａ＋Ｃ；ｖ＝Ａ−Ｃ；ｙ＝（Ｂ＞＞１）−Ｄ；ｚ＝（Ｄ＞＞１）＋Ｂ；ａ′＝ｕ＋ｚ；ｂ′＝ｖ＋ｙ；ｃ′＝ｖ−ｙ；ｄ′＝ｕ−ｚ；によって計算され、ここでｕ、ｖ、ｙおよびｚは補助変
数であり、＞＞１は１ビット右にシフト（１／２を乗算
することに等価）することを意味する。符号化と同様
に、図４に表されるバタフライ構造を介して、これらの
方程式は実際に、係数当たりすべて１６ビット演算の４
つの加算演算および１つのシフト演算に減少させる。最
後に、逆変換処理２３４（図２）は、再構築済み画素値
を２^−７だけ倍率変更する（７ビット右にシフト演算を
介して実行される）。

【００６１】７ビットシフト後の再構築済み画素値は、
９ビットの範囲を有し、したがって逆変換は、１６ビッ
ト演算で計算することができる。上述の非量子化テーブ
ルＤ０、Ｄ１、およびＤ２がそのようなので、非量子化
方程式は、１６ビット演算で計算されるときにオーバー
フローしない。次のテーブルは、Ｈ．２６Ｌに指定され
たものに比較して、本発明の変換および逆変換を使用す
るときの計算の利点のいくつかを要約する。

【００６２】

【表１】

【００６３】容易に理解できるように、そのような節約
は、特に１６ビット対応プロセッサ上で著しい。例え
ば、実際、典型的１６ビットＰＤＡプロセッサは本発明
で、復号化の速度がおよそ２倍になる改善をすることが
できる。

【００６４】さらに、この変換／逆変換は、品質および
圧縮に対するそのインパクトに関してテストされた。
（信号対ノイズ比率の増加として通常定義される）コー
ド化利得に対する結果は、本発明の変換をテストデータ
と共に使用すると、Ｈ２６Ｌ変換に比較して約０．０１
ｄＢの損失しかなく、この損失は無視し得るものであ
り、実際、画素予測誤差などの実際のビデオ信号情報で
の損失よりはるかに小さい可能性が高い。さらに、３２
個の量子化パラメータのそれぞれ全てについて、Ｈ．２
６Ｌに指定された変換と比較して全性能がテストされ、
プラス／マイナス０．５％の範囲の相違しかなく平均が
０に非常に近いという結果となり、それによって、本発
明の変換がＨ．２６Ｌに指定された変換と同じほどよい
性能であることが示された。

【００６５】前述の詳細な説明から分かるように、圧縮
または品質に不利なインパクトを与えることなく、他の
知られている変換に比べて計算の複雑性を著しく減少さ
せる、イメージまたはビデオ符号化および復号化のため
の改善された変換および逆変換行列がそれぞれここに提
供される。変換乗算はなくなるが、変換および逆変換処
理中のシフト演算を除いて、量子化および非量子化パラ
メータ値がそれらの増倍率を補正するので、正しい結果
が得られる。使用される値のため、符号化中の変換動作
ならびに復号化中の非量子化および変換動作は、（９ビ
ット以下で表される画素データに対する）１６ビット演
算で実行することができる。

【００６６】本発明は様々な修正および代替構築の余地
があるが、その特定の例示の実施形態が図面に示され、
詳細に上述された。しかし、本発明を開示された具体的
形態に制限するものではなく、反対に本発明の精神およ
び範囲内にあるすべての修正、代替構築、および等価物
をカバーするものであることを理解されたい。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
エンコーダおよびデコーダの双方において、計算の複雑
さを著しく単純化する、イメージおよびビデオのための
改善方法、改善システムおよび改善ブロック変換が提供
される。同時に、圧縮、イメージ／ビデオ品質、および
他のリソースは、無視し得る程にしか影響を受けない。

【図面の簡単な説明】

【図１】本発明を組込むことができる例示的コンピュー
タシステムを表すブロック図である。

【図２】本発明の一態様による、変換、量子化、非量子
化および逆変換を含む、ビデオまたはイメージデータの
画素を符号化済みビデオに符号化すること、および符号
化済みビデオを画素情報に復号化することの際に使用さ
れるコンポーネントを表すブロック図である。

【図３】本発明の一態様による、改善された変換行列を
表すバタフライ構造の構成図である。

【図４】本発明の一態様による改善された逆変換行列を
表すバタフライ構造の構成図である。

【符号の説明】

２００ブロック変換エンコーダ２０２入力画素データ２０４画素変換処理２０６行変換処理２０８列変換処理２１０変換係数２１２量子化処理２１４量子化パラメータ２１６量子化済み係数（整数）２１８エントロピエンコーダ２２２ブロック変換デコーダ２２４エントロピデコーダ２２６量子化済み係数（整数）２２８非量子化処理２３０非量子化パラメータ２３２変換係数２３４逆変換処理２３６列逆変換処理２３８行逆変換処理２４０出力画素データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者ヘンリクエス．マルバーアメリカ合衆国 98074 ワシントン州サマミッシュ 233 アベニューノースイースト 2302 Ｆターム(参考） 5B056 BB17 BB36 BB42 HH03 5C059 MA00 MA23 MA27 MC11 UA02 5C078 AA04 BA57 CA01 DA01 DA02 5J064 AA00 BA16 BC01 BC02 BC08 BC09 BC16 BC29 BD02 BD04

Claims

【特許請求の範囲】

【請求項１】ビデオまたはイメージ画素データを、シ
ステムにより復号化する方法であって、前記システム
は、１組の量子化済み係数を受け取るステップと、前記量子化済み係数を変換係数に非量子化するステップ
と、前記変換係数に逆変換処理を適用してそこから入力画素
情報を再構築するステップであって、そこでは、前記逆
変換処理は各乗算演算がシフト演算によって実行できる
ような値を有する逆変換計算を適用するステップとを実
行することを特徴とする方法。
【請求項２】前記量子化済み係数を非量子化するステ
ップでは、少なくとも１つのテーブルから選択されたパ
ラメータを各量子化済み係数に乗算することを特徴とす
る請求項１に記載の方法。
【請求項３】復号化するときに、少なくとも２つのパ
ラメータテーブルがアクセス可能な方法であり、係数が
論理的に配列され、各量子化済み係数に対して、テーブ
ルの１つを選択する処理はブロック内の係数の位置に基
づくことを特徴とする請求項２に記載の方法。
【請求項４】復号化するときに、３つのパラメータテ
ーブルがアクセス可能であることを特徴とする請求項３
に記載の方法。
【請求項５】前記量子化済み係数およびパラメータ値
が１６ビット演算での非量子化を可能にすることを特徴
とする請求項２に記載の方法。
【請求項６】前記逆変換処理を変換係数に適用する処
理では、１６ビット演算が実行されることを特徴とする
請求項１に記載の方法。
【請求項７】前記逆変換処理が、行列【数１】で表される値に基づく変換計算を使用する２次元変換に
対応することを特徴とする請求項１に記載の方法。
【請求項８】前記変換処理を入力画素情報に適用して
それから変換係数を構築し、前記変換処理は、各乗算演
算がシフト演算によって実行できるような値を有する変
換計算を適用し、前記変換係数を前記量子化済み係数に
量子化することことを特徴とする請求項１に記載の方
法。
【請求項９】変換処理が、行列【数２】で表される値に基づく変換計算を使用する２次元変換に
対応することを特徴とする請求項１に記載の方法。
【請求項１０】請求項１に記載の方法を実行するため
の、コンピュータ実行可能命令を有することを特徴とす
るコンピュータ読取り可能媒体。
【請求項１１】ビデオまたはイメージデータを提供す
るシステムであって、１）入力画素情報への変換を適用してそれから変換係数
を構築する画素変換処理であって、各乗算演算がシフト
演算によって実行できるような値を有する変換計算を変
換処理が適用する画素変換処理および２）変換係数を１組の量子化済み整数係数に変換する量
子化処理を実行するブロック変換エンコーダ手段と、該
ブロックエンコーダ変換手段からの量子化済み整数係数
をブロック変換デコーダ手段に提供する手段とを有し、
前記ブロック変換デコーダ手段は、１）量子化済み係数を変換係数に非量子化する非量子化
処理および２）変換係数から入力画素情報を再構築する逆変換処理
あって、各乗算演算がシフト演算によって実行できるよ
うな値を有する逆変換計算を逆変換処理が適用する逆変
換処理を実行することを特徴とするシステム。
【請求項１２】前記変換処理が、２次元行変換および
列変換処理に対応することを特徴とする請求項１１に記
載のシステム。
【請求項１３】行変換および列変換処理では、行列【数３】で表される値に基づく変換計算を適用することを特徴と
する請求項１１に記載のシステム。
【請求項１４】前記前記量子化処理では、テーブルか
らパラメータを選択することによって変換係数のそれぞ
れを倍率変更することを特徴とする請求項１１に記載の
システム。
【請求項１５】前記量子化処理では、それぞれの変換
係数に対して、１組の３つのテーブルの選択されたテー
ブルからパラメータを選択することによって変換係数を
倍率変更し、テーブルが、他の変換係数に対する変換係
数の相対位置に基づいて選択されることを特徴とする請
求項１１に記載のシステム。
【請求項１６】前記量子化済み整数係数を提供する手
段は、ブロック変換エンコーダ内のエントロピエンコー
ダ手段、前記ブロック変換エンコーダ手段を前記ブロッ
ク変換デコーダ手段に論理的に接続する少なくとも１つ
の通信媒体またはデバイスを有し、前記ブロック変換デ
コーダ内に前記エントロピエンコーダ手段を含むことを
特徴とする請求項１１に記載のシステム。
【請求項１７】前記非量子化処理では、テーブルから
パラメータを選択することによって量子化済み係数のそ
れぞれを倍率変更することを特徴とする請求項１１に記
載のシステム。
【請求項１８】前記非量子化処理では、それぞれの量
子化済み係数に対して、１組の３つのテーブルの選択さ
れたテーブルからパラメータを選択することによって、
量子化済み係数を倍率変更し、テーブルが、前記量子化
済み係数の他の量子化済み係数に対する相対位置に基づ
いて選択されることを特徴とする請求項１１に記載のシ
ステム。
【請求項１９】前記逆変換処理では、２次元列逆変換
および行逆変換処理に対応することを特徴とする請求項
１１に記載のシステム。
【請求項２０】列逆変換および行逆変換処理では、行
列【数４】で表される値に基づいて前記変換計算を適用することを
特徴とする請求項１１に記載のシステム。
【請求項２１】ビデオまたはイメージ画素データをシ
ステムにより復号化する方法であって、前記システム
は、１組の量子化済み係数を受け取るステップと、前記量子化済み係数を変換し係数に非量子化するステッ
プと、逆変換処理を前記変換係数に適用するステップであっ
て、そこでは逆変換処理が行列【数５】で表される値に基づいて変換計算を適用するステップと
を実行することを特徴とする方法。
【請求項２２】前記非量子化するステップでは、それ
ぞれの量子化済み係数を選択し、それぞれの選択された量子化済み係数に対して、前記量
子化済み係数の他の量子化済み係数に対する論理的相対
位置に基づいてテーブルを選択し、選択されたテーブル内のパラメータを検索し、前記量子化済み係数の値にパラメータを乗算し、結果を少なくとも１ビット右にシフトすることによって
前記量子化済み係数を変換係数に倍率変更することを特
徴とする請求項２１に記載の方法。