JP2003348598A

JP2003348598A - メモリ効率のいい圧縮領域ビデオ処理のための且つ因数分解及び整数近似法を用いる高速逆動き補償のための方法並びに装置

Info

Publication number: JP2003348598A
Application number: JP2003107352A
Authority: JP
Inventors: William Chen; チェンウィリアム; Vasudev Bhaskaran; バスカランヴァスデヴ
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-04-12
Filing date: 2003-04-11
Publication date: 2003-12-05
Also published as: CN1225904C; CN1452396A

Abstract

(57)【要約】【課題】メモリ効率のいい圧縮領域映像処理のための
且つ因数分解及び整数近似法を用いる高速逆動き補償の
ための方法並びに装置【解決手段】ビットストリームを復号化するのに要す
るメモリ所要量を減らすための方法。この方法はビデオ
ビットストリームを受け取り、ビットストリームのフレ
ームが離散コサイン変換（DCT）領域表現に復号化され
る。次に、そのDCT領域表現の非零係数が識別され、ハ
イブリッドデータ構造がアセンブルされ、DCT領域表現
の非零係数がハイブリッドデータ構造に挿入される。ま
た、逆動き補償を実行するための方法では、ビデオビッ
トストリームを受け取け、変換行列タイプが識別され
る。変換行列タイプは、半画素行列か完全画素行列かの
どちらかで、変換行列タイプが半画素行列ならば、その
半画素行列に対応するビットストリームを復号化する因
数分解技法を適用し、変換行列タイプが完全画素行列な
らば、完全画素行列に対応するビットストリームを復号
化する整数近似技法を適用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的には、ディ
ジタルビデオ技術に関し、より具体的には、効率的なメ
モリ圧縮法を実現するための方法及び装置に関すると共
に、圧縮領域ビデオデコーダのための効率的な逆動き補
償法を実現するための方法及び装置に関する。

【０００２】

【従来の技術】セルラー電話やパーソナルディジタルア
シスタントといったモバイル端末でのビデオアクセスで
は、モバイルシステムの性質上の限界があるために、数
多くの難しい課題に出くわす。例えば、低消費電力型の
ハンドヘルド機器は、バンド幅、電力、メモリ、及びコ
スト上の必要条件により制約を受ける。こうしたハンド
ヘルド機器で受信されるビデオデータはビデオデコーダ
により復号化される。そうした端末と関連付けられるビ
デオデコーダは、空間領域、つまり、解凍領域で動き補
償を実行する。H.263、H261、MPEG1/2/4といったビデオ
圧縮規格は、低ビットレートでビデオを符号化するのに
動き補償型離散コサイン変換（DCT）スキームを用い
る。ここで採用している低ビットレートとは、秒毎約６
４キロビット未満のビットレートのことである。DCTス
キームでは、時間的な冗長度を削除するために動き予測
（ME）及び動き補償（MC）を用いる一方、それ以外の空
間的冗長度を削除するためにDCTを用いる。

【０００３】図１は、ビデオデータを復号化すると共
に、空間領域で動き補償を実行するためのビデオデコー
ダの概略図である。ビットストリーム１０２がデコーダ
１００によって受け取られる。デコーダ１００には、可
変デコーダ（VLD）ステージ１０４と、ランレングスデ
コーダ（RLD）ステージ１０６、反量子化（DQ）ステー
ジ１０８、逆離散コサイン変換（IDCT）ステージ１１
０、動き補償（MC）ステージ１１２、及びフレームバッ
ファとも呼ばれるメモリ（MEM）１１４とがある。最初
の４ステージ（VLD１０４、RLD１０６、DQ１０８、IDCT
１１０）は、圧縮されているビットストリームを復号化
して画素領域に戻す。イントラコード化された（intrac
oded）ブロックでは、現フレームの中でブロックを再構
築するために最初の４ステージ、つまり、104、106、10
8、110の出力が直接用いられる。インターコード化され
た（intercoded）ブロックでは、出力が予測誤差を表わ
しており、現フレームの中でブロックを再構築するため
にその前のフレームから作られた予測に出力が付加され
る。よって、現フレームはブロック単位で再構築され
る。最終的に、現フレームがデコーダ、つまり、ディス
プレイ１１６の出力に送られると共に、フレームバッフ
ァ（MEM）１１４にも保持される。

【０００４】MEM１１４は、動き補償１１２に必要な既
に復号化されている画像（picture）を保持している。M
EM１１４のサイズは、入ってくる画像フォーマットに応
じてスケーリングしなければならない。例えば、H.263
は５つの規格化された画像フォーマット、すなわち、
（１）1/4以下（sub-quarter）共通中間フォーマット
（サブQCIF）、（２）1/4共通中間フォーマット（QCI
F）、（３）共通中間フォーマット（CIF）、（４）4CI
F、及び（５）16CIF、をサポートしている。各フォーマ
ットは、画像の幅及び高さだけでなく、アスペクト比も
定義する。広く知られているように、画像は１つの輝度
成分及び２つの色差成分（Y, Cr, Cb）としてコード化
される。それらの成分は4:2:0の構成でサンプリングさ
れ、各成分は画素あたり8ビット分解能を有する。例え
ば、図１のビデオデコーダは、CIFフォーマットのH.263
ビットストリームを復号化しながら、MEM１１４のため
に約２００キロバイトのメモリを割り当てなければなら
ない。さらに、ビデオ会議システムで欠かせないよう
に、複数のビットストリームが一度に復号化される場
合、メモリ需要が大きくなりすぎる。

【０００５】MEM１１４は、ビデオデコーダ１００の中
で唯一最大のメモリ使用源である。メモリ使用を軽減す
るために、入ってくるビットストリームの色成分の分解
能を低下させることが一つのアプローチとして考えられ
る。例えば、モバイル端末上のカラー表示の濃度が65,5
36色しか表示できないとしたら、色成分（Y, Cr, Cb）
の分解能を画素につき24ビットから16ビットに低下させ
ることができる。この技法は、可能性としては、メモリ
使用度を30%減らすことができるけれども、ビデオデコ
ーダで回路的に対応しなければならないディスプレイ依
存型ソリューションである。また、この技法は、ピーク
信号対雑音比（PSNR）要件を変えて簡単にスケーリング
することができないので、自由度がない。

【０００６】空間領域でデータに操作を行なうには、圧
縮領域処理と比べ、より大きなメモリ容量が要る。空間
領域では、動き補償を算出すると共に連続フレームの画
像に動き補償をかけることが容易である。しかしなが
ら、圧縮領域で操作している場合、動き補償は、誤差値
がもはや空間値ではなくなるから、つまり、圧縮領域で
操作している時の誤差値は画素値ではないから、動きベ
クトルが前のフレームを示すのと比べてそれほど明快で
はない。その上に、圧縮領域データを効率的に処理する
能力を有する方法がない。先行技術のアプローチは主
に、圧縮領域をトランスコード化し、スケーリングし、
鮮鋭化する各アプリケーションを中心にしている。さら
に、圧縮領域対応の逆補償用アプリケーションは、ピー
ク信号対雑音比（PSNR）の性能が貧弱になる傾向がある
と同時に、１秒あたりに表示可能なフレーム量の点か
ら、応答時間が受容れ難いほど遅い。

【０００７】

【特許文献１】米国再発行特許発明第6,240,210号明細
書

【特許文献２】米国特許第6,157,740号明細書

【０００８】

【発明が解決しようとする課題】そこで、低ビットレー
トのビデオデータを復号化するのに要するメモリ所要量
を最小限にする方法並びに装置を提供すると共に、圧縮
領域ビデオレコーダの高速且つ効率的な逆動き補償を可
能にする方法並びに装置を提供するべく、先行技術が抱
える問題を解決する必要がある。

【０００９】

【課題を解決するための手段】おおまかに言えば、本発
明は、ハイブリッドデータ構造を採用することによりメ
モリ所要量を最小限にするように構成されたビデオデコ
ーダを提供することで、こうしたニーズの少なくとも一
つの局面を満たすものである。なお、本発明のこの態様
は、方法、システム、コンピュータ可読媒体、又はデバ
イスなど、いろいろな方法で実現することができる。本
発明のこの態様の実施例を以下にいくつか説明する。

【００１０】１実施例において、ビットストリームを復
号化するのに要するメモリ所要量を低減するための方法
を提供する。この方法は、ビデオビットストリームを受
け取ることから始まる。次に、そのビットストリームの
フレームが変換（例えば、離散コサイン変換（DCT））
領域表現に復号化される。次に、その変換領域表現の非
零係数が識別される。次に、ハイブリッドデータ構造が
アセンブルされる。このハイブリッドデータ構造は、固
定サイズのアレイ及び可変サイズのオーバーフローベク
トルを含んでいる。次に、変換領域表現の非零係数がハ
イブリッドデータ構造の中に挿入される。

【００１１】別の実施例において、ビデオデータを復号
化するための方法を提供する。この方法は、圧縮された
ビットストリーム内のビデオデータのフレームを受け取
ることから始まる。次に、そのフレームのブロックが、
圧縮領域で変換（例えば、DCT）領域表現に復号化され
る。次に、ハイブリッドデータ構造が定義される。次
に、その変換領域表現と関連付けられるデータがハイブ
リッドデータ構造で保持される。次に、圧縮領域で変換
領域表現と関連付けられるデータに対して逆動き補償が
実行される。データに逆動き補償を行なった後、表示す
るためにデータが解凍される。

【００１２】また別の実施例において、低レートのビッ
トストリームデータをハイブリッドデータ構造で保持す
るべく並べ替えるためのプログラム命令を有するコンピ
ュータ可読媒体を提供する。このコンピュータ可読媒体
には、データフレームの符号化されたブロックと関連付
けられる非零変換（例えば、DCT）係数を識別するため
のプログラム命令が入っている。その非零変換係数を固
定サイズアレイに配列するためのプログラム命令が入っ
ている。非零変換係数の数量が固定サイズアレイの容量
を超えたかどうか判定するためのプログラム命令を提供
する。固定サイズアレイの容量を超える非零変換係数を
可変サイズオーバーフローベクトルで保持するためのプ
ログラム命令、及び非零変換係数を圧縮領域から空間領
域に平行移動させる（translate）ためのプログラム命
令を含んでいる。

【００１３】さらに別の実施例において、回路を提供す
る。この回路は、ビデオデコーダ集積回路チップを有す
る。このビデオデコーダ集積回路チップは、ビデオデー
タのフレームと関連付けられるデータのビットストリー
ムを受け取るための回路構成を含む。ビデオデコーダに
は、データのビットストリームを変換（例えば、DCT）
領域表現に復号化するための回路構成が入っている。変
換領域表現の非零変換係数を、ビデオデコーダと関連付
けられるメモリの中のハイブリッドデータ構造で配列す
るための回路構成を提供する。表示するために、変換領
域表現の非零変換係数を解凍するための回路構成も提供
する。

【００１４】別の実施例において、画像を表示するよう
に構成された機器を提供する。この機器は、中央処理機
構（CPU）、ランダムアクセスメモリ（RAM）、及び画像
を表示するように構成されたディスプレイ画面とを含
む。ビデオビットストリームを変換（例えば、DCT）領
域表現に変換するように構成されたデコーダ回路構成を
含む。このデコーダ回路は、変換領域表現の非零変換係
数を、デコーダ回路と関連付けられるメモリの中にハイ
ブリッドデータ構造で配列する能力を有する。デコーダ
回路には、逆動き補償時に、ハイブリッド因数分解／整
数近似の技法を選択的に適用するための回路構成が入っ
ている。CPU、RAM、表示画面、及びデコーダ回路と通信
しているバスも有する。

【００１５】大まかに言えば、本発明は、メモリ所要量
を低減すると同時に一応満足できるビデオ画質を提供
し、それと同時に、圧縮領域で逆動き補償を実行する能
力を有するビデオデコーダを提供することにより、こう
したニーズの少なくとも別の局面を満たすものである。
なお、本発明のこの態様は、方法、システム、コンピュ
ータ可読媒体、又は機器など、いろいろな方法で実現す
ることができる。本発明のこの態様の実施例についてい
くつか以下に説明する。

【００１６】一つの実施例において、逆メモリ補償を実
行するための方法を提供する。この方法は、ビデオビッ
トストリームを受け取ることから始まる。次に、変換行
列タイプが識別される。この変換行列タイプは、半画素
行列か完全画素行列かのどちらかである。この方法は、
変換行列タイプが半画素行列ならば、その半画素行列に
対応するビットストリームを復号化する因数分解技法を
適用することを含む。変換行列タイプが完全画素行列な
らば、その完全画素行列に対応するビットストリームを
復号化する整数近似技法を適用することを含む。

【００１７】別の実施例において、ビデオデータを復号
化するための方法を提供する。この方法は、圧縮された
ビットストリーム内のビデオデータのフレームを受け取
ることから始まる。次に、そのフレームのブロックが変
換（例えば、離散コサイン変換（DCT））領域表現に圧
縮領域で復号化される。次に、その変換領域表現と関連
付けられるデータがハイブリッドデータ構造で保持され
る。次に、その圧縮領域で変換領域表現と関連付けられ
るデータに逆動き補償が実行される。逆動き補償の実行
には、ビデオデータのフレームの一部と関連付けられる
変換行列のタイプを決めることと、逆動き補償を向上さ
せるためにハイブリッド因数分解及び整数近似技法を適
用することが含まれる。

【００１８】また別の実施例において、圧縮領域で逆動
き補償を実行するためのプログラム命令を有するコンピ
ュータ可読メディアを提供する。このコンピュータ可読
メディアには変換行列を識別するためのプログラム命令
が入っている。変換行列が半画素行列か或いは完全画素
行列かを判定するためのプログラム命令が入っている。
半画素行列に対応するビットストリームのブロックを復
号化する因数分解技法を適用するためのプログラム命令
並びに完全画素行列に対応するビットストリームのブロ
ックを復号化する整数近似技法を適用するためのプログ
ラム命令を含んでいる。

【００１９】さらに別の実施例において、回路を提供す
る。この回路には、ビデオデータを復号化するように構
成された集積回路チップがある。この集積回路チップ
は、ビデオデータのフレームと関連付けられるデータの
ビットストリームを受け取るための回路構成を含んでい
る。集積回路チップには、データのビットストリームを
変換（例えば、DCT）領域表現に復号化するための回路
構成が搭載されている。変換行列のタイプを識別するた
めの回路構成並びにハイブリッド因数分解及び整数近似
技法によって逆動き補償を実行するための回路構成が集
積回路チップに搭載されている。

【００２０】別の実施例において、ビデオデコーダを提
供する。このビデオデコーダは、入ってくるビットスト
リームから係数値及び動きベクトルデータを抽出するよ
うに構成された可変長デコーダ（VLD）を含んでいる。V
LDと通信している反量子化ブロックを有する。この反量
子化ブロックは、係数値をスケーリングし直すように構
成されている。その反量子化ブロックと通信している下
流のブランチが設けられている。この下流ブランチは誤
差係数を空間領域に復号化するように構成されている。
反量子化ブロックと通信している上流のブランチを含ん
でいる。この上流ブランチは、内部変換（例えば、DC
T）領域変換を維持するように構成されている。上流ブ
ランチはさらに、現ブロックを再構築するために復号化
された誤差係数に加算されることが可能な空間領域出力
を生成するように構成されている。

【００２１】本発明のその他の態様並びに効果は、発明
の原理を例を挙げて示した添付の図面と共に、以下に述
べる詳細な説明から明白になる。

【００２２】

【発明の実施の形態】本発明を、圧縮領域ビデオ復号化
に要するメモリ容量を最小限にするためのシステム、装
置、及び方法として説明する。しかしながら、当業者な
らば、以下の説明に鑑みて、以下に説明する詳細を部分
的に又は全く知らなくても本発明を実施できることが分
かる。また、本発明を不要に不明瞭なものにしないため
に、既によく知られているプロセスオペレーションにつ
いては詳細に説明しない。図１については、「従来の技
術」の項で説明した。本明細書で使用している「約」と
いう言葉は、基準値の＋／−１０％のことである。

【００２３】ここで説明する実施例は、圧縮領域でビデ
オデータを復号化する際に使用されるメモリの低減を可
能にするデータ構造を提供する。１実施例では、周波数
領域、つまり、圧縮領域で、現フレームが保持され、逆
動き補償が実行されるように、ビデオ復号化パイプライ
ンが並べ替えられている。ハイブリッドデータ構造は、
計算コストやデータの有意な損失なしに、圧縮領域での
データの操作を可能にする。１実施例において、ハイブ
リッドデータ構造は符号化されたブロックの中に非零離
散コサイン変換（DCT）係数はほんのわずかしかないと
いう事実を利用している。従って、フレーム全体の非零
DCT係数だけが保持されるので、メモリ所要量を低減す
ることができる。以下により詳細に説明するように、ハ
イブリッドデータ構造は固定サイズのアレイと可変サイ
ズのオーバーフローベクトルとを含んでいる。可変サイ
ズオーバーフローベクトルは、固定サイズアレイの容量
を超える符号化されたブロックの非零DCT係数を保持す
る。

【００２４】図２は、本発明の１実施例による、逆動き
補償が実行されるように配置構成されたビデオデコーダ
の概略図である。ここで、ビデオデコーダ１２０によっ
てビットストリーム１２２が受け取られる。最初の２ス
テージ、つまり、可変長デコーダ（VLD）ステージ１２
４及び反量子化（DQ）ステージ１２６は圧縮されたビッ
トストリームをDCT領域表現に復号化する。DCT領域表現
は、動き補償（MC）ステージ１３４で使用するために、
フレームバッファとも呼ばれるメモリ（MEM）１３０に
保持される。MC１２８及びMEM１３４を含んだ動き補償
フィードバックループの後に、ランレングスデコーダ
（RLD）ステージ１３２及び逆DCT（IDCT）ステージ１３
４が実行される。従って、復号化されたブロックの内部
表現は圧縮領域のままである。符号化されたブロック内
に非零DCT係数はほんの小数しかないので、この特徴
を、フレーム内の各ブロックの非零DCT係数しか保持し
ないMEM１３０のデータ構造を開発することによって、
利用することができる。以下により詳細に明らかにして
いるように、ハイブリッドデータ構造により可能になる
メモリ圧縮は、ビデオ画質の損失なしにメモリ使用を５
０％減らすことができる。人間の視覚系は、高位のDCT
係数よりも低位DCT係数に対して敏感だから、以下に説
明するように、高位DCTをフィルタ処理して取り除くと
共にメモリ使用対変動電力又はピークの信号対雑音比の
要件をトレードオフするしきい値化スキームを開発し
た。

【００２５】そこで、高速でしかもメモリ効率のいい復
号化ができるように最適化される完全圧縮領域ビデオ復
号化について説明する。１実施例で、本書で言及してい
るテストのために、パブリックドメインH.263に準拠し
ているデコーダであるTELENORのビデオデコーダを使用
した。なお、以下に説明する実施例の中にはH.263ビッ
トストリームと呼んでいるものがあるが、実施例はH.26
3ビットストリームに対する操作だけに限らない。すな
わち、Motion Picture Expert Group（MPEG）1/2/4、H.
261など、ビデオデータを有するどんなDCTベースの圧縮
ビットストリームでも採用することができる。圧縮領域
での効率的な処理を可能にする離散コサイン変換（DC
T）領域表現のための高速逆動き補償アルゴリズムは数
多い。なお、符号化されたブロック内に非零DCT係数を
保持するメモリ圧縮法は、圧縮領域での処理だから、メ
モリ所要量を低減することが可能になる。さらに、スピ
ード及びメモリの最適化における様々な性能のトレード
オフを実証するために、本書で説明している逆動き補償
技術及びメモリ圧縮を用いた圧縮領域処理を採用するビ
デオデコーダの性能を３つの次元で、つまり、計算量、
メモリ効率、PSNRの観点から評価する。

【００２６】

【数１】

【００２７】

【数２】

【００２８】

【数３】

【００２９】

【数４】

【数５】

【００３０】低ビットレートビデオ、つまり、毎秒約６
４キロビット未満のビットレートを有するビデオデータ
は、ビデオ会議のアプリケーションに使用されると共
に、セルラー電話、パーソナルディジタルアシスタント
（PDA）や、その他のハンドヘルド機器や電池で動く機
器のワイヤレスビデオといったアプリケーション向けで
ある。H.263規格は、低ビットレートのビデオ復号化用
のビットストリームシンタックス及びアルゴリズムを指
定している模式的規格である。アルゴリズムは、変換符
号化、動き推定／補償、係数量子化、ランレングス符号
化を含む。ベースライン指定とは別に、この規格のバー
ジョン２は、符号化性能を向上させると共にエラー差回
復力を提供する１６の交渉可能なオプションもサポート
している。

【００３１】低ビットレートで符号化されたビデオは、
目に見える歪みが発生する可能性がある。特に、アクシ
ョンの多い分類になっているビデオ、つまり、活動的な
動きのブロックはそうである。先に触れたように、本書
で説明している実施例では、H.263規格のことを指して
いるが、適していればどんなビデオコーデック規格でも
実施例と共に使用することができる。参考までに、H.26
3規格の機能特徴のいくつかを以下に説明するが、これ
により本発明をH.263規格と共に使用することに限定し
ようとしているわけではない。H.263規格の一つの特徴
は、この規格の中に画像群（GOP）及び高位レイヤーが
存在していない点である。ベースライン符号化された列
が、単一イントラフレーム（Iフレーム）とそれに続く
長いインターフレーム（Pフレーム）列とだけからなる
場合、時間的冗長が連続フレーム間で取り除かれるの
で、長いPフレーム列がより高い圧縮比を実現する。し
かしながら、動き推定／動き補償（ME/MC）は時間依存
性を生じさせるので、損失性符号化プロセス時に発生し
た誤差が復号化プロセス時に集積する。Iフレームが足
りないと、デコーダはこの誤差集積を崩すことができな
い。H.263規格は強制更新メカニズムを有するので、符
号化プロセス時に少なくとも１３２回に一回エンコーダ
がマクロブロックをイントラブロックとして符号化しな
ければならない。図４は、強制更新メカニズムの効果を
説明している図である。図４に示すように、ビデオのPS
NRは無作為に変動するが、列の後半にあるフレームでは
どんな方向にもドリフトしない。

【００３２】図５は、H.263規格で半画素の値の判定を
説明している概略図である。よく知られているように、
H.263規格は動き補償に半画素補間を採用している。こ
の規格では、半画素補間が０．５分解能（つまり、<7.
5, 4.5>）を有する動きベクトルによって示される。エ
ンコーダは、水平方向だけ、垂直方向だけ、或いは水平
垂直両方向で、補間を指定することができる。図５に示
されているように、半画素値は、半画素の位置を取り巻
く整数画素位置の双線形補間によって見出される。画素
位置A 150-1、画素位置B 150-2、画素位置C 150-3、画
素位置D 150-4は、整数画素位置を表わしているのに対
し、画素位置e 152-1、画素位置f 152-2、画素位置g 15
2-3は、半画素位置を表わしている。水平方向の補間をe
=(A+B+1)>>1と表わし、垂直方向の補間をf=(A+C+1)>>1
と表わすことができる。水平垂直両方向の補間をg=(A+B
+C+D+2)>>2と表わすことができる。

【００３３】図６A及び６Bはそれぞれ、ベースライン空
間ビデオデコーダ及び圧縮領域ビデオデコーダの概略図
である。図６Bのブロック図は、図６Aの空間領域ビデオ
デコーダの機能ブロックを部分的に並べ替えたものであ
る。特に、RLD１３２とIDCT１３４がMC２８フィードバ
ックループの後に移動している。この配列により、圧縮
領域でビデオの内部表現を保つことができる。図６Bの
配列では、圧縮領域後処理モジュールをMC１２８フィー
ドバックループのすぐ後に挿入可能である。なお、複合
化（compositing）、スケーリング、非ブロック化な
ど、特定のビデオ操作は、空間領域での操作と比べ、圧
縮領域のほうが高速である。しかしながら、ビデオコー
デックの観点から言えば、空間的エンコーダは圧縮領域
デコーダに完全にマッチしない。図６Bに表示されてい
るように、圧縮領域ビデオデコーダは、復号化パイプラ
イン沿いのいくつかの点で図６Aの空間領域ビデオデコ
ーダとは異なる。単なるブロックの並べ替えだけという
のではなく、相違点は、クリッピングや丸めなど非線形
操作を表わしている。これらの非線形性を有する点が、
２つの領域間でPSNR測定値が異なるビデオを生成する。

【００３４】

【００３５】当業者ならば、MEM１３０は、動き補償の
前のフレームを保持するフレームバッファであることが
分かる。空間領域デコーダでは、フレームバッファが、
（Y,Cr, Cb）値を保持するために、入ってくるフレーム
サイズに十分対応できるメモリを割り当てる。例えば、
４：２：０でサンプリングされたCIFビデオには約２０
０キロバイトのメモリがなければならない。MEM１３０
はビデオデコーダで唯一の最大メモリ使用源だから、こ
こで定義しているハイブリッドデータ構造及び逆動き補
償により、圧縮領域復号化パイプラインのメモリ使用の
軽減が可能になる。１実施例では、復号化されたビデオ
で有意な画質の損失なく、２倍から３倍のメモリ圧縮を
達成している。

【００３６】図７は、本発明の１実施例による、ビデオ
符号化及び復号化プロセス時のブロック変換を説明して
いるブロック図である。点線１７０より上の変換のシー
ケンスは、動き補償／動き推定後に、Iフレームの中の
ブロック又はPフレームの中のブロックに対してビデオ
エンコーダが用いる空間圧縮法を説明している。画素ブ
ロック１７２は完全８ｘ８行列である。この時点で、空
間領域での圧縮又は打ち切りはどんなものでも、再構築
されたブロックの目に見える画質に直接影響する。しか
しながら、DCT変換後、変換された行列１７４はコンパ
クトで、低周波数で項が大きくなっている。量子化のス
テップが、ブロック１７６の中の高周波数の小さめの項
を零にすることにより、ブロックをさらにコンパクトに
する。ブロック１７６で強調されているジグザグ走査
が、低周波数から高周波数にDCT係数に順番を付ける。
ランレングス符号化は、２値をもつ要素（element）、
例えば、ラン及びレベルのコンパクトなリストの中の、
零係数を無視し、非零DCT係数だけをランレングス表現
１７８で表わす。従って、非零DCT係数のランレングス
表現を保持及びアクセスする効率的なデータ構造及び方
法を開発することにより、DCT領域でメモリ圧縮を達成
することができる。

【００３７】１実施例において、半圧縮（SC）表現が、
一つのそうしたメモリ効率のいいランレングス表現であ
る。非零DCT係数のランレングス表現は、図７のランレ
ングス表現１７８及び１８０に類似している。しかしな
がら、２つの変形がある。各２値をもつ要素（ラン、レ
ベル）をその形の複合１６ビット値によって記述する。

【００３８】 RL = binary rrrrllllllllllll' (9) 最下位の１２ビット（llllllllllll'）は、ブロック１
８４から反量子化されたDCT係数の値を定義している。
ブロック１８４は、量子化されたブロック１８２から導
出されたものである。なお、ブロック１８４は、DCT領
域表現の一例である。当業者ならば、DCT係数の値は２
０４８から２０４７の範囲であることが明らかである。
図７のブロック１８６は、ブロック１８４にIDCT操作を
行なった後のブロック１７２の再構築ブロックである。
最上位の４ビット（rrrr'）はランの値を定義してい
る。ランは、８ｘ８ブロック内のジグザグ走査に基づ
く、終わりの非零DCT係数の位置に対する非零DCT係数の
相対位置を表わしている。非零係数のランが１５を超え
る可能性があるので、ランをより小さな単位に分かるた
めにエスケープシーケンスが定義される。１５の零係数
の後に零振幅（zero amplitude）の係数が続くランを表
わすために、エスケープシーケンスRL='F0'が定義され
ている。

【００３９】メモリ所要量を減らすために、SC表現を保
持及びアクセスするためのデータ構造を開発しなければ
ならない。次のデータ構造、つまり、アレイ、連結リス
ト、ベクトル、ハイブリッドを考察した。これらの構造
を開発する際、メモリ圧縮の必要性と、計算量を低く維
持する必要性とのバランスを考慮に入れた。以下に、表
１を参照してさらに説明する。SC表現は狙ったメモリ圧
縮を実現するが、特定のデータ構造によっては３つの分
野でデコーダの計算量が大きく増大する。第１に、２バ
イト表現を採用することにより、（ラン、レベル）の値
を直ちに使用することができなくなる。これらの値にア
クセス及び変更を加えるには毎回、ビットをパック及び
アンパックするための関数が必要である。第２に、コン
パクトランレングス表現により動き補償が複雑になる。
第３に、予測に予測誤差を加算するには分類及び併合
（sort and merge）操作が必要である。

【００４０】図８は、ランレングス表現の各８ｘ８ブロ
ックの開始位置を見出すために、別のインデックスを使
用することを説明している概略図である。フレームの中
の全ての８ｘ８ブロック１９２−１から１９２−４のラ
ンレングス表現を保持するためにベクトルとも呼ばれる
単一リスト１９０を用いる場合、動き補償時に或る特定
のDCTブロックにアクセスするにはその開始位置を調べ
るために別のインデックスが必要になる。それは、動き
補償を複雑にしてしまう。

【００４１】図９A及び９Bは、アレイベースのデータ構
造及びリストデータ構造それぞれに関して、予測に予測
誤差を加算するのに必要な分類及び併合操作を説明して
いる。図９Aで、アレイベースのデータ構造は、対応す
るアレイインデックスにおける値の加算しか必要としな
い。しかしながら、アレイベースのデータ構造にはメモ
リ圧縮効果がない。図９Bで、リスト（もしくは、ベク
トル）データ構造にはさらに分類及び併合操作が必要で
ある。すなわち、併合のアルゴリズムには挿入及び削除
の機能がなければならない。それは、ベクトルなどデー
タ構造にとって計算量の観点から非常に高価になる。よ
り具体的に言えば、インデックスが等しければ、DCT係
数を加算又は除算することができる。例えば、(0,20) +
(0,620)=(0,640)。間違ったインデックスが予測で先行
している場合には、DCT係数が挿入される。例えば、(0,
-3)を挿入。DCT値の加算により０になる場合には、DCT
係数は削除される。例えば、(1,13) + (4,-13)=(1,0)。

【００４２】表１は、いろいろなデータ構造のメモリ圧
縮比及び計算費用を比較したものである。アレイベース
のデータ構造は、予測の更新に必要な６４の加算以外に
追加の計算費用は発生しないが、DCT係数のアレイは、
各DCT係数が保持のために１バイトではなく２バイトを
必要とするので、画素のアレイと比べメモリ圧縮を実現
することはできない。連結リスト又は半圧縮（SC）表現
のベクトルは、画素のアレイと比べ、上限で２．５倍の
メモリ圧縮が可能である。しかしながら、ベクトルの挿
入／削除費用は高価だから、いずれの解法とも最適とは
いえない。特に、ベクトルの真ん中の挿入及び削除は高
価である。また、リストの要素毎に内部ポインタが作成
されるので連結リストのメモリオーバーヘッドは高価で
ある。

【表１】

【００４３】SC表現のハイブリッドデータ構造により、
表１で競合している利害関係を最適なバランスをするこ
とができる。図９Aのアレイ構造の低計算費用及び図９B
のベクトル構造の高圧縮比をうまく利用するために、ハ
イブリッドデータ構造が開発された。ハイブリッドデー
タ構造は、ブロック毎に固定数のDCT係数を保持する固
定サイズアレイと、これらのブロックで固定サイズアレ
イ割り当てを超えたDCT係数を保持する可変サイズのオ
ーバーフローベクトルとで構成されている。なお、固定
サイズアレイは、ブロック毎に適した任意数のDCT係数
を保持するように構成することができる。ここで、DCT
係数の数は６４未満である。言うまでもなく、固定サイ
ズアレイが大きくなると、それに比例してメモリ圧縮量
が減る。１実施例で、固定サイズアレイは、ブロックあ
たり８つのDCT係数を保持するように構成されている。

【００４４】図１０は、本発明の１実施例による、メモ
リ圧縮及び計算効率性を可能にするアレイ構造及びベク
トル構造を含むハイブリッドデータ構造の概略図であ
る。DCTブロック２００−１、２００−２、２００−ｎ
には、零DCT係数及び非零DCT係数が入っている。なお、
DCTブロック２００−１から２００−ｎは、図２におい
て先に説明したようにDCT領域表現を表わす。さらに、
ブロック２００−１から２００−ｎは、ビデオデータの
フレームのブロック、例えば、図７のブロック１８４、
と関連付けられる。ブロック２００−１から２００−ｎ
の各ブロックの非零係数が識別され、固定サイズアレイ
２０２データ構造の中に挿入される。固定サイズアレイ
２０２には、固定サイズブロック２０４−１から２０４
−ｎがある。１実施例で、各ブロック２０４−１から２
０４−ｎは、８ｘ８データ構造の中に８つのDCT係数を
保持できる大きさになっている。なお、本発明は、８つ
のDCT係数を保持する構成になったブロックに限定され
るものではなく、適した任意のサイズを採用することが
できる。先に述べたように、ブロックの容量が増大する
と、それに比例してメモリ圧縮量は低下する。

【００４５】引き続き、図１０において、DCTブロック
２００−１から２００−ｎのどれかに８個を超える非零
係数が入っている場合、それぞれ固定サイズブロック２
０４−１から２０４−ｎの容量を超える非零DCT係数は
オーバーフローベクトル２０６の中に入れられる。オー
バーフローベクトル２０６は、可変サイズオーバーフロ
ーベクトルとして構成されている。つまり、オーバーフ
ローベクトルは動的である。例えば、ブロック２００−
１は、９つの非零DCT係数A１〜A９を含んでいる。ここ
で、DCT係数A１〜A８は固定サイズブロック２０４−１
にコピーされるが、DCT係数A９はオーバーフローベクト
ル２０６にコピーされる。ブロック２００−２は、１０
個の非零DCT係数B１〜B１０を含んでいる。ここで、DCT
係数B１〜B８は固定サイズブロック２０４−２にコピー
されるが、DCT係数B９及びB１０は、フレームのブロッ
ク毎に、オーバーフローベクトル２０６、その他に、コ
ピーされる。インデックス表２０８には、オーバーフロ
ーベクトル２０６のエントリに関して、対応する固定サ
イズブロック２０４−１から２０４−ｎを識別するエン
トリが入っている。各エントリは１バイトだから、イン
デックス表のサイズは無視することができる。従って、
DCTブロック２００−１から２００−ｎに対応するデー
タのフレームでは、イメージ２１０を生み出すために、
固定サイズアレイ２０２及びオーバーフローベクトル２
０６からのデータが組み合わされる。相当なメモリの節
約ができる。すなわち、DCTブロック２００−１から２
００−ｎは、ほとんどの場合、６４個の零及び非零係数
から、固定サイズブロック２０４−１から２０４−ｎに
保持された８個以下の非零係数まで減少する。言うまで
もなく、多少の非零係数が提供される可能性はあり、非
零係数が８を超えるとオーバーフローベクトル２０６に
保持される。

【００４６】図１１A〜１１Cは、本発明の１実施例によ
る、ハイブリッドデータ構造の固定サイズアレイの固定
サイズブロックの容量及びオーバーフローベクトルを判
定する際に評価される因子を説明しているグラフであ
る。図１１Aで、２つの典型的なCIFシーケンスの輝度ブ
ロックあたりの非零DCT係数の平均数が、線２２０及び
２２２で描かれている。ブロックあたりの非零係数の数
は３から７の範囲である。すなわち、６４個の係数のう
ち、平均して２から７個の係数だけが非零係数である。
図１１Bは、固定サイズアレイが増加すると、オーバー
フローベクトルのサイズが減少するので、ベクトルの挿
入及び削除費用を最小限にすることができることを、図
１１Aの情報を指針として用いて、説明している。ここ
で、線２２０−１は図１１Aの線２２０のCIFシーケンス
に対応しているのに対し、線２２２−１は図１１Aの線
２２２のCIFシーケンスに対応している。当業者なら
ば、固定サイズアレイは容量が増えるにつれて、メモリ
圧縮は低下することが分かる。さらに、図１１Cは、ア
レイの負荷因子（load factor）も減少して、アレイは
ほとんど空のままであることを示している。１実施例で
は、ブロックあたり８つのDCT係数を保持する固定サイ
ズアレイを選んだ。ここでも、線２２０ー２は図１１A
の線２２０のCIFシーケンスに対応し、線２２２−２は
図１１Aの線２２２のCIFシーケンスに対応している。こ
の選択が、オーバーフローベクトルのサイズに最小にし
てDCT係数を約２００に抑え、負荷因子を約９％と約１
５％の間に維持する。当業者ならば、固定サイズアレイ
はブロックあたり８係数に限定されるものではなく、ブ
ロックあたりの係数の数は適した任意の数を選んでいい
ことが明らかである。さらに、固定サイズアレイの個々
のブロックは適した任意の構成にすることができる。例
えば、８つの係数を保持する能力を有するブロックを、
例えば、８ｘ１のブロック、４ｘ２のブロックとして配
列することができる一方、９つの係数を保持する能力を
有するブロックを、例えば、９ｘ１のブロック、３ｘ３
のブロックとして配列することができる。

【００４７】図１２は、本発明の１実施例による、ビッ
トストリームを復号化するのに要するメモリ所要量を減
らすための方法のオペレーションのフローチャートであ
る。この方法は、ビデオビットストリームを受け取るオ
ペレーション２３０から始まる。１実施例で、ビットス
トリームは低レートビットストリームである。例えば、
ビデオストリームを、H.263、Motion Pictures Expert
Group（MPEG-1/2/4）、H.261、Joint Photographic Exp
ert Group（JPEG）など、ビデオ符号化規格と関連付け
ることができる。この方法は次に、オペレーション２３
２に進み、そこでビットストリームのフレームが、その
フレームと関連付けられるデータの各ブロックの離散コ
サイン変換（DCT）領域表現に復号化される。ここで、
ビデオは、図２、６B、１５に示したデコーダなど、デ
コーダの初めの２ステージで処理される。すなわち、ビ
デオデータは、圧縮されたビットストリームをDCT領域
表現に復号化するために、可変長デコーダステージ及び
反量子化ステージで処理される。なお、DCT領域表現は
圧縮状態フォーマットになっている。フレームは一度に
１ブロックずつ復号化される。この方法は次に、オペレ
ーション２３４に進み、そこでDCT領域表現の非零係数
が識別される。ここで、データブロックのDCT領域表現
と関連付けられる６４のDCT係数のうち、６４中の比較
的少数のDCT係数が概して非零係数である。

【００４８】引き続き、図１２において、この方法は次
に、ハイブリッドデータ構造をアセンブルするオペレー
ション２３６に進む。ハイブリッドデータ構造は、固定
サイズアレイと可変サイズオーバーフローベクトルとを
含んでいる。模式的な一つのハイブリッドデータ構造
は、図１０に示した複数の固定サイズブロック及び可変
サイズオーバーフローベクトルを含む固定サイズアレイ
である。この方法は次に、オペレーション２３８に進
み、そこでDCT領域表現の非零係数がハイブリッドデー
タ構造の中に挿入される。図１０において説明したよう
に、ビデオデータブロックのDCT領域表現の非零係数
は、固定サイズアレイ内の固定サイズブロックと関連付
けられる。非零係数の数が、ビデオデータブロックと関
連付けられる固定サイズブロックの容量を超えると、残
りの非零係数は可変サイズオーバーフローベクトルに保
持される。１実施例で、インデックス表は、オーバーフ
ローベクトル内のデータを固定サイズアレイ内のしかる
べき固定サイズブロックに写像する。従って、ハイブリ
ッドデータ構造と非零係数の保持により、メモリ所要量
が低減される。より具体的に言えば、ビデオ画質の損失
なしにメモリ所要量を５０％低減することができる。

【００４９】なお、データフレームと関連付けられる各
DCT領域表現の非零係数はハイブリッドデータ構造に保
持される。保持されたフレームのデータは次に、表示す
るために組み合わされ、解凍される。１実施例では、そ
の次のフレームがハイブリッドデータ構造に保持される
べくDCT領域表現に復号化されてしまえば、ハイブリッ
ドデータ構造内で前のフレームと関連付けられたデータ
がフラッシュされる。以下にさらに説明するように、逆
動き補償は圧縮領域の保持されたデータに対して行なわ
れる。逆動き補償は、完全画素逆動き補償には整数近似
を用い、半画素逆動き補償には因数分解を用いる。

【００５０】空間H.263ビデオデコーダの主な構成要素
には、ランレングス復号化、逆DCT、及び逆動き補償が
ある。タイミングプロファイラを用いて、1.1 GHzペン
ティアム（Pentium；登録商標）４プロセッサで走行し
ているTELENORのH.263ビデオデコーダの性能をベースラ
インデータで測定する。ベースラインデータを復号化
し、システム呼び出しを無視して、プロファイラは、１
４４のフレームを復号化するのに要する総体的な時間を
測定すると共に、各構成要素のタイミング特性を詳細に
記述する。表２は、空間的H. 263ビデオデコーダのタイ
ミングプロファイルで、特に、選ばれた機能のタイミン
グ結果を示すものである。

【表２】

【００５１】表３は、最適化されていない圧縮領域H.26
3ビデオデコーダのタイミングプロファイルである。一
つの模式的デコーダのパイプライン構成は図２に示した
デコーダである。

【表３】

【００５２】表２に示すように、空間領域ビデオデコー
ダは、１４４のフレームを復号化するのに約１．２秒か
かる。この時間のほとんどが、例えば、WINDOW^TMなど、
適したオペレーティングシステムで表示するために、各
フレームのカラー値をYUVからRGBに変換する画像表示機
能にとられている。ランレングス復号化、逆DCT、逆動
き補償といった機能が、ビデオを復号化するのに要する
時間全体のうちの約２５％をとっている。逆動き補償は
空間領域で特に高速である。ここで、完全画素の動き補
償は単にポインタをメモリもしくはフレームバッファ内
の位置に設定してデータブロックをコピーするだけなの
に対し、半画素の動き補償はメモリにポインタを設定し
且つシフトオペレータを用いて値を補間する。対照し
て、表３は、最適化されていない圧縮領域ビデオデコー
ダのタイミング結果のいくつかを示したものである。最
適化されていない圧縮領域デコーダは、同じ１４４のフ
レームを復号化するのに約１３．６７秒かかっている。

【００５３】

【数６】

【００５４】

【表４】

【００５５】８ｘ８行列の乗算には各々、５１２の掛け
算と４４８の加算が必要である。知られているように、
行列乗算は計算的に高価である。表５は、マクロブロッ
クの行列乗算、行列因数分解、共用ブロックなど最適化
スキームと、図２、６B、１５に示したパイプラインな
ど圧縮領域ビデオパイプラインのハイブリッドスキーム
との比較を示している。各データフレームが３５２本の
ラインを含み、ラインあたり２８８個の画素を有する共
通中間フォーマットといったビデオフォーマットをサポ
ートしているハンドヘルド機器で容認できる画質を提供
するために、圧縮領域ビデオ復号化パイプラインは毎秒
約１５〜２５フレーム（fps）というレートで復号化す
べきである。

【表５】

【００５６】圧縮領域ビデオ復号化パイプラインのエン
ハンスメントの一つは、ブロックアライメントにより、
方程式（１０）のTMi演算数を減らすことである。ブロ
ックアライメントを、例えば、次のように行なう：１列
の１４４フレームを復号化して、ブロックアライメント
率を全ブロックの３６．７％で測定する。図１３は、行
列乗算を減らすブロックアライメントの３つの例を説明
している概略図である。ブロックアライメント２４０
（(w＝8, h＝4)）、ブロックアライメント２４２（(w＝
4, h＝8)）、及びブロックアライメント２４４（(w＝8,
h＝8)）の各ケースが描かれている。これらの例２４
０、２４２、２４４では各々、対応するブロックとのオ
ーバーラップがゼロになると、TMi演算はなくなる。但
し、DCT領域（圧縮領域）で、ブロックアライメント
は、半画素補間を指定している場合には、節約にはなら
ない。圧縮領域における半画素動き補償の方程式は以下
の通り。(w＝8, h＝8)の例で、半画素補間には、方程式
１２及び１３に示されているように、４つのTMi演算が
依然として必要である。表６は、半画素変換行列C_hpij
を定義するにあたり、参考までに提供しているものであ
る。

【数７】

【表６】

【００５７】完璧にアライメントされたブロックでも、
半画素補間により近傍の画素とのオーバーラップが生じ
る。図１４は、完璧にアライメントされたDCTブロック
の半画素補間の概略図である。半画素補間により、１画
素幅及び１画素高だけ近傍ブロックへのオーバーラップ
が生じる。

【００５８】図２のデコーダの機能ブロックの並べ替え
により圧縮領域復号化パイプラインの処理スピードを上
げることができる。表２及び３で、逆DCTブロックの処
理時間は、圧縮領域（632 ms）と比べ、空間領域のほう
がはるかに短い（3 ms）。空間領域で、逆DCTは、フィ
ードバックループの前にイントラブロック及び誤差係数
に対して用いられる。具体的に言えば、イントラブロッ
ク及び誤差係数は、ビデオの全ブロックの１５％未満に
あたる。その他の８５％では、単に逆DCT機能は省かれ
る。圧縮領域では、逆DCTが、パイプラインの最終ステ
ージで、ビデオの各フレームのブロック１００％に用い
られる。

【００５９】図１５は、本発明の１実施例による、ビデ
オデータの処理を向上させる圧縮領域ビデオデコーダの
機能ブロックの並べ替えを説明している概略図である。
ここで、機能ブロックは並べ替えられ、圧縮領域パイプ
ラインは２ヶ所で分けられる。最初のスプリットはVLD
１２４及びDQ１２６の後に点（i）２５２で起きる。上
流のブランチで、パイプラインはメモリ圧縮１２８の内
部DCT領域表現を保っている。下流のブランチで、パイ
プラインは、誤差係数を空間領域に復号化するために、
RLD及びIDCTを前方に移動する。２番目のスプリット
は、動き補償（MC）時に点（ii）２５４で発生する。動
き補償時に、方程式（７）によると、空間領域出力が生
成される可能性がある。ディスプレイ１３６に表示する
ために点（iii）２５６で現ブロックを再構築するべ
く、出力を誤差係数に直に加算することができる。内部
DCT表現を維持するためにDCTブロック２５０がフィード
バックループに挿入される。点（i）２５２でのRLD１３
２とIDCT１３４との組合せ及び点（ii）２５４でのDCT
は、図２のパイプラインの最終ステージでのIDCTブロッ
クと比べ、必要な計算が少ない。表７は、本書で説明し
ている他の最適化スキームに加えて組合せ可能な図１５
に示した並べ替えにより２０％のスピードアップを図れ
ることを実証している。

【表７】

【００６０】１実施例で、方程式（１１、１３）の基本
的TM演算に必要な掛け算の数を減らすことにより逆動き
補償が加速される。完全８ｘ８行列乗算を計算する代わ
りに、方程式１４に示すように、DCT行列Sが疎行列の列
に因数分解される。方程式（１７）の疎行列は、順序行
列(A₁,A₂,A₃,A₄,A₅,A₆)及び対角行列(D,M)を含む。この
因数分解を方程式（１５）の中に代入すると、方程式
（１６）のTM_iの完全に因数分解された方程式を導き出
すことができる。これは、方程式（１１、１３）よりも
掛け算の数が少ない。

【数８】

【００６１】従って、行列乗算は、行列順列で置き換え
られる。但し、方程式（１６）に示すように、項TM_i,の
完全に因数分解された式は必ずしも逆動き補償をスピー
ドアップするとは限らない。基本的に、掛け算がメモリ
アクセスとトレードされたので、メモリアクセスが多す
ぎると、実のところ復号化プロセスを遅くする。従っ
て、これらの競合する機能間のバランスをとるべく行列
の再グループ化が行なわれる。行列S (= G₀G₁)は２つの
項、G₀=DA₁A₂A₃（順列と乗算の混合）と、G₁=MA₄A₅A
₆（順列と加算の混合）とに因数分解される。方程式
（２４）で逆動き補償に因数分解された式を形成するた
めに、固定行列J_i, K_iが定義され、方程式（１０及び１
２）の中に代入される。

【数９】半画素補間でも同様に、

【数１０】

【００６２】固定行列J_i, K_iによる高速乗算を実現する
ことにより、スピードをさらに向上させることができ
る。固定行列には構造の繰り返しが入っている。例え
ば、行列J₆は次のように定義される。

【数１１】

【００６３】ここでは、a=0.7071、b=0.9239、c=0.3827
とする。u= {u₁,…,u₈}及びv={v₁,…,v₈}と仮定する
と、u = J₆vを計算するには、方程式の列を次のステッ
プに従って計算する：

【数１２】

【００６４】

【００６５】逆動き補償の更なるスピードアップを図る
ために、方程式（１１、１３）の基本的なＴＭ演算に必
要な掛け算を削除する。完全画素及び半画素の行列、C
_ij及びC_hpijが、2^-5のベキに一番近い２進数に近似され
る。これらの行列を２進数に近似すると、方程式（１
０、１２）の逆動き補償を解くために、右シフトや加算
など基本的な整数演算を用いることによって行列乗算を
行なうことができる。例えば、h=1の場合、完全画素行
列C₁₁を以下のように調べる。なお、その他の行列は同
じように近似されている。

【数１３】行列の各要素を２のベキに一番近い値に丸めると、行列
（４７）が生まれる。

【数１４】

【００６６】DCT要素は[-2048 to 2047]の範囲内に入っ
ているから、DCT係数を直接シフトすることでほとんど
の値がゼロに駆動される。中間結果の精度を維持するた
めに、復号化パイプライン全体で各DCT係数を2⁸でスケ
ーリングする。この倍率は、量子化及び反量子化のステ
ップで導入されるから、余分な演算は発生しない。

【００６７】さらに、積和のルールに従って項をグルー
プ化することにより高速行列乗算を実現する（方程式
（４８〜５０）を参照）。

【数１５】

【００６８】

【数１６】

【００６９】

【００７０】ビデオの動きに基づいて選択的に適用され
る変換行列TMのハイブリッド因数分解／整数近似は、容
認できる画質を維持しながら、同時に、好ましい約１５
〜２５fpsのフレームレートを実現する。先に触れたよ
うに、整数近似技法は、デコーダの計算量を低減するだ
けでなく、復号化されたビデオのPSNRも低下させる。同
時に、因数分解技法では、良好なPSNRは維持できるけれ
ども、好ましいフレームレートを満たすにはデコーダの
計算量は低下しない。整数近似技法の計算量に低さと因
数分解技法の精度の高さとを統合することで、低レート
ビデオビットストリームをサポートするための圧縮領域
ビデオ復号化パイプラインを得ることができる。

【００７１】２つのタイプの変換行列、つまり、方程式
（１１）に示した完全画素動き補償TM_iと、方程式（１
３）に示した半画素動き補償TM_hpiについて説明してき
た。TM _iに近似行列を用いると、完全画素動き補償は、
８ｘ８浮動小数点行列を用いた場合と比べ、計算量が２
８％ですむ。しかしながら、半画素変換行列TM_hpiに近
似技法を直接用いる場合、TM_hpiの近似行列を用いる
と、半画素動き補償はＰＳＮＲを低下させる（表８）と
共に復号化されたビデオに目に見える歪みを発生させる
ことが観察された。誤差源は２つある。その一つは、半
画素変換行列TM_hpiが近似技法により敏感に反応するこ
とである。表８で、TM_hpiはTM_i以外にも数多くの項から
なる複合行列である。２つ目は、先に図６A及び６Ｂに
おいて説明したように、半画素補間時の非線形処理が、
近似技法によって発生した誤差と組み合わされて、中程
度から高度の動き領域で目に見える誤差の累積を生じさ
せる。

【００７２】半画素行列に因数分解技法を選択的に適用
することでこうした誤差の問題を解決することができ
る。先に説明したように、因数分解技法は浮動小数点の
精度を維持するので、上に説明した誤差を最小限にする
ことができる。例えば、因数分解技法は、TM_hpiを有す
る行列乗算を、方程式（２５〜４５）に示したのと同じ
ような方程式の列に還元する。これらの方程式は３２ビ
ット浮動小数点の精度を維持するので、近似誤差が生ま
れない。さらに、因数分解技法は動き補償時にDCTブロ
ックを空間領域に復号化するので、図１５において説明
した最適化をいま説明した最適化と組み合わせることが
できる。表５はハイブリッド法で１５fpsの目標フレー
ムレートを達成できることを実証しているのに対し、表
８はハイブリッド法のＰＮＳＲは容認できるPSNRを実現
することを示している。

【表８】

【００７３】図１６は、本発明の１実施例による、圧縮
領域で逆動き補償を行なうための方法のオペレーション
のフローチャート図である。この方法は、圧縮されたビ
ットストリーム内のビデオデータフレームを受け取るオ
ペレーション２６０から始まる。１実施例で、ビットス
トリームは低レートビットストリームである。例えば、
ビットストリームは、MPEG 4、H.263、H.261など、公知
のビデオ符号化規格と関連付けられていて構わない。こ
の方法は次にオペレーション２６２に進み、そこでビッ
トストリームのフレームのブロックが離散コサイン変換
（DCT）領域表現に復号化される。ここで、ビデオは、
図２、６Ｂ、１５に示したデコーダなど、デコーダの最
初の２ステージで処理される。すなわち、ビデオデータ
は、圧縮ビットストリームをDCT領域表現に復号化する
ために、可変長デコーダのステージ及び反量子化のステ
ージで処理される。なお、DCT領域表現は圧縮状態のフ
ォーマットになっている。この方法は次にオペレーショ
ン２６４に進み、そこでDCT領域表現と関連付けられる
データがハイブリッドデータ構造に保持される。適した
ハイブリッドデータ構造は、図１０及び１２において説
明したハイブリッドデータ構造である。１実施例で、ハ
イブリッドデータ構造は、例えば、セルラー電話、PD
A、ウェブタブレット、ポケットパソコンなど、ビデオ
データを表示するためのディスプレイ画面を有する携帯
用電子機器のメモリ所要量を低減する。

【００７４】引き続き、図１６において、この方法はオ
ペレーション２６６に進み、そこでDCT領域表現と関連
付けられるデータに圧縮領域で逆動き補償が実行され
る。ここで、逆動き補償には、表５及び９において説明
したハイブリッド因数分解／整数近似技法が選択的に適
用される。この方法は次にオペレーション２６８に進
み、そこでハイブリッド因数分解／整数近似技法が、処
理中のビデオデータのブロックと関連付けられる変換行
列のタイプを識別する。１実施例では、いま復号化され
ているビットストリームのビットセットの中の情報によ
り変換行列のタイプが検出される。変換行列が半画素行
列の場合には、この方法はオペレーション２７０に進
み、そこでビットストリームを復号化するために因数分
解技法が用いられる。１実施例では、先に方程式２５〜
４５において説明したように、因数分解技法により行列
乗算が一連の方程式に還元される。すなわち、行列乗算
が行列順列で置き換えられる。決定のオペレーション２
６８で変換行列が完全画素行列であると判定された場合
には、この方法はオペレーション２７２に進み、そこで
ビットストリームを復号化するために整数近似技法が用
いられる。ここでは、方程式４６〜５８において先に説
明したように、逆動き補償を解くために、基本的な整数
演算を用いて行列乗算を実行することができる。従っ
て、容認できる画質を有しながら先に説明したハイブリ
ッドデータ構造により達成できたメモリの低減を可能に
する程度のフレームレートを実現するために、ハイブリ
ッド因数分解／整数近似技法を選択的に適用することに
より、圧縮領域での処理が実行される。

【００７５】図１７は、本発明の１実施例による、ハイ
ブリッド因数分解／整数近似技法の選択的適用の概略図
である。ディスプレイ画面２８０は低ビットレートビデ
オによって定義された画像を表示するように構成されて
いる。例えば、ディスプレイ画面２８０を、PDA、セル
ラー電話、ポケットパソコン、ウェブタブレットなど、
携帯用電子機器と関連付けることができる。ボール２８
２はビデオで垂直方向に移動している。ブロック２８４
は移動するオブジェクトの周囲に位置し、高度又は中程
度の動き領域と考えられ、フレームからフレームで変わ
る。ブロック２８６はバックグラウンドを表わし、フレ
ームからフレームで実質的に同じままである。従って、
圧縮ビットストリームの復号化時に、データフレームの
ブロック２８４は、フレームからフレームで、高度な動
き領域と関連付けられるのに対し、ブロック２８６はフ
レームからフレームで実質的に同じままである。高度動
き領域と関連付けられるブロック２８４は、複合化の技
法、つまり、因数分解時には、より高度な精度を必要と
するが、ブロック２８６は実質的に変わらないので計算
量の低い補間法、つまり、整数近似で許される。従っ
て、因数分解技法を高度から中程度の動き領域ブロック
２８４に適用し、整数近似法をバックグラウンドブロッ
ク２８６に適用する。先に説明したように、ブロックが
高度の動きと関連付けられるかどうか、つまり、因数分
解による半画素動き補償を適用するかどうか、もしくは
ブロックがバックグラウンドデータかどうか、つまり、
整数近似による完全画素動き補償を適用するかどうかを
判定するために、ビットストリームに埋め込まれた情報
が検出される。１実施例では、図２、６Ｂ、１５に示し
た動きベクトルが、動き補償が半画素か又は完全画素の
動き補償かどうかを指定している。

【００７６】なお、先に説明した実施例はソフトウェア
で実行しても、ハードウェアで実行しても構わない。当
業者ならば、デコーダを、先に説明した機能を実現でき
るように構成された論理ゲートを含む半導体チップとし
て実施できることが分かる。例えば、ビデオデコーダを
ハードウェアで実現するには、本書で説明した必要な機
能を実現するための論理ゲートのレイアウト及びファー
ムウェアを合成するために、例えば、VERILOGなど、ハ
ードウェア記述言語（HDL）を採用することができる。

【００７７】図１８は、本発明の１実施例による、メモ
リ所要量を最小限にするためのハイブリッドデータ構造
を活用すると共に、ビットストリームデータを効率よく
復号化するためのハイブリッド因数分解／整数近似技法
を適用するように構成されたデコーダ回路構成を有する
携帯用電子機器の簡約概略図である。携帯用電子機器２
９０は、中央処理機構（CPU）２９４、メモリ２９２、
ディスプレイ画面１３６、デコーダ回路構成２９８を含
み、これらは全てバス２９６で互いに通信し合ってい
る。デコーダ回路構成２９８は、先に説明したビデオ処
理並びに圧縮領域で逆動き補償を実行するのに要するメ
モリ所要量を低減する機能を提供できるように構成され
た論理ゲートを含む。当業者ならば、デコーダ回路構成
２９８はデコーダ回路構成が入っているチップ上にメモ
リを有していても、或いはメモリはチップの外に配置さ
れていても構わないことが明らかである。

【００７８】図１９は、本発明の１実施例による、図１
８のデコーダ回路構成のより詳細な概略図である。入っ
てくるビットストリーム１２２は、デコーダ２９８の可
変長デコーダ（VLD）回路構成３００によって受け取ら
れる。当業者ならば、デコーダ回路構成２９８をプリン
ト配線板上に配置された半導体チップ上に設置して構わ
ないことが分かる。ＶＬＤ回路構成３００は、動き補償
回路構成３０６に動きベクトル信号を供給する。ビデオ
処理メモリ３０８は、圧縮領域で反量子化回路構成３０
２からのビデオの内部表現を保持する。DCT回路構成３
０４は動き補償回路構成３０６からのビデオの内部ＤＣ
Ｔ表現を維持する。ランレングス復号（RLD）回路３１
０及び逆離散コサイン変換（IDCT）回路構成３１２は、
ディスプレイ画面１３６に表示できるようにビデオデー
タを解凍する。なお、ここで説明している回路構成のブ
ロックは、図２、６Ｂ、１５において説明したブロック
／ステージと同じような機能を提供する。

【００７９】

【発明の効果】要約すると、今まで説明してきた発明
は、ビデオメモリ量を減らし、圧縮領域で逆動き補償を
実行する圧縮領域ビデオデコーダを提供するものであ
る。現フレームを定義するために基準フレームの非零DC
T係数を保持及び操作するように構成されたハイブリッ
ドデータ構造によりメモリ低減を実現する。ハイブリッ
ドデータ構成は、ビデオデータフレームの各ブロックと
関連付けられる固定サイズブロックを有する固定サイズ
アレイを含んでいる。固定サイズブロックの容量を超え
る非零係数を収容できるように、ハイブリッドデータ構
造には可変サイズオーバーフローベクトルが備わってい
る。圧縮領域ビデオデコーダにより達成されたメモリ圧
縮量は、空間領域ビデオデコーダと比べ、上限で2倍で
ある。圧縮領域ビデオデコーダの逆動き補償は、容認で
きる画質のビデオで毎秒約１５〜２５フレームを実現で
きるように最適化される。復号中のブロックにハイブリ
ッド因数分解／整数近似が選択的にかけられる。因数分
解／整数近似技法のうちのどの補間を適用するかを判定
する基準は、変換行列に基づく。つまり、半画素行列に
は因数分解が適用されるのに対し、完全画素行列には整
数近似が適用される。なお、１実施例では、本書で説明
した圧縮領域パイプラインをＭＰＥＧ−４のシンプルプ
ロファイルビデオデコーダに取り入れることができる。
さらに、実施例により、例えば、電池で動く（CPU制約
型）機器のパワースケーラブル復号化やビデオ会議シス
テムの複合化など、多種多様なアプリケーションを追求
できるようになる。

【００８０】上述の実施例を考慮すれば、本発明は、コ
ンピュータシステムに保持されたデータを必要とするい
ろいろなコンピュータで実行されるオペレーションを採
用することができることが分かる。こうしたオペレーシ
ョンには、物理的数量の物理的操作が含まれる。必ずし
もそうとは限らないが、普通、こうした数量は、保持、
変換、結合、比較、さもなければ操作の対象となり得る
電気信号又は磁気信号の形をとる。さらに、実行される
操作は、生成、識別、判定、又は比較といったような言
葉で示されることが多い。

【００８１】以上説明した本発明は、ハンドヘルド機
器、マイクロプロセッサシステム、マイクロプロセッサ
ベースの或いはプログラマブル消費者向けエレクトロニ
クス、ミニコンピュータ、メインフレームコンピュータ
など、その他のコンピュータシステム構成と共に実施す
ることができる。本発明は、通信ネットワークを経由し
てリンクされている遠隔処理装置によってタスクが実行
される分散型コンピューティング環境において実施する
ことができる。

【００８２】本発明は、コンピュータ可読媒体上のコン
ピュータ可読コードとして実施することもできる。コン
ピュータ可読媒体は、データを保持し、後からそのデー
タをコンピュータシステムが判読できればどんなデータ
記憶装置でも構わない。コンピュータ可読媒体の例とし
ては、ハードドライブ、ネットワーク接続記憶装置（NA
S）、読み取り専用メモリ、ランダムアクセスメモリ、C
D-ROM、CD-R、CD-RW、磁気テープや、その他の光学式お
よび非光学式データ記憶装置がある。分散してコンピュ
ータ可読コードを保持及び実行されるように、コンピュ
ータ可読媒体をネットワークでつながったコンピュータ
システムで分散することもできる。コンピュータ可読媒
体は、コンピュータコードを含んだ電磁搬送波でも構わ
ない。

【００８３】以上、本発明を、はっきり理解できるよう
に、より詳細に説明してきたが、添付した特許請求の範
囲内で変更、修正が可能なことは明らかである。従っ
て、本願の実施例は説明のためで、制約するためのもの
ではない。また、本発明は、本書で説明した詳細に限定
されるものではないけれども、特許請求の範囲内及び特
許請求と同等の範囲内で修正可能である。請求項におい
て、要素及び／又は工程は、請求項にはっきりと明記さ
れていない限り、何らオペレーションの特定の順序を暗
に示しているものではない。

【図面の簡単な説明】

本発明は、添付の図面と共に以下に述べる詳細な説明に
より容易に理解できるだろう。類似した構造上の要素を
類似の参照番号で示している。

【図１】ビデオデータを復号化すると共に空間領域で
動き補償を実行するためのビデオデコーダの概略図。

【図２】本発明の１実施例による、逆動き補償が圧縮
領域で実行されるように構成されたビデオデコーダの概
略図。

【図３】空間領域で実行される逆動き補償を説明して
いる概略図。

【図４】 H.263規格と関連付けられる強制更新メカニ
ズムの有効性を実証するために、複数のフレームのピー
クの信号対雑音比（PSNR）を説明しているグラフ。

【図５】 H.263規格における半画素値の判定を説明し
ている概略図。

【図６】Ａ：ベースライン空間ビデオデコーダの概略
図。Ｂ：本発明の１実施例による、圧縮領域ビデオデコ
ーダの概略図。

【図７】本発明の１実施例による、ビデオ符号化及び
復号化プロセス時のブロック変換を説明しているブロッ
ク図。

【図８】ランレングス表現における各８ｘ８ブロック
の開始位置を見出すために個別のインデックスの使用を
説明している概略図。

【図９】Ａ、Ｂ：それぞれ、アレイベースのデータ構
造及びリストデータ構造で、予測に予測誤差を加算する
ために必要な類別及び併合操作を説明する図。

【図１０】本発明の１実施例による、メモリ圧縮及び
計算効率性を可能にするアレイ構造及びベクトル構造を
含むハイブリッドデータ構造の概略図。

【図１１】Ａ、Ｂ、Ｃ：本発明の１実施例による、ハ
イブリッドデータ構造の固定サイズアレイの固定サイズ
ブロックの容量及びオーバーフローベクトルを判定する
際に評価される因子を説明しているグラフ。

【図１２】本発明の１実施例による、ビットストリー
ムを復号化するためのメモリ所要量を低減する方法のオ
ペレーションを説明しているフローチャート。

【図１３】行列乗算を減らすためのブロックアライメ
ントの３つの例を説明している概略図。

【図１４】完璧にアライメントされたDCTブロックの
半画素補間の概略図。

【図１５】本発明の１実施例による、ビデオデータの
処理を向上させる圧縮領域ビデオデコーダの機能ブロッ
クの並べ替えを説明する概略図。

【図１６】本発明の１実施例による、圧縮領域で逆動
き補償を実行するための方法のオペレーションを示すフ
ローチャート。

【図１７】本発明の１実施例による、ハイブリッド因
数分解／整数近似技法の選択的な適用の概略図。

【図１８】本発明の１実施例による、メモリ所要量を
最小限にするためにハイブリッドデータ構造を活用する
と共にビットデータストリームを効率的に復号化するた
めにハイブリッド因数分解／整数近似技法を適用するよ
うに構成されたデコーダ回路構成を有する携帯用電子機
器の簡約概略図。

【図１９】本発明の１実施例による、図１８のデコー
ダ回路構成のより詳細な概略図。

【符号の説明】

１００,１２０デコーダ１０２,１２２ビットストリーム１０４,１２４可変デコーダ１０６,１３２ランレングスデコーダ１０８,１２６反量子化１１０,１３４逆離散コサイン変換１１２,１２８動き補償１１４,１３０メモリ１１６,１３６ディスプレイ１６０半画素補間

───────────────────────────────────────────────────── フロントページの続き (72)発明者ヴァスデヴバスカランアメリカ合衆国カリフォルニア州サニーベールノースマーフイアベニュ 190 Ｆターム(参考） 5C059 KK08 MA00 MA05 MA23 MC11 MC38 ME05 NN15 NN21 PP04 SS10 SS20 TA61 TC00 UA05 UA33 5J064 AA03 BA09 BB05 BC01 BC02 BC08 BC09 BC14 BC23 BD03

Claims

【特許請求の範囲】

【請求項１】ビットストリームを復号化するのに要す
るメモリ所要量を低減するための方法であって、ビデオビットストリームを受け取り、前記ビットストリームのフレームを変換領域表現に復号
化し、前記変換領域表現の非零係数を識別し、固定サイズアレイ及び可変サイズオーバーフローベクト
ルを含むハイブリッドデータ構造をアセンブルし、前記変換領域表現の非零係数を前記ハイブリッドデータ
構造の中に挿入することからなることを特徴とする方
法。
【請求項２】前記ビデオビットストリームは、低レー
トビデオビットストリームであることを特徴とする請求
項１に記載の方法。
【請求項３】前記ビットストリームのフレームをを変
換領域表現に復号化するオペレーションは、可変長デコーダ及び反量子化ブロックを通る前記ビット
ストリームを処理することを含むことを特徴とする請求
項１に記載の方法。
【請求項４】前記固定サイズアレイは固定サイズブロ
ックを含むことを特徴とする請求項１に記載の方法。
【請求項５】前記固定サイズブロックは、前記変換領
域表現の８つの非零係数を保持するように構成されてい
ることを特徴とする請求項４に記載の方法。
【請求項６】前記変換領域表現の非零係数をハイブリ
ッドデータ構造に挿入するオペレーションは、フレームのブロック毎に、固定サイズアレイの中の係数
を可変サイズオーバーフローベクトルの中の対応する係
数に写像することを含むことを特徴とする請求項１に記
載の方法。
【請求項７】ビデオデータを復号化するための方法で
あって、圧縮ビットストリーム内のビデオデータのフレームを受
け取り、前記フレームのブロックを圧縮領域で変換領域表現に復
号化し、ハイブリッドデータ構造を定義し、前記変換領域表現と関連付けられるデータを前記ハイブ
リッドデータ構造に保持し、前記変換領域表現と関連付けられるデータに逆動き補償
を前記圧縮領域で実行し、前記データに逆動き補償を実行した後、表示するために
データを解凍することからなることを特徴とする方法。
【請求項８】前記ハイブリッドデータ構造は、固定サ
イズブロックからなる固定サイズアレイ及び可変サイズ
オーバーフローベクトルを含んでいることを特徴とする
請求項７に記載の方法。
【請求項９】前記変換領域表現と関連付けられるデー
タをハイブリッドデータ構造に保持するオペレーション
は、前記変換領域表現の非零係数を識別し、前記固定サイズブロックの容量に達するまで、前記非零
係数を前記ハイブリッドデータ構造の固定サイズアレイ
の固定サイズブロックの中に保持し、前記固定サイズブロックの容量に達した後は、固定サイ
ズブロックの容量を超える非零係数をオーバーフローベ
クトルに保持することを含むことを特徴とする請求項７
に記載の方法。
【請求項１０】前記圧縮ビットストリームは、低レー
トビットストリームであることを特徴とする請求項７に
記載の方法。
【請求項１１】前記変換領域表現と関連付けられるた
データに逆動き補償を圧縮領域で実行するオペレーショ
ンは、前記変換領域表現と関連付けられるデータに、ハイブリ
ッド因数分解及び整数近似技法を適用することを含むこ
とを特徴とする請求項７に記載の方法。
【請求項１２】ハイブリッドデータ構造に保持するた
めに低レートビットストリームを並べ替えるためのプロ
グラム命令を有するコンピュータ可読メディアであっ
て、データフレームの符号化されたブロックと関連付けられ
る非零変換係数を識別するためのプログラム命令と、前記非零変換係数を固定サイズアレイに配列するための
プログラム命令と、前記非零変換係数の数量が前記固定サイズアレイの容量
を超えているかどうかを判定するためのプログラム命令
と、前記固定サイズアレイの容量を超える非零変換係数を可
変サイズオーバーフローベクトルに保持するためのプロ
グラム命令と、前記非零変換係数を圧縮領域から空間領域に平行移動さ
せる（translate）するためのプログラム命令とを含む
ことを特徴とするコンピュータ可読メディア。
【請求項１３】前記固定サイズアレイは、複数の固定
サイズブロックを含むことを特徴とする請求項１２に記
載のコンピュータ可読メディア。
【請求項１４】前記固定サイズブロックは各々、８つ
の非零変換係数を保持するように構成されていることを
特徴とする請求項１３に記載のコンピュータ可読メディ
ア。
【請求項１５】データフレームのブロック毎に、前記
固定サイズアレイの係数を、可変サイズオーバーフロー
ベクトルの対応する係数に写像するためのプログラム命
令をさらに含むことを特徴とする請求項１２に記載のコ
ンピュータ可読メディア。
【請求項１６】ハイブリッド因数分解及び整数近似技
法を用いて前記非零変換係数に逆動き補償を実行するた
めのプログラム命令をさらに含むことを特徴とする請求
項１２に記載のコンピュータ可読メディア。
【請求項１７】回路であって、ビデオデコーダ集積回路チップからなり、当該ビデオデ
コーダ集積回路チップは、ビデオデータのフレームと関連付けられるデータのビッ
トストリームを受け取るための回路構成（circuitry）
と、前記データのビットストリームを変換領域表現に復号化
するための回路構成と、前記ビデオデコーダと関連付けられるメモリの中に前記
変換領域表現の非零変換係数をハイブリッドデータ構造
配列にするための回路構成と、表示するために前記変換領域表現の非零変換係数を解凍
するための回路構成とを含むことを特徴とする回路。
【請求項１８】前記ビットストリームは、H.263ビッ
トストリームであることを特徴とする請求項１７に記載
の回路。
【請求項１９】前記メモリは、前記ビデオデコーダ集
積回路チップとは別になっていることを特徴とする請求
項１７に記載の回路。
【請求項２０】ハイブリッド因数分解及び整数近似技
法により逆動き補償を実行するための回路構成をさらに
備えることを特徴とする請求項１７に記載の回路。
【請求項２１】前記メモリは、スタティックランダム
アクセスメモリであることを特徴とする請求項１７に記
載の回路。
【請求項２２】ビデオ画像を表示するように構成され
た機器であって、中央処理機構（CPU）と、ランダムアクセスメモリ（RAM）と、画像を表示するように構成されたディスプレイ画面と、ビデオビットストリームを変換領域表現に変換するよう
に構成されたデコーダ回路構成とからなり、当該デコー
ダ回路構成は、変換領域表現の非零変換係数を、デコー
ダ回路構成と関連付けられたメモリの中にハイブリッド
データ構造配列にする能力を有し、前記デコーダ回路構
成は逆動き補償時にハイブリッド因数分解／整数近似技
法を選択的に適用するための回路構成を含み、さらに、前記CPU、前記RAM、前記ディスプレイ画面、及び前記デ
コーダ回路構成と通信しているバスとからなることを特
徴とする機器。
【請求項２３】前記機器は、携帯用電子機器であるこ
とを特徴とする請求項２２に記載の機器。
【請求項２４】前記携帯用電子機器は、パーソナルデ
ィジタルアシスタント、セルラー電話、ウェブタブレッ
ト、及びポケットパソコンから構成されるグループから
選択されることを特徴とする請求項２３に記載の機器。
【請求項２５】前記ハイブリッドデータ構造は、複数
の固定サイズブロックを有する固定サイズアレイと、可
変サイズオーバーフローベクトルとを含むことを特徴と
する請求項２２に記載の機器。
【請求項２６】前記複数の固定サイズブロックは各
々、８つの非零変換係数を保持するように構成されてい
ることを特徴とする請求項２５に記載の機器。
【請求項２７】８を超える非零変換係数は、前記可変
サイズオーバーフローベクトルの中に保持されることを
特徴とする請求項２６に記載の機器。
【請求項２８】前記デコーダ回路構成は、前記ハイブ
リッドデータ構造と関連付けられるデータを保持するよ
うに構成されたオンチップメモリを含むことを特徴とす
る請求項２２に記載の機器。
【請求項２９】前記逆動き補償時にハイブリッド因数
分解／整数近似技法を選択的に適用するための回路構成
は、ビデオ画像のフレームのブロックを、活動中の動き及び
非活動中の動きのうちの一つと関連付けられると、識別
するための回路構成と、活動中の動きエリアと関連付けられたブロックには因数
分解技法を適用する一方、非活動中の動きエリアと関連
付けれらたブロックには整数近似技法を適用することに
よって、逆動き補償を実行するための回路構成とを含む
ことを特徴とする請求項２２に記載の機器。
【請求項３０】前記ビデオビットストリームは、低レ
ートビデオビットストリームであることを特徴とする請
求項２２に記載の機器。
【請求項３１】逆メモリ補償を実行するための方法で
あって、ビデオビットストリームを受け取り、半画素行列及び完全画素行列から構成されるグループか
ら選択された変換行列タイプを識別し、前記変換行列タイプが半画素行列ならば、前記半画素行列に対応するビットストリームを復号化す
るために因数分解技法を適用し、前記変換行列タイプが完全画素行列ならば、前記完全画素行列に対応するビットストリームを復号化
するために整数近似技法を適用することからなることを
特徴とする方法。
【請求項３２】前記ビデオビットストリームは、低レ
ートビデオビットストリームであることを特徴とする請
求項３１に記載の方法。
【請求項３３】前記半画素行列に対応するビットスト
リームを復号化するために因数分解技法を適用するオペ
レーションは、前記半画素行列を疎行列の列に因数分解することを含
み、当該疎行列は順序行列及び対角行列を含むことを特
徴とする請求項３１に記載の方法。
【請求項３４】前記完全画素行列に対応するビットス
トリームを復号化するために整数近似技法を適用するオ
ペレーションは、前記完全画素行列の各要素を２進数と近似することを含
むことを特徴とする請求項３１に記載の方法。
【請求項３５】各要素は、一番近い２乗に丸められる
ことを特徴とする請求項３４に記載の方法。
【請求項３６】ビデオデータを復号化するための方法
であって、圧縮ビットストリーム内のビデオデータのフレームを受
け取り、前記フレームのブロックを圧縮領域で変換領域表現に復
号化し、前記変換領域表現と関連付けられるデータをハイブリッ
ドデータ構造に保持し、前記圧縮領域で前記変換領域表現と関連付けられるデー
タに逆動き補償を実行することからなり、当該逆動き補
償を実行することは、前記ビデオデータフレームの一部分と関連付けられる変
換行列のタイプを判定し、逆動き補償を向上させるためにハイブリッド因数分解及
び整数近似技法を適用することを含むことを特徴とする
方法。
【請求項３７】前記圧縮ビットストリームは、H.26
3、H.261、Motion Picture Expert Groupから構成され
るグループから選択された規格と関連付けられることを
特徴とする請求項３６に記載の方法。
【請求項３８】前記ハイブリッドデータ構造は、固定
サイズアレイと、可変サイズオーバーフローベクトルと
を含むことを特徴とする請求項３６に記載の方法。
【請求項３９】前記変換行列のタイプは、半画素行列
及び完全画素行列からなるグループから選択されること
を特徴とする請求項３６に記載の方法。
【請求項４０】前記半画素行列は画像の高度の動き領
域と関連付けられる一方、前記完全画素行列は画像の最
小動き領域と関連付けられることを特徴とする請求項３
９に記載の方法。
【請求項４１】前記逆動き補償を向上させるためにハ
イブリッド因数分解及び整数近似技法を適用するオペレ
ーションは、フレームの高動き領域に対応するブロックと関連付けら
れる行列に因数分解技法を適用し、フレームの残りのブロックに整数近似技法を適用するこ
とを含むことを特徴とする請求項３６に記載の方法。
【請求項４２】前記圧縮ビットストリームは低レート
ビットストリームであることを特徴とする請求項３６に
記載の方法。
【請求項４３】圧縮領域で逆動き補償を実行するため
のプログラム命令を有するコンピュータ可読メディアで
あって、変換行列を識別するためのプログラム命令と、前記変換行列が半画素行列及び完全画素行列のうちの一
つであるかどうかを判定するためのプログラム命令と、半画素行列に対応するビットストリームのブロックを復
号化する因数分解技法を適用するためのプログラム命令
と、完全画素行列に対応するビットストリームのブロックを
復号化する整数近似技法を適用するためのプログラム命
令とからなることを特徴とするコンピュータ可読メディ
ア。
【請求項４４】前記逆動き補償を実行するためのプロ
グラム命令は、圧縮領域で実行されることを特徴とする
請求項４３に記載のコンピュータ可読メディア。
【請求項４５】動きベクトルデータを抽出するための
プログラム命令をさらに含み、当該動きベクトルデータ
は変換行列を半画素行列及び完全画素行列のうちの一つ
として識別することを特徴とする請求項４３に記載のコ
ンピュータ可読メディア。
【請求項４６】符号化されたデータフレームブロック
と関連付けられる非零変換係数をハイブリッドデータ構
造に配列するためのプログラム命令をさらに含むことを
特徴とする請求項４３に記載のコンピュータ可読メディ
ア。
【請求項４７】前記完全画素行列に対応するビットス
トリームのブロックを復号化する整数近似技法を適用す
るためのプログラム命令は、完全画素行列の各要素を２進数と近似するためのプログ
ラム命令を含むことを特徴とする請求項４３に記載のコ
ンピュータ可読メディア。
【請求項４８】前記半画素行列に対応するビットスト
リームのブロックを復号化する因数分解技法を適用する
ためのプログラム命令は、半画素行列を疎行列の列に因数分解するためのプログラ
ム命令を含み、当該疎行列は順序行列及び対角行列を含
むことを特徴とする請求項４３に記載のコンピュータ可
読メディア。
【請求項４９】回路であって、ビデオデータを復号化するように構成された集積回路チ
ップからなり、当該集積回路チップは、ビデオデータのフレームと関連付けられるデータのビッ
トストリームを受け取るための回路構成と、前記データのビットストリームを変換領域表現に復号化
するための回路構成と、変換行列のタイプを識別するための回路構成と、ハイブリッド因数分解及び整数近似技法により逆動き補
償を実行するための回路構成とを含むことを特徴とする
回路。
【請求項５０】前記集積回路チップはさらに、前記変換領域表現の非零変換係数をハイブリッドデータ
構造に配列するための回路構成を有することを特徴とす
る請求項４９に記載の回路。
【請求項５１】前記ビットストリームは低レートビッ
トストリームであることを特徴とする請求項４９に記載
の回路。
【請求項５２】前記ハイブリッド因数分解及び整数近
似技法により逆動き補償を実行するための回路構成は、
半画素変換行列には因数分解技法を適用し、完全画素変
換行列には整数近似技法を適用するように構成されてい
ることを特徴とする請求項４９に記載の回路。
【請求項５３】さらに、前記集積回路チップと通信し
ているメモリを含むことを特徴とする請求項４９に記載
の回路。
【請求項５４】前記因数分解及び整数近似技法はデー
タに対して圧縮領域で用いられることを特徴とする請求
項４９に記載の回路。
【請求項５５】ビデオデコーダであって、入ってくるビットストリームから係数値及び動きベクト
ルデータを抽出するように構成された可変長デコーダ
（VLD）を有し、前記可変長デコーダと通信している反量子化ブロックを
有し、当該反量子化ブロックは前記係数値をスケーリン
グし直すように構成されており、前記反量子化ブロックと通信している下流のブランチを
有し、当該下流ブランチは誤差係数を空間領域に復号化
するように構成されており、前記反量子化ブロックと通信している上流ブランチを有
し、当該上位ブランチは内部変換領域表現を維持するよ
うに構成され、前記上流ブランチは、現ブロックを再構
築するために、前記復号化された誤差係数に加算される
ことができる空間領域出力を生成するように構成されて
いることを特徴とするビデオデコーダ。
【請求項５６】前記ビデオデコーダはソフトウェアと
して実行されていることを特徴とする請求項５５に記載
のビデオデコーダ。
【請求項５７】前記ビデオデコーダはハードウェアと
して実行されていることを特徴とする請求項５５に記載
のビデオデコーダ。
【請求項５８】前記入ってくるビットストリームは低
レートビットストリームであることを特徴とする請求項
５５に記載のビデオデコーダ。
【請求項５９】前記上流ブランチはフィードバックル
ープを含み、当該フィードバックループは、フレームバ
ッファ、動き補償ブロック、離散コサイン変換ブロック
を含むことを特徴とする請求項５５に記載のビデオデコ
ーダ。
【請求項６０】前記下流ブランチは、ランレングス復
号ブロック及び逆補償ブロックを含むことを特徴とする
請求項５５に記載のビデオデコーダ。
【請求項６１】逆動き補償のオペレーションは圧縮領
域で実行されることを特徴とする請求項５５に記載のビ
デオデコーダ。
【請求項６２】前記変換領域表現の非零係数は、メモ
リ所要量を減らすために、ビデオデコーダと関連付けら
れるメモリの中にハイブリッドデータ構造で配列される
ことを特徴とする請求項５５に記載のビデオデコーダ。
【請求項６３】前記ハイブリッドデータ構造は、固定
サイズアレイ及び可変サイズオーバーフローベクトルを
含むことを特徴とする請求項６２に記載のビデオデコー
ダ。
【請求項６４】前記逆動き補償は、ハイブリッド因数
分解及び整数近似技法を含むことを特徴とする請求項６
１に記載のビデオデコーダ。
【請求項６５】前記ハイブリッド因数分解及び整数近
似技法は、半画素変換行列には因数分解技法を適用し、
完全画素変換行列には整数近似技法を適用するように構
成されていることを特徴とする請求項６４に記載のビデ
オデコーダ。