JP2005102125A

JP2005102125A - 画像復号方法、画像復号装置

Info

Publication number: JP2005102125A
Application number: JP2004052126A
Authority: JP
Inventors: Hiroshi Kajiwara; 浩梶原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-08-19
Filing date: 2004-02-26
Publication date: 2005-04-14

Abstract

【課題】動画像符号化データの全部または一部を、処理能力に応じて効率良く復号し、視覚的な妨害の少ない良好な再生画質を得ること。
【解決手段】各フレームから、サンプルフレームの符号化画像データを抽出して所定の復号単位で復号し、この復号に係る時間を計測する（Ｓ１９０１）。計測した時間が所定時間以下となるように、復号する復号単位の数を決定する（Ｓ１９０２）。与えられた復号単位の数に従って、各フレームの符号化画像データ復号する（Ｓ１９０４）。各フレームを復号する際に、各フレーム毎の復号に要する時間を計測する（Ｓ１９０５）。上記所定時間とＳ１９０５で計測された時間との差分を、各フレームを復号する毎に累計していき、この累計値が所定値以上となった場合に、Ｓ１９０２で決定した復号単位の数を更新する（Ｓ１９０７）。Ｓ１９０４では、Ｓ１９０２で決定した復号単位の数、もしくはＳ１９０７で更新した復号単位の数に従って、各フレームの符号化画像データ復号する。
【選択図】図１２

Description

本発明は、各フレームの画像が符号化された動画像データを入力して、各フレームの符号化画像データを復号する技術に関するものである。

一般に、動画像データの符号化方式は、フレーム間の相関を利用するものとしないものとに大別することができる。それぞれの方式には長所及び短所が存在し、どちらの方式が適しているかということは使用するアプリケーション次第である。例えば、ＭｏｔｉｏｎＪＰＥＧは、動画像データの各フレームを一枚の静止画像としてとらえて独立に符号化する方式であり、フレーム間の相関を用いない符号化方式の一例である。フレーム毎に独立に符号化することによって、動画像の分割、連結、部分的な書き換えなどの動画編集が容易であることや、復号側の処理能力に応じて復号フレーム数を選択して復号することが可能であるという利点がある。

近年、動画像データをフレーム毎独立に符号化する符号化方式において、各フレームをウェーブレット変換とビットプレーン符号化とを組み合わせて符号化する方式が注目を集めている。このような動画像符号化方式には、ウェーブレット変換におけるサブバンド分解の仕組みを利用して空間解像度を段階的に変えた復号が可能であること、また、復号ビットプレーン数を変えることにより、復号画素精度を段階的に変更することが可能である等の大きな特徴がある。

ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１で標準化作業が進められている画像符号化方式であるＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ１５４４４）もウェーブレット変換とビットプレーン符号化との組み合わせにより構成されている。同標準のＰａｒｔ３では、ＭｏｔｉｏｎＪＰＥＧ２０００の名称で、動画像の各フレームの符号化に適用した場合のファイルフォーマットの規定を行っている。

ＭｏｔｉｏｎＪＰＥＧ２０００に代表されるこのような動画像符号化方式は、前述のように復号解像度、復号画素精度の柔軟性といった利点がある一方で、ビットプレーン符号化による符号化・復号処理の負荷が高いという欠点がある。特に、専用の動画像記録装置で記録した映像をパーソナルコンピュータで再生する場合に、コンピュータの性能によっては、全データを実時間で復号・表示することはできないという問題が起こる。

このような問題に対して従来から、フレームを復号するのに所望の復号処理時間を定めて符号化処理単位に復号処理時間を割り振り、割り振られた復号処理時間でビットプレーン単位に復号する方法が開示されている（例えば特許文献１を参照）。
特開２００１−１１２００４号公報

しかしながら、上記方法によると、所定の時間で復号処理を打ち切る動画像復号装置では、フレーム毎に復号処理打ち切りのポイント（復号ビットプレーン数）が変化しやすいため、動画像として再生した場合に歪みの形状の時間変化を生じ、これがフリッカ（ちらつき）として視覚上の妨害要因となるという問題がある。

本発明は以上の問題に鑑みて成されたものであり、動画像符号化データの全部または一部を、処理能力に応じて効率良く復号し、視覚的な妨害の少ない良好な再生画質を得る技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の画像復号方法は以下の構成を備える。

即ち、各フレームの画像が符号化された動画像データを入力して、各フレームの符号化画像データを復号する画像復号方法であって、
前記各フレームから、サンプルフレームの符号化画像データを抽出して所定の復号単位で復号するサンプルフレーム復号工程と、
前記サンプルフレームの符号化画像データの復号に係る時間を計測する第１の計測工程と、
前記第１の計測工程で計測した時間が所定時間以下となるように、復号する復号単位の数を決定する決定工程と、
与えられた復号単位の数に従って、各フレームの符号化画像データ復号する復号工程と、
前記復号工程で前記各フレームを復号する際に、各フレーム毎の復号に要する時間を計測する第２の計測工程と、
前記所定時間と前記第２の計測工程で計測された時間との差分を、各フレームを復号する毎に累計していき、当該累計値が所定値以上となった場合に、前記決定工程で決定した復号単位の数を更新する更新工程とを備え、
前記復号工程では、前記決定工程で決定した復号単位の数、もしくは前記更新工程で更新した復号単位の数に従って、各フレームの符号化画像データ復号することを特徴とする。

本発明の目的を達成するために、例えば本発明の画像復号装置は以下の構成を備える。

即ち、各フレームの画像が符号化された動画像データを入力して、各フレームの符号化画像データを復号する画像復号装置であって、
前記各フレームから、サンプルフレームの符号化画像データを抽出して所定の復号単位で復号するサンプルフレーム復号手段と、
前記サンプルフレームの符号化画像データの復号に係る時間を計測する第１の計測手段と、
前記第１の計測手段が計測した時間が所定時間以下となるように、復号する復号単位の数を決定する決定手段と、
与えられた復号単位の数に従って、各フレームの符号化画像データ復号する復号手段と、
前記復号手段によって前記各フレームを復号する際に、各フレーム毎の復号に要する時間を計測する第２の計測手段と、
前記所定時間と前記第２の計測手段により計測された時間との差分を、各フレームを復号する毎に累計していき、当該累計値が所定値以上となった場合に、前記決定手段が決定した復号単位の数を更新する更新手段とを備え、
前記復号手段は、前記決定手段が決定した復号単位の数、もしくは前記更新手段が更新した復号単位の数に従って、各フレームの符号化画像データ復号することを特徴とする。

本発明の構成によれば、動画像符号化データの全部または一部を、処理能力に応じて効率良く復号し、視覚的な妨害の少ない良好な再生画質を得ることができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

本発明の画像復号装置の好適な実施形態について説明する前に先ず、本発明の画像復号装置において復号対象となる動画像符号化データについて説明する。

図１は、以下の実施形態で用いる画像復号装置が復号する対象となる動画像符号化データを生成する動画像符号化装置の機能構成を示す図である。

本動画像符号化装置は、ウェーブレット変換とビットプレーン符号化とを組み合わせた符号化方式を用いて、動画像を構成する各フレームを独立に符号化する。図１を用いて、動画像符号化装置における符号化処理の流れについて簡単に説明する。図１に示すようにこの動画像符号化装置は、動画像データ入力部２０１、離散ウェーブレット変換部２０２、係数量子化部２０３、ビットプレーン符号化部２０４、符号列形成部２０５、そして２次記憶装置２０６、信号線２０７を備えている。

次に、図１に示される動画像符号化装置の各構成要素の動作について説明する。尚、ここで扱う動画像は、１秒あたり３０フレームであって、各フレームの画像は各画素の輝度値が８ビットのモノクロ動画像データであるとする。よってこのような動画像のデータを、４秒分（合計１２０フレーム）動画像符号化装置に取り込み、符号化するものとして説明する。すなわち、本動画像符号化装置では、動画像データ入力部２０１から入力される１秒あたり３０フレームの動画像データをフレーム単位に符号化し、最終的に２次記憶装置２０６に符号化データを格納するものである。

まず、動画像データ入力部２０１から１秒あたり３０フレームであって、４秒分の動画像データが入力される。動画像データ入力部２０１は、例えばディジタルカメラ等の撮像部分であって、ＣＣＤ等の撮像デバイスとガンマ補正、シェーディング補正等の各種画像調整回路とによって実現することが可能である。動画像データ入力部２０１は、入力された動画像データを１フレームずつ離散ウェーブレット変換部２０２に送る。尚、以降の説明において、便宜上各フレームデータには、入力された順に１から番号を与えて、例えばフレーム１、フレーム２、…というような番号で各フレームを識別するようにする。また、各フレームにおける水平方向の画素位置（座標）をｘ、垂直方向の画素位置をｙとし、画素位置（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）で表す。

動画像データ入力部２０１から入力された１フレームの画像データは、離散ウェーブレット変換部２０２でそれぞれ不図示の内部バッファに適宜格納され、２次元離散ウェーブレット変換が行われる。２次元離散ウェーブレット変換は、１次元の離散ウェーブレット変換を水平及び垂直方向それぞれに適用することにより実現するものである。図２は、１フレームの画像データに対して２次元離散ウェーブレット変換を施して４つのサブバンドを生成する処理を説明する図である。

図２（ａ）は符号化対象の画像データを示す図である。同図に示されるような符号化対象画像に対して、まず垂直方向に１次元離散ウェーブレット変換を適用し、図２（ｂ）に示されるように低周波サブバンドＬと高周波サブバンドＨとに分解する。

次に、それぞれのサブバンドに対して水平方向の１次元離散ウェーブレット変換を適用することにより、図２（ｃ）に示されるようなＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解する。

本動画像符号化装置の離散ウェーブレット変換部２０２では、上述した２次元離散ウェーブレット変換により得られたサブバンドＬＬに対して、さらに繰り返し２次元離散ウェーブレット変換を適用する。これによって、符号化対象画像をＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２の７つのサブバンドに分解することができる。図３は、２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを示す図である。

尚、本動画像符号化装置では、各サブバンド内の係数をＣ（Ｓｂ，ｘ，ｙ）と表す。ここで、Ｓｂはサブバンドの種類を表し、ＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２のいずれかである。また、（ｘ，ｙ）は各サブバンド内の左上隅の係数位置を（０，０）としたときの水平方向及び垂直方向の係数位置（座標）を表す。

本動画像符号化装置は、離散ウェーブレット変換部２０２におけるＮ個の１次元信号ｘ（ｎ）（但し、ｎは０〜Ｎ−１の整数）に対する１次元離散ウェーブレット変換として２つの方法を備える。一つは式（１）、（２）に示す整数型５ｘ３フィルタによる変換であり、もう一つは式（３）、（４）に示す実数型５ｘ３フィルタによる変換である。

ｈ（ｎ）＝ｘ（２ｎ＋１）
−ｆｌｏｏｒ｛（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２｝（１）
ｌ（ｎ）＝ｘ（２ｎ）
＋ｆｌｏｏｒ｛（ｈ（ｎ−１）＋ｈ（ｎ）＋２）／４｝（２）
ｈ（ｎ）＝ｘ（２ｎ＋１）
−（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２（３）
ｌ（ｎ）＝ｘ（２ｎ）
＋（ｈ（ｎ−１）＋ｈ（ｎ））／４（４）
また、ｈ（ｎ）は高周波サブバンドの係数、ｌ（ｎ）は低周波サブバンドの係数、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。尚、式（１）、（２）及び式（３）、（４）の計算において必要となる１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）におけるｘ（ｎ）は、公知の方法により１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。

整数型５ｘ３フィルタと実数型５ｘ３フィルタのいずれを適用するかは、信号線２０７を介して装置外部から入力されるフィルタ選択信号によって、フレーム単位に指定することができる。例えば、信号線２０７から入力されるフィルタ選択信号が‘０’である場合、着目するフレームを整数型５ｘ３フィルタによって分解し、フィルタ選択信号が‘１’である場合、着目するフレームを実数型５ｘ３フィルタによって分解するといった具合である。

係数量子化部２０３では、離散ウェーブレット変換部２０２で生成された各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）を用いて量子化する。ここで、量子化された係数値をＱ（Ｓ，ｘ，ｙ）と表す場合、係数量子化部２０３で行われる量子化処理は式（５）により表すことができる。

Ｑ（Ｓ，ｘ，ｙ）＝ｓｉｇｎ｛Ｃ（Ｓ，ｘ，ｙ）｝
×ｆｌｏｏｒ｛｜Ｃ（Ｓ，ｘ，ｙ）｜／ｄｅｌｔａ（Ｓ）｝（５）
ここで、ｓｉｇｎ｛Ｉ｝は整数Ｉの正負符号を表す関数であり、Ｉが正の場合は１を、負の場合は−１を返す。また、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。但し、上述の量子化処理は離散ウェーブレット変換部２０２において実数型５ｘ３フィルタが選択され、使用された場合にのみ適用されるものであり、信号線２０７から入力されるフィルタ選択信号により整数型５ｘ３フィルタが選択されている場合には係数Ｃ（Ｓ，ｘ，ｙ）を量子化された係数値として出力する。即ちこの場合、Ｑ（Ｓ，ｘ，ｙ）＝Ｃ（Ｓ，ｘ，ｙ）となる。

ビットプレーン符号化部２０４は、係数量子化部２０３において量子化された係数値Ｑ（Ｓ，ｘ，ｙ）を符号化する。尚、各サブバンドの係数をブロック分割し、別々に符号化することによりランダムアクセスを容易にする方法など符号化手法として様々な手法が提案されているが、ここでは説明を簡単にするためにサブバンド単位に符号化する。

各サブバンドの量子化された係数値Ｑ（Ｓ，ｘ，ｙ）（以降、単に「係数値」と称す。）の符号化は、サブバンド内の係数値Ｑ（Ｓ，ｘ，ｙ）の絶対値を自然２進数で表現し、上位の桁から下位の桁へとビットプレーン方向を優先して二値算術符号化することにより行われる。各サブバンドの係数値Ｑ（Ｓ，ｘ，ｙ）を自然２進表記した場合の下からｎ桁目のビットをＱｎ（ｘ，ｙ）と表記して説明する。尚、２進数の桁を表す変数ｎをビットプレーン番号と呼ぶこととし、ビットプレーン番号ｎはＬＳＢ（最下位ビット）を０桁目とする。

図４は、ビットプレーン符号化部２０４でサブバンドＳを符号化する処理手順を説明するためのフローチャートである。図４に示すように、まず、符号化対象となるサブバンドＳ内の係数の絶対値を調べ、その最大値Ｍａｂｓ（Ｓ）を求める（ステップＳ６０１）。次に、サブバンド内の係数の絶対値を表すためにＭａｂｓ（Ｓ）を２進数で表現する場合に必要となる桁数Ｎ_ＢＰ（Ｓ）を式（６）を用いて求める（ステップＳ６０２）。

Ｎ_ＢＰ（Ｓ）＝ｃｅｉｌ｛ｌｏｇ２（Ｍａｂｓ（Ｓ＋１））｝（６）
但し、ｃｅｉｌ｛Ｒ｝は実数Ｒ以上の最小の整数値を表すものとする。

次に、ビットプレーン番号ｎに有効桁数Ｎ_ＢＰ（Ｓ）を代入する（ステップＳ６０３）。そして、ビットプレーン番号ｎから１を引いてｎ−１を求めてｎに代入する（ステップＳ６０４）。

さらに、ｎ桁目のビットプレーンを二値算術符号を用いて符号化する（ステップＳ６０５）。ビットプレーン内の各ビットを符号化する際には、符号化済みの情報からいくつかの状態（コンテクスト）に分類し、それぞれ異なる出現確率予測モデルで符号化する。本動画像符号化装置においては、使用する算術符号としてＭＱ−Ｃｏｄｅｒを用いる。このＭＱ−Ｃｏｄｅｒを用いて、ある状態（コンテクスト）Ｓで発生した二値シンボルを符号化する手順、或いは、算術符号化処理のための初期化手順、終端手順については、静止画像の国際標準ＩＳＯ／ＩＥＣ１５４４４−１勧告等に詳細に説明されているのでここでは説明を省略する。

また、本動画像符号化装置では、各ビットプレーンの符号化の開始時に算術符号化器を初期化し、終了時に算術符号化器の終端処理を行うものとする。また、個々の係数の最初に符号化される「１」の直後に、その係数の正負符号を０、１で表し、算術符号化する。ここでは、正の場合は０、負の場合は１とする。例えば、係数が−５で、この係数の属するサブバンドＳの有効桁数Ｎ_ＢＰ（Ｓ）が６の場合、係数の絶対値は２進数０００１０１で表され、各ビットプレーンの符号化により上位桁から下位桁へと符号化される。そして、２番目のビットプレーンの符号化時（この場合、上から４桁目）に最初の「１」が符号化され、この直後に正負符号「１」を算術符号化する。

次に、ビットプレーン番号ｎが０であるか否かを判定する（ステップＳ６０６）。その結果、ｎが０、すなわちステップＳ６０５においてＬＳＢプレーンの符号化を行った場合、サブバンドの符号化処理を終了する。また、それ以外の場合、ステップＳ６０４に処理を移す。

上述した処理によって、サブバンドＳの全係数を符号化することができ、各ビットプレーンｎに対応する符号列ＣＳ（Ｓ，ｎ）を生成することができる。生成した符号列ＣＳ（Ｓ，ｎ）は、符号列形成部２０５に送られ、符号列形成部２０５内の不図示のバッファに一時的に格納される。

符号列形成部２０５では、ビットプレーン符号化部２０４により全サブバンドの係数の符号化が終了して全符号列が内部バッファに格納されると、所定の順序で内部バッファに格納される符号列を読み出す。そして、必要な付加情報を挿入して、１枚のフレームに対応する符号列を形成し、２次記憶装置２０６へと出力する。

符号列形成部２０５で生成される最終的な符号列は、ヘッダと、レベル０、レベル１及びレベル２の３つに階層化された符号化データとにより構成される。ヘッダには画像の水平方向、垂直方向の画素数や、２次元離散ウェーブレット変換の適用回数、選択されたフィルタを指定する情報、各サブバンドの量子化ステップｄｅｌｔａ（Ｓ）など、復号に必要となる付加情報が格納される。

レベル０の符号化データは、サブバンドＬＬの係数を符号化して得られるＣＳ（ＬＬ，Ｎ_ＢＰ（ＬＬ）−１）からＣＳ（ＬＬ，０）の符号列で構成される。

また、レベル１は、ＬＨ１、ＨＬ１、ＨＨ１の各サブバンドの係数を符号化して得られる符号列ＣＳ（ＬＨ１，Ｎ_ＢＰ（ＬＨ１）−１）からＣＳ（ＬＨ１，０）、ＣＳ（ＨＬ１，Ｎ_ＢＰ（ＨＬ１）−１）からＣＳ（ＨＬ１，０）、ＣＳ（ＨＨ１，Ｎ_ＢＰ（ＨＨ１）−１）からＣＳ（ＨＨ１，０）で構成される。

さらに、レベル２は、ＬＨ２、ＨＬ２、ＨＨ２の各サブバンドの係数を符号化して得られる符号列ＣＳ（ＬＨ２，Ｎ_ＢＰ（ＬＨ２）−１）からＣＳ（ＬＨ２，０）、ＣＳ（ＨＬ２，Ｎ_ＢＰ（ＨＬ２）−１）からＣＳ（ＨＬ２，０）、ＣＳ（ＨＨ２，Ｎ_ＢＰ（ＨＨ２）−１）からＣＳ（ＨＨ２，０）で構成される。

図５は、符号列形成部２０５において生成される１枚のフレームデータに対応する符号列の細部構造を示す図である。

このようにして構成された符号列は、復号側でヘッダとレベル０の符号化データを復号することにより元の１／４の解像度の復元画像を得ることができる。また、レベル１の符号化データを加えて復号することにより元の１／２の解像度の復元画像を得ることができる。さらに、レベル２の符号化データまで加えて復号した場合には、元の解像度の復元画像を得ることができるというように、徐々に解像度を上げて画像を復号することができる。

一方、各レベルのビットプレーン符号化データの、上位のいくつかのビットプレーンのみを復号した場合には荒い復号画像を、下位のビットプレーンへと復号対象を増やしていった場合には、徐々に精度を上げて各サブバンドの変換係数を復元することができ、復号画質を向上させることが可能となる。

２次記憶装置２０６は、例えば、ハードディスクやメモリといった記憶装置であり、符号列形成部２０５で生成された符号列を内部に格納する。２次記憶装置２０６では符号列形成部２０５から出力される各フレームの符号列が連結され、動画像データの符号化データが構成される。

以上の動画像符号化装置によって符号化された各フレームの符号化データを復号する、本発明の画像復号装置の好適な実施形態について以下に説明する。

［第１の実施形態］
図１４は本実施形態に係る画像復号装置の基本構成を示す図である。

１４０１はＣＰＵで、ＲＡＭ１４０２やＲＯＭ１４０３に記憶されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する画像復号処理を実行する。

１４０２はＲＡＭで、外部記憶装置１４０７や記憶媒体ドライブ１４０８、若しくはＩ／Ｆ１４０９を介して外部装置からダウンロードされたプログラムやデータを記憶する為のエリアを備えると共に、ＣＰＵ１４０１が各種の処理を実行する際に使用するワークエリアも備える。

１４０３はＲＯＭで、ブートプログラムや本装置の設定プログラムやデータを格納する。

１４０４、１４０５は夫々キーボード、マウスで、ＣＰＵ１４０１に対して各種の指示を入力することができる。

１４０６は表示装置で、ＣＲＴや液晶画面などにより構成されており、画像や文字などの情報を表示することができる。

１４０７は外部記憶装置で、ハードディスクドライブ装置等の大容量情報記憶装置であって、ここにＯＳや後述する画像復号処理の為のプログラム、復号対象の画像を各フレームとする動画像の符号化データなどが保存されており、ＣＰＵ１４０１による制御によって、これらのプログラムやデータはＲＡＭ１４０２上の所定のエリアにロードされる。

１４０８は記憶媒体ドライブで、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出してＲＡＭ１４０２や外部記憶装置１４０７に出力するものである。なお、この記憶媒体に後述する画像復号処理の為のプログラム、復号対象の画像を各フレームとする動画像のデータなどを記録しておいても良く、その場合、記憶媒体ドライブ１４０８は、ＣＰＵ１４０１による制御によって、これらのプログラムやデータをＲＡＭ１４０２上の所定のエリアにロードする。

１４０９はＩ／Ｆで、このＩ／Ｆ１４０９によって外部装置を本装置に接続し、本装置と外部装置との間でデータ通信を可能にするものである。例えは上記動画図符号化装置をＩ／Ｆ１４０９に接続し、上記動画像符号化装置によって生成された動画像の符号化データを本装置のＲＡＭ１４０２や外部記憶装置１４０７に入力することもできる。

１４１０は上述の各部を繋ぐバスである。

図９は、本実施形態に係る画像復号装置の機能構成を示すブロック図である。図１と同じ部分については同じ番号を付けている。図９に示すように、本実施形態に係る画像復号装置は、符号列読み出し部１０１、ビットプレーン復号部１０２、逆離散ウェーブレット変換部１０４、動画像データ出力部１０５、復号処理時間計測部１０６、非復号サブバンド決定部１０７とを備える。なお、図９に示す構成はハードウェアにより実現しても良いが、本実施形態では図９に示す各部は、各部の機能をコンピュータに実現させるプログラムにより実現するものとし、このプログラムは上記外部記憶装置１４０７や記憶媒体ドライブ１４０８、もしくはＩ／Ｆ１４０９を介して外部装置からＲＡＭ１４０２にロードされるものとする。

また、同図において２０５は前述の２次記憶装置であって、ここから動画像の符号化データを本装置に入力するのであるが、この２次記憶装置２０６は例えば上記外部記憶装置１４０７や記憶媒体ドライブ１４０８、もしくはＩ／Ｆ１４０９を介して本装置に接続される外部装置であって、これらの何れかから動画像の符号化データをＲＡＭ１４０２にロードするものとする。なお、この動画像の符号化データは上述の通り、上記動画像符号化装置によって生成されたものである。

以下、図９を参照して、本実施形態に係る画像復号装置が行う処理について説明する。

本実施形態に係る画像復号装置の復号対象とする動画像符号化データは、前述の動画像符号化装置により生成されたものであるが、この動画像符号化データの生成にあたっては、全てのフレームで整数型５ｘ３フィルタを使用する。すなわち、前述した動画像符号化装置の信号線２０７から整数型５ｘ３フィルタを選択する信号を入力して動画像データの符号化を行う。

本実施形態に係る画像復号装置はまず最初に、復号対象となる動画像符号化データから任意のフレームの符号化画像データをサンプルとして取り出して復号し、各サブバンドの復号処理に要する時間を測定して復号処理時間の見積もりを行う。

一般に動画像符号化データの復号は、動画像符号化データ中のフレームを単位に行われる。図９に示した符号列読み出し部１０１は、２次記憶装置２０６に格納されている動画像符号化データから着目するフレームの符号化データを読み出し、ＲＡＭ１４０２に格納する。読み出しは基本的にフレーム１、フレーム２というように順番に行われるが、本実施形態では、各サブバンドの復号処理に要する時間を測定して復号処理時間の見積もりを行う為に、復号処理の開始時にはまず、任意のフレームの符号化データをサンプルとして読み出してＲＡＭ１４０２に格納する。以下の説明では復号処理時間の見積もりを行うために復号するフレーム（以下、サンプルフレーム）を便宜上６０フレーム目とするが、これに限定されるものではない。

ビットプレーン復号部１０２は、ＲＡＭ１４０２に格納された符号化データをサブバンド順に読み出して、量子化された変換係数データＱ（Ｓ，ｘ，ｙ）を復号する。ビットプレーン復号部１０２における処理は、図２に示されるビットプレーン符号化部２０４が行った処理の逆の処理である。

すなわち、ビットプレーン符号化部２０４では、上位のビットプレーンから下位のビットプレーンへと係数の絶対値の各ビットを所定のコンテクストにより二値算術符号化していた。これに対しビットプレーン復号部１０２では、同様に上位のビットプレーンから下位のビットプレーンへと符号化時と同じコンテクストにより二値算術符号化データの復号を行い、係数の各ビットを復元する。また、係数の正負符号については符号化時と同じタイミングで、同じコンテクストを用いて算術符号の復号を行うようにする。

但し、このとき非復号サブバンド決定部１０７からは各サブバンド毎に復号するか否かを表すデータＦ（Ｓ）が入力され、ビットプレーン復号部１０２はこのデータＦ（Ｓ）を参照し、Ｆ（Ｓ）＝１であるサブバンドＳについては各ビットプレーンの復号を行い、Ｆ（Ｓ）＝０のサブバンドＳについては復号しない。このＦ（Ｓ）のデータは非復号サブバンド決定部１０７によって生成されるのであるが、この生成については後述する。

なお、本実施形態に係る画像復号装置が最初に復号するサンプルフレームについては全てのサブバンドＳに対してＦ（Ｓ）＝１とし、全てのサブバンドの復号を行う。サンプルフレームについてのＦ（Ｓ）のデータはＲＡＭ１４０２に予めロードされているものとする。

逆離散ウェーブレット変換部１０４では、図１の離散ウェーブレット変換部２０２が行うウェーブレット変換処理の逆変換が行われ、フレームのデータを復元する。本実施形態では上述の通り、全てのフレームで整数型５ｘ３フィルタを使用して生成される動画像符号化データを復号対象とするので、式（１）、（２）に対応する逆変換を行う。

そして、動画像データ出力部１０５は、逆離散ウェーブレット変換部１０４から出力される復元画像データを、Ｉ／Ｆ１４０９を介して外部の装置に出力したり、表示装置１４６０に出力したりする。但し、本実施形態に係る画像復号装置で最初に復号されるサンプルフレームのデータは復号処理時間の推定のために復号したものであるため、復号フレームデータを破棄し、出力しない。

動画像の再生表示を行う場合には、各フレームデータは所定の時間に表示される。逆離散ウェーブレット変換１０４からの出力は、復号処理に掛かる時間により左右されるので表示すべき時間と同期するものではない。このため、復号したフレームデータをバッファに格納して表示時間との調整が必要になる。例えば、動画像データ出力部１０５で復元画像データをＩ／Ｆ１４０９を介して外部の装置に出力し、表示時間との調整のためのバッファ格納処理を本第１の実施形態の動画像復号装置の外部で行うようにしても良いし、動画像データ出力部１０５の内部で行うようにしても良い。

動画像データ出力部１０５の具体例として、動画像データ出力部１０５にディスプレイを接続し、動画像表示を行う場合について説明する。図１５は動画像データ出力部１０５の一形態と、ディスプレイへの接続を示す図である。

同図において１６０１は複数のフレームデータを格納することが可能なバッファ、１６０２はディスプレイインターフェース、１６０３はディスプレイである。ディスプレイ１６０３は図１４の表示装置１４０６に相当し、ディスプレイインターフェース１６０２とディスプレイ１４０６との接続線はバス１４１０に相当する。バッファ１６０１は逆離散ウェーブレット変換部１０４から可変の時間間隔で出力される復元画像データを、順番に格納する。復元画像データ格納の際には格納する復元画像データのフレーム番号と格納するアドレスを保持し、後から順番に取り出せるようにしておく。ディスプレイインターフェース１６０２は動画像データのフレームレートに応じて一定の時間間隔（例えば秒あたり３０フレームの動画像であるならば１／３０秒おき）でバッファ１６０１から復元画像データを順番に取り出し、ディスプレイ１６０３へと表示する。取り出したフレームデータはバッファ１６０１から消去される。バッファ１６０１は、逆離散ウェーブレット変換部１０４からの復元画像データの入力と、ディスプレイインターフェースによるデータ取り出しの時間間隔の違いを調整する役割を果たす。

本実施形態の動画像復号装置では、後述する処理によって、１フレームの復号処理時間の平均が目標復号時間Ｔとなるように制御を行う。しかしながら、各フレームのデータ復元に掛かる時間にはばらつきがあるため、バッファ１６０１に格納されるフレームデータの枚数が変化する。表示時間にフレームデータがバッファに準備されていない状態にならないように、動画復号の開始から所定時間後に再生表示を開始する、あるいは所定のフレーム枚数がバッファに蓄積されてから再生開始するなど、動画再生開始のタイミングを調整する。また、バッファ容量に制約のある場合には、バッファに所定枚数以上のフレームデータが格納されている場合には、フレームデータの復号処理を休止するよう制御することも必要となる。

復号処理時間計測部１０６は、ビットプレーン復号部１０２によってサンプルフレームの各サブバンドの係数を復号する時間（復号時間Ｄｔ（ＳＩ））を測定する。ここでＳＩはサブバンドを特定するインデックス値である。即ち、復号処理時間計測部１０６は、ビットプレーン復号部１０２による復号処理の復号単位を「サブバンド」とした場合に、復号単位毎の復号時間Ｄｔ（ＳＩ）を測定する。そして復号処理時間計測部１０６はこの測定により、図１０に示すようなテーブルを構築し、ＲＡＭ１４０２にこのテーブルのデータを格納する。

図１０はサブバンドインデックスＳＩとサブバンドＳの係数復号時間（復号所要時間）との関係を表すテーブルの構成例を示す図である。Ｄｔ（０）からＤｔ（６）の部分には実際の計測時間が格納される。このテーブルを参照すれば、例えばサブバンドＨＨ１（ＳＩ＝３）の係数復号時間はＤｔ（３）であると特定することができる。

また復号処理時間計測部１０６は、符号列読み出し部１０１が２次記憶装置２０６から１フレーム分の符号化画像データを読み出す開始時から、このフレームの復元された画像データが動画像データ出力部１０５から出力されるまでにかかる時間Ｄｔを「１つのフレームの符号化画像データの復号に係る時間」として計測し、非復号サブバンド決定部１０７へと出力する。本実施形態では復号処理時間計測部１０６は先ずサンプルフレームの符号化画像データの復号に係る時間Ｄｔを計測する。

復号処理時間計測部１０６は、上記動画像において最初のフレーム以外については上記時間Ｄｔを測定し、非復号サブバンド決定部１０７へと出力する。

非復号サブバンド決定部１０７は、復号処理時間計測部１０６から出力されるサンプルフレームの復号処理時間Ｄｔが、１フレームの画像データを復元して出力するまでに要する時間の上限値として予めＲＡＭ１４０２に格納されている値以下となるように、１フレームの符号化画像データを構成する各サブバンドのうち、復号しないサブバンドを決定する処理を行う。より具体的には各サブバンドを復号するか否かを決定する。

ここでＲＡＭ１４０２には本処理の前段で予め、非復号サブバンド数を表す変数Ｍと、各サブバンドを復号するか否かを示す（初期化状態の）復号フラグＦ（Ｓ）のデータと、１フレームの画像データを復元して出力するまでに要する時間の上限値（目標復号処理時間）を表す変数Ｔ、時間差分を表す変数ΔＴが保持されているものとする。

そして後述する処理によって、復号しないサブバンドを決定し、この旨を反映した復号フラグＦ（Ｓ）のデータを生成する。

図１１は各サブバンドＳに対する復号フラグＦ（Ｓ）を表すテーブルの構成例を示す図である。同図は非復号サブバンド数Ｍ＝３である場合のテーブルであり、同図のサブバンドの並びで上から順にＭ個のサブバンドが非復号サブバンドに設定されている。後述する処理では図１１に示すテーブルを作成し、作成したテーブルのデータをＲＡＭ１４０２に格納することを行う。

図１２は、本実施形態に係る画像復号装置による動画像符号化データの復号処理の流れを示すフローチャートである。なお同図に従ったプログラムはＲＡＭ１４０２にロードされており、ＣＰＵ１４０１がこれを実行することで、本実施形態に係る画像復号装置は図１２に示したフローチャートに従った処理を行うことができる。以下、図１２に示したフローチャートを参照して、本実施形態に係る画像復号装置が行う画像復号処理についてより詳細に説明する。

まず、符号列読み出し部１０１によって２次記憶装置２０６から読み出されたサンプルフレームの符号化画像データをビットプレーン復号部１０２、逆離散ウェーブレット変換部１０４によって復号し、復号処理時間計測部１０６によりサンプルフレームの符号化画像データを構成する各サブバンドの復号時間Ｄｔ（ＳＩ）、及びサンプルフレームの符号化画像データを構成する全てのサブバンドの復号を行い、出力するまでに要する時間である復号処理時間Ｄｔを計測する（ステップＳ１９００）。

次に、ステップＳ１９００で求めた各時間を元に、非復号サブバンド決定部１０７にて非復号サブバンド数Ｍを決定する（ステップＳ１９０１）。目標復号処理時間Ｔに対して実際の復号処理時間ＤｔがＤｔ≦Ｔの場合には、各フレームを構成する全てのサブバンドを復号しても１フレームの復号時間が目標復号処理時間内で収まるので、Ｍ＝０（非復号サブバンド数は０、即ち全てのサブバンドを復号する）と設定する。

一方、Ｄｔ＞Ｔの場合、１フレームを構成する全てのサブバンドを復号していては、１フレームの画像データを復元して出力するまでに要する時間が目標復号処理時間内には収まらない。そこで、１フレームを構成する各サブバンドのうち、低解像度のサブバンドから順次非復号サブバンドに含めていく処理を行う。このようにすることで、復号するサブバンドの数を減らすことができるので、１フレームの画像データを復元して出力するまでに要する時間を目標復号処理時間内に納めることができる。

具体的には、Ｄｔ≦Ｔとなるまで、サブバンド番号０から６の順で復号サブバンド数Ｍを減らす。即ち、以下の式を満たす最小のＭを求め、これを非復号サブバンド数Ｍとする（ステップＳ１９０１）。

以上の処理により、各フレームを目標復号処理時間内に復号して出力することができるであろう非復号サブバンド数Ｍを決定する。なお、以上の処理は非復号サブバンド、即ち復号しないサブバンドの数を決定しているが、これは換言すれば復号するサブバンドの数を決定していることに等価である。
次に、各フレームの先頭（ここではフレーム１とする）から順次、各フレームの符号化画像データの復号処理を行うのであるが、その前に、時間差分ΔＴを０に設定する（ステップＳ１９０２）。

次に、非復号サブバンド決定部１０７で、ステップＳ１９０１で決定した非復号サブバンド数Ｍに基づいて復号フラグＦ（Ｓ）を決定する（ステップＳ１９０３）。ステップＳ１９０３における処理を図１１のテーブルを例に取り説明すると、例えばステップＳ１９０１でＭ＝３と決定した場合、Ｓ＝ＨＨ２，ＬＨ２，ＨＬ２に対応するＦ（Ｓ）、即ち上から３つのＦ（Ｓ）が０となり、それ以外のＦ（Ｓ）は１となる。このようにして生成したテーブルのデータは上述の通りＲＡＭ１４０２に格納する。

続いて、符号列読み出し部１０１は２次記憶装置２０６から各フレームの符号化画像データを読み出して後段のビットプレーン復号部１０２に出力し、ビットプレーン復号部１０２はＦ（Ｓ）のテーブルのデータを参照して、符号列読み出し部１０１から入力される各フレームの符号化画像データにおいて、復号すべきサブバンドにおけるビットプレーンのみを復号し、更に、その復号結果を用いて逆離散ウェーブレット変換部１０４は逆離散ウェーブレット変換を行い、各フレームの復号結果、即ち各フレームの画像データが動画像データ出力部１０５に出力される（ステップＳ１９０４）。

復号処理時間計測部１０６はステップＳ１９０４における一連の処理に係った時間（ステップＳ１９０４で行われた、１フレームの画像データを復元して出力するまでに要する時間）Ｄｔを計測し、非復号サブバンド決定部１０７に通知する（ステップＳ１９０５）。

非復号サブバンド決定部１０７は、１フレームの目標復号時間Ｔと実際にかかった復号処理時間Ｄｔの差分を求め、保持している時間差分ΔＴに加算する（ステップＳ１９０６）。この時間差分Δｔには１フレームの符号化画像データを復号する毎に、「１フレームの目標復号時間Ｔと実際にかかった復号処理時間Ｄｔとの差分」が累計されていく。

次に、ΔＴの値に応じて非復号サブバンド数Ｍを更新する（ステップＳ１９０７）。即ち、予め求められ、ＲＡＭ１４０２に格納されている値Ｄｔ（Ｍ−１）×ｎよりもΔＴが大きければ、変数Ｍが保持する値、即ち非復号サブバンド数から１を減じ、変数Ｍの値を小さくする。

ｎはあらかじめ定めた任意の数であり、大きい値ほど復号サブバンド数の変化は起こりにくくなる。ΔＴが所定の閾値（本実施形態ではＤｔ（Ｍ−１）×ｎ）よりも大きくなるのは、目標復号処理時間Ｔの総和（これまでの復号処理の回数をＧとおくとＴ×Ｇ）に対して実際にかかった復号時間Ｄｔの総和（これまでの復号処理の回数をＧとおくとＤｔ×Ｇ）が小さい場合であり、その場合、まだいくつか余分にサブバンドを復号する時間の余裕があると判断することができる。

よって、復号画質を向上させるために非復号サブバンド数Ｍの値を１つ小さくする（換言すれば、復号するサブバンドの数を１つ増やす）。なお、非復号サブバンド数を減じる数は「１」に限定されるものではなく、閾値の値によっては、「２」以上の数を用いても良い。

ここで、本実施形態において閾値として用いるＤｔ（Ｍ−１）×ｎは非復号サブバンド数Ｍを一つ少なくしたことにより、新たに復号対象となるであろうサブバンドの復号所要時間の目安である。

また、反対に、予め求められ、ＲＡＭ１４０２に格納されている値Ｌｑ（Ｌｑ＜０）よりもΔＴが小さければ、Ｍに１を加えて、値を大きくする。

ΔＴが所定の閾値（本実施形態ではＬｑ）よりも小さくなるのは、目標復号処理時間Ｔの総和（これまでの復号処理の回数をＧとおくとＴ×Ｇ）に対して実際にかかった復号時間Ｄｔの総和（これまでの復号処理の回数をＧとおくとＤｔ×Ｇ）が大きい場合であり、その場合、全体の処理に遅れが生じていると判断することができる。

従って、１フレームの復号時間を短縮するために非復号サブバンド数を増やす。但しＭの値の範囲は０から７までとし、上述の更新処理により０より小さくなった場合には０、７より大きくなった場合には７とする。

以上のステップＳ１９０４からステップＳ１９０８までの処理は上記動画像の全てのフレーム（若しくはキーボード１４０２やマウス１４０５等により指定されたフレーム数分）について行い、全てのフレームについて行った場合には、本処理を終了し、全てのフレームについて行っていない場合には処理をステップＳ１９０４に戻し、以降の処理を繰り返す。

以上の処理によって、復号単位であるサブバンドの数を決めて復号処理を行うことができる。

以上の説明により、本実施形態に係る画像復号装置によって、予めサブバンドの復号所要時間を見積もっておき、この復号所要時間と、１フレームの復号処理にかかる時間と目標復号時間の差分から、非復号サブバンド数Ｍを決めることで、再生画像の視覚上の不具合をできるだけ抑制して、復号処理時間を制御することができる。

［第２の実施形態］
第１の実施形態では１フレームの復号時間を所定時間内に納めるためにサブバンド毎の復号所要時間を見積もり、非復号サブバンド数を決定した。即ち復号単位をサブバンドとした。本実施形態では同様の目的を達成するために、この復号単位を「ビットプレーン」とし、復号画質を段階的に制御するパラメータ（以降、Ｑファクタと呼ぶ）を設定して、各Ｑファクタの復号所要時間を見積もり、非復号ビットプレーン数を決定する。本実施形態の画像復号装置では０から９までの１０段階のＱファクタとし、あらかじめ各Ｑファクタ毎に各サブバンドの非復号ビットプレーン数を定める。Ｑファクタの例については後述する。

また、本実施形態の画像復号装置では、実数型５ｘ３フィルタを使用してサブバンド分解を行った画像符号化データを復号対象とする。即ち、前述した動画像符号化装置において信号線２０７から実数型５ｘ３フィルタを選択する信号を入力して、動画像の各フレームを符号化する。また、各フレームの画像を符号化する際に用いた、各サブバンドの量子化ステップＤｅｌｔａ（Ｓ）を全フレームで同一とする。

また、本実施形態に係る画像復号装置の基本構成については第１の実施形態と同じ、即ち、図１４に示した構成と同じものとする。

図７は、本実施形態に係る画像復号装置の機能構成を示すブロック図である。図１、９と同じ部分については同じ番号を付けている。図７に示すように、本実施形態に係る画像復号装置は、符号列読み出し部９０４、ビットプレーン復号部１０２、係数逆量子化部９０１、逆離散ウェーブレット変換部９０２、動画像データ出力部１０５、復号処理時間計測部１０６、非復号ビットプレーン決定部９０３とを備える。なお、図７に示す構成はハードウェアにより実現しても良いが、本実施形態では図７に示す各部は、各部の機能をコンピュータに実現させるプログラムにより実現するものとし、このプログラムは上記外部記憶装置１４０７や記憶媒体ドライブ１４０８、もしくはＩ／Ｆ１４０９を介して外部装置からＲＡＭ１４０２にロードされるものとする。

以下、図７を参照して、本実施形態に係る画像復号装置が行う処理について説明する。

本実施形態に係る画像復号装置はまず最初に、復号対象となる動画像符号化データから任意のフレームの符号化画像データをサンプルとして取り出して、様々な値のＱファクタで復号し、夫々のＱファクタの値に応じた復号時間を測定する。

一般に動画像符号化データの復号は、動画像符号化データ中のフレームを単位に行われる。図７に示した符号列読み出し部９０４は、２次記憶装置２０６に格納されている動画像符号化データから着目するフレームの符号化データを読み出し、ＲＡＭ１４０２に格納する。読み出しは基本的にフレーム１、フレーム２というように順番に行われるが、本実施形態では、各フレームの復号処理を行う前に、上記サンプルとしてのフレームの符号化画像データを様々な値のＱファクタで復号し、夫々のＱファクタの値に応じた復号時間を測定するために、任意のフレームの符号化データをサンプルとして読み出してＲＡＭ１４０２に格納する。以下の説明ではこのフレーム（以下、サンプルフレーム）を便宜上６０フレーム目とするが、これに限定されるものではない。

また、符号列読み出し部９０４はフレームの符号化画像データを読み出した際には、この符号化画像データのヘッダを参照し、ここから各サブバンドの符号化時の量子化ステップｄｅｌｔａ（Ｓ）を読み出し、ＲＡＭ１４０２に格納する処理も行う。

ビットプレーン復号部１０２は、ＲＡＭ１４０２に格納された符号化データをサブバンド順に読み出し、第１の実施形態と同様の処理を行って、量子化された変換係数データＱ（Ｓ，ｘ，ｙ）を復号する。ビットプレーン復号部１０２における処理は、図２に示されるビットプレーン符号化部２０４が行った処理の逆の処理である。

ここで、第１の実施形態では、非復号サブバンド決定部１０７が各サブバンド毎に復号するか否かを示すデータＦ（Ｓ）を決定し、ビットプレーン復号部１０２は各フレームについてビットプレーン復号処理を行う際に、Ｆ（Ｓ）に従って、各サブバンド毎に復号／非復号を切り替えていた。

本実施形態では、非復号ビットプレーン決定部９０３が各サブバンド毎に、下位何ビットのビットプレーンの復号を行わないかを示す「非復号ビットプレーン数ＮＤ（Ｓ）」を決定する。ＮＤ（Ｓ）は、サブバンドＳの下位ＮＤ（Ｓ）ビット分のビットプレーンについては復号処理を行わないことを示すデータである。

従って、ビットプレーン復号部１０２は各フレームについてビットプレーンの復号処理を行う際に、このデータＮＤ（Ｓ）を参照することで、サブバンドＳの下位ＮＤ（Ｓ）ビット分のビットプレーンの復号処理は行わないようにすることができる。このようなＮＤ（Ｓ）を求める処理については後述する。

なお、本実施形態に係る画像復号装置が最初に復号するサンプルフレームについては全てのサブバンドＳに対してＮＤ（Ｓ）＝０とし、全てのサブバンドのビットプレーンの復号を行う。サンプルフレームについてのＮＤ（Ｓ）のデータはＲＡＭ１４０２に予めロードされているものとする。

係数逆量子化部９０１では、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）とビットプレーン復号部１０２で復号された量子化された係数値Ｑ（Ｓ，ｘ，ｙ）とから、各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を復元する。

逆離散ウェーブレット変換部９０２では、図１の離散ウェーブレット変換部２０２が行うウェーブレット変換処理の逆変換が行われ、フレームのデータを復元する。本実施形態では上述の通り、全てのフレームで実数型５ｘ３フィルタを使用して生成される動画像符号化データを復号対象とするので、式（３）、（４）に対応する逆変換を行う。

そして、動画像データ出力部１０５は、逆離散ウェーブレット変換部９０２から出力される復元画像データを、Ｉ／Ｆ１４０９を介して外部の装置に出力したり、表示装置１４６０に出力したりする。但し、本実施形態に係る画像復号装置で最初に複数回復号されるサンプルフレームのデータは復号処理時間の推定のために復号したものであるため、復号フレームデータを破棄し、出力しない。

復号処理時間計測部１０６は、符号列読み出し部９０４が２次記憶装置２０６から１フレーム分の符号か画像データを読み出す開始時から、ビットプレーン復号部１０２、係数逆量子化部９０１、逆離散ウェーブレット変換部９０２が１フレームの符号化画像データを復号処理して、動画像データ出力部１０５へと画像データが出力されるまでの時間を、Ｑファクタの値を０から９まで変化させて、夫々の場合についての１フレーム分の復号時間を計測する。即ち、Ｑファクタの値が０である場合の１フレーム分の復号時間、Ｑファクタの値が１である場合の１フレーム分の復号時間、、、、Ｑファクタの値が９である場合の１フレーム分の復号時間を求める。

本実施形態では先ずサンプルフレームの復号を行うので、復号処理時間計測部１０６はＱファクタの値が０である場合のサンプルフレームの復号時間、Ｑファクタの値が１である場合のサンプルフレームの復号時間、、、、Ｑファクタの値が９である場合のサンプルフレームの復号時間を求める。

図８は、各Ｑファクタの値に対するサンプルフレームの復号時間Ｄｔ’（Ｑ）を示す図である。Ｄｔ’（０）からＤｔ’（９）の部分には実際の計測時間が格納される。復号処理時間計測部１０６は上記各復号時間を求める処理を行うことにより、各Ｑファクタの値に対して求めたサンプルフレームの復号時間Ｄｔ’（Ｑ）のデータを生成し、ＲＡＭ１４０２に格納する。

そして復号処理時間計測部１０６は図８に示したＤｔ’（０）〜Ｄｔ’（９）までの復号時間のデータを求め、ＲＡＭ１４０２に格納する処理を終えると、次に、Ｑファクタの値の変化に対する復号処理時間の増分Ｄｔ（Ｑ）を求める処理を行う。

具体的には、以下の式（７）に従って、Ｄｔ（Ｑ）を求める。

Ｄｔ（Ｑ）＝Ｄｔ’（Ｑ＋１）−Ｄｔ’（Ｑ）（７）
ただし、０≦Ｑ≦８である。

そして、復号処理時間計測部１０６は求めたＤｔ（０）〜Ｄｔ（８）のデータをＲＡＭ１４０２に格納する。

また復号処理時間計測部１０６は、符号列読み出し部１０１が２次記憶装置２０６から１フレーム分の符号化画像データを読み出す開始時から、このフレームの復元された画像データが動画像データ出力部１０５から出力されるまでにかかる時間を「１つのフレームの符号化画像データの復号に係る時間」として求めるのであるが、これは上記Ｄｔ’（０）に等価であるため、これを非復号サブバンド決定部１０７へと出力する。

復号処理時間計測部１０６は、上記動画像において最初のフレーム以外については上記時間Ｄｔ（即ちＤｔ’（Ｑ））を測定し、非復号サブバンド決定部１０７へと出力する。

非復号サブバンド決定部１０７は、復号処理時間計測部１０６から出力されるサンプルフレームの復号処理時間Ｄｔが、１フレームの画像データを復元して出力するまでに要する時間の上限値として予めＲＡＭ１４０２に格納されている値以下となるように、１フレームの符号化画像データを構成する各サブバンドの各ビットプレーンのうち、復号しないビットプレーンを決定する処理を行う。

ここでＲＡＭ１４０２には本処理の前段で予め、インデックスとして用いる変数Ｑと、１フレームの復号時間の上限値である目標復号処理時間を表す変数Ｔ、時間差分を表す変数ΔＴ、そして、Ｑファクタの値に応じた、各サブバンドの非復号ビットプレーン数が登録されたテーブルのデータが保持されているものとする。

図６はＱファクタの値に応じた、各サブバンドの非復号ビットプレーン数が登録されたテーブルの構成例を示す図である。同図のテーブルは予め作成され、ＲＡＭ１４０２に格納されるものである。同図のテーブルを参照すれば、例えばＱファクタの値として「４」を用いる場合、サブバンドＳ＝ＨＨ２，ＨＬ２（ＬＨ２）、ＨＨ１については上記ＮＤ（Ｓ）＝４，即ち、下位４ビット分のビットプレーンは復号しないものとし、サブバンドＳ＝ＨＬ１（ＬＨ１）については上記ＮＤ（Ｓ）＝３，即ち、下位３ビット分のビットプレーンは復号しないものとし、サブバンドＳ＝ＬＬについては上記ＮＤ（Ｓ）＝１，即ち、下位１ビット分のビットプレーンは復号しないものとすることが分かる。

よって、以下説明する処理では復号処理で用いるＱファクタの値を求め、求めたＱファクタの値に応じて各サブバンド毎の非復号ビットプレーンの数を求める。

図１３は、本実施形態に係る画像復号装置による動画像符号化データの復号処理の流れを示すフローチャートである。なお同図に従ったプログラムはＲＡＭ１４０２にロードされており、ＣＰＵ１４０１がこれを実行することで、本実施形態に係る画像復号装置は図１３に示したフローチャートに従った処理を行うことができる。以下、図１３に示したフローチャートを参照して、本実施形態に係る画像復号装置が行う画像風号処理についてより詳細に説明する。

まず、符号列読み出し部９０４によって２次記憶装置２０６からサンプルフレームの符号化画像データを読み出す（ステップＳ２００１）。次に復号処理時間計測部１０６は、上記変数Ｑに値９を代入して初期化する（ステップＳ２００２）。そして復号処理時間計測部１０６は以下説明するステップＳ２００３からステップＳ２００６までの処理を、変数Ｑの値が負になるまで行う。

まず、符号列読み出し部９０４によってステップＳ２００１で読み出されたサンプルフレームの符号化画像データをビットプレーン復号部１０２、係数逆量子化部９０１、逆離散ウェーブレット変換部９０２によって復号する（ステップＳ２００３）。この復号処理はＱファクタの値（即ち変数Ｑが保持する値）が９である場合の復号処理である。

復号処理時間計測部１０６はステップＳ２００３における処理に要する時間を計測する（ステップＳ２００４）。この時点で変数Ｑの値は「９」であるので、ステップＳ２００４で計測した時間は上述のＤｔ’（９）に相当する。次に、復号処理時間計測部１０６はステップＳ２００４で計測したＤｔ’（９）のデータをＲＡＭ１４０２に格納する（ステップＳ２００５）。

次に、復号処理時間計測部１０６は変数Ｑが保持する値から１を引いた結果を再び変数Ｑに代入する処理を行う（ステップＳ２００６）。ステップＳ２００６の処理後、変数Ｑが保持する値は「８」となる。

次に、復号処理時間計測部１０６は変数Ｑが保持する値が負であるか否かを判定し（ステップＳ２００７）、負でない場合には処理をステップＳ２００３に戻し、上記処理を繰り返す。ここで変数Ｑが保持する値は「８」であり、８＞０であるので、処理をステップＳ２００３に戻す。

ステップＳ２００３ではＱ＝８の場合について復号処理を行い、ステップＳ２００４ではその復号時間を計測する。この時点で変数Ｑの値は「８」であるので、ステップＳ２００４で計測した時間は上述のＤｔ’（８）に相当する。

そしてステップＳ２００５では式（７）に従ってＱファクタの値の変化に対する復号処理時間の増分Ｄｔ（Ｑ）を求める処理を行う。この増分を求める処理については上記式（７）に従って以下のようにして行う。

Ｄｔ（８）＝Ｄｔ’（９）−Ｄｔ’（８）
即ちＤｔ（８）は、今回ステップＳ２００４で求めたＤｔ’（８）と、前回ステップＳ２００４で求めたＤｔ’（９）とを用いて求める。これはＱ＜９の場合について全て同じで、一般に、Ｄｔ（Ｑ）は、今回ステップＳ２００４で求めたＤｔ’（Ｑ）と、前回ステップＳ２００４で求めたＤｔ’（Ｑ＋１）とを用いて求める。

即ち、ステップＳ２００５ではＱ＝９の場合には上記増分Ｄｔ（Ｑ）を求める処理は行わずに、Ｄｔ’（９）のデータをＲＡＭ１４０２に格納する処理を行い、Ｑ＜９の場合には式（７）に従って上記増分Ｄｔ（Ｑ）を求める。

以上のステップＳ２００３〜ステップＳ２００６までの処理をＱ＜０となるまで行うのであるが、Ｑ＜０となったときは即ち、Ｄｔ（０）〜Ｄｔ（８）が求まったということなので、次に、非復号ビットプレーン決定部９０３は、これらＤｔ（０）〜Ｄｔ（８）を用いて、動画像データの各フレームを復号するのに用いるＱファクタの値を求める（ステップＳ２２０８）。

目標復号処理時間Ｔに対して、ステップＳ２００４でＱ＝０の場合に求めたＤｔ’（０）がＤｔ’（０）≦Ｔの場合には、各フレームを構成する全てのサブバンドの全てのビットプレーンを復号しても１フレームの復号時間が目標復号処理時間内で収まるので、Ｑ＝０（非復号ビットプレーン数は０、即ち全てのビットプレーンを復号する）と設定する。

一方、Ｄｔ’（０）＞Ｔの場合、１フレームを構成する全てのサブバンドの全てのビットプレーンを復号していては、１フレームの画像データを復元して出力するまでに要する時間が目標復号処理時間内には収まらない。そこで、１フレームの画像データを復元して出力するまでに要する時間が目標復号処理時間内に収まるようなＱファクタの値を求め、図６に示したテーブルを参照して、求めたＱファクタの値で規定される非復号ビットプレーン以外を復号することにより、１フレームの画像データを復元して出力するまでに要する時間を目標復号処理時間内に納めることができる。

具体的には、以下の式を満たす最小のＱを求め、これを以下用いるべきＱファクタの値とする。

以上の処理により、各フレームを目標復号処理時間内に復号して出力するためのＱファクタの値を求めることができる。
次に、各フレームの先頭（ここではフレーム１とする）から順次、各フレームの符号化画像データの復号処理を行うのであるが、その前に、時間差分ΔＴを０に設定する（ステップＳ２２０９）。

次に、非復号サブバンド決定部９０３で、ステップＳ２２０８で求めたＱファクタの値に基づいて非復号ビットプレーン数を決定する（ステップＳ２２１０）。これは上述の通り、図６に例示したテーブルのデータを参照し、ステップＳ２２０８で求めたＱの値に応じた各サブバンドにおける非復号ビットプレーンの数を取得することにより行われる処理である。

なお、ステップＳ２２１０における処理は非復号ビットプレーン、即ち復号しないビットプレーンの数を決定しているが、これは換言すれば復号するビットプレーンの数を決定していることに等価である。なお、決定した各サブバンド毎の非復号ビットプレーンの数は上記ＮＤ（Ｓ）のデータとしてＲＡＭ１４０２に格納される。

続いて、符号列読み出し部１０１は２次記憶装置２０６から各フレームの符号化画像データを読み出して後段のビットプレーン復号部１０２に出力し、ビットプレーン復号部１０２は上記ＮＤ（Ｓ）のデータを参照して、符号列読み出し部１０１から入力される各フレームの符号化画像データにおいて、各サブバンドで復号すべきビットプレーンのみを復号し、更に、その復号結果を用いて逆離散ウェーブレット変換部１０４は逆離散ウェーブレット変換を行い、各フレームの復号結果、即ち各フレームの画像データが動画像データ出力部１０５に出力される（ステップＳ２２１１）。

復号処理時間計測部１０６はステップＳ２２１１における一連の処理に係った時間（ステップＳ２２１１で行われた、１フレームの画像データを復元して出力するまでに要する時間）Ｄｔを計測し、非復号サブバンド決定部９０３に通知する（ステップＳ２２１２）。

非復号サブバンド決定部９０３は、１フレームの目標復号時間Ｔと実際にかかった復号処理時間Ｄｔの差分を求め、保持している時間差分ΔＴに加算する（ステップＳ２２１３）。この時間差分Δｔには１フレームの符号化画像データを復号する毎に、「１フレームの目標復号時間Ｔと実際にかかった復号処理時間Ｄｔとの差分」が累計されていく。

次に、ΔＴの値に応じてＱファクタの値（変数Ｑが保持する値）を更新する（ステップＳ２２１４）。即ち、予め求められ、ＲＡＭ１４０２に格納されている値Ｄｔ（Ｑ−１）×ｎよりもΔＴが大きければ、変数Ｑが保持する値から１を減じ、変数Ｑの値を小さくする。

ｎはあらかじめ定めた任意の数であり、大きい値ほどＱファクタの値の変化は起こりにくくなる。ΔＴが所定の閾値（本実施形態ではＤｔ（Ｑ−１）×ｎ）よりも大きくなるのは、目標復号処理時間Ｔの総和（これまでの復号処理の回数をＧとおくとＴ×Ｇ）に対して実際にかかった復号時間Ｄｔの総和（これまでの復号処理の回数をＧとおくとＤｔ×Ｇ）が小さい場合であり、その場合、まだいくつか余分にビットプレーンを復号する時間の余裕があると判断することができる。

よって、復号画質を向上させるためにＱファクタの値を１つ小さくする（換言すると、図６のテーブルに基づき、非復号ビットプレーンの数を少なくする）。なお、Ｑファクタの値を減じる数は「１」に限定されるものではなく、閾値の値によっては、「２」以上の数を用いても良い。

また、反対に、予め求められ、ＲＡＭ１４０２に格納されている値Ｌｑ（Ｌｑ＜０）よりもΔＴが小さければ、Ｑが保持する値に１を加えて、値を大きくする。

従って、１フレームの復号時間を短縮するためにＱファクタの値を大きくし、その結果非復号ビットプレーンの数を増やす。但しＱの値の範囲は０から９までとし、上述の更新処理により０より小さくなった場合には０、９より大きくなった場合には９とする。

以上のステップＳ２２１０からステップＳ２２１４までの処理は上記動画像の全てのフレーム（若しくはキーボード１４０２やマウス１４０５等により指定されたフレーム数分）について行い、全てのフレームについて行った場合には、本処理を終了し、全てのフレームについて行っていない場合には処理をステップＳ２２１０に戻し、以降の処理を繰り返す。

以上の処理によって、復号単位であるビットプレーンの数を決めて復号処理を行うことができる。

以上の説明により、本実施形態に係る画像復号装置によって、サンプルフレームについて画質のパラメータを変えて復号し、各画質のパラメータ変更による復号所要時間を見積もり、この復号所要時間と、１フレームの復号処理にかかる時間と目標復号時間の差分から、この画質のパラメータを決定することで、再生画像の視覚上の不具合をできるだけ抑制して、復号処理時間を制御することができる。

＜変形例＞
例えば、上記第１，２の実施形態ではサブバンドを単位にビットプレーン符号化を行ったが、サブバンドをブロックに分割し、ブロックごとにビットプレーン符号化を行ってもよい。また、一つのビットプレーンを複数のパスで符号化するようにしても構わない。

また、復号単位として第１の実施形態ではサブバンド、第２の実施形態ではビットプレーンとしたが、これ以外にもコードブロックを用いても良いし、第１，２の実施形態に限定されるものではない。

また上記第１，２の実施形態では二値算術符号化の方法としてMQ-Coderを用いる例について述べたが、これに限定されるものではなく、例えば、QM-Coder等、MQ-Coder以外の算術符号化方法を適用しても構わないし、マルチコンテクストの情報源を符号化するに適する方式であればその他の２値符号化方式を適用しても構わない。

また、サブバンド分解のためのフィルタは上記第１，２の実施形態に限定されるものではなく、実数型９ｘ７フィルタなど、その他のフィルタを使用しても構わない。さらに、その適用回数についても第１，２の実施形態に限定されるものではない。また上記第１，２の実施形態では水平方向、垂直方向に同回数の１次元離散ウェーブレット変換を施したが、同一回数でなくてもよい。

さらに、動画像符号化データの構造についても上記第１，２の実施形態に限定されるものではなく、符号列の順序、付加情報の格納形態など、変えても構わない。例えばフレームデータの符号化方式としてＩＳＯ／ＩＥＣ１５４４４−１に定めるＪＰＥＧ２０００を用いる場合に好適なものであり、ＪＰＥＧ２０００の規格に記される符号化データ、あるいは同規格のＰａｒｔ３に規定するＭｏｔｉｏｎＪＰＥＧ２０００の符号化データとしても良い。

また、上記第１，２の実施形態では復号処理に先立ち、任意の１枚のフレームを復号して処理時間の見積もりを行ったが、複数のフレームをサンプルとして復号処理時間の見積もりを行っても良いし、復号処理の途中で復号処理時間の見積もりを更新するような構成としても良い。

［その他の実施形態］
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施形態で用いる画像復号装置が復号する対象となる動画像符号化データを生成する動画像符号化装置の機能構成を示す図である。１フレームの画像データに対して２次元離散ウェーブレット変換を施して４つのサブバンドを生成する処理を説明する図である。２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを示す図である。ビットプレーン符号化部２０４でサブバンドＳを符号化する処理手順を説明するためのフローチャートである。符号列形成部２０５において生成される１枚のフレームデータに対応する符号列の細部構造を示す図である。Ｑファクタの値に応じた、各サブバンドの非復号ビットプレーン数が登録されたテーブルの構成例を示す図である。本発明の第２の実施形態に係る画像復号装置の機能構成を示すブロック図である。各Ｑファクタの値に対するサンプルフレームの復号時間Ｄｔ’（Ｑ）を示す図である。本発明の第１の実施形態に係る画像復号装置の機能構成を示すブロック図である。サブバンドインデックスＳＩとサブバンドＳの復号時間（復号所要時間）との関係を表すテーブルの構成例を示す図である。各サブバンドＳに対する復号フラグＦ（Ｓ）を表すテーブルの構成例を示す図である。本発明の第１の実施形態に係る画像復号装置による動画像符号化データの復号処理の流れを示すフローチャートである。本発明の第２の実施形態に係る画像復号装置による動画像符号化データの復号処理の流れを示すフローチャートである。本発明の第１の実施形態に係る画像復号装置の基本構成を示す図である。動画像データ出力部１０５の一形態と、ディスプレイへの接続を示す図である。

Claims

各フレームの画像が符号化された動画像データを入力して、各フレームの符号化画像データを復号する画像復号方法であって、
前記各フレームから、サンプルフレームの符号化画像データを抽出して所定の復号単位で復号するサンプルフレーム復号工程と、
前記サンプルフレームの符号化画像データの復号に係る時間を計測する第１の計測工程と、
前記第１の計測工程で計測した時間が所定時間以下となるように、復号する復号単位の数を決定する決定工程と、
与えられた復号単位の数に従って、各フレームの符号化画像データ復号する復号工程と、
前記復号工程で前記各フレームを復号する際に、各フレーム毎の復号に要する時間を計測する第２の計測工程と、
前記所定時間と前記第２の計測工程で計測された時間との差分を、各フレームを復号する毎に累計していき、当該累計値が所定値以上となった場合に、前記決定工程で決定した復号単位の数を更新する更新工程とを備え、
前記復号工程では、前記決定工程で決定した復号単位の数、もしくは前記更新工程で更新した復号単位の数に従って、各フレームの符号化画像データ復号することを特徴とする画像復号方法。
更に、前記サンプルフレーム復号工程で前記サンプルフレームの符号化画像データを復号する際に、復号単位毎の復号に要する時間を計測する第３の計測工程を備え、
前記決定工程では、
前記第１の計測工程で計測した時間が前記所定時間よりも大きい場合に、前記第１の計測工程で計測した時間から、前記第３の計測工程で計測した夫々の復号単位の復号に要する復号時間を順次引いていき、引いた結果が前記所定値以下となった時点で前記第１の計測工程で計測した時間から前記第３の計測工程で計測した時間を引いた回数に基づいて、１フレームを構成する全ての復号単位を所定の順番に並べて一方から数えた場合の、復号しない復号単位に含められる数を決定することで、前記復号する復号単位の数を決定することを特徴とする請求項１に記載の画像復号方法。
前記決定工程では更に、１フレームを構成する復号単位のうち、復号する／復号しない復号単位を決定することを特徴とする請求項１に記載の画像復号方法。
前記更新工程では、前記累計値が所定値以上となった場合に、前記決定工程で決定した復号単位の数を増加させることを特徴とする請求項１に記載の画像復号方法。
更に、画質に係るパラメータの値と、復号する復号単位の数とのセットを複数種登録したテーブルのデータをメモリに格納しておき、
前記サンプルフレーム復号工程では、前記パラメータを用いた前記サンプルフレームの符号化画像データの復号処理を、前記パラメータの値を夫々異ならせて、夫々異なる値の前記パラメータ毎に行い、
前記第１の計測工程では、前記夫々の値のパラメータ毎に、前記サンプルフレーム復号工程による復号時間を計測し、
前記決定工程では、
所定の値の前記パラメータを用いて前記サンプルフレーム復号工程で前記サンプルフレームを復号した際に前記第１の計測工程で計測した第１の時間が前記所定時間よりも大きい場合に、
夫々の前記復号時間において、隣接する時間同士の差分を前記第１の時間から順次引いていき、引いた結果が前記所定値以下となった時点で前記引いた回数に基づいて、前記パラメータの値を決定し、更に、前記テーブルを参照して、当該決定したパラメータの値に対応する、復号する復号単位の数を決定することを特徴とする請求項１に記載の画像復号方法。
前記更新工程では、前記累計値が所定値以上となった場合に、前記前記決定工程で決定した前記パラメータの値を増加させ、更に、前記テーブルのデータを参照することで、前記復号単位の数を増加させることを特徴とする請求項５に記載の画像復号方法。
前記画質に係るパラメータは、Ｑファクタであることを特徴とする請求項５又は６に記載の画像復号方法。
前記復号単位はビットプレーン、若しくはサブバンドの何れかを含むことを特徴とする請求項１乃至７の何れか１項に記載の画像復号方法。
更に、前記復号工程で復号された各フレームの画像を所定フレーム数保持し、所定のフレームレートで表示を行う表示装置に対して当該フレームレートに応じた所定の時間間隔で復号された各フレームの画像を順次前記表示装置に出力する工程を備えることを特徴とする請求項１に記載の画像復号方法。
各フレームの画像が符号化された動画像データを入力して、各フレームの符号化画像データを復号する画像復号装置であって、
前記各フレームから、サンプルフレームの符号化画像データを抽出して所定の復号単位で復号するサンプルフレーム復号手段と、
前記サンプルフレームの符号化画像データの復号に係る時間を計測する第１の計測手段と、
前記第１の計測手段が計測した時間が所定時間以下となるように、復号する復号単位の数を決定する決定手段と、
与えられた復号単位の数に従って、各フレームの符号化画像データ復号する復号手段と、
前記復号手段によって前記各フレームを復号する際に、各フレーム毎の復号に要する時間を計測する第２の計測手段と、
前記所定時間と前記第２の計測手段により計測された時間との差分を、各フレームを復号する毎に累計していき、当該累計値が所定値以上となった場合に、前記決定手段が決定した復号単位の数を更新する更新手段とを備え、
前記復号手段は、前記決定手段が決定した復号単位の数、もしくは前記更新手段が更新した復号単位の数に従って、各フレームの符号化画像データ復号することを特徴とする画像復号装置。
コンピュータに請求項１乃至９に何れか１項に記載の画像復号方法を実行させることを特徴とするプログラム。
請求項１１に記載のプログラムを格納し、コンピュータ読み取り可能な記憶媒体。