JP2006203804A - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】符号化データ中に正常な復号が不可能な符号が含まれている場合でも、できる限り画質の良好な復号画像を生成し、かつ、無駄なエントロピー復号処理を排除して処理効率を向上させる。
【解決手段】復号処理の準備段階で、領域、解像度、画質、色成分などの属性別に符号のエントロピー復号の状態を管理するためのエラーフラグリストを作成する（Ｓ３）。このエラーフラグリストにおいて「異常」とされている属性を持つ符号のエントロピー復号は抑止され（Ｓ５）、異常とされていない属性の符号のみがエントロピー復号される（Ｓ６）。このエントロピー復号が異常ならば、エラーフラグリストの必要な修正が行われる（Ｓ７，Ｓ８）。
【選択図】図１０

Description

本発明は、画像の符号化データの復号処理を行う装置及び方法に係り、特に、符号化データを構成する符号が領域、解像度、色成分、画質などの属性を持つ、ＪＰＥＧ２０００の静止画符号化データやＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データなどの復号処理を行う装置及び方法に関する。

ネットワークを経由して取り込まれる静止画又は動画の符号化データには、ネットワークの伝送エラーにより復号不可能な符号が含まれることがある。また、ネットワークを経由して取り込んだ符号化データであっても、ネットワークを経由せずローカルな記憶装置等より取り込んだ符号化データであっても、復号装置の復号能力の関係から復号不可能な符号が含まれていることもある。

一般的に、符号化データの復号処理を行う装置では、符号化データ中に異常な符号もしくは復号不可能な符号が含まれていた場合、復号処理を中止して、その時点までに生成された画像を出力するような制御や、画像の形成そのものを放棄する制御する方法がとられていた。

このような制御に関する公知文献の例として特許文献１がある。これに記載されているＪＰＥＧ２０００の静止画符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データを扱うサーバ・クライアントシステムにおいては、サーバ側で、符号化処理時に、各パケットについて、それを削除したときの復元画像の歪み量を推定し、推定した歪み量の情報を符号化データのメインヘッダに記録する。クライアント側では、サーバより受信した符号化データを復号処理して復号画像をプログレッシブ表示するが、パケットの解析によってパケットのエラーの検出を行い、エラー・パケットに関する歪み量（メインヘッダに記録されている）を積算することにより、各時点でのエラー・パケットによる復号画像の歪み量を算出し、その歪み量が閾値を超えた時に、復号処理及び復号画像データ出力を中止する制御を行う。

特開２００４−１８６８５８号公報

異常な符号又は復号不可能な符号が生じた時点で復号処理を中止する方法には改善の余地がある。これを最もわかりやすい例で説明すれば、画像を複数の領域に分割して符号化した符号化データの場合、ある領域の符号が復号不可能であるからといって他の領域の符号までも復号不可能であるとは限らないので、復号処理を中止するのではなく、問題のない領域の符号については復号処理を継続するほうが復元画像の画質を向上できる可能性が高いのである。

エラー・パケットによる復号画像の歪み量が閾値を超えた時に復号処理を中止する方法にも、同様の改善余地があることは明らかである。また、この方法には、符号化段階でパケット毎の歪み量を推定し、それを符号化データのヘッダに記述しておく必要があり、そのような記述のない符号化データに対しては適用できないという制約もある。

本発明は、上に述べたような従来技術の問題点に鑑みなされたものであり、その主たる目的は、符号化データの復号処理を行う装置又は方法において、符号化データに正常な復号が不可能な符号が含まれている場合の復号画質の向上及び処理効率の向上を図ることにある。

なお、本発明においては、少なくとも領域、色成分、解像度、画質のうちの１つに関する属性を持つ符号の集まりから構成された符号化データを扱う。このような符号化データの代表例として、ＪＰＥＧ２０００の静止画符号化データやＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データを挙げることができる。

請求項１記載の発明は、領域の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を領域毎に管理し、ある領域の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある領域の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項２記載の発明は、色成分の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を色成分毎に管理し、ある色成分の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある色成分の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項３記載の発明は、解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項４記載の発明は、解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号及び当該ある解像度より高い解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項５記載の発明は、画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項６記載の発明は、画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号及び当該ある画質より高い画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置である。

請求項７記載の発明は、請求項１乃至６のいずれか１項記載の発明に係る画像処理装置であって、前記制御手段は、前記復号処理装置における画像復元処理に、エントロピー復号が抑止された符号と同じ属性を持つ符号の復号データを使用するか否かの制御を行うことを特徴とする画像処理装置である。

請求項８記載の発明は、外部装置より画像の符号化データを取り込み、それを前記復号処理装置により復号処理する請求項１乃至６のいずれか１項記載の画像処理装置であって、前記復号処理装置により復号処理された符号化データを保存するための符号蓄積装置を有し、前記制御手段は、前記符号蓄積装置に保存する符号化データに、前記復号処理装置においてエントロピー復号が抑止された符号と同じ属性を持つ符号を含めるか否かの制御を行うことを特徴とする画像処理装置である。

請求項９記載の発明は、請求項１乃至８のいずれか１項記載の発明に係る復号処理装置及び制御手段としてコンピュータを機能させるプログラムである。

請求項１０記載の発明は、請求項１乃至８のいずれか１項記載の発明に係る復号処理装置及び制御手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

請求項１１記載の発明は、領域の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、この復号処理工程は、符号化データ中の符号のエントロピー復号の状態を領域毎に管理し、ある領域の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある領域の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法である。

請求項１２記載の発明は、色成分の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、この復号処理工程は、符号化データ中の符号のエントロピー復号の状態を色成分毎に管理し、ある色成分の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある色成分の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法である。

請求項１３記載の発明は、解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、この復号処理工程は、符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法である。

請求項１４記載の発明は、解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、この復号処理工程は、符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号及び当該ある解像度より高い解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法である。

請求項１５記載の発明は、画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、この復号処理工程は、符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法である。

請求項１６記載の発明は、画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、この復号処理工程は、符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号及び当該ある画質より高い画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法である。

請求項１７記載の発明は、請求項１１乃至１６のいずれか１項記載の発明に係る画像処理方法であって、前記制御工程は、前記復号処理工程における画像復元処理に、エントロピー復号が抑止された符号と同じ属性を持つ符号の復号データを使用するか否かの制御を行うことを特徴とする画像処理方法である。

請求項１８記載の発明は、請求項１１乃至１６のいずれか１項記載の発明に係る画像処理方法であって、前記復号処理工程により復号処理された符号化データを保存するための符号化データ保存工程を有し、前記制御工程は、前記符号化データ保存工程により保存される符号化データに、前記復号処理工程においてエントロピー復号が抑止された符号と同じ属性を持つ符号を含めるか否かの制御を行うことを特徴とする画像処理方法である。

請求項１，１１記載の発明によれば、ある領域の属性を持つ符号のエントロピー復号の異常が発生した場合、その領域については復号画質が低下するものの、それ以外の領域については復号画質の低下は生じないため、復号処理を中止する方法に比べ、復号画像の全体的な画質が向上するという効果を得られる。また、エントロピー復号の異常が発生した符号と同じ領域の属性を持つ後続の符号のエントロピー復号を行っても復号画質向上への寄与は殆ど期待できないのが普通であり、それは無益な処理ということができるが、このような無益なエントロピー復号が抑止されることにより処理効率が向上するという効果を得られる。

請求項２，１２記載の発明によれば、ある色成分の属性を持つ符号のエントロピー復号の異常が発生した場合、その色成分については復号画質が低下するものの、それ以外の色成分については復号画質の低下は生じないため、復号処理を中止する方法に比べ、復号画像の全体的な画質が向上するという効果を得られる。また、エントロピー復号の異常が発生した符号と同じ色成分の属性を持つ後続の符号のエントロピー復号を行っても復号画質向上への寄与は殆ど期待できないのが普通であり、それは無益な処理ということができるが、このような無益なエントロピー復号が抑止されることにより処理効率が向上するという効果を得られる。

請求項３，４，１３，１４記載の発明によれば、ある解像度の属性を持つ符号のエントロピー復号の異常が発生した場合、エントロピー復号が抑止されるのは、その解像度の属性を持つ後続の符号、あるいは、その解像度の属性を持つ後続の符号及びそれより高い解像度の属性を持つ後続の符号であるため、その異常を発生した符号の段階で復号処理を中止する方法に比べ、高い復号画質を得ることができるという効果がある。また、エントロピー復号が抑止される符号は、そのエントロピー復号を行ったとしても復号画質向上への寄与は殆ど期待できないのが普通であり、それは無益な処理ということができるが、このような無益なエントロピー復号が抑止されることにより処理効率が向上するという効果を得られる。

請求項５，６，１５，１６記載の発明によれば、ある画質の属性を持つエントロピー復号の異常が発生した場合、エントロピー復号が抑止されるのは、その画質の属性を持つ後続の符号、あるいは、その画質の属性を持つ後続の符号及びそれより高い画質の属性を持つ後続の符号であるため、その異常を発生した符号の段階で復号処理を中止する方法に比べ、高い復号画質を得ることができるという効果がある。また、エントロピー復号が抑止される符号は、そのエントロピー復号を行ったとしても復号画質向上への寄与は殆ど期待できないのが普通であり、それは無益な処理ということができるが、このような無益なエントロピー復号が抑止されることにより処理効率が向上する効果を得られる。

請求項７，１７記載の発明によれば、エントロピー復号の異常が発生した符号と同じ属性を持つ符号の復号データを全く用いない画像復元と、エントロピー復号の異常が発生した符号と同じ属性を持つ符号であっても、エントロピー復号が抑止される以前に復号済みの符号の復号データをも用いる画像復元とを選択することができるという効果を得られる。例えば、ある領域の符号のエントロピー復号の異常が発生した場合、前者の画像復元を選べば、その領域については画像が復元されないが、後者の画像復元を選べば、その領域についても復号済み符号の多寡に応じた画質で画像を復元することができる。

請求項８，１８記載の発明によれば、エントロピー復号が抑止された符号と同じ属性を持つ符号も含まれる、外部装置より取り込まれたものと同じ符号化データを保存することも、そのような属性を持つ符号を含めない符号化データを保存することもできるという効果を得られる。

［ＪＰＥＧ２０００の概要］
ここで説明する本発明の実施の形態においては、ＪＰＥＧ２０００の静止画符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データを処理の対象とする。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データの各フレームは、ＪＰＥＧ２０００により符号化されている。そこで、本発明の実施の形態の理解に必要な限度で、ＪＰＥＧ２０００の概要を説明する。

図１はＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。図中、１は色空間変換・逆変換部、２は２次元ウェーブレット変換・逆変換部、３は量子化・逆量子化部、４はエントロピー符号化・復号化部、５はタグ処理部である。

符号化（圧縮）時には、原画像の各コンポーネント（色成分）は、必要に応じてタイルと呼ばれる重複しない矩形の領域に分割され、各コンポーネントの各タイルのデータが色空間変換・逆変換部１に入力される。

図２にタイル分割の例を示す。この例では、原画像のＲ，Ｇ，Ｂの各コンポーネントがそれぞれ１６個のタイルに分割されている。このような各コンポーネントの各タイルが圧縮／伸長の処理単位となる。

各コンポーネントの各タイルは色空間変換・逆変換部１でＹＣｒＣｂ（もしくはＹＵＶ）表色系へ変換された後、ＹＣｒＣｂの各コンポーネント別に、２次元ウェーブレット変換・逆変換部２で２次元ウェーブレット変換（順変換）を適用されることにより、周波数帯（サブバンド）に空間分割される。

図３に、デコンポジションレベル数＝３の場合の、各デコンポジションレベルにおけるサブバンドを示す。すなわち、原画像のタイル分割によって得られたタイル画像（０ＬＬ）（デコンポジションレベル０）に対して、２次元ウェーブレット変換を施すことにより、デコンポジションレベル１のサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）が得られる。この階層における低周波成分である１ＬＬサブバンドの係数に対して２次元ウェーブレット変換を施すことより、デコンポジションレベル２のサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）が得られる。この階層での低周波成分である２ＬＬサブバンド係数に対し２次元ウェーブレット変換を施すことにより、デコンポジションレベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）が得られる。デコンポジションレベル３の各サブバンドに括弧書きされた数字は解像度レベルを示す。

各サブバンドの係数は、必要に応じて、量子化・逆量子化部３で線形量子化された後、エントロピー符号化・復号化部４でエントロピー符号化される。ＪＰＥＧ２０００では、各サブバンド係数はビットプレーンに分解され、また、各サブバンドは重複しないプリシンクトと呼ばれる矩形領域に分割され、各プリシンクトはコードブロックと呼ばれる重複しない矩形領域に分割される。そして、各サブバンドの係数は上位のビットプレーンから下位のビットプレーンへ向かってコードブロック毎に符号化される（より正確には、各ビットプレーンは３つのサブビットプレーン（符号化パス）に分割されて符号化される）。このエントロピー符号化においては、指定した符号化の順番で符号化対象ビットが定められ、量子化部・逆量子化部３で対象ビットの周辺ビットからコンテキストが生成され、このコンテキストと対象ビットの確率推定による算術符号化が行われる。

タグ処理部５は符号形成プロセスのブロックであり、エントロピー符号をまとめてパケットを生成し、パケットをプログレッションオーダーに従って並べるとともに必要なタグ及びタグ情報を付加することにより、図４に示すようなフォーマットの１本のコードストリーム（符号化データ）を生成する。コードストリームの先頭と各タイル部の先頭にはメインヘッダ（Main header）及びタイルパートヘッダ（Tile-part header）と呼ばれるタグ情報が付加され、その後に、各タイルの符号（ビットストリーム）が続く。そして、コードストリームの終端に終了タグ（End of codestream）が置かれる。

画像、タイル、サブバンド、プリシンクト、コードブロックの間には
画像≧タイル＞サブバンド≧プリシンクト≧コードブロック
の大小関係がある。

プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。前述のように、プリシンクトを分割した矩形領域がコードブロックである。図５にデコンポジションレベル２におけるプリシンクトと、そのコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が、１つのプリシンクトとして扱われる。なお、プリシンクトはタイル画像上の特定の矩形領域に対応する。つまり、図５に示す例では、タイル画像は３×３の矩形領域に分割され、その矩形領域がプリシンクトであると言うこともできる。

プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション・オーダーに従ってパケットを並べたものが、図４中のビットストリームである。

全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、必ずしも全てのプリシンクトのパケットをレイヤに含めなくともよい）。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位である。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。

タイル分割を行わず、コンポーネント数＝１、デコンポジションレベル数＝２（解像度レベル数＝３）とした場合のパケットとレイヤの例を図６に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字は便宜的に付与したパケット番号である。図６では、レイヤを濃淡を付けた横長矩形領域として示している。すなわち、この例では、パケット番号０〜１６のパケットの符号からなるレイヤ０、パケット番号１７〜３３のパケットの符号からなるレイヤ１、パケット番号３４〜５０のパケットの符号からなるレイヤ２、パケット番号５１〜６７のパケットの符号からなるレイヤ３、パケット番号６８〜８４のパケットの符号からなるレイヤ４、パケット番号８５〜１０１のパケットの符号からなるレイヤ５、パケット番号１０２〜１１８のパケットの符号からなるレイヤ６、パケット番号１１９〜１３５のパケットの符号からなるレイヤ７、パケット番号１３６〜１４８のパケットの符号からなるレイヤ８、及び、残りのパケット番号１４９〜１６１のパケットの符号からなるレイヤ９の１０レイヤに分割されている。なお、パケットとプリシンクトとの対応関係などは、プログレッション・オーダーの違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。

一方、復号（伸長）時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。この場合、タグ処理部５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号処理が行われる。コードストリーム内のタグ情報に基づく順番で復号対象となるビットの位置が定められるとともに、量子化・逆量子化部３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部４で、このコンテキストとコードストリームから確率推定によって復号を行って対象ビットを生成し、それを対象ビットの位置に書き込む。

このようにして得られた各サブバンドの係数は、符号化時に量子化が行われているならば量子化・逆量子化部３で逆量子化された後、２次元ウェーブレット変換・逆変換部２で２次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルのデータが復元される。復元されたデータは、符号化時に色空間変換が行われたならば色空間変換・逆変換部１で逆色変換を施され、元の表色系のデータに戻される。

さて、以上に述べたようにJPEG2000の符号単位であるパケットは、
どのコンポ−ネント（記号C）に属するか、
どの解像度レベル（記号R）に属するか、
どのプリシンクト(記号P）に属するか、
どのレイヤ（記号L）に属するか
という４つの属性を有する。パケットの配列とは、パケットをどの属性の順に階層的に並べるかを意味する。この配列順をプログレッションオーダーと呼ぷ。ＪＰＥＧ２０００ではLRCP,RLCP,RPCL,PCRL,CPRLの５通りのプログレッションオーダーが規定されている。

ここで、符号化時にプログレッションオーダーの順にパケットを並べる様子、及び、復号時にプログレッションオーダーの順にパケットの属性を解釈する様子を説明する。

ＬＲＣＰプログレッションの場合、ネストされたforループ
for(レイヤ)｛
for(解像度)｛
for(コンポ−ネント)｛
for(プリシンクト)｛
符号化時：パケットを配置
復号時：パケットの属性を解釈
｝
｝
｝
｝
に従ってパケットの配列（符号化時）および解釈（復号時）がなされる。

同様に、ＲＬＣＰプログレッションの場合、ネストされたforループ
for(解像度)｛
for(レイヤ)｛
for(コンポ−ネント)｛
for(プリシンクト)｛
符号化時：パケットを配置
復号時：パケットの属性を解釈
｝
｝
｝
｝
に従ってパケットの配列（符号化時）および解釈（復号時）がなされる。

各パケットはパケットヘッダを有し、パケットヘッダには、
・そのパケットが空かどうか
・そのパケットにどのコードブロックが含まれるか
・そのパケットに含まれる各コードブロックのゼロビットプレーン数
・そのパケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）
・そのパケットに含まれる各コードブロックの符号長
が記載されている。

しかし、パケットヘッダには、レイヤ番号や解像度レベル等は一切記載されていない。復号時に、メインヘッダ中のＣＯＤマーカに記述されているプログレッションオーダーから上記のようなforループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがforループ内のどの位置でハンドリングされたかによって、各パケットがどのレイヤのどの解像度レベルのものか等が分かる。これは、パケットヘッダ中の符号長さえ読み出せば、エントロピー符号自体を復号しなくても、次のパケットを検出できることを意味する。

なお、２以上のタイルにタイリングされている場合には、パケットはどのタイルに属するかという属性も持つ。したがって、タイルの属性を加えると、上記のforループは
for(タイル)｛
for(レイヤ)｛
for(解像度)｛
for(コンポ−ネント)｛
for(プリシンクト)｛
符号化時：パケットを配置
復号時：パケットの属性を解釈
｝
｝
｝
｝
｝
の様なループとなる。

画像サイズ１００×１００画素、１タイル、２レイヤ、解像度レベル３（０〜２）、３コンポ−ネント、プリシンクトサイズ３２×３２とした場合のLRCPプログレッションのパケット配列例を図７に示し、RPCLプログレッションのパケットの配列例を図８に示す。

［実施形態の説明］
以下、本発明の実施の形態について説明する。図９は、本発明の実施の形態を説明するためのブロック図である。図９において、１００は本発明に係る画像処理装置であり、単独で動作することも、通信路１０１（ＬＡＮやインターネット等）を介して接続されたサーバ１０２に対しクライアントとして動作することも可能である。

画像処理装置１００は、ＪＰＥＧ２０００の静止画符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データの復号処理を行う復号処理装置１１０、復号画像等を表示する画像表示装置１１１、サーバ１０２との通信を行う通信装置１１２、符号化データを保存するための符号蓄積装置１１３、ユーザからの各種指示を入力するための指示入力装置１１４、装置全体の動作制御等を行うシステム制御装置１１５からなる。

復号処理装置１１０は、図１に関連して説明したようなタグ処理部１２１、エントロピー復号化部１２２、逆量子化部１２３、２次元逆ウェーブレット変換部１２４及び逆色空間変換部１２５と、これら各部を制御する制御部１２６、復号処理に関連したデータを一時的に保存するためのデータ記憶部１２７、画像処理装置１００の他の部分とのインターフェース１２８から構成される。

本発明に特有のエントロピー復号状態の管理、復号処理及び符号保存の制御は制御部１２６によって行われる。すなわち、請求項１乃至８記載の発明の制御手段は制御部１２６に含まれる。このような制御のために後述のエラーフラグリスト１３０の生成・修正が行われるが、このエラーリスト１３０の記憶域としてデータ記憶部１２７が利用される。

＜動作説明（１）＞
指示入力装置１１４によってユーザから指定された画像の符号化データを符号蓄積部１１３より復号処理装置１１０に読み込んで復号処理を行い、復号画像を画像表示装置１１１に表示する動作について説明する。図１０は、その説明のための簡略化されたフローチャートである。

まず、タグ処理部１２１により、符号化データのメインヘッダ（及び最初のタイルパートヘッダ）が解析される（ステップＳ１）。この解析により、タイルサイズやタイル数、プリシンクトサイズ、プログレッションオーダ、解像度レベル数、レイヤ数、コンポーネント数等々の情報が得られる。この解析結果に基づいて、制御部１２６は復号処理に関する各種パラメータの設定を行う（ステップＳ２）。ここまでは一般的な復号処理装置の動作と同様である。パケットの属性の解釈及びエントロピー復号は、プログレッションオーダーに対応した前述のようなforループに従って行われるが、このforループの設定もこの段階で行われる。図１０では簡略化されているが、ステップＳ４〜Ｓ８の処理は、そのようなforループ内の繰り返し処理である。なお、２番目以降のタイルパートヘッダの解析は、ステップＳ４以降の処理内で随時行われ、解析結果に応じた必要なパラメータの設定変更等が行われる。

次に、制御部１２６は、指示入力装置１１４からの指示に基づいたエラーフラグリストを作成する（ステップＳ３）。このエラーフラグリストは、領域（タイル、プリシンクトなど）、解像度、画質（レイヤ）、コンポーネント（色成分）等の属性毎にエントロピー復号状態の管理と復号処理制御等を行うための管理情報である。

例えば、属性としてタイルが指定された場合には、例えば図１１（ａ）のようなエラーフラグリストが作成される。図中のエラー状態の値「０」は正常状態を、「１」は異常状態を表す。通常、初期段階では図１１（ａ）のように全てのタイルのエラー状態は「０」に設定されるが、意図的に特定のタイルのエラー状態を「１」に設定することにより、そのタイルの復号処理を行わないようにすることも可能である。

より詳細な領域属性によるエントロピー復号状態の管理及び復号処理制御等が指定された場合には、プリシンクト又はコードブロックを単位とした同様のエラーフラグリストが作成される。２以上のタイルに分割されている場合には、このようなエラーフラグリストはタイル毎に作成される。

レイヤ（画質）属性によるエントロピー復号状態の管理及び復号処理制御等が指定された場合には、例えば図１２（ａ）に示すようなエラーフラグリストが作成される。２以上のタイルに分割されている場合には、このようなエラーフラグリストはタイル毎に作成されるか全タイル共通に１つだけ作成される。前者の場合はレイヤ属性によるエントロピー復号状態の管理及び復号処理制御等はタイル毎に別々に行われ、後者の場合には全てのタイルに対して共通のエントロピー復号状態の管理及び復号処理制御等が行われる。通常、初期段階では図１２（ａ）のように全てのレイヤのエラー状態は「０」に設定されるが、意図的に特定のレイヤのエラー状態を「１」に初期設定することにより、そのレイヤの復号処理を行わないようにすることも可能である。

解像度属性によるエントロピー復号状態の管理及び復号処理制御等が指定された場合には、例えば図１３（ａ）に示すようなエラーフラグリストが作成される。２以上のタイルに分割されている場合には、このようなエラーフラグリストはタイル毎に作成されるか全タイル共通に１つだけ作成される。前者の場合は解像度属性によるエントロピー復号状態の管理及び復号処理制御等はタイル毎に別々に行われ、後者の場合には全てのタイルに対して共通にエントロピー復号状態の管理及び復号処理制御等が行われる。なお、通常、初期段階では図１３（ａ）のように全ての解像度レベルのエラー状態は「０」に設定されるが、意図的に特定の解像度レベルのエラー状態を「１」に初期設定することにより、その解像度レベルの復号処理を行わないようにすることも可能である。

コンポーネント（色成分）属性によるエントロピー復号状態の管理及び復号処理制御等が指定された場合には、例えば図１４（ａ）に示すようなエラーフラグリストが作成される。２以上のタイルに分割されている場合には、このようなエラーフラグリストはタイル毎に作成されるか全タイル共通に１つだけ作成される。前者の場合はコンポーネント属性による復号処理制御等はタイル毎に別々に行われ、後者の場合には全てのタイルに対して共通の復号処理制御等が行われる。なお、通常、初期段階では図１４（ａ）のように全ての色成分のエラー状態は「０」に設定されるが、意図的に特定のコンポーネントのエラー状態を「１」に初期設定することにより、そのコンポーネントの復号処理を行わないようにすることも可能である。

なお、コンポーネント別に、領域（タイル、プリシンクト、コードブロック）属性、レイヤ属性、又は解像度属性によるエントロピー復号状態の管理及び復号処理制御等を行うことも可能である。この場合には、それら属性によるエラーフラグリストがコンポーネント毎に作成されることになる。

以上の準備処理の後、符号化データ中の符号をパケット単位で読み込みながらステップＳ４〜Ｓ８の処理を行う。

まず、制御部１２６は、エラーフラグリストを参照し、読み込まれたパケットの属性に対応したエラー状態を調べる（ステップＳ５）。そのエラー状態が「１」ならば、制御部１２６はエントロピー復号化部１２２で当該パケットに対するエントロピー復号を行わせず、次のパケットの読み込みを行わせる制御を行う。つまり、エラー状態が「１」の属性のパケットは読み飛ばされることになる。

一方、当該パケットの属性に対応するエラー状態が「０」ならば、制御部１２２はエントロピー復号化部１２２で当該パケットのエントロピー復号を実行させる（ステップＳ６）。その復号データ（ウェーブレット係数）はデータ記憶部１２７に保存される。制御部１２６は、当該パケットのエントロピー復号が正常に行われたか調べ（ステップＳ７）、正常ならば次のパケットの読み込みを行わせる制御を行う。

当該パケットのエントロピー復号で異常が発生したならば、制御部１２６は、エラーフラグリストの必要な修正を行い（ステップＳ８）、この後に次のパケットの読み込みを行わせる制御を行う。このエラーフラグリストの修正について図１１乃至図１４を例に説明する。

例えばタイル属性によるエントロピー復号状態の管理及び復号処理制御等が行われる場合において、例えばタイル２に属するパケットのエントロピー復号の異常が発生したときには、図１１（ｂ）に示すようにエラーフラグリストのタイル２のエラー状態が「１」に修正される。その結果、タイル２に含まれる後続のパケットは全て読み飛ばされることになる。

レイヤ属性によるエントロピー復号状態の管理及び復号処理制御等が行われる場合において、例えばレイヤ６に属するパケットのエントロピー復号の異常が発生したときには、図１２（ｂ）に示すようにエラーフラグリストのレイヤ６及びそれより下位のレイヤ７〜９のエラー状態が「１」に修正される。その結果、レイヤ６〜９に属する後続のパケットは全て読み飛ばされることになる。なお、エントロピー復号の異常が生じたレイヤ６のみエラー状態を「１」に修正し、それより下位のレイヤのエラー状態を「０」のままにしておくことも可能であり、かかる態様も本実施形態に包含される。

解像度属性によるエントロピー復号状態の管理及び復号処理制御等が行われる場合において、例えば解像度レベル４に属するパケットのエントロピー復号の異常が発生したときには、図１３（ｂ）に示すようにエラーフラグリストの解像度レベル４及びそれより低い解像度レベル５のエラー状態が「１」に修正される。その結果、解像度レベル４，５に属する後続のパケットは全て読み飛ばされることになる。なお、エントロピー復号の異常が生じた解像度レベル４のみエラー状態を「１」に修正し、それより低い解像度レベル５のエラー状態を「０」のままにしておくことも可能であり、かかる態様も本実施形態に包含される。

コンポーネント（色成分）属性によるエントロピー復号状態の管理及び復号処理制御等が行われる場合において、例えばＣｂ成分のパケットのエントロピー復号の異常が発生したときには、図１４（ｂ）に示すようにエラーフラグリストのＣｂ成分のエラー状態が「１」に修正される。その結果、後続のＣｂ成分のパケットは読み飛ばされることになるが、エラー状態が「０」のＹ成分とＣｒ成分のパケットはエントロピー復号される。

以上の処理が符号化データの最後のパケットまで繰り返される。

ここまでの説明から明らかなように、タイル属性によりエントロピー復号の状態の管理及び復号処理制御を行う場合、あるタイルの属性を持つパケットのエントロピー復号の異常が発生したときには、そのタイルについては復号画質が低下するものの、それ以外のタイルについては復号画質の低下は生じないため、復号処理を中止する方法に比べ、復号画像の全体的な画質が向上する。また、エントロピー復号の異常が発生したパケットと同じタイルの属性を持つ後続のパケットのエントロピー復号を行っても復号画質向上への寄与は殆ど期待できないのが普通であるので、そのようなパケットのエントロピー復号が抑止されることにより処理効率が向上し、かつ、復号画質への格別の不利益は避けられる。

色成分属性によりエントロピー復号の状態の管理及び復号処理制御を行う場合、ある色成分の属性を持つ符号のエントロピー復号の異常が発生したときには、その色成分については復号画質が低下するものの、それ以外の色成分については復号画質の低下は生じないため、復号処理を中止する方法に比べ、復号画像の全体的な画質が向上する。また、エントロピー復号の異常が発生したパケットと同じ色成分の属性を持つ後続のパケットのエントロピー復号を行っても復号画質向上への寄与は殆ど期待できないのが普通であるので、そのようなパケットのエントロピー復号が抑止されることにより処理効率が向上し、かつ、復号画質への格別の不利益は避けられる。

解像度属性によりエントロピー復号の状態の管理及び復号処理制御を行う場合、ある解像度の属性を持つパケットのエントロピー復号の異常が発生したときにエントロピー復号が抑止されるのは、その解像度の属性を持つ後続のパケット、あるいは、その解像度の属性を持つ後続のパケット及びそれより高い解像度の属性を持つ後続のパケットであるため、その異常を発生したパケットの段階で復号処理を中止する方法に比べ、高い復号画質を得ることができる。また、エントロピー復号が抑止されるパケットは、そのエントロピー復号を行ったとしても復号画質向上への寄与は殆ど期待できないのが普通であるので、そのようなパケットのエントロピー復号が抑止されることにより処理効率が向上し、かつ、復号画質への格別の不利益は避けられる。

画質属性によりエントロピー復号の状態の管理及び復号処理制御を行う場合、ある画質の属性を持つエントロピー復号の異常が発生したときにエントロピー復号が抑止されるのは、その画質の属性を持つ後続のパケット、あるいは、その画質の属性を持つ後続のパケット及びそれより高い画質の属性を持つ後続のパケットであるため、その異常を発生したパケットの段階で復号処理を中止する方法に比べ、高い復号画質を得ることができる。また、エントロピー復号が抑止されるパケットは、そのエントロピー復号を行ったとしても復号画質向上への寄与は殆ど期待できないのが普通であるので、そのようなパケットのエントロピー復号が抑止されることにより処理効率が向上し、かつ、復号画質への格別の不利益は避けられる。

また、２以上のタイルに分割された符号化データについて、タイル別に、色成分、解像度、又は画質の属性によるエントロピー復号の状態の管理及び復号処理制御を行う場合には、異常に関係のないタイルについては最高の復号画質を得ることができるとともに、異常に関係したタイルについても上に述べたような画像画質の向上と処理効率の向上を同時に達成することができる。

図１０に戻る。符号化データの最後のパケットの処理が終わると（ステップＳ４，ＹＥＳ）、制御部１２６は、指示入力装置１１４から入力された指示に従って画像復元処理のためのステップＳ１０又はＳ１１の一方を選択する（ステップＳ９）。

ステップＳ１０を選択した場合、制御部１２６は、エラーフラグリストを参照し、データ記憶部１２７に保存されている復号データ中の、復号異常が生じなかった属性（領域、レイヤ、解像度、色成分）のパケットの復号データのみを用いた画像復元処理（逆量子化、２次元逆ウェーブレット変換及び逆色空間変換）を逆量子化部１２３、２次元逆ウェーブレット変換部１２４及び逆色空間変換部１２５により実行させ、生成された画像データを画像表示装置１１１へ出力させる。したがって、例えば、タイル属性による復号処理制御を行う場合に、あるタイルのパケットの復号異常が生じたときには、そのタイルについては画像データは生成されず、その画像は表示されないことになる。

一方、ステップＳ１１を選択した場合、データ記憶部１２７に保存されている全ての復号データ（復号異常が生じた属性を持つパケットでエントロピー復号済みのパケットの復号データも含む）を用いた画像復元処理を実行させ、生成された画像データを画像表示装置１１１へ出力させる。したがって、例えば、タイル属性による復号処理制御を行う場合に、あるタイルのパケットの復号異常が生じたときには、そのタイルについても復号済みパケットの復号データから画像データが生成されて表示されることになる。

このように、エントロピー復号の異常が発生したパケットと同じ属性を持つパケットの復号データを全く用いない画像復元と、エントロピー復号の異常が発生したパケットと同じ属性を持つパケットであっても、エントロピー復号が抑止される以前に復号済みのパケットの復号データをも用いる画像復元とを選択することができる。例えば、あるタイルのパケットのエントロピー復号の異常が発生した場合、前者の画像復元を選べば、そのタイルについては画像が復元されないが、後者の画像復元を選べば、そのタイルについても復号済みパケットの多寡に応じた画質で画像を復元することができる。

なお、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データを処理する場合には、同様の復号処理が動画の各フレームに対し繰り返される。

また、以上の説明から理解されるように、図１０中のステップＳ３，Ｓ５，Ｓ７，Ｓ８，Ｓ９は、請求項１乃至７記載の発明における制御手段の機能に対応するものである。また、図１０は請求項１１乃至１７記載の発明における復号処理工程の処理手順を示すものでもあり、そのステップＳ３，Ｓ５，Ｓ７，Ｓ８，Ｓ９は制御工程に対応する。

＜動作説明（２）＞
指示入力装置１１４によってユーザから指定された画像の符号化データを通信装置１１２でサーバ１０２より受信し、それを復号処理装置１１０に入力して復号処理を行い、復号画像を画像表示装置１１１に表示し、また、復号処理した符号化データを符号蓄積装置１１３に保存する動作について説明する。図１５は、その説明のための簡略化されたフローチャートである。

まず、タグ処理部１２１により、符号化データのメインヘッダ（及び最初のタイルパートヘッダ）が解析される（ステップＳ２１）。なお、メインヘッダ及びタイルパートヘッダは、データ記憶部１２７に保存される。制御部１２６は、ヘッダ解析結果に基づいて復号処理に関する各種パラメータの設定を行う（ステップＳ２２）。パケットの属性の解釈及びエントロピー復号は、プログレッションオーダーに対応した前述のようなforループに従って行われるが、このforループの設定もこの段階で行われる。図１５では簡略化されているが、ステップＳ２４〜Ｓ２９の処理は、そのようなforループ内の繰り返し処理である。なお、２番目以降のタイルパートヘッダの解析は、ステップＳ２４以降の処理内で随時行われ、解析結果に応じた必要なパラメータの設定変更等が行われる。

次に、制御部１２６は、指示入力装置１１４からの指示に基づいたエラーフラグリストを作成する（ステップＳ２３）。このエラーフラグリストについては図１１乃至図１４に説明した通りである。

以上の準備処理の後、符号化データ中の符号をパケット単位で読み込みながらステップＳ２４〜Ｓ２９の処理を行う。

まず、制御部１２６は、読み込まれたパケットを、その属性別に分類してデータ記憶部１２７に保存する（ステップＳ２５）。

次に、制御部１２６は、エラーフラグリストを参照し、読み込まれたパケットの属性に対応したエラー状態を調べる（ステップＳ２６）。そのエラー状態が「１」ならば、制御部１２６はエントロピー復号化部１２２で当該パケットに対するエントロピー復号を行わせず、次のパケットの読み込みを行わせる制御を行う。

一方、当該パケットの属性に対応するエラー状態が「０」ならば、制御部１２２はエントロピー復号化部１２２で当該パケットのエントロピー復号を行わせる（ステップＳ２７）。その復号データ（ウェーブレット係数）はデータ記憶部１２７に保存される。制御部１２６は、当該パケットのエントロピー復号が正常に行われたか調べ（ステップＳ２８）、正常ならば次のパケットの読み込みを行わせる制御を行う。

当該パケットのエントロピー復号に異常が発生したときには、制御部１２６は、エラーフラグリストの必要な修正を行い（ステップＳ２９）、この後に次のパケットの読み込みを行わせる制御を行う。このエラーフラグリストの修正について図１１乃至図１４を参照して説明した通りである。

以上の処理が符号化データの最後のパケットまで繰り返される。最後のパケットの処理が終わると（ステップＳ２４，ＹＥＳ）、制御部１２６は、指示入力装置１１４から入力された指示に従って画像復元処理のためのステップＳ３１又はＳ３２の一方を選択する（ステップＳ３０）。ステップＳ３１を選択した場合、制御部１２６は、エラーフラグリストを参照し、データ記憶部１２７に保存されている復号データ中の、復号異常が生じなかった属性（領域、レイヤ、解像度、色成分）のパケットの復号データのみを用いた画像復元処理（逆量子化、２次元逆ウェーブレット変換及び逆色空間変換）を逆量子化部１２３、２次元逆ウェーブレット変換部１２４及び逆色空間変換部１２５により実行させ、生成された画像データを画像表示装置１１１へ出力させる。ステップＳ３２を選択した場合、データ記憶部１２７に保存されている全ての復号データ（復号異常が生じた属性のエントロピー復号済みパケットの復号データも含む）を用いた画像データ復元処理を実行させ、生成された画像データを画像表示装置１１１へ出力させる。

次に、制御部１２６は、指示入力装置１１４から入力された指示に従って符号保存のためのステップＳ３４又はＳ３５の一方を選択する（ステップＳ３３）。

ステップＳ３４を選択した場合、制御部１２６は、エラーフラグリストを参照し、データ記憶部１２７に保存されているパケット群のうち、復号異常が生じた属性（領域、レイヤ、解像度、色成分）のパケットを空（から）パケットに置き換え、また、データ記憶部１２７に保存されているメインヘッダ及びタイルパートヘッダに必要な修正を施すことにより、復号異常が生じた属性の符号を削除した符号化データを編集し、これを符号蓄積装置１１３へ転送し保存させる。なお、復号異常が生じた属性のパケットを単に削除するのではなく空パケットに置き換えるのは、符号化データをＪＰＥＧ２０００フォーマットに整形するためである。

ステップＳ３５を選択した場合、制御部１２６は、データ記憶部１２７に保存されているメインヘッダ、タイルパートヘッダ及び全てのパケットからなる符号化データ、すなわちサーバ１０２より受信した符号化データをそのまま、符号蓄積装置１１３へ転送して保存させる。

このように、エントロピー復号が抑止されたパケットと同じ属性を持つパケットも含まれる、外部装置より取り込まれたものと同じ符号化データを保存することも、そのような属性を持つパケットを含めない符号化データを保存することもできるのである。

なお、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データを処理する場合には、同様の復号処理が動画の各フレームに対し繰り返される。

ここまでの説明から明らかなように、図１５中のステップＳ２３，Ｓ２５，Ｓ２６，Ｓ２８，Ｓ２９，Ｓ３０，Ｓ３３は、請求項１乃至８記載の発明における制御手段の機能に対応するものである。また、図１５は請求項１１乃至１８記載の発明における復号処理工程の処理手順を示すものでもあり、そのステップＳ２３，Ｓ２５，Ｓ２６，Ｓ２８，Ｓ２９，Ｓ３０，Ｓ３３は制御工程に対応する。

以上説明した画像処理装置１１０は、パソコンなどの汎用コンピュータや、画像表示機能を有する携帯情報端末、携帯電話、その他各種情報処理機器の内蔵マイクロコンピュータにおいてプログラムの形で実現することができる。このような態様について、図１６に示すような構成のコンピュータを例にさらに説明する。

図１６に示すコンピュータは、ＣＰＵ２００、メモリ２０２、ディスプレイ装置２０４、ハードディスク等の補助記憶装置２０６、キーボードやポインティングデバイスなどのユーザ入力装置２０８、通信インターフェース２１０、各種記録媒体（磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など）の読み取り／書き込みのための媒体ドライブ装置２１４などを備え、それらがシステムバス２１６で相互接続された一般的な構成である。

このようなコンピュータを、画像処理装置１１０の各構成要素として機能させるためのプログラム２２０（以下、画像処理プログラムと称する）は、それが記録された記録媒体より媒体ドライブ装置２１４によって読み込まれて補助記憶装置２０６に格納され、あるいはネットワーク経由で通信インターフェース２１０より取り込まれて補助記憶装置２０６に保存される。そして、画像処理プログラム２２０は、補助記憶装置２０６よりメモリ２０２にロードされ、ＣＰＵ２００により実行されることにより、コンピュータ上で本発明に係る画像処理装置１１０が実現される。符号蓄積装置１１３としては補助記憶装置２０６が利用され、復号処理装置１１０内のデータ記憶部１２７としてはメモリ１２７が利用される。なお、携帯情報端末などの機器では、画像処理プログラム２２０はＲＯＭの形で実装されることもあり、係る態様も本実施形態に含まれる。画像処理プログラム２２０と、これが記録された各種記録媒体（上記ＲＯＭなどの半導体記憶素子も含む）も、本実施形態に包含される。

処理対象となる静止画又は動画の符号化データは、例えば、ネットワーク上のサーバ１０２から通信インターフェース２１０を通じて取り込まれたり、補助記憶装置２０６又は媒体ドライブ装置２１４より取り込まれて処理される。

１つの典型的な態様によれば、画像処理プログラム２２０は、ビューア、ブラウザなどと呼ばれる静止画又は動画の閲覧のための他のプログラム２２２（以下、ビューア／ブラウザと称する）と連携して動作する形をとる。ただし、ビューア／ブラウザ２２２と画像処理プログラム２２０とを統合することも可能である。そのような統合された形のプログラム、それが記録された記録媒体、同プログラムによりコンピュータ上で実現される画像処理システムも本実施形態に包含される。

画像処理プログラム２２０は、静止画又は動画の符号化データの復号処理を実行して画像データを再生し、この画像データをビューア／ブラウザ２２２が画像表示ウィンドウ２３０に表示させる。このように、符号化データの復号処理は画像処理プログラム２２０で行われるが、復号画像データのディスプレイ装置２０４の画面への画像表示のための処理及び制御はビューア／ブラウザ２３０により行われる。すなわち、ビューア／ブラウザ２２２とディスプレイ装置２０４で画像表示装置１１１が実現される。

ビューア／ブラウザ２２２は、ディスプレイ装置２０４の画面上に、例えば図１７に模式的に示すように、画像表示ウィンドウ２３０を開き、そこに動画又は静止画を表示させ、また、コントロール領域２３２に、ユーザが各種の指定を行うためのボタンやスライドバーなどを表示する。通常、表示させる画像の指定（ファイル名やＵＲＬの指定）のほか、ユーザ入力装置２０８に含まれるマウスなどのポインティングデバイスの操作により、画像表示ウィンドウ２３０の縦横サイズの変更、画像の表示倍率の変更、画像表示ウィンド２３０より大きな画像のスクロール、特定領域（位置）の指定などが可能である。また、コントロール領域２３２に表示されたボタンやスライドバーなどにより、動画又は静止画に関する様々な条件の指定を行うことができ、その指定内容を画像処理プログラム２２０に通知する。前述したようなどのような属性（領域、画質、解像度、色成分）によりエントロピー復号状態の管理及び復号処理制御等を行うかの指示、ステップＳ９，Ｓ３０，Ｓ３３に関連した指示も、コントロール領域２３２に表示されたボタン等を用いて行われる。すなわち、ビューア／ブラウザ２２２とユーザ入力装置２０８により、指示入力装置１１４が実現される。

ここまでは、ＪＰＥＧ２０００の静止画符号化データ又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画符号化データを処理する場合について説明したが、それ以外の符号化方式による符号化データを処理する画像処理装置においても本発明を同様に適用し得ることは明らかである。

ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。 タイル分割の説明図である。 ２次元ウェーブレット変換の説明図である。 ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。 タイル、サブバンド、プリシンクト及びコードブロックの関係を示す図である。 レイヤ分割の例を示す図である。 ＬＲＣＰプログレッションのパケット配列例を示す図である。 ＲＬＣＰプログレッションのパケット配列例を示す図である。 本発明の実施の形態を説明するためのブロック図である。 本発明に係る画像処理装置の動作の説明のためのフローチャートである。 タイル属性によるエントロピー復号状態管理のためのエラーフラグリストの説明図である。 レイヤ属性によるエントロピー復号状態管理のためのエラーフラグリストの説明図である。 解像度属性によるエントロピー復号状態管理のためのエラーフラグリストの説明図である。 コンポーネント属性によるエントロピー復号状態管理のためのエラーフラグリストの説明図である。 本発明に係る画像処理装置の動作の説明のためのフローチャートである。 コンピュータを利用した実施の形態を説明するためのブロック図である。 ビューア／ブラウザによる画面表示の説明図である。

符号の説明

１００ 画像処理装置
１０１ 通信路
１０２ サーバ
１１０ 復号処理装置
１１２ 通信装置
１１３ 符号蓄積装置
１２１ タグ処理部
１２２ エントロピー復号化部
１２３ 逆量子化部
１２４ ２次元逆ウェーブレット変換部
１２５ 逆色空間変換部
１２６ 制御部
１２７ データ記憶部

Claims (18)

1. 領域の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、
   前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を領域毎に管理し、ある領域の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある領域の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置。
2. 色成分の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、
   前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を色成分毎に管理し、ある色成分の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある色成分の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置。
3. 解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、
   前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置。
4. 解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、
   前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号及び当該ある解像度より高い解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置。
5. 画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、
   前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置。
6. 画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理装置を備える画像処理装置であって、
   前記復号処理装置における符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号及び当該ある画質より高い画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御手段を有することを特徴とする画像処理装置。
7. 前記制御手段は、前記復号処理装置における画像復元処理に、エントロピー復号が抑止された符号と同じ属性を持つ符号の復号データを使用するか否かの制御を行うことを特徴とする請求項１乃至６のいずれか１項記載の画像処理装置。
8. 外部装置より画像の符号化データを取り込み、それを前記復号処理装置により復号処理する請求項１乃至６のいずれか１項記載の画像処理装置であって、
   前記復号処理装置により復号処理された符号化データを保存するための符号蓄積装置を有し、
   前記制御手段は、前記符号蓄積装置に保存する符号化データに、前記復号処理装置においてエントロピー復号が抑止された符号と同じ属性を持つ符号を含めるか否かの制御を行うことを特徴とする画像処理装置。
9. 請求項１乃至８のいずれか１項記載の復号処理装置及び制御手段としてコンピュータを機能させるプログラム。
10. 請求項１乃至８のいずれか１項記載の復号処理装置及び制御手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
11. 領域の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、
    前記復号処理工程は、符号化データ中の符号のエントロピー復号の状態を領域毎に管理し、ある領域の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある領域の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法。
12. 色成分の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、
    前記復号処理工程は、符号化データ中の符号のエントロピー復号の状態を色成分毎に管理し、ある色成分の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある色成分の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法。
13. 解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、
    前記復号処理工程は、符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法。
14. 解像度の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、
    前記復号処理工程は、符号化データ中の符号のエントロピー復号の状態を解像度毎に管理し、ある解像度の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある解像度の属性を持つ後続の符号及び当該ある解像度より高い解像度の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法。
15. 画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、
    前記復号処理工程は、符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法。
16. 画質の属性を持つ符号からなる、画像の符号化データの復号処理を行う復号処理工程を有し、
    前記復号処理工程は、符号化データ中の符号のエントロピー復号の状態を画質毎に管理し、ある画質の属性を持つ符号のエントロピー復号で異常が発生したときに、当該ある画質の属性を持つ後続の符号及び当該ある画質より高い画質の属性を持つ後続の符号のエントロピー復号を抑止する制御を行う制御工程を含むことを特徴とする画像処理方法。
17. 前記制御工程は、前記復号処理工程における画像復元処理に、エントロピー復号が抑止された符号と同じ属性を持つ符号の復号データを使用するか否かの制御を行うことを特徴とする請求項１１乃至１６のいずれか１項記載の画像処理方法。
18. 前記復号処理工程により復号処理された符号化データを保存するための符号化データ保存工程を有し、
    前記制御工程は、前記符号化データ保存工程により保存される符号化データに、前記復号処理工程においてエントロピー復号が抑止された符号と同じ属性を持つ符号を含めるか否かの制御を行うことを特徴とする請求項１１乃至１６のいずれか１項記載の画像処理方法。

Images