JP4086192B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、画像処理の分野に係り、特に、画像のプログレッシブ符号ストリームの生成及びプログレッシブ復号に関する。

近年、デジタルカメラやスキャナ等の普及に加えてインターネットの高速化も進み、高精細な多値の静止画像がホームユーザにも手軽に扱われるようになった。通常、これらの多値静止画像は、非常に多くの情報量となるため、何らかの圧縮符号化処理が行われている。

現在、カラー静止画像において最もよく使用されいる圧縮符号化方式は、Joint Photographic Experts GroupのIS(International Standard)10918-1(ITU-T T.81)にて勧告されたJPEGベースラインシステムである。なお、JPEGはベースラインシステムの他にプログレッシブ等の機能を拡充した拡張システム(IS 10918-3:ITU-T T.84)も標準化されている。また、次世代圧縮方式として、JPEGよりも高画質、多機能化が図られたJPEG2000の基本方式(part1)も2000年12月に標準化が完了している(IS 15444-1)。

通常、画像データを転送する際には、上記のような圧縮方式によって圧縮符号化された画像データがネットワークを介して転送され、受信側で復号され、モニタ等の表示装置に表示され、あるいは紙等の記録媒体に記録されて顕像化される。例えば、クライアント／サーバ環境において、クライアント側が画像データを受信してモニタ等に表示する場合に、例えばインターネットのような転送路の帯域が狭く画像データの受信に時間がかかるような条件では、画像データの転送の初期段階で粗い画像を画面表示させ、画像データの転送が進むにつれて精細な画像を表示するプログレッシブ符号化方式が採用されている。

JPEGでは、その拡張システムにおいて、転送路を介して画像を表示させることを主な目的としたプログレッシブ符号化方式が定義されているが、JPEG2000においては基本方式からプログレッシブ符号化方式が定義されている。

後述の本発明の実施の形態においては圧縮符号化方式としてJPEG2000を利用するため、ここでJPEG2000基本方式とプログレッシブ順序の概要を説明する。

図２６は、JPEG2000part1(以下JPEG2000)における圧縮符号化処理の基本ブロック図である。ここでは、入力画像データとしてカラーのRed,Green,Blue(以下RGB)の画像データを扱うもとして説明する。

入力されたRGBの画像データは、タイリング処理部222にて矩形のブロック（タイルと呼ばれる）に分割され、タイル単位で色変換部223に入力される。ラスタ形式の画像データが入力された場合は、タイリング処理部222においてラスタ/ブロック変換が行われる。

JPEG2000においては、タイル単位に独立して符号化又は復号化が可能である。このことは、ハードウェアにより符号化／復号化を行う場合のハード量を削減でき、また、必要なタイルのみ復号して表示することも可能となるなど、JPEG2000の多機能化の一翼を担っている。なお、JPEG2000ではタイリングはオプションであり、タイリングを行わないことも可能である。

次に、画像データは色変換処理部123にて、輝度/色差系の信号に変換される。JPEG2000では、離散ウェーブレット変換(以下ＤＷＴ)に使用するフィルタの種類(5x3と9x7の2通り)に対応して２種類の色変換が定められており、例えば可逆変換可能な5x3フィルタを使用する場合は、下記の式（１）による可逆の色変換が用いられる。

なお、上記の色変換に先立ち、RGBの各信号毎にＤＣレベルシフトが行われる。ＤＣレベルシフトは、例えば入力RGB信号が８bitの場合は、下記の式（２）により表される。

色変換後の信号はＤＷＴ処理部224において各コンポーネント毎に離散ウェーブレット変換（ＤＷＴ）を施される。ＤＷＴは２次元にて行われるが、通常は、リフティング演算と呼ばれる演算方法により、１次元フィルタ演算のコンボリューションにて実施される。１次元の変換式を式（３）に示す。

ＤＷＴはダウンサンプリングを伴うため、上記L(k)、H(k)は入力画像と比較し１／２の解像度となる。

図２７は、オクターブ分割されたウェーブレット係数を表す図である。ＤＷＴは、１デコンポジション(分解)レベル毎にLL,HL,LH,HHの４つのサブバンドと呼ばれる方向成分が出力され、LLに対してＤＷＴを再帰的に行うことによって、より低解像度へとデコンポジションレベルをあげていく。解像度の最も高いデコンポジションレベル１の係数を1HL,1LH,1HHと表し、デコンポジションレベル２の係数を2HL,2LH,2HH、等々と表す。なお、図２７は、３デコンポジションレベルのサブバンド分割を示している。また、図２７中の各サブバンドの右肩に記入した数字は解像度レベルを示す。

各デコンポジションレベルのサブバンドを、プレシンクトと呼ばれる矩形領域に分割して符号の集合を作成することが可能である。また、各プレシンクトはコードブロックとよばれる所定の矩形ブロックに分割され、符号化はコードブロック単位で行われる。

さて、ＤＷＴ処理部224から出力されたウェーブレット係数に対し量子化処理部225によってスカラー量子化が行われるが、可逆のＤＷＴが実施される場合にはスカラー量子化は行われないか、量子化ステップサイズを１とした量子化が行われる。また、後段のポスト量子化部227によるポスト量子化によっても、スカラー量子化とほぼ同様な効果が得られる。スカラー量子化のパラメータはタイル単位に変更可能である。

量子化処理部225から出力された量子化後のウェーブレット係数は、エントロピー符号化部226にてエントロピー符号化が行われる。JPEG2000におけるエントロピー符号化方式では、サブバンド内をコードブロックと呼ばれる矩形領域に分割し(但し、サブバンド領域のサイズがコードブロックサイズ以下の場合は分割しない)、コードブロック単位に符号化される。

この符号化においては、図２８に模式的に示すように、コードブロック内のウェーブレット係数はビットプレーンに分解され、ビットプレーンは画質への影響度を表す状態に従って３つの符号化パス(Significance propagationパス,Magnitude refinementパス,Clean upパス)と呼ばれるサブビットプレーンに分割されて、各々でMQコーダと呼ばれる算術符号化方式により符号化される。ビットプレーンはMSB側ほど、また、符号化パスはSignificance propagation、Magnitude refinement,Clean upの順に、重要度(画質への寄与度)が高くなっている。また、各パスの終端は、切り捨て点(トランケーションポイント)とも呼ばれ、後段でのポスト量子化での符号の切り捨て可能な単位となっている。

エントロピー符号化により生成された符号データに対し、ポスト量子化部227にて必要に応じて符号の切り捨て（トランケーション）が行われる。ただし、可逆の符号を出力する必要がある場合にはポスト量子化は実行されない。このように符号化後に符号の切り捨てにより符号量を制御することができ、符号量の制御にフィードバックを必要としない構成(１パスの符号化)であり、これがJPEG2000の特徴の１つである。

符号ストリーム生成処理部228は、ポスト量子化後の符号データに対し、後述するプログレッシブ順序に従って符号の並べ替えとヘッダの付加を行うことにより符号ストリームを生成する。

図２９は、JPEG2000におけるレイヤプログレッションの符号ストリームの模式図である。符号ストリームは、メインヘッダと１以上のタイルのデータで構成される。各タイルのデータは、タイルヘッダと、タイル内符号をレイヤとよばれる符号単位(後述)に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように上位レイヤから順番に並んでいる。レイヤはレイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。

パケットは、符号データの最小単位であり、１つのタイルコンポーネント内の１つの解像度レベル(デコンポジションレベル)における１つのプレシンクト内の１つのレイヤの符号データから成っている。

次に、JPEG2000におけるプログレッシブ順序について説明する。JPEG2000では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッション（プログレッシブ順序）が定義されている。

・LRCPプログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質プログレッションを実現できる。レイヤプログレッションとも呼ばれる。

・RLCPプログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度プログレッションを実現できる。

・RPCLプログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCPプログレッションと同様、解像度プログレッションであるが、特定位置（プレシンクト）の優先度を高くすることができる。

・PCRLプログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置プログレッションを実現できる。

・CPRLプログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に、最初にグレーの画像を再現するようなコンポーネント・プログレッションを実現できる。

図３０の（Ａ）はLRCPプログレッション(以下、レイヤプログレッション)のプログレッシブ順序を、(Ｂ)はRLCPプログレッションまたはRPCLプログレッション(以下、解像度プログレッション)のプログレッシブ順序を、それぞれ模式的に表した図である。横軸はデコンポジションレベル(レベルが高いほど低解像度)であり、縦軸はレイヤ番号である(番号が大きいほど下位レイヤであり、上位レイヤに下位レイヤの符号を付加して復号することによって、より高画質な再生が可能となる)。図中、塗りつぶされた長方形は、各デコンポジションレベル、レイヤにおける符号を表し、その大きさは符号量の割合を模式的に示している。図中の点線の矢印は符号順序を表している。

(Ａ)の破線はレイヤプログレッションにおける復号順序（符号の順序）を表している。最上位のレイヤの全ての解像度の復号を行って次位（下位）のレイヤの復号を行う。ウェーブレット係数レベルでみれば、係数の上位bitから復号を行うことになり、徐々に画質が向上するプログレッシブ復号が可能である。

(Ｂ)の破線は解像度プログレッションにおける復号順序（符号の順序）を表している。最も高いデコンポジションレベルの全てのレイヤの復号を行った後に次のデコンポジションレベルの復号を行うことになり、徐々に解像度が向上するプログレッシブ復号が可能である。

なお、図３０においてはコンポーネント及びプレシンクトの概念が省略されているので、その理解のために、ＬＲＣＰプログレッションとＲＬＣＰプログレッションにおけるパケットの並び方を模式的に図３１と図３２に例示する。

さて、近年、スキャナ、プリンタ、コピー等の機能を統合した複写機（マルチファンクションプリンタ；MFP)の普及がめざましい。このようなＭＦＰは、ハードディスク装置(以下HDD)等の大容量の記憶装置を備え、複数部数の原稿を１度だけ読み込み、その画像データをＨＤＤ等に記憶(蓄積)しておくことにより、その原稿をページ順に複数部数、出力する”電子ソート”と呼ばれる機能や、用紙のミスフィード(紙づまり)等のエラーにより複数のプリントがエラーした場合でも、原稿の再読み込みをすることなく自動的に再プリントを行うような機能を備えている。また、このようなスタンドアロンで使用される機能のほかに、スキャンした画像データをパソコンに転送したり、E-mailに添付して送信したり、スキャンした画像データをＨＤＤ内に一旦蓄積し、それを必要に応じてパソコン等へ転送する、ネットワーク経由の文書配信機能を備えている。

しかし、従来、このようなＭＦＰから文書画像をプログレッシブ符号化してパソコン等へ転送し、パソコン等でプログレッシブ復号を行っても、転送の早期の段階では、文書の全体のレイアウトは把握できるものの、文字が判読不可能であるため文書の内容を把握できないことが多いという問題があった。

このような問題の解決のために、例えば特許文献１に記載されている技術の利用が考えられる。特許文献１に記載の技術は、画像データをその属性に従って区分するレイアウト解析を行い、レイアウト解析により区分された領域の各々をタイルに分割し、分割によって得られたタイルに含まれる画像データの属性をタイルの属性として対応付け、対応付けされたタイルの属性に従ってプログレッシブ順序を切替えて符号化するというものである。より具体的には、文字属性のタイルはSNRプログレッション(レイヤプログレッション)を選択し、文字以外のタイルは解像度プログレッションを選択するものである。

しかし、このようなプログレッシブ順序を切り替える方式には別の問題がある。例えば、文字の含まれているタイルと文字の含まれていないタイルの境界部分でプログレッシブ順序が切り替わるため、それが画像上に違和感となって現れやすい。また、地図やチラシ等でよく見られる絵柄上の文字は”写真”属性と誤判定される場合があるが、その場合には解像度プログレッションとなるため文字判読性が低下するおそれがある。

なお、本発明においては画像種別を判定する領域判定技術が利用される。領域判定に関する公知文献は極めて多いが、その例として特許文献２，３，４を挙げることができる。

特開２００３−２３５４４号公報 特開２０００−１７５０３２号公報 特開２００３−１０１７７０号公報 特開平１１−２２０６２２号公報

前記問題点に鑑み、本発明は、符号ストリームのプログレッシブ復号の早い段階で画像内容の把握を可能にするための、新規な画像処理装置及び画像処理方法を提供しようとするものである。

請求項１の発明は、画像の符号化処理を行って、レイヤプログレッションのプログレッシブ符号ストリームを出力する符号化手段と、画像の画像種別を所定のブロック単位で判定する領域判定手段とを有し、前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置である。

請求項２の発明は、画像の符号ストリームを記憶する記憶手段と、画像の画像種別を所定のブロック単位で判定する領域判定手段と、前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置である。

請求項３の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の符号量を予め決められた設定符号量に制御することを特徴とする請求項１又は２の発明による画像処理装置である。

請求項４の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の設定符号量を、前記領域判定手段による判定結果に従って切り替えることを特徴とする請求項３の発明による画像処理装置である。

請求項５の発明は、前記領域判定手段により判定される画像種別に文字、黒文字、色文字及び網点のうちの少なくとも１つが含まれることを特徴とする請求項１，２，３又は４の発明による画像処理装置である。

請求項６の発明は、前記領域判定手段が、画像の符号化処理の過程において生成される画像の周波数変換係数に基づいて画像種別を判定することを特徴とする請求項１又は２の発明による画像処理装置である。

請求項７の発明は、前記領域判定手段が、前記符号ストリーム生成手段に取り込まれた符号ストリームに基づいて画像種別を判定することを特徴とする請求項２の発明による画像処理装置である。

請求項８の発明は、画像の符号化処理を行って、レイヤプログレッションのプログレッシブ符号ストリームを出力する符号化手段と、画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置である。

請求項９の発明は、画像の符号ストリームを記憶する記憶手段と、画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置である。

請求項１０の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の符号量を予め決められた設定符号量に制御することを特徴とする請求項８又は９の発明による画像処理装置である。

請求項１１の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の設定符号量を、前記特徴量検出手段により検出された特徴量に従って多段階に切り替えることを特徴とする請求項１０の発明による画像処理装置である。

請求項１２の発明は、前記特徴量検出手段により検出される画像の特徴量がエッジ量であることを特徴とする請求項８，９，１０又は１１の発明による画像処理装置である。

請求項１３の発明は、前記特徴量検出手段が、画像の符号化処理の過程において生成される画像の周波数変換係数に基づいて特徴量を検出することを特徴とする請求項８又は９の発明による画像処理装置である。

請求項１４の発明は、前記特徴量検出手段が、前記符号ストリーム生成手段に取り込まれた符号ストリームに基づいて特徴量を検出することを特徴とする請求項９の発明による画像処理装置である。

請求項１５の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理装置であって、画像の画像種別を所定のブロック単位で判定する領域判定手段と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段とを有することを特徴とする画像処理装置である。

請求項１６の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理装置であって、画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段とを有することを特徴とする画像処理装置である。

請求項１７の発明は、画像の画像種別を所定のブロック単位で判定する領域判定工程と、画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する工程を含むことを特徴とする画像処理方法である。

請求項１８の発明は、画像の多値の特徴量を所定のブロック単位で検出する特徴量検出工程と、画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程を含むことを特徴とする画像処理方法である。

請求項１９の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理方法であって、画像の画像種別を所定のブロック単位で判定する領域判定工程と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定工程による判定結果に従って制御する工程とを有することを特徴とする画像処理方法である。

請求項２０の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理方法であって、画像の特徴量を所定のブロック単位で検出する特徴量検出工程と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程とを有することを特徴とする画像処理装方法である。

請求項２１の発明は、請求項１乃至１６のいずれか１項の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項２２の発明は、請求項２１の発明によるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

請求項１乃至７，１７の発明によれば、領域判定結果に従ったレイヤ分割構成の制御により、画像種別に適したレイヤ分割構成を有するプログレッシブ符号ストリームを生成できるため、それを外部装置へ転送してプログレッシブ復号する場合などに、転送もしくは復号の早い段階で画像内容の把握を可能にすることができる。また、プログレッシブ符号ストリームのプログレッシブ順序は領域判定結果によって切り替えられないため、画像種別の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない。また、請求項２の発明によれば、記憶手段に記憶される符号ストリームのプログレッシブ順序や階層分割構成は任意であり、必ずしもプログレッシブである必要もないため、画像処理装置の内部での利用に適した構成の符号ストリームを記憶手段に記憶しておくことができ、一方、外部装置から要求された場合に、レイヤプログレッションの、画像種別に適したレイヤ分割構成のプログレッシブ符号ストリームを生成することができる。また、請求項３，４の発明によればプログレッシブ符号ストリームのレイヤ単位の符号量を保証でき、このことは低速の転送路を介して外部装置へ転送する場合などに有利である。さらに請求項４の発明によれば、例えば、非文字領域に比べ文字領域におけるレイヤ単位の設定符号量を大きくすることにより、プログレッシブ符号ストリームの転送、復号の早い段階での文字判読性を向上させることができる。また、請求項６，７の発明によれば、符号化処理又は符号ストリーム生成処理のためのハードウェア又はソフトウェアの内部で領域判定処理を完結させることができ、また領域判定処理も比較的簡易な処理とすることができるため、領域判定に関わるハードウェアやソフトウェアの簡略化に一般に有利である、等々の効果を得られる。

請求項８乃至１４，１８の発明によれば、特徴量に従ったレイヤ分割構成の制御により、画像種別に適したレイヤ分割構成を有するプログレッシブ符号ストリームを生成できるため、それを外部装置へ転送してプログレッシブ復号する場合などに、転送もしくは復号の早い段階で画像内容の把握を可能にすることができる。また、領域判定結果に従ってレイヤ分割構成を制御する構成では、誤判定領域で本来の画像種別とは別の画像種別に対応したレイヤ分割構成とされる結果、復号画像に違和感を生じやすいが、レイヤ分割構成を特徴量に従って段階的に制御することにより、そのような違和感は生じにくくなる。また、プログレッシブ符号ストリームのプログレッシブ順序は特徴量によらず一定であるため、特徴量の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない。また、請求項９の発明によれば、記憶手段に記憶される符号ストリームのプログレッシブ順序や階層分割構成は任意であり、必ずしもプログレッシブである必要もないため、画像処理装置の内部での利用に適した構成の符号ストリームを記憶手段に記憶しておくことができ、一方、外部装置から要求された場合に、レイヤプログレッションの、画像種別に適したレイヤ分割構成のプログレッシブ符号ストリームを生成することができる。また、請求項１０，１１の発明によればプログレッシブ符号ストリームのレイヤ単位の符号量を保証でき、このことは低速の転送路を介して外部装置へ転送する場合などに有利である。さらに請求項１１の発明によれば、例えば、非文字領域に比べ文字領域におけるレイヤ単位の設定符号量を大きくすることにより、プログレッシブ符号ストリームの転送、復号の早い段階での文字判読性を向上させることができる。また、請求項１２の発明では特徴量としてエッジ量を検出するが、エッジ量はエントロピー符号化の符号量との対応や文字らしさとの対応が良好であるため、文字判読性を向上させるようなレイヤ分割構成制御を的確に行うことができる。また、請求項１３，１４の発明によれば符号化処理又は符号ストリーム生成処理のためのハードウェア又はソフトウェアの内部で特徴量検出処理を完結させることができ、また特徴量検出処理も比較的簡易な処理とすることができるため、特徴量検出に関わるハードウェアやソフトウェアの簡略化に一般に有利である、等々の効果が得られる。

請求項１５，１９の発明によれば、受信した符号ストリームのプログレッシブ復号のレイヤ分割構成が領域判定結果に従って制御されるため、復号の早い段階で画像内容の把握を可能にすることができる。また、復号のプログレッシブ順序は領域判定結果に応じて切り替えられないため、画像種別の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない、等々の効果を得られる。

請求項１６，２０の発明によれば、受信した符号ストリームのプログレッシブ復号のレイヤ分割構成が特徴量に従って段階的に制御されるため、復号の早い段階で画像内容の把握を可能にすることができる。また、領域判定結果に従って階層分割構成を制御する構成では、誤判定領域で本来の画像種別とは異なった画像種別に適したレイヤ分割構成とされる結果、復号画像に違和感を生じやすいが、レイヤ分割構成を特徴量に従って段階的に制御する構成であるため、そのような違和感は生じにくい。また、プログレッシブ順序は特徴量によらず一定であるため、特徴量の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない、等々の効果を得られる。

また、請求項２１，２２の発明によれば、コンピュータを利用し請求項１乃至２０の発明を容易に実施することができる。

本発明の実施の形態の例として、図１に示すようなサーバ／クライアント環境で用いられる画像処理装置を挙げることができる。

図１において、サーバ１はＭＦＰなどの画像処理装置であり、クライアント３はプログレッシブ復号処理の可能な画像処理装置やパソコンなどである。サーバ１とクライアント３の間の転送路２は、例えばＬＡＮ、イントラネット、インターネットなどのネットワークの回線である。サーバ１は、クライアント３からのコマンドを受信し、画像のプログレッシブ符号ストリームを送信する。クライアント３は、プログレッシブ符号ストリームを受信してプログレッシブに復号を行うことにより、モニタ装置４に画像を段階的に画質が向上するように表示する。

請求項１〜１４，１７，１８の発明は、サーバ１として用いられるＭＦＰなどの画像処理装置に関わるものである。また、請求項１５，１６，１９，２０の発明は、クライアント３として用いられる画像処理装置に関わるものである。ただし、本発明は、画像のプログレッシブ符号ストリームを生成し、それをプログレッシブ復号する機能を持つスタンドアローンの画像処理装置にも適用し得るものである。

以下、本発明の実施の形態を、いくつかの実施例に関し詳細に説明する。なお、説明の重複を減らすため、説明中で参照される複数の図面において同一部分又は対応部分には同一の参照符号を付し、また、一部の図面を複数の実施例の説明に利用する。また、各実施例における圧縮符号化方式として、先に概要を説明したＪＰＥＧ２０００の基本方式を想定する。

図２は、本実施例に係る画像処理装置のブロック図である。この画像処理装置は、サーバ１として利用し得るＭＦＰであり、原稿を読み取るスキャナ部９、スキャナ部９から入力された画像データに対し公知のγ補正処理や空間フィルタ処理等の画像処理を行うスキャナ画像処理部11、スキャナ９から入力された画像データによって像域分離処理を行う像域分離処理部10、画像データの符号化処理を行って符号ストリームを出力するエンコーダ12、装置全体の動作命令やコントローラユニット内のデータ処理を行うＣＰＵ13、画像データや圧縮符号化された符号データを一時的に記憶するワーク領域として使用される揮発性のメモリ14、符号データ等を保存、蓄積するためのハードディスク装置(ＨＤＤ)15、操作者とのインターフェースである、スタートボタンや動作モード等の設定ボタンなどを有する操作部16、外部転送路２を介してクライアント３等の外部機器とデータを送受信する外部転送路インターフェース（Ｉ／Ｆ）17、符号データを復号処理して画像データを出力するデコーダ18、画像データに公知の色補正処理、γ変換処理、擬似階調処理等を施すプリンタ画像処理部19、前記構成要素12〜18を接続するバス20、プリンタ画像処理部19より入力される画像データを記録紙等の記録媒体へ出力するプリンタ部21から構成されている。

まず、この画像処理装置における基本的な複写動作について説明する。ユーザにより操作部16上のスタートボタン（図示無し)が押下されると、操作部16よりバス20を介して信号を受信したＣＰＵ13は、複写動作に先立ち必要なパラメータの設定等を行った後、所定の複写動作のための制御を行う。

スキャナ部９は、原稿をスキャンして図示しないCCDによって光電変換を行い、デジタル信号であるRed(R),Green(G),Blue(B)のカラー画像データへと変換して出力する。スキャナから出力された画像データに対しスキャナ画像処理部11で公知の画像処理が行われ、また、この画像データに基づいて像域分離処理部10で像域分離処理が行われる。スキャナ画像処理部11における画像処理の内容は、本発明において特に限定されるものではないが、その例をあげれば、CCDから読込まれた反射率属性の信号を、濃度属性に変換するγ変換やlog変換、スキャナ光学系のＭＴＦの劣化補正、モアレ抑制を目的とした空間フィルタ処理、原稿地肌を除去する地肌除去処理、スキャナの色空間を例えばsRGBなどの標準色空間へと変換する色変換処理等が考えられる。なお、このような処理において、像域分離処理部10から出力される分離信号を使用して、文字部と非文字部にて異なる処理を行うように構成してもよい。

像域分離処理部10では、画像を画素単位にて文字と非文字に像域分離を行い、１bitの分離信号を出力する。ここでの像域分離処理には公知の像域分離処理技術を使用すればよく、その処理方法は特に限定されないが、その好適な方法の一例として特許文献２に記載された像域分離方法がある。その概要は次の通りである。

ＲＧＢ画像データの場合に、Ｇデータに関し、無地上文字領域の判定と網点上文字領域の判定を行う。無地上文字領域の判定においては、Ｇデータをエッジ強調フィルタを適用してから２つの閾値を用いて白、黒、その他に３値化し、黒エッジパターン及び白エッジパターンとのマッチングを行い、例えば５×５画素のブロック内に白エッジパターンと一致する画素及び黒エッジパターンと一致する画素がそれぞれ１個以上存在する場合には、そのブロック（又は中心画素）を無地上文字領域と判定する。網点上文字領域の判定においては、Ｇデータを平滑化フィルタを適用してから別の２つの閾値を用いて白、黒、その他に３値化し、黒エッジパターン及び白エッジパターンとのマッチングを行い、５×５画素のブロック内に白エッジパターンと一致する画素及び黒エッジパターンと一致する画素がそれぞれ１個以上存在する場合には、そのブロック（又は中心画素）を網点上文字領域と判定する。そして、無地上文字領域又は網点上文字領域と判定された画素を最終的に文字領域とし、それ以外の画素を最終的に非文字領域とする。

このような画像データに基づいた像域分離方法は、画素単位の精度の高い像域分離が可能であり、したがって、像域分離結果を利用することによりタイルの領域判定を精度よく行うことができる。なお、後述のようにエンコーダ12において色変換が行われるため、色変換後のＹ信号を用いて同様の像域分離を行ってもよく、かかる態様も本実施例に包含される。

スキャナ画像処理部11により処理された画像データと、像域分離処理部10より出力される分離信号は、エンコーダ12に入力される。エンコーダ12において、画像データは分離信号に応じて圧縮符号化され、符号ストリームが生成される。エンコーダ12は本発明に直接関連する部分であり、その詳細は後述する。

エンコーダ12からバス20に出力された符号ストリームはメモリ14に一旦記憶され、その後、メモリ14から読み出されてＨＤＤ15に保存される。また、ＨＤＤ15への保存と並行して、符号ストリームはデコーダ18に入力され復号処理が行われる。上記のようなバスの制御は、ＣＰＵ13によって行われる。

なお、通常、このようにバスに接続されたメモリへのデータの書き込みアクセスは、バスに接続された各処理部がＤＭＡ(Direct Memory Accsess)によって数十バイトから数キロバイトの一定量のデータ単位で行われるので、バスの接続部はバッファとＤＭＡコントローラで構成されているのが一般的であるが、説明の簡略化のためＤＭＡコントローラは省略されている。また、メモリからのデータの読み込みも同様にＤＭＡによって行われるので入力バッファメモリが必要となるが、これも省略されている。

また、ＨＤＤ15への符号データの保存の際にメモリ14への書き込みを介在させているが、その理由は次の通りである。ＨＤＤは、ディスクの中心に近い側と遠い側等で読み出し／書き込み速度が変化したり、読み出し／書き込みエラー等を生じる可能性があり、半導体メモリと比較すると同期信号の読み出し／書き込みには向かないデバイスである。そのため、同期信号であるエンコーダ12の出力データを直接書き込まずに、一旦メモリ14に記憶された符号データを非同期に書き込み安定的に使用するためである。読み出し時も同様である。ただし、１ページ単位のマクロ的にみれば、ＨＤＤも同期して動作することになる。

なお、ＨＤＤ15に保存された符号データは、複写時に紙詰まり等が発生した場合のバックアップや、多ページの原稿を多部数、ページ順に出力する電子ソート機能、外部機器へのデータ配信等に利用される。

デコーダ18は、メモリ14から符号ストリームが入力されると、所定の復号処理を行い画像データをプリンタ画像処理部19に出力する。プリンタ画像処理部19での画像処理は、スキャナ画像処理部11と同様、本発明において特に限定されることはないが、例をあげれば、RGB信号をプリンタの色材信号、例えばCyan(C),Magenta(M),Yellow(Y),Black(K)へ変換しカラーマッチングを行う色補正、墨生成、画像データのγ特性をプリンタ21のγ特性に合わせるγ補正、ディザや誤差拡散といったハーフトーンへの変換を行う擬似階調処理等が考えられる。このような画像処理が行われた画像データは、プリンタ21にて記録紙などに印字されて出力され、複写動作が完了する。

複写動作完了後には、ＨＤＤ15内に複写動作途中の画像データが圧縮符号化された状態で保存されたことになる。このようにＨＤＤ15内に画像データを保存しておくことによって、画像データを外部機器へ転送したり、必要になった時に再プリントをすることが可能となる。なお、原稿をＨＤＤ15内に電子データとして保存することのみ必要な場合は、デコーダ18以降の処理は行われない。

次に、エンコーダ12について説明する。図３は、本実施例に係るエンコーダ12のブロック図である。このエンコーダ12は、JPEG2000基本方式に準拠した符号化手段であり、入力バッファ30と、符号化処理に直接関わる色変換処理部31、離散ウェーブレット変換（ＤＷＴ）処理部32、エントロピー符号化部35、ポスト量子化処理部36及び符号ストリーム生成処理部37と、領域判定処理部34とからなる。

スキャナ画像処理部11及び像域分離処理部10より出力されるRGB画像データ及び分離データは入力バッファ30に一旦蓄積され、タイル単位に読み出される。スキャナ９からの出力データはラスタデータの形式であるので、入力バッファ30でラスタ／ブロック変換が行われる。

入力バッファ30より読み出された画像データは、色変換処理部31にて輝度/色差信号（YUV)に変換される。色変換後の信号は、ＤＷＴ処理部32において各々のコンポーネント毎にＤＷＴが行われる。ＤＷＴ処理部32から出力されたＤＷＴ係数は、エントロピー符号化部35にてエントロピー符号化される。エントロピー符号化された符号データは、ポスト量子化処理部36にて必要に応じて符号の切り捨てによるポスト量子化処理を施される。通常、スキャナにより入力された画像データにはノイズ成分が含まれている場合が多く、画質に影響しない程度にポスト量子化を行うことにより圧縮率を向上させることができる。ただし、可逆の符号を出力する場合は、ポスト量子化は行われない。ポスト量子化処理後の符号データは符号ストリーム生成処理部３７へ入力される。なお、ポスト量子化の代わりに、ＤＷＴ処理部32から出力されたＤＷＴ係数に対してスカラー量子化を行うように構成してもよい。

一方、領域判定処理部34では、タイル単位で分離信号（文字の時に”１”となる１bit信号）のＯＲをとることによって、文字タイルであるか非文字タイルであるかの領域判定を行い、その結果を表す領域判定信号を出力する。この領域判定信号は符号ストリーム生成処理部３７へ入力される。なお、この領域判定信号をポスト量子化処理部36へ入力して、文字タイルと非文字タイルとでポスト量子化処理の内容を変更させる構成としてもよく、かかる態様も本実施例に含まれる。

符号ストリーム生成処理部37では、ポスト量子化処理後の各タイルの符号データの符号を並べ替えることにより、所定のプログレッシブ順序（本実施例ではレイヤ（ＬＲＣＰ）プログレッション）によるプログレッシブ符号を生成し、当該タイル分のプログレッシブ符号ストリームを構成し、それをヘッダデータを付加してバス20を介しメモリ14へ出力する。この各タイルの符号ストリームの形成の際に、領域判定処理部34からの領域判定信号が文字タイルを示すか非文字タイルを示すかによって、符号ストリームの階層分割構成（ここではレイヤ分割構成、換言すれば符号の優先順位）を変更する。

本実施例においては符号ストリームのプログレッシブ順序としてレイヤ(LRCP)プログレッションを使用する。解像度プログレッションでは、低解像度を復号した後、高解像度の復号というプログレッシブ順序になるので、文字等の高周波成分に高いエネルギーを有する画像では一般にレイヤプログレッションの方が適する。一方、レイヤプログレッションにおいては、上位bitから下位bit側への復号順序を守らなければならないという制約はあるものの、コードブロック単位でレイヤ境界は自由に設定可能であり、階層分割構成の自由度は高くなっている。これがレイヤプログレッションを使用する主たる理由である。

ここまでの説明から明らかなように、符号ストリーム生成処理部37は請求項１の発明における符号ストリーム生成手段に対応し、領域判定処理部34は像域分離処理部10とともに請求項１の発明における領域判定手段を構成するものである。また、タイルが請求項１の発明におけるブロックに相当する。

また、本実施例は請求項１７の発明の一実施例でもある。すなわち、符号ストリーム生成処理部３７による処理は請求項１７の発明における符号ストリーム生成工程に対応し、領域判定処理部34による処理は請求項１７の発明における領域判定工程に対応する。

ここで、文字タイル/非文字タイルの別によるレイヤ分割構成（階層分割構成）の制御について説明する。

図４は、レイヤ分割構成を説明するための模式図であり、(Ａ)は文字タイル用のレイヤ分割構成を、(Ｂ)は非文字タイル用のレイヤ分割構成を表している。ここでは、説明の簡略化のため、デコンポジションレベル数２のウェーブレット変換としている。また、コンポーネント、プレシンクト、コードブロックの概念は省略されている。

図４において、横軸は各サブバンド名を、縦軸はレイヤ番号を表している。レイヤ数は４としているが、これは例にすぎない。図３０の（Ａ）と同様、図中の塗りつぶされた長方形は各サブバンド、各レイヤにおける符号を示し、その大きさは符号量の割合を模式的に表している。

文字タイルと非文字タイルのレイヤ分割構成の違いを説明する。特に、レイヤ０に特徴がある。

文字タイルにおいては、図４（Ａ）に示すように、最上位のレイヤ０から1HL、1LHサブバンドの符号を含ませることによって、高周波成分に高い値を持つ文字画像の再現性を高めている。但し、上位レイヤから符号量が大きくなる(圧縮率が低下する)ことをなるべく避けるため、斜め成分である1HHサブバンドの符号量は０とし、2HHサブバンドの符号量も2HL、2LHサブバンドと比較し小さくしている。

一方、非文字タイルにおいては、図４（Ｂ）に示すように、レイヤ０ではデコンポジションレベル１の成分の符号量を全て０として圧縮率の低下を防いでいる。レイヤ１では、高周波成分の上位bitを含ませている。デコンポジションレベルが高い(解像度が低い)成分であっても、下位bitはノイズ成分である可能性が高いので、そのような成分よりも高周波の上位bitを優先させることによって、エッジ等を含む写真の解像度をプログレッシブの早期段階から向上させることを意図したレイヤ分割構成としているわけである。CCD等の光電変換素子を使用して画像を取得する画像入力機器であるスキャナやデジタルカメラでは、画像にノイズ成分を含む場合が多いので、このようなレイヤ分割構成が特に有効である。

このようにレイヤ分割構成が制御されたレイヤプログレッションの符号ストリームは、外部Ｉ／Ｆ１７より外部転送路２を介しクライアント３などの外部機器へ転送しプログレッシブ復号するならば、転送もしくは復号の早い段階で文字の判読が可能になるため画像内容の把握が容易になる。また、画像の写真部等のエッジ部分の再生も早期の段階で高画質に再生可能となる。また、文字タイルと非文字タイルとで符号ストリームのプログレッシブ順序が切り替わることはないため、文字タイルと非文字タイルの境界部にプログレッシブ順序の違いによる違和感が生じることもない。

図５に本実施例に係る符号ストリーム生成処理部37のブロック図を示す。図示のように、本実施例の符号ストリーム生成処理部37は、入力符号バッファ41、符号量カウンタ42、パターンテーブル43、セレクタ44、パケット生成処理部45、タイルヘッダ生成処理部46、及び、出力符号バッファ47から構成されている。なお、入力符号バッファ41と出力符号バッファ47を分割せず、同じメモリを使用するような構成にしてもよい。

符号ストリーム生成処理動作は以下の通りである。ポスト量子化処理部36から出力された符号データは、入力符号バッファ41に、サブバンドのコードブロック単位で記憶される。入力符号バッファ41にはそれが模式的に表されており、CD1〜CD4・・・・はコードブロックと便宜上の番号を示している。なお、説明の簡略化のためにコンポーネントの概念は省略している。各々のコードブロックの符号は、図２８に示したようにサブビットプレーン単位に区切られて配置される。

また、符号データは符号量カウンタ42にも入力され、符号量カウンタ42によってコードブロックのサブビットプレーン単位で符号量がカウントされる。この符号量データは、パケット生成処理部45とタイルヘッダ生成部46に入力され、パケットヘッダとタイルヘッダの符号量情報に使用される。

入力符号バッファ41にタイルの全ての符号データが入力されると、まずタイルヘッダ生成処理部46によってタイルヘッダと部分列用のタイルヘッダが生成され、出力符号バッファ47に書き込まれる。次に、パケット生成処理部45は、同一のレイヤ、デコンポジションレベル、コンポーネント、プレシンクトの単位でパケットデータとパケットヘッダを生成する。

パターンテーブル43は、レイヤ分割構成を制御するための情報（以下レイヤパターン）を格納する手段である。パターンテーブル43は、文字タイル用と非文字タイル用の２種類のレイヤパターンを記憶可能な容量を備えており、処理に先立ってＣＰＵ13によってバス20を介し２種類のレイヤパターンが設定される。本実施例における各レイヤパターンは、サブバンド単位に、”各レイヤにどのサブビットプレーンまでを含めるか”という情報である。例えば、レイヤ０には、2LLのMSBから上位4bit+5bit目のSignificance propagationパスまで、2HLのMSBから上位3bit(3bitめのClean upパスまで)、というようなサブバンド毎のサブビットプレーン単位に設定されたレイヤ境界情報が格納されている。

セレクタ44は、領域判定処理部34より出力される領域判定データに従って、タイル単位で、文字用レイヤパターン又は非文字用レイヤパターンを選択し、それをパケット生成処理部45へ入力する。パケット生成処理部45は、セレクタ44から入力されるレイヤパターンに従って必要な符号データを入力符号バッファ41より読み込み、レイヤ単位に符号ストリームを形成して出力符号バッファ47へ順次出力する。一つのレイヤの符号ストリームが完成すると、タイルヘッダ生成処理部46で部分列用のタイルヘッダが生成されて出力符号バッファ47に書き込まれ、次のレイヤの符号ストリームの生成処理を開始する。このようにして１つのタイルについて、文字タイル用又は非文字タイル用レイヤパターンに従ったレイヤ分割構成の符号ストリームが完成した時点で、出力符号バッファ47に記憶された符号ストリームはメモリ14へ出力される。同様の処理が全タイルについて繰り返される。

画像データの全タイル分の符号ストリームがメモリ14上に完成すると、ＣＰＵ13は、メモリ上の符号ストリームにメインヘッダを付加し、メモリ14からＨＤＤ15への符号ストリームの転送を開始する。

ここまでの説明から明らかなように、パターンテーブル43と、そのレイヤパターンを領域判定データに従って選択しパケット生成処理部45へ渡すセレクタ44、及びその作用は、請求項１，１７の発明における符号ストリームの階層分割構成をブロック毎に領域判定結果に従って制御する手段もしくは工程に対応する。

なお、本実施例においては圧縮符号化方式としてJPEG2000の基本方式が用いられるが、標準圧縮方式に必ずしも準拠しなくともよい。このことは、本実施例のみならず後記各実施例でも同様である。但し、符号ストリームの汎用性の観点からは、標準圧縮方式に準拠した方が一般に有利である。また、ウェーブレット変換以外の周波数変換、例えば離散コサイン変換等を使用する圧縮符号化方式や、周波数変換を行わずに実空間画像データに直接的に圧縮符号化処理を行う圧縮符号化方式を用い得ることも同様である。

＜実施例１の変形例＞
前記実施例１はレイヤプログレッションの符号ストリームを生成する実施例であったが、パターンテーブル43の内容を変更することにより、同様の装置構成において、文字タイルと非文字タイルの別に応じて階層分割構成を制御した解像度プログレッションの符号ストリームを生成することも可能である。

図６は、解像度プログレッションの符号ストリームの階層分割構成の例を示す、図４と同様の模式図である。図６の(Ａ)は文字タイルの階層分割構成の例を示し、(Ｂ)は非文字タイルの階層分割構成の例を示している。

解像度プログレッションの場合、低解像度(高いデコンポジションレベル)の符号よりも先に高解像度(低いデコンポジションレベル)の符号を出力できないので、プログレッシブ順序は、（2LL）→（2HL,2LH,2HH）→（1HL,1LH,1HH）の順となり、各解像度レベルでは上位レイヤの符号から復号されていくことになる。

文字タイルにおいては、図６の（Ａ）に見られるように、上位レイヤの段階で多くの符号を出力するようにする。このような階層分割構成とすることにより、再生に多くの符号を必要とする文字画像の判読性を向上させることができる。一方、非文字タイルにおいては、（Ｂ）に見られるように、上位レイヤでは符号量を少なくして、下位レイヤで多くの符号を出力するようにするとよい。このような階層分割構成とすることにより、各解像度レベルでの上位レイヤにおける符号量の増加を抑制することができる。

なお、(Ａ)では符号量が空（から）のレイヤが存在するが、符号構成上は問題はない。但し、プログレッシブに表示を行う時に空レイヤの部分で画像が変化しなくなるため、違和感を生じる可能性があるので、実際的は全てのレイヤに多少の符号を設定する方が好ましい。

ここで、レイヤプログレッションと比較した場合の解像度プログレッションの利点について述べる。クライアント側の装置が例えばモバイル端末などの表示部が非常に小さい機器の場合のように、クライアント側の表示部の解像度（画像サイズ）がサーバ側の画像データの解像度(画像サイズ)と比較して小さいと、レイヤプログレッションで高解像度部のデータを送付しても意味が無くなってしまい、転送に無駄が生じる。このような場合、解像度プログレションの符号ストリームならば、必要な解像度の段階で転送を停止させることによって無駄な転送を防止し、転送路のトラフィックを低減できる利点がある。

したがって、符号ストリームの転送先となるクライアントの表示部の解像度に応じて、サーバ側で符号ストリームのプログレッシブ順序としてレイヤプログレッションと解像度プログレッションの一方を選択できるようにするのが望ましい。例えば、ＣＰＵ13で、符号ストリーム転送先となるクライアントの表示部の解像度に応じてレイヤプログレッション又は解像度プログレッションを選択し、選択したプログレッション用のレイヤパターンをパターンテーブル43に設定し、また、選択したプログレッションをパケット生成処理部45へ設定するような構成とすることができる。このようなプログレッシブ順序の選択が可能な態様も本発明に包含される。

前記実施例１は、符号化処理の際に、領域判定結果に応じて階層分割構成が制御されたプログレッシブ符号ストリームを生成する構成であったが、本実施例においては、外部装置へ転送する際に、プログレッシブ符号ストリームをＨＤＤ15に保存されている符号ストリームから生成する構成である。

図７は、本実施例に係る画像処理装置のブロック図である。この画像処理装置はサーバ１として利用し得るＭＦＰであり、前記実施例１との主たる相違点は、符号ストリーム変更処理部50が追加されていることである。

実施例１においては、エンコーダ12から出力される符号ストリームは、領域判定結果に従って階層分割構成が制御されたレイヤプログレッションの符号ストリームであった。しかし、本実施例では、エンコーダ12によって生成されてＨＤＤ15に保存される符号ストリームに対しては、領域判定結果による階層分割構成の制御は行われない（ただし、後述のように領域判定の結果は符号ストリーム内に保持される）。また、エンコーダ12から出力される符号ストリームは、プログレッシブ順序は基本的に任意であり、必ずしもプログレッシブである必要はなく、階層構造も任意であり、例えば１ページ分全体を一様な階層構造としてもよい。これは本実施例の利点である。すなわち、複写動作の際には、プログレッシブ符号ストリームである必要なく、むしろ１ページ全体の画像を一様な階層構造としたほうが、複写動作のためのデコーダ18による伸長処理の負荷が軽減されるからである。また、クライアント３の種類によっては、RPCLプログレッションのような解像度プログレッションの方が都合の良い場合もあるからである。例えば、モバイル端末のようなモニタの表示サイズが小さいクライアントの場合には、必要解像度の符号のみ出力すればよいので、ＨＤＤ15に保存されている符号ストリームのプログレッシブ順序の種類は、解像度の選択が容易な解像度プログレッションの方がよい場合もある。すなわち、クライアントからプログレッションの種類等の要求をコマンドとして受信し、それに応じて選択したプログレッションの符号ストリームを生成して送信する方が好ましい。本実施例は、このようなクライアントに応じて選択したプログレッションの符号ストリームの生成、送信をすることが可能な構成であり、これも本実施例の利点の一つである。

以下、本実施例について詳細に説明する。本実施例に係るエンコーダ12は、前記実施例１と同様な図３に示したような構成であり、符号化処理を行って符号ストリームを生成する。エンコーダ12内の符号ストリーム生成処理部37は、領域判定処理部34によるタイル単位の領域判定結果に従った階層分割構成の制御は行わないが、領域判定結果を、生成する符号ストリーム内に保持させる。本実施例では、領域判定結果を符号ストリーム内に保持させる方法として、符号ストリームのタイルヘッダのコメント部にフラグとして記録する方法が用いられるが、これのみに限定されるものではない。例えば、電子透かしなどの技術を使用して、領域判定結果を符号ストリーム内に記録することも可能である。領域判定結果のフラグデータを、符号ストリームとは分離してメモリ14またはＨＤＤ15に蓄積することも可能である。エンコーダ12から出力された符号ストリームは、メモリ14に一旦蓄積された後、ＨＤＤ15に保存される。

クライアント３から符号ストリームの送信要求を外部転送路２を介し受信すると、ＣＰＵ13は、必要なパラメータをセットした後、ＨＤＤ15から符号ストリームを読み出し、バス20を介してメモリ14へ書き込む。メモリ14に記録された符号ストリームは、タイル単位に読み出されて符号ストリーム変更処理部50に入力される。

図８は、符号ストリーム変更処理部50のブロック図である。符号ストリーム変更処理部50は、前記実施例１に係る符号ストリーム生成処理部37（図５）とよく似た構成であるが、ヘッダ解析処理部51とパケット分解処理部52が追加されている。

まず、ＣＰＵ13によって、クライアントの要求に応じて選択したプログレッシブ順序（レイヤプログレッション又は解像度プログレッション）のための文字タイル用、非文字タイル用の２種類のレイヤパターンがパターンテーブル43に設定される。また、選択されたプログレッションの種類もパケット生成処理部45に設定される。

次に、バス20を介してメモリ14からタイル単位に符号データが入力されるが、ヘッダ解析処理部51はタイルヘッダを解析し、タイルヘッダに記述されている領域判定結果を読み出して領域判定信号をセレクタ44へ出力する。

次にパケットが入力されると、ヘッダ解析処理部51はパケットヘッダの解析を行い、パケット分解処理部52へ制御信号を出力する。パケット分解処理部52は、この制御信号に応じてパケットの符号部分を、サブビットプレーン毎の符号データに分解して入力符号バッファ41へ記録する。この時に、符号量カウンタ42はコードブロックのサブビットプレーン単位に符号量をカウントする。入力符号バッファ41にタイルの全ての符号データが入力されると、まずタイルヘッダ生成処理部46によってタイルヘッダと部分列用のタイルヘッダが生成され、出力符号バッファ47に書き込まれる。次に、パケット生成処理部45は、ヘッダ解析処理部51からの領域選択信号に従ってセレクタ44により選択されたレイヤパターンに従って、必要な符号データを入力符号バッファ41より読み込み、レイヤ単位に符号ストリームを形成して出力符号バッファ47へ順次出力する。１つのタイルについてレイヤパターンに従った階層分割構成の符号ストリームが完成した時点で、出力符号バッファ47からメモリ14へ符号ストリームが出力される。同様の処理が各タイルについて繰り返される。

このようにして画像データの全タイル分の符号ストリームがメモリ14上に完成すると、ＣＰＵ13は、その符号ストリームをメインヘッダを付加して外部Ｉ／Ｆ17より外部転送路２を介してクライアント３へ送信させる。クライアント３では、受信した符号ストリームをプログレッシブに復号しモニタ４上に復号画像をプログレッシブに表示させる。

ここまでの説明から明らかなように、符号ストリーム変更処理部50及びその処理は、請求項２，１７の発明における符号ストリーム生成手段もしくは符号ストリーム生成工程に対応する。また、パターンテーブル43と、ヘッダ解析処理部51からの領域判定信号に従ってレイヤパターンを選択しパケット生成処理部45へ渡すセレクタ44及びその作用は、請求項２，１７における符号ストリームの階層分割構成をブロック毎に領域判定結果に従って制御する手段もしくは工程に対応する。また、符号ストリーム変更処理部５０の観点からは、ヘッダ解析処理部５１の領域判定信号を抽出する機能は、請求項２，１７における領域判定手段もしくは工程に対応する。ただし、画像処理装置全体の観点からは、像域分離処理部１０及びエンコーダ１２内の領域判定処理部３４が領域判定手段もしくは工程に対応する。

以上説明したように、本実施例によれば、読み取った画像データをＭＦＰ内のプリント出力処理に適した構成の符号ストリームとしてＨＤＤ15に保存することができる。一方、クライアントから送信要求を受けたときに、クライアントに適したプログレッシブ順序を選択し、保存されている符号ストリームから、領域判定結果に従って階層分割構成を制御したプログレッシブ符号ストリームを生成してクライアントへ送信することができる。また、そのプログレッシブ符号ストリームの生成は、保存されている符号ストリームの符号レベルの操作、つまり符号の並べ替えによって行われ、復号・再符号化の処理を含まないため、復号・再符号化による画像品質の劣化を伴わず、また、処理も短時間で行うことができる。

実施例１，２においては、符号ストリームの生成の際に、サブバンド毎に設定されたサブビットプレーン単位に設定可能なレイヤ境界情報であるレイヤパターンを使用した。このようなレイヤパターンを利用した階層分割構成の制御によれば、レイヤ単位での画質レベルを一定とすることができる。途中のレイヤで復号を停止させたり、予め定められたレイヤまでを送信することにより、画質レベルを容易に制御可能になり、画質を保証するシステムの構築が可能となる。しかし、レイヤ単位（階層単位）での符号量を制御できないため、プログレッシブ転送途中の符号量を保証することはできない。

ここでは、レイヤ単位での符号量を保証する実施例について説明する。

レイヤ単位の符号量を制御する方法としては、次の２通りの方法をとり得る。その一つは、タイルまたは画像全体の符号量から１レイヤあたりの符号量（設定符号量）を算出し各レイヤの符号量をその設定符号量とするように制御する方法である。すなわち、レイヤ単位の設定符号量を画像に応じて適応的に制御する方法である（以下、Ａ方法）。

もう一つは、レイヤ単位の設定符号量を予め決定し、各レイヤの符号量を設定符号量とするように制御し、最終レイヤの時点で符号に残りがあれば、残りの全ての符号で最終レイヤを構成する方法である。すなわち、レイヤ単位の設定符号量を非適応的に制御する方法である（以下、Ｂ方法）。

Ａ方法，Ｂ方法には一長一短があり、一概にどちらの方法が良いとはいえない。例えば、方法Ａでは、レイヤ単位の符号量をほぼ均等にすることが可能となり、また、レイヤ数も保証可能となる。その反面、画像によってレイヤ単位の符号量が変化するので、サーバからクライアントへの符号データのレイヤ単位の転送時間を保証できない。

一方、方法Ｂでは、最終レイヤ以外のレイヤの符号量を既知の値とすることが可能となるので、レイヤ単位の転送時間の保証が可能となる。その反面、最終レイヤのみ符号量が極端に多くなったり、設定した最終レイヤの前に全ての符号データが出力済みとなってレイヤ数が変化する可能性がある。

したがって、Ａ方法、Ｂ方法のいずれを選ぶかは、システム条件に応じて決めるべきであろうが、ここではＢ方法を利用する実施例について説明する。そのための装置構成は、前記実施例１と同様でもよいし、前記実施例２と同様でもよい。つまり、レイヤ単位の符号量制御を、前記実施例１に係る図５に示す符号ストリーム生成処理部37において実施することも、前記実施例２に係る図８に示す符号ストリーム変更処理部50において実施することも可能であるが、ここでは便宜、図５の符号ストリーム生成処理部37において符号量制御を行う場合について説明する。

ここで述べる実施例では、図５に示す符号ストリーム生成処理部37において、パターンテーブル43に、文字タイル用と非文字タイル用の、サブバンドによらない符号の優先順位を示す情報が格納される。この情報とは、優先順位の高い順に、2LL(MSBから上位3bit＋4bit目のMagnitude refinementパスまで)→2HL(MSBから上位3bit)→．．．．というような情報である。この優先順位にレイヤ（階層）の区別はなく、単純にサブバンド単位での画質への寄与度の高い順である。

一つの実施例では、パケット生成処理部45は、セレクタ44により選択されたパターンテーブル43の符号順序情報に従ってパケット単位に符号ストリームを順次生成し、予め設定されたレイヤ単位の設定符号量に達した時点で、当該レイヤの符号ストリームを完成させる。ただし、最終（最下位）レイヤについては、残りの符号を全て使用して符号ストリームを生成する。すなわち、文字タイルでも非文字タイルでもタイル（階層）単位の設定符号量は同一である。ただし、各タイルにどのような符号を含めるか（階層分割構成）は文字タイルと非文字タイルとで異なる。

もう一つの一実施例では、領域判定データがパケット生成処理部45へも入力される。そして、パケット生成処理部45は、文字タイルでは文字タイル用に設定されたレイヤ単位の設定符号量となるようにレイヤの符号ストリームを生成し、非文字タイルでは非文字タイル用に設定されたレイヤ単位の設定符号量となるようにレイヤの符号ストリームを生成する。すなわち、文字タイルであるか非文字タイルであるかにより、レイヤ単位の設定符号量が切り替えられる。文字タイル用のレイヤ単位の設定符号量は、非文字タイル用のレイヤ単位の設定符号量より大きな値に設定するのが一般に好適である。これは、一般的に文字領域の方が非文字領域よりも情報量が大きいため、同程度の画質を再現するためには、文字領域の方が多くの符号量を必要とするためである。

ここまでの説明から明らかなように、本実施例は請求項３，４の発明の実施例である。

以上説明したように、本実施例はレイヤ単位の符号量を保証することができるため、転送路における転送速度が遅いシステム等に特に好適である。また、領域判定結果によってレイヤ単位の設定符号量を切り替え、非文字タイルに比べ文字タイルのレイヤ単位の符号量を多くすることによって、プログレッシブ転送時の初期段階での文字の判読性を向上させることができる。

なお、先に述べたように、前記実施例２に係る図８の符号ストリーム変更処理部50においても同様の符号量制御を実施できることは、以上の説明から明らかであろう。かかる態様も本発明に包含される。

また、このようなプログレッシブ転送の途中段階(階層)での符号量制御は、解像度プログレッションなどでも同様に実施できることは明らかであろう。

前記実施例１，２，３においては、領域判定で判定される画像種別は文字と非文字の２種類であったが、より多くの画像種別で領域判定を行い、領域判定結果に応じた階層分割構成の制御を行うこともできる。そのような実施例について次に説明する。

なお、装置構成は前記実施例１，２と同様でよいが、ここでは便宜、前記実施例１と同様な装置構成であるとし、前記実施例１に係る図２、図３及び図５を援用して説明する。

ここに述べる実施例では、像域分離処理部10（図２）は、図９のようにエッジ判定処理部61、網点判定処理部62、色判定処理部63及び総合判定処理部64からなる構成とされる。この像域分離処理部10は、スキャナ部９（図２）から出力されたRGBの画像信号に基づいて黒文字、色文字、網点、それ以外の領域分離処理を行う。

すなわち、Ｇ信号に基づいてエッジ判定処理部61によってエッジか否かの判定が、Ｇ信号に基づいて網点判定処理部62により網点領域か否かの判定が、RGB信号に基づいて色判定処理部63により有彩色か無彩色かの判定が、それぞれ行われてEdge,AMI,IRO信号（それぞれ１bitの信号）が出力され、これが総合判定部64に入力される。

このようなエッジ判定、網点判定、色判定に関しては公知の技術を使用すればよく、その方法は問わないが、エッジ判定と色判定には例えば特許文献３に記載の方法を用いることができる。また、網点判定には例えば特許文献２に記載の方法を用いることができる。これら判定方法の詳細は特許文献２，３に譲るが、その概略について次に説明する。

まず、エッジ判定であるが、Ｇ信号を２つの閾値を用いて白、黒、その他に３値化し、黒エッジパターン及び白エッジパターンとのマッチングを行い、例えば５×５画素のブロック内に白エッジパターンと一致する画素及び黒エッジパターンと一致する画素がそれぞれ１個以上存在する場合には、そのブロックをエッジと判定する。

網点判定であるが、例えば３×３画素のブロックにおいて中心画素の値が周囲画素より一定レベル以上か判定することによりピーク画素を検出する。次いで、例えば４×４画素のブロックにおいて、ピーク画素を含むブロックが２ブロック以上存在する場合に注目ブロックを網点領域候補とする。最後に、４×４画素を１ブロックとして、注目ブロックを中心ブロックとする３×３ブロックにおいて、４ブロック以上が網点領域候補の場合に注目ブロックを網点領域とする。

色判定であるが、画素毎にＲ，Ｇ，Ｂ信号の差分値の最大値ｍａｘ（｜R−G｜，｜G−B｜，｜B−R｜）を算出する。この値を所定の閾値と比較し、閾値以上の画素を有彩色、閾値未満の画素を無彩色と判定する。次に、注目画素を中心とした５×５画素のブロック内の有彩色と判定された画素数を計数し、その計数値が所定の閾値以上ならば注目画素を最終的に有彩色と判定し、閾値未満ならば注目画素を最終的に無彩色と判定する。

図９を再び参照する。総合判定部64では、Edge,AMI,IROの各信号から、例えば次に示す第１表に示すルールに従って、黒文字、色文字、網点領域の判定を行う。

第１表は、Edge、IRO、AMI各信号の状態と総合判定の結果を対応させたものである。総合判定の結果は、黒文字、色文字、網点、その他の４種類である。各信号の状態は、１がオン(例えば、Edge信号がオンの場合その画素はエッジであることを表す。同様にIRO信号がオンの場合は有彩色、AMI信号がオンの場合は網点となる。)、０がオフ、＊はその信号の状態によらずに総合判定が行われることをそれぞれ示す。

同表から分かるように、Edge信号を最優先としており、Edge信号がオンの場合、AMI信号によらずに文字画素とし、IRO信号によって黒文字と色文字を判定する。Edge信号がオフでかつAMI信号がオンの場合は網点と判定し、Edge信号とAMI信号がともオフの場合にその他に判定する。

なお、この総合判定方法はこれに限らない。例えば、次に示す第２表のように、AMI信号を最優先し、AMI信号がオンの場合にはEdge信号の状態に拘わらず網点領域と判定する方法としてもよい。

第１表と第２表の違いは、網点地の上の文字を文字として判定するか網点として判定するかである。本実施例の場合は、文字の判読性向上を優先すため、網点地の上の文字を文字として判定することとしている。

次に、本実施例におけるエンコーダ12（図３）の動作を説明する。基本的なエンコード処理の流れは前記実施例１の場合と同様であるので、相違点のみ説明する。

まず、領域判定部34の動作を説明する。領域判定部34では、像域分離処理部10からの画素単位の黒文字、色文字、網点の分離信号に基づいて、タイル単位に領域を判定する。この判定方法は、タイル全体で画素単位の各分離信号のＯＲをとり、タイル内に黒文字、色文字、網点のそれぞれの画素が存在するかどうか判定する。タイル内にいずれの画素も存在しない場合には、その他の領域と判定する。また、黒文字のみが存在するタイルは黒文字領域、色文字のみが存在するタイルを色文字領域、網点のみが存在するタイルを網点領域と判定する。

タイル内に複数の像域が存在している場合は、領域判定に関する各領域の優先順位に従って一つの領域に判定する。その優先順位は、システム環境に応じて適宜設定すればよいが、１つの好適な例としては、レイヤの初期段階にて優先的に符号を割り当てるべき画像種別、言い換えれば、画像をプログレッシブ転送する場合の初期段階に他の画像種別と比較して多くの符号を送信して細部の再現性を高めるべき画像種別の領域の優先順位を高く設定する。

ここでは、色文字、黒文字、網点、その他の順に優先順位を設定するものとする。つまり、タイル内に１つでも色文字画素が存在すれば、他の分離結果の存在にかかわらず色文字領域とし、色文字画素が存在しない場合に黒文字画素が存在すれば黒文字領域、色文字画素も黒文字画素も存在せずに網点画素が存在すれば網点領域とする。

この４種類の領域に関する領域判定データは符号ストリーム生成処理部37（図５）に入力し、符号ストリーム生成処理部37において、領域判定データに対応した符号ストリームのレイヤ分割構成（階層分割構成）の制御が行われる。この制御のため、パターンテーブル43には各画像種別に対応した４種類のレイヤパターンが設定され、そのいずれかのレイヤパターンがセレクタ44により領域判定データに従って選択されることになる。

ここで各画像種別の領域の特徴を簡単に述べると、色文字領域では自然画像に比べて輝度と色差のあらゆるサブバンドに高いＤＷＴ係数値が現れる。黒文字領域では輝度のあらゆるサブバンドに高いＤＷＴ係数値が現れ、網点領域では特定のサブバンドに高いＤＷＴ係数値が現れるという特徴を有している。これらを考慮して、各領域におけるレイヤ分割構成が決定され、それに対応したレイヤパターンがパターンテーブル43に設定される。

各領域の階層分割構成は概ね次のような考え方で決定し得る。まず、黒文字領域では、Ｕ，Ｖコンポーネントの優先順位及び符号量を低くする。色文字領域では、Ｙ，Ｕ，Ｖ全コンポーネントを同様に扱う（高域成分まで必要であるから）。網点領域では、特定の高周波成分より高域の成分は送らないか優先順位を下げる。その他領域では、高域成分を含めなくても構わない。

なお、網点の特定サブバンドの成分は、網点の線数成分であるので自然画像を認識する上では特に必要な成分ではない。そのため、網点領域においては、上位レイヤ(転送の初期の段階)には網点線数成分を含ませないレイヤ分割構成とし、符号量を少なくすることができる。

以上説明したように、本実施例においては、タイル単位に画像の領域を黒文字、色文字、網点、その他の領域に判定し、判定結果に応じて符号ストリームの階層分割構成を制御するため、前記実施例１，２に比べ、より詳細に画像種別に適応したプログレッシブ符号ストリームの生成が可能となる。

なお、前記実施例２においても、同様の領域判定と、その判定結果に従った符号ストリームの階層分割構成の制御を行うことができることは以上の説明から明らかであり、かかる態様も本発明に包含される。

なお、領域判定の画像種をさらに増やし、より高精細な画像種別に応じた階層分割構成の制御を行うこともできる。例えば、銀塩写真や白地の判定などを行うようにしてもよい。また、同一の画像種別でも、そのサイズや色等の特徴を判定して階層分割構成（再生の優先度）を変更してもよい。例えば、表題のようなサイズの大きな文字の再現を優先させたり、文字色によって優先度を変更させたり、網点の線数の違いにより優先度を変えるなどしてもよい。また、自然画で構成されている画像で、人物の顔や花などの彩度の高い色の領域の再生を優先させるような制御も可能である。

前記実施例１〜４では、実空間の画像データの像域分離信号によって領域判定を行った。すなわち、実空間の画像データに基づいて領域判定を行っていた。

ここでは、画像データの符号化処理の過程で生成されるＤＷＴ係数（より広義にには周波数変換係数）に基づいて領域判定を行う実施例について説明する。

図１０は、本実施例に係る画像処理装置のエンコーダ12のブロック図である。なお、装置全体の構成は前記実施例１と同様でよいが、像域分離処理部10は不要である。

図１０に示すエンコーダ12において、領域判定処理部34はＤＷＴ処理部32より出力されるＤＷＴ係数に基づいてタイル単位で文字/非文字の領域判定を行うもので、像域分離信号は入力しない。この領域判定部34以外のエンコーダ12の構成は前記各実施例と同様である。

図１１は、３デコンポジションレベルのＤＷＴ係数を表したものである。図中、太い実線はサブバンド境界を表し、細線は係数の境界を表している。つまり、細線で囲まれた格子が１つの係数である。ＤＷＴ係数は、ＤＷＴ処理部32に入力される画像と対応した位置に配置されている。言い換えれば、ＤＷＴ処理は入力画像の位置情報を保存しているといえる。図１１のように、各々のサブバンドに特定位置の入力画像に対応する係数が存在することになる。図中の網掛けされた係数が上記の対応関係にある係数を表している。

また、ＤＷＴ係数においては、LLサブバンド以外の高周波成分の絶対値は、同一方向のサブバンド間で相関を持つことが知られている。同一方向のサブバンド間とは、例えば、3HL、2HL、1HLのように同一方向成分の、異なった解像度のサブバンド間のことである。

例えば、デコンポジションレベルの高い(解像度の低い)サブバンドの係数の絶対値が０であれば、同一方向成分の解像度の高いサブバンドの係数の絶対値も０の場合が多い。これと逆に、デコンポジションレベルの高い(解像度の低い)サブバンドの係数の絶対値が大きな値であれば、同一方向成分の解像度の高いサブバンドの係数も大きな値である場合が多い。また、入力画像がエッジ部であればＤＷＴ係数の絶対値は大きくなり、平坦部であれば小さくなる。本実施例では、このようなＤＷＴ係数の性質を利用して領域判定処理を行う。

図１２は本実施例に係る領域判定処理部34のブロック図である。この領域判定部34には、絶対値化された(YUV信号のうちの)Ｙ信号のＤＷＴ係数が入力される。なお、JPEG2000におけるＤＷＴ係数の符号化は、プラス、マイナスのサインビットと絶対値化されたＤＷＴ係数のビットプレーンに対して算術符号化が行われる。そのため、ＤＷＴ処理部32から出力される時点で、ＤＷＴ係数は絶対値化されている方が都合が良く、本実施例においても、そのような構成をとるものとして扱う。

領域判定処理部34は、ＨＬサブバンド用のサブバンド判定処理部71及び成分判定処理部72と、ＬＨサブバンド用のサブバンド判定処理部73及び成分判定処理部74と、ＨＨサブバンド用のサブバンド判定処理部75及び成分判定処理部76と、総合判定処理部77と、ラッチ78とから構成される。

ＨＬサブバンド用のサブバンド判定処理部71は、図示のように、１ＨＬサブバンド係数に対応した１６個の２値化手段と、その２値化結果のＯＲをとる手段と、２ＨＬサブバンド係数に対応した４個の２値化手段と、その２値化結果のＯＲをとる手段と、３ＨＬサブバンド係数に対応した１個の２値化手段から構成される。図１２では簡略化されているが、他のサブバンド判定処理部７３，７５も同様の構成である。

次に、サブバンド判定処理部71と成分判定処理部72について処理を説明するが、他のサブバンドに関しても同様の処理が行われる。

領域判定処理部34に入力された１ＨＬ，２ＨＬ，３ＨＬサブバンド係数の絶対値は、サブバンド判定処理部71において、２値化手段によりサブバンド毎に予め定められた所定のしきい値（ＴＬ）と比較され、しきい値以上である場合には１(オン)、しきい値未満である場合には０(オフ)に２値化される。ここで、１回の判定に使用される各々の係数の数は、図１１の網掛けされた係数の数となる。つまり、1HLは16個、2HLは４個、3HLは１個の係数が一度に２値化され、1HL,2HLに関しては、２値化後にＯＲ処理がなされ２値の信号として出力される。つまり、1HLと2HLに関しては入力された係数の最大値を２値化したことと等価となる。こうして３つの２値化された信号が、成分判定部72へ入力される。成分判定部72では、３つの２値化信号のうち、２つ以上が１(オン)であれば１(オン)の信号を、そうでなければ０(オフ)の信号を判定結果として出力する。なお、この判定結果信号がオンの場合は、画像が文字であることを示している。これは、文字のような強いエッジを有する画像では、ＤＷＴ係数に大きな値が出ることと、前述した”同一方向のサブバンド間で相関を持つ”という特性を利用したものである。また、１つの係数のみオンの場合を文字と判定しない理由は、ノイズの影響を排除するためである。成分判定処理部74,76からも同様の判定結果信号が出力される。

総合判定処理部77では、成分判定処理部72,74,76の判定結果信号と、同一タイル内での直前に処理した係数組による総合判定結果（総合判定処理部77の出力）とのＯＲをとり、それがオンであれば文字と判定する。この処理を、タイル内の全ての係数に対して行い、タイル内の全ての領域判定が終了した時点の総合判定結果がラッチ78にラッチされ、当該タイルの領域判定データとなる。つまり、タイル内にオンが一つでもあれば当該タイルを文字と判定し、一つもなければ非文字領域と判定する。次のタイルの判定開始時に、総合判定処理部77の出力は０クリアされる。

なお、図１２の回路を並列に複数備え、タイル内の全ての係数組についての総合判定処理部77の出力信号のＯＲをとるように構成することもできる。このような構成は、ハード量が増えるが、１タイル当たりの判定処理を極めて短時間で行うことができる。

ここまでの説明から明らかなように、本実施例の領域判定処理部34は、請求項６の発明における領域判定手段に対応する。

以上説明したように、本実施例においては、符号化処理の過程で生成される離散ウェーブレット変換係数に基づいて領域判定を行うため、エンコーダ34の内部のみで領域判定処理が完結する。また、領域判定処理も比較的簡易である。このことは、領域判定に関わるハードウェアの単純化、ハード量の削減、もしくは領域判定に関わるソフトウェアの単純化や高速化に有利である。

なお、ここでは、３デコンポジションレベルのＤＷＴ係数を使用する例を示したが、より多くの、または、より少ないデコンポジションレベルを使用して同様の領域判定を行うこともできる。また、符号化処理で生成される全てのデコンポジションレベルのＤＷＴ係数を使用する必要はなく、必要な解像度の係数を選択的に使用して領域判定を行ってよい。なお、一般にＤＷＴではオクターブ分割を伴いながらデコンポジションレベルを上げていくので、デコンポジションレベルが高くなるほど、解像度は１／２づつ低くなる。したがって、文字等のエッジを判定する場合、あまりに低い解像度では文字密集部等でエッジの判定が不正確になるので、これを考慮して必要な解像度のＤＷＴ係数を領域判定に使用するのがよい。

なお、前記実施例２において、エンコーダで符号化処理の際にＤＷＴを利用した同様の領域判定を行ってもよい。その結果を符号ストリームのヘッダに記述するなどの方法によって符号ストリーム内に保存させるならば、符号ストリーム変更処理部50において、ヘッダ解析により領域判定の結果を認識することができる。かかる態様も本発明に包含される。

＜変形例＞
ここで、本実施例の変形例として、ＤＷＴ係数より黒文字、色文字、網点、その他の領域を判定する方法を簡単に説明する。文字領域/非文字領域のみの判定の場合は、Ｙ成分のみのＤＷＴ係数を使用したが、この変形例の場合はＹ，Ｕ，Ｖの全成分が領域判定に用いられる。

すなわち、Ｙ，Ｕ，Ｖの各成分について、図１２に示したような構成の領域判定処理手段により文字/非文字の領域判定を行う。そして、Ｕ成分及び／又はＶ成分の判定結果が文字領域である場合には、色文字領域と判定する。Ｕ，Ｖ成分の両方の判定結果が非文字領域であり、かつ、Ｙ成分の判定結果が文字領域である場合には、黒文字領域と判定する。

前述のように、網点領域では特定のサブバンドに高いＤＷＴ係数が出現する。この性質に基づき、例えば成分判定処理部72において、２つ以上の係数がしきい値以上の場合は文字領域、１つであれば網点領域、というような判定を行うことが可能である。但し、このような網点領域の判定方法は誤判定が生じやすいので、より好適な方法としては、総合判定処理部77にて、網点と判定された数を計数するカウンタを備え、タイル内にて網点と判定された数が所定数を超えた場合にのみ網点領域と判定する方法をとると、網点領域の判定精度が向上する。

なお、本出願人の特許出願に係る特許文献４に記載されている網点判定手法を利用してもよい。この特許文献４には、ＤＷＴ係数を利用した網点領域の判定手法がいくつか記載されているが、その一つの手法の概要を次に説明する。使用されるＤＷＴ係数はＹコンポーネントのものである。

所定のブロック単位で、最も高い周波数成分である１ＨＬ，１ＬＨ，１ＨＨサブバンド係数の絶対値を、各サブバンド対応の閾値とそれぞれ比較する。どのサブバンド係数の絶対値も閾値より大きくないならば、そのブロックを非網点領域とする。いずれかのサブバンドが閾値より大きいときには、中程度の周波数成分であるサブバンド係数、例えば４デコンポジションレベルの場合の３ＨＬ，３ＬＨ，３ＨＨサブバンド係数を選び、その絶対値をサブバンド対応の閾値とそれぞれ比較する。そして、それら全てのサブバンド係数の絶対値が閾値より小さいときに、そのブロックを網点領域と判定する。

前記実施例１〜５では、領域判定と階層分割構成制御の単位であるブロックとしてタイルを用いたが、JPEG2000におけるタイリングはオプションであり必ずしもタイリングが行われるわけではない。タイリングが行われない場合には、ブロックとしてタイルを用いることは適切でない。タイリングの有無に関係なく適用できるブロックとして、JPEG2000のコードブロックやプレシンクトを用いることができる。

ここでは、コードブロック単位にレイヤ分割構成を制御する実施例について説明する。本実施例に係る画像処理装置の基本的な構成は前記実施例５の場合と同様とし、相違点のみ説明することとする。本実施例に係る画像処理装置のエンコーダ12は、前記実施例５と同様な図１０に示す構成であるが、その領域判定処理部34は図１３に示すような構成とされる。

まず、図１１を使用して、サブバンドとコードブロックの関係を説明する。前記実施例５の説明の際には、図１１の細線で区切られた格子を１つのウェーブレット係数として扱ったが、ここでは、各格子を１つのコードブロックとして扱い説明する。

JPEG2000においては、コードブロックのサイズは各サブバンドで等しくなければならない。これは、デコンポジションレベルが異なれば、１つのコードブロックにより再現される実画像の面積(影響範囲)が異なることを意味している。したがって、デコンポジションレベル３で文字領域と判定されても、デコンポジションレベル２又は１では非文字領域と判定される場合があり得る。例えば、図１１中の網掛けされた3HLのコードブロックが文字領域と判定されても、それに対応する1HLの１６個のコードブロックには文字領域と写真領域が混在するということもあり得る。但し、このような場合であっても、本実施例の領域判定方法によれば、適切なレイヤ分割と画像のプログレッシブ再現を支障なく実現できる。

図１３を参照し、本実施例に係るエンコーダ12の領域判定処理部34について説明する。図示のように、ＨＬサブバンド用のサブバンド判定処理部71及び成分判定処理部72と、ＬＨサブバンド用のサブバンド判定処理部73及び成分判定処理部74と、ＨＨサブバンド用のサブバンド判定処理部75及び成分判定処理部76と、総合判定処理部77とから構成される。ＨＬサブバンド用のサブバンド判定処理部71は、図示のように、デコンポジションレベル対応の３組の２値化手段とバッファから構成される。図１３では簡略化されているが、他のサブバンド判定処理部73,75も同様の構成である。

次に、サブバンド判定処理部71と成分判定処理部72について処理を説明するが、他のサブバンドに関しても同様の処理が行われる。

領域判定処理部34には、各サブバンドの各コードブロックのＤＷＴ係数の絶対値が順次入力される。サブバンド判定処理部71においては、デコンポジションレベル対応の２値化手段により１係数ずつ順次、サブバンド毎に予め定められた所定のしきい値（ＴＬ）と比較され、しきい値以上でれば１(オン)、しきい値未満であれば０(オフ)に２値化される。２値化結果はサブバンド判定処理部71内のバッファに格納される。

このような構成をとる理由を以下に示す。JPEG2000におけるコードブロックサイズは、主、副走査とも２のべき乗の、4096以下の自由な値をとることができる。しかし、通常、符号化効率と利便性を考え、32×32または64×64のサイズが使用されることが多く、コードブロック内のＤＷＴ係数全てを同時に２値化しようとすると２値化手段のハード量が増大するため、２値化手段はデコンポジションレベル対応に１個ずつ用意し、逐次に２値化処理を行って、その結果をバッファに格納するようにしている。もちろん、ハード量の増大をいとわないならば、全係数を並列に２値化するような構成とすることもできる。

他のサブバンド判定処理部73,75のおいても同様の処理が行われる。

成分判定処理部72は、図１４に示すように、デコンポジションレベル対応の３組のＯＲ処理部81及びバッファ82と、判定処理部83とからなる構成である。他の成分判定処理部74,76も同様の構成である。

図１４を参照し、成分判定処理部72の処理を説明する。サブバンド判定処理部71内のバッファから読み出された２値化されたサブバンド毎のHLb信号は、コードブロック単位にＯＲ処理部81にてＯＲ処理され、２値信号(1HLcb,2HLcb,3HLcb)が得られる。このＯＲ処理後の２値化信号は、コードブロック内に１つでも２値化結果が１(オン)の係数があれ１（オン）になる（そのコードブロックを文字候補とすることを意味する）。ＯＲ処理部81から出力されるコードブロック単位の２値化信号はバッファ82に一旦記憶される。

判定処理部83は、バッファ82よりコードブロック単位の２値化信号を読み込み、各々のサブバンド毎の判定結果(J_1HL,J_2HL,J_3HL)を出力する。この判定結果はサブバンド毎のコードブロック単位に出力されるので、１個のJ_3HLに対して、４個のJ_2HLと、16個のJ_1HLが出力される。判定処理部83における判定は次のように行われる。J_3HLの判定では、3HLcb信号と、対応する４個の2HLcb信号のＯＲ信号と、対応する16個の3HLcb信号のＯＲ信号のうちの２つ以上が１（オン）ならば１（文字）を出力し、そうでなければ０（非文字）を出力する。J_2HLの判定では、2HLcb信号と、対応する3HLcbと、対応する４個の1HLcb信号のＯＲ信号のうちの２つ以上が１ならば１（文字）を出力し、そうでなければ０（非文字）を出力する。J_1HLの判定では、1HLcb信号と、対応する2HLcb信号と、対応する3HLcb信号のうちの２つ以上が１ならば１（文字）を出力し、そうでなければ０（非文字）を出力する。

他の成分判定処理部74,76の処理も同様である。

総合判定処理部77は、成分判定処理部72,74,76より出力されるＬＨ，ＨＬ，ＨＨ成分の判定出力信号を、デコンポジションレベル別に、対応コードブロック毎にＯＲ処理することにより、デコンポジションレベル別のコードブロック単位の領域判定データJ1，J2，J3出力する。ここまでの説明から明らかなように、１個のJ3に対し、４個のJ2、１６個のJ1が出力されることになる。

なお、タイリングを行う場合には、高いデコンポジションレベルのコードブロックのサイズが、サブバンドに含まれるＤＷＴ係数の数の関係から、デコンポジションレベル１のコードブロックよりも小さくなることがある(コードブロックサイズは、デフォルト値とサブバンド内の係数の数との小さい方の値をとるため)。この場合には、出力される領域判定データやＯＲ処理に入力される２値データの数は上記の個数とは変化するが、特に問題とはならない。

本実施例における符号ストリーム生成処理部37の構成は、前記実施例１と基本的に同様であるので図５を援用して説明する。本実施例に係る符号ストリーム生成処理部37の場合、パターンテーブル43とセレクタ44が各デコンポジションレベル毎に備えられ、各セレクタ44に、対応したデコンポジションレベルの領域判定データが入力される。各セレクタ44により選択された各デコンポジションレベル用のパターンテーブル43の情報がパケット生成処理部45に入力され、コードブロック単位にレイヤ分割構成が制御された符号ストリームが生成される。

なお、各デコンポジションレベルの領域判定データがパケット生成処理部45にも入力することにより、前記実施例５に述べたようなレイヤ単位の符号量を文字ブロックと非文字ブロックとで切り替えることができることは明らかである。

本実施例は、タイリングの有無に拘わらず適用可能である。また、本実施例によれば、タイルサイズよりも小さなブロック単位で、領域判定をより高精度に行って符号ストリームの階層分割構成の制御、さらには階層単位の符号量制御を行うことができる。

なお、本実施例はＤＷＴ係数に基づいて領域判定を行う例であるが、前記実施例１〜４のように画像データの像域分離信号を基に領域判定を行う場合においても、同様のコードブロック単位の領域判定を行うことも可能である。この場合には、各デコンポジションレベルに対応した画素(面積)の像域分離信号のＯＲ処理を行って、各々のデコンポジションレベルにおける領域判定データを生成させればよい。そして、その領域判定データに従って、前記実施例と同様の符号ストリームの階層分割制御、さらには階層単位の符号量制御を行うことができる。

また、本実施例に示した方法と同様の方法によってプレシンクト単位に領域判定を行うことも可能である。JPEG2000におけるプレシンクトは、デコンポジションレベル毎にある程度自由なサイズを選択可能なので、判定領域を柔軟に選択可能となる。

ここでは、符号ストリームに基づいて領域判定を行う実施例について説明する。

JPEG2000の場合、符号データに基づいて領域判定を行う方法としては、パケットヘッダに記録されている情報を用いるのが、簡易で高速な方法である。パケットヘッダには、そのパケットに含まれるコードブロックに関する以下の情報が含まれている。
・零長パケット：パケット長が０であるか（空のパケットであるか）か否か。
・コードブロックの包含：現コードブロックがそれ以前のレイヤのパケットに包含されていたか否か。
・ゼロビットプレーン情報：コードブロック単位の(情報の無い)ビットプレーンの数(MSBから符号が現れるまでの数)。
・符号化パス数：コードブロック単位の現パケットに含まれる符号化パスの数
・コードブロックの符号長(符号量)：現コードブロックに包含される符号量。
つまり、パケットヘッダのみから、これらの情報を取得可能である。基本的に可変長符号においては、符号量が多い(符号が長い)場合は多くの値が存在する。また、JPEG2000の場合、ビットプレーン符号化であるため、上位のビットプレーンの符号量が特定の値よりも大きい(０よりも大きい)場合は、該当するＤＷＴ係数はそのビットプレーンにて表される数値以上の値を持つことは明らかである。

このような性質を使用することによって、各サブバンド内の全てのコードブロックに値の大きな(文字候補)の係数が存在するかどうかスキャンし、前記実施例５に関連して説明した方法と同様の方法（２つ以上のサブバンドに大きなＤＷＴ係数値(文字候補)が存在する場合に文字領域とする方法)などによりタイルの領域判定を行うことが可能である。

最も簡単な方法は、上記の０ビットプレーン情報を使用して、０でないサブビットプレーンのＤＷＴ係数におけるビット位置の情報から判定することである。例えば、あるコードブロック内に含まれるＤＷＴ係数のダイナミックレンジが１０ビットであり、例えば０ビットプレーン数が３の場合、そのコードブロックに含まれるＤＷＴ係数の絶対値の最大値は、６４〜１２７の範囲である。なお、上記のＤＷＴ係数の値は、量子化およびポスト量子化が行われていないＤＷＴ処理直後のＤＷＴ係数の値を表している。この方法により領域判定を行う実施例について説明する。

本実施例に係る画像処理装置の全体構成は、前記実施例２と同様な図７に示すような構成であるとして説明する。本実施例において、領域判定処理は、図７の符号ストリーム変更処理部50の内部で行われる。

本実施例に係る符号ストリーム変更処理部50の構成を図１５に示す。本実施例と前記実施例２との相違点は、ヘッダ解析処理部51から出力されるヘッダ解析情報を基にタイル単位の領域判定行う領域判定処理部53が追加されたことである。なお、前記実施例２の場合には、エンコーダ12において符号化処理時に領域判定を行い、領域判定結果を符号ストリームのタイルヘッダ部等に保持させたが、本実施例においては、その必要はない。したがって、エンコーダ12の領域判定処理部34は設ける必要がない。また、エンコーダ12により生成される符号ストリームのプログレッシブ順序や階層分割構成は任意であり、また、プログレッシブでなくともよい。

ヘッダ解析処理部51は、入力されるパケットのパケットヘッダ情報を解析し、(YUV信号のうちの)Ｙ信号に関するコードブロック単位での０ビットプレーン数を出力する。ここでは、例えば３デコンポジションレベルのＤＷＴ係数を示す図１１において、細線で区切られた各格子を１つのコードブロックであるとして、各々のコードブロック毎の０ビットプレーン数がヘッダ解析処理部51から出力され、領域判定処理部53に入力する。

図１６は領域判定処理部53のブロック図である。図示のように、領域判定処理部53は、ＨＬサブバンド用のサブバンド判定処理部201及び成分判定処理部202と、ＬＨサブバンド用のサブバンド判定処理部203及び成分判定処理部204と、ＨＨサブバンド用のサブバンド判定処理部205及び成分判定処理部206と、総合判定処理部207と、ラッチ208とから構成される。

ＨＬサブバンド用のサブバンド判定処理部201は、図示のように、１ＨＬサブバンド係数に対応した１６個の２値化手段と、その２値化信号のＯＲをとる手段と、２ＨＬサブバンド係数に対応した４個の２値化手段と、その２値化信号のＯＲをとる手段と、３ＨＬサブバンド係数に対応した１個の２値化手段から構成される。図１６では簡略化されているが、他のサブバンド判定処理部203，205も同様の構成である。

ヘッダ解析処理部51から出力されたコードブロック単位の０ビットプレーン数は、一旦バッファ200に記録される。タイル内の全てのコードブロックの０ビットプレーン数がバッファ200に蓄積されると、サブバンド判定処理部201は、２値化手段により、1HLz,2HLz,3HLzに関する０ビットプレーン数を、サブバンド毎に予め定められた所定のしきい値(TL_1HLz,TL_2HLz,TL_3HLz)と比較し、しきい値より大きい場合には０(オフ)、しきい値以下である場合には１(オン)に２値化する。このように、この２値化処理は通常の２値化処理とは出力レベルが逆である。これは、０ビットプレーン数の数が小さい場合はコードブロック内に大きなＤＷＴ係数が存在することを示し、数が大きな場合にはコードブロック内に大きなＤＷＴ係数が存在しないこと示す、という関係に合わせるためである。

ここでの１回の判定に使用される０ビットプレーン数の個数は、前記実施例５の場合と同様に図１１の網掛けされた係数の数となる。つまり、1HLzは１６個、2HLzは４個、3HLzは１個の係数が一度に２値化され、1HLzと2HLzに関しては１６個、４個の２値化信号がＯＲ手段によりそれぞれＯＲ処理され、ＯＲ処理後の２値信号がサブバンド判定処理部201より出力される。

成分判定処理部202は、サブバンド判定処理部201より出力される３つの２値化信号のうち、２つ以上が１(オン)であれば１(オン)すなわち文字領域、そうでなければ０(オフ)すなわち非文字領域の判定結果信号を出力する。

サブバンド判定処理部201及び成分判定処理部202について説明したが、ＬＨサブバンドに対応したサブバンド判定処理部203及び成分判定処理部204、ＨＨサブバンドに対応したサブバンド判定処理部205及び成分判定処理部208の処理も同様である。

総合判定処理部207は、成分判定処理部202,204,206の判定結果信号と、同一タイル内での一つ前の総合判定結果信号とのＯＲをとり、そのＯＲ信号を総合判定結果信号として出力する。この総合処理がタイル内の全ての係数に対して行われ、タイル内の全ての総合判定処理が終了した時点の総合判定結果信号がラッチ208にラッチされ、それが当該タイルの領域判定データとなる。つまり、タイル内にオンが一つでもあれば文字タイルと判定し、一つもなければ非文字タイルと判定する。なお、次のタイルの判定開始時に、総合判定処理部207の出力は０クリアされる。

ここまでの説明から明らかなように、本実施例は請求項７の発明の一実施例である。

以上説明したように、本実施例によれば、符号データから領域判定を行うことができるため、符号化処理時に領域判定を行う必要がなく、したがってメモリやＨＤＤ等の記憶媒体あるいは符号ストリームに領域判定結果を保持しておく必要がない。また、本実施例におけるパケットヘッダ情報のみに基づく領域判定処理は、処理が簡易であるという長所を有する。

なお、本実施例においては、タイル単位で領域判定を行ったが、同様の方法により、前記実施例６のようなコードブロック単位の領域判定もしくはプレシンクト単位の領域判定も容易に可能であることは明らかである。

前記実施例１〜７においては、領域判定を行い、領域に応じて階層分割構成の制御、さらには階層単位の符号量の制御を行った。しかし、スキャナから読込まれた種々の画像データに対し正確な領域判定を実現することは容易でなく、ある程度の誤判定は避けられない。特に、鉛筆書き等の低コントラスト文字や色地上の文字等で誤判定が生じる可能性が高い。そして、誤判定が生じ、それに応じた処理がなされると、復号画像上に違和感が生じる可能性がある。このような違和感を緩和するためには、画像の特徴量を検出し、その特徴量に応じて符号ストリームのレイヤ分割構成（階層分割構成)を”多段階に”制御すると効果的である。ここでは、そのような特徴量に応じた多段階の制御を行う実施例について説明する。

図１７は、本実施例に係る画像処理装置の全体構成を示すブロック図である。この画像処理装置は、サーバ１として利用し得るＭＦＰであり、図２に示した構成と比較すると、像域分離処理部10が特徴量算出部111に置き換えられている点が相違する。これ以外の全体的構成及びＭＦＰとしての動作は前記実施例１に関連して述べた通りである。

なお、像域分離処理部10にはスキャナ９から出力される画像データが入力されたが、特徴量算出部111にはエンコーダ処理部12に入力される画像データが入力される。これは、符号化処理の対象となる画像データそのものを特徴量の算出に用いることにより、特徴量の算出精度を向上させようとするものである。

図１８は特徴量算出部111のブロック図である。図示のように、特徴量算出部111は、エッジ量算出フィルタ121、絶対値化処理部122、最大値選択部123及びルックアップテーブル（ＬＵＴ）124から構成される。

この特徴量算出部111には、画像データのＧ信号が入力される。入力されたＧ信号に対してエッジ量算出フィルタ121で２種類のフィルタによるフィルタ演算が行われ、それぞれのフィルタ演算結果が絶対値化処理部122へ入力される。絶対値化処理部122では、それぞれのフィルタ演算結果を絶対値化して２つのデータを出力する。最大値選択部123では、この２つのデータのうちの最大値を選択して出力する。このデータは、ＬＵＴ124により所定段階数の特徴量（エッジ量）を表すEdge信号に変換される。本実施例では、Edge信号は０〜７の８値とし、その値が大きいほどエッジ量が大きいことを表す。なお、ＬＵＴ124による変換は、Edge信号と入力画像との関係を線形に近づけるために行われる。

エッジ量算出フィルタ121では、例えば図１９（ａ），（ｂ）のような方向性の異なる２種類の一次微分フィルタが用いられる。

なお、特徴量算出処理部111において、画像データのＲ，Ｇ，Ｂ各信号からエッジ量を算出し、それらの絶対値の最大値を選択するようにしてもよい。あるいは、ＲＧＢ信号から所定の演算により生成した一つの信号からエッジ量を算出するようにしてもよい。さらには、エンコーダ12内で色変換処理により生成されるＹ信号を特徴量算出部111に入力し、同様のエッジ量検出を行うことも可能である。これらの態様も本発明に包含される。

図２０は、本実施例に係るエンコーダ12のブロック図である。前記実施例１などに係る図３に示した構成と比較すると、領域判定処理部34が最大値選択部131に置き換えられている。最大値選択部131は、各タイル単位で、タイル内でのEdge信号の最大値を選択し、その値をタイルにおける特徴量（エッジ量）として出力する。この特徴量は符号ストリーム生成処理部37に入力される。

符号ストリーム生成処理部37の構成は、前記実施例１などに係る図５に示した構成と同様であるが、パターンテーブル43には、特徴量の段階数に対応した８種類のレイヤパターンが設定される。例えば、特徴量０（最低エッジ量）に対応するレイヤパターンは前記実施例１における非文字領域用のレイヤパターンとし、特徴量７（最大エッジ量）に対応するレイヤパターンは前記実施例１における文字領域用のレイヤパターンとし、中間的な特徴量１〜６に対応するレイヤパターンとしては、非文字領域用レイヤパターンと文字領域用レイヤパターンの中間的なレイヤパターンが用いられる。

セレクタ44は、特徴量に対応したレイヤパターンを選択してパケット生成処理部45へ入力する。したがって、パケット生成処理部45により、特徴量０のタイルでは非文字領域に適した階層分割構成の符号ストリームが生成され、特徴７のタイルでは文字領域に適した階層分割構成の符号ストリームが生成され、特徴量１〜６のタイルでは、その値に応じた中間的な階層分割構成の符号ストリームが生成されることとなる。このようにして、多値の特徴量に従って、符号ストリームの階層分割構成（レイヤ分割構成）が多段階に制御される。

ここまでの説明から明らかなように、本実施例は請求項８，１８の発明の一実施例である。特徴量算出部111及び最大値選択部131と、その作用は、請求項８，１８における特徴量検出手段と工程に対応する。また、パターンテーブル43及びセレクタ44とその作用は、請求項８，１８における階層分割構成を制御する手段と工程に対応する。

以上説明したように本実施例によれば、符号ストリームのレイヤ分割構成を特徴量（エッジ量)に従って多段階に制御されるため、領域判定結果に従ってレイヤ分割構成を制御する構成における、復号画像に誤判定による違和感が生じるという問題は解消される。

なお、符号ストリーム生成処理部37において、特徴量０に対応したレイヤパターンと特徴量７に対応したレイヤパターンのみをパターンテーブル43に設定し、それら２種類のレイヤパターンを用いて特徴量１〜６に対応した中間的なレイヤパターンを算出する構成としてもよく、かかる態様も本発明に包含される。

また、像域分離も行い、その像域分離信号をＬＵＴ124に入力し、像域分離信号が文字領域を示す場合にＬＵＴ124より７のEdge信号を出力し、像域分離信号が非文字領域を示す場合には、ＬＵＴ124より最大値選択部123で選択されたエッジ量に応じた０〜６のEdge信号を出力するというように、特徴量検出に像域分離を組み合わせることも可能である。かかる態様も本発明に包含される。

また、エッジ量はエントロピー符号化時の符号量との対応や文字らしさとの対応も良いため、特徴量として極めて好適である。しかし、エッジ量以外の特徴量を利用することも可能である。例えば、パターン認識を行い、その類似度合い等を特徴量として利用することも可能であり、かかる態様も本発明に包含される。

また、コードブロック単位又はプレシンクト単位で特徴量を検出することも可能である。それには、例えば、最大値選択部131によってコードブロック内又はプレシンクト内の最大値を選択すればよい。

また、前記実施例３に関連して説明したようなレイヤ単位（階層単位）の符号量を設定符号量に制御させることも可能である。さらには、レイヤ単位の設定符号量を特徴量に従って行わせることも可能である。例えば、符号ストリーム生成処理部37において、特徴量をパケット生成処理部45にも入力することにより、パケット生成処理部45でレイヤ単位の符号量を特徴量に従って多段階に制御させることができる。かかる態様は、請求項１０，１１の発明の一実施例に相当する。

また、前記実施例２に係る画像処理装置（図７）において、前述したような特徴量検出を行い、エンコーダ12により生成される符号ストリーム内に、検出された特徴量の情報を保持させ、符号ストリーム変更処理部50（図８）で、本実施例と同様に特徴量に従った階層分割構成（レイヤ分割構成）の制御を行わせることも可能である。かかる態様は請求項９の一実施例に相当する。さらに、特徴量に従ってレイヤ単位の符号量を多段階に制御させることも可能である。

前記実施例８では、実空間画像信号から特徴量を検出したが、次にＤＷＴ係数から特徴量を算出する実施例を説明する。

本実施例に係る画像処理装置の全体構成は、前記実施例８に係る画像処理装置（図１７）より特徴量算出部111を省いた構成である。全体的動作は前記実施例８と同様であるので説明を省略し、前記実施例８との相違点を以下に説明する。

図２１は、本実施例に係るエンコーダ12のブロック図である。このエンコーダ12は、前記実施例５に係るエンコーダ（図１０）の領域判定処理部34を特徴量算出処理部141に置き換えた構成である。

図２２は、本実施例に係る特徴量算出処理部141のブロック図である。図示のように、特徴量算出部141は、ＨＬサブバンドに対応した加算処理部151と、ＬＨサブバンドに対応した加算処理部152と、ＨＨサブバンドに対応した加算処理部153と、最大値選択処理部154と、ルックアップテーブル（ＬＵＴ）155と、最大値選択処理部156と、ラッチ157とから構成される。

この特徴量算出処理部141には、前記実施例５と同様に図１１の網掛けされた部分のＤＷＴ係数（絶対値）が一度に入力される(ここでは、図１１の細線の格子はＤＷＴ係数値を示すものとする)。入力されたHL,LH,HHのＤＷＴ係数は、加算処理部151，152，153によりそれぞれ加算され、その合計値が出力される。最大値選択処理部154により、その３つの合計値のうちの最大値が選択される。選択された最大値はＬＵＴ155によって前記実施例９と同様に８値の特徴量に変換される。この特徴量は最大値選択処理部156によって一つ前の特徴量と比較され、そのうちの大きな方の値が最大値選択処理部156より出力される。同様の処理がタイル内の全ての係数について繰り返され、全ての係数の処理が終了した時点における最大値選択処理部157の出力値がラッチ157にラッチされ、当該タイルの特徴量として出力される。なお、最大値選択処理部156の出力は、次のタイルの特徴量算出処理の開始前に０クリアされる。つまり、特徴量算出処理部141から出力される特徴量は、タイル内の特徴量の最大値である。

そして、符号ストリーム生成処理部37において、前記実施例８と同様に階層分割構成が特徴量に従って多段階に制御された符号ストリームが生成される。

ここまでの説明から明らかなように、本実施例は請求項１３の発明の一実施例に相当する。

なお、同様の方法により、コードブロック単位又はプレシンクト単位で特徴量を検出してもよいことは明らかである。かかる態様も請求項１３の発明に包含される。

また、ＤＷＴ係数を使用した特徴量の算出方法は、前述の方法のみに限定されるものではない。

また、前記実施例２に係る画像処理装置（図７）において、エンコーダ12内で同様の特徴量検出を行い、検出した特徴量を符号ストリーム内に保持させ、符号ストリーム変更処理部50（図８）で、本実施例と同様に特徴量に従った階層分割構成（レイヤ分割構成）の制御を行わせることも可能である。かかる態様は請求項９の一実施例に相当する。さらに、特徴量に従って階層単位（レイヤ）の符号量を多段階に制御させることも可能であり、かかる態様は請求項１０，１１の一実施例に相当する。

次に、符号データから特徴量を算出する実施例を説明する。

本実施例における画像処理装置の全体構成は、前記実施例７に係る画像処理装置（図７）の像域分離処理部10を省いた構成である。また、全体的動作は前記実施例７と同様である。

本実施例に係る符号ストリーム変更処理部50は、前記実施例７に係る符号ストリーム生成処理部（図１５）における領域判定処理部53を、図２３に示す構成の特徴量算出処理部に置き換えた構成である。

この特徴量算出処理部は、図示のように、０ビットプレーン解析処理部161、加算処理部162,163,164、最大値選択処理部165、ルックアップテーブル（ＬＵＴ）166、最大値選択処理部167及びラッチ168からなる。

ヘッダ解析処理部51よりパケットヘッダが入力されると、０ビットプレーン解析処理部161によってパケットヘッダの０ビットプレーン情報が解析され、各サブバンドのコードブロック単位のMSBからの０ビットプレーン情報が得られる。言い換えれば、各コードブロック単位の最大値の最上位ビットが含まれるサブビットプレーンが得られる。０ビットプレーン解析処理部161では、この情報に応じた重み値を与えて図１１の網掛けされた部分の重み(W_1HL、W_2HL、W_3HL)を同時に出力する(ここでは、図１１の細線の格子はコードブロックを示すものとする)。ここでの重みは、例えば、上記最上位ビットがLSBから７ビット目であれば128というように、２の”最上位ビット”乗とする。なお、この場合にサブビットプレーン単位にて重みを変更してもよい。例えば、最上位ビットがLSBから７ビット目のSignificance propagationパスである場合は、128＋128×3/4(128は２の７乗、3/4はSignificance propagationパスの重み)という計算で224、Magnitude refinementパスの場合は、128＋128×2/4という計算で192、Clean upパスの場合は、128＋128×1/4という計算で160となる。

これらの重みを、図１１に示す網掛けされたコードブロックの数だけ、つまりW_1HLを16個、W_2HLを４個、W_3HLを１個、加算処理部162で加算する。LH,HH成分の重みについても同様に加算処理部163，164で加算処理する。３個の加算値のうち最大値が最大値選択処理部165にて選択される。これ以降の処理は実施例９と同様であり、最大値選択処理部165の出力値はＬＵＴ166により０〜７の値に変換され、その値と直前の最大値選択処理部167の出力値の大きい方の値が最大値選択処理部167により選択され、最終的にラッチ168にラッチされた値がタイルの特徴量として出力される。そして、前記実施例７と同様にして、特徴量に従って階層分割構成が多段階に制御された符号ストリームがパケット生成処理部45により生成される。

ここまでの説明から明らかなように、本実施例は、請求項１０の発明の一実施例に相当する。

なお、特徴量算出の単位領域はタイルに限らず、コードブロック単位又はプレシンクト単位の特徴量を同様の方法で算出可能であることは明らかであり、かかる態様も請求項１０の発明に包含される。

前記各実施例はサーバ側の画像処理装置に関するものであるが、転送路の転送速度は十分高速であるがクライアントの復号処理速度が遅い場合などには、クライアント側で前記各実施例に述べたような領域毎の画像種別に応じた階層分割構成の制御を行うと効果的である。

ここに述べる実施例は、領域毎の画像種別に従ってプログレッシブ復号の階層分割構成の制御を行うクライアント側の画像処理装置に関するものである。

図２４は、本実施例に係る画像処理装置の復号処理に関連する構成を示すブロック図である。本実施例の画像処理装置は、外部転送路2を介してサーバより符号ストリームを受信し、それをプログレッシブに復号するもので、外部インターフェース（Ｉ／Ｆ）91、符号バッファ92、符号ストリーム分解処理部93、エントロピー復号化処理部94、係数バッファ95、逆離散ウェーブレット変換（ＩＤＷＴ）処理部96、逆色変換処理部97及び画像バッファ98を含む構成である。すなわち、本実施例は、ＪＰＥＧ２０００の伸長処理のための基本的構成に符号ストリーム分解処理部93が追加された構成である。符号ストリーム分解処理部93は、タイル単位で文字／非文字の領域判定を行うための手段を含み、その判定結果に従って、エントロピー復号化処理の前段で符号データのレイヤ分割構成（階層分割構成）を制御することによって、プログレッシブ復号の階層分割構成を制御するための手段である。

全体的な処理の流れは次の通りである。外部転送路２を介してサーバ１から転送された符号ストリームは、外部Ｉ／Ｆ91を経由して符号バッファ92へ蓄積される。符号バッファ92に一つの画像全体の符号データが蓄積されると、符号ストリーム分解処理部93は符号バッファ92から符号データをタイル単位で読み出し、該当するプログレッシブ階層(レイヤ)の符号データを選択してエントロピー復号化処理部94へ出力する。エントロピー復号化処理部94では、コードブロック単位でかつサブビットプレーン単位に算術符号化された符号データを復号化し、復号化したビットプレーンデータを係数バッファ95にＤＷＴ係数の形態に並べ替えて蓄積する。ＩＤＷＴ処理部96では、係数バッファ95からＤＷＴ係数を読み出し、前記式（３）の逆変換である逆離散ウェーブレット変換を実施してYUVの画像データを出力する。逆色変換処理部97では、前記式（１）、式（２）の逆変換によりYUVデータをRGBの画像データに戻して画像バッファに蓄積する。同様の処理が画像内の全てのタイルについて実施され、当該レイヤ（階層）の復号が終了する。なお、画像バッファ98内の画像データはモニタ４に逐次表示される。

一つのレイヤの復号処理が終わると、次位のレイヤの復号が開始される。次位のレイヤの復号時も同様の流れにより復号処理が行われるが、処理済みの上位レイヤのエントロピー復号化されたビットプレーンデータは係数バッファ95内に蓄積されているので、改めてエントロピー復号化は行われない。つまり、次位のレイヤ分のみの符号データがエントロピー復号化されて新たに係数バッファ95内に蓄積されることになり、そのデータに改めてＩＤＷＴ処理から後段の処理を実施して画像バッファ内の画像データを更新していくことにより、領域判定結果に従って階層分割構成が制御されたプログレッシブ復号がなされる。

図２５は、符号ストリーム分解処理部93のブロック図である。この符号ストリーム分解処理部93は、前記実施例７に係る符号ストリーム変更処理部50（図１５）とほぼ同様の構成であるが、符号ストリームの形成に関わるパケット生成処理部45及びタイルヘッダ生成処理部46は符号選択処理部101に置き換えられている。また、符号ストリーム分割処理部93内の領域判定処理部53は、前記実施例７に係る図１６に示す構成と同様の構成である。

符号ストリーム分割処理部93の処理は前記実施例７の符号ストリーム変更処理部50とほぼ同様であり、入力されるパケットのパケットヘッダがヘッダ解析処理部51で解析され、パケット分解処理部52からの制御信号に応じてパケット分解処理部52によりパケットの符号部分がサブビットプレーン毎の符号データに分解されて入力符号バッファ41に記録される。この際に、ヘッダ解析処理部51より(YUV信号のうちの)Ｙ信号に関するコードブロック単位での０ビットプレーン数が領域判定処理部53へ出力され、領域判定処理部53において前記実施例７に関連して説明したと同様のタイル単位の文字／非文字の領域判定が行われる。この領域判定の結果に応じて、セレクタ44を介して、パターンテーブル43に設定されている文字タイル用レイヤパターン又は非文字タイル用レイヤパターンが符号選択処理部101に読み込まれる。

ここまでは前記実施例７の場合と同様であるが、本実施例においては、符号選択処理部101により、レイヤパターンに従って復号すべきレイヤに対応するサブビットプレーンの符号データを入力符号バッファ41から読み出し、それをエントロピー復号化処理部94へそのまま出力する点が相違する。このような符号ストリーム分解処理が、画像内の全タイルについて、上位レイヤから下位レイヤへ向かって順次繰り返されることにより、前述のような領域判定結果に従った階層分割構成のプログレッシブ復号が可能となる。

ここまでの説明から明らかなように、本実施例は、請求項１５，１９の発明の一実施例に相当する。そして、符号ストリーム分解処理部93とその作用は、請求項１５，１９におけるプログレッシブ復号の階層分割構成を制御する手段と工程に対応し、また、領域判定処理部53とその作用は、請求項１５，１９における領域判定手段と工程に対応する。

なお、本実施例ではタイル単位で領域判定を行ったが、コードブロック単位又はプレシンクト単位で同様の領域判定を行うことも可能であることは明らかであり、かかる態様も請求項１５，１９の発明に包含される。

また、前記実施例２に関連して述べたように、サーバ側で領域判定が行われ、その領域判定データが符号ストリームのタイルヘッダのコメントマーカ部等に記述されているならば、符号ストリーム分割処理部93（図２５）において、ヘッダ解析処理部51でタイルヘッダより領域判定データ結果を抽出し、その領域判定データをセレクタ44に与えることができる。この場合、ヘッダ解析処理部51が領域判定手段となるため、領域判定処理部53を省くことができる。かかる態様も請求項１５，１９の発明に包含される。

本実施例は、前記実施例１１と同様にクライアント側の画像処理装置に関するものであり、復号処理に関わる構成は前記実施例１１（図２４）と同様である。

また、本実施例に係る画像処理装置の符号ストリーム分解処理部９３の構成は前記実施例１１に係る図２５に示すような構成であるが、領域判定処理部53は前記実施例１０に係る特徴量算出処理部（図２３）と置き換えられる。この特徴量算出処理部により算出されたタイル単位の特徴量（０〜７の８段階）に応じたレイヤパターンがセレクタ44を介してパターンテーブル43より符号選択処理部101へ入力され、符号選択処理部101においてレイヤパターンに従って特徴量に応じた符号選択が行われる。かくして、タイル単位で特徴量に従ってプログレッシブ復号の階層分割構成を多段階に制御することができる。

すなわち、本実施例は、請求項１６，２０の発明の一実施例である。そして、符号ストリーム分解処理部93とその作用は、請求項１６，２０におけるプログレッシブ復号の階層分割構成を制御する手段と工程に対応し、また、特徴量算出処理部3とその作用は請求項１６，２０における特徴量算出手段と工程に対応する。

なお、本実施例ではタイル単位で特徴量を算出したが、コードブロック単位又はプレシンクト単位で同様の特徴量算出を行うことも可能であることは明らかであり、かかる態様も請求項１６，２０の発明に包含される。

また、サーバ側で特徴量算出を行い、その特徴量データが符号ストリームのタイルヘッダのコメントマーカ部等に記述されているならば、符号ストリーム分割処理部93において、ヘッダ解析処理部51でタイルヘッダより特徴量データを抽出してセレクタ44に与えることができ、特徴量算出処理部を省くことができる。かかる態様も請求項１６，２０の発明に包含される。

なお、本発明の画像処理装置を構成する手段あるいは本発明の画像処理方法を構成する工程を、汎用コンピュータやマイクロコンピュータなどのコンピュータを利用して実現することも可能であることは明らかであり、そのためのプログラム、及び、同プログラムが記録されたコンピュータが読み取り可能な磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種情報記録（記憶）媒体も本発明に包含される。

クライアント／サーバ環境の説明図である。 本発明の実施例１などに係る画像処理装置の全体的構成を示すブロック図である。 本発明の実施例１などに係るエンコーダのブロック図である。 文字タイルと非文字タイルにおけるレイヤプログレッションの階層分割構成の説明図である。 本発明の実施例などに係る符号ストリーム生成処理部のブロック図である。 文字タイルと非文字タイルにおける解像度プログレッションの階層分割構成の説明図である。 本発明の実施例２などに係る画像処理装置の全体的構成を示すブロック図である。 本発明の実施例２に係る符号ストリーム変更処理部のブロック図である。 本発明の実施例４に係る贈位域分離処理部のブロック図である。 本発明の実施例５などに係るエンコーダのブロック図である。 各サブバンドのウェーブレット係数又はコードブロックの説明図である。 本発明の実施例５に係る領域判定処理部のブロック図である。 本発明の実施例６に係る領域判定処理部のブロック図である。 図１３中の成分判定処理部を説明するためのブロック図である。 本発明の実施例７などに係る符号ストリーム変更処理部のブロック図である。 図１６中の領域判定処理部のブロック図である。 本発明の実施例８などに係る画像処理装置の全体構成を示すブロック図である。 図１７中の特徴量算出部のブロック図である。 エッジ量算出フィルタを示す図である。 本発明の実施例８に係るエンコーダのブロック図である。 本発明の実施例９に係るエンコーダのブロック図である。 図２１中の特徴量算出処理部のブロック図である。 本発明の実施例１０など係る特徴量算出処理部のブロック図である。 本発明の実施例１１などに係る画像処理装置のブロック図である。 図２４中の符号ストリーム分解処理部のブロック図である。 ＪＰＥＧ２０００の圧縮符号化処理を説明するためのブロック図である。 オクターブ分割されたウェーブレット係数の説明図である。 ビットプレーン分解及びサブビットプレーン分解の模式図である。 レイヤプログレッションの符号ストリームの模式図である。 ＪＰＥＧ２０００のＬＲＣＰプログレッションとＲＰＣＬプログレッションのプログレッシブ順序を示す模式図である。 ＬＲＣＰプログレッションの符号並びの例を示す図である。 ＲＬＣＰプログレッションの符号並びの例を示す図である。

符号の説明

１ サーバ
２ クライアント
１０ 像域分離処理部
１２ エンコーダ
１３ ＣＰＵ
１４ メモリ
１５ ＨＤＤ
１７ 外部Ｉ／Ｆ
３１ 色変換処理部
３２ 離散ウェーブレット変換（ＤＷＴ）処理部
３４ 領域判定処理部
３５ エントロピー符号化処理部
３６ ポスト量子化処理部
３７ 符号ストリーム生成処理部
４１ 入力符号バッファ
４３ パターンテーブル
４４ セレクタ
４５ パケット生成処理部
４６ タイルヘッダ生成処理部
４７ 出力符号バッファ
５０ 符号ストリーム変更処理部
５１ ヘッダ解析処理部
５２ パケット分解処理部
５３ 領域判定処理部
９１ 外部Ｉ／Ｆ
９２ 符号バッファ
９３ 符号ストリーム分解処理部
９４ エントロピー復号化処理部
９５ 係数バッファ
９６ 逆離散ウェーブレット変換（ＩＤＷＴ）処理部
９７ 逆色変換処理部
９８ 画像バッファ
１０１ 符号選択処理部
１１１ 特徴量算出部
１４１ 特徴量算出処理部

Claims (22)

1. 画像の符号化処理を行って、レイヤプログレッションのプログレッシブ符号ストリームを出力する符号化手段と、
   画像の画像種別を所定のブロック単位で判定する領域判定手段とを有し、
   前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置。
2. 画像の符号ストリームを記憶する記憶手段と、
   画像の画像種別を所定のブロック単位で判定する領域判定手段と、
   前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、
   前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置。
3. 前記符号ストリーム生成手段に含まれる前記制御する手段は、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の符号量を予め決められた設定符号量に制御することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記符号ストリーム生成手段に含まれる前記制御する手段は、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の設定符号量を、前記領域判定手段による判定結果に従って切り替えることを特徴とする請求項３に記載の画像処理装置。
5. 前記領域判定手段により判定される画像種別に文字、黒文字、色文字及び網点のうちの少なくとも１つが含まれることを特徴とする請求項１，２，３又は４に記載の画像処理装置。
6. 前記領域判定手段は、画像の符号化処理の過程において生成される画像の周波数変換係数に基づいて画像種別を判定することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記領域判定手段は、前記符号ストリーム生成手段に取り込まれた符号ストリームに基づいて画像種別を判定することを特徴とする請求項２に記載の画像処理装置。
8. 画像の符号化処理を行って、レイヤプログレッションのプログレッシブ符号ストリームを出力する符号化手段と、
   画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、
   前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置。
9. 画像の符号ストリームを記憶する記憶手段と、
   画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、
   前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、
   前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置。
10. 前記符号ストリーム生成手段に含まれる前記制御する手段は、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の符号量を予め決められた設定符号量に制御することを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記符号ストリーム生成手段に含まれる前記制御する手段は、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の設定符号量を、前記特徴量検出手段により検出された特徴量に従って多段階に切り替えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記特徴量検出手段により検出される画像の特徴量はエッジ量であることを特徴とする請求項８，９，１０又は１１に記載の画像処理装置。
13. 前記特徴量検出手段は、画像の符号化処理の過程において生成される画像の周波数変換係数に基づいて特徴量を検出することを特徴とする請求項８又は９に記載の画像処理装置。
14. 前記特徴量検出手段は、前記符号ストリーム生成手段に取り込まれた符号ストリームに基づいて特徴量を検出することを特徴とする請求項９に記載の画像処理装置。
15. 画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理装置であって、
    画像の画像種別を所定のブロック単位で判定する領域判定手段と、
    受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段とを有することを特徴とする画像処理装置。
16. 画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理装置であって、
    画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、
    受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段とを有することを特徴とする画像処理装置。
17. 画像の画像種別を所定のブロック単位で判定する領域判定工程と、
    画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、
    前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する工程を含むことを特徴とする画像処理方法。
18. 画像の多値の特徴量を所定のブロック単位で検出する特徴量検出工程と、
    画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、
    前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程を含むことを特徴とする画像処理方法。
19. 画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理方法であって、
    画像の画像種別を所定のブロック単位で判定する領域判定工程と、
    受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定工程による判定結果に従って制御する工程とを有することを特徴とする画像処理方法。
20. 画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理方法であって、
    画像の特徴量を所定のブロック単位で検出する特徴量検出工程と、
    受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程とを有することを特徴とする画像処理装方法。
21. 請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
22. 請求項２１に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images