JP2007005844A - 符号化処理装置、符号化処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】部分アクセス性の高いＪＰＭ符号化データを生成する装置又は方法。
【解決手段】原画像データを背景、１以上の前景とマスクデータのペアに分解する（ステップ１１０１−１１０５）。前景とマスクに対し、タイル分割又はプリシンクト分割を用いるＪＰＥＧ２０００符号化を行う（ステップ１１０６，１１０７）。したがって、前景の符号及びマスクの符号について、タイル又はプリシンクトを単位とした部分アクセスが可能となる。マスクなどを複数の部分領域に分割し、各部分領域を個別に符号化することによっても、マスク等の符号の部分アクセスが可能となる。
【選択図】図１２

Description

本発明は、文字・線画と写真等の混在文書のページ画像等を符号する装置及び方法に係り、より詳しくは、原画像データをそのまま符号化するのではなく、原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを符号化する装置及び方法に関する。

ここで、本発明において、「原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペア」とは、「原画像データを分解した背景データ１、ｎ個の前景データｉとマスクデータｉのペア（ただし、ｎは１以上の整数；ｉ＝１，２，．．．ｎ）において、マスクデータｉに従って、前景データｉと背景データｉの一方を画素毎に選択する方法、又は、前景データｉと背景データｉの値の加重平均を画素毎にとる方法により背景データi+1を合成する手順を、ｉ＝１からｉ＝ｎまで順に繰り返し、最終的に合成された背景データn+1として原画像データが再現されるもの」と定義される。

なお、以下の説明及び参照する図面において、背景データ、前景データ、マスクデータをそれぞれ背景、前景、マスクと略記することがある。

一般に文書は文字・線画と画像の混在で構成される。近年、こうした混在文書を効率的に符号化するために、文書のページ（原画像データ）を背景データ、１又は複数の前景データとマスクデータのペアに分解し、それらデータを別々に符号化する手法が提案されている。

例えば、ＭＲＣ（ミクスト・ラスター・コンテント）では、図１に模式的に例示するように、原画像データを文字の色情報である前景データ、文字領域情報であるマスクデータ、画像情報である背景データに分解し、背景データ、前景データ、マスクデータを別々に符号化する。原画像データを再現する場合には、マスクデータに従って前景データ又は背景データを画素毎に選択することにより再現画像を合成する。なお、原画像データを背景データ、２以上の「前景データとマスクデータのペア」に分解し、それぞれのデータを符号化することも可能である。

ＭＲＣに関しては、例えば特許文献１に、原画像の絵柄部分を表す多値の絵柄画像（背景）、原画像の文字・線画部分の色情報を表す多値の文字色画像（前景）、原画像の文字・線画の形状を表す２値の選択データ（マスク）をそれぞれＪＰＥＧ、Ｌｅｍｐｅｌ−Ｚｉｖ、ＭＭＲで符号化した符号を取り込み、各符号を伸長し、伸長された絵柄画像データ又は文字色画像データを、伸長された選択データに従って画素毎に選択することにより画像を合成復元する画像処理装置の発明が記載されている。そして、この発明は、同特許文献の段落（０００３）〜（０００５）等の記載によれば、高圧縮率時の文字・線画の劣化を防止することを主要な目的とするものである。

近年、新たな符号化方式ＪＰＥＧ２０００の登場とともに、前記ＭＲＣモデルの前景データ、マスクデータ、背景データの圧縮方式としてＪＰＥＧ２０００の選択を可能にしたＪＰＭ（JPEG2000 Multi Layer）が提案されている。また、ネットワーク環境下で「JPEG2000で符号化された画像中の所望の領域の符号だけを送受信する」仕組みであるＪＰＩＰ（JPEG2000 Interactive Protocol）が提案されている。以下、これらについて簡単に説明する。

まず、ＪＰＭについて説明する。ＪＰＭでは、原画像データは、１つの背景データ（BasePage）、１又は複数のレイアウトオブジェクト（Layout Object）と呼ばれる「前景データとマスクデータのペア」に分解される。ＪＰＭの背景データは、レイアウトオブジェクトが描画される初期的なページとして扱われる。これら背景データ、前景データ、マスクデータはそれぞれ独立に符号されるが、その符号化方式としてＪＰＥＧ２０００を選択可能である。

例えば、背景データ、前景データ１とマスクデータ１のペア、前景データ２とマスクデータ２のペアに分解された原画像データを再現する場合は、マスクデータ１に従って前景データ１と背景データから背景データ２を合成する。次に、マスクデータ２に従って前景データ２と背景データ２から背景データ３を合成する。この例では、合成された背景データ３が再現画像データとなる。前景データとマスクデータのペアが増加した場合も同様の合成手順の繰り返しにより画像が再現される。

上に述べた背景データと前景データの合成法としては、
（ｉ）前景データ又は背景データを画素毎に選択する方法、
（ii）前景データと背景データの値の加重平均を画素毎にとる方法、
の２つが可能である。

（i）の方法の場合、マスクデータを２値データとし、マスクデータの値が”１”の画素位置で前景データを、”０”の画素位置で背景データをそれぞれ選択させることが可能である。（ii）の方法の場合、マスクデータに例えば８ビットの正の値を持たせ、前景データと背景データの値の加重平均を画素毎にとることが可能である。すなわち、
合成画像＝（マスク値／255）×前景＋｛（255―マスク値）／255｝×背景
によって、合成画像の画素値を算出することができる。いずれの合成方法をとるかは、前景データとマスクデータのペアごとに指定可能であり、その指定は各ペア用のヘッダ（後述）に記載される。

次にＪＰＥＧ２０００について説明する。ＪＰＥＧ２０００は、２００１年に国際標準になったＪＰＥＧ後継の画像符号化方式であり、その符号化処理は概ね図２に示す流れで行われる。まず、画像は矩形のタイルに分割される(分割数≧１)。各タイルは、輝度・色差等のコンポ−ネントへ色変換される。変換後のコンポ−ネント（タイルコンポ−ネントと呼ばれる）は、ウェーブレット変換によって、LL、HL、LH、HHと略称される４つのサブバンドに分割される。そしてLLサブバンドに対して再帰的にウェーブレット変換（デコンポジション）を繰返すと、最終的に１つのLLサブバンドと複数のHL、LH、HHサブバンドが生成される。

次に、各サブバンドはプリシンクトと呼ばれる矩形に分割される（図３参照）。プリシンクトとは、サブバンドを矩形に分割したもので、ＨＬ、ＬＨ、ＨＨ各サブバンドの対応したプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割した各プリシンクトはそれぞれ単独でプリシンクトとして扱われる。プリシンクトは、大まかには画像中の場所（Position）を表すものである。プリシンクトはサブバンドと同じサイズにできる。プリシンクトをさらに矩形に分割したものがコードブロックである（図３参照）。よって、物理的な大きさの序列は、画像≧タイル＞サブバンド≧プリシンクト≧コードブロックとなる。

図４にサブバンド分割の例を示す。LL,HL,LH,HHの接頭の数字は、当該係数が得られるまでに適用されたウェーブレット変換の回数（デコンポジションレベル）を示す。図４には、デコンポジションレベルと解像度レベルの関係も示されている。

以上の分割の後、各サブバンド係数に対し（９×７変換と呼ばれる非可逆ウェーブレット変換が用いられる場合はサブバンド毎に線形量子化された後）、コードブロック毎かつビットプレーン順にエントロピー符号化（ビットプレーン符号化）が行われる。

プリシンクトに含まれる全てのコードブロックから、ビットプレーンの符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）にヘッダをつけたものをパケットと呼ぶ。上記「一部」は空（から）でもいいので、パケットの中身が符号的には空(から)ということもある。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。いわばパケットは符号の単位である。

全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。レイヤーは大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がることになる。すなわち。レイヤーはビット深さ方向に形成された画質の単位である。すべてのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。

図５に、デコンポジションレベル数＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤーと、それに含まれるパケットの例を示す。パケットは、プリシンクトを単位とするものであるから、プリシンクトサイズ＝サブバンドサイズとした場合、ＨＬ〜ＨＨサブバンドをまたいだものとなる。なお、図中、いくつかのパケットのみ太線で囲んで示されている。

さて、以上で生成されたパケットやレイヤの区切りに従い、パケットを並べる作業を符号形成とよぶ。以上の様にパケットは
・どのコンポ−ネント（記号C）に属するか、
・どの解像度レベル（記号R）に属するか、
・どのプリシンクト（"場所"）（記号P）に属するか、
・どのレイヤ（記号L）に属するか
という４つの属性を有する。パケットの配列とは、パケットをどの属性の順に階層的に並べるかを意味する。この配列順をプログレッションオーダと呼び、図６の５通りが規定されている。

例えば、ＬＲＣＰプログレッションオーダの場合、次のようなｆｏｒループ
for(レイヤ)｛
for(解像度)｛
for(コンポ−ネント)｛
for(プリシンクト)｛
エンコード時：パケットを配置
デコード時：パケットの属性を解釈
｝
｝
｝
｝
により、パケットの配列（エンコード時）又は解釈（デコード時）がなされる。

各パケットはパケットヘッダを有するが、パケットヘッダには、
・そのパケットが空かどうか、
・そのパケットにどのコードブロックが含まれるか、
・そのパケットに含まれる各コードブロックのゼロビットプレーン数、
・そのパケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）、
・そのパケットに含まれる各コードブロックの符号長、
が記載されているが、レイヤ番号や解像度番号等は一切記載されていない。デコード時に、そのパケットがどのレイヤのどの解像度のものかを判別するには、メインヘッダ中のＣＯＤマーカに記載されたプログレッションオーダから上記のようなｆｏｒループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがｆｏｒループ内のどの位置でハンドリングされたかを見ればよい。これは、パケットヘッダ中の符号長さえ読み出せば、エントロピー符号自体をデコードしなくても、次のパケットを検出できること、すなわち任意のパケットにアクセスできることを意味する。

さて、以上に説明したようにＪＰＥＧ２０００の符号はパケット単位でのアクセスが可能である。これは、原符号から必要な符号だけを抜き出して、新たな符号を生成できることを意味し、また、原符号から必要に応じて部分的な符号だけを復号できることを意味する。

例えば、サーバにある大きな画像をクライアント側で表示する場合に、必要な画質だけの符号、必要な解像度だけの符号、見たい場所だけの符号、見たいコンポ−ネントだけの符号をサーバから受信し、復号することができるのである。この様に、サーバにあるＪＰＥＧ２０００の符号から、必要な符号だけを受信するためのプロトコルが前記ＪＰＩＰ（JPEG2000 Interactive Protocol）であり、現在標準化の途上にある。

ＪＰＩＰでは、クライアントからサーバに、描画したい領域と画質を指定できるようにすることが提案されている。領域が指定された場合、サーバは当該領域をカバーするプリシンクトのパケットを送信する。つまり
for(プリシンクト)｛
パケットを解釈
｝
というループにおいて、必要なプリシンクトのパケットのみを送信することができる。また、これと同時に画質が指定された場合、
for(レイヤ)｛
‥‥
for (プリシンクト)｛
パケットを解釈
｝
‥‥
｝
というループにおいて、必要なレイヤのパケットのみを送信することができる。

このような階層的な画像を部分的にアクセスするためのプロトコルは、古くは、画像の多重解像度表現であるＦｌａｓｈＰｉｘと、それにアクセスするためのプロトコルであるＩＩＰ（Internet Imaging Protocol）に見ることができる。ＩＩＰに関する先行技術文献として例えば特許文献２がある。また、ＪＰＩＰにおけるキャッシュモデル等に関する先行技術文献として例えば特許文献３がある。

特許第３２７５８０７号公報 特開平１１−２０５７８６号公報 特開２００３−２３６３０号公報

さて、ＪＰＭの符号化データに対し、画像の所望部分のみをＪＰＩＰを通じてアクセスしようとした場合、前景、マスク、背景のいずれに関しても、所望部分の符号のみを送受信できることが望ましい。しかし、従来のＪＰＭの符号化データでは、このような部分アクセス性は考慮されていなかった。例えば、マスクデータは多くの場合に２値画像データであるが、従来は、ＪＰＭにおいても２値画像データであるマスクデータの圧縮にはＦＡＸで広く利用されているＭＭＲやＪＢＩＧ等の２値画像用の符号化方式が用いられており、部分アクセスは不可能であった。ＭＲＣの符号化データについても同様であった。

よって、本発明は、原画像データを分解した背景データ、及び、１以上又は複数の前景データとマスクデータのペアを符号化する装置及び方法において、部分アクセス性の高い符号化データを生成することにある。

繰り返しになるが、本発明において「原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペア」とは、「原画像データを分解した背景データ１、ｎ個の前景データｉとマスクデータｉのペア（ただし、ｎは１以上の整数；ｉ＝１，２，．．．ｎ）において、マスクデータｉに従って、前景データｉと背景データｉの一方を画素毎に選択する方法、又は、前景データｉと背景データｉの値の加重平均を画素毎にとる方法により背景データi+1を合成する手順を、ｉ＝１からｉ＝ｎまで順に繰り返し、最終的に合成された背景データn+1として原画像データが再現されるもの」と定義されるものである。

部分アクセスを可能にするアプローチは２つ考えられる。１つは、たとえマスクデータが２値画像データであっても、部分アクセスが可能な符号化方式を適用する工夫をすることである。そこで、発明者は、ＪＰＭではマスクデータに対してもＪＰＥＧ２０００を適用可能であることに注目した。

先に述べたように、ＪＰＥＧ２０００においては、タイル分割やプリシンクト分割の適用が可能である。そして、マスクデータにタイル分割又はプリシンクト分割を用いるＪＰＥＧ２０００符号化を適用すれば、所望部分の符号へのアクセスが可能となるのである。また、ＪＰＥＧ２０００では、ウェーブレット変換を適用しない符号化も可能である。そして、マスクデータが２値画像データである場合には、一般にウェーブレット変換を適用しない方が、マスクデータの符号サイズを小さくすることができる。またマスクデータが多値画像データであっても、例えば３つの値しかとらず、それらの絶対値が０又は２のべき乗に限定されるような場合には、ウェーブレット変換を適用しなければ３つのビットプレーン以外は０で埋まるため一般に符号化効率がよい。

部分アクセスを可能とするもう一つのアプローチは、例えばマスクデータを複数の領域部分に分割し、それら領域部分を個別に（別々の画像として扱って）符号化する方法である。このようにマスクデータそのものを複数の領域部分（別画像）に分割しても、復号の際に、分割した個々の領域部分を統合する仕組みをＪＰＭが備えているので不都合はない。なお、この場合におけるマスクデータに対する符号化方式は、ＪＰＥＧ２０００のようなタイル分割やプリシンクト分割などが可能な方式に限定されない。

本発明は以上の考察を基づいたものである。以下、各請求項に係る発明について順に説明する。

請求項１の発明は、原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得手段と、このデータ取得手段により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化手段とを有し、前記符号化手段において、マスクデータに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行うことを特徴とする符号化処理装置である。かかる構成によれば、マスクデータに対する部分アクセスが容易になる。

請求項２の発明は、原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得手段と、このデータ取得手段により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化手段とを有し、前記符号化手段において、マスクデータを複数の領域部分に分割し、各領域部分を個別に符号化することを特徴とする符号化処理装置である。かかる構成によれば、マスクデータへの部分アクセスが容易になる。

請求項３の発明は、請求項１の発明に係る符号化処理装置であって、前記符号化手段において、マスクデータの各画素位置の絶対値が０又は２のべき乗のみをとる場合に、マスクデータの符号化の際にウェーブレット変換を適用しないことを特徴とする符号化処理装置である。かかる構成によれば、マスクデータの部分アクセスが容易になるとともに、マスクデータの符号化効率を高めることができる。

請求項４の発明は、請求項１又は２の発明に係る符号化処理装置であって、前記符号化手段において、前景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理装置である。かかる構成によれば、マスクデータ及び前景データへの部分アクセスが容易になる。

請求項５の発明は、請求項１又は２の発明に係る符号化処理装置であって、前記符号化手段において、前景データを複数の領域部分に分割し、各領域部分を個別に符号化し、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理装置である。かかる構成によれば、マスクデータ及び前景データへの部分アクセスが容易になる。

さて、ＪＰＭにおける背景データ(狭義)は単色のページからなる様規定されている。このような単色の背景データについては、符号化時に領域分割を行わなくとも部分アクセスは容易である。しかし、図１に例示したような単色ではない背景データが許容されるＭＲＣの場合、背景データについても部分アクセスを容易にする工夫が望まれる。請求項６，７の発明は、かかる考察に基づいたもので、背景データについても部分アクセスが容易になる。

すなわち、請求項６の発明は、請求項１又は２の発明に係る符号化処理装置であって、前記符号化手段において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理装置である。

また、請求項７の発明は、請求項１又は２の発明に係る符号化処理装置であって、前記符号化手段において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理装置である。

また、請求項８，９の発明は、マスクデータ、前景データ、背景データのすべてについて部分アクセスを容易にするものである。

すなわち、請求項８の発明は、請求項４又は５の発明に係る符号化処理装置であって、前記符号化手段において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理装置である。

請求項９の発明は、請求項４又は５の発明に係る符号化処理装置であって、前記符号化手段において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理装置である。

ＪＰＭでは、１つの背景データに、前景データとマスクデータのペア（レイアウトオブジェクト)を合成し、その合成画像データを新たな背景データと見なして、次のレイアウトオブジェクトを合成するという手順をとるため、レイアウトオブジェクトが複数ある場合には、全てのレイアウトオブジェクトで部分アクセスのための分割境界を一致させることが望ましい。

よって、請求項１０の発明は、請求項４又は５の発明に係る符号化処理装置であって、前景データとマスクデータのペアは複数あり、全てのペアの前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理装置である。かかる構成によれば、前景データとマスクデータのペアが複数ある場合における前景データ及びマスクデータへの部分アクセス性を高めることができる。

ＪＰＭでは、異なるレイアウトオブジェクト間でマスクデータや前景データを共有することが可能である。請求項２の発明のようにマスクデータを複数の領域部分に分割し、各領域部分を別画像データとして符号化した場合でも、前景データを１つの画像データ（ただし部分アクセスは可能）として符号化し、これを異なるマスクデータ間で共有させることが可能である。すなわち、前景データを複数の別画像にあえて分割する必要はなく、また、分割しないことによって前景データの符号量が増えるということもない。

かかる点に鑑み、請求項１１の発明は、原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得手段と、このデータ取得手段により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化手段と、この符号化手段により生成された背景データ、前景データ及びマスクデータの符号を結合して所定フォーマットの符号化データを形成する符号形成手段とを有し、前記符号化手段において、マスクデータは複数の部分領域からなり、それら部分領域をそれぞれ個別に符号化し、前記符号形成手段において、前景データの符号をマスクデータの複数の部分領域の符号間で共有させることを特徴とする符号化処理装置である。かかる構成によれば、符号量の増加を招かず、かつ、前景データを複数の別画像に分ける煩わしさを避けることができる。

請求項１２乃至１９の発明は、請求項１，２，４乃至９の発明の内容に対応した符号化処理方法である。

すなわち、請求項１２の発明は、原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得工程と、このデータ取得工程により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化工程とを有し、前記符号化工程において、マスクデータに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行うことを特徴とする符号化処理方法である。

請求項１３の発明は、原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得工程と、このデータ取得工程により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化工程とを有し、前記符号化工程において、マスクデータを複数の領域部分に分割し、各領域部分を個別に符号化することを特徴とする符号化処理方法である。

請求項１４の発明は、請求項１２又は１３の発明に係る符号化処理方法であって、前記符号化工程において、前景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理方法である。

請求項１５の発明は、請求項１２又は１３の発明に係る符号化処理方法であって、前記符号化工程において、前景データを複数の領域部分に分割し、各領域部分を個別に符号化し、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理方法である。

請求項１６の発明は、請求項１２又は１３の発明に係る符号化処理方法であって、前記符号化工程において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理方法である。

請求項１７の発明は、請求項１２又は１３の発明に係る符号化処理方法であって、前記符号化工程において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理方法である。

請求項１８の発明は、請求項１４又は１５の発明に係る符号化処理方法であって、前記符号化工程において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理方法である。

請求項１９の発明は、請求項１４又は１５の発明に係る符号化処理方法であって、前記符号化工程において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする符号化処理方法である。

また、請求項２０又は２１の発明は、請求項１乃至９の発明に係る符号化処理装置をコンピュータを利用し実現可能とするものである。すなわち、請求項２０の発明は、請求項１乃至９のいずれか１項の発明に係る符号化処理装置の各手段としてコンピュータを機能させるプログラムである。また、請求項２１の発明は、請求項１乃至９のいずれか１項の発明に係る符号化処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

以上に説明したように、請求項１乃至１９の発明によれば、部分アクセス性の高い符号化データを得ることができる。すなわち、請求項１，２，１２，１３の発明によれば、マスクデータに対する部分アクセスが容易になる。請求項３の発明によれば、マスクデータの部分アクセスが容易になるとともに、マスクデータの符号化効率を高めることができる。請求項４，５，１４，１５の発明によれば、マスクデータ及び前景データへの部分アクセスが容易になる。請求項６，７，１６，１７の発明によれば、マスクデータ及び背景データへの部分アクセスが容易になる。請求項８，９，１８，１９の発明によれば、マスクデータ、前景データ、背景データのすべてについて部分アクセスが容易になる。さらに、請求項１０の発明によれば、前景データとマスクデータのペアが複数ある場合における前景データ及びマスクデータへの部分アクセス性を高めることができる。また、請求項１１の発明によれば、符号量の増加を招かず、かつ、前景データを複数の別画像に分ける煩わしさを避けることができる。

また、請求項２０，２１の発明に係るプログラム又は情報記録媒体を利用することにより、コンピュータを用いて請求項１乃至９の発明に係る符号化処理装置を容易に実現することが可能になる。

図７は、本発明の実施形態を説明するためのブロック図である。ここに示す符号化処理装置は、原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得手段１００、このデータ取得手段１００により取得された背景データ、前景データ、マスクデータを別々に符号化する符号化手段１１０を備える。この符号化手段１１０で生成された背景データの符号、前景データの符号及びマスクデータの符号は、個々独立に扱うことは不都合であるので、所定のフォーマットの１つのファイルにまとめられるのが通常である。したがって、本実施形態に係る符号化処理装置においても、符号化手段１１０によって生成された背景データの符号、前景データの符号及びマスクデータの符号を結合するとともに必要なヘッダを付加することによりＪＰＭフォーマットもしくはＭＲＣフォーマットの符号化データ（ファイル）を形成する符号形成手段１１１と、その符号化データを外部装置へ出力したり内部の記憶装置に書き出したりする符号出力手段１１２を備える。

本実施形態に係るデータ取得手段１００は、外部より原画像データを入力する手段１０１と、この手段１０１により入力された原画像データを背景データ、１又は複数の「前景データとマスクデータのペア」に分解する手段１０２を含む。また、データ取得手段１００は、予め原画像データを分解した背景データ、１又は複数の前景データとマスクデータのペアを外部より入力する手段１０３を含む。また、データ取得手段１００は、ＪＰＭ又はＭＲＣの符号化データを外部より入力する手段１０４と、この手段により入力された符号化データを復号して背景データ、１又は複数の前景データとマスクデータのペアを生成する手段１０５を含む。なお、データ取得手段１００として、手段１０１，１０２のみを含む形態、手段１０３のみを含む形態、手段１０４，１０５のみ含む形態のいずれをとることも可能であり、そのいずれの形態も本発明に包含される。

図７は、本発明に係る符号化方法の実施形態を示すものでもあり、データ取得手段１００はデータ取得工程に、符号化手段１１０は符号化工程に、符号形成手段１１１は符号形成工程に、符号出力手段１１２は符号出力工程にそれぞれ対応する。そして、データ取得工程については、上に述べたような３つの形態のいずれをとることも可能である。

このような本発明に係る符号化処理装置又は方法は、例えば図８に示すようなＣＰＵ２００、メモリ２０１、ハードディスク装置２０２などをシステムバス２０３で相互接続した如き一般的な構成のコンピュータを利用し、１以上のプログラム（アプリケーションプログラムやデバイスドライバ等）によって実現可能である。

このようなプログラム、すなわち、データ取得手段（又は工程）１００、符号化手段（又は工程）１１０及び符号形成手段（又は工程）１１１、符号出力手段（又は工程）１１２としてコンピュータを機能させるプログラムは、通常、ハードディスク装置２０２に格納されており、必要時にメモリ２０１にロードされてＣＰＵ２００により実行されることにより、コンピュータ上で本発明に係る符号化処理装置が構築され、あるいは、本発明に係る符号化処理方法が実施される。このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子等のコンピュータが読み取り可能な各種の情報記録（記憶）媒体も本発明に包含される。

データ取得手段１００の手段１０１，１０２を用いる場合、コンピュータにおける処理は例えば次のような流れとなる。（１）ハードディスク装置２０２に格納されている原画像データが、ＣＰＵ２００からの命令によってメモリ２０１に読み込まれる。（２）ＣＰＵ２００はメモリ２０１上の原画像データを読み込み、背景データ、１又は複数の前景データとマスクデータのペアを生成し、それら各データを符号化し、生成された符号を結合したＪＰＭフォーマットもしくはＭＲＣフォーマットの符号化データを生成し、（３）その符号化データをメモリ２０１の別の領域に書き込む。（４）ＣＰＵ２００からの命令によって、メモリ２０１上に生成された符号化データはハードディスク装置２０２に格納される。

さて、ＭＲＣ符号化データ（符号ファイル）の典型的なフォーマットは図９に示す通りである。すなわち、ＭＲＣの符号化データは、ＭＲＣ符号であること等を示す全体のヘッダ、１つの背景符号とそのヘッダ、１つ又は２以上の「前景符号とマスク符号のペア」とそのヘッダで構成される。

また、前述のようにＪＰＭは背景データ、前景データ及びマスクデータの符号化方式としてＪＰＥＧ２０００を許容したＭＲＣタイプの符号化方式であり、その符号化データはＭＲＣと同様なフォーマットであり、ヘッダとそれに続く符号の列からなる。

図１０にＪＰＭ符号化データ（符号ファイル）の構成例を示すが、点線部分はオプションであるので、実線部分を中心に簡単に説明する。図１０において、「JPEG2000 Signature Box」は、当該符号がＪＰＥＧ２０００ファミリーに属することを示す全体のヘッダである。「File Type Box」は当該符号がＪＰＭフォーマットであることを示す全体のヘッダである。「Compound Image Header Box」は、当該符号の全般的な情報を含む全体のヘッダである。「Page Collection box」は、当該符号がマルチページからなる場合に各ページの順番を示す目次的なものである。「Page Box」はページの解像度等を示す全体のヘッダである。ここで、ページとは、画像を順次重ねて（合成して）いくためのキャンバスであり、合成が終わった後の画像と同じ大きさを持つ。ＪＰＭの場合、ページには、前景とマスクのペアで構成される「layout object（レイアウト・オブジェクト）」が順次描画される。「Layout Object box」は、前景とマスクのサイズや位置等を示す、前景及びマスク用のヘッダである。「Media Data box」や「Contiguous Codestream box」は、前景やマスクの符号を含む部分である。なお、ＪＰＭでは、背景（BasePage）は、レイアウト・オブジェクトが描画される前の初期的なページとして扱われる。

以下、本発明の実施形態を、いくつかの実施例について詳細に説明する。なお、特に断らない限り、データ取得手段１００においては、手段１０１により原画像データを入力し、その原画像データを手段１０２により背景データと、１又は複数のレイアウトオブジェクト（前景データとマスクデータのペア）に分解するものとして説明する。

本実施例では、原画像データを、図１１に模式的に例示したような背景データ、前景データ１とマスクデータ１のペア、前景データ２とマスクデータ２のペアに分解する。

図１２は、本実施例における処理の流れを説明するための概略フローチャートである。図中、ステップ１１００〜１１０５はデータ取得手段１００中の手段１０２による処理ステップであり、ステップ１１０６〜１１０８は符号化手段１１０による処理ステップであり、また、ステップ１１０９は符号形成手段１１１による処理ステップである。換言すれば、手段１０２はステップ１１００〜１１０５に対応した手段を含み、また、符号化手段１１０はステップ１１０６〜１１０８に対応した手段を含む。

まず、ステップ１１００で、入力された原画像データを４つのタイル（図１１参照）に分割する。なお、タイル分割数は増減可能である。本実施例では、タイルが符号化データに対する分割アクセス可能な最小領域となるので、その最小領域の大きさと原画像データのサイズとからタイル分割数を選べばよい。

次のステップ１１０１で、原画像データの各画素について、文字（線画）を構成する画素（文字画素）であるか、それ以外の画素（非文字画素）であるかの判別を行い、文字画素に対応する位置の値を１、それ以外の画素に対応する位置の値を０にした、原画像データのサイズと同サイズの２値のマスクデータ２を作成する。マスクデータ２の画素と原画像データの画素は１対１に対応しており、マスクデータ２は原画像データと同一の分割境界でタイル分割された形となる（図１１参照）。

ここで、文字画素とそれ以外の画素の判別は公知の像域判別の手法によることができるが、本実施例では例えば次の手法が用いられる。まず、原画像データの各画素に対し、エッジ検出オペレータとして周知のＳｏｂｅｌフィルタを作用させる。すなわち、注目画素を中心とした３×３画素に対し、図１３に示す第１の重みマトリクス（Ｓｏｂｌｅオペレータ）を乗算し、その和ＨＳを算出し、同様に図１４に示す第２の重みマトリクスを乗算して、その和ＶＳを算出する。そして、ＨＳとＶＳの２乗和の平方根√(HS^2+VS^2)を、注目画素についてのフィルタの出力値とする。そして、フィルタ出力値が所定の閾値ｔｈ（例えば３０）以上ならば注目画素を文字画素と判断し、マスクデータの対応画素位置に１をセットし、そうでなければ対応画素位置に０をセットする。同様の処理手順を全画素について繰り返すことにより、マスクデータ２を作成する。なお、このステップにおける文字画素／非文字画素の判別結果はステップ１１０２，１１０３でも利用される。

次のステップ１１０２で、原画像データの非文字画素の色を、当該非文字画素の最も近傍に位置する文字画素の色で置換した、多値の前景データ２を作成する。ただし、原画像データそのものは保存されている。この前景データ２は原画像データと同一サイズで、画素は１対１に対応している。前景データ２も、原画像データと同一の分割境界でタイル分割された形となる（図１１参照）。

次のステップ１１０３で、原画像データの文字画素の色を、当該文字画素の最も近傍に位置する非文字画素の色で置換した、多値の前景データ１を作成する。この前景データ１は原画像データと同一サイズで、画素は１対１に対応している。前景データ１も、原画像データと同一の分割境界でタイル分割された形となる（図１１参照）。

次のステップ１１０４で、原画像データと同一サイズで全画素値を１にセットした２値のマスクデータ１を作成する。このマスクデータ１も、原画像データと画素が１対１に対応し、原画像データと同一の分割境界でタイル分割された形となる（図１１参照）。

次のステップ１１０５で、原画像データと同一サイズの全画素値を０（白）にセットした多値の背景データを作成する。

以上で、原画像データを分解した（当該原画像データを再現するための）背景データ、前景データ１とマスクデータ２のペア、前景データ１とマスクデータ２のペアが取得された。

次のステップ１１０６で、多値の前景データ１及び前景データ２に対し、タイル分割を用いるＪＰＥＧ２０００符号化を行う。図１５の上段に模式的に示すように、各前景データは４つのタイルに分割されて符号化されるが、各前景データは１つの画像データとして扱われるので、各前景データに対し生成される符号は１つである。このようなタイル分割によって、前景データ１，２の符号は、画像の左上、右上、左下、右下に対し部分アクセス可能となる。なお、この符号化においては、デコンポジションレベル３までのウェーブレット変換が行われるが、デコンポジションレベル数は増減可能である。

次のステップ１１０７で、２値のマスクデータ１及びマスクデータ２に対し、タイル分割を用いるＪＰＥＧ２０００符号化を行う。図１５の下段に模式的に示すように、各マスクデータは４つのタイルに分割されて符号化されるが、各マスクデータは１つの画像データとして扱われるので、各マスクデータに対し生成される符号は１つである。このようなタイル分割によって、マスクデータ１，２の符号は、画像の左上、右上、左下、右下に対し部分アクセス可能となる。なお、この符号化ではウェーブレット変換は行われない（デコンポジションレベル＝０）。ただし、ウェーブレット変換を行うことも可能である。

次のステップ１１０８で、背景データをＪＰＭ仕様で符号化する（エントロピー符号化は行わず、符号として背景色を指定する）。

最後のステップ１１０９で、前景データ１，２、マスクデータ１，２及び背景の符号を結合し、必要なヘッダを付してＪＰＭフォーマットの符号化データを形成する。

以上に述べたように、本実施例では、前景１とマスク１のペア(レイアウトオブジェクト１)のタイル境界すなわち分割境界は一致しており、かつ、前景１とマスク１のペア(レイアウトオブジェクト１)および前景２とマスク２のペア(レイアウトオブジェクト２)においても分割境界は一致している。

なお、本実施例ではステップ１１００で原画像データをタイル分割したが、符号化のステップ１１０６，１１０７でタイル分割を行うようにしてもよく、かかる態様は当然に本発明に含まれる。

付言すれば、データ取得手段１００において、手段１０３により原画像データを分解した背景、前景、マスクを直接入力する場合、又は、手段１０４により符号化データを入力し、それを手段１０５で復号する場合には、ステップ１１０１〜１１０５の処理は不要となる。

本実施例においても、原画像データを図１１に模式的に示すような背景データ１，前景データ１，２、マスクデータ１，２に分解するが、タイル分割に代えてプリシンクト分割が用いられる。

本実施例における処理の全体的な流れは前記実施例１と同様であるので、前記実施例１に係る図１２のフローチャートを参照して説明する。

本実施例では、原画像データのタイル分割処理（ステップ１１００）は行われない。

マスクデータ２の作成処理（ステップ１１０１）、前景データ２の作成処理（ステップ１１０２）、前景データ１の作成処理（ステップ１１０３）、マスクデータ１の作成処理（ステップ１１０４）は、それぞれがタイル分割されないこと以外は前記実施例１と同様である。背景データの作成処理（ステップ１１０５）は前記実施例１と同様である。

ステップ１１０６の前景データ１，２のＪＰＥＧ２０００符号化では、タイル分割は行われず、図１６の上段に模式的に示すようなプリシンクト分割が行われる（つまり、サブバンドは４つのプリシンクトに分割される）。このようなプリシンクト分割によって、前景データ１，２の符号は画像の左上、右上、左下、右下のそれぞれに対し部分アクセス可能となる。

また、ステップ１１０７のマスクデータ１，２のＪＰＥＧ２０００符号化では、タイル分割は行われず、図１６の下段に模式的に示すようなプリシンクト分割が行われる（つまり、サブバンドは４つのプリシンクトに分割される）。このようなプリシンクト分割によって、マスクデータ１，２の符号は、画像の左上、右上、左下、右下に対し部分アクセス可能となる。

ステップ１１０８，１１０９は前記実施例１と同様である。

本実施例においては、図１６より理解されるように、前景データ１，２及びマスクデータ１，２のすべてについて、プリシンクト境界つまり分割境界は一致している。

図１７は、本実施例における処理の流れを説明するための概略フローチャートである。図中、ステップ１６００〜１６０５はデータ取得手段１００中の手段１０２による処理ステップであり、ステップ１６０６〜１６０８は符号化手段１１０による処理ステップであり、また、ステップ１６０９は符号形成手段１１１による処理ステップである。換言すれば、手段１０２はステップ１６００〜１６０５に対応する手段を含み、また、符号化手段１１０はステップ１６０６〜１６０８に対応する手段を含む。

ステップ１６００〜１６０５の処理内容は図１２中の対応したステップ１１００〜１１０５と同様であるので、説明を省略する。

ステップ１６０６では、多値の前景データ１及び前景データ２に対しタイル分割を用いるＪＰＥＧ２０００符号化を行う。図１８の上段に模式的に示すように、各前景データは４つのタイルに分割されて符号化されるが、各前景データは１つの画像データとして扱われるので、各前景データに対し生成される符号は１つである。このようなタイル分割によって、前景データ１，２の符号は、画像の左上、右上、左下、右下に対し部分アクセス可能となる。なお、この符号化においては、デコンポジションレベル３までのウェーブレット変換が行われるが、デコンポジションレベル数は増減可能である。

ステップ１６０７では、マスクデータ１，２をそれぞれ、図１８の下段に模式的に示すように、タイル境界と同じ位置で４つの領域部分（画像０，１，２，３）に分割し、各領域部分を個別に（独立した画像として）ＪＢＩＧで符号化する。したがって、マスクデータ１に対して４つの符号が生成され、マスクデータ２に対し４つの符号が生成される。かくして、マスクデータ１，２の符号について、画像の左上、右上、左下、右下に対し部分アクセス可能となる。

ステップ１６０８で、背景データをＪＰＭ仕様で符号化する（エントロピー符号化は行わず、符号として背景色を指定する）。

最後のステップ１６０９で、前景データ１，２、マスクデータ１，２及び背景データの符号を結合し、必要なヘッダを付してＪＰＭフォーマットの符号化データを形成する。ただし、本実施例においては、各マスクデータは４つの独立画像として符号化されているので、レイアウトオブジェクトの構造が前記実施例１，２とは異なる。

すなわち、マスクデータ１の４つの領域部分（分割画像）は、タイリングされた前景データ１をＪＰＭで規定された共有データ（shared data）として４つのレイアウトオブジェクトを構成し、また、マスクデータ２の４つの分割画像は前景データ２を共有データとして４つのレイアウトオブジェクトを構成する（請求項１１）。

ＪＰＭの場合、各レイアウトオブジェクトにＩＤが振られ、このＩＤは図１０に示した「Layout Object Header box」に記載される。レイアウトオブジェクトは、これまで記載したように原則として”ペア”であるが、「Layout Object Style」として”個別（Separate objects for image and mask components）”を指定すれば、同一ＩＤのレイアウトオブジェクトについて、前景とマスクを別々に扱うことができる（つまり、前景だけにＩＤが振られた状態になる)。

そして、ＪＰＭファイル全体のヘッダである「Shared Data Entry box」には、共有されるレイアウトオブジェクト(本例の場合は前景)のＩＤを記入し、前景を共有したいレイアウトオブジェクトの側は、「Shared Data Reference box」を用い、前景のＩＤを指定して共有を実現する。

なお、本実施例においても、図１８より理解されるように、前景データ１，２及びマスクデータ１，２のすべてについて分割境界は一致している。

また、ステップ１６００を省き、ステップ１６０６でタイル分割をおこなうことも可能であり、かかる態様も本発明に含まれる。

なお、本実施例において、前景データのタイル分割を行わないようにする態様も可能であり、これも本発明に包含される。

付言すれば、データ取得手段１００において、手段１０３により原画像データを分解した背景、前景、マスクを直接入力する場合、又は、手段１０４により符号化データを入力し、それを手段１０５で復号する場合には、ステップ１６０１〜１６０５の処理は不要となる。

本実施例における処理の全体的な流れは前記実施例３と同様であるので、前記実施例３に係る図１７のフローチャートを参照して説明する。

本実施例では、原画像データのタイル分割処理（ステップ１６００）は行われない。

マスクデータ２の作成処理（ステップ１６０１）、前景データ２の作成処理（ステップ１６０２）、前景データ１の作成処理（ステップ１６０３）、マスクデータ１の作成処理（ステップ１６０４）は、それぞれがタイル分割されないこと以外は前記実施例３と同様である。背景データの作成処理（ステップ１６０５）は前記実施例３と同様である。

ステップ１６０６の前景データ１，２のＪＰＥＧ２０００符号化では、タイル分割に代えて、図１９の上段に模式的に示すようなプリシンクト分割が行われる（つまり、サブバンドは４つのプリシンクトに分割される）。このようなプリシンクト分割によって、前景データ１，２の符号は画像の左上、右上、左下、右下のそれぞれに対し部分アクセス可能となる。

また、ステップ１６０７では、マスクデータ１，２は、それぞれ図１９の下段に示すように、独立した４つの領域部分（画像０，１，２，３）に分割され、各領域部分は個別に、すなわち独立した画像してＪＰＩＧで符号化される。マスクデータの分割境界は、前景データ１，２のプリシンクト境界と一致している。したがって、前景データ１，２、マスクデータ１，２の符号は、いずれも画像の左上、右上、左下、右下に対し部分アクセス可能となる。

ステップ１６０８，１６０９は前記実施例３と同様である。

なお、本実施例において、前景データのプリシンクト分割を行わないようにする態様も可能であり、これも本発明に包含される。

＜他の実施例＞
前記実施例３，４において、前景データについても複数の領域部分に分割し、各領域部分を個別に符号化することも可能であり、かかる態様も本発明に含まれる。

また、前記実施例１〜４では、前景およびマスクの分割領域のサイズ及び境界がすべて一致していた。しかし、前景とマスクの分割境界を一致させつつ、それらの分割サイズを異ならせることも可能である。

例えば、本発明の他の一実施例によれば、マスク（又は前景）の分割領域のサイズは前景（又はマスク）の分割領域のサイズの整数倍とされる。すなわち、図２０に模式的に例示するように、前景を８タイルに分割し、マスクを４タイルに分割する。この例に見られるように、部分アクセス可能ならしめるような境界で分割するが、前景とマスクの分割領域のサイズもしくは分割数は同一である必要はないということである。ここではタイル分割の例を挙げたが、プリシンクト分割を行う態様も可能であり、また、前記実施例３，４のようにマスクの分割領域を独立した画像として扱って符号化する態様でも可能である。このような実施例の全体的な処理の流れは前記実施例１又は３と同様でよいので、説明は割愛する。
なお、以上では１つのマスク画像があり、それを複数に分割し、各領域を独立に符号化するという流れで説明した。しかし、最初からマスク画像として、隣接し合う（あるいは重なり合う）複数の領域を想定し、それら複数の領域を個別に符号化し、それら複数のマスク画像の領域間で同一の前景を共有する態様も請求項１１に係る発明の意図するところである。

また、前記実施例１〜４では、マスクはページ全体をカバーした。しかし、マスクの役割を考えれば明らかなように、マスクは、例えば文字画素の描画に必要な場所だけに存在すれば十分であり、必ずしもページ全体(MRC画像全体)をカバーする必要はない。よって、本発明の他の一実施例によれば、例えば図２１の上段に示すように、前景は４タイルに分割されＪＰＥＧ２０００符号化されるが、マスクは、各タイル領域に対応する領域毎に、文字画素の描画に必要な場所をカバーする図２１の下段に示すような４つの画像に分割され、それぞれの分割画像が個別にＪＢＩＧ符号化される。このような実施例の全体的な処理の流れは前記実施例３と同様でよいので、その説明は割愛する。
このように、最初から、重なり合わない複数の領域をマスク画像として想定し、これら複数の領域を個別に符号化し、これらマスク画像間で同一の前景を共有する態様も、請求項１１に係る発明の意図するところである。

以上に説明した実施例では、背景が単色のＪＰＭを例としたが、背景が単色でない場合には、背景についても部分アクセス可能なように領域分割をして符号化するのが有効であることは、先に請求項８，９の発明に関連して述べた通りである。例えば、原画像データを図１に示すような前景とマスクと背景（図１１中の前景１に対応した背景と、図１１中のマスク２に対応したマスクと、図１１中の前景２に対応した前景）に分解し、それぞれを前記実施例と同様に分割して符号化することができる。その分割符号化の例を図２２〜図２５に模式的に示す。

図２２は、前景、マスク、背景に対し分割境界を一致させたタイル分割を用いるＪＰ２０００符号化を行う例を模式的に示している。図２３は、前景、マスク、背景をプリシンクト分割してＪＰＥＧ２０００で符号化する例を模式的に示している。図２４は、前景と背景をタイル分割してＪＰＥＧ２０００で符号化し、マスクをタイル境界に一致させた４つの領域部分（画像０，１，２，３）に分割し、各領域部分を個別にＪＢＩＧで符号化する例を模式的に示している。図２５は、前景と背景をプリシンクト分割してＪＰＥＧ２０００で符号化し、マスクをプリシンクト境界に一致させた領域部分に分割し、各領域部分を個別にＪＢＩＧ符号化した例を模式的に示している。

このような態様における処理は前記実施例１〜４から容易に類推可能であるため、その説明は割愛する。

また、以上の説明は本発明に係る符号化処理方法の実施形態の説明でもあることは明らかであるので、符号化処理方法の説明は繰り返さない。

ＭＲＣにおける原画像と、前景、マスク、背景を説明する図である。 ＪＰＥＧ２０００の符号化処理の流れを説明するためのブロック図である。 ＪＰＥＧ２０００における画像、タイル、プリシンクト、コードブロックの関係を示す図である。 ＪＰＥＧ２０００におけるサブバンド分割の例と各サブバンドの解像度レベルを示す図である。 ＪＰＥＧ２０００におけるレイヤー分割とレイヤの含まれるパケットを例示する図である。 ＪＰＥＧ２０００のプログレッションオーダを示す図である。 本発明の実施形態を説明するためのブロック図である。 本発明をコンピュータを利用し実施する場合の処理の流れを説明するためのブロック図である。 ＭＲＣ符号化データのフォーマットを説明するための図である。 ＪＰＭ符号化データのフォーマットを説明するための図である。 原画像データを分割した背景、マスク１と前景１のペア、マスク２と前景２のペアに分割する例を示す図である。 本発明の実施例１における処理の流れを示すフローチャートである。 Ｓｏｂｅｌオペレータを示す図である。 Ｓｏｂｅｌオペレータを示す図である。 実施例１における前景とマスクの分割符号化を模式的に示す図である。 本発明の実施例２における前景とマスクの分割符号化を模式的に示す図である。 本発明の実施例３における処理の流れ示すフローチャートである。 実施例３における前景とマスクの分割符号化を模式的に示す図である。 本発明の実施例４における前景とマスクの分割符号化を模式的に示す図である。 前景とマスクの分割符号化の例を模式的に示す図である。 前景とマスクの分割符号化の例を模式的に示す図である。 前景、マスク及び背景の分割符号化の例を模式的に示す図である。 前景、マスク及び背景の分割符号化の例を模式的に示す図である。 前景、マスク及び背景の分割符号化の例を模式的に示す図である。 前景、マスク及び背景の分割符号化の例を模式的に示す図である。

符号の説明

１００ データ取得手段
１１０ 符号化手段
１１１ 符号形成手段
１１２ 符号出力手段

Claims (21)

1. 原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得手段と、このデータ取得手段により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化手段とを有し、
   前記符号化手段において、マスクデータに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行うことを特徴とする符号化処理装置。
2. 原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得手段と、このデータ取得手段により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化手段とを有し、
   前記符号化手段において、マスクデータを複数の領域部分に分割し、各領域部分を個別に符号化することを特徴とする符号化処理装置。
3. 前記符号化手段において、マスクデータの各画素位置の絶対値が０又は２のべき乗のみをとる場合に、マスクデータの符号化の際にウェーブレット変換を適用しないことを特徴とする請求項１記載の符号化処理装置。
4. 前記符号化手段において、前景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１又は２記載の符号化処理装置。
5. 前記符号化手段において、前景データを複数の領域部分に分割し、各領域部分を個別に符号化し、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１又は２記載の符号化処理装置。
6. 前記符号化手段において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１又は２記載の符号化処理装置。
7. 前記符号化手段において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１又は２記載の符号化処理装置。
8. 前記符号化手段において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項４又は５記載の符号化処理装置。
9. 前記符号化手段において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項４又は５記載の符号化処理装置。
10. 前景データとマスクデータのペアは複数あり、全てのペアの前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項４又は５記載の符号化処理装置。
11. 原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得手段と、このデータ取得手段により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化手段と、この符号化手段により生成された背景データ、前景データ及びマスクデータの符号を結合して所定フォーマットの符号化データを形成する符号形成手段とを有し、
    前記符号化手段において、マスクデータは複数の部分領域からなり、それら部分領域をそれぞれ個別に符号化し、
    前記符号形成手段において、前景データの符号をマスクデータの複数の部分領域の符号間で共有させることを特徴とする符号化処理装置。
12. 原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得工程と、このデータ取得工程により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化工程とを有し、
    前記符号化工程において、マスクデータに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行うことを特徴とする符号化処理方法。
13. 原画像データを分解した背景データ、少なくとも１の前景データとマスクデータのペアを取得するデータ取得工程と、このデータ取得工程により取得された背景データ、前景データ及びマスクデータをそれぞれ符号化する符号化工程とを有し、
    前記符号化工程において、マスクデータを複数の領域部分に分割し、各領域部分を個別に符号化することを特徴とする符号化処理方法。
14. 前記符号化工程において、前景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１２又は１３記載の符号化処理方法。
15. 前記符号化工程において、前景データを複数の領域部分に分割し、各領域部分を個別に符号化し、前景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１２又は１３記載の符号化処理方法。
16. 前記符号化工程において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１２又は１３記載の符号化処理方法。
17. 前記符号化工程において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１２又は１３記載の符号化処理方法。
18. 前記符号化工程において、背景データに対しタイル分割又はプリシンクト分割を用いたＪＰＥＧ２０００符号化を行い、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１４又は１５記載の符号化処理方法。
19. 前記符号化工程において、背景データを複数の領域部分に分割し、各領域部分を個別に符号化し、背景データの分割境界とマスクデータの分割境界を一致させることを特徴とする請求項１４又は１５記載の符号化処理方法。
20. 請求項１乃至９のいずれか１項記載の符号化処理装置の各手段としてコンピュータを機能させるプログラム。
21. 請求項１乃至９のいずれか１項記載の符号化処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images