JP4678814B2

JP4678814B2 - Image processing method and apparatus

Info

Publication number: JP4678814B2
Application number: JP2001267906A
Authority: JP
Inventors: 裕樹岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-09-04
Filing date: 2001-09-04
Publication date: 2011-04-27
Anticipated expiration: 2021-09-04
Also published as: JP2003078767A

Description

【０００１】
【発明の属する技術分野】
本発明は、基本画像の画像データの所定領域を変更した画像データを符号化する画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、パソコンやモバイル端末の普及により、インターネットを介したデジタルデータの通信（データ通信）が幅広く行われるようになった。このデータ通信において流通するデジタルデータの代表的なものに静止画像データがある。このような静止画像データは、そのデータ量が大きいため、通常、送信や記憶に際しては、前もって符号化され静止画像データのデータ量を小さく抑えることが行われる。このような静止画像データの符号化方法として、例えばＩＳＯ／ｉＥＣ１０９１８−１|ｉＴＵ−ＴＴ．８１に記載されるＪＰＥＧ符号化方式がある。このＪＰＥＧ符号化方式では、離散コサイン変換により画像データの系列が変換される。
【０００３】
現在、画像データの系列を変換する方式として離散ウェーブレット変換が注目されている。これは離散ウェーブレット変換により生成された画像符号化データの復号画像と、離散ウェーブレット変換により生成された画像符号化データの復号画像とでは、前者の方がノイズが少なく出る傾向にあること等、多くの利点があるためである。
【０００４】
また、離散ウェーブレット変換により画像を符号化することにより、復号が進むにつれて復号画像の精細さ及び解像度が向上するような、復号画像の段階的な表示（プログレッシブ表示）を行うことが可能になる。このようなプログレッシブ表示により、静止画像を受信して閲覧する閲覧者は、画像の受信もしくは復号の早期段階で、画像の大まかな情報を知ることができる。
【０００５】
このような、プログレッシブ表示が可能な離散ウェーブレット変換により符号化された画像データの応用はいろいろ考えられる。その中の一つに、通信回線の容量や受信側のデータ表示デバイスの解像度に合わせた、企業から顧客への情報配信がある。この情報配信において、企業は多くの顧客へ、顧客毎に変更されるべき一部の領域（変更領域）を持つ情報を送る場合がある（図２（Ａ）〜（Ｃ））。
【０００６】
【発明が解決しようとする課題】
従来、このような情報配信において、配信される情報が離散ウェーブレット変換されて符号化された画像データである場合、画像データの全てを再度符号化することが普通だった。しかし、このような画像データは、基本となる画像が共通しており、それに対して各顧客ごとに変更画像データが付加される構成であるため、その変更された画像全体を再度符号化して送信するのは効率の良いものではなかった。
【０００７】
本発明は上記従来例に鑑みてなされたもので、基本画像のある領域が変更されたような画像データを符号化するに際して、より効率の良い画像の符号化を行うことができる画像処理方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
基本画像を変更した派生画像を符号化する画像処理装置であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換手段と、前記第１変換手段により得られた前記変換係数のそれぞれを量子化する第１量子化手段と、前記第１量子化手段により量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割手段と、前記第１コードブロック分割手段により分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化手段と、前記第１エントロピー符号化手段により符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成手段と、前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出手段と、前記算出手段により算出された前記画素を複数の周波数帯域の係数に変換する第２変換手段と、前記第２変換手段により得られた各周波数帯域の係数を量子化する第２量子化手段と、前記第２量子化手段により量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割手段と、前記第２コードブロック分割手段により分割されたコードブロックをエントロピー符号化する第２エントロピー符号化手段と、前記第２エントロピー符号化手段により符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成手段と、前記コードブロック符号化データ生成手段により生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成手段において生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成手段とを有することを特徴とする。
【００１０】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
基本画像を変更した派生画像を符号化する画像処理方法であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換工程と、前記第１変換工程で得られた前記変換係数のそれぞれを量子化する第１量子化工程と、前記第１量子化工程で量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割工程と、前記第１コードブロック分割工程で分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化工程と、前記第１エントロピー符号化工程で符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成工程と、前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出工程と、前記算出工程により算出された前記画素を複数の周波数帯域の係数に変換する第２変換工程と、前記第２変換工程で得られた各周波数帯域の係数を量子化する第２量子化工程と、前記第２量子化工程で量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割工程と、前記第２コードブロック分割工程で分割されたコードブロックをエントロピー符号化する第２エントロピー符号化工程と、前記第２エントロピー符号化工程で符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成工程と、前記コードブロック符号化データ生成工程で生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成工程で生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成工程とを有することを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１３】
本実施の形態における画像処理装置には、例えば図１に示されているように、基本となる画像（基本画像１０００）の画像データが入力される。そして図２（Ａ）〜（Ｃ）に示されるように、図１に示す基本画像１０００にの所定の領域にそれぞれ異なる差異データ２００〜２０２が付加され、複数の派生画像１００１〜１００３が生成される。これら複数の派生画像１００１〜１００３のそれぞれが符号化対象の画像である。尚、このような差異データが付加された領域を変更領域と呼ぶことにする。
【００１４】
これら複数の派生画像１００１〜１００３を符号化する本実施の形態に係る画像処理装置では、図３に示すように、基本画像１０００を４つの矩形の領域（タイル）３０〜３３に分割する。こうして得られた各タイルは、各派生画像に共通な共通タイル３０〜３２と、図２（Ａ）〜（Ｃ）に示す例で差異データ２００〜２０２が付加される変更領域を含む変更タイル３３とに分別される。そして、共通タイル３０〜３２は一度だけ符号化される。また変更タイル３３は、その変更タイル３３に付加される派生画像データの数だけ符号化が繰り返される。なお本実施の形態では、派生画像データがＭ種類（図２（Ａ）〜（Ｃ）の例ではＭ＝３）存在するものとする。尚、図３の例では、変更タイルは２×２個のタイルの右下のタイル３３としているが、この変更タイルの位置はこれに限定されるものではない。
【００１５】
以下にその方法の詳細を述べる。
【００１６】
本実施の形態における静止画像中の符号化対象となる画像データは８ビットのモノクロ画像データとする。しかしながら例えば、各画素４ビット、１０ビット、１２ビットといったように、８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を、それぞれ８ビットで表現するカラーの多値画像データである場合にも適用することが可能である。また、画像データが画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロ画像データとすればよい。
【００１７】
図４は、本実施の形態に係る画像処理装置に基本画像データが入力され、符号化されてＭ種類の派生画像の符号化データが出力されるまでの処理を示すフローチャートである。
【００１８】
まずステップＳ１で、変数ｉを「１」に初期化し、基本画像１０００の画像データ（基本画像データ）を入力する。次にステップＳ２に進み、基本画像データを複数のタイルに分割し、これら複数のタイルのそれぞれを共通タイル（変更されないタイル）と変更タイル（付加データが付与されるタイル）とに分類する。ステップＳ３では、それぞれ共通タイルか変更タイルかに応じて、それぞれに対応した処理に振り分ける。共通タイルの場合にはステップＳ４に進み、その共通タイルの画像データ（共通タイルデータ）を符号化し、符号化共通タイルデータとして第１バッファ１０４（図５）に記憶する。また変更タイルの画像データ（変更タイルデータ）の場合にはステップＳ６に進み、その変更タイルデータを第２バッファ１０５（図５）へ、そのまま出力する。尚、この状態では、変更タイルデータは基本画像を分割したタイルデータであり、図２（Ａ）〜（Ｃ）における２００〜２０２で示されるような差異データは含まれていない。
【００１９】
こうして共通タイルデータの符号化データと、変更タイルデータの記憶処理が終了するとステップＳ７に進み、第ｉ番目の派生画像において付与される差異データ（図２（Ａ）の例では２００に相当）を取得する。この差異データは、前もってメモリなどに記憶されていても、或いは適宜発生されてもよい。次にステップＳ８に進み、変更タイルデータを第２バッファ１０５から付加済み変更タイルデータ生成部１０６（図５）に複写する。次にステップＳ９に進み、第ｉ番目の差異データを変更タイルデータに付加して、第ｉ番目の付加済み変更タイルデータを生成する。これは付加済み変更タイルデータ生成部１０６により実行される。次にステップＳ１０に進み、第ｉ番目の付加済み変更タイルデータを符号化する。そしてステップＳ１１に進み、この符号化された第ｉ番目の付加済み変更タイルデータと、ステップＳ５で第１バッファに格納された符号化された共通タイルデータとを組み合わせて第ｉ番目の派生画像符号化データを生成して出力する。次にステップＳ１２に進み、変数ｉとＭの値とを比較して、Ｍ種類の派生画像符号化データの生成処理が終了したかを調べ、終了していない時は変数ｉを＋１してステップＳ７に戻り前述の処理を実行する。そしてＭ種類の派生画像符号化データの生成処理が全て終了すると、この処理を終了する。
【００２０】
以下に、本発明における画像処理装置の処理の詳細な説明を記述する。
【００２１】
図５は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００２２】
図において、１０１は基本画像データ入力部で、基本画像データを入力する。１０２はタイル分割部で、その入力した基本画像データを複数のタイルに分割する。１０３はタイル分類部で、各タイルを共通タイルと変更タイルに分類する。１０４は第１バッファで、共通タイルデータ及びその共通タイルデータを符号化した符号化データを記憶する。１０５は第２バッファで、変更タイルデータを記憶する。１０６は付加済み変更タイルデータ生成部で、差異データ生成部で生成された差異データを変更タイルデータに付加した変更タイルデータを生成する。差異データ生成部１０７は、例えば図２（Ａ）〜（Ｃ）に示すような差異データ２００〜２０２を生成する。１０８はタイルデータ符号化部で、共通タイルデータ及び差異データを付加した変更タイルデータを入力して符号化する。１０９は第ｉ番目の派生画像データ符号化部で、タイルデータ符号化部１０８で符号化された変更タイルデータの符号化データと、第１バッファ１０４に記憶されている基本画像データの符号化データとを合成して派生画像データの符号化データを生成する。１１０は第ｉ派生画像符号化画像データ出力部で、第ｉ派生画像データ符号化部１０９で符号化された第ｉ番目の派生画像符号化画像データを出力する。
【００２３】
まず、Ｍ種類の差異データの中で、ｉ＝１番目の差異データを用いて、ｉ＝１番目の派生画像データを生成して符号化する場合で説明する。その次に１＜ｉ≦Ｍ番目の派生画像データの符号化について説明する。尚、ｉ＝１の場合とそれ以外の場合との差異は、１＜ｉ≦Ｍの場合には、共通タイルの画像が符号化されて記憶されているので、共通タイルの画像データの符号化処理が不要になるという点にある。
【００２４】
［ｉ＝１の場合］
基本画像データ入力部１０１に入力された基本画像データは、タイル分割部１０２において、図３を参照して前述したように、４つのタイルに分割される。こうして生成された４つのタイルのそれぞれは、タイル分類部１０３で共通タイルと変更タイルとに分類される。次に、これら分類されたタイルのうち、共通タイルデータは第１バッファ１０４に格納され、変更タイルデータは第２バッファ１０５に格納される。そして第１バッファ１０４に格納された共通タイルデータはタイルデータ符号化部１０８により符号化され、符号化された共通タイルデータとなり、再び第１バッファ１０４に戻されて記憶される。尚、このタイルデータ符号化部１０８における処理については後述する。
【００２５】
また第２バッファ１０５に格納された変更タイルデータは、付加済み変更タイルデータ生成部１０６に複写され、差異データ生成部１０７によって生成された第１差異データが、この変更タイルデータに付加されて、第１付加済み変更タイルデータが生成される。この第１付加済み変更タイルデータは、タイルデータ符号化部１０８で符号化されて符号化第１付加済み変更タイルデータとなり、第ｉ派生画像符号化データ生成部１０９に出力される。第ｉ派生画像符号化データ生成部１０９は、符号化第１付加済み変更タイルデータと、第１バッファ１０４に格納されている共通タイルデータの符号化画像データとを合成し、更にヘッダを生成する。その上で図６に示すように、ヘッダ６００、共通タイルデータの符号化データ６０１と、符号化した第１付加済み変更タイルデータ６０２とから第１派生画像の符号化データ６０３を生成する。尚、このヘッダ６００には、基本画像データ入力部１０１に入力された基本画像のサイズ、基本画像が２値画像であるか多値画像であるかを示すタイプなどの情報、並びに送信する画像符号化・伝送装置を示す文字列、送信日時、等が書き込まれる。
【００２６】
このようにして作成された第１派生画像の符号化データは、第ｉ派生画像符号化データ出力部１１０から外部へ出力される。
【００２７】
次に、タイルデータ符号化部１０８に関して説明する。
【００２８】
図７は、本実施の形態１に係るタイルデータ符号化部１０８の構成を示すブロック図である。
【００２９】
図において、２０１はタイルデータ入力部で、共通タイルデータ或いは第１付加済み変更タイルデータを入力する。２０２は離散ウェーブレット変換部で、タイルデータ入力部２０１から入力したタイルデータに対して離散ウェーブレット変換を施す。２０３はバッファで、離散ウェーブレット変換部２０２で離散ウェーブレット変換した変換係数を記憶する。２０４は係数量子化部で、これら変換係数を入力して量子化する。２０５はエントロピー符号化部で、係数量子化部２０４で量子化された係数値をエントロピー符号化する。２０６はタイル符号化データ出力部である。
【００３０】
タイルデータ入力部２０１には、共通タイルデータもしくは第１付加済みタイルデータが入力される。これらのタイルデータは離散ウェーブレット変換部２０２に供給され、離散ウェーブレット変換部２０２は、入力されたタイルデータに離散ウェーブレット変換を施し、生成される離散ウェーブレット変換係数を複数の周波数帯域（サブバンド）に分解する。本実施の形態においては、画像データ列ｘ（ｎ）に対する離散ウェーブレット変換は下式に基づいて行われる。
【００３１】
d(n)＝x(2n＋１)-floor{(x(2n)＋x(2n＋2))/2}
r(n)＝x(2n)＋floor{(d(n-１)＋d(n＋１)＋2)/4}
ここで、ｒ（ｎ）、ｄ（ｎ）は変換係数であり、ｒ（ｎ）は低周波サブバンド、ｄ（ｎ）は高周波サブバンドである。また、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図８（Ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同様に４つのサブバンドに分け（図８（Ｂ））、その中のＬＬサブバンドを更に４サブバンドに分け（図８（Ｃ））、合計１０個のサブバンドを作る。これら１０個のサブバンドそれぞれを図８（Ｃ）に示す様に、ＨＨ１，ＨＬ１，…，ＨＨ３と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。尚、ＬＬサブバンドはレベル０のサブバンドとする。また、レベルｎまでのサブバンドを復号することで得られる復号データをレベルｎの復号データと呼ぶ。そしてレベルｎの復号データから得られる復号画像をレベルｎの復号画像と呼ぶ。ここで復号画像は、レベルが高い程、解像度も高いものとする。
【００３２】
尚、本実施の形態における復号装置に送信される画像符号化データは、上述のような１０個のサブバンドを持つものとする。
【００３３】
これら全てのサブバンドを復号することで得られる復号データを完全復号データと呼ぶ。また、この完全復号データを画像表示デバイスに表示させることで得られる復号画像を完全復号画像と呼ぶ。本実施の形態ではレベル３の復号画像が完全復号画像である。
【００３４】
１０個のサブバンドは、一旦バッファ２０３に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまりレベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部２０４に出力される。係数量子化部２０４は、バッファ２０３から供給される各サブバンドのウェーブレット変換係数を、周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部２０５へ出力する。ここで、係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとするとき、量子化後の係数値Ｑ（Ｘ）は次式によって求めるものとする。
【００３５】
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝
但し、上式においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。
【００３６】
図９は、本実施の形態における各周波数成分と量子化ステップとの対応例を説明する図である。図に示すように、低周波サブバンド（ＬＬ等）よりも高周波サブバンド（ＨＬ１、ＬＨ１、ＨＨ１等）の方に、大きい量子化ステップを与えている。
【００３７】
エントロピー符号化部２０５では、入力された係数量子化値を算術符号化によりエントロピー符号化してエントロピー符号化値を生成する。そのエントロピー符号化値は、タイル符号化データ出力部２０６に出力される。タイル符号化データ出力部２０６では、図１０に示されているように、入力されたエントロピー符号化値をサブバンド単位で並べ、その先頭にタイルヘッダを付加して、タイル符号化データを生成する。
【００３８】
図１１は、３つの共通タイル符号化データの配列を説明する図である。
【００３９】
こうしてタイル符号化データ出力部２０６から、符号化共通タイルデータは第１バッファ１０４へ送られて保存される。また、符号化第１付加済みタイルデータの場合には、第ｉ派生画像データ符号化部１０９に出力される。
【００４０】
［１＜ｉ≦Ｍの場合］
１＜ｉ≦Ｍの場合における派生画像データの符号化においては、既に共通タイルデータの符号化処理が終了して第１バッファ１０４に記憶されている。また付加済み変更タイルデータ生成部１０６により変更タイルデータに第ｉ差異データが付加されて第ｉ付加済みタイルデータが生成され、その第ｉ付加済みタイルデータをタイルデータ符号化部１０８により符号化する。そして第ｉ派生画像符号化データ生成部１０９は、第１バッファ１０４に格納されている符号化済みの共通タイルデータと、タイルデータ符号化部１０８からの符号化第１付加済みタイルデータとを入力して第ｉ派生画像符号化データを生成して、第ｉ派生画像符号化データ出力部１１０から外部へ出力する。
【００４１】
以上説明したように本実施の形態１における画像処理装置によれば、基本画像データを複数のタイルに分割し、得られたタイルを共通タイルと変更タイルとに分別しそれぞれ独立に符号化する。その際、共通タイルデータについては一度だけ符号化を行い、変更タイルデータについては、そのタイルデータに付加される画像データの種類に応じた回数だけ符号化を行う。こうすることにより、変更タイルデータを含む派生画像データの全データを符号化することなく効率的な符号化を達成できる。
【００４２】
［実施の形態２］
前述の実施の形態１では、基本画像データを複数タイルに分割し、得られたタイルを共通タイルと変更タイルとに分別し、共通タイルデータを一度だけ符号化し、変更タイルデータについては派生画像の種類だけ符号化を行った。
【００４３】
これに対し本実施の形態２においては、基本画像を複数のタイルに分割しないで符号化を行う。但し、この実施の形態２では、図１２に示されるように、符号化の過程で、画像データを離散ウェーブレット変換することで得られる各サブバンドをコードブロックに分割した後、エントロピー符号化している。更に、差異データを基本画像においてどこに付加するかが決定された後、各派生画像の変更領域に関わるコードブロック（変更コードブロック）を生成する画素（変更コードブロック生成画素）を算出し、その変更コードブロックの生成画素を符号化する。こうして生成された変更コードブロックの符号化データと、そのコードブロックと空間的に対応するコードブロック（対応コードブロック）の符号化データである対応コードブロックの符号化データとを入れ替える。これにより、複数の派生画像が生成される。
【００４４】
以下に、本実施の形態２に係る画像処理装置における動作について詳しく説明する。
【００４５】
図１３は、本実施の形態２に係る画像処理装置の構成を示すブロック図である。
【００４６】
同図において、１８０１は派生画像データ符号化部、１８０２は外部出力部、１８０３は制御部である。ここでは、複数の派生画像は、派生画像データ符号化部１８０１で符号化された後、外部出力部１８０２に一時保存されて外部に出力される。制御部１８０３は、外部出力部１８０２に蓄積されている派生画像符号化データの外部への出力を制御する。
【００４７】
図１４は、本実施の形態２に係る画像処理装置における派生画像データ符号化部１８０１の構成を示すブロック図である。
【００４８】
図において、１７０１は基本画像入力部、１７０２はバッファ、１７０３は基本画像データ符号化部、１７０４はバッファ、１７０５は差異データ位置決定部、１７０６は変更コードブロック生成画素算出部、１７０７は第ｉ差異データ生成部、１７０８は第ｉ変更コードブロック生成画素符号化部、１７０９はコードブロック置換部、１７１０は第ｉ派生画像符号化データ出力部、１７１１は差異データ消去部である。
【００４９】
図１５は、本実施の形態２に係る画像処理装置における処理を示すフローチャートである。
【００５０】
図において、まずステップＳ２１で、基本画像入力部１７０１により基本画像データを入力する。この時、変数ｉを「１」に初期化する。ステップＳ２２では、この入力された基本画像データをバッファ１７０２に送って一時保存する。次にステップＳ２３に進み、このバッファ１７０２に保存された基本画像データを基本画像データ符号化部１７０３に供給する。これによりステップＳ２４で、基本画像データ符号化部１７０３により基本画像データを符号化して基本画像符号化データを生成する。次にステップＳ２５に進み、この基本画像符号化データをバッファ１７０４に出力して一時保存する。
【００５１】
次にステップＳ２６に進み、第ｉ差異データ生成部１７０７により第ｉ番目の差異データ（第ｉ差異データ）を生成し、その領域情報を差異データ位置決定部１７０５に送る。これにより差異データ位置決定部１７０５は、図２に示されているように、その領域情報から、基本画像データにおける差異データの位置を決定する。こうして決定された位置情報は、変更コードブロック生成画素算出部１７０６に送られ、図２２に示されるように、変更コードブロック（差異データが含まれるコードブロック）が算出される（ステップＳ２７）。この変更コードブロック生成画素の算出方法は詳しく後述する。
【００５２】
次にステップＳ２８に進み、ステップＳ２７の算出結果に基づいて、変更コードブロックの生成画素であると決定された基本画像データの画素がバッファ１７０２から読み出され、更に第ｉ番目の差異データが第ｉ差異データ生成部１７０７から第ｉ変更コードブロック生成画素符号化部１７０８に出力される。次にステップＳ２９に進み、この第ｉ変更コードブロック生成画素符号化部１７０８は、変更コードブロックの生成画素を符号化して第ｉ変更コードブロックの符号化データを生成する。その後ステップＳ３０に進み、第ｉ変更コードブロックの符号化データと、基本画像符号化データにおける、その第ｉ番目に対応するコードブロックの符号化データとを置換して、第ｉ番目の派生画像の符号化データを生成し、第ｉ派生画像符号化データ出力部１７１０に入力する。これにより第ｉ派生画像符号化データ出力部１７１０を介して、第ｉ番目の派生画像の符号化データが外部出力部１８０２（図１３）に出力される。更にステップＳ３１に進み、差異データ消去部１７１１により、第ｉ差異データ生成部１７０７に存在する第ｉ差異データを消去する。そしてステップＳ３２に進み、変数ｉと、差異データの種類数を示す値Ｍとを比較して、Ｍ種類の差異データの処理が終了したかを調べ、終了していなければ変数ｉを＋１してステップＳ２６に戻り、第ｉ差異データに対する前述の処理を繰り返す。こうして、Ｍ種類の差異データの処理が終了すると、この処理を終了する。
【００５３】
図１６は、本実施の形態２に係る基本画像データ符号化部１７０３の構成を示すブロック図である。
【００５４】
図において、１３０１は基本画像データ入力部、２０２は離散ウェーブレット変換部、２０３はバッファ、２０４は係数量子化部、１３０５はコードブロック分割部、１３０６はエントロピー符号化部、１３０７は基本画像符号化データ出力部である。尚、図１６において、前述の実施の形態１に係る図７と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５５】
また図２３は、本実施の形態２に係る第ｉ変更コードブロック生成画素符号化部１７０８の構成を示すブロック図で、ここでも前述の実施の形態１に係る図７と共通する部分は同じ記号で示し、それらの説明を省略する。
【００５６】
図２３において、１９０１は第ｉ変更コードブロック生成画素入力部、１３０５はコードブロック分割部、１３０６はエントロピー符号化部、１９０２は第ｉ変更コードブロック符号化データ出力部である。
【００５７】
以下、図１４に示す基本画像データ符号化部１７０３（図１６），変更コードブロック生成画素算出部１７０６、第ｉ変更コードブロック生成画素符号化部１７０８（図２３）、コードブロック置換部１７０９、第ｉ派生画像符号化データ出力部１７１０の処理について説明する。
【００５８】
［基本画像データ符号化部１７０３］
図１６において、基本画像データは基本画像データ入力部１３０１から入力され、離散ウェーブレット変換部２０２、バッファ２０３、係数量子化部２０４で順に処理される。離散ウェーブレット変換部２０２、バッファ２０３、係数量子化部２０４における処理は、前述の実施の形態１における処理と同様であるので、それらの処理部の説明は割愛する。
【００５９】
係数量子化部２０４で量子化された各係数値は、各サブバンドの形式でコードブロック分割部１３０５に入力され、図１２に示すように、矩形のコードブロックに分割される。このコードブロックの大きさとして、２ｎ×２ｍ（但し、ｎ，ｍは正の定数で、図１２ではｎ＝ｍ＝４）等が考えられる。
【００６０】
こうして生成されたコードブロックは、エントロピー符号化部１３０６に入力されてエントロピー符号化される。そして、このエントロピー符号化により得られた符号化値は、基本画像符号化データ出力部１３０７からバッファ１７０４（図１４）へ出力されて一時保存される。
【００６１】
［変更コードブロック生成画素算出部１７０６］
この変更コードブロック生成画素算出部１７０における処理を、図１７乃至図２２を参照して説明する。尚、ここでは１次元の画素データ列を用いることにより説明を簡易化する。
【００６２】
図１７は、派生画像を離散ウェーブレット変換して低周波成分Ｌ２を生成し、更にこの低周波成分Ｌ２の低周波成分Ｌ１を生成する様子を示している。ここで図１８に示されているように、黒く塗られた画素が変更領域である場合、この変更領域から生成される各サブバンドの係数は、図１９の１９００〜１９０４で示す係数である。これから更に図２０に示すようにコードブロック分割がなされる。その結果である変更コードブロックは、図２１に示されている通りである。そこから、図２２に示されているように、画素１９００〜１９０４が変更コードブロック生成画素として決定される。
【００６３】
［第ｉ変更コードブロック生成画素符号化部１７０８］
第ｉ変更コードブロック生成画素符号化部１７０８における処理は、図２３において、第ｉ変更コードブロック生成画素入力部１９０１に第ｉ変更コードブロック生成画素が入力される点、更に、第ｉ変更コードブロックの符号化データ出力部１９０２から第ｉ変更コードブロックの符号化データが出力される点で、前述の基本画像データ符号化部１７０３（図１６）の処理と異なる。しかし、その他の処理に関しては、前述の基本画像データ符号化部１７０３（図１６）の場合と同様である。
【００６４】
［コードブロック置換部１７０９］
コードブロック置換部１７０９は、コードブロック置換部１７０９内に存在する作業用バッファに、バッファ１７０４に蓄積されている基本画像の符号化データを複写する。更に、この基本画像の符号化データにおける対応コードブロックの符号化データを、第ｉ変更コードブロック生成画素符号化部１７０８から入力された第ｉ変更コードブロックの符号化データにより置換する。更に、コードブロックの単位にエントロピー符号化されたサブバンドを図２４のように並べて準第ｉ派生画像符号化データを生成し、第ｉ派生画像符号化データ出力部１７１０に出力する。
【００６５】
［第ｉ派生画像符号化データ出力部１７１０］
第ｉ派生画像符号化データ出力部１７１０は、図２５に示されているように、入力された準第ｉ派生画像符号化データの先頭にヘッダ付加し、第ｉ派生画像符号化データを生成する。なお、このヘッダには、基本画像入力部１７０１に入力された画像のサイズ、画像が２値画像であるか多値画像であるかを示すタイプなどの情報、並びに送信する画像処理装置を示す文字列、送信日時等が書き込まれる。このように生成された第ｉ派生画像符号化データは、外部出力部１８０２（図１３）へ出力される。
【００６６】
以上説明したように本実施の形態２に係る画像処理装置によれば、離散ウェーブレット変換された画像データのサブバンドをコードブロックに分割する。その後、各派生画像の変更コードブロック符号化する。こうすることで効率の良い派生画像データの符号化を行える。
【００６７】
［実施の形態３］
前述の実施の形態２における符号化方法は、効率の良い派生画像データの生成を可能とするだけでなく、コードブロック単位の処理による、エントロピー符号化部１３０６における省メモリ化を達成している。しかし符号化全体における省メモリ化は達成されていない。
【００６８】
これに対し本実施の形態３では、符号化全体の省メモリ化を図りつつ、効率良く派生画像データを生成する方法について説明する。
【００６９】
図２６は、本実施の形態３に係る画像処理装置の構成を示すブロック図である。これは第２実施の形態の画像処理装置における派生画像データ符号化部１８０１（図１３）を派生画像データ符号化部２２０１に置換したものである。
【００７０】
図２７は、本実施の形態３に係る派生画像データ符号化部２２０１の構成を示すブロック図である。これは実施の形態２に係る派生画像データ符号化部１８０１における基本画像データ符号化部１７０３（図１４）を基本画像データ符号化部２３０１に置換したものである。
【００７１】
図２８は、本実施の形態３に係る基本画像データ符号化部２３０１のブロック図を示したものである。これは基本画像データ入力部１３０１と離散ウェーブレット変換部１３０２の間に、タイル分割部１５０１を挿入し、更に図１６の基本画像符号化データ出力部１３０７を基本画像符号化データ出力部１５０２に置換したものである。
【００７２】
基本画像データ符号化部２３０１（図２７）における基本画像データ入力部１３０１に基本画像データが入力されると、基本画像データは、タイル分割部１５０１で図２９のようにタイル（タイル０〜３）に分割される。そして各タイルは独立に、前述の実施の形態２のように符号化される。
【００７３】
なお、基本画像符号化データ出力部１５０２は、図３０に示されているように、符号化された各タイルデータを並べることで基本画像符号化データを生成し、その基本画像符号化データをバッファ１７０４へ出力する。尚、この基本画像符号化データがバッファ１７０４に出力された後の処理は、前述の実施の形態２と同様であるので、該当する処理の説明は割愛する。
【００７４】
以上説明したように本実施の形態３に係る画像処理装置によれば、画像データを複数のタイルに分割し、各タイルを前述の実施の形態２における符号化方法と同様にして符号化する。こうすることにより、符号化全体の省メモリ化を図りつつ、効率良く派生画像データを生成することができる。
【００７５】
尚、上述した各実施の形態では、画像データを離散ウェーブレット変換により直交変換しているが本発明はこれに限定されるものでなく、例えば、画像データを解像度に応じて階層化して符号化する方式も本発明の範疇に含まれる。
【００７６】
なお本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７７】
また本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７８】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００７９】
以上説明したように本実施の形態によれば、１つの画像に、効率よく様々な変更処理を加え、符号化することが可能である。
【００８０】
【発明の効果】
以上説明したように本発明によれば、基本画像のある領域が変更されたような画像データを符号化するに際して、より効率の良い画像の符号化を行うことができるという効果がある。
【図面の簡単な説明】
【図１】本実施の形態に係る基本画像の一例を示す図である。
【図２】本実施の形態に係る派生画像の例を示す図である。
【図３】本実施の形態に係る基本画像のタイル分割例を示す図である。
【図４】本発明の実施の形態１に係る画像処理装置における複数種の派生画像の符号化データを生成する処理を示すフローチャートである。
【図５】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図６】１番目の派生画像の符号化データを説明する図である。
【図７】本実施の形態１に係るタイルデータ符号化部１０８の構成を示すブロック図である。
【図８】離散ウェーブレット変換による変換結果を説明する図である。
【図９】本実施の形態における変換係数の周波数成分と量子化ステップとの関係を説明する図である。
【図１０】本実施の形態におけるタイル符号化データを説明する図である。
【図１１】共通タイルデータを符号化した符号化データで構成される準画像符号化データを説明する図である。
【図１２】本発明の実施の形態２に係るコードブロックの分割例を説明する図である。
【図１３】実施の形態２に係る画像処理装置の構成を示すブロック図である。
【図１４】実施の形態２に係る画像処理装置における派生画像データ符号化部１８０１の構成を示すブロック図である。
【図１５】実施の形態２に係る画像処理装置における派生画像の符号化データを生成する処理を示すフローチャートである。派生画像の説明図
【図１６】実施の形態２に係る基本画像データ符号化部１７０３の構成を示すブロック図である。
【図１７】、
【図１８】、
【図１９】、
【図２０】、
【図２１】、
【図２２】実施の形態２に係る変更コードブロック生成画素を説明する図である。
【図２３】実施の形態２に係る第ｉ変更コードブロック生成画素符号化部１７０８の構成を示すブロック図である。
【図２４】実施の形態２に係る準第ｉ派生画像符号化データを説明する図である。
【図２５】実施の形態２に係る第ｉ派生画像符号化データを説明する図である。
【図２６】本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。
【図２７】実施の形態３に係る派生画像データ符号化部２２０１の構成を示すブロック図である。
【図２８】実施の形態３に係る基本画像データ符号化部２３０１のブロック図を示した図である。
【図２９】実施の形態３に係る基本画像の分割例を示した図である。
【図３０】実施の形態３に係る基本画像符号化データを説明する図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and apparatus for encoding image data obtained by changing a predetermined area of image data of a basic image.
[0002]
[Prior art]
In recent years, with the spread of personal computers and mobile terminals, digital data communication (data communication) via the Internet has been widely performed. The representative digital data distributed in this data communication is still image data. Since such still image data has a large amount of data, normally, transmission and storage are performed in advance, and the data amount of still image data is kept small. As an encoding method of such still image data, for example, ISO / iEC10918-1 | iTU-TT 81 is a JPEG encoding method. In this JPEG encoding method, a sequence of image data is converted by discrete cosine conversion.
[0003]
Currently, a discrete wavelet transform is attracting attention as a method for transforming a series of image data. This is because, for example, the decoded image of the image encoded data generated by the discrete wavelet transform and the decoded image of the image encoded data generated by the discrete wavelet transform tend to generate less noise in the former. Because there is an advantage of.
[0004]
In addition, by encoding an image by discrete wavelet transform, it is possible to perform stepwise display (progressive display) of the decoded image so that the resolution and resolution of the decoded image improve as decoding progresses. With such progressive display, a viewer who receives and browses a still image can know rough information of the image at an early stage of receiving or decoding the image.
[0005]
Various applications of image data encoded by discrete wavelet transform capable of progressive display can be considered. One of them is information distribution from companies to customers according to the capacity of the communication line and the resolution of the data display device on the receiving side. In this information distribution, a company may send information having a partial area (change area) to be changed for each customer to many customers (FIGS. 2A to 2C).
[0006]
[Problems to be solved by the invention]
Conventionally, in such information distribution, when the information to be distributed is image data encoded by discrete wavelet transform, it is common to re-encode all of the image data. However, since such image data has a basic image in common and changed image data is added to each customer, the entire changed image is encoded again and transmitted. It was not efficient.
[0007]
The present invention has been made in view of the above conventional example, and an image processing method capable of performing more efficient image encoding when encoding image data in which a certain area of a basic image is changed, and An object is to provide an apparatus.
[0008]
[Means for Solving the Problems]
  In order to achieve the above object, the image processing apparatus of the present invention comprises the following arrangement. That is,
  An image processing apparatus for encoding a derivative image obtained by changing a basic image,
  First conversion means for converting image data of the basic image into conversion coefficients of a plurality of frequency bands; first quantization means for quantizing each of the conversion coefficients obtained by the first conversion means; First code block dividing means for dividing the transform coefficient of each frequency band quantized by one quantization means into first code blocks of an arbitrary size; and the first code block dividing means divided by the first code block dividing means. First entropy encoding means for entropy encoding each of one code block; and basic image encoding for generating encoded data of the basic image from encoded data generated by encoding by the first entropy encoding means A pixel for generating a second code block related to a change area having a pixel value different from that of the basic image in the derived image; Calculating means for outputting, a second converting means for converting the pixels calculated by the calculating means into coefficients of a plurality of frequency bands, and a first quantizing coefficient of each frequency band obtained by the second converting means. 2 quantizing means, second code block dividing means for dividing the coefficient of each frequency band quantized by the second quantizing means into code blocks of an arbitrary size, and dividing by the second code block dividing means A second entropy encoding means for entropy-encoding the generated code block, and a code block for generating encoded data of the second code block from the encoded data generated by encoding by the second entropy encoding means An encoded data generating unit; and an encoded data of the second code block generated by the code block encoded data generating unit. Derived image encoded data for generating encoded data of the derived image by replacing the corresponding encoded code block of the encoded data of the basic image generated by the basic image encoded data generation means And generating means.
[0010]
  In order to achieve the above object, the image processing method of the present invention comprises the following steps. That is,
  An image processing method for encoding a derivative image obtained by changing a basic image,
  A first conversion step of converting image data of the basic image into conversion coefficients of a plurality of frequency bands; a first quantization step of quantizing each of the conversion coefficients obtained in the first conversion step; A first code block dividing step of dividing the transform coefficient of each frequency band quantized in one quantization step into first code blocks of an arbitrary size; and the first code block dividing step divided in the first code block dividing step A first entropy encoding step for entropy encoding each code block; and basic image encoding for generating encoded data of the basic image from the encoded data generated by encoding in the first entropy encoding step A data generation step, and a calculation step of calculating a pixel for generating a second code block related to a change area having a pixel value different from that of the basic image in the derived image A second conversion step of converting the pixels calculated in the calculation step into coefficients of a plurality of frequency bands, and a second quantization step of quantizing the coefficients of each frequency band obtained in the second conversion step; , A second code block dividing step of dividing the coefficient of each frequency band quantized in the second quantization step into code blocks of an arbitrary size, and the code block divided in the second code block dividing step A second entropy encoding step for entropy encoding, and a code block encoded data generation step for generating encoded data of the second code block from the encoded data generated by encoding in the second entropy encoding step And the basic image encoded data by the encoded data of the second code block generated in the code block encoded data generating step. And a derived image encoded data generation step of generating encoded data of the derived image by replacing corresponding encoded code blocks of the encoded data of the basic image generated in the generating step. To do.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
[0013]
For example, as shown in FIG. 1, image data of a basic image (basic image 1000) is input to the image processing apparatus according to the present embodiment. Then, as shown in FIGS. 2A to 2C, different difference data 200 to 202 are added to predetermined areas of the basic image 1000 shown in FIG. 1 to generate a plurality of derived images 1001 to 1003. The Each of the plurality of derived images 1001 to 1003 is an image to be encoded. An area to which such difference data is added is called a changed area.
[0014]
In the image processing apparatus according to the present embodiment that encodes the plurality of derived images 1001 to 1003, the basic image 1000 is divided into four rectangular areas (tiles) 30 to 33 as shown in FIG. Each of the tiles thus obtained includes a common tile 30 to 32 common to each derived image, and a modified tile 33 including a modified area to which difference data 200 to 202 is added in the example illustrated in FIGS. And are separated. The common tiles 30 to 32 are encoded only once. Further, the encoding of the change tile 33 is repeated by the number of derived image data added to the change tile 33. In the present embodiment, it is assumed that there are M types of derived image data (M = 3 in the example of FIGS. 2A to 2C). In the example of FIG. 3, the changed tile is the lower right tile 33 of 2 × 2 tiles, but the position of the changed tile is not limited to this.
[0015]
Details of the method will be described below.
[0016]
The image data to be encoded in the still image in this embodiment is assumed to be 8-bit monochrome image data. However, for example, a monochrome image represented by a bit number other than 8 bits, such as 4 bits, 10 bits, or 12 bits for each pixel, or a color that represents each color component (RGB / Lab / YCrCb) in each pixel by 8 bits. The present invention can also be applied to multi-valued image data. Also, the present invention can be applied to a case where the image data is multi-value information representing the state of each pixel constituting the image, for example, a multi-value index value representing the color of each pixel. When applied to these, each type of multi-value information may be monochrome image data to be described later.
[0017]
FIG. 4 is a flowchart showing processing until basic image data is input to the image processing apparatus according to the present embodiment, encoded, and encoded data of M types of derived images is output.
[0018]
First, in step S1, the variable i is initialized to “1”, and image data (basic image data) of the basic image 1000 is input. In step S2, the basic image data is divided into a plurality of tiles, and each of the plurality of tiles is classified into a common tile (a tile that is not changed) and a changed tile (a tile to which additional data is added). In step S3, processing is assigned to each corresponding to the common tile or the changed tile. In the case of a common tile, the process proceeds to step S4, where the image data (common tile data) of the common tile is encoded and stored as encoded common tile data in the first buffer 104 (FIG. 5). If the image data is changed tile image data (changed tile data), the process proceeds to step S6, and the changed tile data is output to the second buffer 105 (FIG. 5) as it is. In this state, the changed tile data is tile data obtained by dividing the basic image, and does not include difference data as indicated by 200 to 202 in FIGS.
[0019]
When the storage processing of the encoded data of the common tile data and the changed tile data is completed in this way, the process proceeds to step S7, and the difference data (corresponding to 200 in the example of FIG. 2A) added to the i th derivative image is obtained. get. This difference data may be stored in advance in a memory or the like, or may be generated as appropriate. In step S8, the changed tile data is copied from the second buffer 105 to the added changed tile data generation unit 106 (FIG. 5). In step S9, the i-th difference data is added to the changed tile data to generate i-th added changed tile data. This is executed by the added changed tile data generation unit 106. In step S10, the i-th added changed tile data is encoded. In step S11, the i-th derived image code is generated by combining the encoded i-th added changed tile data and the encoded common tile data stored in the first buffer in step S5. Generate and output digitized data. In step S12, the variable i is compared with the value of M to check whether the generation processing of M types of derived image encoded data has been completed. If not, the variable i is incremented by one. Returning to S7, the above-described processing is executed. Then, when all of the generation processes of the M types of derived image encoded data are finished, this process is finished.
[0020]
The detailed description of the processing of the image processing apparatus according to the present invention will be described below.
[0021]
FIG. 5 is a block diagram showing the configuration of the image processing apparatus according to the embodiment of the present invention.
[0022]
In the figure, reference numeral 101 denotes a basic image data input unit for inputting basic image data. A tile dividing unit 102 divides the input basic image data into a plurality of tiles. A tile classification unit 103 classifies each tile into a common tile and a change tile. A first buffer 104 stores common tile data and encoded data obtained by encoding the common tile data. Reference numeral 105 denotes a second buffer for storing changed tile data. An added changed tile data generation unit 106 generates changed tile data in which the difference data generated by the difference data generation unit is added to the changed tile data. The difference data generation unit 107 generates difference data 200 to 202 as shown in FIGS. 2A to 2C, for example. Reference numeral 108 denotes a tile data encoding unit that inputs and encodes changed tile data to which common tile data and difference data are added. Reference numeral 109 denotes an i-th derived image data encoding unit, which is encoded data of changed tile data encoded by the tile data encoding unit 108 and encoded data of basic image data stored in the first buffer 104. And the encoded data of the derived image data is generated. Reference numeral 110 denotes an i-th derived image encoded image data output unit that outputs the i-th derived image encoded image data encoded by the i-th derived image data encoding unit 109.
[0023]
First, a case will be described in which i = 1st derivative image data is generated and encoded using i = 1st difference data among M types of difference data. Next, encoding of 1 <i ≦ Mth derivative image data will be described. Note that the difference between i = 1 and other cases is that when 1 <i ≦ M, the image of the common tile is encoded and stored. The processing is unnecessary.
[0024]
[When i = 1]
The basic image data input to the basic image data input unit 101 is divided into four tiles in the tile dividing unit 102 as described above with reference to FIG. Each of the four tiles thus generated is classified into a common tile and a changed tile by the tile classification unit 103. Next, among these classified tiles, common tile data is stored in the first buffer 104, and changed tile data is stored in the second buffer 105. The common tile data stored in the first buffer 104 is encoded by the tile data encoding unit 108 to be encoded common tile data, and is returned to the first buffer 104 and stored therein. The processing in the tile data encoding unit 108 will be described later.
[0025]
The changed tile data stored in the second buffer 105 is copied to the added changed tile data generation unit 106, and the first difference data generated by the difference data generation unit 107 is added to the changed tile data. First added modified tile data is generated. The first added changed tile data is encoded by the tile data encoding unit 108 to become encoded first added changed tile data, and is output to the i-th derived image encoded data generation unit 109. The i-th derived image encoded data generation unit 109 synthesizes the encoded first added modified tile data and the encoded image data of the common tile data stored in the first buffer 104, and further generates a header. . Then, as shown in FIG. 6, encoded data 603 of the first derivative image is generated from the header 600, the encoded data 601 of the common tile data, and the encoded first added modified tile data 602. The header 600 includes information such as the size of the basic image input to the basic image data input unit 101, information indicating whether the basic image is a binary image or a multi-valued image, and an image code to be transmitted. A character string indicating transmission / transmission apparatus, a transmission date and time, and the like are written.
[0026]
The encoded data of the first derivative image created in this way is output from the i-th derivative image encoded data output unit 110 to the outside.
[0027]
Next, the tile data encoding unit 108 will be described.
[0028]
FIG. 7 is a block diagram showing a configuration of tile data encoding section 108 according to the first embodiment.
[0029]
In the figure, 201 is a tile data input unit for inputting common tile data or first added changed tile data. A discrete wavelet transform unit 202 performs a discrete wavelet transform on tile data input from the tile data input unit 201. A buffer 203 stores the transform coefficient obtained by the discrete wavelet transform by the discrete wavelet transform unit 202. A coefficient quantizing unit 204 inputs these transform coefficients and quantizes them. Reference numeral 205 denotes an entropy encoding unit that entropy encodes the coefficient value quantized by the coefficient quantization unit 204. Reference numeral 206 denotes a tile encoded data output unit.
[0030]
The tile data input unit 201 receives common tile data or first added tile data. These tile data are supplied to the discrete wavelet transform unit 202. The discrete wavelet transform unit 202 performs discrete wavelet transform on the input tile data, and the generated discrete wavelet transform coefficients are divided into a plurality of frequency bands (subbands). Decompose. In the present embodiment, the discrete wavelet transform for the image data sequence x (n) is performed based on the following equation.
[0031]
d (n) = x (2n + 1) -floor {(x (2n) + x (2n + 2)) / 2}
r (n) = x (2n) + floor {(d (n-1) + d (n + 1) +2) / 4}
Here, r (n) and d (n) are conversion coefficients, r (n) is a low-frequency subband, and d (n) is a high-frequency subband. In the above formula, floor {X} represents the maximum integer value not exceeding X. This conversion formula is for one-dimensional data. By applying this conversion in the order of horizontal direction and vertical direction to perform two-dimensional conversion, LL, HL, LH, and so on as shown in FIG. It can be divided into 4 sub-bands of HH. Here, L indicates a low-frequency subband, and H indicates a high-frequency subband. Next, the LL subband is similarly divided into four subbands (FIG. 8B), and the LL subband is further divided into four subbands (FIG. 8C), for a total of ten subbands. make. Each of these 10 subbands is called HH1, HL1,..., HH3 as shown in FIG. Here, the number in the name of each subband is the level of each subband. That is, the level 1 subbands are HL1, HH1, and LH1, and the level 2 subbands are HL2, HH2, and LH2. The LL subband is a level 0 subband. Decoded data obtained by decoding subbands up to level n is referred to as level n decoded data. A decoded image obtained from level n decoded data is referred to as a level n decoded image. Here, the higher the level of the decoded image, the higher the resolution.
[0032]
It is assumed that the encoded image data transmitted to the decoding device in the present embodiment has 10 subbands as described above.
[0033]
The decoded data obtained by decoding all these subbands is called complete decoded data. A decoded image obtained by displaying this complete decoded data on the image display device is referred to as a complete decoded image. In the present embodiment, the level 3 decoded image is a completely decoded image.
[0034]
The ten subbands are temporarily stored in the buffer 203, and are in the order of LL, HL1, LH1, HH1, HL2, LH2, HH2, HL3, LH3, and HH3, that is, in order of the subbands having the lowest level to the higher level. And output to the coefficient quantization unit 204. The coefficient quantization unit 204 quantizes the wavelet transform coefficient of each subband supplied from the buffer 203 in a quantization step determined for each frequency component, and entropy-encodes the quantized value (coefficient quantization value). The data is output to the unit 205. Here, when the coefficient value is X and the value of the quantization step for the frequency component to which the coefficient belongs is q, the quantized coefficient value Q (X) is obtained by the following equation.
[0035]
Q (X) = floor {(X / q) +0.5}
However, in the above formula, floor {X} represents the maximum integer value not exceeding X.
[0036]
FIG. 9 is a diagram illustrating a correspondence example between each frequency component and the quantization step in the present embodiment. As shown in the figure, a larger quantization step is given to the high frequency subbands (HL1, LH1, HH1, etc.) than the low frequency subbands (LL, etc.).
[0037]
The entropy encoding unit 205 generates an entropy encoded value by entropy encoding the input coefficient quantization value by arithmetic encoding. The entropy encoded value is output to the tile encoded data output unit 206. As shown in FIG. 10, the tile encoded data output unit 206 arranges the input entropy encoded values in units of subbands, adds a tile header to the head thereof, and generates tile encoded data. .
[0038]
FIG. 11 is a diagram illustrating an array of three common tile encoded data.
[0039]
In this way, the encoded common tile data is sent from the tile encoded data output unit 206 to the first buffer 104 and stored. Further, in the case of the encoded first added tile data, it is output to the i-th derived image data encoding unit 109.
[0040]
[When 1 <i ≦ M]
In the encoding of the derived image data in the case of 1 <i ≦ M, the encoding process of the common tile data has already been completed and stored in the first buffer 104. The added changed tile data generation unit 106 adds the i-th difference data to the changed tile data to generate the i-th added tile data, and the tile data encoding unit 108 encodes the i-th added tile data. . The i-th derived image encoded data generation unit 109 receives the encoded common tile data stored in the first buffer 104 and the encoded first added tile data from the tile data encoding unit 108. Then, the i-th derivative image encoded data is generated and output from the i-th derivative image encoded data output unit 110 to the outside.
[0041]
As described above, according to the image processing apparatus of the first embodiment, basic image data is divided into a plurality of tiles, and the obtained tiles are classified into common tiles and changed tiles, and are encoded independently. At this time, the common tile data is encoded only once, and the changed tile data is encoded a number of times according to the type of image data added to the tile data. In this way, efficient encoding can be achieved without encoding all the data of the derived image data including the changed tile data.
[0042]
[Embodiment 2]
In the first embodiment, the basic image data is divided into a plurality of tiles, the obtained tiles are divided into common tiles and modified tiles, the common tile data is encoded only once, and the modified tile data is derived from the derived image. Only the types were encoded.
[0043]
On the other hand, in the second embodiment, encoding is performed without dividing the basic image into a plurality of tiles. However, in the second embodiment, as shown in FIG. 12, in the encoding process, each subband obtained by performing discrete wavelet transform on the image data is divided into code blocks and then entropy encoded. . Further, after determining where to add the difference data in the basic image, the pixel (change code block generation pixel) for generating the code block (change code block) related to the change area of each derived image is calculated and the change is performed. The generated pixel of the code block is encoded. The encoded data of the changed code block generated in this way is exchanged with the encoded data of the corresponding code block which is the encoded data of the code block (corresponding code block) spatially corresponding to the code block. Thereby, a plurality of derivative images are generated.
[0044]
The operation in the image processing apparatus according to the second embodiment will be described in detail below.
[0045]
FIG. 13 is a block diagram showing the configuration of the image processing apparatus according to the second embodiment.
[0046]
In the figure, 1801 is a derived image data encoding unit, 1802 is an external output unit, and 1803 is a control unit. Here, the plurality of derived images are encoded by the derived image data encoding unit 1801, then temporarily stored in the external output unit 1802, and output to the outside. The control unit 1803 controls the output of the derived image encoded data stored in the external output unit 1802 to the outside.
[0047]
FIG. 14 is a block diagram showing a configuration of derived image data encoding section 1801 in the image processing apparatus according to the second embodiment.
[0048]
In the figure, 1701 is a basic image input unit, 1702 is a buffer, 1703 is a basic image data encoding unit, 1704 is a buffer, 1705 is a difference data position determination unit, 1706 is a modified code block generation pixel calculation unit, and 1707 is an i-th difference. A data generation unit, 1708 is an i-th changed code block generation pixel encoding unit, 1709 is a code block replacement unit, 1710 is an i-th derivative image encoded data output unit, and 1711 is a difference data erasing unit.
[0049]
FIG. 15 is a flowchart showing processing in the image processing apparatus according to the second embodiment.
[0050]
In the figure, first, in step S21, basic image data is input by the basic image input unit 1701. At this time, the variable i is initialized to “1”. In step S22, the input basic image data is sent to the buffer 1702 and temporarily stored. In step S23, the basic image data stored in the buffer 1702 is supplied to the basic image data encoding unit 1703. Thus, in step S24, the basic image data encoding unit 1703 encodes the basic image data to generate encoded basic image data. In step S25, the basic image encoded data is output to the buffer 1704 and temporarily stored.
[0051]
In step S26, the i-th difference data generation unit 1707 generates the i-th difference data (i-th difference data), and sends the area information to the difference data position determination unit 1705. Thereby, the difference data position determination unit 1705 determines the position of the difference data in the basic image data from the area information as shown in FIG. The position information thus determined is sent to the changed code block generation pixel calculating unit 1706, and a changed code block (a code block including difference data) is calculated as shown in FIG. 22 (step S27). The calculation method of the change code block generation pixel will be described in detail later.
[0052]
Next, the process proceeds to step S28, and based on the calculation result of step S27, the pixel of the basic image data determined to be the generated pixel of the changed code block is read from the buffer 1702, and the i-th difference data is further converted to the i-th difference data. The i difference data generation unit 1707 outputs the result to the i-th changed code block generation pixel encoding unit 1708. In step S29, the i-th changed code block generation pixel encoding unit 1708 encodes the generated code of the changed code block to generate encoded data of the i-th changed code block. Thereafter, the process proceeds to step S30, in which the encoded data of the i-th changed code block and the encoded data of the i-th corresponding code block in the basic image encoded data are replaced, and the i-th derived image of the i-th derived image is replaced. Encoded data is generated and input to the i th derivative image encoded data output unit 1710. Accordingly, the encoded data of the i-th derivative image is output to the external output unit 1802 (FIG. 13) via the i-th derivative image encoded data output unit 1710. In step S31, the difference data deletion unit 1711 deletes the i-th difference data existing in the i-th difference data generation unit 1707. In step S32, the variable i is compared with a value M indicating the number of types of difference data to check whether the processing of the M types of difference data has been completed. If not, the variable i is incremented by one. Returning to step S26, the above-described processing for the i-th difference data is repeated. Thus, when the processing of the M types of difference data is completed, this processing is terminated.
[0053]
FIG. 16 is a block diagram showing a configuration of basic image data encoding section 1703 according to the second embodiment.
[0054]
In the figure, 1301 is a basic image data input unit, 202 is a discrete wavelet transform unit, 203 is a buffer, 204 is a coefficient quantization unit, 1305 is a code block division unit, 1306 is an entropy encoding unit, and 1307 is basic image encoded data. It is an output unit. In FIG. 16, parts common to those in FIG. 7 according to the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
[0055]
FIG. 23 is a block diagram showing a configuration of the i-th modified code block generation pixel encoding unit 1708 according to the second embodiment, and here, the same symbols are assigned to the same parts as those in FIG. 7 according to the first embodiment. The description thereof is omitted.
[0056]
In FIG. 23, 1901 is an i-th changed code block generation pixel input unit, 1305 is a code block dividing unit, 1306 is an entropy encoding unit, and 1902 is an i-th changed code block encoded data output unit.
[0057]
Hereinafter, the basic image data encoding unit 1703 (FIG. 16), the modified code block generation pixel calculation unit 1706, the i-th modified code block generation pixel encoding unit 1708 (FIG. 23), the code block replacement unit 1709, the first illustrated in FIG. The process of the i-derived image encoded data output unit 1710 will be described.
[0058]
[Basic Image Data Encoding Unit 1703]
In FIG. 16, basic image data is input from a basic image data input unit 1301, and is sequentially processed by a discrete wavelet transform unit 202, a buffer 203, and a coefficient quantization unit 204. Since the processing in the discrete wavelet transform unit 202, the buffer 203, and the coefficient quantization unit 204 is the same as the processing in the first embodiment described above, description of these processing units is omitted.
[0059]
Each coefficient value quantized by the coefficient quantization unit 204 is input to the code block dividing unit 1305 in the form of each subband, and is divided into rectangular code blocks as shown in FIG. As the size of the code block, 2n × 2m (where n and m are positive constants and n = m = 4 in FIG. 12) or the like can be considered.
[0060]
The code block generated in this way is input to the entropy encoding unit 1306 and is entropy encoded. The encoded value obtained by the entropy encoding is output from the basic image encoded data output unit 1307 to the buffer 1704 (FIG. 14) and temporarily stored.
[0061]
[Changed code block generation pixel calculation unit 1706]
Processing in the changed code block generation pixel calculation unit 170 will be described with reference to FIGS. 17 to 22. Here, the description is simplified by using a one-dimensional pixel data string.
[0062]
FIG. 17 shows a state in which the low-frequency component L2 is generated by performing discrete wavelet transform on the derived image, and the low-frequency component L1 of the low-frequency component L2 is further generated. Here, as shown in FIG. 18, when the pixels painted in black are the change region, the coefficients of the subbands generated from the change region are the coefficients indicated by 1900 to 1904 in FIG. From this, code block division is further performed as shown in FIG. The resulting change code block is as shown in FIG. From there, as shown in FIG. 22, pixels 1900 to 1904 are determined as changed code block generation pixels.
[0063]
[I-th modified code block generation pixel encoding unit 1708]
The processing in the i-th change code block generation pixel encoding unit 1708 is that the i-th change code block generation pixel is input to the i-th change code block generation pixel input unit 1901 in FIG. The encoded data of the i-th modified code block is output from the encoded data output unit 1902 of the above, and is different from the processing of the basic image data encoding unit 1703 (FIG. 16) described above. However, the other processes are the same as those of the basic image data encoding unit 1703 (FIG. 16) described above.
[0064]
[Code block replacement unit 1709]
The code block replacement unit 1709 copies the encoded data of the basic image stored in the buffer 1704 to a work buffer existing in the code block replacement unit 1709. Further, the encoded data of the corresponding code block in the encoded data of the basic image is replaced with the encoded data of the i-th changed code block input from the i-th changed code block generation pixel encoding unit 1708. Further, subbands entropy-encoded in units of code blocks are arranged as shown in FIG. 24 to generate quasi-i-th derivative image encoded data and output to the i-th derivative image encoded data output unit 1710.
[0065]
[I-th derivative image encoded data output unit 1710]
As shown in FIG. 25, the i-th derived image encoded data output unit 1710 adds a header to the head of the input semi-i-th derived image encoded data, and generates i-th derived image encoded data. . This header includes information such as the size of the image input to the basic image input unit 1701, the type indicating whether the image is a binary image or a multi-valued image, and characters indicating the image processing apparatus to be transmitted. The column, transmission date and time, etc. are written. The i-th derivative image encoded data generated in this way is output to the external output unit 1802 (FIG. 13).
[0066]
As described above, according to the image processing apparatus according to the second embodiment, the subbands of the image data subjected to discrete wavelet transform are divided into code blocks. Thereafter, the modified code block of each derived image is encoded. In this way, efficient encoding of derived image data can be performed.
[0067]
[Embodiment 3]
The encoding method according to the second embodiment described above not only enables efficient generation of derived image data, but also achieves memory saving in the entropy encoding unit 1306 by processing in units of code blocks. However, memory saving in the entire coding has not been achieved.
[0068]
On the other hand, in the third embodiment, a method for efficiently generating derivative image data while saving memory of the entire encoding will be described.
[0069]
FIG. 26 is a block diagram showing the configuration of the image processing apparatus according to the third embodiment. This is obtained by replacing the derived image data encoding unit 1801 (FIG. 13) in the image processing apparatus of the second embodiment with a derived image data encoding unit 2201.
[0070]
FIG. 27 is a block diagram showing a configuration of derived image data encoding section 2201 according to Embodiment 3. This is obtained by replacing the basic image data encoding unit 1703 (FIG. 14) in the derived image data encoding unit 1801 according to Embodiment 2 with a basic image data encoding unit 2301.
[0071]
FIG. 28 shows a block diagram of basic image data encoding section 2301 according to Embodiment 3. In this, a tile division unit 1501 is inserted between the basic image data input unit 1301 and the discrete wavelet transform unit 1302, and the basic image encoded data output unit 1307 in FIG. 16 is replaced with a basic image encoded data output unit 1502. Is.
[0072]
When basic image data is input to the basic image data input unit 1301 in the basic image data encoding unit 2301 (FIG. 27), the basic image data is tiled (tiles 0 to 3) as shown in FIG. 29 by the tile dividing unit 1501. It is divided into. Each tile is independently encoded as in the second embodiment.
[0073]
As shown in FIG. 30, the basic image encoded data output unit 1502 generates basic image encoded data by arranging encoded tile data, and buffers the basic image encoded data. 1704 is output. Note that the processing after the basic image encoded data is output to the buffer 1704 is the same as that in the above-described second embodiment, and thus the description of the corresponding processing is omitted.
[0074]
As described above, according to the image processing apparatus according to the third embodiment, the image data is divided into a plurality of tiles, and each tile is encoded in the same manner as the encoding method in the above-described second embodiment. In this way, the derived image data can be efficiently generated while saving the memory of the entire encoding.
[0075]
In each of the above-described embodiments, image data is orthogonally transformed by discrete wavelet transform. However, the present invention is not limited to this. For example, image data is hierarchically encoded according to resolution. The method is also included in the scope of the present invention.
[0076]
Note that the present invention can be applied to a system (for example, a copier, a facsimile machine, etc.) composed of a single device even if it is applied to a system composed of a plurality of devices (for example, host computer, interface device, reader, printer, etc.). May be.
[0077]
Another object of the present invention is to supply a storage medium (or recording medium) on which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and to computer (or CPU or MPU) of the system or apparatus ) Is also achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. A case where part or all of the actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
[0078]
Further, after the program code read from the storage medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. The case where the CPU of the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing is also included.
[0079]
As described above, according to the present embodiment, it is possible to efficiently apply various change processes to one image and perform encoding.
[0080]
【The invention's effect】
As described above, according to the present invention, when encoding image data in which a certain region of a basic image is changed, there is an effect that more efficient image encoding can be performed.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example of a basic image according to the present embodiment.
FIG. 2 is a diagram showing an example of a derived image according to the present embodiment.
FIG. 3 is a diagram showing an example of tile division of a basic image according to the present embodiment.
FIG. 4 is a flowchart showing processing for generating encoded data of a plurality of types of derivative images in the image processing apparatus according to Embodiment 1 of the present invention.
FIG. 5 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
FIG. 6 is a diagram illustrating encoded data of a first derivative image.
7 is a block diagram showing a configuration of a tile data encoding unit 108 according to the first embodiment. FIG.
FIG. 8 is a diagram illustrating a conversion result by discrete wavelet transform.
FIG. 9 is a diagram for explaining a relationship between a frequency component of a transform coefficient and a quantization step in the present embodiment.
FIG. 10 is a diagram illustrating tile encoded data according to the present embodiment.
FIG. 11 is a diagram for describing quasi-image encoded data including encoded data obtained by encoding common tile data.
FIG. 12 is a diagram for explaining an example of code block division according to Embodiment 2 of the present invention;
13 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2. FIG.
14 is a block diagram showing a configuration of a derived image data encoding unit 1801 in the image processing apparatus according to Embodiment 2. FIG.
FIG. 15 is a flowchart illustrating a process of generating encoded data of a derived image in the image processing apparatus according to the second embodiment. Descriptive image
16 is a block diagram showing a configuration of a basic image data encoding unit 1703 according to Embodiment 2. FIG.
FIG.
FIG.
FIG.
FIG.
FIG.
FIG. 22 is a diagram for explaining a modified code block generation pixel according to the second embodiment.
23 is a block diagram showing a configuration of an i-th modified code block generation pixel encoding unit 1708 according to Embodiment 2. FIG.
FIG. 24 is a diagram for describing quasi-th derivative image encoded data according to Embodiment 2;
25 is a diagram for describing i-th derivative image encoded data according to Embodiment 2. FIG.
FIG. 26 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 3 of the present invention.
27 is a block diagram showing a configuration of a derived image data encoding unit 2201 according to Embodiment 3. FIG.
FIG. 28 is a diagram showing a block diagram of a basic image data encoding unit 2301 according to Embodiment 3.
FIG. 29 is a diagram showing an example of division of a basic image according to the third embodiment.
30 is a diagram for describing basic image encoded data according to Embodiment 3. FIG.

Claims

基本画像を変更した派生画像を符号化する画像処理装置であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換手段と、
前記第１変換手段により得られた前記変換係数のそれぞれを量子化する第１量子化手段と、
前記第１量子化手段により量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割手段と、
前記第１コードブロック分割手段により分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化手段と、
前記第１エントロピー符号化手段により符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成手段と、
前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出手段と、
前記算出手段により算出された前記画素を複数の周波数帯域の係数に変換する第２変換手段と、
前記第２変換手段により得られた各周波数帯域の係数を量子化する第２量子化手段と、
前記第２量子化手段により量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割手段と、
前記第２コードブロック分割手段により分割されたコードブロックをエントロピー符号化する第２エントロピー符号化手段と、
前記第２エントロピー符号化手段により符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成手段と、
前記コードブロック符号化データ生成手段により生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成手段において生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成手段と、
を有することを特徴とする画像処理装置。An image processing apparatus for encoding a derived image changing the basic image image,
First conversion means for converting image data of the basic image into conversion coefficients of a plurality of frequency bands;
First quantization means for quantizing each of the transform coefficients obtained by the first transform means;
First code block dividing means for dividing the transform coefficient of each frequency band quantized by the first quantization means into first code blocks of an arbitrary size;
First entropy encoding means for entropy encoding each of the first code blocks divided by the first code block dividing means;
Basic image encoded data generating means for generating encoded data of the basic image from encoded data generated by encoding by the first entropy encoding means;
Calculating means for calculating a pixel for generating a second code block related to a change area having a pixel value different from that of the basic image in the derived image;
Second conversion means for converting the pixels calculated by the calculation means into coefficients of a plurality of frequency bands;
Second quantization means for quantizing the coefficients of each frequency band obtained by the second conversion means;
Second code block dividing means for dividing the coefficient of each frequency band quantized by the second quantization means into code blocks of an arbitrary size;
Second entropy encoding means for entropy encoding the code block divided by the second code block dividing means;
Code block encoded data generating means for generating encoded data of the second code block from encoded data generated by encoding by the second entropy encoding means;
The encoded data corresponding to the encoded data of the basic image generated in the basic image encoded data generating means by the encoded data of the second code block generated by the code block encoded data generating means Derived image encoded data generating means for generating encoded data of the derived image by replacing blocks;
An image processing apparatus comprising:

前記第１及び２変換手段は離散ウェーブレット変換により変換することを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1 , wherein the first and second conversion units perform conversion by discrete wavelet transform.

前記第１及び２変換手段は、低周波帯域を再帰的に分割することを特徴とする請求項２に記載の画像処理装置。The image processing apparatus according to claim 2 , wherein the first and second conversion units recursively divide the low frequency band.

前記基本画像の画像データを複数のタイルに分割する分割手段を更に有し、
前記第１変換手段は、前記分割手段により分割された各タイルの画像データを変換することを特徴とする請求項１に記載の画像処理装置。Further comprising a dividing means for dividing the image data of the basic image into a plurality of tiles;
Said first converting means, the image processing apparatus according to claim 1, characterized in that converting the image data of each tile divided by the dividing means.

基本画像を変更した派生画像を符号化する画像処理方法であって、
前記基本画像の画像データを複数の周波数帯域の変換係数に変換する第１変換工程と、
前記第１変換工程で得られた前記変換係数のそれぞれを量子化する第１量子化工程と、
前記第１量子化工程で量子化された各周波数帯域の前記変換係数を任意の大きさの第１コードブロックに分割する第１コードブロック分割工程と、
前記第１コードブロック分割工程で分割された前記第１コードブロックのそれぞれをエントロピー符号化する第１エントロピー符号化工程と、
前記第１エントロピー符号化工程で符号化され生成された符号化データから前記基本画像の符号化データを生成する基本画像符号化データ生成工程と、
前記派生画像において前記基本画像と画素値が異なる変更領域に関わる第２コードブロックを生成する画素を算出する算出工程と、
前記算出工程により算出された前記画素を複数の周波数帯域の係数に変換する第２変換工程と、
前記第２変換工程で得られた各周波数帯域の係数を量子化する第２量子化工程と、
前記第２量子化工程で量子化された各周波数帯域の係数を任意の大きさのコードブロックに分割する第２コードブロック分割工程と、
前記第２コードブロック分割工程で分割されたコードブロックをエントロピー符号化する第２エントロピー符号化工程と、
前記第２エントロピー符号化工程で符号化されて生成された符号化データから前記第２コードブロックの符号化データを生成するコードブロック符号化データ生成工程と、
前記コードブロック符号化データ生成工程で生成された前記第２コードブロックの符号化データにより、前記基本画像符号化データ生成工程で生成された前記基本画像の符号化データの対応する符号化されたコードブロックを入れ換えることにより前記派生画像の符号化データを生成する派生画像符号化データ生成工程と、
を有することを特徴とする画像処理方法。An image processing method for encoding a derived image changing the basic image image,
A first conversion step of converting the image data of the basic image into conversion coefficients of a plurality of frequency bands;
A first quantization step for quantizing each of the transformation coefficients obtained in the first transformation step;
A first code block dividing step of dividing the transform coefficient of each frequency band quantized in the first quantization step into first code blocks of an arbitrary size;
A first entropy encoding step of entropy encoding each of the first code blocks divided in the first code block dividing step;
A basic image encoded data generation step of generating encoded data of the basic image from the encoded data encoded and generated in the first entropy encoding step;
A calculation step of calculating a pixel for generating a second code block related to a change area having a pixel value different from that of the basic image in the derived image;
A second conversion step of converting the pixels calculated by the calculation step into coefficients of a plurality of frequency bands;
A second quantization step of quantizing the coefficients of each frequency band obtained in the second conversion step;
A second code block dividing step of dividing the coefficient of each frequency band quantized in the second quantization step into code blocks of an arbitrary size;
A second entropy encoding step of entropy encoding the code block divided in the second code block dividing step;
A code block encoded data generation step for generating encoded data of the second code block from the encoded data generated by encoding in the second entropy encoding step;
The encoded data corresponding to the encoded data of the basic image generated in the basic image encoded data generating step by the encoded data of the second code block generated in the code block encoded data generating step Derived image encoded data generation step for generating encoded data of the derived image by replacing blocks;
An image processing method comprising:

前記第１及び２変換工程では離散ウェーブレット変換により前記変換係数を求めることを特徴とする請求項５に記載の画像処理方法。6. The image processing method according to claim 5 , wherein the transform coefficient is obtained by discrete wavelet transform in the first and second transforming steps.

前記第１及び２変換工程では、低周波帯域を再帰的に分割することを特徴とする請求項６に記載の画像処理方法。The image processing method according to claim 6 , wherein in the first and second conversion steps, the low frequency band is recursively divided.

前記基本画像の画像データを複数のタイルに分割する分割工程を更に有し、前記第１変換工程では、前記分割工程で分割された各タイルの画像データを変換することを特徴とする請求項５に記載の画像処理方法。Has the further division step of dividing the image data of the basic image into a plurality of tiles, in the first conversion step, claim, characterized in that converting the image data of each tile divided by the dividing step 5 An image processing method described in 1.

請求項５乃至８のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶したことを特徴とする、コンピュータにより読み取り可能な記憶媒体。A computer-readable storage medium storing a program for causing a computer to execute the image processing method according to any one of claims 5 to 8 .

請求項５乃至８のいずれか１項に記載の画像処理方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the image processing method according to any one of claims 5 to 8 .