JP3584179B2

JP3584179B2 - Image processing method, image processing device, and storage medium

Info

Publication number: JP3584179B2
Application number: JP09703999A
Authority: JP
Inventors: 幸榎田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-04-02
Filing date: 1999-04-02
Publication date: 2004-11-04
Anticipated expiration: 2019-04-02
Also published as: JP2000295453A

Description

【０００１】
【発明の属する技術分野】
本発明、複数の素材画像をモザイク様に組み合わせてモザイク画像を生成する画像処理方法、画像処理装置及び記憶媒体に関するものである。
【０００２】
【従来の技術】
三省堂「現代国語辞典」によれば、モザイクとは「種々の色彩の石・ガラス・大理石などの小片を組み合わせて、床・壁などにはめ込み、図案化したもの、またはその方法」である。このような技法を用いて、多数の写真画像を組み合わせて、図案或は一つの画像（モザイク画像）を形成することができる。モザイク画像の生成は、その基になる図案或は画像を複数のタイル状に分割し、それら各タイルの画像に最も似通った素材画像を、そのタイル領域に貼付けることにより達成される。
【０００３】
【発明が解決しようとする課題】
しかし、上述した従来の技術においては、次のような問題点がある。
【０００４】
その基になる画像によっては、分割されたタイル領域のうちの複数のタイル領域に同じ素材画像が貼られる場合があり得る。このようにして生成されたモザイク画像において、同一の素材画像が集中した領域では、その素材画像によりテクスチャが発生し、元の図案或は画像には存在しない、或は意図しない模様や縞等ができるという可能性がある。また或は、その生成されたモザイク画像がユーザの意図に適さない画像となってしまう場合もある。このような場合には、その基になる画像を加工し、その加工した画像に基づいて再度モザイク画像を生成する処理を行うという工程を、ユーザの意図に適するモザイク画像が生成されるまで繰り返して行う必要がある。
【０００５】
本発明は上記従来例に鑑みてなされたもので、モザイク画像を生成する際に意図しないテクスチャの発生を防止する画像処理方法、画像処理装置及び記憶媒体を提供することを目的とする。
【０００６】
また本発明の目的は、ユーザが意図する素材画像を選択して、高画質のモザイク画像を生成する画像処理方法、画像処理装置及び記憶媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するための本発明の画像処理方法は以下のような工程を備える。即ち、
複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、
前記モザイク画像の基になる第一画像を複数のタイル領域に分割し、
前記分割された各タイル領域を更に複数の小領域に分割し、
前記分割された各タイル領域に対して重視エリアを指示し、
各素材画像を複数の小領域に分割し、
前記指示された重視エリアに応じて、前記第一画像と前記素材画像とのそれぞれの小領域の色空間に関する画像特性の差分を重みを付けて計算し、
前記計算の結果に応じて前記各タイル領域に対応する素材画像を選択し、
前記各タイル領域ごとに異なる重視エリアを指示可能であることを特徴とする。
【０００８】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
複数の素材画像を組み合わせてモザイク画像を形成する画像処理装置であって、
モザイク画像の基になる第一画像を入力する入力手段と、
前記複数の素材画像を記憶する記憶手段と、
前記第一画像を複数のタイル領域に分割し、更に前記各タイル領域を複数の小領域に分割して各小領域の色空間に関する画像特性を求める画像特性獲得手段と、
前記各タイル領域に対して、それぞれ異なる重視エリアを指示可能な指示手段と、
前記指示手段により指示された前記重視エリアに応じて、前記第１画像と前記複数の素材画像とのそれぞれの小領域の色空間に関する画像特性との差を重みを付けて演算し、前記第一画像の各タイル領域と前記各素材画像との間の距離を演算する距離演算手段と、
前記距離演算手段により計算された距離に応じて前記各タイル領域に対応する素材画像を選択する選択手段とを有することを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１０】
［モザイク画像の生成方法］
図１は、一般的なモザイク処理に用いられる複数種類の画像の関係を説明する図である。
【００１１】
図１において、第一の画像２０１は、モザイクにより画像を構成する際の基になる図案或は画像（例えば、写真画像、コンピュータ・グラフィックス画像など）である。第二の画像２０２は、第一の画像２０１を複数の領域に分割し、各領域に素材画像を２０３を貼付けることにより形成されたモザイク画像である。ここで、素材画像２０３の枚数Ｐは、一般に、第二の画像２０２を構成するのに必要な色及びテクスチャを満足する充分に大きな数である。
【００１２】
図１では説明を容易にするために、素材画像２０３のサイズを、第一の画像２０１を分割したタイル領域のサイズと同じにしたが、必ずしも素材画像２０３のサイズとタイル領域のサイズとを一致させる必要はなく、また素材画像２０３の全てが同じサイズである必要もない。但し、素材画像２０３のサイズとタイル領域のサイズとが異なる場合は、対応するタイル領域に素材画像２０３を貼る際には、その素材画像２０３のサイズをタイル領域のサイズに合わせて変更する必要がある。また、タイル領域の形状も図１のような矩形に限らず任意の形状でよい。そして、タイル領域の形状と素材画像２０３の形状とが異なる場合には、素材画像２０３の形状を、そのタイル領域の形状に合わせてカット或は変形させることにより、タイル領域の形状に合わせて素材画像の形状を整形すれば良い。
【００１３】
次に、図２のフローチャートを参照して、図１に示すモザイクによる画像の生成方法を説明する。
【００１４】
まずステップＳ２１１で、第一の画像２０１をＭ×Ｎ個のタイル領域に分割する。その結果、例えば図３に示すように、４×５個（Ｍ＝４，Ｎ＝５）の矩形タイル領域ＴＬ（０，０），ＴＬ（０，１），ＴＬ（０，２），…，ＴＬ（３，２），ＴＬ（３，３），ＴＬ（３，４）が生成される。
【００１５】
図３において、Ｘ及びＹのそれぞれは、第一の画像２０１の水平及び垂直方向の画素数を表し、ｐ及びｑのそれぞれは、各タイル領域の水平及び垂直方向の画素数を表す。従って、Ｘ＝ｐ×Ｍ，Ｙ＝ｑ×Ｎという関係が成り立つ。
【００１６】
図４は、各タイル領域の構成を示す図で、各タイル領域は、３原色、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のプレーン上のそれぞれのｐ×ｑ画素で構成されている。
【００１７】
次に再び図２に戻り、ステップＳ２１２で、Ｍ×Ｎ個の各タイル領域について、次式に従いＲＧＢの各平均値を計算する。
【００１８】
Ｒｄ＿ａｖ＝ΣＲｉ／（ｐ×ｑ）（ｉ＝１〜ｐｑ）
Ｇｄ＿ａｖ＝ΣＧｉ／（ｐ×ｑ）（ｉ＝１〜ｐｑ）
Ｂｄ＿ａｖ＝ΣＢｉ／（ｐ×ｑ）（ｉ＝１〜ｐｑ）
ここで、「Ｒｄ＿ａｖ」は、ｄｅｓｔｉｎａｔｉｏｎ（元の画像２０１）の赤（Ｒ）成分の平均値を意味している。他の色成分に関しても同様である。またΣは、ｉ＝１〜ｐｑの総和を示している。
【００１９】
次にステップＳ２１３に進み、Ｐ枚の素材画像２０３のそれぞれについて、次式に従ってＲＧＢの各平均値を算出する。尚、ここでは素材画像２０３のサイズと各タイル領域のサイズとが同じであるものとしている。
【００２０】
Ｒｓ＿ａｖ＝ΣＲｉ／（ｐ×ｑ）（ｉ＝１〜ｐｑ）
Ｇｓ＿ａｖ＝ΣＧｉ／（ｐ×ｑ）（ｉ＝１〜ｐｑ）
Ｂｓ＿ａｖ＝ΣＢｉ／（ｐ×ｑ）（ｉ＝１〜ｐｑ）
ここで、「Ｒｓ＿ａｖ」はソース（ｓｏｕｒｃｅ：素材画像）の赤色成分の平均値を意味している。他の色成分に関しても同様である。
【００２１】
次にステップＳ２１４に進み、処理対象のタイル領域の位置を示すカウンタＸ＿Ｐｏｓ（０≦Ｘ＿Ｐｏｓ≦Ｍ−１）及びＹ＿Ｐｏｓ（０≦Ｙ＿Ｐｏｓ≦Ｎ−１）を共に“０”に初期化する。なお、この初期値（Ｘ＿Ｐｏｓ，Ｙ＿Ｐｏｓ）＝（０，０）は、第一の画像２０１の左上端のタイル領域の位置を示している。
【００２２】
次にステップＳ２１５に進み、カウンタＸ＿Ｐｏｓ及びＹ＿Ｐｏｓが示すタイル領域ＴＬ（Ｘ＿Ｐｏｓ，Ｙ＿Ｐｏｓ）に最もふさわしい素材画像２０３を選択する。この素材画像の選択方法は、そのタイル領域の平均輝度値と素材画像２０３の平均輝度値のＲＧＢ三刺激値による距離△Ｅを算出し、この距離△Ｅが最も小さくなる素材画像２０３を選択する。この距離ΔＥは、以下の式で求められる。
【００２３】
△Ｅ＝（Ｒｓ＿ａｖ−Ｒｄ＿ａｖ）＾２＋（Ｇｓ＿ａｖ−Ｇｄ＿ａｖ）＾２＋（Ｂｓ＿ａｖ−Ｂｄ＿ａｖ）＾２
なお、ここで「（ａ）＾２」はａの２乗を表わす。
【００２４】
こうして選択された素材画像２０３を、その処理対象であるタイル領域に貼る際に、そのサイズが合わない場合は、適正なサイズになるように変倍処理を行う。
【００２５】
次にステップＳ２１６に進み、処理対象のタイル領域の位置を右方向に移動するためにカウンタＸ＿Ｐｏｓを＋１し、カウンタＸ＿Ｐｏｓの値がＭになるとカウンタＸ＿Ｐｏｓの値を“０”にし、カウンタＹ＿Ｐｏｓの値を＋１する。こうしてステップＳ２１７の判断により、第一の画像２０１の全てのタイル領域に対してステップＳ２１５の処理が行われるまでステップＳ２１５からステップＳ２１７までの処理を繰り返す。
【００２６】
以上が、一般的なモザイク画像の生成処理の説明である。
【００２７】
［本実施の形態におけるモザイク画像の形成方法］
図５は、本発明の実施の形態に係るモザイク画像を生成する画像処理装置の構成例を示すブロック図である。
【００２８】
図５において、１０１はＣＰＵで、ハードディスク等の蓄積部１０６に記憶され、ＲＡＭ１０５にロードされたプログラムに従ってシステム全体の制御を行っている。１０２はキーボードで、マウス１０２ａとともに、本実施の形態の画像処理装置に各種コマンドやデータを入力するために使用される。１０３は表示部で、例えばＣＲＴや液晶等を備え、蓄積部１０６に蓄積された画像データや読込部１０９から入力された画像を表示する。１０４はＲＯＭ、１０５はＲＡＭで、本実施の形態の装置における記憶部を構成し、実行するプログラムやデータなどを記憶している。１０６はハードディスクや光ディスク等の蓄積部で、画像データベースを構成している。１０７はフロッピーディスク装置で、本実施の形態の画像処理装置で使用される外部記憶装置を構成している。１０８はプリンタである。
【００２９】
蓄積部１０６にはモザイク画の構成要素となるタイル画像が複数（Ｐ）枚格納されており、後述するプログラムに従って、この中から選択されたＭ×Ｎ枚の画像を、図３に示すように、水平方向にＭ枚、垂直方向にＮ枚並べて組み合わせることでモザイク画像を作成する。こうして作成されたモザイク画像は、蓄積部１０６に画像ファイルとして記憶され、表示部１０３に表示されたり、或はプリンタ１０８に出力されて印刷される。１０９は読込部で、画像を読み込むための、例えばスキャナである。
【００３０】
なお、本実施の形態の画像処理装置には、上記以外にも種々の構成要素が設けられているが、それらの構成は本発明の主要部分ではないので、それらの説明を省略する。
【００３１】
次に本実施の形態の画像処理装置におけるモザイク画像の生成処理を図６のフローチャートに従い説明する。尚、この処理を実行するプログラムはＲＡＭ１０５に記憶されており、ＣＰＵ１０１の制御の下に実行される。
【００３２】
まずステップＳ３００で、第一の画像２０１をＭ×Ｎ個のタイル領域に分割する。その結果、例えば前述の図３に示すように、４×５個の矩形タイル領域ＴＬ（０，０），ＴＬ（０，１），ＴＬ（０，２），…，ＴＬ（３，２），ＴＬ（３，３），ＴＬ（３，４）が生成される。次にステップＳ３０１に進み、（Ｍ×Ｎ）個の各タイル領域を複数の小領域（ｒ×ｓ画素：ｒ＜ｐ、ｓ＜ｑ）に分割し、各小領域について、次式に従い、前述の図２と同様にしてＲＧＢの平均値を計算する。
【００３３】
Ｒｄ＿ａｖ＝ΣＲｉ／（ｒ×ｓ）（ｉ＝１〜ｒｓ）
Ｇｄ＿ａｖ＝ΣＧｉ／（ｒ×ｓ）（ｉ＝１〜ｒｓ）
Ｂｄ＿ａｖ＝ΣＢｉ／（ｒ×ｓ）（ｉ＝１〜ｒｓ）
ここで、Σはｉ＝１〜ｒ・ｓの総和を示す。
【００３４】
次にステップＳ３０２に進み、Ｐ枚の素材画像２０３のそれぞれをｒ×ｓの小領域に分割し、各小領域について、次式に従いＲＧＢの平均値を算出する。なお、個々の素材画像２０３の各小領域のＲＧＢの平均値などの画像特性は、予め求めて記憶しておくこともできる。その場合、各素材画像を分割した各小領域の画像特性は、その素材画像２０３のヘッダ情報として記憶されていても良く、或は蓄積部１０１に格納されている素材画像２０３のそれぞれに対応するテーブル等に記録されても良い。
【００３５】
Ｒｓ＿ａｖ＝ΣＲｉ／（ｒ×ｓ）（ｉ＝１〜ｒｓ）
Ｇｓ＿ａｖ＝ΣＧｉ／（ｒ×ｓ）（ｉ＝１〜ｒｓ）
Ｂｓ＿ａｖ＝ΣＢｉ／（ｒ×ｓ）（ｉ＝１〜ｒｓ）
次にステップＳ３０３に進み、処理対象であるタイル領域の位置を示すカウンタＸ＿Ｐｏｓ（０≦Ｘ＿Ｐｏｓ≦Ｍ−１）及びＹ＿Ｐｏｓ（０≦Ｙ＿Ｐｏｓ≦Ｎ−１）を共に“０”に初期化する。なお、（Ｘ＿Ｐｏｓ，Ｙ＿Ｐｏｓ）＝（０，０）は、第一の画像２０１の左上端のタイル領域の位置を示す。尚、これらカウンタＸ＿Ｐｏｓ，カウンタＹ＿ＰｏｓはＲＡＭ１０５に設けられている。
【００３６】
次にステップＳ３０４に進み、カウンタＸ＿Ｐｏｓ及びカウンタＹ＿Ｐｏｓで指示されるアドレス（Ｘ＿Ｐｏｓ，Ｙ＿Ｐｏｓ）のタイル領域に最もふさわしい素材画像２０３を検索して決定する。この素材画像の決定処理については図７のフローチャートを参照して詳しく説明する。
【００３７】
次にステップＳ３０５に進み、ステップＳ３０４で検索して決定した素材画像２０３を、処理対象であるタイル領域に貼る。この素材画像を貼付ける処理において、その処理対象のタイル領域のサイズと素材画像のサイズとが合わない場合は、その素材画像のサイズが、そのタイル領域のサイズになるように変倍処理を行う。
【００３８】
続いてステップＳ３０６に進み、カウンタＸ＿Ｐｏｓの値を＋１し、このカウンタＸ＿Ｐｏｓの値がＭになるとカウンタＸ＿Ｐｏｓの値を“０”にしてカウンタＹ＿Ｐｏｓを＋１する。こうしてステップＳ３０７で、第一の画像２０１の全てのタイル領域に対して処理が行われるまでステップＳ３０４からステップＳ３０６までの処理を繰り返す。
【００３９】
次に図７のフローチャートを参照して、前述のステップＳ３０４における素材画像の検索処理を説明する。
【００４０】
尚、この場合、図６に示したモザイク画像生成処理を開始する前に、ユーザがモザイク画像を、例えば「特に重視する部分なし」或は「中心部分重視」で素材画像の検索を行うかを指定するものとし、例えばここでは「中心部分重視」を選択しているものとする。
【００４１】
まずステップＳ７００で、素材画像を特定するための変数ｎを“０”にクリアする。この変数ｎは、蓄積部１０６に記憶されている複数の素材画像の内のある素材画像（ｎ）を特定するための変数である。次にステップＳ７０１に進み、配列変数Ｓ（ｎ）を“０”にクリアする。この配列変数Ｓ（ｎ）は、各素材画像２０３と第一の画像２０１の各タイル領域の画像の特徴量の距離を格納するものである。
【００４２】
次にステップＳ７０２に進み、ユーザにより指定されている重視する部分を判断する。ここでは例えば、「中心部分重視」が指示されているものとし、例えば図８に示すように、それぞれ数の小領域に分割されたタイル領域と各素材画像の小領域の内、その中心部分に近い５つの小領域（１，０），（０，１），（１，１），（２，１），（１，２）と、その他の小領域との間の特徴量の距離を計算する時に重みを変えて計算する。
【００４３】
より詳しく説明すると、処理対象となっているタイル領域と変数ｎで特定されている素材画像（ｎ）のそれぞれを、例えば図８に示すように複数の小領域に分割する。そして、そのタイル領域の小領域のそれぞれと、変数ｎで指定された素材画像の各小領域との間で、ＲＧＢの各色成分毎の距離を求める。この際、もし「中心部分重視」が指示されているものとすると、図８に示すタイル領域と素材画像のそれぞれ９個の小領域の内、その中心部分に位置している５つの小領域（１，０），（０，１），（１，１），（２，１），（１，２）同士でＲＧＢ各色成分の距離を求める式の係数Ａを、他の小領域同士の距離を求める式の係数Ｂ，Ｃよりも大きくする。
【００４４】
例えば、タイル領域及び素材画像のほぼ中心部分に位置している小領域の場合にはステップＳ７０２からステップＳ７０３に分岐し、重みを切り替える変数Ａに“１００”をセットする。一方、その他の小領域の場合にはステップＳ７０２からステップＳ７０４に進み、変数Ａに“２５”をセットする。
【００４５】
これらステップＳ７０３或はＳ７０４の後、ステップＳ７０５に進み、下式に基づいて、各小領域間での距離計算を行う。
【００４６】
Ｓ（ｎ）＋＝（（タイルのＲ−素材画像（ｎ）のＲ）×Ａ／１００）＾２
Ｓ（ｎ）＋＝（（タイルのＧ−素材画像（ｎ）のＧ）×Ａ／１００）＾２
Ｓ（ｎ）＋＝（（タイルのＢ−素材画像（ｎ）のＢ）×Ａ／１００）＾２
尚、上式において、「（ａ）＾２」はａの２乗を表している。
【００４７】
こうして、あるタイル領域と、ある素材画像のそれぞれの各小領域同士でのＲＧＢのそれぞれ差を示す配列変数が求められ、１つの小領域毎に、これらＲＧＢ３つの配列変数の加算結果が、その小領域における、そのタイル領域と素材画像（ｎ）との距離を示す配列変数Ｓ（ｎ）として決定される。
【００４８】
次にステップＳ７０６に進み、次に小領域を指示し、その素材画像の全ての小領域と、処理対象であるタイル領域の全ての小領域との間の距離計算が終了したか否かを判断し、終了していない場合にはステップＳ７０２に戻って、次の小領域に対して前述の処理を実行する。
【００４９】
こうして全ての小領域に対する処理が終了すると、その素材画像と処理対象のタイル領域との間の距離計算、即ち、各小領域での距離計算の総和が得られて計算処理が終了したことになるとステップＳ７０７に進み、前述のステップＳ７０１〜Ｓ７０６の処理が、蓄積部１０６に格納されている全ての素材画像２０３に対して実行されたかを判断し、そうでない場合にはステップＳ７０１に戻って上記の処理を繰り返す。
【００５０】
こうして全ての素材画像に対する処理が終了するとステップＳ７０８に進み、配列変数Ｓ（ｎ）を小さい順にソートする。この結果、一番小さい配列変数Ｓ（ｘ）が求められると、ｘ番目の素材画像の中央部分が、その処理対象のタイル領域の中央部分に最も近い素材画像として判定される。
【００５１】
ここで例えば、その第一画像のタイル領域に既に貼り付けられた素材画像を、再度他のタイル領域に対して使用できないようにしてもよい。また、素材画像を使用する回数を制限するようにしてもよい。
【００５２】
以上説明したように本実施の形態によれば、第一の画像２０１をタイルや素材画像の「中心部分」（或は周辺部分など）を重視した検索結果のモザイク画像を生成することや、あるいは「特に重視する部分なし」といった検索結果のモザイク画像を生成することができる。
【００５３】
尚、上述した実施の形態では、重視する成分の係数Ａの値を“１００”、その他の成分の係数Ｂのを“２５”として係数Ａに係る値の重み付けを行ったが、これら係数の値はこれに限定されるものでなく、またＲＧＢではなく、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）のそれぞれの距離を求めてもよい。
【００５４】
またユーザにより指示された重視する領域の度合に応じて、それぞれ別の計数値を設定してもよい。
【００５５】
また「特に重視する部分なし」の場合は、全ての小領域に対して同一の値を使えばよく、特に値を決める必要はない。更に「中心部分重視」の場合は、上述の４つの小領域に対して重みを付けるように説明したが、これに限るものではないことは容易に推察できる。
【００５６】
［他の実施例］
「中心部分重視」或は「特に重視する部分なし」の選択のほか、「重視」する部分をユーザに指定させる方法もある。この場合、各素材画像のどの小領域に対して「重視」するかを、これら素材画像を表示部１０３に表示させた状態で、マウス１０２ａ等を用いて指定できるようにしてもよい。
【００５７】
また、第一の画像の各タイルで別々の小領域を「重視」することも可能である。更に、各タイル領域或は素材画像の小領域の分割方法は、上記実施の形態の図８で示したものに限るものではなく、別の分割方法、分割個数、分割形状でも良いことは容易に推察できる。
【００５８】
さらに、第一の画像の各タイル領域の小領域への分割方法と、素材画像の小領域への分割方法は、同一の分割方法に限るものではなく、各タイル領域と素材画像の小領域への分割方法、或は分割個数等が別々の方法である場合は、それぞれに対応する小領域を求め、「重視」する部分と、しない部分とを各々判斬する手段を備えるようにしてもよい。
【００５９】
なお、本発明は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、スキャナ、プリンタなど）から構成されるシステムに適用しても良く、あるいは一つの機器からなる装置（例えば複写機、ファクシミリ装置など）に適用しても良い。
【００６０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラム・コードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいはコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラム・コードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラム・コード自体が前述した実施形態の機能を実現することになり、そのプログラム・コードを記憶したプログラム・コードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラム・コードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティング・システム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００６１】
さらに、記憶媒体から読み出されたプログラム・コードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラム・コードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態に機能が実現される場合も含まれる。
【００６２】
以上説明したように本実施の形態によれば、モザイク画像を生成する際に、基になる第一の画像を分割したタイル領域のそれぞれを、例えば「中心部分重視」或は「特に重視する部分なし」、或は「任意の小領域を重視」等の条件の下に、最適な素材画像を検索することにより、よりユーザの好みに合ったモザイク画像を生成することができる。
【００６３】
【発明の効果】
以上説明したようの本発明によれば、モザイク画像を生成する際に意図しないテクスチャの発生を防止できるという効果がある。
【００６４】
また本発明によれば、ユーザが意図する素材画像を選択して、高画質のモザイク画像を生成できるという効果がある。
【図面の簡単な説明】
【図１】基になる第一画像とモザイクに用いられる複数種類の素材画像の関係を示す図である。
【図２】モザイクによる画像の一般的な生成方法を説明するためのフローチャートである。
【図３】第一の画像をＭ×Ｎ個のタイル領域に分割した状態を示す図である。
【図４】各タイル領域の色プレーンを説明する図である。
【図５】本実施の形態に係る画像処理装置の構成を示すブロック図である。
【図６】本実施の形態の画像処理装置におけるモザイク画像の生成処理の一例を示すフローチャートである。
【図７】図６のステップＳ３０４で実行される素材画像の検索及び選定処理を示すフローチャートである。
【図８】タイル領域或は素材画像の特徴量を求めるための小領域への分割例を説明する図である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method, an image processing apparatus, and a storage medium for generating a mosaic image by combining a plurality of material images like a mosaic.
[0002]
[Prior art]
According to Sanseido's "Modern Japanese Dictionary", mosaic is "a method of combining small pieces of stone, glass, marble, etc. of various colors, fitting them into floors, walls, etc., and stylizing them." Using such techniques, a number of photographic images can be combined to form a design or a single image (mosaic image). The generation of the mosaic image is achieved by dividing the pattern or image on which the mosaic image is based into a plurality of tiles, and pasting a material image most similar to the image of each tile to the tile area.
[0003]
[Problems to be solved by the invention]
However, the above-described conventional technology has the following problems.
[0004]
Depending on the base image, the same material image may be pasted on a plurality of tile areas among the divided tile areas. In the mosaic image generated in this way, in the region where the same material image is concentrated, a texture is generated by the material image, and a pattern or stripe that is not present in the original design or image or is unintended is generated. There is a possibility that it can be done. Alternatively, the generated mosaic image may not be suitable for the user's intention. In such a case, the process of processing the base image and performing a process of generating a mosaic image again based on the processed image is repeated until a mosaic image suitable for the user's intention is generated. There is a need to do.
[0005]
The present invention has been made in view of the above conventional example, and has as its object to provide an image processing method, an image processing apparatus, and a storage medium that prevent generation of an unintended texture when generating a mosaic image.
[0006]
It is another object of the present invention to provide an image processing method, an image processing apparatus, and a storage medium that select a material image intended by a user and generate a high-quality mosaic image.
[0007]
[Means for Solving the Problems]
The image processing method of the present invention for achieving the above object includes the following steps. That is,
An image processing method for forming a mosaic image by combining a plurality of material images,
Dividing the first image based on the mosaic image into a plurality of tile areas,
Further divided into a plurality of small areas of the divided each tile region,
Indicate an important area for each of the divided tile areas,
Divide each material image into multiple small areas,
According to the designated important area, the difference between the image characteristics related to the color space of the respective small regions of the first image and the material image is weighted and calculated,
Select a material image corresponding to each tile area according to the result of the calculation ,
A different emphasis area can be designated for each tile area .
[0008]
In order to achieve the above object, an image processing apparatus according to the present invention has the following configuration. That is,
An image processing apparatus that forms a mosaic image by combining a plurality of material images,
Input means for inputting a first image that is a basis of the mosaic image;
Storage means for storing the plurality of material images,
Dividing the first image into a plurality of tile areas, further dividing each tile area into a plurality of small areas, and obtaining an image property relating to a color space of each small area;
Instructing means capable of indicating a different important area for each tile area ,
Depending on the focus area which has been instructed by the instruction means, the difference between the image characteristics for each of the small regions the color space between the first image and the plurality of elemental images is calculated by a weighted, the first Distance calculating means for calculating the distance between each tile area of the image and each of the material images,
Selecting means for selecting a material image corresponding to each of the tile areas according to the distance calculated by the distance calculating means.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0010]
[Generation method of mosaic image]
FIG. 1 is a diagram illustrating the relationship between a plurality of types of images used in general mosaic processing.
[0011]
In FIG. 1, a first image 201 is a design or an image (for example, a photographic image, a computer graphics image, or the like) on which an image is formed by mosaic. The second image 202 is a mosaic image formed by dividing the first image 201 into a plurality of regions and pasting a material image 203 to each region. Here, the number P of the material images 203 is generally a sufficiently large number that satisfies the colors and textures necessary for forming the second image 202.
[0012]
In FIG. 1, the size of the material image 203 is set to be the same as the size of the tile area obtained by dividing the first image 201 for the sake of simplicity. However, the size of the material image 203 does not necessarily match the size of the tile area. It is not necessary to make the material images 203 have the same size. However, when the size of the material image 203 is different from the size of the tile area, when attaching the material image 203 to the corresponding tile area, it is necessary to change the size of the material image 203 according to the size of the tile area. is there. Further, the shape of the tile area is not limited to the rectangular shape as shown in FIG. 1 and may be any shape. When the shape of the tile area is different from the shape of the material image 203, the shape of the material image 203 is cut or deformed in accordance with the shape of the tile area, and the material is adjusted in accordance with the shape of the tile area. What is necessary is just to shape the shape of the image.
[0013]
Next, a method for generating an image using the mosaic shown in FIG. 1 will be described with reference to the flowchart in FIG.
[0014]
First, in step S211, the first image 201 is divided into M × N tile areas. As a result, for example, as shown in FIG. 3, 4 × 5 (M = 4, N = 5) rectangular tile areas TL (0,0), TL (0,1), TL (0,2),. , TL (3,2), TL (3,3) and TL (3,4) are generated.
[0015]
In FIG. 3, each of X and Y represents the number of pixels in the horizontal and vertical directions of the first image 201, and each of p and q represents the number of pixels in the horizontal and vertical directions of each tile area. Therefore, the following relationship holds: X = p × M, Y = q × N.
[0016]
FIG. 4 is a diagram showing the configuration of each tile area. Each tile area is composed of p × q pixels on a plane of three primary colors, red (R), green (G), and blue (B). I have.
[0017]
Next, returning to FIG. 2 again, in step S212, for each of the M × N tile areas, an average value of RGB is calculated according to the following equation.
[0018]
Rd_av = ΣRi / (p × q) (i = 1 to pq)
Gd_av = ΣGi / (p × q) (i = 1 to pq)
Bd_av = ΣBi / (p × q) (i = 1 to pq)
Here, “Rd_av” means the average value of the red (R) component of the destination (the original image 201). The same applies to other color components. Σ indicates the sum of i = 1 to pq.
[0019]
Next, the process proceeds to step S213, and for each of the P material images 203, an average value of RGB is calculated according to the following equation. Here, it is assumed that the size of the material image 203 and the size of each tile area are the same.
[0020]
Rs_av = ΣRi / (p × q) (i = 1 to pq)
Gs_av = ΣGi / (p × q) (i = 1 to pq)
Bs_av = ΣBi / (p × q) (i = 1 to pq)
Here, “Rs_av” means the average value of the red component of the source (source image). The same applies to other color components.
[0021]
Next, the process proceeds to step S214, in which the counters X_Pos (0 ≦ X_Pos ≦ M−1) and Y_Pos (0 ≦ Y_Pos ≦ N−1) indicating the position of the tile area to be processed are both initialized to “0”. This initial value (X_Pos, Y_Pos) = (0, 0) indicates the position of the tile area at the upper left corner of the first image 201.
[0022]
Next, the process proceeds to step S215, where the material image 203 most suitable for the tile area TL (X_Pos, Y_Pos) indicated by the counters X_Pos and Y_Pos is selected. This material image selection method calculates a distance ΔE between the average luminance value of the tile area and the average luminance value of the material image 203 by RGB tristimulus values, and selects the material image 203 having the smallest distance ΔE. . This distance ΔE is obtained by the following equation.
[0023]
ΔE = (Rs_av−Rd_av) ＾ 2 + (Gs_av−Gd_av) ＾ 2 + (Bs_av−Bd_av) ＾ 2
Here, “(a) ＾ 2” represents the square of a.
[0024]
When the material image 203 selected in this way is pasted on the tile area to be processed, if the size does not match, a scaling process is performed so as to have an appropriate size.
[0025]
Next, in step S216, the counter X_Pos is incremented by 1 to move the position of the tile area to be processed rightward, and when the value of the counter X_Pos reaches M, the value of the counter X_Pos is set to “0”, and the value of the counter Y_Pos is set. Is incremented by 1. According to the determination in step S217, the processing from step S215 to step S217 is repeated until the processing in step S215 is performed on all tile areas of the first image 201.
[0026]
The above is the description of the general mosaic image generation processing.
[0027]
[Method of Forming Mosaic Image According to Embodiment]
FIG. 5 is a block diagram illustrating a configuration example of an image processing device that generates a mosaic image according to the embodiment of the present invention.
[0028]
In FIG. 5, reference numeral 101 denotes a CPU, which controls the entire system according to a program stored in a storage unit 106 such as a hard disk and loaded into a RAM 105. A keyboard 102 is used together with the mouse 102a to input various commands and data to the image processing apparatus according to the present embodiment. A display unit 103 includes, for example, a CRT and a liquid crystal, and displays image data stored in the storage unit 106 and an image input from the reading unit 109. A ROM 104 and a RAM 105 constitute a storage unit in the apparatus of the present embodiment, and store programs to be executed, data, and the like. Reference numeral 106 denotes a storage unit such as a hard disk or an optical disk, which constitutes an image database. Reference numeral 107 denotes a floppy disk device which constitutes an external storage device used in the image processing apparatus according to the present embodiment. 108 is a printer.
[0029]
The storage unit 106 stores a plurality (P) of tile images serving as constituent elements of a mosaic image. According to a program described later, M × N images selected from the tile images are stored as shown in FIG. A mosaic image is created by arranging and combining M images in the horizontal direction and N images in the vertical direction. The mosaic image created in this way is stored as an image file in the storage unit 106 and displayed on the display unit 103 or output to the printer 108 for printing. A reading unit 109 is, for example, a scanner for reading an image.
[0030]
The image processing apparatus according to the present embodiment includes various components other than those described above. However, since these components are not a main part of the present invention, description thereof will be omitted.
[0031]
Next, a process of generating a mosaic image in the image processing apparatus according to the present embodiment will be described with reference to the flowchart of FIG. A program for executing this processing is stored in the RAM 105 and is executed under the control of the CPU 101.
[0032]
First, in step S300, the first image 201 is divided into M × N tile areas. As a result, for example, as shown in FIG. 3 described above, 4 × 5 rectangular tile areas TL (0,0), TL (0,1), TL (0,2),..., TL (3,2) , TL (3,3) and TL (3,4) are generated. Next, the process proceeds to step S301, in which each of the (M × N) tile areas is divided into a plurality of small areas (r × s pixels: r <p, s <q). The average value of RGB is calculated in the same manner as in FIG.
[0033]
Rd_av = ΣRi / (r × s) (i = 1 to rs)
Gd_av = ΣGi / (r × s) (i = 1 to rs)
Bd_av = ΣBi / (r × s) (i = 1 to rs)
Here, Σ indicates the sum of i = 1 to r · s.
[0034]
Next, the process proceeds to step S302, in which each of the P material images 203 is divided into small areas of r × s, and an average value of RGB is calculated for each small area according to the following equation. Note that image characteristics such as an average value of RGB of each small region of each material image 203 can be obtained in advance and stored. In this case, the image characteristics of each small area obtained by dividing each material image may be stored as header information of the material image 203, or may correspond to each of the material images 203 stored in the storage unit 101. It may be recorded on a table or the like.
[0035]
Rs_av = ΣRi / (r × s) (i = 1 to rs)
Gs_av = ΣGi / (r × s) (i = 1 to rs)
Bs_av = ΣBi / (r × s) (i = 1 to rs)
Next, in step S303, the counters X_Pos (0 ≦ X_Pos ≦ M−1) and Y_Pos (0 ≦ Y_Pos ≦ N−1) indicating the position of the tile area to be processed are both initialized to “0”. (X_Pos, Y_Pos) = (0, 0) indicates the position of the tile area at the upper left corner of the first image 201. The counter X_Pos and the counter Y_Pos are provided in the RAM 105.
[0036]
Next, the process proceeds to step S304, where the material image 203 most suitable for the tile area of the address (X_Pos, Y_Pos) specified by the counter X_Pos and the counter Y_Pos is searched for and determined. This material image determination processing will be described in detail with reference to the flowchart in FIG.
[0037]
Next, the processing proceeds to step S305, and the material image 203 determined and searched in step S304 is pasted on the tile area to be processed. In the process of pasting the material image, if the size of the tile area to be processed and the size of the material image do not match, a scaling process is performed so that the size of the material image becomes the size of the tile area. .
[0038]
Subsequently, the process proceeds to step S306, where the value of the counter X_Pos is incremented by one, and when the value of the counter X_Pos becomes M, the value of the counter X_Pos is set to “0” and the counter Y_Pos is incremented by one. Thus, in step S307, the processing from step S304 to step S306 is repeated until the processing is performed on all the tile areas of the first image 201.
[0039]
Next, the process of searching for a material image in the above-described step S304 will be described with reference to the flowchart of FIG.
[0040]
In this case, before starting the mosaic image generation processing shown in FIG. 6, it is determined whether the user searches for a mosaic image with a “particularly important part” or a “central part important” material image. Here, it is assumed that, for example, “center part emphasis” is selected.
[0041]
First, in step S700, a variable n for specifying a material image is cleared to “0”. This variable n is a variable for specifying a certain material image (n) among the plurality of material images stored in the storage unit 106. Next, the process proceeds to step S701, where the array variable S (n) is cleared to "0". The array variable S (n) stores the distance of the feature amount of each material image 203 and the image of each tile area of the first image 201.
[0042]
Next, the process proceeds to step S702, where a part to be emphasized designated by the user is determined. Here, for example, it is assumed that “central part emphasis” is instructed. For example, as shown in FIG. 8, a tile area divided into a number of small areas and a small area of each material image, Calculate feature distances between five nearby small areas (1,0), (0,1), (1,1), (2,1), (1,2) and other small areas The weight is changed when calculating.
[0043]
More specifically, the tile area to be processed and the material image (n) specified by the variable n are divided into a plurality of small areas, for example, as shown in FIG. Then, a distance for each of the RGB color components is obtained between each of the small areas of the tile area and each of the small areas of the material image specified by the variable n. At this time, if it is assumed that “central part emphasis” is designated, of the nine small areas of each of the tile area and the material image shown in FIG. 8, five small areas ( (1,0), (0,1), (1,1), (2,1), (1,2), the coefficient A of the equation for calculating the distance of each of the RGB color components, and the distance between the other small areas Is larger than the coefficients B and C in the equation for obtaining
[0044]
For example, in the case of a tile area and a small area located substantially at the center of the material image, the process branches from step S702 to step S703, and “100” is set to the variable A for switching the weight. On the other hand, in the case of other small areas, the process proceeds from step S702 to step S704, and “25” is set to the variable A.
[0045]
After step S703 or S704, the process proceeds to step S705 to calculate the distance between the small areas based on the following equation.
[0046]
S (n) + = ((R of tile−R of material image (n)) × A / 100) ＾ 2
S (n) + = ((Gile of tile−G of material image (n)) × A / 100) ＾ 2
S (n) + = ((Bile of tile—B of material image (n)) × A / 100) ＾ 2
In the above equation, “(a) ＾ 2” represents the square of a.
[0047]
In this way, an array variable indicating a difference in RGB between each tile area and each small area of a certain material image is obtained, and for each small area, the addition result of these three RGB array variables is calculated as the small value. It is determined as an array variable S (n) indicating the distance between the tile area and the material image (n) in the area.
[0048]
Next, the process proceeds to step S706, in which a small area is specified, and it is determined whether or not the distance calculation between all the small areas of the material image and all the small areas of the tile area to be processed has been completed. If not, the process returns to step S702 to execute the above-described processing for the next small area.
[0049]
When the processing for all the small areas is completed in this way, the distance calculation between the material image and the tile area to be processed, that is, the sum of the distance calculations in each small area is obtained, and the calculation processing is completed. Proceeding to step S707, it is determined whether or not the processes of steps S701 to S706 have been executed for all the material images 203 stored in the storage unit 106. If not, the process returns to step S701 to return to step S701. Repeat the process.
[0050]
When the processing for all the material images is completed in this way, the process proceeds to step S708, where the array variables S (n) are sorted in ascending order. As a result, when the smallest array variable S (x) is obtained, the central portion of the x-th material image is determined as the material image closest to the central portion of the tile area to be processed.
[0051]
Here, for example, the material image that has already been pasted on the tile area of the first image may not be used again for another tile area. Further, the number of times the material image is used may be limited.
[0052]
As described above, according to the present embodiment, it is possible to generate a mosaic image of a search result in which the first image 201 is focused on a “central portion” (or a peripheral portion) of a tile or a material image, or It is possible to generate a mosaic image of a search result such as "no specially focused part".
[0053]
In the above-described embodiment, the value of the coefficient A is weighted by setting the value of the coefficient A of the emphasized component to “100” and the coefficient B of the other components to “25”. Is not limited to this, and the respective distances of luminance (Y) and color difference (Cb, Cr) may be obtained instead of RGB.
[0054]
Further, different count values may be set according to the degree of the important region designated by the user.
[0055]
In addition, in the case of “particularly important part”, the same value may be used for all the small areas, and it is not necessary to determine a value. Further, in the case of "center portion emphasis", the above-described four small areas are weighted, but it is easily presumed that the present invention is not limited to this.
[0056]
[Other embodiments]
In addition to the selection of “central part emphasis” or “no special emphasis”, there is a method of allowing the user to specify the “emphasis” part. In this case, it may be possible to specify which small area of each material image is to be "emphasized" by using the mouse 102a or the like while these material images are displayed on the display unit 103.
[0057]
It is also possible to "emphasize" different small areas in each tile of the first image. Further, the method of dividing each tile area or the small area of the material image is not limited to the method shown in FIG. 8 of the above embodiment, and it is easily understood that another division method, the number of divisions, and the division shape may be used. Can be inferred.
[0058]
Furthermore, the method of dividing each tile area of the first image into small areas and the method of dividing the material image into small areas are not limited to the same division method, and the method of dividing each tile area and the material image into small areas is not limited to the same method. In the case where the division method or the number of divisions is different, a method may be provided in which small areas corresponding to the respective division methods are obtained, and a part that determines “particularly important” and a part that does not “important” is determined. .
[0059]
The present invention may be applied to a system including a plurality of devices (for example, a host computer, an interface device, a scanner, a printer, and the like), or a device including one device (for example, a copier, a facsimile device, and the like). ) May be applied.
[0060]
Further, an object of the present invention is to supply a storage medium storing a program code of software for realizing the functions of the above-described embodiments to a system or an apparatus, and the system or a computer (or CPU or MPU) to store the program in the storage medium. It is also achieved by reading and executing the stored program code. In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code storing the program code executes the function of the above-described embodiment. Not only is realized, but also the OS (operating system) running on the computer performs part or all of the actual processing based on the instructions of the program code, and the processing described in the above-described embodiment. The case where the function is realized is also included.
[0061]
Furthermore, after the program code read from the storage medium is written to a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the program code is written based on the instruction of the program code. The CPU provided in the function expansion card or the function expansion unit may perform a part or all of the actual processing, and the processing may realize a function in the above-described embodiment.
[0062]
As described above, according to the present embodiment, when a mosaic image is generated, each of the tile regions obtained by dividing the base first image is, for example, a “central portion emphasized” or a “particularly emphasized portion”. By searching for an optimum material image under conditions such as "none" or "emphasis on an arbitrary small area", a mosaic image more suited to the user's preference can be generated.
[0063]
【The invention's effect】
According to the embodiments of the present invention described above, there is an effect that occurrence of unintended texture can be prevented when a mosaic image is generated.
[0064]
Further, according to the present invention, there is an effect that a high quality mosaic image can be generated by selecting a material image intended by a user.
[Brief description of the drawings]
FIG. 1 is a diagram showing a relationship between a first image as a base and a plurality of types of material images used for mosaic.
FIG. 2 is a flowchart illustrating a general method for generating an image by mosaic.
FIG. 3 is a diagram showing a state where a first image is divided into M × N tile areas.
FIG. 4 is a diagram illustrating a color plane of each tile area.
FIG. 5 is a block diagram illustrating a configuration of an image processing apparatus according to the present embodiment.
FIG. 6 is a flowchart illustrating an example of a mosaic image generation process in the image processing apparatus according to the present embodiment.
FIG. 7 is a flowchart showing material image search and selection processing executed in step S304 of FIG. 6;
FIG. 8 is a diagram illustrating an example of division into tile regions or small regions for obtaining feature amounts of a material image.

Claims

複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法であって、
前記モザイク画像の基になる第一画像を複数のタイル領域に分割し、
前記分割された各タイル領域を更に複数の小領域に分割し、
前記分割された各タイル領域に対して重視エリアを指示し、
各素材画像を複数の小領域に分割し、
前記指示された重視エリアに応じて、前記第一画像と前記素材画像とのそれぞれの小領域の色空間に関する画像特性の差分を重みを付けて計算し、
前記計算の結果に応じて前記各タイル領域に対応する素材画像を選択し、
前記各タイル領域ごとに異なる重視エリアを指示可能であることを特徴とする画像処理方法。An image processing method for forming a mosaic image by combining a plurality of material images,
Dividing the first image based on the mosaic image into a plurality of tile areas,
Further divided into a plurality of small areas of the divided each tile region,
It instructs emphasis area to the divided each tile region,
Each elemental image is divided into a plurality of small areas,
According to the designated important area, the difference between the image characteristics related to the color space of the respective small regions of the first image and the material image is weighted and calculated,
Select the material images corresponding to the respective tile areas according to the result of the calculation,
An image processing method, wherein a different important area can be designated for each tile area .

前記各タイル領域に対応する素材画像は、前記各タイル領域の画像特性に最も近い画像特性を有する素材画像であることを特徴とする請求項１に記載の画像処理方法。The image processing method according to claim 1, wherein the material image corresponding to each of the tile regions is a material image having image characteristics closest to the image characteristics of each of the tile regions.

前記画像特性は、前記各タイル領域及び素材画像を形成する複数の小領域のそれぞれの平均ＲＧＢ値であることを特徴とする請求項１に記載の画像処理方法。The image processing method according to claim 1, wherein the image characteristic is an average RGB value of each of the tile areas and a plurality of small areas forming the material image.

前記計算では、前記重視エリアに対応する小領域の前記画像特性の差分に対応する重み付けを大きくすることを特徴とする請求項１に記載の画像処理方法。 2. The image processing method according to claim 1, wherein in the calculation, a weight corresponding to a difference between the image characteristics of a small area corresponding to the important area is increased.

更に、選択された素材画像を対応するタイル領域に貼付けてモザイク画像を生成する工程を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。The image processing method according to claim 1, further comprising: attaching a selected material image to a corresponding tile area to generate a mosaic image.

複数の素材画像を組み合わせてモザイク画像を形成する画像処理装置であって、
モザイク画像の基になる第一画像を入力する入力手段と、
前記複数の素材画像を記憶する記憶手段と、
前記第一画像を複数のタイル領域に分割し、更に前記各タイル領域を複数の小領域に分割して各小領域の色空間に関する画像特性を求める画像特性獲得手段と、
前記各タイル領域に対して、それぞれ異なる重視エリアを指示可能な指示手段と、
前記指示手段により指示された前記重視エリアに応じて、前記第１画像と前記複数の素材画像とのそれぞれの小領域の色空間に関する画像特性との差を重みを付けて演算し、前記第一画像の各タイル領域と前記各素材画像との間の距離を演算する距離演算手段と、
前記距離演算手段により計算された距離に応じて前記各タイル領域に対応する素材画像を選択する選択手段と、
を有することを特徴とする画像処理装置。An image processing apparatus that forms a mosaic image by combining a plurality of material images,
Input means for inputting a first image on which to base the mosaic image,
Storage means for storing the plurality of elemental images,
Dividing the first image into a plurality of tile areas, further dividing each tile area into a plurality of small areas, and obtaining an image property relating to a color space of each small area;
Wherein for each tile region, and steerable instructing means different emphasis areas,
Depending on the focus area which has been instructed by the instruction means, the difference between the image characteristics for each of the small regions the color space between the first image and the plurality of elemental images is calculated by a weighted, the first Distance calculating means for calculating the distance between each tile area of the image and each of the material images,
Selecting means for selecting a material image corresponding to each of the tile areas according to the distance calculated by the distance calculating means,
An image processing apparatus comprising:

前記画像特性獲得手段は、前記各タイル領域の複数の小領域のそれぞれを形成する複数の画素値の平均ＲＧＢ値を求めて前記各小領域の色空間に関する画像特性を求めることを特徴とする請求項６に記載の画像処理装置。The image characteristic obtaining means obtains an average RGB value of a plurality of pixel values forming each of the plurality of small regions of each of the tile regions to obtain an image characteristic of the color space of each of the small regions. Item 7. The image processing device according to Item 6.

前記複数の素材画像のそれぞれを複数の小領域に分割し、各小領域の画像特性を求める手段を更に有することを特徴とする請求項６又は７に記載の画像処理装置。It said plurality of material dividing each image into a plurality of small regions, the image processing apparatus according to claim 6 or 7, further comprising means for determining the image characteristics of each small area.

前記距離演算手段は、前記指示手段で指示された前記重視エリアに対応する小領域の画像特性の差の重み付けを大きくして前記距離を演算するようにしたことを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。Said distance calculating means, according to claim 6 to 8, characterized in that by increasing the weighting of the difference between the image characteristics of the small area corresponding to the focus area instructed by the instructing means is adapted to calculating the distance the image processing apparatus according to any one of.

更に、前記選択手段により選択された素材画像を、対応するタイル領域に貼付けてモザイク画像を生成する生成手段を有することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。The image processing apparatus according to claim 6, further comprising a generation unit configured to generate a mosaic image by pasting the material image selected by the selection unit to a corresponding tile area. .

複数の素材画像を組み合わせてモザイク画像を形成する画像処理方法を実行するプログラムを記憶した、コンピュータにより読取り可能な記憶媒体であって、前記モザイク画像の基になる第一画像を複数のタイル領域に分割するプログラムコード・モジュールと、
分割された各タイル領域を更に複数の小領域に分割するプログラムコード・モジュールと、
前記分割された各タイル領域に対して重視エリアを指示するプログラムコード・モジュールと、
各素材画像を複数の小領域に分割するプログラムコード・モジュールと、
前記指示された重視エリアに応じて、前記第一画像と前記素材画像のそれぞれの小領域の色空間に関する画像特性の差分を重みを付けて計算するプログラムコード・モジュールと、
前記計算の結果に応じて前記各タイル領域に対応する素材画像を選択するプログラムコード・モジュールとを有し、
前記各タイル領域ごとに異なる重視エリアを指示可能であることを特徴とする記憶媒体。A computer-readable storage medium storing a program for executing an image processing method of forming a mosaic image by combining a plurality of material images, wherein a first image based on the mosaic image is stored in a plurality of tile areas. A program code module to be split,
A program code module for further dividing each divided tile region into a plurality of small regions;
A program code module for designating an important area for each of the divided tile areas;
A program code module for dividing each elemental image into a plurality of small areas,
A program code module that calculates a difference between image characteristics related to the color space of each of the small regions of the first image and the material image by weighting according to the designated important area ,
A program code module for selecting a material image corresponding to each tile area according to the result of the calculation ,
A storage medium characterized in that different emphasis areas can be designated for each tile area .