JP2004120092A

JP2004120092A - 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム

Info

Publication number: JP2004120092A
Application number: JP2002277550A
Authority: JP
Inventors: Okinobu Tsuchiya; 土屋　興宜
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-09-24
Filing date: 2002-09-24
Publication date: 2004-04-15

Abstract

【課題】処理対象の画像が如何なる画像であっても、良好な色処理後の画像を容易且つ効率的に提供できる画像処理装置を提供する。
【解決手段】対象画像を領域分割し、当該分割領域に対して色処理を施すにあたり、分割手段４０７〜４０９は、対象画像の色情報、及び対象画像に対するエッジ抽出により得られる空間周波数情報に基づいて、対象画像を領域分割する。
【選択図】　図４

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、画像を領域分割し、領域毎に、或いは必要な領域に対して、色調整又は色修正等の色処理を施す装置或いはシステムに用いられる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体、及び当該プログラムに関するものである。
【０００２】
【従来の技術】
従来より例えば、画像を領域に分割し、領域毎に或いは必要な領域に対して、色調整又は色修正等の色処理を行うという画像処理は、印刷製版工程におけるカタログやチラシ等の作成や、ＤＴＰ（Ｄｅｓｋ　Ｔｏｐ　Ｐｕｂｌｉｓｈｉｎｇ　）等のディザイナー側において、画像レタッチソフトウェアを用いての画像調整等で頻繁に行われる処理である。
【０００３】
ところで、画像を分割して類似色が同一領域となるようにし、その後、各領域に対して色処理するという画像処理では、処理対象の画像が、背景に当該背景色と区別ができる文字が描かれている画像のように、領域分割しやすい画像であるならば問題ない場合が多い。しかしながら、処理対象の画像が、自然画等のような画像である場合、具体的には、色の変化がなだらかな画像である場合、画像を領域分割して色処理しようとしても、領域分割した結果が人間の感覚と一致しない等のために、分割領域に対して実施した色処理に不具合を生じる場合がある。
【０００４】
上記の不具合の代表的なものとしては、例えば、分割領域毎に色処理を行った結果、領域を分割している分割線が目立ってしまい、原画像には存在しなかった境界線である所謂擬似輪郭が発生し、原画像と比較しても、不自然な処理後画像が得られてしまう、という不具合が挙げられる。
【０００５】
そこで、上記の問題点を解決するために、領域分割の精度を上げ、人間の感覚に近いような領域分割を行えることを目的とした画像処理方法として、例えば、特開平６−２３７３７２号公報等では、クラスタリングを行う空間を工夫して、領域分割の結果が、人間の感覚に近くなるようにする方法が提案されている。
【０００６】
また、例えば、特開平１１−３０６３３４号公報等では、対象画像を色及び座標空間上でクラスタリングして領域分割し、当該領域分割されたクラスタ間の色変化の小さい領域を曖昧領域として設定し、当該曖昧領域については、画像処理のパラメータを調整する方法が提案されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、特開平６−２３７３７２号公報等に記載の従来の画像処理方法では、領域分割処理をどのように工夫したとしても、人間の感覚に近い領域分割を行うことはかなり困難であると思われる。
また、特開平１１−３０６３３４号公報等に記載の従来の画像処理方法では、領域分割処理を精度良く行うために、色処理の対象を原画像全体とする必要があり、この結果、領域分割に必要なメモリ容量及び演算量共に膨大なものとなってしまう。例えば、画像を領域分割して、前記分割された領域毎に異なる画像処理を行う場合、画像の実解像度でのプレスキャン及び領域分割と、画像領域毎の画像処理（実解像度）の２回の、実解像度でのスキャンが必要となる。
【０００８】
そこで、本発明は、上記の欠点を除去するために成されたもので、処理対象の画像が如何なる画像であっても、良好な色処理後の画像を容易且つ効率的に提供できる、画像処理装置、画像処理システム、画像処理方法、それを実施するためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体、及び当該プログラムを提供することを目的とする。
【０００９】
具体的には例えば、処理対象の画像を領域分割し、その後、各領域毎の色処理を行っても、領域の切り替わり部に擬似輪郭が生じないようにする。また、領域分割を行う際、これに要するメモリ量や演算量を少なくし、簡易的な領域分割を行えるようにする。
【００１０】
【課題を解決するための手段】
斯かる目的下において、本発明は、対象画像を領域分割し、当該分割領域に対して色処理を施す画像処理装置であって、対象画像から得られる色情報及び空間周波数情報に基づいて、対象画像を領域分割する分割手段を備えることを特徴とする。
【００１１】
また、本発明は、対象画像をプレスキャンすることで検出した対象画像の特徴に基づいて、対象画像への補正処理を行なう画像処理装置であって、上記プレスキャンの際に入力された対象画像の領域分割を行い、当該領域分割で確定しなかった領域については、上記補正処理の際に再度領域分割を行なう分割手段と、上記分割手段により得られた分割領域毎に、対象領域に応じた上記補正処理を施す処理手段とを備えることを特徴とする。
【００１２】
また、本発明は、対象画像において、類似した色が同一領域となるよう領域分割を行うための画像処理方法であって、対象画像を入力する入力ステップと、上記入力ステップにより入力された対象画像の色情報を認識する色情報認識ステップと、上記入力ステップにより入力された対象画像の空間周波数情報を認識する空間周波数情報認識ステップと、上記色情報認識ステップにより認識された色情報、及び空間周波数情報認識ステップにより認識された空間周波数情報により、対象画像領域を認識する画像領域認識ステップとを含むことを特徴とする。
【００１３】
また、本発明は、対象画像をプレスキャンして対象画像の特徴を検出し、当該検出結果に基づき対象画像の補正処理を行なうための画像処理方法であって、上記プレスキャンの際に入力画像の領域分割を行い、上記プレスキャンの際の領域分割により確定しなかった領域については上記補正処理の際に再度領域分割を行ない、当該分割領域に応じた上記補正処理を行なう処理ステップを含むことを特徴とする。
【００１４】
また、本発明は、コンピュータを所定の手段として機能させるためのプログラムであって、上記所定の手段は、対象画像を領域分割し、当該分割領域に対して色処理を施す装置或いはシステムが有する手段として、対象画像から得られる色情報及び空間周波数情報に基づいて、対象画像を領域分割する手段を備えることを特徴とする。
【００１５】
また、本発明は、コンピュータを所定の手段として機能させるためのプログラムであって、上記所定の手段は、対象画像をプレスキャンすることで検出した対象画像の特徴に基づいて、対象画像への補正処理を行なう装置或いはシステムが備える手段として、上記プレスキャンの際に入力された対象画像の領域分割を行い、当該領域分割で確定しなかった領域については、上記補正処理の際に再度領域分割を行なう分割手段と、上記分割手段により得られた分割領域毎に、対象領域に応じた上記補正処理を施す処理手段とを備えることを特徴とする。
【００１６】
また、本発明は、コンピュータに所定のステップを実行させるためのプログラムであって、上記所定のステップは、対象画像を類似した色が同一となるよう領域分割を行うための処理ステップとして、対象画像を入力する入力ステップと、上記入力ステップにより入力された対象画像の色情報を認識する色情報認識ステップと、上記入力ステップにより入力された対象画像の空間周波数情報を認識する空間周波数情報認識ステップと、上記色情報認識ステップにより認識された色情報、及び空間周波数情報認識ステップにより認識された空間周波数情報により、対象画像領域を認識する画像領域認識ステップとを含むことを特徴とする。
【００１７】
また、本発明は、コンピュータに所定のステップを実行させるためのプログラムであって、上記所定のステップは、対象画像をプレスキャンして対象画像の特徴を検出し、当該検出結果に基づき対象画像の補正処理を行なうための処理ステップとして、上記プレスキャンの際に入力画像の領域分割を行い、上記プレスキャンの際の領域分割により確定しなかった領域については上記補正処理の際に再度領域分割を行ない、当該分割領域に応じた上記補正処理を行なう処理ステップを含むことを特徴とする。
【００１８】
また、本発明は、請求項１４〜１７の何れかに記載のプログラムをコンピュータ読み取り可能な記憶媒体に記録したことを特徴とする。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００２０】
本発明は、例えば、図１に示すようなホストコンピュータ１００に適用される。
本実施の形態のホストコンピュータ１００は、画像を類似した色が同一となるよう分割した領域に対して色調整や色修正等の色処理を行う、或いは画像を分割した領域毎に色調整や色修正等の色処理を行う機能を有し、特に、画像を領域分割した後に領域毎に色処理を行っても、領域の切り替わり部に擬似輪郭が生じることがなく、また、領域分割に要するメモリ量及び演算量が少ない簡易的な領域分割を実施するように構成されている。
以下、本実施の形態のホストコンピュータ１００の構成及び動作について具体的に説明する。
【００２１】
＜ホストコンピュータ１００の構成＞
ホストコンピュータ１００には、上記図１に示すように、例えば、インクジェットプリンタ等のプリンタ１０６とモニタ１０５が接続されている。
【００２２】
また、ホストコンピュータ１００は、ワープロや、表計算、或いはインターネットブラウザ等のアプリケーションソフトウエア１０１と、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）１０２と、アプリケーションソフトウエア１０１によりＯＳ１０２に対して発行される出力画像を示す各種描画命令群（イメージ描画命令、テキスト描画命令、及びグラフィックス描画命令等）を処理して印刷データを作成するプリンタドライバ１０３と、アプリケーションソフトウエア１０１により発行される各種描画命令群を処理してモニタ１０６で画面表示を行うモニタドライバ１０４とをソフトウエアとして有する構成としている。
【００２３】
また、ホストコンピュータ１００は、ソフトウエア１０１〜１０４が動作可能なハードウエアとして、中央演算処理装置（ＣＰＵ）１０８、ハードディスクドライバ（ＨＤ）１０７、ランダムアクセスメモリ（ＲＡＭ）１０９、及びリードオンリーメモリ（ＲＯＭ）１１０等を備えている。
【００２４】
上記図１に示される本実施の形態としては、例えば、ホストコンピュータ１００として、一般的に普及しているＩＢＭ社のＡＴコンパチのパーソナルコンピュータを使用し、このパーソナルコンピュータに対して、Ｍｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ（Ｒ）９８をＯＳ１０２として使用し、任意の印刷可能なアプリケーション１０１をインストールし、そして、モニタ１０５とプリンタ１０６を接続した形態が挙げられる。
【００２５】
＜ホストコンピュータ１００の一連の動作＞
ホストコンピュータ１００において、例えば、ＣＰＵ１０８は、ユーザからの指示（モニタ１０５に表示された画像に基づいた指示）により、アプリケーション１０１を起動する。これにより、アプリケーション１０１は、文字等のテキストに分類されるテキストデータや、図形等のグラフィックスに分類されるグラフィックスデータ、或いは自然画等に分類されるイメージ画像データ等を用いた出力画像データを生成する。
【００２６】
出力画像データを印刷出力する場合、アプリケーション１０１は、ＯＳ１０２に対して印刷出力要求を発行する。
具体的には例えば、アプリケーション１０１は、出力画像データについて、グラフィックスデータ部分はグラフィックス描画命令、イメージ画像データ部分はイメージ描画命令で構成される出力画像を示す描画命令群を、ＯＳ１０２に対して発行する。
【００２７】
ＯＳ１０２は、アプリケーション１０１からの描画命令群を受け取り、当該描画命令群を印刷要求として、プリンタ１０６に対応するプリンタドライバ１０３に対して発行する。
【００２８】
プリンタドライバ１０３は、ＯＳ１０２からの印刷要求（描画命令群）を処理することで、プリンタ１０５で印刷可能な印刷データを生成し、これをプリンタ１０６に対して転送する。
具体的には例えば、プリンタ１０６がラスタープリンタである場合、プリンタドライバ１０３は、ＯＳ１０２からの描画命令群に対して、順次画像補正処理を行い、順次ＲＧＢ２４ビットページメモリにラスタライズし、全ての描画命令をラスタライズした後に、ＲＧＢ２４ビットページメモリの内容を、プリンタ１０６が印刷可能なデータ形式、例えば、ＣＭＹＫデータに変換し、これをプリンタ１０６に対して転送する。
【００２９】
＜プリンタドライバ１０３の構成＞
プリンタドライバ１０３は、例えば、図２２に示されるような色処理を実行するものであり、図２に示すように、画像補正処理部２０１及びプリンタ用補正処理部２０２を含んでいる。
【００３０】
画像補正処理部２０１は、ＯＳ１０２からの描画命令群に含まれる色情報に対して、画像補正処理を行う。
具体的には例えば、画像補正処理部２０１は、描画命令群により示される画像全体を、そのＲＧＢ色情報に基づき領域分割し、分割領域毎に異なる色変換を行なう。
【００３１】
プリンタ用補正処理部２０２は、先ず、画像補正処理部２０１で画像補正処理された色情報に基づき、描画命令群をラスタライズすることで、ＲＧＢ２４ビットページメモリ上にラスター画像を生成する。そして、プリンタ用補正処理部２０２は、当該ラスター画像を構成する各画素に対して、プリンタ１０６の色再現性に依存したＣＭＹＫデータを生成し、これをプリンタ１０６に対して転送する。
【００３２】
＜画像補正処理部２０１の全体動作＞
図３は、画像補正処理部２０１の全体動作をフローチャートにより示したものである。
【００３３】
ステップＳ３０１：
画像補正処理部２０１は、ＯＳ１０２からの描画命令群により示される画像全体（以下、「原画像」とも言う）をプレスキャンすることで、領域テーブルを生成する。
【００３４】
具体的には例えば、画像補正処理部２０１は、原画像（図５）をプレスキャンすることで、原画像全面の情報を収集し、この情報に基づいて、原画像を領域分割し、領域テーブルを生成する。ここで、領域テーブルとは、原画像（図５）に対応して、例えば、「緑の領域」、「空の領域」、「肌の領域」などをあらわすフラグを記した「２次元の座標値−領域フラグ」の形式のテーブル（図８）のことである。
【００３５】
尚、プレスキャン処理時では、画像補正処理部２０１は、原画像を構成する全画素について処理するのではなく、例えば、原画像全面について６４０画素×４８０画素分をサンプリングし、このサンプリング後の画像（図６）について処理を行う。
このように処理対象画素数を減らすことにより、領域分割処理時のメモリ使用量軽減及び処理の高速化を図ることができる。
【００３６】
ステップＳ３０２：
画像補正処理部２０１は、ステップＳ３０１で生成した領域テーブル（図８）を参照し、これに基づいて、原画像を分割した領域毎（ラスタ毎）に、当該分割領域に応じた画像変換（当該分割領域毎に異なる画像処理）を行う。
【００３７】
＜画像補正処理部２０１における領域テーブル設定処理（ステップＳ３０１）＞図４は、画像補正処理部２０１において、上記図３に示したステップＳ３０１の処理を実施するための構成を示したものである。
画像補正処理部２０１は、上記図４に示すように、画像入力部４０１、画像サンプル部４０２、画像信号変換部４０３、画像再サンプル部４０４、エッジ抽出部４０５，４０６、領域フラグ設定部４０７、境界領域選択部４０８、及び境界領域フラグ設定部４０９を備えている。
【００３８】
特に、本実施の形態では、上記図４に示す構成において、画像サンプル部４０２及び画像再サンプル部４０４でサンプリングを行った入力画像データ（原画像データ）について、エッジ抽出部４０５，４０６でエッジ抽出を行い、領域フラグ設定部４０７において、エッジ抽出により取得した空間周波数情報、及び入力画像の色情報に基づき領域分割を行なう。このとき、サンプリング後の画像データからは正確に領域分割できない領域については、詳細は後述するが、画像補正時に実解像度での領域分割を行い、当該分割領域に応じた画像補正処理を行なう。
【００３９】
具体的には、先ず、画像入力部４０１は、ＯＳ１０２からの描画命令群により構成される画像、例えば、図５に示すような、ＲＧＢ形式の画像データ５００を入力画像データとして、画像サンプル部４０２に対して入力する。ここで図５の入力画像の画像サイズは、例えば、２５６０画素×１９２０画素のデータである。
【００４０】
画像サンプル部４０２は、画像入力部４０１からの入力画像データ５００をサンプリングし、例えば、図６に示すような、６４０画素×４８０画素のサイズのサムネイル程度の画素数にまで間引いた画像データ５０１を生成する。
なお、図６では、原画像（図５）にサンプリング間隔を記した模式的な描き方をしているが、実際には、図６の１マスの画素値は、原画像（図５）の対応する領域の画素値の平均値となっている。
画像信号変換部４０３は、画像サンプル部４０２で得られた画像データ５０１を、ＹＣｒＣｂ形式の画像データに変換する。
【００４１】
画像再サンプル部４０４は、画像サンプル部４０２と同様にして、画像信号変換部４０３による変換後の画像データをサンプリングし、例えば、図７に示すような画像データ５０２を生成する。ここで、図７は、３２０画素×２４０画素となっている。
エッジ抽出部４０５は、画像再サンプル部４０４で得られた画像データ５０２から、低周波数領域を抽出することで、低周波エッジ画像を生成する。
【００４２】
エッジ抽出部４０６は、画像信号変換部４０３による変換後の画像データから、中周波数領域を抽出することで、中周波エッジ画像を生成する。
【００４３】
領域フラグ設定部４０７に対しては、エッジ抽出部４０５で得られた低周波エッジ画像、エッジ抽出部４０６で得られた中周波エッジ画像、及び画像信号変換部４０３による変換後の画像（無変換の６４０画素×４８０画素のＹＣｒＣｂ形式の間引き画像）が入力される。
【００４４】
領域フラグ設定部４０７は、詳細は後述するが、図６の入力画像に基づいて、例えば、図８に示されるような、緑領域、肌領域、及び空領域等の特定色領域（上記図８では、これらの特定色色領域を異なるタイプの斜線で示す）に対応したフラグを割り当て、当該境界フラグからなる境界なしフラグテーブルを生成する。
【００４５】
ところで、画像を粗く間引いた間引き画像上で領域分割を行っても、上記図８に示される間引き画像上での境界領域は、上記図５に示した原画像（実解像度画像）５００の境界領域には厳密に対応しない。すなわち、図８の領域テーブルの解像度は、図５の原画像よりも解像度が粗く設定されているため、図８の領域テーブルの解像度では表現し得ない、原画像（図５）における細かな構造物については、誤判定されてしまったり、原画像（図５）の解像度では２つに分割されるべき領域が、図８の領域テーブルの解像度では，どちらか一方の領域として認識されてしまう場合がある。
【００４６】
そこで、本実施の形態では、本処理（上記図３に示したステップＳ３０１の処理）において、上記図８に示すように粗い領域分割を行い、その境界部分については、本スキャン時に、原画像（実解像度画像）５００の解像度で再領域分割を行うようにしている。
【００４７】
具体的には、境界領域選択部４０８は、領域フラグ設定部４０７で設定された境界なし領域テーブルに基づいて、例えば、図９に示すように、「○（白丸）」で示す領域を選択する。
ここでの境界領域の選択では、例えば、図１０に示すように、８近傍領域について、当該８近傍画素中の３画素以上、注目点と異なる領域が含まれている場合に、境界領域と見なすようにする。
【００４８】
境界領域選択部４０８で選択された領域、例えば、図１１に示すような、斜線で塗りつぶされていない領域については、境界領域フラグ設定部４０９により、図１２に示すように境界領域フラグを設定する。
【００４９】
したがって、上記図３に示したステップ３０１の領域テーブルの設定では、例えば、緑領域、肌領域、及び空領域等の特定色領域と、境界領域と、これらを除いた非特定色領域とに分割された、サムネイル程度の間引き画像サイズの画像についての領域テーブルが生成されることになる。
【００５０】
領域フラグ設定部４０７は、例えば、図１３に示すような構成により、境界なし領域テーブルを設定する。
【００５１】
具体的には、まず、領域フラグ設定部４０７には、上述したように、エッジ抽出部４０５で得られた低周波エッジ画像、エッジ抽出部４０６で得られた中周波エッジ画像、及び画像信号変換部４０３による変換後の画像（無変換の６４０画素×４８０画素のＹＣｒＣｂ形式の間引き画像）が入力され、領域フラグ設定部４０７は、これらの入力画像に基づいて、領域識別のためのフラグを設定することで領域テーブルを生成し、これを出力する。
【００５２】
このため領域フラグ設定部４０７は、上記図１３に示すように、低周波域判別部６１１及び中周波域判別部６１２を含む周波数判定部６１０と、色相判定部６２１、明度判定部６２２、及び彩度判定部６２３を含む色度判定部６２０と、領域決定部６３０と、領域フラグ設定部６４０とを備えている。
【００５３】
ここでは説明の簡単のため、例えば、間引き画像を、６４０画素×４８０画素サイズのＹＣｒＣｂデータの画像とし、低周波領域のエッジ画像（低周波エッジ画像）を、３２０画素×２４０画素サイズのＹデータをＬａｐｌａｃｉａｎフィルタで処理したグレースケール画像とし、中周波領域のエッジ画像（中周波エッジ画像）を、６４０画素×４８０画素サイズのＹデータをＬａｐｌａｃｉａｎフィルタで処理したグレースケール画像としている。
【００５４】
領域フラグ設定部４０７において、先ず、低周波エッジ画像は、低周波域判定部６１１に対して入力され、中周波エッジ画像は、中低周波域判定部６１２に対して入力され、間引き画像は、色度判定部６２０に対して入力される。
【００５５】
低周波域判定部６１１、中低周波域判定部６１２、色度判定部６２０に含まれる色相判定部６２１、明度判定部６２２、及び彩度判定部６２３はそれぞれ、例えば、図１４に示されるような分割手法（定量的な分割条件）に従って、入力画像の領域分割を行う。
領域決定部６３０は、低周波域判定部６１１、中低周波域判定部６１２、色相判定部６２１、明度判定部６２２、及び彩度判定部６２３による領域分割結果に基づいて、該当する領域を特定する。
【００５６】
尚、どの領域にも該当しない領域については、「その他の領域」として分類される。
【００５７】
領域フラグ設定部６４０は、領域決定部６３０により特定された領域に基づいて、領域テーブル上の対応する箇所に該当する領域のフラグを設定し、これを境界なし領域テーブルとして出力する。
【００５８】
尚、定量的な分割条件としては、上記図１４に示したものに限られることはなく、例えば、図１５に示すような条件をも適用可能である。
上記図１５に示す分割条件において、「Ｌａｐｌａｃｉａｎ３２０×２４０」は、３２０画素×２４０画素に再サンプルされたＹ画像をＬａｐｌａｃｉａｎフィルタで処理したものを示し、「Ｌａｐｌａｃｉａｎ６４０×４８０」は、６４０画素×４８０画素にサンプルされたＹ画像を処理したものを示す。
また、上記図１５に示す分割条件では、全ての特徴量についての閾値に従って処理が実行されることになるが、例えば、図１６に示されるような確率的な判定結果に従って処理を実行するように構成してもよい。この場合、当該判定結果を、それぞれの領域である確率を用いて、重み付けベクトルに反映させるようにすればよい。
【００５９】
上述のように本実施の形態では、従来の色度を用いた領域分割の構成に加えて、周波数領域での条件を分割の条件とするように構成しているので、領域分割の精度を高めることができる。また、周波数領域での条件に従って、入力画像のプレスキャン時に収集する間引き画像を用いて処理することで、実空間領域でのフィルタ処理を高速に行うことが可能となる。
【００６０】
＜画像補正処理部２０１における領域別画像変換処理（ステップＳ３０２）＞
図１７は、画像補正処理部２０１において、上記図３に示したステップＳ３０２の処理を実施するための構成を示したものである。
画像補正処理部２０１は、上記図１７に示すように、上記図４に示した画像入力部４０１及び画像信号変換部４０３と共に、セレクタ４１０、局所領域フラグ設定部４１１、局所領域画像処理決定部４１２、領域毎画像処理決定部４１３、境界領域フラグ選択部４１４、セレクタ４１５、画像変換部４１６、画像信号変換部４１７、及び画像出力部４１８を備えている。
【００６１】
上記図１７に示す構成では、原画像のプレスキャン時に、上記図４に示した構成（上記図３に示したステップＳ３０１の領域テーブル設定処理を実施するための構成）により得られた領域テーブルデータに基づき、対応する画像領域毎に異なる画像変換を行う。
【００６２】
本発明は、領域分割の精度を上げるために、色味による分割及び周波数領域での分割において、
１．低解像度のサムネイル画像を使用しての粗い領域分割
２．原画像と同じ（または近い）解像度での領域再分割（１で決定しきれない部分のみ）
というように、２段構えの領域分割をおこなうことで、処理が軽く、必要となるメモリ容量の少ない領域分割を行うことができる。
【００６３】
尚、ここで使用する領域テーブルデータは、処理対象の入力画像（図５）のサイズが２５６０画素×１９２０画素であるのに対し、入力画像をサンプリングした６４０画素×４８０画素となっており、相対的に小さな（解像度が粗い）サイズとなっている。
【００６４】
したがって、２５６０画素×１９２０画素の画像サイズでは表現可能だが、６４０画素×４８０画素でサンプリングすると、その形状が崩れてしまうような細かな構造物（エッジ等）がある場合には、原画像では細かな構造物（エッジ等）の左右で色味が変化していたとしても、粗い解像度での領域分割が行なわれた結果、上記構造物（エッジ等）の左右とも同じ色領域として変換されてしまい、細かな構造物を表現できなくなってしまう場合がある。
【００６５】
そこで、本発明では、原画像よりも低い解像度で大まかに領域分割を行い、低解像度の領域分割での分割領域の境界部分については、画像変換の直前でより高い解像度で再分割を行なうことで、解像度の高い原画像の変換において、高解像度な原画像に対して、不自然な変換が行なわれないようにしている。
【００６６】
具体的には、先ず、画像入力部４０１は、上記図５に示したような画像データ（ＲＧＢ形式の画像データ）５００を入力する。
画像入力部４０１により入力された画像データは、以下に説明するような「境界領域でない場合」と「境界領域である場合」に分けて処理される。
【００６７】
境界領域でない場合：
画像信号変換部４０３は、画像入力部４０１により入力されたＲＧＢ形式の画像データを、ＹＣｒＣｂ形式の画像データに変換する。
【００６８】
画像処理決定部４１３は、画像信号変換部４０３による変換後の画像データについて、ステップＳ３０１の領域テーブル設定処理で得られた領域テーブルを参照し、現在の変換対象の画素が境界領域であるか否かを調べ、この結果、境界領域でない場合、領域テーブルに設定されたフラグ（領域識別番号）に基づいて、例えば、緑領域用色処理、肌領域用色処理、空領域用色処理、及び非特定色領域用色処理の重み付けベクトルＷｕｎｉｔを決定する。
【００６９】
具体的には例えば、上記図５に示す画像上の領域Ｇ０について、領域テーブルでは、上記図１２の“Ｇ０”部分に示すように、緑領域のフラグ（領域識別番号）が設定されている。
【００７０】
したがって、画像処理決定部４１３は、上記の設定に基づいて、
Ｗｕｎｉｔ＝｛１（緑領域），０（肌領域），０（空領域），０（非特定領域）｝
なる色処理の重み付けベクトルＷｕｎｉｔを設定する。
【００７１】
セレクタ４１５は、境界領域でない場合に境界領域フラグ選択部４１４から供給される非境界領域を示す信号に基づいて、画像処理決定部４１３で設定された重み付けベクトルＷｕｎｉｔを選択して画像変換部４１６に供給する。
画像変換部４１６は、画像信号変換部４０３による変換後の画像データを、セレクタ４１５からの重み付けベクトルＷｕｎｉｔで重み付けした処理により画像変換する。
【００７２】
画像変換部４１６による変換後の画像データ（ＹＣｒＣｂ形式の画像データ）は、画像信号変換部４１７によりＲＧＢ形式の画像データに変換され、画像出力部４１８を介して出力される。
【００７３】
境界領域である場合：
画像信号変換部４０３は、画像入力部４０１により入力されたＲＧＢ形式の画像データを、ＹＣｒＣｂ形式の画像データに変換する。
【００７４】
画像処理決定部４１２は、画像信号変換部４０３による変換後の画像データについて、ステップＳ３０１の領域テーブル設定処理で得られた領域テーブルを参照し、現在の変換対象の画素が境界領域であるか否かを調べ、この結果、境界領域であることを認識すると（上記図１２参照）、画素毎に順次、画像処理を決定する。
【００７５】
具体的には例えば、本実施の形態では、原画像（図５）よりも粗い解像度の領域テーブル（図８）によって定められた画像の境界領域において、境界前後で画像処理が変化することによって生じる階調の不連続を防ぐために、局所領域画像処理決定部４１２は、間引き画像での近傍領域での画像処理、及び局所領域フラグ設定部４１１で設定された領域での画像処理のそれぞれについて、荷重平均を取得し、これに基づいて、色処理の重み付けベクトルＷｌｏｃａｌを生成して出力する。
【００７６】
セレクタ４１５は、境界領域である場合に境界領域フラグ選択部４１４から供給される境界領域を示す信号に基づいて、画像処理決定部４１２で設定された重み付けベクトルＷｌｏｃａｌを選択して画像変換部４１６に供給する。
画像変換部４１６は、画像信号変換部４０３による変換後の画像データを、セレクタ４１５からの重み付けベクトルＷｌｏｃａｌで重み付けした処理により画像変換する。
【００７７】
画像変換部４１６による変換後の画像データ（ＹＣｒＣｂ形式の画像データ）は、画像信号変換部４１７によりＲＧＢ形式の画像データに変換され、画像出力部４１８を介して出力される。
【００７８】
図１８は、上記図１７に示した局所領域フラグ設定部４１１の構成を具体的に示したものである。
局所領域フラグ設定部４１１は、上記図１８に示すように、色相判定部７０１、明度判定部７０２、彩度判定部７０３、局所領域決定部７０４、及び局所領域フラグ設定部７０５を備えている。
【００７９】
局所領域フラグ設定部４１１に対しては、処理対象の領域が境界領域である場合に、セレクタ４１０を介したＹＣｒＣｂ形式の画像データが入力される。局所領域フラグ設定部４１１は、上記図１８に示した構成により、入力画像データにおいて、処理対象の領域が局所的にどの領域に属しているかを判定する。
【００８０】
すなわち、局所領域フラグ設定部４１１において、上記図４及び図１３に示した領域フラグ設定部４０７と同様に、色相判定部７０１、明度判定部７０２、及び彩度判定部７０３は、入力画像データについて、該当する領域を判定する。
【００８１】
局所領域決定部７０４は、色相判定部７０１、明度判定部７０２、及び彩度判定部７０３による判定結果に基づいて、該当する領域を決定する。なお、ここでの判定は図１５の周波数領域以外の項目に基づいて判定を行う。
局所領域フラグ設定部７０５は、局所領域決定部７０４により決定された領域に基づいて、該当する領域の識別フラグ（領域識別フラグ）を出力する。
【００８２】
尚、ここでは一例として、フィルタ処理を用いた空間周波数領域での判定は、実解像度画像に対して行うと演算量が多くなることから、色度のみを用いて判定を行うようにしているが、例えば、演算量の増加に対応できるような装置或いはシステムで本実施の形態の構成を実現する場合、勿論実解像度画像に対する空間周波数領域での判定を併用してもよい。
また、ここでは一例として、上記図４及び図１３に示した領域フラグ設定部４０７と同様に、閾値による処理を実行し、スカラーのフラグ（領域識別フラグ）を出力する構成としているが、例えば、上記図１６に示したような確率的な判定を行ない、ベクトル形式のフラグを出力し、これを重み付けベクトルＷｌｏｃａｌに反映させるようにしてもよい。
【００８３】
図１９は、上記図１７に示した画像変換部４１６の構成を具体的に示したものである。
画像変換部４１６は、入力画像データ（原画像データ）を、色処理の重み付けベクトルＷｌｏｃａｌで重み付けした処理により画像変換するものであり、上記図１９に示すように、ＬＵＴ演算部８０１〜８０３，８０９、重み付け処理部８０４〜８０７、及び加算器８０８を備えている。
【００８４】
画像変換部４１６には、セレクタ４１５（上記図１７参照）により選択された各色処理の重み付けベクトルＷと、画像信号変換部４０３（上記図１７参照）によりＹＣｒＣｂ形式に変換された画像データが入力される。
【００８５】
ＬＵＴ演算部８０１〜８０３，８０９はそれぞれ、該当する色領域用の色処理テーブルが格納されたデータベース（不図示）を有し、当該色処理テーブルにより、入力画像データを変換する。
重み付け処理部８０４〜８０７はそれぞれ、ＬＵＴ演算部８０１〜８０３，８０９の中の対応する演算部から供給された画像データを、該当する色処理の重み付けベクトルＷに従って重み付けして出力する。
加算器８０８は、重み付け処理部８０４〜８０７の各出力を加算し、この加算結果を、ＹＣｒＣｂ形式の変換後画像データとして出力する。
【００８６】
尚、ＬＵＴ演算部８０１〜８０３，８０９がそれぞれ有するデータベース（ＤＢ）には、例えば、緑色領域用に最適化された色変換テーブル、空色領域用に最適化された色変換テーブル、肌色領域用に最適化された色変換テーブル、及びそれ以外の領域用の汎用の色変換テーブルが格納されている。これらの色変換テーブル（ＬＵＴ）の形式としては、例えば、Ｒ，Ｇ，Ｂ＝｛０，３２，６４，９６，１２８，１６０，１９２，２２４，２５５｝なる格子点について変換後のＲＧＢ値が記録された「３Ｄ　ＬＵＴ」の形式を用いている。したがって、ＬＵＴ演算部８０１〜８０３，８０９は、「３Ｄ　ＬＵＴ」の色変換テーブルを用いて、入力画像データを、例えば、四面体補間等の公知の補間技術を用いた補間演算で処理することで、入力画像データのＲＧＢ値を変換する。
【００８７】
図２０は、上記図１７に示した局所領域画像処理決定部４１２の構成を具体的に示したものである。
局所領域画像処理決定部４１２は、領域テーブルからのデータ、及び局所領域フラグ設定部４１１で設定された局所領域に対応する領域識別フラグに基づき、色処理の重み付けベクトルＷｌｏｃａｌを生成して出力するものであり、上記図２０に示すように、近傍領域フラグ検知部９０１及び領域フラグ合成部９０２を備えている。
【００８８】
近傍領域フラグ検知部９０１は、実画像解像度よりも低い６４０画素×４８０画素の低解像度でみた場合の近傍領域の領域識別フラグを調べ、各領域別に計数する。
領域フラグ合成部９０２は、境界前後での不連続階調の発生を抑えるために、局所領域フラグ設定部４１１で得られた領域識別フラグと、近傍領域フラグ検知部９０１により得られた近傍領域の領域識別フラグとを、各領域識別フラグのカウント値（計数）に従って重み付けして合成することで、各領域の重み付けベクトルＷｌｏｃａｌを生成して出力する。
【００８９】
図２１は、上記図２０に示した局所領域画像処理決定部４１２の構成を、より詳細に示したものである。
【００９０】
局所領域画像処理決定部４１２は、上記図２１に示すように、肌領域係数部９１１、空領域係数部９１２、緑領域係数部９１３、その他領域係数部９１４、加算器９１５、カウンタ９１６、除算器９１７、及びベクトル化部９１８を備えている。
【００９１】
局所領域画像処理決定部４１２は、上記図２１に示す構成により、領域テーブル上で境界領域となっている領域について、局所的な画像情報を元に判定された領域情報と、周囲との整合性をとることで、精密な領域分割を行いつつ、階調の不連続が生じないようにする。
【００９２】
局所領域画像処理決定部４１２は、局所領域フラグ設定部４１１で設定された局所的なフラグと、領域テーブルの処理対象の注目画素の近傍領域とに基づいて、領域重み付けベクトルＷｌｏｃａｌを出力する。
【００９３】
重み付けベクトルＷｌｏｃａｌは、領域テーブルの処理対象の注目画素の近傍領域での肌、空、緑、その他の色領域、それぞれの計数結果（計数部９１１〜９１４の計数結果）と、局所領域フラグ設定部４１１で設定された局所的なフラグとの総和が“１”となるように、除算器９１７により正規化し、これをベクトル化部９１８により単位ベクトル（Ｗｌｏｃａｌ）として出力する。
【００９４】
尚、本実施の形態では、領域分割された領域毎に異なる色処理を行うようにしたが、これに限られることはなく、例えば、分割領域毎に異なるフィルタ処理を行うことで、銀塩カメラで背景のぼかしに用いられるソフトフォーカスフィルタのような効果を出すことも可能である。
【００９５】
また、本発明の目的は、本実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が本実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、本実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００９６】
【発明の効果】
以上説明したように本発明では、対象画像を領域分割し、当該分割領域に対して色処理（補正処理）を施すにあたり、対象画像から得られる色情報及び空間周波数情報に基づいて、対象画像を領域分割するように構成した。
これにより、領域分割された後に各領域毎の色処理を行っても、領域の切り替わり部に擬似輪郭等が生じることはなく、良好な色処理後の画像を提供することができる。
【００９７】
また、対象画像をサンプリングした低解像度の画像を領域分割の対象とするように構成すれば、領域分割に要するメモリ量や演算量の少ない簡易的な領域分割を行うことができる。
【図面の簡単な説明】
【図１】本発明を適用したホストコンピュータの構成を示すブロック図である。
【図２】プリンタドライバの構成を示すブロック図である。
【図３】画像情報収集及び画像変換の処理を説明するためのフローチャートである。
【図４】画像変換部の構成を示すブロック図である。
【図５】処理対象となる画像（原画像）の一例を説明するための図である。
【図６】原画像のプレスキャンにおいて、画像情報を収集する対象となる６４０画素×４８０画素のサイズの間引き画像の一例を説明するための図である。
【図７】６４０画素×４８０画素のサイズの間引き画像を再度サンプルした低解像度画像の一例を説明するための図である。
【図８】特定色領域に対応したフラグのみが割り当てられた、境界フラグからなる境界なしフラグテーブルの一例を説明するための図である。
【図９】境界なしフラグテーブルにおいて、で境界領域として選択される領域を説明するための図である。
【図１０】注目画素の８近傍を説明するための図である。
【図１１】境界領域と原画像の対応を説明するための図である。
【図１２】境界領域フラグの設定された領域テーブルを説明するための図である。
【図１３】領域フラグ設定部の構成を示すブロック図である。
【図１４】定性的な領域分割の基準を説明するための図である。
【図１５】定量的な領域分割の基準を説明するための図である。
【図１６】特徴量について閾値による処理方法のバリエーションを説明するための図である。
【図１７】画像補正処理部の構成を示すブロック図である。
【図１８】局所領域フラグ設定部の構成を示すブロック図である。
【図１９】画像変換部の構成を示すブロック図である。
【図２０】局所領域画像処理決定部の構成を示すブロック図である。
【図２１】局所領域画像処理決定部の構成を詳細に示すブロック図である。
【図２２】プリンタドライバで行われる色処理を説明するための図である。
【符号の説明】
１００　ホストコンピュータ
１０１　アプリケーション
１０２　ＯＳ
１０３　プリンタドライバ
１０４　モニタドライバ
１０５　モニタ
１０６　プリンタ
１０７　ＨＤ
１０８　ＣＰＵ
１０９　ＲＡＭ
１１０　ＲＯＭ
２０１　画像補正処理部
４０１　画像入力部
４０２　画像サンプル部
４０３　画像信号変換部
４０４　画像再サンプル部
４０５　エッジ抽出部（低周波）
４０６　エッジ抽出部（中周波）
４０７　領域フラグ設定部
４０８　境界領域選択部
４０９　境界領域フラグ設定部

Claims

対象画像を領域分割し、当該分割領域に対して色処理を施す画像処理装置であって、
対象画像から得られる色情報及び空間周波数情報に基づいて、対象画像を領域分割する分割手段を備えることを特徴とする画像処理装置。
上記空間周波数情報は、対象画像をサンプリングした低解像度画像から得られる情報を含むことを特徴とする請求項１記載の画像処理装置。
上記分割手段は、対象画像をサンプリングした低解像度画像から得られる上記空間周波数情報に基づき対象画像を領域分割し、当該領域分割で分割できない領域については実解像度の対象画像から得られる上記空間周波数情報に基づき対象画像を領域分割することを特徴とする請求項１記載の画像処理装置。
上記分割手段により得られた分割領域毎に、対象領域に応じた色処理を施す処理手段を備えることを特徴とする請求項１記載の画像処理装置。
対象画像をプレスキャンすることで検出した対象画像の特徴に基づいて、対象画像への補正処理を行なう画像処理装置であって、
上記プレスキャンの際に入力された対象画像の領域分割を行い、当該領域分割で確定しなかった領域については、上記補正処理の際に再度領域分割を行なう分割手段と、
上記分割手段により得られた分割領域毎に、対象領域に応じた上記補正処理を施す処理手段とを備えることを特徴とする画像処理装置。
上記分割手段は、対象画像から得られる色情報及び空間周波数情報に基づいて、対象画像を領域分割することを特徴とする請求項５記載の画像処理装置。
上記分割手段は、上記プレスキャンの際に入力された対象画像の領域分割では、当該入力画像をサンプリングした当該入力画像よりも低解像度の画像を分割することを特徴とする請求項５記載の画像処理装置。
複数の機器が互いに通信可能に接続されてなる画像処理システムであって、
上記複数の機器のうち少なくとも１つの機器は、請求項１〜７の何れかに記載の画像処理装置の機能を有することを特徴とする画像処理システム。
対象画像を類似した色が同一となるよう領域分割を行うための画像処理方法であって、
対象画像を入力する入力ステップと、
上記入力ステップにより入力された対象画像の色情報を認識する色情報認識ステップと、
上記入力ステップにより入力された対象画像の空間周波数情報を認識する空間周波数情報認識ステップと、
上記色情報認識ステップにより認識された色情報、及び空間周波数情報認識ステップにより認識された空間周波数情報により、対象画像領域を認識する画像領域認識ステップとを含むことを特徴とする画像処理方法。
上記空間周波数情報認識ステップは、対象画像をサンプリングした低解像度画像の空間周波数情報を認識するステップを含むことを特徴とする請求項９記載の画像処理方法。
対象画像をプレスキャンして対象画像の特徴を検出し、当該検出結果に基づき対象画像の補正処理を行なうための画像処理方法であって、上記プレスキャンの際に入力画像の領域分割を行い、上記プレスキャンの際の領域分割により確定しなかった領域については上記補正処理の際に再度領域分割を行ない、当該分割領域に応じた上記補正処理を行なう処理ステップを含むことを特徴とする画像処理方法。
上記処理ステップは、対象画像を類似した色が同一となるよう領域分割を行うためのステップとして、
対象画像を入力する入力ステップと、
上記入力ステップにより入力された対象画像の色情報を認識する色情報認識ステップと、
上記入力ステップにより入力された対象画像の空間周波数情報を認識する空間周波数情報認識ステップと、
上記色情報認識ステップにより認識された色情報、及び空間周波数情報認識ステップにより認識された空間周波数情報により、対象画像領域を認識する画像領域認識ステップとを含むことを特徴とする請求項１１記載の画像処理方法。
上記処理ステップは、上記プレスキャン時の領域分割において、対象画像をサンプリングした当該対象画像よりも低解像度の画像を分割するステップを含むことを特徴とする請求項１１記載の画像処理方法。
コンピュータを所定の手段として機能させるためのプログラムであって、
上記所定の手段は、対象画像を領域分割し、当該分割領域に対して色処理を施す装置或いはシステムが有する手段として、
対象画像から得られる色情報及び空間周波数情報に基づいて、対象画像を領域分割する手段を備えることを特徴とするプログラム。
コンピュータを所定の手段として機能させるためのプログラムであって、
上記所定の手段は、対象画像をプレスキャンすることで検出した対象画像の特徴に基づいて、対象画像への補正処理を行なう装置或いはシステムが備える手段として、
上記プレスキャンの際に入力された対象画像の領域分割を行い、当該領域分割で確定しなかった領域については、上記補正処理の際に再度領域分割を行なう分割手段と、
上記分割手段により得られた分割領域毎に、対象領域に応じた上記補正処理を施す処理手段とを備えることを特徴とするプログラム。
コンピュータに所定のステップを実行させるためのプログラムであって、
上記所定のステップは、対象画像を類似した色が同一となるよう領域分割を行うための処理ステップとして、
対象画像を入力する入力ステップと、
上記入力ステップにより入力された対象画像の色情報を認識する色情報認識ステップと、
上記入力ステップにより入力された対象画像の空間周波数情報を認識する空間周波数情報認識ステップと、
上記色情報認識ステップにより認識された色情報、及び空間周波数情報認識ステップにより認識された空間周波数情報により、対象画像領域を認識する画像領域認識ステップとを含むことを特徴とするプログラム。
コンピュータに所定のステップを実行させるためのプログラムであって、
上記所定のステップは、対象画像をプレスキャンして対象画像の特徴を検出し、当該検出結果に基づき対象画像の補正処理を行なうための処理ステップとして、
上記プレスキャンの際に入力画像の領域分割を行い、上記プレスキャンの際の領域分割により確定しなかった領域については上記補正処理の際に再度領域分割を行ない、当該分割領域に応じた上記補正処理を行なう処理ステップを含むことを特徴とするプログラム。
請求項１４〜１７の何れかに記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記憶媒体。