JP2003085556A - 画像処理装置およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】 ＣＧ／写真混在画像を取り扱う画像処理装置
において、ＣＧ画像と写真画像とを自動的に領域判別で
きるようにする。 【解決手段】 ブロック分割部１２は、入力画像をブロ
ック分割する。ロック内色数算出部１４は、各ブロック
単位で色の使用数を求める。ブロック領域判別部１６
は、色の使用数を閾値ＴＨ０と比較し、個々のブロック
の属性を特定する。ブロック属性変更部１８は、ＣＧ／
写真の境界ブロックを未確定ブロックに変更する。確定
ＣＧブロック個別色抽出部２０は、確定ＣＧブロックに
含まれるＣＧ色を個々のブロックごとに抽出する。所属
ブロック抽出部３４は、境界ブロックを処理対象ブロッ
クとして、処理対象画素が属する処理対象ブロックを抽
出し、近傍ブロック抽出部３６は、近傍ブロックを抽出
する。属性特定部３８は、処理対象画素の画素値とＣＧ
色とを比較して処理対象画素の属性を判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、グラフィックス処
理により人工的に生成された文字やイラストなどのグラ
フィックス画像とカメラなどの撮影装置により撮影して
得られた写真画像などの撮影画像とが混在した画像を取
り扱う画像処理装置およびプログラムに関する。

【０００２】

【従来の技術】今日では、パソコンやデジタルカメラ
（スチルおよびムービーの何れをも含む）の普及に伴
い、カメラの撮影により得られた撮影画像（自然画像）
に対し、たとえば市販の画像編集ソフトを使用して編集
処理を施したり、あるいはコンピュータグラフィックス
（ＣＧ）処理で人工的に生成したロゴ文字やイラストな
どのグラフィックス画像（ＣＧ画像・人工画像）と撮影
画像とを合成して新たな画像を生成することが簡単にな
っている。

【０００３】一方たとえば、年賀用の文字やイラスト
と、撮影画像の一例である写真を挿入するための空白領
域とからなるテンプレートを利用して写真入り年賀用ポ
ストカードを作成するといった加工プリントサービスが
古くから行なわれている。従来、このサービスを行なう
ためには、メーカによって予め作成された文字や図形な
どを適当に配置したテンプレート（デザインパターン）
をラボの店頭などで提供し、ユーザが提示する写真（ユ
ーザ写真）のネガフイルムから読み取った写真画像に対
し、色、階調あるいは明るさなどに関する各種補正処理
を施してから、ユーザにより選択されたテンプレートと
補正処理がされた写真画像とを合成する画像編集をラボ
のオペレータが行なっていた。補正処理は、たとえば露
出の過不足など撮影条件が不適当で、そのまま再生して
も高画質な再生画像が得られない場合や、撮影者の好み
に応じて、画質を向上する目的で行なわれている。さら
に、最近では、画質に拘わらず、たとえばセピア調にす
る、あるいは夕日の雰囲気を強調するためにオレンジが
かった仕上がりにする、というように、撮影者の希望に
応じて必要な補正処理を施すこともある。

【０００４】ところが今日では、前述のように、テンプ
レートなどのＣＧ画像と写真画像とを混在させた画像を
生成することが簡単になっているので、ＣＧ画像と写真
画像とを合成してポストカードサイズのビットマップ画
像を作成し、このビットマップ画像が記録されたＦＤや
ＣＤ−ＲＯＭをラボに持ち込むという方法が採られるこ
ともある。あるいは、インターネットなどのネットワー
クを利用したフォトフィニッシングシステム（ネットワ
ークフォトサービス）を利用して、ユーザが管理者側の
画像サーバにアクセスして、印刷注文するという方法が
採られることもある。

【０００５】ここで、ポストカードは、いかに見栄えが
よく、美しく仕上がるか、たとえば写真を自然の状態で
美しく、また文字を読みやすいように、さらにはイラス
ト部分は鮮やかに、印画紙に焼き付けるのが重要なポイ
ントである。

【０００６】従来であれば、たとえばネガフィルムなど
に記録された原画像を顧客が写真店に持ち込み、原画像
に住所、氏名などの文字データやテンプレート画像を組
み込んで印画紙に焼き付け、ポストカードを作成してい
たので、写真部分とＣＧ画像部分とをポストカードの紙
面上で明瞭に分離でき、それぞれ別の工程で焼き付ける
ことができた。たとえば前述のように、ネガフィルムを
利用して、写真部分だけを、たとえば、色、階調、明る
さなどの補正処理のほか、白黒仕上げ、セピア仕上げ、
赤目補正などの画像処理ができた。

【０００７】

【発明が解決しようとする課題】しかしながら、たとえ
ばＣＧ画像と写真画像とが合成されたビットマップ画像
がユーザより提供されたときには、写真画像とＣＧ画像
とがポストカードの紙面上で分離されていないので、そ
のままでは、写真画像とＣＧ画像とに対して、それぞれ
異なるパラメータで画像処理することはできない。

【０００８】この場合たとえば、特開平７−０９９５８
１号、同７−０７４９６６号、同７−０３８７６１号、
あるいは同５−３２８１４３号などに提案されているよ
うに、２値画像を表す文字部分（主に黒文字）と階調画
像を表す絵画像（写真や網点）とを自動判別する手法を
採用して、写真画像とＣＧ画像との領域を切り分けるこ
とが考えられる。

【０００９】しかしながら、従来の領域判別の手法は、
専ら、文字部分と絵画像とを分別するものであって、個
々のＣＧ画像部分（グラフィクス画像オブジェクト）と
個々の写真画像部分（写真画像オブジェクト）とは何れ
も階調画像を表す絵画像であるため、ＣＧ画像部分と写
真画像部分とを分別することはできない。このため、従
来の領域判別の手法を採用した場合、ＣＧ画像と撮影画
像とが合成された画像中の撮影画像部分だけ、またはＣ
Ｇ画像部分だけを画像編集することは難しい。たとえ
ば、文字やイラストと写真画像とが混在したポストカー
ドを表すＣＧ／写真混在画像中の、写真部分だけを自然
の状態で美しくなるように画像編集することはできな
い。

【００１０】このため、たとえばＣＧ／写真混在画像が
ユーザから提供された場合において、たとえば写真部分
だけを色調や明るさ補正をしようとする場合、ラボのオ
ペレータが、端末画面上で画像を確認しながら、手作業
でＣＧ画像と写真画像とを切り分けなければならない。
ＣＧ画像と写真画像とがそれぞれ別のエリアにレイアウ
トされているときにはこの作業は比較的簡単であるが、
ＣＧ画像と写真画像とが重なっているときには、たとえ
ば写真画像オブジェクトとグラフィクス画像オブジェク
トとの境界をなぞって写真部分を特定しなければなら
ず、その作業が非常に大変である。

【００１１】本発明は、上記の事情に鑑みてなされたも
のであり、グラフィックス処理で人工的に生成されたＣ
Ｇ画像とカメラなどで撮影された撮影画像とが混在した
画像であっても、ＣＧ画像部分や撮影画像部分をそれぞ
れ独立のパラメータで画像処理することが簡単にできる
画像処理装置およびプログラムを提供することを目的と
する。

【００１２】

【課題を解決するための手段】すなわち、本発明に係る
画像処理装置は、多数の画素で表現されるとともに個々
の画像オブジェクトにより構成される画像における、個
々の画像オブジェクトの領域を判別可能にする画像処理
装置であって、画像を表す個々の画素の画素値の使用度
合いに基づいて、処理対象の画素が、撮影装置により撮
影された撮影画像オブジェクトおよびグラフィクス処理
により生成されたグラフィクス画像オブジェクトのうち
の何れに属するのかを表す属性を判定することで２種類
の画像オブジェクトの領域を判別する領域判別部を備え
た。

【００１３】また従属項に記載された発明は、本発明に
係る画像処理装置のさらなる有利な具体例を規定する。
さらに、本発明に係るプログラムは、本発明に係る画像
処理装置を、電子計算機（コンピュータ）を用いてソフ
トウェアで実現するために好適なものである。なお、プ
ログラムは、コンピュータ読取り可能な記憶媒体に格納
されて提供されてもよいし、有線あるいは無線による通
信手段を介して配信されてもよい。

【００１４】

【作用】上記構成の画像処理装置において、領域判別部
は、画像を表す個々の画素の画素値の使用度合いに基づ
いて、処理対象の画素が、撮影画像オブジェクトおよび
グラフィクス画像オブジェクトのうちの何れに属するの
かを判定する。

【００１５】ここで、グラフィックス処理としての使用
可能色数が、６４万色あるいはそれ以上であって略写真
画像並の再現性を有していたとしても、グラフィクス画
像オブジェクトのそれぞれは通常使用色数が少ない。つ
まり、個々のグラフィクス画像オブジェクトは、使用画
素値や使用色が少ない。これに対して、撮影画像オブジ
ェクトは、カメラなどで撮影されたものであり、被写体
には微妙な色調ムラや濃度ムラがあり、またカメラの撮
像部の画素も、感度ムラがあるので、どんなに均一な被
写体を撮影したとしても、多少の画素値のムラが生じ
る。つまり、個々の撮像画像オブジェクトは、使用画素
値や使用色が多くなる。

【００１６】したがって、画像を表す個々の画素の画素
値の使用度合いを参照することで、画像オブジェクト
が、撮影画像オブジェクトおよびグラフィクス画像オブ
ジェクトの何れであるのかが分かる。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について詳細に説明する。

【００１８】図１は、本願発明に係る画像処理装置を利
用するラボを備えたネットワークフォトサービスシステ
ムの一例を示す図である。このネットワークフォトサー
ビスシステム（以下単にフォトシステムともいう）３０
０では、顧客３０１と、注文を受け付けるサービスセン
タ３０２と、ミニラボ３０３あるいは特殊設備を備える
特殊ラボ３０４とが全てインターネットなどのネットワ
ーク３０５で通信できるようにしている。この際、サー
ビスセンタ３０２や特殊ラボ３０４は特に多くの通信を
行なう必要があるため、高速回線を使用するようにし
て、より多くの注文を迅速に処理できるようにしてい
る。また、ミニラボ３０３および特殊ラボ３０４は、本
願発明に係る画像処理装置１を備える。

【００１９】図１に示す実施形態では、撮影により得ら
れた撮影画像を表すデジタル画像データの入力はミニラ
ボ３０３において行なわれる。顧客３０１がミニラボ３
０３に同時プリントを依頼すると、ミニラボ３０３で
は、スキャナ３０７によりフィルムを読み取り、プリン
タ３０９により同時プリントを作成する。スキャナ３０
７により読み取られたデジタル画像データは同時プリン
ト作成後もラボサーバ３０８に保管される。またこの
際、それらのデジタル画像データの解像度を落とした低
解像度画像データ（たとえばサムネイル画像）が作成さ
れ、サービスセンタ３０２のセンタサーバ３１２に転送
される。またラボサーバ３０８は、顧客３０１のデジタ
ル画像データのみならずテンプレートも保管する。

【００２０】サービスセンタ３０２のセンタサーバ３１
２は、各ラボ３０３，３０４から転送されたサムネイル
画像をそのサムネイル画像が送られてきたラボ３０３，
３０４と対応づけて保管するとともに、そのサムネイル
画像をネットワーク３０５上でアクセス可能にする。ま
たセンタサーバ３１２は、ラボサーバ３０８が保管して
いるテンプレートのサムネイルも保管しており、顧客が
ネットワークを介してアクセスできるようにしている。

【００２１】デジタル画像データをアクセス可能にする
にあたっては、顧客３０１は自分の写真のみ確認できれ
ばよいため、パスワードによる認証を行なって各顧客３
０１のみが見ることができるデータを制限する。パスワ
ードは、たとえば同時プリントの申し込み時に顧客から
の指定により、あるいはミニラボ側で適当なパスワード
を割り当てることにより決定する。

【００２２】センタサーバ３１２へのアクセスは、イン
ターネットの場合には上記サービスをホームページの形
態で提供し、顧客が所定のＷｅｂブラウザを利用してア
クセスするようにする。あるいはその他の独自の通信サ
ービスとして提供する場合には、顧客に専用ソフトウェ
アを配布するなどして行なってもよい。何れの場合も、
顧客３０１は自宅あるいはオフィスのパソコン３０６か
ら、ネットワーク３０５を介してセンタサーバ３１２に
保管されている自分の写真のサムネイル画像を確認した
りサービスセンタ３０２が提供するテンプレートを選択
したりして、写真画像とテンプレートとを合成して、た
とえばポストカードなどの注文画像を生成し、さらに注
文画面に対して所定の入力をすることにより、あるいは
所定のフォーマットの注文データを作成して電子メール
でセンタサーバ３１２宛に送信することにより、ミニラ
ボ３０３に出向かずに、たとえばプリント出力サービス
を要求することができる。

【００２３】センタサーバ３１２は、注文データを受信
すると、プリント出力先を振り分ける。たとえば、特殊
な設備を必要とする処理の場合にはプリント出力先とし
て特殊ラボ３０４を選択し、注文データに基づいて所定
のフォーマットの指示情報を作成して、デジタル画像デ
ータが保管されているラボを示す情報も指示情報に含
め、特殊ラボ３０４のラボサーバ３０８に転送する。一
方、たとえば普通の焼増しプリントなどが要求された場
合など特殊な設備を必要としないときには、たとえばシ
ステムとして最も効率のよいラボ、すなわちプリントが
要求された写真のプリント出力用の高解像度画像データ
が保管されているラボ（店頭受け取りを希望していない
場合）、あるいは受取希望ラボをプリント出力先として
選択する。

【００２４】指示情報を受信したラボサーバ３０８は、
指示情報に含まれる注文内容に従って焼増しプリント出
力などの処理をし、顧客３０１への受け渡しや郵送手配
などをする。

【００２５】図２は、顧客３０１側にて、写真入りポス
トカード画像を合成して注文するときの概念図である。
顧客３０１のパソコン３０６には、フォトシステム３０
０を利用するための専用プログラムが組み込まれる。た
とえば、Ｗｅｂブラウザ３３０を組み込み、そのブラウ
ザのプラグインとして注文処理を行なうプログラムを提
供する。あるいは、注文処理の一部を行なう機能のみを
プラグインとして組み込み、その他の機能をブラウザと
は独立したアプリケーションソフトとして組み込んでも
よい。またパソコン３０６は、周辺機器や外部インタフ
ェースとして、現像済フィルム４０２を読み取るための
フィルムスキャナ、デジタルカメラ４０３のメモリカー
ドを読み取るためのカードリーダあるいはデジタルカメ
ラ４０３に直接接続するためのケーブルインタフェース
などを備えている。また、ＣＤ−Ｒ、Ｚｉｐなどのメデ
ィアドライブを内蔵、あるいは外付けで備えている。

【００２６】顧客３０１は、サービスセンタ３０２や画
像編集アプリケーションソフトなどから提供されるテン
プレート画像、ロゴ、クリップアートなどを表すＣＧ画
像を利用して、合成画像を生成する。たとえば、ラボサ
ーバ３０８には顧客３０１が予め撮影しておいた写真の
高解像度画像データＤ２１と、サービスセンタ３０２が
提供する高解像度ＣＧ画像が保管されている。またセン
タサーバ３１２には高解像度ＣＧ画像に対応する低解像
度ＣＧ画像が保管されているが、これはラボにおいて新
しいテンプレートが作成される度にセンタサーバ３１２
に登録されるものである。一方、高解像度画像データＤ
２１に対応する低解像度画像データＤ２２もまた、顧客
３０１の要求に応じてセンタサーバ３１２に登録され
る。顧客３０１は、図示しないデジタルカメラで撮影し
た、サービスセンタ３０２に未登録の写真画像を使用す
ることもできる。

【００２７】顧客３０１は、たとえばセンタサーバ３１
２上で公開された写真画像を表す低解像度画像データＤ
２２や、テンプレート画像Ｄ４７、ロゴＤ４８、クリッ
プアート（イラスト）Ｄ４９などを表す低解像度ＣＧ画
像Ｄ２４をネットワーク３０５を介してセンタサーバ３
１２からパソコン３０６に取り込み（必要に応じてダウ
ンロードし）、パソコン３０６の端末画面上で、編集加
工ソフトウェアなどを利用して写真画像とＣＧ画像とを
合成したりテキスト文字を追加するなどの加工を施すこ
とにより、写真画像とテンプレート、ロゴ、あるいはク
リップアートなどのＣＧ画像が合成された写真入りポス
トカード画像Ｄ４０（ＣＧ／写真混在画像・加工済画
像）を生成する。合成確認指令が顧客３０１からセンタ
サーバ３１２に送信されると、高解像度画像データＤ２
１や高解像度ＣＧ画像Ｄ２３を用いた写真入りポストカ
ード画像（以下合成画像ともいう）Ｄ４０の最終確認画
像がパソコン３０６の端末画面に提示される。

【００２８】あるいは顧客３０１は、たとえば現像済フ
ィルム４０２をフィルムスキャナで読み取ったデジタル
画像、またはデジタルカメラ４０３で撮影されメモリカ
ードに記録されたデジタル画像など、サービスセンタ３
０２に未登録の写真画像を取り込み、画像編集アプリケ
ーションソフトなどから提供されるテンプレート画像Ｄ
４７、ロゴＤ４８、クリップアートＤ４９などのＣＧ画
像を利用して写真入りポストカード画像Ｄ４０を合成す
る。

【００２９】写真入りポストカード画像Ｄ４０の合成が
完了したら、その合成画像Ｄ４０と注文データなどを対
応付けてセンタサーバ３１２にアップロードする。セン
タサーバ３１２は、ユーザからの注文を受け取ると、所
定のラボに合成画像Ｄ４０および注文データを対応付け
て、プリント出力指令を発する。

【００３０】なお顧客３０１は、写真画像とテンプレー
トやクリップアートなどのＣＧ画像が合成された合成画
像Ｄ４０と注文データとを対応付けて、ＦＤ（フレキシ
ブルディスク）やＭＯなどの記憶媒体４０４に記録し
て、記憶媒体４０４を写真受取窓口などに持ち込んでも
よい。この場合、写真受取窓口などは、受け取った記憶
媒体４０４を所定のラボに配送し、あるいは写真受取窓
口に設けられた読取装置で読み取った合成画像Ｄ４０お
よび注文データを転送することで、所定のラボにてプリ
ント出力できるようにする。

【００３１】図３は、上述のようにして生成された写真
入りポストカード画像Ｄ４０の一例を示す図である。合
成画像（写真入りポストカード）Ｄ４０ａでは、写真画
像を表すデジタル画像Ｄ２１，Ｄ２２とロゴＤ４８やク
リップアートＤ４９などのＣＧ画像とはそれぞれ別の場
所にレイアウトされ写真部分とＣＧ画像部分とが明確に
分かれているので、たとえばエッジ抽出→縮小→ＣＧ画
素領域のブロック化→外接矩形などにより、文字／絵柄
（網点や写真を含む）を分離する特開平７−０９９５８
１号に記載の方法、ブロック分割→ＤＣＴ低周波成分の
絶対値和を閾値と比較により、文字／写真を分離する特
開平７−０７４９６６号や同７−０３８７６１号に記載
の方法、あるいはブロック分割→エッジ判定→限定色存
在判定により文字／写真を分離する特開平５−３２８１
４３号に記載の方法など、文字部分と絵画像とを自動判
別する手法を採用すれば、写真画像とＣＧ画像との領域
を切り分けることはでき得る。また、端末画面を確認し
ながら手作業でＣＧ画像と写真画像とを切り分けること
も比較的簡単である。

【００３２】しかしながら、合成画像Ｄ４０ｂでは、デ
ジタル画像（写真画像）Ｄ２１，Ｄ２２とロゴ（ＣＧ画
像）Ｄ４８とが重なっているので、前述の文字部分と絵
画像とを自動判別する手法を採用したのでは、ロゴ部分
と写真部分とを自動的に切り分ける（領域判別）するこ
とはできない。また端末画面を確認しながら手作業で写
真部分とロゴ部分との境界（輪郭）をなぞって写真部分
あるいはロゴ部分を特定しなければならず、その作業が
非常に大変である。

【００３３】また、図示していないが、イラストが全面
に描かれたテンプレート上に写真が嵌め込まれ、さらに
イラストと写真との境界部に別の微小イラストが重ねら
れた画像の場合には、一層その分別が難しくなる。

【００３４】本願発明に係る画像処理装置１は、たとえ
ば前述のような合成画像Ｄ４０ｂのように、グラフィッ
クス処理で人工的に生成されたＣＧ画像とカメラなどで
撮影された撮影画像とが混在した画像であっても、自動
的かつ間単に、ＣＧ画像部分や撮影画像部分の領域を確
定でき、その結果、ＣＧ画像と撮影画像とに対して、そ
れぞれ独立のパラメータで画像処理することが簡単にで
きる。以下本願発明に係る画像処理装置１の実施形態に
ついて具体的に説明する。

【００３５】図４は、ラボ３０３，３０４側に設けられ
る、本発明の第１実施形態の画像処理装置のブロック図
である。画像処理装置１は、画像データを取り込む画像
入力部３と、画像を構成する各画素の属性を判定するこ
とで画像オブジェクトの領域を判別する領域判別部５
と、領域判別部５により判別された画像オブジェクトの
領域を示す情報を出力する分離結果出力部７とを備え
る。

【００３６】領域判別部５は、処理対象の画素の画素値
と処理対象の画素の周辺に存在する画素（近傍画素）の
画素値とに基づいて、処理対象の画素が、自然画像をほ
ぼ再現可能な処理により生成された、すなわちカメラな
どにより撮影された撮影画像の一例である写真画像オブ
ジェクトおよびグラフィクス処理により人工的に生成さ
れたグラフィクス画像オブジェクトのうちの何れに属す
るのかを表す属性を判定することで前記２種類の画像オ
ブジェクトの領域を判別する。

【００３７】このため、第１実施形態の画像処理装置１
における領域判別部５は、コンピュータグラフィックス
（ＣＧ）処理にて使用するＣＧ色を抽出するＣＧ色抽出
部１０と、画素値がＣＧ色抽出部１０により抽出された
ＣＧ色の画素値と同じか否かに基づいて画素の属性を判
定することでＣＧ／写真の領域を特定するＣＧ／写真分
離部３０と、ＣＧ／写真分離部３０により判定された各
画素の属性の連続の度合いに基づいて補正する補正部５
０とを有する。ここで、「画素の属性を判定する」と
は、自然画像を実質的に再現可能な処理により生成され
た写真画像オブジェクトおよび自然画像を実質的に再現
可能な処理において使用し得る画素値の数よりも少ない
数の画素値を使用したＣＧ処理により生成されたグラフ
ィクス画像オブジェクトのうちの何れに属するのかを判
定するという意味である。

【００３８】ＣＧ色抽出部１０は、入力画像をＭ×Ｎ
（Ｍ，Ｎは整数、たとえば８×８）画素で分割すること
により複数のブロック画像を生成するブロック分割部１
２と、当該ブロック分割部１２により分割されたブロッ
ク画像における個々の画素の画素値の出現度合いを求め
ることでそのブロック内で使用している色数を決定する
ブロック内色数算出部１４と、判定基準のための閾値Ｔ
Ｈ０を設定する閾値設定部１５と、閾値設定部１５によ
り設定された閾値ＴＨ０とブロック内色数算出部１４に
より求められた色数とに基づいてブロック内の画素の属
性を判定するブロック領域判別部１６とを有する。ブロ
ック内色数算出部１４は、使用画素値特定部および使用
ＣＧ色特定部として機能する。閾値設定部１５は、ブロ
ック分割部１２が分割した１ブロック内の総画素数（取
り得る使用色数の最大値）に応じて、ＣＧ色判定用の閾
値ＴＨ０をブロック領域判別部１６に設定する。たとえ
ば、１ブロック内の総画素数の１／６〜１／３程度に設
定する。８×８画素のときには、１０〜２０程度にすれ
ばよい。

【００３９】ブロック領域判別部１６は、ブロック内の
使用色数が閾値ＴＨ０を越えないときは、そのブロック
内の全画素はグラフィクス画像オブジェクトに属する、
すなわちそのブロックはＣＧブロックであると判定す
る。一方そうでないときには、写真画像オブジェクトに
属する、すなわちそのブロックは写真ブロックであると
判定する。これは、完全に同じ色が閾値ＴＨ０以上の存
在するブロックはＣＧブロック、色が少しでも異なる画
素が多数存在するブロックは写真ブロックと判定するこ
とを意味する。このようにしてブロックの属性を特定で
きる理由については後述する。

【００４０】またＣＧ色抽出部１０は、ブロック領域判
別部１６により判定された処理対象画素の属性を予め定
めた条件に基づいて未確定ブロックに変更するブロック
属性変更部１８と、ブロック領域判別部１６によりＣＧ
ブロック画像と判定されたブロック画像のうち、ブロッ
ク属性変更部１８によりＣＧブロック画像から除外され
たブロック画像を除いたブロックに含まれるＣＧ色を抽
出する確定ＣＧブロック個別色抽出部２０とを有する。

【００４１】ブロック属性変更部１８は、たとえば、Ｃ
Ｇブロックと写真ブロックとの境界に存するブロックで
あることを条件として、この条件に合致する境界ブロッ
クを未確定ブロックにし、その未確定ブロックに変更し
たブロックの情報を確定ＣＧブロック個別色抽出部２０
に通知する。ここで境界ブロックは、ＣＧブロックのう
ちの写真ブロックと隣接するブロックであるＣＧ側境界
ブロックと、写真ブロックのうちのＣＧブロックと隣接
するブロックである写真側境界ブロックとを含む。つま
り、ブロック属性変更部１８は、ＣＧブロックと写真ブ
ロックが隣接している境界部分のブロック双方を、未確
定ブロックに変更する。ブロック領域判別部１６により
ＣＧブロック画像と判定されたブロック画像のうち、未
確定ブロックに変更されたブロックを除いたものが確定
ＣＧブロックで、同じくブロック領域判別部１６により
写真ブロック画像と判定されたブロック画像のうち、未
確定ブロックに変更されたブロックを除いたものが確定
写真ブロックである。

【００４２】確定ＣＧブロック個別色抽出部２０は、確
定ＣＧブロックに含まれるＣＧ色を個々のブロックごと
に抽出しておく、すなわち確定ＣＧブロック各々の個別
色（ＣＧ色）を特定する。

【００４３】ＣＧ／写真分離部３０は、ブロック領域判
別部１６と、予め定めた条件に合致するブロックに含ま
れる画素の属性を修正する画素属性特定部３２とを備え
る。ＣＧ／写真分離部３０は、ブロック領域判別部１６
を前記ＣＧ色抽出部１０と兼用する。画素属性特定部３
２は、処理対象の画素が属する処理対象ブロックを抽出
（特定）する所属ブロック抽出部３４と、処理対象ブロ
ックの近傍（たとえば８近傍）にあるブロック（近傍ブ
ロック）を抽出する近傍ブロック抽出部３６とを有す
る。また画素属性特定部３２は、処理対象ブロックに属
する処理対象画素の画素値（本例では色を示す値）と近
傍ブロックに含まれるＣＧ色の画素値とに基づいて、処
理対象画素の属性を判定する属性特定部３８を有する。
所属ブロック抽出部３４は、ブロック属性変更部１８か
らの情報に基づいて処理対象ブロックを特定し、処理対
象画素が属する処理対象ブロックの位置（あるいは番
号）を近傍ブロック抽出部３６に通知する。近傍ブロッ
ク抽出部３６は、この通知を受けたことを条件として近
傍ブロックを抽出し、抽出した近傍ブロックの位置（あ
るいは番号）を属性特定部３８に通知する。属性特定部
３８は、この通知を受けたことを条件として、近傍ブロ
ックに含まれるＣＧ色の画素値を確定ＣＧブロック個別
色抽出部２０から読み出し、処理対象画素の画素値（本
例では色を示す値）が、読み出した何れかの確定ＣＧブ
ロックのＣＧ色の画素値と一致するときにはＣＧ画像、
一致するものがないときには写真画像であると判断する
ことで、処理対象画素の属性を判定する。つまり、処理
対象ブロック内の画素がその近傍のＣＧ画像と同一色で
あるときにはＣＧ画像、それ以外は写真画像であると判
断する。たとえば、ＲＧＢ表色系のデータを用いるとき
には、Ｒ，Ｇ，Ｂの各値が同じものがあるかどうかを判
断して処理対象画素の属性を判定する。要するに、属性
特定部３８は、処理対象ブロック内の各画素単位に、ブ
ロックごとに抽出したＣＧ色と比較し、同色であれば対
象画素をＣＧ画像、なければ写真画像と判定する。

【００４４】ここで所属ブロック抽出部３４は、ブロッ
ク属性変更部１８からの情報である未確定ブロック（本
例では境界ブロック）に関する情報に基づいて、この未
確定ブロックを処理対象ブロックとする。また確定ＣＧ
ブロック個別色抽出部２０は、未確定ブロックを除く確
定ＣＧブロックについてのみＣＧ色を抽出するので、近
傍ブロック抽出部３６により抽出された近傍ブロックが
未確定ブロックであっても、その部分については確定Ｃ
Ｇブロック個別色抽出部２０からＣＧ色の画素値を得る
ことはできない。また近傍ブロックが確定写真ブロック
のときにも、その部分については確定ＣＧブロック個別
色抽出部２０からＣＧ色の画素値を得ることはできな
い。つまり、属性特定部３８は、確定ＣＧブロック個別
色抽出部２０により抽出された個々の確定ＣＧブロック
内のＣＧ色を用いて、未確定ブロック（本例では境界ブ
ロック）を除く近傍ブロックに含まれるＣＧ色と同じか
否かに基づいて、未確定ブロック内の処理対象画素の属
性を判定する。

【００４５】補正部５０は、処理対象ブロックである未
確定ブロック（本例では境界ブロックと等価）に属する
画素についてさらに、予め定めた条件に基づいて、孤立
した微小画素群の属性や確定ＣＧブロックあるいは確定
写真ブロック（両者を纏めて確定ブロックともいう）に
連結していない画素群の属性を変更する。つまり、元々
境界部に存在するため、ＣＧ／写真のいずれか一方であ
ると断定することが難しい境界ブロックについては、当
該境界ブロックに含まれる各画素の属性を近傍の確定ブ
ロックを属性を参照して入念にチェックする。このチェ
ック時には、後述する第３あるいは第４実施形態と同様
の手法を用いればよい。なお、補正部５０は、ブロック
属性変更部１８からの確定ブロックに関する情報に基づ
いて、確定ブロックについても、そのブロックの属性
を、たとえばブロック単位で、属性の孤立性や連続性に
基づいて補正してもよい。

【００４６】図５は、第１実施形態の画像処理装置１に
おける領域判別にかかる処理手順の概要を示すフローチ
ャートである。先ず、ブロック分割部１２は、入力画像
を８×８画素で分割し、多数のブロック画像を生成する
（Ｓ１００）。閾値設定部１５は、ブロック分割部１２
が分割した１ブロック内の画素数に応じた、ＣＧ色数判
定用の閾値ＴＨ０をブロック領域判別部１６に設定する
（Ｓ１０２）。ブロック内色数算出部１４は、各ブロッ
ク単位で色の使用数を求める（Ｓ１０４）。ブロック領
域判別部１６は、ブロック内色数算出部１４により求め
られた色の使用数を閾値ＴＨ０と比較することにより、
個々のブロックの属性を特定する（Ｓ１０６）。ブロッ
ク属性変更部１８は、ＣＧブロックと写真ブロックとの
境界に存する境界ブロックは、通常ＣＧブロックと写真
ブロックの何れか一方に完全に属すると判定することは
難しいので、未確定ブロックに変更する（Ｓ１０８）。
確定ＣＧブロック個別色抽出部２０は、確定ＣＧブロッ
クに含まれるＣＧ色を個々のブロックごとに抽出する
（Ｓ１１０）。所属ブロック抽出部３４は、境界ブロッ
クを処理対象ブロックとして、処理対象の画素が属する
処理対象ブロックを抽出し、処理対象画素が属する境界
ブロックの位置などを近傍ブロック抽出部３６に通知す
る（Ｓ１１２）。近傍ブロック抽出部３６は、この通知
を受けたことを条件として近傍ブロックを抽出し、抽出
した近傍ブロックの位置などを属性特定部３８に通知す
る（Ｓ１１４）。属性特定部３８は、この通知を受けた
ことを条件として、近傍ブロックに含まれるＣＧ色の画
素値を確定ＣＧブロック個別色抽出部２０から読み出
し、処理対象画素の画素値と比較して処理対象画素の属
性を判定する（Ｓ１１６）。補正部５０は、境界ブロッ
クに属する画素についてさらに、予め定めた条件に基づ
いて画素群の属性を変更する（Ｓ１１８）。

【００４７】図６は、上記ステップＳ１０６の処理によ
り、個々のブロックの属性を特定することができる理由
を説明する図である。１ブロック内には計Ｍ×Ｎ画素が
存在する。各ブロック単位で画素値（色）の出現度合い
色を求めると、たとえば図６（Ａ）〜（Ｆ）に示すよう
なヒストグラムを得ることができる。たとえば、写真画
像オブジェクト部分では、視覚的には単一色と判断でき
てもブロック内の全画素値が同じであることは極めて希
であるので、図６（Ａ）に示すように、ピークを持った
分布になる。たとえば、晴天時の空、芝生、髪の毛、肌
などの単色系である被写体の写真画像がその典型例であ
る。またたとえばデジタルカメラで撮影した自然画像写
真では、図６（Ｂ）に示すように、その分布がよりラン
ダムになる。これに対して、グラフィックス処理で、晴
天時の空（ＣＧ色は青色や水色）、芝生（ＣＧ色は緑
色）、髪の毛（ＣＧ色は黒）、肌（肌色）などを表現す
る場合には、ブロック内を単一のＣＧ色にすることは極
めて簡単である。このため単一のＣＧ色で表された画像
オブジェクトのブロックは、図６（Ｃ）に示すように、
そのＣＧ色の画素値のところで１本の線が立つ。また、
複数のＣＧ色で表された画像オブジェクトのブロック
は、図６（Ｄ）に示すように、各ＣＧ色の画素値のとこ
ろで線が立つ。このように、写真画像とＣＧ画像とで
は、各画素値の使用頻度の現れ方が大きく異なる。な
お、グラフィックス処理によりＣＧ画像オブジェクトを
生成する場合、意図的に少しずつ値が異なるようにする
ことで、略写真画像と同様のヒストグラム分布を呈する
ようにすることもできる。

【００４８】ここで、グラフィックス処理としての使用
可能色数がたとえば２５６色に限らず、６４万色あるい
はそれ以上であって略写真画像並の再現性を有していた
としても、グラフィクス画像オブジェクトのそれぞれは
通常使用色数が少ない。本実施形態の画像処理装置１
は、この点に着目してＣＧ画像と写真画像などの撮影画
像とを自動的に領域判別する。たとえば写真画像（撮影
画像の一例）と、グラフィックス処理により人工的に生
成したテンプレート画像やクリップアートなどのＣＧ画
像とを合成して新たな画像を生成したときには、ＣＧ色
による色再現範囲が写真画像と同等レベルであるのか否
かに拘わらず、通常であれば（意図的に少しずつ値が異
なるようにしない限り）、写真画像が呈するピークを持
った分布もしくはランダム（略平坦な）な分布に重なっ
て、ＣＧ画像オブジェクトによる鋭いピーク（略直線）
を呈する分布が得られる。たとえば図６（Ａ）に示す単
色系の写真画像の使用色数は、図６（Ｃ），（Ｄ）に示
す単色系や複数色系のＣＧ画像の使用色数よりも多く、
また図６（Ｂ）に示す被写体の多い自然画像の写真画像
の使用色数も、グラフィックス処理で生成したＣＧ画像
の使用色数よりも多いと考えることができる。

【００４９】したがって図６（Ｅ），（Ｆ）に示すよう
に、ブロック内色数算出部１４により求められた使用色
数が閾値ＴＨ０より多ければそのブロックを写真部分、
それ以外はＣＧ部分と判断するなど、各画素値の使用頻
度、換言すればブロック内に現れる画素値（使用色）の
数を閾値処理して判断することにより、混在画像中の各
ブロックがＣＧ部分であるのか写真部分であるのかを区
別することができる。

【００５０】なお、判断の際に用いる画像データには制
限がなく、どのようなものであってもよい。たとえばＲ
ＧＢ表色系、Ｌ＊ａ＊ｂ＊表色系、Ｌ＊ｕ＊ｖ＊表色系
などでの何れのデータであってもよい。また、本願発明
が取り扱い得る画像は、カラー画像に限らず、白黒など
のモノクロ画像（単色画像）であってもよい。なおカラ
ーデータを輝度や濃度を示すモノクロデータに変換して
使用してもよい。

【００５１】たとえば、入力画像がＲＧＢ表色系で表さ
れているときには、たとえばＲ＝１００，Ｇ＝１００，
Ｂ＝１００である画素とＲ＝１００，Ｇ＝１００，Ｂ＝
１０１である画素とは色が異なるというように、Ｒ，
Ｇ，Ｂの各画素値が１つでも異なるときには色が異なる
画素であるとする。そして、Ｒ，Ｇ，Ｂの各データで示
される画素の色の使用数を閾値ＴＨ０と比較し、使用色
数が閾値ＴＨ０を越えないブロックはＣＧブロックであ
ると判定する一方、それ以外は写真ブロックであると判
定する。つまり、各ブロック単位で、画素値（色）の使
用数をブロック内色数算出部１４により求め、求めた使
用色数と閾値ＴＨ０とをブロック領域判別部１６により
比較することで、個々のブロックの属性を特定する。使
用色数と閾値ＴＨ０とが同じとき、そのブロックをＣＧ
画像とするか写真画像とするかは、何れでもよい。

【００５２】なお、単色系であるのか自然画像であるの
かなどの画像パターンに応じて、閾値や判定条件を切り
替えてもよい。たとえば、晴天時の空（ＣＧ色は青色や
水色）や芝生（ＣＧ色は緑色）を表す画像など単色系の
画像のときには、写真画像の使用色数も少な目になるの
で、閾値ＴＨ０を少し低め目に設定することで、グラフ
ィックス処理により表されたＣＧ画像の空色と区別する
ことができる。すなわちそれぞれ単色系のＣＧ画像と写
真画像とが混在しているときには、閾値ＴＨ０を少し低
めに設定するのが好ましい。一方、多数の被写体を含む
写真画像のときには使用色数がかなり多くなるので、閾
値ＴＨ０を少し高めに設定しても、グラフィックス処理
により表された自然画像（ＣＧ画像）と区別することが
できる。さらに各ブロックごとに、そのブロックの色の
傾向を判定し、この色の傾向に応じて閾値ＴＨ０をきめ
細かに（ダイナミックに）切替え設定すれば、より精度
のよい判別ができる。

【００５３】また図６（Ｅ），（Ｆ）では、ブロック内
に現れる使用色数を閾値処理することで混在画像中の各
ブロックの属性を特定していたが、このような方法に限
らず、たとえばブロック内に現れる画素値の出現度合い
そのものを閾値処理することで、ブロックの属性を特定
することもできる。たとえば、カメラで撮影して得た自
然画像を表す写真画像と、グラフィックス処理により人
工的に生成したテンプレート画像、ロゴ、クリップアー
ト、イラストなどのＣＧ画像とを組み合わせて、写真画
像とＣＧ画像とが混在した新たな画像を生成したとき、
ＣＧ色による色再現範囲が写真画像と同等レベルである
のか否かに拘わらず、通常であれば（意図的に少しずつ
値が異なるようにしない限り）、図６（Ｇ），（Ｈ）に
示すように、写真画像が呈するピークを持った分布もし
くはランダム（略平坦な）な分布に重なって、ＣＧ画像
オブジェクトによる鋭いピーク（略直線）を呈する分布
が得られる。このため、画素値の使用頻度が閾値ＴＨ０
１より多い画素値（色）が１つでもあればそのブロック
をＣＧ部分、それ以外は写真部分と判断するなど、画素
値の使用頻度そのものに基づいて閾値処理して判断する
ことで、混在画像中の画素がＣＧ部分であるのか写真部
分であるのかを区別することができる。たとえば、ブロ
ック領域判別部１６は、ブロック内の画素値（色）の出
現度合いが閾値ＴＨ０１以上となるものが存在するとき
は、そのブロック内の全画素はグラフィクス画像オブジ
ェクトに属する、すなわちそのブロックはＣＧブロック
であると判定する。一方そうでないときには、写真画像
オブジェクトに属する、すなわちそのブロックは写真ブ
ロックであると判定する。これは、完全に同じ色が閾値
ＴＨ０１以上存在するブロックはＣＧブロック、色が少
しでも異なる画素が多数存在するブロックは写真ブロッ
クと判定することを意味する。

【００５４】なおたとえば、入力画像がＲＧＢ表色系で
表されているときには、閾値設定部１５は、Ｒデータは
ＴＨ０（Ｒ）、ＧデータはＴＨ０（Ｇ）、ＢデータはＴ
Ｈ０（Ｂ）というように、Ｒ，Ｇ，Ｂの各データについ
てそれぞれ閾値ＴＨ０１を設定する。この場合、各閾値
ＴＨ０１（Ｒ），ＴＨ０１（Ｇ），ＴＨ０１（Ｂ）は、
全て同じ値であってもよいし、異なっていてもよい。そ
して、ブロック領域判別部１６は、Ｒ，Ｇ，Ｂの各デー
タについて各画素値の出現度合いと対応する閾値ＴＨ０
１（Ｒ），ＴＨ０１（Ｇ），ＴＨ０１（Ｂ）とを比較
し、Ｒ，Ｇ，Ｂの全てについて、出現度合いが閾値ＴＨ
０１以上となる画素値が１つでもあるとき、そのブロッ
クはＣＧブロックであると判定する一方、それ以外は写
真ブロックであると判定する。つまり、各ブロック単位
で、各色データごとに画素値（色）の使用頻度をロック
内色数算出部１４により求め、ブロック領域判別部１６
で、各色データごとに使用頻度を対応する閾値ＴＨ０１
（Ｒ），ＴＨ０１（Ｇ），ＴＨ０１（Ｂ）と比較するこ
とにより、個々のブロックの属性を特定する。

【００５５】なおこの場合の判定条件は、全色データに
ついて使用頻度が閾値ＴＨ０１より多い画素値が何れか
１色のデータにあればＣＧ部分、それ以外は写真部分と
することに限らない。たとえば、Ｒ，Ｇ，Ｂのうちの２
つのデータあるいは全てのデータについて、使用頻度が
閾値ＴＨ０１より多い画素値が１つでもあればＣＧ部
分、それ以外は写真部分としてもよい。また、Ｒ，Ｇ，
Ｂに対して優先度（参照度合い）を付与し、総合的に判
断してもよい。また、単色系であるのか自然画像である
のかなどの画像パターンに応じて、閾値や判定条件を切
り替えてもよい。さらに画像の色系統に応じて、Ｒ，
Ｇ，Ｂについての各閾値を切り替えて（調整して）もよ
い。たとえば、晴天時の空（ＣＧ色は青色や水色）を表
す写真画像のときには出現頻度も高めに出るので、Ｂデ
ータの閾値ＴＨ０１（Ｂ）を他のＲ，Ｇデータよりも少
し高めに設定することで、グラフィックス処理により表
されたＣＧ画像の空色と区別することができる。同様に
たとえば、芝生（ＣＧ色は緑色）を表す画像のときに
は、Ｇデータの閾値ＴＨ０１（Ｇ）を他のＲ，Ｂデータ
よりも少し高めに設定することでＣＧ画像で表された芝
生色（略単一色）と区別することができる。すなわち、
それぞれ単色系のＣＧ画像と写真画像とが混在している
ときには、その単色系に対応する色データについての閾
値ＴＨ０１を少し高めに設定するのが好ましい。一方、
多数の被写体を含む写真画像のときには各色の出現頻度
が低めに出るので、各色データの閾値ＴＨ０１を少し低
めに設定しても、グラフィックス処理により表された自
然画像（ＣＧ画像）と区別することができる。逆に高め
では、ＣＧ部分のピーク自体も低めに出るので、そのピ
ークを抽出できない虞れがある。すなわち、それぞれ多
数色を含む画像においてＣＧ部分と写真部分とを峻別す
る際には、何れの色データについても、閾値ＴＨ０１を
少し低めに設定するのが好ましい。さらに各ブロックご
とに、そのブロックの色の傾向を判定し、この色の傾向
に応じてＲ，Ｇ，Ｂの閾値をきめ細かに（ダイナミック
に）切替え設定すれば、より精度のよい判別ができる。

【００５６】図７は、上記ステップＳ１１２〜Ｓ１１６
における境界ブロックについての処理の詳細の一例を説
明する図である。図７（Ａ）はブロック領域判別部１６
による判定結果の一例を示す図、図７（Ｂ）は境界ブロ
ックを特定した結果の一例を示す図、図７（Ｃ）は処理
対象の境界ブロックと近傍ブロックとの関係を示す図で
ある。図７（Ｂ）に示すように、境界ブロックは、ＣＧ
ブロックのうちの写真ブロックと隣接する側のＣＧ側境
界ブロックＣＢと、写真ブロックのうちのＣＧブロック
側の写真側境界ブロックＰＢとを、主走査方向（図面の
横方向）および副走査方向（図面の縦方向）とに対をな
すように含む。そしてたとえば、処理対象ブロックがＣ
Ｇ側境界ブロックＣＢ０であるとき、ブロックＣＢ０内
の各画素のうち、８近傍ブロックの確定ＣＧブロックＣ
Ｇに属する網点で示した４つのブロックの何れかのＣＧ
色と一致する画素をグラフィクス画像オブジェクトに属
するＣＧ画素とし、それ以外は写真画像オブジェクトに
属する写真画素とする。

【００５７】このように第１実施形態の画像処理装置１
によれば、画像をブロック分割してそのブロック内に存
在する使用色を特定し、この使用色を閾値処理してＣＧ
色と写真色とを分離してブロック属性を特定するように
したので、分離結果出力部７から出力される情報に基づ
いて領域判別をすれば、グラフィックス処理で人工的に
生成されたグラフィクス画像オブジェクトとカメラで撮
影された写真画像オブジェクトとが混在した画像であっ
ても、自動的かつ間単に、グラフィクス画像オブジェク
トと写真画像オブジェクトの領域を確定することができ
る。また、グラフィクス画像オブジェクトと写真画像オ
ブジェクトとの境界部分の個々の画素については、境界
部分のブロックを除く近傍の確定ＣＧブロックに含まれ
るＣＧ色と同じか否かに基づいて、その境界画素の属性
を個々に特定するようにしたので、境界部分も精度よく
領域確定することができる。

【００５８】図８は、本発明の第２実施形態の画像処理
装置のブロック図である。この第２実施形態の画像処理
装置は、１つの画像をブロックに分割してブロック単位
で使用色数を求めてブロックの属性を判定する点で、第
１実施形態の画像処理装置と共通する。一方、値の異な
る複数の閾値を用いてブロックの属性を判定する点で、
１つの閾値を用いてブロックの属性を判定していた第１
実施形態と異なる。このため、第２実施形態の画像処理
装置においては、閾値設定部１５は、比較的値の大きい
第１の閾値ＴＨ１と、第１の閾値ＴＨ１よりも値の小さ
い第２の閾値ＴＨ２とをブロック領域判別部１６に入力
する。たとえば１つのブロック内の全画素数に対して、
第１の閾値ＴＨ１は１／３程度、第２の閾値ＴＨ２は１
／６程度にする。具体的には、ブロックの画素サイズが
８×８画素（全部で６４画素）のとき、第１の閾値ＴＨ
１は２０程度、第２の閾値ＴＨ２は１０程度にする。

【００５９】図９は、第２実施形態の画像処理装置にお
ける領域判別にかかる処理手順の一例を示すフローチャ
ートである。ステップＳ１０４までは、第１実施形態と
略同じである。なお、ステップＳ１０２において、閾値
設定部１５は、ブロック分割部１２が分割した１ブロッ
ク内の画素数に応じた、ＣＧ色判定用の閾値ＴＨ１，Ｔ
Ｈ２をブロック領域判別部１６に設定する（Ｓ１０
２）。

【００６０】次に、ブロック領域判別部１６は、ブロッ
ク内色数算出部１４により求められた色の使用数が閾値
ＴＨ２より少なければそのブロックをＣＧブロック、色
の使用数が閾値ＴＨ１より多ければそのブロックを写真
ブロックと判定し、ＴＨ１〜ＴＨ２の中間レベルはいず
れとも判断できいないのでそのままにしておく（Ｓ２０
０）。一方、ブロック属性変更部１６は、ＣＧブロック
および写真ブロックのいずれでもないということを条件
として、この条件に合致するブロック（断定不能ブロッ
ク）も未確定ブロックにする（Ｓ２０２）。以下、未確
定ブロックについての処理などを、第１実施形態と同様
に処理する。たとえば補正部５０は、境界ブロックだけ
でなく、断定不能ブロックについても、ブロック内の画
素についてさらに、予め定めた条件に基づいて、孤立し
た微小画素群や確定ブロックに連結していない画素群の
属性を変更する（Ｓ２１０）。つまり、何れか一方に切
り分けることが難しかった断定不能ブロックについて
も、当該断定不能ブロックに含まれる画素の属性を入念
にチェックする。

【００６１】このように第２実施形態の画像処理装置１
によれば、２つの閾値を用いて信頼度がより確かなＣＧ
色と写真色とを分離するようにしたので、グラフィクス
画像オブジェクトと写真画像オブジェクトとの領域確定
精度が、第１実施形態の画像処理装置１よりも向上す
る。また、何れとも判断できなかった判定不能ブロック
については、第１実施形態の画像処理装置１における境
界ブロックと同様に、部分の個々の画素については、判
定不能部分のブロックを除く近傍の確定ＣＧブロックに
含まれるＣＧ色と同じか否かに基づいて、その境界画素
の属性を個々に特定するようにしたので、一層精度のよ
い領域確定ができる。

【００６２】図１０は、本発明の第３実施形態の画像処
理装置のブロック図である。この第３実施形態の画像処
理装置は、１つの画像をブロックに分割してブロック単
位で属性を判定する点で、第１実施形態の画像処理装置
と共通する。一方、未確定ブロック内の各画素の属性の
判別方法は、第１実施形態の画像処理装置と異なる。ま
た画素属性特定部３２は、所属ブロック抽出部３４、近
傍ブロック抽出部３６を備えていない点で、第１実施形
態と異なる。さらに補正部５０は、孤立領域補正部５２
を有する点で、具体的構成を示していなかった第１実施
形態と異なる。

【００６３】第３実施形態の画像処理装置１は、未確定
ブロック内の各画素の属性を判別するための構成とし
て、先ず、確定ＣＧブロック個別色抽出部２０の代わり
に、全確定ＣＧブロック色抽出部２２を備える。全確定
ＣＧブロック色抽出部２２は、確定ＣＧブロックに含ま
れるＣＧ色を画像全体として抽出しておく、すなわち画
像全体中の全ＣＧ色を纏めて特定する。各ブロックごと
に峻別する必要はない。

【００６４】また、第３実施形態の画像処理装置１にお
ける属性特定部３８は、未確定ブロック（本例では境界
ブロック）内の各処理対象画素について、画像全体のＣ
Ｇ色の画素値を全確定ＣＧブロック色抽出部２２から読
み出し、処理対象画素の画素値（本例では色を示す値）
が、読み出した何れかの確定ＣＧブロックのＣＧ色の画
素値と一致するときにはＣＧ画像、一致するものがない
ときには写真画像であると判断することで、処理対象画
素の属性を判定する。つまり、未確定ブロック内の画素
が画像全体に含まれるＣＧ色の何れかと同一色であると
きにはＣＧ画像、それ以外は写真画像であると判断す
る。つまり第１および第２実施形態では、未確定ブロッ
ク内の画素が近傍ブロックに含まれるＣＧ色の何れかと
同一色であるときにはＣＧ画像、それ以外は写真画像で
あると判断していたのと異なる。

【００６５】補正部５０の孤立領域補正部５２は、未確
定ブロック（境界ブロック）について、ＣＧ画像と判定
された画素（１つの画素）あるいはそのＣＧ画素を数画
素纏めてなる極小領域の画素群が写真画像に囲まれて孤
立している（両者を纏めて微小ＣＧ画素群という）か否
かに基づいて、その微小ＣＧ画素群を写真画像に変更す
る。微小ＣＧ画素群のサイズは、たとえば分割されたブ
ロック内の総画素数の１／４以下程度が好ましい。たと
えば１ブロックが８×８画素のとき、４×４画素以下、
さらに好ましくは３×３画素以下程度にするとよい。

【００６６】図１１は、第３実施形態の画像処理装置に
おける領域判別にかかる処理手順の一例を示すフローチ
ャートである。ステップＳ１０８までは、上記第１実施
形態と同じである。全確定ＣＧブロック色抽出部２２
は、画像全体中の全ＣＧ色を纏めて特定する（Ｓ３０
０）。属性特定部３８は、未確定ブロックに含まれる個
々の画素について、その画素値が、全確定ＣＧブロック
色抽出部２２により抽出されたＣＧ色の画素値と同じか
どうかを判断することで処理対象画素の属性を判定する
（Ｓ３０２）。補正部５０の孤立領域補正部５２は、境
界ブロックに属する画素についてさらに、微小ＣＧ画素
群が写真画像に取り囲まれているときには、その微小Ｃ
Ｇ画素群を写真画像に変更する（Ｓ３０４）。

【００６７】図１２は、第３実施形態の画像処理装置に
おける未確定ブロック（本例では境界ブロック）に含ま
れる微小画素群の属性変更処理の詳細を説明する図であ
る。前述のように、処理対象画素の画素値が画像全体中
の何れかのＣＧ色と同じかどうかに基づいて画素の属性
を判定すると、本来写真画像と判断されるべきであるの
に対して、近傍の確定ＣＧブロックのＣＧ色とは異なる
ものの、他の部分の確定ＣＧブロックに含まれるＣＧ色
と偶々同じであったがためにＣＧ画素と判定される画素
が、近傍ブロックのＣＧ色との関係でのみ判断していた
第１実施形態よりも多くなり得る。そこで、孤立領域補
正部５２は、たとえば図１２（Ａ）に示すように、たと
えば画素群のうち３×３画素以下の微小ＣＧ画素群であ
って写真画像に完全に取り囲まれているものは写真画像
に属する可能性が強いので、その微小ＣＧ画素群を写真
画素に変更する。３×３画素以上のＣＧ画素群は、写真
画像に完全に取り囲まれていても写真画素には変更せ
ず、そのままＣＧ画素を維持する。また図１２（Ｂ）に
示すように、完全には写真画像に取り囲まれていないも
のも、そのままＣＧ画素とする。

【００６８】なお第２実施形態のように、２つの閾値Ｔ
Ｈ１，ＴＨ２に基づいてＣＧブロックと写真ブロックと
を判定する場合には、ステップＳ３０４と同様に、断定
不能ブロックに属する画素についてさらに、微小ＣＧ画
素群が写真画像に取り囲まれているときには、その微小
ＣＧ画素群を写真画像に変更するとよい。

【００６９】このように第３実施形態の画像処理装置１
によれば、画像をブロック分割してそのブロック内に存
在する使用色を特定し、この使用色を閾値処理してＣＧ
色と写真色とを分離してブロック属性を特定する点では
第１あるいは第２実施形態の画像処理装置１と同様であ
るので、分離結果出力部７から出力される情報に基づい
て領域判別をすれば、グラフィクス画像オブジェクトと
写真画像オブジェクトとが混在した画像であっても、自
動的かつ間単に、２種類の画像オブジェクトの領域を確
定することができる。

【００７０】一方境界ブロックについては、画像全体に
存在するＣＧ色を特定し、個々の画素ごとに、この特定
したＣＧ色と同一色か否かに基づいて画素属性をしてい
る点で第１あるいは第２実施形態の画像処理装置１と異
なるものの、この第３実施形態の方法によっても、境界
部分を精度よく領域確定することができる。なお、この
場合、第１あるいは第２実施形態の画像処理装置１より
も境界部分の確定精度が若干劣ることが考えられるが、
孤立領域補正部５２により、周辺画素の属性との連続の
度合いに基づいて画素属性を修正すれば、領域確定精度
を向上させることができる。

【００７１】図１３は、本発明の第４実施形態の画像処
理装置のブロック図である。この第４実施形態の画像処
理装置は、補正部５０が、孤立領域補正部５２の代わり
に非連結領域補正部５４を有する点で、第３実施形態と
異なる。

【００７２】非連結領域補正部５４は、未確定ブロック
（本例では境界ブロック）について、ＣＧ画像と判定さ
れたやや大きめのＣＧ画素群（第３実施形態の微小ＣＧ
画素群よりも大きい）が近傍の確定ＣＧブロックと連結
しているか否かに基づいて、そのＣＧ画素群を写真画像
に変更する。ＣＧ画素群のサイズは、たとえば分割され
たブロック内の総画素数の１／６程度以下でかつ１／４
以上程度が好ましい。たとえば１ブロックが８×８画素
のとき、５×５画素〜６×６画素程度にするとよい。

【００７３】図１４は、第４実施形態の画像処理装置に
おける領域判別にかかる処理手順の一例を示すフローチ
ャートである。ステップＳ３０２までは、上記第３実施
形態と同じである。補正部５０の非連結領域補正部５４
は、境界ブロックに属する画素についてさらに、ある程
度大きめのＣＧ画素群が近傍の確定ＣＧブロックと連結
しているときには、そのＣＧ画素群をＣＧ画素と維持す
る一方、それ以外、すなわち、少しでも確定ＣＧブロッ
クから離れているときには、その属性を連写真画像に変
更する（Ｓ４０４）。

【００７４】図１５は、第４実施形態の画像処理装置に
おける未確定ブロックに含まれる個々の画素の属性を判
定する処理の詳細を説明する図である。第３実施形態の
場合と同様に、処理対象画素の画素値が画像全体中の何
れかのＣＧ色と同じかどうかに基づいて画素の属性を判
定すると、画素群の中には写真画像に完全に取り囲まれ
ているものも存在する。そして、第３実施形態のよう
に、３×３画素以下の微小画素群だけ写真画素に変更す
ると、３×３画素よりも大きな画素群は写真画像に完全
に取り囲まれていても写真画素には変更されない。しか
しながら、このような画素群は、たとえある程度大きな
画素群であるとしても、周辺の確定ＣＧブロックに存在
するＣＧ色との関連度が薄く、むしろ写真画像に属する
可能性が強い。したがって、非連結領域補正部５４は、
図１５に示すように、このような比較的大きめの画素群
（たとえば５×５画素以上）であっても、確定ＣＧブロ
ックと連結していないものについては、その属性を写真
画素に変更する。

【００７５】なおこの第４実施形態においても、第２実
施形態のように、２つの閾値ＴＨ１，ＴＨ２に基づいて
ＣＧブロックと写真ブロックとを判定する場合には、ス
テップＳ４０４と同様に、断定不能ブロックに属する画
素についてさらに、やや大きめのＣＧ画素群が写真画像
に取り囲まれていて、かつ確定ＣＧブロックと連結して
いないときには、そのＣＧ画素群を写真画像に変更する
とよい。

【００７６】このように第４実施形態の画像処理装置１
によれば、ブロック分割してＣＧ色と写真色とを分離し
ブロック属性を特定する点では第１〜第３実施形態の画
像処理装置１と同様であるので、分離結果出力部７から
出力される情報に基づいて領域判別をすれば、グラフィ
クス画像オブジェクトと写真画像オブジェクトとが混在
した画像であっても、自動的かつ間単に、２種類の画像
オブジェクトの領域を確定することができる。

【００７７】また、境界ブロックについての画素ごとの
属性判別処理は第３実施形態の画像処理装置１と同様で
あるので、境界部分を精度よく領域確定することができ
る。なおこの場合にも、第１あるいは第２実施形態の画
像処理装置１よりも境界部分の確定精度が若干劣ること
が考えられるが、非連結領域補正部５４により、周辺画
素の属性との連続の度合いに基づいて画素属性を修正す
れば、領域確定精度を向上させることができる。

【００７８】図１６は、本発明の第５実施形態の画像処
理装置のブロック図である。この第５実施形態の画像処
理装置１は、ＣＧ色抽出部１０が、階層的にＣＧ色を抽
出する処理をする、すなわち未確定ブロックについて、
順次階層的にブロックサイズを小さくして属性判定す
る、換言すれば階層的にブロック属性を判定する点が、
上記第１実施形態と異なる。各階層段のブロック再分割
部１３は、ブロック属性変更部１８からの未確定ブロッ
クに関する情報に基づいて、たとえば元のブロックサイ
ズが８×８画素のときには４×４画素→２×２画素とい
うように、未確定ブロックを漸次小さくする。一方、第
５実施形態における全確定ＣＧブロック色抽出部２２
は、各階層段において求められた画像全体中の全ＣＧ色
を、階層全体として纏めて抽出しておく。そして、最終
段の画素属性特定部３２は、最小サイズ（たとえば２×
２画素）の未確定ブロックに含まれる個々の画素につい
て、その画素値が、全確定ＣＧブロック色抽出部２２に
より抽出されたＣＧ色の画素値と同じかどうかを判断す
ることで処理対象画素の属性を判定する。なお、最小サ
イズは、１×１画素、すなわち画素そのものとしてもよ
い。

【００７９】図１７は、第５実施形態の画像処理装置に
おける領域判別にかかる処理手順の一例を示すフローチ
ャートである。ステップＳ１０８までの基本的な処理は
上記第３実施形態と同じである。一方、未確定ブロック
（本例では境界ブロック）については、ブロックサイズ
を最小サイズ（たとえば２×２画素）になるまでより小
さくして、再度Ｓ１０２から略同じ処理を繰り返す（Ｓ
５００−ＮＯ，Ｓ５０２）。各階層段における、ブロッ
ク内色数算出部１４による使用色数算出やブロック領域
判別部１６による属性判定処理は、処理対象ブロックが
未確定ブロックに限られることと、そのブロックサイズ
がたとえば４×４画素→２×２画素というように漸次小
さくなっている点が異なるのみで、前述の第３あるいは
第４実施形態と同じである。各段の閾値ＴＨ０は、それ
ぞれ異なっていてもよい。

【００８０】未確定ブロックを最小サイズまで分割した
後には（Ｓ５００−ＹＥＳ）、全確定ＣＧブロック色抽
出部２２は、各階層段において求められた画像全体中の
全ＣＧ色を、階層全体として纏めて抽出する（Ｓ５０
４）。そして、最終段の画素属性特定部３２は、最小サ
イズ（たとえば２×２画素）の未確定ブロックに含まれ
る個々の画素について、第３実施形態と同様に、その画
素値が、全確定ＣＧブロック色抽出部２２により抽出さ
れたＣＧ色の画素値と同じかどうかを判断することで処
理対象画素の属性を判定する（Ｓ３０２）。補正部５０
による属性補正処理は、第３あるいは第４実施形態と同
様である。

【００８１】このように第５実施形態の画像処理装置１
によれば、ブロック分割してＣＧ色と写真色とを分離し
ブロック属性を特定する点では第１〜第４実施形態の画
像処理装置１と同様であるので、分離結果出力部７から
出力される情報に基づいて領域判別をすれば、グラフィ
クス画像オブジェクトと写真画像オブジェクトとが混在
した画像であっても、自動的かつ間単に、２種類の画像
オブジェクトの領域を確定することができる。

【００８２】また、境界ブロックについての画素属性の
判別処理は、階層的判別の手法を用いている点で第１〜
第４実施形態の画像処理装置１と異なるものの、この第
５実施形態の方法によっても、境界部分を精度よく領域
確定することができる。なおこの場合にも、補正部５０
により、周辺画素の属性との連続の度合いに基づいて画
素属性を修正すれば、領域確定精度を向上させることが
できる。

【００８３】図１８は、本発明の第６実施形態の画像処
理装置のブロック図である。この第６実施形態の画像処
理装置１は、画像全体に現れる画素値の出現度合いその
ものを閾値処理することで画像全体に含まれるＣＧ色を
抽出しておき、処理対象画素がそのＣＧ色と同じか否か
に基づいて画素の属性を特定する点で、先ず１つの画像
をブロックに分割してブロック単位で属性を判定しかつ
ブロック単位でＣＧ色を特定し、未確定ブロック内の各
画素については、近傍の確定ＣＧブロックのＣＧ色と同
じか否かに基づいて画素の属性を特定していた第１実施
形態と異なる。

【００８４】第６実施形態の画像処理装置１のＣＧ色抽
出部１０は、第１実施形態に設けられていたブロック分
割部１２、ブロック内色数算出部１４、ブロック領域判
別部１６、およびブロック属性変更部１８を有していな
い代わりに、画像全体を纏めてヒストグラム分析するヒ
ストグラム分析部１９を備える。また、確定ＣＧブロッ
ク個別色抽出部２０の代わりに、ヒストグラム分析部１
９により分析されたヒストグラムに基づいて、画像全体
に含まれるＣＧ色を抽出するＣＧ色抽出部２４を備え
る。つまりヒストグラム分析部１９は、画像全体を纏め
てヒストグラム分析する点で、ブロック単位でヒストグ
ラム分析するブロック領域判別部１６と異なる。

【００８５】一方ＣＧ／写真分離部３０は、ＣＧ色抽出
部２４と画素単位属性特定部３３をとを備える。つま
り、ＣＧ／写真分離部３０は、画素属性特定部３２の代
わりに画素単位属性特定部３３を備えるとともに、ＣＧ
色抽出部２４を前記ＣＧ色抽出部１０と兼用する。画素
単位属性特定部３３は、ＣＧ色抽出部２４により抽出さ
れたＣＧ色と処理対象画素の画素値とが同一色であるの
か否かに基づいて、画素の属性を判定する。たとえば、
画素単位属性特定部３３は、画像内の個々の処理対象画
素について、画像全体のＣＧ色の画素値をＣＧ色抽出部
２４から読み出し、処理対象画素の画素値（本例では色
を示す値）が読み出した何れかのＣＧ色の画素値と一致
するときにはＣＧ画像、一致するものがないときには写
真画像であると判断することで処理対象画素の属性を判
定する。つまり、画素単位属性特定部３３は、画素ごと
に、画像全体中のＣＧ色と同じか否かを判断すること
で、画素の属性を特定する点で、ブロック単位で属性を
特定するブロック領域判別部１６や、未確定ブロックに
ついてのみ画素単位で属性を判定する画素属性特定部３
２と異なる。

【００８６】補正部５０の孤立領域補正部５２は、第３
実施形態と同様に、微小ＣＧ画素群が写真画像に取り囲
まれているか否かに基づいて、その微小ＣＧ画素群を写
真画像に変更する。なお、孤立領域補正部５２の代わり
に非連結領域補正部５４を設け、第４実施形態と同様の
属性補正処理をしてもよい。

【００８７】図１９は、第６実施形態の画像処理装置に
おける領域判別にかかる処理手順の一例を示すフローチ
ャートである。先ず、閾値設定部１５は、ＣＧ色判定用
の閾値ＴＨ０１をＣＧ色抽出部２４に設定する（Ｓ６０
２）。ヒストグラム分析部１９は、画像全体の画素値を
纏めてヒストグラム分析する（Ｓ６０４）。ＣＧ色抽出
部２４は、ヒストグラム分析部１９により分析されたヒ
ストグラムに基づいて、先ず画像全体に含まれるＣＧ色
を特定する（Ｓ６０６）。たとえば、画素値の使用度合
いが閾値ＴＨ０１より多い画素の色をＣＧ色、それ以外
（閾値ＴＨ０１以下）は写真色と判定する。そしてＣＧ
色抽出部２４は、これを画像全体について纏めること
で、画像全体に含まれるＣＧ色を抽出する（Ｓ６１
０）。次に画素単位属性特定部３３は、画素ごとに、Ｃ
Ｇ色抽出部２４により抽出されたＣＧ色と処理対象画素
の画素値とが同一（画素が同一色）であるか否かを判断
し、同一であるときには、その画素がＣＧ画像に属し、
そうでないときには写真画像に属すると判定する（Ｓ６
１２）。

【００８８】画像全体の画素についてその属性を特定し
終えたら、孤立領域補正部５２は、たとえば画素群のう
ち３×３画素以下の微小ＣＧ画素群であって写真画像に
完全に取り囲まれているものは写真画像に属する可能性
が強いので、その微小ＣＧ画素群を写真画素に変更する
（Ｓ６１４）。３×３画素以上のＣＧ画素群は、写真画
像に完全に取り囲まれていても写真画素には変更せず、
そのままＣＧ画素を維持する。また、完全には写真画像
に取り囲まれていないものも、そのままＣＧ画素とす
る。

【００８９】この第６実施形態の画像処理装置１のよう
に、ヒストグラム分析をして画像全体に含まれるＣＧ色
を抽出しておき、処理対象画素がそのＣＧ色と同じか否
かに基づいて画素の属性を特定しも、ヒストグラム分析
がブロック単位であるのか画像全体一纏めであるのかの
違いだけであるので、画素の属性を特定することができ
る。なお、画像全体でヒストグラム分析して画素属性を
特定する場合には、画像パターンや画像の色傾向を判定
し、この判定結果に応じて、閾値をきめ細かに（ダイナ
ミックに）切替え設定するのが好ましい。

【００９０】このように第６実施形態の画像処理装置１
によれば、画像全体を一括しヒストグラム分析してＣＧ
色と写真色とを分離し画素属性を特定する点では第１〜
第５実施形態の画像処理装置１とことなるもののＣＧ色
と写真色とを精度よく分離できる点では共通しているの
で、分離結果出力部７から出力される情報に基づいて領
域判別をすれば、グラフィクス画像オブジェクトと写真
画像オブジェクトとが混在した画像であっても、自動的
かつ間単に、２種類の画像オブジェクトの領域を確定す
ることができる。また、ＣＧ画素が孤立している部分に
ついて、たとえば孤立領域補正部５２により、周辺画素
の属性との連続の度合いに基づいて画素属性を修正すれ
ば、領域確定精度を向上させることができる。

【００９１】図２０は、ＣＰＵやメモリを利用して、ソ
フトウェア的に画像処理装置１を構成する、すなわち電
子計算機（コンピュータ）を用いて構成する場合のハー
ドウェア構成の一例を示した図である。

【００９２】この画像処理装置１は、ＣＰＵ９０２、Ｒ
ＯＭ（Read Only Memory）９０４、ＲＡＭ９０６、およ
び通信Ｉ／Ｆ（インターフェース）９０８を備える。ま
た、たとえばハードディスク装置９１４、フレキシブル
ディスク（ＦＤ）ドライブ９１６、あるいはＣＤ−ＲＯ
Ｍ（Compact Disk ROM）ドライブ９１８などの、記憶媒
体からデータを読み出したり記録するための記録・読取
装置を備えてもよい。ハードディスク装置９１４、ＦＤ
ドライブ９１６、あるいはＣＤ−ＲＯＭドライブ９１８
は、たとえば、ＣＰＵ９０２にソフトウェア処理をさせ
るためのプログラムデータを登録するなどのために利用
される。通信Ｉ／Ｆ９０８は、インターネットなどの通
信網との間の通信データの受け渡しを仲介する。

【００９３】このような構成の画像処理装置１は、第１
〜第６実施形態に示した基本的な構成および動作と同様
とすることができる。また、上述した処理手順をコンピ
ュータに実行させるプログラムは、ＣＤ−ＲＯＭ９２２
などの記録媒体を通じて配布される。あるいは、前記プ
ログラムは、ＣＤ−ＲＯＭ９２２ではなくＦＤ９２０に
格納されてもよい。また、ＭＯドライブを設け、ＭＯに
前記プログラムを格納してもよく、またフラッシュメモ
リなどの不揮発性の半導体メモリカード９２４などのそ
の他の記録媒体に前記プログラムを格納してもよい。さ
らに、他のサーバなどからインターネットなどの通信網
を経由して前記プログラムをダウンロードして取得した
り、あるいは更新してもよい。なお、記録媒体として
は、ＦＤ９２０やＣＤ−ＲＯＭ９２２などの他にも、Ｄ
ＶＤなどの光学記録媒体、ＭＤなどの磁気記録媒体、Ｐ
Ｄなどの光磁気記録媒体、テープ媒体、磁気記録媒体、
ＩＣカードやミニチュアーカードなどの半導体メモリー
を用いることができる。

【００９４】記録媒体の一例としてのＦＤ９２０やＣＤ
−ＲＯＭ９２２などには、上記各実施形態で説明した画
像処理装置１における処理手順を示したフローチャート
の一部または全ての機能を格納することができる。した
がって、以下のプログラムや当該プログラムを格納した
記憶媒体を提供することができる。たとえば、画像処理
装置１用のプログラム、すなわちＲＡＭ９０６などにイ
ンストールされるソフトウェアは、上記各実施形態に示
された画像処理装置１と同様に、ブロック分割部１２、
ブロック内色数算出部１４、閾値設定部１５、ブロック
領域判別部１６、ブロック属性変更部１８、ヒストグラ
ム分析部１９、確定ＣＧブロック個別色抽出部２０、全
確定ＣＧブロック色抽出部２２、ＣＧ色抽出部２４、画
素単位属性特定部３３、所属ブロック抽出部３４、近傍
ブロック抽出部３６、属性特定部３８、孤立領域補正部
５２、あるいは非連結領域補正部５４などの各機能部を
ソフトウェアとして備える。

【００９５】なおこのソフトウェアは、ラボ側だけに限
らず、たとえばフォトフィニッシングシステムを利用す
るためのＷｅｂアプリケーションプログラムとしてユー
ザ側に提供されてもよい。この場合、ユーザ側にても、
グラフィクス画像オブジェクトと写真画像オブジェクト
とが混在した画像から、写真画像オブジェクトだけ、あ
るいはグラフィクス画像オブジェクト部分だけを抽出し
て、個別の画像処理を施すことができる。

【００９６】そしてたとえば画像処理装置１をコンピュ
ータにより構成する場合、ＣＤ−ＲＯＭドライブ９１８
は、ＣＤ−ＲＯＭ９２２からデータまたはプログラムを
読み取ってＣＰＵ９０２に渡す。そしてソフトウエアは
ＣＤ−ＲＯＭ９２２からハードディスク装置９１４にイ
ンストールされる。ハードディスク装置９１４は、ＦＤ
ドライブ９１６またはＣＤ−ＲＯＭドライブ９１８によ
って読み出されたデータまたはプログラムや、ＣＰＵ９
０２がプログラムを実行することにより作成されたデー
タを記憶するとともに、記憶したデータまたはプログラ
ムを読み取ってＣＰＵ９０２に渡す。ハードディスク装
置９１４に格納されたソフトウエアは、ＲＡＭ９０６に
読み出された後にＣＰＵ９０２により実行される。たと
えばＣＰＵ９０２は、記録媒体の一例であるＲＯＭ９０
４およびＲＡＭ９０６に格納されたプログラムに基づい
て上記の処理手順を実行することにより、上記処理手順
における画素属性特定処理およびそれに基づく領域特定
処理のための機能をソフトウェア的に実現することがで
きる。

【００９７】以上説明したように、上記各実施形態の画
像処理装置１によれば、グラフィックス処理で人工的に
生成されたＣＧ画像とカメラなどで撮影された自然画像
を表す撮影画像とが混在した画像であっても、意図的に
少しずつ値が異なるように（略自然画像を表すように）
グラフィックス処理されていない限り、画素属性を精度
よく特定することができる。したがって、分離結果出力
部７から出力される各画素あるいはブロックの属性に基
づいて領域判別すれば、グラフィクス画像オブジェクト
部分と写真画像オブジェクトと精度よく領域判別するこ
とができる。また、領域判別が自動的になされるので、
オペレータの手を煩わせることがなく、領域判別の作業
が非常に簡単である。なお、ＣＧ色を特定するための閾
値を画像パターンなどに応じてダイナミックに調整すれ
ば、一層精度のよい領域確定をすることができる。

【００９８】これによりたとえば、写真画像オブジェク
ト部分を抽出（トリミング）し、たとえば、色、階調、
明るさなどの補正処理や、白黒仕上げ、セピア仕上げ、
赤目補正など、グラフィクス画像オブジェクトに対する
のとは異なる画像処理パラメータで抽出した写真画像オ
ブジェクトを処理することで、写真部分だけを自然の状
態で美しくなるように画像編集することができる。また
逆にグラフィクス画像オブジェクトを抽出（トリミン
グ）し、この抽出したグラフィクス画像オブジェクトに
対して、たとえば、色、階調、明るさなどの補正処理な
ど、写真画像オブジェクトに対するのとは異なる画像処
理パラメータで処理することもできる。

【００９９】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施形態に記載の範囲
には限定されない。上記実施の形態に、多様な変更また
は改良を加えることができ、そのような変更または改良
を加えた形態も本発明の技術的範囲に含まれる。また、
上記の実施形態は、クレームにかかる発明を限定するも
のではなく、また実施形態の中で説明されている特徴の
組合せの全てが発明の解決手段に必須であるとは限らな
い。

【０１００】たとえば、上記各実施形態では、写真画像
オブジェクト（写真画像）を撮影画像オブジェクト（撮
影画像）の一例として説明したが、撮影装置による撮影
により得られる画像と実質的に等価な画像であればよ
く、必ずしも写真画像である必要はない。

【０１０１】また、写真画像オブジェクトとグラフィク
ス画像オブジェクトとを合成して写真入りポストカード
を作成した場合における領域判別について説明したが、
これに限らず、グラフィックス処理で人工的に生成され
たＣＧ画像とカメラなどで撮影された撮影画像とが混在
した画像である限り、どのような混在画像であってもよ
い。また、フォトシステムに適用されることに限らな
い。

【０１０２】なお撮影画像は、撮影装置による撮影によ
り得られる画像と実質的に等価な画像であればよく、た
とえば、グラフィックス処理で生成されたＣＧ画像のう
ち、たとえば使用可能色数が６４万色あるいはそれ以上
であって略写真画像並の再現性を呈するＣＧ画像も含
む。本願発明の画像処理装置は、グラフィクス画像オブ
ジェクトのそれぞれは通常使用色数が少ない点に着目し
てＣＧ画像と写真画像などの撮影画像とを自動的に領域
判別するものであるから、前述のように、ＣＧ画像のう
ち、略写真画像並の再現性を呈するＣＧ画像を撮像画像
に含めても何ら問題がないからである。

【０１０３】

【発明の効果】以上のように、本発明によれば、画像を
表す個々の画素の画素値の使用度合いに基づいて、処理
対象の画素が、撮影画像オブジェクトおよびグラフィク
ス画像オブジェクトのうちの何れに属するのかを判定す
るようにしたので、グラフィックス処理で生成されたＣ
Ｇ画像と撮影画像とが混在した画像であっても、画素属
性を精度よく特定することができ、各画素あるいはブロ
ックの属性に基づいて領域判別すれば、グラフィクス画
像オブジェクト部分と写真画像オブジェクトと精度よく
領域判別することができる。また、領域判別が自動的に
なされるので、オペレータの手を煩わせることがなく、
領域判別の作業が非常に簡単である。

【図面の簡単な説明】

【図１】 本願発明に係る画像処理装置を利用するラボ
を備えたネットワークフォトサービスシステムの一例を
示す図である。

【図２】 顧客側にて、写真入りポストカード画像を合
成して注文するときの概念図である。

【図３】 生成された写真入りポストカード画像の一例
を示す図である。

【図４】 本発明の第１実施形態の画像処理装置のブロ
ック図である。

【図５】 第１実施形態の画像処理装置における領域判
別にかかる処理手順の概要を示すフローチャートであ
る。

【図６】 第１実施形態の処理により、個々のブロック
の属性を特定することができる理由を説明する図であ
る。

【図７】 第１実施形態の処理における境界ブロックに
ついての処理の詳細の一例を説明する図である。

【図８】 本発明の第２実施形態の画像処理装置のブロ
ック図である。

【図９】 第２実施形態の画像処理装置における領域判
別にかかる処理手順の一例を示すフローチャートであ
る。

【図１０】 本発明の第３実施形態の画像処理装置のブ
ロック図である。

【図１１】 第３実施形態の画像処理装置における領域
判別にかかる処理手順の一例を示すフローチャートであ
る。

【図１２】 第３実施形態の画像処理装置における未確
定ブロックに含まれる微小画素群の属性変更処理の詳細
を説明する図である。

【図１３】 本発明の第４実施形態の画像処理装置のブ
ロック図である。

【図１４】 第４実施形態の画像処理装置における領域
判別にかかる処理手順の一例を示すフローチャートであ
る。

【図１５】 第４実施形態の画像処理装置における未確
定ブロックに含まれる個々の画素の属性を判定する処理
の詳細を説明する図である。

【図１６】 本発明の第５実施形態の画像処理装置のブ
ロック図である。

【図１７】 第５実施形態の画像処理装置における領域
判別にかかる処理手順の一例を示すフローチャートであ
る。

【図１８】 本発明の第６実施形態の画像処理装置のブ
ロック図である。

【図１９】 第６実施形態の画像処理装置における領域
判別にかかる処理手順の一例を示すフローチャートであ
る。

【図２０】 ＣＰＵやメモリを利用してソフトウェア的
に画像処理装置を構成する場合のハードウェア構成の一
例を示した図である。

【符号の説明】

１…画像処理装置、３…画像入力部、５…領域判別部、
７…分離結果出力部、１０…ＣＧ色抽出部、１２…ブロ
ック分割部、１３…ブロック再分割部、１４…ブロック
内色数算出部、１５…閾値設定部、１６…ブロック領域
判別部、１８…ブロック属性変更部、１９…ヒストグラ
ム分析部、２０…確定ＣＧブロック個別色抽出部、２２
…全確定ＣＧブロック色抽出部、２４…ＣＧ色抽出部、
３０…ＣＧ／写真分離部、３２…画素属性特定部、３３
…画素単位属性特定部、３４…所属ブロック抽出部、３
６…近傍ブロック抽出部、３８…属性特定部、５０…補
正部、５２…孤立領域補正部、５４…非連結領域補正部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 多数の画素で表現されるとともに個々の
   画像オブジェクトにより構成される画像における、前記
   個々の画像オブジェクトの領域を判別可能にする画像処
   理装置であって、 前記画像を表す個々の画素の画素値の使用度合いに基づ
   いて、処理対象の画素が、撮影装置により撮影された撮
   影画像オブジェクトおよびグラフィクス処理により生成
   されたグラフィクス画像オブジェクトのうちの何れに属
   するのかを表す属性を判定することで２種類の前記画像
   オブジェクトの領域を判別する領域判別部を備えたこと
   を特徴とする画像処理装置。
2. 【請求項２】 前記領域判別部は、 前記画像における個々の画素値の出現度合いを求める出
   現度合い算出部と、当該出現度合い算出部により算出さ
   れた個々の画素値の出現度合いと予め定められた閾値と
   を比較する比較部とを有し、 当該比較部による比較結果に基づいて前記画像における
   個々の画素の属性を判定することを特徴とする請求項１
   記載の画像処理装置。
3. 【請求項３】 前記領域判別部は、前記比較部により前
   記出現度合いが前記閾値を超えないと判定された画素値
   が前記グラフィクス処理により使用される画素値である
   と判定することにより、前記グラフィクス画像オブジェ
   クトの使用画素値を特定する使用画素値特定部と、 前記使用画素値特定部により特定された画素値と同じ画
   素値を呈する画素は前記グラフィクス画像オブジェクト
   に属すると判定し、それ以外の画素は前記写真画像オブ
   ジェクトに属すると判定することで、各画素の前記属性
   を特定する属性特定部とを有することを特徴とする請求
   項２記載の画像処理装置。
4. 【請求項４】 前記出現度合い算出部は、色を表す画素
   値の出現度合いに基づいて、前記画像における使用色の
   数を求めることを特徴とする請求項２記載の画像処理装
   置。
5. 【請求項５】 前記領域判別部は、前記出現度合い算出
   部により求められた使用色の数に基づいて、前記画像に
   おいて前記グラフィクス処理により使用されるＣＧ色を
   特定する使用ＣＧ色特定部と、 前記使用色特定部により特定されたＣＧ色と同じ画素値
   を呈する画素は前記グラフィクス画像オブジェクトに属
   すると判定し、それ以外の画素は前記写真画像オブジェ
   クトに属すると判定することで、各画素の前記属性を特
   定する属性特定部とを有することを特徴とする請求項４
   記載の画像処理装置。
6. 【請求項６】 前記領域判別部は、属性特定部により特
   定された処理対象の画素の前記属性を、前記処理対象の
   画素の近傍に存在する近傍画素についての前記属性特定
   部により特定された前記属性と当該処理対象の画素の前
   記属性との連続度合いに基づいて修正する属性修正部を
   有することを特徴とする請求項３または５記載の画像処
   理装置。
7. 【請求項７】 前記出現度合い算出部は、前記画像を所
   定サイズで分割することにより複数のブロック画像を生
   成するブロック分割部と、当該ブロック分割部により分
   割された前記ブロック画像における個々の画素値の出現
   度合いを求めるブロック内出現度合い算出部とを含み、 前記比較部は、前記ブロック内出現度合い算出部により
   算出された前記ブロック画像の個々の画素値の出現度合
   いと前記予め定められた閾値とを比較し、 前記領域判別部は、前記比較部による比較結果に基づい
   て、前記ブロック画像における個々の画素の属性を判定
   するブロック領域判別部を有することを特徴とする請求
   項２記載の画像処理装置。
8. 【請求項８】 前記領域判別部は、前記ブロック領域判
   別部により前記グラフィクス画像オブジェクトおよび前
   記写真画像オブジェクトの何れかに属すると判定するこ
   とが難しかった処理対象のブロック画像について、当該
   処理対象のブロック画像に含まれる画素の前記属性を、
   当該処理対象のブロック画像の近傍に存在する近傍ブロ
   ック画像についての前記ブロック領域判別部により特定
   された前記属性と当該処理対象のブロック画像に含まれ
   る画素の前記属性との連続度合いに基づいて修正するブ
   ロック属性修正部を有することを特徴とする請求項７記
   載の画像処理装置。
9. 【請求項９】 前記ブロック属性修正部は、前記処理対
   象のブロック画像の近傍に存在する近傍ブロック画像の
   うち、前記判定することが難しかった処理対象のブロッ
   ク画像を除く近傍ブロック画像を用いて前記修正を行な
   うことを特徴とする請求項８記載の画像処理装置。
10. 【請求項１０】 多数の画素で表現されるとともに個々
    の画像オブジェクトにより構成される画像における、前
    記個々の画像オブジェクトの領域を判別可能にするため
    のプログラムであって、 コンピュータを、 前記画像を表す個々の画素の画素値の使用度合いに基づ
    いて、処理対象の画素が、撮影装置により撮影された撮
    影画像オブジェクトおよびグラフィクス処理により生成
    されたグラフィクス画像オブジェクトのうちの何れに属
    するのかを表す属性を判定することで２種類の前記画像
    オブジェクトの領域を判別する領域判別部として機能さ
    せることを特徴とするプログラム。