JP3539539B2 - 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 - Google Patents
画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3539539B2 JP3539539B2 JP11955498A JP11955498A JP3539539B2 JP 3539539 B2 JP3539539 B2 JP 3539539B2 JP 11955498 A JP11955498 A JP 11955498A JP 11955498 A JP11955498 A JP 11955498A JP 3539539 B2 JP3539539 B2 JP 3539539B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- region
- color
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 143
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 67
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 description 105
- 230000015654 memory Effects 0.000 description 83
- 230000008569 process Effects 0.000 description 53
- 238000000605 extraction Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 238000009826 distribution Methods 0.000 description 16
- 238000009499 grossing Methods 0.000 description 15
- 239000003086 colorant Substances 0.000 description 9
- 101100365516 Mus musculus Psat1 gene Proteins 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 239000000976 ink Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、パソコン、ワープロ、ワークステーション、オフコン、携帯型情報ツール、コピー機、スキャナ装置、ファクシミリ、テレビ、ビデオ、ビデオカメラなどに用いられ、取り込んだ画像を操作者の所望する状態、例えば写真をイラスト風の趣のある画像に変換することのできる画像処理装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、写真や画像からイラスト風の趣をもつ画像を生成する場合、次のような手法がとられていた。
【０００３】
最も一般的なのは、熟練した技術をもつ者が、手作業にて作業することである。これは、非常に特殊な技術と高度な熟練を要する作業であるため、誰にでもできるものではないし、また、人間が手作業で行うため、作業に時間がかかり、大量に作成できない。
【０００４】
そこで、近年、作業時間の短縮と、大量作成とを可能にするために、パソコンやワープロなどの装置に搭載された画像処理装置を用いて、写真や画像からイラスト風の趣をもつ画像を生成することが考えられている。
【０００５】
例えば、画像処理を行うことのできる装置にて、入力画像をイラスト風の趣をもつ画像に変換するのに用いられる技術として、線画を生成したり、減色処理を行う手法などが提案されている。
【０００６】
線画を抽出する方法として、例えば、Sobel フィルタを用いた手法がある。この手法は簡単なアルゴリズムで画像中のエッジ部分を抽出することが可能であるが、線の太さが場所によって異なるなどの欠点がある。また、一般的に用いられる減色処理は、画素値（ＲＧＢ値や輝度値）のヒストグラムに基づいて行われるものであるため、例えば画像中でなめらかに明るさが変化している部分（グラデーション）など、ひとつの色で統合されるべき部分が複数の色に分割されるなどの欠点がある。
【０００７】
また、写真などの画像をイラスト風の趣のある画像に変換する方法として、例えば特許第2685458 号の「画像処理方法」（キヤノン株式会社）のような発明もある。上記画像処理方法では、エッジを抽出し、そのエッジに囲まれた領域内を特定の色で塗り潰してイラスト風の画像を生成するようになっている。
【０００８】
【発明が解決しようとする課題】
ところが、上記特許第2685458 号の「画像処理方法」では、エッジを抽出し、そのエッジに囲まれた領域内を特定の色で塗り潰す処理のため、エッジがとぎれなく閉領域を構成していなければならず、自然画像に対してそのようなエッジ抽出を行えば、画像によって小さい領域が多数生じてしまったり、逆に閉領域がまったく抽出されないなどで、画像によっては、目的とするイラスト風の趣をもつ画像を生成することが難しい。
【０００９】
また、上記の画像処理方法では、エッジ部のみ変換されていない原画像を出力する構成になっており、変換した画像と原画像が混成して表示されるため、原画像によっては、違和感を覚える画像が生成されてしまうという問題が生じる。
【００１０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、入力された原画像に対し、エッジ抽出の結果に関わらず、原画像の対象となる物体を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することのできる画像処理装置および画像処理方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、上記の課題を解決するために、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、近接画素間の色の差異が小さいものを連結しながら一つの領域とすることにより原画像を分割した分割領域変換画像を生成し、上記物体領域指定手段により指定された物体領域変換画像を生成し、その後、線画像を生成する手段と、上記分割領域変換画像と、物体領域変換画像と、線画像とを合成する画像合成手段とを備えていることを特徴としている。
【００１２】
本発明の他の画像処理装置は、上記の課題を解決するために、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、画像の特性値が類似する領域を単一の領域とすることにより複数の領域に分割する画像分割手段と、上記画像分割手段により分割された各領域の色を決定して分割領域変換画像を生成する分割領域変換画像生成手段と、上記物体領域指定手段によ り指定された物体領域を抽出し、該物体領域の色を予め物体に応じて設定された色に決定して物体領域変換画像を生成する物体領域変換画像生成手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記分割領域変換画像生成手段により得られた分割領域変換画像と、上記物体領域変換画像生成手段により得られた物体領域変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えていることを特徴としている。
【００１３】
上記の構成によれば、画像入力手段により入力された原画像は、まず、表示手段に表示される。そして、この表示された原画像に対して、操作者は、マウスやペンなどのポインティングデバイスである物体領域指定手段を用いて、所望する物体領域を指定する。その後、分割領域変換画像生成手段によって原画像が分割領域変換画像に、物体領域変換画像生成手段によって原画像が物体領域変換画像に、変換される。一方、線画像変換手段によって指定された物体領域を考慮して画像全体のエッジを抽出することにより、原画像が線画像に変換される。最後に、画像合成手段により、上記分割領域変換画像と上記物体領域変換画像と線画像とが合成されることで、操作者が所望する物体領域が強調された画像、すなわちイラスト風の画像が得られる。
【００１４】
これにより、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができる。
【００１５】
本発明のさらに他の画像処理装置は、上記の課題を解決するために、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、指定された物体領域が強調された画像に変換する強調変換手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記強調変換手段により得られた強調変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えており、上記強調変換手段は、上記物体領域指定手段により指定された物体領域を抽出すると共に、抽出した物体領域を２値化して物体領域変換画像を生成する２値化物体領域変換画像生成手段を有し、上記画像合成手段は、上記線画像変換手段により得られた線画像と、上記２値化物体領域変換画像生成手段により得られた２値化物体領域変換画像とを合成することを特徴としている。
【００１６】
上記の構成によれば、画像入力手段により入力された原画像は、まず、表示手段に表示される。そして、この表示された原画像に対して、操作者は、マウスやペンなどのポインティングデバイスである物体領域指定手段を用いて、所望する物体領域を指定する。その後、強調変換手段によって、原画像が、指定された物体領域が強調された画像、すなわち強調変換画像に変換される。一方、線画像変換手段によって指定された物体領域を考慮して画像全体のエッジを抽出することにより、原画像が線画像に変換される。最後に、画像合成手段により、上記強調変換画像と線画像とが合成されることで、操作者が所望する物体領域が強調された画像、すなわちイラスト風の画像が得られる。
【００１７】
これにより、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができる。
【００１８】
さらに、２値化物体領域変換画像生成手段は、物体領域指定手段により指定された物体領域を抽出すると共に、抽出した物体領域を２値化して物体領域変換画像を生成する。具体的には、操作者に処理対象の前記原画像中の強調処理を行ないたい物体を指定させる。次いで、この指定された物体領域を判別し、この物体領域を強調するように２値化処理を行ない、２値化された物体領域変換画像を生成する。
【００１９】
また、別に、上記線画像変換手段により、入力画像からエッジを抽出し、線画像が作成される。
【００２０】
最後に、画像合成手段は、該２値化物体領域変換画像と該線画像を合成する。
【００２１】
これにより、単純な２値化処理では生成できない、指定した物体部分を強調した趣のあるモノクロのイラスト画像を生成できる。
【００２２】
また , 上記各画像処理装置は、上記物体領域指定手段により指定される物体領域が人物顔であることを特徴としている。
【００２３】
上記の構成によれば、入力される原画像中の物体に人物顔を含む人物写真画像などから、人物顔を似顔絵風に強調処理した、カラーのイラスト画像あるいはモノクロのイラスト画像を簡単に作成できる。
【００２４】
また、上記の課題を解決する手段としては、上述した各装置の他に、画像処理方法であってもよく、また、コンピュータで読み出し可能な記録媒体に本願発明の画像処理を実行するためのプログラムを記録しても良い。
【００２５】
すなわち、本発明の画像処理方法は、上記の課題を解決するために、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとを含むことを特徴としている。
【００２６】
また、本発明のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとをコンピュータに実行させるための画像処理プログラムに記録したことを特徴としている。
【００２７】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図２６に基づいて説明すれば、以下の通りである。
【００２８】
本実施の形態に係る画像処理装置は、写真や画像からイラスト風の趣をもつ画像を生成するための装置であり、図１に示すように、画像入力装置１１、領域位置指定装置１２、記憶装置１３、演算処理装置１４、表示装置１５、外部記憶装置１６を有している。
【００２９】
上記画像入力装置１１は、処理対象となる写真などの原画像を入力するための画像入力手段である。すなわち、画像入力装置１１は、処理対象となる画像の信号（画像信号）を本画像処理装置に入力するための装置である。
【００３０】
上記画像信号は、複数の画素が行列状に配列されて構成される２次元画像であり、各画素を表す画素データを有するデジタル信号である。各画素データには、２次元画像内の画素の位置を表す位置データ、および画素の表示特性を表す数値データが含まれる。表示特性を表す数値データには、２次元画像がカラー画像であるならば、たとえば赤青緑の各単色光毎の輝度を表す輝度データが含まれている。
【００３１】
上記画像入力装置１１としては、たとえばハードディスク、フロッピーディスク、光ディスクおよびビデオテープなどの記録媒体に記録されている信号を読み出す装置が用いられる。この場合、画像入力装置１１により記録媒体から読み出された信号は記憶装置１３に格納される。
【００３２】
このとき、上述の記録媒体には、たとえば撮像装置（図示せず）によって物体からの画像光を撮像して得られた画像信号が記憶されている。撮像装置としては、たとえばスキャナ、デジタルカメラ、およびビデオカメラが挙げられる。
【００３３】
また、画像入力装置１１自体が撮像装置を有し、得られた画像信号を記録媒体を経ずに、直接本画像処理装置の記憶装置１３に導入してもよい。
【００３４】
さらに、画像信号は、上述の撮像装置以外の装置および手法によって生成されてもよい。また、たとえばＣＤ−ＲＯＭのような記録媒体を用いて配布されるような、本画像処理装置の操作者以外の第三者が作成された画像の画像信号であってもよい。これらの画像信号の取得動作は、後述の本画像処理装置の画像処理動作の事前にあらかじめ準備されていてもよいし、処理動作の直前に行なわれてもよい。
【００３５】
上記領域位置指定装置１２は、操作者が画像中の対象物体領域を指定するための物体領域指定手段であり、たとえばマウスやトラックボール、ペンなどのポインティングデバイスが好適に用いれる。つまり、操作者は、上記領域位置指定装置１２としてのマウス等のポインティングデバイスを用いて、後述する表示装置１５に表示される画像入力装置１１によって導入された原画像を見ながら、強調処理したい領域を含むように領域位置（領域輪郭座標位置）を指定する。このとき、指定された領域輪郭座標位置は記憶装置１３に格納される一方、表示装置１５に反映され、たとえば、各座標間を結ぶ線分として表示される。このようにして得られる領域を物体領域とする。
【００３６】
上記記憶装置１３は、上述した原画像の画像信号や領域輪郭座標位置などを記憶する記憶手段であり、記憶する情報の種類に応じて少なくとも７つの記憶部、すなわちメモリ１３ａ〜１３ｇを有している。なお、記憶装置１３は、後述するメモリＭ１〜Ｍ３（図示しない）を有している。
【００３７】
メモリ１３ａには、画像入力装置１１によって入力された原画像（処理対象原画像）が格納され、メモリ１３ｂには、領域位置指定装置１２で上記処理対象画像に対して指定した領域を示す物体座標（領域輪郭座標位置）が格納される。
【００３８】
メモリ１３ｃ〜１３ｅには、演算処理装置１４にて、画像処理中に中間画像として生成される分割領域画像、物体領域画像、線画像がそれぞれ格納される。
【００３９】
メモリ１３ｆには、演算処理装置１４にて合成処理を行なった結果得られた合成画像が格納される。
【００４０】
メモリ１３ｇには、演算処理装置１４にて行われる各処理用のプログラムが格納され、これら各プログラムは必要に応じて読み出され、実行されるようになっている。この処理用のプログラムの詳細については後述する。
【００４１】
上記表示装置１５は、たとえば陰極線管や液晶表示装置などからなり、記憶装置１３のメモリ１３ａ，１３ｂに格納された画像データもしくは座標データを画面上に表示するようになっている。画面上には、入力された原画像が表示され、かつ、操作者が領域位置指定装置１２によって入力した座標が前記の原画像上に各座標間を結ぶ線分として表示されている。
【００４２】
また、表示装置１５は、記憶装置１３のメモリ１３ｆに格納された画像データ、すなわち、後述の演算処理装置１４の画像処理動作によって生成される合成画像を表示するようにもなっている。
【００４３】
上記演算処理装置１４は、本発明の主要な処理を行なう装置であり、且つ画像分割部１７、領域色変換部１８、物体領域生成部１９、線画像生成部２０、画像合成部２１から構成され、画像の合成処理を行う画像合成手段でもある。
【００４４】
上記画像分割部１７は、平滑化部１７ａ、ラベリング部１７ｂ、モードフィルタ部１７ｃからなり、これら各部を用いて原画像を複数の領域に分割する領域分割処理を行うようになっている。なお、この領域分割処理の詳細は後述する。
【００４５】
上記領域色変換部１８は、代表色取得部１８ａ、トーン変換部１８ｂからなり、これら各部を用いて分割領域毎の色を決定する領域色変換処理を行うようになっている。なお、領域色変換処理の詳細は後述する。
【００４６】
上記物体領域生成部１９は、色分布取得部１９ａ、肌領域抽出部１９ｂ、髪領域抽出部１９ｃ、顔マスク合成部１９ｄからなり、これら各部を用いて物体領域画像を生成する物体領域生成処理を行うようになっている。なお、物体領域生成処理の詳細は後述する。
【００４７】
上記線画像生成部２０は、エッジ抽出部２０ａ、２値化部２０ｂ、境界線画部２０ｃ、線画合成部２０ｄ、ノイズ除去部２０ｅからなり、これら各部を用いて原画像に対応する線画像を生成する線画像生成処理を行うようになっている。
【００４８】
上記画像合成部２１は、上記画像分割部１７と領域色変換部１８によって得られた分割領域画像、物体領域生成部１９によって得られた物体領域画像、線画像生成部２０によって得られた線画像を順に重ねて１枚の合成画像に生成する画像合成処理を行うようになっている。
【００４９】
上記演算処理装置１４にて行われる各処理用のプログラムは、上述したように、メモリ１３ｇに予め記憶させていてもよいし、上記の各処理用のプログラムをコンピュータが読み取り可能なようにフロッピーディスクやＣＤ−ＲＯＭなどの記録媒体に記録させてもよい。この場合、例えば、図１に示すように、フロッピーディスクやＣＤ−ＲＯＭなどの記録媒体の情報が読み取り可能な外部記憶装置１６を設け、この外部記憶装置１６によって上記の記録媒体に記録された情報、すなわち処理用プログラムをメモリ１３ｇに転送すればよい。
【００５０】
上記の記録媒体としては、例えば図２６に示すように、領域分割処理用プログラム３１ａ、領域色変換処理用プログラム３１ｂ、物体領域生成処理用プログラム３１ｃ、線画像生成処理用プログラム３１ｄ、画像合成処理用プログラム３１ｅが記録された記録媒体３１が考えられる。しかしながら、記録媒体３１に全ての処理用プログラムが記録されている必要はなく、上記の５つの処理用プログラムのうち少なくとも１つの処理用プログラムが記録されていればよい。この場合、記録媒体に記録されていない処理用プログラムは、メモリ１３ｆに予め記憶させればよい。
【００５１】
ここで、上記構成の画像処理装置で実行される画像処理について以下に説明する。なお、本説明では、原画像中で強調したい物体として人物の顔を適用した場合について説明する。また、はじめに図１に示す画像処理装置（以下、本画像処理装置と称する）で行われる画像処理の流れの全体を簡単に説明し、その後、各処理について詳細に説明する。
【００５２】
まず、本画像処理装置の画像処理について図２および図３を参照しながら簡単に説明する。
【００５３】
図２は、本画像処理装置によって実施される画像処理動作の各処理段階における画像を示す説明図であり、図３は、本画像処理装置における画像処理の流れを示すフローチャートである。本画像処理装置の画像処理では、図２に示す原画像２２ａに対し、操作者が強調したい人物顔領域として物体領域輪郭２２ｃを指定した場合に、物体領域を似顔絵風に強調変換し、かつ原画像２２ａ全体をイラスト風に変換して図２に示すイラスト風画像を示す処理結果画像２６，２７を生成するようになっている。
【００５４】
図３に示すように、はじめに原画像入力を行う（Ｓ１）。すなわち、画像入力装置１１は、対象となる原画像２２ａを記憶装置１３のメモリ１３ａに格納する。
【００５５】
次に、原画像表示を行う（Ｓ２）。すなわち、表示装置１５は、記憶装置１３のメモリ１３ａに格納された原画像２２ａを画面上に表示する。
【００５６】
次いで、物体領域の指定が行われる（Ｓ３）。すなわち、操作者は、領域位置指定装置１２を用いて、表示装置１５に表示される原画像２２ａを見ながら、領域輪郭座標位置を指定する。
【００５７】
これにより、図２に示す原画像２２ｂにおいて、物体領域輪郭２２ｃが示される。この領域輪郭座標位置は、物体領域の情報、たとえば、座標列、または２次元画像データ（マスク画像）として記憶装置１３のメモリ１３ｂに格納される。ここで、物体領域輪郭２２ｃは、完全に原画像２２ｂ中の実際の物体領域（顔領域）と一致する必要はない。また、物体領域輪郭２２ｃは、完全に閉じた輪郭として指定される必要はなく、閉じた輪郭が指定されなかった場合は、輪郭の始点と終点を結び、閉じた輪郭として記憶装置１３のメモリ１３ｂに格納されるようにしてもよい。なお、図２に示す原画像２２ａと原画像２２ｂとは同じ画像を示しており、説明の便宜上２つに分けている。すなわち、原画像２２ａは領域指定する前の画像を示し、原画像２２ｂは領域指定した後の画像を示している。
【００５８】
そして、物体領域の情報がメモリ１３ｂに格納された後で、次のステップ（Ｓ４）に移行する。
【００５９】
次いで、原画像の領域分割が行われる（Ｓ４）。ここで、画像分割部１７は、メモリ１３ａに格納された原画像２２ａを読み込み、領域分割処理を行う。すなわち、画像分割部１７は、平滑化部１７ａ、ラベリング部１７ｂ、モードフィルタ部１７ｃを用いて、画像中の画像の特性値が類似する画素が連続する領域を、単一の領域として原画像から分割する。分割された領域の情報はメモリ１３ｃに格納される。この領域分割処理の詳細は後述する。
【００６０】
続いて、領域色変換が行われる（Ｓ５）。ここで、領域色変換部１８は、メモリ１３ａに格納された原画像２２ａと、Ｓ４で生成され、メモリ１３ｃに格納された分割領域の情報とに基づいて、各分割領域の色をそれぞれ決定し、決定された色を用いて各分割領域内を描画することにより、図２に示す分割領域変換画像（以下、分割領域画像と称する）２３を生成し、メモリ１３ｃに再度格納する。この領域色変換処理の詳細は後述する。すなわち、上記領域色変換部１８は、分割された各領域の色をそれぞれ決定して分割領域変換画像を生成する分割領域変換画像生成手段を構成している。
【００６１】
次いで、物体領域の抽出／変換が行われる（Ｓ６）。ここで、物体領域生成部１９は、メモリ１３ａに格納された原画像２２ａとメモリ１３ｂに格納された領域輪郭座標位置の情報とに基づいて、物体領域の抽出と領域の色を決定し、決定された色を用いて抽出された領域内を描画することにより、図２に示す物体領域変換画像（以下、物体領域画像と称する）２４を生成し、メモリ１３ｄに格納する。この物体領域生成処理の詳細は後述する。すなわち、上記物体領域生成部１９は、物体領域を抽出すると共に、該物体領域の色を決定して物体領域変換画像を生成する物体領域変換画像生成手段を構成している。
【００６２】
次いで、線画像生成が行われる（Ｓ７）。ここで、線画像生成部２０は、メモリ１３ａに格納された原画像２２ａと、Ｓ５で生成され、メモリ１３ｃに格納された分割領域画像２３と、Ｓ６で生成され、メモリ１３ｄに格納された物体領域画像２４とに基づいて、図２に示す線画像２５を生成し、メモリ１３ｅに格納する。この線画像生成処理の詳細は後述する。
【００６３】
続いて、中間画像の合成が行われる（Ｓ８）。すなわち、上述のＳ７の動作が終ると、当該フローチャートの動作は、Ｓ８に進む。ここで、画像合成部２１は、Ｓ５〜Ｓ７で生成され、メモリ１３ｃ〜１３ｅに格納された中間画像である分割領域画像２３、物体領域画像２４、線画像２５を順に重ねることにより１枚の画像に合成し、図２に示す処理結果画像２６として、メモリ１３ｆに格納する。この画像合成処理の詳細は後述する。
【００６４】
最後に、処理結果表示が行われる（Ｓ９）。すなわち、メモリ１３ｆに格納された処理結果画像２６が、表示装置１５に表示される。この場合の画像は、入力画像がカラー画像であるので、カラーのイラスト風の画像となる。
【００６５】
なお、Ｓ４、Ｓ５とＳ６における処理は並行して実施されても良い。また、Ｓ４、Ｓ５はＳ３の前に行なわれても良い。
【００６６】
また、上記の画像処理の説明では、処理結果の画像がカラー画像の場合について説明しているが、処理結果の画像がモノクロ画像の場合についても同様にできる。
【００６７】
処理結果の画像がモノクロ画像の場合、特にカラー化に必要な処理、すなわち、Ｓ４、Ｓ５を必ずしも行なう必要はない。したがって、画像分割部１７、およびメモリ１３ｃは必要ない。また、線画像生成部２０中の境界線画部２０ｃも必要ない。この場合、Ｓ８において画像合成部２１は、メモリ１３ｄと１３ｅに格納された物体領域画像２４、線画像２５を、順に重ねることにより１枚の画像に合成し、図２に示す処理結果画像２７として、メモリ１３ｆに格納し、Ｓ９へ進むようにすればよい。
【００６８】
次に、本画像処理装置における画像処理の各処理の詳細について説明する。なお、ここでは、入力画像がカラーである例を中心に説明し、グレースケール、いわゆるモノクロの場合については別途説明を追加する。
【００６９】
はじめに、領域分割処理について説明する。
【００７０】
図４は、図３に示したフローチャートのＳ４の領域分割処理の詳細を表すフローチャートである。また、図５は、この領域分割処理動作によって後述のラベル画像が生成される様子を簡単に示した説明図である。図４のフローチャートと図５を用いて、画像分割部１７における上述の領域分割処理動作を説明する。
【００７１】
まず、平滑化処理を行う（Ｓ１１）。すなわち、図３のフローチャートでＳ３からＳ４に進むと、図４のフローチャートのＳ１１に移行する。ここで、平滑化部１７ａは、入力された原画像の画像信号の平滑化動作を実施する。
【００７２】
つまり、任意の位置の或る画素に対する平滑化動作は、たとえば、該画素の８近傍の画素の各単色光（赤、緑、青）の輝度値を各単色光毎に平均し、求まった単色光毎の平均値を該画素の単色光毎の輝度値とすることにより行なわれる。そして、入力された原画像中の全ての画素に対して上記平滑化を行なう。以降、各画素毎の画素データとして、平滑化された輝度値が与えられた画像を平滑化画像として定義する。
【００７３】
この平滑化画像の単純な例を図５（ａ）に示す。すなわち、図５（ａ）に示す平滑化画像では、単色光毎の平均値から分割領域画像が６つの色で、領域４０〜４５に分割されている。
【００７４】
したがって、上記平滑化部１７ａによる平滑化処理により、画像信号に含まれる雑音成分の影響を低減させることが出来る。平滑化手法は、この他の別の手法を用いてもよい。
【００７５】
次に、ラベリング処理を行う（Ｓ１２）。ここで、ラベリング部１７ｂは、Ｓ１１で求めた平滑化画像に対して、画素のラベリング動作を実施する。
【００７６】
つまり、ラベリング動作は、画素データが類似する画素に同一の領域番号を付ける動作であり、画像内の全ての画素について、画素単位で実施される。具体的には、任意の位置の或る画素に対し、該画素と該画素の近傍の複数の画素について、画素間の色差を算出する。続いて、色差とあらかじめ定める基準色差を比較し、基準色差以上の色差をもつ画素間は別の領域に含まれると判定し、互いに異なる領域番号を付ける。逆に、基準色差未満の色差をもつ画素間は同じ領域に含まれると判定し、同一の領域番号を付ける。これによって、平滑画像を構成するすべての画素が、複数の領域のいずれかに属するように、ラベリング動作が実施される。以降、各画素毎の画素データとして、領域番号が与えられた画像をラベル画像として定義する。
【００７７】
このラベル画像の例を、図５（ａ）の平滑化画像に対し、図５（ｂ）に示す。すなわち、図５（ｂ）に示すラベル画像では、６つの領域４０〜４５に対してそれぞれ数値（領域番号）が付与されている。領域４０に対して領域番号『３』が、領域４１に対して領域番号『１』が、領域４２に対して領域番号『４』が、領域４３に対して領域番号『６』が、領域４４に対して領域番号『２』が、領域４５に対して領域番号『５』が付与されている。
【００７８】
ここで、前記色差を算出する方法としては、たとえば、画素データの各単色光毎の輝度値を画素間でそれぞれ減算処理することにより差分値を算出し、各単色光毎の差分値の合計値を色差として算出する。色差算出手法は、この他の別の手法を用いても良い。たとえば、画素データを各単色光の輝度値から、色相（Ｈ）・彩度（Ｓ）・輝度（Ｖ）で表現されるＨＳＶ値に変換し、色差を求める２画素のＨＳＶ空間上での位置を求め、その間の距離値を色差としてもよい。
【００７９】
次に、モードフィルタ処理を行う（Ｓ１３）。ここで、モードフィルタ部１７ｃは、Ｓ１２で求めたラベル画像中の微小な領域を隣接の他の領域と統合する。任意の位置の或る画素に対する統合手法は、たとえば、或る画素の領域番号を、該画素の周辺の複数の画素に付けられた領域番号のうちでもっとも出現頻度が高い領域番号、すなわち、周囲の複数の画素がもっとも多く属する領域の領域番号に置き換えることで実施される。これにより、分割面積が極めて小さい領域を除去して、ラベル画像が、領域面積の比較的大きな領域のみで構成されるようにすることが出来る。
【００８０】
例えば、統合処理された画像の例を、図５（ｂ）に示すラベル画像に対し、図５（ｃ）に示す。すなわち、図５（ｂ）で領域番号『２』が付与された領域４４と領域番号『５』が付与された領域４５とは、それぞれ近傍画素である領域４０の領域番号『３』が付与される。これにより、ラベル画像中の微小な領域を適切な色に導くようになっている。
【００８１】
なお、以上の説明では、入力される原画像がカラー画像の場合を中心に説明したが、これに限定するものではなく、例えば入力される原画像がグレースケール画像の場合、上述のＳ１１の平滑化は各画素の単色光毎の輝度値の平均ではなく、各画素の輝度値の平均をとればよい。
【００８２】
同様にＳ１２のラベリング動作において算出される色差は、各単色光の輝度値の差分値の合計ではなく、画素の輝度値の差分値を色差と定義し、算出すればよい。
【００８３】
また、ＨＳＶ空間上で色差を算出する方法を用いるならば、画素の輝度値をＶとし、残りのＨ、Ｓ値を０として、画素データをＨＳＶ値に変換してから上述にあるように色差を算出してもよい。
【００８４】
以上のＳ１３の処理が終了すると、図３のＳ４の動作、すなわち領域分割処理が終了し、次いで、図３のＳ５へと進む。
【００８５】
次に、領域色変換処理について説明する。
【００８６】
上述のラベル画像と原画像から、分割領域の色を決定し、決定された色を用いて分割領域内を描画することにより、分割領域画像を生成する。ここで、具体的な分割領域の色（領域色）を決定する方法について、図６に示すフローチャートを参照しながら以下に説明する。
【００８７】
まず、分割領域の代表色の算出を行う（Ｓ２１）。ここで、領域色変換部１８の代表色取得部１８ａは、メモリ１３ａに格納された原画像と、画像分割部１７で求めたラベル画像から分割領域毎にその領域を代表する色（代表色）を算出する。
【００８８】
具体的な代表色の算出手法としては、たとえば、ラベル画像中のある領域番号の領域内の全ての画素の座標に対応する原画像中の画素データ、すなわち、各単色光の輝度値をそれぞれ平均し、求まった単色光毎の平均輝度値を各単色光毎の輝度値とする画素データを、その領域の代表色とする。代表色の算出は、この他の手法を用いて決定してもよい。
【００８９】
次に、ＲＧＢ→ＨＳＶ変換を行う（Ｓ２２）。ここでは、該代表色（ＲＧＢ）を色相・彩度・輝度によるデータ（ＨＳＶ）に変換する。
【００９０】
続いて、代表色の属するトーンを調査する（Ｓ２３）。ここでは、彩度、輝度を軸とした空間上で、該代表色の彩度・輝度値に基づき、該代表色がこの空間上のどの部分空間に属するかを決定する。以後、この彩度、輝度を軸とした空間全体をトーン空間と定義し、トーン空間の部分空間をトーンと定義する。
【００９１】
具体的には、たとえば図７に示すように、輝度、彩度のスケールを均等にレベル１からレベル８までのレベルに分割することにより、全部で６４の領域にトーン空間内を分割し、その各領域をトーンとして定義する。したがって、Ｓ２２で求めた該代表色の彩度・輝度値から、該代表色はトーン空間内の或るトーンと一意に関係付けることができる。たとえば、彩度・輝度のスケールが１であり、該代表色が彩度０．７、輝度０．４である場合、該代表色は、彩度レベル６、輝度レベル４のトーン（図中斜線部分）に属することになる。
【００９２】
次に、上記代表色の輝度レベルが２〜７（２以上７以下）の範囲にあるか否かを判断する（Ｓ２４）。ここで、代表色の輝度レベルが上記の範囲にあればＳ２５に移行し、範囲になければＳ２７に移行する。
【００９３】
Ｓ２５では、Ｓ２４で調査した代表色に対して更に、彩度レベルが２以上であるか否かを判断する。すなわち、更に該代表色のトーンの彩度レベルを調べる。もし彩度レベルが２以上であるならばＳ２６に移行し、そうでなければ、Ｓ２８に移行する。
【００９４】
Ｓ２６では、上記代表色を、該当トーンに対応する彩度・輝度に変更する。すなわち、あらかじめ該代表色の属するトーンに一意に決定付けられている彩度・輝度を、該領域の領域色の彩度・輝度とする。
【００９５】
代表色のトーンから彩度・輝度値を決める具体的な方法としては、例えば、図８に示すように、代表色の属するトーンより彩度・輝度レベルが一段上のトーン内における彩度・明度の最大値を、該トーンの彩度・輝度値として定義する。つまり、図８（ａ）に示すトーン空間で設定された代表色のトーン（彩度レベル６，輝度レベル４）に対して、図８（ｂ）に示すように、彩度・輝度ともに１段階大きくした位置のトーン（彩度レベル７，輝度レベル５）を採用し、さらに、図８（ｃ）に示すように、図８（ｂ）で示したトーン内における最大彩度・輝度値に代表色の彩度・輝度値を変換する。これによって、代表色を、より明るく鮮やかな色に変換することができる。図８（ｃ）において、●は代表色を変換した領域色を示す。
【００９６】
なお、トーンから彩度・輝度値を決める方法は、別の方法を用いても良い。たとえば、図９（ａ）に示すトーン空間から、図９（ｂ）に示すように、トーン空間の分割レベルをもっと少なくした上位トーンを新たに定義し、図９（ｃ）に示すように、該トーンの含まれる上位トーン内の彩度・明度の最大値を、該トーンの彩度・輝度値として定義しても良い。これによれば、代表色は画像全体としてより色合いが統一された色に変換することができる。図９（ｃ）において、●は代表色を変換した領域色を示す。
【００９７】
一方、Ｓ２４で代表色の輝度レベルが２〜７の範囲でない場合には、彩度・輝度は代表色の彩度・輝度と同じにする（Ｓ２７）。ここでは、領域色の彩度・輝度値として、該代表色の彩度・輝度値をそのまま用いる。すなわち、輝度が極端に高い、または低い代表色は、色変換を行なわずに、代表色をそのまま領域色に適用する。
【００９８】
これにより、輝度レベルが１や８の代表色、すなわち輝度が極端な値をもつ代表色の彩度が不安定な場合に、余分な色変換を行なわないようにすることができる。そして、Ｓ２７の処理の終了後、Ｓ３２に移行する。
【００９９】
また、Ｓ２５で彩度レベルが２未満の場合、Ｓ２８に移行する。ここでは、領域色の彩度値は無条件に０とする。すなわち、彩度が低い代表色をもつ領域の領域色は、無彩色として定義される。これにより、人間が知覚しやすい無彩色により近い色は、完全に無彩色として扱い、余計な色変換を行なわないようにする。
【０１００】
そして、Ｓ２８の処理が終了すると、続いて、Ｓ２９に移行する。ここでは、該トーンの輝度レベルが３以上かどうかを調べる。３以上であるならば、Ｓ３０に移行し、３未満ならばＳ３１に移行する。
【０１０１】
Ｓ３０では、領域色の輝度値を、代表色の輝度値＋（最大輝度値−代表色の輝度値）により算出する。
【０１０２】
これにより、ある程度の輝度値をもつ代表色は、輝度値の底上げが行なわれ、より明るい無彩色に変換されることになる。Ｓ３０が終了すると、Ｓ３２に移行する。
【０１０３】
一方、Ｓ３１では、領域色の輝度値を、該代表色の輝度値とする。すなわち、彩度が低く、かつ、輝度があまり高くない代表色は、輝度値を変更せずに、無彩色に変換する。これにより、たとえば、より黒色に近い代表色は、黒さを保ったままで、かつ、完全に彩度のない無彩色として変換されることになる。Ｓ３１の処理が終了すると、Ｓ３２に移行する。
【０１０４】
Ｓ３２では、ＨＳＶ→ＲＧＢ変換を行う。すなわち、ここでは、ここまでの各ステップを経て求まった領域色の彩度・輝度に加えて、該代表色の色相を領域色の色相とし、これにより定まった領域色の色相・彩度・輝度（ＨＳＶデータ）を各単色光（赤、緑、青）の輝度値（ＲＧＢデータ）に変換する。以後、変換された各単色光の輝度値で表現される色を領域色とする。
【０１０５】
以上のステップにより図６のフローチャートの処理は終了し、分割領域内を描画する色である領域色を決定することが出来る。上記の領域色の決定は、すべての分割領域に対して行なわれる。求められた領域色を用いて、ラベル画像内の領域位置に対応する領域内を描画することにより、分割領域画像が生成される。
【０１０６】
分割領域画像の生成が終了すると、図３のＳ５が終了し、次いで、図３のＳ６へと移行する。
【０１０７】
なお、以上の説明では、入力される原画像がカラー画像の場合を中心に説明したが、入力される原画像がグレースケール画像の場合は、処理対象となる画素の各単色光の輝度値が、原画像（グレースケール画像）の該画素の輝度値と全て同じ値とした後で、上述の図６のフローチャートに従って処理を行えば良い。
【０１０８】
続いて、物体領域生成処理について説明する。
【０１０９】
ここでは、上述の領域輪郭座標位置の情報（ユーザー入力パターン）と原画像とから、物体領域の抽出と領域の色を決定し、決定された色を用いて抽出された領域内を描画することにより物体領域画像を生成する。ここで、具体的な生成手法について、図１０〜２２を用いて、詳細に説明する。
【０１１０】
本処理を説明するために、あらかじめ以下の手順で抽出すべき物体の色分布を解析しておく。
【０１１１】
１. 人間が手作業にて、対象物体が写っている画像より、その物体のもっとも支配的な色で構成された領域のみを抽出した支配領域色画像を作成する。支配的な色とは、例えば、図１１（ａ）に示すように、物体が人間の顔の場合、図１１（ｂ）に示すように、顔の色を示す肌色のことであり、その物体の色を表す一系統の色のことである。
【０１１２】
２. 同様の画像を別の物体についても複数個作成する。
【０１１３】
３. それらの支配色領域画像において、画素の色分布を、図１２に示す出現頻度のヒストグラムとして表す。すなわち、図１２（ａ）に示す曲線３２ａは色相のヒストグラム、図１２（ｂ）に示す曲線３２ｃは彩度のヒストグラム、図１２（ｃ）に示す曲線３２ｅは明度のヒストグラムを示している。
【０１１４】
４．各ヒストグラムにて、分布の平均と分散を求め、分布に最もよくフィットするような正規確率密度関数（以下の式（１））を求める。色相、彩度、明度の各正規確率密度関数は、それぞれ図１２（ａ）では曲線３２ｂ、図１２（ｂ）では曲線３２ｄ、図１２（ｃ）では曲線３２ｆで示される。
【０１１５】
かくして、該物体の色分布は、色相、彩度、明度それぞれについて、その平均値と分散（それぞれ、μhue 、σhue2、μsat 、σsat2、μval 、σval2）の２つの引数で表される正規確率密度関数（Phue(x) 、Psat(x) 、Pval(x) ）で表すことができる（式（２）〜（４））。そして、式（５）〜（７）で与えられる式をそれぞれ、色相、彩度、明度を与えた時の、物体領域確率密度関数と呼ぶ。
【０１１６】
P(x) 〜 N(μ,σ2) ≡
P(x) = 1/(2π(1/2) ) * exp(-((x- μ)2)/(2 σ2)) ・・・・（１）
Phue(x) 〜 N(μhue, σhue2) ・・・・（２）
Psat(x) 〜 N(μsat, σsat2) ・・・・（３）
Pval(x) 〜 N(μval, σval2) ・・・・（４）
Fhue(x) = Phue(x) / Phue( μhue) ・・・・（５）
Fsat(x) = Psat(x) / Psat( μsat) ・・・・（６）
Fval(x) = Pval(x) / Pval( μval) ・・・・（７）
なお、平均と分散を求めて正規分布にあてはめる際、平均から大きくずれるような値（例えば、図１２（ａ）に示す色相の分布ヒストグラムにおいて、２０位を中心に±３０程度にほとんどの画素の色相が分布するような場合に、１００や−１５０といった値）は、たとえ数が少なくとも、分散を大きく見積もってしまうことになるため、それらの色相値をもつ画素は異常値として除去したのち、平均と分散を計算したほうが、より正しい分布にあてはめられる正規分布曲線（確率密度関数）を得ることができる。
【０１１７】
次に、物体領域抽出処理の流れを図１０に示すフローチャートを参照しながら以下に説明する。
【０１１８】
まず、処理対象領域の設定を行う（Ｓ４１）。ここで、図１３（ａ）において、ユーザーにより入力されたパターン（以下、ユーザー入力パターンと称する）に基づき処理対象領域を設定する。画像４１に対し、人間の顔領域を指定するようなパターンがユーザーによって入力された場合、そのユーザー入力パターン４２の外接矩形の上下左右各辺をそれぞれ上方向、下方向、左方向、右方向に拡張して得られる矩形４３を処理対象領域とする。また、ユーザー入力パターン４２で囲まれた領域を、図１３（ｂ）に示すように、入力マスク領域４４とする。
【０１１９】
次に、物体領域候補画素の算出を行う（Ｓ４２）。つまり、入力画像は各画素ＲＧＢ値で表現されているとし、処理対象領域内にて、該入力画像の各画素のＲＧＢ値より求められる、色相、彩度、明度をそれぞれ引数として、３つの関数Fhue(x) 、Fsat(x) 、Fval(x) の値を求め、各値が特定のしきい値以上になるような画素を最初の物体領域候補画素とする。ここで、上記式（２）〜（４）で与えられる値は、各式にそれぞれ、ある画素の色相、彩度、明度を与えた時に、その画素が、これから抽出しようとする物体領域を構成する画素である確率を与えるものである。
【０１２０】
この時、設定する確率は、例えば５％のように、なるべく広い範囲をとるように小さめに設定すべきである。また、引数が平均（正規分布曲線の極大点）より小さい場合と大きい場合とで違う確率を設定する事もあり得る。
【０１２１】
このようにして、ユーザー指定によって設定された処理対象領域のなかで、わずかでも物体領域を構成する可能性のある画素を最初の物体領域候補画素とする。
【０１２２】
続いて、残った画素の色相、彩度、明度の平均・分散の算出を行う（Ｓ４３）。すなわち、上述の物体領域候補画素のうち、入力マスク領域内の画素の、色相、彩度、明度の平均と分散を求める。
【０１２３】
ここで、物体領域候補画素の選択を、確率を基準にして行うことを述べたが、撮像系の特性などにより、適宜、この確率での画素値（色相、彩度、明度）に近い値で適当にしきい値を調整することも有効である。
【０１２４】
新しく計算された色相、彩度、明度の平均、分散をそれぞれ、μhue ’、σhue2’、μsat ’、σsat2’、μval ’、σval2’とすると、色相、彩度、明度を引数とした新しい確率密度関数（ Phue ’(x) 、Psat ’(x) 、Pval ’(x) ）は、それぞれ、以下のように表される（式（８）〜（１０））。そして、新しい物体領域確率密度関数として、式（１１）〜（１３）を定義する。
Phue’(x) 〜 N(μhue ’, σhue2) ・・・・（８）
Psat’(x) 〜 N(μsat ’, σsat2) ・・・・（９）
Pval’(x) 〜 N(μval ’, σval2) ・・・（１０）
Fhue’(x) = Phue’(x) / Phue’( μhue ’) ・・・（１１）
Fsat’(x) = Psat’(x) / Psat’( μsat ’) ・・・（１２）
Fval’(x) = Pval’(x) / Pval’( μval ’) ・・・（１３）
これらの関数を用いて物体を構成する画素を選択する。
【０１２５】
１. まず、処理対象領域に含まれるすべての画素を初期値とし、そのなかで、色相値を引数として得られた物体領域確率（Fhue’(x) ）が一定値以下の画素を除去する。
【０１２６】
２. 次に、彩度値を引数として得られた物体領域確率（Fsat’(x) ）が一定値以下の画素を除去する。
【０１２７】
３. 最後に、明度値を引数として得られた物体領域確率（Fval’(x) ）が一定値以下の画素を除去する。
【０１２８】
ここで、しきい値として設定される確率の下限は、最初の物体領域候補画素を求めた時より高く設定する。例えば、前者が５％なら、後者は３０％というようにする。これにより、最初の顔肌候補画素を求めた時にノイズとして誤抽出されていたような画素も、後段で行われた手法では誤抽出されない、といった特徴があることになる。
【０１２９】
ここで、物体領域画素の選択を、確率を基準にして行うことを述べたが、撮像系の特性などにより、適宜、この確率での画素値（色相、彩度、明度）に近い値で適当にしきい値を調整することも有効である。
【０１３０】
例えば、図１４（ａ）に示すように、物体が顔である場合、明度に関して言及すると、顔肌と髪の毛では明らかに明度が異なり、図１４（ｂ）に示すように、ヒストグラムをとると明度値の小さいほうに髪の毛を表す山４５および、明度の比較的高いほうに顔肌領域を表す山４６が現れることになる。
【０１３１】
したがって、図１４（ａ）で示した画像に対して、単純に確率をしきい値として画素を選択してしまうと、図１４（ｂ）に示すように、明度値がＸ１のような位置にしきい値が設定されてしまい、髪の毛の一部も顔肌画素として抽出されてしまう可能性がある。そこで、このような場合には、適当な明度値以下で「大津の判別分析」のようなアルゴリズムを適用し、明度のしきい値をＸ２のように、より適当な値に設定することが可能となる。
【０１３２】
以上のような方法で、適応的に物体領域確率密度関数を更新することにより、図１５（ａ）に示す入力画像に対して、図１５（ｃ）に示すような物体領域抽出画像を得ることができる。また、従来のような固定関数で抽出する手法では、図１５（ｂ）に示すような物体領域抽出画像が得られる。したがって、上記した本願の方法により得られた図１５（ｃ）に示す物体領域抽出画像は、図１５（ｂ）に示す従来のような固定関数で抽出する手法で得られる物体領域抽出画像に比べ、ノイズによる誤抽出が少なくなるという利点がある。
【０１３３】
以上の説明は、入力画像がカラー画像である場合のことであり、グレースケール画像の場合は以下のようになる。
【０１３４】
まず、カラー画像の場合には、あらかじめ抽出すべき物体の色分布を解析するところで、各画素のＲＧＢ値を変換することによって得られるＨＳＶ値の分布を解析したが、グレースケール画像の場合には、各画素の輝度値を同様の解析手法によって解析する。すなわち、『色分布』とあるのを『輝度分布』に変更し、『支配的な色』とあるのを『支配的な輝度』に変更すればよい。
【０１３５】
そして、カラー画像では、ＨＳＶ値それぞれについて求めていたものについて、グレースケール画像では、輝度値だけが対象となるので、物体領域確率密度関数は、３つでなく1 つだけ得られることになる。
【０１３６】
また、上述の図１０に示すフローチャートのＳ４３の処理において、『色相、彩度、明度』とあるのを『輝度』に変更し、上述の物体領域確率に基づいて物体を構成する画素を選択する際の処理において、『色相値』を『輝度値』に変更すると共に、『彩度値』および『明度値』に基づいて画素を選択する処理を削除することにより、入力画像がグレースケール画像の場合の処理の流れを示すフローチャートを得ることができる。
【０１３７】
したがって、上述のようにすれば、入力画像がカラー画像の時と同じように、グレースケール画像の場合であっても、物体領域抽出画像を得ることができる。
【０１３８】
ここで、上記のような方法で得られた物体領域抽出画像に対し、物体マスク画像を生成するための処理について、図１６および図１７を参照しながら以下に説明する。
【０１３９】
まず、穴埋め処理を行う（Ｓ５１）。ここでは、得られた物体領域抽出画像を、図１７（ａ）に示す画像とする。白画素が物体領域を表す画素であり、黒画素が背景領域を表す画素である。したがって、この画像に対し、白色画素で囲まれた黒色画素（穴）を白色画素に置き換えることにより、穴を塞いだ画像、すなわち、図１７（ｂ）に示すような画像を得る。
【０１４０】
次に、微小領域の削除を行う（Ｓ５２）。ここで、収縮処理を１回以上行うことにより、微小領域を削除した画像、すなわち、図１７（ｃ）に示すような画像を得る。
【０１４１】
続いて、一部の領域を削除する（Ｓ５３）。ここで、連結画素を結合していくことにより物体領域を１つ以上の領域に分離し、各領域について、入力マスク領域との面積の共有率に基づき、一部の領域のみを残し、残りの領域を削除する（この処理については後述する）。このようにして得られた画像は、図１７（ｄ）に示すような画像となる。
【０１４２】
そして、物体マスク画像を生成する（Ｓ５４）。ここでは、図１７（ｄ）に示す画像を１回以上膨張させることで、図１７（ｅ）に示すような物体マスク画像を得る。
【０１４３】
ここで、上述の入力マスク領域との面積の共有率に基づく処理について、図１８を参照しながら以下に説明する。
【０１４４】
まず、物体領域抽出画像として、図１８（ａ）に示す画像が得られているとする。この画像は、５つの領域５１〜５５を含んでいる。また、物体領域抽出画像に対応する入力マスクを、図１８（ｂ）に示す画像とする。そして、図１８（ａ）に示す物体領域抽出画像と図１８（ｂ）に示す入力マスクの重なり具合を示したものが、図１８（ｃ）に示す画像となる。
【０１４５】
図１８（ａ）に示す画像の領域５２および５４であるが、これは、領域すべてが入力マスク内部に含まれているため、入力マスクとの面積共有率は１．０である。一方、領域５５は、入力マスクと全く重なる部分がないため、面積共有率は０．０である。領域５３は、領域のほとんどが入力マスク内に入っており、一部だけが入力マスクの外にあるため、面積共有率は高い。逆に、領域５１は、領域の一部だけが入力マスク内にあり、ほとんどは入力マスク外にあるため、共有率は低い。
【０１４６】
ここで、領域ｒの面積共有率Ｓ(r) を次式（１４）に示すように定義する。
Ｓ(r) = Area(Inmask & r) ／ Area(r) ・・・・・・・（１４）
ここで、Inmaskは入力マスク、Area(x) は領域 xの面積、& は論理積を表す。各領域毎にこの面積共有率Ｓを計算し、特定のしきい値を越える領域のみ残して、残りを削除することで、入力マスクの形状に近い物体領域を抽出することが可能になる。このようにして得られた画像は、図１８（ｄ）に示す画像である。
【０１４７】
さて、上で説明したことは、物体がひとつの支配的な色で構成されている場合であり、もし物体が二つの以上の支配的な色で構成されている場合、上記のような方法を用い、各色についてそれぞれ領域抽出を行う必要がある。例えば図１９（ａ）に示す人間の顔画像に対して、図１９（ｂ）に示す顔肌領域と、図１９（ｃ）に示す髪の毛の領域とを別々に抽出する必要がある。
【０１４８】
髪の毛の場合、図１０で説明している確率密度関数を用いる手法の他に、別の方法もある。髪の毛は、原則として明度の低い画素で構成されていることが多い。従って、Ｓ４１で得られる処理対象領域内において、判別分析法やP-TILE法などの手法を用いて二値化することができる。
【０１４９】
例えば図２０（ａ）に示す入力画像を二値化した場合、図２０（ｂ）に示す画像となる。このままでは、髪の毛の他に、明度の低い別の領域が抽出されてしまっている。後段の処理にて、不要な領域を削除し、図２０（ｃ）に示すように、髪の毛の領域のみ残した画像とする。
【０１５０】
また、図２１（ａ）に示す入力マスク領域に基づいて、処理対象領域を幾つかのエリアに分割する。図２１（ｂ）は、４つのエリアに分割し、それぞれのエリアに重み付け係数を設定している例である。この係数に基づいて各領域の重み付け面積を算出する。ここで、領域をＲ、点Ｐでの重み付け係数を Wp とすると、領域Ｒの重み付け面積Ｒwareaは、次式（１５）で与えられる。
このようにして算出した重み付け面積が、一定のしきい値以上の領域のみ残して、残りを削除することで、髪の毛の領域のみを抽出することができる。すなわち、図２１（ｃ）に示す画像から余分な領域を削除することで、図２１（ｄ）に示すような髪の毛の領域のみを抽出した画像を得ることができる。ここで用いる、エリアの分割方法と係数は、目的に応じて、様々に変化させる。
【０１５１】
ところで、髪の毛のように黒い、すなわち、明度が極端に低い画素で構成されている領域、あるいは、白紙などの白い、すなわち、彩度が極端に低い画素で構成されている領域の場合、物体領域確率密度関数を導出する方法よりも、上記判別分析法などを用いた二値化を手法を使ったほうがよいことがある。確率密度関数を適用する色空間にもよるが、例えばＨＳＶ色空間を用いた場合、黒い画素（ＲＧＢ値がすべて小さい値の画素）や白い画素（ＲＧＢ値がすべて高い値の画素）は、ＲＧＢ値からＨＳＶ値に変換する際、色相や彩度を精度よく計算できない場合があるからである。
【０１５２】
さて、上記のようにして領域を抽出することができるが、この領域内をさらに複数の領域に分割することもできる。
【０１５３】
例えば図２２（ａ）に示す入力画像に対して、顔領域が抽出された場合、図２２（ｂ）に示すような画像となる。この顔領域内を例えば、明るい領域と暗い領域の２つに分割するとする。ここでも、判別分析法やP-TILE法などを用いればよく、抽出された顔領域内の輝度値のヒストグラムを作り、それを元にしきい値を決定すればよい。図２２（ｃ）は、抽出された顔領域をさらに２つに分割したものであり、入力された画像の顔領域の明るさに応じて、２つに分割されている。３つ以上への分割も同様の方法で可能である。
【０１５４】
以上の動作により、物体領域の抽出が終了する。
【０１５５】
続いて、抽出された物体領域内をあらかじめ物体に応じて設定された色で描画することにより、物体領域画像が生成される（Ｓ４４）。たとえば、前述の顔画像の場合、顔肌、影、髪の毛などの領域の色を、人間の知覚に対して、より違和感のない色となるように実験的に求めておき、その色で描画する。物体領域画像の生成が終了すると、図３のＳ６が終了し、次いで、図３のＳ７の線画像生成処理へと進む。
【０１５６】
なお、上述の物体領域生成処理については、出力する画像がカラー画像の場合について述べたが、これに限定するものではなく、例えばモノクロ画像であっても基本的には同様の処理が適用できる。
【０１５７】
つまり、出力する画像がモノクロ画像の場合、上記物体領域抽出処理において生成された物体領域内を描画する色は２値（白または黒）である必要がある。たとえば、前述の顔画像の場合ならば、髪の毛を黒画素、顔肌を白画素で描画し、影領域を黒と白の市松模様となるように描画することによって実現できる。
【０１５８】
続いて、線画像生成処理について説明する。
【０１５９】
ここでは、上述の原画像と、図３のＳ４で生成された分割領域画像と、Ｓ６で生成された物体領域画像とから線画像を生成する。線画像生成処理の流れを図２３および図２４に示すフローチャート並びに図２５を参照しながら以下に説明する。
【０１６０】
まず、エッジ画像の生成が行われる（Ｓ６１）。ここでは、原画像と物体領域画像からエッジ画像を生成する。
【０１６１】
ここで、エッジ画像の具体的な生成方法について、図２４を用いて以下に説明する。なお、説明の便宜上、入力画像を格納するメモリとして入力画像用メモリＭ１、平滑化画像を格納するメモリとして平滑化画像用メモリＭ２、出力画像を格納するメモリとして出力画像用メモリＭ３を用いる。これらメモリＭ１〜Ｍ３は、記憶装置１３内に存在するものとする。
【０１６２】
はじめに、入力画像を入力画像用メモリＭ１（以下、メモリＭ１とする）に格納する（Ｓ７１）。この入力画像用メモリＭ１は、図１に示す記憶装置１３内に存在するものとする。そして、入力画像用メモリＭ１における画像の格納方法は、画像（横：Ｘ画素，縦：Ｙ画素）に対し、画像左上の画素から画像右下の画素へと順に輝度値を格納していく。すなわち、座標（ｘ，ｙ）の輝度値ＶをメモリＭ１の（ｘ＋Ｘ×ｙ）番目に格納する。画像１枚につきメモリ容量は（Ｘ×Ｙ）ｂｙｔｅ必要である。また、平滑化画像用メモリＭ２（以下、メモリＭ２とする），出力画像用メモリＭ３（以下、メモリＭ３とする）の構成も同様である。なお、入力画像がカラー（Ｒ，Ｇ，Ｂ）の場合には、輝度値ＶをＶ← 0.30 ×Ｒ＋0.59×Ｇ＋0.11×Ｂと求めて同様にＭ１に格納する。
【０１６３】
輝度値は、１画素につき1byte(=8bit)で表現されるため、とりうる値の範囲は、０〜２５５である。
【０１６４】
次に、メモリＭ１内の画像を平滑化し、メモリＭ２に格納する（Ｓ７２）。ここで、線画像生成部２０は、入力画像用メモリＭ１に格納された画像の平滑化を行なう。具体的には、座標（ｘ，ｙ）におけるメモリＭ１の値をＭ１（ｘ，ｙ）とすると、
（Ｍ１（ｘ−３，ｙ−３）＋Ｍ１（ｘ，ｙ−３）＋Ｍ１（ｘ＋３，ｙ−３）＋Ｍ１（ｘ−３，ｙ ）＋Ｍ１（ｘ，ｙ ）＋Ｍ１（ｘ＋３，ｙ ）＋Ｍ１（ｘ−３，ｙ＋３）＋Ｍ１（ｘ，ｙ＋３）＋Ｍ１（ｘ＋３，ｙ＋３））／９
を計算してメモリＭ２のＭ２（ｘ，ｙ）に値を格納し、画像の全画素に対して同様の処理を行なう。
【０１６５】
上下左右斜め８方向に対して均等の処理となるので、従来のエッジ抽出手法である、Sobel フィルタを使用して輪郭を検出する場合と異なり、結果が画素濃度勾配の方向に依存しない。
【０１６６】
なお、平滑化に使用する画素の範囲は上記９画素に限らず、さらに広い範囲や狭い範囲の画素を対象にしてもよい。
【０１６７】
続いて、メモリＭ１内の画像と、メモリＭ２内の画像の差分を求め、メモリＭ３に格納する（Ｓ７３）。ここで、線画像生成部２０は、平滑化後の画素値と平滑化前の画素値との差分を求める。
【０１６８】
具体的には、座標（ｘ，ｙ）においてメモリＭ１のＭ１（ｘ，ｙ）とメモリＭ２のＭ２（ｘ，ｙ）の値を比較し、
Ｍ１（ｘ，ｙ）≧Ｍ２（ｘ，ｙ）であれば、
Ｍ３（ｘ，ｙ）← ２５５
Ｍ１（ｘ，ｙ）＜Ｍ２（ｘ，ｙ）であれば、
Ｍ３（ｘ，ｙ）← ２５５ −（Ｍ２（ｘ，ｙ）−Ｍ１（ｘ，ｙ））
を代入し、画像の全画素に対して同様の処理を行なう。単にメモリＭ１とメモリＭ２の画素値の差分の絶対値を取る方法も考えられるが、この場合、近傍に明るい画素のある暗い画素と、近傍に暗い画素のある明るい画素の両方で差分値が大きくなるため、後述処理において２値化した結果は、Sobel フィルタを使用して検出した場合と同様に輪郭領域が大きく検出され、画像のイラスト化を目的とした結果としては好ましくない。従って、メモリＭ２とメモリＭ１との差が正となる近傍に明るい画素のある暗い画素のみが検出されるように上記式で計算を行なう。
【０１６９】
次いで、メモリＭ３内の画像を２値化する（Ｓ７４）。ここで、線画像生成部２０は、メモリＭ３に格納された画像の２値化を行なう。具体的には、例えば、あらかじめ定めたしきい値Ｔｈ１とメモリＭ３のＭ３（ｘ，ｙ）の値を比較し、Ｍ３（ｘ，ｙ）≧Ｔｈ１であれば、
Ｍ３（ｘ，ｙ）←０（白）
Ｍ３（ｘ，ｙ）＜Ｔｈ１であれば、
Ｍ３（ｘ，ｙ）←１（黒）
を代入し、画像の全画素に対して同様の処理を行なう。なお、白を１，黒を０として表すことも可能である。
【０１７０】
しきい値Ｔｈ１として、あらかじめ定めた値を使わずに、適応的に決定する手法もあり、それら他の手法をＳ７４において使用することも可能である。例えば、公知技術「大津の判別分析法」を用いることもできるし、前記の「物体領域抽出処理」によって抽出された領域内部を、公知技術「P-TILE法」で求めることなどが考えられる。
【０１７１】
さらに、メモリＭ１もしくはＭ２内の画像を２値化し、メモリＭ３との論理和もしくは論理積を求める（Ｓ７５）。ここで、線画像生成部２０は、メモリＭ１もしくはメモリＭ２に格納された画像の２値化を行なう。具体的には、例えばメモリＭ１に格納された画像の２値化を行なう場合、あらかじめ定めたしきい値Ｔｈ２とＭ１（ｘ，ｙ）の値を比較し、
Ｍ１（ｘ，ｙ）≧Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と０の論理和
Ｍ１（ｘ，ｙ）＜Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と１の論理和
を代入し、画像の全画素に対して同様の処理を行なう。なお、白を１，黒を０として表した場合は、
Ｍ１（ｘ，ｙ）≧Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と１の論理積
Ｍ１（ｘ，ｙ）＜Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と０の論理積
を代入し、画像の全画素に対して同様の処理を行なう。
【０１７２】
しきい値Ｔｈ２を求める方法としては、公知技術、「大津の判別分析法」や、「P-TILE法」などがあり、目的に合わせてどのようなしきい値判定法を用いてもよい。
【０１７３】
上記処理の結果、メモリＭ３には２値化された画像データが格納される。
【０１７４】
以上の動作により、エッジ画像が生成され、図２３に示すＳ６２に移行する。Ｓ６２では、境界線画像の生成が行われる。すなわち、分割領域画像から境界線画像を生成する。具体的な生成方法について、図２５を用いて以下に説明する。
【０１７５】
まず、前記分割領域画像から、各分割領域の面積値Ａ（ｎ）、及び各領域の領域色Ｃ（ｎ）を算出する。ここで、ｎは領域番号を表す。
【０１７６】
次に、互いに領域境界が接している２領域を検出する。図２５（ａ）に示す分割領域画像の場合、領域６１と領域６２、領域６２と領域６３、領域６２と領域６４、領域６３と領域６４が検出される。
【０１７７】
次に、検出された互いに接している領域ｎとｎ’の面積値と領域色について、あらかじめ設定した閾値Ｔｈ＿ＡとＴＨ＿Ｃに対し、
（条件１）面積値Ａ（ｎ）＞Ｔｈ＿Ａ かつ 面積値Ａ（ｎ’）＞ＴＨ＿Ａ
（条件２）領域色Ｃ（ｎ）とＣ（ｎ’）の色差 ＞ ＴＨ＿Ｃ
であるならば、領域ｎとｎ’が互いに接している領域境界上の位置にある画素を黒画素とする。そうでなければ該画素を白画素とする。また、各分割領域内の画素は、全て白画素とする。これにより、領域境界上の画素で上記条件をみたす画素は黒画素で、それ以外の画素は白画素となる画像（境界線画像）が生成できる。
【０１７８】
たとえば、図２５（ａ）に示す分割領域画像の場合、上述の互いに領域境界を接している２領域のうち、領域６３と領域６４の組合せ以外は、上記２条件を満たしたとすると、図２５（ｂ）に示す線分６５と線分６６が描画されることになる。
【０１７９】
ここで、条件（１）は、領域面積がある程度以上の大きさをもつ領域同士の境界、条件（２）は領域色があまり類似していない領域同士の境界を意味し、この２つの条件を満たす境界にのみ線が引かれることになる。この条件を科すことにより、各領域が過分割である場合も、違和感のない境界線画を生成できる。なお、上記条件は、イラスト画の生成を目的としたものだが、生成する画像の目的や用途に応じて別の条件を用いても構わない。
【０１８０】
また、条件（２）における色差の計算は図３のＳ４において用いた色差計算式を適用すれば良い。また、各条件の閾値Ｔｈ＿ＡとＴＨ＿Ｃは、実験的に求めた固定値を用いても良いし、画像に応じて適応的に変更しても良い。具体的には、原画像サイズ（全領域の面積値合計）に対するＴｈ＿Ａの割合を、たとえば、２０％と定義し、入力された原画像サイズを０．２倍することによりＴｈ＿Ａを算出すれば、Ｔｈ＿Ａを画像に応じて適宜再設定することができる。これにより、原画像のサイズの変化に対して、より柔軟に対応した境界線画像を生成できる。
【０１８１】
以上の動作により、境界線画像が生成され、Ｓ６２が終了する。次いで、Ｓ６３に移行する。
【０１８２】
Ｓ６３では、画像の合成が行われる。ここでは、Ｓ６１で生成されたエッジ画像と、Ｓ６２で生成された境界線画像とを合成する。具体的には、黒画素を０、白画素を１とした場合、両画像の同じ座標の画素データの論理積をとることによって、両画像を合成する。
【０１８３】
最後に、Ｓ６４では、合成画像の孤立線除去が行われる。ここでは、Ｓ６３で生成された合成画像に対して、孤立線の除去が行われる。具体的には、以下の手順で行なわれる。
【０１８４】
まず、合成画像中の任意の画素に対し、該画素が黒画素であるものを検出する。次に、該画素の周囲８近傍の黒画素を調べ、該画素に連結している黒画素の数を求める。連結している黒画素があれば、さらにその画素の周囲８近傍を調査する。連結している画素がなくなるまで再帰的に近傍を調査し、連結数を求める。最後に、連結数がある数より少ない黒画素は、孤立線として、黒から白画素に変更することにより、除去する。
【０１８５】
以上の動作により線画像の生成が終了し、図３のＳ７からＳ８へと進む。
【０１８６】
なお、図２３に示したエッジ画像を生成するＳ６１と境界線画像を生成するＳ６２は、並行して実施されても良い。
【０１８７】
また、上記の説明では、出力画像がカラー画像の場合について説明したが、出力画像がモノクロ画像の場合、すなわち図３のＳ４、Ｓ５の処理動作を省いている場合は、分割領域画像が生成されないので、Ｓ６２による境界線画像を生成できない。この場合、Ｓ６２を省き、Ｓ６３の合成画像は、Ｓ６１で生成されたエッジ画像と同一とすれば良い。
【０１８８】
図３のＳ８では、上述のＳ５〜Ｓ７で生成された分割領域画像、物体領域画像、線画像を、順に重ねることにより１枚の画像に合成し、処理結果画像を生成する。具体的な合成方法を図２を用いて説明する。
【０１８９】
まず、メモリ１３ｃに格納された分割領域画像２３を合成結果画像を格納するメモリ１３ｆに転送する。
【０１９０】
次いで、メモリ１３ｄに格納された物体領域画像２４中の物体領域部分に存在する画素値を、メモリ１３ｆ上の同一座標の画素値に上書きする。
【０１９１】
最後に、メモリ１３ｅに格納された線画像２５中の画素で、黒画素のみをメモリ１３ｆ上の同一座標の画素値に上書きする。これにより、メモリ１３ｆ上に最終的な合成結果画像が生成される。
【０１９２】
以上の動作により、ユーザーが指定した領域のみを顔画像として似顔絵風に強調処理し、かつ、それ以外の領域もイラスト風に変換した画像を得ることが出来る。
【０１９３】
なお、本実施の形態では、入力画像として主にカラー画像を用いた場合について説明したが、これに限定されるものではなく、上述したように、入力画像がグレースケール画像（モノクロ画像）の場合であっても、本発明は適用できる。
【０１９４】
したがって、入力画像がグレースケール画像の場合であっても、ユーザーが指定した領域を強調したイラスト風の画像を、違和感なく生成することができる。
【０１９５】
以上のことから、本発明は、パソコン、ワープロ、ワークステーション、オフコン、携帯型情報ツール、コピー機、スキャナ装置、ファクシミリ、テレビ、ビデオ、ビデオカメラなどにおいて、画像を取得する装置、画像を記憶する装置、画像を表示する装置を持つシステムで、利用者がマウスやペン、タブレットなどの座標入力装置を用いて当該画像上の任意の座標を指定できるもの、あるいは、あらかじめ紙などに印刷された画像に異なるインクなどを用いて座標指定があるものを光電変換し、当該画像と指定された座標を入力する事のできる装置を持つシステムならば、上記に列挙したような機器において適用可能となっている。
【０１９６】
【発明の効果】
本発明の画像処理装置は、以上のように、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、近接画素間の色の差異が小さいものを連結しながら一つの領域とすることにより原画像を分割した分割領域変換画像を生成し、上記物体領域指定手段により指定された物体領域変換画像を生成し、その後、線画像を生成する手段と、上記分割領域変換画像と、物体領域変換画像と、線画像とを合成する画像合成手段とを備えている構成である。
【０１９７】
また、本発明の他の画像処理装置は、以上のように、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、画像の特性値が類似する領域を単一の領域とすることにより複数の領域に分割する画像分割手段と、上記画像分割手段により分割された各領域の色を決定して分割領域変換画像を生成する分割領域変換画像生成手段と、上記物体領域指定手段により指定さ れた物体領域を抽出し、該物体領域の色を予め物体に応じて設定された色に決定して物体領域変換画像を生成する物体領域変換画像生成手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記分割領域変換画像生成手段により得られた分割領域変換画像と、上記物体領域変換画像生成手段により得られた物体領域変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えている構成である。
【０１９８】
それゆえ、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができるという効果を奏する。
【０１９９】
本発明のさらに他の画像処理装置は、以上のように、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、指定された物体領域が強調された画像に変換する強調変換手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記強調変換手段により得られた強調変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えており、上記強調変換手段は、上記物体領域指定手段により指定された物体領域を抽出すると共に、抽出した物体領域を２値化して物体領域変換画像を生成する２値化物体領域変換画像生成手段を有し、上記画像合成手段は、上記線画像変換手段により得られた線画像と、上記２値化物体領域変換画像生成手段により得られた２値化物体領域変換画像とを合成する構成である。
【０２００】
それゆえ、単純な２値化処理では生成できない、指定した物体部分を強調した趣のあるモノクロのイラスト画像を生成できるという効果を奏する。
【０２０１】
また , 上記各画像処理装置は、以上のように、上記物体領域指定手段により指定される物体領域が人物顔である構成である。
【０２０２】
それゆえ、入力される原画像中の物体に人物顔を含む人物写真画像などから、人物顔を似顔絵風に強調処理した、カラーのイラスト画像あるいはモノクロのイラスト画像を簡単に作成できるという効果を奏する。
【０２０３】
また、本発明の画像処理方法は、以上のように、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとを含む構成である。
【０２０４】
それゆえ、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができるという効果を奏する。
【０２０５】
また、本発明のコンピュータ読み取り可能な記録媒体は、以上のように、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとをコンピュータに実行させるための画像処理プログラムに記録した構成である。
【０２０６】
それゆえ、上記記録媒体をコンピュータに用いることで、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像処理装置の概略ブロック図である。
【図２】図１に示した画像処理装置によって実施される画像処理動作の各処理段階において生成される画像を示す説明図である。
【図３】図１に示した画像処理装置によって実施される画像処理動作の流れを示すフローチャートである。
【図４】図３に示したフローチャートの原画像領域分割処理の詳細を示すフローチャートである。
【図５】図３に示したフローチャートの原画像領域分割処理の流れを簡単に示したものであり、（ａ）は平滑化画像、（ｂ）はラベル画像、（ｃ）は統合処理された画像を示す模式図である。
【図６】図３に示したフローチャートの領域色変換処理の詳細を示すフローチャートである。
【図７】図６に示したフローチャートにおける代表色の属するトーンを調査する動作における一例を表す模式図である。
【図８】図６に示したフローチャートにおける代表色の属するトーンに対応する彩度・輝度を決定するための一手法について示した模式図である。
【図９】図６に示したフローチャートにおける代表色の属するトーンに対応する彩度・輝度を決定するための、図８とは異なる一手法について示した模式図である。
【図１０】図３に示したフローチャートの物体領域抽出処理において、抽出対象が顔肌領域である場合の例を詳細に説明するためのフローチャートである。
【図１１】（ａ）（ｂ）は、図１の画像処理装置を構成するために、あらかじめ物体の支配的色領域を解析する際の一例を示す模式図である。
【図１２】（ａ）〜（ｃ）は、図１１に示す支配的色領域を解析した画像の色分布の、色相・彩度・明度における出現頻度ヒストグラムである。
【図１３】（ａ）（ｂ）は、図１０に示したフローチャートにおいて、ユーザーの入力パターンに対する処理対象領域と入力マスク領域の関係を示す説明図である。
【図１４】（ａ）（ｂ）は、図１０に示したフローチャートにおいて、処理対象領域中の画素の明度に対する出現頻度ヒストグラムと、物体領域画素を選択する際のしきい値について説明するための模式図である。
【図１５】（ａ）〜（ｃ）は、図１０に示したフローチャートに従って、適応的に物体領域確率密度関数を更新することにより物体領域画像を生成した場合と、固定関数で物体領域抽出画像を生成した場合を比較するための説明図である。
【図１６】図１０に示した物体領域抽出処理によって抽出された領域画像から、物体マスク画像を生成する処理を説明するためのフローチャートである。
【図１７】（ａ）〜（ｅ）は、図１６に示したフローチャートに従って、物体マスク画像が生成される様子を表した説明図である。
【図１８】（ａ）〜（ｄ）は、図１６に示したフローチャートにおいて、抽出領域と入力マスク領域との面積の共有率に基づく領域削除処理を説明するための模式図である。
【図１９】（ａ）〜（ｃ）は、図３に示したフローチャートの物体領域抽出処理において、抽出対象が顔肌と髪の毛である場合の抽出例を表す説明図である。
【図２０】（ａ）〜（ｃ）は、図３に示したフローチャートの物体領域抽出処理において、抽出対象が髪の毛の領域である場合に、２値化処理を用いて抽出する例を示す説明図である。
【図２１】（ａ）〜（ｄ）は、図２０に示した髪領域の抽出処理において、図２０（ｂ）から図２０（ｃ）に至る処理動作を示す説明図である。
【図２２】（ａ）〜（ｃ）は、図３に示したフローチャートの物体領域抽出処理において、抽出した領域内を更に複数に分割する場合の例を表した説明図である。
【図２３】図３に示したフローチャートの線画像生成処理の詳細を表すフローチャートである。
【図２４】図２３に示したフローチャートのエッジ画像生成処理の詳細を表すフローチャートである。
【図２５】（ａ）（ｂ）は、図２３に示したフローチャートの境界線画像の生成処理を説明するための模式図である。
【図２６】図１に示す画像処理装置にて実行させるための画像処理用の各種プログラムを記録したコンピュータ読み取り可能な記録媒体を示す説明図である。
【符号の説明】
１１ 画像入力装置（画像入力手段）
１２ 領域位置指定装置（物体領域指定手段）
１３ 記憶装置
１４ 演算処理装置（画像合成処理手段）
１５ 表示装置（表示手段）
１６ 外部記憶装置
１７ 画像分割部
１８ 領域色変換部（分割領域変換画像生成手段）
１９ 物体領域生成部（物体領域変換画像生成手段、２値化物体領域変換画像生成手段）
２０ 線画像生成部（線画像変換手段、分割領域境界線画像生成手段）
２１ 画像合成部（画像合成手段）
２２ａ 原画像
２２ｂ 領域指定をした後の原画像
２２ｃ 物体領域輪郭
２３ 分割領域変換画像
２４ 物体領域変換画像
２５ 線画像
２６ カラーの処理結果画像
２７ モノクロの処理結果画像
【発明の属する技術分野】
本発明は、パソコン、ワープロ、ワークステーション、オフコン、携帯型情報ツール、コピー機、スキャナ装置、ファクシミリ、テレビ、ビデオ、ビデオカメラなどに用いられ、取り込んだ画像を操作者の所望する状態、例えば写真をイラスト風の趣のある画像に変換することのできる画像処理装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、写真や画像からイラスト風の趣をもつ画像を生成する場合、次のような手法がとられていた。
【０００３】
最も一般的なのは、熟練した技術をもつ者が、手作業にて作業することである。これは、非常に特殊な技術と高度な熟練を要する作業であるため、誰にでもできるものではないし、また、人間が手作業で行うため、作業に時間がかかり、大量に作成できない。
【０００４】
そこで、近年、作業時間の短縮と、大量作成とを可能にするために、パソコンやワープロなどの装置に搭載された画像処理装置を用いて、写真や画像からイラスト風の趣をもつ画像を生成することが考えられている。
【０００５】
例えば、画像処理を行うことのできる装置にて、入力画像をイラスト風の趣をもつ画像に変換するのに用いられる技術として、線画を生成したり、減色処理を行う手法などが提案されている。
【０００６】
線画を抽出する方法として、例えば、Sobel フィルタを用いた手法がある。この手法は簡単なアルゴリズムで画像中のエッジ部分を抽出することが可能であるが、線の太さが場所によって異なるなどの欠点がある。また、一般的に用いられる減色処理は、画素値（ＲＧＢ値や輝度値）のヒストグラムに基づいて行われるものであるため、例えば画像中でなめらかに明るさが変化している部分（グラデーション）など、ひとつの色で統合されるべき部分が複数の色に分割されるなどの欠点がある。
【０００７】
また、写真などの画像をイラスト風の趣のある画像に変換する方法として、例えば特許第2685458 号の「画像処理方法」（キヤノン株式会社）のような発明もある。上記画像処理方法では、エッジを抽出し、そのエッジに囲まれた領域内を特定の色で塗り潰してイラスト風の画像を生成するようになっている。
【０００８】
【発明が解決しようとする課題】
ところが、上記特許第2685458 号の「画像処理方法」では、エッジを抽出し、そのエッジに囲まれた領域内を特定の色で塗り潰す処理のため、エッジがとぎれなく閉領域を構成していなければならず、自然画像に対してそのようなエッジ抽出を行えば、画像によって小さい領域が多数生じてしまったり、逆に閉領域がまったく抽出されないなどで、画像によっては、目的とするイラスト風の趣をもつ画像を生成することが難しい。
【０００９】
また、上記の画像処理方法では、エッジ部のみ変換されていない原画像を出力する構成になっており、変換した画像と原画像が混成して表示されるため、原画像によっては、違和感を覚える画像が生成されてしまうという問題が生じる。
【００１０】
本発明は、上記の問題点を解決するためになされたもので、その目的は、入力された原画像に対し、エッジ抽出の結果に関わらず、原画像の対象となる物体を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することのできる画像処理装置および画像処理方法を提供することにある。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、上記の課題を解決するために、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、近接画素間の色の差異が小さいものを連結しながら一つの領域とすることにより原画像を分割した分割領域変換画像を生成し、上記物体領域指定手段により指定された物体領域変換画像を生成し、その後、線画像を生成する手段と、上記分割領域変換画像と、物体領域変換画像と、線画像とを合成する画像合成手段とを備えていることを特徴としている。
【００１２】
本発明の他の画像処理装置は、上記の課題を解決するために、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、画像の特性値が類似する領域を単一の領域とすることにより複数の領域に分割する画像分割手段と、上記画像分割手段により分割された各領域の色を決定して分割領域変換画像を生成する分割領域変換画像生成手段と、上記物体領域指定手段によ り指定された物体領域を抽出し、該物体領域の色を予め物体に応じて設定された色に決定して物体領域変換画像を生成する物体領域変換画像生成手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記分割領域変換画像生成手段により得られた分割領域変換画像と、上記物体領域変換画像生成手段により得られた物体領域変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えていることを特徴としている。
【００１３】
上記の構成によれば、画像入力手段により入力された原画像は、まず、表示手段に表示される。そして、この表示された原画像に対して、操作者は、マウスやペンなどのポインティングデバイスである物体領域指定手段を用いて、所望する物体領域を指定する。その後、分割領域変換画像生成手段によって原画像が分割領域変換画像に、物体領域変換画像生成手段によって原画像が物体領域変換画像に、変換される。一方、線画像変換手段によって指定された物体領域を考慮して画像全体のエッジを抽出することにより、原画像が線画像に変換される。最後に、画像合成手段により、上記分割領域変換画像と上記物体領域変換画像と線画像とが合成されることで、操作者が所望する物体領域が強調された画像、すなわちイラスト風の画像が得られる。
【００１４】
これにより、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができる。
【００１５】
本発明のさらに他の画像処理装置は、上記の課題を解決するために、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、指定された物体領域が強調された画像に変換する強調変換手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記強調変換手段により得られた強調変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えており、上記強調変換手段は、上記物体領域指定手段により指定された物体領域を抽出すると共に、抽出した物体領域を２値化して物体領域変換画像を生成する２値化物体領域変換画像生成手段を有し、上記画像合成手段は、上記線画像変換手段により得られた線画像と、上記２値化物体領域変換画像生成手段により得られた２値化物体領域変換画像とを合成することを特徴としている。
【００１６】
上記の構成によれば、画像入力手段により入力された原画像は、まず、表示手段に表示される。そして、この表示された原画像に対して、操作者は、マウスやペンなどのポインティングデバイスである物体領域指定手段を用いて、所望する物体領域を指定する。その後、強調変換手段によって、原画像が、指定された物体領域が強調された画像、すなわち強調変換画像に変換される。一方、線画像変換手段によって指定された物体領域を考慮して画像全体のエッジを抽出することにより、原画像が線画像に変換される。最後に、画像合成手段により、上記強調変換画像と線画像とが合成されることで、操作者が所望する物体領域が強調された画像、すなわちイラスト風の画像が得られる。
【００１７】
これにより、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができる。
【００１８】
さらに、２値化物体領域変換画像生成手段は、物体領域指定手段により指定された物体領域を抽出すると共に、抽出した物体領域を２値化して物体領域変換画像を生成する。具体的には、操作者に処理対象の前記原画像中の強調処理を行ないたい物体を指定させる。次いで、この指定された物体領域を判別し、この物体領域を強調するように２値化処理を行ない、２値化された物体領域変換画像を生成する。
【００１９】
また、別に、上記線画像変換手段により、入力画像からエッジを抽出し、線画像が作成される。
【００２０】
最後に、画像合成手段は、該２値化物体領域変換画像と該線画像を合成する。
【００２１】
これにより、単純な２値化処理では生成できない、指定した物体部分を強調した趣のあるモノクロのイラスト画像を生成できる。
【００２２】
また , 上記各画像処理装置は、上記物体領域指定手段により指定される物体領域が人物顔であることを特徴としている。
【００２３】
上記の構成によれば、入力される原画像中の物体に人物顔を含む人物写真画像などから、人物顔を似顔絵風に強調処理した、カラーのイラスト画像あるいはモノクロのイラスト画像を簡単に作成できる。
【００２４】
また、上記の課題を解決する手段としては、上述した各装置の他に、画像処理方法であってもよく、また、コンピュータで読み出し可能な記録媒体に本願発明の画像処理を実行するためのプログラムを記録しても良い。
【００２５】
すなわち、本発明の画像処理方法は、上記の課題を解決するために、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとを含むことを特徴としている。
【００２６】
また、本発明のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとをコンピュータに実行させるための画像処理プログラムに記録したことを特徴としている。
【００２７】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図２６に基づいて説明すれば、以下の通りである。
【００２８】
本実施の形態に係る画像処理装置は、写真や画像からイラスト風の趣をもつ画像を生成するための装置であり、図１に示すように、画像入力装置１１、領域位置指定装置１２、記憶装置１３、演算処理装置１４、表示装置１５、外部記憶装置１６を有している。
【００２９】
上記画像入力装置１１は、処理対象となる写真などの原画像を入力するための画像入力手段である。すなわち、画像入力装置１１は、処理対象となる画像の信号（画像信号）を本画像処理装置に入力するための装置である。
【００３０】
上記画像信号は、複数の画素が行列状に配列されて構成される２次元画像であり、各画素を表す画素データを有するデジタル信号である。各画素データには、２次元画像内の画素の位置を表す位置データ、および画素の表示特性を表す数値データが含まれる。表示特性を表す数値データには、２次元画像がカラー画像であるならば、たとえば赤青緑の各単色光毎の輝度を表す輝度データが含まれている。
【００３１】
上記画像入力装置１１としては、たとえばハードディスク、フロッピーディスク、光ディスクおよびビデオテープなどの記録媒体に記録されている信号を読み出す装置が用いられる。この場合、画像入力装置１１により記録媒体から読み出された信号は記憶装置１３に格納される。
【００３２】
このとき、上述の記録媒体には、たとえば撮像装置（図示せず）によって物体からの画像光を撮像して得られた画像信号が記憶されている。撮像装置としては、たとえばスキャナ、デジタルカメラ、およびビデオカメラが挙げられる。
【００３３】
また、画像入力装置１１自体が撮像装置を有し、得られた画像信号を記録媒体を経ずに、直接本画像処理装置の記憶装置１３に導入してもよい。
【００３４】
さらに、画像信号は、上述の撮像装置以外の装置および手法によって生成されてもよい。また、たとえばＣＤ−ＲＯＭのような記録媒体を用いて配布されるような、本画像処理装置の操作者以外の第三者が作成された画像の画像信号であってもよい。これらの画像信号の取得動作は、後述の本画像処理装置の画像処理動作の事前にあらかじめ準備されていてもよいし、処理動作の直前に行なわれてもよい。
【００３５】
上記領域位置指定装置１２は、操作者が画像中の対象物体領域を指定するための物体領域指定手段であり、たとえばマウスやトラックボール、ペンなどのポインティングデバイスが好適に用いれる。つまり、操作者は、上記領域位置指定装置１２としてのマウス等のポインティングデバイスを用いて、後述する表示装置１５に表示される画像入力装置１１によって導入された原画像を見ながら、強調処理したい領域を含むように領域位置（領域輪郭座標位置）を指定する。このとき、指定された領域輪郭座標位置は記憶装置１３に格納される一方、表示装置１５に反映され、たとえば、各座標間を結ぶ線分として表示される。このようにして得られる領域を物体領域とする。
【００３６】
上記記憶装置１３は、上述した原画像の画像信号や領域輪郭座標位置などを記憶する記憶手段であり、記憶する情報の種類に応じて少なくとも７つの記憶部、すなわちメモリ１３ａ〜１３ｇを有している。なお、記憶装置１３は、後述するメモリＭ１〜Ｍ３（図示しない）を有している。
【００３７】
メモリ１３ａには、画像入力装置１１によって入力された原画像（処理対象原画像）が格納され、メモリ１３ｂには、領域位置指定装置１２で上記処理対象画像に対して指定した領域を示す物体座標（領域輪郭座標位置）が格納される。
【００３８】
メモリ１３ｃ〜１３ｅには、演算処理装置１４にて、画像処理中に中間画像として生成される分割領域画像、物体領域画像、線画像がそれぞれ格納される。
【００３９】
メモリ１３ｆには、演算処理装置１４にて合成処理を行なった結果得られた合成画像が格納される。
【００４０】
メモリ１３ｇには、演算処理装置１４にて行われる各処理用のプログラムが格納され、これら各プログラムは必要に応じて読み出され、実行されるようになっている。この処理用のプログラムの詳細については後述する。
【００４１】
上記表示装置１５は、たとえば陰極線管や液晶表示装置などからなり、記憶装置１３のメモリ１３ａ，１３ｂに格納された画像データもしくは座標データを画面上に表示するようになっている。画面上には、入力された原画像が表示され、かつ、操作者が領域位置指定装置１２によって入力した座標が前記の原画像上に各座標間を結ぶ線分として表示されている。
【００４２】
また、表示装置１５は、記憶装置１３のメモリ１３ｆに格納された画像データ、すなわち、後述の演算処理装置１４の画像処理動作によって生成される合成画像を表示するようにもなっている。
【００４３】
上記演算処理装置１４は、本発明の主要な処理を行なう装置であり、且つ画像分割部１７、領域色変換部１８、物体領域生成部１９、線画像生成部２０、画像合成部２１から構成され、画像の合成処理を行う画像合成手段でもある。
【００４４】
上記画像分割部１７は、平滑化部１７ａ、ラベリング部１７ｂ、モードフィルタ部１７ｃからなり、これら各部を用いて原画像を複数の領域に分割する領域分割処理を行うようになっている。なお、この領域分割処理の詳細は後述する。
【００４５】
上記領域色変換部１８は、代表色取得部１８ａ、トーン変換部１８ｂからなり、これら各部を用いて分割領域毎の色を決定する領域色変換処理を行うようになっている。なお、領域色変換処理の詳細は後述する。
【００４６】
上記物体領域生成部１９は、色分布取得部１９ａ、肌領域抽出部１９ｂ、髪領域抽出部１９ｃ、顔マスク合成部１９ｄからなり、これら各部を用いて物体領域画像を生成する物体領域生成処理を行うようになっている。なお、物体領域生成処理の詳細は後述する。
【００４７】
上記線画像生成部２０は、エッジ抽出部２０ａ、２値化部２０ｂ、境界線画部２０ｃ、線画合成部２０ｄ、ノイズ除去部２０ｅからなり、これら各部を用いて原画像に対応する線画像を生成する線画像生成処理を行うようになっている。
【００４８】
上記画像合成部２１は、上記画像分割部１７と領域色変換部１８によって得られた分割領域画像、物体領域生成部１９によって得られた物体領域画像、線画像生成部２０によって得られた線画像を順に重ねて１枚の合成画像に生成する画像合成処理を行うようになっている。
【００４９】
上記演算処理装置１４にて行われる各処理用のプログラムは、上述したように、メモリ１３ｇに予め記憶させていてもよいし、上記の各処理用のプログラムをコンピュータが読み取り可能なようにフロッピーディスクやＣＤ−ＲＯＭなどの記録媒体に記録させてもよい。この場合、例えば、図１に示すように、フロッピーディスクやＣＤ−ＲＯＭなどの記録媒体の情報が読み取り可能な外部記憶装置１６を設け、この外部記憶装置１６によって上記の記録媒体に記録された情報、すなわち処理用プログラムをメモリ１３ｇに転送すればよい。
【００５０】
上記の記録媒体としては、例えば図２６に示すように、領域分割処理用プログラム３１ａ、領域色変換処理用プログラム３１ｂ、物体領域生成処理用プログラム３１ｃ、線画像生成処理用プログラム３１ｄ、画像合成処理用プログラム３１ｅが記録された記録媒体３１が考えられる。しかしながら、記録媒体３１に全ての処理用プログラムが記録されている必要はなく、上記の５つの処理用プログラムのうち少なくとも１つの処理用プログラムが記録されていればよい。この場合、記録媒体に記録されていない処理用プログラムは、メモリ１３ｆに予め記憶させればよい。
【００５１】
ここで、上記構成の画像処理装置で実行される画像処理について以下に説明する。なお、本説明では、原画像中で強調したい物体として人物の顔を適用した場合について説明する。また、はじめに図１に示す画像処理装置（以下、本画像処理装置と称する）で行われる画像処理の流れの全体を簡単に説明し、その後、各処理について詳細に説明する。
【００５２】
まず、本画像処理装置の画像処理について図２および図３を参照しながら簡単に説明する。
【００５３】
図２は、本画像処理装置によって実施される画像処理動作の各処理段階における画像を示す説明図であり、図３は、本画像処理装置における画像処理の流れを示すフローチャートである。本画像処理装置の画像処理では、図２に示す原画像２２ａに対し、操作者が強調したい人物顔領域として物体領域輪郭２２ｃを指定した場合に、物体領域を似顔絵風に強調変換し、かつ原画像２２ａ全体をイラスト風に変換して図２に示すイラスト風画像を示す処理結果画像２６，２７を生成するようになっている。
【００５４】
図３に示すように、はじめに原画像入力を行う（Ｓ１）。すなわち、画像入力装置１１は、対象となる原画像２２ａを記憶装置１３のメモリ１３ａに格納する。
【００５５】
次に、原画像表示を行う（Ｓ２）。すなわち、表示装置１５は、記憶装置１３のメモリ１３ａに格納された原画像２２ａを画面上に表示する。
【００５６】
次いで、物体領域の指定が行われる（Ｓ３）。すなわち、操作者は、領域位置指定装置１２を用いて、表示装置１５に表示される原画像２２ａを見ながら、領域輪郭座標位置を指定する。
【００５７】
これにより、図２に示す原画像２２ｂにおいて、物体領域輪郭２２ｃが示される。この領域輪郭座標位置は、物体領域の情報、たとえば、座標列、または２次元画像データ（マスク画像）として記憶装置１３のメモリ１３ｂに格納される。ここで、物体領域輪郭２２ｃは、完全に原画像２２ｂ中の実際の物体領域（顔領域）と一致する必要はない。また、物体領域輪郭２２ｃは、完全に閉じた輪郭として指定される必要はなく、閉じた輪郭が指定されなかった場合は、輪郭の始点と終点を結び、閉じた輪郭として記憶装置１３のメモリ１３ｂに格納されるようにしてもよい。なお、図２に示す原画像２２ａと原画像２２ｂとは同じ画像を示しており、説明の便宜上２つに分けている。すなわち、原画像２２ａは領域指定する前の画像を示し、原画像２２ｂは領域指定した後の画像を示している。
【００５８】
そして、物体領域の情報がメモリ１３ｂに格納された後で、次のステップ（Ｓ４）に移行する。
【００５９】
次いで、原画像の領域分割が行われる（Ｓ４）。ここで、画像分割部１７は、メモリ１３ａに格納された原画像２２ａを読み込み、領域分割処理を行う。すなわち、画像分割部１７は、平滑化部１７ａ、ラベリング部１７ｂ、モードフィルタ部１７ｃを用いて、画像中の画像の特性値が類似する画素が連続する領域を、単一の領域として原画像から分割する。分割された領域の情報はメモリ１３ｃに格納される。この領域分割処理の詳細は後述する。
【００６０】
続いて、領域色変換が行われる（Ｓ５）。ここで、領域色変換部１８は、メモリ１３ａに格納された原画像２２ａと、Ｓ４で生成され、メモリ１３ｃに格納された分割領域の情報とに基づいて、各分割領域の色をそれぞれ決定し、決定された色を用いて各分割領域内を描画することにより、図２に示す分割領域変換画像（以下、分割領域画像と称する）２３を生成し、メモリ１３ｃに再度格納する。この領域色変換処理の詳細は後述する。すなわち、上記領域色変換部１８は、分割された各領域の色をそれぞれ決定して分割領域変換画像を生成する分割領域変換画像生成手段を構成している。
【００６１】
次いで、物体領域の抽出／変換が行われる（Ｓ６）。ここで、物体領域生成部１９は、メモリ１３ａに格納された原画像２２ａとメモリ１３ｂに格納された領域輪郭座標位置の情報とに基づいて、物体領域の抽出と領域の色を決定し、決定された色を用いて抽出された領域内を描画することにより、図２に示す物体領域変換画像（以下、物体領域画像と称する）２４を生成し、メモリ１３ｄに格納する。この物体領域生成処理の詳細は後述する。すなわち、上記物体領域生成部１９は、物体領域を抽出すると共に、該物体領域の色を決定して物体領域変換画像を生成する物体領域変換画像生成手段を構成している。
【００６２】
次いで、線画像生成が行われる（Ｓ７）。ここで、線画像生成部２０は、メモリ１３ａに格納された原画像２２ａと、Ｓ５で生成され、メモリ１３ｃに格納された分割領域画像２３と、Ｓ６で生成され、メモリ１３ｄに格納された物体領域画像２４とに基づいて、図２に示す線画像２５を生成し、メモリ１３ｅに格納する。この線画像生成処理の詳細は後述する。
【００６３】
続いて、中間画像の合成が行われる（Ｓ８）。すなわち、上述のＳ７の動作が終ると、当該フローチャートの動作は、Ｓ８に進む。ここで、画像合成部２１は、Ｓ５〜Ｓ７で生成され、メモリ１３ｃ〜１３ｅに格納された中間画像である分割領域画像２３、物体領域画像２４、線画像２５を順に重ねることにより１枚の画像に合成し、図２に示す処理結果画像２６として、メモリ１３ｆに格納する。この画像合成処理の詳細は後述する。
【００６４】
最後に、処理結果表示が行われる（Ｓ９）。すなわち、メモリ１３ｆに格納された処理結果画像２６が、表示装置１５に表示される。この場合の画像は、入力画像がカラー画像であるので、カラーのイラスト風の画像となる。
【００６５】
なお、Ｓ４、Ｓ５とＳ６における処理は並行して実施されても良い。また、Ｓ４、Ｓ５はＳ３の前に行なわれても良い。
【００６６】
また、上記の画像処理の説明では、処理結果の画像がカラー画像の場合について説明しているが、処理結果の画像がモノクロ画像の場合についても同様にできる。
【００６７】
処理結果の画像がモノクロ画像の場合、特にカラー化に必要な処理、すなわち、Ｓ４、Ｓ５を必ずしも行なう必要はない。したがって、画像分割部１７、およびメモリ１３ｃは必要ない。また、線画像生成部２０中の境界線画部２０ｃも必要ない。この場合、Ｓ８において画像合成部２１は、メモリ１３ｄと１３ｅに格納された物体領域画像２４、線画像２５を、順に重ねることにより１枚の画像に合成し、図２に示す処理結果画像２７として、メモリ１３ｆに格納し、Ｓ９へ進むようにすればよい。
【００６８】
次に、本画像処理装置における画像処理の各処理の詳細について説明する。なお、ここでは、入力画像がカラーである例を中心に説明し、グレースケール、いわゆるモノクロの場合については別途説明を追加する。
【００６９】
はじめに、領域分割処理について説明する。
【００７０】
図４は、図３に示したフローチャートのＳ４の領域分割処理の詳細を表すフローチャートである。また、図５は、この領域分割処理動作によって後述のラベル画像が生成される様子を簡単に示した説明図である。図４のフローチャートと図５を用いて、画像分割部１７における上述の領域分割処理動作を説明する。
【００７１】
まず、平滑化処理を行う（Ｓ１１）。すなわち、図３のフローチャートでＳ３からＳ４に進むと、図４のフローチャートのＳ１１に移行する。ここで、平滑化部１７ａは、入力された原画像の画像信号の平滑化動作を実施する。
【００７２】
つまり、任意の位置の或る画素に対する平滑化動作は、たとえば、該画素の８近傍の画素の各単色光（赤、緑、青）の輝度値を各単色光毎に平均し、求まった単色光毎の平均値を該画素の単色光毎の輝度値とすることにより行なわれる。そして、入力された原画像中の全ての画素に対して上記平滑化を行なう。以降、各画素毎の画素データとして、平滑化された輝度値が与えられた画像を平滑化画像として定義する。
【００７３】
この平滑化画像の単純な例を図５（ａ）に示す。すなわち、図５（ａ）に示す平滑化画像では、単色光毎の平均値から分割領域画像が６つの色で、領域４０〜４５に分割されている。
【００７４】
したがって、上記平滑化部１７ａによる平滑化処理により、画像信号に含まれる雑音成分の影響を低減させることが出来る。平滑化手法は、この他の別の手法を用いてもよい。
【００７５】
次に、ラベリング処理を行う（Ｓ１２）。ここで、ラベリング部１７ｂは、Ｓ１１で求めた平滑化画像に対して、画素のラベリング動作を実施する。
【００７６】
つまり、ラベリング動作は、画素データが類似する画素に同一の領域番号を付ける動作であり、画像内の全ての画素について、画素単位で実施される。具体的には、任意の位置の或る画素に対し、該画素と該画素の近傍の複数の画素について、画素間の色差を算出する。続いて、色差とあらかじめ定める基準色差を比較し、基準色差以上の色差をもつ画素間は別の領域に含まれると判定し、互いに異なる領域番号を付ける。逆に、基準色差未満の色差をもつ画素間は同じ領域に含まれると判定し、同一の領域番号を付ける。これによって、平滑画像を構成するすべての画素が、複数の領域のいずれかに属するように、ラベリング動作が実施される。以降、各画素毎の画素データとして、領域番号が与えられた画像をラベル画像として定義する。
【００７７】
このラベル画像の例を、図５（ａ）の平滑化画像に対し、図５（ｂ）に示す。すなわち、図５（ｂ）に示すラベル画像では、６つの領域４０〜４５に対してそれぞれ数値（領域番号）が付与されている。領域４０に対して領域番号『３』が、領域４１に対して領域番号『１』が、領域４２に対して領域番号『４』が、領域４３に対して領域番号『６』が、領域４４に対して領域番号『２』が、領域４５に対して領域番号『５』が付与されている。
【００７８】
ここで、前記色差を算出する方法としては、たとえば、画素データの各単色光毎の輝度値を画素間でそれぞれ減算処理することにより差分値を算出し、各単色光毎の差分値の合計値を色差として算出する。色差算出手法は、この他の別の手法を用いても良い。たとえば、画素データを各単色光の輝度値から、色相（Ｈ）・彩度（Ｓ）・輝度（Ｖ）で表現されるＨＳＶ値に変換し、色差を求める２画素のＨＳＶ空間上での位置を求め、その間の距離値を色差としてもよい。
【００７９】
次に、モードフィルタ処理を行う（Ｓ１３）。ここで、モードフィルタ部１７ｃは、Ｓ１２で求めたラベル画像中の微小な領域を隣接の他の領域と統合する。任意の位置の或る画素に対する統合手法は、たとえば、或る画素の領域番号を、該画素の周辺の複数の画素に付けられた領域番号のうちでもっとも出現頻度が高い領域番号、すなわち、周囲の複数の画素がもっとも多く属する領域の領域番号に置き換えることで実施される。これにより、分割面積が極めて小さい領域を除去して、ラベル画像が、領域面積の比較的大きな領域のみで構成されるようにすることが出来る。
【００８０】
例えば、統合処理された画像の例を、図５（ｂ）に示すラベル画像に対し、図５（ｃ）に示す。すなわち、図５（ｂ）で領域番号『２』が付与された領域４４と領域番号『５』が付与された領域４５とは、それぞれ近傍画素である領域４０の領域番号『３』が付与される。これにより、ラベル画像中の微小な領域を適切な色に導くようになっている。
【００８１】
なお、以上の説明では、入力される原画像がカラー画像の場合を中心に説明したが、これに限定するものではなく、例えば入力される原画像がグレースケール画像の場合、上述のＳ１１の平滑化は各画素の単色光毎の輝度値の平均ではなく、各画素の輝度値の平均をとればよい。
【００８２】
同様にＳ１２のラベリング動作において算出される色差は、各単色光の輝度値の差分値の合計ではなく、画素の輝度値の差分値を色差と定義し、算出すればよい。
【００８３】
また、ＨＳＶ空間上で色差を算出する方法を用いるならば、画素の輝度値をＶとし、残りのＨ、Ｓ値を０として、画素データをＨＳＶ値に変換してから上述にあるように色差を算出してもよい。
【００８４】
以上のＳ１３の処理が終了すると、図３のＳ４の動作、すなわち領域分割処理が終了し、次いで、図３のＳ５へと進む。
【００８５】
次に、領域色変換処理について説明する。
【００８６】
上述のラベル画像と原画像から、分割領域の色を決定し、決定された色を用いて分割領域内を描画することにより、分割領域画像を生成する。ここで、具体的な分割領域の色（領域色）を決定する方法について、図６に示すフローチャートを参照しながら以下に説明する。
【００８７】
まず、分割領域の代表色の算出を行う（Ｓ２１）。ここで、領域色変換部１８の代表色取得部１８ａは、メモリ１３ａに格納された原画像と、画像分割部１７で求めたラベル画像から分割領域毎にその領域を代表する色（代表色）を算出する。
【００８８】
具体的な代表色の算出手法としては、たとえば、ラベル画像中のある領域番号の領域内の全ての画素の座標に対応する原画像中の画素データ、すなわち、各単色光の輝度値をそれぞれ平均し、求まった単色光毎の平均輝度値を各単色光毎の輝度値とする画素データを、その領域の代表色とする。代表色の算出は、この他の手法を用いて決定してもよい。
【００８９】
次に、ＲＧＢ→ＨＳＶ変換を行う（Ｓ２２）。ここでは、該代表色（ＲＧＢ）を色相・彩度・輝度によるデータ（ＨＳＶ）に変換する。
【００９０】
続いて、代表色の属するトーンを調査する（Ｓ２３）。ここでは、彩度、輝度を軸とした空間上で、該代表色の彩度・輝度値に基づき、該代表色がこの空間上のどの部分空間に属するかを決定する。以後、この彩度、輝度を軸とした空間全体をトーン空間と定義し、トーン空間の部分空間をトーンと定義する。
【００９１】
具体的には、たとえば図７に示すように、輝度、彩度のスケールを均等にレベル１からレベル８までのレベルに分割することにより、全部で６４の領域にトーン空間内を分割し、その各領域をトーンとして定義する。したがって、Ｓ２２で求めた該代表色の彩度・輝度値から、該代表色はトーン空間内の或るトーンと一意に関係付けることができる。たとえば、彩度・輝度のスケールが１であり、該代表色が彩度０．７、輝度０．４である場合、該代表色は、彩度レベル６、輝度レベル４のトーン（図中斜線部分）に属することになる。
【００９２】
次に、上記代表色の輝度レベルが２〜７（２以上７以下）の範囲にあるか否かを判断する（Ｓ２４）。ここで、代表色の輝度レベルが上記の範囲にあればＳ２５に移行し、範囲になければＳ２７に移行する。
【００９３】
Ｓ２５では、Ｓ２４で調査した代表色に対して更に、彩度レベルが２以上であるか否かを判断する。すなわち、更に該代表色のトーンの彩度レベルを調べる。もし彩度レベルが２以上であるならばＳ２６に移行し、そうでなければ、Ｓ２８に移行する。
【００９４】
Ｓ２６では、上記代表色を、該当トーンに対応する彩度・輝度に変更する。すなわち、あらかじめ該代表色の属するトーンに一意に決定付けられている彩度・輝度を、該領域の領域色の彩度・輝度とする。
【００９５】
代表色のトーンから彩度・輝度値を決める具体的な方法としては、例えば、図８に示すように、代表色の属するトーンより彩度・輝度レベルが一段上のトーン内における彩度・明度の最大値を、該トーンの彩度・輝度値として定義する。つまり、図８（ａ）に示すトーン空間で設定された代表色のトーン（彩度レベル６，輝度レベル４）に対して、図８（ｂ）に示すように、彩度・輝度ともに１段階大きくした位置のトーン（彩度レベル７，輝度レベル５）を採用し、さらに、図８（ｃ）に示すように、図８（ｂ）で示したトーン内における最大彩度・輝度値に代表色の彩度・輝度値を変換する。これによって、代表色を、より明るく鮮やかな色に変換することができる。図８（ｃ）において、●は代表色を変換した領域色を示す。
【００９６】
なお、トーンから彩度・輝度値を決める方法は、別の方法を用いても良い。たとえば、図９（ａ）に示すトーン空間から、図９（ｂ）に示すように、トーン空間の分割レベルをもっと少なくした上位トーンを新たに定義し、図９（ｃ）に示すように、該トーンの含まれる上位トーン内の彩度・明度の最大値を、該トーンの彩度・輝度値として定義しても良い。これによれば、代表色は画像全体としてより色合いが統一された色に変換することができる。図９（ｃ）において、●は代表色を変換した領域色を示す。
【００９７】
一方、Ｓ２４で代表色の輝度レベルが２〜７の範囲でない場合には、彩度・輝度は代表色の彩度・輝度と同じにする（Ｓ２７）。ここでは、領域色の彩度・輝度値として、該代表色の彩度・輝度値をそのまま用いる。すなわち、輝度が極端に高い、または低い代表色は、色変換を行なわずに、代表色をそのまま領域色に適用する。
【００９８】
これにより、輝度レベルが１や８の代表色、すなわち輝度が極端な値をもつ代表色の彩度が不安定な場合に、余分な色変換を行なわないようにすることができる。そして、Ｓ２７の処理の終了後、Ｓ３２に移行する。
【００９９】
また、Ｓ２５で彩度レベルが２未満の場合、Ｓ２８に移行する。ここでは、領域色の彩度値は無条件に０とする。すなわち、彩度が低い代表色をもつ領域の領域色は、無彩色として定義される。これにより、人間が知覚しやすい無彩色により近い色は、完全に無彩色として扱い、余計な色変換を行なわないようにする。
【０１００】
そして、Ｓ２８の処理が終了すると、続いて、Ｓ２９に移行する。ここでは、該トーンの輝度レベルが３以上かどうかを調べる。３以上であるならば、Ｓ３０に移行し、３未満ならばＳ３１に移行する。
【０１０１】
Ｓ３０では、領域色の輝度値を、代表色の輝度値＋（最大輝度値−代表色の輝度値）により算出する。
【０１０２】
これにより、ある程度の輝度値をもつ代表色は、輝度値の底上げが行なわれ、より明るい無彩色に変換されることになる。Ｓ３０が終了すると、Ｓ３２に移行する。
【０１０３】
一方、Ｓ３１では、領域色の輝度値を、該代表色の輝度値とする。すなわち、彩度が低く、かつ、輝度があまり高くない代表色は、輝度値を変更せずに、無彩色に変換する。これにより、たとえば、より黒色に近い代表色は、黒さを保ったままで、かつ、完全に彩度のない無彩色として変換されることになる。Ｓ３１の処理が終了すると、Ｓ３２に移行する。
【０１０４】
Ｓ３２では、ＨＳＶ→ＲＧＢ変換を行う。すなわち、ここでは、ここまでの各ステップを経て求まった領域色の彩度・輝度に加えて、該代表色の色相を領域色の色相とし、これにより定まった領域色の色相・彩度・輝度（ＨＳＶデータ）を各単色光（赤、緑、青）の輝度値（ＲＧＢデータ）に変換する。以後、変換された各単色光の輝度値で表現される色を領域色とする。
【０１０５】
以上のステップにより図６のフローチャートの処理は終了し、分割領域内を描画する色である領域色を決定することが出来る。上記の領域色の決定は、すべての分割領域に対して行なわれる。求められた領域色を用いて、ラベル画像内の領域位置に対応する領域内を描画することにより、分割領域画像が生成される。
【０１０６】
分割領域画像の生成が終了すると、図３のＳ５が終了し、次いで、図３のＳ６へと移行する。
【０１０７】
なお、以上の説明では、入力される原画像がカラー画像の場合を中心に説明したが、入力される原画像がグレースケール画像の場合は、処理対象となる画素の各単色光の輝度値が、原画像（グレースケール画像）の該画素の輝度値と全て同じ値とした後で、上述の図６のフローチャートに従って処理を行えば良い。
【０１０８】
続いて、物体領域生成処理について説明する。
【０１０９】
ここでは、上述の領域輪郭座標位置の情報（ユーザー入力パターン）と原画像とから、物体領域の抽出と領域の色を決定し、決定された色を用いて抽出された領域内を描画することにより物体領域画像を生成する。ここで、具体的な生成手法について、図１０〜２２を用いて、詳細に説明する。
【０１１０】
本処理を説明するために、あらかじめ以下の手順で抽出すべき物体の色分布を解析しておく。
【０１１１】
１. 人間が手作業にて、対象物体が写っている画像より、その物体のもっとも支配的な色で構成された領域のみを抽出した支配領域色画像を作成する。支配的な色とは、例えば、図１１（ａ）に示すように、物体が人間の顔の場合、図１１（ｂ）に示すように、顔の色を示す肌色のことであり、その物体の色を表す一系統の色のことである。
【０１１２】
２. 同様の画像を別の物体についても複数個作成する。
【０１１３】
３. それらの支配色領域画像において、画素の色分布を、図１２に示す出現頻度のヒストグラムとして表す。すなわち、図１２（ａ）に示す曲線３２ａは色相のヒストグラム、図１２（ｂ）に示す曲線３２ｃは彩度のヒストグラム、図１２（ｃ）に示す曲線３２ｅは明度のヒストグラムを示している。
【０１１４】
４．各ヒストグラムにて、分布の平均と分散を求め、分布に最もよくフィットするような正規確率密度関数（以下の式（１））を求める。色相、彩度、明度の各正規確率密度関数は、それぞれ図１２（ａ）では曲線３２ｂ、図１２（ｂ）では曲線３２ｄ、図１２（ｃ）では曲線３２ｆで示される。
【０１１５】
かくして、該物体の色分布は、色相、彩度、明度それぞれについて、その平均値と分散（それぞれ、μhue 、σhue2、μsat 、σsat2、μval 、σval2）の２つの引数で表される正規確率密度関数（Phue(x) 、Psat(x) 、Pval(x) ）で表すことができる（式（２）〜（４））。そして、式（５）〜（７）で与えられる式をそれぞれ、色相、彩度、明度を与えた時の、物体領域確率密度関数と呼ぶ。
【０１１６】
P(x) 〜 N(μ,σ2) ≡
P(x) = 1/(2π(1/2) ) * exp(-((x- μ)2)/(2 σ2)) ・・・・（１）
Phue(x) 〜 N(μhue, σhue2) ・・・・（２）
Psat(x) 〜 N(μsat, σsat2) ・・・・（３）
Pval(x) 〜 N(μval, σval2) ・・・・（４）
Fhue(x) = Phue(x) / Phue( μhue) ・・・・（５）
Fsat(x) = Psat(x) / Psat( μsat) ・・・・（６）
Fval(x) = Pval(x) / Pval( μval) ・・・・（７）
なお、平均と分散を求めて正規分布にあてはめる際、平均から大きくずれるような値（例えば、図１２（ａ）に示す色相の分布ヒストグラムにおいて、２０位を中心に±３０程度にほとんどの画素の色相が分布するような場合に、１００や−１５０といった値）は、たとえ数が少なくとも、分散を大きく見積もってしまうことになるため、それらの色相値をもつ画素は異常値として除去したのち、平均と分散を計算したほうが、より正しい分布にあてはめられる正規分布曲線（確率密度関数）を得ることができる。
【０１１７】
次に、物体領域抽出処理の流れを図１０に示すフローチャートを参照しながら以下に説明する。
【０１１８】
まず、処理対象領域の設定を行う（Ｓ４１）。ここで、図１３（ａ）において、ユーザーにより入力されたパターン（以下、ユーザー入力パターンと称する）に基づき処理対象領域を設定する。画像４１に対し、人間の顔領域を指定するようなパターンがユーザーによって入力された場合、そのユーザー入力パターン４２の外接矩形の上下左右各辺をそれぞれ上方向、下方向、左方向、右方向に拡張して得られる矩形４３を処理対象領域とする。また、ユーザー入力パターン４２で囲まれた領域を、図１３（ｂ）に示すように、入力マスク領域４４とする。
【０１１９】
次に、物体領域候補画素の算出を行う（Ｓ４２）。つまり、入力画像は各画素ＲＧＢ値で表現されているとし、処理対象領域内にて、該入力画像の各画素のＲＧＢ値より求められる、色相、彩度、明度をそれぞれ引数として、３つの関数Fhue(x) 、Fsat(x) 、Fval(x) の値を求め、各値が特定のしきい値以上になるような画素を最初の物体領域候補画素とする。ここで、上記式（２）〜（４）で与えられる値は、各式にそれぞれ、ある画素の色相、彩度、明度を与えた時に、その画素が、これから抽出しようとする物体領域を構成する画素である確率を与えるものである。
【０１２０】
この時、設定する確率は、例えば５％のように、なるべく広い範囲をとるように小さめに設定すべきである。また、引数が平均（正規分布曲線の極大点）より小さい場合と大きい場合とで違う確率を設定する事もあり得る。
【０１２１】
このようにして、ユーザー指定によって設定された処理対象領域のなかで、わずかでも物体領域を構成する可能性のある画素を最初の物体領域候補画素とする。
【０１２２】
続いて、残った画素の色相、彩度、明度の平均・分散の算出を行う（Ｓ４３）。すなわち、上述の物体領域候補画素のうち、入力マスク領域内の画素の、色相、彩度、明度の平均と分散を求める。
【０１２３】
ここで、物体領域候補画素の選択を、確率を基準にして行うことを述べたが、撮像系の特性などにより、適宜、この確率での画素値（色相、彩度、明度）に近い値で適当にしきい値を調整することも有効である。
【０１２４】
新しく計算された色相、彩度、明度の平均、分散をそれぞれ、μhue ’、σhue2’、μsat ’、σsat2’、μval ’、σval2’とすると、色相、彩度、明度を引数とした新しい確率密度関数（ Phue ’(x) 、Psat ’(x) 、Pval ’(x) ）は、それぞれ、以下のように表される（式（８）〜（１０））。そして、新しい物体領域確率密度関数として、式（１１）〜（１３）を定義する。
Phue’(x) 〜 N(μhue ’, σhue2) ・・・・（８）
Psat’(x) 〜 N(μsat ’, σsat2) ・・・・（９）
Pval’(x) 〜 N(μval ’, σval2) ・・・（１０）
Fhue’(x) = Phue’(x) / Phue’( μhue ’) ・・・（１１）
Fsat’(x) = Psat’(x) / Psat’( μsat ’) ・・・（１２）
Fval’(x) = Pval’(x) / Pval’( μval ’) ・・・（１３）
これらの関数を用いて物体を構成する画素を選択する。
【０１２５】
１. まず、処理対象領域に含まれるすべての画素を初期値とし、そのなかで、色相値を引数として得られた物体領域確率（Fhue’(x) ）が一定値以下の画素を除去する。
【０１２６】
２. 次に、彩度値を引数として得られた物体領域確率（Fsat’(x) ）が一定値以下の画素を除去する。
【０１２７】
３. 最後に、明度値を引数として得られた物体領域確率（Fval’(x) ）が一定値以下の画素を除去する。
【０１２８】
ここで、しきい値として設定される確率の下限は、最初の物体領域候補画素を求めた時より高く設定する。例えば、前者が５％なら、後者は３０％というようにする。これにより、最初の顔肌候補画素を求めた時にノイズとして誤抽出されていたような画素も、後段で行われた手法では誤抽出されない、といった特徴があることになる。
【０１２９】
ここで、物体領域画素の選択を、確率を基準にして行うことを述べたが、撮像系の特性などにより、適宜、この確率での画素値（色相、彩度、明度）に近い値で適当にしきい値を調整することも有効である。
【０１３０】
例えば、図１４（ａ）に示すように、物体が顔である場合、明度に関して言及すると、顔肌と髪の毛では明らかに明度が異なり、図１４（ｂ）に示すように、ヒストグラムをとると明度値の小さいほうに髪の毛を表す山４５および、明度の比較的高いほうに顔肌領域を表す山４６が現れることになる。
【０１３１】
したがって、図１４（ａ）で示した画像に対して、単純に確率をしきい値として画素を選択してしまうと、図１４（ｂ）に示すように、明度値がＸ１のような位置にしきい値が設定されてしまい、髪の毛の一部も顔肌画素として抽出されてしまう可能性がある。そこで、このような場合には、適当な明度値以下で「大津の判別分析」のようなアルゴリズムを適用し、明度のしきい値をＸ２のように、より適当な値に設定することが可能となる。
【０１３２】
以上のような方法で、適応的に物体領域確率密度関数を更新することにより、図１５（ａ）に示す入力画像に対して、図１５（ｃ）に示すような物体領域抽出画像を得ることができる。また、従来のような固定関数で抽出する手法では、図１５（ｂ）に示すような物体領域抽出画像が得られる。したがって、上記した本願の方法により得られた図１５（ｃ）に示す物体領域抽出画像は、図１５（ｂ）に示す従来のような固定関数で抽出する手法で得られる物体領域抽出画像に比べ、ノイズによる誤抽出が少なくなるという利点がある。
【０１３３】
以上の説明は、入力画像がカラー画像である場合のことであり、グレースケール画像の場合は以下のようになる。
【０１３４】
まず、カラー画像の場合には、あらかじめ抽出すべき物体の色分布を解析するところで、各画素のＲＧＢ値を変換することによって得られるＨＳＶ値の分布を解析したが、グレースケール画像の場合には、各画素の輝度値を同様の解析手法によって解析する。すなわち、『色分布』とあるのを『輝度分布』に変更し、『支配的な色』とあるのを『支配的な輝度』に変更すればよい。
【０１３５】
そして、カラー画像では、ＨＳＶ値それぞれについて求めていたものについて、グレースケール画像では、輝度値だけが対象となるので、物体領域確率密度関数は、３つでなく1 つだけ得られることになる。
【０１３６】
また、上述の図１０に示すフローチャートのＳ４３の処理において、『色相、彩度、明度』とあるのを『輝度』に変更し、上述の物体領域確率に基づいて物体を構成する画素を選択する際の処理において、『色相値』を『輝度値』に変更すると共に、『彩度値』および『明度値』に基づいて画素を選択する処理を削除することにより、入力画像がグレースケール画像の場合の処理の流れを示すフローチャートを得ることができる。
【０１３７】
したがって、上述のようにすれば、入力画像がカラー画像の時と同じように、グレースケール画像の場合であっても、物体領域抽出画像を得ることができる。
【０１３８】
ここで、上記のような方法で得られた物体領域抽出画像に対し、物体マスク画像を生成するための処理について、図１６および図１７を参照しながら以下に説明する。
【０１３９】
まず、穴埋め処理を行う（Ｓ５１）。ここでは、得られた物体領域抽出画像を、図１７（ａ）に示す画像とする。白画素が物体領域を表す画素であり、黒画素が背景領域を表す画素である。したがって、この画像に対し、白色画素で囲まれた黒色画素（穴）を白色画素に置き換えることにより、穴を塞いだ画像、すなわち、図１７（ｂ）に示すような画像を得る。
【０１４０】
次に、微小領域の削除を行う（Ｓ５２）。ここで、収縮処理を１回以上行うことにより、微小領域を削除した画像、すなわち、図１７（ｃ）に示すような画像を得る。
【０１４１】
続いて、一部の領域を削除する（Ｓ５３）。ここで、連結画素を結合していくことにより物体領域を１つ以上の領域に分離し、各領域について、入力マスク領域との面積の共有率に基づき、一部の領域のみを残し、残りの領域を削除する（この処理については後述する）。このようにして得られた画像は、図１７（ｄ）に示すような画像となる。
【０１４２】
そして、物体マスク画像を生成する（Ｓ５４）。ここでは、図１７（ｄ）に示す画像を１回以上膨張させることで、図１７（ｅ）に示すような物体マスク画像を得る。
【０１４３】
ここで、上述の入力マスク領域との面積の共有率に基づく処理について、図１８を参照しながら以下に説明する。
【０１４４】
まず、物体領域抽出画像として、図１８（ａ）に示す画像が得られているとする。この画像は、５つの領域５１〜５５を含んでいる。また、物体領域抽出画像に対応する入力マスクを、図１８（ｂ）に示す画像とする。そして、図１８（ａ）に示す物体領域抽出画像と図１８（ｂ）に示す入力マスクの重なり具合を示したものが、図１８（ｃ）に示す画像となる。
【０１４５】
図１８（ａ）に示す画像の領域５２および５４であるが、これは、領域すべてが入力マスク内部に含まれているため、入力マスクとの面積共有率は１．０である。一方、領域５５は、入力マスクと全く重なる部分がないため、面積共有率は０．０である。領域５３は、領域のほとんどが入力マスク内に入っており、一部だけが入力マスクの外にあるため、面積共有率は高い。逆に、領域５１は、領域の一部だけが入力マスク内にあり、ほとんどは入力マスク外にあるため、共有率は低い。
【０１４６】
ここで、領域ｒの面積共有率Ｓ(r) を次式（１４）に示すように定義する。
Ｓ(r) = Area(Inmask & r) ／ Area(r) ・・・・・・・（１４）
ここで、Inmaskは入力マスク、Area(x) は領域 xの面積、& は論理積を表す。各領域毎にこの面積共有率Ｓを計算し、特定のしきい値を越える領域のみ残して、残りを削除することで、入力マスクの形状に近い物体領域を抽出することが可能になる。このようにして得られた画像は、図１８（ｄ）に示す画像である。
【０１４７】
さて、上で説明したことは、物体がひとつの支配的な色で構成されている場合であり、もし物体が二つの以上の支配的な色で構成されている場合、上記のような方法を用い、各色についてそれぞれ領域抽出を行う必要がある。例えば図１９（ａ）に示す人間の顔画像に対して、図１９（ｂ）に示す顔肌領域と、図１９（ｃ）に示す髪の毛の領域とを別々に抽出する必要がある。
【０１４８】
髪の毛の場合、図１０で説明している確率密度関数を用いる手法の他に、別の方法もある。髪の毛は、原則として明度の低い画素で構成されていることが多い。従って、Ｓ４１で得られる処理対象領域内において、判別分析法やP-TILE法などの手法を用いて二値化することができる。
【０１４９】
例えば図２０（ａ）に示す入力画像を二値化した場合、図２０（ｂ）に示す画像となる。このままでは、髪の毛の他に、明度の低い別の領域が抽出されてしまっている。後段の処理にて、不要な領域を削除し、図２０（ｃ）に示すように、髪の毛の領域のみ残した画像とする。
【０１５０】
また、図２１（ａ）に示す入力マスク領域に基づいて、処理対象領域を幾つかのエリアに分割する。図２１（ｂ）は、４つのエリアに分割し、それぞれのエリアに重み付け係数を設定している例である。この係数に基づいて各領域の重み付け面積を算出する。ここで、領域をＲ、点Ｐでの重み付け係数を Wp とすると、領域Ｒの重み付け面積Ｒwareaは、次式（１５）で与えられる。
【０１５１】
ところで、髪の毛のように黒い、すなわち、明度が極端に低い画素で構成されている領域、あるいは、白紙などの白い、すなわち、彩度が極端に低い画素で構成されている領域の場合、物体領域確率密度関数を導出する方法よりも、上記判別分析法などを用いた二値化を手法を使ったほうがよいことがある。確率密度関数を適用する色空間にもよるが、例えばＨＳＶ色空間を用いた場合、黒い画素（ＲＧＢ値がすべて小さい値の画素）や白い画素（ＲＧＢ値がすべて高い値の画素）は、ＲＧＢ値からＨＳＶ値に変換する際、色相や彩度を精度よく計算できない場合があるからである。
【０１５２】
さて、上記のようにして領域を抽出することができるが、この領域内をさらに複数の領域に分割することもできる。
【０１５３】
例えば図２２（ａ）に示す入力画像に対して、顔領域が抽出された場合、図２２（ｂ）に示すような画像となる。この顔領域内を例えば、明るい領域と暗い領域の２つに分割するとする。ここでも、判別分析法やP-TILE法などを用いればよく、抽出された顔領域内の輝度値のヒストグラムを作り、それを元にしきい値を決定すればよい。図２２（ｃ）は、抽出された顔領域をさらに２つに分割したものであり、入力された画像の顔領域の明るさに応じて、２つに分割されている。３つ以上への分割も同様の方法で可能である。
【０１５４】
以上の動作により、物体領域の抽出が終了する。
【０１５５】
続いて、抽出された物体領域内をあらかじめ物体に応じて設定された色で描画することにより、物体領域画像が生成される（Ｓ４４）。たとえば、前述の顔画像の場合、顔肌、影、髪の毛などの領域の色を、人間の知覚に対して、より違和感のない色となるように実験的に求めておき、その色で描画する。物体領域画像の生成が終了すると、図３のＳ６が終了し、次いで、図３のＳ７の線画像生成処理へと進む。
【０１５６】
なお、上述の物体領域生成処理については、出力する画像がカラー画像の場合について述べたが、これに限定するものではなく、例えばモノクロ画像であっても基本的には同様の処理が適用できる。
【０１５７】
つまり、出力する画像がモノクロ画像の場合、上記物体領域抽出処理において生成された物体領域内を描画する色は２値（白または黒）である必要がある。たとえば、前述の顔画像の場合ならば、髪の毛を黒画素、顔肌を白画素で描画し、影領域を黒と白の市松模様となるように描画することによって実現できる。
【０１５８】
続いて、線画像生成処理について説明する。
【０１５９】
ここでは、上述の原画像と、図３のＳ４で生成された分割領域画像と、Ｓ６で生成された物体領域画像とから線画像を生成する。線画像生成処理の流れを図２３および図２４に示すフローチャート並びに図２５を参照しながら以下に説明する。
【０１６０】
まず、エッジ画像の生成が行われる（Ｓ６１）。ここでは、原画像と物体領域画像からエッジ画像を生成する。
【０１６１】
ここで、エッジ画像の具体的な生成方法について、図２４を用いて以下に説明する。なお、説明の便宜上、入力画像を格納するメモリとして入力画像用メモリＭ１、平滑化画像を格納するメモリとして平滑化画像用メモリＭ２、出力画像を格納するメモリとして出力画像用メモリＭ３を用いる。これらメモリＭ１〜Ｍ３は、記憶装置１３内に存在するものとする。
【０１６２】
はじめに、入力画像を入力画像用メモリＭ１（以下、メモリＭ１とする）に格納する（Ｓ７１）。この入力画像用メモリＭ１は、図１に示す記憶装置１３内に存在するものとする。そして、入力画像用メモリＭ１における画像の格納方法は、画像（横：Ｘ画素，縦：Ｙ画素）に対し、画像左上の画素から画像右下の画素へと順に輝度値を格納していく。すなわち、座標（ｘ，ｙ）の輝度値ＶをメモリＭ１の（ｘ＋Ｘ×ｙ）番目に格納する。画像１枚につきメモリ容量は（Ｘ×Ｙ）ｂｙｔｅ必要である。また、平滑化画像用メモリＭ２（以下、メモリＭ２とする），出力画像用メモリＭ３（以下、メモリＭ３とする）の構成も同様である。なお、入力画像がカラー（Ｒ，Ｇ，Ｂ）の場合には、輝度値ＶをＶ← 0.30 ×Ｒ＋0.59×Ｇ＋0.11×Ｂと求めて同様にＭ１に格納する。
【０１６３】
輝度値は、１画素につき1byte(=8bit)で表現されるため、とりうる値の範囲は、０〜２５５である。
【０１６４】
次に、メモリＭ１内の画像を平滑化し、メモリＭ２に格納する（Ｓ７２）。ここで、線画像生成部２０は、入力画像用メモリＭ１に格納された画像の平滑化を行なう。具体的には、座標（ｘ，ｙ）におけるメモリＭ１の値をＭ１（ｘ，ｙ）とすると、
（Ｍ１（ｘ−３，ｙ−３）＋Ｍ１（ｘ，ｙ−３）＋Ｍ１（ｘ＋３，ｙ−３）＋Ｍ１（ｘ−３，ｙ ）＋Ｍ１（ｘ，ｙ ）＋Ｍ１（ｘ＋３，ｙ ）＋Ｍ１（ｘ−３，ｙ＋３）＋Ｍ１（ｘ，ｙ＋３）＋Ｍ１（ｘ＋３，ｙ＋３））／９
を計算してメモリＭ２のＭ２（ｘ，ｙ）に値を格納し、画像の全画素に対して同様の処理を行なう。
【０１６５】
上下左右斜め８方向に対して均等の処理となるので、従来のエッジ抽出手法である、Sobel フィルタを使用して輪郭を検出する場合と異なり、結果が画素濃度勾配の方向に依存しない。
【０１６６】
なお、平滑化に使用する画素の範囲は上記９画素に限らず、さらに広い範囲や狭い範囲の画素を対象にしてもよい。
【０１６７】
続いて、メモリＭ１内の画像と、メモリＭ２内の画像の差分を求め、メモリＭ３に格納する（Ｓ７３）。ここで、線画像生成部２０は、平滑化後の画素値と平滑化前の画素値との差分を求める。
【０１６８】
具体的には、座標（ｘ，ｙ）においてメモリＭ１のＭ１（ｘ，ｙ）とメモリＭ２のＭ２（ｘ，ｙ）の値を比較し、
Ｍ１（ｘ，ｙ）≧Ｍ２（ｘ，ｙ）であれば、
Ｍ３（ｘ，ｙ）← ２５５
Ｍ１（ｘ，ｙ）＜Ｍ２（ｘ，ｙ）であれば、
Ｍ３（ｘ，ｙ）← ２５５ −（Ｍ２（ｘ，ｙ）−Ｍ１（ｘ，ｙ））
を代入し、画像の全画素に対して同様の処理を行なう。単にメモリＭ１とメモリＭ２の画素値の差分の絶対値を取る方法も考えられるが、この場合、近傍に明るい画素のある暗い画素と、近傍に暗い画素のある明るい画素の両方で差分値が大きくなるため、後述処理において２値化した結果は、Sobel フィルタを使用して検出した場合と同様に輪郭領域が大きく検出され、画像のイラスト化を目的とした結果としては好ましくない。従って、メモリＭ２とメモリＭ１との差が正となる近傍に明るい画素のある暗い画素のみが検出されるように上記式で計算を行なう。
【０１６９】
次いで、メモリＭ３内の画像を２値化する（Ｓ７４）。ここで、線画像生成部２０は、メモリＭ３に格納された画像の２値化を行なう。具体的には、例えば、あらかじめ定めたしきい値Ｔｈ１とメモリＭ３のＭ３（ｘ，ｙ）の値を比較し、Ｍ３（ｘ，ｙ）≧Ｔｈ１であれば、
Ｍ３（ｘ，ｙ）←０（白）
Ｍ３（ｘ，ｙ）＜Ｔｈ１であれば、
Ｍ３（ｘ，ｙ）←１（黒）
を代入し、画像の全画素に対して同様の処理を行なう。なお、白を１，黒を０として表すことも可能である。
【０１７０】
しきい値Ｔｈ１として、あらかじめ定めた値を使わずに、適応的に決定する手法もあり、それら他の手法をＳ７４において使用することも可能である。例えば、公知技術「大津の判別分析法」を用いることもできるし、前記の「物体領域抽出処理」によって抽出された領域内部を、公知技術「P-TILE法」で求めることなどが考えられる。
【０１７１】
さらに、メモリＭ１もしくはＭ２内の画像を２値化し、メモリＭ３との論理和もしくは論理積を求める（Ｓ７５）。ここで、線画像生成部２０は、メモリＭ１もしくはメモリＭ２に格納された画像の２値化を行なう。具体的には、例えばメモリＭ１に格納された画像の２値化を行なう場合、あらかじめ定めたしきい値Ｔｈ２とＭ１（ｘ，ｙ）の値を比較し、
Ｍ１（ｘ，ｙ）≧Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と０の論理和
Ｍ１（ｘ，ｙ）＜Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と１の論理和
を代入し、画像の全画素に対して同様の処理を行なう。なお、白を１，黒を０として表した場合は、
Ｍ１（ｘ，ｙ）≧Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と１の論理積
Ｍ１（ｘ，ｙ）＜Ｔｈ２であれば、
Ｍ３（ｘ，ｙ）←Ｍ３（ｘ，ｙ）と０の論理積
を代入し、画像の全画素に対して同様の処理を行なう。
【０１７２】
しきい値Ｔｈ２を求める方法としては、公知技術、「大津の判別分析法」や、「P-TILE法」などがあり、目的に合わせてどのようなしきい値判定法を用いてもよい。
【０１７３】
上記処理の結果、メモリＭ３には２値化された画像データが格納される。
【０１７４】
以上の動作により、エッジ画像が生成され、図２３に示すＳ６２に移行する。Ｓ６２では、境界線画像の生成が行われる。すなわち、分割領域画像から境界線画像を生成する。具体的な生成方法について、図２５を用いて以下に説明する。
【０１７５】
まず、前記分割領域画像から、各分割領域の面積値Ａ（ｎ）、及び各領域の領域色Ｃ（ｎ）を算出する。ここで、ｎは領域番号を表す。
【０１７６】
次に、互いに領域境界が接している２領域を検出する。図２５（ａ）に示す分割領域画像の場合、領域６１と領域６２、領域６２と領域６３、領域６２と領域６４、領域６３と領域６４が検出される。
【０１７７】
次に、検出された互いに接している領域ｎとｎ’の面積値と領域色について、あらかじめ設定した閾値Ｔｈ＿ＡとＴＨ＿Ｃに対し、
（条件１）面積値Ａ（ｎ）＞Ｔｈ＿Ａ かつ 面積値Ａ（ｎ’）＞ＴＨ＿Ａ
（条件２）領域色Ｃ（ｎ）とＣ（ｎ’）の色差 ＞ ＴＨ＿Ｃ
であるならば、領域ｎとｎ’が互いに接している領域境界上の位置にある画素を黒画素とする。そうでなければ該画素を白画素とする。また、各分割領域内の画素は、全て白画素とする。これにより、領域境界上の画素で上記条件をみたす画素は黒画素で、それ以外の画素は白画素となる画像（境界線画像）が生成できる。
【０１７８】
たとえば、図２５（ａ）に示す分割領域画像の場合、上述の互いに領域境界を接している２領域のうち、領域６３と領域６４の組合せ以外は、上記２条件を満たしたとすると、図２５（ｂ）に示す線分６５と線分６６が描画されることになる。
【０１７９】
ここで、条件（１）は、領域面積がある程度以上の大きさをもつ領域同士の境界、条件（２）は領域色があまり類似していない領域同士の境界を意味し、この２つの条件を満たす境界にのみ線が引かれることになる。この条件を科すことにより、各領域が過分割である場合も、違和感のない境界線画を生成できる。なお、上記条件は、イラスト画の生成を目的としたものだが、生成する画像の目的や用途に応じて別の条件を用いても構わない。
【０１８０】
また、条件（２）における色差の計算は図３のＳ４において用いた色差計算式を適用すれば良い。また、各条件の閾値Ｔｈ＿ＡとＴＨ＿Ｃは、実験的に求めた固定値を用いても良いし、画像に応じて適応的に変更しても良い。具体的には、原画像サイズ（全領域の面積値合計）に対するＴｈ＿Ａの割合を、たとえば、２０％と定義し、入力された原画像サイズを０．２倍することによりＴｈ＿Ａを算出すれば、Ｔｈ＿Ａを画像に応じて適宜再設定することができる。これにより、原画像のサイズの変化に対して、より柔軟に対応した境界線画像を生成できる。
【０１８１】
以上の動作により、境界線画像が生成され、Ｓ６２が終了する。次いで、Ｓ６３に移行する。
【０１８２】
Ｓ６３では、画像の合成が行われる。ここでは、Ｓ６１で生成されたエッジ画像と、Ｓ６２で生成された境界線画像とを合成する。具体的には、黒画素を０、白画素を１とした場合、両画像の同じ座標の画素データの論理積をとることによって、両画像を合成する。
【０１８３】
最後に、Ｓ６４では、合成画像の孤立線除去が行われる。ここでは、Ｓ６３で生成された合成画像に対して、孤立線の除去が行われる。具体的には、以下の手順で行なわれる。
【０１８４】
まず、合成画像中の任意の画素に対し、該画素が黒画素であるものを検出する。次に、該画素の周囲８近傍の黒画素を調べ、該画素に連結している黒画素の数を求める。連結している黒画素があれば、さらにその画素の周囲８近傍を調査する。連結している画素がなくなるまで再帰的に近傍を調査し、連結数を求める。最後に、連結数がある数より少ない黒画素は、孤立線として、黒から白画素に変更することにより、除去する。
【０１８５】
以上の動作により線画像の生成が終了し、図３のＳ７からＳ８へと進む。
【０１８６】
なお、図２３に示したエッジ画像を生成するＳ６１と境界線画像を生成するＳ６２は、並行して実施されても良い。
【０１８７】
また、上記の説明では、出力画像がカラー画像の場合について説明したが、出力画像がモノクロ画像の場合、すなわち図３のＳ４、Ｓ５の処理動作を省いている場合は、分割領域画像が生成されないので、Ｓ６２による境界線画像を生成できない。この場合、Ｓ６２を省き、Ｓ６３の合成画像は、Ｓ６１で生成されたエッジ画像と同一とすれば良い。
【０１８８】
図３のＳ８では、上述のＳ５〜Ｓ７で生成された分割領域画像、物体領域画像、線画像を、順に重ねることにより１枚の画像に合成し、処理結果画像を生成する。具体的な合成方法を図２を用いて説明する。
【０１８９】
まず、メモリ１３ｃに格納された分割領域画像２３を合成結果画像を格納するメモリ１３ｆに転送する。
【０１９０】
次いで、メモリ１３ｄに格納された物体領域画像２４中の物体領域部分に存在する画素値を、メモリ１３ｆ上の同一座標の画素値に上書きする。
【０１９１】
最後に、メモリ１３ｅに格納された線画像２５中の画素で、黒画素のみをメモリ１３ｆ上の同一座標の画素値に上書きする。これにより、メモリ１３ｆ上に最終的な合成結果画像が生成される。
【０１９２】
以上の動作により、ユーザーが指定した領域のみを顔画像として似顔絵風に強調処理し、かつ、それ以外の領域もイラスト風に変換した画像を得ることが出来る。
【０１９３】
なお、本実施の形態では、入力画像として主にカラー画像を用いた場合について説明したが、これに限定されるものではなく、上述したように、入力画像がグレースケール画像（モノクロ画像）の場合であっても、本発明は適用できる。
【０１９４】
したがって、入力画像がグレースケール画像の場合であっても、ユーザーが指定した領域を強調したイラスト風の画像を、違和感なく生成することができる。
【０１９５】
以上のことから、本発明は、パソコン、ワープロ、ワークステーション、オフコン、携帯型情報ツール、コピー機、スキャナ装置、ファクシミリ、テレビ、ビデオ、ビデオカメラなどにおいて、画像を取得する装置、画像を記憶する装置、画像を表示する装置を持つシステムで、利用者がマウスやペン、タブレットなどの座標入力装置を用いて当該画像上の任意の座標を指定できるもの、あるいは、あらかじめ紙などに印刷された画像に異なるインクなどを用いて座標指定があるものを光電変換し、当該画像と指定された座標を入力する事のできる装置を持つシステムならば、上記に列挙したような機器において適用可能となっている。
【０１９６】
【発明の効果】
本発明の画像処理装置は、以上のように、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、近接画素間の色の差異が小さいものを連結しながら一つの領域とすることにより原画像を分割した分割領域変換画像を生成し、上記物体領域指定手段により指定された物体領域変換画像を生成し、その後、線画像を生成する手段と、上記分割領域変換画像と、物体領域変換画像と、線画像とを合成する画像合成手段とを備えている構成である。
【０１９７】
また、本発明の他の画像処理装置は、以上のように、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、画像の特性値が類似する領域を単一の領域とすることにより複数の領域に分割する画像分割手段と、上記画像分割手段により分割された各領域の色を決定して分割領域変換画像を生成する分割領域変換画像生成手段と、上記物体領域指定手段により指定さ れた物体領域を抽出し、該物体領域の色を予め物体に応じて設定された色に決定して物体領域変換画像を生成する物体領域変換画像生成手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記分割領域変換画像生成手段により得られた分割領域変換画像と、上記物体領域変換画像生成手段により得られた物体領域変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えている構成である。
【０１９８】
それゆえ、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができるという効果を奏する。
【０１９９】
本発明のさらに他の画像処理装置は、以上のように、原画像を入力する画像入力手段と、入力された原画像を表示する表示手段と、表示された原画像中の任意の物体領域を指定する物体領域指定手段と、入力された原画像を、指定された物体領域が強調された画像に変換する強調変換手段と、入力された原画像を、線画像に変換する線画像変換手段と、上記強調変換手段により得られた強調変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えており、上記強調変換手段は、上記物体領域指定手段により指定された物体領域を抽出すると共に、抽出した物体領域を２値化して物体領域変換画像を生成する２値化物体領域変換画像生成手段を有し、上記画像合成手段は、上記線画像変換手段により得られた線画像と、上記２値化物体領域変換画像生成手段により得られた２値化物体領域変換画像とを合成する構成である。
【０２００】
それゆえ、単純な２値化処理では生成できない、指定した物体部分を強調した趣のあるモノクロのイラスト画像を生成できるという効果を奏する。
【０２０１】
また , 上記各画像処理装置は、以上のように、上記物体領域指定手段により指定される物体領域が人物顔である構成である。
【０２０２】
それゆえ、入力される原画像中の物体に人物顔を含む人物写真画像などから、人物顔を似顔絵風に強調処理した、カラーのイラスト画像あるいはモノクロのイラスト画像を簡単に作成できるという効果を奏する。
【０２０３】
また、本発明の画像処理方法は、以上のように、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとを含む構成である。
【０２０４】
それゆえ、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができるという効果を奏する。
【０２０５】
また、本発明のコンピュータ読み取り可能な記録媒体は、以上のように、原画像を入力する第１ステップと、入力された原画像を表示する第２ステップと、表示された原画像中の任意の物体領域を指定する第３ステップと、入力された原画像を、指定された物体領域を強調した画像に変換する第４ステップと、入力された原画像を、線画像に変換する第５ステップと、上記第４ステップで得られた強調変換画像と、上記第５ステップで得られた線画像とを合成する第６ステップとをコンピュータに実行させるための画像処理プログラムに記録した構成である。
【０２０６】
それゆえ、上記記録媒体をコンピュータに用いることで、単純な線画像生成ではできない、指定された物体領域を強調し、かつ、全体として実画像に即した違和感のないイラスト画像に変換することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像処理装置の概略ブロック図である。
【図２】図１に示した画像処理装置によって実施される画像処理動作の各処理段階において生成される画像を示す説明図である。
【図３】図１に示した画像処理装置によって実施される画像処理動作の流れを示すフローチャートである。
【図４】図３に示したフローチャートの原画像領域分割処理の詳細を示すフローチャートである。
【図５】図３に示したフローチャートの原画像領域分割処理の流れを簡単に示したものであり、（ａ）は平滑化画像、（ｂ）はラベル画像、（ｃ）は統合処理された画像を示す模式図である。
【図６】図３に示したフローチャートの領域色変換処理の詳細を示すフローチャートである。
【図７】図６に示したフローチャートにおける代表色の属するトーンを調査する動作における一例を表す模式図である。
【図８】図６に示したフローチャートにおける代表色の属するトーンに対応する彩度・輝度を決定するための一手法について示した模式図である。
【図９】図６に示したフローチャートにおける代表色の属するトーンに対応する彩度・輝度を決定するための、図８とは異なる一手法について示した模式図である。
【図１０】図３に示したフローチャートの物体領域抽出処理において、抽出対象が顔肌領域である場合の例を詳細に説明するためのフローチャートである。
【図１１】（ａ）（ｂ）は、図１の画像処理装置を構成するために、あらかじめ物体の支配的色領域を解析する際の一例を示す模式図である。
【図１２】（ａ）〜（ｃ）は、図１１に示す支配的色領域を解析した画像の色分布の、色相・彩度・明度における出現頻度ヒストグラムである。
【図１３】（ａ）（ｂ）は、図１０に示したフローチャートにおいて、ユーザーの入力パターンに対する処理対象領域と入力マスク領域の関係を示す説明図である。
【図１４】（ａ）（ｂ）は、図１０に示したフローチャートにおいて、処理対象領域中の画素の明度に対する出現頻度ヒストグラムと、物体領域画素を選択する際のしきい値について説明するための模式図である。
【図１５】（ａ）〜（ｃ）は、図１０に示したフローチャートに従って、適応的に物体領域確率密度関数を更新することにより物体領域画像を生成した場合と、固定関数で物体領域抽出画像を生成した場合を比較するための説明図である。
【図１６】図１０に示した物体領域抽出処理によって抽出された領域画像から、物体マスク画像を生成する処理を説明するためのフローチャートである。
【図１７】（ａ）〜（ｅ）は、図１６に示したフローチャートに従って、物体マスク画像が生成される様子を表した説明図である。
【図１８】（ａ）〜（ｄ）は、図１６に示したフローチャートにおいて、抽出領域と入力マスク領域との面積の共有率に基づく領域削除処理を説明するための模式図である。
【図１９】（ａ）〜（ｃ）は、図３に示したフローチャートの物体領域抽出処理において、抽出対象が顔肌と髪の毛である場合の抽出例を表す説明図である。
【図２０】（ａ）〜（ｃ）は、図３に示したフローチャートの物体領域抽出処理において、抽出対象が髪の毛の領域である場合に、２値化処理を用いて抽出する例を示す説明図である。
【図２１】（ａ）〜（ｄ）は、図２０に示した髪領域の抽出処理において、図２０（ｂ）から図２０（ｃ）に至る処理動作を示す説明図である。
【図２２】（ａ）〜（ｃ）は、図３に示したフローチャートの物体領域抽出処理において、抽出した領域内を更に複数に分割する場合の例を表した説明図である。
【図２３】図３に示したフローチャートの線画像生成処理の詳細を表すフローチャートである。
【図２４】図２３に示したフローチャートのエッジ画像生成処理の詳細を表すフローチャートである。
【図２５】（ａ）（ｂ）は、図２３に示したフローチャートの境界線画像の生成処理を説明するための模式図である。
【図２６】図１に示す画像処理装置にて実行させるための画像処理用の各種プログラムを記録したコンピュータ読み取り可能な記録媒体を示す説明図である。
【符号の説明】
１１ 画像入力装置（画像入力手段）
１２ 領域位置指定装置（物体領域指定手段）
１３ 記憶装置
１４ 演算処理装置（画像合成処理手段）
１５ 表示装置（表示手段）
１６ 外部記憶装置
１７ 画像分割部
１８ 領域色変換部（分割領域変換画像生成手段）
１９ 物体領域生成部（物体領域変換画像生成手段、２値化物体領域変換画像生成手段）
２０ 線画像生成部（線画像変換手段、分割領域境界線画像生成手段）
２１ 画像合成部（画像合成手段）
２２ａ 原画像
２２ｂ 領域指定をした後の原画像
２２ｃ 物体領域輪郭
２３ 分割領域変換画像
２４ 物体領域変換画像
２５ 線画像
２６ カラーの処理結果画像
２７ モノクロの処理結果画像
Claims (8)
- 原画像を入力する画像入力手段と、
入力された原画像を表示する表示手段と、
表示された原画像中の任意の物体領域を指定する物体領域指定手段と、
入力された原画像を、近接画素間の色の差異が小さいものを連結しながら一つの領域とすることにより原画像を分割した分割領域変換画像を生成し、上記物体領域指定手段により指定された物体領域変換画像を生成し、その後、線画像を生成する手段と、
上記分割領域変換画像と、物体領域変換画像と、線画像とを合成する画像合成手段とを備えていることを特徴とする画像処理装置。 - 原画像を入力する画像入力手段と、
入力された原画像を表示する表示手段と、
表示された原画像中の任意の物体領域を指定する物体領域指定手段と、
入力された原画像を、画像の特性値が類似する領域を単一の領域とすることにより複数の領域に分割する画像分割手段と、
上記画像分割手段により分割された各領域の色を決定して分割領域変換画像を生成する分割領域変換画像生成手段と、
上記物体領域指定手段により指定された物体領域を抽出し、該物体領域の色を予め物体に応じて設定された色に決定して物体領域変換画像を生成する物体領域変換画像生成手段と、
入力された原画像を、線画像に変換する線画像変換手段と、
上記分割領域変換画像生成手段により得られた分割領域変換画像と、上記物体領域変換画像生成手段により得られた物体領域変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えていることを特徴とする画像処理装置。 - 原画像を入力する画像入力手段と、
入力された原画像を表示する表示手段と、
表示された原画像中の任意の物体領域を指定する物体領域指定手段と、
入力された原画像を、指定された物体領域が強調された画像に変換する強調変換手段と、
入力された原画像を、線画像に変換する線画像変換手段と、
上記強調変換手段により得られた強調変換画像と、上記線画像変換手段により得られた線画像とを合成する画像合成手段とを備えており、
上記強調変換手段は、
上記物体領域指定手段により指定された物体領域を抽出すると共に、抽出した物体領域を２値化して物体領域変換画像を生成する２値化物体領域変換画像生成手段を有し、
上記画像合成手段は、
上記線画像変換手段により得られた線画像と、上記２値化物体領域変換画像生成手段により得られた２値化物体領域変換画像とを合成することを特徴とする画像処理装置。 - 上記物体領域指定手段により指定される物体領域が人物顔であることを特徴とする請求項１ないし３の何れかに記載の画像処理装置。
- 原画像を入力する第１ステップと、
入力された原画像を表示する第２ステップと、
表示された原画像中の任意の物体領域を指定する第３ステップと、
入力された原画像を、近接画素間の色の差異が小さいものを連結しながら一つの領域とすることにより原画像を分割した分割領域変換画像を生成し、上記第 3 ステップにより指定された物体領域変換画像を生成し、その後、線画像を生成する第４ステップと、
上記第４ステップで得られた分割領域変換画像と、物体領域変換画像と、線画像とを合成する第５ステップとを含むことを特徴とする画像処理方法。 - 原画像を入力する第１ステップと、
入力された原画像を表示する第２ステップと、
表示された原画像中の任意の物体領域を指定する第３ステップと、
入力された原画像を、画像の特性値が類似する領域を単一の領域とすることにより複数の領域に分割する第４ステップと、
上記第４ステップにより分割された各領域の色を決定して分割領域変換画像を生成する第５ステップと、
上記第３ステップにより指定された物体領域を抽出し、該物体領域の色を予め物体に応じて設定された色に決定して物体領域変換画像を生成する第６ステップと、
入力された原画像を、線画像に変換する第７ステップと、
上記第５ステップで得られた分割領域変換画像と、上記第６ステップで得られた物体領域変換画像と、上記第７ステップで得られた線画像とを合成する第８ステップとを備えていることを特徴とする画像処理方法。 - 原画像を入力する第１ステップと、
入力された原画像を表示する第２ステップと、
表示された原画像中の任意の物体領域を指定する第３ステップと、
入力された原画像を、近接画素間の色の差異が小さいものを連結しながら一つの領域とすることにより原画像を分割した分割領域変換画像を生成し、上記第 3 ステップにより指定された物体領域変換画像を生成し、その後、線画像を生成する第４ステップと、
上記第４ステップで得られた分割領域変換画像と、物体領域変換画像と、線画像とを合成する第５ステップとをコンピュータに実行させるための画像処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。 - 原画像を入力する第１ステップと、
入力された原画像を表示する第２ステップと、
表示された原画像中の任意の物体領域を指定する第３ステップと、
入力された原画像を、画像の特性値が類似する領域を単一の領域とすることにより複数の領域に分割する第４ステップと、
上記第４ステップにより分割された各領域の色を決定して分割領域変換画像を生成する第５ステップと、
上記第３ステップにより指定された物体領域を抽出し、該物体領域の色を予め物体に応じて設定された色に決定して物体領域変換画像を生成する第６ステップと、
入力された原画像を、線画像に変換する第７ステップと、
上記第５ステップで得られた分割領域変換画像と、上記第６ステップで得られた物体領域変換画像と、上記第７ステップで得られた線画像とを合成する第８ステップとをコンピュータに実行させるための画像処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11955498A JP3539539B2 (ja) | 1998-04-28 | 1998-04-28 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
| US09/300,834 US6587593B1 (en) | 1998-04-28 | 1999-04-28 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11955498A JP3539539B2 (ja) | 1998-04-28 | 1998-04-28 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11313202A JPH11313202A (ja) | 1999-11-09 |
| JP3539539B2 true JP3539539B2 (ja) | 2004-07-07 |
Family
ID=14764196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11955498A Expired - Fee Related JP3539539B2 (ja) | 1998-04-28 | 1998-04-28 | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6587593B1 (ja) |
| JP (1) | JP3539539B2 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7417640B1 (en) | 1999-01-29 | 2008-08-26 | Lg Electronics Inc. | Method for dominant color setting of video region and data structure and method of confidence measure extraction |
| US7072072B1 (en) * | 2000-05-02 | 2006-07-04 | Xerox Corporation | Color rendering optimized for text and line art |
| EP1173003B1 (en) | 2000-07-12 | 2009-03-25 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US8954432B2 (en) * | 2000-11-15 | 2015-02-10 | Mark Frigon | Users tagging users in photos online |
| JP3970102B2 (ja) * | 2001-06-28 | 2007-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP4243081B2 (ja) * | 2002-09-05 | 2009-03-25 | 三洋電機株式会社 | 画像データ処理装置、及び画像データ処理方法 |
| US7260258B2 (en) * | 2003-06-12 | 2007-08-21 | Fuji Xerox Co., Ltd. | Methods for multisource color normalization |
| US7369699B1 (en) * | 2003-08-29 | 2008-05-06 | Apple Inc. | Methods and apparatuses for restoring color and enhancing electronic images |
| GB0328326D0 (en) * | 2003-12-05 | 2004-01-07 | British Telecomm | Image processing |
| US7873916B1 (en) * | 2004-06-22 | 2011-01-18 | Apple Inc. | Color labeling in a graphical user interface |
| JP4325552B2 (ja) * | 2004-12-24 | 2009-09-02 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US7595920B2 (en) * | 2005-02-23 | 2009-09-29 | Brother Kogyo Kabushiki Kaisha | Processing apparatus and processing method of color image information |
| JP2007199767A (ja) * | 2006-01-23 | 2007-08-09 | Hitachi Software Eng Co Ltd | 画像処理システム |
| JP4853220B2 (ja) * | 2006-10-13 | 2012-01-11 | アイシン精機株式会社 | 車両用駐車支援装置 |
| JP5002348B2 (ja) * | 2007-06-26 | 2012-08-15 | 株式会社東芝 | 画像処理装置、映像受信装置および画像処理方法 |
| JP5099434B2 (ja) * | 2008-02-28 | 2012-12-19 | 国立大学法人秋田大学 | オブジェクト領域の抽出システムおよび方法 |
| JP4952627B2 (ja) * | 2008-03-21 | 2012-06-13 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| US9269154B2 (en) | 2009-01-13 | 2016-02-23 | Futurewei Technologies, Inc. | Method and system for image processing to classify an object in an image |
| WO2010083235A1 (en) * | 2009-01-13 | 2010-07-22 | Futurewei Technologies, Inc. | Image processing system and method for object tracking |
| JP2011086190A (ja) * | 2009-10-16 | 2011-04-28 | 2Nd Design Inc | 画像加工方法及び印刷物 |
| JP5434718B2 (ja) * | 2010-03-19 | 2014-03-05 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
| JP5625499B2 (ja) * | 2010-05-31 | 2014-11-19 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
| CN102812715B (zh) * | 2011-01-27 | 2015-08-19 | 松下电器产业株式会社 | 三维图像摄影装置以及三维图像拍摄方法 |
| JP5567235B2 (ja) * | 2012-03-30 | 2014-08-06 | 富士フイルム株式会社 | 画像処理装置、撮影装置、プログラム及び画像処理方法 |
| KR20150031241A (ko) * | 2012-06-18 | 2015-03-23 | 톰슨 라이센싱 | 이미지의 색 조화를 위한 장치 및 방법 |
| DE112012006761T5 (de) | 2012-08-01 | 2015-04-30 | Toyota Jidosha Kabushiki Kaisha | Fahrassistenzvorrichtung |
| JP6020036B2 (ja) * | 2012-10-24 | 2016-11-02 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム、およびプログラム |
| KR20140137738A (ko) * | 2013-05-23 | 2014-12-03 | 삼성전자주식회사 | 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체 |
| US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
| JP2018534703A (ja) * | 2015-09-10 | 2018-11-22 | エスワイエヌシー−アールエックス、リミテッド | 自動画像特徴除去 |
| EP3239929B1 (en) * | 2016-04-27 | 2019-06-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4393402A (en) * | 1981-06-08 | 1983-07-12 | General Electric Company | Subtraction fluoroscopy method and apparatus |
| FR2653961A1 (fr) * | 1989-11-02 | 1991-05-03 | Gen Electric Cgr | Procede de traitement d'une image pour en ameliorer les contrastes. |
| US5018215A (en) * | 1990-03-23 | 1991-05-21 | Honeywell Inc. | Knowledge and model based adaptive signal processor |
| JPH06301773A (ja) | 1993-04-16 | 1994-10-28 | C S K Sogo Kenkyusho:Kk | 減色画像処理方法および装置 |
| US5790269A (en) * | 1995-12-12 | 1998-08-04 | Massachusetts Institute Of Technology | Method and apparatus for compressing and decompressing a video image |
| JPH09252468A (ja) * | 1996-03-15 | 1997-09-22 | Minolta Co Ltd | 画像圧縮装置 |
| US5974158A (en) * | 1996-03-29 | 1999-10-26 | The Commonwealth Of Australia Commonwealth Scientific And Industrial Research Organization | Aircraft detection system |
| US6046821A (en) * | 1997-11-17 | 2000-04-04 | Xerox Corporation | Unsharp masking for draft mode rendering of digital images |
-
1998
- 1998-04-28 JP JP11955498A patent/JP3539539B2/ja not_active Expired - Fee Related
-
1999
- 1999-04-28 US US09/300,834 patent/US6587593B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6587593B1 (en) | 2003-07-01 |
| JPH11313202A (ja) | 1999-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3539539B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| KR101554403B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체 | |
| JP3684017B2 (ja) | 画像処理装置及び方法 | |
| JP6635799B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP3769487B2 (ja) | 画像肌色検出における金髪画素除去方法 | |
| WO2012169250A1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
| JP4399462B2 (ja) | 画像処理装置、方法、およびプログラム | |
| JP2009038737A (ja) | 画像処理装置 | |
| JP3387071B2 (ja) | 画像識別装置および方法 | |
| JP2011172261A (ja) | 画像処理装置及び画像処理プログラム | |
| JP5286215B2 (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
| JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
| JPH07129762A (ja) | 素描風画像生成装置 | |
| JP2005346474A (ja) | 画像処理方法及び装置及びプログラム及び記憶媒体 | |
| JP4502645B2 (ja) | 人物画像抽出装置、及びコンピュータプログラム | |
| JP3918381B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2009050035A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP2007243987A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP5903315B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP4148114B2 (ja) | 画像処理装置および処理方法 | |
| JP5265058B1 (ja) | 商品画像処理装置、商品画像処理方法、情報記録媒体、ならびに、プログラム | |
| JP6711031B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
| JP3927979B2 (ja) | 画像処理装置及び方法 | |
| JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 | |
| JP4008715B2 (ja) | 帳票読取装置および帳票読取処理用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080402 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |