JP2000311248A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像中の特定物体の特徴量を抽出する画像処
理を行う場合、処理に時間がかかったり、誤った特徴量
を抽出してしまったり、また処理の範囲を位置指定手段
等を用いて直接指定する場合に多くの位置を指定しなけ
ればならない問題を、画像中の任意の特徴量を頑健、高
精度かつ高速に抽出できるとともに、簡易に高品質な似
顔絵を合成できる画像処理装置を提供することである。 【解決手段】 画像を入力する入力手段１１と、入力し
た画像を記憶する記憶手段１２と、任意の演算を行う演
算手段１３と、画像中の任意の位置を指定することので
きる位置指定手段１４と、画像中に配置された物体の位
置及び大きさを認識する認識手段と、さらに前記物体の
位置及び大きさの関係が一定の拘束条件を満たす場合
に、画像中の一つ以上の当該物体の位置を入力すること
で、当該画像中の任意の特徴を抽出する特徴抽出手段１
０とを備えてなることで実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パソコン、ワープ
ロ、ワークステーション、携帯型情報ツール、コピー
機、スキャナ装置、ファクシミリ、テレビ、ビデオ、ビ
デオカメラなどの情報機器や電子機器に用いられ、入力
した画像に関する特定の特徴量、例えば人物画像におけ
る目や口などの位置や大きさ、形状を抽出するととも
に、この抽出された情報に基づき、入力した画像を操作
者の所望する状態、例えば、漫画風の趣をもつ画像を生
成することのできる画像処理装置に関するものである。

【０００２】

【従来の技術】以下に、本願発明の画像処理に関する従
来からの技術を記載します。尚、記載に際しては、下記
の文献を引用する場合には、該当する文献名を「文
献［］」という形式で表現します。 ・文献［１］：Ｒ． Ｂｒｕｎｅｌｌｉ ａｎｄ Ｔ．
Ｐｏｇｇｉｏ， “Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏ
ｎ： Ｆｅａｔｕｒｅｓ ｖｅｒｓｕｓ Ｔｅｍｐｌａ
ｔｅｓ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏ
ｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａ
ｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１
５， Ｎｏ．１０， ｐｐ．１０４２−１０５２， １
９９３． ・文献［２］：Ｍ． Ｔｕｒｋ ａｎｄ Ａ． Ｐｅｎ
ｔｌａｎｄ， “Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ
Ｕｓｉｎｇ Ｅｉｇｅｎｆａｃｅｓ”， Ｐｒｏｃｅｅ
ｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａ
ｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．５８６−
５９１， １９９１． ・文献［３］：船山竜士，横矢直和，岩佐英彦，竹村治
雄， “複数の動的な網のモデルの協調とその顔部品抽
出への応用”， 電子情報通信学会技術報告，ＰＲＵ９
５−１７９， ｐｐ．１５−２２， １９９５． ・文献［４］：船山竜士，竹澤創，紺矢峰弘，斗谷充
宏， “ユーザーの簡易指定を伴う顔領域の適応的セグ
メンテーション”， 情報処理学会第５５回全国大会，
６ＡＢ−３， １９９７． ・文献［５］：高木幹雄，下田陽久 監修， “画像解
析ハンドブック”， 東京大学出版会， １９９１． ・文献［６］：Ｍ． Ｋａｓｓ．：Ｓｎａｋｅｓ：Ａｃ
ｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ， Ｉｎｔ．
Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ， ｐ．３２１， １
９８８． ・文献［７］：細井聖 他， 髪型の認識と合成， 電
子情報通信学会技術研究報告， ＰＲＭＵ９７−１５
５， ｐｐ．２５−３２（１９９７）． ・文献［８］：特開平１０−３２０５４３号公報 ・文献［９］：特開平１０−２５５０１７号公報 ・文献［１０］：特開平０８−３０５８８０号公報 ・文献［１１］：特開平１０−２４０９２１号公報 ・文献［１２］：特開平１１−０１５９４７号公報 （１）［請求項１，２，６に関する従来技術］ 一般に、画像中の任意の特徴量を抽出するには次のよう
な手法がある。尚、ここでいう任意の特徴量とは、画像
中に含まれる特定物体の任意の座標、あるいは座標の組
み合わせで表現することのできる形状や大きさ、あるい
は特定の種別や属性を表現することのできる符号等であ
る。例えば、画像中に人物顔が含まれており、ここでい
う特定物体をその人物の右目であるとすると、任意の特
徴量の一つとして、例えば当該画像中での当該右目の目
頭の座標とすることができるし、例えば当該画像中での
当該右目に外接する矩形をその左上の座標と右下の座標
の組み合わせで表現したものとすることができるし、例
えば当該右目がタレ目であるという種別を表現する符号
とすること等ができる。

【０００３】原始的な手法は、表示装置に表示された画
像に対して、操作者が目視により任意の特徴量を、位置
指定手段等を用いて入力することが考えられる。これ
は、当然のことながら作業の煩雑さや、同一画像かつ同
一物体かつ同一特徴量でも作業者によって異なる特徴量
が入力され得る非客観性、同一画像かつ同一物体かつ同
一特徴量でも作業する環境や時間等の状態によって異な
る特徴量が入力され得る非恒常性等が問題となる。した
がって、これは一部の高品質で少量の映像制作の場、あ
るいは非客観性等が作業者の感性として尊重されるよう
な芸術作品制作などの特殊な場面でしか適用されないこ
とが多い。

【０００４】近年、パソコンやワープロ、デジタルカメ
ラ等の普及に伴い、手軽に画像を取得し、取得画像に対
して様々な処理を施すことで実用性、娯楽性を高めるこ
とが行われるようになってきている。その画像処理のひ
とつとして、上述したような任意の特徴量を抽出し、そ
れに従って種々の処理を行うといったことがある。例え
ば取得画像中の自動車のボディ色を任意の色に変換する
ような処理を施そうとした場合、画像中のどの領域が当
該自動車のボディであるかを示す特徴量を抽出する必要
があるし、例えば取得画像中に人物顔が含まれている場
合に、その人物が誰であるか判定（以下、個人同定と記
す）するには、その顔に関する様々な特徴量（目、鼻、
口の位置や形状等）を抽出する必要がある。

【０００５】上記の他にも様々な応用が考えられ、画像
中の任意の特徴量を頑健かつ高精度かつ高速に抽出する
ことは、非常に有用なことであると考えられる。

【０００６】画像中に存在する任意の特徴量を抽出する
基本的な手法としては、テンプレートマッチング、投影
法、固有空間法、色情報を利用した手法等様々な手法が
提案されている。

【０００７】テンプレートマッチングは、例えば上記文
献［１］に記載されており、人物顔を含んだ画像中の顔
が誰のものであるか判定するような場合に用いられる。
判定すべきパターン、すなわち、ここでは人物顔の濃淡
画像を複数記憶しておき、入力画像と各記憶パターンと
の類似度を特徴量とすることで、個人同定を行うことが
できる。

【０００８】投影法は、同様に上記文献［１］に記載さ
れており、入力画像の輝度値や微分値を水平、あるいは
垂直方向に合計しヒストグラムを作成することで、目に
外接する矩形の座標等を特徴量として抽出することがで
きる。

【０００９】固有空間法は、上記文献［２］に記載され
ており、テンプレートマッチングのようにパターンは記
憶するが、そのパターンを単一の画像とするのではなく
複数の画像の確率分布として記憶するものである。その
ため、テンプレートマッチングに比べて対象パターンの
ばらつき、例えば、同一人物の無表情顔でも時間や環境
によって変化すること等の影響がより小さくなるという
利点を持った手法である。

【００１０】また、上記文献［３］に記載されているよ
うに抽出したい物体の色分布をあらかじめ統計的に求め
ておき、入力画像中の当該分布に当てはまる色をもった
画素の座標を特徴量として抽出する手法がある。これ
は、例えば肌色の画素のみを抽出してそれを白色方向の
色に近づけることで、他の色はそのままに肌を色白に見
えるように変換するような応用に適用可能である。 （２）［請求項３に関する従来技術］ 認識対象の領域を得るために画像の２値化を行なうに
は、通常次のような手法がとられる。まず必要に応じ画
像を変換する。この変換には、輝度への変換、微分オペ
レータによる変換等の方法が使われる。次に閾値を決定
する。閾値の決定には固定値を使用する方法や、画像中
の画素値に対し判別分析、算術平均、メディアン等によ
る演算処理を行ない決定する方法等がある。次にその閾
値と全ての画素値を比較し、画素値が閾値よりも大きい
場合は１、画素値が閾値よりも小さい場合は０を新たな
画素値とする画像を生成する。 （３）［請求項４，５，８に関する従来技術］ 目や口などの顔部品の位置、大きさ検出を行なうには、
通常次のような手法がとられる。まずユーザーによる指
定は何もなく、テンプレートマッチング、投影法、固有
空間法、色情報を利用した手法等の様々な手法により画
像中の顔や顔部品を検出する方法がある。その他に、ユ
ーザーは顔の大きさは指定せず概略位置のみを指定、も
しくはユーザーは顔の位置及び概略位置及びおおよその
大きさを指定しテンプレートマッチング、投影法、固有
空間法、色情報を利用した手法等の様々な手法を、ユー
ザーが指定した情報をもとに顔もしくは顔部品があると
思われる画像中の一部分を推定し、その部分にのみ上記
手法を適用する方法がある。

【００１１】また、撮影時にカメラと顔の位置関係を一
定に保った状態で撮影を行なうことなどにより入力画像
の条件を一定に保ち、画像中の顔や顔部品の位置が一定
の位置／大きさの範囲内に入るようにした上で上記様々
な手法により画像中の顔や顔部品を検出する方法があ
る。 （４）［請求項７に関する従来技術］ 目の形状を判定するには、通常次のような手法がとられ
る。目の位置及び大きさがすでにわかっているものとし
て、上記テンプレートマッチングや固有空間法のような
手法を用い、前もって目の形状を複数のカテゴリーに分
類しておき、各カテゴリーについて、当該カテゴリーを
表す画像特徴を備えるパターンを作成し、そのパターン
を記憶しておき、それと入力画像との間との類似度を計
算し、最も近いものを入力画像中の目の形状とする。 （５）［請求項９に関する従来技術］ 眉毛の位置及び大きさを検出するには、通常次のような
手法がとられる。上記テンプレートマッチングや固有空
間法のような手法を用い、前もって平均的な眉の形状を
表す画像特徴を備えるパターンを作成し、そのパターン
を記憶しておき、それを、入力画像上を移動しながら対
応する入力画像の部分画像との間の類似度を計算し、類
似度が最も高い時の入力画像上でのパターンの位置を眉
の位置とする。その時のパターンの大きさから眉の大き
さが決定される。あるいは、眉毛はその周辺画素より暗
い画素で構成されているという特徴を利用し、入力画像
を２値化し、同様に２値化した画像での平均的な眉の形
状を表す画像特徴を備えるパターンを作成し、同様にテ
ンプレートマッチングや固有空間法のような手法を用い
ることで眉の位置及び大きさを検出する。 （６）［請求項１０に関する従来技術］ 眉毛の形状を判定するには、通常次のような手法がとら
れる。眉の位置及び大きさがすでにわかっているものと
して、上記テンプレートマッチングや固有空間法のよう
な手法を用い、前もって眉毛の形状を複数のカテゴリー
に分類しておき、各カテゴリーについて、当該カテゴリ
ーを表す画像特徴を備えるパターンを作成し、そのパタ
ーンを記憶しておき、それと入力画像との間との類似度
を計算し、最も近いものを入力画像中の眉毛の形状とす
る。あるいは、眉毛はその周辺画素より暗い画素で構成
されているという特徴を利用し、入力画像を２値化し、
同様に２値化した画像での各カテゴリーを表す画像特徴
を備えるパターンを作成し、同様にテンプレートマッチ
ングや固有空間法のような手法を用いることで眉毛の形
状を判定する。 （７）［請求項１１に関する従来技術］ 顎の形状を判定するには、通常次のような方法がとられ
る。まず顔輪郭線の抽出を行なった後に、その形状とあ
らかじめ用意した基準形状とのテンプレートマッチング
を行なうことにより、もっとも近い基準輪郭線形状を選
択する。ここで、顔輪郭線を抽出する方法としては、例
えば、動的輪郭モデルを用いる手法が考えられる。これ
は抽出対象の近傍に初期輪郭と呼ばれる仮の輪郭線を仮
定し、この輪郭線上の点を真の輪郭線上で最小となるよ
うに設定されたエネルギー関数に基づき移動させること
により、輪郭線を求める手法である。この際、エネルギ
ー関数として、輪郭線のなめらかさを表すエネルギーや
輪郭線を収縮させるエネルギーの他に、物体の輪郭を特
徴づけるエネルギー（以下、画像エネルギーと呼ぶ）を
用いる。画像エネルギーとして、例えば、原画像のエッ
ジを抽出して得られるエッジ画像を利用する。上記のよ
うに動的輪郭モデルを用いて輪郭抽出を行なう手法とし
て上記文献［６］に記載されているＳｎａｋｅ法などが
ある。 （８）［請求項１２，１３に関する従来技術］ 髪形状を分類するには、例えば上記文献［７］に記載さ
れているように、髪色を抽出し、髪色またはそれにに近
い画素を抽出することにより髪領域を切り出し、その形
状を分類することが行われる。また、髪色を抽出するに
は、例えば上記文献［７］に記載されているように、ま
ず、肌色及び背景色を抽出し、次に、肌色またはそれに
近い画素を抽出することにより顔の肌色部分を抽出し、
及び、背景色またはそれに近い画素を抽出することによ
り背景部分を抽出し、さらに、顔の位置及び幅などから
髪画素の存在領域を推定し、この領域内の髪画素から髪
色を決定していた。 （９）［請求項１４，１５に関する従来技術］ 髪形状を分類するには、上記髪色を用いて、髪色または
それに近い画素を抽出することにより髪領域を切り出し
た後、例えば上記文献［７］に記載されているように、
解像度を落とした上で、テンプレートマッチングの手法
により、予め用意されたテンプレートパターンのうち最
も類似度の高いテンプレートパターンの属するカテゴリ
ーに分類することが行われていた。 （１０）［請求項１６，１７に関する従来技術］部品選
択により似顔絵を生成する装置は、髪部品の決定を上記
髪形状に基づき 、１つの髪部品を選択することで行われていた。また、
上記文献［８］に記載されているように、髪領域を２値
化したものと、前髪部分の髪を表現する小部品とを組み
合わせる手法もあった。 （１１）［請求項１８，１９に関する従来技術］ 上記文献［９］には、似顔絵を画像から抽出した特徴量
に基づいて合成する技術が開示されている。この技術
は、性別または成人か否か及びそれぞれにおける平均的
な配置との比較に基づいて、抽出された位置情報を基準
とし、性別または成人か否かによって配置特徴量の修正
量を調整し、顔部品の配置情報を決定している。しかし
ながら、この技術において顔部品は顔輪郭とは別に配置
情報が決定され、最終的に顔輪郭と合成されているにす
ぎない。 （１２）［請求項２０，２１に関する従来技術］ 従来の似顔絵合成技術においては、顔の対称性などにも
とづく編集操作の簡易化技術が多く報告されている。例
えば、上記文献［１０］に記載されているような右目と
左目が同じ編集操作を受けるという技術である。しかし
ながら、顔の部品の同じ色の部品あるいは同じ特性の部
品は、同じ編集操作を受けるといった点に注目した編集
操作の簡易化技術はあまり知られていない。

【００１２】

【発明が解決しようとする課題】しかしながら、前記記
載の技術においては、なお以下のような課題を有してい
る。 （１）［請求項１，２の発明］ テンプレートマッチングで特徴量を抽出する手法は、
処理が単純であり実現が容易であるという特徴を持つ
が、入力画像と比較するパターンを画像として記憶して
いるという特性上、次のような問題点がある。

【００１３】記憶しているパターン画像（以下、テンプ
レート画像と記す）の画素数が大きい、すなわちより細
かい特徴まで含んだテンプレート画像の場合、入力画像
中の対象としていない物体の特徴量が、対象としている
物体の特徴量と同じになる、あるいは近い値になるとい
う危険性は小さくなる一方で、入力画像中の対象となる
物体の見え方が、テンプレート画像と少し異なっただけ
で、本来の特徴量から大きく離れた特徴量となる危険性
が生じる。逆もまた同様であり、テンプレート画像の画
素数が小さいと、対象としていない物体の特徴量が対象
としている物体の特徴量と同じになる、あるいは近い値
になり、その代わりに対象となる物体の見え方が少し変
わっても、特徴量があまり変化しない利点がある。

【００１４】したがって、例えば、人物顔画像を含んだ
入力画像中より、テンプレートマッチングを用いて右目
の位置を検出するという問題を考えた場合、ある画像で
正しく目の位置を検出できるようなテンプレート画像を
用意できたとしても、別の画像では誤った位置、例え
ば、背景の中で濃淡パターンが目のそれと類似している
ような場所の位置を検出してしまうことがある。

【００１５】従来のように投影法を用いて特徴量を抽
出する手法も、処理が単純であり実現が容易であるとい
う特徴を持つが、これは入力画像の輝度値や微分値を水
平あるいは垂直方向に合計してヒストグラムを作成し、
当該ヒストグラムを調べることで特徴量を抽出するもの
であり、ヒストグラムを作成する際に、その合計する方
向に、対象となる物体以外のものが存在すると、ヒスト
グラムはそれによって変化し、正しい特徴量を抽出する
のは困難である。

【００１６】従来のように固有空間法を用いて特徴量
を抽出する手法は、テンプレートマッチングを用いる手
法とほぼ同じ制約をもつ。しかし、固有空間法は、記憶
するパターンを単一の画像とするのではなく、複数の画
像の確率分布として表現したパターン（以下、辞書画像
と記す）を用いるため、対象となる物体の変形に対して
より頑健であるという特徴をもつ。ただし、辞書画像を
作成するには、膨大な作業量が必要である。

【００１７】従来のように色情報を用いて特徴量を抽
出する手法は、対象となる物体を構成する画素の色値と
同様の色値をもつ画素が、他にも存在していた場合、誤
った特徴量を抽出してしまう。

【００１８】すなわち、上記のいずれの手法も、入力画
像全体を対象として処理を行うと、誤った特徴量を抽出
してしまうことがある。これを回避するために、通常は
画像の取得を制御された環境下で行う、すなわち、例え
ば人物を撮影する場合、人物の背面に均一色のカーテン
等を設置し背景に余計なものが写らないようにする、あ
るいは、撮像系と被写体の距離を常に一定に保つ、ある
いは、照明を一定方向から一定光量照射するようにす
る、あるいは、必ず正面を向き顔が回転しないようにす
る、等である。しかしながら、以上のような制限を設け
ることは、これらの手法を採用した装置の利便性を大き
く損なうものである。

【００１９】そこで、通常は処理をするための範囲を何
らかの方法を用いて限定することで、上記の制限を緩和
するという下記の方法が用いられる。

【００２０】位置指定手段を用いて、上記処理をするた
めの範囲を限定するには、通常、次のような方法がとら
れる。人物顔が含まれている画像中より、当該人物の右
目、左目、口の位置を特徴量として抽出する場合、ま
ず、右目に対して処理するための探索範囲を設定する必
要があり、通常この探索範囲は矩形で表され、矩形を表
現するためには少なくとも２点を指定する必要がある。
同様に、左目、口に対しても、それぞれ少なくとも２点
を指定する必要があり、合計で少なくとも６点を指定す
る必要がある。結果的には多くの点を指示しなければな
らないといった問題が発生する。 （２）［請求項３，５，８の発明］ 従来、認識対象の領域を得るために２値化を行なうため
の方法として、輝度の２値化、微分した後に２値化、色
情報に基づく２値化などが行われており、また各々の２
値化の際に用いられる閾値の決定にあたっても判別分
析、平均値など様々な方法が用いられてきた。しかしど
の方式にも一長一短があり、例えばある画像では方式Ａ
で望む領域が得られるが方式Ｂでは望む領域が得られ
ず、別の画像では方式Ｂで望む領域が得られるが方式Ａ
では望む領域が得られない、ということがあり、方式Ａ
を採用しても方式Ｂを採用しても全ての画像で所望の結
果を得ることが不可能であった。 （３）［請求項４，５，８の発明］ 従来、目や口等の顔部品の位置、大きさ検出を行なうに
あたり、ユーザーによる指定は何もなしで検出する方法
や、ユーザーは顔の大きさは指定せず概略位置のみを指
定しその情報から検出する方法、が行なわれてきた。し
かし、これらの方法では、顔部品の大きさを予測するこ
とは不可能であり、不必要に大きな範囲で検出を行なう
必要があるため無駄な計算が発生し、また検出結果が大
きく誤ることがある。またユーザーは顔の位置及び概略
位置及びおおよその大きさを指定しその情報から検出す
る方法では顔部品の大きさを予測することは可能であ
る。しかし、顔のおおよその大きさの指定は髪による顔
の隠蔽等の問題からユーザーが正しく顔のおおよその大
きさを指定しないことがあり、従って十分な精度が得ら
れず、そこから予測される顔部品の大きさも十分な精度
が得られない。そのため、やはり不必要に大きな範囲で
検出を行なう必要があるため無駄な計算が発生し、また
検出結果が大きく誤ることがある。また予め顔画像中の
顔や顔部品の位置や大きさが一定の範囲内に納まるよう
撮影するという方法では、不必要に大きな範囲で検出を
行なう必要はなく、検出結果が大きく誤ることも少ない
が、任意の入力画像に対し顔や顔部品の検出を行なうこ
とが不可能であるという問題がある。 （４）［請求項６，８の発明］ 従来、顔部品の位置、大きさ検出を行なうにあたり行な
われてきた入力画像に対しテンプレートマッチングや投
影等の画像処理手法を適用し、顔部品の位置、大きさ検
出する方法では、適用される手法が顔部品の傾きに大き
く影響されるため、入力された画像中の顔は水平である
ことが求められており、画像中の顔が傾いていた場合、
顔部品の位置、大きさ検出の精度が著しく低下するとい
う問題がある。 （５）［請求項７の発明］ テンプレートマッチングや固有空間法で目の形状を判定
する手法を用いた場合、まず目の位置と大きさが正しく
検出されている必要がある。上記２手法は、位置ずれに
対して非常に脆弱であり、テンプレート画像、あるいは
辞書画像と、それに対応する入力画像中の部分画像とが
わずかにずれているだけで、算出される特徴量は大きく
異なる場合がある。また、形状を判定しようとするカテ
ゴリーごとに対応するテンプレート画像や辞書画像を予
め準備しておかなければならず、対象物体が、予め準備
しておいたカテゴリーに含まれない形状の場合は、正し
い特徴量を算出することができないし、テンプレート画
像や辞書画像を準備するには多くの作業量を要する。 （６）［請求項９の発明］ テンプレートマッチングや固有空間法で眉毛の位置及び
大きさを検出する手法を用いた場合、まずテンプレート
画像あるいは辞書画像を予め準備しておかなければなら
ないが、一般に、眉毛は個人差により様々な形状をとり
うるため、一つのテンプレート画像あるいは辞書画像で
全ての眉毛の位置及び大きさを検出するのは困難であ
る。そこで、予め設定した各カテゴリーごとにテンプレ
ート画像あるいは辞書画像を作成し、それぞれについて
テンプレートマッチング、固有空間法を適用して最も適
当なテンプレート画像あるいは辞書画像での最も適当な
類似度をもって、眉毛の位置及び大きさを検出しなけれ
ばならない。

【００２１】しかしながら、既に述べたように、テンプ
レート画像や辞書画像を準備するには多くの作業量を要
するし、一つのテンプレート画像あるいは辞書画像を用
いた場合でも誤った位置及び大きさを検出する可能性が
あるのに、複数のテンプレート画像あるいは辞書画像を
用いると、さらに誤った位置及び大きさを検出する危険
性は大きくなる。

【００２２】さらに、テンプレートマッチングや固有空
間法等の手法を用いる場合、テンプレート画像や辞書画
像の大きさと、入力画像中に存在する、対象となる物体
の大きさが同一でなければならないが、それらが既知で
ない場合、複数の大きさのテンプレート画像あるいは辞
書画像を用意しておき、それら全てと入力画像との間で
処理を行うか、もしくは、入力画像を拡大あるいは縮小
し、それら全ての拡縮画像とテンプレート画像あるいは
辞書画像との間で処理を行わなければならない。これに
よる処理量は膨大である。

【００２３】また、入力画像を２値化する場合は、その
閾値を適当に設定しなければならないが、画像により照
明条件等が異なる等の原因により、一般に用いられてい
る２値化の手法を用いるだけでは、眉毛と眉毛以外を明
確に分離するための閾値を求めるのは困難である。 （７）［請求項１０の発明］ テンプレートマッチングや固有空間法で眉毛の形状を判
定する手法を用いた場合、まず眉毛の位置と大きさが正
しく検出されている必要がある。上記２手法は、位置ず
れに対して非常に脆弱であり、テンプレート画像、ある
いは辞書画像と、それに対応する入力画像中の部分画像
とがわずかにずれているだけで、算出される特徴量は大
きく異なる場合がある。また、形状を判定しようとする
カテゴリーごとに対応するテンプレート画像や辞書画像
を予め準備しておかなければならず、対象物体が、予め
準備しておいたカテゴリーに含まれない形状の場合は、
正しい特徴量を算出することができないし、テンプレー
ト画像や辞書画像を準備するには多くの作業量を要す
る。 （８）［請求項１１の発明］ 通常、形状判定を行なう前に顎を含む顔の輪郭線を抽出
しておく必要があるが、一般に照明条件や顔の向き、表
情の変化などにより、鮮明な輪郭線がいつも得られると
は限らない。特にエッジ画像を利用する場合、輪郭がと
ぎれたり、逆に偽輪郭がでるなどの問題がおこりやす
い。このため、一定の照明条件で、ほぼ均一の背景下の
もとで被写体を撮影しておくなど、対象画像の条件がき
びしくなる場合が多い。

【００２４】次いで、得られた輪郭線をテンプレートマ
ッチングにより形状を判定する手法を適用する場合、上
記顔輪郭抽出で正しい輪郭線が抽出出来たとしても、顎
の輪郭線には個人差が大きいため、基準となるテンプレ
ートの数を多くする、すなわち辞書画像が多数必要にな
る。また、辞書画像が少なくし、分類数を減らすことも
可能だが、個人差を加味した共通の基準辞書画像を調整
するのは困難である。 （９）［請求項１２，１３の発明］ 背景色を抽出して画像全体から背景領域を抽出し、髪領
域がこれに入り込まないようにするため、背景色が一様
であるかまたはそれに近い必要があり、通常のスナップ
写真などから似顔絵を作成することは難しかった。 （１０）［請求項１４の発明］ 髪形状をテンプレートマッチングにより分類する方法で
は、いわゆる「七三分け」，「真中分け」などの呼び方
でいう「分け目」を精度よく検出して分類することや、
髪の生え際線の形状の丸みを判定して「四角型」，「丸
型」に分類することなど、きめ細かい形状分類を行うこ
とは難しかった。 （１１）［請求項１５の発明］ 髪形状は抽出された髪領域及び髪特徴のみに基づいて決
定されるので、例えば、白髪であるなど髪領域と肌領域
の区別が難しい場合に、誤って「髪が薄い」などの誤判
断を起こす場合があった。 （１２）［請求項１６，１７の発明］ 部品選択により似顔絵を生成する装置においては、分類
された髪形状のカテゴリ１つに対し１種類の髪部品が対
応するため、前髪と後髪との調和の取れたリアルな髪形
状を生成することは難しかった。髪領域を２値化したも
のと、前髪部分の髪を表現する小部品とを組み合わせる
手法で形成した髪画像は、髪部品全体を予め作成する場
合と比較すると、美しさにおいて劣る場合が多く、ま
た、顔の他の部分との調和をとるのが難しかった。さら
に、髪領域の２値化画像を用いるため、２値化処理が不
完全な部分が少しでも存在すると、それが出力としてそ
のままユーザーに見えて違和感を与えてしまう、という
問題点があった。 （１３）［請求項１８，１９の発明］ 従来の似顔絵などの画像を自動作成する技術では、目／
鼻／口／眉／耳などの顔部品を配置するにあたって、固
定的な位置に顔部品を配置したり、あるいは目／鼻／口
／眉／耳の実画像上での相対的な位置関係を基準に配置
を行っていた。このため、顔幅の広い顔では、目が中心
に寄ってしまったり、逆に顔幅が狭い顔では目や眉が顔
からはみ出したりしていた。またオデコの広い顔でも目
が上の方に来たりして不自然な画像となっていた。これ
は、顔の部品の配置が、顔輪郭の形状によって決定され
るということを無視していたからである。年齢や性別に
よって部品の配置を変更するという方法も考えられる
が、これは顔輪郭の一般的な傾向を反映してはいるが、
顔の幅の違いや、目の位置の違いなどの細かい特性を直
接的には反映していなかった。 （１４）［請求項２０の発明］ 人間の顔は複数の顔部品より構成されているが、１人の
人間においては、顔部品間で極めて強い相関を持ってい
るのが普通である。似顔絵の顔部品としては、１つの髪
型に対して、黒／茶／白などの色が存在しており、人に
よってバリエーションは大きいが、１人の人間において
前髪と後髪が異なる色であることは極めてまれである。
ところが顔部品としては、前髪と後髪が別部品であるた
め、前髪の色を認識または編集操作によって、ある色に
変更した場合、後髪が異なる色のままであると違和感が
生じる。また逆に後髪の色を変更した場合、前髪が異な
る色であると同じく違和感が生じる。同様に前髪がパー
マで、後髪がストレートといった、ありえない組み合わ
せに関しても違和感を生じることがある。 （１５）［請求項２１の発明］ 似顔絵に用いる顔部品での１つの部品データは、その部
品そのものと、その部品が発生する影の部分から構成さ
れており、この両者を一組として顔部品データ記憶手段
に記憶している。従来の技術では、顔部品データ抽出手
段が抽出した部品をそのまま合成していた。このため、
例えば目の部品を描画した上に、前髪の部品を描画する
と、目の上に前髪の影を描画して、目が潰れてしまうこ
とがあった。これは、前髪の影は、前髪の形で形状が決
まるが、影自体は影が投影された先である顔輪郭の一部
であることを無視しているからである。また顔輪郭など
影が投影される面が存在しなくても、影だけが書かれて
しまう欠点もあった。また、上記文献［１１］のよう
に、部品を階層によって分割して記憶し、階層ごとに合
成する手法もあるが、１つのデータを複数の部品に分割
するため、データの管理が複雑になったり、必要以上に
データ容量を要してしまう欠点があった。

【００２５】本発明は、上記問題点を解決するためにな
されたもので、その目的とするところは、画像中の特定
物体の特徴量を抽出する画像処理を行う場合、処理に時
間がかかったり、誤った特徴量を抽出してしまうことな
く、また処理の範囲を位置指定手段等を用いて直接指定
する場合に多くの位置を指定することなく、画像中の任
意の特徴量を頑健、高精度かつ高速に抽出できるととも
に、簡易に高品質な似顔絵を合成できる画像処理装置を
提供することである。

【００２６】

【課題を解決するための手段】［請求項１］本発明の請
求項１に係る画像処理装置は、画像を入力する入力手段
と、前記入力した画像を記憶する記憶手段と、任意の演
算を行う演算手段と、当該画像中の任意の位置を指定す
ることのできる位置指定手段と、当該画像中に配置され
た物体の位置及び大きさを認識し、前記物体の位置及び
大きさの関係が一定の拘束条件を満たす場合に、画像中
の一つ以上の当該物体の位置を入力することで、当該画
像中の任意の特徴を抽出する特徴抽出量手段とを備えて
なることを特徴とする。

【００２７】上記構成によれば、画像中に配置された物
体の位置及び大きさの関係が一定の拘束条件を満たす場
合に、画像中の一つ以上の位置を入力することで、当該
入力位置より、対象となる物体の特徴量を抽出するため
の、画像処理を行うための適当な探索範囲を設定するこ
とが可能となる。

【００２８】すなわち、従来の手法では探索範囲を設定
するために、例えば３つの物体であれば、それぞれにつ
いて探索範囲を設定するために少なくとも６点を指定し
なければならなかったが、本発明の画像処理装置を用い
ることで、より少ない指定点で適当な探索範囲を設定す
ることが可能となる。 ［請求項２］本発明の請求項２に係る画像処理装置は、
請求項１記載の画像処理装置において、前記特徴抽出手
段は、入力される画像に顔を含む場合に、顔を構成する
目、鼻、口、眉、耳、輪郭、髪を顔部品とし、前記顔部
品の内の少なくとも１つの該当顔部品の位置、大きさ、
形状を特徴量として抽出することを特徴とする。

【００２９】上記構成によれば、請求項１の作用に加え
て、目、鼻、口、眉、耳、輪郭、髪等の顔部品の位置、
大きさ、形状等の特徴量を、頑健かつ高精度に抽出する
ことができる。

【００３０】本画像処理装置においては、例えば、入力
画像中に含まれている人物の右目、左目、口の位置を特
徴量として抽出する場合、上記位置指定手段を用いて右
目及び左目の２点を指定する。ここで、右目、左目、口
の位置及び大きさについては、一定の拘束条件にしたが
っている、すなわち、左右の目の大きさはほぼ同一であ
り、それは、両目間の距離に一定の係数を乗じた値から
大きく離れた値ではなく、口は、両目を結ぶ線分の中央
から垂直下方に位置し、その距離と口の大きさは、両目
間の距離に一定の係数を乗じた値から大きく離れた値で
はない、とすることができる。

【００３１】すなわち、従来技術では、特徴抽出の処理
において誤った値を抽出することがないよう、探索範囲
を限定するためのに、位置指定手段にて６点を指定しな
ければならかなったのを、２点指定するだけで同様の効
果が得られるようになることを特徴としている。 ［請求項３］本発明の請求項３に係る画像処理装置は、
請求項２記載の画像処理装置において、前記特徴量抽出
手段は、入力された画像を複数の方式及び複数の閾値で
２値化し、それらの画像中の領域の位置や大きさや形状
を判定し、最も信頼度の高い画像を選択することで、認
識対象の領域を検出する領域検出手段を備えてなること
を特徴とする。

【００３２】上記構成では、認識対象の領域を得るため
に２値化を行なうにあたっての閾値の決定に際し、複数
の方式による複数の閾値を用いて２値化を行ない、その
結果得られた複数の領域と、予め概略のわかっている認
識対象の位置、形状、大きさ等と比較し最も認識対象の
位置、形状、大きさに近い領域を認識対象とすること
で、認識対象の領域を頑健かつ高精度に抽出することが
できる。 ［請求項４，５，８］本発明の請求項４に係る画像処理
装置は、請求項２記載の画像処理装置において、前記特
徴量抽出手段は、前記位置指定手段で指定された２つ以
上の顔部品の位置間の距離関係から顔部品の大きさを予
測することにより、顔部品の位置、大きさの検出を行な
う顔部品認識手段を備えてなることを特徴とする。

【００３３】本発明の請求項５に係る画像処理装置は、
請求項４記載の画像処理装置において、前記顔部品認識
手段は、検出する位置や大きさの対象が顔部品の目であ
ることを特徴とする。

【００３４】本発明の請求項８に係る画像処理装置は、
請求項４記載の画像処理装置において、前記顔部品認識
手段は、検出する位置や大きさが顔部品の口であること
を特徴とする。

【００３５】上記構成により、高精度に顔部品の大きさ
を予測し、画像中の必要十分な範囲内でのみ検出処理を
行ない、少ない計算量で高精度に顔部品の位置、大きさ
検出を行なうことができる。 ［請求項６］本発明の請求項６に係る画像処理装置は、
請求項４または５記載の画像処理装置において、前記顔
部品認識手段は、検出した両目の位置に関して、左右の
目を結ぶ線が水平になるように、顔画像を回転させる手
段を備えてなることを特徴とする。

【００３６】上記構成により、顔が傾いた画像を入力と
して与えられても高精度に顔部品の位置、大きさ検出を
行なうことができる。 ［請求項７］本発明の請求項７に係る画像処理装置は、
請求項４乃至６のいずれか記載の画像処理装置におい
て、前記顔部品認識手段は、検出した目の位置や大きさ
に基づいて探索範囲を設定し、その範囲で目の傾き及び
厚みをあらわす画像特徴を検出し、目の形状を判定する
手段を備えてなることを特徴とする。

【００３７】上記構成によれば、設定された探索範囲内
で目の傾き及び目の厚みをあらわす画像特徴を検出し、
目の形状を判定するので、テンプレート画像、あるいは
辞書画像と、それに対応する入力画像中の部分画像とが
ずれていることにより、誤った特徴量が抽出されるとい
う危険を回避することができる。さらに、対象とする目
の形状が、予め準備しておいたカテゴリーに含まれない
形状の場合に、正しい特徴量が算出できないといった危
険を回避することができる。さらに、テンプレート画像
や辞書画像を準備する必要がなり、作業量を大幅に少な
くすることができる。 ［請求項９］本発明の請求項９に係る画像処理装置は、
請求項４記載の画像処理装置において、前記顔部品認識
手段は、検出する位置や大きさが顔部品の眉であること
を特徴とする。

【００３８】上記構成によれば、２つ以上の顔部品の位
置を位置指定手段により指定し、それら指定位置間の距
離関係から眉毛の大きさを予測することで、特徴量を抽
出する際の処理を行うべき範囲を適当な大きさに制限す
ることができる。

【００３９】その上で、当該処理範囲に対して２値化を
行うが、本画像処理装置は、上記問題を解決するため
に、認識対象の領域を得るために２値化を行なうにあた
り、複数の方式、複数の閾値で２値化し、それらの画像
中の領域の位置、大きさ、形状等を判定し、最も信頼で
きる画像を選択することにより、認識対象を高精度に検
出する方法を備えることを特徴としている。

【００４０】この構成によれば、２つ以上の顔部品の位
置を位置指定手段により指定し、それら指定位置間の距
離関係から眉毛の大きさを予測し、特徴量を抽出する際
の処理を行うべき範囲を適当な大きさに制限することに
加え、眉毛の大きさを推定することができる。すなわ
ち、例えば、位置指定手段によって位置指定される顔部
品が右目と左目である場合、眉毛の大きさは、その両目
間の距離に一定の係数を乗じた値から大きく離れた値で
はない、とすることができる。

【００４１】したがって、２値化を行った際に分離され
る領域の大きさと、推定される眉毛の大きさを比較し、
それらの大きさがあまり離れていないような２値化の閾
値を求めることで、眉毛をあらわす領域を高精度に検出
することができる。 ［請求項１０］本発明の請求項１０に係る画像処理装置
は、請求項４または９に記載の画像処理装置において、
前記顔部品認識手段は、検出した眉の位置や大きさに基
づいて探索範囲を設定し、その範囲で眉の太さ及び折れ
曲がり方をあらわす画像特徴を検出し、眉の形状を判定
する手段を備えてなることを特徴とする。

【００４２】上記構成によれば、設定された探索範囲内
で眉毛の太さ及び折れ曲がりかたをあらわす画像特徴を
検出し、眉毛の形状を判定するので、テンプレート画
像、あるいは辞書画像と、それに対応する入力画像中の
部分画像とがずれていることにより、誤った特徴量が抽
出されるという危険を回避することができる。さらに、
対象とする眉毛の形状が、予め準備しておいたカテゴリ
ーに含まれない形状の場合に、正しい特徴量が算出でき
ないといった危険を回避することができる。さらに、テ
ンプレート画像や辞書画像を準備する必要がなり、作業
量を大幅に少なくすることができる。 ［請求項１１］本発明の請求項１１に係る画像処理装置
は、請求項２記載の画像処理装置において、前記特徴抽
出手段は、前記位置指定手段で指定された一つ以上の位
置情報に基づき、顎の輪郭特徴を検出し、その形状を判
定する輪郭認識手段を備えてなることを特徴とする。つ
まり、位置指定手段から得られた１つ以上の顔を特徴付
ける情報から、顎輪郭の特徴をより顕著に表す特徴画像
を作成し、その画像を画像エネルギーとして利用する動
的輪郭モデルにより輪郭を検出することを特徴とし、ま
た、その検出輪郭線を顔の該値の部分からの距離と方向
からなる距離関数として表現し、その距離関数の特徴を
求めて基準特徴を比較することにより、顎輪郭形状を判
定することを特徴とする。

【００４３】そのため、画像処理装置の操作者は、最初
に位置指定手段により、入力画像中に含まれている人物
の顔の中心を指定する。この顔中心は、直接指定しても
よいし、他の顔特徴の指定、例えば、両目、口の座標か
ら推定してもよい。次に人物の顔を含むような初期輪郭
座標列を求める。次いで、顔中心座標と初期輪郭上の各
座標を結ぶ直線上の隣り合う画素間の色差を算出し、対
象画素間の座標中点を座標値とし、算出した色差を画素
値にもつ画像（以降、色差マップ画像と呼ぶ）を作成す
る。次いで、この色差マップ画像を、画像エネルギーと
する動的輪郭モデルを用いて顎輪郭線を検出する。次い
で、得られた輪郭線を顔内部の該値の座標、例えば、顔
中心からの距離と方向（角度）からなる関数（以降距離
関数と呼ぶ）として表現する。次いで、この距離関数の
特徴を、基準となる輪郭形状の距離関数の特徴と比較
し、最も特徴が近い距離関数をもつ輪郭形状を、入力画
像の顎形状として判定する。

【００４４】ここで、色差マップ画像作成には、対象画
像人物顔であることを利用して精度を高めてもよい。例
えば、色差を求める際には、肌色とそれ以外の色を区別
して求めてもよい。すなわち、肌色に分類される画素同
士の色差には、色差の検出精度を低くすることにより、
ノイズやしわの影響が色差マップ画像に反映されにくく
することができる。逆に、首と顎の境目は同じ肌色であ
ることが多く、色差が出にくいため、中心から首方向へ
の直線上の色差検出時には、検出精度を上げるようにし
てもよい。尚、首の位置は、例えば口の座標が該値であ
るならば、方向を推定することが出来る。

【００４５】また、上記により色差マップ画像を作成し
た後に、例えば顔輪郭として楕円を仮定することによ
り、顔中心座標を中心とする楕円座標上にある画素値
（＝色差）とその両隣の画素値を平均化し、その画素値
とする。あるいは、顔輪郭以外の他の特徴が別途判明し
ている場合、例えば、口の中心座標が該値であるなら
ば、口の中心座標と顔中心を結ぶ直線を対称軸にもつ２
画素の画素値を平均化して、その画素値としてもよい。
これにより、顎形状の特徴を加味したエネルギー画像を
作成することができ、鮮明な輪郭線が現れていない入力
画像やノイズの多い画像に対しても、より安定な顎検出
を行なうことができる。

【００４６】また、輪郭線から距離関数を作成する際に
も、人物顔輪郭独自の特徴性を利用することにより、ノ
イズや照明による影響を出来るだけ排除し、顎の特徴を
より顕著に表すように距離関数を修正することができ
る。例えば色差マップ作成時と同じように、楕円や対称
性などの顔の形状に基づき平均化等の距離関数の修正を
行なうことができる。

【００４７】次に、距離関数の比較は、距離関数の変曲
点の位置、変曲点数、変曲点間の傾きなどその距離関数
のもつ特徴と位置づけ、基準となる輪郭形状の距離関数
の特徴とそれぞれ比較することにより行なう。そして、
最も類似している基準距離関数を有する基準形状を該当
する輪郭形状として判定する。

【００４８】また、平面上の曲線を周波数領域で記述す
る手法、例えば、フーリエ記述子を用いて距離関数を表
現すれば、これにより算出されるフーリエ係数をその距
離関数のもつ特徴として位置付けることができ、基準と
なる輪郭形状の距離関数の係数と比較することにより、
上記と同様に形状判定を行なうことができる。

【００４９】比較対象となる基準距離関数の特徴は、距
離関数を予め正規化して表としてメモリに格納しておい
てもよいし、予め必要となる正規化した変曲点の位置等
の情報だけを格納しておいてもよい。フーリエ記述子を
用いる場合は、必要な次数の係数を格納しておけばよ
い。これらの手法では、テンプレートマッチングに比べ
て、比較対象となる基準形状を辞書画像としてもつ必要
がなく、メモリコストや処理速度の面で有利となる。

【００５０】また、フーリエ記述子を用いる場合、フー
リエ係数の低次の項にはおおまかな曲線形状、高次の項
にはより詳細な曲線形状が反映されていることを利用
し、まず低次の項の比較を行なうことにより、ノイズや
個人差などの影響をなるべく排除した判定結果を得るこ
とが可能である。 ［請求項１２，１３］本発明の請求項１２に係る画像処
理装置は、請求項２記載の画像処理装置において、前記
特徴抽出手段は、前記位置指定手段で指定された一つ以
上の位置情報に基づき、頭頂高さと髪生え際高さとを推
定し、髪領域を認識する髪認識手段を備えてなることを
特徴とする。

【００５１】本発明の請求項１３に係る画像処理装置
は、請求項１２記載の画像処理装置において、前記髪認
識手段は、髪色を抽出する髪色抽出手段を備えてなるこ
とを特徴とする。

【００５２】上記構成によれば、画像全体から背景領域
を抽出する必要がないため、背景色が一様またはそれに
近い必要はなく、通常のスナップ写真などからでも髪色
を抽出し、あるいは、似顔絵を作成することができる。 ［請求項１４］本発明の請求項１４に係る画像処理装置
は、請求項１２記載の画像処理装置において、前記髪認
識手段は、前記位置指定手段で指定された一つ以上の位
置情報に基づき、髪部分の特徴を抽出する髪特徴抽出手
段と、該髪部分の特徴を用いて髪輪郭を抽出する髪輪郭
抽出手段と、該髪輪郭を用いて髪を分類する髪分類手段
と、をさらに備えてなることを特徴とする。

【００５３】上記構成によれば、テンプレートマッチン
グによるのではなく、髪の輪郭線を抽出するため、いわ
ゆる「七三分け」，「真中分け」などの呼び方でいう
「分け目」を精度よく検出して分類することや、髪生え
際線の形状の丸みを判定して「四角型」，「丸型」に分
類することなど、きめ細かい形状分類を行うことができ
る。 ［請求項１５］本発明の請求項１５に係る画像処理装置
は、請求項１２記載の画像処理装置において、前記髪認
識手段は、顔輪郭の特徴を抽出する顔輪郭特徴抽出手段
と、髪特徴及び顔輪郭特徴を用いて髪を分類する髪分類
手段と、を備えてなることを特徴とする。

【００５４】上記構成によれば、例えば、顔輪郭線の最
上部の高さが頭頂高さと比較してある閾値以上低い場合
は髪が相当量あると判断することにより、白髪であるな
ど髪領域と肌領域の区別が難しい場合にも、「髪が薄
い」などの誤判断をなくす、あるいは減らすことができ
る。 ［請求項１６］本発明の請求項１６に係る画像処理装置
は、請求項１２記載の画像処理装置において、前記髪認
識手段は、前髪部分の特徴を抽出する前髪特徴抽出手段
と、後髪部分の特徴を抽出する後髪特徴抽出手段を備
え、髪部分を含む画像を入力した際、前記前髪特徴抽出
手段にて抽出された前髪特徴と前記後髪特徴抽出手段に
て抽出された後髪特徴とを用いて前髪部品を決定するこ
とを特徴とする。

【００５５】上記構成によれば、前髪、後髪の両方の特
徴を用いて前髪部品を決定するため、例えば、髪の上部
で左側の方に分け目があれば、前髪部品でも左の方から
流れているような、「左分け」にマッチしたものを選択
することにより、よりリアルな、違和感の少ない似顔絵
を作成することができる。また、予め用意された髪部品
を用いているので、例えば、髪領域を２値化したもの
と、前髪部分の髪を表現する小部品とを組み合わせる手
法のように、髪領域が２値化画像の一部あるいは全部
が、髪画像の一部あるいは全部としてそのまま出力され
る手法と比較して、より美しい似顔絵を作成できる場合
が多く、また、処理が不完全な部分が存在しても、それ
が出力としてそのままユーザーに見えるわけではないの
で、違和感を与えにくい。 ［請求項１７］本発明の請求項１７に係る画像処理装置
は、請求項１２記載の画像処理装置において、前記髪認
識手段は、前髪部分の特徴を抽出する前髪特徴抽出手段
と、後髪部分の特徴を抽出する後髪特徴抽出手段を備
え、髪部分を含む画像を入力した際、前記前髪特徴抽出
手段にて抽出された前髪特徴と前記後髪特徴抽出手段に
て抽出された後髪特徴とを用いて後髪部品を決定するこ
とを特徴とする。

【００５６】上記構成によれば、前髪、後髪の両方の特
徴を用いて後髪部品を決定するため、例えば、額の前髪
部分で左の方に分け目があれば、後髪部品でも、左側の
方に分け目があるような、「左分け」にマッチしたもの
を選択することにより、よりリアルな、または違和感の
少ない似顔絵を作成することができる。また、予め用意
された髪部品を用いているので、例えば、髪領域を２値
化したものと、前髪部分の髪を表現する小部品とを組み
合わせる手法のように、髪領域が２値化画像の一部ある
いは全部が、髪画像の一部あるいは全部としてそのまま
出力される手法と比較して、より美しい似顔絵を作成で
きる場合が多く、また、処理が不完全な部分が存在して
も、それが出力としてそのままユーザーに見えるわけで
はないので、違和感を与えにくい。 ［請求項１８］本発明の請求項１８に係る画像処理装置
は、画像中の顔部品の大きさや形状の顔部品特徴情報を
得る手段と、その特徴情報に対応する複数の顔部品種類
を持ち、各顔部品種ごとに複数の部品データを記憶して
いる顔部品データ記憶手段と、前記顔部品特徴情報をも
とに前記顔部品データ記憶部から適当な部品データを抽
出する顔部品データ抽出手段と、前記抽出された各顔部
品データを顔部品データ記憶部に記憶してある顔輪郭部
品種類ごとに部品の配置位置を定めることにより、輪郭
に適した位置に他の顔部品を配置する手段を備えてなる
ことを特徴とする。

【００５７】上記構成により、画像中の顔部品の大き
さ、形状などの、どの顔部品を使用するか決定した後、
顔部品の中の顔輪郭部品ごとに部品配置位置と部品サイ
ズなどの部品配置方法を決定し、各顔部品データを配置
する。部品を顔輪郭に基いて配置することによって、単
に部品が顔からはみ出したりしないだけでなく、その顔
輪郭の形状に最も適した位置と大きさに顔部品を配置す
ることができる。顔輪郭ごとに顔部品配置情報を決定す
ることにより、劇画調とコミック調など似顔絵のコンセ
プトによって顔のバランスがまったく異なる似顔絵につ
いても、顔部品を配置した場合に破綻することなく似顔
絵を生成することが可能である。 ［請求項１９］本発明の請求項１９に係る画像処理装置
は、請求項１８記載の画像処理装置において、画像中の
顔部品の位置の情報を得る手段と、得られた顔部品の位
置情報に基づき、顔輪郭に対応して決定した他の顔部品
の配置位置を補正し、顔部品の配置位置を定める手段を
備えてなることを特徴とする。

【００５８】上記構成により、同じ顔輪郭を持つが、微
妙に顔部品の位置が異なる顔のバリエーション全て対応
するため、画像中の顔部品の位置情報に基づき、上記請
求項１８によって決定した他の顔部品の配置位置を、そ
の顔輪郭の許容範囲の中で修正し、より適切な部品の配
置位置を決定する。また、入力画像から抽出した顔部品
の位置と、統計的なその顔部品の顔輪郭における標準位
置とを比較し、その差異と、顔輪郭ごとに決定される修
正許容範囲によって、顔部品の配置を補正する。これに
より、顔輪郭から顔がはみ出すような破綻を避けなが
ら、入力画像の微妙な顔部品の位置の特徴を、似顔絵に
反映させることが可能となる。 ［請求項２０］本発明の請求項２０に係る画像処理装置
は、請求項１８記載の画像処理装置において、似顔絵合
成時に配置する顔部品データにおいて、関連のある一組
の部品の特定の色に関する部品の変更指定が行われたと
き、関連する他の部品についても自動的に部品を変更す
ることにより、常に矛盾を生じないデータを生成する手
段を備えてなることを特徴とする。

【００５９】上記構成により、前髪と後髪、あるいは前
髪とヒゲなど、顔部品で強い相関を持つ部品間で、一方
の部品の色を、例えば黒／茶／白のどれかに決定した場
合、他方の部品の色も自動的に同じ色に変更することに
より、他方の部品の色の変更を陽に指定することなく、
違和感のない似顔絵を自動生成する。同様に、髪がパー
マであるかなど、前髪と後髪などで強い相関のある形状
についても、片方に対しての指示を他方に反映させるこ
とで、違和感のない編集操作が可能となる。 ［請求項２１］本発明の請求項２１に係る画像処理装置
は、請求項１８記載の画像処理装置において、顔部品デ
ータ記憶部に記憶してある顔部品データの中で、一つの
顔部品データが二つ以上の層構造を持っている場合に、
他の顔部品データと組み合わされたとき、部品中の色情
報に基づいて層の並び順を変更し、適切な順番で部品と
部品を構成する層の配置順序を定める手段を備えてなる
ことを特徴とする。

【００６０】上記構成により、顔部品あるいは、帽子な
どの似顔絵を構成する部品の各画素または領域におい
て、その色情報から、顔輪郭上に投影された影を構成し
ていると判断される画素または領域を抽出し、その画素
または領域を予め描画してから、個々の顔部品を描画す
ることにより、ある部品の上に、他の部品の影が載ると
いうことを防ぐ。さらに影が投影される部品が存在しな
い場合はその画素または領域の描画そのものを停止する
ことにより、顔輪郭が存在しない場所に対する描画は禁
止できる。

【００６１】

【発明の実施の形態】以下に、本発明における画像処理
装置の実施形態に関して図面を用いて説明する。 〈実施形態１〉 ［第１の実施例］（請求項１，２の発明） 図１は、本実施例の画像処理装置の機能ブロックを示し
た図である。

【００６２】本実施例の画像処理装置は、外部から入力
された画像、すなわち装置が外部から取得した画像（以
下、入力画像と記す）に含まれる物体の特徴量、例え
ば、右目の位置等を、該入力画像から抽出処理する装置
である。すなわち、図１に示すように、電子画像を取得
する画像取得手段としての入力装置１１と、入力装置１
１によって取得された入力画像等を記憶する記憶装置１
２と、入力画像から特徴量を抽出するための処理を行う
演算装置１３と、入力画像の任意の位置を指定する手段
としての位置指定装置１４と、抽出した特徴量を外部に
出力する出力装置１５が設けられている。尚、上記物体
の特徴量を抽出する特徴量抽出部１０は、記憶装置１２
と演算装置１３とから構成されている。

【００６３】本実施例では、上記構成の画像処理装置で
実行される画像処理について説明する。尚、ここでは、
入力画像に顔を含み、抽出される特徴量が、目、鼻、
口、眉、耳、輪郭、髪等の顔部品の位置、大きさ、形状
等である場合について説明する。

【００６４】まず、入力装置１１より画像を入力する。
操作者は、ディスプレイ装置などの出力装置１５に表示
される入力画像を見ながら、位置指定装置１４を用い、
入力画像上の任意の位置を指定する。

【００６５】図２は、位置指定の例及び位置指定によっ
て決定される探索範囲の一例を示した図である。これ
は、入力された人物画像２１の、右目位置２２、左目位
置２３、口位置２４を指定したことを示した画像であ
る。右目位置をＰｒｅ、左目位置をＰｌｅ、口位置をＰ
ｍとすると、右目に関する特徴量を抽出するために画像
処理をする範囲２５（以下、右目の探索範囲と記す）
は、右目位置Ｐｒｅを中心として、幅Ｗｒｅ、高さＨｒ
ｅの矩形であらわされる。

【００６６】ここで、幅Ｗｒｅ、高さＨｒｅは次のよう
に決定される。すなわち、人物顔において各顔部品の位
置関係及び大きさは一定の拘束条件にしたがっている。
つまり、両目間の距離と、目の大きさには、一定の比率
が存在すると考えられる。目の大きさを、目に外接する
矩形の幅Ｗｅｙｅ及び高さＨｅｙｅで表現するとし、両
目間の距離をＬとした場合、Ｗｅｙｅ及びＨｅｙｅは、
それぞれ次のようにあらわされる。

【００６７】Ｗｅｙｅ ＝ Ｃｅｗ×Ｌ Ｈｅｙｅ ＝ Ｃｅｈ×Ｌ ここで、Ｃｅｗは両目間の距離Ｌに対する目の幅Ｗｅｙ
ｅの比率の平均値で、Ｃｅｈは両目間の距離Ｌに対する
目の高さＨｅｙｅの比率の平均値である。これらの係数
Ｃｅｗ，Ｃｅｈは、予め、複数の人物顔について、両目
間の距離と目の幅及び高さについて計測し、平均値を求
めておく。個人差により、目の幅及び高さはばらつきを
生じるから、これにさらに適当な係数を乗じることで、
ほとんど全ての人物について、右目がその中に含まれる
ような十分な大きさの探索範囲をあらわす矩形の幅Ｗｒ
ｅ及び高さＨｒｅを以下のように求めることができる。

【００６８】Ｗｒｅ ＝ Ｍｅｗ×Ｗｅｙｅ Ｈｒｅ ＝ Ｍｅｈ×Ｈｅｙｅ ただし、Ｍｅｗ及びＭｅｈは、予め、複数の人物につい
て、両目間の距離と目の幅及び高さについて計測した分
散値などから求めておく。

【００６９】上記のプロセスを左目、口等にも同様に適
用することができる。すなわち、左目の探索範囲、口の
探索範囲を同様に求めることができる。尚、ここでは、
両目間の距離Ｌを基準に探索範囲を求めているが、別の
基準を設けてもよい。例えば、両目を結ぶ線分の中央と
口位置を結ぶ線分の距離、すなわち、目と口の高さ、を
基準として探索範囲を求めてもよい。

【００７０】以上のように、位置指定装置を用いて、位
置及び大きさが一定の拘束条件にしたがう物体の位置を
入力することで、少ない入力位置で、その物体の特徴量
を抽出するための探索範囲を適当に設定することが可能
となる。

【００７１】したがって、本実施例の特徴をまとめると
次のようになる。 （１）請求項１の画像処理装置は、画像を入力する入力
手段と、前記入力した画像を記憶する記憶手段と、任意
の演算を行う演算手段と、当該画像中の任意の位置を指
定することのできる位置指定手段と、当該画像中に配置
された物体の位置及び大きさを認識し、前記物体の位置
及び大きさの関係が一定の拘束条件を満たす場合に、画
像中の一つ以上の当該物体の位置を入力することで、当
該画像中の任意の特徴を抽出する特徴抽出量手段とを備
えてなることを特徴とする。

【００７２】上記（１）の構成によれば、画像中に配置
された物体の位置及び大きさの関係が一定の拘束条件を
満たす場合に、画像中の一つ以上の位置を入力すること
で、当該入力位置より、対象となる物体の特徴量を抽出
するための、画像処理を行うための適当な探索範囲を設
定することが可能となる。

【００７３】すなわち、従来の手法では探索範囲を設定
するために、例えば３つの物体であれば、それぞれにつ
いて探索範囲を設定するために少なくとも６点を指定し
なければならなかったが、本発明の画像処理装置を用い
ることで、より少ない指定点で適当な探索範囲を設定す
ることが可能となる。 （２）請求項２の画像処理装置は、特徴抽出手段が入力
される画像に顔を含む場合に、顔を構成する目、鼻、
口、眉、耳、輪郭、髪を顔部品とし、前記顔部品の内の
少なくとも１つの該当顔部品の位置、大きさ、形状を特
徴量として抽出することを特徴とする。

【００７４】上記（２）の構成によれば、上記（１）の
作用に加えて、目、鼻、口、眉、耳、輪郭、髪等の顔部
品の位置、大きさ、形状等の特徴量を、頑健かつ高精度
に抽出することができる。例えば、入力画像中に含まれ
ている人物の右目、左目、口の位置を特徴量として抽出
する場合、上記位置指定手段を用いて右目及び左目の２
点を指定する。ここで、右目、左目、口の位置及び大き
さについては、一定の拘束条件にしたがっている、すな
わち、左右の目の大きさはほぼ同一であり、それは、両
目間の距離に一定の係数を乗じた値から大きく離れた値
ではなく、口は、両目を結ぶ線分の中央から垂直下方に
位置し、その距離と口の大きさは、両目間の距離に一定
の係数を乗じた値から大きく離れた値ではない、とする
ことができる。

【００７５】すなわち、従来技術では、特徴抽出の処理
において誤った値を抽出することがないよう、探索範囲
を限定するためのに、位置指定手段にて６点を指定しな
ければならかなったのを、２点指定するだけで同様の効
果が得られるようになることを特徴としている。 ［第２の実施例］（請求項３，４，５の発明） 本実施例では、図１７乃至図１８を用いて説明する。図
１７は目の検出動作をあらわすフローチャートであり、
図１８は目の検出処理（検出、変換、抽出等の結果）に
使用される各種の画像の例である。

【００７６】まず、ユーザーが画像中の両目及び口のお
およその位置をペン、マウス等のポインティングデバイ
ス（図１の位置指定装置）により指定する。次に、ユー
ザーにより指定された個所付近の画像を切り出す。

【００７７】切り出す範囲の算出方法は以下の通りであ
る。

【００７８】まずユーザーが指定した両目のおおよその
位置間の距離ｅｌを算出する。その求めた距離ｅｌに対
し、予め定めた定数ＥＷ，ＥＨを乗算し、切り出す領域
の幅ｅｗと高さｅｈを決定する（１００）。次にユーザ
ーが指定した両目のおおよその位置それぞれを中心と
し、求めた幅と高さで画像を切り出す（１０１）。尚、
この切り出した画像をこれ以降、目周辺画像と呼ぶ。

【００７９】続いて目周辺画像内の目を認識対象としそ
の領域を得る方法、すなわち入力画像を２値化すること
により認識対象の領域を得る方法について説明する。

【００８０】まず目周辺画像を図１８に示すような輝度
画像（１１１）に変換する（１０２）。続いて輝度画像
に対し判別分析法を適用し、閾値ｔｈ１を決定する。次
に閾値ｔｈ１に対しそれぞれ予め定めた値を加減算し、
下記の式に基づいて閾値ｔｈ２〜ｔｈ５を決定する（１
０３）。

【００８１】ｔｈ２ ＝ ｔｈ１−２０ ｔｈ３ ＝ ｔｈ１−１０ ｔｈ４ ＝ ｔｈ１＋１０ ｔｈ５ ＝ ｔｈ１＋２０ 本実施例においては上記の方法で閾値の決定を行ってい
るが、他の閾値の決定方法を使用もしくは併用すること
は容易である。次に上記によって決定した閾値ｔｈ１〜
ｔｈ５を使用し、２値化画像Ｉｍｇ１〜Ｉｍｇ５を得る
（１０４）。図１８中の１４２は上記方法によって得ら
れた２値化画像の例である。この例では認識対象である
目の部分が黒いが左上にも黒い箇所があり、認識対象の
領域だけを分離できていないことがわかる。無論上記の
方式で認識対象の領域を正しく分離できることもある。

【００８２】次に、入力画像を微分画像に変換する（１
０５）。微分画像を生成する方法に関してはＳｏｂｅｌ
オペレータを使用する方法などの様々な方法が知られて
おり、そのいずれかを使用してもよい（尚、これらの方
法は、当該技術分野に従事する技術者にとっては容易に
実現できる手法であるためここでの詳細な説明は行なわ
ない）。続いて微分画像に対し輝度画像に対して行った
ものと同じ方法で閾値ｔｈ６〜ｔｈ１０を決定し（１０
６）、２値化を行い２値化画像Ｉｍｇ６〜Ｉｍｇ１０を
得る（１０７）。

【００８３】図１８中の１１３は上記方法によって得ら
れた２値化画像の例である。この例では認識対象である
目の部分が白くなっており、他に小さな白い部分がある
が、ほぼ認識対象の領域の分離ができている。無論、上
記の方式で認識対象の領域を正しく分離できないことも
ある。また、上記の方法の他にも、入力画像を２値化す
る方法には色情報を利用したもの等の様々な方法があ
り、本発明にそれを適用することは容易である。また本
実施例では各方式における閾値のバリエーションとそれ
により生成される２値化画像の数を“５”としている
が、これは任意の数でよく、また方式によって異なる数
とすることや入力画像により変化するよう実施すること
も容易である。

【００８４】続いて、各２値化画像における認識対象と
思わしき領域を得る。本実施例においては認識対象は顔
画像中の目領域の検出であるため、輝度画像中の暗い領
域もしくは微分値の高い領域である。従って２値化画像
Ｉｍｇ１〜Ｉｍｇ５においては画素値が０すなわち黒い
画素が、２値化画像Ｉｍｇ６〜Ｉｍｇ１０においては画
素値が１すなわち白い画素が認識対象と思わしき画素で
ある。上記認識対象と思わしき画素で、各２値化画像Ｉ
ｍｇ１〜Ｉｍｇ１０の中で最大の面積を持つ連続領域の
みを取り出す処理を行い、残った領域をそれぞれ認識対
象候補Ａｒｅａ１〜Ａｒｅａ１０とする（１０８）。

【００８５】図１８中の１１４は同図中の１１３に対し
最大面積をもつ連続領域のみを取り出す処理をした結果
であり、１１３中の１１５は最大面積をもつ連続領域で
あり、認識対象候補の例である。１１４では１１３にあ
った目領域ではない白い小さな領域がなくなっており、
認識対象領域を正しく分離できている。ここでは認識対
象に関して予め分かっている情報を使用し、認識対象候
補Ａｒｅａ１〜Ａｒｅａ１０の中から最もよく認識対象
をあらわしていると思われる領域を選択する。

【００８６】顔における両目間の距離と目の大きさの統
計的性質を利用し、ユーザーにより指定された両目のお
およその位置から、予想される目の大きさを算出する。
具体的にはユーザーにより指定された両目のおおよその
位置の間の距離を算出し、予め求めてある両目間の距離
と目の大きさの比率の平均値を乗じ、それを予想される
目の大きさとする（１０９）。

【００８７】次に認識対象候補Ａｒｅａ１〜Ａｒｅａ１
０の大きさを求める。本実施例においては外接矩形の大
きさを認識対象候補Ａｒｅａ１〜Ａｒｅａ１０の大きさ
とする。図１８中の１４４，１４５は認識対象候補の例
１１５の大きさである。次に各認識対象候補Ａｒｅａ１
〜１０の大きさと予想される目の大きさを比較し、最も
近いものを求め、この最も近い大きさを持つ認識対象候
補を認識対象の検出結果とする（１１０）。認識対象候
補の例１１５は認識対象を正しく分離しており、認識対
象の大きさに等しい大きさを持っている。従って認識対
象項の例１１５の大きさ１４４，１４５は予測された目
の大きさに近い値である。一方認識対象候補の例１４３
は認識対象を正しく分離していないため、その大きさは
予測された目の大きさに近い値ではない。よって、この
例では正しく認識対象を分離している認識対象候補の例
１１５が選択され、安定かつ高精度に目の認識が行なわ
れる。

【００８８】したがって、本実施例の特徴をまとめると
次のようになる。 （３）請求項３の画像処理装置は、特徴量抽出手段が入
力された画像を複数の方式及び複数の閾値で２値化し、
それらの画像中の領域の位置や大きさや形状を判定し、
最も信頼度の高い画像を選択することで、認識対象の領
域を検出する領域検出手段を備えてなることを特徴とす
る。尚、領域検出手段は図示していないが、演算装置１
３の中もしくは特徴量抽出部１０の中でその機能が実現
されている。

【００８９】上記（３）の構成によれば、認識対象の領
域を得るために２値化を行なうにあたっての閾値の決定
に際し、複数の方式による複数の閾値を用いて２値化を
行ない、その結果得られた複数の領域と、予め概略のわ
かっている認識対象の位置、形状、大きさ等と比較し最
も認識対象の位置、形状、大きさに近い領域を認識対象
とすることで、認識対象の領域を頑健かつ高精度に抽出
することができる。 （４）請求項４の画像処理装置は、特徴量抽出手段が位
置指定手段で指定された２つ以上の顔部品の位置間の距
離関係から顔部品の大きさを予測することにより、顔部
品の位置、大きさの検出を行なう顔部品認識手段を備え
てなることを特徴とする。尚、顔部品認識手段は図示し
ていないが、演算装置１３の中もしくは特徴量抽出部１
０の中でその機能が実現されている。 （５）請求項５の画像処理装置は、顔部品認識手段が検
出する位置や大きさの対象が顔部品の目であることを特
徴とする。

【００９０】上記（４），（５）の構成によれば、高精
度に顔部品の大きさを予測し、画像中の必要十分な範囲
内でのみ検出処理を行ない、少ない計算量で高精度に顔
部品の位置、大きさ検出を行なうことができる。これが
目に対して効果的に適用できる。 ［第３の実施例］（請求項６の発明） 本実施例では、図１９乃至図２０を用いて説明する。図
１９は目の検出結果を利用して顔の傾きを補正のフロー
チャートであり、図２０は目の検出結果による顔の傾き
を補正した画面の例である。

【００９１】まず両目の検出が行われる（１１６）。次
いで検出された両目の各々の中心を次式を用いて算出す
る。両目の中心は、検出された両目の外接矩形の上下端
の位置座標ｅｐｕ，ｅｐｄの平均を上下方向の中心位置
ｅｐｙ、左右端の位置座標ｅｐｌ，ｅｐｒの平均を左右
方向の中心位置ｅｐｘとする（１１７）。

【００９２】ｅｐｙ ＝ （ｅｐｕ＋ｅｐｄ）／２ ｅｐｘ ＝ （ｅｐｌ＋ｅｐｒ）／２ 図２０中の１２１，１２２は顔が傾いている顔画像の例
であり、１２４は傾いている顔画像において上記手法に
て目を検出し、両目の中心位置を算出し、両目の中心位
置同士を結んだ線である。続いて両目の各々の中心同士
を結ぶ線が水平となるよう画像を回転する。具体的に
は、まず両目の各々の中心を結ぶ線の角度を算出するた
めに、両目の中心位置同士を結んだ線のベクトルを求め
る（１１８）。このベクトルの大きさを（ｘ，ｙ）とす
ると、ベクトルの角度は次式により求められる（１１
９）。

【００９３】ｋ ＝ ａｔａｎ（ｙ／ｘ）； このｋが両目の中心位置同士を結んだ線の傾きであり、
すなわち画像中の顔全体の傾きでもある。次に画像を−
ｋ度回転する（１２０）。画像を回転する方法は、当分
野の技術者は容易にこれを実現できると考えられるの
で、特に具体的な説明はしない。この回転により両目の
各々の中心を結ぶ線は傾きが補正され水平となり、画像
中の顔及び顔部品も傾きが補正される。図２０中の１２
３は上記回転後の画像の例であり、１４８は回転された
画像中における両目の中心位置同士を結んだ線である。
これによれば、両目の中心位置同士を結んだ線は水平と
なり、画像中の顔も傾きが補正され正しく直立している
ことがわかる。上記手法により傾きが補正されるため、
傾いた顔が入力された場合においても以降の処理では顔
の傾きが補正された画像に対し認識等の処理を行なえば
よいので、従来の方法より安定かつ高精度な認識が行な
える。

【００９４】したがって、本実施例の特徴をまとめると
次のようになる。 （６）請求項６の画像処理装置は、顔部品認識手段が検
出した両目の位置に関して、左右の目を結ぶ線が水平に
なるように、顔画像を回転させる手段を備えてなること
を特徴とする。尚、この手段は図示されていない顔部品
認識手段に備えられているため、顔部品認識手段と同様
に、演算装置１３の中もしくは特徴量抽出部１０の中で
その機能が実現されている。

【００９５】上記（６）の構成によれば、顔が傾いた画
像を入力として与えられても高精度に顔部品の位置、大
きさ検出を行なうことができる。 ［第４の実施例］（請求項７の発明） 本実施例では、図３乃至図６を用いて説明する。図３は
目の形状を認識するための目の探索範囲、ヒストグラ
ム、検出された目頭及び目尻の一例を示した図であり、
図４は目頭を検出するためのテンプレートの一例をあら
わした図であり、図５は目の厚みを検出するための目の
探索範囲、肌いろをサンプリングするための領域、肌・
非肌領域の一例をあらわす図であり、図６は目頭探索範
囲及び目尻探索範囲を求めるための動作をあらわすフロ
ーチャートである。

【００９６】図３乃至図６を用いて、左目の形状を判定
する方法を説明する。

【００９７】左目をその中に含むように探索範囲３１を
設定し、目頭と目尻の位置を検出する。これは、例え
ば、次のような方法で実現できる。人間の目の場合、上
瞼と下瞼が合わさる形で目が構成されている。したがっ
て、これら両瞼の境界が出会う点が目頭、あるいは目尻
とすることができる。

【００９８】探索範囲内の画像を垂直方向に微分し（Ｓ
６１）、その微分値を垂直方向に投影しヒストグラムを
作成する（Ｓ６２）。３２は、画像３１を垂直方向に微
分し、その微分値を垂直方向に投影して作成したヒスト
グラムを模式的にあらわしたものである。そして、ヒス
トグラムを左から右に走査する（Ｓ６３）。垂直方向へ
の微分は、両瞼の境界線の水平方向の成分を抽出するか
ら、それを垂直方向へ投影すると、次のような特徴をあ
らわすことになる。すなわち、左から右方向へ走査する
と、まず探索範囲内において左端には目が存在せず、肌
部分であるため、ヒストグラムは平坦である。右方向に
見ていき、目頭に達すると、そこから上瞼及び下瞼が始
まるので、ヒストグラムは急激に立ち上がる。そして、
目尻付近に達すると再びヒストグラムは下降に転じる。

【００９９】したがって、目の探索範囲内において、該
ヒストグラムを左から右に走査した際に、急激に立ち上
がる点は、その付近に目頭が存在する可能性が高い。こ
こで、適当な閾値を設け、ヒストグラム上昇の変化量が
その閾値を超えた場合（Ｓ６４）、その点の前後の適当
な範囲を、次に目頭を検出するための探索範囲３３とす
る（Ｓ６５）。同様に、適当な閾値を設け、ヒストグラ
ム下降の変化量がそのしき値を超えた場合（Ｓ６６）、
その前後の適当な範囲を、次に目尻を検出するための探
索範囲３４とする（Ｓ６７）。ただし、目尻の場合は目
頭に比べ、はっきりとした境界がない場合が多く、探索
範囲としては目頭の場合より広く設定する方が望まし
い。

【０１００】目頭の探索範囲が設定されたら、次にその
探索範囲内において、目頭位置を検出する。これには、
例えば、次のような方法で実現できる。目頭を検出する
ための小テンプレート（以下、目頭テンプレートと記
す）を設定する。図４の例では、目頭テンプレートのサ
イズを４ピクセル×４ピクセルとし、目頭の形状に合わ
せて３種類を用意している。目頭が下がっている４４の
ような目の場合、４１のような目頭テンプレートを用
い、目頭が上がっている４６のような目の場合、４３の
ような目頭テンプレートを用い、それ以外の４５のよう
な目の場合、４２のような目頭テンプレートを用いる。

【０１０１】目頭探索範囲内において、上記目頭テンプ
レートを移動させ（Ｓ７１）、対応する画像との間で類
似度を計算する（Ｓ７２）。類似度Ｓは、例えば、次式
のように定義される。

【０１０２】 ただし、Ｗは目頭テンプレートの白であらわされている
領域、Ｂは目頭テンプレートの黒であらわされている領
域であり、Ｉ（ｐ）は、画素ｐでの輝度値、Ｎ（Ｗ）、
Ｎ（Ｂ）はそれぞれ、目頭テンプレートの白、黒であら
わされている領域の画素数である。目頭探索範囲内すべ
てにおいて類似度Ｓを計算し（Ｓ７３）、類似度Ｓが最
も大きい点を、目頭位置３５とする（Ｓ７４）。

【０１０３】目尻の探索範囲が設定されたら、次にその
探索範囲内において、目尻位置を検出する。目頭に比べ
て目尻の境界はあいまいであることが多いため、目頭の
ようにテンプレートを用いた手法ではうまく働かないこ
とがある。これには、例えば、目尻の探索範囲内で重心
を求める（Ｓ８１）、という手法を用いる。重心（ｇ
ｘ，ｇｙ）は、例えば、次式のように定義される。

【０１０４】 ここで、Ｒは目尻の探索範囲をあらわす領域、Ｘ（ｐ）
は点ｐのＸ座標、Ｙ（ｐ）は点ｐのＹ座標である。この
重心（ｇｘ，ｇｙ）を目尻位置３６とする（Ｓ８２）。

【０１０５】目頭位置３５及び目尻位置３６が検出され
ると、目の傾き３７を求めることができる。

【０１０６】次に、目の厚みを求める。目の厚みを求め
るには、例えば次のような手法がとられる。目の探索範
囲内で、肌及び非肌領域を分離する。そのためにはま
ず、目の探索範囲内での肌の色を解析する。図５の目の
探索範囲画像５０において、明らかに肌であると思われ
る領域、例えば、当該探索範囲画像の外辺部５１の色分
布を調べる。具体的には、人間の肌を構成する画素の色
は、ある色を平均として正規分布にしたがうと仮定し、
該外辺部５１内の画素の色の平均と分散を求める。この
平均と分散で、肌の色を表す確率密度関数を求め、該関
数を目の探索範囲画像に適用することで、肌及び非肌領
域に分離することができる。尚、本手法は、上記文献
［４］あるいは文献［１２］に記載された技術を用い
る。

【０１０７】ここで模式図５５において黒く示されてい
る領域５２は、非肌領域として分離された領域を模式的
に示したものである。これは、目を構成する画素の大部
分を含んでいる。この領域について、水平方向及びその
前後に回転させた方向について投影した時に、該領域が
存在する範囲をそれぞれ求める（５３，５４，５５）。
その範囲の長さが最小となるものを、該左目の厚みとす
る。

【０１０８】このように、目の傾き及び厚みを計測し、
この２つのパラメータをもとに、予め設定しておいたカ
テゴリーに対応する目の形状コードを求めることができ
る。

【０１０９】以上は左目の場合の処理を説明したが、右
目の場合は、探索範囲画像を左右反転させてまったく同
じ処理を適用することができる。

【０１１０】したがって、本実施例の特徴をまとめると
次のようになる。 （７）請求項７の画像処理装置は、顔部品認識手段が検
出した目の位置や大きさに基づいて探索範囲を設定し、
その範囲で目の傾き及び厚みをあらわす画像特徴を検出
し、目の形状を判定する手段を備えてなることを特徴と
する。尚、この手段は図示されていない顔部品認識手段
に備えられているため、顔部品認識手段と同様に、演算
装置１３の中もしくは特徴量抽出部１０の中でその機能
が実現されている。

【０１１１】上記（７）の構成によれば、設定された探
索範囲内で目の傾き及び目の厚みをあらわす画像特徴を
検出し、目の形状を判定するので、テンプレート画像、
あるいは辞書画像と、それに対応する入力画像中の部分
画像とがずれていることにより、誤った特徴量が抽出さ
れるという危険を回避することができる。さらに、対象
とする目の形状が、予め準備しておいたカテゴリーに含
まれない形状の場合に、正しい特徴量が算出できないと
いった危険を回避することができる。さらに、テンプレ
ート画像や辞書画像を準備する必要がなり、作業量を大
幅に少なくすることができる。 ［第５の実施例］（請求項８の発明） 本実施例では、図１５及び図１６を用いて、口の検出に
ついて説明する。図１５は口の検出動作をあらわすフロ
ーチャートであり、図１６は口の検出の画像及び投影結
果の画像の一例をあらわした図である。

【０１１２】口の検出は回転により傾きの補正された画
像に対し行なう。まず検出された両目の各々の中心の間
の距離ｅｌ２を求める。次に検出された両目の各々の中
心の間の距離ｅｌ２から、十分に口が含まれるであろう
大きさとなるよう予め定めた定数ＭＷ，ＭＨを両目の各
々の中心間の距離に乗算して範囲の幅ｍｗ及び高さｍｈ
を算出する。続いて算出された範囲の幅ｍｗ及び高さｍ
ｈに従い、ユーザーにより指定された口のおおよその位
置を中心として画像を切り出す（１２５）。図１６中の
１３２は切り出された口周辺の画像の例である。

【０１１３】次に切り出された口周辺の画像の横方向で
の中央付近の領域を決定し（１２６）、横に投影する
（１２７）。図１６中の１３３は切り出された口周辺の
画像の例であり、１３６は１３３における横方向の投影
を行なう領域であり、１３９は投影結果を模式的に表し
たものである。この投影を行なう領域は予め定めた定数
ＭＨＷを切り出した口付近の画像の幅ｍｈに乗算した値
を投影する範囲の幅ｍｈｗに、切り出した口付近の画像
の高さを投影する範囲の高さとして算出している。

【０１１４】次に投影結果１３９から値の最も低い箇所
を探索する。この値の最も低い箇所が唇裂傷の縦方向の
位置である（１２８）。この時、口付近の画像が傾いて
おり補正もされておらず、唇裂が水平でない場合を仮定
する。図１６中の１３４はそのような口周辺画像の例で
あり、１３７は１３４における横方向の投影を行なう領
域であり、１３９は投影結果を模式的に表したものであ
る。１３４においては唇裂は水平になっておらず、従っ
て高さ方向の位置だけでは唇裂の位置を正確に表すこと
ができない。また投影結果１３９では投影結果の鋭さが
失われ、唇裂の位置が検出不可能になっていることがわ
かる。言い替えると本発明においては、目の検出結果に
従い顔全体が正しく直立し唇裂が水平となるよう予め画
像を回転した後に口の検出を行なうことにより、従来の
方式に比べ安定かつ高精度に唇裂の検出を行なうことを
可能としている。

【０１１５】続いて検出した唇裂の付近で上下に細く横
に長い領域を決定し（１２９）、縦に投影する（１３
０）。図１６中の１３５がその場合の口周辺画像の例で
あり、１３８が縦方向の投影を行なう領域である。この
縦方向の投影を行なう領域は、切り出した口付近の画像
の高さｍｈに予め定めた定数ＭＶＨを乗算した値を投影
する範囲の高さｍｖｈに、切り出した口付近の画像の幅
を投影する範囲の幅とし、検出した唇裂の高さ方向の位
置を投影する範囲の高さ方向の中心として算出する。

【０１１６】図１６中の１４１が同図中の１３８を縦に
投影した結果である。１３８の値の低い部分の幅が唇裂
の幅である。１３８の値の低い部分の判定は以下の方法
で行なう。まず、投影結果の値に対し判別分析を行な
い、閾値ｔｈｍを決定する。次に求めた閾値ｔｈｍと、
投影結果の各値を比較、ｔｈｍより値が低い箇所が唇裂
のある箇所であり、最も左にあるｔｈｍより値が低い箇
所が唇裂の左端の箇所、最も右にあるｔｈｍより値が低
い箇所が唇裂の右端の箇所である。また唇裂の右端と左
端の間隔が唇裂の幅であり、以上により唇裂の位置と幅
が認識される（１３１）。

【０１１７】特に図示することはしないが、画像中の唇
裂が傾いていれば、縦方向の投影を行なう領域から唇裂
がはみ出てしまうか、縦方向の投影を行なう領域の高さ
を大きくしなければならず、どちらの場合も唇裂幅の検
出精度が低下することは明らかである。言い替えると、
本発明においては、顔の傾きを補正することにより安定
かつ高精度に唇裂の位置、幅を検出することを可能にし
ている。

【０１１８】したがって、本実施例の特徴をまとめると
次のようになる。 （８）請求項８の画像処理装置は、顔部品認識手段が検
出する位置や大きさが顔部品の口であることを特徴とす
る。尚、顔部品認識手段は図示されていないが演算装置
１３の中もしくは特徴量抽出部１０の中でその機能が実
現されている。

【０１１９】上記（８）の構成によれば、高精度に顔部
品の口の大きさを予測し、画像中の必要十分な範囲内で
のみ検出処理を行ない、少ない計算量で高精度に顔部品
の位置、大きさ検出を行なうことができる。 ［第６の実施例］（請求項９の発明） 本実施例では、図９乃至図１０を用いて、左眉の位置及
び大きさを抽出する方法を説明する。図９は眉毛の位置
及び大きさを検出するための眉毛の探索範囲、２値化画
像の一例をあらわした図であり、図１０は眉毛の位置及
び大きさを検出するための動作をあらわすフローチャー
トである。

【０１２０】まず、左眉をその中に含むように十分な大
きさの探索範囲を設定する（Ｓ１０１）。探索範囲は、
目の探索範囲を求めるときと同様に位置指定装置で指定
された両目の位置等から求めてもよいし、前記第２の実
施例（請求項５記載の画像処理装置を使用して）で求め
た左目の位置から求めてもよい。いずれの場合も、予
め、複数の人物顔について、目の位置と両目間の距離、
乃至は、左目の位置と、左眉がその中に含まれるような
探索範囲の関係を計測し、求めておく必要がある。図９
に左眉の探索範囲画像９１と、それを複数の閾値で２値
化した画像９２乃至９６を示す。ここでは、画像９４が
眉毛を分離するための最適な閾値で２値化ｓされた画像
であるとする。

【０１２１】一般に、入力される画像のコントラスト
や、髪の毛、影など様々な要因があり、画像を２値化し
て眉毛を分離するための最適な閾値を求めることは非常
に困難である。そこで、本画像処理装置では、複数のし
きいで２値化した画像を比較し、最も眉をよく分離して
いると思われる画像の閾値を求めることで、上記の問題
を解決している。

【０１２２】すなわち、画像９２ないし９６は、閾値の
下限と上限を求め（Ｓ１０２）、その間で等間隔に閾値
を設定してそれぞれ２値化（Ｓ１０３）した画像であ
る。閾値の下限及び上限は、例えば、Ｐ−ＴＩＬＥ法等
を用い、下限の場合は暗い画素が全体の５％、上限の場
合は暗い画素が全体の５０％というように決定すること
ができるし、他の適当な手法を用いてもよい。尚、Ｐ−
ＴＩＬＥ法については、文献［５］に記載されている技
術を用いてもよい。

【０１２３】それぞれの閾値で２値化した画像に対し、
次の処理を行う。まず、ここでの２値化は、暗い画素を
白い画素に、明るい画素を黒い画素で表現する方法を用
いており、隣接する白画素の領域をラベルと呼ぶ。２値
化画像９２は、９２ａないし９２ｃの３つのラベルで構
成されていることを示している。

【０１２４】眉の探索範囲は、その中に眉を含むように
十分な大きさをもって設定されるので、２値化した際
に、探索範囲画像の各辺に接するラベルは、眉以外の領
域が分離されたものであるとみなすことができる。すな
わち、２値画像９２では、ラベル９２ｃは眉毛ではなく
髪の毛が分離されたものであり、眉毛を構成するラベル
ではないことがわかる。したがって、上記探索範囲画像
の各辺に接するラベルを取り除いた後に残ったラベルが
眉毛を構成するラベルの候補として残る（Ｓ１０４）。

【０１２５】上記候補として残ったラベルのうち、面積
の小さいラベル、例えば眉探索範囲画像の１％以下の面
積しかもたないようなラベルについては、画像中のノイ
ズやその他の要因で、眉毛以外の暗い画素が分離された
と考えることができる。したがって、上記小面積ラベル
を取り除いた後に残ったラベルが眉毛を構成する画素と
する（Ｓ１０５）。

【０１２６】以上のようにして残ったラベルに外接する
矩形を求め、この幅及び高さを眉毛候補の幅及び高さと
する。これらの幅及び高さを、両目間の距離などから推
定される眉毛の平均的な幅及び高さと比較し、その差が
最も小さい眉毛候補が含まれる２値化画像を、眉毛を最
もよく分離している２値化画像であるとみなす（Ｓ１０
６）。この２値化画像における、眉毛を分離していると
みなされるラベルの位置及び大きさを、該入力画像での
左眉の位置及び大きさとする（Ｓ１０７）。

【０１２７】以上は左眉の場合の処理を説明したが、右
眉の場合は、探索範囲画像を左右反転させてまったく同
じ処理を適用することができる。

【０１２８】したがって、本実施例の特徴をまとめると
次のようになる。 （９）請求項９の画像処理装置は、顔部品認識手段が検
出する位置や大きさが顔部品の眉であることを特徴とす
る。尚、顔部品認識手段は図示されていないが演算装置
１３の中もしくは特徴量抽出部１０の中でその機能が実
現されている。

【０１２９】上記（９）の構成によれば、２つ以上の顔
部品の位置を位置指定手段により指定し、それら指定位
置間の距離関係から眉毛の大きさを予測することで、特
徴量を抽出する際の処理を行うべき範囲を適当な大きさ
に制限することができる。その上で、当該処理範囲に対
して２値化を行うが、認識対象の領域を得るために２値
化を行なうにあたり、複数の方式、複数の閾値で２値化
し、それらの画像中の領域の位置、大きさ、形状等を判
定し、最も信頼できる画像を選択することにより、認識
対象を高精度に検出する方法を備えることを特徴として
いる。そのため、２つ以上の顔部品の位置を位置指定手
段により指定し、それら指定位置間の距離関係から眉毛
の大きさを予測し、特徴量を抽出する際の処理を行うべ
き範囲を適当な大きさに制限することに加え、眉毛の大
きさを推定することができる。すなわち、例えば、位置
指定手段によって位置指定される顔部品が右目と左目で
ある場合、眉毛の大きさは、その両目間の距離に一定の
係数を乗じた値から大きく離れた値ではない、とするこ
とができる。

【０１３０】したがって、２値化を行った際に分離され
る領域の大きさと、推定される眉毛の大きさを比較し、
それらの大きさがあまり離れていないような２値化の閾
値を求めることで、眉毛をあらわす領域を高精度に検出
することができる。 ［第７の実施例］（請求項１０の発明） 本実施例では、図１１乃至図１４を用いて、左眉の形状
を判定する方法を説明する。

【０１３１】図１１は眉毛に外接する矩形の一例をあら
わした図であり、図１２は眉毛の形状を認識するための
量子化の一例をあらわす図であり、図１３は眉毛の折れ
曲がりかたを検出するための動作をあらわすフローチャ
ートであり、図１４は眉毛の厚みを検出するための動作
をあらわすフローチャートである。

【０１３２】まず、左眉をその中に含むように探索範囲
１１１を設定する（Ｓ１３１）。図１１には、前記第６
の実施例（請求項９の画像処理装置）を用いて眉の位置
及び大きさを抽出するために最適な閾値で２値化した画
像１１２において、眉の位置及び大きさが、眉を分離し
たラベルの外接矩形１１３として示されている。上記矩
形内のラベル画像を、量子化する（Ｓ１３２）。図１２
では、３×２のサイズに量子化する例を示している。
尚、ここでは、地の色が白、眉毛の色が黒で表されてい
る。ここで、上がり眉の例１２１及び下がり眉の例１２
２が示されているが、これを３×２のサイズに量子化す
ると、模式図１２４及び１２５のようになる。ここで、
例えば、３×２のブロックのうち、模式図１２３で示さ
れるＡ及びＢの部分を観測し、Ａ白かつＢ黒の場合は上
がり眉、逆に、Ａ黒かつＢ白の場合は下がり眉とするこ
とができる。同様に、その他の折れ曲がり形状も同様の
量子化パターンを調べることで検出（Ｓ１３３）するこ
とができ、これをもって眉の折れ曲がりかたを検出する
ことが可能となる。

【０１３３】次に、眉毛の太さを検出する。眉毛の太さ
を検出するには、例えば次のような処理を行う。まず、
前記第６の実施例（請求項９の画像処理装置）を用いて
眉の位置及び大きさを抽出するために最適な閾値で２値
化した画像における、眉を分離したラベル（以下、眉毛
ラベル画像と記す）に対して、収縮処理を施す。この収
縮処理については、文献［５］の技術を用いてもよい。
収縮処理を施し、眉毛ラベルが消滅するまでの回数を計
測し、その回数により眉の太さを判定する。すなわち、
細い眉の場合は、太い眉に比べて、より少ない回数の収
縮処理で眉毛ラベルが消滅するので、眉毛ラベルが消滅
するまでの回数を計測することで、眉毛の太さを検出す
ることができる。

【０１３４】以上、眉毛の折れ曲がりかた及び太さを計
測し、この２つのパラメータをもとに、予め設定してお
いたカテゴリーに対応する眉毛の形状コードを求めるこ
とができる。

【０１３５】以上は左眉の場合の処理を説明したが、右
眉の場合は、探索範囲画像を左右反転させてまったく同
じ処理を適用することができる。

【０１３６】したがって、本実施例の特徴をまとめると
次のようになる。 （１０）請求項１０の画像処理装置は、顔部品認識手段
が検出した眉の位置や大きさに基づいて探索範囲を設定
し、その範囲で眉の太さ及び折れ曲がり方をあらわす画
像特徴を検出し、眉の形状を判定する手段を備えてなる
ことを特徴とする。尚、この手段は図示されていない顔
部品認識手段に備えられているため、顔部品認識手段と
同様に、演算装置１３の中もしくは特徴量抽出部１０の
中でその機能が実現されている。

【０１３７】上記（１０）の構成によれば、設定された
探索範囲内で眉毛の太さ及び折れ曲がりかたをあらわす
画像特徴を検出し、眉毛の形状を判定するので、テンプ
レート画像、あるいは辞書画像と、それに対応する入力
画像中の部分画像とがずれていることにより、誤った特
徴量が抽出されるという危険を回避することができる。
さらに、対象とする眉毛の形状が、予め準備しておいた
カテゴリーに含まれない形状の場合に、正しい特徴量が
算出できないといった危険を回避することができる。さ
らに、テンプレート画像や辞書画像を準備する必要がな
り、作業量を大幅に少なくすることができる。 ［第８の実施例］（請求項１１の発明） 本実施例では、図２３乃至図３０を用いて、図２に示す
原画像内の人物顎輪郭形状を判定する画像処理動作を説
明する。

【０１３８】図２３は図１に示す画像処理装置によって
実施される画像処理動作を説明するためのフローチャー
トであり、図２４は入力画像中の中心座標および初期輪
郭の配置を説明するための図であり、図２５は初期輪郭
上の一点と中心座標を結ぶ直線上の色差算出を行なう方
法を説明するための図であり、図２６は色差の算出例を
模式的に示した図であり、図２７は顔輪郭形状に特化し
た色差算出をおこなう手法として顔が楕円形状であるこ
とを利用する場合について説明するための図であり、図
２８は顔輪郭形状に特化した色差算出をおこなう手法と
して顔が中心軸に対して左右対称であることを利用する
場合について説明するための図であり、図２９は抽出し
た顔輪郭線から距離関数を算出する手法を説明するため
の図であり、図３０は入力画像から得られた距離関数と
基準距離関数を比較する手法を説明するための図であ
る。

【０１３９】ここでは図２３のフローチャートを用い
て、図２に示す原画像２１内の人物顎輪郭形状を判定す
る画像処理動作を説明する。

【０１４０】まず前提として入力装置１１は、対象とな
る原画像２１を記憶装置１１に格納してあるとする。最
初に操作者は、顔の中心を特定するための位置情報を位
置指定装置１４により指定し、原画像上の顔の中心位置
を確定する（ステップＳ２０１）。この顔の中心位置
は、直接操作者が指定してもよいし、図２中の２２〜２
４に示すような、右目、左目、口の中心座標を指定し、
その中心を顔の中心位置として算出してもよい。

【０１４１】次に、ステップＳ２０２では、顔輪郭の近
傍に初期輪郭の配置を行なう。初期輪郭の配置は、操作
者が位置指定装置１４により直接指定するか、上述のよ
うに、目や口などの顔の他の部分の配置が分かっている
場合は、それらの情報をもとに自動的に適当な位置に配
置してもよい。例えば、目と口の領域を囲むような領域
を初期輪郭とする。目や口の相対距離を統計的に予め調
べておいて、適当なマージンをつけて目と口を囲むよう
に配置してもよい。図２４は中心位置２１０、及び初期
輪郭２１１を確定した画像を説明する例を示したもので
ある。

【０１４２】次に、ステップＳ２０３では、原画像と中
心位置及び初期輪郭から、顔中心座標と初期輪郭上の各
座標を結ぶ直線上の隣り合う画素間の色差を算出し、対
象画素間の座標中点を座標値とし、算出した色差を画素
値にも画像（色差マップ画像）を作成する。

【０１４３】ここで、前記色差を算出する方法として
は、例えば、画素データの各単色光ごとの輝度値を画素
間でそれぞれ減算処理することにより差分値を算出し、
各単色光ごとの差分値の合計値を色差として算出する。
色差算出手法は、この他の別の手法を用いてもよい。例
えば、画素データを各単色光の輝度値から、色相（Ｈ）
／彩度（Ｓ）／輝度（Ｖ）で表現されるＨＳＶ値に変換
し、色差を求める２画素のＨＳＶ空間上での位置を求
め、その間の距離値を色差としてもよい。また隣り合う
画素間ではなく、例えば連続する５画素単位ごとに平均
色を求め、その平均色同士の色差を求めてもよい。ま
た、色差の算出時には、対象が人物顔であることを利用
して色差の検出精度を変更してもよい。例えば、色差を
算出する際に比較する２画素の画素値が肌色を表す画素
値に近い値をもつ場合、２点は顔輪郭内の画素である可
能性が高いとみなし、色差の検出精度を低くし、ノイズ
等の影響を軽減することができる。一方、顎と首はどち
らも肌色を表す画素値をもつ可能性が高く、その境目で
ある顎境界を検出する際には、検出精度を上げたほうが
よい。したがって、中心から首方向への直線上の色差検
出時には、色差の検出精度を高めるようにし、顎境界を
検出しやすくする。尚、首の位置は、例えば口の座標が
該値であるならば、その座標方向を推定することが可能
である。

【０１４４】例として図２５に示すような顔中心２１２
と初期輪郭の上の座標点２１３を結ぶ直線２１４上の色
差を求める場合の模式図を図２６に示す。２１５が直線
上の画素値の並びを示し、２１６が隣合う２点間の画素
値の差分を示している。すなわち、この例では２１６が
色差の並びを示す。

【０１４５】また、色差を検出後に、さらに人物顔輪郭
独自の特徴性を利用し、より顔輪郭形状に特化した色差
マップ画像を作成してもよい。例えば、顔を楕円の相似
形であると仮定し、図２７に示すように顔中心を中心と
する任意の大きさの楕円曲線上の１点と隣り合う２点の
計３点の色差を平均化して、その座標の色差として再格
納することによりノイズの影響を抑制する。または、顔
輪郭が左右対称性をもつと仮定して、図２８に示すよう
に顔中心と口座標を結ぶ直線を対称軸とする２座標の色
差を平均化し、それぞれの色差としてもよい。

【０１４６】上記のように、人物顔であることを制約条
件に用いることにより、より顎形状の特徴を表すことに
特化したエネルギー画像を作成することができ、鮮明な
輪郭線が現れていない入力画像やノイズの多い画像に対
しても、より安定な顎検出を行なうことができる。

【０１４７】次に、ステップＳ２０４では、初期輪郭を
動的輪郭モデルにしたがって移動させ、輪郭線を抽出す
る。エネルギー関数Ｅとして、例えば、輪郭線のなめら
かさを表す内部エネルギーＥ１、輪郭を収縮しようとす
るエネルギーＥ２、物体輪郭を特徴づける画像エネルギ
ーＥ３の和Ｅ＝Ｅ１＋Ｅ２＋Ｅ３求め、このＥを最小化
するように輪郭を移動させる。

【０１４８】ここで、画像エネルギーＥ３にはステップ
Ｓ２０３で作成した色差マップ画像を利用する。画像上
の任意の点Ｐ（ｘ，ｙ）における画像エネルギーＥ３
（Ｐ）は、Ｐに対応する色差マップ画像上の色差値をＤ
（Ｐ）としたとき式２０１から求める。

【０１４９】 Ｅ３（Ｐ）＝α×（ＭＡＸ（Ｄ）−Ｄ（Ｐ）） …（式２０１） ただし、ＭＡＸ（Ｄ）は色差マップ画像中の色差の最大
値で、係数αはエネルギー関数Ｅにおける画像エネルギ
ーの貢献度を意味する。式２０１に従えば、色差が小さ
いところほど画像エネルギーは大きくなり、輪郭は移動
しやすくなる。逆に色差が大きいところほど画像エネル
ギーは小さくなり輪郭は移動しにくくなる。

【０１５０】次に、ステップＳ２０５では、ステップＳ
２０４で求めた輪郭線をもとに距離関数を算出する。す
なわち、輪郭線を顔内部の該値の座標、例えば、顔中心
からの距離ｒと方向（角度）θからなる関数ｒ＝Ｌ
（θ）として表現する。この様子を示す模式図を図２９
に示す。

【０１５１】Ｌ（θ）は、θの値を単位角度ずつ変えた
ときのｒを求めてもよいし、例えば顎形状をより顕著に
表す範囲（顔中心からみて首のある方向）は、単位角度
を狭くし、他の方向に比べてより情報量を多くしてもよ
い。また、距離関数を例えば式２０２によって表される
フーリエ記述子として表現してもよい。

【０１５２】 ここで、Ａ（ｎ）が曲線形状を表す係数ｅｘｐ（）は自
然対数の底のベキ乗を表し、ｓは曲線上の距離を、Ｌは
閉曲線の全長を意味する。フーリエ記述子に関する詳細
は、例えば文献［５］に開示されている。

【０１５３】次に、ステップＳ２０６では、ステップＳ
２０５で求めた距離関数の特徴を基準距離関数と比較す
ることにより、形状を判定する。ここで、基準距離関数
とは、基準となる顎形状の輪郭線から予め作られた距離
関数のことである。基準となる顎形状の輪郭線は、輪郭
線が予め手動で検出されている画像を、類似の顎形状、
例えば、ベース型、丸型等に分類し、分類ごとに手動検
出の輪郭線を平均化したものを利用すればよい。距離関
数の比較は、例えば、距離関数上の変曲点の位置、変曲
点数、変曲点間の傾きなどを、その距離関数のもつ特徴
と位置づけ、基準となる輪郭形状の距離関数の特徴とそ
れぞれ比較することにより行なう。比較を行う際には、
予め基準距離関数と位置が整合するように正規化を行っ
ておく必要がある。尚変曲点の位置や数、変曲点間の傾
きは、基準形状の場合は予め求めておき、その情報をメ
モリに格納しておき、ステップＳ２０５で求めた距離関
数の変曲点の情報と適宜比較すればよい。そして、比較
結果が最も近い基準距離関数をもつ形状を判定結果とし
て決定する。尚、距離関数の比較は、より単純に基準距
離関数との差分和を比較により行うこともできる。

【０１５４】図３０はこの様子を模式的に表した図であ
る。図３０中のｚは基準関距離関数との差を示してい
る。基準距離関数をＢ（θ）とした時、差分和Ｚ１は式
２０３により与えられる。

【０１５５】 すなわち、Ｚ１が最も最小となるＢ（θ）をもつ形状を
類似形状として決定すればよい。この方法の場合は、θ
の範囲分のＢ（θ）を基準形状分メモリに用意しておく
必要があるが、より詳細な形状の分類・判定を簡単に行
うことができる。

【０１５６】また、平面上の曲線を周波数領域で記述す
る手法、例えば、フーリエ記述子を用いて距離関数を表
現すれば、これにより算出されるフーリエ係数をその距
離関数のもつ特徴として位置付けることができ、基準と
なる輪郭形状の距離関数の係数と比較することにより、
上記と同様に形状判定を行なうことができる。

【０１５７】基準形状のフーリエ記述子の係数をＡｂ
（ｎ）とした時、対象距離関数との差分Ｚ２を次式２０
４により求め、Ｚ２が最も最小となるＡｂ（ｎ）をもつ
形状を類似形状として決定する。

【０１５８】 一般にフーリエ係数の低次の項にはおおまかな曲線形
状、高次の項にはより詳細な曲線形状が反映されてい
る。したがって、低次の項の比較、すなわち式２０４に
おけるｎの範囲を小さくしてＺ２を求めることにより、
ノイズや個人差などの影響をなるべく排除した判定結果
を得ることが可能である。

【０１５９】以上の動作により、撮影条件が悪く、あま
り明確な輪郭線が現れていない画像やノイズの多い画像
に対しても、より安定な顎検出を行ない、ノイズや個人
差などの影響を出来るだけ排除した顎形状判定を行なう
ことが可能である。

【０１６０】したがって、本実施例の特徴をまとめると
次のようになる。 （１１）請求項１１の画像処理装置は、特徴抽出手段が
位置指定手段で指定された一つ以上の位置情報に基づ
き、顎の輪郭特徴を検出し、その形状を判定する輪郭認
識手段を備えてなることを特徴とする。つまり、位置指
定手段から得られた１つ以上の顔を特徴付ける情報か
ら、顎輪郭の特徴をより顕著に表す特徴画像を作成し、
その画像を画像エネルギーとして利用する動的輪郭モデ
ルにより輪郭を検出することを特徴とし、また、その検
出輪郭線を顔の該値の部分からの距離と方向からなる距
離関数として表現し、その距離関数の特徴を求めて基準
特徴を比較することにより、顎輪郭形状を判定すること
を特徴とする。尚、この輪郭認識手段は図示されていな
い顔部品認識手段に備えられているため、顔部品認識手
段と同様に、演算装置１３の中もしくは特徴量抽出部１
０の中でその機能が実現されている。

【０１６１】上記（１１）の構成によれば、画像処理装
置の操作者は、最初に位置指定手段により、入力画像中
に含まれている人物の顔の中心を指定する。この顔中心
は、直接指定してもよいし、他の顔特徴の指定、例え
ば、両目、口の座標から推定してもよい。次に人物の顔
を含むような初期輪郭座標列を求める。次いで、顔中心
座標と初期輪郭上の各座標を結ぶ直線上の隣り合う画素
間の色差を算出し、対象画素間の座標中点を座標値と
し、算出した色差を画素値にもつ画像（以降、色差マッ
プ画像と呼ぶ）を作成する。次いで、この色差マップ画
像を、画像エネルギーとする動的輪郭モデルを用いて顎
輪郭線を検出する。次いで、得られた輪郭線を顔内部の
該値の座標、例えば、顔中心からの距離と方向（角度）
からなる関数（以降距離関数と呼ぶ）として表現する。
次いで、この距離関数の特徴を、基準となる輪郭形状の
距離関数の特徴と比較し、最も特徴が近い距離関数をも
つ輪郭形状を、入力画像の顎形状として判定する。

【０１６２】ここで、色差マップ画像作成には、対象画
像人物顔であることを利用して精度を高めてもよい。例
えば、色差を求める際には、肌色とそれ以外の色を区別
して求めてもよい。すなわち、肌色に分類される画素同
士の色差には、色差の検出精度を低くすることにより、
ノイズやしわの影響が色差マップ画像に反映されにくく
することができる。逆に、首と顎の境目は同じ肌色であ
ることが多く、色差が出にくいため、中心から首方向へ
の直線上の色差検出時には、検出精度を上げるようにし
てもよい。尚、首の位置は、例えば口の座標が該値であ
るならば、方向を推定することが出来る。

【０１６３】また、上記により色差マップ画像を作成し
た後に、例えば顔輪郭として楕円を仮定することによ
り、顔中心座標を中心とする楕円座標上にある画素値
（＝色差）とその両隣の画素値を平均化し、その画素値
とする。あるいは、顔輪郭以外の他の特徴が別途判明し
ている場合、例えば、口の中心座標が該値であるなら
ば、口の中心座標と顔中心を結ぶ直線を対称軸にもつ２
画素の画素値を平均化して、その画素値としてもよい。
これにより、顎形状の特徴を加味したエネルギー画像を
作成することができ、鮮明な輪郭線が現れていない入力
画像やノイズの多い画像に対しても、より安定な顎検出
を行なうことができる。

【０１６４】また、輪郭線から距離関数を作成する際に
も、人物顔輪郭独自の特徴性を利用することにより、ノ
イズや照明による影響を出来るだけ排除し、顎の特徴を
より顕著に表すように距離関数を修正することができ
る。例えば色差マップ作成時と同じように、楕円や対称
性などの顔の形状に基づき平均化等の距離関数の修正を
行なうことができる。

【０１６５】次に、距離関数の比較は、距離関数の変曲
点の位置、変曲点数、変曲点間の傾きなどその距離関数
のもつ特徴と位置づけ、基準となる輪郭形状の距離関数
の特徴とそれぞれ比較することにより行なう。そして、
最も類似している基準距離関数を有する基準形状を該当
する輪郭形状として判定する。

【０１６６】また、平面上の曲線を周波数領域で記述す
る手法、例えば、フーリエ記述子を用いて距離関数を表
現すれば、これにより算出されるフーリエ係数をその距
離関数のもつ特徴として位置付けることができ、基準と
なる輪郭形状の距離関数の係数と比較することにより、
上記と同様に形状判定を行なうことができる。

【０１６７】比較対象となる基準距離関数の特徴は、距
離関数を予め正規化して表としてメモリに格納しておい
てもよいし、予め必要となる正規化した変曲点の位置等
の情報だけを格納しておいてもよい。フーリエ記述子を
用いる場合は、必要な次数の係数を格納しておけばよ
い。これらの手法では、テンプレートマッチングに比べ
て、比較対象となる基準形状を辞書画像としてもつ必要
がなく、メモリコストや処理速度の面で有利となる。

【０１６８】また、フーリエ記述子を用いる場合、フー
リエ係数の低次の項にはおおまかな曲線形状、高次の項
にはより詳細な曲線形状が反映されていることを利用
し、まず低次の項の比較を行なうことにより、ノイズや
個人差などの影響をなるべく排除した判定結果を得るこ
とが可能である。 ［第９の実施例］（請求項１２から１７の発明） 本実施例では、図３１乃至図３５を用いて説明する。図
３１は本実施例の画像処理装置の構成を示すブロック図
であり、図３２は図３１の画像合成装置の処理を示すフ
ローチャートであり、図３３は髪色抽出に関する説明図
であり、図３４は前髪分類に関する説明図であり、図３
５は後髪分類に関する説明図である。以下に、図３２の
処理フローに従って、図３３，図３４，図３５の説明図
を参照しながら、各ステップについて詳細に説明する。

【０１６９】まず、入力手段３２１により、顔画像を入
力し、記憶手段３２２に記憶する（ステップＳ３４
１）。次に、位置指定手段３２４により、右目、左目、
口のおおまかな位置、及び、顔輪郭を入力し、記憶手段
３２２に格納する（ステップＳ３４２）。各手段は、記
憶手段３２２に格納された画像及び右目、左目、口、顔
輪郭の情報を参照し、演算手段３２３を用いて動作し、
前髪及び後髪の分類を行い、あるいは、髪部品を決定す
る。尚、ここでは、右目、左目、口のおおまかな位置を
入力するとしているが、必ずしもこれら３点が必要なわ
けではなく、例えば、これら３点の代わりに鼻と口の２
点のおおまかな位置を入力することも考えられる。

【０１７０】上記右目、左目、口、顔輪郭の情報は、指
定されたものをそのまま用いてもよいが、上記第２の実
施例（請求項５）または第５の実施例（請求項８）で述
べたような方法により検出された位置を用いれば、より
精度を向上することができる。また、画像は入力された
ものをそのまま用いてもよいが、予め、上記検出された
右目、左目、口位置に基づいて、上記第３の実施例（請
求項６）で述べたような方法で、右目と左目とが水平ま
たはそれに近くなるように回転処理を行うことや、ロー
パスフィルタなどの画像処理を行うことなどにより、精
度を向上することができる。画像の回転処理を行う場合
は、上記右目、左目、口、顔輪郭についても、これと同
じ角度分の回転処理を行う。

【０１７１】髪色抽出手段３２６は、以下のようにして
髪色を抽出する（ステップＳ３４３）。この抽出方法
を、図３３を用いて説明する。尚、図３３に示すよう
に、以下の説明では、ｙ座標は、上方から下方に行くに
従って値が大きくなる向きに取っている。

【０１７２】まず、肌色抽出手段３２５により、右目、
左目、口の座標に基づいて、鼻付近の領域内の画素値を
用いて肌色を抽出する。これは、単純に平均値を求めて
もよいが、例えば、一旦平均値及び分散を求め、平均か
ら大きく外れている画素を除いて、再び平均及び分散を
求め直してもよい。尚、ここで、肌色抽出を行うこと
は、後述のように、髪色抽出及び髪特徴抽出に役立つ
が、必ずしも必要ではなく、肌色抽出手段は省略するこ
ともできる。

【０１７３】次に、上記右目、左目、口の座標を用い
て、頭頂高さｆｔ及び髪生え際高さｆｈの初期推定値ｆ
ｔ０，ｆｈ０を決定する。これは、例えば、右目と左目
とのｙ座標の平均値をｙ＿ｅｙｅ，口のｙ座標をｙ＿ｍ
ｏｕｔｈとすると、適当に定める係数ｋ＿ｆｔ，ｋ＿ｆ
ｈに対し、 ｆｔ０ ＝ ｙ＿ｅｙｅ−ｋ＿ｆｔ×（ｙ＿ｍｏｕｔｈ
−ｙ＿ｅｙｅ） ｆｈ０ ＝ ｙ＿ｅｙｅ−ｋ＿ｆｈ×（ｙ＿ｍｏｕｔｈ
−ｙ＿ｅｙｅ） とすればよい。

【０１７４】次に、上記ｆｔ０，ｆｈ０に基づき、サン
プリング矩形ＡＢＦＥ及びＥＦＤＣを設定する。ここ
に、Ｅ，Ｆのｙ座標はｆｔ０，Ｃ，Ｄのｙ座標はｆｈ０
に等しく取り、Ａ，Ｂのｙ座標はｆｔ０−（ｆｈ０−ｆ
ｔ０）に等しく取る（ＡＥ＝ＥＣとなる）。また、Ａ，
Ｅ，Ｃのｘ座標は、右目（画像上では左側に来る）付近
か、または、少し右目より（画像上で）左に、Ｅ，Ｆ，
Ｄのｘ座標は、左目付近か、または、左目より少し（画
像上で）右に取るとよい。

【０１７５】次に、ＥＦの高さｆｔを適当な閾値ｆｔ＿
ｕｐ，ｆｔ＿ｄｏｗｎに対して、 ｆｔ０−ｆｔ＿ｕｐ ＜＝ ｆｔ ＜＝ ｆｔ０＋ｆｔ
＿ｄｏｗｎ の範囲内で上下に動かして探索を行い、矩形ＡＢＦＥ内
の画素値と矩形ＥＦＤＣ内の画素値との分離度が最大に
なる所を頭頂高さｆｔの推定値とする。この分離度は、
矩形ＡＢＦＥ内の画素値の平均値をＡ１，分散をＶ１，
矩形ＥＦＤＣ内の画素値の平均値をＡ２，分散をＶ２，
ＡＢＤＣ内の画素値の平均値をＡ３，分散をＶ３、矩形
ＡＢＦＥと矩形ＥＦＤＣとの面積比をＳ１：Ｓ２とした
とき、 ｛Ｓ１×（Ａ１−Ａ３）×（Ａ１−Ａ３）＋Ｓ２×（Ａ
２−Ａ３）×（Ａ２−Ａ３）｝／Ｖ３ で計算される。尚、画像がカラー画像の場合は、画素値
を３次元のベクトルとみなして同様に計算すればよい。

【０１７６】次に、矩形ＡＢＦＥ内で、背景色の抽出を
を行う。このとき、下辺ＥＦは、上記の探索により動か
した後の高さｆｔにある。これは、一旦平均値及び分散
を求め、平均から大きく外れている画素を除いて再び平
均及び分散を求め直すとよい。尚、このように背景色の
抽出を行うことは、後述のように、髪色抽出に役立つ
が、必ずしも必要ではない。

【０１７７】さらに、矩形ＥＦＤＣ内で、髪色の抽出を
行う。このとき、上辺ＥＦは、上記の探索により動かし
た後の高さｆｔにある。これは、単純に平均値をとるこ
とも考えられるが、そうすると、髪画素以外の画素値が
平均計算に含まれてしまい、精度が低下すると考えられ
るので、例えば、以下の様に行うとよい。

【０１７８】上記肌色の平均値及び分散、及び、上記背
景色の平均値及び分散を用いて、肌色に近い画素、及
び、背景色に近い画素を除いて平均及び分散を計算す
る。さらに、この髪色の平均及び分散を用いて、上記計
算で既に除いた画素、及び、平均から大きく外れている
画素を除いて再び平均及び分散を求め直す。このとき、
除かれた画素の数が多く、髪色として計算に使われる画
素（以下、「髪色画素」と呼ぶ）の数が、ある閾値ｎ＿
ｓｈより少ない場合は、髪が薄いため、髪色が安定に抽
出できていないものと考えられるので、ステップＳ３４
５の髪特徴抽出はスキップして、ステップＳ３４６の髪
分類へジャンプする（ステップＳ３４４）。この場合
は、髪分類手段３３５は、髪分類を「髪が薄い」とす
る。尚、肌色または背景色の一方または両方を抽出しな
い場合は、抽出を行わない方に関しては、これに近い画
素を除く処理を省略することにより、髪色の抽出は可能
ではあるが、精度が低下すると考えられる。

【０１７９】髪特徴抽出手段３２９は、前髪特徴抽出手
段３２７及び後髪特徴抽出手段３２８のうち一方または
両方から構成され、髪特徴を抽出する（ステップＳ３４
５）。

【０１８０】前髪特徴抽出手段３２７の動作例を以下に
説明する。

【０１８１】上記髪色の平均値及び分散、及び、上記肌
色の平均値及び分散を用いて、画像内の各画素に関し、
髪色よりも肌色に近く、かつ、肌色の平均値から大きく
外れてはいない場合は、非髪画素、そうでない場合は、
髪画素というラベルを付ける。これによって、髪領域を
抽出することができる。尚、ステップＳ３４３において
肌色を抽出しない場合は、画像内の各画素に関し、髪色
の平均値から大きく外れてはいない場合は、髪画素、そ
うでない場合は、非髪画素とラベル付けすればよい。上
記髪領域は、それ自身、１つの前髪特徴であるとも考え
られるが、さらに、これを用いて、前髪を含むと思われ
る適当な位置に横１１メッシュ×縦７メッシュ程度のメ
ッシュを設定し、各メッシュ内の髪画素数を前髪特徴と
する（以下、この特徴を「前髪メッシュ特徴」と呼ぶ）
など、前髪特徴を抽出する。

【０１８２】後髪特徴抽出手段３２８の動作例を以下に
説明する。

【０１８３】上記髪色の平均値及び分散、及び、上記肌
色の平均値及び分散を用いて、画像内の各画素に関し、
肌色よりも髪色に近く、かつ、髪色の平均値から大きく
外れてはいない場合は、髪画素、そうでない場合は、非
髪画素というラベルを付ける。これによって、髪領域を
抽出することができる。尚、ステップＳ３４３において
肌色特徴を抽出しない場合は、画像内の各画素に関し、
髪色の平均値から大きく外れてはいない場合は、髪画
素、そうでない場合は、非髪画素とラベル付けすればよ
い。上記髪領域は、それ自身、１つの後髪特徴であると
も考えられるが、さらに、これを用いて、例えば、いわ
ゆる「セミロング」を含む長髪系の髪の場合には髪が相
当量あり、そうでなく短髪系の髪の場合には髪があまり
ない、と思われるような矩形領域を、顔の左右両側に設
定し、それらの矩形内の髪画素数を取る（以下、この特
徴を「後髪矩形特徴」と呼ぶ）など、後髪特徴を抽出す
る。

【０１８４】尚、上記では、前髪特徴と後髪特徴とを別
々のものとして各々の抽出方法を述べたが、両者を一体
のものと考えて、髪特徴を抽出してもよい。例えば、髪
画素領域は、前髪、後髪共通として、例えば、画像内の
各画素に関し、髪色の平均値から大きく外れてはいない
場合は、髪画素、そうでない場合は、非髪画素とラベル
付けすることにより作成することも考えられる。

【０１８５】請求項１４の発明では、さらに、髪輪郭抽
出手段３３２を用いて、前髪輪郭または後髪輪郭のうち
一方または両方を抽出する。髪輪郭抽出手段３３２は、
前髪輪郭抽出手段３３０及び後髪輪郭抽出手段３３１の
うち一方または両方から構成される。

【０１８６】前髪輪郭抽出手段３３０は、上記前髪特徴
抽出手段３２７により抽出された髪領域を用いて、以下
の様に動作する。

【０１８７】右目、左目の中点から、画像上を真上方向
に画像端まで走査し、最も長い髪画素のランを検出す
る。このランの最下点を始点とし、（画像上の）左方向
に輪郭を追跡し、右目及び左目の座標に基づいて定め
る、あるｙ座標の閾値より下方（ｙ座標値は大）、か
つ、同様に定める、あるｘ座標の閾値より左方に来た時
に、追跡を終える。次に、上記ランの最下点を始点と
し、（画像上の）右方向に輪郭を追跡し、右目及び左目
の座標に基づいて定める、あるｙ座標の閾値より下方
（ｙ座標値は大）、かつ、同様に定める、あるｘ座標の
閾値より右方に来た時に、追跡を終える。さらに、上記
左側の輪郭線と右側の輪郭線とをつなぎ合わせ、前髪輪
郭とする。

【０１８８】後髪輪郭抽出手段３３１は、上記後髪特徴
抽出手段３２８により抽出された髪領域を用いて、以下
の様に動作する。

【０１８９】右目、左目の中点から、画像上を真上方向
に画像端まで走査し、最も長い髪画素のランを検出す
る。このランの最上点を始点とし、（画像上の）左方向
に輪郭を追跡し、右目及び左目の座標に基づいて定め
る、あるｙ座標の閾値より下方（ｙ座標値は大）、か
つ、同様に定める、あるｘ座標の閾値より左方に来た時
に、追跡を終える。次に、上記ランの最上点を始点と
し、（画像上の）右方向に輪郭を追跡し、右目及び左目
座標に基づいて定める、あるｙ座標の閾値より下方（ｙ
座標値は大）、かつ、同様に定める、あるｘ座標の閾値
より右方に来た時に、追跡を終える。さらに、上記左側
の輪郭線と右側の輪郭線とをつなぎ合わせ、後髪輪郭と
する。

【０１９０】尚、上記では前髪輪郭と後髪輪郭を別々の
ものとして各々の抽出方法を述べたが、両者を一体のも
のとみなし、髪領域を用いてその輪郭を追跡することに
より、髪輪郭を抽出してもよい。

【０１９１】請求項１４の発明では、髪特徴抽出手段３
２９は、上記抽出された髪輪郭を用いて、さらに別の髪
特徴を抽出してもよい。例えば、前髪輪郭の最上点を検
出し、前髪特徴とすることや、後髪輪郭を走査し、髪の
内側へのへこみが最大になる点を検出し、後髪特徴とす
ることなどが考えられる。

【０１９２】髪分類手段３３５は、前髪分類手段３３３
及び後髪分類手段３３４のうち一方または両方から構成
され、上記髪特徴抽出手段３２９で求められた髪特徴、
及び、請求項１４の発明では、髪輪郭抽出手段３３２で
求められた髪輪郭を用いて、髪型を分類する（ステップ
Ｓ３４６）。尚、前髪と後髪とを区別あるいは分離せ
ず、一体とみなして髪分類を行うことも考えられる。

【０１９３】前髪分類手段３３３の動作例を以下に説明
する。

【０１９４】上記抽出された前髪メッシュ特徴を用い
て、髪画素数がある閾値ｃ２以上のメッシュの数が、あ
る閾値ｍ＿ｆｃ以上ある場合は、「おかっぱ」へ分類す
る。ここでいう「おかっぱ」とは、額部分が大部分髪の
毛に覆われたような髪型のことである。また、髪画素数
がｃ２未満で、かつ、ｃ１＜ｃ２なる別の閾値ｃ１以上
であるメッシュの数が、ある閾値ｍ＿ｆｍ以上ある場合
は、「すだれ」へ分類する。ここでいう「すだれ」と
は、額部分に相当量の髪の毛がかぶさっているが、髪の
毛のすきまから相当量の肌が見えているような髪型のこ
とである。

【０１９５】請求項１４の発明では、さらに、上記髪輪
郭を特徴を用いて、例えば、以下の様に、髪型を分類す
る（図３４参照）。

【０１９６】上記で「おかっぱ」へも「すだれ」へも分
類されなかった場合に、まず、前髪輪郭の上部で、輪郭
が髪領域の側（上方）へどの程度へこんでいるかを調べ
て、へこみがあまりない場合は「分け目なし」へ、そう
でない場合は「分け目あり」へ大分類する。

【０１９７】次に、「分け目なし」に関しては、前髪輪
郭の上部の直線度を調べて、直線度が大きい（直線に近
い）場合は「四角型」（図３４（ａ）参照）、そうでな
い場合は「丸型」（図３４（ｂ）参照）へ分類する。

【０１９８】さらに、「分け目あり」に関しては、上記
検出された前髪輪郭の最上点のｘ座標（以下ｘ＿ｄｆと
する）を用いて、適当に定めたｄｆ１＜ｄｆ２＜ｄｆ３
＜ｄｆ４なる閾値ｄｆ１，ｄｆ２，ｄｆ３，ｄｆ４に対
し、ｘ＿ｄｆ＜ｄｆ１の場合は「一九分け」（図３４
（ｃ）参照）、ｄｆ１＜＝ｘ＿ｄｆ＜ ｄｆ２の場合は
「三七分け」、ｄｆ２＜＝ｘ＿ｄｆ＜＝ｄｆ３の場合は
「真中分け」（図３４（ｄ）参照）、ｄｆ３＜ｘ＿ｄｆ
＜＝ｄｆ４の場合は「七三分け」、ｄｆ４＜ｘ＿ｄｆの
場合は「九一分け」へ分類する。

【０１９９】後髪分類手段３３４の動作例を以下に説明
する。

【０２００】上記抽出された後髪矩形特徴を用いて、髪
画素数がある閾値ｎ＿ｂ以上ある場合は「長髪系」、そ
うでない場合は「短髪系」へ分類する。

【０２０１】請求項１４の発明では、さらに、上記髪輪
郭を特徴を用いて、例えば、以下の様に髪型を分類する
（図３５参照）。

【０２０２】上記「長髪系」「短髪系」を大分類とし、
さらに、上記検出された後髪輪郭の髪領域の内側へのへ
こみが最大になる点のｘ座標（以下ｘ＿ｄｂとする）を
用いて、適当に定めたｄｂ１＜ｄｂ２＜ｄｂ３＜ｄｂ４
なる閾値ｄｂ１，ｄｂ２，ｄｂ３，ｄｂ４に対し、ｘ＿
ｄｂ＜ｄｂ１の場合は「一九分け」、ｄｂ１＜＝ｘ＿ｄ
ｂ＜ｄｂ２の場合は「三七分け」、ｄｂ２＜＝ｘ＿ｄｂ
＜＝ｄｂ３の場合は「真中分け」（図３５（ａ）参
照）、ｄｂ３＜ｘ＿ｄｂ＜＝ｄｂ４の場合は「七三分
け」、ｄｂ４＜ｘ＿ｄｂの場合は「九一分け」へ小分類
する。ただし、上記検出された後髪輪郭の髪の内側への
へこみが、最大になる点においてもそれほど大きくない
場合は、「分け目検出されず」（図３５（ｂ）参照）へ
小分類する。

【０２０３】請求項１５の発明では、顔輪郭特徴抽出手
段３３６を備え、髪分類手段３３５は、髪特徴に加えて
この顔輪郭特徴を用いて、以下のように髪を分類する。

【０２０４】まず、顔輪郭特徴抽出手段３３６は、顔輪
郭点のｙ座標の最小値を求め、これを顔輪郭線の最上部
の高さとする。

【０２０５】次に、髪分類手段３３５は、例えば、上記
顔輪郭線の最上部の高さ（以下、ｙ＿ｆｔとする）と、
右目と左目とのｙ座標の平均値ｙ＿ｅｙｅとを用いて、
ある閾値ｈｆに対し、ｙ＿ｅｙｅ−ｙ＿ｆｔ＜ｈｆであ
る場合は、ステップＳ３４４において、髪色画素数が少
ない場合でも、「髪が薄い」への分類は行わず、ステッ
プＳ３４５へ進み、上記髪特徴を抽出した上、ステップ
Ｓ３４６でこれらを用いて「髪が薄い」以外の適当なカ
テゴリへの分類を行う。

【０２０６】前髪部品決定手段３３７及び後髪部品決定
手段３３８は、以下の様に動作し、髪部品を決定する
（ステップＳ３４７）。尚、前髪部品決定手段３３７と
後髪部品決定手段３３８とについては、必ずしもその両
方が存在する必要はなく、前髪部品あるいは後髪部品の
一方はユーザ指定により決定することや、前髪と後髪と
を区別あるいは分離せず、一体とみなした髪部品を用い
ることも考えられる。

【０２０７】前髪部品決定手段３３７は、上記前髪分類
手段３３３の分類結果、例えば、「おかっぱ」，「すだ
れ」，「四角型」，「丸型」，「一九分け」，「七三分
け」，「真中分け」，「七三分け」，「九一分け」に従
って、これらに対応して予め作成しておいた部品のうち
一つを決定し、出力する。このとき、部品の色を、ステ
ップＳ３４３で抽出した髪色に従って決定することも考
えられる。

【０２０８】請求項１６の発明では、前髪分類手段３３
３の分類結果に加えて、後髪分類手段３３４の分類結果
も参照し、例えば、前髪分類が「四角型」、後髪分類が
「短髪系・九一分け」であれば、「四角型」ではなく、
「九一分け」に対応する前髪パターンを出力する。ある
いは、前髪部分ではそれほど明瞭な分けがないものの、
左側（画像上右側）から右側（画像上左側）に向かって
髪の毛が流れているような「四角型」とも「九一分け」
とも異なるパターンを用意して、これを出力することも
考えられる。

【０２０９】後髪部品決定手段３３８は、上記後髪分類
手段３３４の分類結果、例えば「短髪系・九一分け」，
「長髪系・真中分け」に従って、これらに対応して予め
作成しておいた部品の一つを決定し、出力する。

【０２１０】請求項１７の発明では、後髪分類手段３３
４の分類結果に加えて、前髪分類手段３３３の分類結果
も参照し、例えば、後髪分類が「長髪系・分け目検出さ
れず」、前髪分類が「九一分け」であれば、後髪パター
ンは「長髪系・九一分け」に対応するものを出力する。
あるいは、後髪分類が「長髪系・九一分け」、前髪分類
が「三七分け」であれば、前髪分類と後髪分類とで分け
目位置が食い違っており、前髪での分け目位置判定の方
が信頼度が高いと考えられるので、後髪パターンも「長
髪系・三七分け」に対応するものを出力する。

【０２１１】以上では、髪色抽出、髪特徴抽出、髪分
類、髪部品決定を行っているが、これらをすべて行うこ
とは必ずしも必要ではない。例えば、請求項１３の発明
で、ステップＳ３４３の髪色抽出までを行い、ステップ
Ｓ３４４〜ステップＳ３４７は省略して、髪部品の形状
の種類はユーザ指定により決定し、髪部品の色のみを、
抽出した髪色に従って決定することも考えられる。

【０２１２】また、髪分類手段と髪部品決定手段とを別
々の手段としているが、分類結果がすなわち髪部品種類
であるとみなすこともできることを考えれば、これらの
間の区分は必ずしもも明確なものではない。

【０２１３】さらに、髪部品を予め作成しておき、髪部
品の決定を行って出力するとしているが、髪分類の結果
に基づいて、予め用意しておいた１つまたは複数のパタ
ーンを適当に変形して出力することも考えられる。

【０２１４】尚、上記で説明した各手段である、肌色抽
出手段３２５と、髪認識手段が髪色を抽出する髪色抽出
手段３２６と、前髪部分の特徴を抽出する前髪特徴抽出
手段３２７と後髪部分の特徴を抽出する後髪特徴抽出手
段３２８とからなる髪部分の特徴を抽出する髪特徴抽出
手段３２９と、前髪の輪郭を抽出する前髪輪郭抽出手段
３３０と後髪の輪郭を抽出する後髪輪郭抽出手段３３１
とからなる髪部分の特徴を用いて髪の輪郭を抽出する髪
輪郭抽出手段３３２と、前髪の分類を行う前髪分類手段
３３３と後髪の分類を行う後髪分類手段３３４とからな
る髪の輪郭を用いて髪を分類する髪分類手段３３５と、
顔輪郭の特徴を抽出する顔輪郭特徴抽出手段３３６と、
顔の輪郭から前髪の部品を決定する前髪部品決定手段３
３７と後髪の部品を決定する後髪部品決定手段３３８
と、から髪認識手段が構成されているものとする。

【０２１５】したがって、本実施例の特徴をまとめると
次のようになる。 （１２）請求項１２の画像処理装置は、特徴抽出手段が
位置指定手段で指定された一つ以上の位置情報に基づ
き、頭頂高さと髪生え際高さとを推定し、髪領域を認識
する髪認識手段を備えてなることを特徴とする。 （１３）請求項１３の画像処理装置は、髪認識手段が髪
色を抽出する髪色抽出手段を備えてなることを特徴とす
る。

【０２１６】上記（１２），（１３）の構成によれば、
画像全体から背景領域を抽出する必要がないため、背景
色が一様またはそれに近い必要はなく、通常のスナップ
写真などからでも髪色を抽出し、あるいは、似顔絵を作
成することができる。 （１４）請求項１４の画像処理装置は、髪認識手段が位
置指定手段で指定された一つ以上の位置情報に基づき、
髪部分の特徴を抽出する髪特徴抽出手段と、該髪部分の
特徴を用いて髪輪郭を抽出する髪輪郭抽出手段と、該髪
輪郭を用いて髪を分類する髪分類手段と、をさらに備え
てなることを特徴とする。

【０２１７】上記（１４）の構成によれば、テンプレー
トマッチングによるのではなく、髪の輪郭線を抽出する
ため、いわゆる「七三分け」，「真中分け」などの呼び
方でいう「分け目」を精度よく検出して分類すること
や、髪生え際線の形状の丸みを判定して「四角型」，
「丸型」に分類することなど、きめ細かい形状分類を行
うことができる。 （１５）請求項１５の画像処理装置は、髪認識手段が顔
輪郭の特徴を抽出する顔輪郭特徴抽出手段と、髪特徴及
び顔輪郭特徴を用いて髪を分類する髪分類手段と、を備
えてなることを特徴とする。

【０２１８】上記（１５）の構成によれば、例えば、顔
輪郭線の最上部の高さが頭頂高さと比較してある閾値以
上低い場合は髪が相当量あると判断することにより、白
髪であるなど髪領域と肌領域の区別が難しい場合にも、
「髪が薄い」などの誤判断をなくす、あるいは減らすこ
とができる。 （１６）請求項１６の画像処理装置は、髪認識手段が前
髪部分の特徴を抽出する前髪特徴抽出手段と、後髪部分
の特徴を抽出する後髪特徴抽出手段を備え、髪部分を含
む画像を入力した際、前記前髪特徴抽出手段にて抽出さ
れた前髪特徴と前記後髪特徴抽出手段にて抽出された後
髪特徴とを用いて前髪部品を決定することを特徴とす
る。

【０２１９】上記（１６）の構成によれば、前髪、後髪
の両方の特徴を用いて前髪部品を決定するため、例え
ば、髪の上部で左側の方に分け目があれば、前髪部品で
も左の方から流れているような、「左分け」にマッチし
たものを選択することにより、よりリアルな、違和感の
少ない似顔絵を作成することができる。また、予め用意
された髪部品を用いているので、例えば、髪領域を２値
化したものと、前髪部分の髪を表現する小部品とを組み
合わせる手法のように、髪領域が２値化画像の一部ある
いは全部が、髪画像の一部あるいは全部としてそのまま
出力される手法と比較して、より美しい似顔絵を作成で
きる場合が多く、また、処理が不完全な部分が存在して
も、それが出力としてそのままユーザーに見えるわけで
はないので、違和感を与えにくい。 （１７）請求項１７の画像処理装置は、髪認識手段が前
髪部分の特徴を抽出する前髪特徴抽出手段と、後髪部分
の特徴を抽出する後髪特徴抽出手段を備え、髪部分を含
む画像を入力した際、前記前髪特徴抽出手段にて抽出さ
れた前髪特徴と前記後髪特徴抽出手段にて抽出された後
髪特徴とを用いて後髪部品を決定することを特徴とす
る。

【０２２０】上記（１７）の構成によれば、前髪、後髪
の両方の特徴を用いて後髪部品を決定するため、例え
ば、額の前髪部分で左の方に分け目があれば、後髪部品
でも、左側の方に分け目があるような、「左分け」にマ
ッチしたものを選択することにより、よりリアルな、ま
たは違和感の少ない似顔絵を作成することができる。ま
た、予め用意された髪部品を用いているので、例えば、
髪領域を２値化したものと、前髪部分の髪を表現する小
部品とを組み合わせる手法のように、髪領域が２値化画
像の一部あるいは全部が、髪画像の一部あるいは全部と
してそのまま出力される手法と比較して、より美しい似
顔絵を作成できる場合が多く、また、処理が不完全な部
分が存在しても、それが出力としてそのままユーザーに
見えるわけではないので、違和感を与えにくい。 〈実施形態２〉本実施形態に関して図３６乃至図４１を
用いて説明する。図３６は似顔絵画像の合成に関する画
像処理装置の概略ブロック図であり、図３７は各顔部品
の中心位置を配置すべき位置座標の図であり、図３８は
顔輪郭の形状の例であり、図３９は従来手法による影の
描画例であり、図４０は本発明による影の描画例であ
り、図４１は図３６の部品配置手段４０８に含まれる影
の描画方法のフローチャートである。

【０２２１】まず、図３６を用いて、本発明の似顔絵画
像の合成に関する部分の構成を説明する。

【０２２２】画像入力手段４００はスキャナなど、似顔
絵をつくる元画像を入力するための手段で、特徴量抽出
手段４０１は前記実施形態１（第１の実施例から第９の
請求項１−１７）にて説明した特徴量抽出手段で、顔輪
郭決定手段４０２はその特徴量より対応する顔部品を選
択する手段で、顔部品データ記憶手段４０３は顔部品の
画像データを蓄積する手段で、顔輪郭決定手段４０４は
抽出した特徴量より、その人物の顔輪郭を決定し、その
輪郭に対応する部品の変形や配置に関する情報を、部品
変形／配置情報記憶手段４０５から引き出す手段で、配
置位置補正手段４０６は４０５から引き出した配置情報
を４０１の特徴量に基いてより似た似顔絵を生成するた
めに補正する手段で、部品変形手段４０７は４０６から
受け取った変形情報から、その顔の輪郭に適した形に顔
部品の大きさなどに顔部品データを変形する手段で、部
品配置手段４０８は４０４及び４０６が生成する顔部を
顔輪郭の上、または下の適正な位置に配置するための手
段で、画像出力手段４０９はＣＲＴやプリンタなど合成
した似顔絵画像を出力する手段で、編集指定入力手段４
１０は合成された似顔絵の結果画像に対して、部品の配
置位置や変形率を変更する手段である。 ［第１０の実施例］（請求項１８の発明） 本実施例では、特徴量抽出手段４０１で抽出した顔特徴
から、あらかじめ用意された顔輪郭部品の中から最も近
いものを、顔輪郭決定手段４０４によって決定する。例
えば図３８に示すような、標準顔／細顔／幅広顔／丸顔
などの顔輪郭部品である。この顔輪郭部品には、各々図
３７に示すような形で各顔部品の中心位置を配置すべき
座標と部品の変形率が、テーブルまたは関数の形で部品
変形／配置情報記憶手段４０５に記憶されている。具体
的例として以下に細顔のテーブルを示す。

【０２２３】 ｘ座標 ｙ座標 ｘ方向拡大率 ｙ方向拡大率 後髪 ｛５００， ５００， ０．９２， １．００ ｝ 左まゆ ｛４１０， ６７０， ０．８５， ０．８５ ｝ 右まゆ ｛５９０， ６７０， ０．８５， ０．８５ ｝ 左目 ｛４１０， ６１５， ０．８０， ０．８０ ｝ 右目 ｛５９０， ６１５， ０．８０， ０．８０ ｝ 鼻 ｛５００， ５１０， ０．８５， ０．８５ ｝ 口 ｛５００， ４５０， ０．９５， ０．９５ ｝ 左耳 ｛３１０， ６００， １．００， １．００ ｝ 右耳 ｛６９０， ６００， １．００， １．００ ｝ 前髪 ｛５００， ５００， ０．９２， １．００ ｝ ｘ座標、ｙ座標は個々の部品を配置すべき場所であり、
似顔絵全体の大きさが１０００×１０００で、顔の中心
が（５００，５００）の例である。拡大率は標準顔の各
部品の大きさを１．００とした比率で示されている。標
準顔よりも部品位置が中心に寄り、部品もやや小さ目の
指定となっており、細顔の形状に最適な部品構成とな
る。部品変形手段４０７と部品配置手段４０８は、この
テーブルの値から顔部品を顔輪郭上、または下面（後髪
や耳）に配置する。

【０２２４】したがって、本実施例の特徴をまとめると
次のようになる。 （１８）請求項１８の画像処理装置は、画像中の顔部品
の大きさや形状の顔部品特徴情報を得る手段（特徴量抽
出手段）と、その特徴情報に対応する複数の顔部品種類
を持ち、各顔部品種ごとに複数の部品データを記憶して
いる顔部品データ記憶手段と、前記顔部品特徴情報をも
とに前記顔部品データ記憶部から適当な部品データを抽
出する顔部品データ抽出手段と、前記抽出された各顔部
品データを顔部品データ記憶部に記憶してある顔輪郭部
品種類ごとに部品の配置位置を定めることにより、輪郭
に適した位置に他の顔部品を配置する手段（部品配置手
段）を備えてなることを特徴とする。

【０２２５】上記（１８）の構成によれば、画像中の顔
部品の大きさ、形状などの、どの顔部品を使用するか決
定した後、顔部品の中の顔輪郭部品ごとに部品配置位置
と部品サイズなどの部品配置方法を決定し、各顔部品デ
ータを配置する。部品を顔輪郭に基いて配置することに
よって、単に部品が顔からはみ出したりしないだけでな
く、その顔輪郭の形状に最も適した位置と大きさに顔部
品を配置することができる。顔輪郭ごとに顔部品配置情
報を決定することにより、劇画調とコミック調など似顔
絵のコンセプトによって顔のバランスがまったく異なる
似顔絵についても、顔部品を配置した場合に破綻するこ
となく似顔絵を生成することが可能である。 ［第１１の実施例］（請求項１９の発明） 本実施例では、顔部品配置補正に使用する特徴量をあら
わす図２２と該補正量算出の処理フローを示した図２１
を用いて説明する。

【０２２６】顔輪郭の横幅１５１及び顔画像中の目の位
置（高さ）１５６を基準とし、顔輪郭の横幅に対する目
の中心間の距離（幅）１５３、眉の中心間の距離（幅）
１５２、目と目の中心と眉と眉の中心間の距離（高さ）
１５４、目と目の中心と口の中心間の距離（高さ）１５
５をそれぞれ求め、数百人の値をあらかじめ測定、平均
を記憶しておき、顔画像中の顔部品位置の認識結果と比
較、除算により比率を算出する（１４９）。具体的には
顔輪郭の横幅に対する目の中心間の距離（幅）１５３の
平均Ｍｅｗと検出結果Ｄｅｗの比率Ｒｅｗ、眉の中心間
の距離（幅）１５２の平均Ｍｅｂｗと検出結果Ｄｅｂｗ
の比率Ｒｅｂｗ、目と目の中心と眉と眉の中心間の距離
（高さ）１５４の平均Ｍｅｂｈと検出結果Ｄｅｂｈの比
率Ｒｅｂｈ、目と目の中心と口の中心間の距離（高さ）
１５５の平均Ｍｍｈと検出結果Ｄｍｈの比率Ｒｍｈを算
出する。

【０２２７】Ｒｅｗ ＝ Ｄｅｗ ／Ｍｅｗ Ｒｅｂｗ ＝ Ｄｅｂｗ／Ｍｅｂｗ Ｒｅｂｈ ＝ Ｄｅｂｈ／Ｍｅｂｈ Ｒｍｈ ＝ Ｄｍｈ ／Ｍｍｈ これにより、顔画像中の顔の顔部品位置の特徴が抽出さ
れる。ついで、抽出された顔部品位置の特徴に基づき顔
部品の配置位置の補正量を算出する。本実施例において
は、上記により得られた各々の比率に対し、あらかじめ
強調の度合等を考慮して定められた各々の定数を乗じ、
得られた値を合成画像中での顔部品配置位置の補正量と
する（１５０）。

【０２２８】すなわち、 眉の縦方向の位置補正量を決定する定数 Ｋｅｂｈ 眉の横方向の位置補正量を決定する定数 Ｋｅｂｗ 目の横方向の位置補正量を決定する定数 Ｋｅｗ 口の縦方向の位置補正量を決定する定数 Ｋｍｈ をそれぞれ上記で求めた比率に乗じ、 眉の縦方向の位置補正量 Ｈｅｂｈ 眉の横方向の位置補正量 Ｈｅｂｗ 目の横方向の位置補正量 Ｈｅｗ 口の縦方向の位置補正量 Ｈｍｈ を求める。

【０２２９】Ｈｅｂｈ ＝ Ｒｅｂｈ×Ｒｅｂｈ Ｈｅｂｗ ＝ Ｒｅｂｗ×Ｒｅｂｗ Ｈｅｗ ＝ Ｒｅｗ ×Ｒｅｗ Ｈｍｈ ＝ Ｒｍｈ ×Ｒｍｈ 上記により求めた顔部品の配置位置の補正量に基づき部
品の配置位置の補正を行なって似顔絵画像の合成を行な
うことにより、使用される顔輪郭部品に適した配置であ
ると同時に顔画像中の顔の顔部品位置の特徴を再現ある
いは強調した似顔絵画像を合成することが可能となる。

【０２３０】したがって、本実施例の特徴をまとめると
次のようになる。 （１９）請求項１９の画像処理装置は、画像中の顔部品
の位置の情報を得る手段（）と、得られた顔部品の位置
情報に基づき、顔輪郭に対応して決定した他の顔部品の
配置位置を補正（配置位置補正手段）し、顔部品の配置
位置を定める手段（部品配置手段）を備えてなることを
特徴とする。

【０２３１】上記（１９）の構成によれば、同じ顔輪郭
を持つが、微妙に顔部品の位置が異なる顔のバリエーシ
ョン全て対応するため、画像中の顔部品の位置情報に基
づき、上記請求項１８によって決定した他の顔部品の配
置位置を、その顔輪郭の許容範囲の中で修正し、より適
切な部品の配置位置を決定する。また、入力画像から抽
出した顔部品の位置と、統計的なその顔部品の顔輪郭に
おける標準位置とを比較し、その差異と、顔輪郭ごとに
決定される修正許容範囲によって、顔部品の配置を補正
する。これにより、顔輪郭から顔がはみ出すような破綻
を避けながら、入力画像の微妙な顔部品の位置の特徴
を、似顔絵に反映させることが可能となる。 ［第１２の実施例］（請求項２０の発明） 図３６の顔部品データ記憶手段４０３において、前髪の
部品と、後髪の部品は、まったく別の部品として記憶さ
れており、それぞれ人間の髪の色を簡易に表現できるよ
うに黒色／茶色／白色／金色などの髪色の部品が用意さ
れている。通常の人間の髪色は、前髪も後髪も同じ色で
あり、特徴量抽出手段４０１は顔部品データ抽出手段４
０２に両者が同じ色であるとする特徴量を渡すため、生
成結果に問題を生じることはない。ところが編集指定入
力手段４１０によって前髪の色の変更を指示すると後髪
と矛盾を生じてしまう。そこで、前髪に対して色の異な
る部品への変更を指示すると顔部品データ抽出手段４０
２は、同時に後髪の色も同じ色の部品へ変更を自動的に
行う。これにより前髪と後髪の色が異なるという矛盾を
防ぐことができる。逆に後髪に対して色の変更指示を与
えた場合にも、前髪の色の変更を自動的に行う。このよ
うな複数部品の同時色変更は、前髪と後髪だけでなく、
眉毛やヒゲなど同じ髪色に統一する必要がある部品すべ
てに対して行ってもよい。また、顔部品のなかで同様に
拘束条件を持つものとして、顔輪郭の肌色を色白から小
麦色などへの部品変更を指示すると、耳や鼻の部品も対
応する肌色の部品に変更するような実施例も考えられ
る。また色だけでなく、髪がパーマであるかどうかな
ど、前髪と後髪で強い相関のある項目について、同様に
連動して変更を行うことが考えられる。

【０２３２】したがって、本実施例の特徴をまとめると
次のようになる。 （２０）請求項２０の画像処理装置は、似顔絵合成時に
配置する顔部品データにおいて、関連のある一組の部品
の特定の色に関する部品の変更指定が行われたとき、関
連する他の部品についても自動的に部品を変更すること
により、常に矛盾を生じないデータを生成する手段（部
品変形手段）を備えてなることを特徴とする。

【０２３３】上記（２０）の構成によれば、前髪と後
髪、あるいは前髪とヒゲなど、顔部品で強い相関を持つ
部品間で、一方の部品の色を、例えば黒／茶／白のどれ
かに決定した場合、他方の部品の色も自動的に同じ色に
変更することにより、他方の部品の色の変更を陽に指定
することなく、違和感のない似顔絵を自動生成する。同
様に、髪がパーマであるかなど、前髪と後髪などで強い
相関のある形状についても、片方に対しての指示を他方
に反映させることで、違和感のない編集操作が可能とな
る。 ［第１３の実施例］（請求項２１の発明） 図３６の顔部品データ記憶手段４０３に記憶される各顔
部品は、内部的には実体と影いう層構造を伴った画像と
して記憶される。この層構造を持った部品を単純に組み
合わせて描画をおこなうと、図３９のように、ある部品
の上に、他の部品の影が重なって描画され不自然な絵と
なってしまう。そこで各部品を配置する時に図４１のフ
ローチャートに示すように、各部品を構成する画素また
は層構造の色を調べ、もしその色が肌色の影の色（例え
ばＲＧＢ値がｒ＝２３８、ｇ＝１６０、ｂ＝８７）の色
である場合、まず部品のこの影の色に相当する画素また
は層構造だけを予め描画し、引き続き影でない色の画素
または層を描画する。これにより図４０に示すように自
然な画像を生成することが可能となる。このようなこと
が可能となるのは、顔部品において使用する色数が極め
て限られていることに起因する。

【０２３４】さらに、この肌色の影の層に限り、描画す
べき画素領域の下層に顔輪郭がない場合は、描画そのも
のを抑制することにより、後髪や背景などに肌色の影だ
けが描画されて不自然となることを防ぐことも可能であ
る。

【０２３５】したがって、本実施例の特徴をまとめると
次のようになる。 （２１）請求項２１の画像処理装置は、顔部品データ記
憶部に記憶してある顔部品データの中で、一つの顔部品
データが二つ以上の層構造を持っている場合に、他の顔
部品データと組み合わされたとき、部品中の色情報に基
づいて層の並び順を変更し、適切な順番で部品と部品を
構成する層の配置順序を定める手段（部品配置手段）を
備えてなることを特徴とする。

【０２３６】上記構成によれば、顔部品あるいは、帽子
などの似顔絵を構成する部品の各画素または領域におい
て、その色情報から、顔輪郭上に投影された影を構成し
ていると判断される画素または領域を抽出し、その画素
または領域を予め描画してから、個々の顔部品を描画す
ることにより、ある部品の上に、他の部品の影が載ると
いうことを防ぐ。さらに影が投影される部品が存在しな
い場合はその画素または領域の描画そのものを停止する
ことにより、顔輪郭が存在しない場所に対する描画は禁
止できる。

【０２３７】以上、説明してきた記載内容に基づくと、
画像中の特定物体の特徴量を抽出する画像処理を行う場
合、処理に時間がかかったり、誤った特徴量を抽出して
しまうことなく、また処理の範囲を位置指定手段等を用
いて直接指定する場合に多くの位置を指定することな
く、画像中の任意の特徴量を頑健、高精度かつ高速に抽
出できるとともに、簡易に高品質な似顔絵を合成できる
画像処理装置を提供することができる。

【０２３８】また、上記説明では画像処理の対象を顔と
して記載してきたが、顔のみに限定されず、例えば、写
真の映像やパソコンやディジタルカメラやビデオで撮影
した映像等を含む様々な任意の物体に対しても、構成手
段や部品の役割や機能を変更することで適用できる。

【０２３９】尚、ここまで挙げた各実施形態における内
容は、本発明の主旨を変えない限り、上記記載内容に限
定されるものではない。

【０２４０】

【発明の効果】本発明における画像処理装置は、各請求
項において以下の効果が得られる。

【０２４１】本発明の請求項１においては、外部から入
力した画像において、画像中に配置された物体の位置及
び大きさの関係が一定の拘束条件を満たす場合に、当該
画像中の任意の位置を指定することのできる位置指定手
段を用いて、画像中の一つ以上の当該物体の位置を入力
することで、当該物体の特徴量を抽出するための画像処
理を行う適切な探索範囲を設定することができる。これ
により、頑健かつ高精度かつ高速に特徴量を抽出するこ
とが可能となる。また、これは、位置指定手段を用い
て、探索範囲を指定することに比べ、少ない指定点で同
様の効果を得ることができるため、作業量を削減する効
果がある。

【０２４２】本発明の請求項２においては、外部から入
力される画像に顔を含み、抽出される特徴量が、目、
鼻、口、眉、耳、輪郭、髪等の顔部品における該当する
少なくとも１つの顔部品の位置、大きさ、形状等である
ことを特徴としている。そのため、各顔部品の位置及び
大きさの関係は、予め複数の顔を調べておくことですぐ
に適用することが可能であり、特徴量を利用したアプリ
ケーションを構築する際、処理を頑健かつ高精度かつ高
速に行うことが可能となる。また、位置指定手段を用い
て、探索範囲を指定することに比べ、少ない指定点で同
様の効果を得ることができる。そのため、作業量を削減
する効果があり、当該アプリケーションの利便性が高ま
るという効果がある。

【０２４３】本発明の請求項３においては、認識対象の
領域を得るために２値化を行なうにあたり、複数の方
式、複数の閾値で２値化し、それらの画像中の領域の位
置、大きさ、形状等を判定し、最も信頼できる画像を選
択することにより、認識対象を高精度に検出することが
可能になる。

【０２４４】本発明の請求項４においては、２つ以上の
顔部品の位置を位置指定手段により指定し、それら指定
位置間の距離関係から顔部品の大きさを予測することに
より、高精度に顔部品の位置、大きさ検出を行なうこと
が可能となる。

【０２４５】本発明の請求項５においては、目の大きさ
が一定の範囲にあることを利用して、２つ以上の顔部品
の位置を位置指定手段により指定し、それら指定位置間
の距離関係から顔部品の大きさを予測すること、あるい
は認識対象の領域を得るために２値化を行なうにあた
り、複数の方式、複数の閾値で２値化し、それらの画像
中の領域の位置、大きさ、形状等を判定し、最も信頼で
きる画像を選択すること、あるいは両目の位置を検出
し、左右の目を結ぶ線が水平になるように、顔画像を回
転させること、もしくは上記のいずれかの方法を任意に
組合せること、により、認識対象を高精度に検出するこ
とが可能になる。

【０２４６】本発明の請求項６においては、両目の位置
を検出し、左右の目を結ぶ線が水平になるように、顔画
像を回転させることにより、顔部品検出精度を向上させ
ることが可能になる。

【０２４７】本発明の請求項７においては、設定された
探索範囲内で目の傾き及び目の厚みをあらわす画像特徴
を検出し、目の形状を判定するので、テンプレート画
像、あるいは辞書画像と、それに対応する入力画像中の
部分画像とがずれていることにより、誤った特徴量が抽
出されるという危険を回避することができる。さらに、
対象とする目の形状が、予め準備しておいたカテゴリー
に含まれない形状の場合に、正しい特徴量が算出できな
いといった危険を回避することができる。さらに、テン
プレート画像や辞書画像を準備する必要がなり、作業量
を大幅に少なくすることができる。

【０２４８】本発明の請求項８においては、口の大きさ
が一定の範囲にあることを利用して、２つ以上の顔部品
の位置を位置指定手段により指定し、それら指定位置間
の距離関係から顔部品の大きさを予測すること、あるい
は認識対象の領域を得るために２値化を行なうにあた
り、複数の方式、複数の閾値で２値化し、それらの画像
中の領域の位置、大きさ、形状等を判定し、最も信頼で
きる画像を選択すること、あるいは両目の位置を検出
し、左右の目を結ぶ線が水平になるように、顔画像を回
転させること、もしくは上記のいずれかの方法を任意に
組合せること、により、認識対象を高精度に検出するこ
とが可能になる。

【０２４９】本発明の請求項９においては、２つ以上の
顔部品の位置を位置指定手段により指定し、それら指定
位置間の距離関係から眉毛の大きさを予測し、眉毛に関
する特徴量を抽出する際の処理を行うべき範囲を適当な
大きさに制限することに加え、眉毛の大きさを推定する
ことができる。すなわち、２値化を行った際に分離され
る領域の大きさと、推定される眉毛の大きさを比較し、
それらの大きさがあまり離れていないような２値化の閾
値を求めることで、眉毛をあらわす領域を高精度に検出
することができる。

【０２５０】本発明の請求項１０においては、設定され
た探索範囲内で眉毛の折れ曲がりかた及び眉毛の太さを
あらわす画像特徴を検出し、眉毛の形状を判定するの
で、テンプレート画像、あるいは辞書画像と、それに対
応する入力画像中の部分画像とがずれていることによ
り、誤った特徴量が抽出されるという危険を回避するこ
とができる。さらに、対象とする眉毛の形状が、予め準
備しておいたカテゴリーに含まれない形状の場合に、正
しい特徴量が算出できないといった危険を回避すること
ができる。さらに、テンプレート画像や辞書画像を準備
する必要がなり、作業量を大幅に少なくすることができ
る。

【０２５１】本発明の請求項１１においては、撮影条件
が悪く、あまり明確な輪郭線が現れていない画像やノイ
ズの多い画像に対しても、より安定な顎検出を行ない、
ノイズや個人差などの影響を出来るだけ排除した顎形状
判定を行なうことが可能である。

【０２５２】本発明の請求項１２、１３においては、画
像全体から背景領域を抽出する必要がないため、背景色
が一様またはそれに近い必要はなく、通常のスナップ写
真などからでも髪色を抽出し、それによって、似顔絵を
作成することができる。

【０２５３】本発明の請求項１４においては、テンプレ
ートマッチングによるのではなく、髪の輪郭線を抽出す
るため、いわゆる「七三分け」，「真中分け」などの呼
び方でいう「分け目」を精度よく検出して分類すること
や、髪生え際線の形状の丸みを判定して「四角型」，
「丸型」に分類することなど、きめ細かい形状分類を行
うことができる。

【０２５４】本発明の請求項１５においては、例えば、
顔輪郭線の最上部の高さが頭頂高さと比較して、ある閾
値以上低い場合は髪が相当量あると判断することによ
り、白髪であるなど髪領域と肌領域の区別が難しい場合
にも、「髪が薄い」などの誤判断を無くしたり、あるい
は減らすことができる。

【０２５５】本発明の請求項１６においては、前髪、後
髪の両方の特徴を用いて前髪部品を決定するため、例え
ば、髪の上部で左側の方に分け目があれば、前髪部品で
も左の方から流れているような、「左分け」にマッチし
たものを選択することにより、よりリアルな、違和感の
少ない似顔絵を作成することができる。また、予め用意
された髪部品を用いているので、例えば、髪領域を２値
化したものと、前髪部分の髪を表現する小部品とを組み
合わせる手法のように、髪領域が２値化画像の一部ある
いは全部が、髪画像の一部あるいは全部としてそのまま
出力される手法と比較して、より美しい似顔絵を作成で
きる場合が多く、また、処理が不完全な部分が存在して
も、それが出力としてそのままユーザーに見えるわけで
はないので、違和感を与えにくい。

【０２５６】本発明の請求項１７においては、前髪、後
髪の両方の特徴を用いて後髪部品を決定するため、例え
ば、額の前髪部分で左の方に分け目があれば、後髪部品
でも、左側の方に分け目があるような、「左分け」にマ
ッチしたものを選択することにより、よりリアルな、違
和感の少ない似顔絵を作成することができる。また、予
め用意された髪部品を用いているので、例えば、髪領域
を２値化したものと、前髪部分の髪を表現する小部品と
を組み合わせる手法のように、髪領域が２値化画像の一
部あるいは全部が、髪画像の一部あるいは全部としてそ
のまま出力される手法と比較して、より美しい似顔絵を
作成できる場合が多く、また、処理が不完全な部分が存
在しても、それが出力としてそのままユーザーに見える
わけではないので、違和感を与えにくい。

【０２５７】本発明の請求項１８においては、特徴量抽
出手段によって得られた顔の各部品の特徴を最大限に反
映しながら、顔輪郭の形状に基づく拘束条件を加えるこ
とで行き過ぎた特徴の反映を防ぎ、部品配置が最適で破
綻をきたさない似顔絵を自動合成することが可能とな
る。

【０２５８】本発明の請求項１９においては、画像中の
顔部品の位置などの情報を得る手段と、得られた顔部品
の位置情報に基づき、上記請求項１８における顔輪郭に
対応して決定した他の顔部品の配置位置を補正し、より
適切な部品の配置位置を定める手段を備えることによ
り、上記請求項１８の効果に加え、画像中の顔の顔部品
の配置による特徴を再現もしくは強調した似顔絵画像を
合成することが可能となる。

【０２５９】本発明の請求項２０においては、似顔絵の
中の色に関する拘束条件を利用するこにより、似顔絵と
して不適切な画像の画像の生成を抑制し、かつユーザー
に余分な部品の色変更指定を減らすことができる。

【０２６０】本発明の請求項２１においては、記憶する
顔部品のデータを必要以上に複雑することなく、部品を
構成する層の描画順位を自動的に決定し、あるいは抑制
することにより自然な画像を自動生成できる。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像処理装置の概
略ブロック図である。

【図２】位置指定の例及び指定位置により決定される探
索範囲の例をあらわす図である。

【図３】目の形状を認識するための目の探索範囲、ヒス
トグラム、検出された目頭及び目尻位置の例をあらわす
図である。

【図４】目頭を検出するためのテンプレートの例をあら
わす図である

【図５】目の厚みを検出するための目の探索範囲、肌色
をサンプリングするための領域、肌・非肌領域の例をあ
らわす図である。

【図６】目頭探索範囲及び目尻探索範囲を求めるための
動作をあらわすフローチャートである。

【図７】目頭位置を検出するための動作をあらわすフロ
ーチャートである。

【図８】目尻位置を検出するための動作をあらわすフロ
ーチャートである。

【図９】眉毛の位置及び大きさを検出するための眉毛の
探索範囲、２値化画像の例をあらわす図である。

【図１０】眉毛の位置及び大きさを検出するための動作
をあらわすフローチャートである。

【図１１】眉毛に外接する矩形の例をあらわす図であ
る。

【図１２】眉毛の形状を認識するための量子化の例をあ
らわす図である。

【図１３】眉毛の折れ曲がりかたを検出するための動作
をあらわすフローチャートである。

【図１４】眉毛の厚みを検出するための動作をあらわす
フローチャートである。

【図１５】口の検出の動作をあらわすフローチャートで
ある。

【図１６】口の検出の画像及び投影結果の例をあらわす
図である。

【図１７】目の検出の動作をあらわすフローチャートで
ある。

【図１８】目の検出の画像及び変換、抽出結果の例をあ
らわす図である。

【図１９】目の検出結果を利用した傾き補正の動作をあ
らわすフローチャートである。

【図２０】目の検出結果を利用した傾き補正の例をあら
わす図である。

【図２１】顔部品配置補正量の算出の動作をあらわすフ
ローチャートである。

【図２２】顔部品配置補正に使用する特徴量をあらわす
図である。

【図２３】本発明の請求項１１の実施例における画像処
理装置の動作を概略的に示すフローチャートである。

【図２４】本発明の請求項１１の実施例における入力画
像中の中心座標及び初期輪郭の配置を説明するための図
である。

【図２５】本発明の請求項１１の実施例における初期輪
郭上の一点と中心座標を結ぶ直線上の色差算出を行なう
方法を説明するための図である。

【図２６】本発明の請求項１１の実施例における色差の
算出例を模式的に示した図である。

【図２７】本発明の請求項１１の実施例における顔輪郭
形状に特化した色差算出をおこなう手法として顔が楕円
形状であることを利用する場合について説明するための
図である。

【図２８】本発明の請求項１１の実施例における顔輪郭
形状に特化した色差算出をおこなう手法として顔が中心
軸に対して左右対称であることを利用する場合について
説明するための図である。

【図２９】本発明の請求項１１の実施例における抽出し
た顔輪郭線から距離関数を算出する手法を説明するため
の図である。

【図３０】本発明の請求項１１の実施例における入力画
像から得られた距離関数と基準距離関数を比較する手法
を説明するための図である。

【図３１】本発明の請求項１２〜１６の画像処理装置の
構成を示すブロック図である。

【図３２】本発明の請求項１２〜１６の画像合成装置の
処理を示すフローチャートである。

【図３３】髪色抽出に関する説明図である。

【図３４】前髪分類に関する説明図である。

【図３５】後髪分類に関する説明図である。

【図３６】本発明の別の実施形態である似顔絵画像の合
成に関する画像処理装置の概略ブロック図である。

【図３７】各顔部品の中心位置を配置すべき位置座標の
図である。

【図３８】顔輪郭の形状の例である。

【図３９】従来手法による影の描画例である。

【図４０】本発明による影の描画例である。

【図４１】図３６の部品配置手段４０８に含まれる影の
描画方法のフローチャートである。

【符号の説明】

１０ 特徴量抽出部 １１ 入力装置 １２ 記憶装置 １３ 演算装置 １４ 位置指定装置 １５ 出力装置 ４００ 画像入力手段 ４０１ 特徴量抽出手段 ４０２ 顔部品データ抽出手段 ４０３ 顔部品データ記憶手段 ４０４ 顔輪郭決定手段 ４０５ 部品変形／配置情報記憶手段 ４０６ 配置位置補正手段 ４０７ 部品変形手段 ４０８ 部品配置手段 ４０９ 画像出力手段 ４１０ 編集指定入力手段

フロントページの続き (72)発明者 竹澤 創 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 長井 義典 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 伊藤 愛 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 紺矢 峰弘 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B050 BA06 BA12 CA07 EA09 EA12 EA13 EA19 FA09 FA19 5L096 BA18 FA06 FA15 FA69 GA38 GA51 JA22 LA05

Claims (21)

【特許請求の範囲】
1. 【請求項１】 画像を入力する入力手段と、前記入力し
   た画像を記憶する記憶手段と、任意の演算を行う演算手
   段と、当該画像中の任意の位置を指定することのできる
   位置指定手段と、当該画像中に配置された物体の位置及
   び大きさを認識し、前記物体の位置及び大きさの関係が
   一定の拘束条件を満たす場合に、画像中の一つ以上の当
   該物体の位置を入力することで、当該画像中の任意の特
   徴を抽出する特徴抽出量手段とを備えてなることを特徴
   とする画像処理装置。
2. 【請求項２】 前記特徴量抽出手段は、入力される画像
   に顔を含む場合に、顔を構成する目、鼻、口、眉、耳、
   輪郭、髪を顔部品とし、前記顔部品の内の少なくとも１
   つの該当顔部品の位置、大きさ、形状を特徴量として抽
   出することを特徴とする請求項１記載の画像処理装置。
3. 【請求項３】 前記特徴量抽出手段は、入力された画像
   を複数の方式及び複数の閾値で２値化し、それらの画像
   中の領域の位置や大きさや形状を判定し、最も信頼度の
   高い画像を選択することで、認識対象の領域を検出する
   領域検出手段を備えてなることを特徴とする請求項２記
   載の画像処理装置。
4. 【請求項４】 前記特徴量抽出手段は、前記位置指定手
   段で指定された２つ以上の顔部品の位置間の距離関係か
   ら顔部品の大きさを予測することにより、顔部品の位
   置、大きさの検出を行なう顔部品認識手段を備えてなる
   ことを特徴とする請求項２記載の画像処理装置。
5. 【請求項５】 前記顔部品認識手段は、検出する位置や
   大きさの対象が顔部品の目であることを特徴とする請求
   項４記載の画像処理装置。
6. 【請求項６】 前記顔部品認識手段は、検出した両目の
   位置に関して、左右の目を結ぶ線が水平になるように、
   顔画像を回転させる手段を備えてなることを特徴とする
   請求項４または５記載の画像処理装置。
7. 【請求項７】 前記顔部品認識手段は、検出した目の位
   置や大きさに基づいて探索範囲を設定し、その範囲で目
   の傾き及び厚みをあらわす画像特徴を検出し、目の形状
   を判定する手段を備えてなることを特徴とする請求項４
   乃至６のいずれか記載の画像処理装置。
8. 【請求項８】 前記顔部品認識手段は、検出する位置や
   大きさが顔部品の口であることを特徴とする請求項４記
   載の画像処理装置。
9. 【請求項９】 前記顔部品認識手段は、検出する位置や
   大きさが顔部品の眉であることを特徴とする請求項４記
   載の画像処理装置。
10. 【請求項１０】 前記顔部品認識手段は、検出した眉の
    位置や大きさに基づいて探索範囲を設定し、その範囲で
    眉の太さ及び折れ曲がり方をあらわす画像特徴を検出
    し、眉の形状を判定する手段を備えてなることを特徴と
    する請求項４または９に記載の画像処理装置。
11. 【請求項１１】 前記特徴抽出手段は、前記位置指定手
    段で指定された一つ以上の位置情報に基づき、顎の輪郭
    特徴を検出し、その形状を判定する輪郭認識手段を備え
    てなることを特徴とする請求項２記載の画像処理装置。
12. 【請求項１２】 前記特徴抽出手段は、前記位置指定手
    段で指定された一つ以上の位置情報に基づき、頭頂高さ
    と髪生え際高さとを推定し、髪領域を認識する髪認識手
    段を備えてなることを特徴とする請求項２記載の画像処
    理装置。
13. 【請求項１３】 前記髪認識手段は、髪色を抽出する髪
    色抽出手段を備えてなることを特徴とする請求項１２記
    載の画像処理装置。
14. 【請求項１４】 前記髪認識手段は、前記位置指定手段
    で指定された一つ以上の位置情報に基づき、髪部分の特
    徴を抽出する髪特徴抽出手段と、該髪部分の特徴を用い
    て髪輪郭を抽出する髪輪郭抽出手段と、該髪輪郭を用い
    て髪を分類する髪分類手段と、をさらに備えてなること
    を特徴とする上記請求項１２記載の画像処理装置。
15. 【請求項１５】 前記髪認識手段は、顔輪郭の特徴を抽
    出する顔輪郭特徴抽出手段と、髪特徴及び顔輪郭特徴を
    用いて髪を分類する髪分類手段と、を備えてなることを
    特徴とする請求項１２記載の画像処理装置。
16. 【請求項１６】 前記髪認識手段は、前髪部分の特徴を
    抽出する前髪特徴抽出手段と、後髪部分の特徴を抽出す
    る後髪特徴抽出手段を備え、 髪部分を含む画像を入力した際、前記前髪特徴抽出手段
    にて抽出された前髪特徴と前記後髪特徴抽出手段にて抽
    出された後髪特徴とを用いて前髪部品を決定することを
    特徴とする請求項１２記載の画像処理装置。
17. 【請求項１７】 前記髪認識手段は、前髪部分の特徴を
    抽出する前髪特徴抽出手段と、後髪部分の特徴を抽出す
    る後髪特徴抽出手段を備え、 髪部分を含む画像を入力した際、前記前髪特徴抽出手段
    にて抽出された前髪特徴と前記後髪特徴抽出手段にて抽
    出された後髪特徴とを用いて後髪部品を決定することを
    特徴とする請求項１２記載の画像処理装置。
18. 【請求項１８】 画像中の顔部品の大きさや形状の顔部
    品特徴情報を得る手段と、その特徴情報に対応する複数
    の顔部品種類を持ち、各顔部品種ごとに複数の部品デー
    タを記憶している顔部品データ記憶手段と、前記顔部品
    特徴情報をもとに前記顔部品データ記憶部から適当な部
    品データを抽出する顔部品データ抽出手段と、前記抽出
    された各顔部品データを顔部品データ記憶部に記憶して
    ある顔輪郭部品種類ごとに部品の配置位置を定めること
    により、輪郭に適した位置に他の顔部品を配置する手段
    を備えてなることを特徴とする画像処理装置。
19. 【請求項１９】 画像中の顔部品の位置の情報を得る手
    段と、得られた顔部品の位置情報に基づき、顔輪郭に対
    応して決定した他の顔部品の配置位置を補正し、顔部品
    の配置位置を定める手段を備えてなることを特徴とする
    請求項１８記載の画像処理装置。
20. 【請求項２０】 似顔絵合成時に配置する顔部品データ
    において、関連のある一組の部品の特定の色に関する部
    品の変更指定が行われたとき、関連する他の部品につい
    ても自動的に部品を変更することにより、常に矛盾を生
    じないデータを生成する手段を備えてなることを特徴と
    する請求項１８記載の画像処理装置。
21. 【請求項２１】 顔部品データ記憶部に記憶してある顔
    部品データの中で、一つの顔部品データが二つ以上の層
    構造を持っている場合に、他の顔部品データと組み合わ
    されたとき、部品中の色情報に基づいて層の並び順を変
    更し、適切な順番で部品と部品を構成する層の配置順序
    を定める手段を備えてなることを特徴とする請求項１８
    記載の画像処理装置。