JP3577154B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3577154B2 JP3577154B2 JP1673096A JP1673096A JP3577154B2 JP 3577154 B2 JP3577154 B2 JP 3577154B2 JP 1673096 A JP1673096 A JP 1673096A JP 1673096 A JP1673096 A JP 1673096A JP 3577154 B2 JP3577154 B2 JP 3577154B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hair
- face
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、人物のコンピュータグラフィックスにおいて、髪型を実用時間で自動的に違和感なく他のものに取り替えて表示することができる画像処理装置に関するものである。
【０００２】
【従来の技術】
従来、ある人物の画像に別の頭髪を割り付ける画像処理において、その人物の画像から頭髪が除去された画像をその画像処理の前処理として生成する場合、髪を括るなどして撮影して得られた髪が顔にかかっていない画像を取り込むか、或いはその人物の画像の頭髪の領域を手作業によって除去するかによって、その頭髪が除去された画像が得られていた。
【０００３】
そして、その得られた頭髪が除去された画像に別の頭髪を割り付ける場合、手作業により頭髪が除去された画像に別の頭髪をペーストすることにより行われていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の方法では、髪を括って撮影しても髪が完全に除去されず残ってしまう場合があり、そのため別の頭髪を割り付ける画像処理により得られた画像に元の頭髪が残ってしまうという課題があった。
【０００５】
また、手作業で頭髪を除去する場合、かなりの時間を費やさなければならないという課題があった。
【０００６】
更に、頭髪が除去された画像に別の頭髪をペーストするだけの従来の画像処理により得られた画像にはかなりの違和感があった。
【０００７】
本発明は、顔の正面画像から頭髪を除去し、その頭髪を除去した部分の頭の形を推定し、その推定した頭の範囲内をその顔の肌の色で塗りつぶす処理を行う画像処理装置を提供することを目的とする。
【０００８】
また、本発明は、顔の正面画像に適合するように別の頭髪を調整し、更にその頭輪郭内の色情報を用いることにより、違和感の少ない画像処理を行う画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この課題を解決するため、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と、前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部とを備えたことを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記顔画像における頭髪及び影部分を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記領域選定部により選定された前記領域の外周近傍の前記画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備えたことを特徴とする画像処理装置である。
【００１９】
また、本発明は、人の画像における構造情報と、別人の画像である参照画像における構造情報とに基づいて、前記別人の画像の所定部分が、前記人の画像に適合するように、前記参照画像に所定の変換を適用する画像調整部と、前記所定の変換が適用された参照画像における所定部分を前記人の画像に割り付ける合成処理部とを備えたことを特徴とする画像処理装置である。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００３０】
図１は、本発明の第１の実施の形態に係る画像処理装置のブロック図である。図１において、本実施の形態における画像処理装置は、髪領域選定部１１と除去領域変更部１２とにより構成される。髪領域選定部１１は、首から上の正面画像である正面顔画像１３（図３参照）とその正面顔画像１３に対する顔から上の各部の構造情報を表す顔表面モデル１４（図４参照）とを用いて、正面顔画像１３における頭髪とその頭髪による影（図３では示されていない。）との領域を除去領域１５とし、その除去領域１５を送出するものである。但し、図４に示す顔表面モデル１４では、耳は除去されている。
【００３１】
除去領域変更部１２は、顔表面モデル１４の情報を考慮して、正面顔画像１３における顔の画素値に基づいて、正面顔画像１３における除去領域１５の全部又は一部の画素値の各々を変更し、髪除去画像１６を生成するものである。なお、除去領域変更部１２は、除去領域１５の一部の画素値の各々を変更した場合、正面顔画像１３における顔の画素値とは別の値を用いて、除去領域１５の残部の画素値の各々を変更する。
【００３２】
図２は、正面顔画像１３を取り込む顔画像取り込み装置の例を示す図である。正面顔画像１３は、図２に示す顔画像取り込み装置によって取り込まれたディジタル画像である。図２において、２１は撮影用のビデオカメラである。２２はビデオカメラ２１の画像をディジタルに変換するためのＡ／Ｄ変換器である。２３はビデオカメラ２１を固定する器具である。２４はビデオカメラ２１により撮影される対象人物を表す。
【００３３】
ビデオカメラ２１は、器具２３によって水平に固定される。Ａ／Ｄ変換器２２は、ビデオカメラ２１で撮影されたアナログ画像をディジタル画像に変換し、正面顔画像１３を生成する。正面顔画像１３は、２５６×２５６画素の大きさであり、１画素につきＲＧＢ各８ビット深さのカラー画像である。また、正面顔画像１３の背景色は単色である。
【００３４】
図３は、図２に示す顔画像取り込み装置により取り込まれた正面顔画像１３の一例を示す図である。図３における正面顔画像１３は、首から上全部が写った顔が正面を向いている。その顔は、無表情で眼鏡と口鬚がなく、その頭の中心線はほぼ垂直である。また、前髪は額の全部を覆っていない。この正面顔画像１３にはｘｙ座標が導入される。
【００３５】
図４は、顔表面モデル１４の一例を示すワイヤーフレームモデルの図である。そのワイヤーフレームの各頂点は、顔の輪郭、目、鼻、口、眉を代表する特徴点と、それらの特徴点の間に配置される、顔の三次元構造を考慮して得られた点からなる。図４における特徴点とは円印の入った頂点をいう。
【００３６】
各頂点は、その頂点の画像上のｘ座標とｙ座標のデータを有する。また、各頂点には所定の番号付けがなされ、画像上の頂点の位置は、その番号により特定される。顔表面モデル１４は、これら頂点とその連結情報によって構成される。
【００３７】
この顔表面モデル１４は、図３における正面顔画像１３における顔を認識することにより生成される。即ち、正面顔画像１３における顔を認識し、その認識した顔に合わせて、予め用意された標準のワイヤーフレームモデルの各頂点を移動させることにより生成される。
【００３８】
したがって、顔表面モデル１４は、人によりそのフレームの形状は異なるものとなるが、トポロジー的には同じものである。顔表面モデル１４を生成する処理には、特開平５−１９７７９３号公報、特開平４−１９９４７４号公報などにおける従来の手法を用いることができる。
【００３９】
特開平５−１９７７９３号公報、特開平４−１９９４７４号公報の処理は以下の通りである。まず、入力の正面顔画像から、テンプレートマッチングによって虹彩の認識を行い、それをもとに目の領域をテンプレートマッチングによって認識する。次に、認識された虹彩の位置を基準に、鼻、口、眉、頬の輪郭、頭頂点それぞれの探索範囲を設定する。それぞれの探索範囲の中で、テンプレートマッチングにより鼻、口、眉、頬の輪郭、頭頂点を認識する。このようにして認識された目、鼻、口、眉、頬の輪郭、頭頂点の各領域には、決まった特徴点が得られる。そして、あらかじめ用意した標準の顔のワイヤーフレームモデルの目、鼻、口、眉、頬の輪郭、頭頂点それぞれの特徴点が、認識の結果得られたそれぞれの特徴点と一致するように、標準のワイヤーフレームモデルの変形を行い、入力顔画像の顔の表面構造を表すワイヤーフレームモデルが得られる。本実施の形態では、このようにして生成されたワイヤーフレームモデルを、入力顔画像の顔表面モデルとして用いる。
【００４０】
次に、本実施の形態の動作について説明する。
【００４１】
髪領域選定部１１は、正面顔画像１３と顔表面モデル１４とを入力し、正面顔画像１３における頭髪とその頭髪による影との領域を除去領域１５として出力する。
【００４２】
除去領域変更部１２は、正面顔画像１３と顔表面モデル１４と除去領域１５とを入力する。除去領域変更部１２は、顔表面モデル１４の最外周の輪郭（以後、頭輪郭という。）内にあり、且つ除去領域１５内にある正面顔画像１３の画素値を変更する。その画素値の変更には、除去領域１５の外周近傍にある少なくとも１つの画素値が用いられる。除去領域変更部１２は、その画素値の変更の対象となる画素の各々について、その画素の位置に応じて、その除去領域１５の外周近傍にある少なくとも１つの画素値に所定の変換を適用し、その位置における画素の値をその変換により生成された値に変更する。
【００４３】
なお、画素値が変更された画素の全ての領域が、除去領域１５の一部であった場合、除去領域変更部１２は、その除去領域１５の残部を正面顔画像１３の頭輪郭内の画素値とは別の値に変更する。これより、髪除去画像１６が生成される。
【００４４】
なお、本実施の形態では、髪領域選定部１１は、除去領域１５を出力するとしたが、その除去領域１５における画素値の各々を所定の値に変更し、除去領域１５を出力するとしてもよい。この場合、除去領域変更部１２は、顔表面モデル１４の情報を考慮して、正面顔画像１３における頭輪郭内にあって、除去領域１５の外周近傍にある少なくとも１つの画素値に基づいて、除去領域１５の全部又は一部を変更し、髪除去画像１６を生成する。
【００４５】
以下、本実施の形態における髪領域選定部１１と除去領域変更部１２の動作について更に詳しく説明する。髪領域選定部１１は、色情報から得られる各画素の明度により、頭髪とその頭髪による影との領域を推定する構成のものを用いる。また、髪領域選定部１１と除去領域変更部１２は、ともにＲＧＢのカラー情報ではなく、それを色相、明度、彩度に変換し、０から２５５の整数値に正規化した情報を用いる。
【００４６】
まず、髪領域選定部１１の具体的な動作について説明する。肌と髪の分離は色相によっても行えると考えられる。しかし、ビデオカメラ２１により撮影され、Ａ／Ｄ変換器２２により変換されて生成された正面顔画像１３には、色相にノイズがのっているために、正しく肌と髪の分離ができない。また、色相では、頭髪による影と肌とをほとんど分離することができない。除去領域変更部１２は、頭髪による影が残っていると、除去領域１５の画素値の各々を変更したとき、その変更後の色が暗いものとなって、良い結果が得られない場合がある。
【００４７】
そこで、本実施の形態では、色相ではなく明度を用いることによって、頭髪とその頭髪による影との領域を除去領域１５とする。即ち、明度が小さい部分を頭髪又はその頭髪による影とする。
【００４８】
まず、顔表面モデル１４の頭輪郭の内部に対応する正面顔画像１３の画素の各々のうち、明度Ｌが（数１）を満たす画素の明度の平均値Ｌａと最大値Ｌｍを求める。（数１）の条件は明らかに暗い部分の影響を排除するもので、θｌ０はしきい値である。一例としてθｌ０＝６５とする。
【００４９】
【数１】
【００５０】
ＬａとＬｍを用いて、（数２）によりしきい値θｌ１を求める。
【００５１】
【数２】
【００５２】
（数２）のα、βはある実数である。一例としてα＝１．３、β＝０．８とする。また、関数ｍｉｎ（ａ，ｂ）は、ａとｂのうち大きくない方の値をとる関数である。（数２）で求めたθｌ１をしきい値として、頭髪又はその頭髪による影の部分を推定する。すなわち、頭輪郭の中にあって、明度Ｌが（数３）を満たす画素の集合を除去領域１５とする。
【００５３】
【数３】
【００５４】
最後に、眉、目、鼻、口は除去してはならない領域であるから、これらが除去領域１５に含まれていれば、それらを除去領域１５から取り除く。
【００５５】
次に、除去領域変更部１２の具体的な動作について説明する。除去領域変更部１２の画素値変更の処理は、頭輪郭内の領域に対して、水平走査線毎に下から上へ順に行う。すなわち、直線ｙ＝ｙ０で頭輪郭内の領域を切った切口の線分をＦ＝［ｘｓ， ｘｅ］とすると、この線分Ｆに対して画素値変更の処理を行う。線分Ｆの処理が終れば、直線ｙ＝ｙ０−１で頭輪郭内の領域を切った切口の線分Ｆ１＝［ｘｓ１， ｘｅ１］に対して画素値変更の処理を行う。
【００５６】
図５は、除去領域変更部１２による画素値変更の動作を説明するための図である。図５において、下側の点線で囲まれた領域５１には、目、鼻、口が含まれている。除去領域変更部１２は、除去領域１５がこの領域５１内の画素を含んでいる場合、その除去領域１５からその領域５１内の画素を取り除く。
【００５７】
また、上側の点線で囲まれた領域５２内の水平方向の中点の集合である線分５３上に位置する画素が、除去領域１５に含まれる場合、除去領域変更部１２は、その画素の各々に対して、その色相を目の間の適当な画素の色相とし、その明度をＬａとし、その彩度を頭輪郭の中にあって明度Ｌが（数１）を満たす画素の彩度の平均値Ｓａとして、その画素の各々を除去領域１５から取り除く。
【００５８】
除去領域変更部１２は、ｙ＝ｙ０における線分Ｆ上の画素のうちで、除去領域１５に含まれる連続した画素の集合を求め、その集合毎に、ｘ座標の小さい方から順に画素値の変更を行う。そのある１つの集合の両端点のｘ座標をそれぞれｘ０、ｘ１とする。
【００５９】
この場合、ｘ０＝ｘｓかつｘ１＝ｘｅであれば、特別な画素値の変更処理を必要とする。これは、線分Ｆ全体の画素値の変更が必要であり、その画素値の変更にその線分Ｆ内の画素値を全く用いることができないことを意味する。
【００６０】
このように、ｘ０＝ｘｓかつｘ１＝ｘｅとなるのは眉より上の領域だけであるから、この場合、ｙ＝ｙ０＋１で頭輪郭内の領域を切った切口の線分Ｆ’＝［ｘｓ’， ｘｅ’］から変更用の画素値を得る。即ち、Ｆ、Ｆ’の中点をそれぞれｘｃ、ｘｃ’とし、線分Ｆ上の任意の点Ｐのｘ座標をＸとすると、（数４）によって線分Ｆ’上の点Ｐ’（Ｘ’， ｙ０＋１）を求める。
【００６１】
【数４】
【００６２】
この点Ｐ’の画素の色を点Ｐの画素の色とする。ただし、点Ｐ’が眉領域内の点の場合は、点Ｐの画素値を変更せずに残しておき、線分Ｆ全体に対して、この変更処理を行った後、線形補間によって補間する。
【００６３】
一方、ｘ０≠ｘｓ又はｘ１≠ｘｅの場合の処理について説明する。この場合、除去領域変更部１２は、画素値の変更に用いる色相を頭輪郭領域の一部から複数個取り出し、それを順次用いる。一例として、眉間から５×５のブロックを取り出して、それを順次マッピングしていく処理がある。また、点（ｘ０， ｙ０）の画素に当てはめる明度をＬ０、彩度をＳ０、点（ｘ１， ｙ０）の画素に当てはめる明度をＬ１、彩度をＳ１とする。その集合内の点Ｐ（Ｘ， ｙ０）の画素にマッピングされる明度Ｌ、彩度Ｓを（数５）により求める。
【００６４】
【数５】
【００６５】
（数５）のｆは０≦ｆ≦１の値をとる関数である。
【００６６】
本実施の形態では、ｘ０≠ｘｓかつｘ１≠ｘｅ，ｘ０＝ｘｓの場合，ｘ１＝ｘｅの三つの場合に分けて、Ｌ０、Ｓ０、Ｌ１、Ｓ１、ｆを以下のように決めた。
【００６７】
ｘ０≠ｘｓかつｘ１≠ｘｅの場合、Ｌ０とＳ０は点（ｘ０−１， ｙ０）の画素の値とし、Ｌ１とＳ１は点（ｘ１＋１， ｙ０）の画素の値とする。そして、点（ｘ０−１， ｙ０）の画素と点（ｘ１＋１， ｙ０）の画素との間にある各画素値を、これらの２つの点の画素値を用いて変更する。即ち、補間は線形補間とする。従って、ｆは（数６）となる。
【００６８】
【数６】
【００６９】
ｘ０＝ｘｓの場合、Ｌ０とＳ０はｙ＝ｙ０＋１における頭輪郭線上の点の画素の値とする。但し、そこが除去領域１５内に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。Ｌ１とＳ１は点（ｘ１＋１，ｙ０）の画素の値とする。ｆは（数７）により算出された値を用いる。
【００７０】
【数７】
【００７１】
図６（ａ）にこのｆの特性図を示す。（数７）においてθｘはある実数であり、一例としてθｘ＝０．４とする。
【００７２】
ｘ１＝ｘｅの場合、Ｌ１とＳ１はｙ＝ｙ０＋１における頭輪郭線上の点の画素の値とする。但し、そこが除去領域１５に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。Ｌ０とＳ０は点（ｘ０−１，ｙ０）の画素の値とする。ｆは（数８）により算出された値を用いる。
【００７３】
【数８】
【００７４】
図６（ｂ）にこのｆの特性図を示す。またθｘは（数７）における値と同じものである。
【００７５】
最後に、画素値を変更した領域とその近傍の明度、彩度の平滑化を行う。平滑化の例として、図７に示す３×３マスクを用いて行うものがある。すなわち、点Ｐ（ｘ， ｙ）の画素の明度、彩度をそれぞれＬ（ｘ， ｙ）、Ｓ（ｘ， ｙ）とすると、平滑化を行ったあとの点Ｐの明度Ｌ’（ｘ， ｙ）、Ｓ’（ｘ， ｙ）は（数９）により与えられる。
【００７６】
【数９】
【００７７】
ＤＳＰを有するメディア処理ボート搭載の３２ビットパーソナルコンピュータを使用した場合、以上の処理を行うのに約３秒を要した。
【００７８】
なお、本実施の形態では、ビデオカメラ２１によって撮影し、Ａ／Ｄ変換器２２によって変換した、２５６×２５６画素の大きさのディジタル画像に対する処理を行ったが、他の大きさのディジタル画像や、スキャナなどによって入力されたディジタル画像に対しても同様の効果が得られる。また、顔情報モデル１４の構成も、図４に示すものに限らず、目、鼻、口、眉、頭輪郭が分かるものであれば同様の効果が得られる。
本実施の形態における画像処理装置について以上に説明したように、前記画像は、前記人の顔画像であり、前記領域選定部は、前記顔画像における人の所定の領域を選定する領域選定部であり、前記領域変更部は、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部であるとしてもよい。
また、前記領域選定部は、前記顔画像における頭髪及び／又は影部分を前記領域に選定するとしてもよい。
また、前記領域変更部は、更に前記領域における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
また、前記領域変更部は、前記領域の一部における各画素値を変更した場合、更にその領域の残部における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
さらに、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影とを前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び／又は影部分を前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定するとしてもよい。
【００７９】
（実施の形態２）
以下、本発明の第２の実施の形態における画像処理装置について説明する。本実施の形態は、第１の実施の形態に対して髪領域選定部１１の動作だけが異なる。その部分について説明する。
【００８０】
図８は、本実施の形態における髪領域選定部１１の処理の手順を示すフローチャートである。このフローチャートの各ステップの動作について説明する。
【００８１】
ステップ８１：髪領域選定部１１は、正面顔画像１３の任意の点の明度をＬ、しきい値をθｌ０とし、（数１）を満たす画素の集合を除去領域１５とする。一例として、θｌ０＝６５とする。
【００８２】
ステップ８２：髪領域選定部１１は、顔表面モデル１４から得られる眉の位置より上の頭輪郭内にあって、除去領域１５内に含まれていない画素のうち、その色相Ｈが（数１０）の条件を満たす画素の明度の平均値Ｌａと最大値Ｌｍを求める。
【００８３】
【数１０】
【００８４】
（数１０）の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θｈ０、θｈ１はしきい値ある。一例として、θｈ０＝１、θｈ１＝３０とする。
【００８５】
ステップ８３：髪領域選定部１１は、（数２）によって明度のしきい値θｌ１を求める。α、βはある実数であり、一例として、α＝１．１５、β＝０．８とする。
【００８６】
ステップ８４：髪領域選定部１１は、顔表面モデル１４から得られる目の位置より上の頭輪郭内にあって、明度Ｌが（数３）を満たす画素を、除去領域１５に含める。
【００８７】
ステップ８５：髪領域選定部１１は、頭輪郭内にあって、除去領域１５に含まれない画素を４連結で領域分割し、その構成画素数がθｎより小さい領域を、孤立点として除去領域１５に含める。θｎはしきい値であり、一例としてθｎ＝１０とする。
【００８８】
ステップ８６：髪領域選定部１１は、最後に目、鼻、口、眉は除去してはならない領域であるから、除去領域１５からそれらの領域に含まれる画素を取り除く。
【００８９】
（実施の形態３）
以下、本発明の第３の実施の形態における画像処理装置について説明する。本実施の形態の構成、正面顔画像１３と顔表面モデル１４は、第１の実施の形態と同様である。本実施の形態は、第１の実施の形態に対して、髪領域選定部１１と除去領域変更部１２の動作が異なる。以下その部分を説明する。
【００９０】
まず髪領域選定部１１の動作について説明する。本実施の形態では、明度と彩度を用いることによって、頭髪とその頭髪による影との領域を除去領域１５とする。すなわち、明度が小さい部分、またはある程度明度は大きいが彩度が小さい部分を、頭髪又はその頭髪の影とする。
【００９１】
まず、髪領域選定部１１は、顔表面モデル１４から得られる頭輪郭内の目より下の領域で、明度Ｌが（数１１）を満たし、かつ色相Ｈが（数１２）を満たす画素の、明度の平均値Ｌａ及び最大値Ｌｍと、彩度の平均値Ｓａ及び最大値Ｓｍを求める。
【００９２】
【数１１】
【００９３】
【数１２】
【００９４】
（数１１）の条件は、明らかに暗い部分の影響を排除するものであり、θｌ０はしきい値である。また、（数１２）の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θｈ０とθｈ１はしきい値ある。一例として、θｌ０＝６５、θｈ０＝１、θｈ１＝３０とする。目より下の領域の平均値と最大値をとるのは、額のほとんどが髪に覆われている場合でも処理できるようにするためである。 髪領域選定部１１は、Ｌａ、ＬｍおよびＳａを用いて、（数１３）によりしきい値θｌ１、θｓを求める。
【００９５】
【数１３】
【００９６】
（数１３）のα、β、γはある実数である。一例としてα＝１．１５、β＝０．８、γ＝０．８とする。また、ｍｉｎ（ａ，ｂ）はａとｂのうち大きくない方の値をとる関数である。
【００９７】
髪領域選定部１１は、（数１３）で求めたθｌ１、θｓを用いて、 頭髪とその頭髪による影との領域を除去領域１５とする。
【００９８】
髪領域選定部１１は、まず、目と眉の間以外の部分では、明度Ｌ、彩度Ｓが（数１４）または（数１５）を満たす画素の集合を除去領域１５とする。
【００９９】
【数１４】
【０１００】
【数１５】
【０１０１】
（数１５）のａはある実数であり、一例としてａ＝１．１とする。
【０１０２】
次に、髪領域選定部１１は、目と眉の間の部分では（数１６）を満たす画素の集合を、除去領域１５に含める。
【０１０３】
【数１６】
【０１０４】
（数１６）のｂはある実数であり、一例としてｂ＝０．８５とする。これは、目と眉の間の部分は、額などと比べて若干暗いものであることを考慮したものである。
【０１０５】
さらに、髪領域選定部１１は、頭輪郭内にあって、除去領域１５に含まれない画素を、４連結で領域分割する。そして、その構成画素数がθｎより小さい領域を、孤立点として、除去領域１５に含める。θｎはしきい値であり、一例としてθｎ＝１０とする。
【０１０６】
最後に、髪領域選定部１１は、目、鼻、口、眉は除去してはならない領域であるから、これらの領域内の画素が除去領域１５に含まれていれば、除去領域１５から取り除く。
【０１０７】
次に除去領域変更部１２の動作について説明する。
【０１０８】
除去領域変更部１２は、頭輪郭内の各画素に対して、下から上へ順に、水平走査線毎に各画素の変更処理を行う。すなわち、直線ｙ＝ｙ０で頭輪郭内の領域を切った切口の線分をＦ＝［ｘｓ， ｘｅ］とすると、この線分Ｆに対して各画素値の変更処理を行う。線分Ｆの処理が終れば、直線ｙ＝ｙ０−１で顔領域を切った切口の線分Ｆ１＝［ｘｓ１， ｘｅ１］に対して、各画素値の変更処理を行う。
【０１０９】
図９は、本実施の形態における除去領域変更部１２の動作を説明するための図である。図９において、除去領域変更部１２は、目、鼻、口を含む点線で囲まれた領域９１の領域内の画素が除去領域１５に含まれている場合は、その画素を除去領域１５から除く。
【０１１０】
除去領域変更部１２は、頭輪郭内の目より上の領域において、除去領域１５が占める割合がθｒより大きい場合は、額がほとんど髪に覆われているとして、画素値の変更の前に特別な前処理を行う。ここでθｒはしきい値であり、一例としてθｒ＝０．９とする。
【０１１１】
図９において、領域９２は、頭輪郭内における眉を含む水平走査線とその上下近傍の水平走査線によって構成される領域である。除去領域変更部１２は、その前処理として、その領域９２内のすべての線分Ｆの中点に対して、その中点が除去領域１５に含まれているか否かを確認する。除去領域変更部１２は、その中点が除去領域１５に含まれていれば、その中点にある画素の色相を目の間の適当な点にある画素の色相の値に変更し、またその明度をＬａ、その彩度をＳａに変更して、除去領域１５から取り除く。
【０１１２】
除去領域変更部１２は、ｙ＝ｙ０における線分Ｆに対して、除去領域１５に含まれる連続した画素の集合を求め、その画素の集合毎に、ｘ座標の小さな順から画素値の変更処理を行う。
【０１１３】
あるひとつの画素の集合の両端点のｘ座標を、それぞれｘ０、ｘ１とする。
【０１１４】
ここでｘ０＝ｘｓかつｘ１＝ｘｅの場合は特別な処理を要する。これは線分Ｆの画素値をすべて変更する場合であり、その線分Ｆ内の画素値を全く用いることができない。ｘ０＝ｘｓかつｘ１＝ｘｅとなるのは、目より上の領域だけであるから、除去領域変更部１２は、その線分Ｆ内の画素値の変更に、ｙ＝ｙ０＋１で頭輪郭を切った切口である線分Ｆ’＝［ｘｓ’， ｘｅ’］における画素値を用いる。
【０１１５】
すなわち、除去領域変更部１２は、Ｆ、Ｆ’の中点をそれぞれｘｃ、ｘｃ’とし、線分Ｆ上の任意の点Ｐのｘ座標をＸとすると、（数１７）によって線分Ｆ’上の点Ｐ’（Ｘ’，ｙ０＋１）を求める。
【０１１６】
【数１７】
【０１１７】
除去領域変更部１２は、この点Ｐ’の画素の色を点Ｐの画素の色とする。ただし、点Ｐ’が目の領域又は眉領域内の点の場合は、点Ｐを変更せずに残しておく。そして、線分Ｆ全体に対してこの変更処理を行った後、その残した部分を線形補間によって画素値の変更を行う。
【０１１８】
次に、ｘ０≠ｘｓまたはｘ１≠ｘｅの場合の処理について説明する。画素値の変更に用いる色相は、頭輪郭内の一部から複数個の画素を取り出し、それを順次用いる。一例として、眉間から５×５の画素ブロックを取り出して、それを順次マッピングすることとする。また、変更後のある画素の明度をＬ、彩度をＳとすると、Ｓは（数１８）により与えられる。
【０１１９】
【数１８】
【０１２０】
これは、彩度を髪のかかっていない肌の明度と彩度の比率から求めるもので、影などによる影響をなくす効果がある。
【０１２１】
以下、変更後の各画素の明度Ｌを求める方法について説明する。点（ｘ０， ｙ０）の画素に当てはめる明度をＬ０、点（ｘ１， ｙ０）の画素に当てはめる明度をＬ１とする。その画素集合内の点Ｐ（Ｘ， ｙ０）の画素に割り付けられる明度Ｌを（数１９）により求める。
【０１２２】
【数１９】
【０１２３】
（数１９）のｆは、０≦ｆ≦１の値をとる関数である。そして、Ｌは、Ｌ０、Ｌ１、ｆが第１の実施の形態と同様のものとして算出される。
【０１２４】
最後に、変更された画素の領域及びその近傍における画素の各々に対する明度と彩度の平滑化は、第１の実施の形態と同様の方法により行われる。
【０１２５】
（実施の形態４）
以下、本発明の第４の実施の形態における画像処理装置について説明する。本実施の形態は、除去領域変更部１２がゆらぎ生成部を具備したもので、第３の実施の形態に対しては除去領域変更部１２の動作だけが異なる。
【０１２６】
除去領域変更部１２の動作について説明する。
【０１２７】
ゆらぎ生成部は、ランダムに発生する数値や、マッピングする画素の位置によって確率的に発生させる数値を用いて、色相、明度、彩度にゆらぎを与えるものである。人の肌の色相、明度、彩度の分布は、もともと平滑なものではなく、ある程度不規則なものであるから、ランダムに発生する数値を用いてゆらぎを与えることにより、よりリアルな結果が得られる。また、位置によって確率的に発生させる数値を用いることにより、しわやしみなどをつけることができる。
【０１２８】
ゆらぎ生成部の動作について説明する。関数Ｒは、ある範囲の間の整数値を不規則に発生するものである。一例として、−５以上５以下の整数値を不規則に発生する関数を用いる。また、関数Ｆ（ｘ， ｙ）は、マッピングする画素Ｐ（ｘ， ｙ）の頭輪郭内の位置から、確率的に数値を発生させるものである。関数Ｆが発生させる数値の範囲とその確率は、つけるしわやしみによって一意に定まるものである。まず、画素Ｐにマッピングされる画素値の色相Ｈ、明度Ｌ、彩度Ｓを第３の実施の形態と同様に求める。ここから、関数Ｒと関数Ｆを用いて、（数２０）のようにＬ’、Ｓ’を求める。
【０１２９】
【数２０】
【０１３０】
ゆらぎ生成部は、このＬ’とＳ’を用いて画素Ｐにマッピングし、除去領域１５の変更を行う。
【０１３１】
なお、本実施の形態では、ランダムな数値を発生させる関数Rを用いたが、肌の色相、明度、彩度の統計的分布が得られれば、それにしたがって数値を発生させて、ゆらぎを与えてもよい。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部を更に備えるとしてもよい。
【０１３２】
（実施の形態５）
図１０は、本発明の第５の実施の形態における画像処理装置のブロック図である。本実施の形態は、図１の実施の形態に対して、顔表面モデル生成部１０１を具備した点が異なる。顔表面モデル生成部１０１は、正面顔画像１３を用いて、その正面顔画像１３の顔の構造情報である顔表面モデル１４を生成する。顔表面モデル生成部１０１における顔表面モデル１４の生成については、特開平５−１９７７９３号公報、特開平４−１９９４７４号公報などの従来の方法を用いる。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【０１３３】
（実施の形態６）
図１１は、本発明の第６の実施の形態における画像処理装置のブロック図である。図１１において、頭髪画像調整部１１１は、顔表面モデル１１４と顔情報モデル１１６とに基づいて、頭髪画像１１５における頭髪が正面顔画像１１３における顔に適合するように、頭髪画像１１５とその頭髪画像１１５に対応する各画素の属性である髪情報１１７とに所定の変換を適用するものである。顔表面モデル１１４は、正面顔画像１１３の顔の構造情報を表す。顔情報モデル１１６は、頭髪画像１１５の顔の構造情報を表す。
【０１３４】
頭髪合成処理部１１２は、頭髪画像調整部１１１により変換された髪情報１１７に従って、頭髪画像調整部１１１により変換された頭髪画像１１８における頭髪を正面顔画像１１３に割り付けるものである。頭髪画像１１８は、頭髪画像調整部１１１により変換された頭髪画像１１５である。顔情報モデル１１９は、頭髪画像調整部１１１により変換された顔情報モデル１１６である。髪情報１１１０は、頭髪画像調整部１１１により変換された髪情報１１７である。頭髪合成画像１１１１は、正面顔画像１１３に頭髪画像１１８の頭髪が割り付けられた画像を表す。
【０１３５】
正面顔画像１１３と顔表面モデル１１４は、第１の実施の形態と同様のものである。頭髪画像１１５は、正面を向いた顔を撮影したディジタル画像であり、大きさが２５６×２５６画素であり、１画素につきＲＧＢ各８ビット深さのカラー画像である。頭髪画像１１５の顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル１１６は、顔表面モデル１１４と同様の構成である。髪情報１１７は、頭髪画像１１５を正面顔画像１１３に割り付ける時、その割付方法を指定する属性を与えるものである。髪情報１１７は、頭髪画像１１５と同じ大きさで、１要素が８ビットのビット幅を持つ二次元配列であり、その属性は、髪情報１１７の各要素に格納されている（図１２参照）。図１２に示すように、この配列の１要素が頭髪画像１１５の１画素に対応する。すなわち、髪情報１１７の配列をＡ（ｘ， ｙ）とすると、Ａ（ｘ０， ｙ０）が頭髪画像１１５の点（ｘ０， ｙ０）の画素の属性となる。以下の表１に本実施の形態で用いる属性とその意味を示す。
【０１３６】
【表１】
【０１３７】
表１と図１２において、１２１は属性１の領域を表し、１２２は属性２の領域を表し、１２３は属性３の領域を表す。
【０１３８】
次に、本実施の形態の動作について説明する。
【０１３９】
頭髪画像調整部１１１は、頭髪画像１１５の頭髪がマッピングする正面顔画像１１３の顔に適合するように、頭髪画像１１５の調整を行う。本実施の形態では、頭髪画像１１５の調整の一例として、その頭髪画像１１５における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ正面顔画像１１３における頭輪郭の水平、垂直両方向の大きさと位置に一致させる方法を用いる。
【０１４０】
図１３は、頭髪画像調整部１１１の構成図である。大きさ調整手段１３１は、頭髪画像１１５の顔の大きさを、正面顔画像１１３の顔の大きさと一致するように、頭髪画像１１５と顔情報モデル１１６と髪情報１１７を変換する。頭髪画像１３３は、大きさ調整手段１３１により変換された頭髪画像１１５を表す。顔情報モデル１３４は、大きさ調整手段１３１により変換された顔情報モデル１１６を表す。髪情報１３５は、大きさ調整手段１３１により変換された髪情報１１７を表す。
【０１４１】
位置調整手段１３２は、頭髪画像１３３における頭輪郭の位置と、正面顔画像１１３における頭輪郭の位置とが一致するように、頭髪画像１３３と顔情報モデル１３４と髪情報１３５を変換する。
【０１４２】
次に、大きさ調整手段１３１の処理について具体的に説明する。大きさ調整手段１３１は、顔表面モデル１１４から、図１４に示すような頭輪郭の大きさｄｖとｄｈとを求める。ｄｖは頭輪郭の垂直方向（ｙ軸方向）の最大の高さであり、ｄｈは頭輪郭を目と鼻の頭の中間の点を通る水平線で切った切口の線分の長さである。この線分の長さを頭輪郭の水平方向（ｘ軸方向）の大きさとする。
【０１４３】
これと同様にして、大きさ調整手段１３１は、顔情報モデル１１６から、頭髪画像１１５における頭輪郭の垂直方向の大きさｄｖ’と水平方向の大きさｄｈ’とを求める。
【０１４４】
大きさ調整手段１３１は、それらの大きさの調整を、水平方向と垂直方向、それぞれ独立の倍率でスケーリングすることによって行う。水平方向の倍率をＳｈ、垂直方向の倍率をＳｖとすると、Ｓｈ、Ｓｖは（数２１）により与えられる。
【０１４５】
【数２１】
【０１４６】
大きさ調整手段１３１は、（数２１）により算出されたＳｈとＳｖによって、頭髪画像１１５を、ｘ軸方向にＳｈでスケーリングし、ｙ軸方向にＳｖでスケーリングして、頭髪画像１３３を得る。
【０１４７】
髪情報１１７は、頭髪画像１１５の大きさ合わせと同様の処理によって、髪情報１３５に変換される。
【０１４８】
スケーリングの方法としては、最近隣接法などがある。また、大きさ調整手段１３１は、顔情報モデル１１６が各特徴点毎にｘ座標とｙ座標を持っているため、そのｘ座標をＳｈ倍、ｙ座標をＳｖ倍することによって大きさの調整を行う。すなわち、顔情報モデル１１６の任意の頂点Ｐ（ｘ， ｙ）は、（数２２）によって顔情報モデル１３４の頂点Ｐ’（ｘ’， ｙ’）に変換される。
【０１４９】
【数２２】
【０１５０】
次に、位置調整手段１３２の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔｈ、垂直方向の変位をΔｖとする。ΔｈとΔｖは、それぞれ以下のように求める。
【０１５１】
図１５は、位置調整手段１３２の動作を説明するための図である。図１５における顔は、正面顔画像１１３の顔である。点Ｐｎは、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表す。点Ｐｅは、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点を表す。点Ｐｍは、点Ｐｎと点Ｐｅを結ぶ線分の中点を表す。
【０１５２】
これと同様にして、位置調整手段１３２は、頭髪画像１３３に対しても、中点Ｐｎ’、中点Ｐｅ’、中点Ｐｍ’を求める。点Ｐｎ’は、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点である。中点Ｐｅ’は、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点である。中点Ｐｍ’は、点Ｐｎ’と点Ｐｅ’を結ぶ線分の中点である。
【０１５３】
そこで、これらの中点をそれぞれＰｍ（ｘｆ， ｙｆ）、Ｐｍ’（ｘｈ， ｙｈ）とすると、ΔｈとΔｖは、それぞれ（数２３）により与えられる。
【０１５４】
【数２３】
【０１５５】
頭髪画像１３３上の任意の点Ｐ（ｘ， ｙ）は、（数２４）によって、点Ｐ’（Ｘ， Ｙ）に変換され、頭髪画像１１８が生成される。
【０１５６】
【数２４】
【０１５７】
同様に、髪情報１３５の任意の要素Ａ（ｘ， ｙ）は、Ａ’（Ｘ， Ｙ）に変換され、髪情報１１１０が生成される。また、顔情報モデル１３４上の任意の頂点Ｐｆ（ｘ， ｙ）もＰｆ’（Ｘ， Ｙ）に変換され、顔情報モデル１１９が生成される。
【０１５８】
なお、顔情報モデル１１６や顔情報モデル１３４に対する処理は、顔情報モデル１１６におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【０１５９】
次に頭髪合成処理部１１２の動作について説明する。頭髪合成処理部１１２も、第１の実施の形態と同様に、ＲＧＢの色情報ではなく、画素値を色相、明度、彩度に変換し、０から２５５の整数値に正規化したものを用いる。
【０１６０】
図１６は、頭髪合成処理部１１２の構成図である。図１６において、１６１は合成情報生成部である。１６２は、髪情報１６７の属性に従って、正面顔画像１１３の色相と頭髪画像１１８の色相とを用いて、色相を生成する色相合成部である。１６３は、髪情報１６７の属性に従って、正面顔画像１１３の明度と頭髪画像１１８の明度とを用いて、明度を生成する明度合成部である。１６４は、髪情報１６７の属性に従って、正面顔画像１１３の彩度と頭髪画像１１８の彩度とを用いて、彩度を生成する彩度合成部である。１６５は、色相合成部１６２により生成された色相と、明度合成部１６３により生成された明度と、彩度合成部１６４により生成された彩度を入力し、これらから色を求めて、正面顔画像１１３にマッピングし、頭髪合成画像１１１１を生成するマッピング処理部である。１６６は、合成情報生成部１６１によって生成された合成情報である。１６７は、合成情報生成部１６１によって修正された髪情報である。
【０１６１】
合成情報生成部１６１は、正面顔画像１１３と頭髪画像１１８の色情報から、色相合成部１６２、明度合成部１６３、彩度合成部１６４が生成処理する時に用いる合成情報１６６を生成する。これと同時に、合成情報生成部１６１は、マッピング先の正面顔画像１１３の画素の色情報を調べ、髪情報１１１０を修正して髪情報１６７を出力する。本実施の形態においては、合成情報１６６の一例として明度の平均値を用いる。また髪情報１１１０の修正は、一例として、正面顔画像１１３の明度の小さい画素に対するマッピングを属性２のマッピングに変更することとした。
【０１６２】
まず、合成情報生成部１６１の動作について説明する。合成情報生成部１６１は、頭髪画像１１８の頭輪郭内で眉より上の領域の画素のうち、髪情報１１１０によって与えられる属性が３のものの明度の平均値Ｌｈａを求める。また、合成情報生成部１６１は、正面顔画像１１３における頭輪郭内の眉より上の部分の点Ｐ（ｘ， ｙ）の明度Ｌが数（２５）を満たす画素を調べる。
【０１６３】
【数２５】
【０１６４】
（数２５）のθｌはしきい値であり、その一例としてθｌ＝９５とする。この画素は暗い画素で、髪である可能性が高い。そのため、（数２５）を満たす画素が頭髪合成画像１１１１に残らないようにするため、合成情報生成部１６１は、髪情報１１１０のＡ（ｘ， ｙ）を属性２とし、髪情報１６７を作成する。さらに、合成情報生成部１６１は、（数２５）を満たさない画素の明度の平均値Ｌｆａを求める。
【０１６５】
色相合成部１６２、明度合成部１６３及び彩度合成部１６４の各々で行われる処理は、髪情報１６７の画素の属性によって決定される。属性３の画素は、頭髪ではないためマッピングは行われない。属性１の画素は、前髪、生え際、前髪による影の部分の画素であるから、その画素値と、正面顔画像１１３上のマッピング先の画素値とを合成した値をマッピングする。属性２の画素は、その画素値を正面顔画像１１３上にそのままマッピングする。
【０１６６】
色相合成部１６２の動作について説明する。頭髪画像１１８の任意の画素Ｐｈ（ｘ， ｙ）の色相をＨｈ、髪情報１６７から得られる画素Ｐｈの属性をＡ（ｘ， ｙ）、画素Ｐｈがマッピングされる正面顔画像１１３の画素Ｐｆ（ｘ， ｙ）の色相をＨｆとすると、色相合成部１６２は、Ａ（ｘ， ｙ）にしたがって、ＨｆとＨｈとを用いて（数２６）によりＨを生成する。
【０１６７】
【数２６】
【０１６８】
色相合成部１６２は、属性１の場合、Ｈｆ及びＨｈの中間値をとる。ただし、色相は図１７に示すような角度で表されるため、ＨｆとＨｈは、（数２７）により補正されたものが用いられる。
【０１６９】
【数２７】
【０１７０】
また、Ｈは、（数２８）により補正されたものが用いられる。
【０１７１】
【数２８】
【０１７２】
明度合成部１６３の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の明度をＬｈ、Ｐｆ（ｘ， ｙ）の明度をＬｆとする。明度合成部１６３は、合成情報１６６から得られる明度の平均値ＬｆａとＬｈａを用いて、（数２９）によりＬｈとＬｆからＬを合成する。
【０１７３】
【数２９】
【０１７４】
明度合成部１６３は、属性１の場合の合成を平均値との差を用いて行う。
【０１７５】
彩度合成部１６４の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の彩度をＳｈ、Ｐｆ（ｘ， ｙ）の彩度をＳｆとする。ＳｆとＳｈは、（数３０）によりＳに合成される。
【０１７６】
【数３０】
【０１７７】
マッピング処理部１６５は、上記のようにして合成したＨ，Ｌ、ＳをＲＧＢの色に変換し、正面顔画像１１３の画素Ｐｆにその色をマッピングする。
【０１７８】
ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約５秒であった。
【０１７９】
なお、本実施の形態では、正面顔画像１１３と頭髪画像１１５は、ともに２５６×２５６の大きさのディジタル画像であるとしたが、他の大きさのものでもよい。
【０１８０】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造をしたものでもよい。
【０１８１】
更に、本実施の形態では、マッピング時の合成に、色相と彩度は同じ関数を用いたが、それぞれ独立の関数を用いても良い。
【０１８２】
また、合成情報としては、他に正面顔画像の色相、彩度の平均値も加え、色相合成部、彩度合成部において、属性１の場合の合成結果にその平均値を用いても良い。
本実施の形態における画像処理装置について以上に説明したように、前記人の画像は、その人の顔画像であり、前記構造情報は、前記人の顔の表面に対する構造情報であり、前記参照画像は、頭髪を有する前記別人の顔の画像である頭髪画像であり、前記別人の構造情報は、前記頭髪画像における前記別人の顔の表面に対する構造情報を示すものであり、前記所定部分は、頭髪又はその頭髪による影である頭髪部分であり、前記属性情報は、前記頭髪画像における各画素の属性をその画素に対応させて保持している髪情報であり、前記画像調整部は、前記髪情報と前記頭髪画像とに前記所定の変換を適用する頭髪画像調整部であり、前記合成処理部は、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部であるとしてもよい。
また、前記画像調整部は、前記人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報と、前記別人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報とを利用して、前記参照画像と前記参照画像の属性情報とに前記所定の変換を適用するとしてもよい。
また、前記合成処理部は、前記参照画像の属性情報の各画素の属性に従って、その属性の画素に対応する前記参照画像の画素値を用いて、又は前記属性の画素に対応する、前記参照画像の画素値と前記人の顔画像の画素値とを用いて、前記人の顔画像に割り付ける前記頭髪部分の各画素値を生成する生成部と、その生成部により生成された参照画像の所定部分の各画素値を前記人の顔画像に割り付けるマッピング処理部とを備えたとしてもよい。
また、前記画像処理装置は、前記マッピング処理部により参照画像の所定部分が割り付けられた人の顔画像を修正する合成画像修正部を更に備えたとしてもよい。
また更に、前記生成部は、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、色相を生成する色相合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、明度を生成する明度合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、彩度を生成する彩度合成部との少なくとも１つを備えたとしてもよい。
【０１８３】
（実施の形態７）
以下、図１８を参照しながら、本発明の第７の実施の形態における画像処理装置について説明する。図１８において、１８１はマッピング結果の画像に、顔領域と髪領域の間にすき間があった場合、そこを補間して修正を施す合成画像修正部を表す。１８２はこの画像処理装置の出力である頭髪合成画像を表す。髪領域選定部１１、除去領域変更部１２の処理は、第１の実施の形態または第２の実施の形態または第３の実施の形態または第４の実施の形態記載のものと同様である。また、頭髪画像調整部１１１の処理は、第６の実施の形態記載のものと同様である。
【０１８４】
頭髪合成処理部１１２の動作は、第６の実施の形態記載のものと合成情報生成部の処理が異なる部分があり、以下それを説明する。本実施の形態の画像処理装置では、頭髪合成処理部１１２において、髪除去画像１６に頭髪画像１１８をマッピングする。髪除去画像１６は頭髪およびその頭髪による影の部分を除去したものであるから、髪情報１１１０の修正の必要はない。よって、本実施の形態では、合成情報生成部１６１においてこの処理を行わない。また、除去領域１５を入力することにより、（数２５）のしきい値処理を行わず、除去領域１５に含まれない画素の明度の平均値Ｌｆａを求める。
【０１８５】
合成画像修正部１８１は、マッピング結果の画像を水平走査線毎に調べ、顔領域と髪領域の間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像１１８の画素が、頭髪画像１１８における顔の輪郭上の点、または輪郭内部の点と隣接していない場合は、補間を行わない。頭髪画像１１８における顔の輪郭は、顔情報モデル１１９より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目で平滑化を行う。平滑化の方法は第１の実施の形態などに記載したものと同様である。
【０１８６】
（実施の形態８）
以下、本発明の第８の実施の形態について説明する。本実施の形態は、入力の正面顔画像から第１の実施の形態または第２の実施の形態または第３の実施の形態または第４の実施の形態記載の画像処理装置によって頭髪とその頭髪による影との領域を除去し、除去した領域を変更した髪除去画像に、あらかじめ用意した頭髪を合成するものである。また、頭髪画像調整部は、顔表面モデルと顔情報モデルより得られる目、鼻、口、眉の位置および頭輪郭との距離、頭輪郭の位置および大きさのすべてまたは一部によって動作し、頭髪合成処理部は、髪除去画像と頭髪画像の合成に用いる情報を生成する合成情報生成部と、髪情報から得られる画素の属性によって指定された方法でテクスチャ情報を合成するテクスチャ情報合成部と、前記テクスチャ情報合成部によって合成された画素値を髪除去画像にマッピングするマッピング処理部と、マッピング後の結果画像に修正を加える合成画像修正部から構成されるものである。さらに、テクスチャ情報合成部は、色相合成部と明度合成部と彩度合成部から構成されるものである。
【０１８７】
図１９は、本実施の形態における画像処理装置のブロック図である。図１９において、１９１は頭髪画像調整部を表し、１９２は頭髪合成処理部を表し、１９３は頭髪画像を表し、１９４は頭髪画像１９３の顔の構造情報を表す顔情報モデルを表し、１９５は頭髪画像１９３の各画素の属性を表す髪情報を表し、１９６は頭髪画像１９３が頭髪画像調整部１９１によって変換された結果の頭髪画像を表し、１９７は顔情報モデル１９４が頭髪画像調整部１９１によって変換された結果の顔情報モデルを表し、１９８は髪情報１９５が頭髪画像調整部１９１によって変換された結果の髪情報を表し、１９９は髪除去画像１６に頭髪画像１９６の頭髪を合成した結果の頭髪合成画像を表す。
【０１８８】
入力の正面顔画像１３は、第１の実施の形態などと同様に、図２に示すような顔画像取り込み装置によって取り込まれた、大きさ２５６×２５６画素で、１画素につきＲＧＢ各８ビット深さのカラーのディジタル画像を用いる。顔は正面を向いたもので、頭の中心線はほぼ垂直である。顔表面モデル１４も第１の実施の形態などと同様のものである。頭髪画像１９３は正面を向いた顔を撮影したディジタル画像で、大きさ２５６×２５６画素、１画素につきＲＧＢ各８ビット深さのカラー画像である。頭髪画像１９３における顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル１９４は顔表面モデル１４と同様の構成である。
【０１８９】
髪情報１９５は、頭髪画像１９３の各画素を髪除去画像１６と合成する時、合成された画像をより自然なものとするために、その合成方法を指定する属性を与えるものである。髪情報１９５は頭髪画像１９３と同じ大きさで、１要素が８ビットのビット幅を持つ二次元配列である。図２０に示すように、この配列の１要素が頭髪画像１９３の１画素に対応する。すなわち、髪情報１９５の配列をＡ（ｘ， ｙ）とすると、Ａ（ｘ０， ｙ０）が頭髪画像１９３の点（ｘ０， ｙ０）の画素の属性となる。
【０１９０】
次の表２に本実施の形態で用いる属性とその意味を示す。
【０１９１】
【表２】
【０１９２】
この表２は、頭髪による影をつけたり、細かな前髪を自然に重ねたりして、合成された画像をよりリアルなものにするために設定されたものである。
【０１９３】
表２と図２０において、２０１は属性１の領域を表し、２０２は属性２の領域を表し、２０３は属性３の領域を表し、２０４は属性４の領域を表す。
【０１９４】
頭髪画像調整部１９１は、頭髪画像１９３の頭髪がマッピングする髪除去画像１６の顔に適合するように、頭髪画像１９３の調整を行う。本実施の形態では、頭髪画像１９３の調整の一例として、頭髪画像１９３における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ髪除去画像１６における頭輪郭の水平、垂直両方向の大きさと位置に一致させる。
【０１９５】
以下、このような調整を行う頭髪画像調整部１９１の動作を、図２１を参照しながら説明する。図２１において、２１１は頭髪画像１９３の顔の大きさが髪除去画像１６の顔の大きさと一致するように、頭髪画像１９３と顔情報モデル１９４と髪情報１９５を変換する大きさ調整手段を表し、２１３は大きさ調整手段２１１によって変換された頭髪画像を表し、２１４は大きさ調整手段２１１によって変換された顔情報モデルを表し、２１５は大きさ調整手段２１１によって変換された髪情報を表し、２１２は頭髪画像２１３の顔の頭髪画像２１３の中の位置と、髪除去画像１６の顔の髪除去画像１６の中の位置とが一致するように、頭髪画像２１３と顔情報モデル２１４と髪情報２１５を変換する位置調整手段を表す。
【０１９６】
大きさ調整手段２１１の動作について説明する。まず、顔表面モデル１４から図２２に示すような頭輪郭の大きさｄｖ１、ｄｖ２、ｄｈが得られる。ｄｖ１は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最上点の垂直方向（ｙ軸方向）の距離であり、ｄｖ２は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最下点の垂直方向の距離である。ｄｈは頭輪郭を鼻の頭の点を通る水平線で切った切口の線分の長さであり、これを頭輪郭の水平方向（ｘ軸方向）の大きさとする。
【０１９７】
同様に、顔情報モデル１９４から、頭髪画像１９３の顔の頭輪郭の垂直方向の大きさｄｖ１’、ｄｖ２’と、水平方向の大きさｄｈ’が得られる。その大きさの調整については、頭髪画像１９３と髪情報の各々を水平方向と垂直方向に、それぞれ独立の倍率でスケーリングすることによって行う。更に、垂直方向のスケーリングについては、鼻の頭の位置から上と下をそれぞれ独立の倍率でスケーリングする。水平方向の倍率をＳｈ、垂直方向の倍率を鼻の頭より上をＳｖ１、下をＳｖ２とすると、それぞれの倍率は、（数３１）により算出される。
【０１９８】
【数３１】
【０１９９】
大きさ調整手段２１１は、頭髪画像１９３をｘ軸方向にＳｈでスケーリングし、ｙ軸方向にＳｖ１とＳｖ２でスケーリングすることによって頭髪画像２１３を生成する。この頭髪画像１９３の大きさ合わせと同様の処理により、髪情報１９５は髪情報２１５に変換される。スケーリングの方法には、最近隣接法などの従来の方法を用いることができる。
【０２００】
また顔情報モデル１９４は、各特徴点毎に対応するｘ座標とｙ座標を持っているため、（数３２）によって顔情報モデル２１４に変換される。
【０２０１】
【数３２】
【０２０２】
ここで、鼻の頭の位置のｙ座標をｙｎとする。
【０２０３】
次に位置調整手段２１２の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔｈ、垂直方向の変位をΔｖとする。Δｈ、Δｖは以下のように求める。
【０２０４】
図２３は、位置調整手段２１２の動作を説明するための図である。図２３における顔は、髪除去画像１６の顔である。点Ｐｎは鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表し、点Ｐｅは目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点を表し、点Ｐｍは点Ｐｎと点Ｐｅを結ぶ線分の中点を表す。位置調整手段２１２は、頭髪画像２１３に対しても同様に、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点Ｐｎ’、目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点Ｐｅ’、点Ｐｎ’と点Ｐｅ’を結ぶ線分の中点Ｐｍ’を求める。 そこで、これらの中点をそれぞれＰｍ（ｘｆ， ｙｆ）、Ｐｍ’（ｘｈ， ｙｈ）とすると、ΔｈとΔｖは、それぞれ（数３３）により求められる。
【０２０５】
【数３３】
【０２０６】
頭髪画像２１３上の任意の点Ｐ（ｘ， ｙ）は、（数３４）によって点Ｐ’（Ｘ， Ｙ）に変換され頭髪画像１９６が生成される。
【０２０７】
【数３４】
【０２０８】
同様に、髪情報２１５の任意の要素Ａ（ｘ， ｙ）は、Ａ’（Ｘ， Ｙ）に変換され髪情報１９８が生成される。また顔情報モデル２１４上の任意の頂点Ｐｆ（ｘ， ｙ）もＰｆ’（Ｘ， Ｙ）に変換され、顔情報モデル１９７が生成される。
【０２０９】
なお、顔情報モデル１９４や顔情報モデル２１４に対する処理は、顔情報モデル１９４におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【０２１０】
次に頭髪合成処理部１９２の動作について説明する。頭髪合成処理部１９２における処理でも、第１の実施の形態などと同様にＲＧＢの色情報ではなく、画素値を色相、明度、彩度に変換し、０から２５５の整数値に正規化したものを用いる。
【０２１１】
図２４は、頭髪合成処理部１９２の構成図である。図２４において、２４１は合成情報生成部である。２４２は、髪情報１９８の属性に従って、髪除去画像１６の色相と頭髪画像１９６の色相とを用いて、色相を生成する色相合成部である。２４３は、髪情報１９８の属性に従って、髪除去画像１６の明度と頭髪画像１９６の明度とを用いて、明度を生成する明度合成部である。２４４は、髪情報１９８の属性に従って、髪除去画像１６の彩度と頭髪画像１９６の彩度とを用いて、彩度を生成する彩度合成部である。２４５は、色相合成部２４２により生成された色相と、明度合成部２４３により生成された明度と、彩度合成部２４４により生成された彩度とを入力し、それらからＲＧＢの色に変換し、髪除去画像１６にマッピングして頭髪合成画像１９９を生成するマッピング処理部である。２４６は合成情報生成部２４１によって生成された合成情報である。２４７は、マッピング結果の画像において、顔領域と頭髪領域との間にすき間があった場合、そこを補間して修正を施す合成画像修正部である。合成情報生成部２４１は、髪除去画像１６と頭髪画像１９６の色情報から、色相合成部２４２、明度合成部２４３、彩度合成部２４４が合成処理する時に用いる合成情報２４６を生成し出力する。本実施の形態では、合成情報２４６の一例として明度と彩度の平均値を用いる。
【０２１２】
まず、合成情報生成部２４１の動作について説明する。合成情報生成部２４１は、頭髪画像１９６における頭輪郭内で目より下の領域の画素のうち、髪情報１９８によって与えられる属性が３または４のものの明度の平均値Ｌｈａと彩度の平均値Ｓｈａを求める。また、合成情報生成部２４１は、第３の実施の形態における明度の平均値Ｌａと彩度の平均値Ｓａを合成情報２４６として取得する。
【０２１３】
色相合成部２４２、明度合成部２４３又は彩度合成部２４４で行われる処理は、髪情報１９８の属性により決定される。属性４の画素は頭髪ではないため、マッピングは行われない。属性１の画素は、前髪や生え際の画素であるから、その画素値と、髪除去画像１６上のマッピング先の画素値とを合成した値をマッピングする。属性２の画素は、その画素値を髪除去画像１６上にそのままマッピングする。属性３の画素は、頭髪による影であるから、マッピング先の画素の明度と彩度を若干落すことによって処理される。
【０２１４】
色相合成部２４２の動作について説明する。頭髪画像１９６の任意の画素Ｐｈ（ｘ， ｙ）の色相をＨｈ、髪情報１９８から得られる画素Ｐｈの属性をＡ（ｘ， ｙ）、画素Ｐｈがマッピングされる髪除去画像１６の画素Ｐｆ（ｘ， ｙ）の色相をＨｆとすると、色相合成部２４２は、Ａ（ｘ， ｙ）にしたがって、ＨｆとＨｈとを用いて（数３５）によりＨを生成する。
【０２１５】
【数３５】
【０２１６】
（数３５）の関数ｍｏｄ（ａ，ｂ）は整数ａを整数ｂで割った剰余を返すもので、属性１の場合では、合成画像の色相は交互に頭髪画像１９６、髪除去画像１６の色相をとることとなる。
【０２１７】
明度合成部２４３の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の明度をＬｈ、Ｐｆ（ｘ， ｙ）の明度をＬｆとする。明度合成部２４３は、合成情報２４６から得られる明度の平均値Ｌａ、Ｌｈａを用いて、（数３６）によりＬｈとＬｆからＬを合成する。
【０２１８】
【数３６】
【０２１９】
明度合成部２４３は、属性１の場合の合成を平均値の差を用いて行う。また、明度合成部２４３は、属性３においては肌の明度を下げる。ここで、σはある実数であり、一例としてＬａ／Ｌｈとした。また、関数ｍｉｎ（ａ，ｂ）は、実数ａ，ｂのうち大きくない方の値をとるものである。
【０２２０】
彩度合成部２４４の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の彩度をＳｈ、Ｐｆ（ｘ， ｙ）の彩度をＳｆとする。彩度合成部２４４は、合成情報２４６から得られる彩度の平均値Ｓａ、Ｓｈａを用いて、（数３７）によりＳｆとＳｈからＳを合成する。
【０２２１】
【数３７】
【０２２２】
（数３７）において、ａ、ｂ、ｃ、ｄは、ａ＋ｂ＝１、ｃ＋ｄ＝１を満たすある実数であり、一例としてａ＝０．３、ｂ＝０．７、ｃ＝０．４、ｄ＝０．６とした。
【０２２３】
マッピング処理部２４５は、上記のようにして合成したＨ，Ｌ，ＳをＲＧＢの色に変換し、髪除去画像１６の画素Ｐｆにその色をマッピングする。
【０２２４】
合成画像修正部２４７は、マッピング結果の画像を水平走査線毎に調べ、髪領域とその髪領域を含まない顔領域との間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像１９６の画素が、頭髪画像１９６における頭輪郭上の点、または頭輪郭内部の点と隣接していない場合は、補間を行わない。
【０２２５】
頭髪画像１９６における頭輪郭は、顔情報モデル１９７より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目にスムージングをかける。スムージングの方法は第１の実施の形態などに記載したものと同様である。
【０２２６】
ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約８秒であった。
【０２２７】
なお、本実施の形態では、正面顔画像１３と頭髪画像１９３は、ともに２５６×２５６の大きさのディジタル画像であるとしたが、他の大きさのものであるとしてもよい。
【０２２８】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造のものを用いてもよい。
【０２２９】
また、合成情報としては、他に正面顔画像の色相の平均値も加え、色相合成部において属性１の場合の合成結果にその平均値を用いても良い。
【０２３０】
また、本実施の形態では、明度合成部２４３は、属性１の場合の合成を平均値の差を用いて行うとしたが、属性１と属性３の合成を平均値の比率によって明度値を求め、マッピングを行うとしてもよい。すなわち、（数３６）の代わりに（数３８）を用いても良い。
【０２３１】
【数３８】
【０２３２】
なお、本実施の形態における画像処理装置については、以上に説明したように、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記画像における少なくとも１つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、前記構造情報と、別人の画像である参照画像におけるその別人の構造情報とに基づいて、前記別人の所定部分が前記画像に適合するように、その人の画素に対応させて保持している属性情報に基づいて、前記参照画像における各画素の属性とその参照画像とに所定の変換を適用する画像調整部と、その所定の変換が適用された属性情報に従って、前記所定の変換が適用された参照画像における所定部分を前記画像に割り付ける合成処理部とを備えたことを特徴とする。
また、顔の画像である顔画像の全部または一部における各画素値と、その顔画像における顔の表面に対する構造情報を示す顔表面モデルとに基づいて、その顔画像における頭髪又は頭髪及びその頭髪による影を除去領域に選定する髪領域選定部と、前記顔表面モデルにおける構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記除去領域の全部又は一部における各画素値を変更する除去領域変更部と、前記顔表面モデルと、頭髪を有する別の顔の画像である頭髪画像におけるその別の顔の表面に対する構造情報を示す顔情報モデルとに基づいて、前記別人の頭髪又はその頭髪及びその頭髪による影である頭髪部分が、前記顔画像に適合するように、前記頭髪画像の画素の各々に対する属性をその画素に対応させて保持している髪情報とその頭髪画像とに所定の変換を適用する頭髪画像調整部と、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部とを備えたことを特徴とする。
（実施の形態９）
以下、図２５を参照しながら本発明の第９実施の形態における画像処理装置について説明する。本実施の形態は、顔表面モデル生成部１０１によって生成された顔表面モデル１４を、髪領域選定部１１、除去領域変更部１２、頭髪画像調整部１９１、頭髪画像合成部１９２の入力としたこと以外は、第７の実施の形態または第８の実施の形態記載のものと同様のものである。
本実施の形態における画像処理装置について以上に説明したように、前記人の顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【０２３３】
（実施の形態１０）
図２６は、本発明の第１０の実施の形態のブロック図である。本実施の形態は、第８の実施の形態の画像処理装置と画像表示装置から構成される顔画像表示装置に関するものである。図２６において、２６１は頭髪画像データベースを表し、２６２は頭髪画像選択装置を表し、２６３は画像表示装置を表す。頭髪画像データベース２６１は、合成する頭髪画像、顔情報モデル、髪情報を多数保持しており、頭髪画像選択装置２６２は、頭髪画像データベース２６１から、ある頭髪画像、顔情報モデル、髪情報を選択して出力する。画像表示装置２６３は正面顔画像１３、髪除去画像１６、頭髪合成画像１９９や頭髪画像データベース２６２から得られる頭髪画像を複数同時に表示する。顔表面モデル１４と顔情報モデル１９４は同様の構成をしていることから、頭髪画像を入力の正面顔画像１３とすることもできる。
【０２３４】
本実施の形態の顔画像表示装置によって、複数の顔画像を同時に表示し、その頭髪を交換して表示することが可能である。これにより、対象人物の髪形を、別のある人物の髪形を選んで変更し、表示させることが可能となる。また、複数の頭髪画像を表示し、その頭髪を交換することも可能である。このような顔画像表示装置によって、取り替える髪形を、髪形だけが写った画像から選ぶよりも、ある人物の髪形として選ぶ方がよりイメージが描きやすいといった効果がある。
【０２３５】
上述した実施の形態は、頭髪合成に関するものであるが、同様の方式により鬚、耳、首、装飾品、衣服といったものを顔画像に合成することにも応用できる。以下、それぞれについて説明する。
【０２３６】
鬚を合成する処理について説明する。この場合、髪情報における属性１又は２を頭髪画像における鬚の領域とする。図２７において、ｄｍは水平方向の口の幅を表す。またｄｎは、口の領域の最上位点を通る水平方向の直線と、鼻の頭を通る水平方向の直線との間の距離である。この距離を口と鼻の距離とする。頭髪画像におけるｄｍとｄｎがそれぞれ正面顔画像におけるｄｍとｄｎに一致するように、大きさの調整を行う。すなわち、水平方向のスケーリングの倍率Ｓｈは、正面顔画像における水平方向の口の幅ｄｍと、頭髪画像における水平方向の口の幅ｄｍ’によって、（数３９）のように決まる。
【０２３７】
【数３９】
【０２３８】
また、垂直方向のスケーリングの倍率Ｓｖは、正面顔画像における口と鼻の距離ｄｎと、頭髪画像における口と鼻の距離ｄｎ’によって（数３９）のように決まる。このＳｈとＳｖを用いて、頭髪画像を水平方向に倍率Ｓｈで、垂直方向に倍率Ｓｖでスケーリングして、大きさの調整を行う。
【０２３９】
次に、鬚を合成する場合の位置の調整について説明する。図２８において、Ｐｎは、鼻の頭を通る水平方向の直線により頭輪郭を切った切口の線分の中点である。また、Ｐｍは、口の領域の最上位点を通る水平方向の直線により頭輪郭を切った切り口の線分の中点である。Ｐｃは、ＰｎとＰｍとを結んだ線分の中点であり、位置の調整の基準点となる。位置の調整のために、正面顔画像における基準点Ｐｃと、頭髪画像における基準点Ｐｃ’とが、同一画面において同じ位置となるように頭髪画像の平行移動が行われる。これらの基準点をそれぞれＰｃ（ｘｆ，ｙｆ）とＰｃ’（ｘｈ，ｙｈ）であるとすれば、水平方向の移動量であるΔｈと垂直方向の移動量であるΔｖは、それぞれ（数２３）により与えられる。このΔｈとΔｖを（数２４）に代入して得られるＸとＹを頭髪画像の位置とすることにより、位置の調整が行われる。頭髪合成処理部では、上記頭髪を合成する場合と同様の処理を行う。
【０２４０】
次に、耳を合成する処理について説明する。まず、表２に示した属性の他に耳に対する属性５を追加する。髪情報は、頭髪画像における耳の領域を属性５に設定する。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の方法で行う。頭髪合成処理部は、上記頭髪合成の場合の（数３５）を（数４０）に、（数３６）を（数４１）に、（数３７）を（数４２）にそれぞれ置き換えて処理する。
【０２４１】
【数４０】
【０２４２】
【数４１】
【０２４３】
【数４２】
【０２４４】
ここで、（数４０）のＨ０は顔領域の適当な位置における画素の色相である。ここでは、眉間の画素を用いるとする。
【０２４５】
装飾品を合成する処理を説明する。この場合、頭髪画像の装飾品の領域の属性を２として髪情報を構成する。（数２１）の倍率Ｓｈを用いて、頭髪画像を（数４３）にしたがってスケーリングすることにより、大きさの調整を行う。
【０２４６】
【数４３】
【０２４７】
倍率には、Ｓｈ以外に、（数２１）のＳｖ又は（数３１）のＳｖ１若しくはＳｖ２を用いてもよい。
【０２４８】
頭髪合成処理部は、上記頭髪の合成の場合と同様の処理を行う。
【０２４９】
次に、首と衣服の合成について説明する。但し、衣服は首に付随したものとして処理する。この場合、髪情報における属性５を頭髪画像における首の肌が見えている領域とする。また、属性２を衣服の部分の領域とする。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の処理を行う。頭髪合成処理部は、耳を合成する場合と同様の処理を行う。
本実施の形態における画像処理装置について以上に説明したように、前記合成処理部により参照画像の所定部分が割り付けられた顔画像を複数表示する画像表示部を更に備えるとしてもよい。
【０２５０】
【発明の効果】
以上のように、本発明によれば、自動的に、違和感の少ない頭髪合成画像を生成することができる。
【０２５１】
また、本発明によれば、ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータを用いれば、撮影から頭髪合成終了までを実用時間の十数秒で処理することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図である。
【図２】正面顔画像１３を取り込む顔画像取り込み装置の一例を示す図である。
【図３】図２に示す顔画像取り込み装置により取り込まれた正面顔画像１３の一例を示す図である。
【図４】顔表面モデル１４の一例を示すワイヤーフレームモデルの図である。
【図５】除去領域変更部１２による画素値変更の動作を説明するための図である。
【図６】（ａ）は（数７）におけるｆの特性図であり、（ｂ）は（数８）におけるｆの特性図である。
【図７】平滑化に用いるマスクの構成図である。
【図８】第２の実施の形態における髪領域選定部１１の処理の手順を示すフローチャートである。
【図９】第３の実施の形態における除去領域変更部１２の動作を説明するための図である。
【図１０】本発明の第５の実施の形態における画像処理装置のブロック図である。
【図１１】本発明の第６の実施の形態における画像処理装置のブロック図である。
【図１２】第６の実施の形態における頭髪画像と髪情報との対応図である。
【図１３】頭髪画像調整部１１１の構成図である。
【図１４】第６の実施の形態における大きさ調整手段の動作の説明図である。
【図１５】位置調整手段１３２の動作を説明するための図である。
【図１６】頭髪合成処理部１１２の構成図である。
【図１７】色相の説明図である。
【図１８】本発明の第７の実施の形態における画像処理装置のブロック図である。
【図１９】第８の実施の形態における画像処理装置のブロック図である。
【図２０】第８の実施の形態における頭髪画像と髪情報との対応図である。
【図２１】頭髪画像調整部１９１の構成図である。
【図２２】第８の実施の形態における大きさ調整手段の動作の説明図である。
【図２３】第８の実施の形態における位置調整手段の動作の説明図である。
【図２４】頭髪合成処理部１９２の構成図である。
【図２５】本発明の第９実施の形態における画像処理装置のブロック図である。
【図２６】本発明の第１０の実施の形態のブロック図である。
【図２７】鬚を合成する場合における大きさ調整手段の動作の説明図である。
【図２８】鬚を合成する場合における位置調整手段の動作の説明図である。
【符号の説明】
１１…髪領域選定部
１２…除去領域変更部
１３…正面顔画像
１４…顔表面モデル
１５…除去領域
１６…髪除去画像
１０１…顔表面モデル生成部
１１１…頭髪画像調整部
１１２…頭髪合成処理部
１３１…大きさ調整手段
１３２…位置調整手段
１６１…合成情報手段
１６２…色相合成部
１６３…明度合成部
１６４…彩度合成部
１６５…マッピング処理部
１８１…合成画像修正部
１９１…頭髪画像調整部
１９２…頭髪合成処理部
２１１…大きさ調整手段
２１２…位置調整手段
２４１…合成情報生成部
２４２…色相合成部
２４３…明度合成部
２４４…彩度合成部
２４５…マッピング処理部
２４７…合成画像修正部
２６２…頭髪画像選択装置
２６３…画像表示装置
【発明の属する技術分野】
本発明は、人物のコンピュータグラフィックスにおいて、髪型を実用時間で自動的に違和感なく他のものに取り替えて表示することができる画像処理装置に関するものである。
【０００２】
【従来の技術】
従来、ある人物の画像に別の頭髪を割り付ける画像処理において、その人物の画像から頭髪が除去された画像をその画像処理の前処理として生成する場合、髪を括るなどして撮影して得られた髪が顔にかかっていない画像を取り込むか、或いはその人物の画像の頭髪の領域を手作業によって除去するかによって、その頭髪が除去された画像が得られていた。
【０００３】
そして、その得られた頭髪が除去された画像に別の頭髪を割り付ける場合、手作業により頭髪が除去された画像に別の頭髪をペーストすることにより行われていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の方法では、髪を括って撮影しても髪が完全に除去されず残ってしまう場合があり、そのため別の頭髪を割り付ける画像処理により得られた画像に元の頭髪が残ってしまうという課題があった。
【０００５】
また、手作業で頭髪を除去する場合、かなりの時間を費やさなければならないという課題があった。
【０００６】
更に、頭髪が除去された画像に別の頭髪をペーストするだけの従来の画像処理により得られた画像にはかなりの違和感があった。
【０００７】
本発明は、顔の正面画像から頭髪を除去し、その頭髪を除去した部分の頭の形を推定し、その推定した頭の範囲内をその顔の肌の色で塗りつぶす処理を行う画像処理装置を提供することを目的とする。
【０００８】
また、本発明は、顔の正面画像に適合するように別の頭髪を調整し、更にその頭輪郭内の色情報を用いることにより、違和感の少ない画像処理を行う画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この課題を解決するため、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と、前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部とを備えたことを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記顔画像における頭髪及び影部分を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記領域選定部により選定された前記領域の外周近傍の前記画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備えたことを特徴とする画像処理装置である。
【００１９】
また、本発明は、人の画像における構造情報と、別人の画像である参照画像における構造情報とに基づいて、前記別人の画像の所定部分が、前記人の画像に適合するように、前記参照画像に所定の変換を適用する画像調整部と、前記所定の変換が適用された参照画像における所定部分を前記人の画像に割り付ける合成処理部とを備えたことを特徴とする画像処理装置である。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００３０】
図１は、本発明の第１の実施の形態に係る画像処理装置のブロック図である。図１において、本実施の形態における画像処理装置は、髪領域選定部１１と除去領域変更部１２とにより構成される。髪領域選定部１１は、首から上の正面画像である正面顔画像１３（図３参照）とその正面顔画像１３に対する顔から上の各部の構造情報を表す顔表面モデル１４（図４参照）とを用いて、正面顔画像１３における頭髪とその頭髪による影（図３では示されていない。）との領域を除去領域１５とし、その除去領域１５を送出するものである。但し、図４に示す顔表面モデル１４では、耳は除去されている。
【００３１】
除去領域変更部１２は、顔表面モデル１４の情報を考慮して、正面顔画像１３における顔の画素値に基づいて、正面顔画像１３における除去領域１５の全部又は一部の画素値の各々を変更し、髪除去画像１６を生成するものである。なお、除去領域変更部１２は、除去領域１５の一部の画素値の各々を変更した場合、正面顔画像１３における顔の画素値とは別の値を用いて、除去領域１５の残部の画素値の各々を変更する。
【００３２】
図２は、正面顔画像１３を取り込む顔画像取り込み装置の例を示す図である。正面顔画像１３は、図２に示す顔画像取り込み装置によって取り込まれたディジタル画像である。図２において、２１は撮影用のビデオカメラである。２２はビデオカメラ２１の画像をディジタルに変換するためのＡ／Ｄ変換器である。２３はビデオカメラ２１を固定する器具である。２４はビデオカメラ２１により撮影される対象人物を表す。
【００３３】
ビデオカメラ２１は、器具２３によって水平に固定される。Ａ／Ｄ変換器２２は、ビデオカメラ２１で撮影されたアナログ画像をディジタル画像に変換し、正面顔画像１３を生成する。正面顔画像１３は、２５６×２５６画素の大きさであり、１画素につきＲＧＢ各８ビット深さのカラー画像である。また、正面顔画像１３の背景色は単色である。
【００３４】
図３は、図２に示す顔画像取り込み装置により取り込まれた正面顔画像１３の一例を示す図である。図３における正面顔画像１３は、首から上全部が写った顔が正面を向いている。その顔は、無表情で眼鏡と口鬚がなく、その頭の中心線はほぼ垂直である。また、前髪は額の全部を覆っていない。この正面顔画像１３にはｘｙ座標が導入される。
【００３５】
図４は、顔表面モデル１４の一例を示すワイヤーフレームモデルの図である。そのワイヤーフレームの各頂点は、顔の輪郭、目、鼻、口、眉を代表する特徴点と、それらの特徴点の間に配置される、顔の三次元構造を考慮して得られた点からなる。図４における特徴点とは円印の入った頂点をいう。
【００３６】
各頂点は、その頂点の画像上のｘ座標とｙ座標のデータを有する。また、各頂点には所定の番号付けがなされ、画像上の頂点の位置は、その番号により特定される。顔表面モデル１４は、これら頂点とその連結情報によって構成される。
【００３７】
この顔表面モデル１４は、図３における正面顔画像１３における顔を認識することにより生成される。即ち、正面顔画像１３における顔を認識し、その認識した顔に合わせて、予め用意された標準のワイヤーフレームモデルの各頂点を移動させることにより生成される。
【００３８】
したがって、顔表面モデル１４は、人によりそのフレームの形状は異なるものとなるが、トポロジー的には同じものである。顔表面モデル１４を生成する処理には、特開平５−１９７７９３号公報、特開平４−１９９４７４号公報などにおける従来の手法を用いることができる。
【００３９】
特開平５−１９７７９３号公報、特開平４−１９９４７４号公報の処理は以下の通りである。まず、入力の正面顔画像から、テンプレートマッチングによって虹彩の認識を行い、それをもとに目の領域をテンプレートマッチングによって認識する。次に、認識された虹彩の位置を基準に、鼻、口、眉、頬の輪郭、頭頂点それぞれの探索範囲を設定する。それぞれの探索範囲の中で、テンプレートマッチングにより鼻、口、眉、頬の輪郭、頭頂点を認識する。このようにして認識された目、鼻、口、眉、頬の輪郭、頭頂点の各領域には、決まった特徴点が得られる。そして、あらかじめ用意した標準の顔のワイヤーフレームモデルの目、鼻、口、眉、頬の輪郭、頭頂点それぞれの特徴点が、認識の結果得られたそれぞれの特徴点と一致するように、標準のワイヤーフレームモデルの変形を行い、入力顔画像の顔の表面構造を表すワイヤーフレームモデルが得られる。本実施の形態では、このようにして生成されたワイヤーフレームモデルを、入力顔画像の顔表面モデルとして用いる。
【００４０】
次に、本実施の形態の動作について説明する。
【００４１】
髪領域選定部１１は、正面顔画像１３と顔表面モデル１４とを入力し、正面顔画像１３における頭髪とその頭髪による影との領域を除去領域１５として出力する。
【００４２】
除去領域変更部１２は、正面顔画像１３と顔表面モデル１４と除去領域１５とを入力する。除去領域変更部１２は、顔表面モデル１４の最外周の輪郭（以後、頭輪郭という。）内にあり、且つ除去領域１５内にある正面顔画像１３の画素値を変更する。その画素値の変更には、除去領域１５の外周近傍にある少なくとも１つの画素値が用いられる。除去領域変更部１２は、その画素値の変更の対象となる画素の各々について、その画素の位置に応じて、その除去領域１５の外周近傍にある少なくとも１つの画素値に所定の変換を適用し、その位置における画素の値をその変換により生成された値に変更する。
【００４３】
なお、画素値が変更された画素の全ての領域が、除去領域１５の一部であった場合、除去領域変更部１２は、その除去領域１５の残部を正面顔画像１３の頭輪郭内の画素値とは別の値に変更する。これより、髪除去画像１６が生成される。
【００４４】
なお、本実施の形態では、髪領域選定部１１は、除去領域１５を出力するとしたが、その除去領域１５における画素値の各々を所定の値に変更し、除去領域１５を出力するとしてもよい。この場合、除去領域変更部１２は、顔表面モデル１４の情報を考慮して、正面顔画像１３における頭輪郭内にあって、除去領域１５の外周近傍にある少なくとも１つの画素値に基づいて、除去領域１５の全部又は一部を変更し、髪除去画像１６を生成する。
【００４５】
以下、本実施の形態における髪領域選定部１１と除去領域変更部１２の動作について更に詳しく説明する。髪領域選定部１１は、色情報から得られる各画素の明度により、頭髪とその頭髪による影との領域を推定する構成のものを用いる。また、髪領域選定部１１と除去領域変更部１２は、ともにＲＧＢのカラー情報ではなく、それを色相、明度、彩度に変換し、０から２５５の整数値に正規化した情報を用いる。
【００４６】
まず、髪領域選定部１１の具体的な動作について説明する。肌と髪の分離は色相によっても行えると考えられる。しかし、ビデオカメラ２１により撮影され、Ａ／Ｄ変換器２２により変換されて生成された正面顔画像１３には、色相にノイズがのっているために、正しく肌と髪の分離ができない。また、色相では、頭髪による影と肌とをほとんど分離することができない。除去領域変更部１２は、頭髪による影が残っていると、除去領域１５の画素値の各々を変更したとき、その変更後の色が暗いものとなって、良い結果が得られない場合がある。
【００４７】
そこで、本実施の形態では、色相ではなく明度を用いることによって、頭髪とその頭髪による影との領域を除去領域１５とする。即ち、明度が小さい部分を頭髪又はその頭髪による影とする。
【００４８】
まず、顔表面モデル１４の頭輪郭の内部に対応する正面顔画像１３の画素の各々のうち、明度Ｌが（数１）を満たす画素の明度の平均値Ｌａと最大値Ｌｍを求める。（数１）の条件は明らかに暗い部分の影響を排除するもので、θｌ０はしきい値である。一例としてθｌ０＝６５とする。
【００４９】
【数１】
ＬａとＬｍを用いて、（数２）によりしきい値θｌ１を求める。
【００５１】
【数２】
（数２）のα、βはある実数である。一例としてα＝１．３、β＝０．８とする。また、関数ｍｉｎ（ａ，ｂ）は、ａとｂのうち大きくない方の値をとる関数である。（数２）で求めたθｌ１をしきい値として、頭髪又はその頭髪による影の部分を推定する。すなわち、頭輪郭の中にあって、明度Ｌが（数３）を満たす画素の集合を除去領域１５とする。
【００５３】
【数３】
最後に、眉、目、鼻、口は除去してはならない領域であるから、これらが除去領域１５に含まれていれば、それらを除去領域１５から取り除く。
【００５５】
次に、除去領域変更部１２の具体的な動作について説明する。除去領域変更部１２の画素値変更の処理は、頭輪郭内の領域に対して、水平走査線毎に下から上へ順に行う。すなわち、直線ｙ＝ｙ０で頭輪郭内の領域を切った切口の線分をＦ＝［ｘｓ， ｘｅ］とすると、この線分Ｆに対して画素値変更の処理を行う。線分Ｆの処理が終れば、直線ｙ＝ｙ０−１で頭輪郭内の領域を切った切口の線分Ｆ１＝［ｘｓ１， ｘｅ１］に対して画素値変更の処理を行う。
【００５６】
図５は、除去領域変更部１２による画素値変更の動作を説明するための図である。図５において、下側の点線で囲まれた領域５１には、目、鼻、口が含まれている。除去領域変更部１２は、除去領域１５がこの領域５１内の画素を含んでいる場合、その除去領域１５からその領域５１内の画素を取り除く。
【００５７】
また、上側の点線で囲まれた領域５２内の水平方向の中点の集合である線分５３上に位置する画素が、除去領域１５に含まれる場合、除去領域変更部１２は、その画素の各々に対して、その色相を目の間の適当な画素の色相とし、その明度をＬａとし、その彩度を頭輪郭の中にあって明度Ｌが（数１）を満たす画素の彩度の平均値Ｓａとして、その画素の各々を除去領域１５から取り除く。
【００５８】
除去領域変更部１２は、ｙ＝ｙ０における線分Ｆ上の画素のうちで、除去領域１５に含まれる連続した画素の集合を求め、その集合毎に、ｘ座標の小さい方から順に画素値の変更を行う。そのある１つの集合の両端点のｘ座標をそれぞれｘ０、ｘ１とする。
【００５９】
この場合、ｘ０＝ｘｓかつｘ１＝ｘｅであれば、特別な画素値の変更処理を必要とする。これは、線分Ｆ全体の画素値の変更が必要であり、その画素値の変更にその線分Ｆ内の画素値を全く用いることができないことを意味する。
【００６０】
このように、ｘ０＝ｘｓかつｘ１＝ｘｅとなるのは眉より上の領域だけであるから、この場合、ｙ＝ｙ０＋１で頭輪郭内の領域を切った切口の線分Ｆ’＝［ｘｓ’， ｘｅ’］から変更用の画素値を得る。即ち、Ｆ、Ｆ’の中点をそれぞれｘｃ、ｘｃ’とし、線分Ｆ上の任意の点Ｐのｘ座標をＸとすると、（数４）によって線分Ｆ’上の点Ｐ’（Ｘ’， ｙ０＋１）を求める。
【００６１】
【数４】
この点Ｐ’の画素の色を点Ｐの画素の色とする。ただし、点Ｐ’が眉領域内の点の場合は、点Ｐの画素値を変更せずに残しておき、線分Ｆ全体に対して、この変更処理を行った後、線形補間によって補間する。
【００６３】
一方、ｘ０≠ｘｓ又はｘ１≠ｘｅの場合の処理について説明する。この場合、除去領域変更部１２は、画素値の変更に用いる色相を頭輪郭領域の一部から複数個取り出し、それを順次用いる。一例として、眉間から５×５のブロックを取り出して、それを順次マッピングしていく処理がある。また、点（ｘ０， ｙ０）の画素に当てはめる明度をＬ０、彩度をＳ０、点（ｘ１， ｙ０）の画素に当てはめる明度をＬ１、彩度をＳ１とする。その集合内の点Ｐ（Ｘ， ｙ０）の画素にマッピングされる明度Ｌ、彩度Ｓを（数５）により求める。
【００６４】
【数５】
（数５）のｆは０≦ｆ≦１の値をとる関数である。
【００６６】
本実施の形態では、ｘ０≠ｘｓかつｘ１≠ｘｅ，ｘ０＝ｘｓの場合，ｘ１＝ｘｅの三つの場合に分けて、Ｌ０、Ｓ０、Ｌ１、Ｓ１、ｆを以下のように決めた。
【００６７】
ｘ０≠ｘｓかつｘ１≠ｘｅの場合、Ｌ０とＳ０は点（ｘ０−１， ｙ０）の画素の値とし、Ｌ１とＳ１は点（ｘ１＋１， ｙ０）の画素の値とする。そして、点（ｘ０−１， ｙ０）の画素と点（ｘ１＋１， ｙ０）の画素との間にある各画素値を、これらの２つの点の画素値を用いて変更する。即ち、補間は線形補間とする。従って、ｆは（数６）となる。
【００６８】
【数６】
ｘ０＝ｘｓの場合、Ｌ０とＳ０はｙ＝ｙ０＋１における頭輪郭線上の点の画素の値とする。但し、そこが除去領域１５内に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。Ｌ１とＳ１は点（ｘ１＋１，ｙ０）の画素の値とする。ｆは（数７）により算出された値を用いる。
【００７０】
【数７】
図６（ａ）にこのｆの特性図を示す。（数７）においてθｘはある実数であり、一例としてθｘ＝０．４とする。
【００７２】
ｘ１＝ｘｅの場合、Ｌ１とＳ１はｙ＝ｙ０＋１における頭輪郭線上の点の画素の値とする。但し、そこが除去領域１５に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。Ｌ０とＳ０は点（ｘ０−１，ｙ０）の画素の値とする。ｆは（数８）により算出された値を用いる。
【００７３】
【数８】
図６（ｂ）にこのｆの特性図を示す。またθｘは（数７）における値と同じものである。
【００７５】
最後に、画素値を変更した領域とその近傍の明度、彩度の平滑化を行う。平滑化の例として、図７に示す３×３マスクを用いて行うものがある。すなわち、点Ｐ（ｘ， ｙ）の画素の明度、彩度をそれぞれＬ（ｘ， ｙ）、Ｓ（ｘ， ｙ）とすると、平滑化を行ったあとの点Ｐの明度Ｌ’（ｘ， ｙ）、Ｓ’（ｘ， ｙ）は（数９）により与えられる。
【００７６】
【数９】
ＤＳＰを有するメディア処理ボート搭載の３２ビットパーソナルコンピュータを使用した場合、以上の処理を行うのに約３秒を要した。
【００７８】
なお、本実施の形態では、ビデオカメラ２１によって撮影し、Ａ／Ｄ変換器２２によって変換した、２５６×２５６画素の大きさのディジタル画像に対する処理を行ったが、他の大きさのディジタル画像や、スキャナなどによって入力されたディジタル画像に対しても同様の効果が得られる。また、顔情報モデル１４の構成も、図４に示すものに限らず、目、鼻、口、眉、頭輪郭が分かるものであれば同様の効果が得られる。
本実施の形態における画像処理装置について以上に説明したように、前記画像は、前記人の顔画像であり、前記領域選定部は、前記顔画像における人の所定の領域を選定する領域選定部であり、前記領域変更部は、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部であるとしてもよい。
また、前記領域選定部は、前記顔画像における頭髪及び／又は影部分を前記領域に選定するとしてもよい。
また、前記領域変更部は、更に前記領域における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
また、前記領域変更部は、前記領域の一部における各画素値を変更した場合、更にその領域の残部における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
さらに、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影とを前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び／又は影部分を前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定するとしてもよい。
【００７９】
（実施の形態２）
以下、本発明の第２の実施の形態における画像処理装置について説明する。本実施の形態は、第１の実施の形態に対して髪領域選定部１１の動作だけが異なる。その部分について説明する。
【００８０】
図８は、本実施の形態における髪領域選定部１１の処理の手順を示すフローチャートである。このフローチャートの各ステップの動作について説明する。
【００８１】
ステップ８１：髪領域選定部１１は、正面顔画像１３の任意の点の明度をＬ、しきい値をθｌ０とし、（数１）を満たす画素の集合を除去領域１５とする。一例として、θｌ０＝６５とする。
【００８２】
ステップ８２：髪領域選定部１１は、顔表面モデル１４から得られる眉の位置より上の頭輪郭内にあって、除去領域１５内に含まれていない画素のうち、その色相Ｈが（数１０）の条件を満たす画素の明度の平均値Ｌａと最大値Ｌｍを求める。
【００８３】
【数１０】
（数１０）の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θｈ０、θｈ１はしきい値ある。一例として、θｈ０＝１、θｈ１＝３０とする。
【００８５】
ステップ８３：髪領域選定部１１は、（数２）によって明度のしきい値θｌ１を求める。α、βはある実数であり、一例として、α＝１．１５、β＝０．８とする。
【００８６】
ステップ８４：髪領域選定部１１は、顔表面モデル１４から得られる目の位置より上の頭輪郭内にあって、明度Ｌが（数３）を満たす画素を、除去領域１５に含める。
【００８７】
ステップ８５：髪領域選定部１１は、頭輪郭内にあって、除去領域１５に含まれない画素を４連結で領域分割し、その構成画素数がθｎより小さい領域を、孤立点として除去領域１５に含める。θｎはしきい値であり、一例としてθｎ＝１０とする。
【００８８】
ステップ８６：髪領域選定部１１は、最後に目、鼻、口、眉は除去してはならない領域であるから、除去領域１５からそれらの領域に含まれる画素を取り除く。
【００８９】
（実施の形態３）
以下、本発明の第３の実施の形態における画像処理装置について説明する。本実施の形態の構成、正面顔画像１３と顔表面モデル１４は、第１の実施の形態と同様である。本実施の形態は、第１の実施の形態に対して、髪領域選定部１１と除去領域変更部１２の動作が異なる。以下その部分を説明する。
【００９０】
まず髪領域選定部１１の動作について説明する。本実施の形態では、明度と彩度を用いることによって、頭髪とその頭髪による影との領域を除去領域１５とする。すなわち、明度が小さい部分、またはある程度明度は大きいが彩度が小さい部分を、頭髪又はその頭髪の影とする。
【００９１】
まず、髪領域選定部１１は、顔表面モデル１４から得られる頭輪郭内の目より下の領域で、明度Ｌが（数１１）を満たし、かつ色相Ｈが（数１２）を満たす画素の、明度の平均値Ｌａ及び最大値Ｌｍと、彩度の平均値Ｓａ及び最大値Ｓｍを求める。
【００９２】
【数１１】
【数１２】
（数１１）の条件は、明らかに暗い部分の影響を排除するものであり、θｌ０はしきい値である。また、（数１２）の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θｈ０とθｈ１はしきい値ある。一例として、θｌ０＝６５、θｈ０＝１、θｈ１＝３０とする。目より下の領域の平均値と最大値をとるのは、額のほとんどが髪に覆われている場合でも処理できるようにするためである。 髪領域選定部１１は、Ｌａ、ＬｍおよびＳａを用いて、（数１３）によりしきい値θｌ１、θｓを求める。
【００９５】
【数１３】
（数１３）のα、β、γはある実数である。一例としてα＝１．１５、β＝０．８、γ＝０．８とする。また、ｍｉｎ（ａ，ｂ）はａとｂのうち大きくない方の値をとる関数である。
【００９７】
髪領域選定部１１は、（数１３）で求めたθｌ１、θｓを用いて、 頭髪とその頭髪による影との領域を除去領域１５とする。
【００９８】
髪領域選定部１１は、まず、目と眉の間以外の部分では、明度Ｌ、彩度Ｓが（数１４）または（数１５）を満たす画素の集合を除去領域１５とする。
【００９９】
【数１４】
【数１５】
（数１５）のａはある実数であり、一例としてａ＝１．１とする。
【０１０２】
次に、髪領域選定部１１は、目と眉の間の部分では（数１６）を満たす画素の集合を、除去領域１５に含める。
【０１０３】
【数１６】
（数１６）のｂはある実数であり、一例としてｂ＝０．８５とする。これは、目と眉の間の部分は、額などと比べて若干暗いものであることを考慮したものである。
【０１０５】
さらに、髪領域選定部１１は、頭輪郭内にあって、除去領域１５に含まれない画素を、４連結で領域分割する。そして、その構成画素数がθｎより小さい領域を、孤立点として、除去領域１５に含める。θｎはしきい値であり、一例としてθｎ＝１０とする。
【０１０６】
最後に、髪領域選定部１１は、目、鼻、口、眉は除去してはならない領域であるから、これらの領域内の画素が除去領域１５に含まれていれば、除去領域１５から取り除く。
【０１０７】
次に除去領域変更部１２の動作について説明する。
【０１０８】
除去領域変更部１２は、頭輪郭内の各画素に対して、下から上へ順に、水平走査線毎に各画素の変更処理を行う。すなわち、直線ｙ＝ｙ０で頭輪郭内の領域を切った切口の線分をＦ＝［ｘｓ， ｘｅ］とすると、この線分Ｆに対して各画素値の変更処理を行う。線分Ｆの処理が終れば、直線ｙ＝ｙ０−１で顔領域を切った切口の線分Ｆ１＝［ｘｓ１， ｘｅ１］に対して、各画素値の変更処理を行う。
【０１０９】
図９は、本実施の形態における除去領域変更部１２の動作を説明するための図である。図９において、除去領域変更部１２は、目、鼻、口を含む点線で囲まれた領域９１の領域内の画素が除去領域１５に含まれている場合は、その画素を除去領域１５から除く。
【０１１０】
除去領域変更部１２は、頭輪郭内の目より上の領域において、除去領域１５が占める割合がθｒより大きい場合は、額がほとんど髪に覆われているとして、画素値の変更の前に特別な前処理を行う。ここでθｒはしきい値であり、一例としてθｒ＝０．９とする。
【０１１１】
図９において、領域９２は、頭輪郭内における眉を含む水平走査線とその上下近傍の水平走査線によって構成される領域である。除去領域変更部１２は、その前処理として、その領域９２内のすべての線分Ｆの中点に対して、その中点が除去領域１５に含まれているか否かを確認する。除去領域変更部１２は、その中点が除去領域１５に含まれていれば、その中点にある画素の色相を目の間の適当な点にある画素の色相の値に変更し、またその明度をＬａ、その彩度をＳａに変更して、除去領域１５から取り除く。
【０１１２】
除去領域変更部１２は、ｙ＝ｙ０における線分Ｆに対して、除去領域１５に含まれる連続した画素の集合を求め、その画素の集合毎に、ｘ座標の小さな順から画素値の変更処理を行う。
【０１１３】
あるひとつの画素の集合の両端点のｘ座標を、それぞれｘ０、ｘ１とする。
【０１１４】
ここでｘ０＝ｘｓかつｘ１＝ｘｅの場合は特別な処理を要する。これは線分Ｆの画素値をすべて変更する場合であり、その線分Ｆ内の画素値を全く用いることができない。ｘ０＝ｘｓかつｘ１＝ｘｅとなるのは、目より上の領域だけであるから、除去領域変更部１２は、その線分Ｆ内の画素値の変更に、ｙ＝ｙ０＋１で頭輪郭を切った切口である線分Ｆ’＝［ｘｓ’， ｘｅ’］における画素値を用いる。
【０１１５】
すなわち、除去領域変更部１２は、Ｆ、Ｆ’の中点をそれぞれｘｃ、ｘｃ’とし、線分Ｆ上の任意の点Ｐのｘ座標をＸとすると、（数１７）によって線分Ｆ’上の点Ｐ’（Ｘ’，ｙ０＋１）を求める。
【０１１６】
【数１７】
除去領域変更部１２は、この点Ｐ’の画素の色を点Ｐの画素の色とする。ただし、点Ｐ’が目の領域又は眉領域内の点の場合は、点Ｐを変更せずに残しておく。そして、線分Ｆ全体に対してこの変更処理を行った後、その残した部分を線形補間によって画素値の変更を行う。
【０１１８】
次に、ｘ０≠ｘｓまたはｘ１≠ｘｅの場合の処理について説明する。画素値の変更に用いる色相は、頭輪郭内の一部から複数個の画素を取り出し、それを順次用いる。一例として、眉間から５×５の画素ブロックを取り出して、それを順次マッピングすることとする。また、変更後のある画素の明度をＬ、彩度をＳとすると、Ｓは（数１８）により与えられる。
【０１１９】
【数１８】
これは、彩度を髪のかかっていない肌の明度と彩度の比率から求めるもので、影などによる影響をなくす効果がある。
【０１２１】
以下、変更後の各画素の明度Ｌを求める方法について説明する。点（ｘ０， ｙ０）の画素に当てはめる明度をＬ０、点（ｘ１， ｙ０）の画素に当てはめる明度をＬ１とする。その画素集合内の点Ｐ（Ｘ， ｙ０）の画素に割り付けられる明度Ｌを（数１９）により求める。
【０１２２】
【数１９】
（数１９）のｆは、０≦ｆ≦１の値をとる関数である。そして、Ｌは、Ｌ０、Ｌ１、ｆが第１の実施の形態と同様のものとして算出される。
【０１２４】
最後に、変更された画素の領域及びその近傍における画素の各々に対する明度と彩度の平滑化は、第１の実施の形態と同様の方法により行われる。
【０１２５】
（実施の形態４）
以下、本発明の第４の実施の形態における画像処理装置について説明する。本実施の形態は、除去領域変更部１２がゆらぎ生成部を具備したもので、第３の実施の形態に対しては除去領域変更部１２の動作だけが異なる。
【０１２６】
除去領域変更部１２の動作について説明する。
【０１２７】
ゆらぎ生成部は、ランダムに発生する数値や、マッピングする画素の位置によって確率的に発生させる数値を用いて、色相、明度、彩度にゆらぎを与えるものである。人の肌の色相、明度、彩度の分布は、もともと平滑なものではなく、ある程度不規則なものであるから、ランダムに発生する数値を用いてゆらぎを与えることにより、よりリアルな結果が得られる。また、位置によって確率的に発生させる数値を用いることにより、しわやしみなどをつけることができる。
【０１２８】
ゆらぎ生成部の動作について説明する。関数Ｒは、ある範囲の間の整数値を不規則に発生するものである。一例として、−５以上５以下の整数値を不規則に発生する関数を用いる。また、関数Ｆ（ｘ， ｙ）は、マッピングする画素Ｐ（ｘ， ｙ）の頭輪郭内の位置から、確率的に数値を発生させるものである。関数Ｆが発生させる数値の範囲とその確率は、つけるしわやしみによって一意に定まるものである。まず、画素Ｐにマッピングされる画素値の色相Ｈ、明度Ｌ、彩度Ｓを第３の実施の形態と同様に求める。ここから、関数Ｒと関数Ｆを用いて、（数２０）のようにＬ’、Ｓ’を求める。
【０１２９】
【数２０】
ゆらぎ生成部は、このＬ’とＳ’を用いて画素Ｐにマッピングし、除去領域１５の変更を行う。
【０１３１】
なお、本実施の形態では、ランダムな数値を発生させる関数Rを用いたが、肌の色相、明度、彩度の統計的分布が得られれば、それにしたがって数値を発生させて、ゆらぎを与えてもよい。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部を更に備えるとしてもよい。
【０１３２】
（実施の形態５）
図１０は、本発明の第５の実施の形態における画像処理装置のブロック図である。本実施の形態は、図１の実施の形態に対して、顔表面モデル生成部１０１を具備した点が異なる。顔表面モデル生成部１０１は、正面顔画像１３を用いて、その正面顔画像１３の顔の構造情報である顔表面モデル１４を生成する。顔表面モデル生成部１０１における顔表面モデル１４の生成については、特開平５−１９７７９３号公報、特開平４−１９９４７４号公報などの従来の方法を用いる。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【０１３３】
（実施の形態６）
図１１は、本発明の第６の実施の形態における画像処理装置のブロック図である。図１１において、頭髪画像調整部１１１は、顔表面モデル１１４と顔情報モデル１１６とに基づいて、頭髪画像１１５における頭髪が正面顔画像１１３における顔に適合するように、頭髪画像１１５とその頭髪画像１１５に対応する各画素の属性である髪情報１１７とに所定の変換を適用するものである。顔表面モデル１１４は、正面顔画像１１３の顔の構造情報を表す。顔情報モデル１１６は、頭髪画像１１５の顔の構造情報を表す。
【０１３４】
頭髪合成処理部１１２は、頭髪画像調整部１１１により変換された髪情報１１７に従って、頭髪画像調整部１１１により変換された頭髪画像１１８における頭髪を正面顔画像１１３に割り付けるものである。頭髪画像１１８は、頭髪画像調整部１１１により変換された頭髪画像１１５である。顔情報モデル１１９は、頭髪画像調整部１１１により変換された顔情報モデル１１６である。髪情報１１１０は、頭髪画像調整部１１１により変換された髪情報１１７である。頭髪合成画像１１１１は、正面顔画像１１３に頭髪画像１１８の頭髪が割り付けられた画像を表す。
【０１３５】
正面顔画像１１３と顔表面モデル１１４は、第１の実施の形態と同様のものである。頭髪画像１１５は、正面を向いた顔を撮影したディジタル画像であり、大きさが２５６×２５６画素であり、１画素につきＲＧＢ各８ビット深さのカラー画像である。頭髪画像１１５の顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル１１６は、顔表面モデル１１４と同様の構成である。髪情報１１７は、頭髪画像１１５を正面顔画像１１３に割り付ける時、その割付方法を指定する属性を与えるものである。髪情報１１７は、頭髪画像１１５と同じ大きさで、１要素が８ビットのビット幅を持つ二次元配列であり、その属性は、髪情報１１７の各要素に格納されている（図１２参照）。図１２に示すように、この配列の１要素が頭髪画像１１５の１画素に対応する。すなわち、髪情報１１７の配列をＡ（ｘ， ｙ）とすると、Ａ（ｘ０， ｙ０）が頭髪画像１１５の点（ｘ０， ｙ０）の画素の属性となる。以下の表１に本実施の形態で用いる属性とその意味を示す。
【０１３６】
【表１】
表１と図１２において、１２１は属性１の領域を表し、１２２は属性２の領域を表し、１２３は属性３の領域を表す。
【０１３８】
次に、本実施の形態の動作について説明する。
【０１３９】
頭髪画像調整部１１１は、頭髪画像１１５の頭髪がマッピングする正面顔画像１１３の顔に適合するように、頭髪画像１１５の調整を行う。本実施の形態では、頭髪画像１１５の調整の一例として、その頭髪画像１１５における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ正面顔画像１１３における頭輪郭の水平、垂直両方向の大きさと位置に一致させる方法を用いる。
【０１４０】
図１３は、頭髪画像調整部１１１の構成図である。大きさ調整手段１３１は、頭髪画像１１５の顔の大きさを、正面顔画像１１３の顔の大きさと一致するように、頭髪画像１１５と顔情報モデル１１６と髪情報１１７を変換する。頭髪画像１３３は、大きさ調整手段１３１により変換された頭髪画像１１５を表す。顔情報モデル１３４は、大きさ調整手段１３１により変換された顔情報モデル１１６を表す。髪情報１３５は、大きさ調整手段１３１により変換された髪情報１１７を表す。
【０１４１】
位置調整手段１３２は、頭髪画像１３３における頭輪郭の位置と、正面顔画像１１３における頭輪郭の位置とが一致するように、頭髪画像１３３と顔情報モデル１３４と髪情報１３５を変換する。
【０１４２】
次に、大きさ調整手段１３１の処理について具体的に説明する。大きさ調整手段１３１は、顔表面モデル１１４から、図１４に示すような頭輪郭の大きさｄｖとｄｈとを求める。ｄｖは頭輪郭の垂直方向（ｙ軸方向）の最大の高さであり、ｄｈは頭輪郭を目と鼻の頭の中間の点を通る水平線で切った切口の線分の長さである。この線分の長さを頭輪郭の水平方向（ｘ軸方向）の大きさとする。
【０１４３】
これと同様にして、大きさ調整手段１３１は、顔情報モデル１１６から、頭髪画像１１５における頭輪郭の垂直方向の大きさｄｖ’と水平方向の大きさｄｈ’とを求める。
【０１４４】
大きさ調整手段１３１は、それらの大きさの調整を、水平方向と垂直方向、それぞれ独立の倍率でスケーリングすることによって行う。水平方向の倍率をＳｈ、垂直方向の倍率をＳｖとすると、Ｓｈ、Ｓｖは（数２１）により与えられる。
【０１４５】
【数２１】
大きさ調整手段１３１は、（数２１）により算出されたＳｈとＳｖによって、頭髪画像１１５を、ｘ軸方向にＳｈでスケーリングし、ｙ軸方向にＳｖでスケーリングして、頭髪画像１３３を得る。
【０１４７】
髪情報１１７は、頭髪画像１１５の大きさ合わせと同様の処理によって、髪情報１３５に変換される。
【０１４８】
スケーリングの方法としては、最近隣接法などがある。また、大きさ調整手段１３１は、顔情報モデル１１６が各特徴点毎にｘ座標とｙ座標を持っているため、そのｘ座標をＳｈ倍、ｙ座標をＳｖ倍することによって大きさの調整を行う。すなわち、顔情報モデル１１６の任意の頂点Ｐ（ｘ， ｙ）は、（数２２）によって顔情報モデル１３４の頂点Ｐ’（ｘ’， ｙ’）に変換される。
【０１４９】
【数２２】
次に、位置調整手段１３２の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔｈ、垂直方向の変位をΔｖとする。ΔｈとΔｖは、それぞれ以下のように求める。
【０１５１】
図１５は、位置調整手段１３２の動作を説明するための図である。図１５における顔は、正面顔画像１１３の顔である。点Ｐｎは、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表す。点Ｐｅは、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点を表す。点Ｐｍは、点Ｐｎと点Ｐｅを結ぶ線分の中点を表す。
【０１５２】
これと同様にして、位置調整手段１３２は、頭髪画像１３３に対しても、中点Ｐｎ’、中点Ｐｅ’、中点Ｐｍ’を求める。点Ｐｎ’は、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点である。中点Ｐｅ’は、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点である。中点Ｐｍ’は、点Ｐｎ’と点Ｐｅ’を結ぶ線分の中点である。
【０１５３】
そこで、これらの中点をそれぞれＰｍ（ｘｆ， ｙｆ）、Ｐｍ’（ｘｈ， ｙｈ）とすると、ΔｈとΔｖは、それぞれ（数２３）により与えられる。
【０１５４】
【数２３】
頭髪画像１３３上の任意の点Ｐ（ｘ， ｙ）は、（数２４）によって、点Ｐ’（Ｘ， Ｙ）に変換され、頭髪画像１１８が生成される。
【０１５６】
【数２４】
同様に、髪情報１３５の任意の要素Ａ（ｘ， ｙ）は、Ａ’（Ｘ， Ｙ）に変換され、髪情報１１１０が生成される。また、顔情報モデル１３４上の任意の頂点Ｐｆ（ｘ， ｙ）もＰｆ’（Ｘ， Ｙ）に変換され、顔情報モデル１１９が生成される。
【０１５８】
なお、顔情報モデル１１６や顔情報モデル１３４に対する処理は、顔情報モデル１１６におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【０１５９】
次に頭髪合成処理部１１２の動作について説明する。頭髪合成処理部１１２も、第１の実施の形態と同様に、ＲＧＢの色情報ではなく、画素値を色相、明度、彩度に変換し、０から２５５の整数値に正規化したものを用いる。
【０１６０】
図１６は、頭髪合成処理部１１２の構成図である。図１６において、１６１は合成情報生成部である。１６２は、髪情報１６７の属性に従って、正面顔画像１１３の色相と頭髪画像１１８の色相とを用いて、色相を生成する色相合成部である。１６３は、髪情報１６７の属性に従って、正面顔画像１１３の明度と頭髪画像１１８の明度とを用いて、明度を生成する明度合成部である。１６４は、髪情報１６７の属性に従って、正面顔画像１１３の彩度と頭髪画像１１８の彩度とを用いて、彩度を生成する彩度合成部である。１６５は、色相合成部１６２により生成された色相と、明度合成部１６３により生成された明度と、彩度合成部１６４により生成された彩度を入力し、これらから色を求めて、正面顔画像１１３にマッピングし、頭髪合成画像１１１１を生成するマッピング処理部である。１６６は、合成情報生成部１６１によって生成された合成情報である。１６７は、合成情報生成部１６１によって修正された髪情報である。
【０１６１】
合成情報生成部１６１は、正面顔画像１１３と頭髪画像１１８の色情報から、色相合成部１６２、明度合成部１６３、彩度合成部１６４が生成処理する時に用いる合成情報１６６を生成する。これと同時に、合成情報生成部１６１は、マッピング先の正面顔画像１１３の画素の色情報を調べ、髪情報１１１０を修正して髪情報１６７を出力する。本実施の形態においては、合成情報１６６の一例として明度の平均値を用いる。また髪情報１１１０の修正は、一例として、正面顔画像１１３の明度の小さい画素に対するマッピングを属性２のマッピングに変更することとした。
【０１６２】
まず、合成情報生成部１６１の動作について説明する。合成情報生成部１６１は、頭髪画像１１８の頭輪郭内で眉より上の領域の画素のうち、髪情報１１１０によって与えられる属性が３のものの明度の平均値Ｌｈａを求める。また、合成情報生成部１６１は、正面顔画像１１３における頭輪郭内の眉より上の部分の点Ｐ（ｘ， ｙ）の明度Ｌが数（２５）を満たす画素を調べる。
【０１６３】
【数２５】
（数２５）のθｌはしきい値であり、その一例としてθｌ＝９５とする。この画素は暗い画素で、髪である可能性が高い。そのため、（数２５）を満たす画素が頭髪合成画像１１１１に残らないようにするため、合成情報生成部１６１は、髪情報１１１０のＡ（ｘ， ｙ）を属性２とし、髪情報１６７を作成する。さらに、合成情報生成部１６１は、（数２５）を満たさない画素の明度の平均値Ｌｆａを求める。
【０１６５】
色相合成部１６２、明度合成部１６３及び彩度合成部１６４の各々で行われる処理は、髪情報１６７の画素の属性によって決定される。属性３の画素は、頭髪ではないためマッピングは行われない。属性１の画素は、前髪、生え際、前髪による影の部分の画素であるから、その画素値と、正面顔画像１１３上のマッピング先の画素値とを合成した値をマッピングする。属性２の画素は、その画素値を正面顔画像１１３上にそのままマッピングする。
【０１６６】
色相合成部１６２の動作について説明する。頭髪画像１１８の任意の画素Ｐｈ（ｘ， ｙ）の色相をＨｈ、髪情報１６７から得られる画素Ｐｈの属性をＡ（ｘ， ｙ）、画素Ｐｈがマッピングされる正面顔画像１１３の画素Ｐｆ（ｘ， ｙ）の色相をＨｆとすると、色相合成部１６２は、Ａ（ｘ， ｙ）にしたがって、ＨｆとＨｈとを用いて（数２６）によりＨを生成する。
【０１６７】
【数２６】
色相合成部１６２は、属性１の場合、Ｈｆ及びＨｈの中間値をとる。ただし、色相は図１７に示すような角度で表されるため、ＨｆとＨｈは、（数２７）により補正されたものが用いられる。
【０１６９】
【数２７】
また、Ｈは、（数２８）により補正されたものが用いられる。
【０１７１】
【数２８】
明度合成部１６３の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の明度をＬｈ、Ｐｆ（ｘ， ｙ）の明度をＬｆとする。明度合成部１６３は、合成情報１６６から得られる明度の平均値ＬｆａとＬｈａを用いて、（数２９）によりＬｈとＬｆからＬを合成する。
【０１７３】
【数２９】
明度合成部１６３は、属性１の場合の合成を平均値との差を用いて行う。
【０１７５】
彩度合成部１６４の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の彩度をＳｈ、Ｐｆ（ｘ， ｙ）の彩度をＳｆとする。ＳｆとＳｈは、（数３０）によりＳに合成される。
【０１７６】
【数３０】
マッピング処理部１６５は、上記のようにして合成したＨ，Ｌ、ＳをＲＧＢの色に変換し、正面顔画像１１３の画素Ｐｆにその色をマッピングする。
【０１７８】
ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約５秒であった。
【０１７９】
なお、本実施の形態では、正面顔画像１１３と頭髪画像１１５は、ともに２５６×２５６の大きさのディジタル画像であるとしたが、他の大きさのものでもよい。
【０１８０】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造をしたものでもよい。
【０１８１】
更に、本実施の形態では、マッピング時の合成に、色相と彩度は同じ関数を用いたが、それぞれ独立の関数を用いても良い。
【０１８２】
また、合成情報としては、他に正面顔画像の色相、彩度の平均値も加え、色相合成部、彩度合成部において、属性１の場合の合成結果にその平均値を用いても良い。
本実施の形態における画像処理装置について以上に説明したように、前記人の画像は、その人の顔画像であり、前記構造情報は、前記人の顔の表面に対する構造情報であり、前記参照画像は、頭髪を有する前記別人の顔の画像である頭髪画像であり、前記別人の構造情報は、前記頭髪画像における前記別人の顔の表面に対する構造情報を示すものであり、前記所定部分は、頭髪又はその頭髪による影である頭髪部分であり、前記属性情報は、前記頭髪画像における各画素の属性をその画素に対応させて保持している髪情報であり、前記画像調整部は、前記髪情報と前記頭髪画像とに前記所定の変換を適用する頭髪画像調整部であり、前記合成処理部は、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部であるとしてもよい。
また、前記画像調整部は、前記人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報と、前記別人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報とを利用して、前記参照画像と前記参照画像の属性情報とに前記所定の変換を適用するとしてもよい。
また、前記合成処理部は、前記参照画像の属性情報の各画素の属性に従って、その属性の画素に対応する前記参照画像の画素値を用いて、又は前記属性の画素に対応する、前記参照画像の画素値と前記人の顔画像の画素値とを用いて、前記人の顔画像に割り付ける前記頭髪部分の各画素値を生成する生成部と、その生成部により生成された参照画像の所定部分の各画素値を前記人の顔画像に割り付けるマッピング処理部とを備えたとしてもよい。
また、前記画像処理装置は、前記マッピング処理部により参照画像の所定部分が割り付けられた人の顔画像を修正する合成画像修正部を更に備えたとしてもよい。
また更に、前記生成部は、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、色相を生成する色相合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、明度を生成する明度合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、彩度を生成する彩度合成部との少なくとも１つを備えたとしてもよい。
【０１８３】
（実施の形態７）
以下、図１８を参照しながら、本発明の第７の実施の形態における画像処理装置について説明する。図１８において、１８１はマッピング結果の画像に、顔領域と髪領域の間にすき間があった場合、そこを補間して修正を施す合成画像修正部を表す。１８２はこの画像処理装置の出力である頭髪合成画像を表す。髪領域選定部１１、除去領域変更部１２の処理は、第１の実施の形態または第２の実施の形態または第３の実施の形態または第４の実施の形態記載のものと同様である。また、頭髪画像調整部１１１の処理は、第６の実施の形態記載のものと同様である。
【０１８４】
頭髪合成処理部１１２の動作は、第６の実施の形態記載のものと合成情報生成部の処理が異なる部分があり、以下それを説明する。本実施の形態の画像処理装置では、頭髪合成処理部１１２において、髪除去画像１６に頭髪画像１１８をマッピングする。髪除去画像１６は頭髪およびその頭髪による影の部分を除去したものであるから、髪情報１１１０の修正の必要はない。よって、本実施の形態では、合成情報生成部１６１においてこの処理を行わない。また、除去領域１５を入力することにより、（数２５）のしきい値処理を行わず、除去領域１５に含まれない画素の明度の平均値Ｌｆａを求める。
【０１８５】
合成画像修正部１８１は、マッピング結果の画像を水平走査線毎に調べ、顔領域と髪領域の間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像１１８の画素が、頭髪画像１１８における顔の輪郭上の点、または輪郭内部の点と隣接していない場合は、補間を行わない。頭髪画像１１８における顔の輪郭は、顔情報モデル１１９より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目で平滑化を行う。平滑化の方法は第１の実施の形態などに記載したものと同様である。
【０１８６】
（実施の形態８）
以下、本発明の第８の実施の形態について説明する。本実施の形態は、入力の正面顔画像から第１の実施の形態または第２の実施の形態または第３の実施の形態または第４の実施の形態記載の画像処理装置によって頭髪とその頭髪による影との領域を除去し、除去した領域を変更した髪除去画像に、あらかじめ用意した頭髪を合成するものである。また、頭髪画像調整部は、顔表面モデルと顔情報モデルより得られる目、鼻、口、眉の位置および頭輪郭との距離、頭輪郭の位置および大きさのすべてまたは一部によって動作し、頭髪合成処理部は、髪除去画像と頭髪画像の合成に用いる情報を生成する合成情報生成部と、髪情報から得られる画素の属性によって指定された方法でテクスチャ情報を合成するテクスチャ情報合成部と、前記テクスチャ情報合成部によって合成された画素値を髪除去画像にマッピングするマッピング処理部と、マッピング後の結果画像に修正を加える合成画像修正部から構成されるものである。さらに、テクスチャ情報合成部は、色相合成部と明度合成部と彩度合成部から構成されるものである。
【０１８７】
図１９は、本実施の形態における画像処理装置のブロック図である。図１９において、１９１は頭髪画像調整部を表し、１９２は頭髪合成処理部を表し、１９３は頭髪画像を表し、１９４は頭髪画像１９３の顔の構造情報を表す顔情報モデルを表し、１９５は頭髪画像１９３の各画素の属性を表す髪情報を表し、１９６は頭髪画像１９３が頭髪画像調整部１９１によって変換された結果の頭髪画像を表し、１９７は顔情報モデル１９４が頭髪画像調整部１９１によって変換された結果の顔情報モデルを表し、１９８は髪情報１９５が頭髪画像調整部１９１によって変換された結果の髪情報を表し、１９９は髪除去画像１６に頭髪画像１９６の頭髪を合成した結果の頭髪合成画像を表す。
【０１８８】
入力の正面顔画像１３は、第１の実施の形態などと同様に、図２に示すような顔画像取り込み装置によって取り込まれた、大きさ２５６×２５６画素で、１画素につきＲＧＢ各８ビット深さのカラーのディジタル画像を用いる。顔は正面を向いたもので、頭の中心線はほぼ垂直である。顔表面モデル１４も第１の実施の形態などと同様のものである。頭髪画像１９３は正面を向いた顔を撮影したディジタル画像で、大きさ２５６×２５６画素、１画素につきＲＧＢ各８ビット深さのカラー画像である。頭髪画像１９３における顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル１９４は顔表面モデル１４と同様の構成である。
【０１８９】
髪情報１９５は、頭髪画像１９３の各画素を髪除去画像１６と合成する時、合成された画像をより自然なものとするために、その合成方法を指定する属性を与えるものである。髪情報１９５は頭髪画像１９３と同じ大きさで、１要素が８ビットのビット幅を持つ二次元配列である。図２０に示すように、この配列の１要素が頭髪画像１９３の１画素に対応する。すなわち、髪情報１９５の配列をＡ（ｘ， ｙ）とすると、Ａ（ｘ０， ｙ０）が頭髪画像１９３の点（ｘ０， ｙ０）の画素の属性となる。
【０１９０】
次の表２に本実施の形態で用いる属性とその意味を示す。
【０１９１】
【表２】
この表２は、頭髪による影をつけたり、細かな前髪を自然に重ねたりして、合成された画像をよりリアルなものにするために設定されたものである。
【０１９３】
表２と図２０において、２０１は属性１の領域を表し、２０２は属性２の領域を表し、２０３は属性３の領域を表し、２０４は属性４の領域を表す。
【０１９４】
頭髪画像調整部１９１は、頭髪画像１９３の頭髪がマッピングする髪除去画像１６の顔に適合するように、頭髪画像１９３の調整を行う。本実施の形態では、頭髪画像１９３の調整の一例として、頭髪画像１９３における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ髪除去画像１６における頭輪郭の水平、垂直両方向の大きさと位置に一致させる。
【０１９５】
以下、このような調整を行う頭髪画像調整部１９１の動作を、図２１を参照しながら説明する。図２１において、２１１は頭髪画像１９３の顔の大きさが髪除去画像１６の顔の大きさと一致するように、頭髪画像１９３と顔情報モデル１９４と髪情報１９５を変換する大きさ調整手段を表し、２１３は大きさ調整手段２１１によって変換された頭髪画像を表し、２１４は大きさ調整手段２１１によって変換された顔情報モデルを表し、２１５は大きさ調整手段２１１によって変換された髪情報を表し、２１２は頭髪画像２１３の顔の頭髪画像２１３の中の位置と、髪除去画像１６の顔の髪除去画像１６の中の位置とが一致するように、頭髪画像２１３と顔情報モデル２１４と髪情報２１５を変換する位置調整手段を表す。
【０１９６】
大きさ調整手段２１１の動作について説明する。まず、顔表面モデル１４から図２２に示すような頭輪郭の大きさｄｖ１、ｄｖ２、ｄｈが得られる。ｄｖ１は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最上点の垂直方向（ｙ軸方向）の距離であり、ｄｖ２は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最下点の垂直方向の距離である。ｄｈは頭輪郭を鼻の頭の点を通る水平線で切った切口の線分の長さであり、これを頭輪郭の水平方向（ｘ軸方向）の大きさとする。
【０１９７】
同様に、顔情報モデル１９４から、頭髪画像１９３の顔の頭輪郭の垂直方向の大きさｄｖ１’、ｄｖ２’と、水平方向の大きさｄｈ’が得られる。その大きさの調整については、頭髪画像１９３と髪情報の各々を水平方向と垂直方向に、それぞれ独立の倍率でスケーリングすることによって行う。更に、垂直方向のスケーリングについては、鼻の頭の位置から上と下をそれぞれ独立の倍率でスケーリングする。水平方向の倍率をＳｈ、垂直方向の倍率を鼻の頭より上をＳｖ１、下をＳｖ２とすると、それぞれの倍率は、（数３１）により算出される。
【０１９８】
【数３１】
大きさ調整手段２１１は、頭髪画像１９３をｘ軸方向にＳｈでスケーリングし、ｙ軸方向にＳｖ１とＳｖ２でスケーリングすることによって頭髪画像２１３を生成する。この頭髪画像１９３の大きさ合わせと同様の処理により、髪情報１９５は髪情報２１５に変換される。スケーリングの方法には、最近隣接法などの従来の方法を用いることができる。
【０２００】
また顔情報モデル１９４は、各特徴点毎に対応するｘ座標とｙ座標を持っているため、（数３２）によって顔情報モデル２１４に変換される。
【０２０１】
【数３２】
ここで、鼻の頭の位置のｙ座標をｙｎとする。
【０２０３】
次に位置調整手段２１２の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔｈ、垂直方向の変位をΔｖとする。Δｈ、Δｖは以下のように求める。
【０２０４】
図２３は、位置調整手段２１２の動作を説明するための図である。図２３における顔は、髪除去画像１６の顔である。点Ｐｎは鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表し、点Ｐｅは目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点を表し、点Ｐｍは点Ｐｎと点Ｐｅを結ぶ線分の中点を表す。位置調整手段２１２は、頭髪画像２１３に対しても同様に、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点Ｐｎ’、目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点Ｐｅ’、点Ｐｎ’と点Ｐｅ’を結ぶ線分の中点Ｐｍ’を求める。 そこで、これらの中点をそれぞれＰｍ（ｘｆ， ｙｆ）、Ｐｍ’（ｘｈ， ｙｈ）とすると、ΔｈとΔｖは、それぞれ（数３３）により求められる。
【０２０５】
【数３３】
頭髪画像２１３上の任意の点Ｐ（ｘ， ｙ）は、（数３４）によって点Ｐ’（Ｘ， Ｙ）に変換され頭髪画像１９６が生成される。
【０２０７】
【数３４】
同様に、髪情報２１５の任意の要素Ａ（ｘ， ｙ）は、Ａ’（Ｘ， Ｙ）に変換され髪情報１９８が生成される。また顔情報モデル２１４上の任意の頂点Ｐｆ（ｘ， ｙ）もＰｆ’（Ｘ， Ｙ）に変換され、顔情報モデル１９７が生成される。
【０２０９】
なお、顔情報モデル１９４や顔情報モデル２１４に対する処理は、顔情報モデル１９４におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【０２１０】
次に頭髪合成処理部１９２の動作について説明する。頭髪合成処理部１９２における処理でも、第１の実施の形態などと同様にＲＧＢの色情報ではなく、画素値を色相、明度、彩度に変換し、０から２５５の整数値に正規化したものを用いる。
【０２１１】
図２４は、頭髪合成処理部１９２の構成図である。図２４において、２４１は合成情報生成部である。２４２は、髪情報１９８の属性に従って、髪除去画像１６の色相と頭髪画像１９６の色相とを用いて、色相を生成する色相合成部である。２４３は、髪情報１９８の属性に従って、髪除去画像１６の明度と頭髪画像１９６の明度とを用いて、明度を生成する明度合成部である。２４４は、髪情報１９８の属性に従って、髪除去画像１６の彩度と頭髪画像１９６の彩度とを用いて、彩度を生成する彩度合成部である。２４５は、色相合成部２４２により生成された色相と、明度合成部２４３により生成された明度と、彩度合成部２４４により生成された彩度とを入力し、それらからＲＧＢの色に変換し、髪除去画像１６にマッピングして頭髪合成画像１９９を生成するマッピング処理部である。２４６は合成情報生成部２４１によって生成された合成情報である。２４７は、マッピング結果の画像において、顔領域と頭髪領域との間にすき間があった場合、そこを補間して修正を施す合成画像修正部である。合成情報生成部２４１は、髪除去画像１６と頭髪画像１９６の色情報から、色相合成部２４２、明度合成部２４３、彩度合成部２４４が合成処理する時に用いる合成情報２４６を生成し出力する。本実施の形態では、合成情報２４６の一例として明度と彩度の平均値を用いる。
【０２１２】
まず、合成情報生成部２４１の動作について説明する。合成情報生成部２４１は、頭髪画像１９６における頭輪郭内で目より下の領域の画素のうち、髪情報１９８によって与えられる属性が３または４のものの明度の平均値Ｌｈａと彩度の平均値Ｓｈａを求める。また、合成情報生成部２４１は、第３の実施の形態における明度の平均値Ｌａと彩度の平均値Ｓａを合成情報２４６として取得する。
【０２１３】
色相合成部２４２、明度合成部２４３又は彩度合成部２４４で行われる処理は、髪情報１９８の属性により決定される。属性４の画素は頭髪ではないため、マッピングは行われない。属性１の画素は、前髪や生え際の画素であるから、その画素値と、髪除去画像１６上のマッピング先の画素値とを合成した値をマッピングする。属性２の画素は、その画素値を髪除去画像１６上にそのままマッピングする。属性３の画素は、頭髪による影であるから、マッピング先の画素の明度と彩度を若干落すことによって処理される。
【０２１４】
色相合成部２４２の動作について説明する。頭髪画像１９６の任意の画素Ｐｈ（ｘ， ｙ）の色相をＨｈ、髪情報１９８から得られる画素Ｐｈの属性をＡ（ｘ， ｙ）、画素Ｐｈがマッピングされる髪除去画像１６の画素Ｐｆ（ｘ， ｙ）の色相をＨｆとすると、色相合成部２４２は、Ａ（ｘ， ｙ）にしたがって、ＨｆとＨｈとを用いて（数３５）によりＨを生成する。
【０２１５】
【数３５】
（数３５）の関数ｍｏｄ（ａ，ｂ）は整数ａを整数ｂで割った剰余を返すもので、属性１の場合では、合成画像の色相は交互に頭髪画像１９６、髪除去画像１６の色相をとることとなる。
【０２１７】
明度合成部２４３の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の明度をＬｈ、Ｐｆ（ｘ， ｙ）の明度をＬｆとする。明度合成部２４３は、合成情報２４６から得られる明度の平均値Ｌａ、Ｌｈａを用いて、（数３６）によりＬｈとＬｆからＬを合成する。
【０２１８】
【数３６】
明度合成部２４３は、属性１の場合の合成を平均値の差を用いて行う。また、明度合成部２４３は、属性３においては肌の明度を下げる。ここで、σはある実数であり、一例としてＬａ／Ｌｈとした。また、関数ｍｉｎ（ａ，ｂ）は、実数ａ，ｂのうち大きくない方の値をとるものである。
【０２２０】
彩度合成部２４４の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の彩度をＳｈ、Ｐｆ（ｘ， ｙ）の彩度をＳｆとする。彩度合成部２４４は、合成情報２４６から得られる彩度の平均値Ｓａ、Ｓｈａを用いて、（数３７）によりＳｆとＳｈからＳを合成する。
【０２２１】
【数３７】
（数３７）において、ａ、ｂ、ｃ、ｄは、ａ＋ｂ＝１、ｃ＋ｄ＝１を満たすある実数であり、一例としてａ＝０．３、ｂ＝０．７、ｃ＝０．４、ｄ＝０．６とした。
【０２２３】
マッピング処理部２４５は、上記のようにして合成したＨ，Ｌ，ＳをＲＧＢの色に変換し、髪除去画像１６の画素Ｐｆにその色をマッピングする。
【０２２４】
合成画像修正部２４７は、マッピング結果の画像を水平走査線毎に調べ、髪領域とその髪領域を含まない顔領域との間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像１９６の画素が、頭髪画像１９６における頭輪郭上の点、または頭輪郭内部の点と隣接していない場合は、補間を行わない。
【０２２５】
頭髪画像１９６における頭輪郭は、顔情報モデル１９７より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目にスムージングをかける。スムージングの方法は第１の実施の形態などに記載したものと同様である。
【０２２６】
ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約８秒であった。
【０２２７】
なお、本実施の形態では、正面顔画像１３と頭髪画像１９３は、ともに２５６×２５６の大きさのディジタル画像であるとしたが、他の大きさのものであるとしてもよい。
【０２２８】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造のものを用いてもよい。
【０２２９】
また、合成情報としては、他に正面顔画像の色相の平均値も加え、色相合成部において属性１の場合の合成結果にその平均値を用いても良い。
【０２３０】
また、本実施の形態では、明度合成部２４３は、属性１の場合の合成を平均値の差を用いて行うとしたが、属性１と属性３の合成を平均値の比率によって明度値を求め、マッピングを行うとしてもよい。すなわち、（数３６）の代わりに（数３８）を用いても良い。
【０２３１】
【数３８】
なお、本実施の形態における画像処理装置については、以上に説明したように、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記画像における少なくとも１つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、前記構造情報と、別人の画像である参照画像におけるその別人の構造情報とに基づいて、前記別人の所定部分が前記画像に適合するように、その人の画素に対応させて保持している属性情報に基づいて、前記参照画像における各画素の属性とその参照画像とに所定の変換を適用する画像調整部と、その所定の変換が適用された属性情報に従って、前記所定の変換が適用された参照画像における所定部分を前記画像に割り付ける合成処理部とを備えたことを特徴とする。
また、顔の画像である顔画像の全部または一部における各画素値と、その顔画像における顔の表面に対する構造情報を示す顔表面モデルとに基づいて、その顔画像における頭髪又は頭髪及びその頭髪による影を除去領域に選定する髪領域選定部と、前記顔表面モデルにおける構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記除去領域の全部又は一部における各画素値を変更する除去領域変更部と、前記顔表面モデルと、頭髪を有する別の顔の画像である頭髪画像におけるその別の顔の表面に対する構造情報を示す顔情報モデルとに基づいて、前記別人の頭髪又はその頭髪及びその頭髪による影である頭髪部分が、前記顔画像に適合するように、前記頭髪画像の画素の各々に対する属性をその画素に対応させて保持している髪情報とその頭髪画像とに所定の変換を適用する頭髪画像調整部と、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部とを備えたことを特徴とする。
（実施の形態９）
以下、図２５を参照しながら本発明の第９実施の形態における画像処理装置について説明する。本実施の形態は、顔表面モデル生成部１０１によって生成された顔表面モデル１４を、髪領域選定部１１、除去領域変更部１２、頭髪画像調整部１９１、頭髪画像合成部１９２の入力としたこと以外は、第７の実施の形態または第８の実施の形態記載のものと同様のものである。
本実施の形態における画像処理装置について以上に説明したように、前記人の顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【０２３３】
（実施の形態１０）
図２６は、本発明の第１０の実施の形態のブロック図である。本実施の形態は、第８の実施の形態の画像処理装置と画像表示装置から構成される顔画像表示装置に関するものである。図２６において、２６１は頭髪画像データベースを表し、２６２は頭髪画像選択装置を表し、２６３は画像表示装置を表す。頭髪画像データベース２６１は、合成する頭髪画像、顔情報モデル、髪情報を多数保持しており、頭髪画像選択装置２６２は、頭髪画像データベース２６１から、ある頭髪画像、顔情報モデル、髪情報を選択して出力する。画像表示装置２６３は正面顔画像１３、髪除去画像１６、頭髪合成画像１９９や頭髪画像データベース２６２から得られる頭髪画像を複数同時に表示する。顔表面モデル１４と顔情報モデル１９４は同様の構成をしていることから、頭髪画像を入力の正面顔画像１３とすることもできる。
【０２３４】
本実施の形態の顔画像表示装置によって、複数の顔画像を同時に表示し、その頭髪を交換して表示することが可能である。これにより、対象人物の髪形を、別のある人物の髪形を選んで変更し、表示させることが可能となる。また、複数の頭髪画像を表示し、その頭髪を交換することも可能である。このような顔画像表示装置によって、取り替える髪形を、髪形だけが写った画像から選ぶよりも、ある人物の髪形として選ぶ方がよりイメージが描きやすいといった効果がある。
【０２３５】
上述した実施の形態は、頭髪合成に関するものであるが、同様の方式により鬚、耳、首、装飾品、衣服といったものを顔画像に合成することにも応用できる。以下、それぞれについて説明する。
【０２３６】
鬚を合成する処理について説明する。この場合、髪情報における属性１又は２を頭髪画像における鬚の領域とする。図２７において、ｄｍは水平方向の口の幅を表す。またｄｎは、口の領域の最上位点を通る水平方向の直線と、鼻の頭を通る水平方向の直線との間の距離である。この距離を口と鼻の距離とする。頭髪画像におけるｄｍとｄｎがそれぞれ正面顔画像におけるｄｍとｄｎに一致するように、大きさの調整を行う。すなわち、水平方向のスケーリングの倍率Ｓｈは、正面顔画像における水平方向の口の幅ｄｍと、頭髪画像における水平方向の口の幅ｄｍ’によって、（数３９）のように決まる。
【０２３７】
【数３９】
また、垂直方向のスケーリングの倍率Ｓｖは、正面顔画像における口と鼻の距離ｄｎと、頭髪画像における口と鼻の距離ｄｎ’によって（数３９）のように決まる。このＳｈとＳｖを用いて、頭髪画像を水平方向に倍率Ｓｈで、垂直方向に倍率Ｓｖでスケーリングして、大きさの調整を行う。
【０２３９】
次に、鬚を合成する場合の位置の調整について説明する。図２８において、Ｐｎは、鼻の頭を通る水平方向の直線により頭輪郭を切った切口の線分の中点である。また、Ｐｍは、口の領域の最上位点を通る水平方向の直線により頭輪郭を切った切り口の線分の中点である。Ｐｃは、ＰｎとＰｍとを結んだ線分の中点であり、位置の調整の基準点となる。位置の調整のために、正面顔画像における基準点Ｐｃと、頭髪画像における基準点Ｐｃ’とが、同一画面において同じ位置となるように頭髪画像の平行移動が行われる。これらの基準点をそれぞれＰｃ（ｘｆ，ｙｆ）とＰｃ’（ｘｈ，ｙｈ）であるとすれば、水平方向の移動量であるΔｈと垂直方向の移動量であるΔｖは、それぞれ（数２３）により与えられる。このΔｈとΔｖを（数２４）に代入して得られるＸとＹを頭髪画像の位置とすることにより、位置の調整が行われる。頭髪合成処理部では、上記頭髪を合成する場合と同様の処理を行う。
【０２４０】
次に、耳を合成する処理について説明する。まず、表２に示した属性の他に耳に対する属性５を追加する。髪情報は、頭髪画像における耳の領域を属性５に設定する。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の方法で行う。頭髪合成処理部は、上記頭髪合成の場合の（数３５）を（数４０）に、（数３６）を（数４１）に、（数３７）を（数４２）にそれぞれ置き換えて処理する。
【０２４１】
【数４０】
【数４１】
【数４２】
ここで、（数４０）のＨ０は顔領域の適当な位置における画素の色相である。ここでは、眉間の画素を用いるとする。
【０２４５】
装飾品を合成する処理を説明する。この場合、頭髪画像の装飾品の領域の属性を２として髪情報を構成する。（数２１）の倍率Ｓｈを用いて、頭髪画像を（数４３）にしたがってスケーリングすることにより、大きさの調整を行う。
【０２４６】
【数４３】
倍率には、Ｓｈ以外に、（数２１）のＳｖ又は（数３１）のＳｖ１若しくはＳｖ２を用いてもよい。
【０２４８】
頭髪合成処理部は、上記頭髪の合成の場合と同様の処理を行う。
【０２４９】
次に、首と衣服の合成について説明する。但し、衣服は首に付随したものとして処理する。この場合、髪情報における属性５を頭髪画像における首の肌が見えている領域とする。また、属性２を衣服の部分の領域とする。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の処理を行う。頭髪合成処理部は、耳を合成する場合と同様の処理を行う。
本実施の形態における画像処理装置について以上に説明したように、前記合成処理部により参照画像の所定部分が割り付けられた顔画像を複数表示する画像表示部を更に備えるとしてもよい。
【０２５０】
【発明の効果】
以上のように、本発明によれば、自動的に、違和感の少ない頭髪合成画像を生成することができる。
【０２５１】
また、本発明によれば、ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータを用いれば、撮影から頭髪合成終了までを実用時間の十数秒で処理することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図である。
【図２】正面顔画像１３を取り込む顔画像取り込み装置の一例を示す図である。
【図３】図２に示す顔画像取り込み装置により取り込まれた正面顔画像１３の一例を示す図である。
【図４】顔表面モデル１４の一例を示すワイヤーフレームモデルの図である。
【図５】除去領域変更部１２による画素値変更の動作を説明するための図である。
【図６】（ａ）は（数７）におけるｆの特性図であり、（ｂ）は（数８）におけるｆの特性図である。
【図７】平滑化に用いるマスクの構成図である。
【図８】第２の実施の形態における髪領域選定部１１の処理の手順を示すフローチャートである。
【図９】第３の実施の形態における除去領域変更部１２の動作を説明するための図である。
【図１０】本発明の第５の実施の形態における画像処理装置のブロック図である。
【図１１】本発明の第６の実施の形態における画像処理装置のブロック図である。
【図１２】第６の実施の形態における頭髪画像と髪情報との対応図である。
【図１３】頭髪画像調整部１１１の構成図である。
【図１４】第６の実施の形態における大きさ調整手段の動作の説明図である。
【図１５】位置調整手段１３２の動作を説明するための図である。
【図１６】頭髪合成処理部１１２の構成図である。
【図１７】色相の説明図である。
【図１８】本発明の第７の実施の形態における画像処理装置のブロック図である。
【図１９】第８の実施の形態における画像処理装置のブロック図である。
【図２０】第８の実施の形態における頭髪画像と髪情報との対応図である。
【図２１】頭髪画像調整部１９１の構成図である。
【図２２】第８の実施の形態における大きさ調整手段の動作の説明図である。
【図２３】第８の実施の形態における位置調整手段の動作の説明図である。
【図２４】頭髪合成処理部１９２の構成図である。
【図２５】本発明の第９実施の形態における画像処理装置のブロック図である。
【図２６】本発明の第１０の実施の形態のブロック図である。
【図２７】鬚を合成する場合における大きさ調整手段の動作の説明図である。
【図２８】鬚を合成する場合における位置調整手段の動作の説明図である。
【符号の説明】
１１…髪領域選定部
１２…除去領域変更部
１３…正面顔画像
１４…顔表面モデル
１５…除去領域
１６…髪除去画像
１０１…顔表面モデル生成部
１１１…頭髪画像調整部
１１２…頭髪合成処理部
１３１…大きさ調整手段
１３２…位置調整手段
１６１…合成情報手段
１６２…色相合成部
１６３…明度合成部
１６４…彩度合成部
１６５…マッピング処理部
１８１…合成画像修正部
１９１…頭髪画像調整部
１９２…頭髪合成処理部
２１１…大きさ調整手段
２１２…位置調整手段
２４１…合成情報生成部
２４２…色相合成部
２４３…明度合成部
２４４…彩度合成部
２４５…マッピング処理部
２４７…合成画像修正部
２６２…頭髪画像選択装置
２６３…画像表示装置
Claims (26)
- 人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、
前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影を前記領域に選定することを特徴とする画像処理装置。 - 人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と、
前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部とを備えたことを特徴とする画像処理装置。 - 人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、
前記領域選定部は、前記顔画像における頭髪及び影部分を前記領域に選定することを特徴とする画像処理装置。 - 人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記領域選定部により選定された前記領域の外周近傍の前記画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と
を備えたことを特徴とする画像処理装置。 - 前記構造情報は、人の顔の表面に対する情報である顔表面モデルの情報である請求項３記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び影部分を前記領域に選定することを特徴とする請求項３記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定することを特徴とする請求項３記載の画像処理装置。
- 前記画像処理装置は、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えたことを特徴とする請求項３記載の画像処理装置。
- 前記構造情報は、人の顔の表面に対する情報である顔表面モデルの情報である請求項４記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び影部分を前記領域に選定することを特徴とする請求項４記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定することを特徴とする請求項４記載の画像処理装置。
- 前記画像処理装置は、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えたことを特徴とする請求項４記載の画像処理装置。
- 人の画像における構造情報と、別人の画像である参照画像における構造情報とに基づいて、前記別人の画像の所定部分が、前記人の画像に適合するように、前記参照画像に所定の変換を適用する画像調整部と、
前記所定の変換が適用された参照画像における所定部分を前記人の画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。 - 前記合成処理部は、前記参照画像における画素の属性情報を用いて、前記参照画像における所定部分を前記人の画像に割り付けることを特徴とする請求項１３記載の画像処理装置。
- 前記画像調整部は、前記参照画像における画素の属性情報に所定の変換を適用するとともに、
前記合成処理部は、その所定の変換が適用された属性情報に従って、前記参照画像における所定部分を前記人の画像に割り付けることを特徴とする請求項１４記載の画像処理装置。 - 前記参照画像は、別人の頭髪、髭、耳、首、装飾品、衣類の少なくとも1つである請求項１３から１５のいずれかに記載の画像処理装置。
- 前記人の画像は、その人の顔画像であり、
前記構造情報は、前記人の顔の表面に対する構造情報であり、
前記参照画像は、頭髪を有する前記別人の顔の画像である頭髪画像であり、
前記別人の構造情報は、前記頭髪画像における前記別人の顔の表面に対する構造情報を示すものであり、
前記所定部分は、頭髪又はその頭髪による影である頭髪部分であり、
前記属性情報は、前記頭髪画像における各画素の属性をその画素に対応させて保持している髪情報であり、
前記画像調整部は、前記髪情報と前記頭髪画像とに前記所定の変換を適用する頭髪画像調整部であり、
前記合成処理部は、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部であることを特徴とする請求項１３から１６のいずれかに記載の画像処理装置。 - 前記画像調整部は、前記人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報と、前記別人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報とを利用して、前記参照画像と前記参照画像の属性情報とに前記所定の変換を適用することを特徴とする請求項１３から１７のいずれかに記載の画像処理装置。
- 前記合成処理部は、
前記参照画像の属性情報の各画素の属性に従って、その属性の画素に対応する前記参照画像の画素値を用いて、又は前記属性の画素に対応する、前記参照画像の画素値と前記人の顔画像の画素値とを用いて、前記人の顔画像に割り付ける前記頭髪部分の各画素値を生成する生成部と、
その生成部により生成された参照画像の所定部分の各画素値を前記人の顔画像に割り付けるマッピング処理部と
を備えたことを特徴とする請求項１７又は１８に記載の画像処理装置。 - 前記画像処理装置は、前記マッピング処理部により参照画像の所定部分が割り付けられた人の顔画像を修正する合成画像修正部を更に備えたことを特徴とする請求項１９記載の画像処理装置。
- 前記生成部は、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、色相を生成する色相合成部と、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、明度を生成する明度合成部と、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、彩度を生成する彩度合成部との少なくとも１つを備えたことを特徴とする請求項１９記載の画像処理装置。 - 前記画像処理装置は、前記人の顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えたことを特徴とする請求項１７から２０のいずれかに記載の画像処理装置。
- 人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記画像における少なくとも１つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、
前記構造情報と、別人の画像である参照画像におけるその別人の構造情報とに基づいて、前記別人の所定部分が前記画像に適合するように、その人の画素に対応させて保持している属性情報に基づいて、前記参照画像における各画素の属性とその参照画像とに所定の変換を適用する画像調整部と、
その所定の変換が適用された属性情報に従って、前記所定の変換が適用された参照画像における所定部分を前記画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。 - 顔の画像である顔画像の全部又は一部における各画素値と、その顔画像における顔の表面に対する構造情報を示す顔表面モデルとに基づいて、その顔画像における頭髪又は頭髪及びその頭髪による影を除去領域に選定する髪領域選定部と、
前記顔表面モデルにおける構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記除去領域の全部又は一部における各画素値を変更する除去領域変更部と、
前記顔表面モデルと、頭髪を有する別の顔の画像である頭髪画像におけるその別の顔の表面に対する構造情報を示す顔情報モデルとに基づいて、前記別人の頭髪又はその頭髪及びその頭髪による影である頭髪部分が、前記顔画像に適合するように、前記頭髪画像の画素の各々に対する属性をその画素に対応させて保持している髪情報とその頭髪画像とに所定の変換を適用する頭髪画像調整部と、
前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部と
を備えたことを特徴とする画像処理装置。 - 前記画像処理装置は、前記合成処理部により参照画像の所定部分が割り付けられた顔画像を複数表示する画像表示部を更に備えたことを特徴とする請求項１３から２３のいずれかに記載の画像処理装置。
- 人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記画像における少なくとも１つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、
前記構造情報と、別人の画像である参照画像におけるその別人の構造情報に基づいて、前記別人の所定部分が前記人の画像に適合するように、前記参照画像に所定の変換を行う画像調整部と、
前記所定の変換が行われた参照画像における所定部分を前記人の画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1673096A JP3577154B2 (ja) | 1995-02-02 | 1996-02-01 | 画像処理装置 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1614395 | 1995-02-02 | ||
| JP7-73371 | 1995-03-30 | ||
| JP7-16143 | 1995-03-30 | ||
| JP7337195 | 1995-03-30 | ||
| JP1673096A JP3577154B2 (ja) | 1995-02-02 | 1996-02-01 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08329278A JPH08329278A (ja) | 1996-12-13 |
| JP3577154B2 true JP3577154B2 (ja) | 2004-10-13 |
Family
ID=27281264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1673096A Expired - Fee Related JP3577154B2 (ja) | 1995-02-02 | 1996-02-01 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577154B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100747561B1 (ko) * | 2001-04-06 | 2007-08-08 | 엘지전자 주식회사 | 디지털 티브이의 부가 서비스 제공 장치 |
| JP4449723B2 (ja) | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5290585B2 (ja) * | 2008-01-17 | 2013-09-18 | 株式会社 資生堂 | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
| JP2009211148A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
| JP6467994B2 (ja) * | 2015-02-27 | 2019-02-13 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
| JP6458569B2 (ja) | 2015-03-12 | 2019-01-30 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| CN111597928A (zh) * | 2020-04-29 | 2020-08-28 | 深圳市商汤智能传感科技有限公司 | 三维模型处理方法及装置、电子设备、存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04143869A (ja) * | 1990-10-04 | 1992-05-18 | Fuji Photo Film Co Ltd | 画像処理方法 |
| JPH04256185A (ja) * | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識システムのサンプル画像収集方法 |
| JP2940226B2 (ja) * | 1991-06-20 | 1999-08-25 | 三菱電機株式会社 | 画像合成装置 |
| JPH06342460A (ja) * | 1991-06-27 | 1994-12-13 | Shoichi Asai | 似顔絵の作製方法 |
| JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
| JPH0652289A (ja) * | 1992-07-28 | 1994-02-25 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
-
1996
- 1996-02-01 JP JP1673096A patent/JP3577154B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08329278A (ja) | 1996-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0725364B1 (en) | Image processing apparatus | |
| US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
| JP3799633B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP3030485B2 (ja) | ３次元形状抽出方法及び装置 | |
| EP0883090B1 (en) | Method for generating photo-realistic animated characters | |
| KR101190686B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체 | |
| KR100327541B1 (ko) | 3차원 얼굴 모델링 시스템 및 모델링 방법 | |
| JP3639476B2 (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 | |
| WO2005073909A1 (ja) | 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法 | |
| JP2010507854A (ja) | ビデオイメージシーケンスを仮想シミュレーションする方法及び装置 | |
| CN106652037B (zh) | 一种人脸贴图处理方法及装置 | |
| JP3577154B2 (ja) | 画像処理装置 | |
| JP3444148B2 (ja) | 眉描画方法 | |
| KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
| JP2000155836A (ja) | 似顔絵画像形成システム及び形成方法 | |
| WO2009036554A1 (en) | Emulating cosmetic facial treatments with digital images | |
| JP3951061B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| JP2003030684A (ja) | 顔３次元コンピュータグラフィック生成方法及び装置及び顔３次元コンピュータグラフィック生成プログラム及び顔３次元コンピュータグラフィック生成プログラムを格納した記憶媒体 | |
| JP2004054759A (ja) | 表情変形装置、方法及びプログラム | |
| JP3915844B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| JPH04199474A (ja) | 顔画像合成装置 | |
| JP2001209814A (ja) | 画像処理装置 | |
| JP3876922B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
| JPH10222649A (ja) | 画像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040709 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |