JP3577154B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP3577154B2 JP3577154B2 JP1673096A JP1673096A JP3577154B2 JP 3577154 B2 JP3577154 B2 JP 3577154B2 JP 1673096 A JP1673096 A JP 1673096A JP 1673096 A JP1673096 A JP 1673096A JP 3577154 B2 JP3577154 B2 JP 3577154B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hair
- face
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、人物のコンピュータグラフィックスにおいて、髪型を実用時間で自動的に違和感なく他のものに取り替えて表示することができる画像処理装置に関するものである。
【０００２】
【従来の技術】
従来、ある人物の画像に別の頭髪を割り付ける画像処理において、その人物の画像から頭髪が除去された画像をその画像処理の前処理として生成する場合、髪を括るなどして撮影して得られた髪が顔にかかっていない画像を取り込むか、或いはその人物の画像の頭髪の領域を手作業によって除去するかによって、その頭髪が除去された画像が得られていた。
【０００３】
そして、その得られた頭髪が除去された画像に別の頭髪を割り付ける場合、手作業により頭髪が除去された画像に別の頭髪をペーストすることにより行われていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の方法では、髪を括って撮影しても髪が完全に除去されず残ってしまう場合があり、そのため別の頭髪を割り付ける画像処理により得られた画像に元の頭髪が残ってしまうという課題があった。
【０００５】
また、手作業で頭髪を除去する場合、かなりの時間を費やさなければならないという課題があった。
【０００６】
更に、頭髪が除去された画像に別の頭髪をペーストするだけの従来の画像処理により得られた画像にはかなりの違和感があった。
【０００７】
本発明は、顔の正面画像から頭髪を除去し、その頭髪を除去した部分の頭の形を推定し、その推定した頭の範囲内をその顔の肌の色で塗りつぶす処理を行う画像処理装置を提供することを目的とする。
【０００８】
また、本発明は、顔の正面画像に適合するように別の頭髪を調整し、更にその頭輪郭内の色情報を用いることにより、違和感の少ない画像処理を行う画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
この課題を解決するため、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と、前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部とを備えたことを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記顔画像における頭髪及び影部分を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記領域選定部により選定された前記領域の外周近傍の前記画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備えたことを特徴とする画像処理装置である。
【００１９】
また、本発明は、人の画像における構造情報と、別人の画像である参照画像における構造情報とに基づいて、前記別人の画像の所定部分が、前記人の画像に適合するように、前記参照画像に所定の変換を適用する画像調整部と、前記所定の変換が適用された参照画像における所定部分を前記人の画像に割り付ける合成処理部とを備えたことを特徴とする画像処理装置である。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００３０】
図１は、本発明の第１の実施の形態に係る画像処理装置のブロック図である。図１において、本実施の形態における画像処理装置は、髪領域選定部１１と除去領域変更部１２とにより構成される。髪領域選定部１１は、首から上の正面画像である正面顔画像１３（図３参照）とその正面顔画像１３に対する顔から上の各部の構造情報を表す顔表面モデル１４（図４参照）とを用いて、正面顔画像１３における頭髪とその頭髪による影（図３では示されていない。）との領域を除去領域１５とし、その除去領域１５を送出するものである。但し、図４に示す顔表面モデル１４では、耳は除去されている。
【００３１】
除去領域変更部１２は、顔表面モデル１４の情報を考慮して、正面顔画像１３における顔の画素値に基づいて、正面顔画像１３における除去領域１５の全部又は一部の画素値の各々を変更し、髪除去画像１６を生成するものである。なお、除去領域変更部１２は、除去領域１５の一部の画素値の各々を変更した場合、正面顔画像１３における顔の画素値とは別の値を用いて、除去領域１５の残部の画素値の各々を変更する。
【００３２】
図２は、正面顔画像１３を取り込む顔画像取り込み装置の例を示す図である。正面顔画像１３は、図２に示す顔画像取り込み装置によって取り込まれたディジタル画像である。図２において、２１は撮影用のビデオカメラである。２２はビデオカメラ２１の画像をディジタルに変換するためのＡ／Ｄ変換器である。２３はビデオカメラ２１を固定する器具である。２４はビデオカメラ２１により撮影される対象人物を表す。
【００３３】
ビデオカメラ２１は、器具２３によって水平に固定される。Ａ／Ｄ変換器２２は、ビデオカメラ２１で撮影されたアナログ画像をディジタル画像に変換し、正面顔画像１３を生成する。正面顔画像１３は、２５６×２５６画素の大きさであり、１画素につきＲＧＢ各８ビット深さのカラー画像である。また、正面顔画像１３の背景色は単色である。
【００３４】
図３は、図２に示す顔画像取り込み装置により取り込まれた正面顔画像１３の一例を示す図である。図３における正面顔画像１３は、首から上全部が写った顔が正面を向いている。その顔は、無表情で眼鏡と口鬚がなく、その頭の中心線はほぼ垂直である。また、前髪は額の全部を覆っていない。この正面顔画像１３にはｘｙ座標が導入される。
【００３５】
図４は、顔表面モデル１４の一例を示すワイヤーフレームモデルの図である。そのワイヤーフレームの各頂点は、顔の輪郭、目、鼻、口、眉を代表する特徴点と、それらの特徴点の間に配置される、顔の三次元構造を考慮して得られた点からなる。図４における特徴点とは円印の入った頂点をいう。
【００３６】
各頂点は、その頂点の画像上のｘ座標とｙ座標のデータを有する。また、各頂点には所定の番号付けがなされ、画像上の頂点の位置は、その番号により特定される。顔表面モデル１４は、これら頂点とその連結情報によって構成される。
【００３７】
この顔表面モデル１４は、図３における正面顔画像１３における顔を認識することにより生成される。即ち、正面顔画像１３における顔を認識し、その認識した顔に合わせて、予め用意された標準のワイヤーフレームモデルの各頂点を移動させることにより生成される。
【００３８】
したがって、顔表面モデル１４は、人によりそのフレームの形状は異なるものとなるが、トポロジー的には同じものである。顔表面モデル１４を生成する処理には、特開平５−１９７７９３号公報、特開平４−１９９４７４号公報などにおける従来の手法を用いることができる。
【００３９】
特開平５−１９７７９３号公報、特開平４−１９９４７４号公報の処理は以下の通りである。まず、入力の正面顔画像から、テンプレートマッチングによって虹彩の認識を行い、それをもとに目の領域をテンプレートマッチングによって認識する。次に、認識された虹彩の位置を基準に、鼻、口、眉、頬の輪郭、頭頂点それぞれの探索範囲を設定する。それぞれの探索範囲の中で、テンプレートマッチングにより鼻、口、眉、頬の輪郭、頭頂点を認識する。このようにして認識された目、鼻、口、眉、頬の輪郭、頭頂点の各領域には、決まった特徴点が得られる。そして、あらかじめ用意した標準の顔のワイヤーフレームモデルの目、鼻、口、眉、頬の輪郭、頭頂点それぞれの特徴点が、認識の結果得られたそれぞれの特徴点と一致するように、標準のワイヤーフレームモデルの変形を行い、入力顔画像の顔の表面構造を表すワイヤーフレームモデルが得られる。本実施の形態では、このようにして生成されたワイヤーフレームモデルを、入力顔画像の顔表面モデルとして用いる。
【００４０】
次に、本実施の形態の動作について説明する。
【００４１】
髪領域選定部１１は、正面顔画像１３と顔表面モデル１４とを入力し、正面顔画像１３における頭髪とその頭髪による影との領域を除去領域１５として出力する。
【００４２】
除去領域変更部１２は、正面顔画像１３と顔表面モデル１４と除去領域１５とを入力する。除去領域変更部１２は、顔表面モデル１４の最外周の輪郭（以後、頭輪郭という。）内にあり、且つ除去領域１５内にある正面顔画像１３の画素値を変更する。その画素値の変更には、除去領域１５の外周近傍にある少なくとも１つの画素値が用いられる。除去領域変更部１２は、その画素値の変更の対象となる画素の各々について、その画素の位置に応じて、その除去領域１５の外周近傍にある少なくとも１つの画素値に所定の変換を適用し、その位置における画素の値をその変換により生成された値に変更する。
【００４３】
なお、画素値が変更された画素の全ての領域が、除去領域１５の一部であった場合、除去領域変更部１２は、その除去領域１５の残部を正面顔画像１３の頭輪郭内の画素値とは別の値に変更する。これより、髪除去画像１６が生成される。
【００４４】
なお、本実施の形態では、髪領域選定部１１は、除去領域１５を出力するとしたが、その除去領域１５における画素値の各々を所定の値に変更し、除去領域１５を出力するとしてもよい。この場合、除去領域変更部１２は、顔表面モデル１４の情報を考慮して、正面顔画像１３における頭輪郭内にあって、除去領域１５の外周近傍にある少なくとも１つの画素値に基づいて、除去領域１５の全部又は一部を変更し、髪除去画像１６を生成する。
【００４５】
以下、本実施の形態における髪領域選定部１１と除去領域変更部１２の動作について更に詳しく説明する。髪領域選定部１１は、色情報から得られる各画素の明度により、頭髪とその頭髪による影との領域を推定する構成のものを用いる。また、髪領域選定部１１と除去領域変更部１２は、ともにＲＧＢのカラー情報ではなく、それを色相、明度、彩度に変換し、０から２５５の整数値に正規化した情報を用いる。
【００４６】
まず、髪領域選定部１１の具体的な動作について説明する。肌と髪の分離は色相によっても行えると考えられる。しかし、ビデオカメラ２１により撮影され、Ａ／Ｄ変換器２２により変換されて生成された正面顔画像１３には、色相にノイズがのっているために、正しく肌と髪の分離ができない。また、色相では、頭髪による影と肌とをほとんど分離することができない。除去領域変更部１２は、頭髪による影が残っていると、除去領域１５の画素値の各々を変更したとき、その変更後の色が暗いものとなって、良い結果が得られない場合がある。
【００４７】
そこで、本実施の形態では、色相ではなく明度を用いることによって、頭髪とその頭髪による影との領域を除去領域１５とする。即ち、明度が小さい部分を頭髪又はその頭髪による影とする。
【００４８】
まず、顔表面モデル１４の頭輪郭の内部に対応する正面顔画像１３の画素の各々のうち、明度Ｌが（数１）を満たす画素の明度の平均値Ｌａと最大値Ｌｍを求める。（数１）の条件は明らかに暗い部分の影響を排除するもので、θｌ０はしきい値である。一例としてθｌ０＝６５とする。
【００４９】
【数１】
ＬａとＬｍを用いて、（数２）によりしきい値θｌ１を求める。
【００５１】
【数２】
（数２）のα、βはある実数である。一例としてα＝１．３、β＝０．８とする。また、関数ｍｉｎ（ａ，ｂ）は、ａとｂのうち大きくない方の値をとる関数である。（数２）で求めたθｌ１をしきい値として、頭髪又はその頭髪による影の部分を推定する。すなわち、頭輪郭の中にあって、明度Ｌが（数３）を満たす画素の集合を除去領域１５とする。
【００５３】
【数３】
最後に、眉、目、鼻、口は除去してはならない領域であるから、これらが除去領域１５に含まれていれば、それらを除去領域１５から取り除く。
【００５５】
次に、除去領域変更部１２の具体的な動作について説明する。除去領域変更部１２の画素値変更の処理は、頭輪郭内の領域に対して、水平走査線毎に下から上へ順に行う。すなわち、直線ｙ＝ｙ０で頭輪郭内の領域を切った切口の線分をＦ＝［ｘｓ， ｘｅ］とすると、この線分Ｆに対して画素値変更の処理を行う。線分Ｆの処理が終れば、直線ｙ＝ｙ０−１で頭輪郭内の領域を切った切口の線分Ｆ１＝［ｘｓ１， ｘｅ１］に対して画素値変更の処理を行う。
【００５６】
図５は、除去領域変更部１２による画素値変更の動作を説明するための図である。図５において、下側の点線で囲まれた領域５１には、目、鼻、口が含まれている。除去領域変更部１２は、除去領域１５がこの領域５１内の画素を含んでいる場合、その除去領域１５からその領域５１内の画素を取り除く。
【００５７】
また、上側の点線で囲まれた領域５２内の水平方向の中点の集合である線分５３上に位置する画素が、除去領域１５に含まれる場合、除去領域変更部１２は、その画素の各々に対して、その色相を目の間の適当な画素の色相とし、その明度をＬａとし、その彩度を頭輪郭の中にあって明度Ｌが（数１）を満たす画素の彩度の平均値Ｓａとして、その画素の各々を除去領域１５から取り除く。
【００５８】
除去領域変更部１２は、ｙ＝ｙ０における線分Ｆ上の画素のうちで、除去領域１５に含まれる連続した画素の集合を求め、その集合毎に、ｘ座標の小さい方から順に画素値の変更を行う。そのある１つの集合の両端点のｘ座標をそれぞれｘ０、ｘ１とする。
【００５９】
この場合、ｘ０＝ｘｓかつｘ１＝ｘｅであれば、特別な画素値の変更処理を必要とする。これは、線分Ｆ全体の画素値の変更が必要であり、その画素値の変更にその線分Ｆ内の画素値を全く用いることができないことを意味する。
【００６０】
このように、ｘ０＝ｘｓかつｘ１＝ｘｅとなるのは眉より上の領域だけであるから、この場合、ｙ＝ｙ０＋１で頭輪郭内の領域を切った切口の線分Ｆ’＝［ｘｓ’， ｘｅ’］から変更用の画素値を得る。即ち、Ｆ、Ｆ’の中点をそれぞれｘｃ、ｘｃ’とし、線分Ｆ上の任意の点Ｐのｘ座標をＸとすると、（数４）によって線分Ｆ’上の点Ｐ’（Ｘ’， ｙ０＋１）を求める。
【００６１】
【数４】
この点Ｐ’の画素の色を点Ｐの画素の色とする。ただし、点Ｐ’が眉領域内の点の場合は、点Ｐの画素値を変更せずに残しておき、線分Ｆ全体に対して、この変更処理を行った後、線形補間によって補間する。
【００６３】
一方、ｘ０≠ｘｓ又はｘ１≠ｘｅの場合の処理について説明する。この場合、除去領域変更部１２は、画素値の変更に用いる色相を頭輪郭領域の一部から複数個取り出し、それを順次用いる。一例として、眉間から５×５のブロックを取り出して、それを順次マッピングしていく処理がある。また、点（ｘ０， ｙ０）の画素に当てはめる明度をＬ０、彩度をＳ０、点（ｘ１， ｙ０）の画素に当てはめる明度をＬ１、彩度をＳ１とする。その集合内の点Ｐ（Ｘ， ｙ０）の画素にマッピングされる明度Ｌ、彩度Ｓを（数５）により求める。
【００６４】
【数５】
（数５）のｆは０≦ｆ≦１の値をとる関数である。
【００６６】
本実施の形態では、ｘ０≠ｘｓかつｘ１≠ｘｅ，ｘ０＝ｘｓの場合，ｘ１＝ｘｅの三つの場合に分けて、Ｌ０、Ｓ０、Ｌ１、Ｓ１、ｆを以下のように決めた。
【００６７】
ｘ０≠ｘｓかつｘ１≠ｘｅの場合、Ｌ０とＳ０は点（ｘ０−１， ｙ０）の画素の値とし、Ｌ１とＳ１は点（ｘ１＋１， ｙ０）の画素の値とする。そして、点（ｘ０−１， ｙ０）の画素と点（ｘ１＋１， ｙ０）の画素との間にある各画素値を、これらの２つの点の画素値を用いて変更する。即ち、補間は線形補間とする。従って、ｆは（数６）となる。
【００６８】
【数６】
ｘ０＝ｘｓの場合、Ｌ０とＳ０はｙ＝ｙ０＋１における頭輪郭線上の点の画素の値とする。但し、そこが除去領域１５内に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。Ｌ１とＳ１は点（ｘ１＋１，ｙ０）の画素の値とする。ｆは（数７）により算出された値を用いる。
【００７０】
【数７】
図６（ａ）にこのｆの特性図を示す。（数７）においてθｘはある実数であり、一例としてθｘ＝０．４とする。
【００７２】
ｘ１＝ｘｅの場合、Ｌ１とＳ１はｙ＝ｙ０＋１における頭輪郭線上の点の画素の値とする。但し、そこが除去領域１５に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。Ｌ０とＳ０は点（ｘ０−１，ｙ０）の画素の値とする。ｆは（数８）により算出された値を用いる。
【００７３】
【数８】
図６（ｂ）にこのｆの特性図を示す。またθｘは（数７）における値と同じものである。
【００７５】
最後に、画素値を変更した領域とその近傍の明度、彩度の平滑化を行う。平滑化の例として、図７に示す３×３マスクを用いて行うものがある。すなわち、点Ｐ（ｘ， ｙ）の画素の明度、彩度をそれぞれＬ（ｘ， ｙ）、Ｓ（ｘ， ｙ）とすると、平滑化を行ったあとの点Ｐの明度Ｌ’（ｘ， ｙ）、Ｓ’（ｘ， ｙ）は（数９）により与えられる。
【００７６】
【数９】
ＤＳＰを有するメディア処理ボート搭載の３２ビットパーソナルコンピュータを使用した場合、以上の処理を行うのに約３秒を要した。
【００７８】
なお、本実施の形態では、ビデオカメラ２１によって撮影し、Ａ／Ｄ変換器２２によって変換した、２５６×２５６画素の大きさのディジタル画像に対する処理を行ったが、他の大きさのディジタル画像や、スキャナなどによって入力されたディジタル画像に対しても同様の効果が得られる。また、顔情報モデル１４の構成も、図４に示すものに限らず、目、鼻、口、眉、頭輪郭が分かるものであれば同様の効果が得られる。
本実施の形態における画像処理装置について以上に説明したように、前記画像は、前記人の顔画像であり、前記領域選定部は、前記顔画像における人の所定の領域を選定する領域選定部であり、前記領域変更部は、前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部であるとしてもよい。
また、前記領域選定部は、前記顔画像における頭髪及び／又は影部分を前記領域に選定するとしてもよい。
また、前記領域変更部は、更に前記領域における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
また、前記領域変更部は、前記領域の一部における各画素値を変更した場合、更にその領域の残部における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
さらに、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影とを前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び／又は影部分を前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定するとしてもよい。
【００７９】
（実施の形態２）
以下、本発明の第２の実施の形態における画像処理装置について説明する。本実施の形態は、第１の実施の形態に対して髪領域選定部１１の動作だけが異なる。その部分について説明する。
【００８０】
図８は、本実施の形態における髪領域選定部１１の処理の手順を示すフローチャートである。このフローチャートの各ステップの動作について説明する。
【００８１】
ステップ８１：髪領域選定部１１は、正面顔画像１３の任意の点の明度をＬ、しきい値をθｌ０とし、（数１）を満たす画素の集合を除去領域１５とする。一例として、θｌ０＝６５とする。
【００８２】
ステップ８２：髪領域選定部１１は、顔表面モデル１４から得られる眉の位置より上の頭輪郭内にあって、除去領域１５内に含まれていない画素のうち、その色相Ｈが（数１０）の条件を満たす画素の明度の平均値Ｌａと最大値Ｌｍを求める。
【００８３】
【数１０】
（数１０）の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θｈ０、θｈ１はしきい値ある。一例として、θｈ０＝１、θｈ１＝３０とする。
【００８５】
ステップ８３：髪領域選定部１１は、（数２）によって明度のしきい値θｌ１を求める。α、βはある実数であり、一例として、α＝１．１５、β＝０．８とする。
【００８６】
ステップ８４：髪領域選定部１１は、顔表面モデル１４から得られる目の位置より上の頭輪郭内にあって、明度Ｌが（数３）を満たす画素を、除去領域１５に含める。
【００８７】
ステップ８５：髪領域選定部１１は、頭輪郭内にあって、除去領域１５に含まれない画素を４連結で領域分割し、その構成画素数がθｎより小さい領域を、孤立点として除去領域１５に含める。θｎはしきい値であり、一例としてθｎ＝１０とする。
【００８８】
ステップ８６：髪領域選定部１１は、最後に目、鼻、口、眉は除去してはならない領域であるから、除去領域１５からそれらの領域に含まれる画素を取り除く。
【００８９】
（実施の形態３）
以下、本発明の第３の実施の形態における画像処理装置について説明する。本実施の形態の構成、正面顔画像１３と顔表面モデル１４は、第１の実施の形態と同様である。本実施の形態は、第１の実施の形態に対して、髪領域選定部１１と除去領域変更部１２の動作が異なる。以下その部分を説明する。
【００９０】
まず髪領域選定部１１の動作について説明する。本実施の形態では、明度と彩度を用いることによって、頭髪とその頭髪による影との領域を除去領域１５とする。すなわち、明度が小さい部分、またはある程度明度は大きいが彩度が小さい部分を、頭髪又はその頭髪の影とする。
【００９１】
まず、髪領域選定部１１は、顔表面モデル１４から得られる頭輪郭内の目より下の領域で、明度Ｌが（数１１）を満たし、かつ色相Ｈが（数１２）を満たす画素の、明度の平均値Ｌａ及び最大値Ｌｍと、彩度の平均値Ｓａ及び最大値Ｓｍを求める。
【００９２】
【数１１】
【数１２】
（数１１）の条件は、明らかに暗い部分の影響を排除するものであり、θｌ０はしきい値である。また、（数１２）の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θｈ０とθｈ１はしきい値ある。一例として、θｌ０＝６５、θｈ０＝１、θｈ１＝３０とする。目より下の領域の平均値と最大値をとるのは、額のほとんどが髪に覆われている場合でも処理できるようにするためである。 髪領域選定部１１は、Ｌａ、ＬｍおよびＳａを用いて、（数１３）によりしきい値θｌ１、θｓを求める。
【００９５】
【数１３】
（数１３）のα、β、γはある実数である。一例としてα＝１．１５、β＝０．８、γ＝０．８とする。また、ｍｉｎ（ａ，ｂ）はａとｂのうち大きくない方の値をとる関数である。
【００９７】
髪領域選定部１１は、（数１３）で求めたθｌ１、θｓを用いて、 頭髪とその頭髪による影との領域を除去領域１５とする。
【００９８】
髪領域選定部１１は、まず、目と眉の間以外の部分では、明度Ｌ、彩度Ｓが（数１４）または（数１５）を満たす画素の集合を除去領域１５とする。
【００９９】
【数１４】
【数１５】
（数１５）のａはある実数であり、一例としてａ＝１．１とする。
【０１０２】
次に、髪領域選定部１１は、目と眉の間の部分では（数１６）を満たす画素の集合を、除去領域１５に含める。
【０１０３】
【数１６】
（数１６）のｂはある実数であり、一例としてｂ＝０．８５とする。これは、目と眉の間の部分は、額などと比べて若干暗いものであることを考慮したものである。
【０１０５】
さらに、髪領域選定部１１は、頭輪郭内にあって、除去領域１５に含まれない画素を、４連結で領域分割する。そして、その構成画素数がθｎより小さい領域を、孤立点として、除去領域１５に含める。θｎはしきい値であり、一例としてθｎ＝１０とする。
【０１０６】
最後に、髪領域選定部１１は、目、鼻、口、眉は除去してはならない領域であるから、これらの領域内の画素が除去領域１５に含まれていれば、除去領域１５から取り除く。
【０１０７】
次に除去領域変更部１２の動作について説明する。
【０１０８】
除去領域変更部１２は、頭輪郭内の各画素に対して、下から上へ順に、水平走査線毎に各画素の変更処理を行う。すなわち、直線ｙ＝ｙ０で頭輪郭内の領域を切った切口の線分をＦ＝［ｘｓ， ｘｅ］とすると、この線分Ｆに対して各画素値の変更処理を行う。線分Ｆの処理が終れば、直線ｙ＝ｙ０−１で顔領域を切った切口の線分Ｆ１＝［ｘｓ１， ｘｅ１］に対して、各画素値の変更処理を行う。
【０１０９】
図９は、本実施の形態における除去領域変更部１２の動作を説明するための図である。図９において、除去領域変更部１２は、目、鼻、口を含む点線で囲まれた領域９１の領域内の画素が除去領域１５に含まれている場合は、その画素を除去領域１５から除く。
【０１１０】
除去領域変更部１２は、頭輪郭内の目より上の領域において、除去領域１５が占める割合がθｒより大きい場合は、額がほとんど髪に覆われているとして、画素値の変更の前に特別な前処理を行う。ここでθｒはしきい値であり、一例としてθｒ＝０．９とする。
【０１１１】
図９において、領域９２は、頭輪郭内における眉を含む水平走査線とその上下近傍の水平走査線によって構成される領域である。除去領域変更部１２は、その前処理として、その領域９２内のすべての線分Ｆの中点に対して、その中点が除去領域１５に含まれているか否かを確認する。除去領域変更部１２は、その中点が除去領域１５に含まれていれば、その中点にある画素の色相を目の間の適当な点にある画素の色相の値に変更し、またその明度をＬａ、その彩度をＳａに変更して、除去領域１５から取り除く。
【０１１２】
除去領域変更部１２は、ｙ＝ｙ０における線分Ｆに対して、除去領域１５に含まれる連続した画素の集合を求め、その画素の集合毎に、ｘ座標の小さな順から画素値の変更処理を行う。
【０１１３】
あるひとつの画素の集合の両端点のｘ座標を、それぞれｘ０、ｘ１とする。
【０１１４】
ここでｘ０＝ｘｓかつｘ１＝ｘｅの場合は特別な処理を要する。これは線分Ｆの画素値をすべて変更する場合であり、その線分Ｆ内の画素値を全く用いることができない。ｘ０＝ｘｓかつｘ１＝ｘｅとなるのは、目より上の領域だけであるから、除去領域変更部１２は、その線分Ｆ内の画素値の変更に、ｙ＝ｙ０＋１で頭輪郭を切った切口である線分Ｆ’＝［ｘｓ’， ｘｅ’］における画素値を用いる。
【０１１５】
すなわち、除去領域変更部１２は、Ｆ、Ｆ’の中点をそれぞれｘｃ、ｘｃ’とし、線分Ｆ上の任意の点Ｐのｘ座標をＸとすると、（数１７）によって線分Ｆ’上の点Ｐ’（Ｘ’，ｙ０＋１）を求める。
【０１１６】
【数１７】
除去領域変更部１２は、この点Ｐ’の画素の色を点Ｐの画素の色とする。ただし、点Ｐ’が目の領域又は眉領域内の点の場合は、点Ｐを変更せずに残しておく。そして、線分Ｆ全体に対してこの変更処理を行った後、その残した部分を線形補間によって画素値の変更を行う。
【０１１８】
次に、ｘ０≠ｘｓまたはｘ１≠ｘｅの場合の処理について説明する。画素値の変更に用いる色相は、頭輪郭内の一部から複数個の画素を取り出し、それを順次用いる。一例として、眉間から５×５の画素ブロックを取り出して、それを順次マッピングすることとする。また、変更後のある画素の明度をＬ、彩度をＳとすると、Ｓは（数１８）により与えられる。
【０１１９】
【数１８】
これは、彩度を髪のかかっていない肌の明度と彩度の比率から求めるもので、影などによる影響をなくす効果がある。
【０１２１】
以下、変更後の各画素の明度Ｌを求める方法について説明する。点（ｘ０， ｙ０）の画素に当てはめる明度をＬ０、点（ｘ１， ｙ０）の画素に当てはめる明度をＬ１とする。その画素集合内の点Ｐ（Ｘ， ｙ０）の画素に割り付けられる明度Ｌを（数１９）により求める。
【０１２２】
【数１９】
（数１９）のｆは、０≦ｆ≦１の値をとる関数である。そして、Ｌは、Ｌ０、Ｌ１、ｆが第１の実施の形態と同様のものとして算出される。
【０１２４】
最後に、変更された画素の領域及びその近傍における画素の各々に対する明度と彩度の平滑化は、第１の実施の形態と同様の方法により行われる。
【０１２５】
（実施の形態４）
以下、本発明の第４の実施の形態における画像処理装置について説明する。本実施の形態は、除去領域変更部１２がゆらぎ生成部を具備したもので、第３の実施の形態に対しては除去領域変更部１２の動作だけが異なる。
【０１２６】
除去領域変更部１２の動作について説明する。
【０１２７】
ゆらぎ生成部は、ランダムに発生する数値や、マッピングする画素の位置によって確率的に発生させる数値を用いて、色相、明度、彩度にゆらぎを与えるものである。人の肌の色相、明度、彩度の分布は、もともと平滑なものではなく、ある程度不規則なものであるから、ランダムに発生する数値を用いてゆらぎを与えることにより、よりリアルな結果が得られる。また、位置によって確率的に発生させる数値を用いることにより、しわやしみなどをつけることができる。
【０１２８】
ゆらぎ生成部の動作について説明する。関数Ｒは、ある範囲の間の整数値を不規則に発生するものである。一例として、−５以上５以下の整数値を不規則に発生する関数を用いる。また、関数Ｆ（ｘ， ｙ）は、マッピングする画素Ｐ（ｘ， ｙ）の頭輪郭内の位置から、確率的に数値を発生させるものである。関数Ｆが発生させる数値の範囲とその確率は、つけるしわやしみによって一意に定まるものである。まず、画素Ｐにマッピングされる画素値の色相Ｈ、明度Ｌ、彩度Ｓを第３の実施の形態と同様に求める。ここから、関数Ｒと関数Ｆを用いて、（数２０）のようにＬ’、Ｓ’を求める。
【０１２９】
【数２０】
ゆらぎ生成部は、このＬ’とＳ’を用いて画素Ｐにマッピングし、除去領域１５の変更を行う。
【０１３１】
なお、本実施の形態では、ランダムな数値を発生させる関数Rを用いたが、肌の色相、明度、彩度の統計的分布が得られれば、それにしたがって数値を発生させて、ゆらぎを与えてもよい。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部を更に備えるとしてもよい。
【０１３２】
（実施の形態５）
図１０は、本発明の第５の実施の形態における画像処理装置のブロック図である。本実施の形態は、図１の実施の形態に対して、顔表面モデル生成部１０１を具備した点が異なる。顔表面モデル生成部１０１は、正面顔画像１３を用いて、その正面顔画像１３の顔の構造情報である顔表面モデル１４を生成する。顔表面モデル生成部１０１における顔表面モデル１４の生成については、特開平５−１９７７９３号公報、特開平４−１９９４７４号公報などの従来の方法を用いる。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【０１３３】
（実施の形態６）
図１１は、本発明の第６の実施の形態における画像処理装置のブロック図である。図１１において、頭髪画像調整部１１１は、顔表面モデル１１４と顔情報モデル１１６とに基づいて、頭髪画像１１５における頭髪が正面顔画像１１３における顔に適合するように、頭髪画像１１５とその頭髪画像１１５に対応する各画素の属性である髪情報１１７とに所定の変換を適用するものである。顔表面モデル１１４は、正面顔画像１１３の顔の構造情報を表す。顔情報モデル１１６は、頭髪画像１１５の顔の構造情報を表す。
【０１３４】
頭髪合成処理部１１２は、頭髪画像調整部１１１により変換された髪情報１１７に従って、頭髪画像調整部１１１により変換された頭髪画像１１８における頭髪を正面顔画像１１３に割り付けるものである。頭髪画像１１８は、頭髪画像調整部１１１により変換された頭髪画像１１５である。顔情報モデル１１９は、頭髪画像調整部１１１により変換された顔情報モデル１１６である。髪情報１１１０は、頭髪画像調整部１１１により変換された髪情報１１７である。頭髪合成画像１１１１は、正面顔画像１１３に頭髪画像１１８の頭髪が割り付けられた画像を表す。
【０１３５】
正面顔画像１１３と顔表面モデル１１４は、第１の実施の形態と同様のものである。頭髪画像１１５は、正面を向いた顔を撮影したディジタル画像であり、大きさが２５６×２５６画素であり、１画素につきＲＧＢ各８ビット深さのカラー画像である。頭髪画像１１５の顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル１１６は、顔表面モデル１１４と同様の構成である。髪情報１１７は、頭髪画像１１５を正面顔画像１１３に割り付ける時、その割付方法を指定する属性を与えるものである。髪情報１１７は、頭髪画像１１５と同じ大きさで、１要素が８ビットのビット幅を持つ二次元配列であり、その属性は、髪情報１１７の各要素に格納されている（図１２参照）。図１２に示すように、この配列の１要素が頭髪画像１１５の１画素に対応する。すなわち、髪情報１１７の配列をＡ（ｘ， ｙ）とすると、Ａ（ｘ０， ｙ０）が頭髪画像１１５の点（ｘ０， ｙ０）の画素の属性となる。以下の表１に本実施の形態で用いる属性とその意味を示す。
【０１３６】
【表１】
表１と図１２において、１２１は属性１の領域を表し、１２２は属性２の領域を表し、１２３は属性３の領域を表す。
【０１３８】
次に、本実施の形態の動作について説明する。
【０１３９】
頭髪画像調整部１１１は、頭髪画像１１５の頭髪がマッピングする正面顔画像１１３の顔に適合するように、頭髪画像１１５の調整を行う。本実施の形態では、頭髪画像１１５の調整の一例として、その頭髪画像１１５における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ正面顔画像１１３における頭輪郭の水平、垂直両方向の大きさと位置に一致させる方法を用いる。
【０１４０】
図１３は、頭髪画像調整部１１１の構成図である。大きさ調整手段１３１は、頭髪画像１１５の顔の大きさを、正面顔画像１１３の顔の大きさと一致するように、頭髪画像１１５と顔情報モデル１１６と髪情報１１７を変換する。頭髪画像１３３は、大きさ調整手段１３１により変換された頭髪画像１１５を表す。顔情報モデル１３４は、大きさ調整手段１３１により変換された顔情報モデル１１６を表す。髪情報１３５は、大きさ調整手段１３１により変換された髪情報１１７を表す。
【０１４１】
位置調整手段１３２は、頭髪画像１３３における頭輪郭の位置と、正面顔画像１１３における頭輪郭の位置とが一致するように、頭髪画像１３３と顔情報モデル１３４と髪情報１３５を変換する。
【０１４２】
次に、大きさ調整手段１３１の処理について具体的に説明する。大きさ調整手段１３１は、顔表面モデル１１４から、図１４に示すような頭輪郭の大きさｄｖとｄｈとを求める。ｄｖは頭輪郭の垂直方向（ｙ軸方向）の最大の高さであり、ｄｈは頭輪郭を目と鼻の頭の中間の点を通る水平線で切った切口の線分の長さである。この線分の長さを頭輪郭の水平方向（ｘ軸方向）の大きさとする。
【０１４３】
これと同様にして、大きさ調整手段１３１は、顔情報モデル１１６から、頭髪画像１１５における頭輪郭の垂直方向の大きさｄｖ’と水平方向の大きさｄｈ’とを求める。
【０１４４】
大きさ調整手段１３１は、それらの大きさの調整を、水平方向と垂直方向、それぞれ独立の倍率でスケーリングすることによって行う。水平方向の倍率をＳｈ、垂直方向の倍率をＳｖとすると、Ｓｈ、Ｓｖは（数２１）により与えられる。
【０１４５】
【数２１】
大きさ調整手段１３１は、（数２１）により算出されたＳｈとＳｖによって、頭髪画像１１５を、ｘ軸方向にＳｈでスケーリングし、ｙ軸方向にＳｖでスケーリングして、頭髪画像１３３を得る。
【０１４７】
髪情報１１７は、頭髪画像１１５の大きさ合わせと同様の処理によって、髪情報１３５に変換される。
【０１４８】
スケーリングの方法としては、最近隣接法などがある。また、大きさ調整手段１３１は、顔情報モデル１１６が各特徴点毎にｘ座標とｙ座標を持っているため、そのｘ座標をＳｈ倍、ｙ座標をＳｖ倍することによって大きさの調整を行う。すなわち、顔情報モデル１１６の任意の頂点Ｐ（ｘ， ｙ）は、（数２２）によって顔情報モデル１３４の頂点Ｐ’（ｘ’， ｙ’）に変換される。
【０１４９】
【数２２】
次に、位置調整手段１３２の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔｈ、垂直方向の変位をΔｖとする。ΔｈとΔｖは、それぞれ以下のように求める。
【０１５１】
図１５は、位置調整手段１３２の動作を説明するための図である。図１５における顔は、正面顔画像１１３の顔である。点Ｐｎは、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表す。点Ｐｅは、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点を表す。点Ｐｍは、点Ｐｎと点Ｐｅを結ぶ線分の中点を表す。
【０１５２】
これと同様にして、位置調整手段１３２は、頭髪画像１３３に対しても、中点Ｐｎ’、中点Ｐｅ’、中点Ｐｍ’を求める。点Ｐｎ’は、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点である。中点Ｐｅ’は、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点である。中点Ｐｍ’は、点Ｐｎ’と点Ｐｅ’を結ぶ線分の中点である。
【０１５３】
そこで、これらの中点をそれぞれＰｍ（ｘｆ， ｙｆ）、Ｐｍ’（ｘｈ， ｙｈ）とすると、ΔｈとΔｖは、それぞれ（数２３）により与えられる。
【０１５４】
【数２３】
頭髪画像１３３上の任意の点Ｐ（ｘ， ｙ）は、（数２４）によって、点Ｐ’（Ｘ， Ｙ）に変換され、頭髪画像１１８が生成される。
【０１５６】
【数２４】
同様に、髪情報１３５の任意の要素Ａ（ｘ， ｙ）は、Ａ’（Ｘ， Ｙ）に変換され、髪情報１１１０が生成される。また、顔情報モデル１３４上の任意の頂点Ｐｆ（ｘ， ｙ）もＰｆ’（Ｘ， Ｙ）に変換され、顔情報モデル１１９が生成される。
【０１５８】
なお、顔情報モデル１１６や顔情報モデル１３４に対する処理は、顔情報モデル１１６におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【０１５９】
次に頭髪合成処理部１１２の動作について説明する。頭髪合成処理部１１２も、第１の実施の形態と同様に、ＲＧＢの色情報ではなく、画素値を色相、明度、彩度に変換し、０から２５５の整数値に正規化したものを用いる。
【０１６０】
図１６は、頭髪合成処理部１１２の構成図である。図１６において、１６１は合成情報生成部である。１６２は、髪情報１６７の属性に従って、正面顔画像１１３の色相と頭髪画像１１８の色相とを用いて、色相を生成する色相合成部である。１６３は、髪情報１６７の属性に従って、正面顔画像１１３の明度と頭髪画像１１８の明度とを用いて、明度を生成する明度合成部である。１６４は、髪情報１６７の属性に従って、正面顔画像１１３の彩度と頭髪画像１１８の彩度とを用いて、彩度を生成する彩度合成部である。１６５は、色相合成部１６２により生成された色相と、明度合成部１６３により生成された明度と、彩度合成部１６４により生成された彩度を入力し、これらから色を求めて、正面顔画像１１３にマッピングし、頭髪合成画像１１１１を生成するマッピング処理部である。１６６は、合成情報生成部１６１によって生成された合成情報である。１６７は、合成情報生成部１６１によって修正された髪情報である。
【０１６１】
合成情報生成部１６１は、正面顔画像１１３と頭髪画像１１８の色情報から、色相合成部１６２、明度合成部１６３、彩度合成部１６４が生成処理する時に用いる合成情報１６６を生成する。これと同時に、合成情報生成部１６１は、マッピング先の正面顔画像１１３の画素の色情報を調べ、髪情報１１１０を修正して髪情報１６７を出力する。本実施の形態においては、合成情報１６６の一例として明度の平均値を用いる。また髪情報１１１０の修正は、一例として、正面顔画像１１３の明度の小さい画素に対するマッピングを属性２のマッピングに変更することとした。
【０１６２】
まず、合成情報生成部１６１の動作について説明する。合成情報生成部１６１は、頭髪画像１１８の頭輪郭内で眉より上の領域の画素のうち、髪情報１１１０によって与えられる属性が３のものの明度の平均値Ｌｈａを求める。また、合成情報生成部１６１は、正面顔画像１１３における頭輪郭内の眉より上の部分の点Ｐ（ｘ， ｙ）の明度Ｌが数（２５）を満たす画素を調べる。
【０１６３】
【数２５】
（数２５）のθｌはしきい値であり、その一例としてθｌ＝９５とする。この画素は暗い画素で、髪である可能性が高い。そのため、（数２５）を満たす画素が頭髪合成画像１１１１に残らないようにするため、合成情報生成部１６１は、髪情報１１１０のＡ（ｘ， ｙ）を属性２とし、髪情報１６７を作成する。さらに、合成情報生成部１６１は、（数２５）を満たさない画素の明度の平均値Ｌｆａを求める。
【０１６５】
色相合成部１６２、明度合成部１６３及び彩度合成部１６４の各々で行われる処理は、髪情報１６７の画素の属性によって決定される。属性３の画素は、頭髪ではないためマッピングは行われない。属性１の画素は、前髪、生え際、前髪による影の部分の画素であるから、その画素値と、正面顔画像１１３上のマッピング先の画素値とを合成した値をマッピングする。属性２の画素は、その画素値を正面顔画像１１３上にそのままマッピングする。
【０１６６】
色相合成部１６２の動作について説明する。頭髪画像１１８の任意の画素Ｐｈ（ｘ， ｙ）の色相をＨｈ、髪情報１６７から得られる画素Ｐｈの属性をＡ（ｘ， ｙ）、画素Ｐｈがマッピングされる正面顔画像１１３の画素Ｐｆ（ｘ， ｙ）の色相をＨｆとすると、色相合成部１６２は、Ａ（ｘ， ｙ）にしたがって、ＨｆとＨｈとを用いて（数２６）によりＨを生成する。
【０１６７】
【数２６】
色相合成部１６２は、属性１の場合、Ｈｆ及びＨｈの中間値をとる。ただし、色相は図１７に示すような角度で表されるため、ＨｆとＨｈは、（数２７）により補正されたものが用いられる。
【０１６９】
【数２７】
また、Ｈは、（数２８）により補正されたものが用いられる。
【０１７１】
【数２８】
明度合成部１６３の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の明度をＬｈ、Ｐｆ（ｘ， ｙ）の明度をＬｆとする。明度合成部１６３は、合成情報１６６から得られる明度の平均値ＬｆａとＬｈａを用いて、（数２９）によりＬｈとＬｆからＬを合成する。
【０１７３】
【数２９】
明度合成部１６３は、属性１の場合の合成を平均値との差を用いて行う。
【０１７５】
彩度合成部１６４の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の彩度をＳｈ、Ｐｆ（ｘ， ｙ）の彩度をＳｆとする。ＳｆとＳｈは、（数３０）によりＳに合成される。
【０１７６】
【数３０】
マッピング処理部１６５は、上記のようにして合成したＨ，Ｌ、ＳをＲＧＢの色に変換し、正面顔画像１１３の画素Ｐｆにその色をマッピングする。
【０１７８】
ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約５秒であった。
【０１７９】
なお、本実施の形態では、正面顔画像１１３と頭髪画像１１５は、ともに２５６×２５６の大きさのディジタル画像であるとしたが、他の大きさのものでもよい。
【０１８０】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造をしたものでもよい。
【０１８１】
更に、本実施の形態では、マッピング時の合成に、色相と彩度は同じ関数を用いたが、それぞれ独立の関数を用いても良い。
【０１８２】
また、合成情報としては、他に正面顔画像の色相、彩度の平均値も加え、色相合成部、彩度合成部において、属性１の場合の合成結果にその平均値を用いても良い。
本実施の形態における画像処理装置について以上に説明したように、前記人の画像は、その人の顔画像であり、前記構造情報は、前記人の顔の表面に対する構造情報であり、前記参照画像は、頭髪を有する前記別人の顔の画像である頭髪画像であり、前記別人の構造情報は、前記頭髪画像における前記別人の顔の表面に対する構造情報を示すものであり、前記所定部分は、頭髪又はその頭髪による影である頭髪部分であり、前記属性情報は、前記頭髪画像における各画素の属性をその画素に対応させて保持している髪情報であり、前記画像調整部は、前記髪情報と前記頭髪画像とに前記所定の変換を適用する頭髪画像調整部であり、前記合成処理部は、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部であるとしてもよい。
また、前記画像調整部は、前記人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報と、前記別人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報とを利用して、前記参照画像と前記参照画像の属性情報とに前記所定の変換を適用するとしてもよい。
また、前記合成処理部は、前記参照画像の属性情報の各画素の属性に従って、その属性の画素に対応する前記参照画像の画素値を用いて、又は前記属性の画素に対応する、前記参照画像の画素値と前記人の顔画像の画素値とを用いて、前記人の顔画像に割り付ける前記頭髪部分の各画素値を生成する生成部と、その生成部により生成された参照画像の所定部分の各画素値を前記人の顔画像に割り付けるマッピング処理部とを備えたとしてもよい。
また、前記画像処理装置は、前記マッピング処理部により参照画像の所定部分が割り付けられた人の顔画像を修正する合成画像修正部を更に備えたとしてもよい。
また更に、前記生成部は、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、色相を生成する色相合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、明度を生成する明度合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、彩度を生成する彩度合成部との少なくとも１つを備えたとしてもよい。
【０１８３】
（実施の形態７）
以下、図１８を参照しながら、本発明の第７の実施の形態における画像処理装置について説明する。図１８において、１８１はマッピング結果の画像に、顔領域と髪領域の間にすき間があった場合、そこを補間して修正を施す合成画像修正部を表す。１８２はこの画像処理装置の出力である頭髪合成画像を表す。髪領域選定部１１、除去領域変更部１２の処理は、第１の実施の形態または第２の実施の形態または第３の実施の形態または第４の実施の形態記載のものと同様である。また、頭髪画像調整部１１１の処理は、第６の実施の形態記載のものと同様である。
【０１８４】
頭髪合成処理部１１２の動作は、第６の実施の形態記載のものと合成情報生成部の処理が異なる部分があり、以下それを説明する。本実施の形態の画像処理装置では、頭髪合成処理部１１２において、髪除去画像１６に頭髪画像１１８をマッピングする。髪除去画像１６は頭髪およびその頭髪による影の部分を除去したものであるから、髪情報１１１０の修正の必要はない。よって、本実施の形態では、合成情報生成部１６１においてこの処理を行わない。また、除去領域１５を入力することにより、（数２５）のしきい値処理を行わず、除去領域１５に含まれない画素の明度の平均値Ｌｆａを求める。
【０１８５】
合成画像修正部１８１は、マッピング結果の画像を水平走査線毎に調べ、顔領域と髪領域の間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像１１８の画素が、頭髪画像１１８における顔の輪郭上の点、または輪郭内部の点と隣接していない場合は、補間を行わない。頭髪画像１１８における顔の輪郭は、顔情報モデル１１９より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目で平滑化を行う。平滑化の方法は第１の実施の形態などに記載したものと同様である。
【０１８６】
（実施の形態８）
以下、本発明の第８の実施の形態について説明する。本実施の形態は、入力の正面顔画像から第１の実施の形態または第２の実施の形態または第３の実施の形態または第４の実施の形態記載の画像処理装置によって頭髪とその頭髪による影との領域を除去し、除去した領域を変更した髪除去画像に、あらかじめ用意した頭髪を合成するものである。また、頭髪画像調整部は、顔表面モデルと顔情報モデルより得られる目、鼻、口、眉の位置および頭輪郭との距離、頭輪郭の位置および大きさのすべてまたは一部によって動作し、頭髪合成処理部は、髪除去画像と頭髪画像の合成に用いる情報を生成する合成情報生成部と、髪情報から得られる画素の属性によって指定された方法でテクスチャ情報を合成するテクスチャ情報合成部と、前記テクスチャ情報合成部によって合成された画素値を髪除去画像にマッピングするマッピング処理部と、マッピング後の結果画像に修正を加える合成画像修正部から構成されるものである。さらに、テクスチャ情報合成部は、色相合成部と明度合成部と彩度合成部から構成されるものである。
【０１８７】
図１９は、本実施の形態における画像処理装置のブロック図である。図１９において、１９１は頭髪画像調整部を表し、１９２は頭髪合成処理部を表し、１９３は頭髪画像を表し、１９４は頭髪画像１９３の顔の構造情報を表す顔情報モデルを表し、１９５は頭髪画像１９３の各画素の属性を表す髪情報を表し、１９６は頭髪画像１９３が頭髪画像調整部１９１によって変換された結果の頭髪画像を表し、１９７は顔情報モデル１９４が頭髪画像調整部１９１によって変換された結果の顔情報モデルを表し、１９８は髪情報１９５が頭髪画像調整部１９１によって変換された結果の髪情報を表し、１９９は髪除去画像１６に頭髪画像１９６の頭髪を合成した結果の頭髪合成画像を表す。
【０１８８】
入力の正面顔画像１３は、第１の実施の形態などと同様に、図２に示すような顔画像取り込み装置によって取り込まれた、大きさ２５６×２５６画素で、１画素につきＲＧＢ各８ビット深さのカラーのディジタル画像を用いる。顔は正面を向いたもので、頭の中心線はほぼ垂直である。顔表面モデル１４も第１の実施の形態などと同様のものである。頭髪画像１９３は正面を向いた顔を撮影したディジタル画像で、大きさ２５６×２５６画素、１画素につきＲＧＢ各８ビット深さのカラー画像である。頭髪画像１９３における顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル１９４は顔表面モデル１４と同様の構成である。
【０１８９】
髪情報１９５は、頭髪画像１９３の各画素を髪除去画像１６と合成する時、合成された画像をより自然なものとするために、その合成方法を指定する属性を与えるものである。髪情報１９５は頭髪画像１９３と同じ大きさで、１要素が８ビットのビット幅を持つ二次元配列である。図２０に示すように、この配列の１要素が頭髪画像１９３の１画素に対応する。すなわち、髪情報１９５の配列をＡ（ｘ， ｙ）とすると、Ａ（ｘ０， ｙ０）が頭髪画像１９３の点（ｘ０， ｙ０）の画素の属性となる。
【０１９０】
次の表２に本実施の形態で用いる属性とその意味を示す。
【０１９１】
【表２】
この表２は、頭髪による影をつけたり、細かな前髪を自然に重ねたりして、合成された画像をよりリアルなものにするために設定されたものである。
【０１９３】
表２と図２０において、２０１は属性１の領域を表し、２０２は属性２の領域を表し、２０３は属性３の領域を表し、２０４は属性４の領域を表す。
【０１９４】
頭髪画像調整部１９１は、頭髪画像１９３の頭髪がマッピングする髪除去画像１６の顔に適合するように、頭髪画像１９３の調整を行う。本実施の形態では、頭髪画像１９３の調整の一例として、頭髪画像１９３における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ髪除去画像１６における頭輪郭の水平、垂直両方向の大きさと位置に一致させる。
【０１９５】
以下、このような調整を行う頭髪画像調整部１９１の動作を、図２１を参照しながら説明する。図２１において、２１１は頭髪画像１９３の顔の大きさが髪除去画像１６の顔の大きさと一致するように、頭髪画像１９３と顔情報モデル１９４と髪情報１９５を変換する大きさ調整手段を表し、２１３は大きさ調整手段２１１によって変換された頭髪画像を表し、２１４は大きさ調整手段２１１によって変換された顔情報モデルを表し、２１５は大きさ調整手段２１１によって変換された髪情報を表し、２１２は頭髪画像２１３の顔の頭髪画像２１３の中の位置と、髪除去画像１６の顔の髪除去画像１６の中の位置とが一致するように、頭髪画像２１３と顔情報モデル２１４と髪情報２１５を変換する位置調整手段を表す。
【０１９６】
大きさ調整手段２１１の動作について説明する。まず、顔表面モデル１４から図２２に示すような頭輪郭の大きさｄｖ１、ｄｖ２、ｄｈが得られる。ｄｖ１は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最上点の垂直方向（ｙ軸方向）の距離であり、ｄｖ２は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最下点の垂直方向の距離である。ｄｈは頭輪郭を鼻の頭の点を通る水平線で切った切口の線分の長さであり、これを頭輪郭の水平方向（ｘ軸方向）の大きさとする。
【０１９７】
同様に、顔情報モデル１９４から、頭髪画像１９３の顔の頭輪郭の垂直方向の大きさｄｖ１’、ｄｖ２’と、水平方向の大きさｄｈ’が得られる。その大きさの調整については、頭髪画像１９３と髪情報の各々を水平方向と垂直方向に、それぞれ独立の倍率でスケーリングすることによって行う。更に、垂直方向のスケーリングについては、鼻の頭の位置から上と下をそれぞれ独立の倍率でスケーリングする。水平方向の倍率をＳｈ、垂直方向の倍率を鼻の頭より上をＳｖ１、下をＳｖ２とすると、それぞれの倍率は、（数３１）により算出される。
【０１９８】
【数３１】
大きさ調整手段２１１は、頭髪画像１９３をｘ軸方向にＳｈでスケーリングし、ｙ軸方向にＳｖ１とＳｖ２でスケーリングすることによって頭髪画像２１３を生成する。この頭髪画像１９３の大きさ合わせと同様の処理により、髪情報１９５は髪情報２１５に変換される。スケーリングの方法には、最近隣接法などの従来の方法を用いることができる。
【０２００】
また顔情報モデル１９４は、各特徴点毎に対応するｘ座標とｙ座標を持っているため、（数３２）によって顔情報モデル２１４に変換される。
【０２０１】
【数３２】
ここで、鼻の頭の位置のｙ座標をｙｎとする。
【０２０３】
次に位置調整手段２１２の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔｈ、垂直方向の変位をΔｖとする。Δｈ、Δｖは以下のように求める。
【０２０４】
図２３は、位置調整手段２１２の動作を説明するための図である。図２３における顔は、髪除去画像１６の顔である。点Ｐｎは鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表し、点Ｐｅは目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点を表し、点Ｐｍは点Ｐｎと点Ｐｅを結ぶ線分の中点を表す。位置調整手段２１２は、頭髪画像２１３に対しても同様に、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点Ｐｎ’、目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点Ｐｅ’、点Ｐｎ’と点Ｐｅ’を結ぶ線分の中点Ｐｍ’を求める。 そこで、これらの中点をそれぞれＰｍ（ｘｆ， ｙｆ）、Ｐｍ’（ｘｈ， ｙｈ）とすると、ΔｈとΔｖは、それぞれ（数３３）により求められる。
【０２０５】
【数３３】
頭髪画像２１３上の任意の点Ｐ（ｘ， ｙ）は、（数３４）によって点Ｐ’（Ｘ， Ｙ）に変換され頭髪画像１９６が生成される。
【０２０７】
【数３４】
同様に、髪情報２１５の任意の要素Ａ（ｘ， ｙ）は、Ａ’（Ｘ， Ｙ）に変換され髪情報１９８が生成される。また顔情報モデル２１４上の任意の頂点Ｐｆ（ｘ， ｙ）もＰｆ’（Ｘ， Ｙ）に変換され、顔情報モデル１９７が生成される。
【０２０９】
なお、顔情報モデル１９４や顔情報モデル２１４に対する処理は、顔情報モデル１９４におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【０２１０】
次に頭髪合成処理部１９２の動作について説明する。頭髪合成処理部１９２における処理でも、第１の実施の形態などと同様にＲＧＢの色情報ではなく、画素値を色相、明度、彩度に変換し、０から２５５の整数値に正規化したものを用いる。
【０２１１】
図２４は、頭髪合成処理部１９２の構成図である。図２４において、２４１は合成情報生成部である。２４２は、髪情報１９８の属性に従って、髪除去画像１６の色相と頭髪画像１９６の色相とを用いて、色相を生成する色相合成部である。２４３は、髪情報１９８の属性に従って、髪除去画像１６の明度と頭髪画像１９６の明度とを用いて、明度を生成する明度合成部である。２４４は、髪情報１９８の属性に従って、髪除去画像１６の彩度と頭髪画像１９６の彩度とを用いて、彩度を生成する彩度合成部である。２４５は、色相合成部２４２により生成された色相と、明度合成部２４３により生成された明度と、彩度合成部２４４により生成された彩度とを入力し、それらからＲＧＢの色に変換し、髪除去画像１６にマッピングして頭髪合成画像１９９を生成するマッピング処理部である。２４６は合成情報生成部２４１によって生成された合成情報である。２４７は、マッピング結果の画像において、顔領域と頭髪領域との間にすき間があった場合、そこを補間して修正を施す合成画像修正部である。合成情報生成部２４１は、髪除去画像１６と頭髪画像１９６の色情報から、色相合成部２４２、明度合成部２４３、彩度合成部２４４が合成処理する時に用いる合成情報２４６を生成し出力する。本実施の形態では、合成情報２４６の一例として明度と彩度の平均値を用いる。
【０２１２】
まず、合成情報生成部２４１の動作について説明する。合成情報生成部２４１は、頭髪画像１９６における頭輪郭内で目より下の領域の画素のうち、髪情報１９８によって与えられる属性が３または４のものの明度の平均値Ｌｈａと彩度の平均値Ｓｈａを求める。また、合成情報生成部２４１は、第３の実施の形態における明度の平均値Ｌａと彩度の平均値Ｓａを合成情報２４６として取得する。
【０２１３】
色相合成部２４２、明度合成部２４３又は彩度合成部２４４で行われる処理は、髪情報１９８の属性により決定される。属性４の画素は頭髪ではないため、マッピングは行われない。属性１の画素は、前髪や生え際の画素であるから、その画素値と、髪除去画像１６上のマッピング先の画素値とを合成した値をマッピングする。属性２の画素は、その画素値を髪除去画像１６上にそのままマッピングする。属性３の画素は、頭髪による影であるから、マッピング先の画素の明度と彩度を若干落すことによって処理される。
【０２１４】
色相合成部２４２の動作について説明する。頭髪画像１９６の任意の画素Ｐｈ（ｘ， ｙ）の色相をＨｈ、髪情報１９８から得られる画素Ｐｈの属性をＡ（ｘ， ｙ）、画素Ｐｈがマッピングされる髪除去画像１６の画素Ｐｆ（ｘ， ｙ）の色相をＨｆとすると、色相合成部２４２は、Ａ（ｘ， ｙ）にしたがって、ＨｆとＨｈとを用いて（数３５）によりＨを生成する。
【０２１５】
【数３５】
（数３５）の関数ｍｏｄ（ａ，ｂ）は整数ａを整数ｂで割った剰余を返すもので、属性１の場合では、合成画像の色相は交互に頭髪画像１９６、髪除去画像１６の色相をとることとなる。
【０２１７】
明度合成部２４３の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の明度をＬｈ、Ｐｆ（ｘ， ｙ）の明度をＬｆとする。明度合成部２４３は、合成情報２４６から得られる明度の平均値Ｌａ、Ｌｈａを用いて、（数３６）によりＬｈとＬｆからＬを合成する。
【０２１８】
【数３６】
明度合成部２４３は、属性１の場合の合成を平均値の差を用いて行う。また、明度合成部２４３は、属性３においては肌の明度を下げる。ここで、σはある実数であり、一例としてＬａ／Ｌｈとした。また、関数ｍｉｎ（ａ，ｂ）は、実数ａ，ｂのうち大きくない方の値をとるものである。
【０２２０】
彩度合成部２４４の動作について説明する。上記の画素Ｐｈ（ｘ， ｙ）の彩度をＳｈ、Ｐｆ（ｘ， ｙ）の彩度をＳｆとする。彩度合成部２４４は、合成情報２４６から得られる彩度の平均値Ｓａ、Ｓｈａを用いて、（数３７）によりＳｆとＳｈからＳを合成する。
【０２２１】
【数３７】
（数３７）において、ａ、ｂ、ｃ、ｄは、ａ＋ｂ＝１、ｃ＋ｄ＝１を満たすある実数であり、一例としてａ＝０．３、ｂ＝０．７、ｃ＝０．４、ｄ＝０．６とした。
【０２２３】
マッピング処理部２４５は、上記のようにして合成したＨ，Ｌ，ＳをＲＧＢの色に変換し、髪除去画像１６の画素Ｐｆにその色をマッピングする。
【０２２４】
合成画像修正部２４７は、マッピング結果の画像を水平走査線毎に調べ、髪領域とその髪領域を含まない顔領域との間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像１９６の画素が、頭髪画像１９６における頭輪郭上の点、または頭輪郭内部の点と隣接していない場合は、補間を行わない。
【０２２５】
頭髪画像１９６における頭輪郭は、顔情報モデル１９７より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目にスムージングをかける。スムージングの方法は第１の実施の形態などに記載したものと同様である。
【０２２６】
ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約８秒であった。
【０２２７】
なお、本実施の形態では、正面顔画像１３と頭髪画像１９３は、ともに２５６×２５６の大きさのディジタル画像であるとしたが、他の大きさのものであるとしてもよい。
【０２２８】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造のものを用いてもよい。
【０２２９】
また、合成情報としては、他に正面顔画像の色相の平均値も加え、色相合成部において属性１の場合の合成結果にその平均値を用いても良い。
【０２３０】
また、本実施の形態では、明度合成部２４３は、属性１の場合の合成を平均値の差を用いて行うとしたが、属性１と属性３の合成を平均値の比率によって明度値を求め、マッピングを行うとしてもよい。すなわち、（数３６）の代わりに（数３８）を用いても良い。
【０２３１】
【数３８】
なお、本実施の形態における画像処理装置については、以上に説明したように、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記画像における少なくとも１つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、前記構造情報と、別人の画像である参照画像におけるその別人の構造情報とに基づいて、前記別人の所定部分が前記画像に適合するように、その人の画素に対応させて保持している属性情報に基づいて、前記参照画像における各画素の属性とその参照画像とに所定の変換を適用する画像調整部と、その所定の変換が適用された属性情報に従って、前記所定の変換が適用された参照画像における所定部分を前記画像に割り付ける合成処理部とを備えたことを特徴とする。
また、顔の画像である顔画像の全部または一部における各画素値と、その顔画像における顔の表面に対する構造情報を示す顔表面モデルとに基づいて、その顔画像における頭髪又は頭髪及びその頭髪による影を除去領域に選定する髪領域選定部と、前記顔表面モデルにおける構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記除去領域の全部又は一部における各画素値を変更する除去領域変更部と、前記顔表面モデルと、頭髪を有する別の顔の画像である頭髪画像におけるその別の顔の表面に対する構造情報を示す顔情報モデルとに基づいて、前記別人の頭髪又はその頭髪及びその頭髪による影である頭髪部分が、前記顔画像に適合するように、前記頭髪画像の画素の各々に対する属性をその画素に対応させて保持している髪情報とその頭髪画像とに所定の変換を適用する頭髪画像調整部と、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部とを備えたことを特徴とする。
（実施の形態９）
以下、図２５を参照しながら本発明の第９実施の形態における画像処理装置について説明する。本実施の形態は、顔表面モデル生成部１０１によって生成された顔表面モデル１４を、髪領域選定部１１、除去領域変更部１２、頭髪画像調整部１９１、頭髪画像合成部１９２の入力としたこと以外は、第７の実施の形態または第８の実施の形態記載のものと同様のものである。
本実施の形態における画像処理装置について以上に説明したように、前記人の顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【０２３３】
（実施の形態１０）
図２６は、本発明の第１０の実施の形態のブロック図である。本実施の形態は、第８の実施の形態の画像処理装置と画像表示装置から構成される顔画像表示装置に関するものである。図２６において、２６１は頭髪画像データベースを表し、２６２は頭髪画像選択装置を表し、２６３は画像表示装置を表す。頭髪画像データベース２６１は、合成する頭髪画像、顔情報モデル、髪情報を多数保持しており、頭髪画像選択装置２６２は、頭髪画像データベース２６１から、ある頭髪画像、顔情報モデル、髪情報を選択して出力する。画像表示装置２６３は正面顔画像１３、髪除去画像１６、頭髪合成画像１９９や頭髪画像データベース２６２から得られる頭髪画像を複数同時に表示する。顔表面モデル１４と顔情報モデル１９４は同様の構成をしていることから、頭髪画像を入力の正面顔画像１３とすることもできる。
【０２３４】
本実施の形態の顔画像表示装置によって、複数の顔画像を同時に表示し、その頭髪を交換して表示することが可能である。これにより、対象人物の髪形を、別のある人物の髪形を選んで変更し、表示させることが可能となる。また、複数の頭髪画像を表示し、その頭髪を交換することも可能である。このような顔画像表示装置によって、取り替える髪形を、髪形だけが写った画像から選ぶよりも、ある人物の髪形として選ぶ方がよりイメージが描きやすいといった効果がある。
【０２３５】
上述した実施の形態は、頭髪合成に関するものであるが、同様の方式により鬚、耳、首、装飾品、衣服といったものを顔画像に合成することにも応用できる。以下、それぞれについて説明する。
【０２３６】
鬚を合成する処理について説明する。この場合、髪情報における属性１又は２を頭髪画像における鬚の領域とする。図２７において、ｄｍは水平方向の口の幅を表す。またｄｎは、口の領域の最上位点を通る水平方向の直線と、鼻の頭を通る水平方向の直線との間の距離である。この距離を口と鼻の距離とする。頭髪画像におけるｄｍとｄｎがそれぞれ正面顔画像におけるｄｍとｄｎに一致するように、大きさの調整を行う。すなわち、水平方向のスケーリングの倍率Ｓｈは、正面顔画像における水平方向の口の幅ｄｍと、頭髪画像における水平方向の口の幅ｄｍ’によって、（数３９）のように決まる。
【０２３７】
【数３９】
また、垂直方向のスケーリングの倍率Ｓｖは、正面顔画像における口と鼻の距離ｄｎと、頭髪画像における口と鼻の距離ｄｎ’によって（数３９）のように決まる。このＳｈとＳｖを用いて、頭髪画像を水平方向に倍率Ｓｈで、垂直方向に倍率Ｓｖでスケーリングして、大きさの調整を行う。
【０２３９】
次に、鬚を合成する場合の位置の調整について説明する。図２８において、Ｐｎは、鼻の頭を通る水平方向の直線により頭輪郭を切った切口の線分の中点である。また、Ｐｍは、口の領域の最上位点を通る水平方向の直線により頭輪郭を切った切り口の線分の中点である。Ｐｃは、ＰｎとＰｍとを結んだ線分の中点であり、位置の調整の基準点となる。位置の調整のために、正面顔画像における基準点Ｐｃと、頭髪画像における基準点Ｐｃ’とが、同一画面において同じ位置となるように頭髪画像の平行移動が行われる。これらの基準点をそれぞれＰｃ（ｘｆ，ｙｆ）とＰｃ’（ｘｈ，ｙｈ）であるとすれば、水平方向の移動量であるΔｈと垂直方向の移動量であるΔｖは、それぞれ（数２３）により与えられる。このΔｈとΔｖを（数２４）に代入して得られるＸとＹを頭髪画像の位置とすることにより、位置の調整が行われる。頭髪合成処理部では、上記頭髪を合成する場合と同様の処理を行う。
【０２４０】
次に、耳を合成する処理について説明する。まず、表２に示した属性の他に耳に対する属性５を追加する。髪情報は、頭髪画像における耳の領域を属性５に設定する。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の方法で行う。頭髪合成処理部は、上記頭髪合成の場合の（数３５）を（数４０）に、（数３６）を（数４１）に、（数３７）を（数４２）にそれぞれ置き換えて処理する。
【０２４１】
【数４０】
【数４１】
【数４２】
ここで、（数４０）のＨ０は顔領域の適当な位置における画素の色相である。ここでは、眉間の画素を用いるとする。
【０２４５】
装飾品を合成する処理を説明する。この場合、頭髪画像の装飾品の領域の属性を２として髪情報を構成する。（数２１）の倍率Ｓｈを用いて、頭髪画像を（数４３）にしたがってスケーリングすることにより、大きさの調整を行う。
【０２４６】
【数４３】
倍率には、Ｓｈ以外に、（数２１）のＳｖ又は（数３１）のＳｖ１若しくはＳｖ２を用いてもよい。
【０２４８】
頭髪合成処理部は、上記頭髪の合成の場合と同様の処理を行う。
【０２４９】
次に、首と衣服の合成について説明する。但し、衣服は首に付随したものとして処理する。この場合、髪情報における属性５を頭髪画像における首の肌が見えている領域とする。また、属性２を衣服の部分の領域とする。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の処理を行う。頭髪合成処理部は、耳を合成する場合と同様の処理を行う。
本実施の形態における画像処理装置について以上に説明したように、前記合成処理部により参照画像の所定部分が割り付けられた顔画像を複数表示する画像表示部を更に備えるとしてもよい。
【０２５０】
【発明の効果】
以上のように、本発明によれば、自動的に、違和感の少ない頭髪合成画像を生成することができる。
【０２５１】
また、本発明によれば、ＤＳＰを持ったメディア処理ボード搭載の３２ビットパーソナルコンピュータを用いれば、撮影から頭髪合成終了までを実用時間の十数秒で処理することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置のブロック図である。
【図２】正面顔画像１３を取り込む顔画像取り込み装置の一例を示す図である。
【図３】図２に示す顔画像取り込み装置により取り込まれた正面顔画像１３の一例を示す図である。
【図４】顔表面モデル１４の一例を示すワイヤーフレームモデルの図である。
【図５】除去領域変更部１２による画素値変更の動作を説明するための図である。
【図６】（ａ）は（数７）におけるｆの特性図であり、（ｂ）は（数８）におけるｆの特性図である。
【図７】平滑化に用いるマスクの構成図である。
【図８】第２の実施の形態における髪領域選定部１１の処理の手順を示すフローチャートである。
【図９】第３の実施の形態における除去領域変更部１２の動作を説明するための図である。
【図１０】本発明の第５の実施の形態における画像処理装置のブロック図である。
【図１１】本発明の第６の実施の形態における画像処理装置のブロック図である。
【図１２】第６の実施の形態における頭髪画像と髪情報との対応図である。
【図１３】頭髪画像調整部１１１の構成図である。
【図１４】第６の実施の形態における大きさ調整手段の動作の説明図である。
【図１５】位置調整手段１３２の動作を説明するための図である。
【図１６】頭髪合成処理部１１２の構成図である。
【図１７】色相の説明図である。
【図１８】本発明の第７の実施の形態における画像処理装置のブロック図である。
【図１９】第８の実施の形態における画像処理装置のブロック図である。
【図２０】第８の実施の形態における頭髪画像と髪情報との対応図である。
【図２１】頭髪画像調整部１９１の構成図である。
【図２２】第８の実施の形態における大きさ調整手段の動作の説明図である。
【図２３】第８の実施の形態における位置調整手段の動作の説明図である。
【図２４】頭髪合成処理部１９２の構成図である。
【図２５】本発明の第９実施の形態における画像処理装置のブロック図である。
【図２６】本発明の第１０の実施の形態のブロック図である。
【図２７】鬚を合成する場合における大きさ調整手段の動作の説明図である。
【図２８】鬚を合成する場合における位置調整手段の動作の説明図である。
【符号の説明】
１１…髪領域選定部
１２…除去領域変更部
１３…正面顔画像
１４…顔表面モデル
１５…除去領域
１６…髪除去画像
１０１…顔表面モデル生成部
１１１…頭髪画像調整部
１１２…頭髪合成処理部
１３１…大きさ調整手段
１３２…位置調整手段
１６１…合成情報手段
１６２…色相合成部
１６３…明度合成部
１６４…彩度合成部
１６５…マッピング処理部
１８１…合成画像修正部
１９１…頭髪画像調整部
１９２…頭髪合成処理部
２１１…大きさ調整手段
２１２…位置調整手段
２４１…合成情報生成部
２４２…色相合成部
２４３…明度合成部
２４４…彩度合成部
２４５…マッピング処理部
２４７…合成画像修正部
２６２…頭髪画像選択装置
２６３…画像表示装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus capable of automatically replacing a hairstyle with another one in a practical time without any discomfort in computer graphics of a person and displaying the same.
[0002]
[Prior art]
Conventionally, in an image processing for assigning another hair to an image of a certain person, when an image in which the hair is removed from the image of the person is generated as a pre-process of the image processing, the image is obtained by photographing by tying the hair. An image in which the hair has been removed has been obtained by capturing an image in which the hair does not cover the face, or by manually removing the hair region of the image of the person.
[0003]
When another hair is assigned to the obtained image from which the hair has been removed, another hair is manually pasted to the image from which the hair has been removed.
[0004]
[Problems to be solved by the invention]
However, in such a conventional method, even when the hair is tied and photographed, the hair may not be completely removed and may remain, so that the original hair is added to the image obtained by the image processing for allocating another hair. There was a problem that it would remain.
[0005]
In addition, there is a problem that when removing hair by hand, a considerable amount of time must be spent.
[0006]
Furthermore, the image obtained by the conventional image processing of simply pasting another hair to the image from which the hair has been removed has a considerable sense of incongruity.
[0007]
The present invention provides an image processing apparatus that removes hair from a frontal image of a face, estimates the shape of the head of the part from which the hair has been removed, and fills the estimated area of the head with the skin color of the face. The purpose is to provide.
[0008]
Further, the present invention provides an image processing apparatus that performs image processing with less discomfort by adjusting another hair so as to conform to the front image of the face, and further using color information in the head contour. Aim.
[0009]
[Means for Solving the Problems]
To solve this problem, the present inventionfaceEach pixel value in all or part of the image and itsfaceBased on the human structural information in the imagefaceAn area selection unit for selecting an area of a predetermined portion in an image, the structure information,faceAn area changing unit that changes each pixel value in all or a part of the area based on color information obtained from at least one pixel value in the image.The area selecting unit selects a hair and / or a shadow of the hair in the area based on a head contour, eyes, and eyebrows in the structure information.An image processing apparatus characterized in that:
In addition, the present invention, an area selection unit that selects a predetermined area of the face image based on each pixel value in all or a part of the face image of the person and the structural information of the person in the face image, An area changing unit that changes each pixel value in all or a part of the area based on the structure information and color information obtained from at least one pixel value in the face image; An image processing apparatus comprising: a fluctuation generating unit that adds a predetermined irregular fluctuation component to each pixel value in the area based on color information of a pixel.
In addition, the present invention, an area selection unit that selects a predetermined area of the face image based on each pixel value in all or a part of the face image of the person and the structural information of the person in the face image, An area changing unit that changes each pixel value in all or a part of the area based on the structure information and color information obtained from at least one pixel value in the face image, wherein the area selecting unit includes: An image processing apparatus for selecting a hair and a shadow portion in the face image as the region.
Further, the present invention provides an area selecting unit for selecting an area of a predetermined portion in an image of a person based on each pixel value in all or a part of the image of the person and structural information of the person in the image, And an area change that changes each pixel value in all or a part of the area based on color information obtained from at least one pixel value in the image near the outer periphery of the area selected by the area selecting unit. And an image processing apparatus.
[0019]
Also,The present inventionPictureIn the statueStructureConstruction informationWhen, AnotherManofPictureIn the reference imageStructureConstruction informationWhenBased on said anotherImages of peopleIs a predetermined portion ofperson'sSaid reference image to fit the imageToAn image adjustment unit that applies a predetermined conversion;PreviousThe predetermined portion of the reference image to which the predetermined conversion has been applied is described above.person'sAn image processing apparatus comprising: a synthesis processing unit for allocating to an image.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0030]
FIG. 1 is a block diagram of the image processing apparatus according to the first embodiment of the present invention. 1, the image processing apparatus according to the present embodiment includes a hair
[0031]
The removal
[0032]
FIG. 2 is a diagram illustrating an example of a face image capturing device that captures the
[0033]
The
[0034]
FIG. 3 is a diagram illustrating an example of the
[0035]
FIG. 4 is a diagram of a wire frame model showing an example of the
[0036]
Each vertex has x-coordinate and y-coordinate data on the image of the vertex. Each vertex is given a predetermined number, and the position of the vertex on the image is specified by the number. The
[0037]
The
[0038]
Therefore, the shape of the frame of the
[0039]
The processing of JP-A-5-197793 and JP-A-4-199474 is as follows. First, the iris is recognized from the input frontal face image by template matching, and based on the recognition, the eye region is recognized by template matching. Next, based on the recognized position of the iris, a search range is set for each of the contours of the nose, mouth, eyebrows, cheeks, and head vertex. In each search range, the contours of the nose, mouth, eyebrows, cheeks, and the top of the head are recognized by template matching. A fixed feature point is obtained in each of the regions of the eyes, nose, mouth, eyebrows, cheek outline, and head vertex recognized in this manner. Then, the feature points of the eyes, nose, mouth, eyebrows, cheek contours, and head vertices of the wireframe model of the standard face prepared in advance are matched with the feature points obtained as a result of recognition. Is performed to obtain a wireframe model representing the surface structure of the face of the input face image. In the present embodiment, the wire frame model generated in this manner is used as a face surface model of the input face image.
[0040]
Next, the operation of the present embodiment will be described.
[0041]
The hair
[0042]
The removal
[0043]
If all the areas of the pixels whose pixel values have been changed are part of the
[0044]
Note that, in the present embodiment, the hair
[0045]
Hereinafter, the operations of the hair
[0046]
First, a specific operation of the hair
[0047]
Therefore, in the present embodiment, the area of the hair and the shadow of the hair is used as the
[0048]
First, among the pixels of the
[0049]
(Equation 1)
Using La and Lm, a threshold value θ11 is obtained by (Equation 2).
[0051]
(Equation 2)
Α and β in (Equation 2) are certain real numbers. As an example, α = 1.3 and β = 0.8. The function min (a, b) is a function that takes the smaller value of a and b. The head hair or a shadow part of the head hair is estimated using θ11 obtained by (Equation 2) as a threshold value. That is, a set of pixels in the head contour whose lightness L satisfies (Equation 3) is set as the
[0053]
(Equation 3)
Lastly, since the eyebrows, eyes, nose, and mouth are areas that should not be removed, if they are included in the
[0055]
Next, a specific operation of the removal
[0056]
FIG. 5 is a diagram for explaining an operation of changing a pixel value by the removal
[0057]
When a pixel located on a line segment 53 that is a set of middle points in the horizontal direction in a
[0058]
The removal
[0059]
In this case, if x0 = xs and x1 = xe, a special pixel value change process is required. This means that the pixel value of the entire line segment F needs to be changed, and the pixel value in the line segment F cannot be used for changing the pixel value at all.
[0060]
As described above, since x0 = xs and x1 = xe are only in the region above the eyebrows, in this case, the line segment F '= [xs' of the cut in which the region within the head contour is cut at y = y0 + 1 , Xe ′]]. That is, assuming that the middle points of F and F 'are xc and xc', respectively, and that the x coordinate of an arbitrary point P on the line segment F is X, the point P '(X ', Y0 + 1).
[0061]
(Equation 4)
The color of the pixel at point P ′ is set as the color of the pixel at point P. However, when the point P ′ is a point in the eyebrow area, the pixel value of the point P is left unchanged, and after performing this change processing on the entire line segment F, interpolation is performed by linear interpolation. .
[0063]
On the other hand, processing in the case of x0 ≠ xs or x1 ≠ xe will be described. In this case, the removal
[0064]
(Equation 5)
F in (Equation 5) is a function that takes a value of 0 ≦ f ≦ 1.
[0066]
In this embodiment, L0, S0, L1, S1, and f are determined as follows in three cases where x0 ≠ xs and x1 ≠ xe, x0 = xs, and x1 = xe.
[0067]
If x0 ≠ xs and x1 ≠ xe, L0 and S0 are the values of the pixel at point (x0-1, y0), and L1 and S1 are the values of the pixel at point (x1 + 1, y0). Then, each pixel value between the pixel at the point (x0-1, y0) and the pixel at the point (x1 + 1, y0) is changed using the pixel values at these two points. That is, the interpolation is linear interpolation. Therefore, f becomes (Equation 6).
[0068]
(Equation 6)
If x0 = xs, L0 and S0 are the values of the pixel at the point on the head contour at y = y0 + 1. However, if it is included in the
[0070]
(Equation 7)
FIG. 6A shows a characteristic diagram of f. In Expression 7, θx is a certain real number, and as an example, θx = 0.4.
[0072]
When x1 = xe, L1 and S1 are the values of the pixel at the point on the head contour at y = y0 + 1. However, when that area is included in the
[0073]
(Equation 8)
FIG. 6B shows a characteristic diagram of f. Θx is the same as the value in (Equation 7).
[0075]
Finally, the brightness and the saturation of the area where the pixel value is changed and its vicinity are smoothed. As an example of the smoothing, there is a method using a 3 × 3 mask shown in FIG. That is, assuming that the brightness and saturation of the pixel at point P (x, y) are L (x, y) and S (x, y), respectively, the brightness L '(x, y) of point P after smoothing is performed. y), S ′ (x, y) are given by (Equation 9).
[0076]
(Equation 9)
When a 32-bit personal computer equipped with a media processing boat having a DSP was used, it took about 3 seconds to perform the above processing.
[0078]
In the present embodiment, processing is performed on a digital image having a size of 256 × 256 pixels, which is photographed by the
As described above for the image processing apparatus according to the present embodiment, the image is the face image of the person, and the area selection unit is an area selection unit that selects a predetermined area of the person in the face image. The area change unit includes an area change unit that changes each pixel value in all or a part of the area based on the structure information and color information obtained from at least one pixel value in the face image. There may be.
The area selecting unit may select a hair and / or a shadow part in the face image as the area.
Further, the area change unit may further change each pixel value in the area to a value other than the pixel value of the face image corresponding to the inside of the head contour in the structure information.
Further, when the area changing unit changes each pixel value in a part of the area, the area changing unit further converts each pixel value in the rest of the area into a pixel value of the face image corresponding to the inside of a head contour in the structure information. It may be changed to a value other than.
Further, the region selecting unit may select a hair and / or a shadow of the hair in the region based on a head contour, eyes, and eyebrows in the structure information.
Furthermore, the area selection unit may select a hair and / or a shadow part as the area based on the brightness of each pixel in the face image.
Furthermore, the area selection unit may select a hair and a shadow part as the area based on the brightness and the saturation of each pixel in the face image.
[0079]
(Embodiment 2)
Hereinafter, an image processing apparatus according to the second embodiment of the present invention will be described. This embodiment differs from the first embodiment only in the operation of the hair
[0080]
FIG. 8 is a flowchart showing a procedure of the process of the hair
[0081]
Step 81: The hair
[0082]
Step 82: The hair
[0083]
(Equation 10)
The condition of (Equation 10) is to eliminate the influence of pixels other than skin and pixels with noise, and θh0 and θh1 are threshold values. As an example, it is assumed that θh0 = 1 and θh1 = 30.
[0085]
Step 83: The hair
[0086]
Step 84: The hair
[0087]
Step 85: The hair
[0088]
Step 86: The hair
[0089]
(Embodiment 3)
Hereinafter, an image processing apparatus according to the third embodiment of the present invention will be described. The configuration of the present embodiment, the
[0090]
First, the operation of the hair
[0091]
First, the hair
[0092]
(Equation 11)
(Equation 12)
The condition of (Equation 11) is to eliminate the influence of a clearly dark portion, and θ10 is a threshold value. The condition of (Equation 12) is for eliminating the influence of pixels other than the skin and pixels with noise, and θh0 and θh1 are threshold values. As an example, it is assumed that θ10 = 65, θh0 = 1, and θh1 = 30. The reason for taking the average value and the maximum value in the area below the eyes is to enable processing even when most of the forehead is covered with hair. The hair
[0095]
(Equation 13)
Α, β, and γ in (Equation 13) are certain real numbers. As an example, it is assumed that α = 1.15, β = 0.8, and γ = 0.8. Further, min (a, b) is a function that takes a smaller value of a and b.
[0097]
The hair
[0098]
First, the hair
[0099]
[Equation 14]
(Equation 15)
A in (Equation 15) is a certain real number, and as an example, a = 1.1.
[0102]
Next, the hair
[0103]
(Equation 16)
B in (Equation 16) is a certain real number, and it is assumed that b = 0.85 as an example. This takes into account that the portion between the eyes and eyebrows is slightly darker than the forehead or the like.
[0105]
Further, the hair
[0106]
Finally, the hair
[0107]
Next, the operation of the removal
[0108]
The removal
[0109]
FIG. 9 is a diagram for explaining the operation of the removal
[0110]
The removal
[0111]
In FIG. 9, an
[0112]
The removal
[0113]
The x-coordinates of both end points of a certain set of pixels are x0 and x1, respectively.
[0114]
Here, when x0 = xs and x1 = xe, special processing is required. This is a case where all the pixel values of the line segment F are changed, and the pixel values in the line segment F cannot be used at all. Since x0 = xs and x1 = xe are only in the area above the eyes, the removal
[0115]
That is, the removal
[0116]
[Equation 17]
The removal
[0118]
Next, processing in the case of x0 ≠ xs or x1 ≠ xe will be described. As the hue used for changing the pixel value, a plurality of pixels are extracted from a part of the head contour and used sequentially. As an example, a 5 × 5 pixel block is extracted from the space between the eyebrows, and is sequentially mapped. If the brightness of a certain pixel after the change is L and the saturation is S, S is given by (Equation 18).
[0119]
(Equation 18)
In this method, the saturation is obtained from the ratio between the lightness and the saturation of the skin without hair, and has an effect of eliminating the influence of a shadow or the like.
[0121]
Hereinafter, a method of obtaining the lightness L of each pixel after the change will be described. The lightness applied to the pixel at point (x0, y0) is L0, and the lightness applied to the pixel at point (x1, y0) is L1. The lightness L assigned to the pixel at the point P (X, y0) in the pixel set is obtained by (Equation 19).
[0122]
[Equation 19]
F in (Equation 19) is a function taking a value of 0 ≦ f ≦ 1. Then, L is calculated as L0, L1, and f are the same as those in the first embodiment.
[0124]
Finally, the brightness and the saturation of each of the pixels in the area of the changed pixel and the pixels in the vicinity thereof are smoothed by the same method as in the first embodiment.
[0125]
(Embodiment 4)
Hereinafter, an image processing apparatus according to the fourth embodiment of the present invention will be described. In the present embodiment, the removal
[0126]
The operation of the removal
[0127]
The fluctuation generator gives fluctuation to hue, lightness, and saturation using a numerical value generated randomly or a numerical value generated stochastically depending on the position of a pixel to be mapped. The distribution of hue, lightness, and saturation of human skin is not smooth from the beginning, but is irregular to some extent.By giving fluctuations using randomly generated numerical values, more realistic results can be obtained. Can be Also, wrinkles and spots can be formed by using a numerical value that is generated stochastically depending on the position.
[0128]
The operation of the fluctuation generator will be described. The function R generates an integer value in a certain range irregularly. As an example, a function that generates an integer value from −5 to 5 irregularly is used. The function F (x, y) is a function for stochastically generating a numerical value from the position in the head contour of the pixel P (x, y) to be mapped. The range of numerical values generated by the function F and the probability thereof are uniquely determined by wrinkling and wrinkling. First, the hue H, lightness L, and saturation S of the pixel value mapped to the pixel P are obtained in the same manner as in the third embodiment. From this, L ′ and S ′ are obtained as shown in (Equation 20) using the functions R and F.
[0129]
(Equation 20)
The fluctuation generating unit maps the pixel P using the L ′ and S ′, and changes the
[0131]
In the present embodiment, the function R for generating a random numerical value is used. However, if the statistical distribution of the skin hue, lightness, and saturation is obtained, the numerical value is generated according to the statistical distribution, and the fluctuation is given. Is also good.
As described above with respect to the image processing apparatus according to the present embodiment, a fluctuation that adds a predetermined irregular fluctuation component to each pixel value in the area based on the color information of at least one pixel in the face image A generation unit may be further provided.
[0132]
(Embodiment 5)
FIG. 10 is a block diagram of an image processing device according to the fifth embodiment of the present invention. This embodiment is different from the embodiment of FIG. 1 in that a face surface
As described above for the image processing apparatus according to the present embodiment, the image processing apparatus may further include a face surface model generation unit that generates a face surface model including the structural information based on the face image.
[0133]
(Embodiment 6)
FIG. 11 is a block diagram of an image processing device according to the sixth embodiment of the present invention. In FIG. 11, the hair
[0134]
The hair
[0135]
The
[0136]
[Table 1]
In Table 1 and FIG. 12,
[0138]
Next, the operation of the present embodiment will be described.
[0139]
The hair
[0140]
FIG. 13 is a configuration diagram of the hair
[0141]
The position adjusting means 132 converts the
[0142]
Next, the processing of the size adjusting means 131 will be specifically described. The size adjusting means 131 obtains the head contour sizes dv and dh as shown in FIG. dv is the maximum height of the head contour in the vertical direction (y-axis direction), and dh is the length of a line segment of the cut line obtained by cutting the head contour by a horizontal line passing through a point between the eyes and the head of the nose. The length of this line segment is defined as the size of the head contour in the horizontal direction (x-axis direction).
[0143]
Similarly, the size adjusting means 131 obtains the vertical size dv 'and the horizontal size dh' of the head contour in the
[0144]
The size adjusting means 131 adjusts the sizes by scaling the horizontal and vertical directions at independent magnifications. Assuming that the horizontal magnification is Sh and the vertical magnification is Sv, Sh and Sv are given by (Equation 21).
[0145]
(Equation 21)
The size adjusting means 131 obtains the
[0147]
The
[0148]
As a scaling method, there is a nearest neighbor method or the like. In addition, since the
[0149]
(Equation 22)
Next, the operation of the position adjusting means 132 will be described. The position adjustment is a parallel movement with an independent displacement amount in each of the horizontal direction and the vertical direction. The displacement in the horizontal direction is Δh, and the displacement in the vertical direction is Δv. Δh and Δv are obtained as follows.
[0151]
FIG. 15 is a diagram for explaining the operation of the
[0152]
In the same manner, the
[0153]
Therefore, if these midpoints are respectively Pm (xf, yf) and Pm '(xh, yh), Δh and Δv are respectively given by (Equation 23).
[0154]
(Equation 23)
An arbitrary point P (x, y) on the
[0156]
[Equation 24]
Similarly, an arbitrary element A (x, y) of the
[0158]
Note that the processing for the
[0159]
Next, the operation of the hair
[0160]
FIG. 16 is a configuration diagram of the hair
[0161]
The synthesis
[0162]
First, the operation of the synthesis
[0163]
(Equation 25)
Θl in (Equation 25) is a threshold, and θl = 95 as an example. This pixel is a dark pixel and is likely to be hair. Therefore, in order to prevent a pixel satisfying (Equation 25) from remaining in the head hair synthesized
[0165]
The processing performed by each of the
[0166]
The operation of the
[0167]
(Equation 26)
In the case of the attribute 1, the
[0169]
[Equation 27]
Also, H corrected by (Equation 28) is used.
[0171]
[Equation 28]
The operation of the
[0173]
(Equation 29)
The
[0175]
The operation of the
[0176]
[Equation 30]
The
[0178]
The processing time when the above processing was performed by a 32-bit personal computer equipped with a media processing board having a DSP was about 5 seconds.
[0179]
In the present embodiment, the
[0180]
Further, in the present embodiment, a face information model having the same configuration as the face surface model is used, but any other structure may be used as long as eyes, nose, eyebrows, and head contour can be obtained.
[0181]
Further, in the present embodiment, the same function is used for the hue and the saturation for the synthesis at the time of mapping, but independent functions may be used.
[0182]
In addition, as the synthesis information, the average value of the hue and the saturation of the frontal face image may be added, and the average value may be used in the synthesis result in the case of the attribute 1 in the hue synthesis unit and the saturation synthesis unit.
As described above with respect to the image processing apparatus according to the present embodiment, the image of the person is a face image of the person, the structure information is structure information for the surface of the face of the person, and the reference image Is a hair image that is an image of the face of the different person having hair, the structure information of the different person indicates structure information for the surface of the different person's face in the hair image, and the predetermined portion is a hair Or the hair part which is a shadow of the hair, wherein the attribute information is hair information that holds the attribute of each pixel in the hair image in association with the pixel, and the image adjustment unit includes the hair information A hair image adjustment unit that applies the predetermined conversion to the hair image and the hair image, wherein the synthesis processing unit applies the predetermined conversion to the hair image to which the predetermined conversion has been applied according to the hair information to which the predetermined conversion has been applied. May be a hair portion is hair synthesis processing unit allocated to the face image that.
Further, the image adjustment unit may include information on all or a part of the eyes, nose, mouth, and eyebrows and the head contour in the structure information of the person, and all or part of the eyes, nose, mouth, and eyebrows in the structure information of the different person. The predetermined conversion may be applied to the reference image and the attribute information of the reference image using information on a part and a head contour.
In addition, the synthesis processing unit uses the pixel value of the reference image corresponding to the pixel of the attribute according to the attribute of each pixel of the attribute information of the reference image, or the reference image corresponding to the pixel of the attribute A generation unit that generates each pixel value of the hair portion to be allocated to the human face image using the pixel value of the human face image and a predetermined value of the reference image generated by the generation unit. And a mapping processing unit that allocates each pixel value of the above to the face image of the person.
Further, the image processing apparatus may further include a composite image correction unit that corrects a human face image to which a predetermined portion of the reference image is allocated by the mapping processing unit.
Still further, the generating unit generates a hue according to the attribute, using a pixel value of the reference image or a pixel value of the reference image and a pixel value of the human face image corresponding to a pixel having the attribute. A hue synthesis unit, and a brightness synthesis unit that generates brightness using a pixel value of the reference image or a pixel value of the reference image and a pixel value of the human face image corresponding to a pixel having the attribute according to the attribute. And, according to the attribute, corresponding to the pixel of the attribute, using a pixel value of the reference image or a pixel value of the reference image and a pixel value of the human face image, a saturation synthesis unit that generates saturation May be provided.
[0183]
(Embodiment 7)
Hereinafter, an image processing apparatus according to the seventh embodiment of the present invention will be described with reference to FIG. In FIG. 18,
[0184]
The operation of the hair
[0185]
The composite
[0186]
(Embodiment 8)
Hereinafter, an eighth embodiment of the present invention will be described. In the present embodiment, the hair and its hair are converted from the input frontal face image by the image processing apparatus described in the first embodiment, the second embodiment, the third embodiment, or the fourth embodiment. A hair removal image in which a shadow region is removed and a hair removal image in which the removed region is changed is synthesized with a prepared hair. In addition, the hair image adjustment unit operates based on all or a part of the distance between the eye surface, the nose, the mouth, the position of the eyebrows and the head contour obtained from the face surface model and the face information model, and the position and size of the head contour, A hair synthesis processing unit, a synthesis information generation unit that generates information used for synthesizing the hair removal image and the hair image, and a texture information synthesis unit that synthesizes texture information by a method specified by an attribute of a pixel obtained from the hair information. A mapping processing unit that maps the pixel values synthesized by the texture information synthesizing unit to the hair removal image, and a synthesized image correcting unit that corrects the mapped image. Further, the texture information synthesizing unit includes a hue synthesizing unit, a lightness synthesizing unit, and a saturation synthesizing unit.
[0187]
FIG. 19 is a block diagram of the image processing device according to the present embodiment. 19,
[0188]
The input
[0189]
The
[0190]
Table 2 below shows the attributes used in the present embodiment and their meanings.
[0191]
[Table 2]
Table 2 is set in order to make the synthesized image more realistic by adding a shadow by the head hair and naturally overlapping fine bangs.
[0193]
In Table 2 and FIG. 20, 201 indicates an attribute 1 area, 202 indicates an attribute 2 area, 203 indicates an attribute 3 area, and 204 indicates an attribute 4 area.
[0194]
The hair
[0195]
Hereinafter, the operation of the hair
[0196]
The operation of the size adjusting means 211 will be described. First, the head contour sizes dv1, dv2, and dh as shown in FIG. 22 are obtained from the
[0197]
Similarly, from the
[0198]
[Equation 31]
The
[0200]
Further, since the
[0201]
(Equation 32)
Here, the y coordinate of the position of the head of the nose is yn.
[0203]
Next, the operation of the position adjusting means 212 will be described. The position adjustment is a parallel movement with an independent displacement amount in each of the horizontal direction and the vertical direction. The displacement in the horizontal direction is Δh, and the displacement in the vertical direction is Δv. Δh and Δv are obtained as follows.
[0204]
FIG. 23 is a diagram for explaining the operation of the
[0205]
[Equation 33]
An arbitrary point P (x, y) on the
[0207]
[Equation 34]
Similarly, an arbitrary element A (x, y) of the
[0209]
Note that the processing for the
[0210]
Next, the operation of the hair
[0211]
FIG. 24 is a configuration diagram of the hair
[0212]
First, the operation of the synthesis
[0213]
The processing performed by the
[0214]
The operation of the
[0215]
(Equation 35)
The function mod (a, b) in (Equation 35) returns the remainder obtained by dividing the integer a by the integer b. In the case of the attribute 1, the hue of the composite image is alternately the hue of the
[0217]
The operation of the
[0218]
[Equation 36]
The
[0220]
The operation of the
[0221]
(37)
In (Equation 37), a, b, c, and d are certain real numbers satisfying a + b = 1 and c + d = 1. For example, a = 0.3, b = 0.7, c = 0.4, d = 0.6.
[0223]
The
[0224]
The synthetic
[0225]
The head contour in the
[0226]
The processing time when the above processing was performed by a 32-bit personal computer equipped with a media processing board having a DSP was about 8 seconds.
[0227]
In the present embodiment, the
[0228]
Further, in the present embodiment, a face information model having the same configuration as the face surface model is used. However, as long as the eye, nose, eyebrows, and head contour can be obtained, a face information model having another structure may be used. Good.
[0229]
Further, as the synthesis information, an average value of the hues of the frontal face image may be added, and the average value may be used as the synthesis result in the case of the attribute 1 in the hue synthesis unit.
[0230]
Further, in the present embodiment, the
[0231]
[Equation 38]
As described above, in the image processing apparatus according to the present embodiment, the predetermined value in the image based on the pixel values in all or a part of the image of the person and the structural information of the person in the image is used. A region selecting unit that selects a region of a portion; a region changing unit that changes each of pixel values in all or a part of the region of the predetermined portion based on the structure information and at least one pixel value in the image. And, based on the structure information and the structure information of the other person in the reference image, which is another person's image, so that the predetermined portion of the other person fits the image, and holds it in correspondence with the pixel of that person. An image adjustment unit that applies a predetermined conversion to the attribute of each pixel in the reference image and the reference image based on the attribute information that is present; Characterized by comprising a composition processing unit allocating a predetermined portion in the image in the reference image in which a predetermined conversion has been applied.
Further, based on each pixel value in all or a part of the face image which is a face image and a face surface model indicating structural information on the surface of the face in the face image, the hair in the face image or the hair and the hair. A hair region selecting unit that selects a shadow due to a hair region, a structure information in the face surface model, and color information obtained from at least one pixel value in the face image, all or a part of the removal region. , A removal area changing unit that changes each pixel value, a face surface model, and a face information model that shows structural information on the surface of another face in a hair image that is an image of another face having hair. The attribute of each of the pixels of the hair image is assigned to the image so that the other person's hair or the hair and the hair part which is a shadow of the hair match the face image. A hair image adjustment unit that applies a predetermined conversion to the hair information and the hair image held in association with the hair information, and a hair image to which the predetermined conversion is applied in accordance with the hair information to which the predetermined conversion is applied And a hair synthesis processing unit for allocating a hair portion to the face image.
(Embodiment 9)
Hereinafter, an image processing apparatus according to a ninth embodiment of the present invention will be described with reference to FIG. In the present embodiment, the
As described above for the image processing apparatus according to the present embodiment, the image processing apparatus may further include a face surface model generation unit that generates a face surface model including the structural information based on the human face image.
[0233]
(Embodiment 10)
FIG. 26 is a block diagram of a tenth embodiment of the present invention. The present embodiment relates to a face image display device including the image processing device and the image display device according to the eighth embodiment. In FIG. 26,
[0234]
With the face image display device of the present embodiment, it is possible to simultaneously display a plurality of face images and replace the hair to display. As a result, the hairstyle of the target person can be changed by selecting another person's hairstyle and displayed. It is also possible to display a plurality of hair images and replace the hair. With such a face image display device, there is an effect that it is easier to draw an image when a hairstyle to be replaced is selected as a hairstyle of a certain person than from an image in which only the hairstyle is shown.
[0235]
Although the above-described embodiment relates to hair synthesis, it can be applied to synthesis of a beard, ears, neck, ornaments, clothes, and the like into a face image by a similar method. Hereinafter, each will be described.
[0236]
Processing for synthesizing a beard will be described. In this case, attribute 1 or 2 in the hair information is defined as a beard region in the hair image. In FIG. 27, dm represents the width of the mouth in the horizontal direction. Dn is the distance between the horizontal straight line passing through the highest point of the mouth area and the horizontal straight line passing through the nose head. This distance is defined as the distance between the mouth and the nose. The size is adjusted so that dm and dn in the hair image match dm and dn in the frontal face image, respectively. That is, the scaling factor Sh of the horizontal scaling is determined as shown in (Expression 39) by the horizontal mouth width dm in the frontal face image and the horizontal mouth width dm ′ in the hair image.
[0237]
[Equation 39]
The scaling factor Sv in the vertical direction is determined by the distance dn between the mouth and the nose in the frontal face image and the distance dn ′ between the mouth and the nose in the hair image, as shown in Expression 39. By using the Sh and Sv, the hair image is scaled in the horizontal direction with the magnification Sh and in the vertical direction with the magnification Sv to adjust the size.
[0239]
Next, the adjustment of the position when combining the beards will be described. In FIG. 28, Pn is the midpoint of a line segment of an incision whose head contour is cut by a horizontal straight line passing through the head of the nose. Pm is the midpoint of the line segment of the cut edge whose head contour is cut by a horizontal straight line passing through the highest point of the mouth area. Pc is the midpoint of the line connecting Pn and Pm, and serves as a reference point for position adjustment. In order to adjust the position, the hair image is translated so that the reference point Pc in the front face image and the reference point Pc 'in the hair image are at the same position on the same screen. Assuming that these reference points are Pc (xf, yf) and Pc ′ (xh, yh), respectively, Δh which is a horizontal movement amount and Δv which is a vertical movement amount are respectively given by (Expression 23). Given by X and Y obtained by substituting Δh and Δv into (Equation 24) are used as the position of the hair image to adjust the position. The hair synthesis processing unit performs the same processing as in the case of synthesizing the hair.
[0240]
Next, a process of synthesizing the ear will be described. First, an attribute 5 for the ear is added in addition to the attributes shown in Table 2. In the hair information, an ear area in the hair image is set as the attribute 5. The adjustment of the size and the adjustment of the position are performed in the same manner as in the case of synthesizing the hair. In the case of the above hair synthesis, the hair synthesis processing unit performs processing by replacing (Formula 35) with (Formula 40), (Formula 36) with (Formula 41), and (Formula 37) with (Formula 42).
[0241]
(Equation 40)
(Equation 41)
(Equation 42)
Here, H0 in (Equation 40) is the hue of the pixel at an appropriate position in the face area. Here, it is assumed that pixels between the eyebrows are used.
[0245]
The process of synthesizing a decorative item will be described. In this case, the hair information is configured by setting the attribute of the area of the ornament of the hair image to 2. The scale is adjusted by scaling the hair image according to (Equation 43) using the magnification Sh of (Equation 21).
[0246]
[Equation 43]
As the magnification, other than Sh, Sv of (Equation 21) or Sv1 or Sv2 of (Equation 31) may be used.
[0248]
The hair synthesis processing unit performs the same processing as in the case of the hair synthesis described above.
[0249]
Next, the composition of the neck and the clothes will be described. However, clothing will be treated as if it were attached to the neck. In this case, attribute 5 in the hair information is an area where the skin of the neck in the hair image is visible. Attribute 2 is the area of the clothing part. The adjustment of the size and the adjustment of the position are performed in the same manner as in the case of synthesizing the hair. The hair synthesis processing unit performs the same processing as when synthesizing the ears.
As described above with respect to the image processing apparatus according to the present embodiment, the image processing apparatus may further include an image display unit that displays a plurality of face images to which predetermined portions of the reference image are allocated by the synthesis processing unit.
[0250]
【The invention's effect】
As described above, according to the present invention, it is possible to automatically generate a synthetic hair image with less discomfort.
[0251]
Further, according to the present invention, the use of a 32-bit personal computer equipped with a media processing board having a DSP enables processing from photographing to completion of hair synthesis in ten seconds or more, which is a practical time.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a face image capturing device that captures a
FIG. 3 is a diagram illustrating an example of a
FIG. 4 is a diagram of a wire frame model showing an example of a
FIG. 5 is a diagram for explaining an operation of changing a pixel value by a removal
6A is a characteristic diagram of f in (Equation 7), and FIG. 6B is a characteristic diagram of f in (Equation 8).
FIG. 7 is a configuration diagram of a mask used for smoothing.
FIG. 8 is a flowchart illustrating a procedure of a process of a hair
FIG. 9 is a diagram for explaining an operation of a removal
FIG. 10 is a block diagram of an image processing device according to a fifth embodiment of the present invention.
FIG. 11 is a block diagram of an image processing device according to a sixth embodiment of the present invention.
FIG. 12 is a diagram illustrating a correspondence between a hair image and hair information according to the sixth embodiment.
13 is a configuration diagram of a hair
FIG. 14 is an explanatory diagram of an operation of a size adjusting unit according to the sixth embodiment.
FIG. 15 is a diagram for explaining the operation of the position adjusting means 132.
16 is a configuration diagram of a hair
FIG. 17 is an explanatory diagram of a hue.
FIG. 18 is a block diagram of an image processing device according to a seventh embodiment of the present invention.
FIG. 19 is a block diagram of an image processing device according to an eighth embodiment.
FIG. 20 is a diagram illustrating a correspondence between a hair image and hair information according to the eighth embodiment.
FIG. 21 is a configuration diagram of a hair
FIG. 22 is an explanatory diagram of the operation of the size adjusting means according to the eighth embodiment.
FIG. 23 is an explanatory diagram of the operation of the position adjusting means according to the eighth embodiment.
24 is a configuration diagram of a hair
FIG. 25 is a block diagram of an image processing device according to a ninth embodiment of the present invention.
FIG. 26 is a block diagram of a tenth embodiment of the present invention.
FIG. 27 is an explanatory diagram of the operation of the size adjusting means when synthesizing a beard;
FIG. 28 is an explanatory diagram of the operation of the position adjusting means when synthesizing a beard.
[Explanation of symbols]
11 ... hair area selection part
12: Removal area change unit
13. Front face image
14 ... Face surface model
15 ... removal area
16 ... Hair removal image
101: face surface model generation unit
111: Hair image adjustment unit
112: Hair synthesis processing unit
131 ... size adjustment means
132 position adjusting means
161... Synthetic information means
162: Hue synthesis unit
163: Lightness synthesis unit
164: Saturation synthesis unit
165: Mapping processing unit
181: Composite image correction unit
191 ... hair image adjustment unit
192: Hair synthesis processing unit
211: Size adjustment means
212 ... Position adjusting means
241 ... Synthesis information generation unit
242: Hue synthesis unit
243: Lightness synthesis unit
244 ... Saturation synthesis unit
245 ... Mapping processing unit
247: Composite image correction unit
262: Hair image selection device
263 image display device
Claims (26)
前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、
前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び／又はその頭髪による影を前記領域に選定することを特徴とする画像処理装置。And each pixel value in whole or part of the human face image, based on the structural information of the person in the face image, a region selection unit for selecting a region of a predetermined portion in the face image,
And the structural information, based on the color information obtained from at least one pixel value in the face image, Bei example a region changing part for changing each pixel value in whole or part of the region,
The image processing apparatus according to claim 1, wherein the area selecting unit selects hair and / or a shadow of the hair in the area based on a head contour, eyes, and eyebrows in the structure information .
前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と、 An area changing unit that changes each pixel value in all or a part of the area based on the structure information and color information obtained from at least one pixel value in the face image;
前記顔画像における少なくとも１つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部とを備えたことを特徴とする画像処理装置。 An image processing apparatus comprising: a fluctuation generating unit that adds a predetermined irregular fluctuation component to each pixel value in the area based on color information of at least one pixel in the face image.
前記構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、 An area changing unit that changes each pixel value in all or a part of the area based on the structure information and color information obtained from at least one pixel value in the face image,
前記領域選定部は、前記顔画像における頭髪及び影部分を前記領域に選定することを特徴とする画像処理装置。 The image processing apparatus, wherein the region selecting unit selects a hair and a shadow portion in the face image as the region.
前記構造情報と、前記領域選定部により選定された前記領域の外周近傍の前記画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と Changing each pixel value in all or a part of the region based on the structure information and color information obtained from at least one pixel value in the image near the outer periphery of the region selected by the region selection unit Area change part to do
を備えたことを特徴とする画像処理装置。An image processing apparatus comprising:
前記所定の変換が適用された参照画像における所定部分を前記人の画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。Based on the structural information in the image of the person and the structural information in the reference image that is an image of another person, a predetermined conversion of the reference image is performed so that a predetermined portion of the image of the other person matches the image of the person. An image adjustment unit to be applied;
An image processing apparatus, comprising: a synthesis processing unit that allocates a predetermined portion of the reference image to which the predetermined conversion has been applied to the image of the person.
前記合成処理部は、その所定の変換が適用された属性情報に従って、前記参照画像における所定部分を前記人の画像に割り付けることを特徴とする請求項１４記載の画像処理装置。The image adjustment unit, while applying a predetermined conversion to the attribute information of the pixel in the reference image,
15. The image processing apparatus according to claim 14, wherein the composition processing unit allocates a predetermined portion in the reference image to the image of the person according to the attribute information to which the predetermined conversion has been applied.
前記構造情報は、前記人の顔の表面に対する構造情報であり、
前記参照画像は、頭髪を有する前記別人の顔の画像である頭髪画像であり、
前記別人の構造情報は、前記頭髪画像における前記別人の顔の表面に対する構造情報を示すものであり、
前記所定部分は、頭髪又はその頭髪による影である頭髪部分であり、
前記属性情報は、前記頭髪画像における各画素の属性をその画素に対応させて保持している髪情報であり、
前記画像調整部は、前記髪情報と前記頭髪画像とに前記所定の変換を適用する頭髪画像調整部であり、
前記合成処理部は、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部であることを特徴とする請求項１３から１６のいずれかに記載の画像処理装置。The image of the person is a face image of the person,
The structural information is structural information for a surface of the human face,
The reference image is a hair image which is an image of the face of the different person having hair,
The other person's structure information indicates structure information for the surface of the other person's face in the hair image,
The predetermined portion is a hair portion which is a hair or a shadow of the hair,
The attribute information is hair information that holds an attribute of each pixel in the hair image in association with the pixel,
The image adjustment unit is a hair image adjustment unit that applies the predetermined conversion to the hair information and the hair image,
The hair synthesis processing section, wherein the synthesis processing section is a hair synthesis processing section that allocates a hair portion in the hair image to which the predetermined conversion has been applied to the face image according to the hair information to which the predetermined conversion has been applied. 17. The image processing device according to any one of 13 to 16.
前記参照画像の属性情報の各画素の属性に従って、その属性の画素に対応する前記参照画像の画素値を用いて、又は前記属性の画素に対応する、前記参照画像の画素値と前記人の顔画像の画素値とを用いて、前記人の顔画像に割り付ける前記頭髪部分の各画素値を生成する生成部と、
その生成部により生成された参照画像の所定部分の各画素値を前記人の顔画像に割り付けるマッピング処理部と
を備えたことを特徴とする請求項１７又は１８に記載の画像処理装置。The synthesis processing unit includes:
According to the attribute of each pixel of the attribute information of the reference image, using the pixel value of the reference image corresponding to the pixel of the attribute, or corresponding to the pixel of the attribute, the pixel value of the reference image and the face of the person Using a pixel value of the image, a generating unit that generates each pixel value of the hair portion to be allocated to the human face image,
19. The image processing apparatus according to claim 17, further comprising: a mapping processing unit that assigns each pixel value of a predetermined portion of the reference image generated by the generation unit to the human face image.
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、色相を生成する色相合成部と、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、明度を生成する明度合成部と、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、彩度を生成する彩度合成部との少なくとも１つを備えたことを特徴とする請求項１９記載の画像処理装置。The generation unit includes:
According to the attribute, corresponding to the pixel of the attribute, using the pixel value of the reference image or the pixel value of the reference image and the pixel value of the human face image, a hue synthesis unit that generates a hue,
According to the attribute, corresponding to the pixel of the attribute, using a pixel value of the reference image or a pixel value of the reference image and a pixel value of the human face image, a brightness synthesis unit that generates brightness,
According to the attribute, at least a saturation synthesis unit that generates saturation using the pixel value of the reference image or the pixel value of the reference image and the pixel value of the human face image corresponding to the pixel of the attribute. 20. The image processing apparatus according to claim 19, comprising one.
前記構造情報と、前記画像における少なくとも１つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、
前記構造情報と、別人の画像である参照画像におけるその別人の構造情報とに基づいて、前記別人の所定部分が前記画像に適合するように、その人の画素に対応させて保持している属性情報に基づいて、前記参照画像における各画素の属性とその参照画像とに所定の変換を適用する画像調整部と、
その所定の変換が適用された属性情報に従って、前記所定の変換が適用された参照画像における所定部分を前記画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。An area selection unit that selects an area of a predetermined portion in the image based on each pixel value in all or a part of the image of the person and the structural information of the person in the image;
An area changing unit that changes each of the pixel values in all or a part of the area of the predetermined part based on the structure information and at least one pixel value in the image;
The attribute held in association with the pixel of the other person based on the structure information and the structure information of the different person in the reference image that is another person's image so that the predetermined part of the different person fits the image. Based on the information, an image adjustment unit that applies a predetermined conversion to the attribute of each pixel in the reference image and the reference image,
An image processing apparatus, comprising: a synthesis processing unit that allocates a predetermined portion of a reference image to which the predetermined conversion has been applied to the image according to the attribute information to which the predetermined conversion has been applied.
前記顔表面モデルにおける構造情報と、前記顔画像における少なくとも１つの画素値から得られる色情報とに基づいて、前記除去領域の全部又は一部における各画素値を変更する除去領域変更部と、
前記顔表面モデルと、頭髪を有する別の顔の画像である頭髪画像におけるその別の顔の表面に対する構造情報を示す顔情報モデルとに基づいて、前記別人の頭髪又はその頭髪及びその頭髪による影である頭髪部分が、前記顔画像に適合するように、前記頭髪画像の画素の各々に対する属性をその画素に対応させて保持している髪情報とその頭髪画像とに所定の変換を適用する頭髪画像調整部と、
前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部と
を備えたことを特徴とする画像処理装置。Based on each pixel value in all or a part of the face image, which is a face image, and a face surface model showing structural information on the surface of the face in the face image, the hair in the face image or the hair and the shadow of the hair. A hair region selection unit for selecting a hair removal region;
A removal area changing unit that changes each pixel value in all or a part of the removal area based on structure information in the face surface model and color information obtained from at least one pixel value in the face image;
Based on the face surface model and a face information model indicating structural information on the surface of another face in a hair image that is an image of another face having hair, the hair of the different person or the hair and the shadow by the hair A hair part which applies a predetermined transformation to hair information and an attribute of the hair image which hold an attribute for each pixel of the hair image corresponding to the pixel so that the hair part conforms to the face image. An image adjustment unit,
An image processing apparatus, comprising: a hair synthesis processing unit that allocates a hair portion in a hair image to which the predetermined conversion has been applied to the face image according to the hair information to which the predetermined conversion has been applied.
前記構造情報と、前記画像における少なくとも１つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、
前記構造情報と、別人の画像である参照画像におけるその別人の構造情報に基づいて、前記別人の所定部分が前記人の画像に適合するように、前記参照画像に所定の変換を行う画像調整部と、
前記所定の変換が行われた参照画像における所定部分を前記人の画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。An area selection unit that selects an area of a predetermined portion in the image based on each pixel value in all or a part of the image of the person and the structural information of the person in the image;
An area changing unit that changes each of the pixel values in all or a part of the area of the predetermined part based on the structure information and at least one pixel value in the image;
An image adjustment unit that performs a predetermined conversion on the reference image based on the structural information and the structural information of the different person in the reference image that is another person's image so that the predetermined part of the different person matches the image of the different person. When,
An image processing apparatus, comprising: a synthesis processing unit that allocates a predetermined portion of the reference image that has undergone the predetermined conversion to the human image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1673096A JP3577154B2 (en) | 1995-02-02 | 1996-02-01 | Image processing device |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1614395 | 1995-02-02 | ||
| JP7337195 | 1995-03-30 | ||
| JP7-73371 | 1995-03-30 | ||
| JP7-16143 | 1995-03-30 | ||
| JP1673096A JP3577154B2 (en) | 1995-02-02 | 1996-02-01 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08329278A JPH08329278A (en) | 1996-12-13 |
| JP3577154B2 true JP3577154B2 (en) | 2004-10-13 |
Family
ID=27281264
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1673096A Expired - Fee Related JP3577154B2 (en) | 1995-02-02 | 1996-02-01 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577154B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100747561B1 (en) * | 2001-04-06 | 2007-08-08 | 엘지전자 주식회사 | Apparatus for offering additional service in digital TV |
| JP4449723B2 (en) | 2004-12-08 | 2010-04-14 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP5290585B2 (en) * | 2008-01-17 | 2013-09-18 | 株式会社 資生堂 | Skin color evaluation method, skin color evaluation device, skin color evaluation program, and recording medium on which the program is recorded |
| JP2009211148A (en) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | Face image processor |
| JP6467994B2 (en) * | 2015-02-27 | 2019-02-13 | 富士通株式会社 | Image processing program, image processing apparatus, and image processing method |
| JP6458569B2 (en) | 2015-03-12 | 2019-01-30 | オムロン株式会社 | Image processing apparatus and image processing method |
| CN111597928A (en) * | 2020-04-29 | 2020-08-28 | 深圳市商汤智能传感科技有限公司 | Three-dimensional model processing method and device, electronic device and storage medium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04143869A (en) * | 1990-10-04 | 1992-05-18 | Fuji Photo Film Co Ltd | Picture processing method |
| JPH04256185A (en) * | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Method for collecting sample picture of picture recognition system |
| JP2940226B2 (en) * | 1991-06-20 | 1999-08-25 | 三菱電機株式会社 | Image synthesis device |
| JPH06342460A (en) * | 1991-06-27 | 1994-12-13 | Shoichi Asai | Preparing method for portrait |
| JPH05153581A (en) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | Face picture coding system |
| JPH0652289A (en) * | 1992-07-28 | 1994-02-25 | Matsushita Electric Ind Co Ltd | Picture processor |
-
1996
- 1996-02-01 JP JP1673096A patent/JP3577154B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08329278A (en) | 1996-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0725364B1 (en) | Image processing apparatus | |
| US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
| JP3799633B2 (en) | Face image processing method and face image processing apparatus | |
| JP5463866B2 (en) | Image processing apparatus, image processing method, and program | |
| EP0883090B1 (en) | Method for generating photo-realistic animated characters | |
| KR101190686B1 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
| KR100327541B1 (en) | 3D facial modeling system and modeling method | |
| JP3639476B2 (en) | Image processing apparatus, image processing method, and recording medium recording image processing program | |
| WO2005073909A1 (en) | Makeup simulation program, makeup simulation device, and makeup simulation method | |
| JP2010507854A (en) | Method and apparatus for virtual simulation of video image sequence | |
| CN106652037B (en) | Face mapping processing method and device | |
| JP3577154B2 (en) | Image processing device | |
| JP3444148B2 (en) | Eyebrow drawing method | |
| KR20010084996A (en) | Method for generating 3 dimension avatar using one face image and vending machine with the same | |
| JP2000155836A (en) | Portrait picture formation system and its method | |
| WO2009036554A1 (en) | Emulating cosmetic facial treatments with digital images | |
| JP3951061B2 (en) | Face image processing method and face image processing apparatus | |
| JP2003030684A (en) | Face three-dimensional computer graphic generation method and device, face three-dimensional computer graphic generation program and storage medium storing face three-dimensional computer graphic generation program | |
| JP2004054759A (en) | Facial expression deforming device, method and program | |
| JP3915844B2 (en) | Face image processing method and face image processing apparatus | |
| JPH04199474A (en) | Face picture synthetic device | |
| KR20010102873A (en) | Method and system for generating an avatar of real-picture using finite image templates | |
| JP2001209814A (en) | Image processor | |
| JP3876922B2 (en) | Face image processing method and face image processing apparatus | |
| JPH10222649A (en) | Device for composite picture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040709 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |