JP3577154B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3577154B2 JP3577154B2 JP1673096A JP1673096A JP3577154B2 JP 3577154 B2 JP3577154 B2 JP 3577154B2 JP 1673096 A JP1673096 A JP 1673096A JP 1673096 A JP1673096 A JP 1673096A JP 3577154 B2 JP3577154 B2 JP 3577154B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- hair
- face
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
【発明の属する技術分野】
本発明は、人物のコンピュータグラフィックスにおいて、髪型を実用時間で自動的に違和感なく他のものに取り替えて表示することができる画像処理装置に関するものである。
【0002】
【従来の技術】
従来、ある人物の画像に別の頭髪を割り付ける画像処理において、その人物の画像から頭髪が除去された画像をその画像処理の前処理として生成する場合、髪を括るなどして撮影して得られた髪が顔にかかっていない画像を取り込むか、或いはその人物の画像の頭髪の領域を手作業によって除去するかによって、その頭髪が除去された画像が得られていた。
【0003】
そして、その得られた頭髪が除去された画像に別の頭髪を割り付ける場合、手作業により頭髪が除去された画像に別の頭髪をペーストすることにより行われていた。
【0004】
【発明が解決しようとする課題】
しかしながら、このような従来の方法では、髪を括って撮影しても髪が完全に除去されず残ってしまう場合があり、そのため別の頭髪を割り付ける画像処理により得られた画像に元の頭髪が残ってしまうという課題があった。
【0005】
また、手作業で頭髪を除去する場合、かなりの時間を費やさなければならないという課題があった。
【0006】
更に、頭髪が除去された画像に別の頭髪をペーストするだけの従来の画像処理により得られた画像にはかなりの違和感があった。
【0007】
本発明は、顔の正面画像から頭髪を除去し、その頭髪を除去した部分の頭の形を推定し、その推定した頭の範囲内をその顔の肌の色で塗りつぶす処理を行う画像処理装置を提供することを目的とする。
【0008】
また、本発明は、顔の正面画像に適合するように別の頭髪を調整し、更にその頭輪郭内の色情報を用いることにより、違和感の少ない画像処理を行う画像処理装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
この課題を解決するため、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び/又はその頭髪による影を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と、前記顔画像における少なくとも1つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部とを備えたことを特徴とする画像処理装置である。
また、本発明は、人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、前記領域選定部は、前記顔画像における頭髪及び影部分を前記領域に選定することを特徴とする画像処理装置である。
また、本発明は、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記領域選定部により選定された前記領域の外周近傍の前記画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備えたことを特徴とする画像処理装置である。
【0019】
また、本発明は、人の画像における構造情報と、別人の画像である参照画像における構造情報とに基づいて、前記別人の画像の所定部分が、前記人の画像に適合するように、前記参照画像に所定の変換を適用する画像調整部と、前記所定の変換が適用された参照画像における所定部分を前記人の画像に割り付ける合成処理部とを備えたことを特徴とする画像処理装置である。
【0029】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【0030】
図1は、本発明の第1の実施の形態に係る画像処理装置のブロック図である。図1において、本実施の形態における画像処理装置は、髪領域選定部11と除去領域変更部12とにより構成される。髪領域選定部11は、首から上の正面画像である正面顔画像13(図3参照)とその正面顔画像13に対する顔から上の各部の構造情報を表す顔表面モデル14(図4参照)とを用いて、正面顔画像13における頭髪とその頭髪による影(図3では示されていない。)との領域を除去領域15とし、その除去領域15を送出するものである。但し、図4に示す顔表面モデル14では、耳は除去されている。
【0031】
除去領域変更部12は、顔表面モデル14の情報を考慮して、正面顔画像13における顔の画素値に基づいて、正面顔画像13における除去領域15の全部又は一部の画素値の各々を変更し、髪除去画像16を生成するものである。なお、除去領域変更部12は、除去領域15の一部の画素値の各々を変更した場合、正面顔画像13における顔の画素値とは別の値を用いて、除去領域15の残部の画素値の各々を変更する。
【0032】
図2は、正面顔画像13を取り込む顔画像取り込み装置の例を示す図である。正面顔画像13は、図2に示す顔画像取り込み装置によって取り込まれたディジタル画像である。図2において、21は撮影用のビデオカメラである。22はビデオカメラ21の画像をディジタルに変換するためのA/D変換器である。23はビデオカメラ21を固定する器具である。24はビデオカメラ21により撮影される対象人物を表す。
【0033】
ビデオカメラ21は、器具23によって水平に固定される。A/D変換器22は、ビデオカメラ21で撮影されたアナログ画像をディジタル画像に変換し、正面顔画像13を生成する。正面顔画像13は、256×256画素の大きさであり、1画素につきRGB各8ビット深さのカラー画像である。また、正面顔画像13の背景色は単色である。
【0034】
図3は、図2に示す顔画像取り込み装置により取り込まれた正面顔画像13の一例を示す図である。図3における正面顔画像13は、首から上全部が写った顔が正面を向いている。その顔は、無表情で眼鏡と口鬚がなく、その頭の中心線はほぼ垂直である。また、前髪は額の全部を覆っていない。この正面顔画像13にはxy座標が導入される。
【0035】
図4は、顔表面モデル14の一例を示すワイヤーフレームモデルの図である。そのワイヤーフレームの各頂点は、顔の輪郭、目、鼻、口、眉を代表する特徴点と、それらの特徴点の間に配置される、顔の三次元構造を考慮して得られた点からなる。図4における特徴点とは円印の入った頂点をいう。
【0036】
各頂点は、その頂点の画像上のx座標とy座標のデータを有する。また、各頂点には所定の番号付けがなされ、画像上の頂点の位置は、その番号により特定される。顔表面モデル14は、これら頂点とその連結情報によって構成される。
【0037】
この顔表面モデル14は、図3における正面顔画像13における顔を認識することにより生成される。即ち、正面顔画像13における顔を認識し、その認識した顔に合わせて、予め用意された標準のワイヤーフレームモデルの各頂点を移動させることにより生成される。
【0038】
したがって、顔表面モデル14は、人によりそのフレームの形状は異なるものとなるが、トポロジー的には同じものである。顔表面モデル14を生成する処理には、特開平5−197793号公報、特開平4−199474号公報などにおける従来の手法を用いることができる。
【0039】
特開平5−197793号公報、特開平4−199474号公報の処理は以下の通りである。まず、入力の正面顔画像から、テンプレートマッチングによって虹彩の認識を行い、それをもとに目の領域をテンプレートマッチングによって認識する。次に、認識された虹彩の位置を基準に、鼻、口、眉、頬の輪郭、頭頂点それぞれの探索範囲を設定する。それぞれの探索範囲の中で、テンプレートマッチングにより鼻、口、眉、頬の輪郭、頭頂点を認識する。このようにして認識された目、鼻、口、眉、頬の輪郭、頭頂点の各領域には、決まった特徴点が得られる。そして、あらかじめ用意した標準の顔のワイヤーフレームモデルの目、鼻、口、眉、頬の輪郭、頭頂点それぞれの特徴点が、認識の結果得られたそれぞれの特徴点と一致するように、標準のワイヤーフレームモデルの変形を行い、入力顔画像の顔の表面構造を表すワイヤーフレームモデルが得られる。本実施の形態では、このようにして生成されたワイヤーフレームモデルを、入力顔画像の顔表面モデルとして用いる。
【0040】
次に、本実施の形態の動作について説明する。
【0041】
髪領域選定部11は、正面顔画像13と顔表面モデル14とを入力し、正面顔画像13における頭髪とその頭髪による影との領域を除去領域15として出力する。
【0042】
除去領域変更部12は、正面顔画像13と顔表面モデル14と除去領域15とを入力する。除去領域変更部12は、顔表面モデル14の最外周の輪郭(以後、頭輪郭という。)内にあり、且つ除去領域15内にある正面顔画像13の画素値を変更する。その画素値の変更には、除去領域15の外周近傍にある少なくとも1つの画素値が用いられる。除去領域変更部12は、その画素値の変更の対象となる画素の各々について、その画素の位置に応じて、その除去領域15の外周近傍にある少なくとも1つの画素値に所定の変換を適用し、その位置における画素の値をその変換により生成された値に変更する。
【0043】
なお、画素値が変更された画素の全ての領域が、除去領域15の一部であった場合、除去領域変更部12は、その除去領域15の残部を正面顔画像13の頭輪郭内の画素値とは別の値に変更する。これより、髪除去画像16が生成される。
【0044】
なお、本実施の形態では、髪領域選定部11は、除去領域15を出力するとしたが、その除去領域15における画素値の各々を所定の値に変更し、除去領域15を出力するとしてもよい。この場合、除去領域変更部12は、顔表面モデル14の情報を考慮して、正面顔画像13における頭輪郭内にあって、除去領域15の外周近傍にある少なくとも1つの画素値に基づいて、除去領域15の全部又は一部を変更し、髪除去画像16を生成する。
【0045】
以下、本実施の形態における髪領域選定部11と除去領域変更部12の動作について更に詳しく説明する。髪領域選定部11は、色情報から得られる各画素の明度により、頭髪とその頭髪による影との領域を推定する構成のものを用いる。また、髪領域選定部11と除去領域変更部12は、ともにRGBのカラー情報ではなく、それを色相、明度、彩度に変換し、0から255の整数値に正規化した情報を用いる。
【0046】
まず、髪領域選定部11の具体的な動作について説明する。肌と髪の分離は色相によっても行えると考えられる。しかし、ビデオカメラ21により撮影され、A/D変換器22により変換されて生成された正面顔画像13には、色相にノイズがのっているために、正しく肌と髪の分離ができない。また、色相では、頭髪による影と肌とをほとんど分離することができない。除去領域変更部12は、頭髪による影が残っていると、除去領域15の画素値の各々を変更したとき、その変更後の色が暗いものとなって、良い結果が得られない場合がある。
【0047】
そこで、本実施の形態では、色相ではなく明度を用いることによって、頭髪とその頭髪による影との領域を除去領域15とする。即ち、明度が小さい部分を頭髪又はその頭髪による影とする。
【0048】
まず、顔表面モデル14の頭輪郭の内部に対応する正面顔画像13の画素の各々のうち、明度Lが(数1)を満たす画素の明度の平均値Laと最大値Lmを求める。(数1)の条件は明らかに暗い部分の影響を排除するもので、θl0はしきい値である。一例としてθl0=65とする。
【0049】
【数1】
【0050】
LaとLmを用いて、(数2)によりしきい値θl1を求める。
【0051】
【数2】
【0052】
(数2)のα、βはある実数である。一例としてα=1.3、β=0.8とする。また、関数min(a,b)は、aとbのうち大きくない方の値をとる関数である。(数2)で求めたθl1をしきい値として、頭髪又はその頭髪による影の部分を推定する。すなわち、頭輪郭の中にあって、明度Lが(数3)を満たす画素の集合を除去領域15とする。
【0053】
【数3】
【0054】
最後に、眉、目、鼻、口は除去してはならない領域であるから、これらが除去領域15に含まれていれば、それらを除去領域15から取り除く。
【0055】
次に、除去領域変更部12の具体的な動作について説明する。除去領域変更部12の画素値変更の処理は、頭輪郭内の領域に対して、水平走査線毎に下から上へ順に行う。すなわち、直線y=y0で頭輪郭内の領域を切った切口の線分をF=[xs, xe]とすると、この線分Fに対して画素値変更の処理を行う。線分Fの処理が終れば、直線y=y0−1で頭輪郭内の領域を切った切口の線分F1=[xs1, xe1]に対して画素値変更の処理を行う。
【0056】
図5は、除去領域変更部12による画素値変更の動作を説明するための図である。図5において、下側の点線で囲まれた領域51には、目、鼻、口が含まれている。除去領域変更部12は、除去領域15がこの領域51内の画素を含んでいる場合、その除去領域15からその領域51内の画素を取り除く。
【0057】
また、上側の点線で囲まれた領域52内の水平方向の中点の集合である線分53上に位置する画素が、除去領域15に含まれる場合、除去領域変更部12は、その画素の各々に対して、その色相を目の間の適当な画素の色相とし、その明度をLaとし、その彩度を頭輪郭の中にあって明度Lが(数1)を満たす画素の彩度の平均値Saとして、その画素の各々を除去領域15から取り除く。
【0058】
除去領域変更部12は、y=y0における線分F上の画素のうちで、除去領域15に含まれる連続した画素の集合を求め、その集合毎に、x座標の小さい方から順に画素値の変更を行う。そのある1つの集合の両端点のx座標をそれぞれx0、x1とする。
【0059】
この場合、x0=xsかつx1=xeであれば、特別な画素値の変更処理を必要とする。これは、線分F全体の画素値の変更が必要であり、その画素値の変更にその線分F内の画素値を全く用いることができないことを意味する。
【0060】
このように、x0=xsかつx1=xeとなるのは眉より上の領域だけであるから、この場合、y=y0+1で頭輪郭内の領域を切った切口の線分F’=[xs’, xe’]から変更用の画素値を得る。即ち、F、F’の中点をそれぞれxc、xc’とし、線分F上の任意の点Pのx座標をXとすると、(数4)によって線分F’上の点P’(X’, y0+1)を求める。
【0061】
【数4】
【0062】
この点P’の画素の色を点Pの画素の色とする。ただし、点P’が眉領域内の点の場合は、点Pの画素値を変更せずに残しておき、線分F全体に対して、この変更処理を行った後、線形補間によって補間する。
【0063】
一方、x0≠xs又はx1≠xeの場合の処理について説明する。この場合、除去領域変更部12は、画素値の変更に用いる色相を頭輪郭領域の一部から複数個取り出し、それを順次用いる。一例として、眉間から5×5のブロックを取り出して、それを順次マッピングしていく処理がある。また、点(x0, y0)の画素に当てはめる明度をL0、彩度をS0、点(x1, y0)の画素に当てはめる明度をL1、彩度をS1とする。その集合内の点P(X, y0)の画素にマッピングされる明度L、彩度Sを(数5)により求める。
【0064】
【数5】
【0065】
(数5)のfは0≦f≦1の値をとる関数である。
【0066】
本実施の形態では、x0≠xsかつx1≠xe,x0=xsの場合,x1=xeの三つの場合に分けて、L0、S0、L1、S1、fを以下のように決めた。
【0067】
x0≠xsかつx1≠xeの場合、L0とS0は点(x0−1, y0)の画素の値とし、L1とS1は点(x1+1, y0)の画素の値とする。そして、点(x0−1, y0)の画素と点(x1+1, y0)の画素との間にある各画素値を、これらの2つの点の画素値を用いて変更する。即ち、補間は線形補間とする。従って、fは(数6)となる。
【0068】
【数6】
【0069】
x0=xsの場合、L0とS0はy=y0+1における頭輪郭線上の点の画素の値とする。但し、そこが除去領域15内に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。L1とS1は点(x1+1,y0)の画素の値とする。fは(数7)により算出された値を用いる。
【0070】
【数7】
【0071】
図6(a)にこのfの特性図を示す。(数7)においてθxはある実数であり、一例としてθx=0.4とする。
【0072】
x1=xeの場合、L1とS1はy=y0+1における頭輪郭線上の点の画素の値とする。但し、そこが除去領域15に含まれる場合は、頭輪郭線近傍の肌の明度、彩度の平均値とする。L0とS0は点(x0−1,y0)の画素の値とする。fは(数8)により算出された値を用いる。
【0073】
【数8】
【0074】
図6(b)にこのfの特性図を示す。またθxは(数7)における値と同じものである。
【0075】
最後に、画素値を変更した領域とその近傍の明度、彩度の平滑化を行う。平滑化の例として、図7に示す3×3マスクを用いて行うものがある。すなわち、点P(x, y)の画素の明度、彩度をそれぞれL(x, y)、S(x, y)とすると、平滑化を行ったあとの点Pの明度L’(x, y)、S’(x, y)は(数9)により与えられる。
【0076】
【数9】
【0077】
DSPを有するメディア処理ボート搭載の32ビットパーソナルコンピュータを使用した場合、以上の処理を行うのに約3秒を要した。
【0078】
なお、本実施の形態では、ビデオカメラ21によって撮影し、A/D変換器22によって変換した、256×256画素の大きさのディジタル画像に対する処理を行ったが、他の大きさのディジタル画像や、スキャナなどによって入力されたディジタル画像に対しても同様の効果が得られる。また、顔情報モデル14の構成も、図4に示すものに限らず、目、鼻、口、眉、頭輪郭が分かるものであれば同様の効果が得られる。
本実施の形態における画像処理装置について以上に説明したように、前記画像は、前記人の顔画像であり、前記領域選定部は、前記顔画像における人の所定の領域を選定する領域選定部であり、前記領域変更部は、前記構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部であるとしてもよい。
また、前記領域選定部は、前記顔画像における頭髪及び/又は影部分を前記領域に選定するとしてもよい。
また、前記領域変更部は、更に前記領域における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
また、前記領域変更部は、前記領域の一部における各画素値を変更した場合、更にその領域の残部における各画素値を、前記構造情報における頭輪郭の内部に対応する前記顔画像の画素値以外の値に変更するとしてもよい。
さらに、前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び/又はその頭髪による影とを前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び/又は影部分を前記領域に選定するとしてもよい。
また更に、前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定するとしてもよい。
【0079】
(実施の形態2)
以下、本発明の第2の実施の形態における画像処理装置について説明する。本実施の形態は、第1の実施の形態に対して髪領域選定部11の動作だけが異なる。その部分について説明する。
【0080】
図8は、本実施の形態における髪領域選定部11の処理の手順を示すフローチャートである。このフローチャートの各ステップの動作について説明する。
【0081】
ステップ81:髪領域選定部11は、正面顔画像13の任意の点の明度をL、しきい値をθl0とし、(数1)を満たす画素の集合を除去領域15とする。一例として、θl0=65とする。
【0082】
ステップ82:髪領域選定部11は、顔表面モデル14から得られる眉の位置より上の頭輪郭内にあって、除去領域15内に含まれていない画素のうち、その色相Hが(数10)の条件を満たす画素の明度の平均値Laと最大値Lmを求める。
【0083】
【数10】
【0084】
(数10)の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θh0、θh1はしきい値ある。一例として、θh0=1、θh1=30とする。
【0085】
ステップ83:髪領域選定部11は、(数2)によって明度のしきい値θl1を求める。α、βはある実数であり、一例として、α=1.15、β=0.8とする。
【0086】
ステップ84:髪領域選定部11は、顔表面モデル14から得られる目の位置より上の頭輪郭内にあって、明度Lが(数3)を満たす画素を、除去領域15に含める。
【0087】
ステップ85:髪領域選定部11は、頭輪郭内にあって、除去領域15に含まれない画素を4連結で領域分割し、その構成画素数がθnより小さい領域を、孤立点として除去領域15に含める。θnはしきい値であり、一例としてθn=10とする。
【0088】
ステップ86:髪領域選定部11は、最後に目、鼻、口、眉は除去してはならない領域であるから、除去領域15からそれらの領域に含まれる画素を取り除く。
【0089】
(実施の形態3)
以下、本発明の第3の実施の形態における画像処理装置について説明する。本実施の形態の構成、正面顔画像13と顔表面モデル14は、第1の実施の形態と同様である。本実施の形態は、第1の実施の形態に対して、髪領域選定部11と除去領域変更部12の動作が異なる。以下その部分を説明する。
【0090】
まず髪領域選定部11の動作について説明する。本実施の形態では、明度と彩度を用いることによって、頭髪とその頭髪による影との領域を除去領域15とする。すなわち、明度が小さい部分、またはある程度明度は大きいが彩度が小さい部分を、頭髪又はその頭髪の影とする。
【0091】
まず、髪領域選定部11は、顔表面モデル14から得られる頭輪郭内の目より下の領域で、明度Lが(数11)を満たし、かつ色相Hが(数12)を満たす画素の、明度の平均値La及び最大値Lmと、彩度の平均値Sa及び最大値Smを求める。
【0092】
【数11】
【0093】
【数12】
【0094】
(数11)の条件は、明らかに暗い部分の影響を排除するものであり、θl0はしきい値である。また、(数12)の条件は、肌以外の画素とノイズののった画素の影響を排除するためのもので、θh0とθh1はしきい値ある。一例として、θl0=65、θh0=1、θh1=30とする。目より下の領域の平均値と最大値をとるのは、額のほとんどが髪に覆われている場合でも処理できるようにするためである。 髪領域選定部11は、La、LmおよびSaを用いて、(数13)によりしきい値θl1、θsを求める。
【0095】
【数13】
【0096】
(数13)のα、β、γはある実数である。一例としてα=1.15、β=0.8、γ=0.8とする。また、min(a,b)はaとbのうち大きくない方の値をとる関数である。
【0097】
髪領域選定部11は、(数13)で求めたθl1、θsを用いて、 頭髪とその頭髪による影との領域を除去領域15とする。
【0098】
髪領域選定部11は、まず、目と眉の間以外の部分では、明度L、彩度Sが(数14)または(数15)を満たす画素の集合を除去領域15とする。
【0099】
【数14】
【0100】
【数15】
【0101】
(数15)のaはある実数であり、一例としてa=1.1とする。
【0102】
次に、髪領域選定部11は、目と眉の間の部分では(数16)を満たす画素の集合を、除去領域15に含める。
【0103】
【数16】
【0104】
(数16)のbはある実数であり、一例としてb=0.85とする。これは、目と眉の間の部分は、額などと比べて若干暗いものであることを考慮したものである。
【0105】
さらに、髪領域選定部11は、頭輪郭内にあって、除去領域15に含まれない画素を、4連結で領域分割する。そして、その構成画素数がθnより小さい領域を、孤立点として、除去領域15に含める。θnはしきい値であり、一例としてθn=10とする。
【0106】
最後に、髪領域選定部11は、目、鼻、口、眉は除去してはならない領域であるから、これらの領域内の画素が除去領域15に含まれていれば、除去領域15から取り除く。
【0107】
次に除去領域変更部12の動作について説明する。
【0108】
除去領域変更部12は、頭輪郭内の各画素に対して、下から上へ順に、水平走査線毎に各画素の変更処理を行う。すなわち、直線y=y0で頭輪郭内の領域を切った切口の線分をF=[xs, xe]とすると、この線分Fに対して各画素値の変更処理を行う。線分Fの処理が終れば、直線y=y0−1で顔領域を切った切口の線分F1=[xs1, xe1]に対して、各画素値の変更処理を行う。
【0109】
図9は、本実施の形態における除去領域変更部12の動作を説明するための図である。図9において、除去領域変更部12は、目、鼻、口を含む点線で囲まれた領域91の領域内の画素が除去領域15に含まれている場合は、その画素を除去領域15から除く。
【0110】
除去領域変更部12は、頭輪郭内の目より上の領域において、除去領域15が占める割合がθrより大きい場合は、額がほとんど髪に覆われているとして、画素値の変更の前に特別な前処理を行う。ここでθrはしきい値であり、一例としてθr=0.9とする。
【0111】
図9において、領域92は、頭輪郭内における眉を含む水平走査線とその上下近傍の水平走査線によって構成される領域である。除去領域変更部12は、その前処理として、その領域92内のすべての線分Fの中点に対して、その中点が除去領域15に含まれているか否かを確認する。除去領域変更部12は、その中点が除去領域15に含まれていれば、その中点にある画素の色相を目の間の適当な点にある画素の色相の値に変更し、またその明度をLa、その彩度をSaに変更して、除去領域15から取り除く。
【0112】
除去領域変更部12は、y=y0における線分Fに対して、除去領域15に含まれる連続した画素の集合を求め、その画素の集合毎に、x座標の小さな順から画素値の変更処理を行う。
【0113】
あるひとつの画素の集合の両端点のx座標を、それぞれx0、x1とする。
【0114】
ここでx0=xsかつx1=xeの場合は特別な処理を要する。これは線分Fの画素値をすべて変更する場合であり、その線分F内の画素値を全く用いることができない。x0=xsかつx1=xeとなるのは、目より上の領域だけであるから、除去領域変更部12は、その線分F内の画素値の変更に、y=y0+1で頭輪郭を切った切口である線分F’=[xs’, xe’]における画素値を用いる。
【0115】
すなわち、除去領域変更部12は、F、F’の中点をそれぞれxc、xc’とし、線分F上の任意の点Pのx座標をXとすると、(数17)によって線分F’上の点P’(X’,y0+1)を求める。
【0116】
【数17】
【0117】
除去領域変更部12は、この点P’の画素の色を点Pの画素の色とする。ただし、点P’が目の領域又は眉領域内の点の場合は、点Pを変更せずに残しておく。そして、線分F全体に対してこの変更処理を行った後、その残した部分を線形補間によって画素値の変更を行う。
【0118】
次に、x0≠xsまたはx1≠xeの場合の処理について説明する。画素値の変更に用いる色相は、頭輪郭内の一部から複数個の画素を取り出し、それを順次用いる。一例として、眉間から5×5の画素ブロックを取り出して、それを順次マッピングすることとする。また、変更後のある画素の明度をL、彩度をSとすると、Sは(数18)により与えられる。
【0119】
【数18】
【0120】
これは、彩度を髪のかかっていない肌の明度と彩度の比率から求めるもので、影などによる影響をなくす効果がある。
【0121】
以下、変更後の各画素の明度Lを求める方法について説明する。点(x0, y0)の画素に当てはめる明度をL0、点(x1, y0)の画素に当てはめる明度をL1とする。その画素集合内の点P(X, y0)の画素に割り付けられる明度Lを(数19)により求める。
【0122】
【数19】
【0123】
(数19)のfは、0≦f≦1の値をとる関数である。そして、Lは、L0、L1、fが第1の実施の形態と同様のものとして算出される。
【0124】
最後に、変更された画素の領域及びその近傍における画素の各々に対する明度と彩度の平滑化は、第1の実施の形態と同様の方法により行われる。
【0125】
(実施の形態4)
以下、本発明の第4の実施の形態における画像処理装置について説明する。本実施の形態は、除去領域変更部12がゆらぎ生成部を具備したもので、第3の実施の形態に対しては除去領域変更部12の動作だけが異なる。
【0126】
除去領域変更部12の動作について説明する。
【0127】
ゆらぎ生成部は、ランダムに発生する数値や、マッピングする画素の位置によって確率的に発生させる数値を用いて、色相、明度、彩度にゆらぎを与えるものである。人の肌の色相、明度、彩度の分布は、もともと平滑なものではなく、ある程度不規則なものであるから、ランダムに発生する数値を用いてゆらぎを与えることにより、よりリアルな結果が得られる。また、位置によって確率的に発生させる数値を用いることにより、しわやしみなどをつけることができる。
【0128】
ゆらぎ生成部の動作について説明する。関数Rは、ある範囲の間の整数値を不規則に発生するものである。一例として、−5以上5以下の整数値を不規則に発生する関数を用いる。また、関数F(x, y)は、マッピングする画素P(x, y)の頭輪郭内の位置から、確率的に数値を発生させるものである。関数Fが発生させる数値の範囲とその確率は、つけるしわやしみによって一意に定まるものである。まず、画素Pにマッピングされる画素値の色相H、明度L、彩度Sを第3の実施の形態と同様に求める。ここから、関数Rと関数Fを用いて、(数20)のようにL’、S’を求める。
【0129】
【数20】
【0130】
ゆらぎ生成部は、このL’とS’を用いて画素Pにマッピングし、除去領域15の変更を行う。
【0131】
なお、本実施の形態では、ランダムな数値を発生させる関数Rを用いたが、肌の色相、明度、彩度の統計的分布が得られれば、それにしたがって数値を発生させて、ゆらぎを与えてもよい。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像における少なくとも1つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部を更に備えるとしてもよい。
【0132】
(実施の形態5)
図10は、本発明の第5の実施の形態における画像処理装置のブロック図である。本実施の形態は、図1の実施の形態に対して、顔表面モデル生成部101を具備した点が異なる。顔表面モデル生成部101は、正面顔画像13を用いて、その正面顔画像13の顔の構造情報である顔表面モデル14を生成する。顔表面モデル生成部101における顔表面モデル14の生成については、特開平5−197793号公報、特開平4−199474号公報などの従来の方法を用いる。
本実施の形態における画像処理装置について以上に説明したように、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【0133】
(実施の形態6)
図11は、本発明の第6の実施の形態における画像処理装置のブロック図である。図11において、頭髪画像調整部111は、顔表面モデル114と顔情報モデル116とに基づいて、頭髪画像115における頭髪が正面顔画像113における顔に適合するように、頭髪画像115とその頭髪画像115に対応する各画素の属性である髪情報117とに所定の変換を適用するものである。顔表面モデル114は、正面顔画像113の顔の構造情報を表す。顔情報モデル116は、頭髪画像115の顔の構造情報を表す。
【0134】
頭髪合成処理部112は、頭髪画像調整部111により変換された髪情報117に従って、頭髪画像調整部111により変換された頭髪画像118における頭髪を正面顔画像113に割り付けるものである。頭髪画像118は、頭髪画像調整部111により変換された頭髪画像115である。顔情報モデル119は、頭髪画像調整部111により変換された顔情報モデル116である。髪情報1110は、頭髪画像調整部111により変換された髪情報117である。頭髪合成画像1111は、正面顔画像113に頭髪画像118の頭髪が割り付けられた画像を表す。
【0135】
正面顔画像113と顔表面モデル114は、第1の実施の形態と同様のものである。頭髪画像115は、正面を向いた顔を撮影したディジタル画像であり、大きさが256×256画素であり、1画素につきRGB各8ビット深さのカラー画像である。頭髪画像115の顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル116は、顔表面モデル114と同様の構成である。髪情報117は、頭髪画像115を正面顔画像113に割り付ける時、その割付方法を指定する属性を与えるものである。髪情報117は、頭髪画像115と同じ大きさで、1要素が8ビットのビット幅を持つ二次元配列であり、その属性は、髪情報117の各要素に格納されている(図12参照)。図12に示すように、この配列の1要素が頭髪画像115の1画素に対応する。すなわち、髪情報117の配列をA(x, y)とすると、A(x0, y0)が頭髪画像115の点(x0, y0)の画素の属性となる。以下の表1に本実施の形態で用いる属性とその意味を示す。
【0136】
【表1】
【0137】
表1と図12において、121は属性1の領域を表し、122は属性2の領域を表し、123は属性3の領域を表す。
【0138】
次に、本実施の形態の動作について説明する。
【0139】
頭髪画像調整部111は、頭髪画像115の頭髪がマッピングする正面顔画像113の顔に適合するように、頭髪画像115の調整を行う。本実施の形態では、頭髪画像115の調整の一例として、その頭髪画像115における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ正面顔画像113における頭輪郭の水平、垂直両方向の大きさと位置に一致させる方法を用いる。
【0140】
図13は、頭髪画像調整部111の構成図である。大きさ調整手段131は、頭髪画像115の顔の大きさを、正面顔画像113の顔の大きさと一致するように、頭髪画像115と顔情報モデル116と髪情報117を変換する。頭髪画像133は、大きさ調整手段131により変換された頭髪画像115を表す。顔情報モデル134は、大きさ調整手段131により変換された顔情報モデル116を表す。髪情報135は、大きさ調整手段131により変換された髪情報117を表す。
【0141】
位置調整手段132は、頭髪画像133における頭輪郭の位置と、正面顔画像113における頭輪郭の位置とが一致するように、頭髪画像133と顔情報モデル134と髪情報135を変換する。
【0142】
次に、大きさ調整手段131の処理について具体的に説明する。大きさ調整手段131は、顔表面モデル114から、図14に示すような頭輪郭の大きさdvとdhとを求める。dvは頭輪郭の垂直方向(y軸方向)の最大の高さであり、dhは頭輪郭を目と鼻の頭の中間の点を通る水平線で切った切口の線分の長さである。この線分の長さを頭輪郭の水平方向(x軸方向)の大きさとする。
【0143】
これと同様にして、大きさ調整手段131は、顔情報モデル116から、頭髪画像115における頭輪郭の垂直方向の大きさdv’と水平方向の大きさdh’とを求める。
【0144】
大きさ調整手段131は、それらの大きさの調整を、水平方向と垂直方向、それぞれ独立の倍率でスケーリングすることによって行う。水平方向の倍率をSh、垂直方向の倍率をSvとすると、Sh、Svは(数21)により与えられる。
【0145】
【数21】
【0146】
大きさ調整手段131は、(数21)により算出されたShとSvによって、頭髪画像115を、x軸方向にShでスケーリングし、y軸方向にSvでスケーリングして、頭髪画像133を得る。
【0147】
髪情報117は、頭髪画像115の大きさ合わせと同様の処理によって、髪情報135に変換される。
【0148】
スケーリングの方法としては、最近隣接法などがある。また、大きさ調整手段131は、顔情報モデル116が各特徴点毎にx座標とy座標を持っているため、そのx座標をSh倍、y座標をSv倍することによって大きさの調整を行う。すなわち、顔情報モデル116の任意の頂点P(x, y)は、(数22)によって顔情報モデル134の頂点P’(x’, y’)に変換される。
【0149】
【数22】
【0150】
次に、位置調整手段132の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔh、垂直方向の変位をΔvとする。ΔhとΔvは、それぞれ以下のように求める。
【0151】
図15は、位置調整手段132の動作を説明するための図である。図15における顔は、正面顔画像113の顔である。点Pnは、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表す。点Peは、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点を表す。点Pmは、点Pnと点Peを結ぶ線分の中点を表す。
【0152】
これと同様にして、位置調整手段132は、頭髪画像133に対しても、中点Pn’、中点Pe’、中点Pm’を求める。点Pn’は、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点である。中点Pe’は、頭輪郭を水平方向に切った切口の線分のうち、目領域の最上位点にある線分の中点である。中点Pm’は、点Pn’と点Pe’を結ぶ線分の中点である。
【0153】
そこで、これらの中点をそれぞれPm(xf, yf)、Pm’(xh, yh)とすると、ΔhとΔvは、それぞれ(数23)により与えられる。
【0154】
【数23】
【0155】
頭髪画像133上の任意の点P(x, y)は、(数24)によって、点P’(X, Y)に変換され、頭髪画像118が生成される。
【0156】
【数24】
【0157】
同様に、髪情報135の任意の要素A(x, y)は、A’(X, Y)に変換され、髪情報1110が生成される。また、顔情報モデル134上の任意の頂点Pf(x, y)もPf’(X, Y)に変換され、顔情報モデル119が生成される。
【0158】
なお、顔情報モデル116や顔情報モデル134に対する処理は、顔情報モデル116におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【0159】
次に頭髪合成処理部112の動作について説明する。頭髪合成処理部112も、第1の実施の形態と同様に、RGBの色情報ではなく、画素値を色相、明度、彩度に変換し、0から255の整数値に正規化したものを用いる。
【0160】
図16は、頭髪合成処理部112の構成図である。図16において、161は合成情報生成部である。162は、髪情報167の属性に従って、正面顔画像113の色相と頭髪画像118の色相とを用いて、色相を生成する色相合成部である。163は、髪情報167の属性に従って、正面顔画像113の明度と頭髪画像118の明度とを用いて、明度を生成する明度合成部である。164は、髪情報167の属性に従って、正面顔画像113の彩度と頭髪画像118の彩度とを用いて、彩度を生成する彩度合成部である。165は、色相合成部162により生成された色相と、明度合成部163により生成された明度と、彩度合成部164により生成された彩度を入力し、これらから色を求めて、正面顔画像113にマッピングし、頭髪合成画像1111を生成するマッピング処理部である。166は、合成情報生成部161によって生成された合成情報である。167は、合成情報生成部161によって修正された髪情報である。
【0161】
合成情報生成部161は、正面顔画像113と頭髪画像118の色情報から、色相合成部162、明度合成部163、彩度合成部164が生成処理する時に用いる合成情報166を生成する。これと同時に、合成情報生成部161は、マッピング先の正面顔画像113の画素の色情報を調べ、髪情報1110を修正して髪情報167を出力する。本実施の形態においては、合成情報166の一例として明度の平均値を用いる。また髪情報1110の修正は、一例として、正面顔画像113の明度の小さい画素に対するマッピングを属性2のマッピングに変更することとした。
【0162】
まず、合成情報生成部161の動作について説明する。合成情報生成部161は、頭髪画像118の頭輪郭内で眉より上の領域の画素のうち、髪情報1110によって与えられる属性が3のものの明度の平均値Lhaを求める。また、合成情報生成部161は、正面顔画像113における頭輪郭内の眉より上の部分の点P(x, y)の明度Lが数(25)を満たす画素を調べる。
【0163】
【数25】
【0164】
(数25)のθlはしきい値であり、その一例としてθl=95とする。この画素は暗い画素で、髪である可能性が高い。そのため、(数25)を満たす画素が頭髪合成画像1111に残らないようにするため、合成情報生成部161は、髪情報1110のA(x, y)を属性2とし、髪情報167を作成する。さらに、合成情報生成部161は、(数25)を満たさない画素の明度の平均値Lfaを求める。
【0165】
色相合成部162、明度合成部163及び彩度合成部164の各々で行われる処理は、髪情報167の画素の属性によって決定される。属性3の画素は、頭髪ではないためマッピングは行われない。属性1の画素は、前髪、生え際、前髪による影の部分の画素であるから、その画素値と、正面顔画像113上のマッピング先の画素値とを合成した値をマッピングする。属性2の画素は、その画素値を正面顔画像113上にそのままマッピングする。
【0166】
色相合成部162の動作について説明する。頭髪画像118の任意の画素Ph(x, y)の色相をHh、髪情報167から得られる画素Phの属性をA(x, y)、画素Phがマッピングされる正面顔画像113の画素Pf(x, y)の色相をHfとすると、色相合成部162は、A(x, y)にしたがって、HfとHhとを用いて(数26)によりHを生成する。
【0167】
【数26】
【0168】
色相合成部162は、属性1の場合、Hf及びHhの中間値をとる。ただし、色相は図17に示すような角度で表されるため、HfとHhは、(数27)により補正されたものが用いられる。
【0169】
【数27】
【0170】
また、Hは、(数28)により補正されたものが用いられる。
【0171】
【数28】
【0172】
明度合成部163の動作について説明する。上記の画素Ph(x, y)の明度をLh、Pf(x, y)の明度をLfとする。明度合成部163は、合成情報166から得られる明度の平均値LfaとLhaを用いて、(数29)によりLhとLfからLを合成する。
【0173】
【数29】
【0174】
明度合成部163は、属性1の場合の合成を平均値との差を用いて行う。
【0175】
彩度合成部164の動作について説明する。上記の画素Ph(x, y)の彩度をSh、Pf(x, y)の彩度をSfとする。SfとShは、(数30)によりSに合成される。
【0176】
【数30】
【0177】
マッピング処理部165は、上記のようにして合成したH,L、SをRGBの色に変換し、正面顔画像113の画素Pfにその色をマッピングする。
【0178】
DSPを持ったメディア処理ボード搭載の32ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約5秒であった。
【0179】
なお、本実施の形態では、正面顔画像113と頭髪画像115は、ともに256×256の大きさのディジタル画像であるとしたが、他の大きさのものでもよい。
【0180】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造をしたものでもよい。
【0181】
更に、本実施の形態では、マッピング時の合成に、色相と彩度は同じ関数を用いたが、それぞれ独立の関数を用いても良い。
【0182】
また、合成情報としては、他に正面顔画像の色相、彩度の平均値も加え、色相合成部、彩度合成部において、属性1の場合の合成結果にその平均値を用いても良い。
本実施の形態における画像処理装置について以上に説明したように、前記人の画像は、その人の顔画像であり、前記構造情報は、前記人の顔の表面に対する構造情報であり、前記参照画像は、頭髪を有する前記別人の顔の画像である頭髪画像であり、前記別人の構造情報は、前記頭髪画像における前記別人の顔の表面に対する構造情報を示すものであり、前記所定部分は、頭髪又はその頭髪による影である頭髪部分であり、前記属性情報は、前記頭髪画像における各画素の属性をその画素に対応させて保持している髪情報であり、前記画像調整部は、前記髪情報と前記頭髪画像とに前記所定の変換を適用する頭髪画像調整部であり、前記合成処理部は、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部であるとしてもよい。
また、前記画像調整部は、前記人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報と、前記別人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報とを利用して、前記参照画像と前記参照画像の属性情報とに前記所定の変換を適用するとしてもよい。
また、前記合成処理部は、前記参照画像の属性情報の各画素の属性に従って、その属性の画素に対応する前記参照画像の画素値を用いて、又は前記属性の画素に対応する、前記参照画像の画素値と前記人の顔画像の画素値とを用いて、前記人の顔画像に割り付ける前記頭髪部分の各画素値を生成する生成部と、その生成部により生成された参照画像の所定部分の各画素値を前記人の顔画像に割り付けるマッピング処理部とを備えたとしてもよい。
また、前記画像処理装置は、前記マッピング処理部により参照画像の所定部分が割り付けられた人の顔画像を修正する合成画像修正部を更に備えたとしてもよい。
また更に、前記生成部は、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、色相を生成する色相合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、明度を生成する明度合成部と、前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、彩度を生成する彩度合成部との少なくとも1つを備えたとしてもよい。
【0183】
(実施の形態7)
以下、図18を参照しながら、本発明の第7の実施の形態における画像処理装置について説明する。図18において、181はマッピング結果の画像に、顔領域と髪領域の間にすき間があった場合、そこを補間して修正を施す合成画像修正部を表す。182はこの画像処理装置の出力である頭髪合成画像を表す。髪領域選定部11、除去領域変更部12の処理は、第1の実施の形態または第2の実施の形態または第3の実施の形態または第4の実施の形態記載のものと同様である。また、頭髪画像調整部111の処理は、第6の実施の形態記載のものと同様である。
【0184】
頭髪合成処理部112の動作は、第6の実施の形態記載のものと合成情報生成部の処理が異なる部分があり、以下それを説明する。本実施の形態の画像処理装置では、頭髪合成処理部112において、髪除去画像16に頭髪画像118をマッピングする。髪除去画像16は頭髪およびその頭髪による影の部分を除去したものであるから、髪情報1110の修正の必要はない。よって、本実施の形態では、合成情報生成部161においてこの処理を行わない。また、除去領域15を入力することにより、(数25)のしきい値処理を行わず、除去領域15に含まれない画素の明度の平均値Lfaを求める。
【0185】
合成画像修正部181は、マッピング結果の画像を水平走査線毎に調べ、顔領域と髪領域の間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像118の画素が、頭髪画像118における顔の輪郭上の点、または輪郭内部の点と隣接していない場合は、補間を行わない。頭髪画像118における顔の輪郭は、顔情報モデル119より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目で平滑化を行う。平滑化の方法は第1の実施の形態などに記載したものと同様である。
【0186】
(実施の形態8)
以下、本発明の第8の実施の形態について説明する。本実施の形態は、入力の正面顔画像から第1の実施の形態または第2の実施の形態または第3の実施の形態または第4の実施の形態記載の画像処理装置によって頭髪とその頭髪による影との領域を除去し、除去した領域を変更した髪除去画像に、あらかじめ用意した頭髪を合成するものである。また、頭髪画像調整部は、顔表面モデルと顔情報モデルより得られる目、鼻、口、眉の位置および頭輪郭との距離、頭輪郭の位置および大きさのすべてまたは一部によって動作し、頭髪合成処理部は、髪除去画像と頭髪画像の合成に用いる情報を生成する合成情報生成部と、髪情報から得られる画素の属性によって指定された方法でテクスチャ情報を合成するテクスチャ情報合成部と、前記テクスチャ情報合成部によって合成された画素値を髪除去画像にマッピングするマッピング処理部と、マッピング後の結果画像に修正を加える合成画像修正部から構成されるものである。さらに、テクスチャ情報合成部は、色相合成部と明度合成部と彩度合成部から構成されるものである。
【0187】
図19は、本実施の形態における画像処理装置のブロック図である。図19において、191は頭髪画像調整部を表し、192は頭髪合成処理部を表し、193は頭髪画像を表し、194は頭髪画像193の顔の構造情報を表す顔情報モデルを表し、195は頭髪画像193の各画素の属性を表す髪情報を表し、196は頭髪画像193が頭髪画像調整部191によって変換された結果の頭髪画像を表し、197は顔情報モデル194が頭髪画像調整部191によって変換された結果の顔情報モデルを表し、198は髪情報195が頭髪画像調整部191によって変換された結果の髪情報を表し、199は髪除去画像16に頭髪画像196の頭髪を合成した結果の頭髪合成画像を表す。
【0188】
入力の正面顔画像13は、第1の実施の形態などと同様に、図2に示すような顔画像取り込み装置によって取り込まれた、大きさ256×256画素で、1画素につきRGB各8ビット深さのカラーのディジタル画像を用いる。顔は正面を向いたもので、頭の中心線はほぼ垂直である。顔表面モデル14も第1の実施の形態などと同様のものである。頭髪画像193は正面を向いた顔を撮影したディジタル画像で、大きさ256×256画素、1画素につきRGB各8ビット深さのカラー画像である。頭髪画像193における顔は正面を向いており、その頭の中心線はほぼ垂直である。顔情報モデル194は顔表面モデル14と同様の構成である。
【0189】
髪情報195は、頭髪画像193の各画素を髪除去画像16と合成する時、合成された画像をより自然なものとするために、その合成方法を指定する属性を与えるものである。髪情報195は頭髪画像193と同じ大きさで、1要素が8ビットのビット幅を持つ二次元配列である。図20に示すように、この配列の1要素が頭髪画像193の1画素に対応する。すなわち、髪情報195の配列をA(x, y)とすると、A(x0, y0)が頭髪画像193の点(x0, y0)の画素の属性となる。
【0190】
次の表2に本実施の形態で用いる属性とその意味を示す。
【0191】
【表2】
【0192】
この表2は、頭髪による影をつけたり、細かな前髪を自然に重ねたりして、合成された画像をよりリアルなものにするために設定されたものである。
【0193】
表2と図20において、201は属性1の領域を表し、202は属性2の領域を表し、203は属性3の領域を表し、204は属性4の領域を表す。
【0194】
頭髪画像調整部191は、頭髪画像193の頭髪がマッピングする髪除去画像16の顔に適合するように、頭髪画像193の調整を行う。本実施の形態では、頭髪画像193の調整の一例として、頭髪画像193における頭輪郭の水平、垂直両方向の大きさと位置を、それぞれ髪除去画像16における頭輪郭の水平、垂直両方向の大きさと位置に一致させる。
【0195】
以下、このような調整を行う頭髪画像調整部191の動作を、図21を参照しながら説明する。図21において、211は頭髪画像193の顔の大きさが髪除去画像16の顔の大きさと一致するように、頭髪画像193と顔情報モデル194と髪情報195を変換する大きさ調整手段を表し、213は大きさ調整手段211によって変換された頭髪画像を表し、214は大きさ調整手段211によって変換された顔情報モデルを表し、215は大きさ調整手段211によって変換された髪情報を表し、212は頭髪画像213の顔の頭髪画像213の中の位置と、髪除去画像16の顔の髪除去画像16の中の位置とが一致するように、頭髪画像213と顔情報モデル214と髪情報215を変換する位置調整手段を表す。
【0196】
大きさ調整手段211の動作について説明する。まず、顔表面モデル14から図22に示すような頭輪郭の大きさdv1、dv2、dhが得られる。dv1は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最上点の垂直方向(y軸方向)の距離であり、dv2は鼻の頭の位置で頭輪郭を水平に切った線分と頭輪郭の最下点の垂直方向の距離である。dhは頭輪郭を鼻の頭の点を通る水平線で切った切口の線分の長さであり、これを頭輪郭の水平方向(x軸方向)の大きさとする。
【0197】
同様に、顔情報モデル194から、頭髪画像193の顔の頭輪郭の垂直方向の大きさdv1’、dv2’と、水平方向の大きさdh’が得られる。その大きさの調整については、頭髪画像193と髪情報の各々を水平方向と垂直方向に、それぞれ独立の倍率でスケーリングすることによって行う。更に、垂直方向のスケーリングについては、鼻の頭の位置から上と下をそれぞれ独立の倍率でスケーリングする。水平方向の倍率をSh、垂直方向の倍率を鼻の頭より上をSv1、下をSv2とすると、それぞれの倍率は、(数31)により算出される。
【0198】
【数31】
【0199】
大きさ調整手段211は、頭髪画像193をx軸方向にShでスケーリングし、y軸方向にSv1とSv2でスケーリングすることによって頭髪画像213を生成する。この頭髪画像193の大きさ合わせと同様の処理により、髪情報195は髪情報215に変換される。スケーリングの方法には、最近隣接法などの従来の方法を用いることができる。
【0200】
また顔情報モデル194は、各特徴点毎に対応するx座標とy座標を持っているため、(数32)によって顔情報モデル214に変換される。
【0201】
【数32】
【0202】
ここで、鼻の頭の位置のy座標をynとする。
【0203】
次に位置調整手段212の動作について説明する。位置調整は、水平方向と垂直方向の各々に対して、独立の変位量の平行移動となる。水平方向の変位をΔh、垂直方向の変位をΔvとする。Δh、Δvは以下のように求める。
【0204】
図23は、位置調整手段212の動作を説明するための図である。図23における顔は、髪除去画像16の顔である。点Pnは鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点を表し、点Peは目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点を表し、点Pmは点Pnと点Peを結ぶ線分の中点を表す。位置調整手段212は、頭髪画像213に対しても同様に、鼻の頭の位置で頭輪郭を水平方向に切った切口の線分の中点Pn’、目領域の最上位点で頭輪郭を水平方向に切った切口の線分の中点Pe’、点Pn’と点Pe’を結ぶ線分の中点Pm’を求める。 そこで、これらの中点をそれぞれPm(xf, yf)、Pm’(xh, yh)とすると、ΔhとΔvは、それぞれ(数33)により求められる。
【0205】
【数33】
【0206】
頭髪画像213上の任意の点P(x, y)は、(数34)によって点P’(X, Y)に変換され頭髪画像196が生成される。
【0207】
【数34】
【0208】
同様に、髪情報215の任意の要素A(x, y)は、A’(X, Y)に変換され髪情報198が生成される。また顔情報モデル214上の任意の頂点Pf(x, y)もPf’(X, Y)に変換され、顔情報モデル197が生成される。
【0209】
なお、顔情報モデル194や顔情報モデル214に対する処理は、顔情報モデル194におけるすべての頂点に対して行っても良いが、例えば特徴点のような、この後の処理に用いる頂点のみに対して行ってもよい。
【0210】
次に頭髪合成処理部192の動作について説明する。頭髪合成処理部192における処理でも、第1の実施の形態などと同様にRGBの色情報ではなく、画素値を色相、明度、彩度に変換し、0から255の整数値に正規化したものを用いる。
【0211】
図24は、頭髪合成処理部192の構成図である。図24において、241は合成情報生成部である。242は、髪情報198の属性に従って、髪除去画像16の色相と頭髪画像196の色相とを用いて、色相を生成する色相合成部である。243は、髪情報198の属性に従って、髪除去画像16の明度と頭髪画像196の明度とを用いて、明度を生成する明度合成部である。244は、髪情報198の属性に従って、髪除去画像16の彩度と頭髪画像196の彩度とを用いて、彩度を生成する彩度合成部である。245は、色相合成部242により生成された色相と、明度合成部243により生成された明度と、彩度合成部244により生成された彩度とを入力し、それらからRGBの色に変換し、髪除去画像16にマッピングして頭髪合成画像199を生成するマッピング処理部である。246は合成情報生成部241によって生成された合成情報である。247は、マッピング結果の画像において、顔領域と頭髪領域との間にすき間があった場合、そこを補間して修正を施す合成画像修正部である。合成情報生成部241は、髪除去画像16と頭髪画像196の色情報から、色相合成部242、明度合成部243、彩度合成部244が合成処理する時に用いる合成情報246を生成し出力する。本実施の形態では、合成情報246の一例として明度と彩度の平均値を用いる。
【0212】
まず、合成情報生成部241の動作について説明する。合成情報生成部241は、頭髪画像196における頭輪郭内で目より下の領域の画素のうち、髪情報198によって与えられる属性が3または4のものの明度の平均値Lhaと彩度の平均値Shaを求める。また、合成情報生成部241は、第3の実施の形態における明度の平均値Laと彩度の平均値Saを合成情報246として取得する。
【0213】
色相合成部242、明度合成部243又は彩度合成部244で行われる処理は、髪情報198の属性により決定される。属性4の画素は頭髪ではないため、マッピングは行われない。属性1の画素は、前髪や生え際の画素であるから、その画素値と、髪除去画像16上のマッピング先の画素値とを合成した値をマッピングする。属性2の画素は、その画素値を髪除去画像16上にそのままマッピングする。属性3の画素は、頭髪による影であるから、マッピング先の画素の明度と彩度を若干落すことによって処理される。
【0214】
色相合成部242の動作について説明する。頭髪画像196の任意の画素Ph(x, y)の色相をHh、髪情報198から得られる画素Phの属性をA(x, y)、画素Phがマッピングされる髪除去画像16の画素Pf(x, y)の色相をHfとすると、色相合成部242は、A(x, y)にしたがって、HfとHhとを用いて(数35)によりHを生成する。
【0215】
【数35】
【0216】
(数35)の関数mod(a,b)は整数aを整数bで割った剰余を返すもので、属性1の場合では、合成画像の色相は交互に頭髪画像196、髪除去画像16の色相をとることとなる。
【0217】
明度合成部243の動作について説明する。上記の画素Ph(x, y)の明度をLh、Pf(x, y)の明度をLfとする。明度合成部243は、合成情報246から得られる明度の平均値La、Lhaを用いて、(数36)によりLhとLfからLを合成する。
【0218】
【数36】
【0219】
明度合成部243は、属性1の場合の合成を平均値の差を用いて行う。また、明度合成部243は、属性3においては肌の明度を下げる。ここで、σはある実数であり、一例としてLa/Lhとした。また、関数min(a,b)は、実数a,bのうち大きくない方の値をとるものである。
【0220】
彩度合成部244の動作について説明する。上記の画素Ph(x, y)の彩度をSh、Pf(x, y)の彩度をSfとする。彩度合成部244は、合成情報246から得られる彩度の平均値Sa、Shaを用いて、(数37)によりSfとShからSを合成する。
【0221】
【数37】
【0222】
(数37)において、a、b、c、dは、a+b=1、c+d=1を満たすある実数であり、一例としてa=0.3、b=0.7、c=0.4、d=0.6とした。
【0223】
マッピング処理部245は、上記のようにして合成したH,L,SをRGBの色に変換し、髪除去画像16の画素Pfにその色をマッピングする。
【0224】
合成画像修正部247は、マッピング結果の画像を水平走査線毎に調べ、髪領域とその髪領域を含まない顔領域との間にすき間がある場合、その補間を行う。ただし、この髪領域の端点にマッピングされた頭髪画像196の画素が、頭髪画像196における頭輪郭上の点、または頭輪郭内部の点と隣接していない場合は、補間を行わない。
【0225】
頭髪画像196における頭輪郭は、顔情報モデル197より得られる。補間処理は、補間位置が鼻と口の中間位置より上の場合は最近の顔領域の画素の色で、下の場合は最近の髪領域の画素の色で行う。また、額の上部に髪領域とのすき間ができている場合は、この領域を額の肌の色で補間する。すき間を補間した後、頭髪や影領域と顔領域の継目にスムージングをかける。スムージングの方法は第1の実施の形態などに記載したものと同様である。
【0226】
DSPを持ったメディア処理ボード搭載の32ビットパーソナルコンピュータにより、上記の処理を行った場合の処理時間は約8秒であった。
【0227】
なお、本実施の形態では、正面顔画像13と頭髪画像193は、ともに256×256の大きさのディジタル画像であるとしたが、他の大きさのものであるとしてもよい。
【0228】
また、本実施の形態では、顔情報モデルとして顔表面モデルと同じ構成のものを用いたが、目、鼻、眉、頭輪郭が得られるものであれば、他の構造のものを用いてもよい。
【0229】
また、合成情報としては、他に正面顔画像の色相の平均値も加え、色相合成部において属性1の場合の合成結果にその平均値を用いても良い。
【0230】
また、本実施の形態では、明度合成部243は、属性1の場合の合成を平均値の差を用いて行うとしたが、属性1と属性3の合成を平均値の比率によって明度値を求め、マッピングを行うとしてもよい。すなわち、(数36)の代わりに(数38)を用いても良い。
【0231】
【数38】
【0232】
なお、本実施の形態における画像処理装置については、以上に説明したように、人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、前記構造情報と、前記画像における少なくとも1つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、前記構造情報と、別人の画像である参照画像におけるその別人の構造情報とに基づいて、前記別人の所定部分が前記画像に適合するように、その人の画素に対応させて保持している属性情報に基づいて、前記参照画像における各画素の属性とその参照画像とに所定の変換を適用する画像調整部と、その所定の変換が適用された属性情報に従って、前記所定の変換が適用された参照画像における所定部分を前記画像に割り付ける合成処理部とを備えたことを特徴とする。
また、顔の画像である顔画像の全部または一部における各画素値と、その顔画像における顔の表面に対する構造情報を示す顔表面モデルとに基づいて、その顔画像における頭髪又は頭髪及びその頭髪による影を除去領域に選定する髪領域選定部と、前記顔表面モデルにおける構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記除去領域の全部又は一部における各画素値を変更する除去領域変更部と、前記顔表面モデルと、頭髪を有する別の顔の画像である頭髪画像におけるその別の顔の表面に対する構造情報を示す顔情報モデルとに基づいて、前記別人の頭髪又はその頭髪及びその頭髪による影である頭髪部分が、前記顔画像に適合するように、前記頭髪画像の画素の各々に対する属性をその画素に対応させて保持している髪情報とその頭髪画像とに所定の変換を適用する頭髪画像調整部と、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部とを備えたことを特徴とする。
(実施の形態9)
以下、図25を参照しながら本発明の第9実施の形態における画像処理装置について説明する。本実施の形態は、顔表面モデル生成部101によって生成された顔表面モデル14を、髪領域選定部11、除去領域変更部12、頭髪画像調整部191、頭髪画像合成部192の入力としたこと以外は、第7の実施の形態または第8の実施の形態記載のものと同様のものである。
本実施の形態における画像処理装置について以上に説明したように、前記人の顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えるとしてもよい。
【0233】
(実施の形態10)
図26は、本発明の第10の実施の形態のブロック図である。本実施の形態は、第8の実施の形態の画像処理装置と画像表示装置から構成される顔画像表示装置に関するものである。図26において、261は頭髪画像データベースを表し、262は頭髪画像選択装置を表し、263は画像表示装置を表す。頭髪画像データベース261は、合成する頭髪画像、顔情報モデル、髪情報を多数保持しており、頭髪画像選択装置262は、頭髪画像データベース261から、ある頭髪画像、顔情報モデル、髪情報を選択して出力する。画像表示装置263は正面顔画像13、髪除去画像16、頭髪合成画像199や頭髪画像データベース262から得られる頭髪画像を複数同時に表示する。顔表面モデル14と顔情報モデル194は同様の構成をしていることから、頭髪画像を入力の正面顔画像13とすることもできる。
【0234】
本実施の形態の顔画像表示装置によって、複数の顔画像を同時に表示し、その頭髪を交換して表示することが可能である。これにより、対象人物の髪形を、別のある人物の髪形を選んで変更し、表示させることが可能となる。また、複数の頭髪画像を表示し、その頭髪を交換することも可能である。このような顔画像表示装置によって、取り替える髪形を、髪形だけが写った画像から選ぶよりも、ある人物の髪形として選ぶ方がよりイメージが描きやすいといった効果がある。
【0235】
上述した実施の形態は、頭髪合成に関するものであるが、同様の方式により鬚、耳、首、装飾品、衣服といったものを顔画像に合成することにも応用できる。以下、それぞれについて説明する。
【0236】
鬚を合成する処理について説明する。この場合、髪情報における属性1又は2を頭髪画像における鬚の領域とする。図27において、dmは水平方向の口の幅を表す。またdnは、口の領域の最上位点を通る水平方向の直線と、鼻の頭を通る水平方向の直線との間の距離である。この距離を口と鼻の距離とする。頭髪画像におけるdmとdnがそれぞれ正面顔画像におけるdmとdnに一致するように、大きさの調整を行う。すなわち、水平方向のスケーリングの倍率Shは、正面顔画像における水平方向の口の幅dmと、頭髪画像における水平方向の口の幅dm’によって、(数39)のように決まる。
【0237】
【数39】
【0238】
また、垂直方向のスケーリングの倍率Svは、正面顔画像における口と鼻の距離dnと、頭髪画像における口と鼻の距離dn’によって(数39)のように決まる。このShとSvを用いて、頭髪画像を水平方向に倍率Shで、垂直方向に倍率Svでスケーリングして、大きさの調整を行う。
【0239】
次に、鬚を合成する場合の位置の調整について説明する。図28において、Pnは、鼻の頭を通る水平方向の直線により頭輪郭を切った切口の線分の中点である。また、Pmは、口の領域の最上位点を通る水平方向の直線により頭輪郭を切った切り口の線分の中点である。Pcは、PnとPmとを結んだ線分の中点であり、位置の調整の基準点となる。位置の調整のために、正面顔画像における基準点Pcと、頭髪画像における基準点Pc’とが、同一画面において同じ位置となるように頭髪画像の平行移動が行われる。これらの基準点をそれぞれPc(xf,yf)とPc’(xh,yh)であるとすれば、水平方向の移動量であるΔhと垂直方向の移動量であるΔvは、それぞれ(数23)により与えられる。このΔhとΔvを(数24)に代入して得られるXとYを頭髪画像の位置とすることにより、位置の調整が行われる。頭髪合成処理部では、上記頭髪を合成する場合と同様の処理を行う。
【0240】
次に、耳を合成する処理について説明する。まず、表2に示した属性の他に耳に対する属性5を追加する。髪情報は、頭髪画像における耳の領域を属性5に設定する。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の方法で行う。頭髪合成処理部は、上記頭髪合成の場合の(数35)を(数40)に、(数36)を(数41)に、(数37)を(数42)にそれぞれ置き換えて処理する。
【0241】
【数40】
【0242】
【数41】
【0243】
【数42】
【0244】
ここで、(数40)のH0は顔領域の適当な位置における画素の色相である。ここでは、眉間の画素を用いるとする。
【0245】
装飾品を合成する処理を説明する。この場合、頭髪画像の装飾品の領域の属性を2として髪情報を構成する。(数21)の倍率Shを用いて、頭髪画像を(数43)にしたがってスケーリングすることにより、大きさの調整を行う。
【0246】
【数43】
【0247】
倍率には、Sh以外に、(数21)のSv又は(数31)のSv1若しくはSv2を用いてもよい。
【0248】
頭髪合成処理部は、上記頭髪の合成の場合と同様の処理を行う。
【0249】
次に、首と衣服の合成について説明する。但し、衣服は首に付随したものとして処理する。この場合、髪情報における属性5を頭髪画像における首の肌が見えている領域とする。また、属性2を衣服の部分の領域とする。大きさの調整と位置の調整は、上記頭髪を合成する場合と同様の処理を行う。頭髪合成処理部は、耳を合成する場合と同様の処理を行う。
本実施の形態における画像処理装置について以上に説明したように、前記合成処理部により参照画像の所定部分が割り付けられた顔画像を複数表示する画像表示部を更に備えるとしてもよい。
【0250】
【発明の効果】
以上のように、本発明によれば、自動的に、違和感の少ない頭髪合成画像を生成することができる。
【0251】
また、本発明によれば、DSPを持ったメディア処理ボード搭載の32ビットパーソナルコンピュータを用いれば、撮影から頭髪合成終了までを実用時間の十数秒で処理することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における画像処理装置のブロック図である。
【図2】正面顔画像13を取り込む顔画像取り込み装置の一例を示す図である。
【図3】図2に示す顔画像取り込み装置により取り込まれた正面顔画像13の一例を示す図である。
【図4】顔表面モデル14の一例を示すワイヤーフレームモデルの図である。
【図5】除去領域変更部12による画素値変更の動作を説明するための図である。
【図6】(a)は(数7)におけるfの特性図であり、(b)は(数8)におけるfの特性図である。
【図7】平滑化に用いるマスクの構成図である。
【図8】第2の実施の形態における髪領域選定部11の処理の手順を示すフローチャートである。
【図9】第3の実施の形態における除去領域変更部12の動作を説明するための図である。
【図10】本発明の第5の実施の形態における画像処理装置のブロック図である。
【図11】本発明の第6の実施の形態における画像処理装置のブロック図である。
【図12】第6の実施の形態における頭髪画像と髪情報との対応図である。
【図13】頭髪画像調整部111の構成図である。
【図14】第6の実施の形態における大きさ調整手段の動作の説明図である。
【図15】位置調整手段132の動作を説明するための図である。
【図16】頭髪合成処理部112の構成図である。
【図17】色相の説明図である。
【図18】本発明の第7の実施の形態における画像処理装置のブロック図である。
【図19】第8の実施の形態における画像処理装置のブロック図である。
【図20】第8の実施の形態における頭髪画像と髪情報との対応図である。
【図21】頭髪画像調整部191の構成図である。
【図22】第8の実施の形態における大きさ調整手段の動作の説明図である。
【図23】第8の実施の形態における位置調整手段の動作の説明図である。
【図24】頭髪合成処理部192の構成図である。
【図25】本発明の第9実施の形態における画像処理装置のブロック図である。
【図26】本発明の第10の実施の形態のブロック図である。
【図27】鬚を合成する場合における大きさ調整手段の動作の説明図である。
【図28】鬚を合成する場合における位置調整手段の動作の説明図である。
【符号の説明】
11…髪領域選定部
12…除去領域変更部
13…正面顔画像
14…顔表面モデル
15…除去領域
16…髪除去画像
101…顔表面モデル生成部
111…頭髪画像調整部
112…頭髪合成処理部
131…大きさ調整手段
132…位置調整手段
161…合成情報手段
162…色相合成部
163…明度合成部
164…彩度合成部
165…マッピング処理部
181…合成画像修正部
191…頭髪画像調整部
192…頭髪合成処理部
211…大きさ調整手段
212…位置調整手段
241…合成情報生成部
242…色相合成部
243…明度合成部
244…彩度合成部
245…マッピング処理部
247…合成画像修正部
262…頭髪画像選択装置
263…画像表示装置
Claims (26)
- 人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、
前記領域選定部は、前記構造情報における頭輪郭、目及び眉に基づいて、頭髪及び/又はその頭髪による影を前記領域に選定することを特徴とする画像処理装置。 - 人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と、
前記顔画像における少なくとも1つの画素の色情報に基づいて、前記領域内の各画素値に所定の不規則なゆらぎ成分を付加するゆらぎ生成部とを備えたことを特徴とする画像処理装置。 - 人の顔画像の全部又は一部における各画素値と、その顔画像における人の構造情報とに基づいて、その顔画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部とを備え、
前記領域選定部は、前記顔画像における頭髪及び影部分を前記領域に選定することを特徴とする画像処理装置。 - 人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記領域選定部により選定された前記領域の外周近傍の前記画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記領域の全部又は一部における各画素値を変更する領域変更部と
を備えたことを特徴とする画像処理装置。 - 前記構造情報は、人の顔の表面に対する情報である顔表面モデルの情報である請求項3記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び影部分を前記領域に選定することを特徴とする請求項3記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定することを特徴とする請求項3記載の画像処理装置。
- 前記画像処理装置は、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えたことを特徴とする請求項3記載の画像処理装置。
- 前記構造情報は、人の顔の表面に対する情報である顔表面モデルの情報である請求項4記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度に基づいて、頭髪及び影部分を前記領域に選定することを特徴とする請求項4記載の画像処理装置。
- 前記領域選定部は、前記顔画像における各画素の明度と彩度に基づいて、頭髪と影部分とを前記領域に選定することを特徴とする請求項4記載の画像処理装置。
- 前記画像処理装置は、前記顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えたことを特徴とする請求項4記載の画像処理装置。
- 人の画像における構造情報と、別人の画像である参照画像における構造情報とに基づいて、前記別人の画像の所定部分が、前記人の画像に適合するように、前記参照画像に所定の変換を適用する画像調整部と、
前記所定の変換が適用された参照画像における所定部分を前記人の画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。 - 前記合成処理部は、前記参照画像における画素の属性情報を用いて、前記参照画像における所定部分を前記人の画像に割り付けることを特徴とする請求項13記載の画像処理装置。
- 前記画像調整部は、前記参照画像における画素の属性情報に所定の変換を適用するとともに、
前記合成処理部は、その所定の変換が適用された属性情報に従って、前記参照画像における所定部分を前記人の画像に割り付けることを特徴とする請求項14記載の画像処理装置。 - 前記参照画像は、別人の頭髪、髭、耳、首、装飾品、衣類の少なくとも1つである請求項13から15のいずれかに記載の画像処理装置。
- 前記人の画像は、その人の顔画像であり、
前記構造情報は、前記人の顔の表面に対する構造情報であり、
前記参照画像は、頭髪を有する前記別人の顔の画像である頭髪画像であり、
前記別人の構造情報は、前記頭髪画像における前記別人の顔の表面に対する構造情報を示すものであり、
前記所定部分は、頭髪又はその頭髪による影である頭髪部分であり、
前記属性情報は、前記頭髪画像における各画素の属性をその画素に対応させて保持している髪情報であり、
前記画像調整部は、前記髪情報と前記頭髪画像とに前記所定の変換を適用する頭髪画像調整部であり、
前記合成処理部は、前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部であることを特徴とする請求項13から16のいずれかに記載の画像処理装置。 - 前記画像調整部は、前記人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報と、前記別人の構造情報における目、鼻、口及び眉の全部又は一部と頭輪郭との情報とを利用して、前記参照画像と前記参照画像の属性情報とに前記所定の変換を適用することを特徴とする請求項13から17のいずれかに記載の画像処理装置。
- 前記合成処理部は、
前記参照画像の属性情報の各画素の属性に従って、その属性の画素に対応する前記参照画像の画素値を用いて、又は前記属性の画素に対応する、前記参照画像の画素値と前記人の顔画像の画素値とを用いて、前記人の顔画像に割り付ける前記頭髪部分の各画素値を生成する生成部と、
その生成部により生成された参照画像の所定部分の各画素値を前記人の顔画像に割り付けるマッピング処理部と
を備えたことを特徴とする請求項17又は18に記載の画像処理装置。 - 前記画像処理装置は、前記マッピング処理部により参照画像の所定部分が割り付けられた人の顔画像を修正する合成画像修正部を更に備えたことを特徴とする請求項19記載の画像処理装置。
- 前記生成部は、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、色相を生成する色相合成部と、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、明度を生成する明度合成部と、
前記属性に従って、その属性の画素に対応する、前記参照画像の画素値又は前記参照画像の画素値及び前記人の顔画像の画素値を用いて、彩度を生成する彩度合成部との少なくとも1つを備えたことを特徴とする請求項19記載の画像処理装置。 - 前記画像処理装置は、前記人の顔画像に基づいて、前記構造情報からなる顔表面モデルを生成する顔表面モデル生成部を更に備えたことを特徴とする請求項17から20のいずれかに記載の画像処理装置。
- 人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記画像における少なくとも1つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、
前記構造情報と、別人の画像である参照画像におけるその別人の構造情報とに基づいて、前記別人の所定部分が前記画像に適合するように、その人の画素に対応させて保持している属性情報に基づいて、前記参照画像における各画素の属性とその参照画像とに所定の変換を適用する画像調整部と、
その所定の変換が適用された属性情報に従って、前記所定の変換が適用された参照画像における所定部分を前記画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。 - 顔の画像である顔画像の全部又は一部における各画素値と、その顔画像における顔の表面に対する構造情報を示す顔表面モデルとに基づいて、その顔画像における頭髪又は頭髪及びその頭髪による影を除去領域に選定する髪領域選定部と、
前記顔表面モデルにおける構造情報と、前記顔画像における少なくとも1つの画素値から得られる色情報とに基づいて、前記除去領域の全部又は一部における各画素値を変更する除去領域変更部と、
前記顔表面モデルと、頭髪を有する別の顔の画像である頭髪画像におけるその別の顔の表面に対する構造情報を示す顔情報モデルとに基づいて、前記別人の頭髪又はその頭髪及びその頭髪による影である頭髪部分が、前記顔画像に適合するように、前記頭髪画像の画素の各々に対する属性をその画素に対応させて保持している髪情報とその頭髪画像とに所定の変換を適用する頭髪画像調整部と、
前記所定の変換が適用された髪情報に従って、前記所定の変換が適用された頭髪画像における頭髪部分を前記顔画像に割り付ける頭髪合成処理部と
を備えたことを特徴とする画像処理装置。 - 前記画像処理装置は、前記合成処理部により参照画像の所定部分が割り付けられた顔画像を複数表示する画像表示部を更に備えたことを特徴とする請求項13から23のいずれかに記載の画像処理装置。
- 人の画像の全部又は一部における各画素値と、その画像における人の構造情報とに基づいて、その画像における所定部分の領域を選定する領域選定部と、
前記構造情報と、前記画像における少なくとも1つの画素値とに基づいて、前記所定部分の領域の全部又は一部における画素値の各々を変更する領域変更部と、
前記構造情報と、別人の画像である参照画像におけるその別人の構造情報に基づいて、前記別人の所定部分が前記人の画像に適合するように、前記参照画像に所定の変換を行う画像調整部と、
前記所定の変換が行われた参照画像における所定部分を前記人の画像に割り付ける合成処理部と
を備えたことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1673096A JP3577154B2 (ja) | 1995-02-02 | 1996-02-01 | 画像処理装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1614395 | 1995-02-02 | ||
JP7-73371 | 1995-03-30 | ||
JP7-16143 | 1995-03-30 | ||
JP7337195 | 1995-03-30 | ||
JP1673096A JP3577154B2 (ja) | 1995-02-02 | 1996-02-01 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08329278A JPH08329278A (ja) | 1996-12-13 |
JP3577154B2 true JP3577154B2 (ja) | 2004-10-13 |
Family
ID=27281264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1673096A Expired - Fee Related JP3577154B2 (ja) | 1995-02-02 | 1996-02-01 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3577154B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100747561B1 (ko) * | 2001-04-06 | 2007-08-08 | 엘지전자 주식회사 | 디지털 티브이의 부가 서비스 제공 장치 |
JP4449723B2 (ja) | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5290585B2 (ja) * | 2008-01-17 | 2013-09-18 | 株式会社 資生堂 | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
JP2009211148A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
JP6467994B2 (ja) * | 2015-02-27 | 2019-02-13 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP6458569B2 (ja) | 2015-03-12 | 2019-01-30 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN111597928A (zh) * | 2020-04-29 | 2020-08-28 | 深圳市商汤智能传感科技有限公司 | 三维模型处理方法及装置、电子设备、存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04143869A (ja) * | 1990-10-04 | 1992-05-18 | Fuji Photo Film Co Ltd | 画像処理方法 |
JPH04256185A (ja) * | 1991-02-08 | 1992-09-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像認識システムのサンプル画像収集方法 |
JP2940226B2 (ja) * | 1991-06-20 | 1999-08-25 | 三菱電機株式会社 | 画像合成装置 |
JPH06342460A (ja) * | 1991-06-27 | 1994-12-13 | Shoichi Asai | 似顔絵の作製方法 |
JPH05153581A (ja) * | 1991-12-02 | 1993-06-18 | Seiko Epson Corp | 顔画像符号化方式 |
JPH0652289A (ja) * | 1992-07-28 | 1994-02-25 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
-
1996
- 1996-02-01 JP JP1673096A patent/JP3577154B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH08329278A (ja) | 1996-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0725364B1 (en) | Image processing apparatus | |
US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
JP3799633B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
JP5463866B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP3030485B2 (ja) | 3次元形状抽出方法及び装置 | |
EP0883090B1 (en) | Method for generating photo-realistic animated characters | |
KR101190686B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독가능한 기록 매체 | |
KR100327541B1 (ko) | 3차원 얼굴 모델링 시스템 및 모델링 방법 | |
JP3639476B2 (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 | |
WO2005073909A1 (ja) | 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法 | |
JP2010507854A (ja) | ビデオイメージシーケンスを仮想シミュレーションする方法及び装置 | |
CN106652037B (zh) | 一种人脸贴图处理方法及装置 | |
JP3577154B2 (ja) | 画像処理装置 | |
JP3444148B2 (ja) | 眉描画方法 | |
KR20010084996A (ko) | 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기 | |
JP2000155836A (ja) | 似顔絵画像形成システム及び形成方法 | |
WO2009036554A1 (en) | Emulating cosmetic facial treatments with digital images | |
JP3951061B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
JP2003030684A (ja) | 顔3次元コンピュータグラフィック生成方法及び装置及び顔3次元コンピュータグラフィック生成プログラム及び顔3次元コンピュータグラフィック生成プログラムを格納した記憶媒体 | |
JP2004054759A (ja) | 表情変形装置、方法及びプログラム | |
JP3915844B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
JPH04199474A (ja) | 顔画像合成装置 | |
JP2001209814A (ja) | 画像処理装置 | |
JP3876922B2 (ja) | 顔画像処理方法および顔画像処理装置 | |
JPH10222649A (ja) | 画像合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040709 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070716 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080716 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090716 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100716 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110716 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120716 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |