JP2011210118A - 顔画像合成装置 - Google Patents
顔画像合成装置 Download PDFInfo
- Publication number
- JP2011210118A JP2011210118A JP2010078878A JP2010078878A JP2011210118A JP 2011210118 A JP2011210118 A JP 2011210118A JP 2010078878 A JP2010078878 A JP 2010078878A JP 2010078878 A JP2010078878 A JP 2010078878A JP 2011210118 A JP2011210118 A JP 2011210118A
- Authority
- JP
- Japan
- Prior art keywords
- face
- face image
- developed
- image
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 55
- 239000000203 mixture Substances 0.000 claims description 100
- 239000002131 composite material Substances 0.000 claims description 76
- 230000015572 biosynthetic process Effects 0.000 claims description 61
- 238000003786 synthesis reaction Methods 0.000 claims description 61
- 230000001815 facial effect Effects 0.000 claims description 26
- 230000008921 facial expression Effects 0.000 claims description 20
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 60
- 238000004364 calculation method Methods 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 25
- 238000000605 extraction Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 16
- 230000000295 complement effect Effects 0.000 description 15
- 238000011161 development Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000746998 Tragus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】顔画像合成装置1は、対象者を撮影した複数の顔画像を3次元顔形状データにマッピングして各顔画像に対応する3次元顔モデルを作成するマッピング部53と、複数の3次元顔モデルのそれぞれを2次元に展開した展開顔画像を生成する展開顔画像生成部54と、複数の展開顔画像から少なくとも第1の展開顔画像と第2の展開顔画像を選択するとともに、予め設定された境界線候補の中から、顔の所定部位を回避する境界線候補を選択して合成境界に設定する顔画像選定部55と、第1の展開顔画像において顔のテクスチャ情報を有する第1の領域と第2の展開顔画像において顔のテクスチャ情報を有する第2の領域とを合成境界に基づいて合成し、合成顔画像を作成する顔画像合成部57とを有する。
【選択図】図1
Description
しかしながら、顔画像に写っている対象者の顔の領域全体が、照合処理に適しているとは限らない。特に、対象者の表情が顔画像の合成に用いる複数の顔画像ごとに異なっていることがある。このような場合において、一方の顔画像上でテクスチャが欠落している領域の境界上に目、鼻、口といった顔の特徴的な部位が位置していると、他方の顔画像からその欠落部分に相当している部分をマッピングすることにより、例えば、顔の右半分では口を開け、顔の左半分では口を閉じているような不自然な表情となることがある。また、特許文献1に開示されているように、二つの顔画像を平均化すると、その特徴的な部分がぼやけてしまう。そのため、合成された顔画像が照合に適したものとならない場合があった。 そのため、このような写っている人物の表情が異なる顔画像を用いても、照合処理に適した顔画像を合成可能な技術が求められている。
なお、撮像部2が有するカメラは、入力顔画像上の肌色部分を抽出することが容易となるように、可視光域に感度を有し、カラーの多階調画像を作成するものとすることが好ましい。しかし、撮像部2が有するカメラは、近赤外域に感度を有し、グレー画像を作成するカメラであってもよい。また撮像部2は、入力顔画像上に写っている顔の目、鼻、口などの顔特徴が区別できる程度の画素数を有することが好ましい。
撮像部2は、入力顔画像を作成する度に、その入力顔画像をインターフェース部3へ出力する。
記憶部4は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部4は、顔画像合成装置1を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部4は、3次元顔形状データ及び3次元顔形状データに対応する3D顔特徴点の3次元位置情報を記憶する。3次元顔形状データは複数存在してもよく、また一つであってもよい。3次元顔形状データは、人物の顔の3次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお3次元顔形状データは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。さらに、3次元顔形状データとして、他の方法によって作成された3次元顔形状データの一部を変形させたもの、例えば、顔の中心から上側部分の長さと下側部分の長さの比を変化させたものを用いてもよい。
さらに記憶部4は、入力顔画像、展開顔画像、重み参照テーブルの形で合成用重み係数、及び別個の展開顔画像からそれぞれマッピングされる領域の境界の候補である境界線候補情報などを記憶する。なお、展開顔画像、合成用重み係数及び境界線候補情報の詳細については、画像処理部5の関連する構成要素とともに説明する。
なお、画像処理部5が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、画像処理部5の各部について詳細に説明する。
本実施形態において、2D顔特徴点抽出部51は、記憶部4に記憶されている各3D顔特徴点(目領域中心、鼻尖点、口端などの15箇所)に対応する顔特徴点を抽出する。2D顔特徴点抽出部51は、入力顔画像から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、2D顔特徴点抽出部51は、入力顔画像に対してエッジ抽出処理を行って周辺画素との画素値の差が大きいエッジ画素を抽出する。そして2D顔特徴点抽出部51は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また2D顔特徴点抽出部51は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに2D顔特徴点抽出部51は、顔の各部位に相当するテンプレートと入力顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、2D顔特徴点抽出部51は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース(図示せず)を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。
入力顔画像マッピング部53は、画像処理部5が登録対象者についての入力顔画像を取得する度に、その入力顔画像に対する3次元顔モデルを作成する。ただし、記憶部4に複数の3次元顔形状データが記憶されている場合は、登録対象者の複数の入力顔画像に対して最適な3次元顔形状データが選択された後、入力顔画像マッピング部53は、各入力顔画像について3次元顔モデルを作成する。そして入力顔画像マッピング部53は、作成した3次元顔モデルを登録対象者の識別コードと関連付けて記憶部4に記憶するとともに、展開顔画像生成部54へ出力する。
図2は、展開顔画像を生成するために3次元顔モデルに対して設定される座標系を示す。
図2おいて、X軸は、3次元顔モデル200に対して、右目から左目へ向かうように(3次元顔モデルの正面に向かって左から右に)、水平方向の軸として定義される。Y軸は、X軸及びZ軸と直交し、喉付近から頭頂部へ向かうように、すなわち下から上へ向かう軸として定義される。Z軸は、X軸及びY軸と直交し、鼻尖点から後頭部へ向かう方向の軸として定義される。X軸、Y軸及びZ軸の交点である原点Oは、3次元顔モデル200の重心に設定される。
展開顔画像生成部54は、Y軸を回転中心として3次元顔モデルを回転させ、それぞれの回転角度における、テクスチャスキャンライン210上の画素値を読み取って、横軸を回転角、縦軸をY座標とする2次元上にマッピングすることにより、展開顔画像を作成する。なお、入力顔画像がカラー画像である場合、画素値は、例えばRGB各色の輝度値となる。また、入力顔画像がグレー画像である場合、画素値は輝度値となる。例えば、鼻尖点がYZ平面220上に位置するときの回転角を0°とし、3次元顔モデル200を矢印230に示されるように時計回りに回転させたときの回転角の値を正、3次元顔モデル200を矢印240に示されるように反時計回りに回転させたときの回転角の値を負とする。
なお、展開顔画像生成部54は、X軸を回転軸としてもよい。この場合には、例えば、Y=0のXZ平面と、3次元顔モデルの表面との交点をテクスチャスキャンラインとする。
図3(a)に示された3次元顔モデル300は、やや右側(向かって左側)を向いている入力顔画像から作成された3次元顔モデルである。このとき、上記のように、3次元顔モデル300をY軸を回転中心として1°ずつ回転させつつ、3次元顔モデル300の表面とYZ平面との交点の画素値情報を読み取ることにより、図3(b)に示されるような展開顔画像310が作成される。展開顔画像310の輪郭315は、3次元顔モデル300にマッピングされた入力顔画像の肌部分の輪郭に対応する。
なお、輪郭315のうち、テクスチャ欠落領域330と重なる部分は、本来輪郭として写ってはいないが、ここでは、理解を容易にするために、顔の左側の輪郭を、顔の中心を通る線で左右反転した線を、欠落している部分の輪郭として図示した。またテクスチャ欠落領域内の画素の値は、例えば、テクスチャ情報が欠落していることを表す特定の値(例えば、通常取り得る画素値の範囲外の値である-1)に設定される。
このように、展開顔画像上でテクスチャ情報が欠落していると、照合時において、特にその欠落している部分の方から撮影した顔画像が照合用の画像として得られたときに、その展開顔画像に対応する3次元顔モデルを用いた照合処理の精度が低下する。そこで顔画像合成装置1は、登録対象者について作成された複数の展開顔画像を用いて、テクスチャ情報の欠落のない合成展開顔画像を作成する。
合成展開顔画像に写った登録対象者の顔が不自然にならないようにするためには、合成に用いられる二つの展開顔画像からマッピングされる領域の境界上に、登録対象者の表情に応じて形状の変わる、目、口、眉などの個人の特徴を豊富に含む特徴的な部位が存在せず、かつ、その境界付近において二つの展開顔画像の対応する画素間の輝度差ができるだけ小さいことが好ましい。
例えば、登録対象者が所定の領域、例えば、建物内の廊下を歩行している様子を撮像部2で撮影することにより入力顔画像が得られる場合、登録対象者の位置、顔の向き、または照明の設置位置などにより顔に対する照明条件は変化する。その結果、複数の入力顔画像のそれぞれに写っている登録対象者の顔の輝度は、入力顔画像ごとに異なる可能性がある。特に、顔画像合成装置1が複数の撮像部2を有し、それぞれの撮像部2によって撮影された画像を一人の登録対象者の入力顔画像として用いる場合に、そのような入力顔画像ごとの顔の輝度の違いが生じる傾向が強くなる。そして入力顔画像ごとの顔の輝度の違いがあまりに大きいと、そのような入力顔画像から作成された展開顔画像を用いた合成展開顔画像では、異なる展開顔画像がマッピングされた二つの領域の境界がエッジ状になってしまう。さらに、合成に利用される展開顔画像の枚数が増えると、それだけ異なる展開顔画像からマッピングされた領域の境界の数も増えるので、顔全体の輝度を合わせることが困難になる。
そのため、本実施形態では、合成元画像選定部55は、合成展開顔画像の作成に用いられる展開顔画像の数はできるだけ少なくする。さらに合成元画像選定部55は、合成に用いられる一方の展開顔画像からマッピングされる領域と他方の展開顔画像からマッピングされる領域の境界上に、登録対象者の表情に応じて形状の変わる、目、口、眉などの個人の特徴を豊富に含む特徴的な部位が存在しないようにその境界を設定可能で、かつ、その境界付近の合成する展開顔画像に写っている顔の輝度差ができるだけ小さくなるように、展開顔画像を選択する。なお、以下では、この境界を合成境界と呼ぶ。
逆に、合成展開顔画像上に、顔に相当する画素に囲まれた欠落部分が存在する場合、または上記の3次元顔モデルの回転角が所定の角度範囲内に相当する合成展開顔画像上の領域に欠落部分が存在する場合、合成元画像選定部55はテクスチャ情報の欠落部分が存在すると判定する。
ここで、展開顔画像410は、展開顔画像400のテクスチャ欠落領域401、402に対応する部分のテクスチャ情報を含んでいる。そのため、顔画像合成装置1は、この二つ展開顔画像400及び410を合成することにより、テクスチャ欠落領域のない合成展開顔画像を作成できる。
しかし、図4(a)及び(b)から明らかなように、展開顔画像400に写っている登録対象者の表情は、展開顔画像410に写っている登録対象者の表情と異なっている。具体的には、展開顔画像400では、登録対象者は口を閉じているのに対して、展開顔画像410では、登録対象者は口を開いている。そのため、口の上に合成境界が設定されると、合成展開顔画像上では、顔の右半分と左半分とで口の開き方が異なる、不自然な表情の顔の像が作成されることになる。
そのために、合成元画像選定部55は、記憶部4から、登録対象者の展開顔画像の作成に利用された3次元顔形状データに対応する境界線候補情報を読み込む。
これら複数のノードは、展開顔画像上で格子状に設定されてもよく、あるいはハニカム状に設定されてもよい。さらに、これら複数のノードは、略等間隔に設定されてもよく、あるいは場所によって異なる密度で設定されてもよい。例えば、ノードは、特徴領域の周囲では、その他の領域よりも密に設定されてもよい。
または、境界線の長さが不必要に長くならないように、各境界線候補に含まれるリンクの長さの合計が顔領域の高さの1.5倍以下となるように、各境界線候補は設定されることが好ましい。
なお、合成元画像選定部55は、平均値Avgi,i+1の総和の代わりに、i番目の展開顔画像の境界線候補上の画素の値と、(i+1)番目の展開顔画像の対応する画素の値との差の中央値の総和を輝度相違度Pとしてもよい。
あるいは、合成元画像選定部55は、選択された展開顔画像の組み合わせの中から、一つずつ輝度相違度Pを算出し、その輝度相違度Pが最初に所定の閾値以下となったときの組み合わせに含まれる展開顔画像を、合成展開顔画像の作成に利用するものとして選択し、所定の閾値以下となった輝度相違度Pに対応する境界線候補を合成境界としてもよい。なお、所定の閾値は、例えば、15に設定される。
また、合成元画像選定部55は、後からマッピングされる展開顔画像において顔のテクスチャ情報を持つ領域を合成領域として設定する。なお、マッピング用展開顔画像は、登録対象者の入力顔画像に基づいて選択された3次元顔形状データを展開することにより得られる、テクスチャ情報を持たない画像である。
また、展開顔画像410に関しては、図5(b)に示されたテクスチャ欠落境界503よりも顔の右側部分が合成領域となる。
なお、以下では、先にマッピングされた展開顔画像を基準展開顔画像と呼び、後からマッピングされる展開顔画像を補完用展開顔画像と呼ぶ。
図6(a)において、基準展開顔画像600において、顔の右側部分及び鼻に相当する領域601は、テクスチャ欠落領域と非合成領域とを組み合わせた領域となっている。そのため、この領域601には、補完用展開顔画像の合成領域のテクスチャ情報がマッピングされる。また、基準展開顔画像600における合成領域602についても、合成境界610から所定距離内の画素については、合成処理において、基準展開顔画像の画素の値と補完用展開顔画像の対応する画素の値とが加重平均される。
図6(b)に示されるように、画素620が合成境界上に位置するとき(すなわち、dist=0)、重み係数B(dist)は0となり、合成境界から画素620までの距離が大きくなるほど、重み係数B(dist)は1に近づく。
すなわち、合成処理において、合成境界の近くでは基準展開顔画像の情報は重視されず、補完用展開顔画像の情報が重視される。このように重み係数を設定する理由は、合成境界近傍では、基準展開顔画像に写っている登録対象者の顔の部分よりも補完用展開顔画像に写っている登録対象者の顔の部分の方が撮像部2に対して正面方向を向いており、従って、補完用展開顔画像の方がテクスチャ情報の信頼性が高いことによる。
一方、合成境界から離れるにつれ、逆に基準展開顔画像に写っている登録対象者の顔の部分の方が、補完用展開顔画像に写っている、対応する登録対象者の顔の部分よりも撮像部2に対して正面方向を向いており、テクスチャ情報の方が信頼性が高くなる。そのため、重み係数B(dist)は、合成境界からの距離が離れるほど大きな値となる。
なお、本実施形態では、画像処理部5は、登録対象者の全ての入力顔画像を、一つの3次元顔形状データにマッピングして3次元顔モデル及び展開顔画像を生成している。そのため全ての展開顔画像は既に位置合わせされている。そこで顔画像合成部57は、合成展開顔画像の着目する画素の値を、基準展開顔画像と補完用展開顔画像において着目する画素と同じ位置にある画素を次式に従って加重平均することにより算出できる。
同様に、顔画像合成部57は、3枚以上の展開顔画像を合成する場合、すでに複数の展開顔画像がマッピングされた展開顔画像をあらためて基準展開顔画像とし、次にマッピングする展開顔画像を補完用展開顔画像として、テクスチャ欠落領域がなくなるまで、すなわち、選択された全ての展開顔画像がマッピングされるまで、上記の処理を繰り返す。
顔画像合成部57は、作成した合成展開顔画像を登録対象者の識別コードと関連付けて記憶部4に記憶するとともに、その合成展開顔画像を展開顔画像マッピング部58へ渡す。
また、展開顔画像マッピング部58は、合成展開顔画像の作成に利用された展開顔画像に関連付けて記憶されている展開情報を参照することにより、合成展開顔画像の各画素が3次元顔形状データ上で対応する位置を特定し、その特定された位置へマッピングする。
画像処理部5は、展開顔画像マッピング部58により作成された合成3次元顔モデルを登録対象者の識別コードと関連付けて記憶部4に記憶する。あるいは、画像処理部5は、その合成3次元顔モデルを登録対象者の識別コードとともに、図示しない通信ネットワークを介して、3次元顔モデルを用いて認証処理を行う顔認証装置など他の装置へ出力してもよい。
先ず、画像処理部5は、撮像部2からインターフェース部3を介して、登録対象者の顔が写っている入力顔画像を取得する(ステップS101)。そして画像処理部5は、取得した入力顔画像を登録対象者の識別コードに関連付けて記憶部4に記憶するとともに、画像処理部5の2D顔特徴点抽出部51へ渡す。
位置合わせ情報算出部52は、入力顔画像について2D顔特徴点抽出部51により抽出された各顔特徴点と、3次元顔形状データに関連する3D顔特徴点とを用いて、入力顔画像と記憶部4に記憶されている各3次元顔形状データの位置合わせを行う(ステップS103)。そして位置合わせ情報算出部52は、その位置合わせの結果として得られる、各3次元顔形状データに対する位置ずれ量の最小値及びその最小値に対応する3次元顔形状データの回転、拡大/縮小などの量を含む位置合わせ情報を算出する。
一方、取得された入力顔画像の枚数が所定枚数に達していれば、位置合わせ情報算出部52は、記憶部4に記憶されている各3次元顔形状データのうち、最適な3次元顔形状データを選択する(ステップS105)。例えば、位置合わせ情報算出部52は、取得された登録対象者の入力顔画像のそれぞれについて求められた位置ずれ量の最小値の総和が最も小さくなる3次元顔形状データを、最適な3次元顔形状データとする。
位置合わせ情報算出部52は、選択された3次元顔形状データとともに、その3次元顔形状データに対する各入力顔画像の位置合わせ情報を、画像処理部5の入力顔画像マッピング部53及び合成元画像選定部55へ出力する。
入力顔画像マッピング部53は、着目顔画像と選択された3次元顔形状データとを、着目顔画像について求められた位置合わせ情報を参照して位置合わせした後、着目顔画像の各画素の値を位置合わせされた3次元顔形状データ上にマッピングすることにより、着目顔画像に対応する3次元顔モデルを作成する(ステップS107)。入力顔画像マッピング部53は、作成した3次元顔モデルを画像処理部5の展開顔画像生成部54へ渡す。
展開顔画像生成部54は、3次元顔モデルから展開顔画像を作成する(ステップS108)。そして展開顔画像生成部54は、その展開顔画像を、対応する3次元顔モデル及び入力顔画像に関連付けて記憶部4に記憶する。
画像処理部5は、全ての入力顔画像について3次元顔モデル及び展開顔画像が作成されたか否か判定する(ステップS109)。何れかの入力顔画像について3次元顔モデル及び展開顔画像が作成されていない場合、画像処理部5は、ステップS106〜S109の処理を繰り返す。
ステップS115の後、あるいはステップS112にてテクスチャ欠落領域のない合成展開顔画像が作成できないと判定された場合、合成元画像選定部55は、未着目の組み合わせが存在するか否か判定する(ステップS116)。未着目の組み合わせが存在する場合、合成元画像選定部55は、ステップS112〜S116の処理を繰り返す。
合成元画像選定部55は、合成展開顔画像の作成に利用されることを示すフラグ及び合成順序を選択された展開顔画像のそれぞれと関連付けて記憶部4に記憶する。また合成元画像選定部55は、設定された合成境界上の各ノードの座標及び各ノード間を結ぶリンクを表す式を記憶部4に記憶する。
一方、ステップS122にて、マッピング用展開顔画像にマッピングされていない展開顔画像が存在しなければ、合成展開顔画像が完成されている。そこで画像処理部5は、その合成展開顔画像を、登録対象者の識別コードと関連付けて記憶部4に記憶する。
また画像処理部5の展開顔画像マッピング部58は、合成展開顔画像を、基準展開顔画像の作成に利用された3次元顔形状データにマッピングすることにより、合成3次元顔モデルを作成する(ステップS123)。そして展開顔画像マッピング部58は、作成した合成3次元顔モデルを記憶部4に記憶し、あるいは、通信ネットワークを介して他の機器へ出力する。
その後、画像処理部5は、顔画像合成処理を終了する。
なお、記憶部4が3次元顔形状データを一つしか記憶していなければ、ステップS105の処理は省略されてもよい。
さらに、特徴部位のうち、目、口、眉といった、表情に応じて大きく形状変化する部位と重なるように境界線候補の幾つかが設定されていてもよい。この場合には、合成元画像選定部は、特徴部位と重ならない境界線候補、及び形状変化の小さい特徴部位と重なる境界線候補の何れも合成境界として設定できない場合に限り、表情に応じて大きく形状変化する特徴部位と重なる境界線候補を合成境界として設定してもよい。
無表情に近いか否かを判定するために、例えば、無表情に対応する顔特徴点の位置を予め記憶部に記憶させておく。そして合成元画像選定部は、展開顔画像に対応する入力顔画像から抽出された顔特徴点と、無表情に対応する顔特徴点との位置ずれ量の総和を無表情度として算出し、その無表情度が所定の閾値以下である場合に、その展開顔画像に写っている登録対象者は無表情であると判定してもよい。
合成元画像選定部は、無表情であると判定された展開顔画像の中から、上記のようにテクスチャ欠落領域の無い合成展開顔画像を作成可能な展開顔画像の組み合わせを決定する。そして合成元画像選定部は、さらにその組み合わせに対応する共通領域に含まれる境界線候補の中から合成境界を設定する。
さらに、合成元画像選定部は、輝度相違度、顔の中心からの距離、及び無表情度をそれぞれメンバシップ関数の入力とすることにより、ファジイ推論によって合成展開顔画像の作成に利用される展開顔画像及び合成境界を決定してもよい。
そこで合成元画像選定部は、展開顔画像に対応する入力顔画像に写っている顔の大きさが所定倍率以上あるいは所定縮小率以下離れている展開顔画像の組み合わせを、合成展開顔画像の作成に利用しないようにしてもよい。この場合、所定倍率は、例えば、2に設定される。また所定縮小率は、例えば0.5に設定される。なお、合成元画像選定部は、二つの展開顔画像に写っている顔の倍率を、例えば、入力顔画像を3次元顔形状データにマッピングする際の拡大/縮小率の比として求めることができる。
このような場合、合成展開顔画像では、合成境界を挟んで画素値が大きく異なってしまうおそれがある。
そこで、合成重み算出部は、合成境界近傍の所定範囲での基準展開顔画像の画素の平均値と、補完用展開顔画像の画素の平均値との差の絶対値Δdelが大きいほど、補完用展開顔画像の画素値が合成展開顔画像に反映されるように、(2)式のパラメータWを調節してもよい。なお、Δdelを求める所定の範囲は、例えば、合成境界に隣接する画素、あるいは、顔画像合成部の処理によって基準展開顔画像と補完用展開顔画像の両方の画素値が反映される範囲、例えば、パラメータWをWmaxに設定したときに重み係数B(dist)が0.5以下となる範囲とすることができる。
さらに、顔画像合成部は、基準展開顔画像の非合成領域においても、基準展開顔画像の非合成領域に含まれる画素の値と補完用展開顔画像の対応する画素の値とを加重平均することにより、合成展開顔画像を作成してもよい。この場合、合成重み算出部は、合成境界上、すなわち、dist=0のときに、基準展開顔画像に対する重み係数B(dist)と補完用展開顔画像に対する重み係数(1-B(dist))が等しくなり、合成境界から非合成領域内の画素への距離が大きくなるほど重み係数(1-B(dist))が大きくなり、逆に合成境界から合成領域内の画素への距離が大きくなるほど重み係数B(dist)が大きくなるように、それら重み係数を設定する。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
2 撮像部
3 インターフェース部
4 記憶部
5 画像処理部
51 2D顔特徴点抽出部
52 位置合わせ情報算出部
53 入力顔画像マッピング部
54 展開顔画像生成部
55 合成元画像選定部
56 合成重み算出部
57 顔画像合成部
58 展開顔画像マッピング部
Claims (4)
- 複数の顔画像を合成して合成顔画像を生成する顔画像合成装置であって、
同一の対象者を撮影した複数の顔画像と人物の顔の形状を表す3次元顔形状データと該3次元顔形状の顔の所定部位を参照して設定された境界線候補とを記憶する記憶部と、
前記複数の顔画像のそれぞれを、前記3次元顔形状データと位置合わせして、当該3次元顔形状データにマッピングすることにより、前記複数の顔画像のそれぞれに対応する3次元顔モデルを作成するマッピング部と、
複数の前記3次元顔モデルのそれぞれを2次元に展開した展開顔画像を生成する展開顔画像生成部と、
複数の前記展開顔画像から少なくとも第1の展開顔画像と第2の展開顔画像を選択するとともに、前記顔の所定部位を回避するように前記境界線候補を選択して合成境界に設定する顔画像選定部と、
前記第1の展開顔画像において顔のテクスチャ情報を有する第1の領域と前記第2の展開顔画像において顔のテクスチャ情報を有する第2の領域とを前記合成境界に基づいて合成し、前記合成顔画像を作成する顔画像合成部と、
を有することを特徴とする顔画像合成装置。 - 前記顔の所定部位は、前記対象者の表情に応じて形状が変わる口、目、眉のうちの一つまたは複数の部位である、請求項1に記載の顔画像合成装置。
- 前記顔画像選定部は、前記境界線候補のうち、前記第1の領域と前記第2の領域とが重なる共通領域に含まれる境界線候補を前記合成境界とする、請求項1または2に記載の顔画像合成装置。
- 前記顔画像選定部は、
前記複数の展開顔画像から選択された二つの展開顔画像を含む組み合わせであって、当該組み合わせに含まれる該二つの展開顔画像において顔のテクスチャ情報を有する領域をそれぞれ一つの画像上にマッピングすることにより作成される前記合成顔画像において顔のテクスチャ情報の欠けがない組み合わせを少なくとも一つ求め、
当該組み合わせにおける前記共通領域に含まれる前記境界線候補上の該二つの展開顔画像の対応する画素の値の差の統計量を輝度相違度として算出し、
当該輝度相違度が最小または所定の閾値以下となる組み合わせに含まれる該二つの前記展開顔画像をそれぞれ前記第1の展開顔画像及び前記第2の展開顔画像とするとともに、前記所定の閾値以下または最小となる前記輝度相違度に対応する前記境界線候補を前記合成境界とする、請求項3に記載の顔画像合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078878A JP5419777B2 (ja) | 2010-03-30 | 2010-03-30 | 顔画像合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010078878A JP5419777B2 (ja) | 2010-03-30 | 2010-03-30 | 顔画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011210118A true JP2011210118A (ja) | 2011-10-20 |
JP5419777B2 JP5419777B2 (ja) | 2014-02-19 |
Family
ID=44941084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010078878A Active JP5419777B2 (ja) | 2010-03-30 | 2010-03-30 | 顔画像合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5419777B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101490016B1 (ko) * | 2012-03-15 | 2015-02-04 | 가부시끼가이샤 도시바 | 인물 화상 처리 장치 및 인물 화상 처리 방법 |
CN106709975A (zh) * | 2017-01-11 | 2017-05-24 | 山东财经大学 | 一种交互式三维人脸表情动画编辑方法、***及扩展方法 |
KR101755248B1 (ko) * | 2016-01-27 | 2017-07-07 | (주)에이아이퍼스트 | 3차원 모델 생성 방법과 시스템 및 이를 위한 휴대용 단말 |
CN112042182A (zh) * | 2018-05-07 | 2020-12-04 | 谷歌有限责任公司 | 通过面部表情操纵远程化身 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211151A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
JP2009245338A (ja) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | 顔画像照合装置 |
-
2010
- 2010-03-30 JP JP2010078878A patent/JP5419777B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211151A (ja) * | 2008-02-29 | 2009-09-17 | Secom Co Ltd | 顔画像処理装置 |
JP2009245338A (ja) * | 2008-03-31 | 2009-10-22 | Secom Co Ltd | 顔画像照合装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101490016B1 (ko) * | 2012-03-15 | 2015-02-04 | 가부시끼가이샤 도시바 | 인물 화상 처리 장치 및 인물 화상 처리 방법 |
US9235751B2 (en) | 2012-03-15 | 2016-01-12 | Kabushiki Kaisha Toshiba | Method and apparatus for image detection and correction |
KR101755248B1 (ko) * | 2016-01-27 | 2017-07-07 | (주)에이아이퍼스트 | 3차원 모델 생성 방법과 시스템 및 이를 위한 휴대용 단말 |
CN106709975A (zh) * | 2017-01-11 | 2017-05-24 | 山东财经大学 | 一种交互式三维人脸表情动画编辑方法、***及扩展方法 |
CN106709975B (zh) * | 2017-01-11 | 2017-12-22 | 山东财经大学 | 一种交互式三维人脸表情动画编辑方法、***及扩展方法 |
CN112042182A (zh) * | 2018-05-07 | 2020-12-04 | 谷歌有限责任公司 | 通过面部表情操纵远程化身 |
JP2021523437A (ja) * | 2018-05-07 | 2021-09-02 | グーグル エルエルシーGoogle LLC | 顔面表情による遠隔アバターの操縦 |
JP7090178B2 (ja) | 2018-05-07 | 2022-06-23 | グーグル エルエルシー | 顔面表情による遠隔アバターの操縦 |
US11538211B2 (en) | 2018-05-07 | 2022-12-27 | Google Llc | Puppeteering remote avatar by facial expressions |
US11887235B2 (en) | 2018-05-07 | 2024-01-30 | Google Llc | Puppeteering remote avatar by facial expressions |
Also Published As
Publication number | Publication date |
---|---|
JP5419777B2 (ja) | 2014-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
JP6864449B2 (ja) | イメージの明るさを調整する方法及び装置 | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
KR100682889B1 (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
CN102419868B (zh) | 基于3d头发模板进行3d头发建模的设备和方法 | |
JP6685827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2012169250A1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
JP4999731B2 (ja) | 顔画像処理装置 | |
JP4246516B2 (ja) | 人物動画像生成システム | |
JP2011170891A (ja) | 顔画像処理方法およびシステム | |
JP2009020761A (ja) | 画像処理装置及びその方法 | |
JP2005078646A (ja) | 映像に基づいたフォトリアリスティックな3次元の顔モデリング方法及び装置 | |
KR101759188B1 (ko) | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 | |
JP5751865B2 (ja) | 顔画像処理装置 | |
CN113628327A (zh) | 一种头部三维重建方法及设备 | |
JP5419757B2 (ja) | 顔画像合成装置 | |
JP2018163648A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5419777B2 (ja) | 顔画像合成装置 | |
JP5419773B2 (ja) | 顔画像合成装置 | |
JP2009211148A (ja) | 顔画像処理装置 | |
JP5244345B2 (ja) | 顔認証装置 | |
JP2021044710A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム | |
JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2018180860A1 (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5419777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |