JP5842541B2 - 三次元ポートレートの作成装置 - Google Patents
三次元ポートレートの作成装置 Download PDFInfo
- Publication number
- JP5842541B2 JP5842541B2 JP2011240076A JP2011240076A JP5842541B2 JP 5842541 B2 JP5842541 B2 JP 5842541B2 JP 2011240076 A JP2011240076 A JP 2011240076A JP 2011240076 A JP2011240076 A JP 2011240076A JP 5842541 B2 JP5842541 B2 JP 5842541B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- dimensional
- point
- representative
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数N通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納した雛形モデル格納部と、
N通りの雛形モデルの中の1つを選択する雛形選択部と、
雛形選択部が選択した選択モデルの表面に、顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を設けるようにしたものである。
雛形選択部が、N通りの雛形モデルの中の1つを指定するオペレータの選択指示に基づいて雛形モデルの選択を行うようにしたものである。
個々の雛形モデルのそれぞれについて、特定の基準で分類した場合にどの分類に所属するかを示す属性を定義した情報を格納した属性格納部を更に設け、
雛形選択部が、オペレータから入力された属性に基づいて属性格納部を検索し、入力された属性に合致する属性が定義された特定の雛形モデルを選択するようにしたものである。
個々の雛形モデルのそれぞれについて、固有の特徴量を格納した特徴量格納部と、
顔写真格納部に格納された二次元顔写真から固有の特徴量を抽出する特徴量抽出部と、
を更に設け、
雛形選択部が、特徴量抽出部が抽出した特徴量に最も近い特徴量を有する特定の雛形モデルを選択するようにしたものである。
特徴量として、顔を構成する個々のパーツの代表点の位置座標を用い、
雛形選択部が、雛形モデルと二次元顔写真との大きさ、位置、および向きを調整した上で、各代表点の位置が最も近似した特定の雛形モデルを選択するようにしたものである。
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いるようにしたものである。
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納しており、
特徴量格納部が、XYZ三次元座標系上に正面ベクトルVがZ軸に平行になるように配置した雛形モデルを、XY平面上へ正射影投影した雛形投影像について、各代表点の位置座標を特徴量として格納しており、
特徴量抽出部が、XY平面上に配置した二次元顔写真について、各代表点の位置座標を特徴量として抽出し、
雛形選択部が、XY平面上において、雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、雛形投影像の各代表点と、これに対応する二次元顔写真の各代表点との距離の和もしくは距離の重み付き和が最小となる雛形モデルを選択するようにしたものである。
両目の代表点を結ぶ線を基準線と定義し、この基準線上における両目の代表点間の中点を基準点と定義し、基準線に沿った顔の幅を基準幅と定義し、
雛形選択部が、XY平面上において、基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うようにしたものである。
雛形選択部が選択した選択モデルを、顔写真格納部に格納されている二次元顔写真に適合するように修正するモデル修正部を更に設け、
マッピング処理部が、修正後の選択モデルの表面に、二次元顔写真をマッピングするようにしたものである。
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納しており、
XYZ三次元座標系上に正面ベクトルVがZ軸に平行になるように配置した雛形モデルを、XY平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
XY平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
を設け、
モデル修正部が、
XY平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、選択モデルの雛形投影像の各代表点から二次元顔写真上の対応する各代表点に向かう代表移動ベクトルを求め、
XYZ三次元座標系上において、雛形投影像の各代表点にそれぞれ対応する選択モデル上の個々の代表点を、それぞれ対応する代表移動ベクトルに応じて移動させ、選択モデル上のその余の一般点を、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、選択モデルに対する修正を行うようにしたものである。
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像の各代表点のうち、当該一般点のXY平面上への投影点Qに最も近い第1近傍点Qaおよび2番目に近い第2近傍点Qbを求め、点Qと点Qaとの距離をDa、点Qと点Qbとの距離をDb、第1近傍点Qaについての代表移動ベクトルをベクトルαa、第2近傍点Qbについての代表移動ベクトルをベクトルαb、としたときに、α=(Db/(Da+Db))・αa+(Da/(Da+Db))・αbなる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像のn個(n≧3)の代表点のそれぞれと当該一般点のXY平面上への投影点Qとの距離D1,... ,Di,... ,Dnをそれぞれ求め、雛形投影像のn個の代表点についての代表移動ベクトルを、それぞれα1,... ,αi,... ,αnとしたときに、α=Σi=1,n(αi/Di2)/Σi=1,n(1/Di2)なる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
顔写真格納部に格納されている二次元顔写真を、雛形選択部が選択した選択モデルに適合するように修正する顔写真修正部を更に設け、
マッピング処理部が、選択モデルの表面に、修正後の二次元顔写真をマッピングするようにしたものである。
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納しており、
XYZ三次元座標系上に正面ベクトルVがZ軸に平行になるように配置した雛形モデルを、XY平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
XY平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
を設け、
顔写真修正部が、
XY平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、二次元顔写真の各代表点から選択モデルの雛形投影像上の対応する各代表点に向かう代表移動ベクトルを求め、
XY平面上において、二次元顔写真の各代表点をそれぞれ対応する代表移動ベクトルに応じて移動させ、二次元顔写真上のその余の一般点を、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、二次元顔写真に対する修正を行うようにしたものである。
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真の各代表点のうち、当該一般点Pに最も近い第1近傍点Paおよび2番目に近い第2近傍点Pbを求め、点Pと点Paとの距離をDa、点Pと点Pbとの距離をDb、第1近傍点Paについての代表移動ベクトルをベクトルβa、第2近傍点Pbについての代表移動ベクトルをベクトルβb、としたときに、β=(Db/(Da+Db))・βa+(Da/(Da+Db))・βbなる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真のn個(n≧3)の代表点と当該一般点Pとの距離D1,... ,Di,... ,Dnをそれぞれ求め、二次元顔写真のn個の代表点についての代表移動ベクトルを、それぞれβ1,... ,βi,... ,βnとしたときに、β=Σi=1,n(βi/Di2)/Σi=1,n(1/Di2)なる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いるようにしたものである。
両目の代表点を結ぶ線を基準線と定義し、この基準線上における両目の代表点間の中点を基準点と定義し、基準線に沿った顔の幅を基準幅と定義し、
モデル修正部もしくは顔写真修正部が、XY平面上において、基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うようにしたものである。
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納しており、
マッピング処理部が、XYZ三次元座標系上に、選択モデルを正面ベクトルVがZ軸に平行になるように配置し、二次元顔写真をXY平面上に配置し、選択モデルおよび二次元顔写真の大きさ、位置、および向きを調整した上で、選択モデルの表面に二次元顔写真を正射影投影することによりマッピングを行うようにしたものである。
この三次元ポートレートの作成装置から出力された頭部三次元モデルのデータに基づいて、頭部三次元モデルを互いに異なる視点位置から観察して得られる2枚以上の視差画像を作成し、これを画像データとして出力するか、もしくは、物理的媒体上に印刷して出力する視差画像作成装置と、
によって、三次元ポートレート用視差画像作成システムを構成したものである。
図1は、本発明の第1の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。この装置は、図示のとおり、顔写真入力部10、顔写真格納部20、雛形モデル格納部30、雛形選択部40、マッピング処理部50によって構成され、図の上方に示された二次元顔写真Fに基づいて、図の下方に示された三次元ポートレートGを作成する機能を果たす。
上述した第1の実施形態に係る装置では、雛形選択部40が、N通りの雛形モデルの中の1つの指定するオペレータの選択指示に基づいて雛形モデルの選択を行っていた。しかしながら、雛形モデル格納部30内に用意されている雛形モデルの数Nが大きくなればなるほど、オペレータの選択作業の負担も増大する。
ここで述べる第3の実施形態は、顔についての特徴を数値で示す特徴量を利用して最適な雛形モデルの自動選択を行うものである。この実施形態では、オペレータによる入力操作は不要になるので、オペレータを介在させることなしに、三次元ポートレートGの作成を行うことができる。
これまで述べてきた実施形態は、いずれも、雛形モデル格納部30内に予め用意されている複数N通りの雛形モデルの中から、顔写真格納部20に格納されている二次元顔写真Fのマッピングに最適なモデルを選択し、当該選択モデルに対して二次元顔写真Fをマッピングすることにより、三次元ポートレートGを作成する、というものであった。ここで、雛形モデル格納部30内に、十分に豊富なバリエーションをもった雛形モデルを用意しておけば、二次元顔写真Fの被写体の人物の実際の頭部にかなり近似した雛形モデルを選択することができ、実用上、違和感のない三次元ポートレートを作成することが可能である。
§4では、第4の実施形態として、雛形選択部40Bが選択した選択モデルMjを二次元顔写真Fに適合するように修正するモデル修正部90を付加する例を説明した。ここでは、逆に、二次元顔写真Fを、雛形選択部40Bが選択した選択モデルMjに適合するように修正する実施形態を説明する。
最後に、本発明の更なる変形例や応用例をいくつか述べておく。
これまで述べた実施形態では、髪の毛を除いた人間の頭部表面の三次元形状データからなる雛形モデルを用いている。このため、図5に示すような三次元ポートレートGには、二次元顔写真Fに写っている髪の毛の部分の画像がマッピングされているものの、髪の毛の立体形状の再現は十分ではない。
これまで述べた実施形態では、二次元顔写真Fとして、被写体となる人物がほぼ正面を向いて写っている画像を用いる例を説明した。本発明を実施する上で、実用上は、このような正面向きの二次元顔写真を用いるのが好ましい。ただ、正面向きの二次元顔写真は、本発明を実施するための必須事項ではなく、本発明は、斜めを向いた二次元顔写真を用いても実施可能である。
顔の特徴を解析する公知技術を利用すれば、二次元顔写真Fにおける顔の陰影を分析することにより、肌の起伏状態など、より細かな凹凸形状を認識することが可能である。そこで、選択した雛形モデルをベースとして、認識した細かな凹凸形状を付加する修正を加えることにより、三次元形状の再現性を更に向上させることも可能である。
これまで述べた第1の実施形態〜第5の実施形態では、それぞれブロック図を用いて、機能的構成要素の集合体として本発明に係る三次元ポートレートの作成装置を説明したが、実用上は、本発明に係る三次元ポートレートの作成装置は、コンピュータに専用のプログラムを組み込むことによって構成することが可能である。
本発明により作成された三次元ポートレートは、様々な用途に利用可能である。たとえば、冠婚葬祭向けの三次元映像表示として利用するのであれば、新郎新婦の写真から、その立体映像をディスプレイ画面上に表示することができる。また、遺影に基づいて故人の三次元ポートレートを作成できれば、葬儀に立体映像の提示が可能になる。もちろん、三次元ポートレートのデータに基づいて、立体肖像を作成するような用途に利用してもかまわない。
20:顔写真格納部
30:雛形モデル格納部
40,40A,40B:雛形選択部
50:マッピング処理部
60:属性格納部
70:特徴量抽出部
80:特徴量格納部
90:モデル修正部
95:顔写真修正部
C:二次元顔写真における顔の輪郭線
CC:雛形投影像における顔の輪郭線
Da〜Dc:距離
F:二次元顔写真
F′:修正後の二次元顔写真
G:三次元ポートレート(頭部三次元モデルのデータ)
H,Hj:雛形投影像
ki:重み係数
L:二次元顔写真上の基準線
LL:雛形投影像上の基準線
L1,L2:顔の横幅
M,M1〜M5:雛形モデル(頭部の三次元立体データ)
Mj:選択モデル
Mj′:修正後の選択モデル
O:XYZ三次元座標系の原点
P:二次元顔写真上の一般点
P0:二次元顔写真上の基準点
P1〜P10,Pa〜Pc:二次元顔写真上の代表点
Q:雛形投影像上の一般点
Q0:雛形投影像上の基準点
Q1〜Q10,Qa〜Qc:雛形投影像上の代表点
S:投影面(XY平面)
T,U:選択モデルMj上の一般点
V1〜V5,Vj:正面ベクトル
W:顎下基準線
X:XYZ三次元座標系の座標軸
Y:XYZ三次元座標系の座標軸
Z:XYZ三次元座標系の座標軸
α:一般移動ベクトル
αi,αa〜αc:代表移動ベクトル
β:一般移動ベクトル
βi,βa〜βc:代表移動ベクトル
Δ1〜Δ10:2点間の距離
Claims (18)
- 二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数N通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納した雛形モデル格納部と、
前記N通りの雛形モデルの中の1つを選択する雛形選択部と、
前記雛形選択部が選択した選択モデルの表面に、前記顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
個々の雛形モデルのそれぞれについて、固有の特徴量を格納した特徴量格納部と、
前記顔写真格納部に格納された二次元顔写真から固有の特徴量を抽出する特徴量抽出部と、
を備え、
前記雛形選択部が、前記特徴量抽出部が抽出した特徴量に最も近い特徴量を有する特定の雛形モデルを選択し、
特徴量として、顔を構成する個々のパーツの代表点の位置座標を用い、
前記雛形選択部が、雛形モデルと二次元顔写真との大きさ、位置、および向きを調整した上で、各代表点の位置が最も近似した特定の雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。 - 請求項1に記載の三次元ポートレートの作成装置において、
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いることを特徴とする三次元ポートレートの作成装置。 - 請求項2に記載の三次元ポートレートの作成装置において、
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納しており、
特徴量格納部が、XYZ三次元座標系上に前記正面ベクトルVがZ軸に平行になるように配置した雛形モデルを、XY平面上へ正射影投影した雛形投影像について、各代表点の位置座標を特徴量として格納しており、
特徴量抽出部が、XY平面上に配置した二次元顔写真について、各代表点の位置座標を特徴量として抽出し、
雛形選択部が、前記XY平面上において、前記雛形投影像と前記二次元顔写真との大きさ、位置、および向きを調整した上で、前記雛形投影像の各代表点と、これに対応する前記二次元顔写真の各代表点との距離の和もしくは距離の重み付き和が最小となる雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。 - 請求項3に記載の三次元ポートレートの作成装置において、
両目の代表点を結ぶ線を基準線と定義し、この基準線上における前記両目の代表点間の中点を基準点と定義し、前記基準線に沿った顔の幅を基準幅と定義し、
雛形選択部が、XY平面上において、前記基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、前記基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、前記基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うことを特徴とする三次元ポートレートの作成装置。 - 二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数N通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納し、かつ、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納した雛形モデル格納部と、
前記N通りの雛形モデルの中の1つを選択する雛形選択部と、
XYZ三次元座標系上に前記正面ベクトルVがZ軸に平行になるように配置した雛形モデルを、XY平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
XY平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
前記雛形選択部が選択した選択モデルを、前記顔写真格納部に格納されている二次元顔写真に適合するように修正するモデル修正部と、
前記モデル修正部によって修正された修正後の選択モデルの表面に、前記顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を備え、
前記モデル修正部が、
XY平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、選択モデルの雛形投影像の各代表点から二次元顔写真上の対応する各代表点に向かう代表移動ベクトルを求め、
XYZ三次元座標系上において、雛形投影像の各代表点にそれぞれ対応する選択モデル上の個々の代表点を、それぞれ対応する代表移動ベクトルに応じて移動させ、選択モデル上のその余の一般点を、前記個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、選択モデルに対する修正を行うことを特徴とする三次元ポートレートの作成装置。 - 請求項5に記載の三次元ポートレートの作成装置において、
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像の各代表点のうち、当該一般点のXY平面上への投影点Qに最も近い第1近傍点Qaおよび2番目に近い第2近傍点Qbを求め、点Qと点Qaとの距離をDa、点Qと点Qbとの距離をDb、前記第1近傍点Qaについての代表移動ベクトルをベクトルαa、前記第2近傍点Qbについての代表移動ベクトルをベクトルαb、としたときに、α=(Db/(Da+Db))・αa+(Da/(Da+Db))・αbなる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。 - 請求項5に記載の三次元ポートレートの作成装置において、
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像のn個(n≧3)の代表点のそれぞれと当該一般点のXY平面上への投影点Qとの距離D1,... ,Di,... ,Dnをそれぞれ求め、雛形投影像のn個の代表点についての代表移動ベクトルを、それぞれα1,... ,αi,... ,αnとしたときに、α=Σi=1,n(αi/Di2)/Σi=1,n(1/Di2)なる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。 - 二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数N通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納し、かつ、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納した雛形モデル格納部と、
前記N通りの雛形モデルの中の1つを選択する雛形選択部と、
XYZ三次元座標系上に前記正面ベクトルVがZ軸に平行になるように配置した雛形モデルを、XY平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
XY平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
前記顔写真格納部に格納されている二次元顔写真を、前記雛形選択部が選択した選択モデルに適合するように修正する顔写真修正部と、
前記選択モデルの表面に、前記顔写真修正部によって修正された修正後の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を備え、
前記顔写真修正部が、
XY平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、二次元顔写真の各代表点から選択モデルの雛形投影像上の対応する各代表点に向かう代表移動ベクトルを求め、
XY平面上において、二次元顔写真の各代表点をそれぞれ対応する代表移動ベクトルに応じて移動させ、二次元顔写真上のその余の一般点を、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、二次元顔写真に対する修正を行うことを特徴とする三次元ポートレートの作成装置。 - 請求項8に記載の三次元ポートレートの作成装置において、
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真の各代表点のうち、当該一般点Pに最も近い第1近傍点Paおよび2番目に近い第2近傍点Pbを求め、点Pと点Paとの距離をDa、点Pと点Pbとの距離をDb、前記第1近傍点Paについての代表移動ベクトルをベクトルβa、前記第2近傍点Pbについての代表移動ベクトルをベクトルβb、としたときに、β=(Db/(Da+Db))・βa+(Da/(Da+Db))・βbなる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。 - 請求項8に記載の三次元ポートレートの作成装置において、
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真のn個(n≧3)の代表点と当該一般点Pとの距離D1,... ,Di,... ,Dnをそれぞれ求め、二次元顔写真のn個の代表点についての代表移動ベクトルを、それぞれβ1,... ,βi,... ,βnとしたときに、β=Σi=1,n(βi/Di2)/Σi=1,n(1/Di2)なる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。 - 請求項5〜10のいずれかに記載の三次元ポートレートの作成装置において、
雛形選択部が、N通りの雛形モデルの中の1つを指定するオペレータの選択指示に基づいて雛形モデルの選択を行うことを特徴とする三次元ポートレートの作成装置。 - 請求項5〜10のいずれかに記載の三次元ポートレートの作成装置において、
個々の雛形モデルのそれぞれについて、特定の基準で分類した場合にどの分類に所属するかを示す属性を定義した情報を格納した属性格納部を更に備え、
雛形選択部が、オペレータから入力された属性に基づいて前記属性格納部を検索し、入力された属性に合致する属性が定義された特定の雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。 - 請求項5〜10のいずれかに記載の三次元ポートレートの作成装置において、
雛形選択部が、特徴量抽出部が抽出した特徴量に最も近い特徴量を有する特定の雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。 - 請求項5〜13のいずれかに記載の三次元ポートレートの作成装置において、
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いることを特徴とする三次元ポートレートの作成装置。 - 請求項14に記載の三次元ポートレートの作成装置において、
両目の代表点を結ぶ線を基準線と定義し、この基準線上における前記両目の代表点間の中点を基準点と定義し、前記基準線に沿った顔の幅を基準幅と定義し、
モデル修正部もしくは顔写真修正部が、XY平面上において、前記基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、前記基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、前記基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うことを特徴とする三次元ポートレートの作成装置。 - 二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数N通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納した雛形モデル格納部と、
前記N通りの雛形モデルの中の1つを選択する雛形選択部と、
前記雛形選択部が選択した選択モデルの表面に、前記顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を備え、
前記雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルVを格納しており、
前記マッピング処理部が、XYZ三次元座標系上に、前記選択モデルを前記正面ベクトルVがZ軸に平行になるように配置し、前記二次元顔写真をXY平面上に配置し、前記選択モデルおよび前記二次元顔写真の大きさ、位置、および向きを調整した上で、前記選択モデルの表面に前記二次元顔写真を正射影投影することによりマッピングを行うことを特徴とする三次元ポートレートの作成装置。 - 請求項1〜16のいずれかに記載の三次元ポートレートの作成装置としてコンピュータを機能させるプログラム。
- 請求項1〜16のいずれかに記載の三次元ポートレートの作成装置と、
この三次元ポートレートの作成装置から出力された頭部三次元モデルのデータに基づいて、前記頭部三次元モデルを互いに異なる視点位置から観察して得られる2枚以上の視差画像を作成し、これを画像データとして出力するか、もしくは、物理的媒体上に印刷して出力する視差画像作成装置と、
を備えることを特徴とする三次元ポートレート用視差画像作成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011240076A JP5842541B2 (ja) | 2011-11-01 | 2011-11-01 | 三次元ポートレートの作成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011240076A JP5842541B2 (ja) | 2011-11-01 | 2011-11-01 | 三次元ポートレートの作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013097588A JP2013097588A (ja) | 2013-05-20 |
JP5842541B2 true JP5842541B2 (ja) | 2016-01-13 |
Family
ID=48619466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011240076A Active JP5842541B2 (ja) | 2011-11-01 | 2011-11-01 | 三次元ポートレートの作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5842541B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2998402B1 (fr) * | 2012-11-20 | 2014-11-14 | Morpho | Procede de generation d'un modele de visage en trois dimensions |
US10296783B2 (en) | 2014-06-06 | 2019-05-21 | Sharp Kabushiki Kaisha | Image processing device and image display device |
CN104378620B (zh) * | 2014-11-24 | 2017-01-18 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
JP5905981B1 (ja) * | 2015-07-17 | 2016-04-20 | 株式会社玄海 | 故人の立体遺影額縁構造 |
CN108961369B (zh) * | 2018-07-11 | 2023-03-17 | 厦门黑镜科技有限公司 | 生成3d动画的方法和装置 |
CN109191505A (zh) * | 2018-08-03 | 2019-01-11 | 北京微播视界科技有限公司 | 静态生成人脸三维模型的方法、装置、电子设备 |
US10885702B2 (en) * | 2018-08-10 | 2021-01-05 | Htc Corporation | Facial expression modeling method, apparatus and non-transitory computer readable medium of the same |
JP2022028090A (ja) * | 2018-12-19 | 2022-02-15 | ソニーグループ株式会社 | 3次元モデル編集装置および3次元モデル編集方法、並びにプログラム |
JP7079287B2 (ja) * | 2019-11-07 | 2022-06-01 | 株式会社スクウェア・エニックス | 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体 |
KR20220021869A (ko) * | 2020-08-14 | 2022-02-22 | 카페24 주식회사 | 안면 형상 마스크 및 그 제조 방법 |
CN118338853A (zh) * | 2022-03-28 | 2024-07-12 | 泰尔茂株式会社 | 计算机程序、信息处理方法及信息处理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3639475B2 (ja) * | 1999-10-04 | 2005-04-20 | シャープ株式会社 | 3次元モデル生成装置および3次元モデル生成方法ならびに3次元モデル生成プログラムを記録した記録媒体 |
KR100327541B1 (ko) * | 2000-08-10 | 2002-03-08 | 김재성, 이두원 | 3차원 얼굴 모델링 시스템 및 모델링 방법 |
JP4677661B2 (ja) * | 2000-10-16 | 2011-04-27 | ソニー株式会社 | 動画像受注システム及び方法 |
JP4611575B2 (ja) * | 2001-06-20 | 2011-01-12 | セコム株式会社 | 本人認証用の顔画像照合装置 |
JP2003099807A (ja) * | 2001-09-25 | 2003-04-04 | Mitsubishi Electric Corp | ポートレート生成装置およびポートレート生成方法 |
EP1510973A3 (en) * | 2003-08-29 | 2006-08-16 | Samsung Electronics Co., Ltd. | Method and apparatus for image-based photorealistic 3D face modeling |
US20110102553A1 (en) * | 2007-02-28 | 2011-05-05 | Tessera Technologies Ireland Limited | Enhanced real-time face models from stereo imaging |
JP2009237747A (ja) * | 2008-03-26 | 2009-10-15 | Denso Corp | データポリモーフィング方法及びデータポリモーフィング装置 |
-
2011
- 2011-11-01 JP JP2011240076A patent/JP5842541B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013097588A (ja) | 2013-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5842541B2 (ja) | 三次元ポートレートの作成装置 | |
CN110807836B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
US20200193591A1 (en) | Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation | |
US6532011B1 (en) | Method of creating 3-D facial models starting from face images | |
JP3639475B2 (ja) | 3次元モデル生成装置および3次元モデル生成方法ならびに3次元モデル生成プログラムを記録した記録媒体 | |
JP5777507B2 (ja) | 情報処理装置、情報処理方法、及びそのプログラム | |
JP5206366B2 (ja) | 3次元データ作成装置 | |
CN107924579A (zh) | 生成个性化3d头部模型或3d身体模型的方法 | |
US11562536B2 (en) | Methods and systems for personalized 3D head model deformation | |
JPWO2006049147A1 (ja) | 三次元形状推定システム及び画像生成システム | |
US11587288B2 (en) | Methods and systems for constructing facial position map | |
US11798299B2 (en) | Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation | |
JP2004506276A (ja) | 3次元顔モデリングシステム及びモデリング方法 | |
JP2000137815A (ja) | 新視点画像生成方法 | |
CN111127642A (zh) | 一种人脸三维重建方法 | |
US20220292774A1 (en) | Methods and systems for extracting color from facial image | |
JP2017194301A (ja) | 顔形状測定装置及び方法 | |
WO2022197430A1 (en) | Methods and systems for forming personalized 3d head and facial models | |
Islam et al. | Aesthetics-driven stereoscopic 3-D image recomposition with depth adaptation | |
CN113808272B (zh) | 三维虚拟人头脸建模中的纹理映射方法 | |
JP4892405B2 (ja) | 画像処理装置および方法 | |
JP2003090714A (ja) | 画像処理装置、及び画像処理プログラム | |
Zhang et al. | Capture my head: a convenient and accessible approach combining 3D shape reconstruction and size measurement from 2D images for headwear design | |
JPH06118349A (ja) | 眼鏡装用シミュレーション装置 | |
US12020363B2 (en) | Surface texturing from multiple cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140919 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150811 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5842541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |