JP2002015310A - 点群に面をフィッティングする方法およびモデリング装置 - Google Patents
点群に面をフィッティングする方法およびモデリング装置Info
- Publication number
- JP2002015310A JP2002015310A JP2000197779A JP2000197779A JP2002015310A JP 2002015310 A JP2002015310 A JP 2002015310A JP 2000197779 A JP2000197779 A JP 2000197779A JP 2000197779 A JP2000197779 A JP 2000197779A JP 2002015310 A JP2002015310 A JP 2002015310A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- standard model
- point
- data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
異常変形を起こすことなく、よりよく一致させること。 【解決手段】3次元の標準モデルDSを対象物について
の計測データに基づいて変形することによって3次元モ
デルMLを生成する方法であって、計測データから複数
の部分領域BRYを抽出し、部分領域BRYごとに、デ
ータ削減率または標準モデルの変形の度合を評価する評
価関数などを変更し、そのような部分領域BRYを用い
て標準モデルDSを変形して3次元モデルMLを生成す
る。
Description
ティングする方法およびモデリング装置に関し、例えば
コンピュータグラフィックスの分野における3次元モデ
ルの生成に利用される。
元CG(3次元コンピュータグラフィックス)の技術が
しばしば用いられている。3次元CGでは、仮想的な3
次元空間内に3次元モデルやライトを配置して動かすの
で、表現の自由度が高い。
3次元計測装置が実用化されており、これを用いて計測
を行うことにより、対象物の3次元データを比較的容易
に作成することができる。しかし、計測によって得られ
た3次元データをそのまま3次元CGに用いるには、得
られたデータの間引きなどを行ってデータ量を減らすた
めの処理が複雑であるなど、種々の問題がある。
デルを準備しておき、計測された3次元データに合わせ
て標準モデルを変形する方法が提案されている(特開平
5−81377号)。
た3次元データの3次元形状情報、つまり3次元に存在
する点群をフィッティング対象として用い、それら3次
元の点群に標準モデルの表面をフィッティングさせる。
来の方法においては、全体的な形状はほぼ一致するので
あるが、局所的な特徴を一致させることは困難であっ
た。
頭部の3次元モデルを作成した場合に、できあがった3
次元モデルは、頭部の全体的な形状は計測対象の人の頭
部と一致するのであるが、目または口もとなどのように
顔の表情に大きな影響を与える局所的な部分について
は、充分に一致するまでに至らない。そのため、人の細
かい表情を表現することは困難であった。
ので、目または口もとなどの局部について、局部的な異
常変形を起こすことなく、よりよく一致させることので
きる方法および装置を提供することを目的とする。
群に基づいて面を変形する方法であって、前記点群から
複数の部分領域を選択し、その部分領域ごとの点群に基
づいて面を変形する。
基づいて変形することによって3次元モデルを生成する
方法であって、前記計測データから複数の部分領域を選
択し、その部分領域ごとの計測データに基づいて前記標
準モデルを変形する。
標準モデルを変形した後に、部分領域ごとの点群または
計測データに基づいて標準モデルを変形する。さらに
は、前記標準モデルには標準モデルを変形させるための
制御点が定義されており、前記部分領域ごとに、前記制
御点、前記計測データの個数を削減する削減率、または
前記標準モデルの変形の度合を評価する評価関数の少な
くとも1つを変更する。
複数の部分領域を選択する手段と、選択した部分領域ご
との計測データに基づいて前記標準モデルを変形する手
段とを有してなる。
準モデルの変形処理、またはそれを含む一連の処理をい
う。
置1を示すブロック図である。本実施形態においては、
予め作成した標準モデルを人の頭部についての計測デー
タ(3次元データまたは2次元画像)に基づいて変形す
る(フィッティングする)ことにより、人の頭部の3次
元モデルを生成する例を説明する。
処理装置10、磁気ディスク装置11、媒体ドライブ装
置12、ディスプレイ装置13、キーボード14、マウ
ス15、および3次元計測装置16などからなる。
M、ビデオRAM、入出力ポート、および各種コントロ
ーラなどからなる。RAMおよびROMなどに記憶され
たプログラムをCPUが実行することにより、処理装置
10上に種々の機能が実現される。
ing System) 、3次元モデルMLを生成するためのモデ
リングプログラムPR、その他のプログラム、標準モデ
ル(標準モデルデータ)DS、3次元データ(3次元計
測データ)DT、3次元データDTの信頼性を示す信頼
性データDR、2次元画像(2次元計測データ)FT、
生成された3次元モデルML、その他のデータなどが格
納されている。これらのプログラムおよびデータは、適
時、処理装置10のRAMにローディングされる。
測処理、概略位置合わせ、データ削減処理、変形処理、
部分領域選択処理、およびその他の処理のためのプログ
ラムが含まれる。
(CD)、フロッピィディスクFD、または光磁気ディ
スクなどの記録媒体にアクセスし、データまたはプログ
ラムの読み書きなどを行うものである。記録媒体の種類
に応じて適切なドライブ装置が用いられる。上に述べた
モデリングプログラムPRは、これら記録媒体からイン
ストールすることが可能である。標準モデルDS、3次
元データDT、信頼性データDR、および2次元画像F
Tなども、記録媒体を介して入力することが可能であ
る。
上に述べた種々のデータ、およびモデリングプログラム
PRにより生成された3次元モデルML、その他のデー
タ(画像)が表示される。
装置10にデータを入力しまたは指令を与えるために用
いられる。3次元計測装置16は、例えば光切断法によ
って対象物の3次元データDTを得るためのものであ
る。3次元計測装置16によって直接的に3次元データ
DTを得ることも可能であり、また、3次元計測装置1
6から出力されるデータに基づいて処理装置10などで
演算を行い、間接的に3次元データDTを得ることも可
能である。
同じ対象物について同じ視線上の2次元画像FTを取得
することも可能である。そのような3次元計測装置16
として、例えば特開平10−206132号に示される
公知の装置を用いることが可能である。
る公知の他の方法として、対象物に対して視差を有して
配置された複数のカメラを用いる方法などがある。それ
らのカメラから得られた視差を有する複数の画像から、
立体写真法を用いて3次元データDTを演算により求め
ることができる。
ることにより、3次元データDTの各点の信頼性を判定
するためのデータをも同時に取得することができる。す
なわち、3台のカメラによる多眼視によって対象物を撮
影し、3枚の画像を得る。これら3枚の画像について、
互いの対応点を探索する。2枚の画像についての対応点
に基づいて、3次元データDTが公知の計算により求め
られる。他の1枚の画像は、信頼性データDRを得るの
に利用される。
ラA,B,Cを用い、対象物Qを撮影して3枚の画像F
A,FB,FCを取得する。各画像FA,FB,FCに
ついて、それぞれの画像面(un ,vn )が示されてい
る(n=1,2,3)。3次元空間Mにある対象物Q上
の点QPが、各画像面上の点PA,PB,PCに投影さ
れている。
るとすると、それらの対応から、3次元空間M’を再構
成することができる。3次元空間M’において、点P
A,PBに対応する点QP’が求まる。理想的には、こ
の再構成された3次元空間M’上の点QP’を画像面
(u3 ,v3 )に逆投影した点PC’と、元の3次元空
間M上の点QPを画像面(u3 ,v3 )上に投影した点
PCとは、一致するはずである。
しく、また対応を正確に求めることも難しいため、通
常、これらは一致しない。そこで、これら点PC’と点
PCとのずれを誤差とし、信頼性の指標として用いる。
れた画素の数で示す。点PC’と点PCとが同じ画素上
にあれば、誤差は「0」である。1画素ずれていれば、
誤差は「1」である。2画素ずれていれば、誤差は
「2」である。このずれた画素数を信頼性データDRと
して用いることができる。
て、例えば特開昭61−125686号に示される方
法、その他の公知の方法を用いることも可能である。モ
デリング装置1は、パーソナルコンピュータまたはワー
クステーションなどを用いて構成することが可能であ
る。上に述べたプログラムおよびデータは、ネットワー
クNWを介して受信することにより取得することも可能
である。
れについて、フローチャートを参照しながら説明する。
図2はモデリング装置1の全体の処理の流れを示すフロ
ーチャート、図3は変形処理を示すフローチャート、図
4は標準モデルDS1の例を示す図、図5は対象物から
3次元データDTを取得する様子を示す図、図6(A)
(B)は概略の位置合わせの様子を示す図、図7は輪郭
および特徴点の抽出処理の様子を示す図、図8は標準モ
デルDSの面Sと3次元データDTの点Pとを模式的に
示す図、図9は標準モデルDSの異常変形を防ぐための
仮想バネを説明するための図、図10は対象物の3次元
データDTおよび信頼性データDRを取得する方法の例
を説明する図である。 〔標準モデルの準備〕図2において、まず、対象物につ
いての標準モデルDSを準備する(#11)。本実施形
態では対象物が人の頭部であるので、種々のサイズおよ
び形状を有した、頭部の全周についての複数の標準モデ
ル群の中から、対象物の頭部に最もよく似た標準モデル
DS1を準備する。
3次元形状モデル、または自由曲面で定義された3次元
形状モデルのいずれでもよい。ポリゴンで定義された3
次元形状モデルである場合は、各ポリゴンの頂点の3次
元座標によって表面の形状が決まる。自由曲面で定義さ
れた3次元形状モデルである場合は、曲面を定義する関
数、および各制御点の座標によって表面の形状が決ま
る。
デルである場合に、各ポリゴンの頂点を「構成点」と記
載する。また、標準モデルDSのフィッティングに際し
て、標準モデルを変形するために用いられる点を「制御
点」と呼称する。制御点とポリゴンの構成点との位置関
係は任意であり、制御点はポリゴンの面上に設定されて
いてもよく、ポリゴンの面から離れて設定されていても
よい。1つの制御点は複数の構成点(3〜100程度)
と関連付けられており、制御点の動きに合わせて関連付
けられた構成点が移動する。標準モデルDSのフィッテ
ィングに際しては、これら複数の制御点を移動させるこ
とによって標準モデルDS全体を変形する。3次元形状
モデルが自由曲面で定義されている場合も、フィッティ
ングに使用する制御点の配置は任意である。
形状を持つ部分、および、鼻、唇などのように急激な形
状の変化を持つ部分には、高い密度で配置される。それ
以外の部分には一様に配置される。
徴的な輪郭RKおよび特徴点TTが設定される。輪郭R
Kとして、例えば、目、鼻、口、または顎などに、瞼の
ライン、鼻のライン、唇のライン、または顎のラインな
どが設定される。特徴点TTとして、例えば、目や口の
端部、鼻の頂部、顎の下端部のように、実際に特徴のあ
る部分、または、それらの中間のようなそれ自体では特
徴はないが位置的に特定し易い部分などが選ばれる。
イン、唇のライン、および瞼のラインが輪郭RK1〜3
として設定されている。図4で分かるように、輪郭RK
1は、標準モデルDS1をある方向から見たときに、そ
の縁線となる部分である。また、図4に示す標準モデル
DS1では、設定された特徴点TTの一部のみが実際に
図に表されている。 〔3次元データの取得〕次に、対象物の3次元計測を行
い、3次元データDTを取得する(#12)。その際
に、対象物の2次元画像FTをも同時に取得しておく。
また、上に述べたように、3次元データDTの各点につ
いての信頼性を示す信頼性データDR、または信頼性デ
ータDRを得るための情報を必要に応じて取得してお
く。
置16を用いて、対象物である人の頭部を計測(撮影)
する。これによって、3次元データDTおよび2次元画
像FTが取得される。
DTおよび/または2次元画像FTを、「計測データ」
と記載することがある。標準モデルDSの準備と3次元
データDTの取得とはいずれが先でもよく、並行して進
めてもよい。 〔概略の位置合わせ〕標準モデルDSと3次元データD
Tとの概略の位置合わせを行う(#13)。この処理で
は、標準モデルDSと3次元データDTとが概略一致す
るように、標準モデルDSの向き、サイズ、および位置
を変更する。このとき、標準モデルDSを、X,Y,Z
のそれぞれの方向に個別に任意の倍率に偏倍することに
より、それぞれの方向のサイズを3次元データDTによ
く合わせることができる。
データDTに対して、標準モデルDSを回転させ且つ各
方向に偏倍することにより、図6(B)に示すように、
3次元データDTとほぼ同じサイズの標準モデルDSa
を得ることができる。なお、わかりやすくするために、
図面上では位置を合わせていないものを示す。
するように、(1)全体的概略位置合わせ、(2)局所
的概略位置合わせ、の2つの手法がある。これらの手法
のうち、(1)の手法は自動で行うことができる。
(2)の手法は、その中の特徴点抽出を自動で行うこと
が困難であるので、一部手動で行う必要がある。概略位
置合わせ後のフィッティングでは基本的に標準モデルD
Sの局所的な変形が行われることになるため、形状が合
うことを重視する場合には(1)の手法が好適であり、
アニメーションのように形状よりも位置が合って欲しい
という場合には(2)の手法が好適である。また、特徴
点抽出を行うことに慣れたユーザであれば、処理時間を
短縮するために(2)の手法を用いることは効果的であ
る。 〔全体的概略位置合わせ〕全体的概略位置合わせでは、
3次元データDTと標準モデルDSとの距離を最小とす
るように、標準モデルDSの位置、方向、およびサイズ
を変更する。
関数e(si,αi,ti)が最小となるsi,αi,
tiを導く。なお、f(si,αi,ti)は、3次元
データDTと標準モデルDSとの距離に関連して定義さ
れるエネルギー関数である。g(si)は、過剰な変形
を避けるための安定化エネルギー関数である。
データDTを取得する際に同時に取得した2次元画像F
Tを用い、2次元画像FT上でのパターンマッチングを
用いて、位置、方向、およびサイズの初期値を与えても
よい。
離 Wsc:偏倍安定化のウエイトパラメータ S0 :初期スケール Si :各方向の偏倍量(但し、S3 は奥行き方向であ
る) αi :標準モデルの各方向の回転 ti :標準モデルの各方向への移動量 ここで、標準モデルDS上の構成点は次の(2)式にし
たがって移動し、それにともなって、3次元データDT
の構成点と標準モデルDSの表面との間の距離dk が変
化する。
影)が一方向からに限られる場合に、奥行き方向(Z方
向)の偏倍量が正確に得られない場合がある。その場合
には、3次元データDTの形状と標準モデルDSの形状
に大きな違いはないとみなし、次の(3)式に示すよう
に、X,Y方向の偏倍量(S1,S2 )によってZ方向の
偏倍量(S3 )を補正する方法も考えられる。
わせを自動で行った場合に、それがうまく合わなかった
ときに、手動で合わせることとなるが、ここに述べる局
所的概略位置合わせは、手動での位置合わせの際にでき
るだけ簡単に行うための手法である。なお、自動でうま
くいかなかった分は一旦リセットし、初めから手動でや
り直す。
DT上の特徴的な線または点と、標準モデルDS上の特
徴的な線または点とを対応づけ、それらの距離を最小に
するように標準モデルDSの位置、方向、およびサイズ
を変更する。なお、線と線とを対応付けた場合は、一方
の線上の点とその点から他方の線上へ降ろした垂線のう
ち最短となる点とを特徴点とし、線上でこれらの点を複
数点取得するものとする。
それに対応する標準モデルDS上の特徴点との距離に対
して、次の(4)式に示すエネルギー関数E(si,α
i,ti)が最小となるように、標準モデルDSのt
i,αi,siを導く。
からに限られる場合に、奥行き方向(Z方向)のスケー
ルが正確に得られない場合がある。その場合には、上に
述べた全体的概略位置合わせの場合と同様に、次の
(5)式を用いてZ方向のスケールを補正する方法が考
えられる。
または2次元画像FT上に、輪郭および特徴点を抽出す
る(#14)。標準モデルDSについての輪郭RKおよ
び特徴点TTを予め抽出しておいた場合には、それらと
同じ位置に配置されるべき輪郭および特徴点を、3次元
データDT上に、またはそれに対応する2次元画像上に
配置する(図7参照)。
特徴点TTが予め抽出されていない場合には、3次元デ
ータDT上または2次元画像上への配置と合わせて標準
モデルDS上でも指定する。 〔データ削減〕次に、計算量および誤差を削減するため
に、3次元データDTについてデータの削減を行い、必
要且つ信頼性の高いデータのみを取り出す(#15)。
データの削減を行うことによって、元の3次元データD
Tの形状を崩すことなく、計算量を減らすことができ
る。
の領域外のデータを除外し、不要なデータを除く。例え
ば、2次元画像FTから顔の領域を判別し、その領域に
対応した3次元データDTのみを残す。あるいは、対象
物と背景との間の距離の相違を用いて領域を判別する。
また、概略位置合わせの情報を用いて、顔の領域を抽出
するなどの各種の方法がある。また、3次元データDT
に信頼性データDRがある場合には、信頼性の高いもの
のみを残す。近隣にデータが多い場合はそのデータを間
引き、密度を平均化する。
は、次の(6)式で示される条件を満たす3次元データ
DTのみを採用する。
いて、それまでに採用されて残っているデータPrとの
間の距離が一定以上であれば、そのデータPkを採用す
る。 〔変形〕標準モデルDS全体の変形が行われる(#1
6)。ここでは、3次元データDTの各構成点と標準モ
デルDSの面との間の距離に関連して定義されたエネル
ギー関数e1 を用いるとともに、それに加えて、標準モ
デルDSの特徴点と3次元データDTに対して指定され
た特徴点との間の距離に関連して定義されるエネルギー
関数e3 、標準モデルDSの輪郭と3次元データDTに
対して指定された輪郭との間の距離に関連して定義され
るエネルギー関数e2 、および、過剰な変形を回避する
ために定義されたエネルギー関数es を用い、それらを
総合したエネルギー関数eを評価し、総合のエネルギー
関数eが最小となるように標準モデルDSの面を変形さ
せる。
1,e2,e3,esの4つの関数を用いるのが一番望
ましいが、e1〜e3のうち任意の2つだけを用いるこ
とも可能である。
する。 〔標準モデルと3次元データとの距離〕図8において、
3次元データDTを構成する点群の1つが点Pkで示さ
れている。標準モデルDSの面Sにおいて、点Pkに最
も近い点がQkで示されている。点Qkは、点Pkから
面Sに垂線を下ろしたときの交点である。ここでは、点
Pkと点Qkとの距離が評価される。
モデルDSの面との差分エネルギーe1 は、データ削減
後の3次元データDT上の点Pkと、それを標準モデル
DSの面S上に投影した点Qkとの二乗距離を用いて、
次の(7)式によって算出される。
k-Pk )/|Qk-Pk | ρk :構成点Pk の信頼性 w(ρk):信頼性関数,w(ρk)=1/(α+ρk )n W :Σw(ρk) L :種々のエネルギーを同一単位で扱うための調整用
スケール 〔標準モデル上の輪郭と計測データ上の輪郭との距離〕
ここでは、3次元データDT上に指定された輪郭RK、
または2次元画像FT上に指定された輪郭RKと、標準
モデルDS上の輪郭RKとの距離が評価される。
上に指定される場合は、3次元データDTの輪郭RK上
の点から標準モデルDS上の対応する輪郭RKへ垂線を
降ろし、その垂線のうち最短のものを距離とする。な
お、輪郭RK上では複数の点を指定する。
に指定される場合は、2次元画像FTを撮影したカメラ
についてのカメラパラメータを用い、標準モデルDSの
輪郭RKを2次元画像FT上に投影する。2次元画像F
Tの輪郭RK上の点から、標準モデルDSの対応する輪
郭RKへ垂線を降ろし、その垂線のうち最短のものを距
離とする。なお、輪郭RK上では複数の点を指定する。
上に指定される場合に、標準モデルDSの輪郭RK毎の
差分エネルギーe2 は、それらの距離の二乗和を用いて
次の(8)式によって計算される。
への垂足点 n :1つのモデル輪郭に対応が付けられている3次元
データの輪郭点数 dk :計測データの輪郭点から対応するモデル輪郭線へ
の投影方向,dk =(qk-pk )/|qk-pk | l :種々のエネルギーを同一単位で扱うための調整用
スケール 計測データの輪郭RKが2次元画像FT上に指定される
場合に、標準モデルDSの輪郭RK毎の差分エネルギー
e2 ’は次の(9)式によって計算される。
れた対応するモデル輪郭への垂足点 n :1つのモデル輪郭に対応が付けられている計測デ
ータの輪郭点数 dk :2次元画像上の輪郭点から対応するモデル輪郭へ
の投影方向,dk =(qk-pk )/|qk-pk | l :種々のエネルギーを同一単位で扱うための調整用
スケール 計測データの輪郭RKを2次元画像FT上で指定する理
由は、例えば3次元データDTがあいまいな場合に、3
次元データDT上に輪郭RKを指定すると輪郭RKその
ものが不正確となるからである。したがって、それに代
えて2次元画像FTを用いて輪郭RKを抽出するのであ
る。 〔標準モデル上の特徴点と対応した計測データ上の特徴
点との距離〕計測データ上に特徴点TTを設定すること
により、3次元データDT上に指定された特徴点TT、
または2次元画像FT上に指定された特徴点TTと、標
準モデルDS上の特徴点との距離が評価される。
デルDS上の特徴点TTとの差分エネルギーe3 は、対
応する特徴点TTの二乗距離を用いて次の(10)式に
よって計算される。
定した場合は、カメラパラメータを用いて標準モデルD
Sの特徴点TTを2次元画像FT上に投影し、2次元画
像FT上での差分エネルギーを計算する。
徴点 N :計測データの特徴点と標準モデル上の特徴点との
対応数 L :種々のエネルギーを同一単位で扱うための調整用
スケール 〔過剰な変形を回避するための安定化エネルギー〕上に
述べた差分のエネルギーに加え、過剰な変形を回避する
ための安定化エネルギーes が導入される。
が、図9に示す仮想バネ(elastic bar) KBによってつ
ながれているものとする。仮想バネKBの制約に基づい
て、標準モデルDSの面Sの形状の安定化のための安定
化エネルギーes が定義される。
れている必要はない。制御点と仮想バネとの関係が明確
であればよい。図9において、フィッティング対象であ
る標準モデルDSの面Sの一部が示されている。面S
は、制御点群U=|ui,i=1…N|で形成されてい
る。隣接する制御点間には、仮想バネKBが配置されて
いる。仮想バネKBは、制御点間に引っ張り力による拘
束を与え、面Sの異常変形を防ぐ働きをする。
なった場合に、それに応じて仮想バネKBによる引っ張
り力が大きくなる。例えば、点Qkが点Pkに近づく場
合に、その移動にともなって制御点uの間隔が大きくな
ると、仮想バネKBによる引っ張り力が増大する。点Q
kが移動しても制御点uの間隔が変わらなければ、つま
り制御点u間の相対位置関係に変化がなければ、仮想バ
ネKBによる引っ張り力は変化しない。仮想バネKBに
よる引っ張り力を面Sの全体について平均化したもの
を、安定化エネルギーes として定義する。したがっ
て、面Sの一部が突出して変形した場合に安定化エネル
ギーes は増大する。面Sの全体が平均して移動すれば
安定化エネルギーes は零である。
変形の状態により、次の(11)式により求められる。
〜m | M :仮想バネの本数 c :バネ係数 L :種々のエネルギーを同一単位で扱うための調整用
スケール したがって、バネ係数cを大きくすると、仮想バネKB
は硬くなって変形し難くなる。
入することにより、面Sの形状変化に一定の拘束を設け
ることとなり、面Sの過度の変形を防ぐことができる。 〔総合のエネルギー関数〕上に述べたように、各エネル
ギー関数e1,e2,e3,e4 について、それぞれ制御点群
T1A, T2A, T3A, TsAが用いられる。ここでは、これ
らの制御点群T1A〜TsAは同じであるが、後述するよう
に互いに異ならせることができる。これら制御点群TA
を用いて標準モデルDSの変形を行い、次の(12)式
に示す総合エネルギー関数e(TA)を最小にする制御
点群TAを求める。
分エネルギー e2s (T2A): モデル輪郭毎の計測データ上の輪郭との差
分エネルギー e3(T3A): 計測データの特徴点とモデル上の特徴点と
の差分エネルギー eS(TSA): 過剰な変形を回避するための安定化エネル
ギー wi, c : それぞれのエネルギーのウエイトパラメー
タ TA=T1A=T2A=T3A=TSA 〔繰り返し変形〕実際には繰り返し変形を行う(#1
7)。つまり、制御点を動かして繰り返して変形を行
う。n回目の変形後の総合エネルギー関数をen(TA)
とすると、次の(13)式の条件が満たされたときに、
総合エネルギー関数en (TA)が収束したと判断す
る。
図3に沿って説明する。まず、計測データと標準モデル
DSとの間で対応する点の組みを作成する(図8のPk
とQk)(#21)。
ネルギー関数en(TA)を計算する(#23)。総合エ
ネルギー関数en(TA)が収束するまで(#24でイエ
ス)、処理を繰り返す。
定する方法として、上に述べたように総合エネルギー関
数en(TA)が所定の値よりも小さくなったときを収束
とする方法、前回の計算と比較べた変化の割合が所定値
以下となったときに収束とする方法など、公知の方法を
用いることが可能である。 〔異なる制御点の使用〕上に述べた(12)式では、フ
ィッティング対象(3次元データDTの構成点、輪郭R
K、特徴点TT)がそれぞれ異なるエネルギー関数e1
〜e4 について、同じ制御点群を使用したが、ここに示
す例は、フィッティング対象毎、すなわちエネルギー関
数毎に異なる制御点群を用いる。つまり、制御点群T1
A, T2A,T3A, TsAを互いに異ならせる。
A)として上に示した(12)式を用いることができ
る。但し、そこに用いられる制御点群T1A, T2A, T3
A, TSAは、互いに異なっており、次に示す関係にあ
る。
特徴点同士のエネルギーに対しては、局所的な動きにな
ってしまう。例えば、3次元データDTと標準モデルD
Sとの目の位置を合わせようとするときに、特徴点TT
が設定された部分のみが強く引っ張られ、いびつに変形
する可能性がある。そのような場合に、全体的な動きと
なるようにするのが好ましい。
は、目の横などは細かく動いてほしい。しかし、少数の
制御点しか用いない場合には、構成点は細かく移動しな
い。そこで、3次元データDTの構成点については多数
の制御点を用い、特徴点については少数の制御点を用い
る。輪郭RKについてはその中間の量とする。
ついては、制御点を細かくする。安定化エネルギーは全
ての制御点に対してかける。このような制御点の選択
は、標準モデルDSを準備する際に行う。
互いに異なるのであるが、各制御点群に含まれる制御点
は、互いに共通に用いられるものもある。 〔信頼性に応じたウエイトの変更〕上に述べた(12)
式では、各情報についての信頼性が同等であるとして総
合エネルギー関数e(TA)を評価したが、ここに示す
例は、それぞれの情報の信頼性に応じて重みを変更す
る。これによって、様々な情報の中からより信頼性の高
い情報に重きを置いて判定することができる。
計測時、または輪郭・特徴点の自動抽出時に得られるも
のとする。この場合には、次の(14)式に示す総合エ
ネルギー関数e(TA)を最小にする制御点群TAを求
める。
頼性 W (ρi):信頼性関数 TA=T1A=T2A=T3A=TSA 〔部分領域変形〕ステップ#17までの処理によって、
従来の技術に比べて、より精密な3次元モデルMLを得
ることができる。しかし、ステップ#17までの処理は
対象物全体を対象として行われているので、局所的に特
徴を有する部分については必ずしも精密なフィッティン
グがなされているとは限らない。そこで、対象物のうち
特徴のある部分またはステップ#17までの処理で十分
なフィッティングがなされていない部分を3次元データ
DTから抽出し、抽出した3次元データDTのみを用い
て、さらに標準モデルDSのフィッティングを行う(#
18)。
図、図12(A)(B)(C)は部分領域BRYを用い
て標準モデルDSの変形を行う方法の例を説明する図で
ある。
ら部分領域BRYを抽出する。各部分領域BRYa、B
RYb、BRYcは、それぞれ、対象物の目およびその
周辺、口およびその周辺、鼻およびその周辺を、3次元
データDTより抽出して得られた3次元データである。
また、各部分領域BRYは、必要に応じて、データ量を
減らすためにデータ削減が行われる。データ削減の処理
は、例えば、ステップ#15で行ったデータ削減と同様
の手順で行う。後述する部分領域変形では、フィッティ
ングの領域が部分領域BRYに限定されるので、(6)
式の右辺をステップ#15のときよりも0に近くしてデ
ータ削減率を低くし、これによって部分領域BRYの精
密性を維持した場合であってもフィッティング処理に多
くの時間を要さない。従って、部分領域BRYの範囲の
広さ、要求する精密性、および処理時間などを考慮し
て、部分領域BRYごとにデータ削減率を設定すること
ができる。部分領域BRYの抽出は、ステップ#12の
処理のとき、つまり、3次元データDTを得たときに予
め行っておいてもよいし、ステップ#17までの処理が
完了した後に行ってもよい。
a、DS1bは、標準モデルDS1の部分領域変形の過
程を示すものである。ステップ#18においては、ステ
ップ#17までの処理で得られた図12(A)の標準モ
デルDS1を、図12(B)に示すように部分領域BR
Yaを用いてフィッティングし、標準モデルDS1aを
得る。フィッティングは、ステップ#16で行ったよう
に、変形ないし繰り返し変形と同様の手順で行われ、
(7)式の制御点群T1A、点Pk 、点Qk 、(8)式お
よび(9)式の制御点群T2A、点pk 、点qk 、(1
0)式の制御点群T3A、点Fk 、点Gk 、(11)式の
制御点群TsA、点U〜m 、点V〜m 、または(13)式
のしきい値εなどについて、当該部分領域BRYに応じ
て好適な値を用いればよい。
次、部分領域変形を行う(#19でイエス、#18)。
各部分領域BRYごとに、制御点群などをそれぞれ異な
らせてフィッティングを行う。これにより、各部分領域
BRYごとに、標準モデルDS1をさらに緻密にフィッ
ティングさせることができる。
S1aを得た後、図12(C)に示すように部分領域B
RYbを用いてフィッティングし、標準モデルDS1b
(3次元モデルML)を得る。
BRYの一部と重なり、または他の部分領域BRYに含
まれていてもよい。例えば、図11に示すように、部分
領域BRYaの一部と部分領域BRYcの一部とが重な
っていてもよいし、部分領域BRYbについて部分領域
変形を行った後に、上唇のみを新たな部分領域BRYと
して抽出し、部分領域変形を行ってもよい。
準モデルDSのフィッティングを行った後、部分領域B
RYを用いて部分的に標準モデルDSのフィッティング
を行うので、目または口もとなどの局部について局部的
な異常変形を起こすことなく、それらをよりよく一致さ
せることができる。したがって、対象物により一層近い
3次元モデルMLを生成することができる。
装置1の構成、回路、処理内容、処理順序、処理タイミ
ング、係数の設定などは、本発明の趣旨に沿って適宜変
更することができる。
局部について、局部的な異常変形を起こすことなく、よ
りよく一致させることができる。
である。
ーチャートである。
図である。
ある。
に示す図である。
説明するための図である。
取得する方法の例を説明する図である。
法の例を説明する図である。
Claims (5)
- 【請求項1】点群に基づいて面を変形する方法であっ
て、 前記点群から複数の部分領域を選択し、その部分領域ご
との点群に基づいて面を変形する、 ことを特徴とする点群に面をフィッティングする方法。 - 【請求項2】3次元の標準モデルを計測データに基づい
て変形することによって3次元モデルを生成する方法で
あって、 前記計測データから複数の部分領域を選択し、その部分
領域ごとの計測データに基づいて前記標準モデルを変形
する、 ことを特徴とする3次元モデルの生成方法。 - 【請求項3】計測データの全体に基づいて標準モデルを
変形した後に、請求項1または請求項2に記載の方法に
より前記標準モデルを変形する、 3次元モデルの生成方法。 - 【請求項4】前記標準モデルには標準モデルを変形させ
るための制御点が定義されており、 前記部分領域ごとに、前記制御点、前記計測データの個
数を削減する削減率、または前記標準モデルの変形の度
合を評価する評価関数の少なくとも1つを変更する、 請求項2記載の3次元モデルの生成方法。 - 【請求項5】3次元の標準モデルを計測データに基づい
て変形することによって3次元モデルを生成するモデリ
ング装置であって、 前記計測データから複数の部分領域を選択する手段と、 選択した部分領域ごとの計測データに基づいて前記標準
モデルを変形する手段と、 を有してなることを特徴とするモデリング装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000197779A JP2002015310A (ja) | 2000-06-30 | 2000-06-30 | 点群に面をフィッティングする方法およびモデリング装置 |
US09/816,405 US6992665B2 (en) | 2000-03-29 | 2001-03-26 | Method and device for fitting surface to point group, modeling device, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000197779A JP2002015310A (ja) | 2000-06-30 | 2000-06-30 | 点群に面をフィッティングする方法およびモデリング装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010185842A Division JP4924747B2 (ja) | 2010-08-23 | 2010-08-23 | 標準モデルの変形方法およびモデリング装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002015310A true JP2002015310A (ja) | 2002-01-18 |
Family
ID=18696061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000197779A Pending JP2002015310A (ja) | 2000-03-29 | 2000-06-30 | 点群に面をフィッティングする方法およびモデリング装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002015310A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102601A (ja) * | 2005-10-06 | 2007-04-19 | Konica Minolta Holdings Inc | 立体モデル生成装置および立体モデル生成方法 |
JP2007102412A (ja) * | 2005-10-03 | 2007-04-19 | Konica Minolta Holdings Inc | モデリングシステム、モデリング方法およびプログラム |
JP2007322351A (ja) * | 2006-06-05 | 2007-12-13 | Mitsubishi Electric Corp | 3次元物体照合装置 |
JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
US7706602B2 (en) | 2005-03-07 | 2010-04-27 | Kabushiki Kaisha Toshiba | Generating a three-dimensional model from a standard model and multiple two-dimensional images |
JP2011008816A (ja) * | 2010-08-23 | 2011-01-13 | Konica Minolta Holdings Inc | 標準モデルの変形方法およびモデリング装置 |
US7924277B2 (en) | 2005-04-04 | 2011-04-12 | Toyota Jidosha Kabushiki Kaisha | Three-dimensional model deformation system, method and computer readable program, and computer readable storage medium storing that program |
JP2014520333A (ja) * | 2011-06-20 | 2014-08-21 | アルカテル−ルーセント | 3次元画像モデル適応のための方法および装置 |
JP2015097060A (ja) * | 2013-11-15 | 2015-05-21 | 萬里科技股▲ふん▼有限公司 | 3d空間中で3d幾何データを仮想現実画像の表現と制御に用いる方法 |
CN108537110A (zh) * | 2017-03-01 | 2018-09-14 | 索尼公司 | 生成三维人脸模型的基于虚拟现实的装置和方法 |
US11056026B2 (en) | 2017-01-10 | 2021-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Screen flickering processing method and device, storage medium and electronic device |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04195476A (ja) * | 1990-11-28 | 1992-07-15 | Hitachi Ltd | コンピュータグラフィックの表示方法及び情報処理装置 |
JPH0581377A (ja) * | 1991-09-25 | 1993-04-02 | Hitachi Ltd | 三次元形状モデル化方法 |
JPH07254075A (ja) * | 1994-03-16 | 1995-10-03 | Fujitsu Ltd | 3次元的な物体の変形方法及びモデリングシステム |
JPH0887608A (ja) * | 1994-09-16 | 1996-04-02 | Fujitsu Ltd | 三次元形状モデル変形方法及び装置 |
JPH08297751A (ja) * | 1995-04-27 | 1996-11-12 | Hitachi Ltd | 三次元モデルの作成方法および装置 |
JPH09138864A (ja) * | 1995-11-14 | 1997-05-27 | Minolta Co Ltd | 3次元形状データの生成方法及び処理装置 |
JPH10172003A (ja) * | 1996-12-13 | 1998-06-26 | Sony Corp | 形状データの近似化方法及び描画装置 |
JPH11175765A (ja) * | 1997-12-11 | 1999-07-02 | Alpine Electron Inc | 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体 |
JP2000099738A (ja) * | 1998-09-28 | 2000-04-07 | Sony Corp | 情報記録装置および方法、計測装置および方法、画像処理装置および方法、画像処理システム、並びに提供媒体 |
-
2000
- 2000-06-30 JP JP2000197779A patent/JP2002015310A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04195476A (ja) * | 1990-11-28 | 1992-07-15 | Hitachi Ltd | コンピュータグラフィックの表示方法及び情報処理装置 |
JPH0581377A (ja) * | 1991-09-25 | 1993-04-02 | Hitachi Ltd | 三次元形状モデル化方法 |
JPH07254075A (ja) * | 1994-03-16 | 1995-10-03 | Fujitsu Ltd | 3次元的な物体の変形方法及びモデリングシステム |
JPH0887608A (ja) * | 1994-09-16 | 1996-04-02 | Fujitsu Ltd | 三次元形状モデル変形方法及び装置 |
JPH08297751A (ja) * | 1995-04-27 | 1996-11-12 | Hitachi Ltd | 三次元モデルの作成方法および装置 |
JPH09138864A (ja) * | 1995-11-14 | 1997-05-27 | Minolta Co Ltd | 3次元形状データの生成方法及び処理装置 |
JPH10172003A (ja) * | 1996-12-13 | 1998-06-26 | Sony Corp | 形状データの近似化方法及び描画装置 |
JPH11175765A (ja) * | 1997-12-11 | 1999-07-02 | Alpine Electron Inc | 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体 |
JP2000099738A (ja) * | 1998-09-28 | 2000-04-07 | Sony Corp | 情報記録装置および方法、計測装置および方法、画像処理装置および方法、画像処理システム、並びに提供媒体 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7706602B2 (en) | 2005-03-07 | 2010-04-27 | Kabushiki Kaisha Toshiba | Generating a three-dimensional model from a standard model and multiple two-dimensional images |
US7924277B2 (en) | 2005-04-04 | 2011-04-12 | Toyota Jidosha Kabushiki Kaisha | Three-dimensional model deformation system, method and computer readable program, and computer readable storage medium storing that program |
JP2007102412A (ja) * | 2005-10-03 | 2007-04-19 | Konica Minolta Holdings Inc | モデリングシステム、モデリング方法およびプログラム |
JP2007102601A (ja) * | 2005-10-06 | 2007-04-19 | Konica Minolta Holdings Inc | 立体モデル生成装置および立体モデル生成方法 |
JP4539519B2 (ja) * | 2005-10-06 | 2010-09-08 | コニカミノルタホールディングス株式会社 | 立体モデル生成装置および立体モデル生成方法 |
JP2007322351A (ja) * | 2006-06-05 | 2007-12-13 | Mitsubishi Electric Corp | 3次元物体照合装置 |
JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2011008816A (ja) * | 2010-08-23 | 2011-01-13 | Konica Minolta Holdings Inc | 標準モデルの変形方法およびモデリング装置 |
JP2014520333A (ja) * | 2011-06-20 | 2014-08-21 | アルカテル−ルーセント | 3次元画像モデル適応のための方法および装置 |
KR101560508B1 (ko) | 2011-06-20 | 2015-10-14 | 알까뗄 루슨트 | 3차원 이미지 모델 조정을 위한 방법 및 장치 |
US9269194B2 (en) | 2011-06-20 | 2016-02-23 | Alcatel Lucent | Method and arrangement for 3-dimensional image model adaptation |
JP2015097060A (ja) * | 2013-11-15 | 2015-05-21 | 萬里科技股▲ふん▼有限公司 | 3d空間中で3d幾何データを仮想現実画像の表現と制御に用いる方法 |
US11056026B2 (en) | 2017-01-10 | 2021-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Screen flickering processing method and device, storage medium and electronic device |
CN108537110A (zh) * | 2017-03-01 | 2018-09-14 | 索尼公司 | 生成三维人脸模型的基于虚拟现实的装置和方法 |
JP2018170005A (ja) * | 2017-03-01 | 2018-11-01 | ソニー株式会社 | 画像及び深度データを用いて3次元(3d)人物顔面モデルを発生させるための仮想現実ベースの装置及び方法 |
US10572720B2 (en) | 2017-03-01 | 2020-02-25 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
CN108537110B (zh) * | 2017-03-01 | 2022-06-14 | 索尼公司 | 生成三维人脸模型的基于虚拟现实的装置和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240153143A1 (en) | Multi view camera registration | |
US20160148411A1 (en) | Method of making a personalized animatable mesh | |
US10762704B2 (en) | Method for establishing a deformable 3D model of an element, and associated system | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US9224245B2 (en) | Mesh animation | |
JP2009020761A (ja) | 画像処理装置及びその方法 | |
CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
CN113538682B (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
JP2002015310A (ja) | 点群に面をフィッティングする方法およびモデリング装置 | |
BR102022015085A2 (pt) | Aparelho de processamento de imagem, método de processamento de imagem e meio de armazenamento | |
JP4316114B2 (ja) | モデルの変形方法およびモデリング装置 | |
JP4149732B2 (ja) | ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム | |
JP4479069B2 (ja) | 形状モデルの生成方法および装置 | |
US6992665B2 (en) | Method and device for fitting surface to point group, modeling device, and computer program | |
JP4310850B2 (ja) | 3次元形状の対応付け方法 | |
US7123254B2 (en) | Method of and device for modifying standard model | |
JP4924747B2 (ja) | 標準モデルの変形方法およびモデリング装置 | |
JP2002015307A (ja) | 形状モデルの生成方法 | |
JP4838411B2 (ja) | 形状モデルの生成方法 | |
US20220309733A1 (en) | Surface texturing from multiple cameras | |
US11328477B2 (en) | Image processing apparatus, image processing method and storage medium | |
JP7063165B2 (ja) | 計測装置、計測方法及び計測プログラム | |
JP4292678B2 (ja) | 点群に面をフィッティングする方法および装置 | |
JP2002032783A (ja) | 3次元モデルの生成方法および装置 | |
JP4174985B2 (ja) | 2つの3次元データの差分の表示装置およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100921 |