JP2002015310A - 点群に面をフィッティングする方法およびモデリング装置 - Google Patents
点群に面をフィッティングする方法およびモデリング装置Info
- Publication number
- JP2002015310A JP2002015310A JP2000197779A JP2000197779A JP2002015310A JP 2002015310 A JP2002015310 A JP 2002015310A JP 2000197779 A JP2000197779 A JP 2000197779A JP 2000197779 A JP2000197779 A JP 2000197779A JP 2002015310 A JP2002015310 A JP 2002015310A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- standard model
- point
- data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】目または口もとなどの局部について、局部的な
異常変形を起こすことなく、よりよく一致させること。 【解決手段】３次元の標準モデルＤＳを対象物について
の計測データに基づいて変形することによって３次元モ
デルＭＬを生成する方法であって、計測データから複数
の部分領域ＢＲＹを抽出し、部分領域ＢＲＹごとに、デ
ータ削減率または標準モデルの変形の度合を評価する評
価関数などを変更し、そのような部分領域ＢＲＹを用い
て標準モデルＤＳを変形して３次元モデルＭＬを生成す
る。
異常変形を起こすことなく、よりよく一致させること。 【解決手段】３次元の標準モデルＤＳを対象物について
の計測データに基づいて変形することによって３次元モ
デルＭＬを生成する方法であって、計測データから複数
の部分領域ＢＲＹを抽出し、部分領域ＢＲＹごとに、デ
ータ削減率または標準モデルの変形の度合を評価する評
価関数などを変更し、そのような部分領域ＢＲＹを用い
て標準モデルＤＳを変形して３次元モデルＭＬを生成す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、点群に面をフィッ
ティングする方法およびモデリング装置に関し、例えば
コンピュータグラフィックスの分野における３次元モデ
ルの生成に利用される。
ティングする方法およびモデリング装置に関し、例えば
コンピュータグラフィックスの分野における３次元モデ
ルの生成に利用される。
【０００２】
【従来の技術】近年において、映画やゲームなどに３次
元ＣＧ（３次元コンピュータグラフィックス）の技術が
しばしば用いられている。３次元ＣＧでは、仮想的な３
次元空間内に３次元モデルやライトを配置して動かすの
で、表現の自由度が高い。
元ＣＧ（３次元コンピュータグラフィックス）の技術が
しばしば用いられている。３次元ＣＧでは、仮想的な３
次元空間内に３次元モデルやライトを配置して動かすの
で、表現の自由度が高い。
【０００３】従来より、光切断法などによる非接触型の
３次元計測装置が実用化されており、これを用いて計測
を行うことにより、対象物の３次元データを比較的容易
に作成することができる。しかし、計測によって得られ
た３次元データをそのまま３次元ＣＧに用いるには、得
られたデータの間引きなどを行ってデータ量を減らすた
めの処理が複雑であるなど、種々の問題がある。
３次元計測装置が実用化されており、これを用いて計測
を行うことにより、対象物の３次元データを比較的容易
に作成することができる。しかし、計測によって得られ
た３次元データをそのまま３次元ＣＧに用いるには、得
られたデータの間引きなどを行ってデータ量を減らすた
めの処理が複雑であるなど、種々の問題がある。
【０００４】この問題に対処するため、対象物の標準モ
デルを準備しておき、計測された３次元データに合わせ
て標準モデルを変形する方法が提案されている（特開平
５−８１３７７号）。
デルを準備しておき、計測された３次元データに合わせ
て標準モデルを変形する方法が提案されている（特開平
５−８１３７７号）。
【０００５】この従来の方法では、計測によって得られ
た３次元データの３次元形状情報、つまり３次元に存在
する点群をフィッティング対象として用い、それら３次
元の点群に標準モデルの表面をフィッティングさせる。
た３次元データの３次元形状情報、つまり３次元に存在
する点群をフィッティング対象として用い、それら３次
元の点群に標準モデルの表面をフィッティングさせる。
【０００６】
【発明が解決しようとする課題】しかし、上に述べた従
来の方法においては、全体的な形状はほぼ一致するので
あるが、局所的な特徴を一致させることは困難であっ
た。
来の方法においては、全体的な形状はほぼ一致するので
あるが、局所的な特徴を一致させることは困難であっ
た。
【０００７】つまり、例えば、従来の方法によって人の
頭部の３次元モデルを作成した場合に、できあがった３
次元モデルは、頭部の全体的な形状は計測対象の人の頭
部と一致するのであるが、目または口もとなどのように
顔の表情に大きな影響を与える局所的な部分について
は、充分に一致するまでに至らない。そのため、人の細
かい表情を表現することは困難であった。
頭部の３次元モデルを作成した場合に、できあがった３
次元モデルは、頭部の全体的な形状は計測対象の人の頭
部と一致するのであるが、目または口もとなどのように
顔の表情に大きな影響を与える局所的な部分について
は、充分に一致するまでに至らない。そのため、人の細
かい表情を表現することは困難であった。
【０００８】本発明は、上述の問題に鑑みてなされたも
ので、目または口もとなどの局部について、局部的な異
常変形を起こすことなく、よりよく一致させることので
きる方法および装置を提供することを目的とする。
ので、目または口もとなどの局部について、局部的な異
常変形を起こすことなく、よりよく一致させることので
きる方法および装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】本発明に係る方法は、点
群に基づいて面を変形する方法であって、前記点群から
複数の部分領域を選択し、その部分領域ごとの点群に基
づいて面を変形する。
群に基づいて面を変形する方法であって、前記点群から
複数の部分領域を選択し、その部分領域ごとの点群に基
づいて面を変形する。
【００１０】また、３次元の標準モデルを計測データに
基づいて変形することによって３次元モデルを生成する
方法であって、前記計測データから複数の部分領域を選
択し、その部分領域ごとの計測データに基づいて前記標
準モデルを変形する。
基づいて変形することによって３次元モデルを生成する
方法であって、前記計測データから複数の部分領域を選
択し、その部分領域ごとの計測データに基づいて前記標
準モデルを変形する。
【００１１】好ましくは、計測データの全体に基づいて
標準モデルを変形した後に、部分領域ごとの点群または
計測データに基づいて標準モデルを変形する。さらに
は、前記標準モデルには標準モデルを変形させるための
制御点が定義されており、前記部分領域ごとに、前記制
御点、前記計測データの個数を削減する削減率、または
前記標準モデルの変形の度合を評価する評価関数の少な
くとも１つを変更する。
標準モデルを変形した後に、部分領域ごとの点群または
計測データに基づいて標準モデルを変形する。さらに
は、前記標準モデルには標準モデルを変形させるための
制御点が定義されており、前記部分領域ごとに、前記制
御点、前記計測データの個数を削減する削減率、または
前記標準モデルの変形の度合を評価する評価関数の少な
くとも１つを変更する。
【００１２】本発明に係る装置は、前記計測データから
複数の部分領域を選択する手段と、選択した部分領域ご
との計測データに基づいて前記標準モデルを変形する手
段とを有してなる。
複数の部分領域を選択する手段と、選択した部分領域ご
との計測データに基づいて前記標準モデルを変形する手
段とを有してなる。
【００１３】本発明において、フィッティングとは、標
準モデルの変形処理、またはそれを含む一連の処理をい
う。
準モデルの変形処理、またはそれを含む一連の処理をい
う。
【００１４】
【発明の実施の形態】図１は本発明に係るモデリング装
置１を示すブロック図である。本実施形態においては、
予め作成した標準モデルを人の頭部についての計測デー
タ（３次元データまたは２次元画像）に基づいて変形す
る（フィッティングする）ことにより、人の頭部の３次
元モデルを生成する例を説明する。
置１を示すブロック図である。本実施形態においては、
予め作成した標準モデルを人の頭部についての計測デー
タ（３次元データまたは２次元画像）に基づいて変形す
る（フィッティングする）ことにより、人の頭部の３次
元モデルを生成する例を説明する。
【００１５】図１に示すように、モデリング装置１は、
処理装置１０、磁気ディスク装置１１、媒体ドライブ装
置１２、ディスプレイ装置１３、キーボード１４、マウ
ス１５、および３次元計測装置１６などからなる。
処理装置１０、磁気ディスク装置１１、媒体ドライブ装
置１２、ディスプレイ装置１３、キーボード１４、マウ
ス１５、および３次元計測装置１６などからなる。
【００１６】処理装置１０は、ＣＰＵ、ＲＡＭ、ＲＯ
Ｍ、ビデオＲＡＭ、入出力ポート、および各種コントロ
ーラなどからなる。ＲＡＭおよびＲＯＭなどに記憶され
たプログラムをＣＰＵが実行することにより、処理装置
１０上に種々の機能が実現される。
Ｍ、ビデオＲＡＭ、入出力ポート、および各種コントロ
ーラなどからなる。ＲＡＭおよびＲＯＭなどに記憶され
たプログラムをＣＰＵが実行することにより、処理装置
１０上に種々の機能が実現される。
【００１７】磁気ディスク装置１１には、ＯＳ（Operat
ing System) 、３次元モデルＭＬを生成するためのモデ
リングプログラムＰＲ、その他のプログラム、標準モデ
ル（標準モデルデータ）ＤＳ、３次元データ（３次元計
測データ）ＤＴ、３次元データＤＴの信頼性を示す信頼
性データＤＲ、２次元画像（２次元計測データ）ＦＴ、
生成された３次元モデルＭＬ、その他のデータなどが格
納されている。これらのプログラムおよびデータは、適
時、処理装置１０のＲＡＭにローディングされる。
ing System) 、３次元モデルＭＬを生成するためのモデ
リングプログラムＰＲ、その他のプログラム、標準モデ
ル（標準モデルデータ）ＤＳ、３次元データ（３次元計
測データ）ＤＴ、３次元データＤＴの信頼性を示す信頼
性データＤＲ、２次元画像（２次元計測データ）ＦＴ、
生成された３次元モデルＭＬ、その他のデータなどが格
納されている。これらのプログラムおよびデータは、適
時、処理装置１０のＲＡＭにローディングされる。
【００１８】なお、モデリングプログラムＰＲには、計
測処理、概略位置合わせ、データ削減処理、変形処理、
部分領域選択処理、およびその他の処理のためのプログ
ラムが含まれる。
測処理、概略位置合わせ、データ削減処理、変形処理、
部分領域選択処理、およびその他の処理のためのプログ
ラムが含まれる。
【００１９】媒体ドライブ装置１２は、ＣＤ−ＲＯＭ
（ＣＤ）、フロッピィディスクＦＤ、または光磁気ディ
スクなどの記録媒体にアクセスし、データまたはプログ
ラムの読み書きなどを行うものである。記録媒体の種類
に応じて適切なドライブ装置が用いられる。上に述べた
モデリングプログラムＰＲは、これら記録媒体からイン
ストールすることが可能である。標準モデルＤＳ、３次
元データＤＴ、信頼性データＤＲ、および２次元画像Ｆ
Ｔなども、記録媒体を介して入力することが可能であ
る。
（ＣＤ）、フロッピィディスクＦＤ、または光磁気ディ
スクなどの記録媒体にアクセスし、データまたはプログ
ラムの読み書きなどを行うものである。記録媒体の種類
に応じて適切なドライブ装置が用いられる。上に述べた
モデリングプログラムＰＲは、これら記録媒体からイン
ストールすることが可能である。標準モデルＤＳ、３次
元データＤＴ、信頼性データＤＲ、および２次元画像Ｆ
Ｔなども、記録媒体を介して入力することが可能であ
る。
【００２０】ディスプレイ装置１３の表示面ＨＧには、
上に述べた種々のデータ、およびモデリングプログラム
ＰＲにより生成された３次元モデルＭＬ、その他のデー
タ（画像）が表示される。
上に述べた種々のデータ、およびモデリングプログラム
ＰＲにより生成された３次元モデルＭＬ、その他のデー
タ（画像）が表示される。
【００２１】キーボード１４およびマウス１５は、処理
装置１０にデータを入力しまたは指令を与えるために用
いられる。３次元計測装置１６は、例えば光切断法によ
って対象物の３次元データＤＴを得るためのものであ
る。３次元計測装置１６によって直接的に３次元データ
ＤＴを得ることも可能であり、また、３次元計測装置１
６から出力されるデータに基づいて処理装置１０などで
演算を行い、間接的に３次元データＤＴを得ることも可
能である。
装置１０にデータを入力しまたは指令を与えるために用
いられる。３次元計測装置１６は、例えば光切断法によ
って対象物の３次元データＤＴを得るためのものであ
る。３次元計測装置１６によって直接的に３次元データ
ＤＴを得ることも可能であり、また、３次元計測装置１
６から出力されるデータに基づいて処理装置１０などで
演算を行い、間接的に３次元データＤＴを得ることも可
能である。
【００２２】３次元データＤＴと同時に、必要に応じて
同じ対象物について同じ視線上の２次元画像ＦＴを取得
することも可能である。そのような３次元計測装置１６
として、例えば特開平１０−２０６１３２号に示される
公知の装置を用いることが可能である。
同じ対象物について同じ視線上の２次元画像ＦＴを取得
することも可能である。そのような３次元計測装置１６
として、例えば特開平１０−２０６１３２号に示される
公知の装置を用いることが可能である。
【００２３】また、対象物の３次元データＤＴを取得す
る公知の他の方法として、対象物に対して視差を有して
配置された複数のカメラを用いる方法などがある。それ
らのカメラから得られた視差を有する複数の画像から、
立体写真法を用いて３次元データＤＴを演算により求め
ることができる。
る公知の他の方法として、対象物に対して視差を有して
配置された複数のカメラを用いる方法などがある。それ
らのカメラから得られた視差を有する複数の画像から、
立体写真法を用いて３次元データＤＴを演算により求め
ることができる。
【００２４】この方法では、例えば３台のカメラを用い
ることにより、３次元データＤＴの各点の信頼性を判定
するためのデータをも同時に取得することができる。す
なわち、３台のカメラによる多眼視によって対象物を撮
影し、３枚の画像を得る。これら３枚の画像について、
互いの対応点を探索する。２枚の画像についての対応点
に基づいて、３次元データＤＴが公知の計算により求め
られる。他の１枚の画像は、信頼性データＤＲを得るの
に利用される。
ることにより、３次元データＤＴの各点の信頼性を判定
するためのデータをも同時に取得することができる。す
なわち、３台のカメラによる多眼視によって対象物を撮
影し、３枚の画像を得る。これら３枚の画像について、
互いの対応点を探索する。２枚の画像についての対応点
に基づいて、３次元データＤＴが公知の計算により求め
られる。他の１枚の画像は、信頼性データＤＲを得るの
に利用される。
【００２５】例えば、図１０に示すように、３台のカメ
ラＡ，Ｂ，Ｃを用い、対象物Ｑを撮影して３枚の画像Ｆ
Ａ，ＦＢ，ＦＣを取得する。各画像ＦＡ，ＦＢ，ＦＣに
ついて、それぞれの画像面（ｕn ，ｖn ）が示されてい
る（ｎ＝１，２，３）。３次元空間Ｍにある対象物Ｑ上
の点ＱＰが、各画像面上の点ＰＡ，ＰＢ，ＰＣに投影さ
れている。
ラＡ，Ｂ，Ｃを用い、対象物Ｑを撮影して３枚の画像Ｆ
Ａ，ＦＢ，ＦＣを取得する。各画像ＦＡ，ＦＢ，ＦＣに
ついて、それぞれの画像面（ｕn ，ｖn ）が示されてい
る（ｎ＝１，２，３）。３次元空間Ｍにある対象物Ｑ上
の点ＱＰが、各画像面上の点ＰＡ，ＰＢ，ＰＣに投影さ
れている。
【００２６】ここで、点ＰＡ，ＰＢ，ＰＣの対応が求ま
るとすると、それらの対応から、３次元空間Ｍ’を再構
成することができる。３次元空間Ｍ’において、点Ｐ
Ａ，ＰＢに対応する点ＱＰ’が求まる。理想的には、こ
の再構成された３次元空間Ｍ’上の点ＱＰ’を画像面
（ｕ3 ，ｖ3 ）に逆投影した点ＰＣ’と、元の３次元空
間Ｍ上の点ＱＰを画像面（ｕ3 ，ｖ3 ）上に投影した点
ＰＣとは、一致するはずである。
るとすると、それらの対応から、３次元空間Ｍ’を再構
成することができる。３次元空間Ｍ’において、点Ｐ
Ａ，ＰＢに対応する点ＱＰ’が求まる。理想的には、こ
の再構成された３次元空間Ｍ’上の点ＱＰ’を画像面
（ｕ3 ，ｖ3 ）に逆投影した点ＰＣ’と、元の３次元空
間Ｍ上の点ＱＰを画像面（ｕ3 ，ｖ3 ）上に投影した点
ＰＣとは、一致するはずである。
【００２７】しかし、投影変換を正確に求めることは難
しく、また対応を正確に求めることも難しいため、通
常、これらは一致しない。そこで、これら点ＰＣ’と点
ＰＣとのずれを誤差とし、信頼性の指標として用いる。
しく、また対応を正確に求めることも難しいため、通
常、これらは一致しない。そこで、これら点ＰＣ’と点
ＰＣとのずれを誤差とし、信頼性の指標として用いる。
【００２８】例えば、点ＰＣ’と点ＰＣとの誤差を、ず
れた画素の数で示す。点ＰＣ’と点ＰＣとが同じ画素上
にあれば、誤差は「０」である。１画素ずれていれば、
誤差は「１」である。２画素ずれていれば、誤差は
「２」である。このずれた画素数を信頼性データＤＲと
して用いることができる。
れた画素の数で示す。点ＰＣ’と点ＰＣとが同じ画素上
にあれば、誤差は「０」である。１画素ずれていれば、
誤差は「１」である。２画素ずれていれば、誤差は
「２」である。このずれた画素数を信頼性データＤＲと
して用いることができる。
【００２９】信頼性データＤＲを判断する他の方法とし
て、例えば特開昭６１−１２５６８６号に示される方
法、その他の公知の方法を用いることも可能である。モ
デリング装置１は、パーソナルコンピュータまたはワー
クステーションなどを用いて構成することが可能であ
る。上に述べたプログラムおよびデータは、ネットワー
クＮＷを介して受信することにより取得することも可能
である。
て、例えば特開昭６１−１２５６８６号に示される方
法、その他の公知の方法を用いることも可能である。モ
デリング装置１は、パーソナルコンピュータまたはワー
クステーションなどを用いて構成することが可能であ
る。上に述べたプログラムおよびデータは、ネットワー
クＮＷを介して受信することにより取得することも可能
である。
【００３０】次に、モデリング装置１の全体の処理の流
れについて、フローチャートを参照しながら説明する。
図２はモデリング装置１の全体の処理の流れを示すフロ
ーチャート、図３は変形処理を示すフローチャート、図
４は標準モデルＤＳ１の例を示す図、図５は対象物から
３次元データＤＴを取得する様子を示す図、図６（Ａ）
（Ｂ）は概略の位置合わせの様子を示す図、図７は輪郭
および特徴点の抽出処理の様子を示す図、図８は標準モ
デルＤＳの面Ｓと３次元データＤＴの点Ｐとを模式的に
示す図、図９は標準モデルＤＳの異常変形を防ぐための
仮想バネを説明するための図、図１０は対象物の３次元
データＤＴおよび信頼性データＤＲを取得する方法の例
を説明する図である。 〔標準モデルの準備〕図２において、まず、対象物につ
いての標準モデルＤＳを準備する（＃１１）。本実施形
態では対象物が人の頭部であるので、種々のサイズおよ
び形状を有した、頭部の全周についての複数の標準モデ
ル群の中から、対象物の頭部に最もよく似た標準モデル
ＤＳ１を準備する。
れについて、フローチャートを参照しながら説明する。
図２はモデリング装置１の全体の処理の流れを示すフロ
ーチャート、図３は変形処理を示すフローチャート、図
４は標準モデルＤＳ１の例を示す図、図５は対象物から
３次元データＤＴを取得する様子を示す図、図６（Ａ）
（Ｂ）は概略の位置合わせの様子を示す図、図７は輪郭
および特徴点の抽出処理の様子を示す図、図８は標準モ
デルＤＳの面Ｓと３次元データＤＴの点Ｐとを模式的に
示す図、図９は標準モデルＤＳの異常変形を防ぐための
仮想バネを説明するための図、図１０は対象物の３次元
データＤＴおよび信頼性データＤＲを取得する方法の例
を説明する図である。 〔標準モデルの準備〕図２において、まず、対象物につ
いての標準モデルＤＳを準備する（＃１１）。本実施形
態では対象物が人の頭部であるので、種々のサイズおよ
び形状を有した、頭部の全周についての複数の標準モデ
ル群の中から、対象物の頭部に最もよく似た標準モデル
ＤＳ１を準備する。
【００３１】標準モデルＤＳは、ポリゴンで定義された
３次元形状モデル、または自由曲面で定義された３次元
形状モデルのいずれでもよい。ポリゴンで定義された３
次元形状モデルである場合は、各ポリゴンの頂点の３次
元座標によって表面の形状が決まる。自由曲面で定義さ
れた３次元形状モデルである場合は、曲面を定義する関
数、および各制御点の座標によって表面の形状が決ま
る。
３次元形状モデル、または自由曲面で定義された３次元
形状モデルのいずれでもよい。ポリゴンで定義された３
次元形状モデルである場合は、各ポリゴンの頂点の３次
元座標によって表面の形状が決まる。自由曲面で定義さ
れた３次元形状モデルである場合は、曲面を定義する関
数、および各制御点の座標によって表面の形状が決ま
る。
【００３２】なお、ポリゴンで定義された３次元形状モ
デルである場合に、各ポリゴンの頂点を「構成点」と記
載する。また、標準モデルＤＳのフィッティングに際し
て、標準モデルを変形するために用いられる点を「制御
点」と呼称する。制御点とポリゴンの構成点との位置関
係は任意であり、制御点はポリゴンの面上に設定されて
いてもよく、ポリゴンの面から離れて設定されていても
よい。１つの制御点は複数の構成点（３〜１００程度）
と関連付けられており、制御点の動きに合わせて関連付
けられた構成点が移動する。標準モデルＤＳのフィッテ
ィングに際しては、これら複数の制御点を移動させるこ
とによって標準モデルＤＳ全体を変形する。３次元形状
モデルが自由曲面で定義されている場合も、フィッティ
ングに使用する制御点の配置は任意である。
デルである場合に、各ポリゴンの頂点を「構成点」と記
載する。また、標準モデルＤＳのフィッティングに際し
て、標準モデルを変形するために用いられる点を「制御
点」と呼称する。制御点とポリゴンの構成点との位置関
係は任意であり、制御点はポリゴンの面上に設定されて
いてもよく、ポリゴンの面から離れて設定されていても
よい。１つの制御点は複数の構成点（３〜１００程度）
と関連付けられており、制御点の動きに合わせて関連付
けられた構成点が移動する。標準モデルＤＳのフィッテ
ィングに際しては、これら複数の制御点を移動させるこ
とによって標準モデルＤＳ全体を変形する。３次元形状
モデルが自由曲面で定義されている場合も、フィッティ
ングに使用する制御点の配置は任意である。
【００３３】制御点は、目尻、唇端などのように細かな
形状を持つ部分、および、鼻、唇などのように急激な形
状の変化を持つ部分には、高い密度で配置される。それ
以外の部分には一様に配置される。
形状を持つ部分、および、鼻、唇などのように急激な形
状の変化を持つ部分には、高い密度で配置される。それ
以外の部分には一様に配置される。
【００３４】標準モデルＤＳには、ある方向から見た特
徴的な輪郭ＲＫおよび特徴点ＴＴが設定される。輪郭Ｒ
Ｋとして、例えば、目、鼻、口、または顎などに、瞼の
ライン、鼻のライン、唇のライン、または顎のラインな
どが設定される。特徴点ＴＴとして、例えば、目や口の
端部、鼻の頂部、顎の下端部のように、実際に特徴のあ
る部分、または、それらの中間のようなそれ自体では特
徴はないが位置的に特定し易い部分などが選ばれる。
徴的な輪郭ＲＫおよび特徴点ＴＴが設定される。輪郭Ｒ
Ｋとして、例えば、目、鼻、口、または顎などに、瞼の
ライン、鼻のライン、唇のライン、または顎のラインな
どが設定される。特徴点ＴＴとして、例えば、目や口の
端部、鼻の頂部、顎の下端部のように、実際に特徴のあ
る部分、または、それらの中間のようなそれ自体では特
徴はないが位置的に特定し易い部分などが選ばれる。
【００３５】図４に示す標準モデルＤＳ１では、顎のラ
イン、唇のライン、および瞼のラインが輪郭ＲＫ１〜３
として設定されている。図４で分かるように、輪郭ＲＫ
１は、標準モデルＤＳ１をある方向から見たときに、そ
の縁線となる部分である。また、図４に示す標準モデル
ＤＳ１では、設定された特徴点ＴＴの一部のみが実際に
図に表されている。 〔３次元データの取得〕次に、対象物の３次元計測を行
い、３次元データＤＴを取得する（＃１２）。その際
に、対象物の２次元画像ＦＴをも同時に取得しておく。
また、上に述べたように、３次元データＤＴの各点につ
いての信頼性を示す信頼性データＤＲ、または信頼性デ
ータＤＲを得るための情報を必要に応じて取得してお
く。
イン、唇のライン、および瞼のラインが輪郭ＲＫ１〜３
として設定されている。図４で分かるように、輪郭ＲＫ
１は、標準モデルＤＳ１をある方向から見たときに、そ
の縁線となる部分である。また、図４に示す標準モデル
ＤＳ１では、設定された特徴点ＴＴの一部のみが実際に
図に表されている。 〔３次元データの取得〕次に、対象物の３次元計測を行
い、３次元データＤＴを取得する（＃１２）。その際
に、対象物の２次元画像ＦＴをも同時に取得しておく。
また、上に述べたように、３次元データＤＴの各点につ
いての信頼性を示す信頼性データＤＲ、または信頼性デ
ータＤＲを得るための情報を必要に応じて取得してお
く。
【００３６】例えば、図５に示すように、３次元計測装
置１６を用いて、対象物である人の頭部を計測（撮影）
する。これによって、３次元データＤＴおよび２次元画
像ＦＴが取得される。
置１６を用いて、対象物である人の頭部を計測（撮影）
する。これによって、３次元データＤＴおよび２次元画
像ＦＴが取得される。
【００３７】なお、対象物を計測して得た３次元データ
ＤＴおよび／または２次元画像ＦＴを、「計測データ」
と記載することがある。標準モデルＤＳの準備と３次元
データＤＴの取得とはいずれが先でもよく、並行して進
めてもよい。 〔概略の位置合わせ〕標準モデルＤＳと３次元データＤ
Ｔとの概略の位置合わせを行う（＃１３）。この処理で
は、標準モデルＤＳと３次元データＤＴとが概略一致す
るように、標準モデルＤＳの向き、サイズ、および位置
を変更する。このとき、標準モデルＤＳを、Ｘ，Ｙ，Ｚ
のそれぞれの方向に個別に任意の倍率に偏倍することに
より、それぞれの方向のサイズを３次元データＤＴによ
く合わせることができる。
ＤＴおよび／または２次元画像ＦＴを、「計測データ」
と記載することがある。標準モデルＤＳの準備と３次元
データＤＴの取得とはいずれが先でもよく、並行して進
めてもよい。 〔概略の位置合わせ〕標準モデルＤＳと３次元データＤ
Ｔとの概略の位置合わせを行う（＃１３）。この処理で
は、標準モデルＤＳと３次元データＤＴとが概略一致す
るように、標準モデルＤＳの向き、サイズ、および位置
を変更する。このとき、標準モデルＤＳを、Ｘ，Ｙ，Ｚ
のそれぞれの方向に個別に任意の倍率に偏倍することに
より、それぞれの方向のサイズを３次元データＤＴによ
く合わせることができる。
【００３８】例えば、図６（Ａ）に示すように、３次元
データＤＴに対して、標準モデルＤＳを回転させ且つ各
方向に偏倍することにより、図６（Ｂ）に示すように、
３次元データＤＴとほぼ同じサイズの標準モデルＤＳａ
を得ることができる。なお、わかりやすくするために、
図面上では位置を合わせていないものを示す。
データＤＴに対して、標準モデルＤＳを回転させ且つ各
方向に偏倍することにより、図６（Ｂ）に示すように、
３次元データＤＴとほぼ同じサイズの標準モデルＤＳａ
を得ることができる。なお、わかりやすくするために、
図面上では位置を合わせていないものを示す。
【００３９】概略の位置合わせの手法として、次に説明
するように、（１）全体的概略位置合わせ、（２）局所
的概略位置合わせ、の２つの手法がある。これらの手法
のうち、（１）の手法は自動で行うことができる。
（２）の手法は、その中の特徴点抽出を自動で行うこと
が困難であるので、一部手動で行う必要がある。概略位
置合わせ後のフィッティングでは基本的に標準モデルＤ
Ｓの局所的な変形が行われることになるため、形状が合
うことを重視する場合には（１）の手法が好適であり、
アニメーションのように形状よりも位置が合って欲しい
という場合には（２）の手法が好適である。また、特徴
点抽出を行うことに慣れたユーザであれば、処理時間を
短縮するために（２）の手法を用いることは効果的であ
る。 〔全体的概略位置合わせ〕全体的概略位置合わせでは、
３次元データＤＴと標準モデルＤＳとの距離を最小とす
るように、標準モデルＤＳの位置、方向、およびサイズ
を変更する。
するように、（１）全体的概略位置合わせ、（２）局所
的概略位置合わせ、の２つの手法がある。これらの手法
のうち、（１）の手法は自動で行うことができる。
（２）の手法は、その中の特徴点抽出を自動で行うこと
が困難であるので、一部手動で行う必要がある。概略位
置合わせ後のフィッティングでは基本的に標準モデルＤ
Ｓの局所的な変形が行われることになるため、形状が合
うことを重視する場合には（１）の手法が好適であり、
アニメーションのように形状よりも位置が合って欲しい
という場合には（２）の手法が好適である。また、特徴
点抽出を行うことに慣れたユーザであれば、処理時間を
短縮するために（２）の手法を用いることは効果的であ
る。 〔全体的概略位置合わせ〕全体的概略位置合わせでは、
３次元データＤＴと標準モデルＤＳとの距離を最小とす
るように、標準モデルＤＳの位置、方向、およびサイズ
を変更する。
【００４０】すなわち、次の（１）式に示すエネルギー
関数ｅ（ｓｉ，αｉ，ｔｉ）が最小となるｓｉ，αｉ，
ｔｉを導く。なお、ｆ（ｓｉ，αｉ，ｔｉ）は、３次元
データＤＴと標準モデルＤＳとの距離に関連して定義さ
れるエネルギー関数である。ｇ（ｓｉ）は、過剰な変形
を避けるための安定化エネルギー関数である。
関数ｅ（ｓｉ，αｉ，ｔｉ）が最小となるｓｉ，αｉ，
ｔｉを導く。なお、ｆ（ｓｉ，αｉ，ｔｉ）は、３次元
データＤＴと標準モデルＤＳとの距離に関連して定義さ
れるエネルギー関数である。ｇ（ｓｉ）は、過剰な変形
を避けるための安定化エネルギー関数である。
【００４１】また、３次元計測装置１６によって３次元
データＤＴを取得する際に同時に取得した２次元画像Ｆ
Ｔを用い、２次元画像ＦＴ上でのパターンマッチングを
用いて、位置、方向、およびサイズの初期値を与えても
よい。
データＤＴを取得する際に同時に取得した２次元画像Ｆ
Ｔを用い、２次元画像ＦＴ上でのパターンマッチングを
用いて、位置、方向、およびサイズの初期値を与えても
よい。
【００４２】
【数１】
【００４３】但し、 Ｋ ：３次元データの構成点の個数 ｄk ：３次元データの構成点と標準モデルの表面との距
離 Ｗsc：偏倍安定化のウエイトパラメータ Ｓ0 ：初期スケール Ｓi ：各方向の偏倍量（但し、Ｓ3 は奥行き方向であ
る） αi ：標準モデルの各方向の回転 ｔi ：標準モデルの各方向への移動量 ここで、標準モデルＤＳ上の構成点は次の（２）式にし
たがって移動し、それにともなって、３次元データＤＴ
の構成点と標準モデルＤＳの表面との間の距離ｄk が変
化する。
離 Ｗsc：偏倍安定化のウエイトパラメータ Ｓ0 ：初期スケール Ｓi ：各方向の偏倍量（但し、Ｓ3 は奥行き方向であ
る） αi ：標準モデルの各方向の回転 ｔi ：標準モデルの各方向への移動量 ここで、標準モデルＤＳ上の構成点は次の（２）式にし
たがって移動し、それにともなって、３次元データＤＴ
の構成点と標準モデルＤＳの表面との間の距離ｄk が変
化する。
【００４４】
【数２】
【００４５】また、３次元計測装置１６による計測（撮
影）が一方向からに限られる場合に、奥行き方向（Ｚ方
向）の偏倍量が正確に得られない場合がある。その場合
には、３次元データＤＴの形状と標準モデルＤＳの形状
に大きな違いはないとみなし、次の（３）式に示すよう
に、Ｘ，Ｙ方向の偏倍量（Ｓ1,Ｓ2 ）によってＺ方向の
偏倍量（Ｓ3 ）を補正する方法も考えられる。
影）が一方向からに限られる場合に、奥行き方向（Ｚ方
向）の偏倍量が正確に得られない場合がある。その場合
には、３次元データＤＴの形状と標準モデルＤＳの形状
に大きな違いはないとみなし、次の（３）式に示すよう
に、Ｘ，Ｙ方向の偏倍量（Ｓ1,Ｓ2 ）によってＺ方向の
偏倍量（Ｓ3 ）を補正する方法も考えられる。
【００４６】
【数３】
【００４７】但し、 γ ：視線方向ｘ3 変形分へのウエイトパラメータ 〔局所的概略位置合わせ〕上に述べた全体的概略位置合
わせを自動で行った場合に、それがうまく合わなかった
ときに、手動で合わせることとなるが、ここに述べる局
所的概略位置合わせは、手動での位置合わせの際にでき
るだけ簡単に行うための手法である。なお、自動でうま
くいかなかった分は一旦リセットし、初めから手動でや
り直す。
わせを自動で行った場合に、それがうまく合わなかった
ときに、手動で合わせることとなるが、ここに述べる局
所的概略位置合わせは、手動での位置合わせの際にでき
るだけ簡単に行うための手法である。なお、自動でうま
くいかなかった分は一旦リセットし、初めから手動でや
り直す。
【００４８】局所的概略位置合わせでは、３次元データ
ＤＴ上の特徴的な線または点と、標準モデルＤＳ上の特
徴的な線または点とを対応づけ、それらの距離を最小に
するように標準モデルＤＳの位置、方向、およびサイズ
を変更する。なお、線と線とを対応付けた場合は、一方
の線上の点とその点から他方の線上へ降ろした垂線のう
ち最短となる点とを特徴点とし、線上でこれらの点を複
数点取得するものとする。
ＤＴ上の特徴的な線または点と、標準モデルＤＳ上の特
徴的な線または点とを対応づけ、それらの距離を最小に
するように標準モデルＤＳの位置、方向、およびサイズ
を変更する。なお、線と線とを対応付けた場合は、一方
の線上の点とその点から他方の線上へ降ろした垂線のう
ち最短となる点とを特徴点とし、線上でこれらの点を複
数点取得するものとする。
【００４９】すなわち、３次元データＤＴ上の特徴点と
それに対応する標準モデルＤＳ上の特徴点との距離に対
して、次の（４）式に示すエネルギー関数Ｅ（ｓｉ，α
ｉ，ｔｉ）が最小となるように、標準モデルＤＳのｔ
ｉ，αｉ，ｓｉを導く。
それに対応する標準モデルＤＳ上の特徴点との距離に対
して、次の（４）式に示すエネルギー関数Ｅ（ｓｉ，α
ｉ，ｔｉ）が最小となるように、標準モデルＤＳのｔ
ｉ，αｉ，ｓｉを導く。
【００５０】
【数４】
【００５１】但し、 ｋ ：対応する特徴点の個数 Ｍk ：位置合わせ後の標準モデル上の特徴点 ｘ ：位置合わせ前の標準モデル上の特徴点 Ｃk ：３次元データ上の特徴点 Ｓi ：標準モデルの各方向の偏倍量 αi ：標準モデルの各方向の回転 ｔi ：標準モデルの各方向への移動量 また、３次元計測装置１６による計測（撮影）が一方向
からに限られる場合に、奥行き方向（Ｚ方向）のスケー
ルが正確に得られない場合がある。その場合には、上に
述べた全体的概略位置合わせの場合と同様に、次の
（５）式を用いてＺ方向のスケールを補正する方法が考
えられる。
からに限られる場合に、奥行き方向（Ｚ方向）のスケー
ルが正確に得られない場合がある。その場合には、上に
述べた全体的概略位置合わせの場合と同様に、次の
（５）式を用いてＺ方向のスケールを補正する方法が考
えられる。
【００５２】
【数５】
【００５３】〔輪郭・特徴点の抽出〕３次元データＤＴ
または２次元画像ＦＴ上に、輪郭および特徴点を抽出す
る（＃１４）。標準モデルＤＳについての輪郭ＲＫおよ
び特徴点ＴＴを予め抽出しておいた場合には、それらと
同じ位置に配置されるべき輪郭および特徴点を、３次元
データＤＴ上に、またはそれに対応する２次元画像上に
配置する（図７参照）。
または２次元画像ＦＴ上に、輪郭および特徴点を抽出す
る（＃１４）。標準モデルＤＳについての輪郭ＲＫおよ
び特徴点ＴＴを予め抽出しておいた場合には、それらと
同じ位置に配置されるべき輪郭および特徴点を、３次元
データＤＴ上に、またはそれに対応する２次元画像上に
配置する（図７参照）。
【００５４】標準モデルＤＳについての輪郭ＲＫおよび
特徴点ＴＴが予め抽出されていない場合には、３次元デ
ータＤＴ上または２次元画像上への配置と合わせて標準
モデルＤＳ上でも指定する。 〔データ削減〕次に、計算量および誤差を削減するため
に、３次元データＤＴについてデータの削減を行い、必
要且つ信頼性の高いデータのみを取り出す（＃１５）。
データの削減を行うことによって、元の３次元データＤ
Ｔの形状を崩すことなく、計算量を減らすことができ
る。
特徴点ＴＴが予め抽出されていない場合には、３次元デ
ータＤＴ上または２次元画像上への配置と合わせて標準
モデルＤＳ上でも指定する。 〔データ削減〕次に、計算量および誤差を削減するため
に、３次元データＤＴについてデータの削減を行い、必
要且つ信頼性の高いデータのみを取り出す（＃１５）。
データの削減を行うことによって、元の３次元データＤ
Ｔの形状を崩すことなく、計算量を減らすことができ
る。
【００５５】データの削減に当たって、例えば、対象物
の領域外のデータを除外し、不要なデータを除く。例え
ば、２次元画像ＦＴから顔の領域を判別し、その領域に
対応した３次元データＤＴのみを残す。あるいは、対象
物と背景との間の距離の相違を用いて領域を判別する。
また、概略位置合わせの情報を用いて、顔の領域を抽出
するなどの各種の方法がある。また、３次元データＤＴ
に信頼性データＤＲがある場合には、信頼性の高いもの
のみを残す。近隣にデータが多い場合はそのデータを間
引き、密度を平均化する。
の領域外のデータを除外し、不要なデータを除く。例え
ば、２次元画像ＦＴから顔の領域を判別し、その領域に
対応した３次元データＤＴのみを残す。あるいは、対象
物と背景との間の距離の相違を用いて領域を判別する。
また、概略位置合わせの情報を用いて、顔の領域を抽出
するなどの各種の方法がある。また、３次元データＤＴ
に信頼性データＤＲがある場合には、信頼性の高いもの
のみを残す。近隣にデータが多い場合はそのデータを間
引き、密度を平均化する。
【００５６】データを間引いて密度を平均化する場合
は、次の（６）式で示される条件を満たす３次元データ
ＤＴのみを採用する。
は、次の（６）式で示される条件を満たす３次元データ
ＤＴのみを採用する。
【００５７】
【数６】
【００５８】但し、 Ｐk ：構成点 Ｐ〜r ：既に採用された構成点 Ｒdet (x) ：構成点ｘの周囲の密度を表す関数 上の（６）式によると、注目されているデータＰｋにつ
いて、それまでに採用されて残っているデータＰｒとの
間の距離が一定以上であれば、そのデータＰｋを採用す
る。 〔変形〕標準モデルＤＳ全体の変形が行われる（＃１
６）。ここでは、３次元データＤＴの各構成点と標準モ
デルＤＳの面との間の距離に関連して定義されたエネル
ギー関数ｅ1 を用いるとともに、それに加えて、標準モ
デルＤＳの特徴点と３次元データＤＴに対して指定され
た特徴点との間の距離に関連して定義されるエネルギー
関数ｅ3 、標準モデルＤＳの輪郭と３次元データＤＴに
対して指定された輪郭との間の距離に関連して定義され
るエネルギー関数ｅ2 、および、過剰な変形を回避する
ために定義されたエネルギー関数ｅs を用い、それらを
総合したエネルギー関数ｅを評価し、総合のエネルギー
関数ｅが最小となるように標準モデルＤＳの面を変形さ
せる。
いて、それまでに採用されて残っているデータＰｒとの
間の距離が一定以上であれば、そのデータＰｋを採用す
る。 〔変形〕標準モデルＤＳ全体の変形が行われる（＃１
６）。ここでは、３次元データＤＴの各構成点と標準モ
デルＤＳの面との間の距離に関連して定義されたエネル
ギー関数ｅ1 を用いるとともに、それに加えて、標準モ
デルＤＳの特徴点と３次元データＤＴに対して指定され
た特徴点との間の距離に関連して定義されるエネルギー
関数ｅ3 、標準モデルＤＳの輪郭と３次元データＤＴに
対して指定された輪郭との間の距離に関連して定義され
るエネルギー関数ｅ2 、および、過剰な変形を回避する
ために定義されたエネルギー関数ｅs を用い、それらを
総合したエネルギー関数ｅを評価し、総合のエネルギー
関数ｅが最小となるように標準モデルＤＳの面を変形さ
せる。
【００５９】なお、総合のエネルギー関数ｅとして、ｅ
１，ｅ２，ｅ３，ｅｓの４つの関数を用いるのが一番望
ましいが、ｅ１〜ｅ３のうち任意の２つだけを用いるこ
とも可能である。
１，ｅ２，ｅ３，ｅｓの４つの関数を用いるのが一番望
ましいが、ｅ１〜ｅ３のうち任意の２つだけを用いるこ
とも可能である。
【００６０】次に、各エネルギー関数について順次説明
する。 〔標準モデルと３次元データとの距離〕図８において、
３次元データＤＴを構成する点群の１つが点Ｐｋで示さ
れている。標準モデルＤＳの面Ｓにおいて、点Ｐｋに最
も近い点がＱｋで示されている。点Ｑｋは、点Ｐｋから
面Ｓに垂線を下ろしたときの交点である。ここでは、点
Ｐｋと点Ｑｋとの距離が評価される。
する。 〔標準モデルと３次元データとの距離〕図８において、
３次元データＤＴを構成する点群の１つが点Ｐｋで示さ
れている。標準モデルＤＳの面Ｓにおいて、点Ｐｋに最
も近い点がＱｋで示されている。点Ｑｋは、点Ｐｋから
面Ｓに垂線を下ろしたときの交点である。ここでは、点
Ｐｋと点Ｑｋとの距離が評価される。
【００６１】すなわち、３次元データＤＴの各点と標準
モデルＤＳの面との差分エネルギーｅ1 は、データ削減
後の３次元データＤＴ上の点Ｐｋと、それを標準モデル
ＤＳの面Ｓ上に投影した点Ｑｋとの二乗距離を用いて、
次の（７）式によって算出される。
モデルＤＳの面との差分エネルギーｅ1 は、データ削減
後の３次元データＤＴ上の点Ｐｋと、それを標準モデル
ＤＳの面Ｓ上に投影した点Ｑｋとの二乗距離を用いて、
次の（７）式によって算出される。
【００６２】
【数７】
【００６３】但し、 Ｔ1A：制御点群 Ｐk ：削減後の３次元データの構成点 Ｑk ：構成点からモデル表面への投影点 Ｋ ：削減後の構成点の個数 ｄk ：構成点からモデル表面への投影方向，ｄk ＝（Ｑ
k-Ｐk ）／｜Ｑk-Ｐk ｜ ρk ：構成点Ｐk の信頼性 w(ρk)：信頼性関数，w(ρk)＝１／（α＋ρk ）n Ｗ ：Σw(ρk) Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 〔標準モデル上の輪郭と計測データ上の輪郭との距離〕
ここでは、３次元データＤＴ上に指定された輪郭ＲＫ、
または２次元画像ＦＴ上に指定された輪郭ＲＫと、標準
モデルＤＳ上の輪郭ＲＫとの距離が評価される。
k-Ｐk ）／｜Ｑk-Ｐk ｜ ρk ：構成点Ｐk の信頼性 w(ρk)：信頼性関数，w(ρk)＝１／（α＋ρk ）n Ｗ ：Σw(ρk) Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 〔標準モデル上の輪郭と計測データ上の輪郭との距離〕
ここでは、３次元データＤＴ上に指定された輪郭ＲＫ、
または２次元画像ＦＴ上に指定された輪郭ＲＫと、標準
モデルＤＳ上の輪郭ＲＫとの距離が評価される。
【００６４】計測データの輪郭ＲＫが３次元データＤＴ
上に指定される場合は、３次元データＤＴの輪郭ＲＫ上
の点から標準モデルＤＳ上の対応する輪郭ＲＫへ垂線を
降ろし、その垂線のうち最短のものを距離とする。な
お、輪郭ＲＫ上では複数の点を指定する。
上に指定される場合は、３次元データＤＴの輪郭ＲＫ上
の点から標準モデルＤＳ上の対応する輪郭ＲＫへ垂線を
降ろし、その垂線のうち最短のものを距離とする。な
お、輪郭ＲＫ上では複数の点を指定する。
【００６５】計測データの輪郭ＲＫが２次元画像ＦＴ上
に指定される場合は、２次元画像ＦＴを撮影したカメラ
についてのカメラパラメータを用い、標準モデルＤＳの
輪郭ＲＫを２次元画像ＦＴ上に投影する。２次元画像Ｆ
Ｔの輪郭ＲＫ上の点から、標準モデルＤＳの対応する輪
郭ＲＫへ垂線を降ろし、その垂線のうち最短のものを距
離とする。なお、輪郭ＲＫ上では複数の点を指定する。
に指定される場合は、２次元画像ＦＴを撮影したカメラ
についてのカメラパラメータを用い、標準モデルＤＳの
輪郭ＲＫを２次元画像ＦＴ上に投影する。２次元画像Ｆ
Ｔの輪郭ＲＫ上の点から、標準モデルＤＳの対応する輪
郭ＲＫへ垂線を降ろし、その垂線のうち最短のものを距
離とする。なお、輪郭ＲＫ上では複数の点を指定する。
【００６６】計測データの輪郭ＲＫが３次元データＤＴ
上に指定される場合に、標準モデルＤＳの輪郭ＲＫ毎の
差分エネルギーｅ2 は、それらの距離の二乗和を用いて
次の（８）式によって計算される。
上に指定される場合に、標準モデルＤＳの輪郭ＲＫ毎の
差分エネルギーｅ2 は、それらの距離の二乗和を用いて
次の（８）式によって計算される。
【００６７】
【数８】
【００６８】但し、 Ｔ2A：制御点群 ｐk ：３次元データ上の輪郭点 ｑk ：３次元データ上の輪郭点から対応するモデル輪郭
への垂足点 ｎ ：１つのモデル輪郭に対応が付けられている３次元
データの輪郭点数 ｄk ：計測データの輪郭点から対応するモデル輪郭線へ
の投影方向，ｄk ＝（ｑk-ｐk ）／｜ｑk-ｐk ｜ ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 計測データの輪郭ＲＫが２次元画像ＦＴ上に指定される
場合に、標準モデルＤＳの輪郭ＲＫ毎の差分エネルギー
ｅ2 ’は次の（９）式によって計算される。
への垂足点 ｎ ：１つのモデル輪郭に対応が付けられている３次元
データの輪郭点数 ｄk ：計測データの輪郭点から対応するモデル輪郭線へ
の投影方向，ｄk ＝（ｑk-ｐk ）／｜ｑk-ｐk ｜ ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 計測データの輪郭ＲＫが２次元画像ＦＴ上に指定される
場合に、標準モデルＤＳの輪郭ＲＫ毎の差分エネルギー
ｅ2 ’は次の（９）式によって計算される。
【００６９】
【数９】
【００７０】但し、 Ｔ2A：制御点群 ｐk ：２次元画像上の輪郭点 ｑk ：２次元画像上の輪郭点から２次元画像上に投影さ
れた対応するモデル輪郭への垂足点 ｎ ：１つのモデル輪郭に対応が付けられている計測デ
ータの輪郭点数 ｄk ：２次元画像上の輪郭点から対応するモデル輪郭へ
の投影方向，ｄk ＝（ｑk-ｐk ）／｜ｑk-ｐk ｜ ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 計測データの輪郭ＲＫを２次元画像ＦＴ上で指定する理
由は、例えば３次元データＤＴがあいまいな場合に、３
次元データＤＴ上に輪郭ＲＫを指定すると輪郭ＲＫその
ものが不正確となるからである。したがって、それに代
えて２次元画像ＦＴを用いて輪郭ＲＫを抽出するのであ
る。 〔標準モデル上の特徴点と対応した計測データ上の特徴
点との距離〕計測データ上に特徴点ＴＴを設定すること
により、３次元データＤＴ上に指定された特徴点ＴＴ、
または２次元画像ＦＴ上に指定された特徴点ＴＴと、標
準モデルＤＳ上の特徴点との距離が評価される。
れた対応するモデル輪郭への垂足点 ｎ ：１つのモデル輪郭に対応が付けられている計測デ
ータの輪郭点数 ｄk ：２次元画像上の輪郭点から対応するモデル輪郭へ
の投影方向，ｄk ＝（ｑk-ｐk ）／｜ｑk-ｐk ｜ ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 計測データの輪郭ＲＫを２次元画像ＦＴ上で指定する理
由は、例えば３次元データＤＴがあいまいな場合に、３
次元データＤＴ上に輪郭ＲＫを指定すると輪郭ＲＫその
ものが不正確となるからである。したがって、それに代
えて２次元画像ＦＴを用いて輪郭ＲＫを抽出するのであ
る。 〔標準モデル上の特徴点と対応した計測データ上の特徴
点との距離〕計測データ上に特徴点ＴＴを設定すること
により、３次元データＤＴ上に指定された特徴点ＴＴ、
または２次元画像ＦＴ上に指定された特徴点ＴＴと、標
準モデルＤＳ上の特徴点との距離が評価される。
【００７１】３次元データＤＴ上の特徴点ＴＴと標準モ
デルＤＳ上の特徴点ＴＴとの差分エネルギーｅ3 は、対
応する特徴点ＴＴの二乗距離を用いて次の（１０）式に
よって計算される。
デルＤＳ上の特徴点ＴＴとの差分エネルギーｅ3 は、対
応する特徴点ＴＴの二乗距離を用いて次の（１０）式に
よって計算される。
【００７２】なお、２次元画像ＦＴ上に特徴点ＴＴを指
定した場合は、カメラパラメータを用いて標準モデルＤ
Ｓの特徴点ＴＴを２次元画像ＦＴ上に投影し、２次元画
像ＦＴ上での差分エネルギーを計算する。
定した場合は、カメラパラメータを用いて標準モデルＤ
Ｓの特徴点ＴＴを２次元画像ＦＴ上に投影し、２次元画
像ＦＴ上での差分エネルギーを計算する。
【００７３】
【数１０】
【００７４】但し、 Ｔ3A：制御点群 Ｆk ：計測データの特徴点 Ｇk ：計測データの特徴点に対応する標準モデル上の特
徴点 Ｎ ：計測データの特徴点と標準モデル上の特徴点との
対応数 Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 〔過剰な変形を回避するための安定化エネルギー〕上に
述べた差分のエネルギーに加え、過剰な変形を回避する
ための安定化エネルギーｅs が導入される。
徴点 Ｎ ：計測データの特徴点と標準モデル上の特徴点との
対応数 Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール 〔過剰な変形を回避するための安定化エネルギー〕上に
述べた差分のエネルギーに加え、過剰な変形を回避する
ための安定化エネルギーｅs が導入される。
【００７５】すなわち、変形に用いられる制御点の間
が、図９に示す仮想バネ(elastic bar) ＫＢによってつ
ながれているものとする。仮想バネＫＢの制約に基づい
て、標準モデルＤＳの面Ｓの形状の安定化のための安定
化エネルギーｅs が定義される。
が、図９に示す仮想バネ(elastic bar) ＫＢによってつ
ながれているものとする。仮想バネＫＢの制約に基づい
て、標準モデルＤＳの面Ｓの形状の安定化のための安定
化エネルギーｅs が定義される。
【００７６】なお、仮想バネは必ずしも制御点間に張ら
れている必要はない。制御点と仮想バネとの関係が明確
であればよい。図９において、フィッティング対象であ
る標準モデルＤＳの面Ｓの一部が示されている。面Ｓ
は、制御点群Ｕ＝｜ｕｉ，ｉ＝１…Ｎ｜で形成されてい
る。隣接する制御点間には、仮想バネＫＢが配置されて
いる。仮想バネＫＢは、制御点間に引っ張り力による拘
束を与え、面Ｓの異常変形を防ぐ働きをする。
れている必要はない。制御点と仮想バネとの関係が明確
であればよい。図９において、フィッティング対象であ
る標準モデルＤＳの面Ｓの一部が示されている。面Ｓ
は、制御点群Ｕ＝｜ｕｉ，ｉ＝１…Ｎ｜で形成されてい
る。隣接する制御点間には、仮想バネＫＢが配置されて
いる。仮想バネＫＢは、制御点間に引っ張り力による拘
束を与え、面Ｓの異常変形を防ぐ働きをする。
【００７７】つまり、隣接する制御点ｕの間隔が大きく
なった場合に、それに応じて仮想バネＫＢによる引っ張
り力が大きくなる。例えば、点Ｑｋが点Ｐｋに近づく場
合に、その移動にともなって制御点ｕの間隔が大きくな
ると、仮想バネＫＢによる引っ張り力が増大する。点Ｑ
ｋが移動しても制御点ｕの間隔が変わらなければ、つま
り制御点ｕ間の相対位置関係に変化がなければ、仮想バ
ネＫＢによる引っ張り力は変化しない。仮想バネＫＢに
よる引っ張り力を面Ｓの全体について平均化したもの
を、安定化エネルギーｅs として定義する。したがっ
て、面Ｓの一部が突出して変形した場合に安定化エネル
ギーｅs は増大する。面Ｓの全体が平均して移動すれば
安定化エネルギーｅs は零である。
なった場合に、それに応じて仮想バネＫＢによる引っ張
り力が大きくなる。例えば、点Ｑｋが点Ｐｋに近づく場
合に、その移動にともなって制御点ｕの間隔が大きくな
ると、仮想バネＫＢによる引っ張り力が増大する。点Ｑ
ｋが移動しても制御点ｕの間隔が変わらなければ、つま
り制御点ｕ間の相対位置関係に変化がなければ、仮想バ
ネＫＢによる引っ張り力は変化しない。仮想バネＫＢに
よる引っ張り力を面Ｓの全体について平均化したもの
を、安定化エネルギーｅs として定義する。したがっ
て、面Ｓの一部が突出して変形した場合に安定化エネル
ギーｅs は増大する。面Ｓの全体が平均して移動すれば
安定化エネルギーｅs は零である。
【００７８】安定化エネルギーｅs は、仮想バネＫＢの
変形の状態により、次の（１１）式により求められる。
変形の状態により、次の（１１）式により求められる。
【００７９】
【数１１】
【００８０】但し、 ＴsA：制御点群 Ｕ〜m,Ｖ〜m ：仮想バネの端点（制御点）の初期値 Ｕm,Ｖm ：変形後の仮想バネの端点 Ｌ0m：初期状態の仮想バネの長さ，Ｌ0m＝｜Ｕ〜m −Ｖ
〜m ｜ Ｍ ：仮想バネの本数 ｃ ：バネ係数 Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール したがって、バネ係数ｃを大きくすると、仮想バネＫＢ
は硬くなって変形し難くなる。
〜m ｜ Ｍ ：仮想バネの本数 ｃ ：バネ係数 Ｌ ：種々のエネルギーを同一単位で扱うための調整用
スケール したがって、バネ係数ｃを大きくすると、仮想バネＫＢ
は硬くなって変形し難くなる。
【００８１】このような安定化エネルギー関数ｅs を導
入することにより、面Ｓの形状変化に一定の拘束を設け
ることとなり、面Ｓの過度の変形を防ぐことができる。 〔総合のエネルギー関数〕上に述べたように、各エネル
ギー関数ｅ1,ｅ2,ｅ3,ｅ4 について、それぞれ制御点群
Ｔ1A, Ｔ2A, Ｔ3A, ＴsAが用いられる。ここでは、これ
らの制御点群Ｔ1A〜ＴsAは同じであるが、後述するよう
に互いに異ならせることができる。これら制御点群ＴＡ
を用いて標準モデルＤＳの変形を行い、次の（１２）式
に示す総合エネルギー関数ｅ（ＴＡ）を最小にする制御
点群ＴＡを求める。
入することにより、面Ｓの形状変化に一定の拘束を設け
ることとなり、面Ｓの過度の変形を防ぐことができる。 〔総合のエネルギー関数〕上に述べたように、各エネル
ギー関数ｅ1,ｅ2,ｅ3,ｅ4 について、それぞれ制御点群
Ｔ1A, Ｔ2A, Ｔ3A, ＴsAが用いられる。ここでは、これ
らの制御点群Ｔ1A〜ＴsAは同じであるが、後述するよう
に互いに異ならせることができる。これら制御点群ＴＡ
を用いて標準モデルＤＳの変形を行い、次の（１２）式
に示す総合エネルギー関数ｅ（ＴＡ）を最小にする制御
点群ＴＡを求める。
【００８２】
【数１２】
【００８３】但し、 ｅ1(Ｔ1A）: ３次元データの構成点とモデル表面との差
分エネルギー e2s (T2A）: モデル輪郭毎の計測データ上の輪郭との差
分エネルギー ｅ3(Ｔ3A）: 計測データの特徴点とモデル上の特徴点と
の差分エネルギー ｅS(ＴSA）: 過剰な変形を回避するための安定化エネル
ギー ｗi, c : それぞれのエネルギーのウエイトパラメー
タ ＴＡ＝Ｔ1A＝Ｔ2A＝Ｔ3A＝ＴSA 〔繰り返し変形〕実際には繰り返し変形を行う（＃１
７）。つまり、制御点を動かして繰り返して変形を行
う。ｎ回目の変形後の総合エネルギー関数をｅn(ＴＡ）
とすると、次の（１３）式の条件が満たされたときに、
総合エネルギー関数ｅn （ＴＡ）が収束したと判断す
る。
分エネルギー e2s (T2A）: モデル輪郭毎の計測データ上の輪郭との差
分エネルギー ｅ3(Ｔ3A）: 計測データの特徴点とモデル上の特徴点と
の差分エネルギー ｅS(ＴSA）: 過剰な変形を回避するための安定化エネル
ギー ｗi, c : それぞれのエネルギーのウエイトパラメー
タ ＴＡ＝Ｔ1A＝Ｔ2A＝Ｔ3A＝ＴSA 〔繰り返し変形〕実際には繰り返し変形を行う（＃１
７）。つまり、制御点を動かして繰り返して変形を行
う。ｎ回目の変形後の総合エネルギー関数をｅn(ＴＡ）
とすると、次の（１３）式の条件が満たされたときに、
総合エネルギー関数ｅn （ＴＡ）が収束したと判断す
る。
【００８４】
【数１３】
【００８５】さて、ここで、変形処理の全体的な流れを
図３に沿って説明する。まず、計測データと標準モデル
ＤＳとの間で対応する点の組みを作成する（図８のＰｋ
とＱｋ）（＃２１）。
図３に沿って説明する。まず、計測データと標準モデル
ＤＳとの間で対応する点の組みを作成する（図８のＰｋ
とＱｋ）（＃２１）。
【００８６】面Ｓを変形し（＃２２）、変形後の総合エ
ネルギー関数ｅn(ＴＡ）を計算する（＃２３）。総合エ
ネルギー関数ｅn(ＴＡ）が収束するまで（＃２４でイエ
ス）、処理を繰り返す。
ネルギー関数ｅn(ＴＡ）を計算する（＃２３）。総合エ
ネルギー関数ｅn(ＴＡ）が収束するまで（＃２４でイエ
ス）、処理を繰り返す。
【００８７】総合エネルギー関数ｅn(ＴＡ）の収束を判
定する方法として、上に述べたように総合エネルギー関
数ｅn(ＴＡ）が所定の値よりも小さくなったときを収束
とする方法、前回の計算と比較べた変化の割合が所定値
以下となったときに収束とする方法など、公知の方法を
用いることが可能である。 〔異なる制御点の使用〕上に述べた（１２）式では、フ
ィッティング対象（３次元データＤＴの構成点、輪郭Ｒ
Ｋ、特徴点ＴＴ）がそれぞれ異なるエネルギー関数ｅ1
〜ｅ4 について、同じ制御点群を使用したが、ここに示
す例は、フィッティング対象毎、すなわちエネルギー関
数毎に異なる制御点群を用いる。つまり、制御点群Ｔ1
A, Ｔ2A,Ｔ3A, ＴsAを互いに異ならせる。
定する方法として、上に述べたように総合エネルギー関
数ｅn(ＴＡ）が所定の値よりも小さくなったときを収束
とする方法、前回の計算と比較べた変化の割合が所定値
以下となったときに収束とする方法など、公知の方法を
用いることが可能である。 〔異なる制御点の使用〕上に述べた（１２）式では、フ
ィッティング対象（３次元データＤＴの構成点、輪郭Ｒ
Ｋ、特徴点ＴＴ）がそれぞれ異なるエネルギー関数ｅ1
〜ｅ4 について、同じ制御点群を使用したが、ここに示
す例は、フィッティング対象毎、すなわちエネルギー関
数毎に異なる制御点群を用いる。つまり、制御点群Ｔ1
A, Ｔ2A,Ｔ3A, ＴsAを互いに異ならせる。
【００８８】この場合には、総合エネルギー関数ｅ（Ｔ
Ａ）として上に示した（１２）式を用いることができ
る。但し、そこに用いられる制御点群Ｔ1A, Ｔ2A, Ｔ3
A, ＴSAは、互いに異なっており、次に示す関係にあ
る。
Ａ）として上に示した（１２）式を用いることができ
る。但し、そこに用いられる制御点群Ｔ1A, Ｔ2A, Ｔ3
A, ＴSAは、互いに異なっており、次に示す関係にあ
る。
【００８９】ＴＡ⊃Ｔ1A ＴＡ⊃Ｔ2A ＴＡ⊃Ｔ3A ＴＡ＝ＴSA すなわち、上に述べたように、特徴点は点であるので、
特徴点同士のエネルギーに対しては、局所的な動きにな
ってしまう。例えば、３次元データＤＴと標準モデルＤ
Ｓとの目の位置を合わせようとするときに、特徴点ＴＴ
が設定された部分のみが強く引っ張られ、いびつに変形
する可能性がある。そのような場合に、全体的な動きと
なるようにするのが好ましい。
特徴点同士のエネルギーに対しては、局所的な動きにな
ってしまう。例えば、３次元データＤＴと標準モデルＤ
Ｓとの目の位置を合わせようとするときに、特徴点ＴＴ
が設定された部分のみが強く引っ張られ、いびつに変形
する可能性がある。そのような場合に、全体的な動きと
なるようにするのが好ましい。
【００９０】一方、３次元データＤＴの構成点に対して
は、目の横などは細かく動いてほしい。しかし、少数の
制御点しか用いない場合には、構成点は細かく移動しな
い。そこで、３次元データＤＴの構成点については多数
の制御点を用い、特徴点については少数の制御点を用い
る。輪郭ＲＫについてはその中間の量とする。
は、目の横などは細かく動いてほしい。しかし、少数の
制御点しか用いない場合には、構成点は細かく移動しな
い。そこで、３次元データＤＴの構成点については多数
の制御点を用い、特徴点については少数の制御点を用い
る。輪郭ＲＫについてはその中間の量とする。
【００９１】例えば、輪郭ＲＫが急激に変化する部分に
ついては、制御点を細かくする。安定化エネルギーは全
ての制御点に対してかける。このような制御点の選択
は、標準モデルＤＳを準備する際に行う。
ついては、制御点を細かくする。安定化エネルギーは全
ての制御点に対してかける。このような制御点の選択
は、標準モデルＤＳを準備する際に行う。
【００９２】なお、制御点群Ｔ1A, Ｔ2A, Ｔ3A, ＴsAは
互いに異なるのであるが、各制御点群に含まれる制御点
は、互いに共通に用いられるものもある。 〔信頼性に応じたウエイトの変更〕上に述べた（１２）
式では、各情報についての信頼性が同等であるとして総
合エネルギー関数ｅ（ＴＡ）を評価したが、ここに示す
例は、それぞれの情報の信頼性に応じて重みを変更す
る。これによって、様々な情報の中からより信頼性の高
い情報に重きを置いて判定することができる。
互いに異なるのであるが、各制御点群に含まれる制御点
は、互いに共通に用いられるものもある。 〔信頼性に応じたウエイトの変更〕上に述べた（１２）
式では、各情報についての信頼性が同等であるとして総
合エネルギー関数ｅ（ＴＡ）を評価したが、ここに示す
例は、それぞれの情報の信頼性に応じて重みを変更す
る。これによって、様々な情報の中からより信頼性の高
い情報に重きを置いて判定することができる。
【００９３】なお、それぞれの情報の信頼性は、３次元
計測時、または輪郭・特徴点の自動抽出時に得られるも
のとする。この場合には、次の（１４）式に示す総合エ
ネルギー関数ｅ（ＴＡ）を最小にする制御点群ＴＡを求
める。
計測時、または輪郭・特徴点の自動抽出時に得られるも
のとする。この場合には、次の（１４）式に示す総合エ
ネルギー関数ｅ（ＴＡ）を最小にする制御点群ＴＡを求
める。
【００９４】
【数１４】
【００９５】但し、 ρi ：各エネルギー関数ｅi （ＴＡ）に関する情報の信
頼性 Ｗ (ρi)：信頼性関数 ＴＡ＝Ｔ1A＝Ｔ2A＝Ｔ3A＝ＴSA 〔部分領域変形〕ステップ＃１７までの処理によって、
従来の技術に比べて、より精密な３次元モデルＭＬを得
ることができる。しかし、ステップ＃１７までの処理は
対象物全体を対象として行われているので、局所的に特
徴を有する部分については必ずしも精密なフィッティン
グがなされているとは限らない。そこで、対象物のうち
特徴のある部分またはステップ＃１７までの処理で十分
なフィッティングがなされていない部分を３次元データ
ＤＴから抽出し、抽出した３次元データＤＴのみを用い
て、さらに標準モデルＤＳのフィッティングを行う（＃
１８）。
頼性 Ｗ (ρi)：信頼性関数 ＴＡ＝Ｔ1A＝Ｔ2A＝Ｔ3A＝ＴSA 〔部分領域変形〕ステップ＃１７までの処理によって、
従来の技術に比べて、より精密な３次元モデルＭＬを得
ることができる。しかし、ステップ＃１７までの処理は
対象物全体を対象として行われているので、局所的に特
徴を有する部分については必ずしも精密なフィッティン
グがなされているとは限らない。そこで、対象物のうち
特徴のある部分またはステップ＃１７までの処理で十分
なフィッティングがなされていない部分を３次元データ
ＤＴから抽出し、抽出した３次元データＤＴのみを用い
て、さらに標準モデルＤＳのフィッティングを行う（＃
１８）。
【００９６】図１１は部分領域ＢＲＹの抽出の例を示す
図、図１２（Ａ）（Ｂ）（Ｃ）は部分領域ＢＲＹを用い
て標準モデルＤＳの変形を行う方法の例を説明する図で
ある。
図、図１２（Ａ）（Ｂ）（Ｃ）は部分領域ＢＲＹを用い
て標準モデルＤＳの変形を行う方法の例を説明する図で
ある。
【００９７】図１１に示すように、３次元データＤＴか
ら部分領域ＢＲＹを抽出する。各部分領域ＢＲＹａ、Ｂ
ＲＹｂ、ＢＲＹｃは、それぞれ、対象物の目およびその
周辺、口およびその周辺、鼻およびその周辺を、３次元
データＤＴより抽出して得られた３次元データである。
また、各部分領域ＢＲＹは、必要に応じて、データ量を
減らすためにデータ削減が行われる。データ削減の処理
は、例えば、ステップ＃１５で行ったデータ削減と同様
の手順で行う。後述する部分領域変形では、フィッティ
ングの領域が部分領域ＢＲＹに限定されるので、（６）
式の右辺をステップ＃１５のときよりも０に近くしてデ
ータ削減率を低くし、これによって部分領域ＢＲＹの精
密性を維持した場合であってもフィッティング処理に多
くの時間を要さない。従って、部分領域ＢＲＹの範囲の
広さ、要求する精密性、および処理時間などを考慮し
て、部分領域ＢＲＹごとにデータ削減率を設定すること
ができる。部分領域ＢＲＹの抽出は、ステップ＃１２の
処理のとき、つまり、３次元データＤＴを得たときに予
め行っておいてもよいし、ステップ＃１７までの処理が
完了した後に行ってもよい。
ら部分領域ＢＲＹを抽出する。各部分領域ＢＲＹａ、Ｂ
ＲＹｂ、ＢＲＹｃは、それぞれ、対象物の目およびその
周辺、口およびその周辺、鼻およびその周辺を、３次元
データＤＴより抽出して得られた３次元データである。
また、各部分領域ＢＲＹは、必要に応じて、データ量を
減らすためにデータ削減が行われる。データ削減の処理
は、例えば、ステップ＃１５で行ったデータ削減と同様
の手順で行う。後述する部分領域変形では、フィッティ
ングの領域が部分領域ＢＲＹに限定されるので、（６）
式の右辺をステップ＃１５のときよりも０に近くしてデ
ータ削減率を低くし、これによって部分領域ＢＲＹの精
密性を維持した場合であってもフィッティング処理に多
くの時間を要さない。従って、部分領域ＢＲＹの範囲の
広さ、要求する精密性、および処理時間などを考慮し
て、部分領域ＢＲＹごとにデータ削減率を設定すること
ができる。部分領域ＢＲＹの抽出は、ステップ＃１２の
処理のとき、つまり、３次元データＤＴを得たときに予
め行っておいてもよいし、ステップ＃１７までの処理が
完了した後に行ってもよい。
【００９８】図１２に示すように、標準モデルＤＳ１
ａ、ＤＳ１ｂは、標準モデルＤＳ１の部分領域変形の過
程を示すものである。ステップ＃１８においては、ステ
ップ＃１７までの処理で得られた図１２（Ａ）の標準モ
デルＤＳ１を、図１２（Ｂ）に示すように部分領域ＢＲ
Ｙａを用いてフィッティングし、標準モデルＤＳ１ａを
得る。フィッティングは、ステップ＃１６で行ったよう
に、変形ないし繰り返し変形と同様の手順で行われ、
（７）式の制御点群Ｔ1A、点Ｐk 、点Ｑk 、（８）式お
よび（９）式の制御点群Ｔ2A、点ｐk 、点ｑk 、（１
０）式の制御点群Ｔ3A、点Ｆk 、点Ｇk 、（１１）式の
制御点群ＴsA、点Ｕ〜m 、点Ｖ〜m 、または（１３）式
のしきい値εなどについて、当該部分領域ＢＲＹに応じ
て好適な値を用いればよい。
ａ、ＤＳ１ｂは、標準モデルＤＳ１の部分領域変形の過
程を示すものである。ステップ＃１８においては、ステ
ップ＃１７までの処理で得られた図１２（Ａ）の標準モ
デルＤＳ１を、図１２（Ｂ）に示すように部分領域ＢＲ
Ｙａを用いてフィッティングし、標準モデルＤＳ１ａを
得る。フィッティングは、ステップ＃１６で行ったよう
に、変形ないし繰り返し変形と同様の手順で行われ、
（７）式の制御点群Ｔ1A、点Ｐk 、点Ｑk 、（８）式お
よび（９）式の制御点群Ｔ2A、点ｐk 、点ｑk 、（１
０）式の制御点群Ｔ3A、点Ｆk 、点Ｇk 、（１１）式の
制御点群ＴsA、点Ｕ〜m 、点Ｖ〜m 、または（１３）式
のしきい値εなどについて、当該部分領域ＢＲＹに応じ
て好適な値を用いればよい。
【００９９】それぞれの部分領域ＢＲＹについて、順
次、部分領域変形を行う（＃１９でイエス、＃１８）。
各部分領域ＢＲＹごとに、制御点群などをそれぞれ異な
らせてフィッティングを行う。これにより、各部分領域
ＢＲＹごとに、標準モデルＤＳ１をさらに緻密にフィッ
ティングさせることができる。
次、部分領域変形を行う（＃１９でイエス、＃１８）。
各部分領域ＢＲＹごとに、制御点群などをそれぞれ異な
らせてフィッティングを行う。これにより、各部分領域
ＢＲＹごとに、標準モデルＤＳ１をさらに緻密にフィッ
ティングさせることができる。
【０１００】例えば、図１２（Ｂ）に示す標準モデルＤ
Ｓ１ａを得た後、図１２（Ｃ）に示すように部分領域Ｂ
ＲＹｂを用いてフィッティングし、標準モデルＤＳ１ｂ
（３次元モデルＭＬ）を得る。
Ｓ１ａを得た後、図１２（Ｃ）に示すように部分領域Ｂ
ＲＹｂを用いてフィッティングし、標準モデルＤＳ１ｂ
（３次元モデルＭＬ）を得る。
【０１０１】なお、各部分領域ＢＲＹは、他の部分領域
ＢＲＹの一部と重なり、または他の部分領域ＢＲＹに含
まれていてもよい。例えば、図１１に示すように、部分
領域ＢＲＹａの一部と部分領域ＢＲＹｃの一部とが重な
っていてもよいし、部分領域ＢＲＹｂについて部分領域
変形を行った後に、上唇のみを新たな部分領域ＢＲＹと
して抽出し、部分領域変形を行ってもよい。
ＢＲＹの一部と重なり、または他の部分領域ＢＲＹに含
まれていてもよい。例えば、図１１に示すように、部分
領域ＢＲＹａの一部と部分領域ＢＲＹｃの一部とが重な
っていてもよいし、部分領域ＢＲＹｂについて部分領域
変形を行った後に、上唇のみを新たな部分領域ＢＲＹと
して抽出し、部分領域変形を行ってもよい。
【０１０２】上に述べた実施形態によると、全体的に標
準モデルＤＳのフィッティングを行った後、部分領域Ｂ
ＲＹを用いて部分的に標準モデルＤＳのフィッティング
を行うので、目または口もとなどの局部について局部的
な異常変形を起こすことなく、それらをよりよく一致さ
せることができる。したがって、対象物により一層近い
３次元モデルＭＬを生成することができる。
準モデルＤＳのフィッティングを行った後、部分領域Ｂ
ＲＹを用いて部分的に標準モデルＤＳのフィッティング
を行うので、目または口もとなどの局部について局部的
な異常変形を起こすことなく、それらをよりよく一致さ
せることができる。したがって、対象物により一層近い
３次元モデルＭＬを生成することができる。
【０１０３】上に述べた実施形態において、モデリング
装置１の構成、回路、処理内容、処理順序、処理タイミ
ング、係数の設定などは、本発明の趣旨に沿って適宜変
更することができる。
装置１の構成、回路、処理内容、処理順序、処理タイミ
ング、係数の設定などは、本発明の趣旨に沿って適宜変
更することができる。
【０１０４】
【発明の効果】本発明によると、目または口もとなどの
局部について、局部的な異常変形を起こすことなく、よ
りよく一致させることができる。
局部について、局部的な異常変形を起こすことなく、よ
りよく一致させることができる。
【図１】本発明に係るモデリング装置を示すブロック図
である。
である。
【図２】モデリング装置の全体の処理の流れを示すフロ
ーチャートである。
ーチャートである。
【図３】変形処理を示すフローチャートである。
【図４】標準モデルの例を示す図である。
【図５】対象物から３次元データを取得する様子を示す
図である。
図である。
【図６】概略の位置合わせの様子を示す図である。
【図７】輪郭および特徴点の抽出処理の様子を示す図で
ある。
ある。
【図８】標準モデルの面と３次元データの点とを模式的
に示す図である。
に示す図である。
【図９】標準モデルの異常変形を防ぐための仮想バネを
説明するための図である。
説明するための図である。
【図１０】対象物の３次元データおよび信頼性データを
取得する方法の例を説明する図である。
取得する方法の例を説明する図である。
【図１１】部分領域の抽出の例を示す図である。
【図１２】部分領域を用いて標準モデルの変形を行う方
法の例を説明する図である。
法の例を説明する図である。
１ モデリング装置（３次元モデルの生成装置） １０ 処理装置 ＤＴ ３次元データ（計測データ） ＦＴ ２次元画像（計測データ） ＢＲＹ 部分領域 ＤＳ，ＤＳ１，ＤＳ１ａ 標準モデル ＤＳ１ｂ 標準モデル（３次元モデル） ＭＬ ３次元モデル ＴＡ 制御点群 Ｐk 構成点（点群） Ｓ 面 ＰＲ モデリングプログラム
Claims (5)
- 【請求項１】点群に基づいて面を変形する方法であっ
て、 前記点群から複数の部分領域を選択し、その部分領域ご
との点群に基づいて面を変形する、 ことを特徴とする点群に面をフィッティングする方法。 - 【請求項２】３次元の標準モデルを計測データに基づい
て変形することによって３次元モデルを生成する方法で
あって、 前記計測データから複数の部分領域を選択し、その部分
領域ごとの計測データに基づいて前記標準モデルを変形
する、 ことを特徴とする３次元モデルの生成方法。 - 【請求項３】計測データの全体に基づいて標準モデルを
変形した後に、請求項１または請求項２に記載の方法に
より前記標準モデルを変形する、 ３次元モデルの生成方法。 - 【請求項４】前記標準モデルには標準モデルを変形させ
るための制御点が定義されており、 前記部分領域ごとに、前記制御点、前記計測データの個
数を削減する削減率、または前記標準モデルの変形の度
合を評価する評価関数の少なくとも１つを変更する、 請求項２記載の３次元モデルの生成方法。 - 【請求項５】３次元の標準モデルを計測データに基づい
て変形することによって３次元モデルを生成するモデリ
ング装置であって、 前記計測データから複数の部分領域を選択する手段と、 選択した部分領域ごとの計測データに基づいて前記標準
モデルを変形する手段と、 を有してなることを特徴とするモデリング装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197779A JP2002015310A (ja) | 2000-06-30 | 2000-06-30 | 点群に面をフィッティングする方法およびモデリング装置 |
| US09/816,405 US6992665B2 (en) | 2000-03-29 | 2001-03-26 | Method and device for fitting surface to point group, modeling device, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000197779A JP2002015310A (ja) | 2000-06-30 | 2000-06-30 | 点群に面をフィッティングする方法およびモデリング装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010185842A Division JP4924747B2 (ja) | 2010-08-23 | 2010-08-23 | 標準モデルの変形方法およびモデリング装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002015310A true JP2002015310A (ja) | 2002-01-18 |
Family
ID=18696061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000197779A Pending JP2002015310A (ja) | 2000-03-29 | 2000-06-30 | 点群に面をフィッティングする方法およびモデリング装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002015310A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007102601A (ja) * | 2005-10-06 | 2007-04-19 | Konica Minolta Holdings Inc | 立体モデル生成装置および立体モデル生成方法 |
| JP2007102412A (ja) * | 2005-10-03 | 2007-04-19 | Konica Minolta Holdings Inc | モデリングシステム、モデリング方法およびプログラム |
| JP2007322351A (ja) * | 2006-06-05 | 2007-12-13 | Mitsubishi Electric Corp | ３次元物体照合装置 |
| JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| US7706602B2 (en) | 2005-03-07 | 2010-04-27 | Kabushiki Kaisha Toshiba | Generating a three-dimensional model from a standard model and multiple two-dimensional images |
| JP2011008816A (ja) * | 2010-08-23 | 2011-01-13 | Konica Minolta Holdings Inc | 標準モデルの変形方法およびモデリング装置 |
| US7924277B2 (en) | 2005-04-04 | 2011-04-12 | Toyota Jidosha Kabushiki Kaisha | Three-dimensional model deformation system, method and computer readable program, and computer readable storage medium storing that program |
| JP2014520333A (ja) * | 2011-06-20 | 2014-08-21 | アルカテル−ルーセント | ３次元画像モデル適応のための方法および装置 |
| JP2015097060A (ja) * | 2013-11-15 | 2015-05-21 | 萬里科技股▲ふん▼有限公司 | ３ｄ空間中で３ｄ幾何データを仮想現実画像の表現と制御に用いる方法 |
| CN108537110A (zh) * | 2017-03-01 | 2018-09-14 | 索尼公司 | 生成三维人脸模型的基于虚拟现实的装置和方法 |
| US11056026B2 (en) | 2017-01-10 | 2021-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Screen flickering processing method and device, storage medium and electronic device |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04195476A (ja) * | 1990-11-28 | 1992-07-15 | Hitachi Ltd | コンピュータグラフィックの表示方法及び情報処理装置 |
| JPH0581377A (ja) * | 1991-09-25 | 1993-04-02 | Hitachi Ltd | 三次元形状モデル化方法 |
| JPH07254075A (ja) * | 1994-03-16 | 1995-10-03 | Fujitsu Ltd | ３次元的な物体の変形方法及びモデリングシステム |
| JPH0887608A (ja) * | 1994-09-16 | 1996-04-02 | Fujitsu Ltd | 三次元形状モデル変形方法及び装置 |
| JPH08297751A (ja) * | 1995-04-27 | 1996-11-12 | Hitachi Ltd | 三次元モデルの作成方法および装置 |
| JPH09138864A (ja) * | 1995-11-14 | 1997-05-27 | Minolta Co Ltd | ３次元形状データの生成方法及び処理装置 |
| JPH10172003A (ja) * | 1996-12-13 | 1998-06-26 | Sony Corp | 形状データの近似化方法及び描画装置 |
| JPH11175765A (ja) * | 1997-12-11 | 1999-07-02 | Alpine Electron Inc | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 |
| JP2000099738A (ja) * | 1998-09-28 | 2000-04-07 | Sony Corp | 情報記録装置および方法、計測装置および方法、画像処理装置および方法、画像処理システム、並びに提供媒体 |
-
2000
- 2000-06-30 JP JP2000197779A patent/JP2002015310A/ja active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04195476A (ja) * | 1990-11-28 | 1992-07-15 | Hitachi Ltd | コンピュータグラフィックの表示方法及び情報処理装置 |
| JPH0581377A (ja) * | 1991-09-25 | 1993-04-02 | Hitachi Ltd | 三次元形状モデル化方法 |
| JPH07254075A (ja) * | 1994-03-16 | 1995-10-03 | Fujitsu Ltd | ３次元的な物体の変形方法及びモデリングシステム |
| JPH0887608A (ja) * | 1994-09-16 | 1996-04-02 | Fujitsu Ltd | 三次元形状モデル変形方法及び装置 |
| JPH08297751A (ja) * | 1995-04-27 | 1996-11-12 | Hitachi Ltd | 三次元モデルの作成方法および装置 |
| JPH09138864A (ja) * | 1995-11-14 | 1997-05-27 | Minolta Co Ltd | ３次元形状データの生成方法及び処理装置 |
| JPH10172003A (ja) * | 1996-12-13 | 1998-06-26 | Sony Corp | 形状データの近似化方法及び描画装置 |
| JPH11175765A (ja) * | 1997-12-11 | 1999-07-02 | Alpine Electron Inc | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 |
| JP2000099738A (ja) * | 1998-09-28 | 2000-04-07 | Sony Corp | 情報記録装置および方法、計測装置および方法、画像処理装置および方法、画像処理システム、並びに提供媒体 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7706602B2 (en) | 2005-03-07 | 2010-04-27 | Kabushiki Kaisha Toshiba | Generating a three-dimensional model from a standard model and multiple two-dimensional images |
| US7924277B2 (en) | 2005-04-04 | 2011-04-12 | Toyota Jidosha Kabushiki Kaisha | Three-dimensional model deformation system, method and computer readable program, and computer readable storage medium storing that program |
| JP2007102412A (ja) * | 2005-10-03 | 2007-04-19 | Konica Minolta Holdings Inc | モデリングシステム、モデリング方法およびプログラム |
| JP2007102601A (ja) * | 2005-10-06 | 2007-04-19 | Konica Minolta Holdings Inc | 立体モデル生成装置および立体モデル生成方法 |
| JP4539519B2 (ja) * | 2005-10-06 | 2010-09-08 | コニカミノルタホールディングス株式会社 | 立体モデル生成装置および立体モデル生成方法 |
| JP2007322351A (ja) * | 2006-06-05 | 2007-12-13 | Mitsubishi Electric Corp | ３次元物体照合装置 |
| JP2009273116A (ja) * | 2008-04-07 | 2009-11-19 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2011008816A (ja) * | 2010-08-23 | 2011-01-13 | Konica Minolta Holdings Inc | 標準モデルの変形方法およびモデリング装置 |
| JP2014520333A (ja) * | 2011-06-20 | 2014-08-21 | アルカテル−ルーセント | ３次元画像モデル適応のための方法および装置 |
| KR101560508B1 (ko) | 2011-06-20 | 2015-10-14 | 알까뗄 루슨트 | 3차원 이미지 모델 조정을 위한 방법 및 장치 |
| US9269194B2 (en) | 2011-06-20 | 2016-02-23 | Alcatel Lucent | Method and arrangement for 3-dimensional image model adaptation |
| JP2015097060A (ja) * | 2013-11-15 | 2015-05-21 | 萬里科技股▲ふん▼有限公司 | ３ｄ空間中で３ｄ幾何データを仮想現実画像の表現と制御に用いる方法 |
| US11056026B2 (en) | 2017-01-10 | 2021-07-06 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Screen flickering processing method and device, storage medium and electronic device |
| CN108537110A (zh) * | 2017-03-01 | 2018-09-14 | 索尼公司 | 生成三维人脸模型的基于虚拟现实的装置和方法 |
| JP2018170005A (ja) * | 2017-03-01 | 2018-11-01 | ソニー株式会社 | 画像及び深度データを用いて３次元（３ｄ）人物顔面モデルを発生させるための仮想現実ベースの装置及び方法 |
| US10572720B2 (en) | 2017-03-01 | 2020-02-25 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data |
| CN108537110B (zh) * | 2017-03-01 | 2022-06-14 | 索尼公司 | 生成三维人脸模型的基于虚拟现实的装置和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240153143A1 (en) | Multi view camera registration | |
| US20160148411A1 (en) | Method of making a personalized animatable mesh | |
| US10762704B2 (en) | Method for establishing a deformable 3D model of an element, and associated system | |
| US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US9224245B2 (en) | Mesh animation | |
| JP2009020761A (ja) | 画像処理装置及びその方法 | |
| CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
| CN113538682B (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
| JP2002015310A (ja) | 点群に面をフィッティングする方法およびモデリング装置 | |
| BR102022015085A2 (pt) | Aparelho de processamento de imagem, método de processamento de imagem e meio de armazenamento | |
| JP4316114B2 (ja) | モデルの変形方法およびモデリング装置 | |
| JP4149732B2 (ja) | ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム | |
| JP4479069B2 (ja) | 形状モデルの生成方法および装置 | |
| US6992665B2 (en) | Method and device for fitting surface to point group, modeling device, and computer program | |
| JP4310850B2 (ja) | ３次元形状の対応付け方法 | |
| US7123254B2 (en) | Method of and device for modifying standard model | |
| JP4924747B2 (ja) | 標準モデルの変形方法およびモデリング装置 | |
| JP2002015307A (ja) | 形状モデルの生成方法 | |
| JP4838411B2 (ja) | 形状モデルの生成方法 | |
| US20220309733A1 (en) | Surface texturing from multiple cameras | |
| US11328477B2 (en) | Image processing apparatus, image processing method and storage medium | |
| JP7063165B2 (ja) | 計測装置、計測方法及び計測プログラム | |
| JP4292678B2 (ja) | 点群に面をフィッティングする方法および装置 | |
| JP2002032783A (ja) | ３次元モデルの生成方法および装置 | |
| JP4174985B2 (ja) | ２つの３次元データの差分の表示装置およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100525 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100921 |