JP2002032783A - 3次元モデルの生成方法および装置 - Google Patents
3次元モデルの生成方法および装置Info
- Publication number
- JP2002032783A JP2002032783A JP2000218310A JP2000218310A JP2002032783A JP 2002032783 A JP2002032783 A JP 2002032783A JP 2000218310 A JP2000218310 A JP 2000218310A JP 2000218310 A JP2000218310 A JP 2000218310A JP 2002032783 A JP2002032783 A JP 2002032783A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- standard model
- model
- dimensional image
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】3次元データを用いることなく、2次元画像か
ら簡単に3次元モデルを生成すること。 【解決手段】3次元の標準モデルDSを変形させて3次
元モデルを生成する方法であって、対象物をカメラで撮
影して得られた2次元画像FT上に、撮影時のカメラパ
ラメータを用いて標準モデルDSを投影し、標準モデル
DSを2次元画像FTにフィッティングするとともに、
その際に、標準モデルと2次元画像FTとの概略の位置
合わせを行い、概略の位置合わせにおいて得られるx方
向およびy方向のスケール情報に基づいてz方向のスケ
ールを取得し、取得したz方向のスケールに基づいて標
準モデルの奥行き方向の変形を行う。
ら簡単に3次元モデルを生成すること。 【解決手段】3次元の標準モデルDSを変形させて3次
元モデルを生成する方法であって、対象物をカメラで撮
影して得られた2次元画像FT上に、撮影時のカメラパ
ラメータを用いて標準モデルDSを投影し、標準モデル
DSを2次元画像FTにフィッティングするとともに、
その際に、標準モデルと2次元画像FTとの概略の位置
合わせを行い、概略の位置合わせにおいて得られるx方
向およびy方向のスケール情報に基づいてz方向のスケ
ールを取得し、取得したz方向のスケールに基づいて標
準モデルの奥行き方向の変形を行う。
Description
【0001】
【発明の属する技術分野】本発明は、3次元モデルの生
成方法および装置に関し、例えばコンピュータグラフィ
ックスの分野における3次元モデルの生成に利用され
る。
成方法および装置に関し、例えばコンピュータグラフィ
ックスの分野における3次元モデルの生成に利用され
る。
【0002】
【従来の技術】近年において、映画やゲームなどに3次
元CG(3次元コンピュータグラフィックス)の技術が
しばしば用いられている。3次元CGでは、仮想的な3
次元空間内に3次元モデルやライトを配置して動かすの
で、表現の自由度が高い。
元CG(3次元コンピュータグラフィックス)の技術が
しばしば用いられている。3次元CGでは、仮想的な3
次元空間内に3次元モデルやライトを配置して動かすの
で、表現の自由度が高い。
【0003】従来より、光切断法などによる非接触型の
3次元計測装置が実用化されており、これを用いて計測
を行うことにより、対象物の3次元データを作成するこ
とができる。しかし、計測によって得られた3次元デー
タをそのまま3次元CGに用いるには、得られたデータ
の間引きなどを行ってデータ量を減らすための処理が複
雑であるなど、種々の問題がある。
3次元計測装置が実用化されており、これを用いて計測
を行うことにより、対象物の3次元データを作成するこ
とができる。しかし、計測によって得られた3次元デー
タをそのまま3次元CGに用いるには、得られたデータ
の間引きなどを行ってデータ量を減らすための処理が複
雑であるなど、種々の問題がある。
【0004】この問題に対処するため、対象物の標準モ
デルを準備しておき、計測された3次元データに合わせ
て標準モデルを変形する方法が提案されている(特開平
5−81377号)。
デルを準備しておき、計測された3次元データに合わせ
て標準モデルを変形する方法が提案されている(特開平
5−81377号)。
【0005】この従来の方法では、計測によって得られ
た3次元データの3次元形状情報、つまり3次元に存在
する点群をフィッティング対象として用い、それら3次
元の点群に標準モデルの表面をフィッティングさせる。
た3次元データの3次元形状情報、つまり3次元に存在
する点群をフィッティング対象として用い、それら3次
元の点群に標準モデルの表面をフィッティングさせる。
【0006】
【発明が解決しようとする課題】しかし、対象物につい
ての3次元データを取得するのは、2次元画像を取得す
る程には容易ではない。また、3次元データはデータ量
が多いので、データ処理に時間を要し、上に述べたよう
なデータ削減処理などが面倒であるという問題もある。
ての3次元データを取得するのは、2次元画像を取得す
る程には容易ではない。また、3次元データはデータ量
が多いので、データ処理に時間を要し、上に述べたよう
なデータ削減処理などが面倒であるという問題もある。
【0007】また、計測された3次元の点群に合わせて
標準モデルの面を変形させた場合に、全体的な形状はほ
ぼ一致するのであるが、局所的な特徴を一致させること
は困難であった。
標準モデルの面を変形させた場合に、全体的な形状はほ
ぼ一致するのであるが、局所的な特徴を一致させること
は困難であった。
【0008】つまり、例えば、従来の方法によって人の
頭部の3次元モデルを作成した場合に、できあがった3
次元モデルは、頭部の全体的な形状は計測対象の人の頭
部と一致するのであるが、目または口もとなどのように
顔の表情に大きな影響を与える局所的な部分について
は、充分に一致するまでに至らない。そのため、人の細
かい表情を表現することは困難であった。
頭部の3次元モデルを作成した場合に、できあがった3
次元モデルは、頭部の全体的な形状は計測対象の人の頭
部と一致するのであるが、目または口もとなどのように
顔の表情に大きな影響を与える局所的な部分について
は、充分に一致するまでに至らない。そのため、人の細
かい表情を表現することは困難であった。
【0009】本発明は、上述の問題に鑑みてなされたも
ので、3次元データを用いることなく、2次元画像から
簡単に3次元モデルを生成する方法および装置を提供す
ることを目的とする。
ので、3次元データを用いることなく、2次元画像から
簡単に3次元モデルを生成する方法および装置を提供す
ることを目的とする。
【0010】
【課題を解決するための手段】本発明に係る方法は、3
次元の標準モデルを変形させて3次元モデルを生成する
方法であって、対象物をカメラで撮影して得られた2次
元画像上に、撮影時のカメラパラメータを用いて前記標
準モデルを投影し、前記標準モデルを前記2次元画像に
フィッティングするとともに、その際に、前記標準モデ
ルと前記2次元画像との概略の位置合わせを行い、概略
の位置合わせにおいて得られるx方向およびy方向のス
ケール情報に基づいてz方向のスケールを取得し、取得
したz方向のスケールに基づいて前記標準モデルの奥行
き方向の変形を行う。
次元の標準モデルを変形させて3次元モデルを生成する
方法であって、対象物をカメラで撮影して得られた2次
元画像上に、撮影時のカメラパラメータを用いて前記標
準モデルを投影し、前記標準モデルを前記2次元画像に
フィッティングするとともに、その際に、前記標準モデ
ルと前記2次元画像との概略の位置合わせを行い、概略
の位置合わせにおいて得られるx方向およびy方向のス
ケール情報に基づいてz方向のスケールを取得し、取得
したz方向のスケールに基づいて前記標準モデルの奥行
き方向の変形を行う。
【0011】好ましくは、標準モデル上に輪郭または/
および特徴点を定義し、それら輪郭または/および特徴
点が、2次元画像上の対応する輪郭または/および特徴
点に近づくようにフィッティングを行う。
および特徴点を定義し、それら輪郭または/および特徴
点が、2次元画像上の対応する輪郭または/および特徴
点に近づくようにフィッティングを行う。
【0012】本発明に係る装置は、対象物をカメラで撮
影して得られた2次元画像を記憶する手段と、撮影時の
カメラパラメータを用いて前記2次元画像上に前記標準
モデルを投影する手段と、前記標準モデルと前記2次元
画像との概略の位置合わせを行う際に、概略の位置合わ
せにおいて得られるx方向およびy方向のスケール情報
に基づいてz方向のスケールを取得し、取得したz方向
のスケールに基づいて前記標準モデルの奥行き方向の変
形を行う手段とを有してなる。
影して得られた2次元画像を記憶する手段と、撮影時の
カメラパラメータを用いて前記2次元画像上に前記標準
モデルを投影する手段と、前記標準モデルと前記2次元
画像との概略の位置合わせを行う際に、概略の位置合わ
せにおいて得られるx方向およびy方向のスケール情報
に基づいてz方向のスケールを取得し、取得したz方向
のスケールに基づいて前記標準モデルの奥行き方向の変
形を行う手段とを有してなる。
【0013】本発明において、フィッティングとは、標
準モデルの変形処理、またはそれを含む一連の処理をい
う。
準モデルの変形処理、またはそれを含む一連の処理をい
う。
【0014】
【発明の実施の形態】図1は本発明に係るモデリング装
置1を示すブロック図である。本実施形態においては、
予め作成した標準モデルを人の頭部についての計測デー
タ(2次元画像)に基づいて変形する(フィッティング
する)ことにより、人の頭部の3次元モデルを生成する
例を説明する。
置1を示すブロック図である。本実施形態においては、
予め作成した標準モデルを人の頭部についての計測デー
タ(2次元画像)に基づいて変形する(フィッティング
する)ことにより、人の頭部の3次元モデルを生成する
例を説明する。
【0015】図1に示すように、モデリング装置1は、
処理装置10、磁気ディスク装置11、媒体ドライブ装
置12、ディスプレイ装置13、キーボード14、マウ
ス15、およびカメラ16などからなる。
処理装置10、磁気ディスク装置11、媒体ドライブ装
置12、ディスプレイ装置13、キーボード14、マウ
ス15、およびカメラ16などからなる。
【0016】処理装置10は、CPU、RAM、RO
M、ビデオRAM、入出力ポート、および各種コントロ
ーラなどからなる。RAMおよびROMなどに記憶され
たプログラムをCPUが実行することにより、処理装置
10上に種々の機能が実現される。
M、ビデオRAM、入出力ポート、および各種コントロ
ーラなどからなる。RAMおよびROMなどに記憶され
たプログラムをCPUが実行することにより、処理装置
10上に種々の機能が実現される。
【0017】磁気ディスク装置11には、OS(Operat
ing System) 、3次元モデルMLを生成するためのモデ
リングプログラムPR、その他のプログラム、標準モデ
ル(標準モデルデータ)DS、3次元データ(3次元計
測データ)DT、3次元データDTの信頼性を示す信頼
性データDR、2次元画像(2次元計測データ)FT、
生成された3次元モデルML、その他のデータなどが格
納されている。これらのプログラムおよびデータは、適
時、処理装置10のRAMにローディングされる。但
し、本実施形態において、3次元データDTおよび信頼
性データDRは用いない。
ing System) 、3次元モデルMLを生成するためのモデ
リングプログラムPR、その他のプログラム、標準モデ
ル(標準モデルデータ)DS、3次元データ(3次元計
測データ)DT、3次元データDTの信頼性を示す信頼
性データDR、2次元画像(2次元計測データ)FT、
生成された3次元モデルML、その他のデータなどが格
納されている。これらのプログラムおよびデータは、適
時、処理装置10のRAMにローディングされる。但
し、本実施形態において、3次元データDTおよび信頼
性データDRは用いない。
【0018】なお、モデリングプログラムPRには、計
測処理、概略位置合わせ、データ削減処理、変形処理、
部分領域選択処理、およびその他の処理のためのプログ
ラムが含まれる。
測処理、概略位置合わせ、データ削減処理、変形処理、
部分領域選択処理、およびその他の処理のためのプログ
ラムが含まれる。
【0019】媒体ドライブ装置12は、CD−ROM
(CD)、フロッピィディスクFD、または光磁気ディ
スクなどの記録媒体にアクセスし、データまたはプログ
ラムの読み書きなどを行うものである。記録媒体の種類
に応じて適切なドライブ装置が用いられる。上に述べた
モデリングプログラムPRは、これら記録媒体からイン
ストールすることが可能である。標準モデルDS、3次
元データDT、信頼性データDR、および2次元画像F
Tなども、記録媒体を介して入力することが可能であ
る。
(CD)、フロッピィディスクFD、または光磁気ディ
スクなどの記録媒体にアクセスし、データまたはプログ
ラムの読み書きなどを行うものである。記録媒体の種類
に応じて適切なドライブ装置が用いられる。上に述べた
モデリングプログラムPRは、これら記録媒体からイン
ストールすることが可能である。標準モデルDS、3次
元データDT、信頼性データDR、および2次元画像F
Tなども、記録媒体を介して入力することが可能であ
る。
【0020】ディスプレイ装置13の表示面HGには、
上に述べた種々のデータ、およびモデリングプログラム
PRにより生成された3次元モデルML、その他のデー
タ(画像)が表示される。
上に述べた種々のデータ、およびモデリングプログラム
PRにより生成された3次元モデルML、その他のデー
タ(画像)が表示される。
【0021】キーボード14およびマウス15は、処理
装置10にデータを入力しまたは指令を与えるために用
いられる。カメラ16は、デジタル式のカメラであり、
対象物を撮影して2次元画像FTを取得するためのもの
である。対象物に対して複数の異なる方向から撮影する
ことにより、視差の異なる複数の2次元画像FTが得ら
れる。そのようなカメラ16として、公知のデジタルカ
メラを用いることが可能である。また、銀塩式のカメラ
を用いて撮影し、得られた写真画像をデジタル化しても
よい。また、対象物に対して視差を有して配置された複
数のカメラを用いる方法もある。また、一方向から撮影
した2次元画像FTを用いることも可能である。
装置10にデータを入力しまたは指令を与えるために用
いられる。カメラ16は、デジタル式のカメラであり、
対象物を撮影して2次元画像FTを取得するためのもの
である。対象物に対して複数の異なる方向から撮影する
ことにより、視差の異なる複数の2次元画像FTが得ら
れる。そのようなカメラ16として、公知のデジタルカ
メラを用いることが可能である。また、銀塩式のカメラ
を用いて撮影し、得られた写真画像をデジタル化しても
よい。また、対象物に対して視差を有して配置された複
数のカメラを用いる方法もある。また、一方向から撮影
した2次元画像FTを用いることも可能である。
【0022】モデリング装置1は、パーソナルコンピュ
ータまたはワークステーションなどを用いて構成するこ
とが可能である。上に述べたプログラムおよびデータ
は、ネットワークNWを介して受信することにより取得
することも可能である。
ータまたはワークステーションなどを用いて構成するこ
とが可能である。上に述べたプログラムおよびデータ
は、ネットワークNWを介して受信することにより取得
することも可能である。
【0023】次に、モデリング装置1の全体の処理の流
れについて、フローチャートを参照しながら説明する。
図2はモデリング装置1の全体の処理の流れを示すフロ
ーチャート、図3は変形処理を示すフローチャート、図
4は標準モデルDS1の例を示す図、図5は特徴点の対
応の様子を示す図、図6は輪郭の対応の様子を示す図、
図7は概略の位置合わせの様子を示す図、図8は標準モ
デルDSの輪郭RKと2次元画像FTの点Pとを模式的
に示す図、図9は標準モデルDSの異常変形を防ぐため
の仮想バネを説明するための図である。 〔標準モデルの準備〕図2において、まず、対象物につ
いての標準モデルDSを準備する(#11)。本実施形
態では対象物が人の頭部であるので、種々のサイズおよ
び形状を有した、頭部の全周についての複数の標準モデ
ル群の中から、対象物の頭部に最もよく似た標準モデル
DS1を準備する。
れについて、フローチャートを参照しながら説明する。
図2はモデリング装置1の全体の処理の流れを示すフロ
ーチャート、図3は変形処理を示すフローチャート、図
4は標準モデルDS1の例を示す図、図5は特徴点の対
応の様子を示す図、図6は輪郭の対応の様子を示す図、
図7は概略の位置合わせの様子を示す図、図8は標準モ
デルDSの輪郭RKと2次元画像FTの点Pとを模式的
に示す図、図9は標準モデルDSの異常変形を防ぐため
の仮想バネを説明するための図である。 〔標準モデルの準備〕図2において、まず、対象物につ
いての標準モデルDSを準備する(#11)。本実施形
態では対象物が人の頭部であるので、種々のサイズおよ
び形状を有した、頭部の全周についての複数の標準モデ
ル群の中から、対象物の頭部に最もよく似た標準モデル
DS1を準備する。
【0024】標準モデルDSは、ポリゴンで定義された
3次元形状モデル、または自由曲面で定義された3次元
形状モデルのいずれでもよい。ポリゴンで定義された3
次元形状モデルである場合は、各ポリゴンの頂点の3次
元座標によって表面の形状が決まる。自由曲面で定義さ
れた3次元形状モデルである場合は、曲面を定義する関
数、および各制御点の座標によって表面の形状が決ま
る。
3次元形状モデル、または自由曲面で定義された3次元
形状モデルのいずれでもよい。ポリゴンで定義された3
次元形状モデルである場合は、各ポリゴンの頂点の3次
元座標によって表面の形状が決まる。自由曲面で定義さ
れた3次元形状モデルである場合は、曲面を定義する関
数、および各制御点の座標によって表面の形状が決ま
る。
【0025】なお、ポリゴンで定義された3次元形状モ
デルである場合に、各ポリゴンの頂点を「構成点」と記
載する。また、標準モデルDSのフィッティングに際し
て、標準モデルを変形するために用いられる点を「制御
点」と呼称する。制御点とポリゴンの構成点との位置関
係は任意であり、制御点はポリゴンの面上に設定されて
いてもよく、ポリゴンの面から離れて設定されていても
よい。1つの制御点は複数の構成点(3〜100程度)
と関連付けられており、制御点の動きに合わせて関連付
けられた構成点が移動する。標準モデルDSのフィッテ
ィングに際しては、これら複数の制御点を移動させるこ
とによって標準モデルDS全体を変形する。3次元形状
モデルが自由曲面で定義されている場合も、フィッティ
ングに使用する制御点の配置は任意である。
デルである場合に、各ポリゴンの頂点を「構成点」と記
載する。また、標準モデルDSのフィッティングに際し
て、標準モデルを変形するために用いられる点を「制御
点」と呼称する。制御点とポリゴンの構成点との位置関
係は任意であり、制御点はポリゴンの面上に設定されて
いてもよく、ポリゴンの面から離れて設定されていても
よい。1つの制御点は複数の構成点(3〜100程度)
と関連付けられており、制御点の動きに合わせて関連付
けられた構成点が移動する。標準モデルDSのフィッテ
ィングに際しては、これら複数の制御点を移動させるこ
とによって標準モデルDS全体を変形する。3次元形状
モデルが自由曲面で定義されている場合も、フィッティ
ングに使用する制御点の配置は任意である。
【0026】制御点は、目尻、唇端などのように細かな
形状を持つ部分、および、鼻、唇などのように急激な形
状の変化を持つ部分には、高い密度で配置される。それ
以外の部分には一様に配置される。
形状を持つ部分、および、鼻、唇などのように急激な形
状の変化を持つ部分には、高い密度で配置される。それ
以外の部分には一様に配置される。
【0027】標準モデルDSには、ある方向から見た特
徴的な輪郭RKおよび特徴点TTが設定される。輪郭R
Kとして、例えば、目、鼻、口、または顎などに、瞼の
ライン、鼻のライン、唇のライン、または顎のラインな
どが設定される。特徴点TTとして、例えば、目や口の
端部、鼻の頂部、顎の下端部のように、実際に特徴のあ
る部分、または、それらの中間のようなそれ自体では特
徴はないが位置的に特定し易い部分などが選ばれる。
徴的な輪郭RKおよび特徴点TTが設定される。輪郭R
Kとして、例えば、目、鼻、口、または顎などに、瞼の
ライン、鼻のライン、唇のライン、または顎のラインな
どが設定される。特徴点TTとして、例えば、目や口の
端部、鼻の頂部、顎の下端部のように、実際に特徴のあ
る部分、または、それらの中間のようなそれ自体では特
徴はないが位置的に特定し易い部分などが選ばれる。
【0028】図4に示す標準モデルDS1では、顎のラ
イン、唇のライン、および瞼のラインが輪郭RK1〜3
として設定されている。図4で分かるように、輪郭RK
1は、標準モデルDS1をある方向から見たときに、そ
の縁線となる部分である。また、図4に示す標準モデル
DS1では、設定された特徴点TTの一部のみが実際に
図に表されている。 〔2次元画像の取得〕次に、対象物を複数の方向から撮
影し、複数の2次元画像FTを取得する(#12)。こ
のとき、カメラ16のカメラパラメータを同時に取得し
ておく。カメラパラメータとして、例えば、CCDのサ
イズ、形状、および対象物に対する姿勢、レンズの焦点
距離、画角などである。カメラパラメータにより、対象
物に対する2次元画像FTの位置および角度が求められ
る。
イン、唇のライン、および瞼のラインが輪郭RK1〜3
として設定されている。図4で分かるように、輪郭RK
1は、標準モデルDS1をある方向から見たときに、そ
の縁線となる部分である。また、図4に示す標準モデル
DS1では、設定された特徴点TTの一部のみが実際に
図に表されている。 〔2次元画像の取得〕次に、対象物を複数の方向から撮
影し、複数の2次元画像FTを取得する(#12)。こ
のとき、カメラ16のカメラパラメータを同時に取得し
ておく。カメラパラメータとして、例えば、CCDのサ
イズ、形状、および対象物に対する姿勢、レンズの焦点
距離、画角などである。カメラパラメータにより、対象
物に対する2次元画像FTの位置および角度が求められ
る。
【0029】なお、2次元画像FTを「計測データ」と
記載することがある。標準モデルDSの準備と2次元画
像FTの取得とはいずれが先でもよく、並行して進めて
もよい。 〔輪郭・特徴点の抽出〕図5および図6に示すように、
標準モデルDSに予め設定された輪郭RKおよび特徴点
TTと同じ位置に配置されるべき輪郭RKおよび特徴点
TTを、2次元画像FT上に配置する(#13)。 〔概略の位置合わせ〕標準モデルDSと2次元画像FT
との概略の位置合わせを行う(#14)。この処理で
は、図7に示すように、2次元画像FT上の部分的な線
または点と、標準モデルDS上の部分的な線または点と
を対応づけ、それらの距離が最小となるように標準モデ
ルDSの向き、大きさ、および位置を変更する。
記載することがある。標準モデルDSの準備と2次元画
像FTの取得とはいずれが先でもよく、並行して進めて
もよい。 〔輪郭・特徴点の抽出〕図5および図6に示すように、
標準モデルDSに予め設定された輪郭RKおよび特徴点
TTと同じ位置に配置されるべき輪郭RKおよび特徴点
TTを、2次元画像FT上に配置する(#13)。 〔概略の位置合わせ〕標準モデルDSと2次元画像FT
との概略の位置合わせを行う(#14)。この処理で
は、図7に示すように、2次元画像FT上の部分的な線
または点と、標準モデルDS上の部分的な線または点と
を対応づけ、それらの距離が最小となるように標準モデ
ルDSの向き、大きさ、および位置を変更する。
【0030】すなわち、2次元画像FT上の特徴点TT
とそれに対応する標準モデルDS上の特徴点TTとの距
離に対して、次の(1)式に示すエネルギー関数E(s
i,αi,ti)が最小となるよう、標準モデルDSの
si,αi,tiを導く。
とそれに対応する標準モデルDS上の特徴点TTとの距
離に対して、次の(1)式に示すエネルギー関数E(s
i,αi,ti)が最小となるよう、標準モデルDSの
si,αi,tiを導く。
【0031】
【数1】
【0032】但し、 k :対応する特徴点の個数 Mk :変形後の標準モデル上の特徴点 x :変形前の標準モデル上の特徴点 Ck :2次元画像上の特徴点 Si :標準モデルの各方向の偏倍量(但し、S3 は奥行
き方向である) αi :標準モデルの各方向への回転量 ti :標準モデルの各方向への移動量 また、カメラ16による撮影が一方向からに限られる場
合に、奥行き方向(Z方向)の偏倍量(スケール)が正
確に得られない場合がある。その場合には、対象物の形
状と標準モデルDSの形状に大きな違いはないとみな
し、次の(2)式に示すように、X,Y方向の偏倍量
(S1,S2 )によってZ方向の偏倍量(S3)を補正す
る方法を用いることができる。
き方向である) αi :標準モデルの各方向への回転量 ti :標準モデルの各方向への移動量 また、カメラ16による撮影が一方向からに限られる場
合に、奥行き方向(Z方向)の偏倍量(スケール)が正
確に得られない場合がある。その場合には、対象物の形
状と標準モデルDSの形状に大きな違いはないとみな
し、次の(2)式に示すように、X,Y方向の偏倍量
(S1,S2 )によってZ方向の偏倍量(S3)を補正す
る方法を用いることができる。
【0033】
【数2】
【0034】但し、 γ :視線方向x3 変形分へのウエイトパラメータ このような補正を行うことによって、一方向から撮影し
た1枚の2次元画像FTのみを用い、標準モデルDSを
変形して3次元モデルMLを生成することが可能であ
り、2次元画像FTの取得および演算が容易である。 〔変形〕標準モデルDSの変形が行われる(#15)。
ここでは、標準モデルDSの輪郭と2次元画像FTに設
定された輪郭との間の距離に関連して定義されるエネル
ギー関数e2 、標準モデルDSの特徴点と2次元画像F
Tに設定された特徴点との間の距離に関連して定義され
るエネルギー関数e3 、および、過剰な変形を回避する
ために定義されたエネルギー関数es を用い、それらを
総合したエネルギー関数eを評価し、総合のエネルギー
関数eが最小となるように標準モデルDSの面を変形さ
せる。
た1枚の2次元画像FTのみを用い、標準モデルDSを
変形して3次元モデルMLを生成することが可能であ
り、2次元画像FTの取得および演算が容易である。 〔変形〕標準モデルDSの変形が行われる(#15)。
ここでは、標準モデルDSの輪郭と2次元画像FTに設
定された輪郭との間の距離に関連して定義されるエネル
ギー関数e2 、標準モデルDSの特徴点と2次元画像F
Tに設定された特徴点との間の距離に関連して定義され
るエネルギー関数e3 、および、過剰な変形を回避する
ために定義されたエネルギー関数es を用い、それらを
総合したエネルギー関数eを評価し、総合のエネルギー
関数eが最小となるように標準モデルDSの面を変形さ
せる。
【0035】なお、総合のエネルギー関数eとして、e
2,e3,esの3つの関数を用いるのが望ましいが、
e2およびe3の2つだけを用いることも可能である。
次に、各エネルギー関数について順次説明する。 〔標準モデル上の輪郭と2次元画像上の輪郭との距離〕
ここでは、2次元画像FT上に指定された輪郭RKと標
準モデルDS上の輪郭RKとの距離が評価される。
2,e3,esの3つの関数を用いるのが望ましいが、
e2およびe3の2つだけを用いることも可能である。
次に、各エネルギー関数について順次説明する。 〔標準モデル上の輪郭と2次元画像上の輪郭との距離〕
ここでは、2次元画像FT上に指定された輪郭RKと標
準モデルDS上の輪郭RKとの距離が評価される。
【0036】つまり、2次元画像FTを撮影したカメラ
16についてのカメラパラメータを用い、図6に示すよ
うに標準モデルDSの輪郭RKを2次元画像FT上に投
影する。そして、図8に示すように、2次元画像FTの
輪郭RK上の点Pk から標準モデルDS上の対応する輪
郭RK上の点Qk へ垂線を降ろし、その垂線のうち最短
のものを距離とする。なお、輪郭RK上では複数の点を
指定する。
16についてのカメラパラメータを用い、図6に示すよ
うに標準モデルDSの輪郭RKを2次元画像FT上に投
影する。そして、図8に示すように、2次元画像FTの
輪郭RK上の点Pk から標準モデルDS上の対応する輪
郭RK上の点Qk へ垂線を降ろし、その垂線のうち最短
のものを距離とする。なお、輪郭RK上では複数の点を
指定する。
【0037】標準モデルDSの輪郭RK毎の差分エネル
ギーe2 ’は、それらの距離の二乗和を用いて次の
(3)式によって計算される。
ギーe2 ’は、それらの距離の二乗和を用いて次の
(3)式によって計算される。
【0038】
【数3】
【0039】但し、 T2A:制御点群 pk :2次元画像上の輪郭点 qk :2次元画像上の輪郭点から対応するモデル輪郭へ
の垂足点 n :1つのモデル輪郭に対応が付けられている2次元
画像の輪郭点数 dk :2次元画像上の輪郭点から対応するモデル輪郭線
への投影方向 dk =(qk-pk )/|qk-pk | l :種々のエネルギーを同一単位で扱うための調整用
スケール 複数の方向から撮影した2次元画像FTの輪郭RKを用
いて、標準モデルDSの3次元変形を行うことが可能で
ある。但し、各輪郭RKの視線方向は互いに一致してお
く必要がある。
の垂足点 n :1つのモデル輪郭に対応が付けられている2次元
画像の輪郭点数 dk :2次元画像上の輪郭点から対応するモデル輪郭線
への投影方向 dk =(qk-pk )/|qk-pk | l :種々のエネルギーを同一単位で扱うための調整用
スケール 複数の方向から撮影した2次元画像FTの輪郭RKを用
いて、標準モデルDSの3次元変形を行うことが可能で
ある。但し、各輪郭RKの視線方向は互いに一致してお
く必要がある。
【0040】すなわち、例えば、複数の異なる方向から
対象物を撮影して複数の2次元画像FTを取得する。そ
の際に、上に述べたように、カメラパラメータを取得し
ておく。
対象物を撮影して複数の2次元画像FTを取得する。そ
の際に、上に述べたように、カメラパラメータを取得し
ておく。
【0041】輪郭RKの抽出は、画像認識によって自動
的に行うことも可能であるが、手動で行う方法もある。
そして、標準モデルDSをそれら2次元画像FT上に投
影し、変形していく。変形は、複数の2次元画像FTに
ついて1つづつ行うのではなく、複数の2次元画像FT
に対して標準モデルDSを同時に投影し、それらの距離
が近くなるように同時に演算を行う。
的に行うことも可能であるが、手動で行う方法もある。
そして、標準モデルDSをそれら2次元画像FT上に投
影し、変形していく。変形は、複数の2次元画像FTに
ついて1つづつ行うのではなく、複数の2次元画像FT
に対して標準モデルDSを同時に投影し、それらの距離
が近くなるように同時に演算を行う。
【0042】なお、通常、2次元画像FTに対する標準
モデルDSの投影はメモリ上で行われ、CPUによって
演算が行われる。演算の結果、標準モデルDSの輪郭R
Kが移動すると、それに応じて輪郭RK以外の部分が移
動する。 〔標準モデル上の特徴点と対応した2次元画像上の特徴
点との距離〕上に述べた輪郭RKに代えて、2次元画像
上に特徴点TTを設定することにより、2次元画像FT
上に設定された特徴点TTと標準モデルDS上の特徴点
との距離が評価される。
モデルDSの投影はメモリ上で行われ、CPUによって
演算が行われる。演算の結果、標準モデルDSの輪郭R
Kが移動すると、それに応じて輪郭RK以外の部分が移
動する。 〔標準モデル上の特徴点と対応した2次元画像上の特徴
点との距離〕上に述べた輪郭RKに代えて、2次元画像
上に特徴点TTを設定することにより、2次元画像FT
上に設定された特徴点TTと標準モデルDS上の特徴点
との距離が評価される。
【0043】すなわち、2次元画像FT上の特徴点TT
と標準モデルDS上の特徴点TTとの差分エネルギーe
3 は、対応する特徴点TTの二乗距離を用いて次の
(4)式によって計算される。
と標準モデルDS上の特徴点TTとの差分エネルギーe
3 は、対応する特徴点TTの二乗距離を用いて次の
(4)式によって計算される。
【0044】
【数4】
【0045】但し、 T3A:制御点群 Fk :2次元画像上の特徴点 Gk :2次元画像上の特徴点に対応する標準モデル上の
特徴点 N :2次元画像上の特徴点と標準モデル上の特徴点と
の対応数 L :種々のエネルギーを同一単位で扱うための調整用
スケール 〔過剰な変形を回避するための安定化エネルギー〕上に
述べた差分のエネルギーに加え、過剰な変形を回避する
ための安定化エネルギーes が導入される。
特徴点 N :2次元画像上の特徴点と標準モデル上の特徴点と
の対応数 L :種々のエネルギーを同一単位で扱うための調整用
スケール 〔過剰な変形を回避するための安定化エネルギー〕上に
述べた差分のエネルギーに加え、過剰な変形を回避する
ための安定化エネルギーes が導入される。
【0046】すなわち、変形に用いられる制御点の間
が、図9に示す仮想バネ(elastic bar) KBによってつ
ながれているものとする。仮想バネKBの制約に基づい
て、標準モデルDSの面Sの形状の安定化のための安定
化エネルギーes が定義される。
が、図9に示す仮想バネ(elastic bar) KBによってつ
ながれているものとする。仮想バネKBの制約に基づい
て、標準モデルDSの面Sの形状の安定化のための安定
化エネルギーes が定義される。
【0047】なお、仮想バネは必ずしも制御点間に張ら
れている必要はない。制御点と仮想バネとの関係が明確
であればよい。図9において、フィッティング対象であ
る標準モデルDSの面Sの一部が示されている。面S
は、制御点群U=|ui,i=1…N|で形成されてい
る。隣接する制御点間には、仮想バネKBが配置されて
いる。仮想バネKBは、制御点間に引っ張り力による拘
束を与え、面Sの異常変形を防ぐ働きをする。
れている必要はない。制御点と仮想バネとの関係が明確
であればよい。図9において、フィッティング対象であ
る標準モデルDSの面Sの一部が示されている。面S
は、制御点群U=|ui,i=1…N|で形成されてい
る。隣接する制御点間には、仮想バネKBが配置されて
いる。仮想バネKBは、制御点間に引っ張り力による拘
束を与え、面Sの異常変形を防ぐ働きをする。
【0048】つまり、隣接する制御点uの間隔が大きく
なった場合に、それに応じて仮想バネKBによる引っ張
り力が大きくなる。例えば、点Qkが点Pkに近づく場
合に、その移動にともなって制御点uの間隔が大きくな
ると、仮想バネKBによる引っ張り力が増大する。点Q
kが移動しても制御点uの間隔が変わらなければ、つま
り制御点u間の相対位置関係に変化がなければ、仮想バ
ネKBによる引っ張り力は変化しない。仮想バネKBに
よる引っ張り力を面Sの全体について平均化したもの
を、安定化エネルギーes として定義する。したがっ
て、面Sの一部が突出して変形した場合に安定化エネル
ギーes は増大する。面Sの全体が平均して移動すれば
安定化エネルギーes は零である。
なった場合に、それに応じて仮想バネKBによる引っ張
り力が大きくなる。例えば、点Qkが点Pkに近づく場
合に、その移動にともなって制御点uの間隔が大きくな
ると、仮想バネKBによる引っ張り力が増大する。点Q
kが移動しても制御点uの間隔が変わらなければ、つま
り制御点u間の相対位置関係に変化がなければ、仮想バ
ネKBによる引っ張り力は変化しない。仮想バネKBに
よる引っ張り力を面Sの全体について平均化したもの
を、安定化エネルギーes として定義する。したがっ
て、面Sの一部が突出して変形した場合に安定化エネル
ギーes は増大する。面Sの全体が平均して移動すれば
安定化エネルギーes は零である。
【0049】安定化エネルギーes は、仮想バネKBの
変形の状態により、次の(5)式により求められる。
変形の状態により、次の(5)式により求められる。
【0050】
【数5】
【0051】但し、 TsA:制御点群 U〜m,V〜m :仮想バネの端点(制御点)の初期値 Um,Vm :変形後の仮想バネの端点 L0m:初期状態の仮想バネの長さ, L0m=|U〜m −V〜m | M :仮想バネの本数 c :バネ係数 L :種々のエネルギーを同一単位で扱うための調整用
スケール したがって、バネ係数cを大きくすると、仮想バネKB
は硬くなって変形し難くなる。
スケール したがって、バネ係数cを大きくすると、仮想バネKB
は硬くなって変形し難くなる。
【0052】このような安定化エネルギー関数es を導
入することにより、面Sの形状変化に一定の拘束を設け
ることとなり、面Sの過度の変形を防ぐことができる。 〔総合のエネルギー関数〕上に述べたように、各エネル
ギー関数e2,e3,e4 について、それぞれ制御点群T2
A, T3A, TsAが用いられる。ここでは、これらの制御
点群T2A〜TsAは同じであるが、後述するように互いに
異ならせることができる。これら制御点群TAを用いて
標準モデルDSの変形を行い、次の(6)式に示す総合
エネルギー関数e(TA)を最小にする制御点群TAを
求める。
入することにより、面Sの形状変化に一定の拘束を設け
ることとなり、面Sの過度の変形を防ぐことができる。 〔総合のエネルギー関数〕上に述べたように、各エネル
ギー関数e2,e3,e4 について、それぞれ制御点群T2
A, T3A, TsAが用いられる。ここでは、これらの制御
点群T2A〜TsAは同じであるが、後述するように互いに
異ならせることができる。これら制御点群TAを用いて
標準モデルDSの変形を行い、次の(6)式に示す総合
エネルギー関数e(TA)を最小にする制御点群TAを
求める。
【0053】
【数6】
【0054】但し、 e2s (T2A): モデル輪郭毎の2次元画像上の輪郭との差
分エネルギー e3(T3A): 2次元画像の特徴点とモデル上の特徴点と
の差分エネルギー eS(TSA): 過剰な変形を回避するための安定化エネル
ギー wi, c : それぞれのエネルギーのウエイトパラメー
タ TA=T1A=T2A=T3A=TSA 〔繰り返し変形〕実際には繰り返し変形を行う。つま
り、制御点を動かして繰り返して変形を行う。n回目の
変形後の総合エネルギー関数をen(TA)とすると、次
の(7)式の条件が満たされたときに、総合エネルギー
関数en (TA)が収束したと判断する。
分エネルギー e3(T3A): 2次元画像の特徴点とモデル上の特徴点と
の差分エネルギー eS(TSA): 過剰な変形を回避するための安定化エネル
ギー wi, c : それぞれのエネルギーのウエイトパラメー
タ TA=T1A=T2A=T3A=TSA 〔繰り返し変形〕実際には繰り返し変形を行う。つま
り、制御点を動かして繰り返して変形を行う。n回目の
変形後の総合エネルギー関数をen(TA)とすると、次
の(7)式の条件が満たされたときに、総合エネルギー
関数en (TA)が収束したと判断する。
【0055】
【数7】
【0056】さて、ここで、変形処理の全体的な流れを
図4に沿って説明する。まず、2次元画像と標準モデル
DSとの間で対応する点の組みを作成する(図8のPk
とQk)(#21)。
図4に沿って説明する。まず、2次元画像と標準モデル
DSとの間で対応する点の組みを作成する(図8のPk
とQk)(#21)。
【0057】面Sを変形し(#22)、変形後の総合エ
ネルギー関数en(TA)を計算する(#23)。総合エ
ネルギー関数en(TA)が収束するまで(#24でイエ
ス)、処理を繰り返す。
ネルギー関数en(TA)を計算する(#23)。総合エ
ネルギー関数en(TA)が収束するまで(#24でイエ
ス)、処理を繰り返す。
【0058】総合エネルギー関数en(TA)の収束を判
定する方法として、上に述べたように総合エネルギー関
数en(TA)が所定の値よりも小さくなったときを収束
とする方法、前回の計算と比較べた変化の割合が所定値
以下となったときに収束とする方法など、公知の方法を
用いることが可能である。
定する方法として、上に述べたように総合エネルギー関
数en(TA)が所定の値よりも小さくなったときを収束
とする方法、前回の計算と比較べた変化の割合が所定値
以下となったときに収束とする方法など、公知の方法を
用いることが可能である。
【0059】上に述べた実施形態によると、2次元画像
FTの輪郭RKまたは特徴点TTを用いてフィッティン
グを行うので、3次元データを用いることなく、2次元
画像から簡単に3次元モデルを生成することができる。
FTの輪郭RKまたは特徴点TTを用いてフィッティン
グを行うので、3次元データを用いることなく、2次元
画像から簡単に3次元モデルを生成することができる。
【0060】上に述べた実施形態において、モデリング
装置1の構成、回路、処理内容、処理順序、処理タイミ
ング、係数の設定などは、本発明の趣旨に沿って適宜変
更することができる。
装置1の構成、回路、処理内容、処理順序、処理タイミ
ング、係数の設定などは、本発明の趣旨に沿って適宜変
更することができる。
【0061】
【発明の効果】本発明によると、3次元データを用いる
ことなく、2次元画像から簡単に3次元モデルを生成す
ることができる。しかも、一方向から撮影した2次元画
像のみを用いて3次元モデルを生成することが可能であ
り、2次元画像の取得および演算が容易である。
ことなく、2次元画像から簡単に3次元モデルを生成す
ることができる。しかも、一方向から撮影した2次元画
像のみを用いて3次元モデルを生成することが可能であ
り、2次元画像の取得および演算が容易である。
【0062】請求項2の発明によると、目または口もと
などの局部について、よりよく一致させることができ
る。
などの局部について、よりよく一致させることができ
る。
【図1】本発明に係るモデリング装置を示すブロック図
である。
である。
【図2】モデリング装置の全体の処理の流れを示すフロ
ーチャートである。
ーチャートである。
【図3】変形処理を示すフローチャートである。
【図4】標準モデルの例を示す図である。
【図5】特徴点の対応の様子を示す図である。
【図6】輪郭の対応の様子を示す図である。
【図7】概略の位置合わせの様子を示す図である。
【図8】標準モデルの輪郭と2次元画像の点とを模式的
に示す図である。
に示す図である。
【図9】標準モデルの異常変形を防ぐための仮想バネを
説明するための図である。
説明するための図である。
1 モデリング装置(3次元モデルの生成装置) 10 処理装置 16 カメラ FT 2次元画像 ML 3次元モデル DS 標準モデル RK 輪郭 TT 特徴点 PR モデリングプログラム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤井 英郎 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 (72)発明者 トマシ コワルチク 東京都渋谷区広尾5−19−9 広尾ONビ ル 株式会社ゲン・テック内 Fターム(参考) 5B046 FA18 5B050 BA09 BA12 EA05 EA06 EA13 EA28
Claims (3)
- 【請求項1】3次元の標準モデルを変形させて3次元モ
デルを生成する方法であって、 対象物をカメラで撮影して得られた2次元画像上に、撮
影時のカメラパラメータを用いて前記標準モデルを投影
し、 前記標準モデルを前記2次元画像にフィッティングする
とともに、その際に、 前記標準モデルと前記2次元画像との概略の位置合わせ
を行い、 概略の位置合わせにおいて得られるx方向およびy方向
のスケール情報に基づいてz方向のスケールを取得し、 取得したz方向のスケールに基づいて前記標準モデルの
奥行き方向の変形を行う、 ことを特徴とする3次元モデルの生成方法。 - 【請求項2】前記標準モデル上に輪郭または/および特
徴点を定義し、それら輪郭または/および特徴点が、2
次元画像上の対応する輪郭または/および特徴点に近づ
くようにフィッティングを行う、 請求項1記載の3次元モデルの生成方法。 - 【請求項3】3次元の標準モデルを変形させて3次元モ
デルを生成する装置であって、 対象物をカメラで撮影して得られた2次元画像を記憶す
る手段と、 撮影時のカメラパラメータを用いて前記2次元画像上に
前記標準モデルを投影する手段と、 前記標準モデルと前記2次元画像との概略の位置合わせ
を行う際に、概略の位置合わせにおいて得られるx方向
およびy方向のスケール情報に基づいてz方向のスケー
ルを取得し、取得したz方向のスケールに基づいて前記
標準モデルの奥行き方向の変形を行う手段と、 を有してなることを特徴とする3次元モデルの生成装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000218310A JP2002032783A (ja) | 2000-07-19 | 2000-07-19 | 3次元モデルの生成方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000218310A JP2002032783A (ja) | 2000-07-19 | 2000-07-19 | 3次元モデルの生成方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002032783A true JP2002032783A (ja) | 2002-01-31 |
Family
ID=18713281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000218310A Pending JP2002032783A (ja) | 2000-07-19 | 2000-07-19 | 3次元モデルの生成方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002032783A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7764828B2 (en) | 2004-12-08 | 2010-07-27 | Sony Corporation | Method, apparatus, and computer program for processing image |
JP2015136497A (ja) * | 2014-01-23 | 2015-07-30 | 英孝 松本 | 客の髪型の長さを決める方法 |
CN112102469A (zh) * | 2020-08-10 | 2020-12-18 | 上海联影医疗科技股份有限公司 | 三维建模***、扫描***及其控制方法 |
-
2000
- 2000-07-19 JP JP2000218310A patent/JP2002032783A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7764828B2 (en) | 2004-12-08 | 2010-07-27 | Sony Corporation | Method, apparatus, and computer program for processing image |
JP2015136497A (ja) * | 2014-01-23 | 2015-07-30 | 英孝 松本 | 客の髪型の長さを決める方法 |
CN112102469A (zh) * | 2020-08-10 | 2020-12-18 | 上海联影医疗科技股份有限公司 | 三维建模***、扫描***及其控制方法 |
CN112102469B (zh) * | 2020-08-10 | 2023-07-25 | 上海联影医疗科技股份有限公司 | 三维建模***、扫描***及其控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4216824B2 (ja) | 3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラム | |
KR102136241B1 (ko) | 표정 검출 성능을 갖는 머리-장착형 디스플레이 | |
KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
CN110574076B (zh) | 图像生成设备、图像生成方法和计算可读存储介质 | |
JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
US10467793B2 (en) | Computer implemented method and device | |
WO2009091029A1 (ja) | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム | |
US20210158552A1 (en) | Systems and methods for enhanced depth determination using projection spots | |
JP2003187261A (ja) | 3次元画像生成装置、3次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体 | |
US20210264684A1 (en) | Fitting of glasses frames including live fitting | |
JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
JP6552266B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11212502B2 (en) | Method of modifying an image on a computational device | |
JP2002015310A (ja) | 点群に面をフィッティングする方法およびモデリング装置 | |
JP4316114B2 (ja) | モデルの変形方法およびモデリング装置 | |
JP2004326179A (ja) | 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 | |
JP4781981B2 (ja) | 動画像生成方法及びシステム | |
JP4479069B2 (ja) | 形状モデルの生成方法および装置 | |
JP2002032783A (ja) | 3次元モデルの生成方法および装置 | |
JP2002015307A (ja) | 形状モデルの生成方法 | |
JP4924747B2 (ja) | 標準モデルの変形方法およびモデリング装置 | |
JP4838411B2 (ja) | 形状モデルの生成方法 | |
JP2002350131A (ja) | 多眼カメラのキャリブレーション方法および装置並びにコンピュータプログラム | |
JP7487266B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4292678B2 (ja) | 点群に面をフィッティングする方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |