JP3643511B2 - ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 - Google Patents
３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3643511B2 JP3643511B2 JP2000050999A JP2000050999A JP3643511B2 JP 3643511 B2 JP3643511 B2 JP 3643511B2 JP 2000050999 A JP2000050999 A JP 2000050999A JP 2000050999 A JP2000050999 A JP 2000050999A JP 3643511 B2 JP3643511 B2 JP 3643511B2
- Authority
- JP
- Japan
- Prior art keywords
- polygon
- image
- information
- screen
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，表示対象物体の３次元モデルデータを用い，コンピュータによって任意の視点方向から見た物体の画像を表示する３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体に関し，特に表示対象の撮影画像をもとに処理を行うイメージベースモデリングならびにイメージベースレンダリングの技術に関する。
【０００２】
【従来の技術】
近年，インターネットの普及や画像処理能力の向上に伴い，商品等のプレゼンテーションに３次元モデルデータが用いられるようになってきた。３次元モデルデータを商品紹介に用いることにより，顧客は，実際に目の前に商品がなくても，パーソナルコンピュータ等の画面上で，商品を好きな角度／方向から見ることができる。しかし，商品の３次元モデルデータを生成するには，その形状データと表面の画像データが必要となる。
【０００３】
一般的な３次元モデルとして，ポリゴンモデルがある。図２２にそのポリゴンモデルの一例を示す。このモデルは，表示対象を複数のポリゴンで表し，各ポリゴンに色彩や光沢等の情報を与える。そのデータを透視投影することにより，所望の角度・距離から見たときの２次元画像を得ることができる。この方法では，正確なポリゴンモデルを生成することにより，任意の角度・距離からの観察画像を正確に得ることができる。
【０００４】
しかしながら，このポリゴンモデルを得るには，レンジファインダ等の専用の３次元モデリング装置が必要となる。また，表示対象に曲面がある場合，ポリゴン数が膨大となり，そのデータ量・処理量が共に膨大となるという問題がある。また，微妙な色彩が表現できないためリアリティが低く，実写画像に比べるとかなり見劣りするという問題がある。
【０００５】
リアリティを増すために，実写画像を複数の方向から撮影し，その画像をポリゴン表面に貼り付ける方法がある。しかしながら，この方法は，表示対象の表面がプラスチックや金属等の鏡面反射が大きいものである場合に，表面に映り込んだ像が実写画像ごとに異なるため，これらの画像をポリゴン表面に貼り付けると，逆にポリゴンの境界が見苦しくなるという問題がある
一方，実写画像を用いたモデルとして，複数の方向から実写画像を撮影し，表示したい角度に最も近い画像を表示する方法がある。この方法では，実写画像を用いているため，非常にリアリティの高い画像を得ることができ，例えば米国アップルコンピュータ社が開発したＱｕｉｃｋＴｉｍｅＶＲ等で用いられている。しかしながら，任意の角度からの画像を得るには，画像数が膨大となり，また，実写画像の撮影距離と所望の視点距離とが大きく異なる場合，表示対象の側面等の見え方が異なるという問題がある。
【０００６】
これを解決する方法として，２枚の実写画像から，その間の画像を補間して描画する方法が提案されており，ＩＧＧＲＡＰＨ９６で公表された“Ｖｉｅｗ Ｍｏｒｐｈｉｎｇ”はその代表的な例である。この方法は，２枚の画像間で共通である対応点をあらかじめ求めておき，対応点をもとに２枚の画像を変形してそれらを合成し，２枚の画像間の視点から見たときの画像を合成する。この方法では，正確な対応点が得られると，２枚の画像間の任意の視点からの画像を，かなり正確に描画することができ，必要となる実写画像の枚数を減らすことができる。
【０００７】
しかしながら，この方法では，２つの実写画像間の対応点が必須であるが，これを求める有効なアルゴリズムはいまだ実現されておらず，現在のところ手動で対応点の指定を行っているので，３次元モデルの自動生成には難がある。また，本方法では計算量がかなり大きいため，画像合成に数〜数十分程度かかるのが普通であり，リアルタイムで表示することができない。
【０００８】
【発明が解決しようとする課題】
前述したように，従来のモデリング手法であるポリゴンモデルでは，リアリティの高い画像を生成することができず，また，モデルデータの作成が難しいという問題がある。また，実写画像を用いたモデリング手法では，リアリティは増すが，データ量が膨大になったり，対応点を手動で指定したりしなければならなかったり，その処理時間が膨大になったりするという問題がある。
【０００９】
【課題を解決するための手段】
本発明は，複数の視点から撮影した実写画像と表示対象物体の概略形状を３次元モデルとする。そして，所望の視点からの表示画像を合成する場合に，まず，所望の視点方向と撮影方向とが最も近い実写画像を選ぶ。その実写画像を概略形状の表面に，実写画像の撮影位置を視点として投射する。そして，投射された概略形状を，所望の視点からの方向からスクリーン上に透視投影して，表示画像を得る。
【００１０】
本発明では，所望の視点方向と撮影方向が近い１枚の画像を用い，それを概略形状をもとに変形した画像を表示することを基本とする。このため，実写画像間で，鏡面反射等で写り込んだ画像に差が生じていても，それらに影響されることなく，リアリティの高い画像を得ることができる。また，実写画像間の対応点を用いていないため，対応点を求める必要もない。
【００１１】
さらに，実写画像を変形した画像で実写画像間の視点からの表示画像を補っているので，必要となる実写画像の枚数を低く抑えることができる。また，所望の視点方向と撮影方向が近い実写画像を変形させて表示させているので，実写画像の変形は比較的小さく，このため，概略形状の精度を高くしなくても，十分にリアリティの高い画像が得られるという特徴がある。
【００１２】
すなわち，概略形状を生成するために，高精度の３次元モデリング装置を必要とせず，概略形状の生成も簡易に行うことができる。また，概略形状のポリゴン数はかなり少なく抑えられるので，本方法における画像合成時間は短く，リアルタイムで描画することが可能である。
【００１３】
【発明の実施の形態】
以下，本発明の実施の形態について詳細に説明する。
【００１４】
本発明での，表示対象物体Ｏの３次元モデルデータＭＤは，物体の全周囲をカバーする異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，その撮影情報Ｉｋ（１≦ｋ≦ｎ）と，表示対象物体Ｏの概略を表すポリゴンデータ（概略形状Ｓ）からなる。
【００１５】
図１に３次元モデルデータＭＤの例を示す。この図において，（Ａ）は撮影画像の例を，（Ｂ）は撮影情報の例を，（Ｃ）は概略形状の例を示している。
【００１６】
撮影画像Ｐｋは，デジタルカメラ等で撮影する。撮影情報Ｉｋは，カメラと表示対象物体Ｏ（被写体）の距離ｄ，表示対象物体Ｏのある撮影方向を基準としてその基準方向との差を表す撮影方向を示す回転行列Ｒ，撮影画像の１ピクセルの長さを表す解像度ｒからなる。これらの値は厳密な値を必要としないので，定規等での計測で十分である。
【００１７】
概略形状Ｓは，表示対象物体Ｏの大まかな形状でかまわないので，撮影画像から表示対象物体Ｏの大まかな縁取りを行い，Shape from Silhouette 等のアルゴリズムを用いて求める。厳密に計算する必要はなく，生成するポリゴン数も少なくてよいので，一般的なポリゴン生成に比べ，簡易に生成することができる。なお，画像から形状を求める手法（Shape from Silhouette のアルゴリズムを含む）の参考文献としては，例えば「“From image to models (and beyond): a personal retrospective", SIGGRAPH Course Note, 1999. 」がある。
【００１８】
また，概略形状Ｓは，定規等による測定で大まかに生成する方法でも生成可能である。さらに，各撮影画像の背景を切り取っておくことにより，表示対象を表示するとき，表示対象よりも奥にある物体等と重なった場合でも，正確に表示することができる。
【００１９】
本発明での上記３次元モデルデータＭＤを任意の方向から見たときの第１の表示方法について述べる。図２に，第１の表示方法による処理の流れを示す。
【００２０】
まず，ステップＳ１１で，所望の視点Ｖの方向と３次元モデルデータＭＤの各撮影画像Ｐ１〜Ｐｎの撮影方向とを比較し，最も近い撮影画像Ｐｋ（１≦ｋ≦ｎ）を選ぶ。この比較は，視点Ｖの方向ベクトルと撮影方向のベクトルの内積を求め，その値が最も大きいもの（各方向ベクトルを単位ベクトルで表したとき，内積が１に最も近いもの）を選ぶことにより実現できる。
【００２１】
ステップＳ１２では，この撮影画像Ｐｋを，撮影位置を視点とした方向から見た概略形状Ｓの表面に投射する。この様子を，図３に示す。実際に計算機上では，撮影位置を視点，概略形状ＳをスクリーンＳＣ上に透視投影して，撮影画像ＰｋをスクリーンＳＣに重ねることにより，概略形状Ｓの各表面に投射される画像を得ることができる。
【００２２】
ステップＳ１３では，図４に示すように，この撮影画像Ｐｋを投射した概略形状Ｓを，所望の視点Ｖの方向からスクリーンＳＣ上に透視投影して，表示画像を得る。この操作を行うことにより，３次元モデルデータＭＤの所望の視点から見たときの投影画像を生成することができる。
【００２３】
なお，透視投影は，人間が眼で見る状態と同じ画像を作るため，視点に近い物体ほど大きく，遠い物体ほど小さくなるように投影する投影方法の一つであるが，周知の技術であるため，これについてのさらに詳しい説明は省略する。
【００２４】
図５に撮影画像および第１の表示方法による合成画像例を示す。図５（Ｂ）は撮影画像そのものであり，図５（Ａ）は視点を左１５度ずらして合成した画像，図５（Ｃ）は視点を右１５度ずらして合成した画像である。図５の（Ａ），（Ｃ）は，図１（Ｃ）に示す単純な概略形状Ｓで合成を行っているが，本アルゴリズムを用いることにより，任意の方向から見たときの表示画像を生成できることがわかる。
【００２５】
以上の第１の表示方法では，概略形状Ｓに対して，撮影画像Ｐｋの撮影位置を視点とした方向からの実写の投影と，所望の視点Ｖからの透視投影のため，２回の座標計算を行う必要がある。撮影情報Ｉｋに，概略形状Ｓの各項点が対応する撮影画像上のピクセル座標からなる投影点情報（以下，ピクセル座標情報という）ＩＶ，概略形状Ｓの多角形に対応する撮影画像上の多角形を表す多角形情報ＩＰを加えた３次元モデルデータＭＤ２を用いることにより，この座標計算を１回に減らすことができる。
【００２６】
図６に３次元モデルデータＭＤ２における撮影情報に追加されるピクセル座標情報ＩＶと多角形情報ＩＰの例を示す。他の撮影情報については，図１（Ｃ）に示す３次元モデルデータＭＤと同様である。ピクセル座標情報ＩＶは，２次元の座標データであり，撮影位置を視点，撮影画像ＰｋをスクリーンＳＣとして，概略形状Ｓの各頂点を透視投影することにより，その座標を求める。さらに，多角形情報ＩＰは，頂点のインデックス列のリストであり，概略形状Ｓの頂点の接続情報をもとに生成する。
【００２７】
次に，この３次元モデルデータＭＤ２を用いた第２の表示方法について説明する。図７に，第２の表示方法による処理の流れを示す。
【００２８】
第２の表示方法では，まず，所望の視点Ｖの方向と撮影方向とが最も近い撮影画像Ｐｋ（１≦ｋ≦ｎ）を選ぶ（ステップＳ２１）。次に，図８に示すように，視点Ｖからの概略形状Ｓの各頂点のスクリーン座標ＶＳを，透視投影により求める（ステップＳ２２）。
【００２９】
そして，多角形情報ＩＰから任意の多角形Ａを一つ選び（ステップＳ２３），多角形Ａの各頂点の座標をピクセル座標情報ＩＶから得て，撮影画像Ｐｋ内の多角形Ｂの領域を取得する（ステップＳ２４）。ステップＳ２４では，例えば図９（Ａ）に示す実写画像から，図９（Ｂ）に示す多角形Ｂの領域を取得することになる。
【００３０】
次に，多角形Ａの各頂点座標をスクリーン座標ＶＳから得て，図９（Ｃ）に示すようなスクリーンＳＣ上の多角形Ｃを得る（ステップＳ２５）。そして，多角形Ｂの領域をスクリーンＳＣ上の多角形Ｃの形状に合うように変形する（ステップＳ２６）。多角形Ｂの領域を変形した様子を図９（Ｄ）に示す。これをスクリーンＳＣに貼り付けて描画する（ステップＳ２７）。多角形情報ＩＰの全ての多角形に対して，多角形Ａと同様に処理してスクリーンＳＣ上に描画することにより（ステップＳ２８），図９（Ｅ）に示すように，第１の表示方法と同様の表示画像を得ることができる。
【００３１】
上記第１または第２の表示方法では，スクリーンＳＣに射影した多角形に対応する撮影画像上の多角形がない場合，その場所の画像が抜けるという問題がある。具体例で説明すると，図１０は，表示対象物体を正面から撮影した画像であるが，この画像をもとに視点を左に１５度ずらして第１の表示方法（第２の表示方法も同様）で合成すると，図１１に示すような画像になる。この画像では，左側面に対応する多角形が，図１０中の撮影画像中にないため，画像の欠けが生じている。
【００３２】
この問題を解決する第３の表示方法を次に示す。図１２に，第３の表示方法による処理の流れを示す。
【００３３】
第３の表示方法では，所望の視点方向と撮影方向とが近いｍ枚（２から４枚程度）の撮影画像を選び（ステップＳ３１），その中から視点方向と撮影方向が最も遠い撮影画像から順番に１枚ずつ選んで，上記第１の表示方法または第２の表示方法を用いることにより表示画像を生成する（ステップＳ３２）。生成した表示画像をスクリーンＳＣ上に順次上書きしていく（ステップＳ３３）。ステップＳ３２，Ｓ３３を，選択したｍ枚の撮影画像に対する処理を全て終了するまで繰り返す（ステップＳ３４）。
【００３４】
図１３は，第３の表示方法を用いた例であり，視点の方向を左１５度として画像を合成するにあたって，正面撮影画像を用いてスクリーンＳＣに描画する前に，左４５度方向から撮影した撮影画像について，視点を右に３０度ずらしたときの画像を生成し，それをスクリーンＳＣに描画し，その後に，図１１の画像を同様に第１または第２の表示方法を用いて上書きした例を示している。
【００３５】
これにより，画像の欠けがなくなっていることがわかる。第３の表示方法では，ｍ枚の画像を重ね書きした場合，その処理時間はｍ倍となる。ここで，表示欠けを生じさせる多角形Ｄについて考えてみる。３次元モデルデータＭＤあるいはＭＤ２内の，ある撮影画像Ｐｋを表示するときの視点の範囲は，撮影画像Ｐｋと撮影位置が隣接する撮影画像Ｐｍの撮影位置の中間であり，これを表示限界位置Ｌとする。表示限界位置Ｌを視点として概略形状Ｓの各多角形を透視投影したときにスクリーンＳＣ上に映し出される多角形のうち，撮影画像Ｐｋを撮影したときの撮影位置を視点として概略形状Ｓの各多角形を透視投影したときにスクリーンＳＣ上に現れない多角形が，表示欠けを生じさせる多角形Ｄである。
【００３６】
そこで表示欠けをなくすための描画時間の短縮のため，次のような付加画像情報ＩＴｋを用いる。付加画像情報ＩＴｋは，この多角形の各頂点が対応する撮影画像Ｐｍ上のピクセル座標情報と，その多角形の頂点のインデックスのリストで多角形を表す多角形情報，その多角形内の撮影画像からなる。上記ピクセル座標情報は，前記の多角形情報の生成の場合と同様に作成する。すなわち，付加画像情報ＩＴｋは，図６と同様な形式のピクセル座標情報，多角形情報のリストと，多角形内の撮影画像の画像データからなる。このような付加画像情報ＩＴｋを加えた３次元モデルデータをＭＤ３とし，これを描画に用いることにより，描画時間を短縮することができる。
【００３７】
図１４に，第４の表示方法による処理の流れを示す。この３次元モデルデータＭＤ３を用いた第４の表示方法では，まず，３次元モデルデータＭＤ３の撮影画像Ｐｋ（１≦ｋ≦ｎ）の中から，所望の視点方向と撮影方向とが最も近い撮影画像Ｐｊ（１≦ｊ≦ｎ）を１枚選び（ステップＳ４１），３次元モデルデータＭＤ３の付加画像情報ＩＴｋをもとに前述した第１または第２の表示方法によりスクリーンに描画し（ステップＳ４２），全ての必要な付加画像情報ＩＴｋの描画が終了したならば（ステップＳ４３），３次元モデルデータＭＤ３の撮影情報Ｉｋをもとに第１または第２の表示方法によりスクリーンに重ね書きを行い，表示画像を得る（ステップＳ４４）。
【００３８】
また，第３の表示方法または第４の表示方法では，違う撮影画像を変形したものを重ね合わせているので，撮影時の照明角度の違いなどで撮影画像の色彩に差がある場合や，概略形状が正確でないために変形した画像が一致しない場合がある。
【００３９】
例えば，図１５の画像のポリゴンＡＢＣＤＥに注目する。概略形状上では，このポリゴンは，ＡＦＣＤＥで構成されているが，線分ＣＧを含むポリゴンが手前にあるので，実際に見えている部分のポリゴンは，ＡＢＣＤＥとなる。視点方向を左にすると，点Ｂの位置が，線分ＣＧより左側になり，図１６のように表示画像に欠けが生じる。第３の表示方法または第４の表示方法のように，近傍の撮影画像で欠け部分を補ったのが図１７の例である。撮影画像の色彩が若干違い，形状にも差が生じているため，接合部が目立つことかわかる。
【００４０】
これを回避するための３次元モデルデータＭＤ４と第５の表示方法について説明する。３次元モデルデータＭＤ４は，頂点Ｂのように，手前のポリゴンの重なりにより生じた頂点を交点として，その交差点情報ＩＸを，３次元モデルデータの多角形情報ＩＰに加えたデータを，モデルデータとする。その交差点情報ＩＸは，これを表す２つの交線すなわち４つの頂点のインデックスからなる。図１５の例では，交点（頂点）Ｂは，頂点Ａ，Ｆ，Ｇ，Ｃのインデックスで与えられる。
【００４１】
第５の表示方法は，この３次元モデルデータＭＤ４を用いる。描画アルゴリズムは，基本的に第２の表示方法と同様である。違う点は，概略形状Ｓの各頂点のスクリーン座標を求めた後，それらから，交点のスクリーン座標を求めて描画する点にある。
【００４２】
図１８に，第５の表示方法による処理の流れを示す。まず，所望の視点方向と撮影方向とが最も近い撮影画像Ｐｋ（１≦ｋ≦ｎ）を選ぶ（ステップＳ５１）。視点Ｖからの概略形状Ｓの各頂点のスクリーン座標ＶＳを，透視投影により求める（ステップＳ５２）。次に，３次元モデルデータＭＤ４の交差点情報ＩＸの示す２辺の始点と終点に対応するスクリーン座標を代入して，その２辺の交点の座標を求めて頂点のスクリーン座標として加える（ステップＳ５３）。
【００４３】
そして，多角形情報ＩＰから任意の多角形Ａを一つ選び（ステップＳ５４），多角形Ａの各頂点の座標をピクセル座標情報ＩＶから得て，撮影画像Ｐｋ内の多角形Ｂの領域を取得する（ステップＳ５５）。次に，多角形Ａの各頂点座標をスクリーン座標ＶＳから得て，スクリーン上の多角形Ｃを求め（ステップＳ５６），多角形Ｂの領域をスクリーンＳＣ上の多角形Ｃの形状に合うように変形する（ステップＳ５７）。これをスクリーンＳＣに描画する（ステップＳ５８）。多角形情報ＩＰの全ての多角形に対して，多角形Ａと同様に処理してスクリーンＳＣ上に描画し表示画像を得る（ステップＳ５９）。
【００４４】
図１９は，第５の表示方法を用いた例を説明する図であり，頂点Ａ，Ｃ，Ｆ，Ｇのスクリーン座標を求め，それから，線分ＡＦおよび線分ＣＧの交点Ｂ’のスクリーン座標を求める。そして，図１５の多角形ＡＢＣＤＥの領域を図１９の多角形ＡＢ’ＣＤＥの形状に合うように変形して描画する方法を加えたものである。この方法により，画像の不自然さも回避できていることが分かる。
【００４５】
上記の３次元モデルデータＭＤ２では，ピクセル座標情報ＩＶとして，ｘ，ｙの２次元データを用い，第２の表示方法では，その座標で表された多角形を，スクリーン上の対応する多角形領域に変形して貼り付けていた。さらに，ピクセル座標情報ＩＶに，奥行き情報のｚ値を加えた情報を用いることにより，より自然な画像を得ることが可能になる。
【００４６】
図２０（Ａ）に示すスクリーンと平面の関係により，ピクセル座標情報ＩＶとしてｘ，ｙの２次元データを用いたときに生じる画像の歪みについて説明する。スクリーンＳＣ上の２点Ｓ0 とＳ1 間のｍ：（１−ｍ）の位置の点をＳm とし，視点ＶからＳm を通り，概略形状Ｓの平面との交点をＰm とすると，平面が奥行き方向に傾いている場合，Ｐ0 Ｐm とＰm Ｐ1 との比は，ｍ：（１−ｍ）にならない。このため，ｚ値を用いずに多角形を線形補間によって変形すると，図２０（Ａ）からも明らかなように画像に歪みが生じることになる。そこで，第６の表示方法では，多角形の変形時にｚ値を考慮して，いわゆるパースペクティブコレクション（perspective correction）による変形を行い，多角形への描画を実行する。
【００４７】
図７で説明した第２の表示方法におけるステップＳ２６での多角形の変形方法と，第６の表示方法による多角形の変形方法との違いについて説明する。図７のステップＳ２６では，撮影画像上の多角形ＢをスクリーンＳＣ上の多角形Ｃの形状に変形する。すなわち，多角形Ｃ内の任意の点が多角形Ｂのどこに対応するかがわかれば，変形を計算できる。
【００４８】
まず，第２の表示方法においてピクセル座標情報ＩＶとして，２次元データを用いる場合，図２１（Ａ）に示すような線形補間による多角形の変換を行うことになる。
【００４９】
多角形Ｃの辺上の２点をＳ0 （ｘs0，ｙs0），Ｓ1 （ｘs1，ｙs1）とし，それらが多角形Ｂ上で対応する２点をＰ0 （ｘp0，ｙp0），Ｐ1 （ｘp1，ｙp1）とする。Ｓ0 とＳ1 との間の点をＳm （ｘsm，ｙsm）とすると，点Ｓm に対応する多角形Ｂ上の点Ｐm （ｘpm，ｙpm）は，次のように計算される。
【００５０】
ｍ＝（ｘsm−ｘs0）／（ｘs1−ｘs0）
ｘpm＝（１−ｍ）×ｘp0＋ｍ×ｘp1
ｙpm＝（１−ｍ）×ｙp0＋ｍ×ｙp1
これに対し，第２の表示方法を改良した第６の表示方法では，ピクセル座標情報ＩＶとして，図２０（Ｂ）に示すような３次元データを用いて，図２１（Ｂ）に示すパースペクティブコレクションによって，撮影画像上の多角形ＢをスクリーンＳＣ上の多角形Ｃの形状に変形する。
【００５１】
多角形Ｃの辺上の２点をＳ0 （ｘs0，ｙs0，ｚs0），Ｓ1 （ｘs1，ｙs1，ｚs1）とし，それらが多角形Ｂ上で対応する２点をＰ0 （ｘp0，ｙp0，ｚp0），Ｐ1 （ｘp1，ｙp1，ｚp1）とする。また，Ｓ0 とＳ1 との間の点をＳm （ｘsm，ｙsm，ｚsm）とし，点Ｓm に対応する多角形Ｂ上の点をＰm （ｘpm，ｙpm，ｚpm）とする。点Ｐm （ｘpm，ｙpm，ｚpm）は，次のように計算される。
【００５２】
ｍ＝（ｘsm−ｘs0）／（ｘs1−ｘs0）
１／Ｔ＝（１−ｍ）／（ｚs0×ｚp1）＋ｍ／（ｚs1×ｚp0）
ｘpm／Ｔ＝（１−ｍ）×ｘp0／（ｚs0×ｚp1）＋ｍ×ｘp1／（ｚs1×ｚp0）
ｙpm／Ｔ＝（１−ｍ）×ｙp0／（ｚs0×ｚp1）＋ｍ×ｙp1／（ｚs1×ｚp0）
このようにピクセル座標情報ＩＶにｚ値を加えた３次元の座標情報を用いることによって，図２０（Ａ）に示すような概略形状Ｓの平面の傾きによって生じる画像の歪みを解消することができ，より自然な画像を得ることが可能になる。
【００５３】
上述した第３ないし第５の表示方法において利用する第２の表示方法に代えて，第６の表示方法を用いることができることは言うまでもない。
【００５４】
なお，以上説明した表示方法を，ＣＰＵおよびメモリを備えたコンピュータに上記の処理を行うソフトウェアプログラムを実行させることにより実現することができ，また，その一部をハードウェア回路によって実現することもできる。このようなソフトウェアやハードウェアによる画像処理のインプリメント方法自体は，以上の説明と従来のイメージベースレンダリングの技術とから，当業者には明らかであるので，これ以上の詳しい説明は省略する。また，本発明の方法をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができることは言うまでもない。
【００５５】
【発明の効果】
本発明では，視点と撮影方向が近い撮影画像を用い，概略形状をもとに変形させて描画させているので，従来のポリゴンモデルに比べてリアリティの高い画像を得ることができる。また，本発明で用いる概略形状は簡便なものでよいので，そのデータの作成は容易であるという利点もある。また，ＱｕｉｃｋＴｉｍｅＶＲのように撮影画像のみで描画する方法に比べ，必要となる撮影画像も少なく抑えることができるので，モデルデータ量を低く抑えることができる。また，概略形状のポリゴン数はかなり少なく抑えられるので，本発明を用いた画像合成時間は短く，リアルタイムで描画することも可能である。
【図面の簡単な説明】
【図１】３次元モデルデータＭＤの例を示す図である。
【図２】第１の表示方法による処理の流れを示す図である。
【図３】撮影画像の概略形状への投影例を示す図である。
【図４】投影された概略形状のスクリーンへの透視投影例を示す図である。
【図５】撮影画像および第１の表示方法による合成画像例を示す図である。
【図６】３次元モデルデータＭＤ２における撮影情報に追加されるピクセル座標情報ＩＶと多角形情報ＩＰの例を示す図である。
【図７】第２の表示方法による処理の流れを示す図である。
【図８】第２の表示方法の説明図である。
【図９】第２の表示方法の説明図である。
【図１０】表示対象を正面から撮影した画像を示す図である。
【図１１】視点を左１５度として正面撮影画像を第１の表示方法で合成した例を示す図である。
【図１２】第３の表示方法による処理の流れを示す図である。
【図１３】視点を左１５度として正面撮影画像を第３の表示方法で合成した例を示す図である。
【図１４】第４の表示方法による処理の流れを示す図である。
【図１５】表示対象を右１３５度，上３０度から撮影した例を示す図である。
【図１６】視点を左１５度として右１３５度撮影画像を第１の表示方法で合成した例を示す図である。
【図１７】視点を左１５度として右１３５度撮影画像を第３の表示方法で合成した例を示す図である。
【図１８】第５の表示方法による処理の流れを示す図である。
【図１９】視点を左１５度として右１３５度撮影画像を第５の表示方法で合成した例を示す図である。
【図２０】３次元ピクセル座標情報を用いる例を説明する図である。
【図２１】多角形の変形方法説明図である。
【図２２】ポリゴンモデルの例を示す図である。
【符号の説明】
Ｐｋ 撮影画像
Ｉｋ 撮影情報
Ｓ 概略形状
【発明の属する技術分野】
本発明は，表示対象物体の３次元モデルデータを用い，コンピュータによって任意の視点方向から見た物体の画像を表示する３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体に関し，特に表示対象の撮影画像をもとに処理を行うイメージベースモデリングならびにイメージベースレンダリングの技術に関する。
【０００２】
【従来の技術】
近年，インターネットの普及や画像処理能力の向上に伴い，商品等のプレゼンテーションに３次元モデルデータが用いられるようになってきた。３次元モデルデータを商品紹介に用いることにより，顧客は，実際に目の前に商品がなくても，パーソナルコンピュータ等の画面上で，商品を好きな角度／方向から見ることができる。しかし，商品の３次元モデルデータを生成するには，その形状データと表面の画像データが必要となる。
【０００３】
一般的な３次元モデルとして，ポリゴンモデルがある。図２２にそのポリゴンモデルの一例を示す。このモデルは，表示対象を複数のポリゴンで表し，各ポリゴンに色彩や光沢等の情報を与える。そのデータを透視投影することにより，所望の角度・距離から見たときの２次元画像を得ることができる。この方法では，正確なポリゴンモデルを生成することにより，任意の角度・距離からの観察画像を正確に得ることができる。
【０００４】
しかしながら，このポリゴンモデルを得るには，レンジファインダ等の専用の３次元モデリング装置が必要となる。また，表示対象に曲面がある場合，ポリゴン数が膨大となり，そのデータ量・処理量が共に膨大となるという問題がある。また，微妙な色彩が表現できないためリアリティが低く，実写画像に比べるとかなり見劣りするという問題がある。
【０００５】
リアリティを増すために，実写画像を複数の方向から撮影し，その画像をポリゴン表面に貼り付ける方法がある。しかしながら，この方法は，表示対象の表面がプラスチックや金属等の鏡面反射が大きいものである場合に，表面に映り込んだ像が実写画像ごとに異なるため，これらの画像をポリゴン表面に貼り付けると，逆にポリゴンの境界が見苦しくなるという問題がある
一方，実写画像を用いたモデルとして，複数の方向から実写画像を撮影し，表示したい角度に最も近い画像を表示する方法がある。この方法では，実写画像を用いているため，非常にリアリティの高い画像を得ることができ，例えば米国アップルコンピュータ社が開発したＱｕｉｃｋＴｉｍｅＶＲ等で用いられている。しかしながら，任意の角度からの画像を得るには，画像数が膨大となり，また，実写画像の撮影距離と所望の視点距離とが大きく異なる場合，表示対象の側面等の見え方が異なるという問題がある。
【０００６】
これを解決する方法として，２枚の実写画像から，その間の画像を補間して描画する方法が提案されており，ＩＧＧＲＡＰＨ９６で公表された“Ｖｉｅｗ Ｍｏｒｐｈｉｎｇ”はその代表的な例である。この方法は，２枚の画像間で共通である対応点をあらかじめ求めておき，対応点をもとに２枚の画像を変形してそれらを合成し，２枚の画像間の視点から見たときの画像を合成する。この方法では，正確な対応点が得られると，２枚の画像間の任意の視点からの画像を，かなり正確に描画することができ，必要となる実写画像の枚数を減らすことができる。
【０００７】
しかしながら，この方法では，２つの実写画像間の対応点が必須であるが，これを求める有効なアルゴリズムはいまだ実現されておらず，現在のところ手動で対応点の指定を行っているので，３次元モデルの自動生成には難がある。また，本方法では計算量がかなり大きいため，画像合成に数〜数十分程度かかるのが普通であり，リアルタイムで表示することができない。
【０００８】
【発明が解決しようとする課題】
前述したように，従来のモデリング手法であるポリゴンモデルでは，リアリティの高い画像を生成することができず，また，モデルデータの作成が難しいという問題がある。また，実写画像を用いたモデリング手法では，リアリティは増すが，データ量が膨大になったり，対応点を手動で指定したりしなければならなかったり，その処理時間が膨大になったりするという問題がある。
【０００９】
【課題を解決するための手段】
本発明は，複数の視点から撮影した実写画像と表示対象物体の概略形状を３次元モデルとする。そして，所望の視点からの表示画像を合成する場合に，まず，所望の視点方向と撮影方向とが最も近い実写画像を選ぶ。その実写画像を概略形状の表面に，実写画像の撮影位置を視点として投射する。そして，投射された概略形状を，所望の視点からの方向からスクリーン上に透視投影して，表示画像を得る。
【００１０】
本発明では，所望の視点方向と撮影方向が近い１枚の画像を用い，それを概略形状をもとに変形した画像を表示することを基本とする。このため，実写画像間で，鏡面反射等で写り込んだ画像に差が生じていても，それらに影響されることなく，リアリティの高い画像を得ることができる。また，実写画像間の対応点を用いていないため，対応点を求める必要もない。
【００１１】
さらに，実写画像を変形した画像で実写画像間の視点からの表示画像を補っているので，必要となる実写画像の枚数を低く抑えることができる。また，所望の視点方向と撮影方向が近い実写画像を変形させて表示させているので，実写画像の変形は比較的小さく，このため，概略形状の精度を高くしなくても，十分にリアリティの高い画像が得られるという特徴がある。
【００１２】
すなわち，概略形状を生成するために，高精度の３次元モデリング装置を必要とせず，概略形状の生成も簡易に行うことができる。また，概略形状のポリゴン数はかなり少なく抑えられるので，本方法における画像合成時間は短く，リアルタイムで描画することが可能である。
【００１３】
【発明の実施の形態】
以下，本発明の実施の形態について詳細に説明する。
【００１４】
本発明での，表示対象物体Ｏの３次元モデルデータＭＤは，物体の全周囲をカバーする異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，その撮影情報Ｉｋ（１≦ｋ≦ｎ）と，表示対象物体Ｏの概略を表すポリゴンデータ（概略形状Ｓ）からなる。
【００１５】
図１に３次元モデルデータＭＤの例を示す。この図において，（Ａ）は撮影画像の例を，（Ｂ）は撮影情報の例を，（Ｃ）は概略形状の例を示している。
【００１６】
撮影画像Ｐｋは，デジタルカメラ等で撮影する。撮影情報Ｉｋは，カメラと表示対象物体Ｏ（被写体）の距離ｄ，表示対象物体Ｏのある撮影方向を基準としてその基準方向との差を表す撮影方向を示す回転行列Ｒ，撮影画像の１ピクセルの長さを表す解像度ｒからなる。これらの値は厳密な値を必要としないので，定規等での計測で十分である。
【００１７】
概略形状Ｓは，表示対象物体Ｏの大まかな形状でかまわないので，撮影画像から表示対象物体Ｏの大まかな縁取りを行い，Shape from Silhouette 等のアルゴリズムを用いて求める。厳密に計算する必要はなく，生成するポリゴン数も少なくてよいので，一般的なポリゴン生成に比べ，簡易に生成することができる。なお，画像から形状を求める手法（Shape from Silhouette のアルゴリズムを含む）の参考文献としては，例えば「“From image to models (and beyond): a personal retrospective", SIGGRAPH Course Note, 1999. 」がある。
【００１８】
また，概略形状Ｓは，定規等による測定で大まかに生成する方法でも生成可能である。さらに，各撮影画像の背景を切り取っておくことにより，表示対象を表示するとき，表示対象よりも奥にある物体等と重なった場合でも，正確に表示することができる。
【００１９】
本発明での上記３次元モデルデータＭＤを任意の方向から見たときの第１の表示方法について述べる。図２に，第１の表示方法による処理の流れを示す。
【００２０】
まず，ステップＳ１１で，所望の視点Ｖの方向と３次元モデルデータＭＤの各撮影画像Ｐ１〜Ｐｎの撮影方向とを比較し，最も近い撮影画像Ｐｋ（１≦ｋ≦ｎ）を選ぶ。この比較は，視点Ｖの方向ベクトルと撮影方向のベクトルの内積を求め，その値が最も大きいもの（各方向ベクトルを単位ベクトルで表したとき，内積が１に最も近いもの）を選ぶことにより実現できる。
【００２１】
ステップＳ１２では，この撮影画像Ｐｋを，撮影位置を視点とした方向から見た概略形状Ｓの表面に投射する。この様子を，図３に示す。実際に計算機上では，撮影位置を視点，概略形状ＳをスクリーンＳＣ上に透視投影して，撮影画像ＰｋをスクリーンＳＣに重ねることにより，概略形状Ｓの各表面に投射される画像を得ることができる。
【００２２】
ステップＳ１３では，図４に示すように，この撮影画像Ｐｋを投射した概略形状Ｓを，所望の視点Ｖの方向からスクリーンＳＣ上に透視投影して，表示画像を得る。この操作を行うことにより，３次元モデルデータＭＤの所望の視点から見たときの投影画像を生成することができる。
【００２３】
なお，透視投影は，人間が眼で見る状態と同じ画像を作るため，視点に近い物体ほど大きく，遠い物体ほど小さくなるように投影する投影方法の一つであるが，周知の技術であるため，これについてのさらに詳しい説明は省略する。
【００２４】
図５に撮影画像および第１の表示方法による合成画像例を示す。図５（Ｂ）は撮影画像そのものであり，図５（Ａ）は視点を左１５度ずらして合成した画像，図５（Ｃ）は視点を右１５度ずらして合成した画像である。図５の（Ａ），（Ｃ）は，図１（Ｃ）に示す単純な概略形状Ｓで合成を行っているが，本アルゴリズムを用いることにより，任意の方向から見たときの表示画像を生成できることがわかる。
【００２５】
以上の第１の表示方法では，概略形状Ｓに対して，撮影画像Ｐｋの撮影位置を視点とした方向からの実写の投影と，所望の視点Ｖからの透視投影のため，２回の座標計算を行う必要がある。撮影情報Ｉｋに，概略形状Ｓの各項点が対応する撮影画像上のピクセル座標からなる投影点情報（以下，ピクセル座標情報という）ＩＶ，概略形状Ｓの多角形に対応する撮影画像上の多角形を表す多角形情報ＩＰを加えた３次元モデルデータＭＤ２を用いることにより，この座標計算を１回に減らすことができる。
【００２６】
図６に３次元モデルデータＭＤ２における撮影情報に追加されるピクセル座標情報ＩＶと多角形情報ＩＰの例を示す。他の撮影情報については，図１（Ｃ）に示す３次元モデルデータＭＤと同様である。ピクセル座標情報ＩＶは，２次元の座標データであり，撮影位置を視点，撮影画像ＰｋをスクリーンＳＣとして，概略形状Ｓの各頂点を透視投影することにより，その座標を求める。さらに，多角形情報ＩＰは，頂点のインデックス列のリストであり，概略形状Ｓの頂点の接続情報をもとに生成する。
【００２７】
次に，この３次元モデルデータＭＤ２を用いた第２の表示方法について説明する。図７に，第２の表示方法による処理の流れを示す。
【００２８】
第２の表示方法では，まず，所望の視点Ｖの方向と撮影方向とが最も近い撮影画像Ｐｋ（１≦ｋ≦ｎ）を選ぶ（ステップＳ２１）。次に，図８に示すように，視点Ｖからの概略形状Ｓの各頂点のスクリーン座標ＶＳを，透視投影により求める（ステップＳ２２）。
【００２９】
そして，多角形情報ＩＰから任意の多角形Ａを一つ選び（ステップＳ２３），多角形Ａの各頂点の座標をピクセル座標情報ＩＶから得て，撮影画像Ｐｋ内の多角形Ｂの領域を取得する（ステップＳ２４）。ステップＳ２４では，例えば図９（Ａ）に示す実写画像から，図９（Ｂ）に示す多角形Ｂの領域を取得することになる。
【００３０】
次に，多角形Ａの各頂点座標をスクリーン座標ＶＳから得て，図９（Ｃ）に示すようなスクリーンＳＣ上の多角形Ｃを得る（ステップＳ２５）。そして，多角形Ｂの領域をスクリーンＳＣ上の多角形Ｃの形状に合うように変形する（ステップＳ２６）。多角形Ｂの領域を変形した様子を図９（Ｄ）に示す。これをスクリーンＳＣに貼り付けて描画する（ステップＳ２７）。多角形情報ＩＰの全ての多角形に対して，多角形Ａと同様に処理してスクリーンＳＣ上に描画することにより（ステップＳ２８），図９（Ｅ）に示すように，第１の表示方法と同様の表示画像を得ることができる。
【００３１】
上記第１または第２の表示方法では，スクリーンＳＣに射影した多角形に対応する撮影画像上の多角形がない場合，その場所の画像が抜けるという問題がある。具体例で説明すると，図１０は，表示対象物体を正面から撮影した画像であるが，この画像をもとに視点を左に１５度ずらして第１の表示方法（第２の表示方法も同様）で合成すると，図１１に示すような画像になる。この画像では，左側面に対応する多角形が，図１０中の撮影画像中にないため，画像の欠けが生じている。
【００３２】
この問題を解決する第３の表示方法を次に示す。図１２に，第３の表示方法による処理の流れを示す。
【００３３】
第３の表示方法では，所望の視点方向と撮影方向とが近いｍ枚（２から４枚程度）の撮影画像を選び（ステップＳ３１），その中から視点方向と撮影方向が最も遠い撮影画像から順番に１枚ずつ選んで，上記第１の表示方法または第２の表示方法を用いることにより表示画像を生成する（ステップＳ３２）。生成した表示画像をスクリーンＳＣ上に順次上書きしていく（ステップＳ３３）。ステップＳ３２，Ｓ３３を，選択したｍ枚の撮影画像に対する処理を全て終了するまで繰り返す（ステップＳ３４）。
【００３４】
図１３は，第３の表示方法を用いた例であり，視点の方向を左１５度として画像を合成するにあたって，正面撮影画像を用いてスクリーンＳＣに描画する前に，左４５度方向から撮影した撮影画像について，視点を右に３０度ずらしたときの画像を生成し，それをスクリーンＳＣに描画し，その後に，図１１の画像を同様に第１または第２の表示方法を用いて上書きした例を示している。
【００３５】
これにより，画像の欠けがなくなっていることがわかる。第３の表示方法では，ｍ枚の画像を重ね書きした場合，その処理時間はｍ倍となる。ここで，表示欠けを生じさせる多角形Ｄについて考えてみる。３次元モデルデータＭＤあるいはＭＤ２内の，ある撮影画像Ｐｋを表示するときの視点の範囲は，撮影画像Ｐｋと撮影位置が隣接する撮影画像Ｐｍの撮影位置の中間であり，これを表示限界位置Ｌとする。表示限界位置Ｌを視点として概略形状Ｓの各多角形を透視投影したときにスクリーンＳＣ上に映し出される多角形のうち，撮影画像Ｐｋを撮影したときの撮影位置を視点として概略形状Ｓの各多角形を透視投影したときにスクリーンＳＣ上に現れない多角形が，表示欠けを生じさせる多角形Ｄである。
【００３６】
そこで表示欠けをなくすための描画時間の短縮のため，次のような付加画像情報ＩＴｋを用いる。付加画像情報ＩＴｋは，この多角形の各頂点が対応する撮影画像Ｐｍ上のピクセル座標情報と，その多角形の頂点のインデックスのリストで多角形を表す多角形情報，その多角形内の撮影画像からなる。上記ピクセル座標情報は，前記の多角形情報の生成の場合と同様に作成する。すなわち，付加画像情報ＩＴｋは，図６と同様な形式のピクセル座標情報，多角形情報のリストと，多角形内の撮影画像の画像データからなる。このような付加画像情報ＩＴｋを加えた３次元モデルデータをＭＤ３とし，これを描画に用いることにより，描画時間を短縮することができる。
【００３７】
図１４に，第４の表示方法による処理の流れを示す。この３次元モデルデータＭＤ３を用いた第４の表示方法では，まず，３次元モデルデータＭＤ３の撮影画像Ｐｋ（１≦ｋ≦ｎ）の中から，所望の視点方向と撮影方向とが最も近い撮影画像Ｐｊ（１≦ｊ≦ｎ）を１枚選び（ステップＳ４１），３次元モデルデータＭＤ３の付加画像情報ＩＴｋをもとに前述した第１または第２の表示方法によりスクリーンに描画し（ステップＳ４２），全ての必要な付加画像情報ＩＴｋの描画が終了したならば（ステップＳ４３），３次元モデルデータＭＤ３の撮影情報Ｉｋをもとに第１または第２の表示方法によりスクリーンに重ね書きを行い，表示画像を得る（ステップＳ４４）。
【００３８】
また，第３の表示方法または第４の表示方法では，違う撮影画像を変形したものを重ね合わせているので，撮影時の照明角度の違いなどで撮影画像の色彩に差がある場合や，概略形状が正確でないために変形した画像が一致しない場合がある。
【００３９】
例えば，図１５の画像のポリゴンＡＢＣＤＥに注目する。概略形状上では，このポリゴンは，ＡＦＣＤＥで構成されているが，線分ＣＧを含むポリゴンが手前にあるので，実際に見えている部分のポリゴンは，ＡＢＣＤＥとなる。視点方向を左にすると，点Ｂの位置が，線分ＣＧより左側になり，図１６のように表示画像に欠けが生じる。第３の表示方法または第４の表示方法のように，近傍の撮影画像で欠け部分を補ったのが図１７の例である。撮影画像の色彩が若干違い，形状にも差が生じているため，接合部が目立つことかわかる。
【００４０】
これを回避するための３次元モデルデータＭＤ４と第５の表示方法について説明する。３次元モデルデータＭＤ４は，頂点Ｂのように，手前のポリゴンの重なりにより生じた頂点を交点として，その交差点情報ＩＸを，３次元モデルデータの多角形情報ＩＰに加えたデータを，モデルデータとする。その交差点情報ＩＸは，これを表す２つの交線すなわち４つの頂点のインデックスからなる。図１５の例では，交点（頂点）Ｂは，頂点Ａ，Ｆ，Ｇ，Ｃのインデックスで与えられる。
【００４１】
第５の表示方法は，この３次元モデルデータＭＤ４を用いる。描画アルゴリズムは，基本的に第２の表示方法と同様である。違う点は，概略形状Ｓの各頂点のスクリーン座標を求めた後，それらから，交点のスクリーン座標を求めて描画する点にある。
【００４２】
図１８に，第５の表示方法による処理の流れを示す。まず，所望の視点方向と撮影方向とが最も近い撮影画像Ｐｋ（１≦ｋ≦ｎ）を選ぶ（ステップＳ５１）。視点Ｖからの概略形状Ｓの各頂点のスクリーン座標ＶＳを，透視投影により求める（ステップＳ５２）。次に，３次元モデルデータＭＤ４の交差点情報ＩＸの示す２辺の始点と終点に対応するスクリーン座標を代入して，その２辺の交点の座標を求めて頂点のスクリーン座標として加える（ステップＳ５３）。
【００４３】
そして，多角形情報ＩＰから任意の多角形Ａを一つ選び（ステップＳ５４），多角形Ａの各頂点の座標をピクセル座標情報ＩＶから得て，撮影画像Ｐｋ内の多角形Ｂの領域を取得する（ステップＳ５５）。次に，多角形Ａの各頂点座標をスクリーン座標ＶＳから得て，スクリーン上の多角形Ｃを求め（ステップＳ５６），多角形Ｂの領域をスクリーンＳＣ上の多角形Ｃの形状に合うように変形する（ステップＳ５７）。これをスクリーンＳＣに描画する（ステップＳ５８）。多角形情報ＩＰの全ての多角形に対して，多角形Ａと同様に処理してスクリーンＳＣ上に描画し表示画像を得る（ステップＳ５９）。
【００４４】
図１９は，第５の表示方法を用いた例を説明する図であり，頂点Ａ，Ｃ，Ｆ，Ｇのスクリーン座標を求め，それから，線分ＡＦおよび線分ＣＧの交点Ｂ’のスクリーン座標を求める。そして，図１５の多角形ＡＢＣＤＥの領域を図１９の多角形ＡＢ’ＣＤＥの形状に合うように変形して描画する方法を加えたものである。この方法により，画像の不自然さも回避できていることが分かる。
【００４５】
上記の３次元モデルデータＭＤ２では，ピクセル座標情報ＩＶとして，ｘ，ｙの２次元データを用い，第２の表示方法では，その座標で表された多角形を，スクリーン上の対応する多角形領域に変形して貼り付けていた。さらに，ピクセル座標情報ＩＶに，奥行き情報のｚ値を加えた情報を用いることにより，より自然な画像を得ることが可能になる。
【００４６】
図２０（Ａ）に示すスクリーンと平面の関係により，ピクセル座標情報ＩＶとしてｘ，ｙの２次元データを用いたときに生じる画像の歪みについて説明する。スクリーンＳＣ上の２点Ｓ0 とＳ1 間のｍ：（１−ｍ）の位置の点をＳm とし，視点ＶからＳm を通り，概略形状Ｓの平面との交点をＰm とすると，平面が奥行き方向に傾いている場合，Ｐ0 Ｐm とＰm Ｐ1 との比は，ｍ：（１−ｍ）にならない。このため，ｚ値を用いずに多角形を線形補間によって変形すると，図２０（Ａ）からも明らかなように画像に歪みが生じることになる。そこで，第６の表示方法では，多角形の変形時にｚ値を考慮して，いわゆるパースペクティブコレクション（perspective correction）による変形を行い，多角形への描画を実行する。
【００４７】
図７で説明した第２の表示方法におけるステップＳ２６での多角形の変形方法と，第６の表示方法による多角形の変形方法との違いについて説明する。図７のステップＳ２６では，撮影画像上の多角形ＢをスクリーンＳＣ上の多角形Ｃの形状に変形する。すなわち，多角形Ｃ内の任意の点が多角形Ｂのどこに対応するかがわかれば，変形を計算できる。
【００４８】
まず，第２の表示方法においてピクセル座標情報ＩＶとして，２次元データを用いる場合，図２１（Ａ）に示すような線形補間による多角形の変換を行うことになる。
【００４９】
多角形Ｃの辺上の２点をＳ0 （ｘs0，ｙs0），Ｓ1 （ｘs1，ｙs1）とし，それらが多角形Ｂ上で対応する２点をＰ0 （ｘp0，ｙp0），Ｐ1 （ｘp1，ｙp1）とする。Ｓ0 とＳ1 との間の点をＳm （ｘsm，ｙsm）とすると，点Ｓm に対応する多角形Ｂ上の点Ｐm （ｘpm，ｙpm）は，次のように計算される。
【００５０】
ｍ＝（ｘsm−ｘs0）／（ｘs1−ｘs0）
ｘpm＝（１−ｍ）×ｘp0＋ｍ×ｘp1
ｙpm＝（１−ｍ）×ｙp0＋ｍ×ｙp1
これに対し，第２の表示方法を改良した第６の表示方法では，ピクセル座標情報ＩＶとして，図２０（Ｂ）に示すような３次元データを用いて，図２１（Ｂ）に示すパースペクティブコレクションによって，撮影画像上の多角形ＢをスクリーンＳＣ上の多角形Ｃの形状に変形する。
【００５１】
多角形Ｃの辺上の２点をＳ0 （ｘs0，ｙs0，ｚs0），Ｓ1 （ｘs1，ｙs1，ｚs1）とし，それらが多角形Ｂ上で対応する２点をＰ0 （ｘp0，ｙp0，ｚp0），Ｐ1 （ｘp1，ｙp1，ｚp1）とする。また，Ｓ0 とＳ1 との間の点をＳm （ｘsm，ｙsm，ｚsm）とし，点Ｓm に対応する多角形Ｂ上の点をＰm （ｘpm，ｙpm，ｚpm）とする。点Ｐm （ｘpm，ｙpm，ｚpm）は，次のように計算される。
【００５２】
ｍ＝（ｘsm−ｘs0）／（ｘs1−ｘs0）
１／Ｔ＝（１−ｍ）／（ｚs0×ｚp1）＋ｍ／（ｚs1×ｚp0）
ｘpm／Ｔ＝（１−ｍ）×ｘp0／（ｚs0×ｚp1）＋ｍ×ｘp1／（ｚs1×ｚp0）
ｙpm／Ｔ＝（１−ｍ）×ｙp0／（ｚs0×ｚp1）＋ｍ×ｙp1／（ｚs1×ｚp0）
このようにピクセル座標情報ＩＶにｚ値を加えた３次元の座標情報を用いることによって，図２０（Ａ）に示すような概略形状Ｓの平面の傾きによって生じる画像の歪みを解消することができ，より自然な画像を得ることが可能になる。
【００５３】
上述した第３ないし第５の表示方法において利用する第２の表示方法に代えて，第６の表示方法を用いることができることは言うまでもない。
【００５４】
なお，以上説明した表示方法を，ＣＰＵおよびメモリを備えたコンピュータに上記の処理を行うソフトウェアプログラムを実行させることにより実現することができ，また，その一部をハードウェア回路によって実現することもできる。このようなソフトウェアやハードウェアによる画像処理のインプリメント方法自体は，以上の説明と従来のイメージベースレンダリングの技術とから，当業者には明らかであるので，これ以上の詳しい説明は省略する。また，本発明の方法をコンピュータによって実現するためのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができることは言うまでもない。
【００５５】
【発明の効果】
本発明では，視点と撮影方向が近い撮影画像を用い，概略形状をもとに変形させて描画させているので，従来のポリゴンモデルに比べてリアリティの高い画像を得ることができる。また，本発明で用いる概略形状は簡便なものでよいので，そのデータの作成は容易であるという利点もある。また，ＱｕｉｃｋＴｉｍｅＶＲのように撮影画像のみで描画する方法に比べ，必要となる撮影画像も少なく抑えることができるので，モデルデータ量を低く抑えることができる。また，概略形状のポリゴン数はかなり少なく抑えられるので，本発明を用いた画像合成時間は短く，リアルタイムで描画することも可能である。
【図面の簡単な説明】
【図１】３次元モデルデータＭＤの例を示す図である。
【図２】第１の表示方法による処理の流れを示す図である。
【図３】撮影画像の概略形状への投影例を示す図である。
【図４】投影された概略形状のスクリーンへの透視投影例を示す図である。
【図５】撮影画像および第１の表示方法による合成画像例を示す図である。
【図６】３次元モデルデータＭＤ２における撮影情報に追加されるピクセル座標情報ＩＶと多角形情報ＩＰの例を示す図である。
【図７】第２の表示方法による処理の流れを示す図である。
【図８】第２の表示方法の説明図である。
【図９】第２の表示方法の説明図である。
【図１０】表示対象を正面から撮影した画像を示す図である。
【図１１】視点を左１５度として正面撮影画像を第１の表示方法で合成した例を示す図である。
【図１２】第３の表示方法による処理の流れを示す図である。
【図１３】視点を左１５度として正面撮影画像を第３の表示方法で合成した例を示す図である。
【図１４】第４の表示方法による処理の流れを示す図である。
【図１５】表示対象を右１３５度，上３０度から撮影した例を示す図である。
【図１６】視点を左１５度として右１３５度撮影画像を第１の表示方法で合成した例を示す図である。
【図１７】視点を左１５度として右１３５度撮影画像を第３の表示方法で合成した例を示す図である。
【図１８】第５の表示方法による処理の流れを示す図である。
【図１９】視点を左１５度として右１３５度撮影画像を第５の表示方法で合成した例を示す図である。
【図２０】３次元ピクセル座標情報を用いる例を説明する図である。
【図２１】多角形の変形方法説明図である。
【図２２】ポリゴンモデルの例を示す図である。
【符号の説明】
Ｐｋ 撮影画像
Ｉｋ 撮影情報
Ｓ 概略形状
Claims (12)
- 表示対象物体の３次元モデルデータを用い，コンピュータによって任意の視点方向から見た物体の画像を表示する３次元画像処理方法において，
前記３次元モデルデータとして，表示対象物体を異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，少なくとも撮影方向の情報を含む撮影情報Ｉｋ（１≦ｋ≦ｎ）と，表示対象物体の概略を表す概略形状Ｓの情報を用い，
前記３次元モデルデータの撮影画像Ｐｋ（１≦ｋ≦ｎ）の中から，指定された表示視点の方向と撮影方向とが近いｋ枚の撮影画像を近接撮影画像集合として選び，
その近接撮影画像集合の中で表示視点の方向と撮影方向とが遠い画像から１枚ずつ順次最も近い画像まで，
前記３次元モデルデータの概略形状Ｓの表面に，前記撮影画像の撮影位置を視点として撮影画像を投影する処理と，
その投影された概略形状を前記表示視点を視点としてスクリーン上に重ねて透視投影する処理とを，
前記近接撮影画像集合の中の各画像について繰り返すことにより表示画像を生成する
ことを特徴とする３次元画像処理方法。 - 表示対象物体の３次元モデルデータを用い，コンピュータによって任意の視点方向から見た物体の画像を表示する３次元画像処理方法において，
前記３次元モデルデータとして，表示対象物体を異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，少なくとも撮影方向の情報を含む撮影情報Ｉｋ（１≦ｋ≦ｎ）と，表示対象物体の概略を表す概略形状Ｓの情報とからなり，前記撮影情報Ｉｋに，撮影画像Ｐｋを撮影したときの撮影装置の位置を視点とし，撮影画像Ｐｋ上に概略形状Ｓの各頂点を透視投影した各投影点の撮影画像上のピクセル座標からなる投影点情報ＩＶと，概略形状Ｓの投影された多角形を表す投影点の連結を表す多角形情報ＩＰとを含む情報を用い，
前記３次元モデルデータの撮影画像Ｐｋ（１≦ｋ≦ｎ）の中から，指定された表示視点の方向と撮影方向とが近いｋ枚の撮影画像を近接撮影画像集合として選び，
その近接撮影画像集合の中で表示視点の方向と撮影方向とが遠い画像から１枚ずつ順次最も近い画像まで，
前記表示視点を視点として前記３次元モデルデータの概略形状Ｓの各頂点をスクリーンに透視投影し，投影した概略形状Ｓの各頂点のスクリーン座標ＶＳを求める処理と，
前記撮影情報Ｉｋの多角形情報ＩＰから任意の多角形Ａを１つ取り出し，多角形Ａの各頂点座標を前記投影点情報ＩＶから取得し，それが指し示す撮影画像Ｐｋの多角形Ａに対応する多角形Ｂの領域を切り出す処理と，
さらに，多角形Ａの各頂点のスクリーン座標ＶＳから多角形Ａに対応するスクリーン上の多角形Ｃを得て，前記多角形Ｂの形状を多角形Ｃの形状に合うように変形してスクリーン上に貼り付ける処理と，
前記多角形情報ＩＰの全ての多角形に対して，前記多角形Ａと同様の操作を繰り返す処理とを，
前記近接撮影画像集合の中の各画像について繰り返すことにより表示画像を生成する
ことを特徴とする３次元画像処理方法。 - 表示対象物体の３次元モデルデータを用い，コンピュータによって任意の視点方向から見た物体の画像を表示する３次元画像処理方法において，
前記３次元モデルデータとして，
表示対象物体を異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，
少なくとも撮影方向の情報を含む撮影情報Ｉｋ（１≦ｋ≦ｎ）と，
表示対象物体の概略を表す概略形状Ｓの情報と，
さらに前記撮影画像Ｐｋと撮影位置が隣接する撮影画像Ｐｍとで，撮影画像Ｐｋの撮影位置と撮影画像Ｐｍの撮影位置の中間を，撮影画像Ｐｋの表示限界位置Ｌとし，表示限界位置Ｌを視点として概略形状Ｓの各多角形を透視投影したときにスクリーン上に映し出される多角形のうち，撮影画像Ｐｋを撮影したときの撮影位置を視点として概略形状Ｓの各多角形を透視投影したときにスクリーン上に現れない多角形を，撮影画像Ｐｍの撮影位置を視点として撮影画像Ｐｍ上に投影し，その多角形の頂点座標や多角形内の撮影画像を付加画像情報ＩＴｋとして加えた情報とを用い，
前記３次元モデルデータの撮影画像Ｐｋ（１≦ｋ≦ｎ）の中から，指定された表示視点の方向と撮影方向とが最も近い撮影画像Ｐｊ（１≦ｊ≦ｎ）を１枚選び，
前記３次元モデルデータの付加画像情報ＩＴｋをもとに，前記３次元モデルデータの概略形状Ｓの表面に，前記撮影画像の撮影位置を視点として撮影画像を投影し，その投影された概略形状を前記表示視点を視点としてスクリーン上に透視投影することによりスクリーンに描画し，
その後に前記３次元モデルデータの撮影情報Ｉｋをもとに，前記３次元モデルデータの概略形状Ｓの表面に，前記撮影画像の撮影位置を視点として撮影画像を投影し，その投影された概略形状を前記表示視点を視点としてスクリーン上に透視投影してスクリーンに重ねて描画することにより表示画像を生成する
ことを特徴とする３次元画像処理方法。 - 表示対象物体の３次元モデルデータを用い，コンピュータによって任意の視点方向から見た物体の画像を表示する３次元画像処理方法において，
前記３次元モデルデータとして，
表示対象物体を異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，
表示対象物体の概略を表す概略形状Ｓの情報と，
少なくとも撮影方向の情報，および撮影画像Ｐｋを撮影したときの撮影装置の位置を視点とし，撮影画像Ｐｋ上に概略形状Ｓの各頂点を透視投影した各投影点の撮影画像上のピクセル座標からなる投影点情報ＩＶ，および概略形状Ｓの投影された多角形を表す投影点の連結を表す多角形情報ＩＰを含む撮影情報Ｉｋ（１≦ｋ≦ｎ）と，
さらに前記撮影画像Ｐｋと撮影位置が隣接する撮影画像Ｐｍとで，撮影画像Ｐｋの撮影位置と撮影画像Ｐｍの撮影位置の中間を，撮影画像Ｐｋの表示限界位置Ｌとし，表示限界位置Ｌを視点として概略形状Ｓの各多角形を透視投影したときにスクリーン上に映し出される多角形のうち，撮影画像Ｐｋを撮影したときの撮影位置を視点として概略形状Ｓの各多角形を透視投影したときにスクリーン上に現れない多角形を，撮影画像Ｐｍの撮影位置を視点として撮影画像Ｐｍ上に投影し，その多角形の頂点座標や多角形内の撮影画像を付加画像情報ＩＴｋとして加えた情報とを用い，
前記３次元モデルデータの撮影画像Ｐｋ（１≦ｋ≦ｎ）の中から，指定された表示視点の方向と撮影方向とが最も近い撮影画像Ｐｊ（１≦ｊ≦ｎ）を１枚選び，
前記３次元モデルデータの付加画像情報ＩＴｋをもとに，前記表示視点を視点として前記３次元モデルデータの概略形状Ｓの各頂点をスクリーンに透視投影し，投影した概略形状Ｓの各頂点のスクリーン座標ＶＳを求め，前記撮影情報Ｉｋの多角形情報ＩＰから任意の多角形Ａを１つ取り出し，多角形Ａの各頂点座標を前記投影点情報ＩＶから取得し，それが指し示す撮影画像Ｐｋの多角形Ａに対応する多角形Ｂの領域を切り出し，さらに，多角形Ａの各頂点のスクリーン座標ＶＳから多角形Ａに対応するスクリーン上の多角形Ｃを得て，前記多角形Ｂの形状を多角形Ｃの形状に合うように変形してスクリーン上に貼り付け，前記多角形情報ＩＰの全ての多角形に対して，前記多角形Ａと同様の操作を繰り返すことによりスクリーンに描画し，
その後に前記３次元モデルデータの撮影情報Ｉｋをもとに，前記表示視点を視点として前記３次元モデルデータの概略形状Ｓの各頂点をスクリーンに透視投影し，投影した概略形状Ｓの各頂点のスクリーン座標ＶＳを求め，前記撮影情報Ｉｋの多角形情報ＩＰから任意の多角形Ａを１つ取り出し，多角形Ａの各頂点座標を前記投影点情報ＩＶから取得し，それが指し示す撮影画像Ｐｋの多角形Ａに対応する多角形Ｂの領域を切り出し，さらに，多角形Ａの各頂点のスクリーン座標ＶＳから多角形Ａに対応するスクリーン上の多角形Ｃを得て，前記多角形Ｂの形状を多角形Ｃの形状に合うように変形してスクリーン上に貼り付け，前記多角形情報ＩＰの全ての多角形に対して，前記多角形Ａと同様の操作を繰り返 し，スクリーンに重ねて描画することにより表示画像を生成する
ことを特徴とする３次元画像処理方法。 - 表示対象物体の３次元モデルデータを用い，コンピュータによって任意の視点方向から見た物体の画像を表示する３次元画像処理方法において，
前記３次元モデルデータとして，
表示対象物体を異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，
少なくとも撮影方向の情報を含む撮影情報Ｉｋ（１≦ｋ≦ｎ）と，
表示対象物体の概略を表す概略形状Ｓの情報と，
さらに前記撮影情報Ｉｋに，撮影画像Ｐｋを撮影したときの撮影装置の位置を視点とし，撮影画像Ｐｋ上に概略形状Ｓの各頂点を透視投影した各投影点の撮影画像上のピクセル座標からなる投影点情報ＩＶと，概略形状Ｓの投影された多角形を表す投影点の連結を表す多角形情報ＩＰとを加えた情報，
および前記撮影画像Ｐｋの撮影位置を視点として，概略形状Ｓの各多角形をスクリーンに投影し，各多角形の辺と辺とが交差する点を交点Ｘとし，交点Ｘを含む２辺の始点と終点の頂点の情報である交差点情報ＩＸｋと，スクリーン上に投影された交点Ｘを含む多角形情報とを加えた情報とを用い，
前記３次元モデルデータの撮影画像Ｐｋ（１≦ｋ≦ｎ）の中から，指定された表示視点の方向と撮影方向とが最も近い撮影画像Ｐｊ（１≦ｊ≦ｎ）を１枚選び，
前記表示視点を視点として前記３次元モデルデータの概略形状Ｓの各頂点をスクリーンに透視投影し，投影した概略形状Ｓの各頂点のスクリーン座標ＶＳを求め，
前記交差点情報ＩＸｋの示す２辺の始点と終点に対応するスクリーン座標を代入して，その２辺の交点の座標を求めて頂点のスクリーン座標として加え，
前記撮影情報Ｉｋの多角形情報ＩＰから任意の多角形Ａを１つ取り出し，
多角形Ａの各頂点座標を前記投影点情報ＩＶから取得し，
それが指し示す撮影画像Ｐｋの多角形Ａに対応する多角形Ｂの領域を切り出し，
さらに，多角形Ａの各頂点のスクリーン座標ＶＳから多角形Ａに対応するスクリーン上の多角形Ｃを得て，前記多角形Ｂの形状を多角形Ｃの形状に合うように変形してスクリーン上に貼り付け，多角形情報ＩＰの全ての多角形に対して，前記多角形Ａと同様の操作を繰り返すことにより表示画像を生成する
ことを特徴とする３次元画像処理方法。 - 請求項２，請求項４または請求項５記載の３次元画像処理方法において，
前記投影点情報ＩＶとして，奥行きの座標値を含む３次元座標データを用い，前記多角形Ｂの形状を多角形Ｃの形状に合うように変形する際に，前記奥行きの座標値を用い，前記スクリーンに対する前記概略形状Ｓの平面の傾きに応じた補正を行う
ことを特徴とする３次元画像処理方法。 - コンピュータによって３次元物体を表現する３次元モデリング方法において，
表示対象物体を異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，
少なくとも撮影方向の情報を含む撮影情報Ｉｋ（１≦ｋ≦ｎ）と，
表示対象物体の概略を表す概略形状Ｓとの情報とを用いるとともに，
さらに，前記撮影画像Ｐｋと撮影位置が隣接する撮影画像Ｐｍとで，撮影画像Ｐｋの撮影位置と撮影画像Ｐｍの撮影位置の中間を，撮影画像Ｐｋの表示限界位置Ｌとし，表示限界位置Ｌを視点として概略形状Ｓの各多角形を透視投影したときにスクリーン上に映し出される多角形のうち，撮影画像Ｐｋを撮影したときの撮影位置を視点として概略形状Ｓの各多角形を透視投影したときにスクリーン上に現れない多角形を，撮影画像Ｐｍの撮影位置を視点として撮影画像Ｐｍ上に投影し，その多角形の頂点座標や多角形内の撮影画像を付加画像情報ＩＴｋとして加えた情報を用いて，
表示対象物体の３次元モデルデータをコンピュータ上で生成し，
３次元画像処理を行うコンピュータが読み取り可能な記憶媒体に，前記３次元モデルデータを格納する
ことを特徴とする３次元モデリング方法。 - コンピュータによって３次元物体を表現する３次元モデリング方法において，
表示対象物体を異なる方向から撮影したｎ枚の撮影画像Ｐｋ（１≦ｋ≦ｎ）と，
少なくとも撮影方向の情報を含む撮影情報Ｉｋ（１≦ｋ≦ｎ）と，
表示対象物体の概略を表す概略形状Ｓとの情報とを用いるとともに，
さらに，前記撮影画像Ｐｋの撮影位置を視点として，概略形状Ｓの各多角形をスクリーンに投影し，各多角形の辺と辺が交差する点を交点Ｘとし，交点Ｘを含む２辺の始点と終点の頂点の情報である交差点情報ＩＸｋと，スクリーン上に投影された交点Ｘを含む多角形情報とを，撮影情報Ｉｋに加えた情報を用いて，
表示対象物体の３次元モデルデータをコンピュータ上で生成し，
３次元画像処理を行うコンピュータが読み取り可能な記憶媒体に，前記３次元モデルデータを格納する
ことを特徴とする３次元モデリング方法。 - 請求項７または請求項８記載の３次元モデリング方法において，
前記撮影画像Ｐｋに，背景画像を切り取った画像を用いる
ことを特徴する３次元モデリング方法。 - 請求項７，請求項８または請求項９記載の３次元モデリング方法において，
前記撮影情報Ｉｋに，
撮影画像Ｐｋを撮影したときの撮影装置Ｃの位置を視点とし，撮影画像Ｐｋ上に概略形状Ｓの各頂点を透視投影した各投影点の撮影画像上のピクセル座標からなる投影点情報ＩＶと，
概略形状Ｓの投影された多角形を表す投影点の連結を表す多角形情報ＩＰとを加えた
ことを特徴とする３次元モデリング方法。 - 請求項１０記載の３次元モデリング方法において，
前記ピクセル座標からなる投影点情報ＩＶとして，奥行きの座標値を含む３次元座標データを用いる
ことを特徴とする３次元モデリング方法。 - 請求項１から請求項６までのいずれか１項に記載した３次元画像処理方法をコンピュータに実行させるためのプログラムを，コンピュータが読み取り可能な記録媒体に記録した
ことを特徴とする３次元画像処理プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000050999A JP3643511B2 (ja) | 2000-02-28 | 2000-02-28 | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000050999A JP3643511B2 (ja) | 2000-02-28 | 2000-02-28 | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001243497A JP2001243497A (ja) | 2001-09-07 |
| JP3643511B2 true JP3643511B2 (ja) | 2005-04-27 |
Family
ID=18572712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000050999A Expired - Fee Related JP3643511B2 (ja) | 2000-02-28 | 2000-02-28 | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3643511B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3352454B2 (ja) * | 2000-11-21 | 2002-12-03 | キヤノン株式会社 | 画像処理装置及びその方法並びに記憶媒体 |
| US7071953B2 (en) | 2001-11-02 | 2006-07-04 | Nippon Telegraph And Telephone Corporation | Image processing method and image processing apparatus for obtaining overlaid image |
| JP2005063041A (ja) * | 2003-08-08 | 2005-03-10 | Olympus Corp | ３次元モデリング装置、方法、及びプログラム |
| JP2005141655A (ja) * | 2003-11-10 | 2005-06-02 | Olympus Corp | ３次元モデリング装置及び３次元モデリング方法 |
| JP4368748B2 (ja) * | 2004-06-28 | 2009-11-18 | 株式会社リコー | コンテンツの編集方法、文書ファイル構造、情報処理装置およびシステム並びにプログラム |
| CA2587644C (en) * | 2004-11-12 | 2015-01-13 | Mok3, Inc. | Method for inter-scene transitions |
| US8570343B2 (en) * | 2010-04-20 | 2013-10-29 | Dassault Systemes | Automatic generation of 3D models from packaged goods product images |
| JP5685516B2 (ja) * | 2011-10-25 | 2015-03-18 | 日本電信電話株式会社 | ３次元形状計測装置 |
| JP2016020891A (ja) | 2014-06-20 | 2016-02-04 | 株式会社リコー | 形状計測システムおよび撮像装置 |
| JP6906370B2 (ja) * | 2017-05-31 | 2021-07-21 | 京セラ株式会社 | 画像処理装置 |
| JP6861584B2 (ja) * | 2017-06-28 | 2021-04-21 | 京セラ株式会社 | 画像処理装置、画像処理システムおよび制御プログラム |
| CN110990997A (zh) * | 2019-10-26 | 2020-04-10 | 重庆铁马工业集团有限公司 | 一种箱体参数化工艺模板的设计方案 |
-
2000
- 2000-02-28 JP JP2000050999A patent/JP3643511B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001243497A (ja) | 2001-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6201476B2 (ja) | 自由視点画像撮像装置およびその方法 | |
| JP4947593B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
| US8014985B2 (en) | Setting and visualizing a virtual camera and lens system in a computer graphic modeling environment | |
| JP4803594B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
| US7129943B2 (en) | System and method for feature-based light field morphing and texture transfer | |
| US20160125638A1 (en) | Automated Texturing Mapping and Animation from Images | |
| JP3643511B2 (ja) | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 | |
| WO2013082539A1 (en) | Automatic tracking matte system | |
| JP2006244306A (ja) | 動画像生成システム、動画像生成装置、動画像生成方法、プログラム、及び記録媒体 | |
| US7428482B2 (en) | Visualization and setting of a virtual camera and lens system in a computer graphic modeling environment | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| JP3855053B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| US6795090B2 (en) | Method and system for panoramic image morphing | |
| JP4108171B2 (ja) | 画像合成装置 | |
| JPH0950540A (ja) | 画像生成方法 | |
| JP3352454B2 (ja) | 画像処理装置及びその方法並びに記憶媒体 | |
| JP2002163678A (ja) | 擬似三次元画像生成方法および装置 | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JP7394566B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 | |
| JP2022029730A (ja) | ３ｄモデル生成装置ならびに仮想視点映像生成装置、方法およびプログラム | |
| US6633291B1 (en) | Method and apparatus for displaying an image | |
| JP2004227095A (ja) | テクスチャマップ作成方法、テクスチャマップ作成用プログラムおよびテクスチャマップ作成装置 | |
| JPH09245192A (ja) | 仮想環境生成実現方法およびその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041012 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050128 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |