JP2001291116A - 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 - Google Patents
三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体Info
- Publication number
- JP2001291116A JP2001291116A JP2000109090A JP2000109090A JP2001291116A JP 2001291116 A JP2001291116 A JP 2001291116A JP 2000109090 A JP2000109090 A JP 2000109090A JP 2000109090 A JP2000109090 A JP 2000109090A JP 2001291116 A JP2001291116 A JP 2001291116A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- texture
- images
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
スチャマッピングの手法を提供する。 【解決手段】 仮想視点に近接する2つのカメラ撮影視
点画像を選択し、これら2つの画像の持つパラメータ例
えばRGB値について、仮想視点ベクトルと撮影視点ベ
クトルとのなす角度に基づいて重み付けを実行して、2
つのカメラ撮影視点画像に基づいて仮想視点のテクスチ
ャ画像を生成する。画像の合成は、撮影視点1のベクト
ルV1と仮想視点のベクトルEとのなす角をθ1とし、
撮影視点2のベクトルV2と仮想視点のなすベクトルE
とのなす角をθ2としたとき、α=θ1/(θ1+θ
2)とし、仮想視点におけるRGB値=撮影視点1のR
GB値×(1−α)+撮影視点2のRGB値×αとして
求める。
Description
に対するテクスチャ画像の貼り込み技術に関する三次元
画像生成装置および三次元画像生成方法、並びにプログ
ラム提供媒体に関する。さらに詳細には、仮想視点のテ
クスチャ画像の貼り付け処理を改良することにより、不
自然さの少ないリアルな三次元画像を生成することを可
能とした三次元画像生成装置および三次元画像生成方法
に関する。
に光を投射して、その光が反射して帰ってくるまでの時
間を測定したり、測定対象にスリット状のパターン光を
あてて測定対象に投影されたパターン光の形状を調べた
り、あるいは、2台以上のカメラを使って、その画像間
の対応点を見つけることで視差を求め、距離を計測する
ステレオ画像法等がよく知られている。
象の距離データとしての三次元モデルに、測定対象の実
際の色彩を反映した画像を貼り付けることで、リアルな
3次元画像が生成される。測定対象の実画像をテクスチ
ャ画像と呼び、テクスチャ画像を3次元データに貼り付
けることをテクスチャマッピングと呼ぶ。
像は、2次元のビットマップ画像やイメージファイル画
像である。3Dグラフィックス技術において作成した3
D形状モデルや3D形状計測装置で得られた物体の三次
元形状の表面に2次元のビットマップ画像やイメージフ
ァイル画像からなるテクスチャ画像を貼り合わせること
により、物体の三次元表示がなされる。例えば、レンガ
などの画像を貼ることにより自然な三次元の壁が表現で
きたり、球体に世界地図の絵を貼り付けることにより、
立体的な地球が表現されるようになる。
手法を説明する図である。図1に示す三次元形状モデル
101は、例えば上述のステレオ画像法等によって取得
された距離データに基づく三次元形状モデル101であ
り、二次元画像(テクスチャ)102は、ある視点から
撮影した視覚的な色データ等を反映した実画像としての
二次元画像(テクスチャ)102である。テクスチャマ
ッピングは、三次元形状モデル101に、二次元画像
(テクスチャ)102を貼り付けて行われ、このテクス
チャマッピングにより、リアルな三次元表現が可能とな
る。なお、図に示すワイヤフレーム表示は、三次元形状
モデル101から得られるテクスチャを貼り付ける平面
領域を示すものである。
投光などを併用した3D計測装置で得られた物体の3D
形状にテクスチャ画像を貼り合わせる技術について様々
な検討がなされている。複数の視点からのテクスチャ画
像を測定対象のそれぞれの領域に貼り付ける場合、複数
のテクスチャ画像が異なる光源状況で撮影されている
と、個々のテクスチャ画像の撮影時の光源状況の差によ
り、画像間の色調に差が生じテクスチャ画像の貼り付け
処理のみでは生成された画像に不自然な色合いが生じる
ことがある。このような状況を解消するために、テクス
チャ画像の撮影時の光源状況を推定し、その推定に基づ
いて画像間の色調の差異を補正することにより高画質な
テクスチャマッピングを行なう手法が開発されている
(例えば、佐藤いまり、佐藤洋一、池内克史:全方位ス
テレオによる実光源環境の計測とそれに基づく仮想物体
の実画像への重ね込み、電子情報通信学会論文誌 D−
II、Vol.J81−D−II,No.5,pp86
1−871,1998)。
デジタルカメラやDVカム等を用いて野外の風景や建物
などを撮影する場合、照明光の光源推定は容易ではな
く、撮影した複数の画像(テクスチャ画像)を用いて高
画質のテクスチャマッピングを実行することは困難であ
る。複数の画像を用いることによる不自然さを避けるた
め、例えば図2に示すように1枚のテクスチャ画像のみ
を用いてテクスチャマッピングを行なう方法もある。図
2は、三次元形状モデル201のワイヤフレームに1枚
の二次元画像(テクスチャ画像)202の対応領域の画
像を貼りつけることにより、テクスチャマッピングを実
行する構成を示している。
法では、視点の変更により、テクスチャの画質が低下す
るという問題が発生する。例えば図2に示すカップの正
面203の画像と端部204の画像をともに1枚の二次
元画像(テクスチャ)202から取得すると、カップの
正面の画質と端部の画質に差が発生し、画質の低下が発
生する。
て、仮想視点に最も近い撮影視点のテクスチャ画像を選
択して三次元形状モデルに貼り付ける手法がある。この
手法を図3を用いて説明する。図3において、測定対象
301のテクスチャ画像の撮影を複数の視点(撮影視点
1〜n)によって撮り込み、仮想視点が設定されると、
その仮想視点に最も近い撮影視点を選択してそのテクス
チャ画像を測定対象301の三次元形状モデルに貼り付
ける。図3に示す例では、例えば仮想視点のRGB値を
撮影視点1あるいは撮影視点2のいずれかとするが、撮
影視点1と仮想視点間の角度をθ1とし、撮影視点2と
仮想視点間の角度をθ2として、θ1<θ2であれば撮
影視点1のRGB値を選択し、θ1>θ2であれば撮影
視点2のRGB値を選択する。このような方法によれ
ば、画質の向上が図られる。しかし、この手法において
は、画像間の濃淡連続性の保持が困難となり、視点の変
化による画像の不自然さが発生する。
の利用が可能である場合、視点の移動に伴うテクスチャ
画像の選択合成処理により、リアルな三次元物体を表現
するVDTM(View−dependent tex
ture mapping)という手法が開発されてい
る(Paul E.Debevec,Camillo J.Taylor and Jitendra
Malik:"Modeling and Rendering Architecture from Ph
otographs:A hybrid geometry-and image-based approa
ch,"ACM SHINNRAPH '96 Proceedings, pp.11-20,199
6.)。この手法は、1枚のテクスチャ画像を用いてテク
スチャマッピングを行なう従来のCG手法とは異なり、
三次元形状として再現できていない部分の視点移動によ
る見え方の変化を再現可能である。しかし、この手法で
は、画質を高めるために保持する画像データの量が膨大
になるという問題があり、また、複数のテクスチャ画像
の光源条件が一定でなければならないという制限があ
る。
化する毎に見えている部分のテクスチャデータだけを伝
送してマッピングする手法(S. Horbelt, F.Jordan T.E
brahimi:"View-Dependent Texture Coding for Transmi
ssion of Virtual Environment."Proceedings of the 1
998 IEEE International Symposium on Circuits andSy
stems. Vol.5, No.6,pp.498-501,1998.)が開発されて
いる。しかし、この手法ではユーザ側で視点変更が行な
われる度にデータの伝送が実行されることになるので、
データアクセスの効率が悪いという欠点がある。
像間の対応を用いて画像間の内挿を行なう(Shenchang
Eric Chen, Lance Williams: "View Interpolation for
Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.p
p..279-288,1993.、SStevenM. Seitz and Charles R.
Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceeding
s, pp.21-30,1996.)方法により、画像データ量を少な
くする方法も提案されている。しかし、この手法では、
撮影時の画像の撮り込み方により、画質の劣化や不自然
さの問題がある。
を推定する方法(佐藤いまり,佐藤洋一,池内克史:”
実物体のソフトシャドウにもとづく実照明環境の推
定,:情報処理学会研究報告,98−CVIM−11
0,1998)により、画像間の色調の違いを補正する
方法が検討されているが、補正処理のために画像中にあ
る決まった物体が移っていなければならないという制限
があり、この手法では、例えば野外で撮影した画像の光
源推定を行なうことはできない。
画像生成方法は、上述の各種従来技術の欠点に鑑みてな
されたものであり、光源推定等の手法を用いることな
く、画像の輝度平均値と分散を用いる濃淡値補正手法に
より、仮想視点に最も近い視点で撮影した2枚の画像を
用いてその仮想視点のテクスチャ画像を作成して、不自
然さのないリアルな三次元画像の生成を可能とすること
を目的とする。
酌してなされたものであり、その第1の側面は、三次元
形状モデルにテクスチャ画像を貼り付けることにより三
次元画像を生成する三次元画像生成装置において、複数
のカメラ撮影視点画像から、三次元画像に対する仮想視
点に最も近い撮影視点方向を有する2つのカメラ撮影テ
クスチャ画像を選択し、前記仮想視点方向と、前記2つ
のカメラ撮影テクスチャ画像の2つの撮影視点方向各々
とのなす角度に基づいて、前記2つのカメラ撮影テクス
チャ画像の持つ画像パラメータの重み付けによる両画像
の合成処理を実行して前記仮想視点における画像パラメ
ータを算出し、該パラメータに基づいてテクスチャマッ
ピングを実行する構成を有することを特徴とする三次元
画像生成装置にある。
実施態様において、前記仮想視点における画像のパラメ
ータの算出処理は、前記仮想視点に最も近い撮影視点方
向を有する2つのカメラ撮影テクスチャ画像の撮影視点
を撮影視点1、撮影視点2としたとき、撮影視点1のベ
クトルV1と仮想視点のベクトルEとのなす角をθ1と
し、撮影視点2のベクトルV2と仮想視点のなすベクト
ルEとのなす角をθ2として、α=θ1/(θ1+θ
2)を求め、仮想視点における画像パラメータ=撮影視
点1の画像パラメータ×(1−α)+撮影視点2の画像
パラメータ×αとして求める構成であることを特徴とす
る。
実施態様において、前記画像パラメータはRGB値また
は濃淡値のいずれかを含むことを特徴とする。
実施態様において、前記複数のカメラ撮影視点画像にお
けるテクスチャ画像として使用する画像領域について、
画像の濃淡平均値と分散値の正規化処理を実行し、正規
化処理後の画像について、画像パラメータの重み付けに
よる両画像の合成処理を実行して前記仮想視点における
画像パラメータの算出処理を実行する構成であることを
特徴とする。
状モデルにテクスチャ画像を貼り付けることにより三次
元画像を生成する三次元画像生成方法において、複数の
カメラ撮影視点画像から、三次元画像に対する仮想視点
に最も近い撮影視点方向を有する2つのカメラ撮影テク
スチャ画像を選択する画像選択ステップと、前記仮想視
点方向と、前記2つのカメラ撮影テクスチャ画像の2つ
の撮影視点方向各々とのなす角度に基づいて、前記2つ
のカメラ撮影テクスチャ画像の持つ画像パラメータの重
み付けによる両画像の合成処理を実行する合成処理ステ
ップと、前記仮想視点における画像パラメータを算出
し、該パラメータに基づいてテクスチャマッピングを実
行するテクスチャマッピングステップと、を有すること
を特徴とする三次元画像生成方法にある。
実施態様において、前記仮想視点における画像のパラメ
ータの算出処理は、前記仮想視点に最も近い撮影視点方
向を有する2つのカメラ撮影テクスチャ画像の撮影視点
を撮影視点1、撮影視点2としたとき、撮影視点1のベ
クトルV1と仮想視点のベクトルEとのなす角をθ1と
し、撮影視点2のベクトルV2と仮想視点のなすベクト
ルEとのなす角をθ2として、α=θ1/(θ1+θ
2)を求め、仮想視点における画像パラメータ=撮影視
点1の画像パラメータ×(1−α)+撮影視点2の画像
パラメータ×αとして求めることを特徴とする。
実施態様において、前記画像パラメータはRGB値また
は濃淡値のいずれかを含むことを特徴とする。
実施態様において、前記複数のカメラ撮影視点画像にお
けるテクスチャ画像として使用する画像領域について、
画像の濃淡平均値と分散値の正規化処理を実行する正規
化処理ステップを有し、前記合成処理ステップは、前記
正規化処理後の画像について、画像パラメータの重み付
けによる両画像の合成処理を実行することを特徴とす
る。
状モデルにテクスチャ画像を貼り付けることにより三次
元画像を生成する三次元画像生成処理をコンピュータ・
システム上で実行せしめるコンピュータ・プログラムを
有形的に提供するプログラム提供媒体であって、前記コ
ンピュータ・プログラムは、複数のカメラ撮影視点画像
から、三次元画像に対する仮想視点に最も近い撮影視点
方向を有する2つのカメラ撮影テクスチャ画像を選択す
る画像選択ステップと、前記仮想視点方向と、前記2つ
のカメラ撮影テクスチャ画像の2つの撮影視点方向各々
とのなす角度に基づいて、前記2つのカメラ撮影テクス
チャ画像の持つ画像パラメータの重み付けによる両画像
の合成処理を実行する合成処理ステップと、前記仮想視
点における画像パラメータを算出し、該パラメータに基
づいてテクスチャマッピングを実行するテクスチャマッ
ピングステップと、を有することを特徴とするプログラ
ム提供媒体にある。
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、CDやFD、MOなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
び三次元画像生成方法について、以下詳細に説明する。
まず、図4を用いて、本発明の三次元画像生成装置にお
いて実行されるテクスチャ画像マッピングの概要を説明
する。
されるテクスチャ画像マッピングには、測定対象401
に対して視点の異なる複数枚のテクスチャ画像を用い、
仮想視点に最も近い2枚の画像を選択して、選択した2
枚の画像に基づいて、仮想視点と実際の撮影視点との角
度を重みとした合成処理により得られる新しいテクスチ
ャ画像を用いてテクスチャマッピングを行なう。
るパラメータとしてRGB値を用いて実行する場合につ
いて想定する。仮想視点が撮影視点1と撮影視点2間に
位置する場合、仮想視点におけるRGB値は次式によっ
て算出される。下記式において、αは撮影視点1のベク
トルV1と仮想視点のベクトルEとのなす角をθ1と
し、撮影視点2のベクトルV2と仮想視点のなすベクト
ルEとのなす角をθ2としたとき、α=θ1/(θ1+
θ2)として定義される。
テクスチャ画像の画像パラメータであるRGB値は、仮
想視点に近接する2枚の撮影視点からの画像の合成処理
によって求められる。なお、仮想視点方向が1つの撮影
視点方向と一致する場合は、仮想視点の画像は、その一
致する撮影視点の画像として定義し、2つの画像の合成
処理は行なわない。
画像は、撮影視点の画像を用いた合成処理により生成さ
れることになるので、視点1〜nで撮影したn枚の画像
の照明条件の違いが吸収でき、画像間の連続性が保持さ
れる。その結果、高解像度のテクスチャ画像マッピング
が可能となり、また、三次元形状として再現できていな
い部分に対しても、視点変更による見え方の変化を再現
でき、よりリアルな三次元表示が可能となる。
なめらかになるという効果がある。すなわち、カメラ視
点画像がn枚あり、これらをV1〜Vnとしたとき、例
えばある仮想視点画像はカメラ撮影視点画像V1,V2
によって合成され、視点を移すと、カメラ撮影視点画像
V2,V3による合成画像に切り換えられ、さらにV3
とV4の合成画像、V4とV5の合成画像と切り換わる
ことになる。このように、視点を連続的に変更すると、
対応するテクスチャ画像は、連続的に前のテクスチャ画
像に使用されていた画像が引き続き使用され、その使用
割合も視点の移動に伴って連続的に変化することになる
ので、画像間の不連続性が減少し、観察者に違和感を生
じさせない。
成装置における複数の撮影視点画像を用いた合成処理に
より、テクスチャマッピングを行ない三次元画像を生成
する処理について説明する。
枚数の設定を行なう初期化ステップである。ステップS
501は撮影視点画像枚数=nであることを示す。ステ
ップS502において、仮想視点ベクトルEの変化の有
無を判定する。仮想視点ベクトルEが変化したと判定さ
れると、ステップS503〜ステップS506におい
て、カメラ視点i=1〜nに基づくカメラ撮影視点ベク
トルV1〜Vnと、仮想視点ベクトルEとのベクトル比
較を実行し、仮想視点ベクトルEに最も近接する撮影視
点ベクトルを選択する。具体的には各カメラ撮影視点ベ
クトルViと仮想視点ベクトルEとの内積を計算して、
その値を相互に比較する処理を行なう。
ルが選択されると、次のステップS507において、三
次元画像における画像間の濃淡分布のばらつきを抑える
ために、画像の濃淡分布の平均値と分散値の正規化処理
を実行する。この処理フローを図6に示す。
マッピング用画像の入力を行なう。すなわちカメラ視点
1〜nのテクスチャ画像を入力する。ステップS602
では画像1〜nに対して、テクスチャとして用いる部分
画像領域を切出す。この部分領域は、例えば前述の図5
に示すステップS503〜S606において仮想視点を
合成するために使用される画像として選択された領域の
画像を含む画像である。
プS602で切出された部分画像領域の濃淡平均値と分
散を算出する。次に、ステップS604において、各部
分画像領域の濃淡平均値と分散値の正規化処理を実行し
てテクスチャマッピング処理に使用する画像を補正す
る。なお、部分画像領域の濃淡平均値と分散の算出に基
づく正規化処理は、例えば、各カメラ視点画像に濃淡の
ばらつきがほとんどないと判断される場合等には、必ず
しも実行することを必要としない。
を、ステップS505で選択した2つのカメラ視点画像
からの合成処理によりステップS508において生成す
る。画像の合成方法は、先に説明した(式1)の重み付
けにより実行する。このようにして仮想視点のテクスチ
ャ画像を生成してマッピングを行ない三次元画像を生成
する。ステップS508で合成処理を実行する2つのカ
メラ視点画像は、ステップS507において濃淡平均値
と分散値の正規化処理を行なった各カメラ視点画像であ
り、三次元画像における画像間の濃淡分布のばらつきが
抑えられたものとなる。なお、仮想視点と1つの撮影視
点が一致した場合は、1つの撮影視点画像のみを採用す
ることになり、2つの画像からの合成処理は実行しな
い。
像がカラー画像でありRGB値を持つ画像の例としての
合成処理を説明したが、白黒画像であっても、またRG
B以外のパラメータであっても、その上記式1と同様の
方法により、仮想視点画像の画像パラメータを2つの最
近接カメラ視点画像のパラメータの重み付け処理により
実行することが可能である。これらのパラメータの重み
づけは、仮想視点のベクトルEと2つの最近接カメラ視
点画像のカメラ視点ベクトルとのなす角度に基づいて実
行される。
るリアルな三次元画像が生成される。なお、テクスチャ
マッピングでは、例えば前述の図1で示したワイヤフレ
ーム領域ごとに上述の合成画像を生成して、これをワイ
ヤフレーム領域毎に貼り付ける処理を実行することによ
って三次元画像を生成する。複数のワイヤフレーム領域
にはりつけるテクスチャ画像間の整合性の調整は、例え
ば因子分解法によって実現される。これは、図7に示す
ように、撮影対象であるオブジェクトに対して複数枚の
異なる視点からのカメラ視点画像(t=1〜n)を撮影
し、さらに、1つのカメラ視点画像、例えばt=1のカ
メラ視点画像に基づいて特徴点をいくつか取得する。さ
らに取得した特徴点に対応する位置を各カメラ視点画像
において判別して、計測マトリックス(Measurement Ma
trix)を算出し、UΣV’の因子分解を行ない、カメラ
の動きMに合わせた形状Sの生成処理を実行する。
像を用いて対象の三次元形状とカメラの動きを復元する
方法、及び手順を示すものである。
撮影する。撮影したF枚の画像を{ft(x,y)|t
=1,....,F}と記し、その一枚目の画像f1
(x,y)からP個の特徴点をウィンドウ内の分散評価
値などによって抽出し、F枚の画像にわたって追跡す
る。特徴点追跡によって得られた各フレーム上の特徴点
座標(Xfp,Yfp)を行列W(ここで計測行列と呼
ぶ)で表現することができる。そして、線形的な射影モ
デルを適用し、特異値分解法(SVD)によって計測行
列Wを2つの直行行列U,V’と対角行列Σに分解する
ことができる。そこで、直行行列U,V’では、それぞ
れカメラの動き情報Mと対象の三次元情報Sが含まれて
いる。また、カメラの姿勢を表現する単位ベクトル
(i,j,k)の拘束条件を用いると、MとSを一意に
決めるための行列Aが求められる。従って、カメラ動き
Mと対象の三次元形状Sが一意に決まることになる。
次元形状とカメラ動きの復元法に関する詳細は、例えば
金出らの論文「因子分解法による物体形状とカメラ運動
の復元」電子情報通信学会論文誌D−II、Vol.J
76−D−II,No.8,pp.1497−1505
(1993.8)を参照されたい。
いて、仮想視点に近接する2つのカメラ視点画像による
合成処理を用いてテクスチャマッピングを行なった例を
示したものである。この例では16枚のカメラ視点画像
を用い、各仮想視点に対して上述した手法により、仮想
視点ベクトルと2つの最近接カメラ視点ベクトるとのな
す角度を重みとした合成処理により、仮想視点における
画像パラメータ、例えばRGB値を算出してマッピング
を行なったものである。本方法により、いずれの視点に
おいても、高画質のテクスチャ画像がマッピングされた
る三次元画像(c)と、従来の手法によって得られる三
次元画像(a)、(b)との比較処理を行なったもので
ある。従来の手法(a)は1枚のテクスチャ画像によっ
てテクスチャマッピングを行なって得られる三次元画像
である。この例は、図8(a)に示すフレーム1の画像
を用いて三次元画像にマッピングし、その結果をある視
点から見たときの表示結果である。この(a)の態様
は、視点を変更しても、テクスチャが変更されないの
で、視点を変えた場合のテクスチャに不自然さが発生
し、特に窓部分のテクスチャ画質の低下が目立つ。
異なる視点からのテクスチャ画像を用いて仮想視点にも
っとも近い撮影視点の画像を選択するいわゆるマッピン
グ法によってある視点からの視点画像を表示したもので
ある。この(b)の例では、視点の変更に伴い、テクス
チャも変更されるが、テクスチャ変更時の画像間の濃淡
値に急激な変化が発生することがあり、観察者に違和感
を発生させる。これは、各カメラ撮影視点の画像撮影時
の照明条件の差異によるものであり、また、(a)と同
様、特に窓部分においてテクスチャ画質の劣化が目立
つ。
法によって生成した画像であり、視点に近接する2つの
撮影画像の合成処理により視点画像を生成したものであ
る。視点が変わることにより、テクスチャ画像も変化す
るが、その際の画像は、例えばカメラ視点画像をV1〜
Vnとしたとき、ある仮想視点画像はカメラ撮影視点画
像V1,V2によって合成され、視点を移すと、カメラ
撮影視点画像V2,V3によって合成された画像とな
り、さらにV3とV4の合成画像、V4とV5の合成画
像と続くことになる。このように、視点を連続的に変更
すると、対応するテクスチャ画像は、連続的に前のテク
スチャ画像に使用されていた画像が引き続き使用される
ことになるので、画像間の不連続性が減少し、観察者に
違和感を生じさせない。さらに、先に図6を用いて説明
した濃淡平均値と分散値の正規化処理を実行すれば、さ
らに画像間の差異が解消される。
置および三次元画像生成方法によれば、より高画質で、
かつ視点移動時の画像の連続性が向上した三次元画像が
得られる。本発明の三次元画像生成手法を例えばVRM
L(Virtual Reality Modeling Language)に適用する
ことにより、ブラウザ上でのより現実感のある三次元画
像の表示が可能となる。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
次元画像生成装置および三次元画像生成方法によれば仮
想視点に近接する2つのカメラ視点画像による合成処理
を用いてテクスチャマッピングを行なう構成としたの
で、高画質で、かつ視点移動時の画像の連続性が向上し
た三次元画像を生成することが可能となる。
説明する図である。
グ手法を説明する図である。
によるマッピング手法を説明する図である。
2枚の画像を用いたテクスチャマッピング手法を説明す
る図である。
2枚の画像を用いたテクスチャマッピング手法の処理フ
ローを説明する図である。
2枚の画像を用いたテクスチャマッピングにおける画像
の濃淡平均値、分散値の正規化処理フローを説明する図
である。
手法について説明する図である。
る三次元画像の処理例について説明する図である。
る三次元画像と従来手法によって生成された三次元画像
を比較した図である。
Claims (9)
- 【請求項1】三次元形状モデルにテクスチャ画像を貼り
付けることにより三次元画像を生成する三次元画像生成
装置において、 複数のカメラ撮影視点画像から、三次元画像に対する仮
想視点に最も近い撮影視点方向を有する2つのカメラ撮
影テクスチャ画像を選択し、 前記仮想視点方向と、前記2つのカメラ撮影テクスチャ
画像の2つの撮影視点方向各々とのなす角度に基づい
て、前記2つのカメラ撮影テクスチャ画像の持つ画像パ
ラメータの重み付けによる両画像の合成処理を実行して
前記仮想視点における画像パラメータを算出し、該パラ
メータに基づいてテクスチャマッピングを実行する構成
を有することを特徴とする三次元画像生成装置。 - 【請求項2】前記仮想視点における画像のパラメータの
算出処理は、 前記仮想視点に最も近い撮影視点方向を有する2つのカ
メラ撮影テクスチャ画像の撮影視点を撮影視点1、撮影
視点2としたとき、撮影視点1のベクトルV1と仮想視
点のベクトルEとのなす角をθ1とし、撮影視点2のベ
クトルV2と仮想視点のなすベクトルEとのなす角をθ
2として、α=θ1/(θ1+θ2)を求め、仮想視点
における画像パラメータ=撮影視点1の画像パラメータ
×(1−α)+撮影視点2の画像パラメータ×αとして
求める構成であることを特徴とする請求項1に記載の三
次元画像生成装置。 - 【請求項3】前記画像パラメータはRGB値または濃淡
値のいずれかを含むことを特徴とする請求項1に記載の
三次元画像生成装置。 - 【請求項4】三次元画像生成装置は、 前記複数のカメラ撮影視点画像におけるテクスチャ画像
として使用する画像領域について、画像の濃淡平均値と
分散値の正規化処理を実行し、正規化処理後の画像につ
いて、画像パラメータの重み付けによる両画像の合成処
理を実行して前記仮想視点における画像パラメータの算
出処理を実行する構成であることを特徴とする請求項1
に記載の三次元画像生成装置。 - 【請求項5】三次元形状モデルにテクスチャ画像を貼り
付けることにより三次元画像を生成する三次元画像生成
方法において、 複数のカメラ撮影視点画像から、三次元画像に対する仮
想視点に最も近い撮影視点方向を有する2つのカメラ撮
影テクスチャ画像を選択する画像選択ステップと、 前記仮想視点方向と、前記2つのカメラ撮影テクスチャ
画像の2つの撮影視点方向各々とのなす角度に基づい
て、前記2つのカメラ撮影テクスチャ画像の持つ画像パ
ラメータの重み付けによる両画像の合成処理を実行する
合成処理ステップと、 前記仮想視点における画像パラメータを算出し、該パラ
メータに基づいてテクスチャマッピングを実行するテク
スチャマッピングステップと、 を有することを特徴とする三次元画像生成方法。 - 【請求項6】前記仮想視点における画像のパラメータの
算出処理は、 前記仮想視点に最も近い撮影視点方向を有する2つのカ
メラ撮影テクスチャ画像の撮影視点を撮影視点1、撮影
視点2としたとき、撮影視点1のベクトルV1と仮想視
点のベクトルEとのなす角をθ1とし、撮影視点2のベ
クトルV2と仮想視点のなすベクトルEとのなす角をθ
2として、α=θ1/(θ1+θ2)を求め、仮想視点
における画像パラメータ=撮影視点1の画像パラメータ
×(1−α)+撮影視点2の画像パラメータ×αとして
求めることを特徴とする請求項5に記載の三次元画像生
成方法。 - 【請求項7】前記画像パラメータはRGB値または濃淡
値のいずれかを含むことを特徴とする請求項5に記載の
三次元画像生成方法。 - 【請求項8】三次元画像生成方法において、さらに、 前記複数のカメラ撮影視点画像におけるテクスチャ画像
として使用する画像領域について、画像の濃淡平均値と
分散値の正規化処理を実行する正規化処理ステップを有
し、 前記合成処理ステップは、 前記正規化処理後の画像について、画像パラメータの重
み付けによる両画像の合成処理を実行することを特徴と
する請求項5に記載の三次元画像生成方法。 - 【請求項9】三次元形状モデルにテクスチャ画像を貼り
付けることにより三次元画像を生成する三次元画像生成
処理をコンピュータ・システム上で実行せしめるコンピ
ュータ・プログラムを有形的に提供するプログラム提供
媒体であって、前記コンピュータ・プログラムは、 複数のカメラ撮影視点画像から、三次元画像に対する仮
想視点に最も近い撮影視点方向を有する2つのカメラ撮
影テクスチャ画像を選択する画像選択ステップと、 前記仮想視点方向と、前記2つのカメラ撮影テクスチャ
画像の2つの撮影視点方向各々とのなす角度に基づい
て、前記2つのカメラ撮影テクスチャ画像の持つ画像パ
ラメータの重み付けによる両画像の合成処理を実行する
合成処理ステップと、 前記仮想視点における画像パラメータを算出し、該パラ
メータに基づいてテクスチャマッピングを実行するテク
スチャマッピングステップと、 を有することを特徴とするプログラム提供媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000109090A JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000109090A JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001291116A true JP2001291116A (ja) | 2001-10-19 |
JP4370672B2 JP4370672B2 (ja) | 2009-11-25 |
Family
ID=18621833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000109090A Expired - Fee Related JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4370672B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157603A (ja) * | 2000-11-21 | 2002-05-31 | Mixed Reality Systems Laboratory Inc | 画像処理装置及びその方法並びに記憶媒体 |
WO2003075224A1 (fr) * | 2002-03-04 | 2003-09-12 | Matsushita Electric Industrial Co., Ltd. | Dispositif de combinaison/conversion d'image |
WO2004040521A1 (ja) * | 2002-10-30 | 2004-05-13 | Digital Fashion Ltd. | 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法およびシェーディング情報取得装置 |
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP2009025225A (ja) * | 2007-07-23 | 2009-02-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
KR100965809B1 (ko) | 2002-03-19 | 2010-06-24 | 샤단호우진 니혼츄우코가타조우센코우교우카이 | 외판 전개 방법, 외판 제조 방법, 이들 방법을 지도하는 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 화상 기록 매체 |
JP2010267232A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定方法および装置 |
JP2010267231A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定装置及び方法 |
KR101098830B1 (ko) | 2008-12-01 | 2011-12-26 | 한국전자통신연구원 | 서피스 텍스처 매핑 장치 및 그 방법 |
KR101824818B1 (ko) * | 2016-11-28 | 2018-03-14 | 서울과학기술대학교 산학협력단 | 360도 영상 스티칭 방법 및 장치 |
WO2023276261A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
EP4372692A1 (en) | 2022-11-15 | 2024-05-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer program |
-
2000
- 2000-04-11 JP JP2000109090A patent/JP4370672B2/ja not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157603A (ja) * | 2000-11-21 | 2002-05-31 | Mixed Reality Systems Laboratory Inc | 画像処理装置及びその方法並びに記憶媒体 |
US7538798B2 (en) | 2002-03-04 | 2009-05-26 | Panasonic Corporation | Image combination/conversion apparatus |
WO2003075224A1 (fr) * | 2002-03-04 | 2003-09-12 | Matsushita Electric Industrial Co., Ltd. | Dispositif de combinaison/conversion d'image |
KR100965809B1 (ko) | 2002-03-19 | 2010-06-24 | 샤단호우진 니혼츄우코가타조우센코우교우카이 | 외판 전개 방법, 외판 제조 방법, 이들 방법을 지도하는 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 화상 기록 매체 |
WO2004040521A1 (ja) * | 2002-10-30 | 2004-05-13 | Digital Fashion Ltd. | 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法およびシェーディング情報取得装置 |
JP2004152015A (ja) * | 2002-10-30 | 2004-05-27 | Digital Fashion Ltd | 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法、シェーディング情報取得装置及びデータ構造 |
US7538774B2 (en) | 2003-06-20 | 2009-05-26 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
KR100779634B1 (ko) * | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP2009025225A (ja) * | 2007-07-23 | 2009-02-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
KR101098830B1 (ko) | 2008-12-01 | 2011-12-26 | 한국전자통신연구원 | 서피스 텍스처 매핑 장치 및 그 방법 |
JP2010267232A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定方法および装置 |
JP2010267231A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定装置及び方法 |
KR101824818B1 (ko) * | 2016-11-28 | 2018-03-14 | 서울과학기술대학교 산학협력단 | 360도 영상 스티칭 방법 및 장치 |
WO2023276261A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
EP4372692A1 (en) | 2022-11-15 | 2024-05-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP4370672B2 (ja) | 2009-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11210838B2 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
JP4474743B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 | |
US6078334A (en) | 3-D texture mapping processor and 3-D image rendering system using the same | |
US6268846B1 (en) | 3D graphics based on images and morphing | |
JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN109325990B (zh) | 图像处理方法及图像处理装置、存储介质 | |
JP4828506B2 (ja) | 仮想視点画像生成装置、プログラムおよび記録媒体 | |
JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
CN113826144A (zh) | 使用单幅彩色图像和深度信息的面部纹理贴图生成 | |
Starck et al. | Virtual view synthesis of people from multiple view video sequences | |
JP3538263B2 (ja) | 画像生成方法 | |
KR20000051217A (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
JP2001202532A (ja) | Zバッファを用いた立体映像生成方法 | |
JP2001243497A (ja) | 3次元画像処理方法,3次元モデリング方法および3次元画像処理プログラムを記録した記録媒体 | |
JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
Yamanaka et al. | Adaptive image projection onto non-planar screen using projector-camera systems | |
JP3850080B2 (ja) | 画像生成表示装置 | |
Borshukov | New algorithms for modeling and rendering architecture from photographs | |
KR20050080334A (ko) | 멀티 텍스쳐링 방법 및 이를 기록한 기록매체 | |
JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 | |
KR100512567B1 (ko) | 얼굴 애니메이션을 위한 디에스엠 복원 방법 | |
JP2000057372A (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
Okuya et al. | Reproduction of perspective in cel animation 2D composition for real-time 3D rendering | |
JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20070130 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Effective date: 20090427 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Written amendment |
Effective date: 20090710 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Effective date: 20090824 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20120911 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |