JP4370672B2 - 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 - Google Patents
三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 Download PDFInfo
- Publication number
- JP4370672B2 JP4370672B2 JP2000109090A JP2000109090A JP4370672B2 JP 4370672 B2 JP4370672 B2 JP 4370672B2 JP 2000109090 A JP2000109090 A JP 2000109090A JP 2000109090 A JP2000109090 A JP 2000109090A JP 4370672 B2 JP4370672 B2 JP 4370672B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- camera
- texture
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、三次元形状モデルに対するテクスチャ画像の貼り込み技術に関する三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体に関する。さらに詳細には、仮想視点のテクスチャ画像の貼り付け処理を改良することにより、不自然さの少ないリアルな三次元画像を生成することを可能とした三次元画像生成装置および三次元画像生成方法に関する。
【０００２】
【従来の技術】
物体の三次元形状は、例えば、測定対象に光を投射して、その光が反射して帰ってくるまでの時間を測定したり、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べたり、あるいは、２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測するステレオ画像法等がよく知られている。
【０００３】
このような様々な手法で測定された測定対象の距離データとしての三次元モデルに、測定対象の実際の色彩を反映した画像を貼り付けることで、リアルな３次元画像が生成される。測定対象の実画像をテクスチャ画像と呼び、テクスチャ画像を３次元データに貼り付けることをテクスチャマッピングと呼ぶ。
【０００４】
一般に三次元モデルの表面に貼り付ける画像は、２次元のビットマップ画像やイメージファイル画像である。３Ｄグラフィックス技術において作成した３Ｄ形状モデルや３Ｄ形状計測装置で得られた物体の三次元形状の表面に２次元のビットマップ画像やイメージファイル画像からなるテクスチャ画像を貼り合わせることにより、物体の三次元表示がなされる。例えば、レンガなどの画像を貼ることにより自然な三次元の壁が表現できたり、球体に世界地図の絵を貼り付けることにより、立体的な地球が表現されるようになる。
【０００５】
図１は、一般的なテクスチャマッピングの手法を説明する図である。図１に示す三次元形状モデル１０１は、例えば上述のステレオ画像法等によって取得された距離データに基づく三次元形状モデル１０１であり、二次元画像（テクスチャ）１０２は、ある視点から撮影した視覚的な色データ等を反映した実画像としての二次元画像（テクスチャ）１０２である。テクスチャマッピングは、三次元形状モデル１０１に、二次元画像（テクスチャ）１０２を貼り付けて行われ、このテクスチャマッピングにより、リアルな三次元表現が可能となる。なお、図に示すワイヤフレーム表示は、三次元形状モデル１０１から得られるテクスチャを貼り付ける平面領域を示すものである。
【０００６】
これまで、ステレオ画像法や、レーザ光の投光などを併用した３Ｄ計測装置で得られた物体の３Ｄ形状にテクスチャ画像を貼り合わせる技術について様々な検討がなされている。複数の視点からのテクスチャ画像を測定対象のそれぞれの領域に貼り付ける場合、複数のテクスチャ画像が異なる光源状況で撮影されていると、個々のテクスチャ画像の撮影時の光源状況の差により、画像間の色調に差が生じテクスチャ画像の貼り付け処理のみでは生成された画像に不自然な色合いが生じることがある。このような状況を解消するために、テクスチャ画像の撮影時の光源状況を推定し、その推定に基づいて画像間の色調の差異を補正することにより高画質なテクスチャマッピングを行なう手法が開発されている（例えば、佐藤いまり、佐藤洋一、池内克史：全方位ステレオによる実光源環境の計測とそれに基づく仮想物体の実画像への重ね込み、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８６１−８７１，１９９８）。
【０００７】
【発明が解決しようとする課題】
しかしながら、一般にデジタルカメラやＤＶカム等を用いて野外の風景や建物などを撮影する場合、照明光の光源推定は容易ではなく、撮影した複数の画像（テクスチャ画像）を用いて高画質のテクスチャマッピングを実行することは困難である。複数の画像を用いることによる不自然さを避けるため、例えば図２に示すように１枚のテクスチャ画像のみを用いてテクスチャマッピングを行なう方法もある。図２は、三次元形状モデル２０１のワイヤフレームに１枚の二次元画像（テクスチャ画像）２０２の対応領域の画像を貼りつけることにより、テクスチャマッピングを実行する構成を示している。
【０００８】
しかし、このような１枚の画像を用いる手法では、視点の変更により、テクスチャの画質が低下するという問題が発生する。例えば図２に示すカップの正面２０３の画像と端部２０４の画像をともに１枚の二次元画像（テクスチャ）２０２から取得すると、カップの正面の画質と端部の画質に差が発生し、画質の低下が発生する。
【０００９】
このような画質低下を解消する手法として、仮想視点に最も近い撮影視点のテクスチャ画像を選択して三次元形状モデルに貼り付ける手法がある。この手法を図３を用いて説明する。図３において、測定対象３０１のテクスチャ画像の撮影を複数の視点（撮影視点１〜ｎ）によって撮り込み、仮想視点が設定されると、その仮想視点に最も近い撮影視点を選択してそのテクスチャ画像を測定対象３０１の三次元形状モデルに貼り付ける。図３に示す例では、例えば仮想視点のＲＧＢ値を撮影視点１あるいは撮影視点２のいずれかとするが、撮影視点１と仮想視点間の角度をθ１とし、撮影視点２と仮想視点間の角度をθ２として、θ１＜θ２であれば撮影視点１のＲＧＢ値を選択し、θ１＞θ２であれば撮影視点２のＲＧＢ値を選択する。このような方法によれば、画質の向上が図られる。しかし、この手法においては、画像間の濃淡連続性の保持が困難となり、視点の変化による画像の不自然さが発生する。
【００１０】
１つの面に対して複数枚のテクスチャ画像の利用が可能である場合、視点の移動に伴うテクスチャ画像の選択合成処理により、リアルな三次元物体を表現するＶＤＴＭ（Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ）という手法が開発されている（Paul E.Debevec,Camillo J.Taylor and Jitendra Malik:"Modeling and Rendering Architecture from Photographs:A hybrid geometry-and image-based approach,"ACM SHINNRAPH '96 Proceedings, pp.11-20,1996.）。この手法は、１枚のテクスチャ画像を用いてテクスチャマッピングを行なう従来のＣＧ手法とは異なり、三次元形状として再現できていない部分の視点移動による見え方の変化を再現可能である。しかし、この手法では、画質を高めるために保持する画像データの量が膨大になるという問題があり、また、複数のテクスチャ画像の光源条件が一定でなければならないという制限がある。
【００１１】
画像データ量を削減するために、視点が変化する毎に見えている部分のテクスチャデータだけを伝送してマッピングする手法（S. Horbelt, F.Jordan T.Ebrahimi:"View-Dependent Texture Coding for Transmission of Virtual Environment."Proceedings of the 1998 IEEE International Symposium on Circuits and Systems. Vol.5, No.6,pp.498-501,1998.）が開発されている。しかし、この手法ではユーザ側で視点変更が行なわれる度にデータの伝送が実行されることになるので、データアクセスの効率が悪いという欠点がある。
【００１２】
また、三次元形状の再構成時に撮られた画像間の対応を用いて画像間の内挿を行なう（Shenchang Eric Chen, Lance Williams: "View Interpolation for Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.pp..279-288,1993.、ＳSteven M. Seitz and Charles R. Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceedings, pp.21-30,1996.）方法により、画像データ量を少なくする方法も提案されている。しかし、この手法では、撮影時の画像の撮り込み方により、画質の劣化や不自然さの問題がある。
【００１３】
一方、テクスチャ画像の撮影時の光源状況を推定する方法（佐藤いまり，佐藤洋一，池内克史：”実物体のソフトシャドウにもとづく実照明環境の推定，：情報処理学会研究報告，９８−ＣＶＩＭ−１１０，１９９８）により、画像間の色調の違いを補正する方法が検討されているが、補正処理のために画像中にある決まった物体が移っていなければならないという制限があり、この手法では、例えば野外で撮影した画像の光源推定を行なうことはできない。
【００１４】
本発明の三次元画像生成装置および三次元画像生成方法は、上述の各種従来技術の欠点に鑑みてなされたものであり、光源推定等の手法を用いることなく、画像の輝度平均値と分散を用いる濃淡値補正手法により、仮想視点に最も近い視点で撮影した２枚の画像を用いてその仮想視点のテクスチャ画像を作成して、不自然さのないリアルな三次元画像の生成を可能とすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成装置において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択し、
前記２つのカメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行して、前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行して前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行する構成を有することを特徴とする三次元画像生成装置にある。
【００１６】
さらに、本発明の三次元画像生成装置の一実施態様において、前記仮想視点における画像のパラメータの算出処理は、前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求める構成であることを特徴とする。
【００１７】
さらに、本発明の三次元画像生成装置の一実施態様において、前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする。
【００１９】
さらに、本発明の第２の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成方法において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とする三次元画像生成方法にある。
【００２０】
さらに、本発明の三次元画像生成方法の一実施態様において、前記仮想視点における画像のパラメータの算出処理は、前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求めることを特徴とする。
【００２１】
さらに、本発明の三次元画像生成方法の一実施態様において、前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする。
【００２３】
さらに、本発明の第３の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とするプログラム提供媒体にある。
【００２４】
本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００２５】
このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００２７】
【発明の実施の形態】
本発明の三次元画像生成装置および三次元画像生成方法について、以下詳細に説明する。まず、図４を用いて、本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングの概要を説明する。
【００２８】
本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングには、測定対象４０１に対して視点の異なる複数枚のテクスチャ画像を用い、仮想視点に最も近い２枚の画像を選択して、選択した２枚の画像に基づいて、仮想視点と実際の撮影視点との角度を重みとした合成処理により得られる新しいテクスチャ画像を用いてテクスチャマッピングを行なう。
【００２９】
例えば画像表示を画像のカラー値を決定するパラメータとしてＲＧＢ値を用いて実行する場合について想定する。仮想視点が撮影視点１と撮影視点２間に位置する場合、仮想視点におけるＲＧＢ値は次式によって算出される。下記式において、αは撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥとのなす角をθ２としたとき、α＝θ１／（θ１＋θ２）として定義される。
【００３０】
【数１】
仮想視点におけるＲＧＢ値
＝撮影視点１のＲＧＢ値×（１−α）
＋撮影視点２のＲＧＢ値×α………（式１）
【００３１】
上記式から理解されるように、仮想視点のテクスチャ画像の画像パラメータであるＲＧＢ値は、仮想視点に近接する２枚の撮影視点からの画像の合成処理によって求められる。なお、仮想視点方向が１つの撮影視点方向と一致する場合は、仮想視点の画像は、その一致する撮影視点の画像として定義し、２つの画像の合成処理は行なわない。
【００３２】
上記式により求める仮想視点のテクスチャ画像は、撮影視点の画像を用いた合成処理により生成されることになるので、視点１〜ｎで撮影したｎ枚の画像の照明条件の違いが吸収でき、画像間の連続性が保持される。その結果、高解像度のテクスチャ画像マッピングが可能となり、また、三次元形状として再現できていない部分に対しても、視点変更による見え方の変化を再現でき、よりリアルな三次元表示が可能となる。
【００３３】
特に、視点を変化させた場合の画像変化がなめらかになるという効果がある。すなわち、カメラ視点画像がｎ枚あり、これらをＶ１〜Ｖｎとしたとき、例えばある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ撮影視点画像Ｖ２，Ｖ３による合成画像に切り換えられ、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画像と切り換わることになる。このように、視点を連続的に変更すると、対応するテクスチャ画像は、連続的に前のテクスチャ画像に使用されていた画像が引き続き使用され、その使用割合も視点の移動に伴って連続的に変化することになるので、画像間の不連続性が減少し、観察者に違和感を生じさせない。
【００３４】
次に、図５を用いて本発明の三次元画像生成装置における複数の撮影視点画像を用いた合成処理により、テクスチャマッピングを行ない三次元画像を生成する処理について説明する。
【００３５】
ステップＳ５０１は、撮影視点画像の画像枚数の設定を行なう初期化ステップである。ステップＳ５０１は撮影視点画像枚数＝ｎであることを示す。ステップＳ５０２において、仮想視点ベクトルＥの変化の有無を判定する。仮想視点ベクトルＥが変化したと判定されると、ステップＳ５０３〜ステップＳ５０６において、カメラ視点ｉ＝１〜ｎに基づくカメラ撮影視点ベクトルＶ１〜Ｖｎと、仮想視点ベクトルＥとのベクトル比較を実行し、仮想視点ベクトルＥに最も近接する撮影視点ベクトルを選択する。具体的には各カメラ撮影視点ベクトルＶｉと仮想視点ベクトルＥとの内積を計算して、その値を相互に比較する処理を行なう。
【００３６】
仮想視点に最も近い２つの撮影視点ベクトルが選択されると、次のステップＳ５０７において、三次元画像における画像間の濃淡分布のばらつきを抑えるために、画像の濃淡分布の平均値と分散値の正規化処理を実行する。この処理フローを図６に示す。
【００３７】
図６のステップＳ６０１では、テクスチャマッピング用画像の入力を行なう。すなわちカメラ視点１〜ｎのテクスチャ画像を入力する。ステップＳ６０２では画像１〜ｎに対して、テクスチャとして用いる部分画像領域を切出す。この部分領域は、例えば前述の図５に示すステップＳ５０３〜Ｓ６０６において仮想視点を合成するために使用される画像として選択された領域の画像を含む画像である。
【００３８】
次に、ステップＳ６０３において、ステップＳ６０２で切出された部分画像領域の濃淡平均値と分散を算出する。次に、ステップＳ６０４において、各部分画像領域の濃淡平均値と分散値の正規化処理を実行してテクスチャマッピング処理に使用する画像を補正する。なお、部分画像領域の濃淡平均値と分散の算出に基づく正規化処理は、例えば、各カメラ視点画像に濃淡のばらつきがほとんどないと判断される場合等には、必ずしも実行することを必要としない。
【００３９】
その後、仮想視点におけるテクスチャ画像を、ステップＳ５０５で選択した２つのカメラ視点画像からの合成処理によりステップＳ５０８において生成する。画像の合成方法は、先に説明した（式１）の重み付けにより実行する。このようにして仮想視点のテクスチャ画像を生成してマッピングを行ない三次元画像を生成する。ステップＳ５０８で合成処理を実行する２つのカメラ視点画像は、ステップＳ５０７において濃淡平均値と分散値の正規化処理を行なった各カメラ視点画像であり、三次元画像における画像間の濃淡分布のばらつきが抑えられたものとなる。なお、仮想視点と１つの撮影視点が一致した場合は、１つの撮影視点画像のみを採用することになり、２つの画像からの合成処理は実行しない。
【００４０】
なお、上述の画像合成処理では、２つの画像がカラー画像でありＲＧＢ値を持つ画像の例としての合成処理を説明したが、白黒画像であっても、またＲＧＢ以外のパラメータであっても、その上記式１と同様の方法により、仮想視点画像の画像パラメータを２つの最近接カメラ視点画像のパラメータの重み付け処理により実行することが可能である。これらのパラメータの重みづけは、仮想視点のベクトルＥと２つの最近接カメラ視点画像のカメラ視点ベクトルとのなす角度に基づいて実行される。
【００４１】
上述した画像処理により、より現実感のあるリアルな三次元画像が生成される。なお、テクスチャマッピングでは、例えば前述の図１で示したワイヤフレーム領域ごとに上述の合成画像を生成して、これをワイヤフレーム領域毎に貼り付ける処理を実行することによって三次元画像を生成する。複数のワイヤフレーム領域にはりつけるテクスチャ画像間の整合性の調整は、例えば因子分解法によって実現される。これは、図７に示すように、撮影対象であるオブジェクトに対して複数枚の異なる視点からのカメラ視点画像（ｔ＝１〜ｎ）を撮影し、さらに、１つのカメラ視点画像、例えばｔ＝１のカメラ視点画像に基づいて特徴点をいくつか取得する。さらに取得した特徴点に対応する位置を各カメラ視点画像において判別して、計測マトリックス（Measurement Matrix）を算出し、ＵΣＶ’の因子分解を行ない、カメラの動きＭに合わせた形状Ｓの生成処理を実行する。
【００４２】
図７は、異なる視点で撮影した複数枚の画像を用いて対象の三次元形状とカメラの動きを復元する方法、及び手順を示すものである。
【００４３】
まず、カメラの視点を変えながら、対象を撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価値などによって抽出し、Ｆ枚の画像にわたって追跡する。特徴点追跡によって得られた各フレーム上の特徴点座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼ぶ）で表現することができる。そして、線形的な射影モデルを適用し、特異値分解法（ＳＶＤ）によって計測行列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解することができる。そこで、直行行列Ｕ，Ｖ’では、それぞれカメラの動き情報Ｍと対象の三次元情報Ｓが含まれている。また、カメラの姿勢を表現する単位ベクトル（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に決めるための行列Ａが求められる。従って、カメラ動きＭと対象の三次元形状Ｓが一意に決まることになる。
【００４４】
なお、上述の因子分解法を用いる対象の三次元形状とカメラ動きの復元法に関する詳細は、例えば金出らの論文「因子分解法による物体形状とカメラ運動の復元」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４９７−１５０５（１９９３．８）を参照されたい。
【００４５】
図８は、本発明の三次元画像生成装置において、仮想視点に近接する２つのカメラ視点画像による合成処理を用いてテクスチャマッピングを行なった例を示したものである。この例では１６枚のカメラ視点画像を用い、各仮想視点に対して上述した手法により、仮想視点ベクトルと２つの最近接カメラ視点ベクトるとのなす角度を重みとした合成処理により、仮想視点における画像パラメータ、例えばＲＧＢ値を算出してマッピングを行なったものである。本方法により、いずれの視点においても、高画質のテクスチャ画像がマッピングされた
【００４６】
図９は、本発明の三次元画像生成処理による三次元画像（ｃ）と、従来の手法によって得られる三次元画像（ａ）、（ｂ）との比較処理を行なったものである。従来の手法（ａ）は１枚のテクスチャ画像によってテクスチャマッピングを行なって得られる三次元画像である。この例は、図８（ａ）に示すフレーム１の画像を用いて三次元画像にマッピングし、その結果をある視点から見たときの表示結果である。この（ａ）の態様は、視点を変更しても、テクスチャが変更されないので、視点を変えた場合のテクスチャに不自然さが発生し、特に窓部分のテクスチャ画質の低下が目立つ。
【００４７】
図９（ｂ）は、図８（ａ）に示す１６枚の異なる視点からのテクスチャ画像を用いて仮想視点にもっとも近い撮影視点の画像を選択するいわゆるマッピング法によってある視点からの視点画像を表示したものである。この（ｂ）の例では、視点の変更に伴い、テクスチャも変更されるが、テクスチャ変更時の画像間の濃淡値に急激な変化が発生することがあり、観察者に違和感を発生させる。これは、各カメラ撮影視点の画像撮影時の照明条件の差異によるものであり、また、（ａ）と同様、特に窓部分においてテクスチャ画質の劣化が目立つ。
【００４８】
図９（ｃ）は、本発明の三次元画像生成方法によって生成した画像であり、視点に近接する２つの撮影画像の合成処理により視点画像を生成したものである。視点が変わることにより、テクスチャ画像も変化するが、その際の画像は、例えばカメラ視点画像をＶ１〜Ｖｎとしたとき、ある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ撮影視点画像Ｖ２，Ｖ３によって合成された画像となり、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画像と続くことになる。このように、視点を連続的に変更すると、対応するテクスチャ画像は、連続的に前のテクスチャ画像に使用されていた画像が引き続き使用されることになるので、画像間の不連続性が減少し、観察者に違和感を生じさせない。さらに、先に図６を用いて説明した濃淡平均値と分散値の正規化処理を実行すれば、さらに画像間の差異が解消される。
【００４９】
上述のように、本発明の三次元画像生成装置および三次元画像生成方法によれば、より高画質で、かつ視点移動時の画像の連続性が向上した三次元画像が得られる。本発明の三次元画像生成手法を例えばＶＲＭＬ（Virtual Reality Modeling Language）に適用することにより、ブラウザ上でのより現実感のある三次元画像の表示が可能となる。
【００５０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００５１】
【発明の効果】
以上、説明してきたように、本発明の三次元画像生成装置および三次元画像生成方法によれば仮想視点に近接する２つのカメラ視点画像による合成処理を用いてテクスチャマッピングを行なう構成としたので、高画質で、かつ視点移動時の画像の連続性が向上した三次元画像を生成することが可能となる。
【図面の簡単な説明】
【図１】一般的なテクスチャマッピングの手法について説明する図である。
【図２】従来の１枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図３】従来の複数枚画像を用いたテクスチャ画像選択によるマッピング手法を説明する図である。
【図４】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図５】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピング手法の処理フローを説明する図である。
【図６】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピングにおける画像の濃淡平均値、分散値の正規化処理フローを説明する図である。
【図７】本発明の三次元形状計測装置における形状復元手法について説明する図である。
【図８】本発明の三次元形状計測装置において生成される三次元画像の処理例について説明する図である。
【図９】本発明の三次元形状計測装置において生成される三次元画像と従来手法によって生成された三次元画像を比較した図である。
【符号の説明】
１０１ 三次元形状モデル
１０２ 二次元画像（テクスチャ）
２０１ 三次元形状モデル
２０２ 二次元画像（テクスチャ）
３０１ 測定対象
４０１ 測定対象
【発明の属する技術分野】
本発明は、三次元形状モデルに対するテクスチャ画像の貼り込み技術に関する三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体に関する。さらに詳細には、仮想視点のテクスチャ画像の貼り付け処理を改良することにより、不自然さの少ないリアルな三次元画像を生成することを可能とした三次元画像生成装置および三次元画像生成方法に関する。
【０００２】
【従来の技術】
物体の三次元形状は、例えば、測定対象に光を投射して、その光が反射して帰ってくるまでの時間を測定したり、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べたり、あるいは、２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測するステレオ画像法等がよく知られている。
【０００３】
このような様々な手法で測定された測定対象の距離データとしての三次元モデルに、測定対象の実際の色彩を反映した画像を貼り付けることで、リアルな３次元画像が生成される。測定対象の実画像をテクスチャ画像と呼び、テクスチャ画像を３次元データに貼り付けることをテクスチャマッピングと呼ぶ。
【０００４】
一般に三次元モデルの表面に貼り付ける画像は、２次元のビットマップ画像やイメージファイル画像である。３Ｄグラフィックス技術において作成した３Ｄ形状モデルや３Ｄ形状計測装置で得られた物体の三次元形状の表面に２次元のビットマップ画像やイメージファイル画像からなるテクスチャ画像を貼り合わせることにより、物体の三次元表示がなされる。例えば、レンガなどの画像を貼ることにより自然な三次元の壁が表現できたり、球体に世界地図の絵を貼り付けることにより、立体的な地球が表現されるようになる。
【０００５】
図１は、一般的なテクスチャマッピングの手法を説明する図である。図１に示す三次元形状モデル１０１は、例えば上述のステレオ画像法等によって取得された距離データに基づく三次元形状モデル１０１であり、二次元画像（テクスチャ）１０２は、ある視点から撮影した視覚的な色データ等を反映した実画像としての二次元画像（テクスチャ）１０２である。テクスチャマッピングは、三次元形状モデル１０１に、二次元画像（テクスチャ）１０２を貼り付けて行われ、このテクスチャマッピングにより、リアルな三次元表現が可能となる。なお、図に示すワイヤフレーム表示は、三次元形状モデル１０１から得られるテクスチャを貼り付ける平面領域を示すものである。
【０００６】
これまで、ステレオ画像法や、レーザ光の投光などを併用した３Ｄ計測装置で得られた物体の３Ｄ形状にテクスチャ画像を貼り合わせる技術について様々な検討がなされている。複数の視点からのテクスチャ画像を測定対象のそれぞれの領域に貼り付ける場合、複数のテクスチャ画像が異なる光源状況で撮影されていると、個々のテクスチャ画像の撮影時の光源状況の差により、画像間の色調に差が生じテクスチャ画像の貼り付け処理のみでは生成された画像に不自然な色合いが生じることがある。このような状況を解消するために、テクスチャ画像の撮影時の光源状況を推定し、その推定に基づいて画像間の色調の差異を補正することにより高画質なテクスチャマッピングを行なう手法が開発されている（例えば、佐藤いまり、佐藤洋一、池内克史：全方位ステレオによる実光源環境の計測とそれに基づく仮想物体の実画像への重ね込み、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８６１−８７１，１９９８）。
【０００７】
【発明が解決しようとする課題】
しかしながら、一般にデジタルカメラやＤＶカム等を用いて野外の風景や建物などを撮影する場合、照明光の光源推定は容易ではなく、撮影した複数の画像（テクスチャ画像）を用いて高画質のテクスチャマッピングを実行することは困難である。複数の画像を用いることによる不自然さを避けるため、例えば図２に示すように１枚のテクスチャ画像のみを用いてテクスチャマッピングを行なう方法もある。図２は、三次元形状モデル２０１のワイヤフレームに１枚の二次元画像（テクスチャ画像）２０２の対応領域の画像を貼りつけることにより、テクスチャマッピングを実行する構成を示している。
【０００８】
しかし、このような１枚の画像を用いる手法では、視点の変更により、テクスチャの画質が低下するという問題が発生する。例えば図２に示すカップの正面２０３の画像と端部２０４の画像をともに１枚の二次元画像（テクスチャ）２０２から取得すると、カップの正面の画質と端部の画質に差が発生し、画質の低下が発生する。
【０００９】
このような画質低下を解消する手法として、仮想視点に最も近い撮影視点のテクスチャ画像を選択して三次元形状モデルに貼り付ける手法がある。この手法を図３を用いて説明する。図３において、測定対象３０１のテクスチャ画像の撮影を複数の視点（撮影視点１〜ｎ）によって撮り込み、仮想視点が設定されると、その仮想視点に最も近い撮影視点を選択してそのテクスチャ画像を測定対象３０１の三次元形状モデルに貼り付ける。図３に示す例では、例えば仮想視点のＲＧＢ値を撮影視点１あるいは撮影視点２のいずれかとするが、撮影視点１と仮想視点間の角度をθ１とし、撮影視点２と仮想視点間の角度をθ２として、θ１＜θ２であれば撮影視点１のＲＧＢ値を選択し、θ１＞θ２であれば撮影視点２のＲＧＢ値を選択する。このような方法によれば、画質の向上が図られる。しかし、この手法においては、画像間の濃淡連続性の保持が困難となり、視点の変化による画像の不自然さが発生する。
【００１０】
１つの面に対して複数枚のテクスチャ画像の利用が可能である場合、視点の移動に伴うテクスチャ画像の選択合成処理により、リアルな三次元物体を表現するＶＤＴＭ（Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ）という手法が開発されている（Paul E.Debevec,Camillo J.Taylor and Jitendra Malik:"Modeling and Rendering Architecture from Photographs:A hybrid geometry-and image-based approach,"ACM SHINNRAPH '96 Proceedings, pp.11-20,1996.）。この手法は、１枚のテクスチャ画像を用いてテクスチャマッピングを行なう従来のＣＧ手法とは異なり、三次元形状として再現できていない部分の視点移動による見え方の変化を再現可能である。しかし、この手法では、画質を高めるために保持する画像データの量が膨大になるという問題があり、また、複数のテクスチャ画像の光源条件が一定でなければならないという制限がある。
【００１１】
画像データ量を削減するために、視点が変化する毎に見えている部分のテクスチャデータだけを伝送してマッピングする手法（S. Horbelt, F.Jordan T.Ebrahimi:"View-Dependent Texture Coding for Transmission of Virtual Environment."Proceedings of the 1998 IEEE International Symposium on Circuits and Systems. Vol.5, No.6,pp.498-501,1998.）が開発されている。しかし、この手法ではユーザ側で視点変更が行なわれる度にデータの伝送が実行されることになるので、データアクセスの効率が悪いという欠点がある。
【００１２】
また、三次元形状の再構成時に撮られた画像間の対応を用いて画像間の内挿を行なう（Shenchang Eric Chen, Lance Williams: "View Interpolation for Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.pp..279-288,1993.、ＳSteven M. Seitz and Charles R. Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceedings, pp.21-30,1996.）方法により、画像データ量を少なくする方法も提案されている。しかし、この手法では、撮影時の画像の撮り込み方により、画質の劣化や不自然さの問題がある。
【００１３】
一方、テクスチャ画像の撮影時の光源状況を推定する方法（佐藤いまり，佐藤洋一，池内克史：”実物体のソフトシャドウにもとづく実照明環境の推定，：情報処理学会研究報告，９８−ＣＶＩＭ−１１０，１９９８）により、画像間の色調の違いを補正する方法が検討されているが、補正処理のために画像中にある決まった物体が移っていなければならないという制限があり、この手法では、例えば野外で撮影した画像の光源推定を行なうことはできない。
【００１４】
本発明の三次元画像生成装置および三次元画像生成方法は、上述の各種従来技術の欠点に鑑みてなされたものであり、光源推定等の手法を用いることなく、画像の輝度平均値と分散を用いる濃淡値補正手法により、仮想視点に最も近い視点で撮影した２枚の画像を用いてその仮想視点のテクスチャ画像を作成して、不自然さのないリアルな三次元画像の生成を可能とすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成装置において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択し、
前記２つのカメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行して、前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行して前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行する構成を有することを特徴とする三次元画像生成装置にある。
【００１６】
さらに、本発明の三次元画像生成装置の一実施態様において、前記仮想視点における画像のパラメータの算出処理は、前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求める構成であることを特徴とする。
【００１７】
さらに、本発明の三次元画像生成装置の一実施態様において、前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする。
【００１９】
さらに、本発明の第２の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成方法において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とする三次元画像生成方法にある。
【００２０】
さらに、本発明の三次元画像生成方法の一実施態様において、前記仮想視点における画像のパラメータの算出処理は、前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求めることを特徴とする。
【００２１】
さらに、本発明の三次元画像生成方法の一実施態様において、前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする。
【００２３】
さらに、本発明の第３の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とするプログラム提供媒体にある。
【００２４】
本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００２５】
このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００２７】
【発明の実施の形態】
本発明の三次元画像生成装置および三次元画像生成方法について、以下詳細に説明する。まず、図４を用いて、本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングの概要を説明する。
【００２８】
本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングには、測定対象４０１に対して視点の異なる複数枚のテクスチャ画像を用い、仮想視点に最も近い２枚の画像を選択して、選択した２枚の画像に基づいて、仮想視点と実際の撮影視点との角度を重みとした合成処理により得られる新しいテクスチャ画像を用いてテクスチャマッピングを行なう。
【００２９】
例えば画像表示を画像のカラー値を決定するパラメータとしてＲＧＢ値を用いて実行する場合について想定する。仮想視点が撮影視点１と撮影視点２間に位置する場合、仮想視点におけるＲＧＢ値は次式によって算出される。下記式において、αは撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥとのなす角をθ２としたとき、α＝θ１／（θ１＋θ２）として定義される。
【００３０】
【数１】
仮想視点におけるＲＧＢ値
＝撮影視点１のＲＧＢ値×（１−α）
＋撮影視点２のＲＧＢ値×α………（式１）
【００３１】
上記式から理解されるように、仮想視点のテクスチャ画像の画像パラメータであるＲＧＢ値は、仮想視点に近接する２枚の撮影視点からの画像の合成処理によって求められる。なお、仮想視点方向が１つの撮影視点方向と一致する場合は、仮想視点の画像は、その一致する撮影視点の画像として定義し、２つの画像の合成処理は行なわない。
【００３２】
上記式により求める仮想視点のテクスチャ画像は、撮影視点の画像を用いた合成処理により生成されることになるので、視点１〜ｎで撮影したｎ枚の画像の照明条件の違いが吸収でき、画像間の連続性が保持される。その結果、高解像度のテクスチャ画像マッピングが可能となり、また、三次元形状として再現できていない部分に対しても、視点変更による見え方の変化を再現でき、よりリアルな三次元表示が可能となる。
【００３３】
特に、視点を変化させた場合の画像変化がなめらかになるという効果がある。すなわち、カメラ視点画像がｎ枚あり、これらをＶ１〜Ｖｎとしたとき、例えばある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ撮影視点画像Ｖ２，Ｖ３による合成画像に切り換えられ、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画像と切り換わることになる。このように、視点を連続的に変更すると、対応するテクスチャ画像は、連続的に前のテクスチャ画像に使用されていた画像が引き続き使用され、その使用割合も視点の移動に伴って連続的に変化することになるので、画像間の不連続性が減少し、観察者に違和感を生じさせない。
【００３４】
次に、図５を用いて本発明の三次元画像生成装置における複数の撮影視点画像を用いた合成処理により、テクスチャマッピングを行ない三次元画像を生成する処理について説明する。
【００３５】
ステップＳ５０１は、撮影視点画像の画像枚数の設定を行なう初期化ステップである。ステップＳ５０１は撮影視点画像枚数＝ｎであることを示す。ステップＳ５０２において、仮想視点ベクトルＥの変化の有無を判定する。仮想視点ベクトルＥが変化したと判定されると、ステップＳ５０３〜ステップＳ５０６において、カメラ視点ｉ＝１〜ｎに基づくカメラ撮影視点ベクトルＶ１〜Ｖｎと、仮想視点ベクトルＥとのベクトル比較を実行し、仮想視点ベクトルＥに最も近接する撮影視点ベクトルを選択する。具体的には各カメラ撮影視点ベクトルＶｉと仮想視点ベクトルＥとの内積を計算して、その値を相互に比較する処理を行なう。
【００３６】
仮想視点に最も近い２つの撮影視点ベクトルが選択されると、次のステップＳ５０７において、三次元画像における画像間の濃淡分布のばらつきを抑えるために、画像の濃淡分布の平均値と分散値の正規化処理を実行する。この処理フローを図６に示す。
【００３７】
図６のステップＳ６０１では、テクスチャマッピング用画像の入力を行なう。すなわちカメラ視点１〜ｎのテクスチャ画像を入力する。ステップＳ６０２では画像１〜ｎに対して、テクスチャとして用いる部分画像領域を切出す。この部分領域は、例えば前述の図５に示すステップＳ５０３〜Ｓ６０６において仮想視点を合成するために使用される画像として選択された領域の画像を含む画像である。
【００３８】
次に、ステップＳ６０３において、ステップＳ６０２で切出された部分画像領域の濃淡平均値と分散を算出する。次に、ステップＳ６０４において、各部分画像領域の濃淡平均値と分散値の正規化処理を実行してテクスチャマッピング処理に使用する画像を補正する。なお、部分画像領域の濃淡平均値と分散の算出に基づく正規化処理は、例えば、各カメラ視点画像に濃淡のばらつきがほとんどないと判断される場合等には、必ずしも実行することを必要としない。
【００３９】
その後、仮想視点におけるテクスチャ画像を、ステップＳ５０５で選択した２つのカメラ視点画像からの合成処理によりステップＳ５０８において生成する。画像の合成方法は、先に説明した（式１）の重み付けにより実行する。このようにして仮想視点のテクスチャ画像を生成してマッピングを行ない三次元画像を生成する。ステップＳ５０８で合成処理を実行する２つのカメラ視点画像は、ステップＳ５０７において濃淡平均値と分散値の正規化処理を行なった各カメラ視点画像であり、三次元画像における画像間の濃淡分布のばらつきが抑えられたものとなる。なお、仮想視点と１つの撮影視点が一致した場合は、１つの撮影視点画像のみを採用することになり、２つの画像からの合成処理は実行しない。
【００４０】
なお、上述の画像合成処理では、２つの画像がカラー画像でありＲＧＢ値を持つ画像の例としての合成処理を説明したが、白黒画像であっても、またＲＧＢ以外のパラメータであっても、その上記式１と同様の方法により、仮想視点画像の画像パラメータを２つの最近接カメラ視点画像のパラメータの重み付け処理により実行することが可能である。これらのパラメータの重みづけは、仮想視点のベクトルＥと２つの最近接カメラ視点画像のカメラ視点ベクトルとのなす角度に基づいて実行される。
【００４１】
上述した画像処理により、より現実感のあるリアルな三次元画像が生成される。なお、テクスチャマッピングでは、例えば前述の図１で示したワイヤフレーム領域ごとに上述の合成画像を生成して、これをワイヤフレーム領域毎に貼り付ける処理を実行することによって三次元画像を生成する。複数のワイヤフレーム領域にはりつけるテクスチャ画像間の整合性の調整は、例えば因子分解法によって実現される。これは、図７に示すように、撮影対象であるオブジェクトに対して複数枚の異なる視点からのカメラ視点画像（ｔ＝１〜ｎ）を撮影し、さらに、１つのカメラ視点画像、例えばｔ＝１のカメラ視点画像に基づいて特徴点をいくつか取得する。さらに取得した特徴点に対応する位置を各カメラ視点画像において判別して、計測マトリックス（Measurement Matrix）を算出し、ＵΣＶ’の因子分解を行ない、カメラの動きＭに合わせた形状Ｓの生成処理を実行する。
【００４２】
図７は、異なる視点で撮影した複数枚の画像を用いて対象の三次元形状とカメラの動きを復元する方法、及び手順を示すものである。
【００４３】
まず、カメラの視点を変えながら、対象を撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価値などによって抽出し、Ｆ枚の画像にわたって追跡する。特徴点追跡によって得られた各フレーム上の特徴点座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼ぶ）で表現することができる。そして、線形的な射影モデルを適用し、特異値分解法（ＳＶＤ）によって計測行列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解することができる。そこで、直行行列Ｕ，Ｖ’では、それぞれカメラの動き情報Ｍと対象の三次元情報Ｓが含まれている。また、カメラの姿勢を表現する単位ベクトル（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に決めるための行列Ａが求められる。従って、カメラ動きＭと対象の三次元形状Ｓが一意に決まることになる。
【００４４】
なお、上述の因子分解法を用いる対象の三次元形状とカメラ動きの復元法に関する詳細は、例えば金出らの論文「因子分解法による物体形状とカメラ運動の復元」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４９７−１５０５（１９９３．８）を参照されたい。
【００４５】
図８は、本発明の三次元画像生成装置において、仮想視点に近接する２つのカメラ視点画像による合成処理を用いてテクスチャマッピングを行なった例を示したものである。この例では１６枚のカメラ視点画像を用い、各仮想視点に対して上述した手法により、仮想視点ベクトルと２つの最近接カメラ視点ベクトるとのなす角度を重みとした合成処理により、仮想視点における画像パラメータ、例えばＲＧＢ値を算出してマッピングを行なったものである。本方法により、いずれの視点においても、高画質のテクスチャ画像がマッピングされた
【００４６】
図９は、本発明の三次元画像生成処理による三次元画像（ｃ）と、従来の手法によって得られる三次元画像（ａ）、（ｂ）との比較処理を行なったものである。従来の手法（ａ）は１枚のテクスチャ画像によってテクスチャマッピングを行なって得られる三次元画像である。この例は、図８（ａ）に示すフレーム１の画像を用いて三次元画像にマッピングし、その結果をある視点から見たときの表示結果である。この（ａ）の態様は、視点を変更しても、テクスチャが変更されないので、視点を変えた場合のテクスチャに不自然さが発生し、特に窓部分のテクスチャ画質の低下が目立つ。
【００４７】
図９（ｂ）は、図８（ａ）に示す１６枚の異なる視点からのテクスチャ画像を用いて仮想視点にもっとも近い撮影視点の画像を選択するいわゆるマッピング法によってある視点からの視点画像を表示したものである。この（ｂ）の例では、視点の変更に伴い、テクスチャも変更されるが、テクスチャ変更時の画像間の濃淡値に急激な変化が発生することがあり、観察者に違和感を発生させる。これは、各カメラ撮影視点の画像撮影時の照明条件の差異によるものであり、また、（ａ）と同様、特に窓部分においてテクスチャ画質の劣化が目立つ。
【００４８】
図９（ｃ）は、本発明の三次元画像生成方法によって生成した画像であり、視点に近接する２つの撮影画像の合成処理により視点画像を生成したものである。視点が変わることにより、テクスチャ画像も変化するが、その際の画像は、例えばカメラ視点画像をＶ１〜Ｖｎとしたとき、ある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ撮影視点画像Ｖ２，Ｖ３によって合成された画像となり、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画像と続くことになる。このように、視点を連続的に変更すると、対応するテクスチャ画像は、連続的に前のテクスチャ画像に使用されていた画像が引き続き使用されることになるので、画像間の不連続性が減少し、観察者に違和感を生じさせない。さらに、先に図６を用いて説明した濃淡平均値と分散値の正規化処理を実行すれば、さらに画像間の差異が解消される。
【００４９】
上述のように、本発明の三次元画像生成装置および三次元画像生成方法によれば、より高画質で、かつ視点移動時の画像の連続性が向上した三次元画像が得られる。本発明の三次元画像生成手法を例えばＶＲＭＬ（Virtual Reality Modeling Language）に適用することにより、ブラウザ上でのより現実感のある三次元画像の表示が可能となる。
【００５０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００５１】
【発明の効果】
以上、説明してきたように、本発明の三次元画像生成装置および三次元画像生成方法によれば仮想視点に近接する２つのカメラ視点画像による合成処理を用いてテクスチャマッピングを行なう構成としたので、高画質で、かつ視点移動時の画像の連続性が向上した三次元画像を生成することが可能となる。
【図面の簡単な説明】
【図１】一般的なテクスチャマッピングの手法について説明する図である。
【図２】従来の１枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図３】従来の複数枚画像を用いたテクスチャ画像選択によるマッピング手法を説明する図である。
【図４】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図５】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピング手法の処理フローを説明する図である。
【図６】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピングにおける画像の濃淡平均値、分散値の正規化処理フローを説明する図である。
【図７】本発明の三次元形状計測装置における形状復元手法について説明する図である。
【図８】本発明の三次元形状計測装置において生成される三次元画像の処理例について説明する図である。
【図９】本発明の三次元形状計測装置において生成される三次元画像と従来手法によって生成された三次元画像を比較した図である。
【符号の説明】
１０１ 三次元形状モデル
１０２ 二次元画像（テクスチャ）
２０１ 三次元形状モデル
２０２ 二次元画像（テクスチャ）
３０１ 測定対象
４０１ 測定対象
Claims (7)
- 三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成装置において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択し、
前記２つのカメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行して、前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行して前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行する構成を有することを特徴とする三次元画像生成装置。 - 前記仮想視点における画像のパラメータの算出処理は、
前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求める構成であることを特徴とする請求項１に記載の三次元画像生成装置。 - 前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする請求項１に記載の三次元画像生成装置。
- 三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成方法において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とする三次元画像生成方法。 - 前記仮想視点における画像のパラメータの算出処理は、
前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求めることを特徴とする請求項４に記載の三次元画像生成方法。 - 前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする請求項４に記載の三次元画像生成方法。
- 三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とするプログラム提供媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000109090A JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000109090A JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001291116A JP2001291116A (ja) | 2001-10-19 |
| JP4370672B2 true JP4370672B2 (ja) | 2009-11-25 |
Family
ID=18621833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000109090A Expired - Fee Related JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4370672B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3352454B2 (ja) * | 2000-11-21 | 2002-12-03 | キヤノン株式会社 | 画像処理装置及びその方法並びに記憶媒体 |
| JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
| EP1486892A4 (en) | 2002-03-19 | 2007-03-21 | Cooperative Ass Of Japan Shipb | CARENE BODY DEVELOPMENT METHOD, CARENE BODY MANUFACTURING METHOD, COMPUTER PROGRAM FOR METHOD TEACHING, AND IMAGE RECORDING MEDIUM FOR TEACHING THE METHODS |
| JP2004152015A (ja) * | 2002-10-30 | 2004-05-27 | Digital Fashion Ltd | 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法、シェーディング情報取得装置及びデータ構造 |
| KR100779634B1 (ko) * | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
| JP5224319B2 (ja) * | 2007-07-23 | 2013-07-03 | 富士フイルム株式会社 | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
| KR101098830B1 (ko) | 2008-12-01 | 2011-12-26 | 한국전자통신연구원 | 서피스 텍스처 매핑 장치 및 그 방법 |
| JP5290864B2 (ja) * | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定装置及び方法 |
| JP5290865B2 (ja) * | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定方法および装置 |
| KR101824818B1 (ko) * | 2016-11-28 | 2018-03-14 | 서울과학기술대학교 산학협력단 | 360도 영상 스티칭 방법 및 장치 |
| WO2023276261A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| US20240161394A1 (en) | 2022-11-15 | 2024-05-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer-readable medium |
-
2000
- 2000-04-11 JP JP2000109090A patent/JP4370672B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001291116A (ja) | 2001-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4474743B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 | |
| JP7080613B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| JP7007348B2 (ja) | 画像処理装置 | |
| EP3735677A1 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
| JP4828506B2 (ja) | 仮想視点画像生成装置、プログラムおよび記録媒体 | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| CN112233165B (zh) | 一种基于多平面图像学习视角合成的基线扩展实现方法 | |
| JP7505481B2 (ja) | 画像処理装置および画像処理方法 | |
| Starck et al. | Virtual view synthesis of people from multiple view video sequences | |
| KR100317138B1 (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| JP5373931B2 (ja) | 仮想視点画像生成方法，仮想視点画像生成装置および仮想視点画像生成プログラム | |
| KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
| JP2019016230A (ja) | 学習装置、画像合成装置、学習方法、画像合成方法、及びプログラム | |
| Takai et al. | Harmonised texture mapping | |
| JPH0950540A (ja) | 画像生成方法 | |
| JP2001243497A (ja) | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 | |
| JP7352374B2 (ja) | 仮想視点変換装置及びプログラム | |
| CN115457171A (zh) | 一种采用基表情空间变换的高效表情迁移方法 | |
| JP2003337953A (ja) | 画像処理装置および画像処理方法、並びにコンピュータ・プログラム | |
| WO2024053371A1 (ja) | 情報処理システム、および情報処理システムの作動方法、並びにプログラム | |
| JP4419139B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
| US20230196653A1 (en) | Information processing device, generation method, and rendering method | |
| JP7332326B2 (ja) | 映像効果装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090824 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |