JP2001291116A - 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 - Google Patents
三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体Info
- Publication number
- JP2001291116A JP2001291116A JP2000109090A JP2000109090A JP2001291116A JP 2001291116 A JP2001291116 A JP 2001291116A JP 2000109090 A JP2000109090 A JP 2000109090A JP 2000109090 A JP2000109090 A JP 2000109090A JP 2001291116 A JP2001291116 A JP 2001291116A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- texture
- images
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】
【課題】 高画質な三次元画像の生成を可能とするテク
スチャマッピングの手法を提供する。 【解決手段】 仮想視点に近接する２つのカメラ撮影視
点画像を選択し、これら２つの画像の持つパラメータ例
えばＲＧＢ値について、仮想視点ベクトルと撮影視点ベ
クトルとのなす角度に基づいて重み付けを実行して、２
つのカメラ撮影視点画像に基づいて仮想視点のテクスチ
ャ画像を生成する。画像の合成は、撮影視点１のベクト
ルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、
撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥ
とのなす角をθ２としたとき、α＝θ１／（θ１＋θ
２）とし、仮想視点におけるＲＧＢ値＝撮影視点１のＲ
ＧＢ値×（１−α）＋撮影視点２のＲＧＢ値×αとして
求める。
スチャマッピングの手法を提供する。 【解決手段】 仮想視点に近接する２つのカメラ撮影視
点画像を選択し、これら２つの画像の持つパラメータ例
えばＲＧＢ値について、仮想視点ベクトルと撮影視点ベ
クトルとのなす角度に基づいて重み付けを実行して、２
つのカメラ撮影視点画像に基づいて仮想視点のテクスチ
ャ画像を生成する。画像の合成は、撮影視点１のベクト
ルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、
撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥ
とのなす角をθ２としたとき、α＝θ１／（θ１＋θ
２）とし、仮想視点におけるＲＧＢ値＝撮影視点１のＲ
ＧＢ値×（１−α）＋撮影視点２のＲＧＢ値×αとして
求める。
Description
【０００１】
【発明の属する技術分野】本発明は、三次元形状モデル
に対するテクスチャ画像の貼り込み技術に関する三次元
画像生成装置および三次元画像生成方法、並びにプログ
ラム提供媒体に関する。さらに詳細には、仮想視点のテ
クスチャ画像の貼り付け処理を改良することにより、不
自然さの少ないリアルな三次元画像を生成することを可
能とした三次元画像生成装置および三次元画像生成方法
に関する。
に対するテクスチャ画像の貼り込み技術に関する三次元
画像生成装置および三次元画像生成方法、並びにプログ
ラム提供媒体に関する。さらに詳細には、仮想視点のテ
クスチャ画像の貼り付け処理を改良することにより、不
自然さの少ないリアルな三次元画像を生成することを可
能とした三次元画像生成装置および三次元画像生成方法
に関する。
【０００２】
【従来の技術】物体の三次元形状は、例えば、測定対象
に光を投射して、その光が反射して帰ってくるまでの時
間を測定したり、測定対象にスリット状のパターン光を
あてて測定対象に投影されたパターン光の形状を調べた
り、あるいは、２台以上のカメラを使って、その画像間
の対応点を見つけることで視差を求め、距離を計測する
ステレオ画像法等がよく知られている。
に光を投射して、その光が反射して帰ってくるまでの時
間を測定したり、測定対象にスリット状のパターン光を
あてて測定対象に投影されたパターン光の形状を調べた
り、あるいは、２台以上のカメラを使って、その画像間
の対応点を見つけることで視差を求め、距離を計測する
ステレオ画像法等がよく知られている。
【０００３】このような様々な手法で測定された測定対
象の距離データとしての三次元モデルに、測定対象の実
際の色彩を反映した画像を貼り付けることで、リアルな
３次元画像が生成される。測定対象の実画像をテクスチ
ャ画像と呼び、テクスチャ画像を３次元データに貼り付
けることをテクスチャマッピングと呼ぶ。
象の距離データとしての三次元モデルに、測定対象の実
際の色彩を反映した画像を貼り付けることで、リアルな
３次元画像が生成される。測定対象の実画像をテクスチ
ャ画像と呼び、テクスチャ画像を３次元データに貼り付
けることをテクスチャマッピングと呼ぶ。
【０００４】一般に三次元モデルの表面に貼り付ける画
像は、２次元のビットマップ画像やイメージファイル画
像である。３Ｄグラフィックス技術において作成した３
Ｄ形状モデルや３Ｄ形状計測装置で得られた物体の三次
元形状の表面に２次元のビットマップ画像やイメージフ
ァイル画像からなるテクスチャ画像を貼り合わせること
により、物体の三次元表示がなされる。例えば、レンガ
などの画像を貼ることにより自然な三次元の壁が表現で
きたり、球体に世界地図の絵を貼り付けることにより、
立体的な地球が表現されるようになる。
像は、２次元のビットマップ画像やイメージファイル画
像である。３Ｄグラフィックス技術において作成した３
Ｄ形状モデルや３Ｄ形状計測装置で得られた物体の三次
元形状の表面に２次元のビットマップ画像やイメージフ
ァイル画像からなるテクスチャ画像を貼り合わせること
により、物体の三次元表示がなされる。例えば、レンガ
などの画像を貼ることにより自然な三次元の壁が表現で
きたり、球体に世界地図の絵を貼り付けることにより、
立体的な地球が表現されるようになる。
【０００５】図１は、一般的なテクスチャマッピングの
手法を説明する図である。図１に示す三次元形状モデル
１０１は、例えば上述のステレオ画像法等によって取得
された距離データに基づく三次元形状モデル１０１であ
り、二次元画像（テクスチャ）１０２は、ある視点から
撮影した視覚的な色データ等を反映した実画像としての
二次元画像（テクスチャ）１０２である。テクスチャマ
ッピングは、三次元形状モデル１０１に、二次元画像
（テクスチャ）１０２を貼り付けて行われ、このテクス
チャマッピングにより、リアルな三次元表現が可能とな
る。なお、図に示すワイヤフレーム表示は、三次元形状
モデル１０１から得られるテクスチャを貼り付ける平面
領域を示すものである。
手法を説明する図である。図１に示す三次元形状モデル
１０１は、例えば上述のステレオ画像法等によって取得
された距離データに基づく三次元形状モデル１０１であ
り、二次元画像（テクスチャ）１０２は、ある視点から
撮影した視覚的な色データ等を反映した実画像としての
二次元画像（テクスチャ）１０２である。テクスチャマ
ッピングは、三次元形状モデル１０１に、二次元画像
（テクスチャ）１０２を貼り付けて行われ、このテクス
チャマッピングにより、リアルな三次元表現が可能とな
る。なお、図に示すワイヤフレーム表示は、三次元形状
モデル１０１から得られるテクスチャを貼り付ける平面
領域を示すものである。
【０００６】これまで、ステレオ画像法や、レーザ光の
投光などを併用した３Ｄ計測装置で得られた物体の３Ｄ
形状にテクスチャ画像を貼り合わせる技術について様々
な検討がなされている。複数の視点からのテクスチャ画
像を測定対象のそれぞれの領域に貼り付ける場合、複数
のテクスチャ画像が異なる光源状況で撮影されている
と、個々のテクスチャ画像の撮影時の光源状況の差によ
り、画像間の色調に差が生じテクスチャ画像の貼り付け
処理のみでは生成された画像に不自然な色合いが生じる
ことがある。このような状況を解消するために、テクス
チャ画像の撮影時の光源状況を推定し、その推定に基づ
いて画像間の色調の差異を補正することにより高画質な
テクスチャマッピングを行なう手法が開発されている
（例えば、佐藤いまり、佐藤洋一、池内克史：全方位ス
テレオによる実光源環境の計測とそれに基づく仮想物体
の実画像への重ね込み、電子情報通信学会論文誌 Ｄ−
ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８６
１−８７１，１９９８）。
投光などを併用した３Ｄ計測装置で得られた物体の３Ｄ
形状にテクスチャ画像を貼り合わせる技術について様々
な検討がなされている。複数の視点からのテクスチャ画
像を測定対象のそれぞれの領域に貼り付ける場合、複数
のテクスチャ画像が異なる光源状況で撮影されている
と、個々のテクスチャ画像の撮影時の光源状況の差によ
り、画像間の色調に差が生じテクスチャ画像の貼り付け
処理のみでは生成された画像に不自然な色合いが生じる
ことがある。このような状況を解消するために、テクス
チャ画像の撮影時の光源状況を推定し、その推定に基づ
いて画像間の色調の差異を補正することにより高画質な
テクスチャマッピングを行なう手法が開発されている
（例えば、佐藤いまり、佐藤洋一、池内克史：全方位ス
テレオによる実光源環境の計測とそれに基づく仮想物体
の実画像への重ね込み、電子情報通信学会論文誌 Ｄ−
ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８６
１−８７１，１９９８）。
【０００７】
【発明が解決しようとする課題】しかしながら、一般に
デジタルカメラやＤＶカム等を用いて野外の風景や建物
などを撮影する場合、照明光の光源推定は容易ではな
く、撮影した複数の画像（テクスチャ画像）を用いて高
画質のテクスチャマッピングを実行することは困難であ
る。複数の画像を用いることによる不自然さを避けるた
め、例えば図２に示すように１枚のテクスチャ画像のみ
を用いてテクスチャマッピングを行なう方法もある。図
２は、三次元形状モデル２０１のワイヤフレームに１枚
の二次元画像（テクスチャ画像）２０２の対応領域の画
像を貼りつけることにより、テクスチャマッピングを実
行する構成を示している。
デジタルカメラやＤＶカム等を用いて野外の風景や建物
などを撮影する場合、照明光の光源推定は容易ではな
く、撮影した複数の画像（テクスチャ画像）を用いて高
画質のテクスチャマッピングを実行することは困難であ
る。複数の画像を用いることによる不自然さを避けるた
め、例えば図２に示すように１枚のテクスチャ画像のみ
を用いてテクスチャマッピングを行なう方法もある。図
２は、三次元形状モデル２０１のワイヤフレームに１枚
の二次元画像（テクスチャ画像）２０２の対応領域の画
像を貼りつけることにより、テクスチャマッピングを実
行する構成を示している。
【０００８】しかし、このような１枚の画像を用いる手
法では、視点の変更により、テクスチャの画質が低下す
るという問題が発生する。例えば図２に示すカップの正
面２０３の画像と端部２０４の画像をともに１枚の二次
元画像（テクスチャ）２０２から取得すると、カップの
正面の画質と端部の画質に差が発生し、画質の低下が発
生する。
法では、視点の変更により、テクスチャの画質が低下す
るという問題が発生する。例えば図２に示すカップの正
面２０３の画像と端部２０４の画像をともに１枚の二次
元画像（テクスチャ）２０２から取得すると、カップの
正面の画質と端部の画質に差が発生し、画質の低下が発
生する。
【０００９】このような画質低下を解消する手法とし
て、仮想視点に最も近い撮影視点のテクスチャ画像を選
択して三次元形状モデルに貼り付ける手法がある。この
手法を図３を用いて説明する。図３において、測定対象
３０１のテクスチャ画像の撮影を複数の視点（撮影視点
１〜ｎ）によって撮り込み、仮想視点が設定されると、
その仮想視点に最も近い撮影視点を選択してそのテクス
チャ画像を測定対象３０１の三次元形状モデルに貼り付
ける。図３に示す例では、例えば仮想視点のＲＧＢ値を
撮影視点１あるいは撮影視点２のいずれかとするが、撮
影視点１と仮想視点間の角度をθ１とし、撮影視点２と
仮想視点間の角度をθ２として、θ１＜θ２であれば撮
影視点１のＲＧＢ値を選択し、θ１＞θ２であれば撮影
視点２のＲＧＢ値を選択する。このような方法によれ
ば、画質の向上が図られる。しかし、この手法において
は、画像間の濃淡連続性の保持が困難となり、視点の変
化による画像の不自然さが発生する。
て、仮想視点に最も近い撮影視点のテクスチャ画像を選
択して三次元形状モデルに貼り付ける手法がある。この
手法を図３を用いて説明する。図３において、測定対象
３０１のテクスチャ画像の撮影を複数の視点（撮影視点
１〜ｎ）によって撮り込み、仮想視点が設定されると、
その仮想視点に最も近い撮影視点を選択してそのテクス
チャ画像を測定対象３０１の三次元形状モデルに貼り付
ける。図３に示す例では、例えば仮想視点のＲＧＢ値を
撮影視点１あるいは撮影視点２のいずれかとするが、撮
影視点１と仮想視点間の角度をθ１とし、撮影視点２と
仮想視点間の角度をθ２として、θ１＜θ２であれば撮
影視点１のＲＧＢ値を選択し、θ１＞θ２であれば撮影
視点２のＲＧＢ値を選択する。このような方法によれ
ば、画質の向上が図られる。しかし、この手法において
は、画像間の濃淡連続性の保持が困難となり、視点の変
化による画像の不自然さが発生する。
【００１０】１つの面に対して複数枚のテクスチャ画像
の利用が可能である場合、視点の移動に伴うテクスチャ
画像の選択合成処理により、リアルな三次元物体を表現
するＶＤＴＭ（Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ ｔｅｘ
ｔｕｒｅ ｍａｐｐｉｎｇ）という手法が開発されてい
る（Paul E.Debevec,Camillo J.Taylor and Jitendra
Malik:"Modeling and Rendering Architecture from Ph
otographs:A hybrid geometry-and image-based approa
ch,"ACM SHINNRAPH '96 Proceedings, pp.11-20,199
6.）。この手法は、１枚のテクスチャ画像を用いてテク
スチャマッピングを行なう従来のＣＧ手法とは異なり、
三次元形状として再現できていない部分の視点移動によ
る見え方の変化を再現可能である。しかし、この手法で
は、画質を高めるために保持する画像データの量が膨大
になるという問題があり、また、複数のテクスチャ画像
の光源条件が一定でなければならないという制限があ
る。
の利用が可能である場合、視点の移動に伴うテクスチャ
画像の選択合成処理により、リアルな三次元物体を表現
するＶＤＴＭ（Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ ｔｅｘ
ｔｕｒｅ ｍａｐｐｉｎｇ）という手法が開発されてい
る（Paul E.Debevec,Camillo J.Taylor and Jitendra
Malik:"Modeling and Rendering Architecture from Ph
otographs:A hybrid geometry-and image-based approa
ch,"ACM SHINNRAPH '96 Proceedings, pp.11-20,199
6.）。この手法は、１枚のテクスチャ画像を用いてテク
スチャマッピングを行なう従来のＣＧ手法とは異なり、
三次元形状として再現できていない部分の視点移動によ
る見え方の変化を再現可能である。しかし、この手法で
は、画質を高めるために保持する画像データの量が膨大
になるという問題があり、また、複数のテクスチャ画像
の光源条件が一定でなければならないという制限があ
る。
【００１１】画像データ量を削減するために、視点が変
化する毎に見えている部分のテクスチャデータだけを伝
送してマッピングする手法（S. Horbelt, F.Jordan T.E
brahimi:"View-Dependent Texture Coding for Transmi
ssion of Virtual Environment."Proceedings of the 1
998 IEEE International Symposium on Circuits andSy
stems. Vol.5, No.6,pp.498-501,1998.）が開発されて
いる。しかし、この手法ではユーザ側で視点変更が行な
われる度にデータの伝送が実行されることになるので、
データアクセスの効率が悪いという欠点がある。
化する毎に見えている部分のテクスチャデータだけを伝
送してマッピングする手法（S. Horbelt, F.Jordan T.E
brahimi:"View-Dependent Texture Coding for Transmi
ssion of Virtual Environment."Proceedings of the 1
998 IEEE International Symposium on Circuits andSy
stems. Vol.5, No.6,pp.498-501,1998.）が開発されて
いる。しかし、この手法ではユーザ側で視点変更が行な
われる度にデータの伝送が実行されることになるので、
データアクセスの効率が悪いという欠点がある。
【００１２】また、三次元形状の再構成時に撮られた画
像間の対応を用いて画像間の内挿を行なう（Shenchang
Eric Chen, Lance Williams: "View Interpolation for
Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.p
p..279-288,1993.、ＳStevenM. Seitz and Charles R.
Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceeding
s, pp.21-30,1996.）方法により、画像データ量を少な
くする方法も提案されている。しかし、この手法では、
撮影時の画像の撮り込み方により、画質の劣化や不自然
さの問題がある。
像間の対応を用いて画像間の内挿を行なう（Shenchang
Eric Chen, Lance Williams: "View Interpolation for
Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.p
p..279-288,1993.、ＳStevenM. Seitz and Charles R.
Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceeding
s, pp.21-30,1996.）方法により、画像データ量を少な
くする方法も提案されている。しかし、この手法では、
撮影時の画像の撮り込み方により、画質の劣化や不自然
さの問題がある。
【００１３】一方、テクスチャ画像の撮影時の光源状況
を推定する方法（佐藤いまり，佐藤洋一，池内克史：”
実物体のソフトシャドウにもとづく実照明環境の推
定，：情報処理学会研究報告，９８−ＣＶＩＭ−１１
０，１９９８）により、画像間の色調の違いを補正する
方法が検討されているが、補正処理のために画像中にあ
る決まった物体が移っていなければならないという制限
があり、この手法では、例えば野外で撮影した画像の光
源推定を行なうことはできない。
を推定する方法（佐藤いまり，佐藤洋一，池内克史：”
実物体のソフトシャドウにもとづく実照明環境の推
定，：情報処理学会研究報告，９８−ＣＶＩＭ−１１
０，１９９８）により、画像間の色調の違いを補正する
方法が検討されているが、補正処理のために画像中にあ
る決まった物体が移っていなければならないという制限
があり、この手法では、例えば野外で撮影した画像の光
源推定を行なうことはできない。
【００１４】本発明の三次元画像生成装置および三次元
画像生成方法は、上述の各種従来技術の欠点に鑑みてな
されたものであり、光源推定等の手法を用いることな
く、画像の輝度平均値と分散を用いる濃淡値補正手法に
より、仮想視点に最も近い視点で撮影した２枚の画像を
用いてその仮想視点のテクスチャ画像を作成して、不自
然さのないリアルな三次元画像の生成を可能とすること
を目的とする。
画像生成方法は、上述の各種従来技術の欠点に鑑みてな
されたものであり、光源推定等の手法を用いることな
く、画像の輝度平均値と分散を用いる濃淡値補正手法に
より、仮想視点に最も近い視点で撮影した２枚の画像を
用いてその仮想視点のテクスチャ画像を作成して、不自
然さのないリアルな三次元画像の生成を可能とすること
を目的とする。
【００１５】
【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、三次元
形状モデルにテクスチャ画像を貼り付けることにより三
次元画像を生成する三次元画像生成装置において、複数
のカメラ撮影視点画像から、三次元画像に対する仮想視
点に最も近い撮影視点方向を有する２つのカメラ撮影テ
クスチャ画像を選択し、前記仮想視点方向と、前記２つ
のカメラ撮影テクスチャ画像の２つの撮影視点方向各々
とのなす角度に基づいて、前記２つのカメラ撮影テクス
チャ画像の持つ画像パラメータの重み付けによる両画像
の合成処理を実行して前記仮想視点における画像パラメ
ータを算出し、該パラメータに基づいてテクスチャマッ
ピングを実行する構成を有することを特徴とする三次元
画像生成装置にある。
酌してなされたものであり、その第１の側面は、三次元
形状モデルにテクスチャ画像を貼り付けることにより三
次元画像を生成する三次元画像生成装置において、複数
のカメラ撮影視点画像から、三次元画像に対する仮想視
点に最も近い撮影視点方向を有する２つのカメラ撮影テ
クスチャ画像を選択し、前記仮想視点方向と、前記２つ
のカメラ撮影テクスチャ画像の２つの撮影視点方向各々
とのなす角度に基づいて、前記２つのカメラ撮影テクス
チャ画像の持つ画像パラメータの重み付けによる両画像
の合成処理を実行して前記仮想視点における画像パラメ
ータを算出し、該パラメータに基づいてテクスチャマッ
ピングを実行する構成を有することを特徴とする三次元
画像生成装置にある。
【００１６】さらに、本発明の三次元画像生成装置の一
実施態様において、前記仮想視点における画像のパラメ
ータの算出処理は、前記仮想視点に最も近い撮影視点方
向を有する２つのカメラ撮影テクスチャ画像の撮影視点
を撮影視点１、撮影視点２としたとき、撮影視点１のベ
クトルＶ１と仮想視点のベクトルＥとのなす角をθ１と
し、撮影視点２のベクトルＶ２と仮想視点のなすベクト
ルＥとのなす角をθ２として、α＝θ１／（θ１＋θ
２）を求め、仮想視点における画像パラメータ＝撮影視
点１の画像パラメータ×（１−α）＋撮影視点２の画像
パラメータ×αとして求める構成であることを特徴とす
る。
実施態様において、前記仮想視点における画像のパラメ
ータの算出処理は、前記仮想視点に最も近い撮影視点方
向を有する２つのカメラ撮影テクスチャ画像の撮影視点
を撮影視点１、撮影視点２としたとき、撮影視点１のベ
クトルＶ１と仮想視点のベクトルＥとのなす角をθ１と
し、撮影視点２のベクトルＶ２と仮想視点のなすベクト
ルＥとのなす角をθ２として、α＝θ１／（θ１＋θ
２）を求め、仮想視点における画像パラメータ＝撮影視
点１の画像パラメータ×（１−α）＋撮影視点２の画像
パラメータ×αとして求める構成であることを特徴とす
る。
【００１７】さらに、本発明の三次元画像生成装置の一
実施態様において、前記画像パラメータはＲＧＢ値また
は濃淡値のいずれかを含むことを特徴とする。
実施態様において、前記画像パラメータはＲＧＢ値また
は濃淡値のいずれかを含むことを特徴とする。
【００１８】さらに、本発明の三次元画像生成装置の一
実施態様において、前記複数のカメラ撮影視点画像にお
けるテクスチャ画像として使用する画像領域について、
画像の濃淡平均値と分散値の正規化処理を実行し、正規
化処理後の画像について、画像パラメータの重み付けに
よる両画像の合成処理を実行して前記仮想視点における
画像パラメータの算出処理を実行する構成であることを
特徴とする。
実施態様において、前記複数のカメラ撮影視点画像にお
けるテクスチャ画像として使用する画像領域について、
画像の濃淡平均値と分散値の正規化処理を実行し、正規
化処理後の画像について、画像パラメータの重み付けに
よる両画像の合成処理を実行して前記仮想視点における
画像パラメータの算出処理を実行する構成であることを
特徴とする。
【００１９】さらに、本発明の第２の側面は、三次元形
状モデルにテクスチャ画像を貼り付けることにより三次
元画像を生成する三次元画像生成方法において、複数の
カメラ撮影視点画像から、三次元画像に対する仮想視点
に最も近い撮影視点方向を有する２つのカメラ撮影テク
スチャ画像を選択する画像選択ステップと、前記仮想視
点方向と、前記２つのカメラ撮影テクスチャ画像の２つ
の撮影視点方向各々とのなす角度に基づいて、前記２つ
のカメラ撮影テクスチャ画像の持つ画像パラメータの重
み付けによる両画像の合成処理を実行する合成処理ステ
ップと、前記仮想視点における画像パラメータを算出
し、該パラメータに基づいてテクスチャマッピングを実
行するテクスチャマッピングステップと、を有すること
を特徴とする三次元画像生成方法にある。
状モデルにテクスチャ画像を貼り付けることにより三次
元画像を生成する三次元画像生成方法において、複数の
カメラ撮影視点画像から、三次元画像に対する仮想視点
に最も近い撮影視点方向を有する２つのカメラ撮影テク
スチャ画像を選択する画像選択ステップと、前記仮想視
点方向と、前記２つのカメラ撮影テクスチャ画像の２つ
の撮影視点方向各々とのなす角度に基づいて、前記２つ
のカメラ撮影テクスチャ画像の持つ画像パラメータの重
み付けによる両画像の合成処理を実行する合成処理ステ
ップと、前記仮想視点における画像パラメータを算出
し、該パラメータに基づいてテクスチャマッピングを実
行するテクスチャマッピングステップと、を有すること
を特徴とする三次元画像生成方法にある。
【００２０】さらに、本発明の三次元画像生成方法の一
実施態様において、前記仮想視点における画像のパラメ
ータの算出処理は、前記仮想視点に最も近い撮影視点方
向を有する２つのカメラ撮影テクスチャ画像の撮影視点
を撮影視点１、撮影視点２としたとき、撮影視点１のベ
クトルＶ１と仮想視点のベクトルＥとのなす角をθ１と
し、撮影視点２のベクトルＶ２と仮想視点のなすベクト
ルＥとのなす角をθ２として、α＝θ１／（θ１＋θ
２）を求め、仮想視点における画像パラメータ＝撮影視
点１の画像パラメータ×（１−α）＋撮影視点２の画像
パラメータ×αとして求めることを特徴とする。
実施態様において、前記仮想視点における画像のパラメ
ータの算出処理は、前記仮想視点に最も近い撮影視点方
向を有する２つのカメラ撮影テクスチャ画像の撮影視点
を撮影視点１、撮影視点２としたとき、撮影視点１のベ
クトルＶ１と仮想視点のベクトルＥとのなす角をθ１と
し、撮影視点２のベクトルＶ２と仮想視点のなすベクト
ルＥとのなす角をθ２として、α＝θ１／（θ１＋θ
２）を求め、仮想視点における画像パラメータ＝撮影視
点１の画像パラメータ×（１−α）＋撮影視点２の画像
パラメータ×αとして求めることを特徴とする。
【００２１】さらに、本発明の三次元画像生成方法の一
実施態様において、前記画像パラメータはＲＧＢ値また
は濃淡値のいずれかを含むことを特徴とする。
実施態様において、前記画像パラメータはＲＧＢ値また
は濃淡値のいずれかを含むことを特徴とする。
【００２２】さらに、本発明の三次元画像生成方法の一
実施態様において、前記複数のカメラ撮影視点画像にお
けるテクスチャ画像として使用する画像領域について、
画像の濃淡平均値と分散値の正規化処理を実行する正規
化処理ステップを有し、前記合成処理ステップは、前記
正規化処理後の画像について、画像パラメータの重み付
けによる両画像の合成処理を実行することを特徴とす
る。
実施態様において、前記複数のカメラ撮影視点画像にお
けるテクスチャ画像として使用する画像領域について、
画像の濃淡平均値と分散値の正規化処理を実行する正規
化処理ステップを有し、前記合成処理ステップは、前記
正規化処理後の画像について、画像パラメータの重み付
けによる両画像の合成処理を実行することを特徴とす
る。
【００２３】さらに、本発明の第３の側面は、三次元形
状モデルにテクスチャ画像を貼り付けることにより三次
元画像を生成する三次元画像生成処理をコンピュータ・
システム上で実行せしめるコンピュータ・プログラムを
有形的に提供するプログラム提供媒体であって、前記コ
ンピュータ・プログラムは、複数のカメラ撮影視点画像
から、三次元画像に対する仮想視点に最も近い撮影視点
方向を有する２つのカメラ撮影テクスチャ画像を選択す
る画像選択ステップと、前記仮想視点方向と、前記２つ
のカメラ撮影テクスチャ画像の２つの撮影視点方向各々
とのなす角度に基づいて、前記２つのカメラ撮影テクス
チャ画像の持つ画像パラメータの重み付けによる両画像
の合成処理を実行する合成処理ステップと、前記仮想視
点における画像パラメータを算出し、該パラメータに基
づいてテクスチャマッピングを実行するテクスチャマッ
ピングステップと、を有することを特徴とするプログラ
ム提供媒体にある。
状モデルにテクスチャ画像を貼り付けることにより三次
元画像を生成する三次元画像生成処理をコンピュータ・
システム上で実行せしめるコンピュータ・プログラムを
有形的に提供するプログラム提供媒体であって、前記コ
ンピュータ・プログラムは、複数のカメラ撮影視点画像
から、三次元画像に対する仮想視点に最も近い撮影視点
方向を有する２つのカメラ撮影テクスチャ画像を選択す
る画像選択ステップと、前記仮想視点方向と、前記２つ
のカメラ撮影テクスチャ画像の２つの撮影視点方向各々
とのなす角度に基づいて、前記２つのカメラ撮影テクス
チャ画像の持つ画像パラメータの重み付けによる両画像
の合成処理を実行する合成処理ステップと、前記仮想視
点における画像パラメータを算出し、該パラメータに基
づいてテクスチャマッピングを実行するテクスチャマッ
ピングステップと、を有することを特徴とするプログラ
ム提供媒体にある。
【００２４】本発明の第３の側面に係るプログラム提供
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。
媒体は、例えば、様々なプログラム・コードを実行可能
な汎用コンピュータ・システムに対して、コンピュータ
・プログラムをコンピュータ可読な形式で提供する媒体
である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あ
るいは、ネットワークなどの伝送媒体など、その形態は
特に限定されない。
【００２５】このようなプログラム提供媒体は、コンピ
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。
ュータ・システム上で所定のコンピュータ・プログラム
の機能を実現するための、コンピュータ・プログラムと
提供媒体との構造上又は機能上の協働的関係を定義した
ものである。換言すれば、該提供媒体を介してコンピュ
ータ・プログラムをコンピュータ・システムにインスト
ールすることによって、コンピュータ・システム上では
協働的作用が発揮され、本発明の他の側面と同様の作用
効果を得ることができるのである。
【００２６】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
【００２７】
【発明の実施の形態】本発明の三次元画像生成装置およ
び三次元画像生成方法について、以下詳細に説明する。
まず、図４を用いて、本発明の三次元画像生成装置にお
いて実行されるテクスチャ画像マッピングの概要を説明
する。
び三次元画像生成方法について、以下詳細に説明する。
まず、図４を用いて、本発明の三次元画像生成装置にお
いて実行されるテクスチャ画像マッピングの概要を説明
する。
【００２８】本発明の三次元画像生成装置において実行
されるテクスチャ画像マッピングには、測定対象４０１
に対して視点の異なる複数枚のテクスチャ画像を用い、
仮想視点に最も近い２枚の画像を選択して、選択した２
枚の画像に基づいて、仮想視点と実際の撮影視点との角
度を重みとした合成処理により得られる新しいテクスチ
ャ画像を用いてテクスチャマッピングを行なう。
されるテクスチャ画像マッピングには、測定対象４０１
に対して視点の異なる複数枚のテクスチャ画像を用い、
仮想視点に最も近い２枚の画像を選択して、選択した２
枚の画像に基づいて、仮想視点と実際の撮影視点との角
度を重みとした合成処理により得られる新しいテクスチ
ャ画像を用いてテクスチャマッピングを行なう。
【００２９】例えば画像表示を画像のカラー値を決定す
るパラメータとしてＲＧＢ値を用いて実行する場合につ
いて想定する。仮想視点が撮影視点１と撮影視点２間に
位置する場合、仮想視点におけるＲＧＢ値は次式によっ
て算出される。下記式において、αは撮影視点１のベク
トルＶ１と仮想視点のベクトルＥとのなす角をθ１と
し、撮影視点２のベクトルＶ２と仮想視点のなすベクト
ルＥとのなす角をθ２としたとき、α＝θ１／（θ１＋
θ２）として定義される。
るパラメータとしてＲＧＢ値を用いて実行する場合につ
いて想定する。仮想視点が撮影視点１と撮影視点２間に
位置する場合、仮想視点におけるＲＧＢ値は次式によっ
て算出される。下記式において、αは撮影視点１のベク
トルＶ１と仮想視点のベクトルＥとのなす角をθ１と
し、撮影視点２のベクトルＶ２と仮想視点のなすベクト
ルＥとのなす角をθ２としたとき、α＝θ１／（θ１＋
θ２）として定義される。
【００３０】
【数１】仮想視点におけるＲＧＢ値 ＝撮影視点１のＲＧＢ値×（１−α） ＋撮影視点２のＲＧＢ値×α………（式１）
【００３１】上記式から理解されるように、仮想視点の
テクスチャ画像の画像パラメータであるＲＧＢ値は、仮
想視点に近接する２枚の撮影視点からの画像の合成処理
によって求められる。なお、仮想視点方向が１つの撮影
視点方向と一致する場合は、仮想視点の画像は、その一
致する撮影視点の画像として定義し、２つの画像の合成
処理は行なわない。
テクスチャ画像の画像パラメータであるＲＧＢ値は、仮
想視点に近接する２枚の撮影視点からの画像の合成処理
によって求められる。なお、仮想視点方向が１つの撮影
視点方向と一致する場合は、仮想視点の画像は、その一
致する撮影視点の画像として定義し、２つの画像の合成
処理は行なわない。
【００３２】上記式により求める仮想視点のテクスチャ
画像は、撮影視点の画像を用いた合成処理により生成さ
れることになるので、視点１〜ｎで撮影したｎ枚の画像
の照明条件の違いが吸収でき、画像間の連続性が保持さ
れる。その結果、高解像度のテクスチャ画像マッピング
が可能となり、また、三次元形状として再現できていな
い部分に対しても、視点変更による見え方の変化を再現
でき、よりリアルな三次元表示が可能となる。
画像は、撮影視点の画像を用いた合成処理により生成さ
れることになるので、視点１〜ｎで撮影したｎ枚の画像
の照明条件の違いが吸収でき、画像間の連続性が保持さ
れる。その結果、高解像度のテクスチャ画像マッピング
が可能となり、また、三次元形状として再現できていな
い部分に対しても、視点変更による見え方の変化を再現
でき、よりリアルな三次元表示が可能となる。
【００３３】特に、視点を変化させた場合の画像変化が
なめらかになるという効果がある。すなわち、カメラ視
点画像がｎ枚あり、これらをＶ１〜Ｖｎとしたとき、例
えばある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２
によって合成され、視点を移すと、カメラ撮影視点画像
Ｖ２，Ｖ３による合成画像に切り換えられ、さらにＶ３
とＶ４の合成画像、Ｖ４とＶ５の合成画像と切り換わる
ことになる。このように、視点を連続的に変更すると、
対応するテクスチャ画像は、連続的に前のテクスチャ画
像に使用されていた画像が引き続き使用され、その使用
割合も視点の移動に伴って連続的に変化することになる
ので、画像間の不連続性が減少し、観察者に違和感を生
じさせない。
なめらかになるという効果がある。すなわち、カメラ視
点画像がｎ枚あり、これらをＶ１〜Ｖｎとしたとき、例
えばある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２
によって合成され、視点を移すと、カメラ撮影視点画像
Ｖ２，Ｖ３による合成画像に切り換えられ、さらにＶ３
とＶ４の合成画像、Ｖ４とＶ５の合成画像と切り換わる
ことになる。このように、視点を連続的に変更すると、
対応するテクスチャ画像は、連続的に前のテクスチャ画
像に使用されていた画像が引き続き使用され、その使用
割合も視点の移動に伴って連続的に変化することになる
ので、画像間の不連続性が減少し、観察者に違和感を生
じさせない。
【００３４】次に、図５を用いて本発明の三次元画像生
成装置における複数の撮影視点画像を用いた合成処理に
より、テクスチャマッピングを行ない三次元画像を生成
する処理について説明する。
成装置における複数の撮影視点画像を用いた合成処理に
より、テクスチャマッピングを行ない三次元画像を生成
する処理について説明する。
【００３５】ステップＳ５０１は、撮影視点画像の画像
枚数の設定を行なう初期化ステップである。ステップＳ
５０１は撮影視点画像枚数＝ｎであることを示す。ステ
ップＳ５０２において、仮想視点ベクトルＥの変化の有
無を判定する。仮想視点ベクトルＥが変化したと判定さ
れると、ステップＳ５０３〜ステップＳ５０６におい
て、カメラ視点ｉ＝１〜ｎに基づくカメラ撮影視点ベク
トルＶ１〜Ｖｎと、仮想視点ベクトルＥとのベクトル比
較を実行し、仮想視点ベクトルＥに最も近接する撮影視
点ベクトルを選択する。具体的には各カメラ撮影視点ベ
クトルＶｉと仮想視点ベクトルＥとの内積を計算して、
その値を相互に比較する処理を行なう。
枚数の設定を行なう初期化ステップである。ステップＳ
５０１は撮影視点画像枚数＝ｎであることを示す。ステ
ップＳ５０２において、仮想視点ベクトルＥの変化の有
無を判定する。仮想視点ベクトルＥが変化したと判定さ
れると、ステップＳ５０３〜ステップＳ５０６におい
て、カメラ視点ｉ＝１〜ｎに基づくカメラ撮影視点ベク
トルＶ１〜Ｖｎと、仮想視点ベクトルＥとのベクトル比
較を実行し、仮想視点ベクトルＥに最も近接する撮影視
点ベクトルを選択する。具体的には各カメラ撮影視点ベ
クトルＶｉと仮想視点ベクトルＥとの内積を計算して、
その値を相互に比較する処理を行なう。
【００３６】仮想視点に最も近い２つの撮影視点ベクト
ルが選択されると、次のステップＳ５０７において、三
次元画像における画像間の濃淡分布のばらつきを抑える
ために、画像の濃淡分布の平均値と分散値の正規化処理
を実行する。この処理フローを図６に示す。
ルが選択されると、次のステップＳ５０７において、三
次元画像における画像間の濃淡分布のばらつきを抑える
ために、画像の濃淡分布の平均値と分散値の正規化処理
を実行する。この処理フローを図６に示す。
【００３７】図６のステップＳ６０１では、テクスチャ
マッピング用画像の入力を行なう。すなわちカメラ視点
１〜ｎのテクスチャ画像を入力する。ステップＳ６０２
では画像１〜ｎに対して、テクスチャとして用いる部分
画像領域を切出す。この部分領域は、例えば前述の図５
に示すステップＳ５０３〜Ｓ６０６において仮想視点を
合成するために使用される画像として選択された領域の
画像を含む画像である。
マッピング用画像の入力を行なう。すなわちカメラ視点
１〜ｎのテクスチャ画像を入力する。ステップＳ６０２
では画像１〜ｎに対して、テクスチャとして用いる部分
画像領域を切出す。この部分領域は、例えば前述の図５
に示すステップＳ５０３〜Ｓ６０６において仮想視点を
合成するために使用される画像として選択された領域の
画像を含む画像である。
【００３８】次に、ステップＳ６０３において、ステッ
プＳ６０２で切出された部分画像領域の濃淡平均値と分
散を算出する。次に、ステップＳ６０４において、各部
分画像領域の濃淡平均値と分散値の正規化処理を実行し
てテクスチャマッピング処理に使用する画像を補正す
る。なお、部分画像領域の濃淡平均値と分散の算出に基
づく正規化処理は、例えば、各カメラ視点画像に濃淡の
ばらつきがほとんどないと判断される場合等には、必ず
しも実行することを必要としない。
プＳ６０２で切出された部分画像領域の濃淡平均値と分
散を算出する。次に、ステップＳ６０４において、各部
分画像領域の濃淡平均値と分散値の正規化処理を実行し
てテクスチャマッピング処理に使用する画像を補正す
る。なお、部分画像領域の濃淡平均値と分散の算出に基
づく正規化処理は、例えば、各カメラ視点画像に濃淡の
ばらつきがほとんどないと判断される場合等には、必ず
しも実行することを必要としない。
【００３９】その後、仮想視点におけるテクスチャ画像
を、ステップＳ５０５で選択した２つのカメラ視点画像
からの合成処理によりステップＳ５０８において生成す
る。画像の合成方法は、先に説明した（式１）の重み付
けにより実行する。このようにして仮想視点のテクスチ
ャ画像を生成してマッピングを行ない三次元画像を生成
する。ステップＳ５０８で合成処理を実行する２つのカ
メラ視点画像は、ステップＳ５０７において濃淡平均値
と分散値の正規化処理を行なった各カメラ視点画像であ
り、三次元画像における画像間の濃淡分布のばらつきが
抑えられたものとなる。なお、仮想視点と１つの撮影視
点が一致した場合は、１つの撮影視点画像のみを採用す
ることになり、２つの画像からの合成処理は実行しな
い。
を、ステップＳ５０５で選択した２つのカメラ視点画像
からの合成処理によりステップＳ５０８において生成す
る。画像の合成方法は、先に説明した（式１）の重み付
けにより実行する。このようにして仮想視点のテクスチ
ャ画像を生成してマッピングを行ない三次元画像を生成
する。ステップＳ５０８で合成処理を実行する２つのカ
メラ視点画像は、ステップＳ５０７において濃淡平均値
と分散値の正規化処理を行なった各カメラ視点画像であ
り、三次元画像における画像間の濃淡分布のばらつきが
抑えられたものとなる。なお、仮想視点と１つの撮影視
点が一致した場合は、１つの撮影視点画像のみを採用す
ることになり、２つの画像からの合成処理は実行しな
い。
【００４０】なお、上述の画像合成処理では、２つの画
像がカラー画像でありＲＧＢ値を持つ画像の例としての
合成処理を説明したが、白黒画像であっても、またＲＧ
Ｂ以外のパラメータであっても、その上記式１と同様の
方法により、仮想視点画像の画像パラメータを２つの最
近接カメラ視点画像のパラメータの重み付け処理により
実行することが可能である。これらのパラメータの重み
づけは、仮想視点のベクトルＥと２つの最近接カメラ視
点画像のカメラ視点ベクトルとのなす角度に基づいて実
行される。
像がカラー画像でありＲＧＢ値を持つ画像の例としての
合成処理を説明したが、白黒画像であっても、またＲＧ
Ｂ以外のパラメータであっても、その上記式１と同様の
方法により、仮想視点画像の画像パラメータを２つの最
近接カメラ視点画像のパラメータの重み付け処理により
実行することが可能である。これらのパラメータの重み
づけは、仮想視点のベクトルＥと２つの最近接カメラ視
点画像のカメラ視点ベクトルとのなす角度に基づいて実
行される。
【００４１】上述した画像処理により、より現実感のあ
るリアルな三次元画像が生成される。なお、テクスチャ
マッピングでは、例えば前述の図１で示したワイヤフレ
ーム領域ごとに上述の合成画像を生成して、これをワイ
ヤフレーム領域毎に貼り付ける処理を実行することによ
って三次元画像を生成する。複数のワイヤフレーム領域
にはりつけるテクスチャ画像間の整合性の調整は、例え
ば因子分解法によって実現される。これは、図７に示す
ように、撮影対象であるオブジェクトに対して複数枚の
異なる視点からのカメラ視点画像（ｔ＝１〜ｎ）を撮影
し、さらに、１つのカメラ視点画像、例えばｔ＝１のカ
メラ視点画像に基づいて特徴点をいくつか取得する。さ
らに取得した特徴点に対応する位置を各カメラ視点画像
において判別して、計測マトリックス（Measurement Ma
trix）を算出し、ＵΣＶ’の因子分解を行ない、カメラ
の動きＭに合わせた形状Ｓの生成処理を実行する。
るリアルな三次元画像が生成される。なお、テクスチャ
マッピングでは、例えば前述の図１で示したワイヤフレ
ーム領域ごとに上述の合成画像を生成して、これをワイ
ヤフレーム領域毎に貼り付ける処理を実行することによ
って三次元画像を生成する。複数のワイヤフレーム領域
にはりつけるテクスチャ画像間の整合性の調整は、例え
ば因子分解法によって実現される。これは、図７に示す
ように、撮影対象であるオブジェクトに対して複数枚の
異なる視点からのカメラ視点画像（ｔ＝１〜ｎ）を撮影
し、さらに、１つのカメラ視点画像、例えばｔ＝１のカ
メラ視点画像に基づいて特徴点をいくつか取得する。さ
らに取得した特徴点に対応する位置を各カメラ視点画像
において判別して、計測マトリックス（Measurement Ma
trix）を算出し、ＵΣＶ’の因子分解を行ない、カメラ
の動きＭに合わせた形状Ｓの生成処理を実行する。
【００４２】図７は、異なる視点で撮影した複数枚の画
像を用いて対象の三次元形状とカメラの動きを復元する
方法、及び手順を示すものである。
像を用いて対象の三次元形状とカメラの動きを復元する
方法、及び手順を示すものである。
【００４３】まず、カメラの視点を変えながら、対象を
撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ
＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１
（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価
値などによって抽出し、Ｆ枚の画像にわたって追跡す
る。特徴点追跡によって得られた各フレーム上の特徴点
座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼
ぶ）で表現することができる。そして、線形的な射影モ
デルを適用し、特異値分解法（ＳＶＤ）によって計測行
列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解する
ことができる。そこで、直行行列Ｕ，Ｖ’では、それぞ
れカメラの動き情報Ｍと対象の三次元情報Ｓが含まれて
いる。また、カメラの姿勢を表現する単位ベクトル
（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に
決めるための行列Ａが求められる。従って、カメラ動き
Ｍと対象の三次元形状Ｓが一意に決まることになる。
撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ
＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１
（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価
値などによって抽出し、Ｆ枚の画像にわたって追跡す
る。特徴点追跡によって得られた各フレーム上の特徴点
座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼
ぶ）で表現することができる。そして、線形的な射影モ
デルを適用し、特異値分解法（ＳＶＤ）によって計測行
列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解する
ことができる。そこで、直行行列Ｕ，Ｖ’では、それぞ
れカメラの動き情報Ｍと対象の三次元情報Ｓが含まれて
いる。また、カメラの姿勢を表現する単位ベクトル
（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に
決めるための行列Ａが求められる。従って、カメラ動き
Ｍと対象の三次元形状Ｓが一意に決まることになる。
【００４４】なお、上述の因子分解法を用いる対象の三
次元形状とカメラ動きの復元法に関する詳細は、例えば
金出らの論文「因子分解法による物体形状とカメラ運動
の復元」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ
７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４９７−１５０５
（１９９３．８）を参照されたい。
次元形状とカメラ動きの復元法に関する詳細は、例えば
金出らの論文「因子分解法による物体形状とカメラ運動
の復元」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ
７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４９７−１５０５
（１９９３．８）を参照されたい。
【００４５】図８は、本発明の三次元画像生成装置にお
いて、仮想視点に近接する２つのカメラ視点画像による
合成処理を用いてテクスチャマッピングを行なった例を
示したものである。この例では１６枚のカメラ視点画像
を用い、各仮想視点に対して上述した手法により、仮想
視点ベクトルと２つの最近接カメラ視点ベクトるとのな
す角度を重みとした合成処理により、仮想視点における
画像パラメータ、例えばＲＧＢ値を算出してマッピング
を行なったものである。本方法により、いずれの視点に
おいても、高画質のテクスチャ画像がマッピングされた
いて、仮想視点に近接する２つのカメラ視点画像による
合成処理を用いてテクスチャマッピングを行なった例を
示したものである。この例では１６枚のカメラ視点画像
を用い、各仮想視点に対して上述した手法により、仮想
視点ベクトルと２つの最近接カメラ視点ベクトるとのな
す角度を重みとした合成処理により、仮想視点における
画像パラメータ、例えばＲＧＢ値を算出してマッピング
を行なったものである。本方法により、いずれの視点に
おいても、高画質のテクスチャ画像がマッピングされた
【００４６】図９は、本発明の三次元画像生成処理によ
る三次元画像（ｃ）と、従来の手法によって得られる三
次元画像（ａ）、（ｂ）との比較処理を行なったもので
ある。従来の手法（ａ）は１枚のテクスチャ画像によっ
てテクスチャマッピングを行なって得られる三次元画像
である。この例は、図８（ａ）に示すフレーム１の画像
を用いて三次元画像にマッピングし、その結果をある視
点から見たときの表示結果である。この（ａ）の態様
は、視点を変更しても、テクスチャが変更されないの
で、視点を変えた場合のテクスチャに不自然さが発生
し、特に窓部分のテクスチャ画質の低下が目立つ。
る三次元画像（ｃ）と、従来の手法によって得られる三
次元画像（ａ）、（ｂ）との比較処理を行なったもので
ある。従来の手法（ａ）は１枚のテクスチャ画像によっ
てテクスチャマッピングを行なって得られる三次元画像
である。この例は、図８（ａ）に示すフレーム１の画像
を用いて三次元画像にマッピングし、その結果をある視
点から見たときの表示結果である。この（ａ）の態様
は、視点を変更しても、テクスチャが変更されないの
で、視点を変えた場合のテクスチャに不自然さが発生
し、特に窓部分のテクスチャ画質の低下が目立つ。
【００４７】図９（ｂ）は、図８（ａ）に示す１６枚の
異なる視点からのテクスチャ画像を用いて仮想視点にも
っとも近い撮影視点の画像を選択するいわゆるマッピン
グ法によってある視点からの視点画像を表示したもので
ある。この（ｂ）の例では、視点の変更に伴い、テクス
チャも変更されるが、テクスチャ変更時の画像間の濃淡
値に急激な変化が発生することがあり、観察者に違和感
を発生させる。これは、各カメラ撮影視点の画像撮影時
の照明条件の差異によるものであり、また、（ａ）と同
様、特に窓部分においてテクスチャ画質の劣化が目立
つ。
異なる視点からのテクスチャ画像を用いて仮想視点にも
っとも近い撮影視点の画像を選択するいわゆるマッピン
グ法によってある視点からの視点画像を表示したもので
ある。この（ｂ）の例では、視点の変更に伴い、テクス
チャも変更されるが、テクスチャ変更時の画像間の濃淡
値に急激な変化が発生することがあり、観察者に違和感
を発生させる。これは、各カメラ撮影視点の画像撮影時
の照明条件の差異によるものであり、また、（ａ）と同
様、特に窓部分においてテクスチャ画質の劣化が目立
つ。
【００４８】図９（ｃ）は、本発明の三次元画像生成方
法によって生成した画像であり、視点に近接する２つの
撮影画像の合成処理により視点画像を生成したものであ
る。視点が変わることにより、テクスチャ画像も変化す
るが、その際の画像は、例えばカメラ視点画像をＶ１〜
Ｖｎとしたとき、ある仮想視点画像はカメラ撮影視点画
像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ
撮影視点画像Ｖ２，Ｖ３によって合成された画像とな
り、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画
像と続くことになる。このように、視点を連続的に変更
すると、対応するテクスチャ画像は、連続的に前のテク
スチャ画像に使用されていた画像が引き続き使用される
ことになるので、画像間の不連続性が減少し、観察者に
違和感を生じさせない。さらに、先に図６を用いて説明
した濃淡平均値と分散値の正規化処理を実行すれば、さ
らに画像間の差異が解消される。
法によって生成した画像であり、視点に近接する２つの
撮影画像の合成処理により視点画像を生成したものであ
る。視点が変わることにより、テクスチャ画像も変化す
るが、その際の画像は、例えばカメラ視点画像をＶ１〜
Ｖｎとしたとき、ある仮想視点画像はカメラ撮影視点画
像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ
撮影視点画像Ｖ２，Ｖ３によって合成された画像とな
り、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画
像と続くことになる。このように、視点を連続的に変更
すると、対応するテクスチャ画像は、連続的に前のテク
スチャ画像に使用されていた画像が引き続き使用される
ことになるので、画像間の不連続性が減少し、観察者に
違和感を生じさせない。さらに、先に図６を用いて説明
した濃淡平均値と分散値の正規化処理を実行すれば、さ
らに画像間の差異が解消される。
【００４９】上述のように、本発明の三次元画像生成装
置および三次元画像生成方法によれば、より高画質で、
かつ視点移動時の画像の連続性が向上した三次元画像が
得られる。本発明の三次元画像生成手法を例えばＶＲＭ
Ｌ（Virtual Reality Modeling Language）に適用する
ことにより、ブラウザ上でのより現実感のある三次元画
像の表示が可能となる。
置および三次元画像生成方法によれば、より高画質で、
かつ視点移動時の画像の連続性が向上した三次元画像が
得られる。本発明の三次元画像生成手法を例えばＶＲＭ
Ｌ（Virtual Reality Modeling Language）に適用する
ことにより、ブラウザ上でのより現実感のある三次元画
像の表示が可能となる。
【００５０】以上、特定の実施例を参照しながら、本発
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
【００５１】
【発明の効果】以上、説明してきたように、本発明の三
次元画像生成装置および三次元画像生成方法によれば仮
想視点に近接する２つのカメラ視点画像による合成処理
を用いてテクスチャマッピングを行なう構成としたの
で、高画質で、かつ視点移動時の画像の連続性が向上し
た三次元画像を生成することが可能となる。
次元画像生成装置および三次元画像生成方法によれば仮
想視点に近接する２つのカメラ視点画像による合成処理
を用いてテクスチャマッピングを行なう構成としたの
で、高画質で、かつ視点移動時の画像の連続性が向上し
た三次元画像を生成することが可能となる。
【図１】一般的なテクスチャマッピングの手法について
説明する図である。
説明する図である。
【図２】従来の１枚の画像を用いたテクスチャマッピン
グ手法を説明する図である。
グ手法を説明する図である。
【図３】従来の複数枚画像を用いたテクスチャ画像選択
によるマッピング手法を説明する図である。
によるマッピング手法を説明する図である。
【図４】本発明の三次元画像生成装置において適用する
２枚の画像を用いたテクスチャマッピング手法を説明す
る図である。
２枚の画像を用いたテクスチャマッピング手法を説明す
る図である。
【図５】本発明の三次元画像生成装置において適用する
２枚の画像を用いたテクスチャマッピング手法の処理フ
ローを説明する図である。
２枚の画像を用いたテクスチャマッピング手法の処理フ
ローを説明する図である。
【図６】本発明の三次元画像生成装置において適用する
２枚の画像を用いたテクスチャマッピングにおける画像
の濃淡平均値、分散値の正規化処理フローを説明する図
である。
２枚の画像を用いたテクスチャマッピングにおける画像
の濃淡平均値、分散値の正規化処理フローを説明する図
である。
【図７】本発明の三次元形状計測装置における形状復元
手法について説明する図である。
手法について説明する図である。
【図８】本発明の三次元形状計測装置において生成され
る三次元画像の処理例について説明する図である。
る三次元画像の処理例について説明する図である。
【図９】本発明の三次元形状計測装置において生成され
る三次元画像と従来手法によって生成された三次元画像
を比較した図である。
る三次元画像と従来手法によって生成された三次元画像
を比較した図である。
１０１ 三次元形状モデル １０２ 二次元画像（テクスチャ） ２０１ 三次元形状モデル ２０２ 二次元画像（テクスチャ） ３０１ 測定対象 ４０１ 測定対象
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 寛幸 山形県米沢市本町３丁目１番17号 本町ハ イツ201号室 Ｆターム(参考） 5B050 BA09 DA04 DA07 EA13 EA19 EA26 5B080 GA22
Claims (9)
- 【請求項１】三次元形状モデルにテクスチャ画像を貼り
付けることにより三次元画像を生成する三次元画像生成
装置において、 複数のカメラ撮影視点画像から、三次元画像に対する仮
想視点に最も近い撮影視点方向を有する２つのカメラ撮
影テクスチャ画像を選択し、 前記仮想視点方向と、前記２つのカメラ撮影テクスチャ
画像の２つの撮影視点方向各々とのなす角度に基づい
て、前記２つのカメラ撮影テクスチャ画像の持つ画像パ
ラメータの重み付けによる両画像の合成処理を実行して
前記仮想視点における画像パラメータを算出し、該パラ
メータに基づいてテクスチャマッピングを実行する構成
を有することを特徴とする三次元画像生成装置。 - 【請求項２】前記仮想視点における画像のパラメータの
算出処理は、 前記仮想視点に最も近い撮影視点方向を有する２つのカ
メラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影
視点２としたとき、撮影視点１のベクトルＶ１と仮想視
点のベクトルＥとのなす角をθ１とし、撮影視点２のベ
クトルＶ２と仮想視点のなすベクトルＥとのなす角をθ
２として、α＝θ１／（θ１＋θ２）を求め、仮想視点
における画像パラメータ＝撮影視点１の画像パラメータ
×（１−α）＋撮影視点２の画像パラメータ×αとして
求める構成であることを特徴とする請求項１に記載の三
次元画像生成装置。 - 【請求項３】前記画像パラメータはＲＧＢ値または濃淡
値のいずれかを含むことを特徴とする請求項１に記載の
三次元画像生成装置。 - 【請求項４】三次元画像生成装置は、 前記複数のカメラ撮影視点画像におけるテクスチャ画像
として使用する画像領域について、画像の濃淡平均値と
分散値の正規化処理を実行し、正規化処理後の画像につ
いて、画像パラメータの重み付けによる両画像の合成処
理を実行して前記仮想視点における画像パラメータの算
出処理を実行する構成であることを特徴とする請求項１
に記載の三次元画像生成装置。 - 【請求項５】三次元形状モデルにテクスチャ画像を貼り
付けることにより三次元画像を生成する三次元画像生成
方法において、 複数のカメラ撮影視点画像から、三次元画像に対する仮
想視点に最も近い撮影視点方向を有する２つのカメラ撮
影テクスチャ画像を選択する画像選択ステップと、 前記仮想視点方向と、前記２つのカメラ撮影テクスチャ
画像の２つの撮影視点方向各々とのなす角度に基づい
て、前記２つのカメラ撮影テクスチャ画像の持つ画像パ
ラメータの重み付けによる両画像の合成処理を実行する
合成処理ステップと、 前記仮想視点における画像パラメータを算出し、該パラ
メータに基づいてテクスチャマッピングを実行するテク
スチャマッピングステップと、 を有することを特徴とする三次元画像生成方法。 - 【請求項６】前記仮想視点における画像のパラメータの
算出処理は、 前記仮想視点に最も近い撮影視点方向を有する２つのカ
メラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影
視点２としたとき、撮影視点１のベクトルＶ１と仮想視
点のベクトルＥとのなす角をθ１とし、撮影視点２のベ
クトルＶ２と仮想視点のなすベクトルＥとのなす角をθ
２として、α＝θ１／（θ１＋θ２）を求め、仮想視点
における画像パラメータ＝撮影視点１の画像パラメータ
×（１−α）＋撮影視点２の画像パラメータ×αとして
求めることを特徴とする請求項５に記載の三次元画像生
成方法。 - 【請求項７】前記画像パラメータはＲＧＢ値または濃淡
値のいずれかを含むことを特徴とする請求項５に記載の
三次元画像生成方法。 - 【請求項８】三次元画像生成方法において、さらに、 前記複数のカメラ撮影視点画像におけるテクスチャ画像
として使用する画像領域について、画像の濃淡平均値と
分散値の正規化処理を実行する正規化処理ステップを有
し、 前記合成処理ステップは、 前記正規化処理後の画像について、画像パラメータの重
み付けによる両画像の合成処理を実行することを特徴と
する請求項５に記載の三次元画像生成方法。 - 【請求項９】三次元形状モデルにテクスチャ画像を貼り
付けることにより三次元画像を生成する三次元画像生成
処理をコンピュータ・システム上で実行せしめるコンピ
ュータ・プログラムを有形的に提供するプログラム提供
媒体であって、前記コンピュータ・プログラムは、 複数のカメラ撮影視点画像から、三次元画像に対する仮
想視点に最も近い撮影視点方向を有する２つのカメラ撮
影テクスチャ画像を選択する画像選択ステップと、 前記仮想視点方向と、前記２つのカメラ撮影テクスチャ
画像の２つの撮影視点方向各々とのなす角度に基づい
て、前記２つのカメラ撮影テクスチャ画像の持つ画像パ
ラメータの重み付けによる両画像の合成処理を実行する
合成処理ステップと、 前記仮想視点における画像パラメータを算出し、該パラ
メータに基づいてテクスチャマッピングを実行するテク
スチャマッピングステップと、 を有することを特徴とするプログラム提供媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000109090A JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000109090A JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001291116A true JP2001291116A (ja) | 2001-10-19 |
| JP4370672B2 JP4370672B2 (ja) | 2009-11-25 |
Family
ID=18621833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000109090A Expired - Fee Related JP4370672B2 (ja) | 2000-04-11 | 2000-04-11 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4370672B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157603A (ja) * | 2000-11-21 | 2002-05-31 | Mixed Reality Systems Laboratory Inc | 画像処理装置及びその方法並びに記憶媒体 |
| WO2003075224A1 (fr) * | 2002-03-04 | 2003-09-12 | Matsushita Electric Industrial Co., Ltd. | Dispositif de combinaison/conversion d'image |
| WO2004040521A1 (ja) * | 2002-10-30 | 2004-05-13 | Digital Fashion Ltd. | 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法およびシェーディング情報取得装置 |
| WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び３次元画像表示方法並びに装置 |
| JP2009025225A (ja) * | 2007-07-23 | 2009-02-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
| KR100965809B1 (ko) | 2002-03-19 | 2010-06-24 | 샤단호우진 니혼츄우코가타조우센코우교우카이 | 외판 전개 방법, 외판 제조 방법, 이들 방법을 지도하는 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 화상 기록 매체 |
| JP2010267232A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定方法および装置 |
| JP2010267231A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定装置及び方法 |
| KR101098830B1 (ko) | 2008-12-01 | 2011-12-26 | 한국전자통신연구원 | 서피스 텍스처 매핑 장치 및 그 방법 |
| KR101824818B1 (ko) * | 2016-11-28 | 2018-03-14 | 서울과학기술대학교 산학협력단 | 360도 영상 스티칭 방법 및 장치 |
| WO2023276261A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| EP4372692A1 (en) | 2022-11-15 | 2024-05-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer program |
-
2000
- 2000-04-11 JP JP2000109090A patent/JP4370672B2/ja not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002157603A (ja) * | 2000-11-21 | 2002-05-31 | Mixed Reality Systems Laboratory Inc | 画像処理装置及びその方法並びに記憶媒体 |
| US7538798B2 (en) | 2002-03-04 | 2009-05-26 | Panasonic Corporation | Image combination/conversion apparatus |
| WO2003075224A1 (fr) * | 2002-03-04 | 2003-09-12 | Matsushita Electric Industrial Co., Ltd. | Dispositif de combinaison/conversion d'image |
| KR100965809B1 (ko) | 2002-03-19 | 2010-06-24 | 샤단호우진 니혼츄우코가타조우센코우교우카이 | 외판 전개 방법, 외판 제조 방법, 이들 방법을 지도하는 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 화상 기록 매체 |
| WO2004040521A1 (ja) * | 2002-10-30 | 2004-05-13 | Digital Fashion Ltd. | 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法およびシェーディング情報取得装置 |
| JP2004152015A (ja) * | 2002-10-30 | 2004-05-27 | Digital Fashion Ltd | 画像処理装置、画像処理プログラム、そのプログラムを記録する記録媒体、画像処理方法、シェーディング情報取得装置及びデータ構造 |
| US7538774B2 (en) | 2003-06-20 | 2009-05-26 | Nippon Telegraph And Telephone Corporation | Virtual visual point image generating method and 3-d image display method and device |
| KR100779634B1 (ko) * | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
| WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び３次元画像表示方法並びに装置 |
| JP2009025225A (ja) * | 2007-07-23 | 2009-02-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
| KR101098830B1 (ko) | 2008-12-01 | 2011-12-26 | 한국전자통신연구원 | 서피스 텍스처 매핑 장치 및 그 방법 |
| JP2010267232A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定方法および装置 |
| JP2010267231A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定装置及び方法 |
| KR101824818B1 (ko) * | 2016-11-28 | 2018-03-14 | 서울과학기술대학교 산학협력단 | 360도 영상 스티칭 방법 및 장치 |
| WO2023276261A1 (ja) * | 2021-07-02 | 2023-01-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| EP4372692A1 (en) | 2022-11-15 | 2024-05-22 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4370672B2 (ja) | 2009-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11210838B2 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| JP4474743B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 | |
| US6078334A (en) | 3-D texture mapping processor and 3-D image rendering system using the same | |
| US6268846B1 (en) | 3D graphics based on images and morphing | |
| JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN109325990B (zh) | 图像处理方法及图像处理装置、存储介质 | |
| JP4828506B2 (ja) | 仮想視点画像生成装置、プログラムおよび記録媒体 | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| CN113826144A (zh) | 使用单幅彩色图像和深度信息的面部纹理贴图生成 | |
| Starck et al. | Virtual view synthesis of people from multiple view video sequences | |
| JP3538263B2 (ja) | 画像生成方法 | |
| KR20000051217A (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| JP2001202532A (ja) | Ｚバッファを用いた立体映像生成方法 | |
| JP2001243497A (ja) | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 | |
| JP6679966B2 (ja) | 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム | |
| Yamanaka et al. | Adaptive image projection onto non-planar screen using projector-camera systems | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| Borshukov | New algorithms for modeling and rendering architecture from photographs | |
| KR20050080334A (ko) | 멀티 텍스쳐링 방법 및 이를 기록한 기록매체 | |
| JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 | |
| KR100512567B1 (ko) | 얼굴 애니메이션을 위한 디에스엠 복원 방법 | |
| JP2000057372A (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
| Okuya et al. | Reproduction of perspective in cel animation 2D composition for real-time 3D rendering | |
| JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20070130 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Effective date: 20090427 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A521 | Written amendment |
Effective date: 20090710 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20090824 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20120911 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |