JP3749373B2

JP3749373B2 - Two-dimensional display method of three-dimensional structure

Info

Publication number: JP3749373B2
Application number: JP05576298A
Authority: JP
Inventors: 政行島田; 盛孝荒井
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 1998-02-20
Filing date: 1998-02-20
Publication date: 2006-02-22
Anticipated expiration: 2018-02-20
Also published as: JPH11238145A

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元立体構造体の二次元表示方法に関し、特に、コンピュータを利用して、三次元立体構造体を所定の観察条件に基いて観察した状態を二次元画像として表示する三次元立体構造体の二次元表示方法に関する。
【０００２】
【従来の技術】
近年、コンピュータハードウエアの急速な性能向上に伴い、コンピュータグラフィックス技術も格段の進歩を遂げ、いわゆる「３Ｄ」と呼ばれているグラフィックス分野において、仮想の三次元立体構造体をディスプレイ画面などに二次元表示する手法が確立されてきている。特に、光による陰影をもった高品位の画像を表示するための手法として、ラジオシティ法が注目を集めている。このラジオシティ法を利用すれば、三次元立体構造体に、写実的な陰影情報を付加することが可能になる。この方法では、まず、三次元立体構造体を構成する各面が多数の微小な多角形に分割され、個々の多角形の頂点について、それぞれ照度が演算される。すなわち、特定の位置に光源を設定し、この光源からの直接光および他の面からの反射や拡散による間接光を考慮した照度演算がなされる。こうして、個々の多角形の各頂点について、それぞれ固有の照度が得られれば、個々の多角形の内部の照度は、各頂点の照度に基く補間演算を行うことにより求めることができるので、三次元立体構造体全体に対して、高品位な陰影情報を付加することができる。このように、ラジオシティ法によれば、三次元立体構造体の全体についての相互の反射や拡散を考慮した照度演算を行うことにより各部の照度情報を求めて陰影づけが行われるため、やわらかな影独特の表現が可能になり、非常に写実的な画像生成が可能になる。
【０００３】
【発明が解決しようとする課題】
最近、種々のデモンストレーションやエンターテイメントとして、いわゆるバーチャルリアリティを採り入れた表現が行われることが少なくない。このバーチャルリアリティを採り入れた表現では、仮想空間内に仮想の三次元立体構造体が構築され、この三次元立体構造体を所定の観察条件（視点位置、視線方向、視野倍率など）に基いて観察した状態が、ディスプレイ画面上に二次元的に表現される。しかも、観察条件がオペレータとの対話によって時事刻々と変化してゆくことになる。たとえば、オペレータが仮想空間内を前進する指示をコンピュータに与えた場合、視点位置が前方へと修正されるように観察条件を変化させながら、ディスプレイ画面上に表現すべき二次元画像が次々と生成される。また、オペレータが仮想空間内で右を振り向く指示をコンピュータに与えれば、視線方向が右方へと修正されるように観察条件を変化させながら、やはり新たな二次元画像が生成される。
【０００４】
このように、バーチャルリアリティを採り入れた表現では、オペレータとコンピュータとの間の対話性が重要になるが、ディスプレイ画面上に表示すべき二次元画像を得るための演算に時間がかかると、対話性は低下せざるを得ない。すなわち、オペレータが所定の指示を与えてから、これに応じた画像表示が行われるまでに、あまりに長い時間がかかると、対話性は失われ、バーチャルリアリティとしての実感はもはや期待できなくなる。
【０００５】
上述したように、写実的な陰影表現を行う上で、ラジオシティ法は非常に有用な手法である。しかしながら、バーチャルリアリティを採り入れた表現に、従来のラジオシティ法をそのまま適用すると、対話性が低下するという問題が生じることになる。これは、ラジオシティ法では、多数の微小な多角形についての照度演算が必要になるためである。もちろん、大型の高速なコンピュータを用いて画像表示を行うのであれば、多数の多角形についての照度演算も高速に行うことができ、対話性を十分に確保した形で、写実的な陰影表現を行うことは可能である。しかし、商業的な利用形態を考慮すると、汎用のパーソナルコンピュータ程度の装置を用いて画像表示を行うのが一般的であり、従来の手法では、ラジオシティ法を利用したバーチャルリアリティ表示を行うことは困難である。もっとも、多角形への分割数を減らすようにすれば、演算負担は軽減され、汎用のパーソナルコンピュータを用いて陰影演算を行っても、ある程度の対話性を確保することは可能である。しかしながら、分割数を減らせば減らすほど、陰影画像の品質は低下してしまうため、ラジオシティ法に本来そなわっている写実的な陰影表現が実現できなくなる。
【０００６】
そこで本発明は、ラジオシティ法のもつ写実的な陰影表現を実現することができ、しかも十分な対話性を確保することができる三次元立体構造体の二次元表現方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
(1) 本発明の第１の態様は、コンピュータを利用して、三次元立体構造体に対して所定の観察条件を設定し、この観察条件に基いて三次元立体構造体を観察した状態を二次元画像として表示する三次元立体構造体の二次元表示方法において、
凸多角形から構成される複数の平面を組み合わせてなる三次元立体構造体の情報が画像準備用コンピュータに入力されるステップと、
個々の平面にマッピングすべき絵柄画像の情報が画像準備用コンピュータに入力されるステップと、
三次元立体構造体に対して照明となる光源を設定する情報が画像準備用コンピュータに入力されるステップと、
画像準備用コンピュータが、個々の平面を多数の多角形に分割するステップと、
画像準備用コンピュータが、これら多数の多角形の各頂点位置について、光源からの直接光および三次元立体構造体からの反射もしくは拡散による間接光に基いて照度を求めるステップと、
画像準備用コンピュータが、個々の多角形の内部に所望の解像度で多数の演算点を定義し、各頂点位置の照度に基く補間演算により各演算点についての照度を求め、三次元立体構造体を構成する個々の平面について、照度の分布を示す照度画像を得るステップと、
画像準備用コンピュータが、得られた個々の照度画像から輪郭線の情報のみを抽出し、この輪郭線の情報に基づいて、当該照度画像の形状が凹多角形か否かを判断するステップと、
画像準備用コンピュータが、凹多角形であると判断された輪郭をもつ照度画像を、複数の凸多角形からなる輪郭をもった照度画像に分割する処理を行うステップと、
画像準備用コンピュータが、絵柄画像と照度画像とを合成することにより凸多角形からなる輪郭をもった陰影付絵柄画像の集合体を作成するステップと、
を有する画像準備段階と、
三次元立体構造体の情報、陰影付絵柄画像の集合体の情報、および三次元立体構造体に対する観察条件が画像表示用コンピュータに入力されるステップと、
画像表示用コンピュータが、観察条件における視野領域を求めるステップと、
画像表示用コンピュータが、三次元立体構造体の各平面のうち少なくとも視野領域に相当する部分に、陰影付絵柄画像をマッピングするステップと、
画像表示用コンピュータが、陰影付絵柄画像がマッピングされた視野領域に相当する二次元画像を表示するステップと、
を有する画像表示段階と、
の２つの段階により、三次元立体構造体を二次元表示するようにしたものである。
【０００８】
(2) 本発明の第２の態様は、上述の第１の態様に係る三次元立体構造体の二次元表現方法において、
多角形の各頂点位置についての照度を求める際に、三次元立体構造体の各平面に絵柄画像をマッピングした状態での反射もしくは拡散を考慮した演算を行うようにしたものである。
【００１１】
【発明の実施の形態】
以下、本発明を図示する実施形態に基いて説明する。図１は、本発明の一実施形態に係る三次元立体構造体の二次元表現方法の手順を示す流れ図である。この方法は、図のステップＳ１１〜Ｓ１７までの画像準備段階と、ステップＳ２１〜Ｓ２５までの画像表示段階と、の２つの段階から構成される。画像準備段階は、三次元立体構造体を二次元画像として提示するために必要なデータを準備するための段階であり、画像表示段階は、準備されたデータに基いて実際に二次元画像を提示する段階である。
【００１２】
ここでは、ソフトウエアの制作会社が、デモンストレーションやエンターテイメント（いわゆるゲームなど）の分野に属するバーチャルリアリティの手法を採り入れたデジタルコンテンツを制作し、一般のユーザがこのデジタルコンテンツをパーソナルコンピュータを用いてプレイする、という事例に基いて、この手順を説明する。したがって、ステップＳ１１〜Ｓ１７の画像準備段階は、制作会社側のコンピュータによって行われ、ステップＳ２１〜Ｓ２５の画像表示段階は、一般のユーザ側の汎用パーソナルコンピュータによって行われることになる（もちろん、テストプレイとして、制作会社側のコンピュータによって画像表示段階が行われることはある）。
【００１３】
まず、ステップＳ１１において、複数の平面を組み合わせてなる三次元立体構造体１００が定義される。ここでは、図２に示すような具体例を考えることにする。この図２に示す三次元立体構造体１００は、立方体の部屋１０と、この部屋１０内に浮かんでいる直方体の物体２０とによって構成されている。ここで、プレーヤ（後述する画像表示段階におけるパーソナルコンピュータのオペレータ）は、部屋１０内の仮想空間内を自由に移動しながら、部屋１０内部の天井、壁、床や物体２０の外面を観察する仮想現実を経験することになる。三次元立体構造体１００は、複数の平面を組み合わせることにより構成されており、この例では、部屋１０は、天井面１１、前方壁面１２、右方壁面１３、後方壁面１４、左方壁面１５、床面１６の６つの平面から構成されており、物体２０は、上面２１、前方面２２、右方面２３、後方面２４、左方面２５、下面２６の６つの平面（後方面２４、左方面２５、下面２６については図示省略）から構成されている。このステップＳ１１で定義される三次元立体構造体１００は、このように複数の平面の集合であるが、各平面は幾何学的な面としての情報（位置を示す座標値）を有しているだけであり、面内の模様や陰影の情報は一切有していない。
【００１４】
続いて、ステップＳ１２において、ステップＳ１１で定義された個々の平面にマッピングすべき絵柄画像が用意される。たとえば、図３(a) には、前方壁面１２にマッピングすべき絵柄画像Ｐ１２の一例が示されており、図３(b) には、前方面２２にマッピングすべき絵柄画像Ｐ２２の一例が示されている。通常、このような絵柄画像は、マトリックス状に配された多数の画素の集合からなるビットマップデータの形式で用意される。ここに示す実施形態では、プレーヤは部屋１０の内部のみを移動でき、部屋１０の外部には決して出ることはなく、また、プレーヤは物体２０の内部に侵入することはできない、という前提での仮想現実を提供することにする。したがって、ステップＳ１２では、部屋１０を構成する６つの平面１１〜１６のそれぞれ内側にマッピングすべき絵柄画像Ｐ１１〜Ｐ１６と、物体２０を構成する６つの平面２１〜２６のそれぞれ外側にマッピングすべき絵柄画像Ｐ２１〜Ｐ２６とを用意すれば足りる。もちろん、１枚の絵柄画像を複数の平面に共通してマッピングするようにしてもかまわない。また、マッピング時には、必要に応じて絵柄画像を拡大縮小することができ、たとえば、図３(b) に示す長方形状の絵柄画像Ｐ２２を、縦横変倍して正方形状の平面１２にマッピングすることも可能である。このような絵柄画像のマッピング技術は既に公知の技術であるため、ここでは詳しい説明は省略する。なお、ステップＳ１２では、図３に示すような絵柄画像を用意するだけであり、マッピングの演算はまだ行われない。
【００１５】
続くステップＳ１３〜Ｓ１６は、ラジオシティ法を用いて陰影情報を得るための手順である。まず、ステップＳ１３において、光源設定が行われる。ここで、光源は、三次元立体構造体１００に対して照明として機能するものであり、たとえば、図２に示す例において、天井面１１の内側中心位置に点光源を設定すれば、部屋１０内部の照明環境を、天井に電球が１つだけ存在する状態に設定することができる。このような光源設定の手法も、既に公知の技術であるため、ここでは詳しい説明は行わないが、通常、光源の種類（点光源／線光源／面光源）、配置位置、光源各部の輝度、などの条件が仮想空間内で定義されることになる。
【００１６】
次に、ステップＳ１４において、三次元立体構造体１００を構成する個々の平面が、複数の多角形に分割される。たとえば、図４には、前方壁面１２を３２個の直角三角形に分割した状態が示されている。この例では、三次元立体構造体１００を構成する１２枚の平面すべてが、それぞれ複数の三角形に分割されることになる。各面をどの程度の細かさに分割するかは、陰影の変動量（照度分布の変動量）を考慮して各面ごとに適宜設定する。上述したように、部屋１０内には所定の光源が設定されているため、各部に陰影が生じることになるが、その変動量は個々の面ごとに異なってくる。たとえば、全面が光源からの直接照明を受けるような面は、全体的に照度が高くなり、照度分布の変動量は少なくなる。このような面については、比較的大きな分割（生じる多角形の数を少なくする）を行っても、品質が低下することはない。一方、明るい部分から暗い部分まで照度分布が大きく変化する面については、比較的細かな分割（生じる多角形の数を多くする）を行い、次のステップにおいてきめの細かい照度演算が行われるようにし、品質を維持するようにするのが好ましい。
【００１７】
ステップＳ１５では、こうして得られた多数の多角形の各頂点位置について、それぞれ照度を求める演算が行われる。図５は、図４に示されている多数の三角形の１つを抜き出して示した図である。この三角形については、３つの頂点Ｖ１，Ｖ２，Ｖ３のそれぞれについて、所定の照度が演算によって求められることになる。ある１つの頂点についての照度は、三次元立体構造体１００の全体についての相互の反射や拡散を考慮した演算によって決定される。たとえば、前方壁面１２上の１頂点Ｖ１には、光源からの直接光が照射されるであろう。また、光源からの光は他の面にも照射されるので、そこからの反射や拡散による間接光も頂点Ｖ１に照射されるであろう。このように、１つの点Ｖ１についての照度を求めるために、光源からの直接光だけでなく、関係する他の面から得られるすべての間接光までも考慮した演算を行う点がラジオシティ法の特徴である。このような手法を採ることにより、やわらかな影独特の表現が可能になり、非常に写実的な陰影表現が可能になる。このラジオシティ法に基く照度演算の方法も既に公知の技術であるため、ここでは具体的な演算方法についての説明は省略する。
【００１８】
こうして、各三角形の頂点についての照度が求まったら、続くステップＳ１６において、各三角形の内部についての照度を決定する演算を行って照度画像を作成する。いま、図５において、３つの頂点Ｖ１，Ｖ２，Ｖ３のそれぞれについての照度が求まっていたとすると、この三角形内の任意の点Ｑについての照度を、３つの頂点Ｖ１，Ｖ２，Ｖ３の照度に基く補間演算により求めることができる。このような補間演算としては、たとえば、点Ｑと各頂点Ｖ１，Ｖ２，Ｖ３との距離を求め、この距離の逆数に応じたおもみをつけて、各頂点の照度の加重平均を求めればよい。このように、三角形内の任意の点Ｑについての照度は、補間演算によって決定することができるので、たとえば、図４に示す前方壁面１２を構成する多数の三角形の内部に多数の演算点を定義し、各演算点について照度を演算して求めれば、図６(a) に示すように、前方壁面１２上に照度分布に基く陰影パターンを形成することができる。図６(b) は、この陰影パターンのみを抽出したものである。ここでは、このように照度分布に基く陰影パターンを照度画像と呼ぶことにする。
【００１９】
図６(b) に示すような照度画像Ｌ１２を得るためのより具体的な方法は、次のとおりである。まず、前方壁面１２を図４に示すように分割して多数の三角形を形成し、各三角形の頂点の照度を前述した手法により演算する。続いて、この前方壁面１２を、たとえば、二次元ＸＹ座標系上に平行投影する。一般に、三次元立体構造体１００を構成する各平面には、それぞれ仮想の実寸が定義されているが、平面を二次元ＸＹ座標系上に平行投影する際には、縦および横の寸法に対して拡大もしくは縮小処理を施し、Ｘ軸上の０〜１．０の区間およびＹ軸上の０〜１．０の区間に投影像が得られるような変倍処理を施すようにするのが好ましい。このような変倍処理を行っておけば、いずれの面の投影像も１．０×１．０の大きさをもった正方形に規格化されることになり、取扱いが容易になる。図６(a) は、このような規格化を行って二次元ＸＹ座標系上に投影した前方壁面１２に対応する三角形について、その内部を塗りつぶす処理（すなわち、内部に多数の演算点を定義して、各演算点について照度を補間演算する処理）を行った状態を示している。
【００２０】
かくして、前方壁面１２については、図６(b) に示すような照度画像Ｌ１２が定義されることになる。この照度画像Ｌ１２の解像度は、三角形の内部に定義された演算点の解像度になるので、三角形の内部には、必要十分な解像度で演算点を定義すればよい。このようにして、個々の三角形の内部に所望の解像度で多数の演算点を定義し、各頂点位置の照度に基く補間演算により各演算点についての照度を求めれば、三次元立体構造体１００を構成する個々の平面１１〜１６，２１〜２６について、それぞれ照度の分布を示す照度画像Ｌ１１〜Ｌ１６，Ｌ２１〜Ｌ２６が得られることになる。
【００２１】
なお、ステップＳ１５において各三角形の頂点位置についての照度を求める際に、三次元立体構造体１００の各平面に、ステップＳ１２で用意した絵柄画像をマッピングし、その状態での反射もしくは拡散を考慮した演算を行うようにすれば、より正確な照度画像を得ることが可能になる。また、光源の色をＲＧＢなどの三原色の成分で定義し、各絵柄画像として、ＲＧＢの各色成分ごとの反射や拡散係数をもった画像を用意すれば、三角形の各頂点位置において、ＲＧＢの各色成分ごとの照度を求めることができ、ＲＧＢの各色成分ごとの照度画像を得ることができる。
【００２２】
こうして得られた照度画像は、ステップＳ１３で設定した光源に基く照明環境において、各面上に得られる陰影パターンである。本発明では、続くステップＳ１７において、各照度画像を各絵柄画像に合成し、陰影付絵柄画像を作成する処理が行われる。たとえば、図３(a) には、前方壁面１２にマッピングするために用意された絵柄画像Ｐ１２が示されているが、この絵柄画像Ｐ１２は、いわば壁紙自身の絵柄の情報というべきものであり、照明環境によって生じる陰影の情報は一切含んでいない。これに対して、図６(b) に示す照度画像Ｌ１２は、いわば陰影のみの情報であり、ステップＳ１３において設定した光源の条件下において、前方壁面１２という固有の平面についてのみ意味をもつ情報である。ステップＳ１７では、この絵柄画像Ｐ１２と照度画像Ｌ１２とを合成し、図７に示すような陰影付絵柄画像ＬＰ１２を作成する処理が行われる。両画像の合成は、それぞれ画素を対応させ、対応画素の画素値を掛け合わせるような演算を行えばよい。たとえば、絵柄画像Ｐ１２を、０〜２５５の画素値をもつ画素の集合として用意しておき、照度画像Ｌ１２を、０〜１の画素値をもつ画素の集合として用意しておけば、両画像の対応画素のもつ画素値を乗ずる演算を行うことにより、絵柄画像に陰影情報を付加することができる。
【００２３】
こうして、三次元立体構造体１００を構成する個々の平面１１〜１６，２１〜２６にマッピングすべき絵柄画像Ｐ１１〜Ｐ１６，Ｐ２１〜Ｐ２６について、それぞれ照度画像Ｌ１１〜Ｌ１６，Ｌ２１〜Ｌ２６を合成する処理を行えば、陰影付絵柄画像ＬＰ１１〜ＬＰ１６，ＬＰ２１〜ＬＰ２６が得られることになる。この陰影付絵柄画像は、いわば、「マッピングしたときに現れる影のパターン」を、マッピングする前から既に絵柄上に描き込んだ壁紙、というべきものになる。結局、本実施形態における画像準備段階では、図８に示すように、三次元立体構造体１００を示すデータＤ（１００）と、部屋１０の各平面にマッピングすべき陰影付絵柄画像のデータＤ（ＬＰ１１）〜Ｄ（ＬＰ１６）と、物体２０の各平面にマッピングすべき陰影付絵柄画像のデータＤ（ＬＰ２１）〜Ｄ（ＬＰ２６）と、が作成されることになる。これらのデータは、たとえば、ＣＤ−ＲＯＭなどの記録媒体に、コンピュータ読み取り可能な形態で記録されることになる。
【００２４】
続いて、ステップＳ２１〜Ｓ２５の画像表示段階の手順を説明する。この手順は、前述したように、一般のユーザ側の汎用パーソナルコンピュータによって行われることになる。このステップＳ２１〜Ｓ２５の手順を実行するプログラムを、上述のＣＤ−ＲＯＭに付加して制作会社から提供するようにすれば、ユーザ（プレーヤ）が、提供された上述のＣＤ−ＲＯＭをパーソナルコンピュータにセットすれば、以下の手順が実行されることになる。
【００２５】
まず、ステップＳ２１において、プレーヤが、三次元立体構造体１００に対する観察条件を入力する。この例では、視点位置、視線方向、視野倍率を観察条件として入力するようにしている。たとえば、図９は、三次元立体構造体１００を構成する部屋１０内にプレーヤＰが位置している仮想的な状態における観察条件の一例を示している。図示のような観察条件を入力するのであれば、プレーヤは、視点Ｅの座標値と、図に一点鎖線で示す視線の方向と、視野倍率（視線の広がり角度）とを設定する入力を行えばよい。もちろん、通常のバーチャルリアリティのプログラムを実行する上では、プレーヤはこのような条件設定を直接的に行うのではなく、マウス、ジョイスティック、キーボードなどを操作して、前進、右を向く、近付くなどの指示をコンピュータに対して与えることにより、間接的に観察条件を設定する入力を行うことになる。
【００２６】
こうして、観察条件が入力されると、続くステップＳ２２において、視野領域が決定される。図９の例では、視野領域Ｗがハッチング領域として示されている。そして、次のステップＳ２３において、陰影付絵柄画像のマッピングが行われる。この場合、三次元立体構造体１００を構成する各平面のうち、少なくとも視野領域Ｗに相当する部分に、陰影付絵柄画像のマッピングが行われればよい。マッピングした画像には、既に陰影の情報が含まれているので、この時点でラジオシティの手法による陰影計算を行う必要はない。次に、ステップＳ２４において、陰影付絵柄画像がマッピングされた視野領域Ｗに相当する二次元画像の表示が行われる。別言すれば、ディスプレイ画面上に、視野領域Ｗ内の二次元投影画像が表示されることになる。
【００２７】
通常、バーチャルリアリティの手法を用いたプログラムでは、プレーヤＰは仮想空間内を移動したり、向きを変えたりすることができる。そこで、所定の観察条件に対応する画像表示が行われたら、ステップＳ２５から、再びステップＳ２１へと戻り、新たな観察条件の入力が行われる。こうして、プレーヤは時事刻々と観察条件を変化させる入力を行うことができ、その都度、ステップＳ２１〜Ｓ２４までの手順が実行され、各時点の観察条件に応じた視野領域内の二次元投影画像がディスプレイ画面上に表示されることになる。
【００２８】
この画像表示段階の特徴は、汎用のパーソナルコンピュータを用いた場合であっても、十分な品質をもった画像を、十分な対話性をもって提示することができる点にある。すなわち、提示される画像には、ラジオシティ法を利用して得られた陰影パターンが含まれているため、非常に写実的で高品位な表示が可能になる。一方、ステップＳ２１〜ステップＳ２４で行われる処理は、単なる画像のマッピング処理や二次元投影の処理であるため、一般的なパーソナルコンピュータを用いて行っても、かなり短い演算時間で処理が完了し、対話性が損なわれることはない。
【００２９】
このように本発明では、演算負担の重いラジオシティ法特有の照度演算（ステップＳ１５やステップＳ１６）を画像準備段階で行ってしまうようにしたため、画像表示段階の演算負担は著しく軽減される。そもそも、ラジオシティ法は、高品位の静止画像を作成するために利用されていた技術であり、このような高品位の静止画像を作成する場合、本発明にいう画像準備段階と画像表示段階とは一連の手順として同じオペレータによって実行されるのが普通である。したがって、画像表示段階の演算負担のみを軽減しても、あまり意味がなかったのである。ところが、バーチャルリアリティの分野では、画像表示段階における対話性が求められることになるため、本発明の手法を適用することは大いに意味のあることになる。
【００３０】
すなわち、画像準備段階は、ソフトウエアの制作段階に相当し、制作会社のクリエータが操作を行う段階である。もちろん、この制作段階においても演算時間は短いに越したことはないが、たとえ演算時間が長くかかったとしても、大きな障害は生じない。これに対して、画像表示段階は、この制作会社が制作したＣＤ−ＲＯＭなどのタイトルを購入したユーザが、プレーヤとしてバーチャルリアリティの世界を体験する段階に相当するため、演算時間が長くかかると、対話性が失われ、バーチャルリアリティとしての実感が損なわれ、大きな障害となるのである。
【００３１】
本願発明者は、この点に着目し、画像準備段階において、演算負担の重い照度演算をすべての面について実行してしまい、マッピング前の絵柄画像に陰影情報を付加してしまう方法を着想したのである。既に画像準備段階において、陰影を求める演算が完了してしまっているので、画像表示段階では、表示に必要な箇所に陰影付絵柄画像をマッピングする処理を行うだけで済むことになる。画像表示段階では、観察条件を時々刻々と変化させながら、ディスプレイ画面上への画像表示を連続して行う必要があるが、上述したマッピング処理だけを行うようにすれば、演算時間は大幅に短縮され、十分な対話性が確保できるようになる。
【００３２】
なお、最後に、本発明を実施する上で凹多角形が生じた場合の取扱いについて述べておく。コンピュータグラフィックスの分野では、一般的に、凸多角形と凹多角形とが混在した状態で処理を行うよりも、多角形をすべて凸多角形として取り扱う処理を行った方が演算効率がよくなる。これは、凸多角形に関する演算に比べて、凹多角形に関する演算は、演算負担が重く、時間がかかるためである。そこで、たとえば、図１０(a) に示すような凹多角形からなる平面３０のような図形を取り扱う場合、この図形を１つの凹多角形として取り扱うことはせずに、図１０(b) に示すように、複数の凸多角形３１，３２，３３の集合体として取り扱うのが一般的である。ところが、本発明の手順を実施すると、凹多角形からなる平面３０が、複数の凸多角形３１，３２，３３の集合からなる、という情報が失われてしまう事態が生じる。たとえば、図１０(a) に示す平面３０に対して、ラジオシティ法を適用するために、図１１(a) に示すような分割が行われ、多数の三角形が定義されたものとする。既に述べたように、これら多数の三角形の頂点について、それぞれ照度が演算され、更に、三角形内部の演算点についても補間演算が行われ、最終的に、図１１(b) に示すような照度画像Ｌ３０が求まることになる。ところが、既に三角形への分割が行われた時点で、平面３０が複数の凸多角形３１，３２，３３の集合からなる、という情報は失われてしまっているため、照度画像Ｌ３０は、そのまま凹多角形からなる１つの図形として取り扱われることになってしまう。
【００３３】
このような場合、照度画像を得るステップにおいて、凹多角形からなる輪郭をもった照度画像Ｌ３０が得られた場合には、この照度画像を複数の凸多角形からなる輪郭をもった照度画像に分割する処理を行うようにすればよい。具体的には、各平面ごとの照度画像が得られた段階で、これら照度画像から輪郭線の情報のみを抽出し、この輪郭線の情報に基いて、当該照度画像の形状が凹多角形か否かを判断する処理を行えばよい。たとえば、図１１(b) に示す照度画像Ｌ３０については、図１２(a) に示すような輪郭線３５が抽出される。この輪郭線３５を図示の矢印のようにベクトル軌跡としてトレースする手法を用いれば、この図形が凹多角形か否かを判断することができる（このような手法は公知であるため、詳細な説明は省略する）。そして、凹多角形であると判断された場合には、図１１(b) に示す照度画像Ｌ３０を複数の凸多角形に分割する処理を行い、たとえば、図１２(b) に示すように、複数の照度画像Ｌ３１，Ｌ３２，Ｌ３３に置換する処理を行えばよい。
【００３４】
以上、本発明を図示する実施形態に基いて説明したが、本発明はこの実施形態に限定されるものではなく、この他にも種々の形態で実施可能である。たとえば、上述の実施形態では、ラジオシティ法を適用するために平面を多数の三角形に分割しているが、分割形状は必ずしも三角形にする必要はなく、四角形や他の多角形にしてもかまわない。
【００３５】
【発明の効果】
以上のとおり本発明に係る三次元立体構造体の二次元表現方法によれば、ラジオシティ法のもつ写実的な陰影表現を実現することができ、しかも十分な対話性を確保することができるようになる。
【図面の簡単な説明】
【図１】図１は、本発明の一実施形態に係る三次元立体構造体の二次元表現方法の手順を示す流れ図である。
【図２】複数の平面を組み合わせてなる三次元立体構造体１００の一例を示す斜視図である。
【図３】図２に示す三次元立体構造体１００を構成する平面にマッピングすべき絵柄画像の例を示す平面図である。
【図４】図１に示す三次元立体構造体１００を構成する前方壁面１２を複数の三角形に分割した状態を示す平面図である。
【図５】図４に示す多数の三角形の１つを抜き出して示す拡大図である。
【図６】図４に示す各三角形にラジオシティ法を適用して照度画像を求めた一例を示す平面図である。
【図７】図３に示す絵柄画像Ｐ１２に、図６に示す照度画像Ｌ１２を合成して得られる陰影付絵柄画像ＬＰ１２を示す平面図である。
【図８】図１に示す画像準備段階で用意されるデータ構成の一例を示す図である。
【図９】図１に示す画像表示段階における仮想空間を示す斜視図である。
【図１０】コンピュータグラフィックスの分野において、凹多角形を凸多角形の集合として取り扱う一般的な方法を示す図である。
【図１１】図１０に示す凹多角形にラジオシティ法を適用することにより、凸多角形の集合としての情報が失われる状態を示す図である。
【図１２】凹多角形からなる照度画像を分割して、凸多角形からなる複数の照度画像に置換した状態を示す図である。
【符号の説明】
１０…部屋
１１…天井面
１２…前方壁面
１３…右方壁面
１４…後方壁面
１５…左方壁面
１６…床面
２０…物体
２１…上面
２２…前方面
２３…右方面
３０…凹多角形からなる平面
３１〜３３…凸多角形
Ｄ（１００）…三次元立体構造体のデータ
Ｄ（ＬＰ１１）〜Ｄ（ＬＰ１６）…陰影付絵柄画像のデータ
Ｄ（ＬＰ２１）〜Ｄ（ＬＰ２６）…陰影付絵柄画像のデータ
Ｅ…視点
Ｌ１２…照度画像
Ｌ３０…凹多角形からなる照度画像
Ｌ３１，Ｌ３２，Ｌ３３…凸多角形からなる照度画像
３５…輪郭線
ＬＰ１２…陰影付絵柄画像
Ｐ…プレーヤ
Ｐ１２…絵柄画像
Ｐ２２…絵柄画像
Ｑ…三角形内の演算点
Ｖ１，Ｖ２，Ｖ３…三角形の頂点
Ｗ…視野領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a two-dimensional display method for a three-dimensional solid structure, and in particular, a three-dimensional solid that displays, as a two-dimensional image, a state in which the three-dimensional solid structure is observed based on predetermined observation conditions using a computer. The present invention relates to a two-dimensional display method of a structure.
[0002]
[Prior art]
In recent years, with the rapid improvement of computer hardware, computer graphics technology has also made remarkable progress. In the graphics field called “3D”, a virtual three-dimensional structure is used as a display screen. Two-dimensional display techniques have been established. In particular, the radiosity method is attracting attention as a method for displaying high-quality images with shadows due to light. If this radiosity method is used, realistic shading information can be added to the three-dimensional structure. In this method, first, each surface constituting the three-dimensional structure is divided into a large number of minute polygons, and the illuminance is calculated for each vertex of each polygon. That is, a light source is set at a specific position, and illuminance calculation is performed in consideration of direct light from this light source and indirect light due to reflection or diffusion from other surfaces. Thus, if a unique illuminance is obtained for each vertex of each polygon, the illuminance inside each polygon can be obtained by performing an interpolation operation based on the illuminance at each vertex. High-quality shadow information can be added to the entire three-dimensional structure. As described above, according to the radiosity method, the illuminance calculation is performed in consideration of mutual reflection and diffusion with respect to the entire three-dimensional structure, so that the illuminance information of each part is obtained and shading is performed. A shadow-specific expression is possible, and a very realistic image can be generated.
[0003]
[Problems to be solved by the invention]
In recent years, expressions using so-called virtual reality are often performed as various demonstrations and entertainment. In the expression that adopts this virtual reality, a virtual three-dimensional structure is constructed in the virtual space, and this three-dimensional structure is observed based on predetermined observation conditions (viewpoint position, line-of-sight direction, field magnification, etc.). This state is expressed two-dimensionally on the display screen. In addition, the observation conditions change from moment to moment by dialogue with the operator. For example, when the operator gives an instruction to advance in the virtual space to the computer, two-dimensional images to be expressed on the display screen are generated one after another while changing the observation conditions so that the viewpoint position is corrected forward. Is done. If the operator gives an instruction to turn to the right in the virtual space, a new two-dimensional image is also generated while changing the observation condition so that the line-of-sight direction is corrected to the right.
[0004]
In this way, in the expression that adopts virtual reality, the interactivity between the operator and the computer becomes important, but if it takes time to obtain a two-dimensional image to be displayed on the display screen, the interactivity Must be reduced. In other words, if it takes too long from the time when the operator gives a predetermined instruction to the time when the image display corresponding to this is performed, the interactivity is lost and the actual feeling as virtual reality can no longer be expected.
[0005]
As described above, the radiosity method is a very useful technique for performing realistic shadow expression. However, if the conventional radiosity method is applied as it is to an expression that adopts virtual reality, there arises a problem that the interactivity is lowered. This is because the radiosity method requires illuminance calculation for a large number of minute polygons. Of course, if the image is displayed using a large, high-speed computer, the illuminance calculation for many polygons can also be performed at high speed, and a realistic shadow expression can be obtained with sufficient interactivity. It is possible to do. However, considering commercial usage, it is common to display images using a device similar to a general-purpose personal computer. With conventional methods, virtual reality display using the radiosity method is not possible. Have difficulty. However, if the number of divisions into polygons is reduced, the calculation burden is reduced, and it is possible to ensure a certain degree of interactivity even if shadow calculation is performed using a general-purpose personal computer. However, as the number of divisions decreases, the quality of the shadow image decreases, so that it is not possible to realize a realistic shadow expression that originally complies with the radiosity method.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to provide a two-dimensional representation method of a three-dimensional structure that can realize a realistic shadow expression of the radiosity method and can secure sufficient interactivity. To do.
[0007]
[Means for Solving the Problems]
  (1) In the first aspect of the present invention, a predetermined observation condition is set for a three-dimensional structure using a computer, and a state in which the three-dimensional structure is observed based on the observation condition. In a two-dimensional display method for a three-dimensional structure to be displayed as a two-dimensional image,
  A three-dimensional structure composed of a plurality of planes composed of convex polygonsInformation is input to the image preparation computerSteps,
  Pattern image to be mapped to each planeInformation is input to the image preparation computerSteps,
  Set the light source for the 3D structureInformation is entered into the image preparation computerSteps,
  The image preparation computerIndividual planesManyDividing into polygons of
  The image preparation computerFor each vertex position of these many polygons, obtaining illuminance based on direct light from the light source and indirect light by reflection or diffusion from the three-dimensional structure,
  The image preparation computerDefine multiple calculation points at the desired resolution inside each polygon, determine the illuminance at each calculation point by interpolation calculation based on the illuminance at each vertex position, and for each plane constituting the 3D solid structure Obtaining an illuminance image showing the illuminance distribution;
  The image preparation computer extracts only contour line information from the obtained individual illuminance images, and based on the contour line information, determines whether the shape of the illuminance image is a concave polygon,
  An illuminance image having an outline determined to be a concave polygon by the image preparation computer,Performing a process of dividing into an illuminance image having an outline composed of a plurality of convex polygons;
  The image preparation computerA shaded pattern image with an outline consisting of a convex polygon by combining a pattern image and an illuminance imageAggregation ofThe steps of creating
  An image preparation stage comprising:
  3D structure information, shaded picture image collection information, andThe observation conditions for 3D structures areInput to image display computerSteps,
  The image display computerObtaining a field of view area under viewing conditions;
  The image display computerMapping the shaded pattern image to at least a portion corresponding to the visual field region of each plane of the three-dimensional structure,
  The image display computerDisplaying a two-dimensional image corresponding to the visual field area to which the shaded pattern image is mapped;
  An image display stage having:
  The three-dimensional structure is displayed two-dimensionally by the two steps.
[0008]
(2) According to a second aspect of the present invention, in the two-dimensional representation method for a three-dimensional structure according to the first aspect described above,
When obtaining the illuminance at each vertex position of the polygon, an operation is performed in consideration of reflection or diffusion in a state where the pattern image is mapped to each plane of the three-dimensional structure.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described based on the illustrated embodiments. FIG. 1 is a flowchart showing a procedure of a two-dimensional representation method for a three-dimensional structure according to an embodiment of the present invention. This method is composed of two stages, an image preparation stage from steps S11 to S17 and an image display stage from steps S21 to S25. The image preparation stage is a stage for preparing data necessary for presenting a three-dimensional structure as a two-dimensional image, and the image display stage actually presents a two-dimensional image based on the prepared data. It is the stage to do.
[0012]
Here, a software production company produces digital content that adopts virtual reality techniques belonging to the field of demonstrations and entertainment (so-called games), and general users play this digital content using a personal computer. This procedure will be explained based on the case of. Therefore, the image preparation stage in steps S11 to S17 is performed by a computer on the production company side, and the image display stage in steps S21 to S25 is performed on a general-purpose personal computer on the general user side (of course, test play). The image display stage may be performed by the computer of the production company).
[0013]
First, in step S11, a three-dimensional structure 100 formed by combining a plurality of planes is defined. Here, a specific example as shown in FIG. 2 will be considered. The three-dimensional structure 100 shown in FIG. 2 includes a cubic room 10 and a rectangular parallelepiped object 20 floating in the room 10. Here, a virtual reality in which a player (a personal computer operator in an image display stage to be described later) observes the ceiling, walls, floor, and the outer surface of the object 20 inside the room 10 while freely moving in the virtual space inside the room 10. Will experience. The three-dimensional structure 100 is configured by combining a plurality of planes. In this example, the room 10 includes a ceiling surface 11, a front wall surface 12, a right wall surface 13, a rear wall surface 14, a left wall surface 15, The object 20 includes six planes (an upper surface 21, a front surface 22, a right surface 23, a rear surface 24, a left surface 25, and a lower surface 26 (rear surface 24, left surface 25). The lower surface 26 is not shown). The three-dimensional structure 100 defined in step S11 is a set of a plurality of planes as described above, and each plane has information (coordinate values indicating a position) as a geometric plane. It does not have any in-plane pattern or shading information.
[0014]
Subsequently, in step S12, a pattern image to be mapped to each plane defined in step S11 is prepared. For example, FIG. 3 (a) shows an example of a picture image P12 to be mapped to the front wall surface 12, and FIG. 3 (b) shows an example of a picture image P22 to be mapped to the front surface 22. Has been. Usually, such a picture image is prepared in the form of bitmap data consisting of a set of a large number of pixels arranged in a matrix. In the illustrated embodiment, the player can move only inside the room 10, never go outside the room 10, and assume that the player cannot enter inside the object 20. We will provide reality. Therefore, in step S12, the pattern images P11 to P16 to be mapped inside the six planes 11 to 16 constituting the room 10 and the patterns to be mapped to the outside of the six planes 21 to 26 constituting the object 20, respectively. It is sufficient to prepare the images P21 to P26. Of course, one pattern image may be mapped in common to a plurality of planes. Further, at the time of mapping, the pattern image can be enlarged or reduced as necessary. For example, the rectangular pattern image P22 shown in FIG. Is also possible. Since such a pattern image mapping technique is a known technique, detailed description thereof is omitted here. In step S12, only the pattern image as shown in FIG. 3 is prepared, and the mapping operation is not yet performed.
[0015]
Subsequent steps S13 to S16 are procedures for obtaining shadow information using the radiosity method. First, in step S13, light source setting is performed. Here, the light source functions as illumination for the three-dimensional structure 100. For example, in the example shown in FIG. The lighting environment can be set to a state where there is only one light bulb on the ceiling. Such a light source setting method is also a well-known technique and will not be described in detail here. However, usually, the type of light source (point light source / line light source / surface light source), arrangement position, luminance of each part of the light source, Such a condition is defined in the virtual space.
[0016]
Next, in step S14, the individual planes that make up the three-dimensional structure 100 are divided into a plurality of polygons. For example, FIG. 4 shows a state where the front wall surface 12 is divided into 32 right triangles. In this example, all twelve planes constituting the three-dimensional structure 100 are each divided into a plurality of triangles. To what degree each surface is divided is set as appropriate for each surface in consideration of the amount of variation in shading (the amount of variation in illuminance distribution). As described above, since a predetermined light source is set in the room 10, a shadow is generated in each part, but the amount of variation varies for each surface. For example, the entire surface that receives direct illumination from the light source has high illuminance as a whole, and the amount of variation in illuminance distribution is small. For such a surface, even if a relatively large division (reducing the number of generated polygons) is performed, the quality does not deteriorate. On the other hand, for the surface where the illuminance distribution changes greatly from bright to dark, perform a relatively fine division (increase the number of polygons generated) so that fine illuminance calculation is performed in the next step. It is preferable to maintain the quality.
[0017]
In step S15, the calculation for obtaining the illuminance is performed for each vertex position of the many polygons thus obtained. FIG. 5 is an extracted view of one of the many triangles shown in FIG. For this triangle, a predetermined illuminance is obtained by calculation for each of the three vertices V1, V2, and V3. The illuminance for one vertex is determined by an operation that considers mutual reflection and diffusion of the entire three-dimensional structure 100. For example, one vertex V1 on the front wall surface 12 will be irradiated with direct light from the light source. Further, since the light from the light source is also irradiated to the other surface, indirect light due to reflection or diffusion from the other surface will also be irradiated to the vertex V1. In this way, in order to obtain the illuminance for one point V1, not only the direct light from the light source but also all indirect light obtained from other related planes are calculated. It is a feature. By adopting such a method, a unique expression of soft shadows becomes possible, and a very realistic shadow expression becomes possible. Since the illuminance calculation method based on the radiosity method is also a well-known technique, a description of a specific calculation method is omitted here.
[0018]
In this way, when the illuminance at each vertex of the triangle is obtained, in the subsequent step S16, an illuminance image is created by performing an operation for determining the illuminance within each triangle. Now, assuming that the illuminance at each of the three vertices V1, V2, and V3 is found in FIG. It can be obtained by interpolation calculation. As such an interpolation calculation, for example, the distance between the point Q and each of the vertices V1, V2, and V3 is obtained, and a weighted average of the illuminance at each vertex is obtained by adding a weight corresponding to the reciprocal of this distance. . As described above, the illuminance at an arbitrary point Q in the triangle can be determined by interpolation calculation. For example, a large number of calculation points are defined inside a large number of triangles constituting the front wall surface 12 shown in FIG. If the illuminance is calculated for each calculation point, a shadow pattern based on the illuminance distribution can be formed on the front wall surface 12 as shown in FIG. FIG. 6B shows only the shadow pattern extracted. Here, the shadow pattern based on the illuminance distribution is referred to as an illuminance image.
[0019]
A more specific method for obtaining the illuminance image L12 as shown in FIG. 6 (b) is as follows. First, the front wall surface 12 is divided as shown in FIG. 4 to form a large number of triangles, and the illuminance at the apex of each triangle is calculated by the method described above. Subsequently, the front wall surface 12 is projected in parallel on, for example, a two-dimensional XY coordinate system. In general, virtual actual dimensions are defined for each plane constituting the three-dimensional solid structure 100. However, when a plane is projected in parallel on a two-dimensional XY coordinate system, the vertical and horizontal dimensions are defined. It is preferable to perform enlargement or reduction processing, and to perform zooming processing so that a projection image is obtained in a section of 0 to 1.0 on the X axis and a section of 0 to 1.0 on the Y axis. . If such a scaling process is performed, the projection image of any surface is normalized to a square having a size of 1.0 × 1.0, and the handling becomes easy. FIG. 6A shows a process of filling the interior of the triangle corresponding to the front wall surface 12 projected on the two-dimensional XY coordinate system after performing such normalization (that is, defining a large number of operation points in the interior). Thus, a state in which illuminance interpolation processing is performed for each calculation point is shown.
[0020]
Thus, for the front wall surface 12, an illuminance image L12 as shown in FIG. 6B is defined. Since the resolution of the illuminance image L12 is the resolution of the calculation point defined inside the triangle, the calculation point may be defined within the triangle with a necessary and sufficient resolution. In this way, if a large number of calculation points are defined within each triangle at a desired resolution and the illuminance at each calculation point is obtained by interpolation based on the illuminance at each vertex position, the three-dimensional structure 100 is obtained. The illuminance images L11 to L16 and L21 to L26 indicating the distribution of illuminance are obtained for the individual planes 11 to 16 and 21 to 26 constituting the respective planes.
[0021]
When obtaining the illuminance at the vertex position of each triangle in step S15, the pattern image prepared in step S12 is mapped to each plane of the three-dimensional structure 100, and reflection or diffusion in that state is taken into consideration. If calculation is performed, a more accurate illuminance image can be obtained. In addition, if the color of the light source is defined by the components of three primary colors such as RGB, and an image having reflection and diffusion coefficients for each color component of RGB is prepared as each picture image, each color of RGB at each vertex position of the triangle The illuminance for each component can be obtained, and an illuminance image for each color component of RGB can be obtained.
[0022]
The illuminance image obtained in this manner is a shadow pattern obtained on each surface in the illumination environment based on the light source set in step S13. In the present invention, in the subsequent step S17, processing for synthesizing each illuminance image with each pattern image and creating a shaded pattern image is performed. For example, FIG. 3 (a) shows a picture image P12 prepared for mapping to the front wall surface 12, but this picture image P12 is supposed to be information on the picture of the wallpaper itself. It does not contain any information on shadows caused by the lighting environment. On the other hand, the illuminance image L12 shown in FIG. 6 (b) is information of only shadows, and is information having meaning only for a specific plane called the front wall surface 12 under the conditions of the light source set in step S13. is there. In step S17, the pattern image P12 and the illuminance image L12 are combined to create a shaded pattern image LP12 as shown in FIG. For the synthesis of both images, an operation may be performed in which the pixels are associated with each other and the pixel values of the corresponding pixels are multiplied. For example, if the pattern image P12 is prepared as a set of pixels having pixel values of 0 to 255 and the illuminance image L12 is prepared as a set of pixels having pixel values of 0 to 1, By performing the operation of multiplying the pixel value of the corresponding pixel, shadow information can be added to the pattern image.
[0023]
In this way, the process which synthesize | combines the illumination intensity images L11-L16, L21-L26 about the pattern images P11-P16, P21-P26 which should be mapped on each plane 11-11, 21-26 which comprises the three-dimensional solid structure 100, respectively. , The shaded pattern images LP11 to LP16, LP21 to LP26 are obtained. This shaded picture image is, so to speak, a wallpaper in which the “shadow pattern that appears when mapping” is already drawn on the picture before mapping. After all, in the image preparation stage in this embodiment, as shown in FIG. 8, data D (100) indicating the three-dimensional solid structure 100 and data D (with shaded pattern image to be mapped to each plane of the room 10) ( LP11) to D (LP16) and shaded pattern image data D (LP21) to D (LP26) to be mapped to each plane of the object 20 are created. These data are recorded in a computer-readable form on a recording medium such as a CD-ROM.
[0024]
Subsequently, the procedure of the image display stage in steps S21 to S25 will be described. As described above, this procedure is performed by a general user personal computer. If the program for executing the procedure of steps S21 to S25 is added to the above-described CD-ROM and provided from the production company, the user (player) can use the provided CD-ROM as a personal computer. If set, the following procedure is executed.
[0025]
First, in step S <b> 21, the player inputs observation conditions for the three-dimensional structure 100. In this example, the viewpoint position, the line-of-sight direction, and the visual field magnification are input as observation conditions. For example, FIG. 9 shows an example of observation conditions in a virtual state where the player P is located in the room 10 constituting the three-dimensional structure 100. If the viewing conditions as shown in the figure are input, the player can input the coordinates of the viewpoint E, the direction of the line of sight indicated by the alternate long and short dash line, and the field of view magnification (the line of sight expansion angle). Good. Of course, when executing a normal virtual reality program, the player does not directly set such conditions, but operates the mouse, joystick, keyboard, etc. to move forward, turn right, approach, etc. By giving an instruction to the computer, an input for setting an observation condition indirectly is performed.
[0026]
Thus, when the observation condition is input, the visual field region is determined in the subsequent step S22. In the example of FIG. 9, the visual field area W is shown as a hatched area. Then, in the next step S23, the shaded pattern image is mapped. In this case, the shaded pattern image may be mapped to at least a portion corresponding to the visual field region W of each plane constituting the three-dimensional solid structure 100. Since the mapped image already includes shadow information, it is not necessary to perform shadow calculation by the radiosity method at this point. Next, in step S24, a two-dimensional image corresponding to the visual field region W on which the shaded pattern image is mapped is displayed. In other words, the two-dimensional projection image in the visual field region W is displayed on the display screen.
[0027]
Normally, in a program using the virtual reality technique, the player P can move in the virtual space or change the direction. Therefore, when an image display corresponding to a predetermined observation condition is performed, the process returns from step S25 to step S21 again, and a new observation condition is input. In this way, the player can input to change the observation condition from time to time, and the procedure from step S21 to S24 is executed each time, and the two-dimensional projection image in the visual field region corresponding to the observation condition at each time point is obtained. It will be displayed on the display screen.
[0028]
A feature of this image display stage is that an image with sufficient quality can be presented with sufficient interactivity even when a general-purpose personal computer is used. That is, since the displayed image includes a shadow pattern obtained by using the radiosity method, a very realistic and high-quality display is possible. On the other hand, since the process performed in steps S21 to S24 is a simple image mapping process or a two-dimensional projection process, the process is completed in a considerably short calculation time even when performed using a general personal computer. There is no loss of interactivity.
[0029]
As described above, in the present invention, since the illuminance calculation (step S15 and step S16) peculiar to the radiosity method having a heavy calculation burden is performed at the image preparation stage, the calculation burden at the image display stage is remarkably reduced. In the first place, the radiosity method is a technique used to create a high-quality still image. When creating such a high-quality still image, the image preparation stage and the image display stage referred to in the present invention are performed. Is usually performed by the same operator as a series of steps. Therefore, reducing only the calculation burden at the image display stage has no meaning. However, in the field of virtual reality, since interactivity is required at the image display stage, it is very meaningful to apply the method of the present invention.
[0030]
In other words, the image preparation stage corresponds to the software production stage, and is the stage where the creator of the production company operates. Of course, even in this production stage, the calculation time is never short, but even if the calculation time is long, no major obstacles occur. On the other hand, the image display stage corresponds to a stage where a user who has purchased a title such as a CD-ROM produced by this production company experiences the virtual reality world as a player. Interactivity is lost, and the virtual reality is lost, creating a major obstacle.
[0031]
The inventor of the present application pays attention to this point, and in the image preparation stage, he thought of a method of performing illuminance calculation with a heavy calculation burden on all surfaces and adding shadow information to the pattern image before mapping. is there. Since the operation for obtaining the shadow has already been completed in the image preparation stage, it is only necessary to perform the process of mapping the shaded pattern image on the part necessary for display in the image display stage. In the image display stage, it is necessary to continuously display the image on the display screen while changing the observation conditions from moment to moment. However, if only the above-described mapping process is performed, the calculation time is greatly reduced. And sufficient interactivity can be secured.
[0032]
Finally, the handling when a concave polygon is generated in carrying out the present invention will be described. In the field of computer graphics, in general, it is more efficient to perform processing that treats all polygons as convex polygons than to perform processing in a state where convex polygons and concave polygons are mixed. This is because the calculation for the concave polygon is heavier and takes longer than the calculation for the convex polygon. Thus, for example, when a figure such as the plane 30 made of a concave polygon as shown in FIG. 10 (a) is handled, this figure is not handled as one concave polygon, but in FIG. 10 (b). As shown, it is generally handled as an aggregate of a plurality of convex polygons 31, 32, 33. However, when the procedure of the present invention is carried out, there arises a situation in which the information that the plane 30 made of a concave polygon is made up of a set of a plurality of convex polygons 31, 32, 33 is lost. For example, in order to apply the radiosity method to the plane 30 shown in FIG. 10 (a), division as shown in FIG. 11 (a) is performed and a large number of triangles are defined. As described above, the illuminance is calculated for each of the vertices of these triangles, and further, the interpolation calculation is performed for the calculation points inside the triangles. Finally, the illuminance image as shown in FIG. L30 is obtained. However, since the information that the plane 30 is made up of a set of a plurality of convex polygons 31, 32, and 33 has been lost at the time when the division into triangles has already been performed, the illuminance image L30 is concave as it is. It will be handled as a single figure consisting of polygons.
[0033]
In such a case, in the step of obtaining the illuminance image, when the illuminance image L30 having an outline made of a concave polygon is obtained, the illuminance image is converted into an illuminance image having an outline made of a plurality of convex polygons. What is necessary is just to perform the process which divides | segments. Specifically, when the illuminance image for each plane is obtained, only outline information is extracted from these illuminance images, and based on this outline information, whether the shape of the illuminance image is a concave polygon What is necessary is just to perform the process which judges whether or not. For example, for the illuminance image L30 shown in FIG. 11 (b), a contour line 35 as shown in FIG. 12 (a) is extracted. It is possible to determine whether or not this figure is a concave polygon by using a method of tracing the contour line 35 as a vector locus as shown by the arrow in the figure (this method is well known and will be described in detail). Is omitted). And when it is judged that it is a concave polygon, the process which divides | segments the illumination intensity image L30 shown in FIG.11 (b) into several convex polygon is performed, for example, as shown in FIG.12 (b), What is necessary is just to perform the process substituted to the some illumination image L31, L32, L33.
[0034]
As mentioned above, although this invention was demonstrated based on embodiment shown in figure, this invention is not limited to this embodiment, In addition, it can implement with a various form. For example, in the above-described embodiment, the plane is divided into a large number of triangles in order to apply the radiosity method, but the divided shape is not necessarily a triangle, and may be a quadrangle or other polygons. .
[0035]
【The invention's effect】
As described above, according to the two-dimensional representation method of the three-dimensional structure according to the present invention, it is possible to realize realistic shadow expression of the radiosity method and to ensure sufficient interactivity. become.
[Brief description of the drawings]
FIG. 1 is a flowchart illustrating a procedure of a two-dimensional representation method of a three-dimensional structure according to an embodiment of the present invention.
FIG. 2 is a perspective view showing an example of a three-dimensional structure 100 formed by combining a plurality of planes.
3 is a plan view showing an example of a picture image to be mapped on a plane constituting the three-dimensional structure 100 shown in FIG. 2; FIG.
4 is a plan view showing a state in which a front wall surface 12 constituting the three-dimensional structure 100 shown in FIG. 1 is divided into a plurality of triangles. FIG.
5 is an enlarged view showing one of many triangles shown in FIG.
6 is a plan view showing an example in which an illuminance image is obtained by applying a radiosity method to each triangle shown in FIG. 4. FIG.
7 is a plan view showing a shaded pattern image LP12 obtained by combining the illuminance image L12 shown in FIG. 6 with the pattern image P12 shown in FIG. 3;
8 is a diagram showing an example of a data configuration prepared in the image preparation stage shown in FIG. 1. FIG.
9 is a perspective view showing a virtual space in the image display stage shown in FIG. 1. FIG.
FIG. 10 is a diagram showing a general method for treating a concave polygon as a set of convex polygons in the field of computer graphics.
FIG. 11 is a diagram illustrating a state in which information as a set of convex polygons is lost by applying the radiosity method to the concave polygon illustrated in FIG. 10;
FIG. 12 is a diagram illustrating a state in which an illuminance image including a concave polygon is divided and replaced with a plurality of illuminance images including a convex polygon.
[Explanation of symbols]
10 ... Room
11 ... Ceiling
12 ... Front wall
13 ... Right wall
14 ... Back wall
15 ... Left wall
16 ... Floor surface
20 ... object
21 ... Upper surface
22 ... Front side
23 ... To the right
30 ... Plane made of concave polygon
31-33 ... convex polygon
D (100): Three-dimensional structure data
D (LP11) to D (LP16) ... Data of shaded pattern image
D (LP21) to D (LP26) ... Data of shaded pattern image
E ... Viewpoint
L12 ... Illuminance image
L30: Illuminance image consisting of a concave polygon
L31, L32, L33 ... Illuminance image composed of convex polygons
35 ... contour line
LP12 ... Pattern image with shadow
P ... Player
P12 ... Picture image
P22 ... Picture image
Q ... Calculation points in the triangle
V1, V2, V3 ... vertex of triangle
W ... Field of view

Claims

コンピュータを利用して、三次元立体構造体に対して所定の観察条件を設定し、この観察条件に基いて前記三次元立体構造体を観察した状態を二次元画像として表示する三次元立体構造体の二次元表示方法であって、
凸多角形から構成される複数の平面を組み合わせてなる三次元立体構造体の情報が画像準備用コンピュータに入力されるステップと、
前記個々の平面にマッピングすべき絵柄画像の情報が前記画像準備用コンピュータに入力されるステップと、
前記三次元立体構造体に対して照明となる光源を設定する情報が前記画像準備用コンピュータに入力されるステップと、
前記画像準備用コンピュータが、前記個々の平面を多数の多角形に分割するステップと、
前記画像準備用コンピュータが、前記多数の多角形の各頂点位置について、前記光源からの直接光および前記三次元立体構造体からの反射もしくは拡散による間接光に基いて照度を求めるステップと、
前記画像準備用コンピュータが、前記個々の多角形の内部に所望の解像度で多数の演算点を定義し、各頂点位置の照度に基く補間演算により各演算点についての照度を求め、前記三次元立体構造体を構成する個々の平面について、照度の分布を示す照度画像を得るステップと、
前記画像準備用コンピュータが、得られた個々の照度画像から輪郭線の情報のみを抽出し、この輪郭線の情報に基づいて、当該照度画像の形状が凹多角形か否かを判断するステップと、
前記画像準備用コンピュータが、凹多角形であると判断された輪郭をもつ照度画像を、複数の凸多角形からなる輪郭をもった照度画像に分割する処理を行うステップと、
前記画像準備用コンピュータが、前記絵柄画像と、前記照度画像を得るステップにおいて得られた照度画像もしくは前記分割する処理が行われた場合には分割によって得られた個々の照度画像と、を合成することにより凸多角形からなる輪郭をもった陰影付絵柄画像の集合体を作成するステップと、
を有する画像準備段階と、
前記三次元立体構造体の情報、前記陰影付絵柄画像の集合体の情報、および前記三次元立体構造体に対する観察条件が画像表示用コンピュータに入力されるステップと、
前記画像表示用コンピュータが、前記観察条件における視野領域を求めるステップと、
前記画像表示用コンピュータが、前記三次元立体構造体の各平面のうち少なくとも前記視野領域に相当する部分に、前記陰影付絵柄画像をマッピングするステップと、
前記画像表示用コンピュータが、前記陰影付絵柄画像がマッピングされた前記視野領域に相当する二次元画像を表示するステップと、
を有する画像表示段階と、
から構成される三次元立体構造体の二次元表示方法。A three-dimensional structure that uses a computer to set predetermined observation conditions for the three-dimensional structure and displays a state in which the three-dimensional structure is observed based on the observation conditions as a two-dimensional image 2D display method,
A step of inputting information of a three-dimensional structure formed by combining a plurality of planes composed of convex polygons to an image preparation computer;
Information of the pattern image to be mapped to the individual planes is input to the image preparation computer;
Information for setting a light source for illumination with respect to the three-dimensional structure is input to the image preparation computer;
The image preparation computer dividing the individual planes into a number of polygons;
The image preparation computer, for each vertex position of the multiple polygons, obtaining illuminance based on direct light from the light source and indirect light by reflection or diffusion from the three-dimensional solid structure;
The computer for image preparation defines a large number of calculation points at a desired resolution inside the individual polygons, obtains illuminance at each calculation point by interpolation calculation based on the illuminance at each vertex position, and Obtaining an illuminance image showing an illuminance distribution for each plane constituting the structure;
The image preparation computer extracts only outline information from the obtained individual illuminance images, and determines whether or not the shape of the illuminance image is a concave polygon based on the outline information. ,
The image preparation computer performs a process of dividing an illuminance image having an outline determined to be a concave polygon into an illuminance image having an outline composed of a plurality of convex polygons;
The image preparation computer synthesizes the pattern image and the illuminance image obtained in the step of obtaining the illuminance image or the individual illuminance images obtained by the division when the division process is performed. Creating a collection of shaded pattern images with contours made of convex polygons,
An image preparation stage comprising:
Inputting the information of the three-dimensional solid structure, the information of the aggregate of the shaded pattern image, and the observation conditions for the three-dimensional solid structure into an image display computer;
The image display computer obtaining a visual field region in the observation conditions;
The image display computer mapping the shaded pattern image to at least a portion corresponding to the visual field region of each plane of the three-dimensional solid structure;
The image display computer displaying a two-dimensional image corresponding to the visual field region to which the shaded pattern image is mapped;
An image display stage having:
A two-dimensional display method of a three-dimensional structure composed of:

請求項１に記載の二次元表示方法において、
多角形の各頂点位置についての照度を求める際に、三次元立体構造体の各平面に絵柄画像をマッピングした状態での反射もしくは拡散を考慮した演算を行うことを特徴とする三次元立体構造体の二次元表示方法。The two-dimensional display method according to claim 1,
A three-dimensional solid structure characterized by performing an operation in consideration of reflection or diffusion in a state in which a pattern image is mapped to each plane of the three-dimensional solid structure when obtaining the illuminance at each vertex position of the polygon 2D display method.