JP2005284403A - 3次元情報出力システム、サーバ並びにクライアント - Google Patents

3次元情報出力システム、サーバ並びにクライアント Download PDF

Info

Publication number
JP2005284403A
JP2005284403A JP2004093548A JP2004093548A JP2005284403A JP 2005284403 A JP2005284403 A JP 2005284403A JP 2004093548 A JP2004093548 A JP 2004093548A JP 2004093548 A JP2004093548 A JP 2004093548A JP 2005284403 A JP2005284403 A JP 2005284403A
Authority
JP
Japan
Prior art keywords
information
texture
dimensional
unit
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004093548A
Other languages
English (en)
Inventor
Hiroshi Matsuzaki
弘 松▲崎▼
Yuichiro Akatsuka
祐一郎 赤塚
Takao Shibazaki
隆男 柴▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004093548A priority Critical patent/JP2005284403A/ja
Publication of JP2005284403A publication Critical patent/JP2005284403A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

【課題】生成された高画質な3次元画像を多数の利用者が簡易かつ効率的に利用できるようにすること。
【解決手段】少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3Dモデルデータベース105と、3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベース106と、3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する操作入力部107と、入力された情報に基づいて、3Dモデル情報データベース105及びテクスチャ情報データベース106から、3次元モデルの形状情報及びテクスチャ情報を選択するデータ選択部108と、選択結果に基づいて、3次元モデルの形状情報及びテクスチャ情報を読み出すデータ読み出し部109と、読み出し結果を出力するデータ出力部110とを具備する。
【選択図】 図1

Description

本発明は、3次元情報出力システム及び該3次元情報出力システムを構成するサーバ及びクライアントに関する。
近年、バーチャルリアリティの分野、インターネット上、さらには地図情報分野等、様々な場面で3次元形状モデルデータが有効に利用されるようになっている。3次元形状モデルデータを作成するにあたって、3次元形状を計測するために、3次元レーザスキャナのような専用の計測装置が必要であるが、このような装置では、3次元オブジェクトの高精細なテクスチャ情報を簡易に生成することができない。そのため、形状計測手段とは別な手段によりテクスチャを撮影し、3次元形状モデルの各ポリゴンに対して、対応するテクスチャ領域を手作業により領域分割を行い、更に、撮影時の視点方向によるテクスチャの歪みを補正した上で各ポリゴンに対してテクスチャマッピングを行うという方法がとられていた。
また、上記手法を簡略化する方法として、特開2001−243497号公報の「3次元画像処理法、3次元モデリング方法および3次元画像処理プログラムを記録した記録媒体」に示されるように、表示対象物体の概略形状モデルと、表示対象物体を撮影方向の情報を有する異なる方向から撮影した複数の画像を利用して、レンダリングを行おうとする視点方向と撮影方向とが最も近い撮影画像を複数の撮影画像の中から選択し、その撮影画像を、撮影位置を視点として投影を行い、投影された概略形状を、レンダリングを行おうとする視点方向からスクリーン上に透視投影して表示する方法が示されている。
さらに、特開2002−24850号公報の「三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体」では、複数の異なる視点からの撮影画像からパッチ面毎に最も解像度の高い画像を選択してそれぞれを各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを行う手法を用いている。さらに、各テクスチャ画像の光源条件の不一致による画像間、すなわちパッチ面の間の濃淡値の差の補正処理を実行する処理も行っている。補正処理としては、各フレーム間の画像濃淡値補正処理、各パッチ間のテクスチャ画像のずれ補正処理、各パッチ間の境界部分の濃淡スムージング補正処理を適用することにより高画質なテクスチャマッピングを可能として品質の高い3次元画像の生成を可能としている。
また、IEEE Virtual Reality 2003(March 22-26, 2003 Los Angeles California),P.61“Augmented Virtual Environment (AVE) : Dynamic Fusion of Imagery and 3D Models"に示されるように、形状モデルを有する3次元オブジェクトに対して対象オブジェクトを動画像として撮影し、そのカメラ位置姿勢情報より3次元オブジェクトのレンダリング、および対応するテクスチャの投影を行うことにより、テクスチャ付き3次元オブジェクトのレンダリングを行う手法も提案されている。
さらに、特開2003−296587号公報には、広域ネットワークを介して美術品の販売を支援するシステムとしてWeb3D画像による美術品の閲覧、3D画像によるバーチャル美術館を開設し、顧客への3次元データの販売を行うシステムを構築する方法に関する手法が提案されている。
特開2001−243497号公報 特開2002−24850号公報 IEEE Virtual Reality 2003(March 22-26, 2003 Los Angeles California),P.61“Augmented Virtual Environment (AVE) : Dynamic Fusion of Imagery and 3D Models" 特開2003−296587号公報
しかしながら、上記した特開2001−243497、特開2002−24850、“Augmented Virtual Environment (AVE) : Dynamic Fusion of Imagery and 3D Models"で示された3次元モデル生成手法によれば、3次元レンダリングは利用者の1台の演算装置内で行われ孤立したシステムとなっているため、生成された3次元画像の利用者は限定されたものとなっている。さらに、生成される3次元モデルに関しての管理方法、多数の3次元モデルを生成した場合の有効利用方法等が考慮されておらず、生成後の3次元モデルを後で効率的に利用することが困難となっている。
利用者にとっては、閲覧したい3次元モデルを簡易に探せ、簡易に閲覧するという要望があり、また、3次元モデルを生成する提供者にとっても、データの配信を簡易、かつ効率的に行えることが要望される。
また、特開2003−296587の例では、既に3次元モデルデータとして完成されたデータの配信に止まっており、従来のWeb3Dフォーマットに準じているため、視点ごとのテクスチャの最適化等がなされておらず、必ずしも最適な画像が生成されるとは限らない。
本発明はこのような課題に着目してなされたものであり、その目的とするところは、生成された高画質な3次元画像を広く多数の利用者が簡易かつ効率的に利用できる3次元情報出力システム、サーバ並びにクライアントを提供することにある。
上記の目的を達成するために、第1の発明は、少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、前記3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、前記読み出し部での読み出し結果を出力する出力部と、を具備する。
また、第2の発明は、第1の発明に係る3次元情報出力システムにおいて、前記3次元モデルの形状情報は、前記対象オブジェクトの設計情報である。
また、第3の発明は、第1の発明に係る3次元情報出力システムにおいて、前記3次元モデルのテクスチャ情報は、前記3次元モデルに対応する前記対象オブジェクトの一部を含む画像の情報を有する。
また、第4の発明は、第1の発明に係る3次元情報出力システムにおいて、前記3次元モデルのテクスチャ情報は、前記テクスチャ情報に含まれる前記テクスチャの一部と、前記3次元モデルとの相対的位置を特定することが可能な相対的位置特定情報を含む。
また、第5の発明は、第4の発明に係る3次元情報出力システムにおいて、前記テクスチャの一部は、少なくとも一部の形状情報が既知である前記対象オブジェクトを撮影手段で撮影した画像であり、前記相対的位置特定情報は、前記撮影手段により撮影された画像と、前記形状情報とに基づいて推定された、前記画像を撮影したときの前記撮影手段の位置の情報である。
また、第6の発明は、第1の発明に係る3次元情報出力システムにおいて、少なくとも一部の形状データが既知である前記対象オブジェクトの画像を撮影する撮影手段と、前記形状データと前記画像とに基づいて、前記画像を撮影した前記撮影手段の位置姿勢を推定し、かつ前記画像を構成する各フレームに対して前記位置姿勢を対応付ける対応付け手段と、をさらに具備し、前記3次元モデルのテクスチャ情報は、前記撮影手段と、前記対応付け手段とを用いて取得される。
また、第7の発明は、第1の発明に係る3次元情報出力システムにおいて、前記出力部から出力された前記3次元モデルの形状情報及び前記テクスチャ情報を用いて3次元レンダリング画像を生成するレンダリング処理部をさらに有する。
また、第8の発明は、サーバと当該サーバに通信回線で接続されたクライアントとからなる3次元情報出力システムであって、少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、前記3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、前記読み出し部での読み出し結果を出力する出力部と、を具備し、少なくとも前記3次元モデルデータベース、前記テクスチャデータベース及び前記読み出し部は、前記サーバに設けられている。
また、第9の発明は、第8の発明に係る3次元情報出力システムにおいて、前記出力部から出力された読み出し結果に基づいて課金情報の計算を行う課金計算部をさらに有する。
また、第10の発明は、サーバであって、クライアントと通信回線で接続され、少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、当該3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、前記読み出し部での読み出し結果を出力する出力部と、を具備する3次元情報出力システムにおいて用いられ、少なくとも前記3次元モデルデータベースと、前記テクスチャデータベースと、前記読み出し部とを備えている。
また、第11の発明は、クライアントであって、サーバと通信回線で接続され、少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、当該3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、前記読み出し部での読み出し結果を出力する出力部と、を具備し、前記サーバが少なくとも前記3次元モデルデータベースと、前記テクスチャデータベースと、前記読み出し部とを備えた3次元情報出力システムにおいて用いられる。
本発明によれば、生成された高画質な3次元画像を広く多数の利用者が簡易かつ効率的に利用できるようになる。
以下、図面を参照して本発明の実施形態を詳細に説明する。
(第1実施形態)
図1は、本発明の第1実施形態に係る3次元情報出力システムの概略構成図である。コンピュータ等により構成される演算装置101は、本システムにおける情報処理を行う部分である。演算装置101には、CRT、液晶モニタ、あるいはヘッドマウントディスプレイ等により構成される表示装置102と、キーボード、マウス等の入力装置103と、マウス等の指示装置104とが接続されている。
さらに、演算装置101には、3次元形状モデルに関する情報が登録された3次元(3D)モデルデータベース105と、3次元情報に対応する2次元の画像、映像情報が登録されたテクスチャ情報データベース106とが接続されている。演算装置101は要求によりこれらのデータベース105、106から必要なデータを読み出したり、新たに登録したりすることができる。これらのデータベース105,106は、図1に示されるように演算装置101の内部にあっても良いが、特にこの構成に限定されることなく、それぞれ独立なデータベースとして設置されていても、またはネットワーク接続されていてもよいものである。
演算装置101は、操作入力部107、データ選択部108、データ読み出し部109、データ出力部110、3次元モデル生成処理部111、3次元画像レンダリング処理部112を有し、これらは順に接続されている。
このような構成において、入力装置103、あるいは指示装置104からの入力情報は、演算装置101内の操作入力部107で受け付けられ、内部形式に変換された上でデータ選択部108へ送信される。データ選択部108では必要となるデータの選択処理を行うとともに、3Dモデルデータベース105あるいはテクスチャ情報データベース106への問い合わせ処理を行う。データ読み出し部109は、3Dモデルデータベース105あるいはテクスチャ情報データベース106から直接データの読み出し処理を行い、演算装置101内部にデータを保持する。
データ出力部110は、読み出されたデータを3次元モデルを生成するために必要な形式に変換した上で3次元モデル生成処理部111へ送信する。ここでは実際の3次元モデル生成処理を行う。3次元画像レンダリング処理部112は、生成された3次元モデルを最終的に表示装置102へ出力する形式に変換する。表示装置102は3次元モデルを実際に表示する。
図2は、図1で説明した3次元情報出力システムの他の構成例を示す図であり、特に、3次元モデル生成処理部111に対応する部分の詳細な構成を示している。
コンピュータ等により構成される演算装置201は、本システムにおける情報処理を行う部分である。演算装置201には、カメラ等の画像入力装置205と、GPS、ジャイロ等の補助位置・姿勢計測装置で構成される補助データ入力装置206と、CRT、液晶モニタ、あるいはヘッドマウントディスプレイ等により構成される表示装置202と、マウス等の指示装置204と、キーボード、マウス等の入力装置203とが接続されている。
また、演算装置201は、データ入力部209、特徴点・線分・領域抽出処理演算部210、カメラ位置・姿勢情報演算部211、画像対応位置・姿勢情報関連付け部212、レンダリング情報演算部213、テクスチャ投影情報演算部214、複数視点画像統合演算部215、ポリゴン/最適テクスチャ関連付け部216を有し、これらは順に接続されている。
演算装置201はさらに、3次元(3D)モデルデータベース207と、テクスチャ情報データベース208とを内部に有している。3次元モデルデータベース207には、モデリングの対象となる3次元形状情報が予め登録してあり、さらに、上記した各部210〜216により処理されたデータを新規に登録するために用いられる。上記データベース207、208は演算装置201に付随するものでも、または遠隔地にあり演算装置201とデータの通信手段を持つものとしても良い。
特徴点・線分・領域抽出処理演算部210は、データ入力部209を介して入力された動画像、または連続する画像列の各画像等のデータより後の処理において必要となる特徴となる点、線分、領域を認識・抽出する部分である。カメラ位置・姿勢情報演算部211は、特徴点・線分・領域抽出処理演算部210で抽出された特徴点・線分・領域より各画像に対する画像入力装置の位置・姿勢情報を算出する部分である。画像対応位置・姿勢情報関連付け部212は、各画像と対応する位置姿勢情報を対応づける部分である。レンダリング情報演算部213は、3次元モデルを位置姿勢情報に基づいてレンダリングを行う部分である。テクスチャ投影情報演算部214は、レンダリング情報演算部213でレンダリングされた3次元モデルに対して、テクスチャをマッピング、または投影を行う部分である。複数視点画像統合演算部215は、複数の視点より撮影・入力された画像に対して合成を行い、全周画像の作成を行う部分である。ポリゴン/最適テクスチャ関連付け部216は、各ポリゴンに対して最適テクスチャを選択、または生成する部分である。
次に3次元モデリングの基本的な処理を、図3(A)〜(D)、および図4のフローチャートを用いて説明する。例えば図3(A)に示すような3次元形状モデルを予め3次元形状計測装置により計測してデータベースに登録しておく。3次元形状モデルは、頂点情報、頂点接続情報からなるものとなる。但し、その他、任意の3次元形状表現形式を利用することも可能である。このときの計測は、レーザスキャナ、ステレオ計測、光切断法等の一般的な3次元形状計測器で行うことが可能であり、3次元形状モデルを生成する。データベース登録の際には各部分オブジェクトに対する属性情報、すなわち、ポリゴン頂点位置座標、ポリゴンに対応ずる固有な名称、材質、色、建造年月日等、関連する任意の情報を登録する。
まず、図4のフローチャートのステップS401では、図3(B)に示すように、対象とするオブジェクトに対して視点を移動しながら動画像または連続する画像列としてカメラ205により当該対象オブジェクトを撮影する。対象オブジェクトの全周の3次元画像を得るためには複数の方向からの撮影が必要となる。
次に、ステップS402では、動画像、または時間的に連続する画像列として撮影した各画像内において、特徴となる点や線分、領域の抽出を行う。特徴領域の抽出は、画像内の濃度変化、エッジ等の特徴的な領域を各種フィルタ処理により抽出することとする。次にステップS403では、抽出された特徴領域の画像内での時間的変化を追跡することにより、三角測量の原理により、各特徴領域までの距離を算出する。次に、ステップS404では、これらの情報に基づいてカメラの位置姿勢を算出する。特徴点、特徴線分、特徴領域の画像列間における追跡処理は、カルマンフィルタによる方法や、画像間の差分をとること等、任意の手段での追尾処理を利用することが可能である。
次にステップS405では、ステップS403で推定された位置姿勢情報と、補助データ入力からのデータとの融合処理を行う。次にステップS406では、位置姿勢推定のために利用した特徴領域に対して有効度に基づいた重み付けを行う。
次に、ステップS407では、複数の位置姿勢情報に基づいて最適化された位置姿勢情報の算出を行う。最適化は位置姿勢の算出の際のみならず、3次元モデルを構成する各ポリゴンに対応するテクスチャ領域の割り当てを行う場合にも、映像における各フレームごとにテクスチャ内の対応領域を求め、ポリゴンに対応付けられた複数のフレームのテクスチャ領域の平均化や、視線情報に基づいた最適化されたテクスチャを生成することにより行われる。また、複数の方向からの映像を利用して全周画像を得ることになるが、この際にも、異なる方向からの投影の際に、3次元モデル上での重複領域のポリゴンに対しては、割り当てられるテクスチャの最適化処理を行う手段を備えている。
次に、ステップS408では、図3(C)に示すように、算出されたカメラの位置姿勢情報に基づき、3次元形状モデルを表示装置上に表示する。次に、ステップS409では、表示された3次元形状モデル上に撮影された画像をテクスチャマッピング(または投影)する。
以上の手法により、図3(D)で示されるように、3次元形状モデルの全周への最適なテクスチャマッピングまたは投影を行うことができる。
上記手法により算出された情報はすべてデータベース化して登録しておき、処理後、任意にデータベースからデータを読み出すことにより、途中の処理を改めて行うことなく3次元モデルとテクスチャとの対応付けを行うことが可能となり、簡易に3次元モデリングを行うことが可能となる。
図5は、データベース化する項目について説明するための図である。図5に示すように、処理前の原データとして、3次元形状モデルデータ501、対象オブジェクトを撮影した映像502、補助カメラ位置姿勢データや計測装置からのデータ503とがある。また、処理結果データとして、各映像の各フレームに対応するカメラ位置姿勢データ504、各ポリゴンと位置姿勢に対応した最適化されたテクスチャデータ505等がある。その他、適宜必要なデータはデータベースに登録できるようになっている。
3次元形状モデルデータとしては、計測により得られたデータであっても、また、設計によるCADデータでもよい。さらには、近年3次元データ表現形式の一般的な呼称としてのWeb3D形式のデータを利用することも可能であり、3次元形状を表現する形式のデータであれば任意の形式のデータを扱うことができる。
図6は、本実施形態における利用者端末に表示される画面構成の一例を示す図である。6−1が、表示領域を示しており、その表示領域内には、テクスチャマッピング、または投影の行われた3次元オブジェクトのレンダリングウィンドウ6−2が表示され、このウィンドウ6−2内では3次元オブジェクトの任意視点での表示を行うことができる。また、サブウィンドウ6−3〜6−5を設け、各視点におけるテクスチャマッピング、または投影された画像と撮影時の生画像が表示できるようにしておく。さらに、コントロールボックス6−6を設けることにより、3次元画像の視点移動制御、各サブウィンドウ内での表示画像の切り替え等の制御を行うことができる。但し、視点変更は、ウィンドウ6−2内で指示装置の操作によっても行うようにしておくことが可能である。
(第2実施形態)
次に、本発明の第2実施形態について説明する。本発明の第2実施形態では、3次元情報出力システムをサーバ・クライアント型のネットワークを介したシステムに適用したことを特徴とする。
図7は、第2実施形態における、ネットワークを介したデータ配信の一例を説明するための図である。3次元モデル生成装置701で生成された3次元モデルは、データベース702に登録される。データベース702のデータは、サーバ703によりネットワーク707を介してPC(パーソナルコンピュータ)704やPDA(Personal Digital Assistants)705あるいは携帯端末706等の各端末装置に配信される。
データベース702は、生成された3次元モデルが登録される他に、モデリングの対象オブジェクトをカメラで撮影したモデリング前の映像や、モデリング前のテクスチャなしの形状のみのモデルを登録しておくデータベースとしても利用される。ネットワーク707としては、WWW(World Wide Web)が一般に用いられるが、特に限定されることなく、任意のネットワークを介してデータ通信が行われる。
図8は、サーバ・クライアント型システムの具体的な構成例を示す図であり、クライアントしての端末装置801と、サーバ装置802とがネットワークを介して接続されている。端末装置801には、出力装置としての表示装置803、入力装置としてのキーボード804、指示装置としてのマウス805が接続されている。
サーバ装置802は、データ選択部809、データ読み出し部810、データ出力部811、3次元モデル生成処理部812、3次元画像レンダリング処理部813を有しており、さらに、3次元モデルデータベース806及びテクスチャ情報データベース807が接続されている。また、端末装置801は、操作入力部808、3次元モデル生成処理部814、3次元画像レンダリング処理部815を有している。
入力装置804あるいは指示装置805により入力された操作データは、操作入力部808において内部形式に変換される。この操作データはその後、ネットワーク820−1を介してデータ選択部809に送信される。データ選択部809では、3次元モデルデータベース806とテクスチャ情報データベース807とを参照しながら、データ読み出し部810へデータ読み出しの指示を送信する。データ読み出し部810は、3Dモデルデータベース806及びテクスチャ情報データベース807から実際にデータを演算内に読み込む。3次元モデル生成処理部812は、読み込まれたデータに基づいて3次元モデル生成処理を行う。また、データ出力部811は、端末装置801内の3次元モデル生成処理部814が3次元モデルを生成するのに必要とするデータをネットワーク820−2を介して当該3次元モデル生成処理部814に送信する。
上記したように、サーバ装置802内の3次元モデル生成処理部812は3次元モデル生成処理を行うが、ここで生成されたレンダリング画像を2次元画像としてネットワーク820−3を介して端末装置(クライアント装置)801側に送信し、3次元画像レンダリング処理部815を通して表示を行うことも可能である。あるいは、サーバ装置802側から送信されたデータを利用して端末装置801側で生成処理を行うことにより3次元画像レンダリング処理部815で処理を行うことにより表示装置803により表示を行うことも可能となる。
図9は、生成された3次元画像データの出力方法について説明するためのフローチャートである。ステップS901では、閲覧用データの作成と、作成した閲覧用データを利用者へ送信する。また、生成されたすべての3次元データに関し、少なくとも1つの予め設定された視点からのレンダリング画像を生成しておき、サムネイル画像として登録しておく。
ステップS902では、利用者側の端末において、サーバに登録されている3次元画像データの閲覧を行う。閲覧時には、サーバ側で登録されているサムネイル画像を配列状に並べて表示したり、属性情報をリスト状に表示したりして詳細表示を行いたいデータの選択が行えるようなユーザインタフェースを表示する。ステップS903では、利用者により選択された選択情報をサーバ側へ送信する。
ステップS904では、利用者側端末から送信された選択情報に基づき、選択されている3次元データへアクセスを行う。ステップS905では3次元画像データへアクセスした後で、先ず初期3次元表示を行うために、予め設定された初期視点でのレンダリングを行う。ステップS906では、レンダリングされた結果としての2次元画像を利用者側端末に送信する。ステップS907では、利用者が表示条件の変更を指定する操作を行う。ステップS908で、利用者から送信された表示条件に基づいたレンダリング処理を実行する。ステップS909では、変更されたレンダリング結果を再度、利用者側端末に送信する。以上、ステップS907からステップS909の操作を繰り返し行うことにより、利用者は、インタラクティブに3次元画像を任意視点で表示して閲覧することが可能となる。
(第3実施形態)
次に、本発明の第3実施形態について図10及び図11を参照して説明する。本発明の第3実施形態では、利用者が選択・詳細閲覧を行った3次元画像データを利用者側の端末にダウンロード、さらにはダウンロードする際に課金計算を行う手段を有することを特徴とする。ここでは、図9で説明した3次元画像表示までを行った後で、利用者に対し、図11のステップS910のステップにおいて、ダウンロードの必要があるか否かの問い合わせを行うユーザインタフェースを例えば、図6のコントロールパネル6−6内に設けておき、問い合わせがなされたときに、利用者は問い合わせに対しYESかNOかの回答をサーバ側に送信する。YESの回答が返信された場合には、ステップS911のステップにおいて、サーバ装置802は、必要な3次元画像データを端末装置801に送信する。送信されたデータは端末装置801内の記憶装置に保存される。利用者は、記憶装置に保存されたデータを任意に閲覧してみることができる。
ここで、3次元画像データを端末装置801側にダウンロードする際に、課金判断部816で課金の判断を行い、課金計算部817で課金情報の計算を行うようにする。すなわち、ステップS909を実行した後、ダウンロードするか否かを判断し(ステップS910)、YESの場合には、ダウンロードを実行する(ステップS911)。このとき、課金計算のステップS912を実行し、ダウンロードするデータの種類に応じた量の課金を発生するようにしても良い。すなわち、3次元形状データ、映像データ、視点情報、生成された3次元レンダリング画像データ等、それぞれのデータの配信により異なる量の課金を行う。さらに、3次元レンダリングデータに関しても、画質に応じた課金を行うことが可能である。低画質の画像に対しては課金を行わず、高画質な画像に対して課金を行うという構造を構築することも考えられる。
(第4実施形態)
次に、本発明の第4実施形態について説明する。本発明の第4実施形態では、3次元形状モデルに対し、異なる時間帯における動画像を複数撮影しておき対応付けることを特徴とする。すなわち、第1実施形態で述べた方法により、ある時間における3次元モデルの生成を行うことができるが、同様な手法を異なる複数の時間帯においてテクスチャ画像の取得を行い、予め設定された1つの3次元形状モデルに対して適用することも可能である。
図12は、本発明の第4実施形態を具体的に説明するための図である。ここでは図12に示すように、時間t1において、3次元形状モデル900の構成要素1(901−1)について、視点1の範囲での最適テクスチャ902−1、視点2の範囲での最適テクスチャ902−2、視点nの範囲での最適テクスチャ902−nをそれぞれ取得するとともに、3次元形状モデル900の構成要素2(901−2)について、視点1の範囲での最適テクスチャ903−1、視点2の範囲での最適テクスチャ903−2、視点nの範囲での最適テクスチャ903−nをそれぞれ取得するとともに、3次元形状モデル900の構成要素3(901−3)について、視点1の範囲での最適テクスチャ904−1、視点2の範囲での最適テクスチャ904−2、視点nの範囲での最適テクスチャ904−nをそれぞれ取得する。
次に、時間t2において、3次元形状モデル900の構成要素2(901−2)について、視点1の範囲での最適テクスチャ905−1、視点2の範囲での最適テクスチャ905−2、視点nの範囲での最適テクスチャ905−nをそれぞれ取得するとともに、3次元形状モデル900の構成要素2(901−2)について、視点1の範囲での最適テクスチャ906−1、視点2の範囲での最適テクスチャ906−2、視点nの範囲での最適テクスチャ906−nをそれぞれ取得するとともに、3次元形状モデル900の構成要素3(901−3)について、視点1の範囲での最適テクスチャ907−1、視点2の範囲での最適テクスチャ907−2、視点nの範囲での最適テクスチャ907−nをそれぞれ取得する。
さらに時間tnにおいて、3次元形状モデル900の構成要素1(901−1)について、視点1の範囲での最適テクスチャ908−1、視点2の範囲での最適テクスチャ908−2、視点nの範囲での最適テクスチャ908−nをそれぞれ取得するとともに、3次元形状モデル900の構成要素2(901−2)について、視点1の範囲での最適テクスチャ909−1、視点2の範囲での最適テクスチャ909−2、視点nの範囲での最適テクスチャ909−nをそれぞれ取得するとともに、3次元形状モデル900の構成要素3(901−3)について、視点1の範囲での最適テクスチャ910−1、視点2の範囲での最適テクスチャ910−2、視点nの範囲での最適テクスチャ910−nをそれぞれ取得する。
また、3次元形状として複数のものを利用し、さらに時間帯に関しても、それぞれ複数の時間帯のテクスチャを関連付けておくことも可能である。例えば、同一の日における、朝、昼、夜のテクスチャである場合や、季節として、春夏秋冬に対してそれぞれテクスチャを撮影しておくことも可能である。これらの、図12に示す異なる時間帯t1、t2、…、tnに対する、各ポリゴン、視点位置における最適テクスチャを算出した上で、データベースを登録しておく。利用者端末側の表示ウィンドウ内に、異なる時間帯を指定するコントロールが配置されており、各時間帯の指定を行うことができ、利用者は、任意の時間帯における任意視点の最適な高画質3次元画像を閲覧し、要望に応じてデータをダウンロードすることができる。
(第5実施形態)
図13は、本発明の第5実施形態を説明するための図である。第5実施形態はデータの流れの変形例である。すなわち、3次元画像レンダリングに必要な基本データを予め利用者端末側に送信しておき、端末側でのレンダリング処理、および表示を行うことを特徴とする。
ステップS1201〜S1204では、第1実施形態と同様な処理を行い、サーバ側のデータベース上の必要なデータへのアクセス処理を行う。すなわち、ステップS1205で、サーバ側から、3次元レンダリングに必要なデータを端末側に送信する処理を行う。ステップS1206では、表示条件の設定と、設定された表示条件に基づきレンダリング処理を行う。ステップS1207で、レンダリング処理により生成された結果を表示する。
なお、第2実施形態においては、サーバ側で生成された3次元画像を2次元画像に投影したデータを連続的に配信するとともに、利用者端末側で3次元画像の生成、および表示装置への表示を行っていたが、サーバ側と利用者端末側での処理の内容を分担させることも可能であり、これにより総合的な最適化配信形態を実現することが可能となる。または、初期状態では、システムが予め設定された演算処理の分担により3次元画像レンダリングが行われるように設定されているが、利用者が、当該利用者側の端末からの操作により、サーバ側と利用者側の演算装置での処理内容を適切に設定できる機能を有するようにシステムを構築することも可能である。
(第6実施形態)
第6実施形態は本発明を3次元GIS(地理情報システム)に適用したことを特徴とし、ここでは都市空間における景観シミュレーションシステムを考える。都市空間のモデリングを行うためには、車載カメラによる道路上からの映像や、航空機からの空撮影像等、様々な角度からの撮影を行うことにより、対象モデルの全周へのテクスチャの割り当てを行って3次元モデリングを行う。
図14は、都市空間の一部を表した図であり、道路957に沿って複数のビル951〜956が存在する。このような3次元形状モデルを実際の現場でレーザスキャナー等の3次元形状計測器等で計測すると共に、周辺の映像をカメラで撮影したものを組み合わせておくことにより、第1実施形態において説明した手法により3次元モデリングを行うことができ、生成されたデータをデータベースに登録する。
利用者は、端末から必要とされる都市データへのアクセスを行う。必要に応じて、利用する空間の範囲を指定することも可能である。指定されたデータに対し、サーバ側で3次元データを生成、または、端末側へデータを配信し、利用者端末側では、視点情報、ウォークスルー情報等表示条件を設定し、生成された3次元空間内での景観シミュレーションを行うことが可能になる。
(第7実施形態)
以下に、図15のフローチャートを参照して本発明の第7実施形態を説明する。第7実施形態は3次元放送システムに関するものである。3次元放送システムは、3次元画像の時間変化も合わせて表示できるようなシステムとして構築され、利用者は、任意のシーンにおいて、任意の視点からの閲覧ができるものである。ステップS1401では、先ず、放送の場面、および環境の3次元形状モデルを予め配信する。ステップS1402において、受信側では、セットトップボックスやPC等の端末上で3次元データの再構成を行う。ステップS1403では、番組が開始すると同時に、複数の視点からの映像(2次元動画像)を送信する。ステップS1404では、受信側でのデータ受信を行う。
ステップS1405で、受信した複数の映像を利用者の指示に基づく視点情報により合成処理を行い、ステップS1406で、3次元形状モデル上への投影処理を行いそのレンダリング画像を表示装置上に表示する。ステップS1407で、視聴者は、放送中、任意の視点に変更して映像を視聴することが可能であり、また、必要に応じて専用の録画器に録画しておくこともでき、この場合も、再生中には任意の場面で、任意の視点での表示が可能である。
本実施形態では、3次元形状モデルを最初に取得した上で、放送時に随時、映像データを連続的に取得する方法を記述したが、3次元画像が直接連続的に配信される方法であっても、また、放送開始の時点で3次元データと、映像データのすべてを予め配信した上で放送を開始するというシステム構築を行うことも可能である。この実施形態においても、課金システムを付加することにより必要に応じた料金徴収を行うシステムを構築することができる。
(付記)
上記した具体的な実施形態から、以下のような構成の発明を抽出することができる。
1.少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、前記3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
前記読み出し部での読み出し結果を出力する出力部と、
を具備することを特徴とする3次元情報出力システム。
(作用・効果)
この構成は、上記した第1実施形態に対応する。3次元情報を出力するシステムにおいて、出力されるデータとしては、主に、3次元形状に関するデータと、形状の表面に貼り付けられるテクスチャ情報とに分類することが可能である。ところで、対象とする物体に関し、形状に関しては一度計測を行うことにより、その形状変化が起きない状況においては一組の形状データがあれば、物体形状を表現することが可能である。しかし、表面に貼り付けられるテクスチャに関しては、基本的には形状に対応する一組のテクスチャがあればテクスチャ付きの三次元レンダリングを行うことができるのであるが、物体を撮影する状況、例えば異なる時間における計測等でそれぞれ異なるテクスチャとなる可能性が高くなる。このような場合、テクスチャデータベースを別に設置し、形状データに対応する複数のテクスチャを登録しておくことにより効率的に3次元モデルに対応付けするテクスチャの選択、レンダリング処理を行うことが可能となる。
2.前記3次元モデルの形状情報は、前記対象オブジェクトの設計情報であることを特徴とする1に記載の3次元情報出力システム。
(作用・効果)
この構成は、上記した第1実施形態に対応する。CAD情報は通常形状を主体とした扱い方がなされており、表面のテクスチャは付随的となる場合が多い。しかし、テクスチャを貼り付けて表現することにより、よりリアルな表現を行うことが可能となり、CADの3次元モデルデータと別に用意されたテクスチャデータベースと合わせて利用することにより、より効果的な3次元情報システムを構築することが可能となる。
3.前記3次元モデルのテクスチャ情報は、前記3次元モデルに対応する前記対象オブジェクトの一部を含む画像の情報を有することを特徴とする1に記載の3次元情報出力システム。
(作用・効果)
この構成は、上記した第1実施形態に対応する。3次元レンダリングを行う際には3次元形状モデルの各ポリゴンに対応するテクスチャ情報が必要となる。したがって、モデリングに利用するテクスチャには少なくともオブジェクトの一部を含む必要があり、複数の、オブジェクトの一部を含むようなテクスチャから、対象とするオブジェクト全周のテクスチャ情報を得ることが可能となる。
4.前記3次元モデルのテクスチャ情報は、前記テクスチャ情報に含まれる前記テクスチャの一部と、前記3次元モデルとの相対的位置を特定することが可能な相対的位置特定情報を含むことを特徴とする1に記載の3次元情報出力システム。
(作用・効果)
この構成は、上記した第1実施形態に対応する。3次元モデルに対してテクスチャを対応付けするためには、テクスチャを撮影したときの撮影装置の位置が必要になる。また、ここでは特に絶対位置である必要はなく、撮影装置と、撮影されたテクスチャの相対位置であれば、3次元レンダリング処理を行うためには十分な情報となる。
5.前記テクスチャの一部は、少なくとも一部の形状情報が既知である前記対象オブジェクトを撮影手段で撮影した画像であり、
前記相対的位置特定情報は、前記撮影手段により撮影された画像と、前記形状情報とに基づいて推定された、前記画像を撮影したときの前記撮影手段の位置の情報であることを特徴とする4に記載の3次元情報出力システム。
(作用・効果)
この構成は、上記した第1実施形態に対応する。視点を移動しながら撮影された映像による画像入力装置の位置姿勢情報の算出を行い、この位置姿勢情報に基づいた3次元形状への投影を自動的に行う手法を用いて3次元レンダリングを行うため簡易にシステムを構成することが可能である。また、3次元画像生成は最適化されたテクスチャを生成して行うため高画質化を達成することも可能であるため、利用者側からも、上記、高画質な状態でのデータベース化された画像を利用することができる。
6.少なくとも一部の形状データが既知である前記対象オブジェクトの画像を撮影する撮影手段と、
前記形状データと前記画像とに基づいて、前記画像を撮影した前記撮影手段の位置姿勢を推定し、かつ前記画像を構成する各フレームに対して前記位置姿勢を対応付ける対応付け手段と、をさらに具備し、
前記3次元モデルのテクスチャ情報は、前記撮影手段と、前記対応付け手段とを用いて取得されることを特徴とする1に記載の3次元情報出力システム。
(作用・効果)
この構成は、上記した第1実施形態に対応する。視点を移動しながら撮影された映像による画像入力装置の位置姿勢情報の算出を行い、この位置姿勢情報に基づいた3次元形状への投影を自動的に行う手法を用いて3次元レンダリングを行うため簡易にシステムを構成することが可能である。また、3次元画像生成は最適化されたテクスチャを生成して行うため高画質化を達成することも可能であるため、利用者側からも、上記、高画質な状態でのデータベース化された画像を利用することができる。
7.前記出力部から出力された前記3次元モデルの形状情報及び前記テクスチャ情報を用いて3次元レンダリング画像を生成するレンダリング処理部をさらに有することを特徴とする1に記載の3次元情報出力装置。
(作用・効果)
この構成は、上記した第1実施形態が対応する。形状情報と、テクスチャ情報とを合わせて3次元レンダリング画像を生成する処理を行うことになるが、3次元レンダリング処理部を独立したモジュールとしておくことにより、3次元形状情報、およびテクスチャ情報の出力部との独立性により、システムの構成を柔軟に行うことが可能となる。
8.サーバと当該サーバに通信回線で接続されたクライアントとからなる3次元情報出力システムであって、
少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、前記3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
前記読み出し部での読み出し結果を出力する出力部と、
を具備し、
少なくとも前記3次元モデルデータベース、前記テクスチャデータベース及び前記読み出し部は、前記サーバに設けられていることを特徴とする3次元情報出力システム。
(作用・効果)
この構成は、上記した第2、第3、第5実施形態が対応する。サーバ・クライアント型のシステムとすることにより、遠隔からの3次元オブジェクトの閲覧、操作を行うことが可能となり、さらに生成された3次元オブジェクトの配信という観点からも好ましいシステム構成とすることができる。また、このような形態とすることにより、演算装置が、サーバ側とクライアント側に分散されるため、処理の負荷の大きさにしたがって、処理の分散化による処理の効率化も期待される。
9.前記出力部から出力された読み出し結果に基づいて課金情報の計算を行う課金計算部をさらに有することを特徴とする8に記載の3次元情報出力システム。
(作用・効果)
この構成は、上記した第3、第7実施形態に対応する。データの配信において、利用者端末側に配信されるデータに対して課金を行う場合、全データを利用者端末側に送信するのでなく、適切な区別を行う必要があるが、データの種類には、簡略化されたデータから、詳細なデータ、または、3次元形状データと映像データ、処理前のデータと、処理後のデータ等まで様々なタイプがある。そこで、配信されるデータの種類により、課金の行い方も変えるシステムを構築することが可能である。このようなシステムとすることにより、利用者側からは、要望にあったタイプの画質のデータを選択的に取得することが可能であり、また、データ提供者側からは、画質に応じた課金設定を行うことで、1つのシステムで様々な要望タイプの顧客への対応を行うことができるためコスト削減につながるシステムとなる。
10.クライアントと通信回線で接続され、
少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、当該3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
前記読み出し部での読み出し結果を出力する出力部と、
を具備する3次元情報出力システムにおいて用いられるサーバであって、
少なくとも前記3次元モデルデータベースと、前記テクスチャデータベースと、前記読み出し部とを備えていることを特徴とするサーバ。
(作用・効果)
この構成は、上記した第2、第3、第5実施形態に対応する。サーバ・クライアント型のシステムとすることにより、遠隔からの3次元オブジェクトの閲覧、操作を行うことが可能となり、さらに生成された3次元オブジェクトの配信という観点からも好ましいシステム構成とすることができる。また、このような形態とすることにより、演算装置が、サーバ側とクライアント側に分散されるため、処理の負荷の大きさにしたがって、処理の分散化による処理の効率化も期待される。
11.サーバと通信回線で接続され、
少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、当該3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
前記読み出し部での読み出し結果を出力する出力部と、
を具備し、前記サーバが少なくとも前記3次元モデルデータベースと、前記テクスチャデータベースと、前記読み出し部とを備えた3次元情報出力システムにおいて用いられることを特徴とするクライアント。
(作用・効果)
この構成は、上記した第2、第3、第5実施形態に対応する。サーバ・クライアント型のシステムとすることにより、遠隔からの3次元オブジェクトの閲覧、操作を行うことが可能となり、さらに生成された3次元オブジェクトの配信という観点からも好ましいシステム構成とすることができる。また、このような形態とすることにより、演算装置が、サーバ側とクライアント側に分散されるため、処理の負荷の大きさにしたがって、処理の分散化による処理の効率化も期待される。
本発明の第1実施形態に係る3次元情報出力システムの概略構成図である。 図1で説明した3次元情報出力システムの他の構成例を示す図である。 3次元モデリングの基本的な処理の概略を説明するための図である。 3次元モデリングの基本的な処理の詳細を説明するためのフローチャートである。 データベース化する項目について説明するための図である。 本実施形態における利用者端末に表示される画面構成の一例を示す図である。 本発明の第2実施形態における、ネットワークを介したデータ配信の一例を説明するための図である。 サーバ・クライアント型のシステムの具体的な構成例を示す図である。 生成された3次元画像データの出力方法について説明するためのフローチャートである。 本発明の第3実施形態の具体的な構成例を示す図である。 本発明の第3実施形態の手順を説明するためのフローチャートである。 本発明の第4実施形態を具体的に説明するための図である。 本発明の第5実施形態を説明するための図である。 本発明の第6実施形態を説明するための図である。 本発明の第7実施形態を説明するためのフローチャートである。
符号の説明
101…演算装置(コンピュータ)、102…表示装置(CRT)、103…入力装置(キーボード)、104…指示装置(マウス)、105…3Dモデルデータベース、106…テクスチャ情報データベース、107…操作入力部、108…データ選択図、109…データ読み出し部、110…データ出力部、111…3次元モデル生成処理部、112…3次元画像レンダリング処理部。

Claims (11)

  1. 少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
    前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
    前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
    前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、前記3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
    前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
    前記読み出し部での読み出し結果を出力する出力部と、
    を具備することを特徴とする3次元情報出力システム。
  2. 前記3次元モデルの形状情報は、前記対象オブジェクトの設計情報であることを特徴とする請求項1に記載の3次元情報出力システム。
  3. 前記3次元モデルのテクスチャ情報は、前記3次元モデルに対応する前記対象オブジェクトの一部を含む画像の情報を有することを特徴とする請求項1に記載の3次元情報出力システム。
  4. 前記3次元モデルのテクスチャ情報は、前記テクスチャ情報に含まれる前記テクスチャの一部と、前記3次元モデルとの相対的位置を特定することが可能な相対的位置特定情報を含むことを特徴とする請求項1に記載の3次元情報出力システム。
  5. 前記テクスチャの一部は、少なくとも一部の形状情報が既知である前記対象オブジェクトを撮影手段で撮影した画像であり、
    前記相対的位置特定情報は、前記撮影手段により撮影された画像と、前記形状情報とに基づいて推定された、前記画像を撮影したときの前記撮影手段の位置の情報であることを特徴とする請求項4に記載の3次元情報出力システム。
  6. 少なくとも一部の形状データが既知である前記対象オブジェクトの画像を撮影する撮影手段と、
    前記形状データと前記画像とに基づいて、前記画像を撮影した前記撮影手段の位置姿勢を推定し、かつ前記画像を構成する各フレームに対して前記位置姿勢を対応付ける対応付け手段と、をさらに具備し、
    前記3次元モデルのテクスチャ情報は、前記撮影手段と、前記対応付け手段とを用いて取得されることを特徴とする請求項1に記載の3次元情報出力システム。
  7. 前記出力部から出力された前記3次元モデルの形状情報及び前記テクスチャ情報を用いて3次元レンダリング画像を生成するレンダリング処理部をさらに有することを特徴とする請求項1に記載の3次元情報出力システム。
  8. サーバと当該サーバに通信回線で接続されたクライアントとからなる3次元情報出力システムであって、
    少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
    前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
    前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
    前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、前記3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
    前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
    前記読み出し部での読み出し結果を出力する出力部と、
    を具備し、
    少なくとも前記3次元モデルデータベース、前記テクスチャデータベース及び前記読み出し部は、前記サーバに設けられていることを特徴とする3次元情報出力システム。
  9. 前記出力部から出力された読み出し結果に基づいて課金情報の計算を行う課金計算部をさらに有することを特徴とする請求項8記載の3次元情報出力システム。
  10. クライアントと通信回線で接続され、
    少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
    前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
    前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
    前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、当該3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
    前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
    前記読み出し部での読み出し結果を出力する出力部と、
    を具備する3次元情報出力システムにおいて用いられるサーバであって、
    少なくとも前記3次元モデルデータベースと、前記テクスチャデータベースと、前記読み出し部とを備えていることを特徴とするサーバ。
  11. サーバと通信回線で接続され、
    少なくとも対象オブジェクトの3次元モデルの形状情報を格納した3次元モデル情報データベースと、
    前記3次元モデルのテクスチャの一部を含む複数の情報をテクスチャ情報として格納したテクスチャ情報データベースと、
    前記3次元モデルの形状情報及びテクスチャ情報を選択するための情報を入力する入力部と、
    前記入力部に入力された情報に基づいて、前記3次元モデル情報データベース及び前記テクスチャ情報データベースから、当該3次元モデルの形状情報及びテクスチャ情報を選択する選択部と、
    前記選択部での選択結果に基づいて、前記3次元モデルの形状情報及び前記テクスチャ情報を読み出す読み出し部と、
    前記読み出し部での読み出し結果を出力する出力部と、
    を具備し、前記サーバが少なくとも前記3次元モデルデータベースと、前記テクスチャデータベースと、前記読み出し部とを備えた3次元情報出力システムにおいて用いられることを特徴とするクライアント。
JP2004093548A 2004-03-26 2004-03-26 3次元情報出力システム、サーバ並びにクライアント Pending JP2005284403A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004093548A JP2005284403A (ja) 2004-03-26 2004-03-26 3次元情報出力システム、サーバ並びにクライアント

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004093548A JP2005284403A (ja) 2004-03-26 2004-03-26 3次元情報出力システム、サーバ並びにクライアント

Publications (1)

Publication Number Publication Date
JP2005284403A true JP2005284403A (ja) 2005-10-13

Family

ID=35182750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004093548A Pending JP2005284403A (ja) 2004-03-26 2004-03-26 3次元情報出力システム、サーバ並びにクライアント

Country Status (1)

Country Link
JP (1) JP2005284403A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009265A (ja) * 2007-06-27 2009-01-15 Toshiba Corp 3次元情報共有システム
WO2013069654A1 (en) * 2011-11-07 2013-05-16 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium
WO2013069409A1 (en) * 2011-11-07 2013-05-16 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium
KR20160082158A (ko) * 2014-12-31 2016-07-08 한국과학기술연구원 다중 시야 창 인터페이스 장치 및 방법
WO2016158856A1 (ja) * 2015-04-02 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP2020010347A (ja) * 2018-11-02 2020-01-16 キヤノン株式会社 生成装置および生成方法、プログラム
CN110913202A (zh) * 2019-11-26 2020-03-24 深圳英伦科技股份有限公司 一种三维显示云渲染方法和***

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009009265A (ja) * 2007-06-27 2009-01-15 Toshiba Corp 3次元情報共有システム
US9665334B2 (en) 2011-11-07 2017-05-30 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium
WO2013069654A1 (en) * 2011-11-07 2013-05-16 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium
WO2013069409A1 (en) * 2011-11-07 2013-05-16 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium
JP2013099511A (ja) * 2011-11-07 2013-05-23 Square Enix Holdings Co Ltd 描画システム、描画サーバ、その制御方法、プログラム、及び記録媒体
JP2013099494A (ja) * 2011-11-07 2013-05-23 Square Enix Holdings Co Ltd 描画システム、描画サーバ、その制御方法、プログラム、及び記録媒体
CN103918012A (zh) * 2011-11-07 2014-07-09 史克威尔·艾尼克斯控股公司 渲染***、渲染服务器、其控制方法、程序及记录媒体
CN103918011A (zh) * 2011-11-07 2014-07-09 史克威尔·艾尼克斯控股公司 渲染***、渲染服务器、其控制方法、程序以及记录媒体
KR20140098772A (ko) * 2011-11-07 2014-08-08 가부시키가이샤 스퀘어.에닉스.홀딩스 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
KR101589396B1 (ko) * 2011-11-07 2016-01-27 가부시키가이샤 스퀘어.에닉스.홀딩스 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
KR101623288B1 (ko) * 2011-11-07 2016-05-20 가부시키가이샤 스퀘어.에닉스.홀딩스 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체
US9717988B2 (en) 2011-11-07 2017-08-01 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium
KR20160082158A (ko) * 2014-12-31 2016-07-08 한국과학기술연구원 다중 시야 창 인터페이스 장치 및 방법
KR101661600B1 (ko) * 2014-12-31 2016-09-30 한국과학기술연구원 다중 시야 창 인터페이스 장치 및 방법
WO2016158856A1 (ja) * 2015-04-02 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JPWO2016158856A1 (ja) * 2015-04-02 2018-02-01 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US10638113B2 (en) 2015-04-02 2020-04-28 Nikon Corporation Imaging system, imaging device, method of imaging, and storage medium
JP2020010347A (ja) * 2018-11-02 2020-01-16 キヤノン株式会社 生成装置および生成方法、プログラム
CN110913202A (zh) * 2019-11-26 2020-03-24 深圳英伦科技股份有限公司 一种三维显示云渲染方法和***
CN110913202B (zh) * 2019-11-26 2022-01-07 深圳英伦科技股份有限公司 一种三维显示云渲染方法和***

Similar Documents

Publication Publication Date Title
EP2507768B1 (en) Method and system of generating a three-dimensional view of a real scene for military planning and operations
Ghadirian et al. Integration of augmented reality and GIS: A new approach to realistic landscape visualisation
JP4870546B2 (ja) レイヤー生成・選択機能を備えたcvタグ映像表示装置
US9508184B2 (en) Generating a multi-layered geographic image and the use thereof
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
KR102197732B1 (ko) 실내공간의 3차원 지도 생성 방법 및 장치
CN108446310A (zh) 虚拟街景地图生成方法、装置和客户端设备
CN105719343A (zh) 一种构建虚拟街景地图的方法
JP2011515760A (ja) カメラフィードの地図上への視覚化
US8466915B1 (en) Fusion of ground-based facade models with 3D building models
JP2002206925A (ja) 変化検出装置、変化検出方法及び該方法に係るプログラムを記憶した記憶媒体並びにシステム
US20130120387A1 (en) Illumination information icon for enriching navigable panoramic street view maps
Milosavljević et al. GIS-augmented video surveillance
CN105185222A (zh) 一种地图渲染展示方法和装置
US20190051029A1 (en) Annotation Generation for an Image Network
US20110242271A1 (en) Synthesizing Panoramic Three-Dimensional Images
US20090167786A1 (en) Methods and apparatus for associating image data
CN104969264A (zh) 用于将注解添加到全光光场的方法和设备
JP2005339127A (ja) 画像情報表示装置及び画像情報表示方法
GB2519744A (en) Augmented reality systems and methods
KR20100047889A (ko) 사용자 선택의 관점에 기반하여 지리공간 텍스쳐를 선택적으로 검색 및 표시하는 지리공간 데이터 시스템 및 그 관련 방법
JP2005284403A (ja) 3次元情報出力システム、サーバ並びにクライアント
CN107545006A (zh) 一种用于建立或更新图像定位数据库的方法、设备与***
Dorffner et al. Generation and visualization of 3D photo-models using hybrid block adjustment with assumptions on the object shape
Fukuda et al. Integration of a structure from motion into virtual and augmented reality for architectural and urban simulation: demonstrated in real architectural and urban projects

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20070111

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A02 Decision of refusal

Effective date: 20100112

Free format text: JAPANESE INTERMEDIATE CODE: A02