JP2005242475A - Three-dimensional model information creation device, index creation device, retrieval device, distribution device and information distribution system - Google Patents
Three-dimensional model information creation device, index creation device, retrieval device, distribution device and information distribution system Download PDFInfo
- Publication number
- JP2005242475A JP2005242475A JP2004048389A JP2004048389A JP2005242475A JP 2005242475 A JP2005242475 A JP 2005242475A JP 2004048389 A JP2004048389 A JP 2004048389A JP 2004048389 A JP2004048389 A JP 2004048389A JP 2005242475 A JP2005242475 A JP 2005242475A
- Authority
- JP
- Japan
- Prior art keywords
- importance
- unit
- viewpoint
- dimensional model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
この発明は、3次元モデルのポリゴンに与える重要度を算出する3次元モデル情報生成装置、3次元空間内における方向に関連づいた重要度を有するインデックスを生成するインデックス生成装置、3次元空間内における方向と関連づいた重要度を有するインデックスを用いて表示上重要なオブジェクトのデータを抽出するための検索装置、抽出したオブジェクトをネットワークを介して配信する配信装置並びに情報配信システムに関するものである。 The present invention relates to a three-dimensional model information generating device for calculating importance given to a polygon of a three-dimensional model, an index generating device for generating an index having importance related to a direction in a three-dimensional space, The present invention relates to a search device for extracting data of an object important for display using an index having an importance associated with a direction, a distribution device for distributing the extracted object via a network, and an information distribution system.
近年、ネットワーク上で3次元モデルを配信するシステムが実用化されている。高精細な3次元モデルは、3次元形状やテクスチャのデータ量が多く、配信や描画に多くの時間を要するため、データ量を軽量化することが必要になる。また、都市のように多数のオブジェクトを含む3次元空間を対象として配信や描画を行う場合には、配信や描画の対象とするオブジェクトを限定することにより、配信時間や描画時間を短縮することが必要になる。 In recent years, a system for distributing a three-dimensional model on a network has been put into practical use. A high-definition three-dimensional model has a large amount of data for three-dimensional shapes and textures, and requires a lot of time for distribution and drawing, so it is necessary to reduce the amount of data. In addition, when performing distribution or drawing for a three-dimensional space including a large number of objects such as a city, it is possible to shorten the distribution time and the drawing time by limiting the objects to be distributed or drawn. I need it.
そこで、回線の通信速度等に基づいて3次元モデルの詳細度を調節し、データ量を軽量化する方法や、オブジェクトに対して優先度を決定し、優先度を利用して配信や描画の対象を選択する方法が発明されている。 Therefore, by adjusting the level of detail of the three-dimensional model based on the communication speed of the line, etc., a method for reducing the amount of data, determining the priority for the object, and using the priority to distribute and draw A method of selecting is invented.
例えば、端末装置の3次元空間における視点の位置や方向等に基づいてオブジェクトに優先度を与え、ネットワーク帯域で利用可能なデータ量や優先度を考慮した配信を行うことで、ネットワーク資源とエンドシステム資源の両方の負荷を考慮に入れてアプリケーションの品質を制御する仮想空間システムが発明されている(例えば、特許文献1参照)。 For example, network resources and end systems are assigned by giving priority to objects based on the position and direction of the viewpoint in the three-dimensional space of the terminal device, and performing distribution in consideration of the amount of data and priority available in the network bandwidth. A virtual space system has been invented that controls the quality of an application in consideration of both resource loads (see, for example, Patent Document 1).
この仮想空間システムでは、端末装置が3次元空間における視点中心座標と視線方向をサーバに送信すると、サーバは、3次元空間におけるオブジェクトと視点との距離、視線方向とオブジェクトとのずれの角度、オブジェクトの表示面積に基づいてオブジェクトに優先度を与える。そして、この優先度を利用して、一送信当たりのデータ総量がネットワーク帯域を超過しないように優先度の高い順にオブジェクトを選択して配信したり、優先度の低いオブジェクトのデータ品質を低くして配信したりする。 In this virtual space system, when the terminal device transmits the viewpoint center coordinates and the line-of-sight direction in the three-dimensional space to the server, the server transmits the distance between the object and the viewpoint in the three-dimensional space, the angle of the shift between the line-of-sight direction and the object, Give priority to the object based on the display area. And using this priority, select and distribute objects in descending order of priority so that the total amount of data per transmission does not exceed the network bandwidth, or lower the data quality of low priority objects. Or deliver.
また、通信路の利用可能な伝送能力等に応じて、送信オブジェクトとして抽出するオブジェクトの優先度や3次元モデルの詳細度を制御する3次元空間データ送信表示装置が発明されている(例えば、特許文献2参照)。 In addition, a three-dimensional spatial data transmission display device that controls the priority of an object to be extracted as a transmission object and the level of detail of a three-dimensional model in accordance with the available transmission capacity of a communication channel has been invented (for example, patent Reference 2).
この3次元空間データ送信表示装置においては、優先度の種類として、オブジェクトの外観的形状に基づく視認性を向上させる度合いに応じて設定する静的優先度と、視点からの距離等に応じて設定する動的優先度を設定し、さらに、クライアント端末へ送信する必要性を、静的優先度と動的優先度とに基づいて設定する送信優先度が説明されている。3次元オブジェクトの外観形状が他のオブジェクトよりも大きく、表示の際に目立つオブジェクトほど、静的優先度が高い。また、視点からの距離が小さいほど、視線方向との乖離度が小さいほど動的優先度が高い。通信路の伝送能力の変化や視点の移動速度等に応じて優先度を変更することにより、送信データ量を調整することができる。 In this three-dimensional spatial data transmission display device, the priority type is set according to the static priority set according to the degree of improving the visibility based on the appearance shape of the object, the distance from the viewpoint, and the like. The transmission priority for setting the dynamic priority to be set and further setting the necessity for transmission to the client terminal based on the static priority and the dynamic priority is described. An object whose appearance shape is larger than that of other objects and is more conspicuous at the time of display has a higher static priority. Moreover, the dynamic priority is higher as the distance from the viewpoint is smaller and the degree of deviation from the line-of-sight direction is smaller. The amount of transmission data can be adjusted by changing the priority according to a change in the transmission capability of the communication path, the moving speed of the viewpoint, and the like.
しかしながら、上述した特開2002−063601号公報や特開2002−279449号公報に記載された方法では、サーバが、端末側の3次元空間における視点位置が変化するたびにオブジェクトの優先度設定を行うため、多数の端末がサーバに接続し、各端末上で3次元空間内の視点の移動を行っている場合には、サーバの負荷が増大する。特に、優先度付与の対象となるオブジェクトが多い場合には、優先度を設定する処理の負荷が増大する。この結果、各端末の要求に応じて、表示に必要なオブジェクトを高速に抽出・配信することが困難になり、各端末では3次元空間内で高速に視点を移動させることが困難となる。 However, in the methods described in Japanese Patent Application Laid-Open No. 2002-063601 and Japanese Patent Application Laid-Open No. 2002-279449, the server sets the priority of the object every time the viewpoint position in the three-dimensional space on the terminal side changes. Therefore, when a large number of terminals are connected to the server and the viewpoint is moved in the three-dimensional space on each terminal, the load on the server increases. In particular, when there are many objects to be given priority, the processing load for setting the priority increases. As a result, it becomes difficult to extract and distribute objects necessary for display at high speed in response to requests from each terminal, and it is difficult for each terminal to move the viewpoint at high speed in the three-dimensional space.
この発明は上記のような問題点を解決するためになされたものであり、表示上重要なオブジェクトを優先的に表示可能にするための重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて設定して、視点の移動に伴って表示に必要なオブジェクトを優先的にかつ高速に抽出することができるようにする3次元モデル情報生成装置、3次元空間内における方向に関連づいた重要度を有するインデックスを生成するインデックス生成装置、3次元空間内における方向と関連づいた重要度を有するインデックスを用いて表示上重要なオブジェクトのデータを抽出する検索装置、抽出したオブジェクトをネットワークを介して配信する配信装置並びに情報配信システムを提供することを目的とするものである。 The present invention has been made in order to solve the above-described problems, and the importance for enabling preferential display of objects important for display is viewed from a plurality of viewpoint positions in a three-dimensional space. A three-dimensional model information generation device that is set based on how it is viewed, and that allows objects necessary for display to be extracted preferentially and at high speed as the viewpoint moves, and directions in a three-dimensional space Generating apparatus for generating an index having an importance level related to the object, a search apparatus for extracting data of an object important for display using the index having an importance level related to the direction in the three-dimensional space, and the extracted object It is an object of the present invention to provide a distribution apparatus and an information distribution system for distributing a message via a network.
この発明に係る3次元モデル情報生成装置は、コンピュータグラフィックスを用いて3次元モデルを表示する際に、表示上重要なオブジェクトを優先的に表示可能とするための重要度を生成する3次元モデル情報生成装置であって、3次元モデルを記憶する記憶部と、前記記憶部に記憶された3次元モデルに基づいてオブジェクトのポリゴンに設定する重要度を3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部とを備えたものである。 A three-dimensional model information generating apparatus according to the present invention generates a degree of importance for preferentially displaying an object important for display when a three-dimensional model is displayed using computer graphics. An information generation device, in which a storage unit that stores a three-dimensional model, and importance levels set for polygons of an object based on the three-dimensional model stored in the storage unit, are viewed from a plurality of viewpoint positions in the three-dimensional space. And an importance level determination unit that determines the appearance based on the appearance of the time.
また、この発明に係るインデックス生成装置は、オブジェクトのポリゴンに設定する重要度を3次元空間内の方向と関連付けて管理するインデックスを生成するインデックス生成装置であって、3次元モデル及び3次元モデルを管理するインデックスを記憶する記憶部と、前記記憶部に記憶された3次元モデルに基づいてオブジェクトのポリゴンに設定する重要度を3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、前記記憶部に記憶されている3次元モデルの画像に基づいて3次元空間内における地点と方向との対応関係を生成する方向生成部と、前記重要度決定部で決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部とを備えたものである。 An index generation apparatus according to the present invention is an index generation apparatus that generates an index for managing the importance set in a polygon of an object in association with a direction in a three-dimensional space. The index generation apparatus includes a three-dimensional model and a three-dimensional model. A storage unit that stores an index to be managed, and a degree of importance set for the polygon of the object based on the three-dimensional model stored in the storage unit, based on how it is viewed from a plurality of viewpoint positions in the three-dimensional space An importance determining unit for determining, a direction generating unit for generating a correspondence between a point and a direction in a three-dimensional space based on an image of a three-dimensional model stored in the storage unit, and the importance determining unit An importance level registration unit for registering the determined importance level in association with the direction in the three-dimensional space is provided.
また、この発明に係る検索装置は、3次元モデルを検索する検索装置であって、3次元データ等を記憶する記憶部と、オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、3次元空間内における地点と方向との対応関係を記憶部が有する画像に基づいて生成する方向生成部と、前記重要度決定部で決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部と、3次元モデルを表示する表示部と、3次元空間内における視点に関する情報を取得する視点情報取得部と、3次元空間内における方向と関連づいた重要度を用いてオブジェクトのデータを抽出する検索部とを備えたものである。 The search device according to the present invention is a search device for searching for a three-dimensional model, wherein a storage unit for storing three-dimensional data and the importance set for a polygon of an object are selected from a plurality of viewpoints in the three-dimensional space. An importance level determination unit that is determined based on how it looks when viewed from a position, a direction generation unit that generates a correspondence relationship between a point and a direction in a three-dimensional space based on an image included in a storage unit, and the importance level An importance level registration unit that registers the degree of importance determined by the determination unit in association with a direction in the three-dimensional space, a display unit that displays a three-dimensional model, and a viewpoint information acquisition unit that acquires information about the viewpoint in the three-dimensional space And a search unit for extracting object data using the importance associated with the direction in the three-dimensional space.
また、この発明に係る配信装置は、コンピュータグラフィックスによる3次元表示における表示上重要なオブジェクトを優先的に抽出し、端末に配信する配信装置であって、3次元データ等を記憶する記憶部と、オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、前記重要度決定部で決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部と、3次元空間内における地点と方向との対応関係を記憶部が有する画像に基づいて生成する方向生成部と、3次元空間内における方向と関連づいた重要度を用いてオブジェクトのデータを抽出する検索部と、端末と3次元データ等のデータの送受信を行うデータ送受信部とを備えたものである。 A distribution device according to the present invention is a distribution device that preferentially extracts objects important for display in three-dimensional display by computer graphics and distributes them to a terminal, and a storage unit that stores three-dimensional data and the like , An importance determining unit that determines the importance set for the polygon of the object based on appearance when viewed from a plurality of viewpoint positions in the three-dimensional space, and the importance determined by the importance determining unit is three-dimensional An importance level registration unit that is registered in association with a direction in the space, a direction generation unit that generates a correspondence relationship between a point and a direction in the three-dimensional space based on an image included in the storage unit, and a direction in the three-dimensional space A search unit that extracts data of an object using associated importance, and a data transmission / reception unit that transmits / receives data such as three-dimensional data to / from a terminal.
さらに、この発明に係る情報配信システムは、LANやインターネットによりデータの送受信を行う配信装置と表示装置を有する情報配信システムであって、前記配信装置は、3次元空間内における方向と関連づいた重要度を格納したインデックスを有し、3次元データを記憶する記憶部と、重要度を用いてオブジェクトのデータを抽出する検索部と、表示装置と3次元データの送受信を行うデータ送受信部とを備え、前記表示装置は、3次元データ等のデータを記憶する記憶部と、3次元モデルを表示する表示部と、視点に関する情報を取得する視点情報取得部と、配信装置に配信してもらうデータを決める要求データ生成部と、配信装置と3次元データ等のデータの送受信を行うデータ送受信部と、回線の伝送速度を検出する伝送速度検出部とを備えたものである。 Furthermore, an information distribution system according to the present invention is an information distribution system having a distribution device that transmits and receives data via a LAN or the Internet and a display device, and the distribution device is associated with a direction in a three-dimensional space. A storage unit for storing three-dimensional data, a search unit for extracting object data using importance, and a data transmission / reception unit for transmitting / receiving three-dimensional data to / from a display device The display device includes a storage unit that stores data such as three-dimensional data, a display unit that displays a three-dimensional model, a viewpoint information acquisition unit that acquires information about the viewpoint, and data that is distributed to the distribution device. A request data generator for determining data, a data transmitter / receiver for transmitting / receiving data such as three-dimensional data to / from the distribution device, and a transmission rate detector for detecting the transmission rate of the line. It is obtained by a part.
この発明によれば、オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定することができ、決定した重要度を登録したインデックスを用いてポリゴンを抽出することができるので、端末上で視点の位置や方向が変化するたびに個々のオブジェクトに対して重要度を算出する必要がない。このため、多数の端末がネットワークに接続している場合であっても、配信装置では高速に抽出・配信することができ、端末では3次元空間内を高速に視点移動できる。 According to the present invention, the importance set for the polygon of the object can be determined based on the appearance when viewed from a plurality of viewpoint positions in the three-dimensional space, and an index in which the determined importance is registered is used. Therefore, it is not necessary to calculate the importance for each object every time the position or direction of the viewpoint changes on the terminal. For this reason, even when a large number of terminals are connected to the network, the distribution apparatus can extract and distribute at high speed, and the terminal can move the viewpoint in the three-dimensional space at high speed.
また、3次元空間内における方向と対応付けて重要度を決定し、方向に応じた複数種類の重要度を有しているので、視点の方向に応じた重要度で表示に重要なポリゴン、及び頂点座標等の関連データを高速に抽出することができる。 In addition, the importance is determined in association with the direction in the three-dimensional space, and since there are a plurality of types of importance according to the direction, polygons important for display with importance according to the direction of the viewpoint, and Related data such as vertex coordinates can be extracted at high speed.
また、端末が必要とする3次元モデルを高速に配信し、端末側で都市のように多数のオブジェクトが存在する空間内を視点が移動する際に、視点の移動に伴って表示に必要なオブジェクトを高速に表示することができる。 In addition, when a viewpoint moves in a space where a large number of objects exist like a city on a terminal side, the objects necessary for display are moved along with the movement of the viewpoint. Can be displayed at high speed.
また、多数の端末がネットワークに接続し、各端末で任意の視点移動を行っている場合であっても、各端末では高速に3次元空間内を視点移動できる。 Further, even when a large number of terminals are connected to the network and perform arbitrary viewpoint movement at each terminal, each terminal can move the viewpoint in the three-dimensional space at high speed.
また、各オブジェクトに対して表示上の重要性を予め設定できる。 Further, the importance of display can be set in advance for each object.
さらに、設定した重要度を用いて、視点の移動に伴って表示に必要なオブジェクトを優先的になおかつ高速に抽出することができ、また、回線の伝送速度が遅い場合や端末の性能が低い場合であっても、限られたデータ量で表示品質を維持することができる。 In addition, using the set importance, objects necessary for display can be extracted preferentially and quickly as the viewpoint moves, and when the line transmission speed is slow or the terminal performance is low Even so, the display quality can be maintained with a limited amount of data.
実施の形態1.
(3次元モデル情報生成装置)
図1は、この発明の実施の形態1に係る3次元モデル情報生成装置の構成を示すブロック図である。図1に示す3次元モデル情報生成装置100Aは、コンピュータグラフィックスを用いて3次元モデルを表示する際に、表示上重要なオブジェクトを優先的に表示可能とするための重要度を生成するものであって、道路や建物等のオブジェクトの3次元データやレンダリング画像等の3次元モデルの画像を記憶する記憶部10と、オブジェクトのポリゴンに設定する重要度を3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部20Aとを備えている。
Embodiment 1 FIG.
(3D model information generator)
FIG. 1 is a block diagram showing the configuration of the three-dimensional model information generation apparatus according to Embodiment 1 of the present invention. A three-dimensional model information generating apparatus 100A shown in FIG. 1 generates an importance level so that an object important for display can be preferentially displayed when a three-dimensional model is displayed using computer graphics. The
また、前記重要度決定部20Aは、重要度を算出する際に用いる特徴量を記憶部10が有している画像から抽出する画像解析手段21と、画素数等の特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段22とを有する。なお、各ポリゴンに設定する重要度は、3次元空間内における方向に応じた複数種類の重要度である。
In addition, the importance
次に、実施の形態1に係る3次元モデル情報生成装置100Aの動作を、道路や建物等から成る都市空間を対象として説明する。記憶部10は、例えば、3次元空間内で道路上をウォークスルー(視点移動)した際のレンダリング画像を複数枚記憶している。各画像は、ウォークスルーを行った際の道路と方向に対応付いたファイル名を有しており、どの道路上をどの方向に向かってウォークスルーした際のレンダリング画像であるかを互いに区別することができる。
Next, the operation of the three-dimensional model information generation device 100A according to Embodiment 1 will be described for a city space composed of roads, buildings, and the like. The
例えば、図2において、道路R上を地点Aから地点Bの方向に向かってウォークスルーした場合(道路R上を方向1の方向にウォークスルーした場合)のレンダリング画像は、「R1」を付けたファイル名で記憶されており、道路R上を地点Bから地点Aの方向に向かってウォークスルーした場合(道路R上を方向2の方向にウォークスルーした場合)のレンダリング画像は、「R2」を付けたファイル名で記憶されている。方向1や方向2は、例えば、南から北に向かう方向や西から東に向かう方向を方向1、北から南に向かう方向や東から南に向かう方向を方向2などと定義しておくことにより、3次元空間内の方向を示すことができる。
For example, in FIG. 2, “R1” is attached to the rendering image when the road R is walked through from the point A toward the point B (when the road R is walked through in the direction 1). The rendering image stored in the file name and when walking through the road R from the point B to the point A (when walking through the road R in the direction 2) is “R2”. It is remembered with the file name you gave. For example, direction 1 and
重要度決定部20Aの画像解析手段21では、記憶部10が有している画像を解析し、重要度を算出する際に用いる特徴量を抽出する。重要度を算出するオブジェクトの種別(建物/標識/道路など)は、操作員が任意に決めることができる。キーボード等を用いて、種別の数字を入力する方法や、記憶部10に記憶しているファイルから種別の数字を読み込む方法等による。
The image analysis means 21 of the importance
画像解析手段21の具体的な動作を説明する前に、まず、重要度の設定方法について、建物を例として、図3〜図7を用いて説明する。図3において、建物Pは、道路Rと道路Wが交差する角地に存在する建物である。建物Pの側面は、簡易的に四角形のポリゴンで示すが、もちろん四角形には限らず、形状は任意である。三角ポリゴンや多角形ポリゴンでもよい。以下、建物Pの側面の各ポリゴンをa、b、c、dと表記する。 Before describing the specific operation of the image analysis means 21, first, the importance setting method will be described using a building as an example with reference to FIGS. In FIG. 3, a building P is a building existing at a corner where the road R and the road W intersect. The side surface of the building P is simply represented by a quadrilateral polygon, but of course it is not limited to a quadrilateral and the shape is arbitrary. It may be a triangular polygon or a polygonal polygon. Hereinafter, the polygons on the side surface of the building P are denoted as a, b, c, and d.
重要度の大小は、ポリゴンを3次元空間内における複数の視点位置から見たときの見え方に基づいて決定される。また、重要度は、ポリゴンを見たときの方向と関連付けて算出する。したがって、同一のポリゴンであっても、見る方向に応じた異なる重要度を有している。具体例として、図3に示す建物Pのポリゴンaは、道路R上を方向1に視点移動した際(図4)のレンダリング画像、および、道路W上を方向1・方向2で視点移動した際(図6、図7)のレンダリング画像に示される。そこで、ポリゴンaには、「道路Rの方向1に対する重要度」、「道路Wの方向1に対する重要度」、「道路Wの方向2に対する重要度」の3種類の重要度を算出することができる。
The degree of importance is determined based on how the polygon is viewed from a plurality of viewpoint positions in the three-dimensional space. The importance is calculated in association with the direction when the polygon is viewed. Accordingly, even the same polygon has different importance depending on the viewing direction. As a specific example, the polygon a of the building P shown in FIG. 3 is rendered when the viewpoint is moved in the direction 1 on the road R (FIG. 4), and when the viewpoint is moved in the direction 1 and
次に、画像解析手段21の具体的な動作を説明する。図8において、道路R上を地点1から地点5の方向に視点移動した際のレンダリング画像が記憶部10に蓄積されている。レンダリング画像1、レンダリング画像2はその例であり、各々、時刻1におけるレンダリング画像(地点1から見たときのレンダリング画像)、時刻2におけるレンダリング画像(地点2から見たときのレンダリング画像)とする。以後、説明の分りやすさのために、時刻T(T=1、2、3、4、5)における画像をレンダリング画像Tと表記する。
Next, a specific operation of the
まず、レンダリング画像T(T=1、2、3、4、5)に示されている各建物に対して、可視ポリゴン(画像上に表示されているポリゴン)の画素数の総和を算出する。例えばレンダリング画像1に表示されている建物Pの場合、可視ポリゴンは、ポリゴンaとポリゴンbであるので、レンダリング画像1における建物Pの可視ポリゴン画素数の総和SP_1は、式(1)で算出することができる。 First, the total number of pixels of visible polygons (polygons displayed on the image) is calculated for each building shown in the rendering image T (T = 1, 2, 3, 4, 5). For example, in the case of the building P displayed in the rendering image 1, the visible polygons are the polygon a and the polygon b. Therefore, the total number SP_1 of the visible polygon pixels of the building P in the rendering image 1 is calculated by Expression (1). be able to.
なお、レンダリング画像上で、ポリゴンの色を建物毎に異なる色で表現しておくことによって、各建物を区別することができる。算出した画素数は、記憶部10に格納される。
Note that each building can be distinguished by expressing the polygon color in a different color for each building on the rendered image. The calculated number of pixels is stored in the
次に、重要度算出手段22では、記憶部10から画素数等の特徴量を取得すると、3次元空間内の複数視点位置から見たときの見え方に基づいて抽出された特徴量を総合的に用いて、各建物のポリゴンに設定する重要度を算出する。表示上、重要なオブジェクトであるとみなす判断基準としては、以下の2つの基準を設定することができる。各々の基準に対して重要度を算出した後、それらの値を統合することによってオブジェクトのポリゴンに設定する重要度を算出する。
Next, when the importance calculation means 22 acquires the feature quantity such as the number of pixels from the
・一つ目の基準
3次元空間内で視点を移動した際に、最も大きく表示された時の画面を占める割合が高いポリゴン(及びそのオブジェクト)は、表示上重要である。
・二つ目の基準
3次元空間内で視点を移動した際に、大きく表示されている時間が長いポリゴン(及びそのオブジェクト)は表示上重要である。
-First Criteria When moving the viewpoint in the three-dimensional space, the polygon (and its object) that occupies a high proportion of the screen when it is displayed in the largest size is important for display.
Second standard When a viewpoint is moved in a three-dimensional space, a polygon (and its object) that is displayed for a long time is important for display.
まず、一つ目の基準に対する重要度の算出方法を示す。各建物に対して、道路R上を地点1から地点5の方向に視点移動した際の時系列レンダリング画像の中で可視ポリゴン画素数の総和が最大になるときの値を求める。例えば建物Pの場合、可視ポリゴン画素数の総和が最大になるときの値SP_maxは、式(2)から求めることができる。 First, the calculation method of the importance with respect to the 1st reference | standard is shown. For each building, a value when the total sum of the number of visible polygon pixels is maximized in the time-series rendered image when the viewpoint is moved on the road R from the point 1 to the point 5 is obtained. For example, in the case of the building P, the value SP_max when the total sum of the number of visible polygon pixels becomes maximum can be obtained from the equation (2).
次に、各建物の可視ポリゴン画素数の総和が最大になる時刻のレンダリング画像を用いて、画像上に示されているすべての建物の表示画素数(画像上に示されているすべての建物が画像上で占めている画素数)と、今処理を行っている建物の可視ポリゴン画素数の総和の最大値との比率を求める。建物Pの場合、比率xpは式(3)により求めることができる。 Next, using the rendered image at the time when the total number of visible polygon pixels of each building is maximized, the number of display pixels of all the buildings shown on the image (all the buildings shown on the image are The ratio of the number of pixels occupied on the image) to the maximum value of the total sum of the number of visible polygon pixels of the building currently being processed is obtained. In the case of the building P, the ratio xp can be obtained by Expression (3).
ただし、式(3)において、建物Pの可視ポリゴン画素数の総和が最大となる時刻をT=2とし、時刻T=2におけるレンダリング画像2上における可視ポリゴン画素数の最大値をSP_2と表記した。また、Sall_2は、レンダリング画像2上に表示されているすべての建物の表示画素数である。
However, in Equation (3), the time when the total number of visible polygon pixels of the building P becomes maximum is T = 2, and the maximum value of the visible polygon pixels on the rendered
最後に、式(3)から算出した比率xpを用いて、一つ目の基準に対する建物Pの重要度(ポリゴンaおよびポリゴンbの重要度)Y1pを、式(4)、式(5)を用いて算出する。 Finally, using the ratio xp calculated from Equation (3), the importance of building P (importance of polygon a and polygon b) Y1p with respect to the first reference is expressed as Equation (4) and Equation (5). Use to calculate.
なお、この重要度は、道路R上を地点1から地点5に向かって方向1に視点移動した際のレンダリング画像を用いて算出した重要度であるため、Y1pは、「道路Rの方向1に対する一つ目の基準から算出した重要度」とする。 Note that this importance is the importance calculated using the rendering image when the viewpoint is moved in the direction 1 from the point 1 toward the point 5 on the road R. Therefore, Y1p is “with respect to the direction 1 of the road R” The importance calculated from the first criterion ”.
二つ目の基準では、レンダリング画像の全画素に対してある一定以上の画素数を占める時間を建物ごとに算出し、その時間の大小に応じて重要度を算出する。建物Pの場合、まず、式(6)を満たしている時間幅を算出する。 In the second criterion, the time for which a certain number of pixels or more is occupied for all the pixels of the rendering image is calculated for each building, and the importance is calculated according to the magnitude of the time. In the case of the building P, first, a time width that satisfies the equation (6) is calculated.
ここで、Gはレンダリング画像の全画素数であり、Aは比率である。例えば、レンダリング画像の全画素のうち15%以上の画素を占める時間を算出したい場合には、A=0.15とする。 Here, G is the total number of pixels of the rendered image, and A is the ratio. For example, when it is desired to calculate the time that occupies 15% or more of all the pixels of the rendered image, A = 0.15.
建物Pの時間幅ΔPは、式(7)で近似することができる。 The time width ΔP of the building P can be approximated by Expression (7).
式(7)において、dは、式(6)を満たしているレンダリング画像の個数であり、Uは、道路Rの方向1に対するレンダリング画像の総枚数である。 In Expression (7), d is the number of rendering images that satisfy Expression (6), and U is the total number of rendering images in the direction 1 of the road R.
最後に、式(7)から得られたΔPを用いて、二つ目の基準に対する建物Pの重要度(ポリゴンaおよびポリゴンbの重要度)Y2pを、式(8)、式(9)から算出する。 Finally, by using ΔP obtained from the equation (7), the importance (the importance of the polygon a and the polygon b) Y2p of the building P with respect to the second reference is obtained from the equations (8) and (9). calculate.
式(9)において、H2は任意の増加関数である。 In equation (9), H2 is an arbitrary increasing function.
この重要度は、道路R上を地点1から地点5に向かって方向1に視点移動した際のレンダリング画像を用いて算出した重要度であるため、Y2pは、「道路Rの方向1に対する二つ目の基準から算出した重要度」とする。 Since this importance is an importance calculated using the rendering image when the viewpoint is moved in the direction 1 from the point 1 toward the point 5 on the road R, Y2p is “two for the direction 1 of the road R” "Importance calculated from eye criteria".
最後に、一つ目の基準から算出した重要度Y1pと二つ目の基準から算出した重要度Y2pを統合し、建物Pのポリゴンaとポリゴンbの、道路Rの方向1に対する重要度Ypを式(10)を用いて算出する。 Finally, the importance level Y1p calculated from the first standard and the importance level Y2p calculated from the second standard are integrated, and the importance level Yp of the polygon a and polygon b of the building P with respect to the direction 1 of the road R is obtained. It calculates using Formula (10).
ここで、Rは重要度のレンジを決める係数である。w1とw2は、一つ目の基準と二つ目の基準に対する重み係数である。 Here, R is a coefficient for determining the importance range. w1 and w2 are weighting factors for the first reference and the second reference.
このようにして、建物ごとに、道路と方向に関連づいた重要度を算出する。算出した重要度は、道路及び方向と対応付けて記憶部10に格納する。
In this way, the importance associated with the road and direction is calculated for each building. The calculated importance is stored in the
実施の形態1では、重要度を算出するための特徴量として画素数を用いる例を示したが、用いる特徴量は画素数に限らない。色相や明るさ、彩度、複雑度等、他の特徴量を用いて算出してもよい。このとき、複数の特徴量を組み合わせてもよい。 In the first embodiment, the example in which the number of pixels is used as the feature amount for calculating the importance is shown, but the feature amount to be used is not limited to the number of pixels. You may calculate using other feature-values, such as hue, brightness, saturation, and complexity. At this time, a plurality of feature amounts may be combined.
また、重要度を算出する際の数式は、実施の形態1に示した式に限らない。 Further, the mathematical formula for calculating the importance is not limited to the formula shown in the first embodiment.
また、実施の形態1では、二つの基準を加味して重要度を算出したが、重要度の算出に使用する基準は2つに限らない。他の基準を加味しても良い。例えば、画像解析手段において、各建物が遠方として表示されている画像を用いて遠方での見え方を解析し、重要度算出手段において遠方から見た際の大きさが大きい建物には重要度算出時の係数を大きくし、遠方から見た際の大きさが小さい建物には重要度算出時の係数を小さくするようにしてもよい。 In the first embodiment, the importance is calculated by taking two criteria into consideration, but the number of criteria used for calculating the importance is not limited to two. Other criteria may be taken into account. For example, the image analysis means analyzes the appearance of each building using images displayed as far away, and the importance calculation means calculates the importance for a large building when viewed from a distance. The coefficient for time may be increased, and the coefficient for calculating the importance may be decreased for a building having a small size when viewed from a distance.
また、実施の形態1では、重要度を算出する対象として建物を対象とした例を示したが、建物以外のオブジェクトに対しても同様に重要度を算出することができる。 In the first embodiment, an example in which a building is targeted as an object for calculating importance is shown. However, importance can be calculated for objects other than buildings as well.
また、実施の形態1では、道路上を視点移動した際のレンダリング画像を用いて重要度を算出する方法を示したが、3次元空間内における視点移動は道路上に限らず、任意である。同様に、実施の形態1では、ポリゴンに設定する重要度を道路の方向と対応付けて算出する方法を示したが、重要度を算出する方向は道路の方向に限らない。任意の方向から作成したレンダリング画像を用いて、その方向に対応する重要度を算出することができる。 In the first embodiment, the method of calculating the importance using the rendering image when the viewpoint is moved on the road has been described. However, the viewpoint movement in the three-dimensional space is not limited to the road and is arbitrary. Similarly, in Embodiment 1, the method of calculating the importance set in the polygon in association with the direction of the road is shown, but the direction in which the importance is calculated is not limited to the direction of the road. Using a rendering image created from an arbitrary direction, the importance corresponding to that direction can be calculated.
さらに、実施の形態1では、レンダリング画像を用いる実施の形態であるが、道路上を移動しながら撮影した時系列画像を用いてもよい。 Furthermore, although the rendering image is used in the first embodiment, a time series image captured while moving on the road may be used.
以上のように、実施の形態1に係る3次元モデル情報生成装置によれば、オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定することができるので、3次元モデルの配信や表示を行う際に、端末における視点の移動に伴ってその都度、重要度を算出する必要がなく、端末上で表示に必要なオブジェクトを高速に表示することができる。 As described above, according to the three-dimensional model information generation device according to Embodiment 1, the importance set for the polygon of the object is determined based on the appearance when viewed from a plurality of viewpoint positions in the three-dimensional space. Therefore, when distributing or displaying a 3D model, it is not necessary to calculate the importance each time the viewpoint moves on the terminal, and objects necessary for display on the terminal can be displayed at high speed. can do.
実施の形態2.
(一般のオブジェクトに対する重要度算出)
図9は、この発明の実施の形態2に係る3次元モデル情報生成装置の構成を示すブロック図である。図9に示す実施の形態2に係る3次元モデル情報生成装置100Bは、図1に示す実施の形態1と同様な記憶部10と、実施の形態2に係る重要度決定部20Bとを備えている。
(Importance calculation for general objects)
FIG. 9 is a block diagram showing the configuration of the three-dimensional model information generation apparatus according to
重要度決定部20Bは、図1に示す実施の形態1と同様な画像解析手段21及び重要度算出手段22を有すると共に、重要度算出手段22が算出していないオブジェクトに対して重要度を算出する一般オブジェクト重要度算出手段23をさらに有する。
The importance
次に、実施の形態2に係る3次元モデル情報生成装置100Bの動作ついて説明する。重要度決定部20Bにおける画像解析手段21では、重要度を算出する際に用いる特徴量を記憶部10が有している画像から抽出する。具体的な動作は、実施の形態1と同様である。抽出した特徴量は記憶部10に記憶する。重要度算出手段22では、3次元空間内の複数視点位置から見たときの見え方に基づいて抽出された特徴量を記憶部10から取得すると、それらの特徴量を総合的に用いて、オブジェクトのポリゴンに設定する重要度を算出する。具体的な動作は、実施の形態1と同様である。
Next, the operation of the 3D model information generation apparatus 100B according to
さらに、一般オブジェクト重要度算出手段23は、重要度算出手段22で重要度を算出していないオブジェクトに対して重要度を決定する。重要度は、以下の2種類の方法を用いて決定することができる。
Further, the general object importance
一つ目の方法は、信号、標識といったオブジェクトの種別に応じて重要度を決定する方法である。重要度の値は、キーボード等を用いて操作員が直接入力する方法のほかに、種別と重要度との対応関係を記述したファイルを記憶部から読み込む方法などにより、取得する。 The first method is a method of determining the importance according to the type of object such as a signal or a sign. The importance value is obtained by a method of reading a file describing a correspondence relationship between a type and an importance level from a storage unit in addition to a method in which an operator directly inputs using a keyboard or the like.
二つ目の方法は、重要度算出手段22において算出した重要度を記憶部10から取得し、「グループ」ごとにオブジェクトの重要度を算出する方法である。ここで、「グループ」とは、2次元地図の図郭や、2次元領域内をメッシュ状に分割した際のメッシュ、街区等のまとまりの単位を指す。操作員がマウス等を用いて指定した任意の領域をグループとして用いてもよい。
The second method is a method of acquiring the importance calculated by the importance calculation means 22 from the
グループごとに重要度を算出する方法を具体的に示す。図10において、建物A〜Kは、重要度算出手段22で重要度を算出していない建物である。斜線を施した建物は、重要度算出手段22で重要度を算出した建物である。街区1に存在する建物の中で、道路上を方向1に視点移動した際の画像を用いて算出した重要度の中で最も重要度が小さかったポリゴンを持つ建物が建物Mであったとする。この値が45であった場合、街区1に存在する、建物A〜Eのポリゴンの重要度を、44以下の値として、例えば一律に30に設定する。または、重要度の最大値が44を越えないように、建物A〜Eの各ポリゴンの面積に比例した重要度を設定してもよい。 A method for calculating the importance for each group will be specifically shown. In FIG. 10, buildings A to K are buildings whose importance is not calculated by the importance calculation means 22. The hatched building is a building whose importance is calculated by the importance calculating means 22. Assume that the building M having the least important polygon among the importance calculated using the image when the viewpoint is moved in the direction 1 on the road among the buildings existing in the block 1 is the building M. When this value is 45, the importance of the polygons of buildings A to E existing in the block 1 is set to, for example, uniformly 30 as a value of 44 or less. Or you may set the importance proportional to the area of each polygon of buildings AE so that the maximum value of importance may not exceed 44.
同様にして、街区2に存在する、建物F〜Kのポリゴンの重要度は、街区2に存在する建物の中で、道路上を方向1に視点移動した際の画像を用いて算出した重要度の中で最も重要度が小さかったポリゴンの重要度に基づいて決定する。
Similarly, the importance of polygons of buildings F to K existing in the
このようにして、同一街区に存在する、重要度算出手段22で算出した重要度の値を利用して、重要度算出手段22で重要度を算出していないオブジェクトに対して重要度を設定する。 In this way, using the importance value calculated by the importance calculation means 22 existing in the same block, the importance is set for an object whose importance is not calculated by the importance calculation means 22. .
なお、上述した例では、街区を用いて重要度を決定したが、同様にして、メッシュや図郭、操作員が指定した領域等を用いて重要度を設定することができる。 In the above-described example, the importance level is determined using the city block, but similarly, the importance level can be set using a mesh, a map, an area designated by the operator, or the like.
以上のように、実施の形態2に係る3次元モデル情報生成装置によれば、重要度算出手段22で算出した重要度を利用して画像に示されていないオブジェクトに対しても重要度を設定することができるので、3次元空間内で視点が移動する際に表示される確率(頻度)が極めて低いオブジェクトに対しては画像を用意せずに簡易的に重要度を算出することができる。
As described above, according to the three-dimensional model information generation device according to the second embodiment, importance is set even for an object that is not shown in the image by using the importance calculated by the
実施の形態3.
(ウォークスルーでレンダリング画像を生成。視点位置はリアルタイムに取得)
図11は、この発明の実施の形態3に係る3次元モデル情報生成装置の構成を示すブロック図である。図11に示す実施の形態3に係る3次元モデル情報生成装置100Cは、図9に示す実施の形態2と同様な記憶部10及び重要度決定部20Bを備えると共に、建物や道路等のオブジェクトの3次元モデルをレンダリングして表示する表示部30と、3次元空間内における視点位置や視線方向等、視点に関する情報を取得する視点情報取得部40と、3次元モデルをレンダリングした結果を画像に出力する画像生成部50とをさらに備えている。
(Rendered images are generated by walk-through. Viewpoint position is acquired in real time)
FIG. 11 is a block diagram showing the configuration of the three-dimensional model information generation apparatus according to
次に、実施の形態3に係る3次元モデル情報生成装置100Cの動作について説明する。まず、操作員がマウスやキーボード等の図示しない入力手段を用いて視点の位置や視線方向、視点の移動方向や1秒あたりの移動変位量等を入力すると、視点情報取得部40は、入力された情報に基づいて視点に関する情報を取得する。表示部30では、前記視点情報取得部40が取得した視点位置と方向に基づいて3次元モデルをレンダリングして表示し、表示が完了すると、画像生成部50にメッセージを送る。レンダリングの処理内容は、世の中一般のレンダリングと同様である。
Next, the operation of the 3D model information generation apparatus 100C according to
画像生成部50では、前記表示部14からメッセージを受け取ると、3次元モデルをレンダリングした結果を画像に出力し、記憶部10に記憶する。なお、レンダリング画像の生成は、予め決めておいた時間間隔ごとや、予め決めておいたフレームごとに行っても良い。画像のファイル名を、道路や移動方向等に対応付けた名称とすることで、3次元空間内における位置や方向と関連付けてレンダリング画像を記憶部10に蓄積することができる。
When receiving a message from the display unit 14, the
この実施の形態3は、視点情報取得部40において視点に関する情報を生成する実施の形態であるが、視点情報取得部40を除く構成とし、予め作成しておいた視点に関する情報を記憶部10から取得する構成としてもよい。例えば、視点位置や視線方向の時系列データや移動変位量を予め記憶部10に記憶しておき、そのデータに基づいて自動的に視点を移動しながら画像を生成することもできる。また、道路ネットワークデータ等を用いて視点を移動させる経路の座標を取得してもよい。
The third embodiment is an embodiment in which the viewpoint
以上のように、実施の形態3に係る3次元モデル情報生成装置によれば、3次元空間内で任意の視点移動を行いながらレンダリング画像を生成し、生成した画像を用いて3次元空間内における方向に対応した重要度を算出することができるので、3次元空間内の任意のオブジェクトに対して重要度を算出することができる。また、仮想空間内で視点移動した結果のレンダリング画像を用いて重要度を自動的に算出することができるので、対象とする3次元空間が広範囲である場合にも、重要度を簡単に算出することができる。
As described above, according to the 3D model information generation device according to
実施の形態4.
(ウォークスルーで画像を生成せずに、特徴量を抽出)
図12は、この発明の実施の形態4に係る3次元モデル情報生成装置の構成を示すブロック図である。図12に示す実施の形態4に係る3次元モデル情報生成装置100Dは、図1に示す実施の形態1と同様な記憶部10及び実施の形態4に係る重要度決定部20Cを備えると共に、図11に示す実施の形態3と同様な表示部30と視点情報取得部40とを備えている。
Embodiment 4 FIG.
(Extract features without generating images by walkthrough)
FIG. 12 is a block diagram showing a configuration of a three-dimensional model information generation device according to Embodiment 4 of the present invention. A three-dimensional model information generation device 100D according to the fourth embodiment illustrated in FIG. 12 includes the
重要度決定部20Cは、重要度を算出する際に用いる特徴量を3次元モデルのレンダリング結果から抽出する特徴量抽出手段24と、図9に示す実施の形態2と同様な重要度算出手段22と、一般オブジェクト重要度算出手段23とを有する。
The importance level determination unit 20C includes a feature
次に、実施の形態4に係る3次元モデル情報生成装置100Dの動作ついて説明する。まず、操作員がマウスやキーボード等を用いて視点の位置や視線方向、視点の移動方向や1秒あたりの移動変位量等を入力すると、入力された情報に基づいて視点情報取得部40が視点に関する情報を取得する。表示部30では、前記視点情報取得部40が取得した視点位置と方向に基づいて、3次元モデルをレンダリングし、表示する。レンダリングの処理内容は、世の中一般のレンダリングと同様である。表示が完了すると、重要度決定部20Cにおける特徴量抽出手段にメッセージを送る。
Next, the operation of the 3D model information generation apparatus 100D according to Embodiment 4 will be described. First, when an operator inputs a viewpoint position, a line-of-sight direction, a viewpoint movement direction, a movement displacement amount per second, and the like using a mouse, a keyboard, etc., the viewpoint
特徴量抽出手段24は、前記表示部30からメッセージを受け取ると、レンダリング結果に基づいて画素数等の特徴量を抽出し、記憶部10に格納する。具体的な処理内容は、実施の形態1における画像解析手段21の処理内容と同一である。なお、画像解析手段21と特徴量抽出手段24の違いは、特徴量を抽出する際に画像を用いるか否かである。
When receiving the message from the
重要度算出手段22は、記憶部10から画素数等の特徴量を取得し、オブジェクトのポリゴンに設定する重要度を算出する。具体的な処理内容は、実施の形態1と同様である。一般オブジェクト重要度算出手段23は、重要度算出手段22で重要度を算出していないオブジェクトに対して重要度を決定する。具体的な処理内容は、実施の形態2と同様である。
The importance calculation means 22 acquires a feature quantity such as the number of pixels from the
実施の形態4は、視点情報取得部40において視点に関する情報を生成する実施の形態であるが、視点情報取得部40を除く構成とし、予め作成しておいた視点に関する情報を記憶部10から取得する構成としてもよい。例えば、視点位置や視線方向の時系列データや移動変位量を予め記憶部10に記憶しておき、そのデータに基づいて自動的に視点を移動しながらレンダリングし、レンダリング結果に基づいて特徴量を抽出してもよい。
The fourth embodiment is an embodiment in which the viewpoint
以上のように、実施の形態4に係る3次元モデル情報生成装置によれば、重要度を決定する際に画像を蓄積する必要がないので、比較的低性能の端末であっても重要度を算出することができる。 As described above, according to the three-dimensional model information generation device according to Embodiment 4, since it is not necessary to store an image when determining the importance, the importance can be reduced even for a relatively low-performance terminal. Can be calculated.
実施の形態5.
(インデックス生成装置)
図13は、この発明の実施の形態5に係るインデックス生成装置の構成を示すブロック図である。図13に示す実施の形態5に係るインデックス生成装置200Aは、オブジェクトのポリゴンに設定する重要度を3次元空間内の方向と関連付けて管理するインデックスを生成するものであって、図1に示す実施の形態1に係る3次元モデル情報生成装置と同様な記憶部10と重要度決定部20Aとを備えると共に、記憶部10に記憶されている3次元モデルの画像に基づいて3次元空間内における地点と方向との対応関係を記憶部10が有する画像に基づいて生成する方向生成部60と、重要度決定部20Aで決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部70とを備えている。
Embodiment 5 FIG.
(Index generator)
FIG. 13 is a block diagram showing a configuration of an index generation apparatus according to Embodiment 5 of the present invention. The index generation apparatus 200A according to the fifth embodiment shown in FIG. 13 generates an index for managing the importance set in the polygon of the object in association with the direction in the three-dimensional space. A point in the three-dimensional space based on the image of the three-dimensional model stored in the
ここで、前記記憶部10は、3次元モデルのデータの他に、3次元モデルを管理するインデックスを記憶している。また、重要度決定部20Aは、記憶部10に記憶された3次元モデルに基づいてオブジェクトのポリゴンに設定する重要度を3次元空間内の複数視点位置から見たときの見え方に基づいて決定するもので、図1に示す実施の形態1と同様に、記憶部10に記憶された画像から重要度を算出する際に用いる特徴量を抽出する画像解析手段21と、画像解析手段21により抽出された特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段22とを有する。なお、この重要度決定部20Aは、図9に示す実施の形態2のように、さらに、重要度算出手段22が算出していないオブジェクトに対して重要度を算出する一般オブジェクト重要度算出手段23を有する重要度算出手段20Bに代えても良い。
Here, the
次に、実施の形態5に係るインデックス生成装置200Aの動作について説明する。記憶部10では、道路や建物等のオブジェクトをデータベース等のインデックスにより管理している。データベースのテーブル例を図14に示す。図14において、領域分割テーブルは、都市の2次元領域をメッシュで管理するテーブルを示し、各メッシュは、メッシュ内に存在する建物や道路のIDを管理しており、道路は、道路ネットワークデータ等を用いることによりIDで識別できる。すなわち、メッシュIDに対応するメッシュ左下座標、メッシュ右上座標、建物ID、道路IDを管理している。
Next, the operation of the index generation device 200A according to Embodiment 5 will be described. In the
また、道路テーブルは、道路に関するデータを格納するテーブルを示し、メッシュIDに対応する道路ID、道路名称、道路幅、道路長、頂点情報、接続道路情報を管理している。ここで、接続道路情報は、接続する道路のID等である。また、建物概要テーブルは、重心座標等の建物の概要を管理するテーブルを示し、建物IDに対応する建物名称、メッシュID、街区ID、建物の重心座標、隣接道路ID1〜隣接道路ID4を管理している。ここで、隣接道路ID1〜隣接道路ID4は、建物に隣接している道路がある場合に、その道路のIDを示す項目である。 The road table is a table for storing data related to roads, and manages road IDs, road names, road widths, road lengths, vertex information, and connected road information corresponding to mesh IDs. Here, the connection road information is an ID of a road to be connected. The building outline table is a table for managing the outline of the building such as the barycentric coordinates, and manages the building name, mesh ID, block ID, building barycentric coordinates, adjacent road ID1 to adjacent road ID4 corresponding to the building ID. ing. Here, when there is a road adjacent to the building, the adjacent road ID1 to the adjacent road ID4 are items indicating IDs of the roads.
さらに、建物詳細テーブルは、3次元形状データ等の詳細なデータを管理するテーブルを示し、建物IDに対応するメッシュID、ポリゴンID、頂点情報、テクスチャ情報、隣接道路ID1、重要度11、重要度12、隣接道路ID2、重要度21、重要度22、隣接道路ID3、重要度31、重要度32、隣接道路ID4、重要度41、重要度42を管理している。ここで、頂点情報はポリゴンを構成する頂点座標であり、テクスチャ情報はポリゴンに貼り付けるテクスチャに関する情報である。また、隣接道路ID1〜隣接道路ID4は、建物概要テーブルの隣接道路ID1〜隣接道路ID4と対応している。また、重要度ij(i=1〜4、j=1、2)は隣接道路IDがiである道路の方向jに対するポリゴンの重要度であり、例えば、「重要度11」は、隣接道路IDが1である道路の方向1に対する重要度のことを示している。
Furthermore, the building detail table is a table for managing detailed data such as three-dimensional shape data. The mesh ID, polygon ID, vertex information, texture information, adjacent road ID1, importance 11 and importance corresponding to the building ID are shown. 12, adjacent road ID2,
重要度決定部20Aでは、画像を解析することによって画素数等の特徴量を算出し、オブジェクトのポリゴンに設定する重要度を3次元空間内における方向と対応付けて算出する。具体的な処理内容は、実施の形態1に示した内容と同様である。
The
重要度登録部70では、インデックスのテーブルに重要度11〜重要度42の項目を生成し、重要度決定部20Aにおいて決定した重要度を記憶部10から取得し、重要度を算出した際の道路及び方向に対応して重要度を登録する。例えば、重要度決定部20Aにおいて、建物Pに対して、道路IDが「10」の道路の、方向1に対する重要度を算出している場合には、建物詳細テーブルの建物Pの項目において、隣接道路IDの空きフィールドに道路IDの「10」を登録し、対応する重要度のフィールドに重要度の値を登録する。なお、重要度決定部20Aにおいて重要度を算出していないポリゴンに対しては、重要度に「0」の値を格納する。
The importance
方向生成部60は、重要度算出時の3次元空間内における地点と方向との対応関係を記憶部10が有する画像に基づいて生成し、記憶部10に格納する。具体的な動作を、図15及び図16を用いて説明する。まず、記憶部10に記憶されている画像のファイル名から、道路IDと道路の方向を取得する。ここで、道路の方向とは、実施の形態1の重要度決定部20Aで説明したように、例えば、南から北に向かう方向や西から東に向かう方向を方向1、北から南に向かう方向や東から南に向かう方向を方向2とするなどして定義した方向であり、ファイル名に反映している方向のことである。図15では、道路IDは1〜5の数字で示されている。地点Aから地点Bに向かう視点の移動に伴って作成されたレンダリング画像のファイル名が例えば「3_1.jpg」である場合、道路IDとして3を取得し、道路の方向として方向1を取得する。
The
次に、記憶部10に記憶されているインデックスの道路テーブル(図14)を参照し、画像ファイル名から取得した道路IDを持つ道路を検索して、その道路の頂点座標等を利用して、道路の方向ベクトルを算出する。例えば、前記のレンダリング画像(3_1.jpg)のファイル名からは、道路IDとして3、方向として方向1を取得することができるので、道路3を形成するノードAおよびBの座標を参照して、ベクトルAB(地点Aから地点Bに向かうベクトル)を、重要度算出時の方向として算出する。道路を形成するノードが複数存在する場合には、道路を形成するすべてのノード間の方向ベクトルを算出する。算出した方向ベクトルの値は、道路のIDおよび道路の方向と対応付けて記憶部10に格納する。この対応関係の例を図16に示す。図16に示すように、道路IDに対応する方向ID、ノード1の座標、ノード2の座標、ノード1とノード2間の方向ベクトルが管理される。ここで、ノード1やノード2は、道路IDを構成するノードである。
Next, referring to the road table of the index stored in the storage unit 10 (FIG. 14), the road having the road ID acquired from the image file name is searched, and the vertex coordinates of the road are used. A road direction vector is calculated. For example, from the file name of the rendering image (3_1.jpg), it is possible to obtain 3 as the road ID and 1 as the direction. Therefore, referring to the coordinates of the nodes A and B forming the
なお、上述した実施の形態5では、インデックスとしてデータベースを用いているが、インデックスの種類はデータベースに限らない。木構造等を利用して管理してもよい。また、図14に示すテーブルを用いているが、テーブルの構成やフィールドは、図14に示したものに限らない。 In the fifth embodiment described above, a database is used as an index, but the type of index is not limited to a database. You may manage using a tree structure etc. Further, although the table shown in FIG. 14 is used, the configuration and fields of the table are not limited to those shown in FIG.
以上のように、実施の形態5に係るインデックス生成装置200Aによれば、記憶部10が有している画像を用いて算出した重要度を記憶部10が有するインデックスに登録することができるので、空間データの利用に際して、重要度を用いた利用が可能になる。また、重要度の算出に関連する3次元空間内の地点と方向との対応関係を生成できるので、3次元空間内の位置と方向に応じた重要度の利用が可能になる。
As described above, according to the index generation device 200A according to the fifth embodiment, the importance calculated using the image included in the
実施の形態6.
(インデックス生成装置)
図17は、この発明の実施の形態6に係るインデックス生成装置の構成を示すブロック図である。図17に示すインデックス生成装置200Bは、図13に示す実施の形態5と同様な記憶部10、重要度決定部20A、重要度登録部70を備えると共に、図11に示す実施の形態3に係る3次元モデル情報生成装置100Cと同様な表示部30、視点情報取得部40、画像生成部50を備えている。さらに、3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部80を備えている。
Embodiment 6 FIG.
(Index generator)
FIG. 17 is a block diagram showing a configuration of an index generation apparatus according to Embodiment 6 of the present invention. The index generation device 200B illustrated in FIG. 17 includes the
次に、実施の形態6に係るインデックス生成装置200Bの動作について説明する。視点を移動しながら画像を生成し、重要度を算出するまでの動作は、実施の形態3に示した内容と同様である。重要度登録部70は、重要度を3次元空間内における方向と関連付けて記憶部10が有するインデックスに登録する。具体的な動作は、実施の形態5と同様である。
Next, the operation of the index generation device 200B according to Embodiment 6 will be described. The operations from generating an image while moving the viewpoint and calculating the importance are the same as those described in the third embodiment. The importance
方向定義部80は、視点情報取得部40が視点移動時に記憶部10に格納した視点に関する情報(視点位置や方向等)を取得して、3次元空間内における地点と方向との対応関係を作成し、記憶部10に格納する。その対応関係の例を図18に示す。図18において、道路IDは、視点が移動している道路のIDであり、方向IDは、その道路のどちらの方向に視点が移動しているのかを区別するID(例えば、実施の形態1で示したように、南から北に向かう方向や西から東に向かう方向を方向1、北から南に向かう方向や東から南に向かう方向を方向2と区別するID)である。地点座標は、視点移動時の視点位置であり、方向ベクトルは視線方向のベクトルである。視点移動時のすべての視点情報を記述することもできるが、画像生成部50が画像を生成した際の視点情報のみを記述しても良い。
The
なお、実施の形態6は、画像生成部50を備える実施の形態であるが、画像生成部50を除いた構成で実施してもよい。この場合、重要度決定部20Aは、図12に示す実施の形態4と同様な特徴抽出手段24と重要度算出手段22から成る構成、あるいは、特徴抽出手段24と重要度算出手段22と一般オブジェクト重要度算出手段23から成る構成とする。
In addition, although Embodiment 6 is an embodiment provided with the
また、実施の形態6は、3次元空間内における地点と方向との対応関係を、図18に示す項目で作成しているが、この項目は、図18に示す構成に限らない。 In the sixth embodiment, the correspondence between points and directions in the three-dimensional space is created using the items shown in FIG. 18, but this item is not limited to the configuration shown in FIG.
以上のように、実施の形態6に係るインデックス生成装置200Bによれば、記憶部10が有するインデックスに重要度を登録することができるので、空間データの利用に際して、重要度を用いた利用が可能になる。その際に、3次元空間内における任意の視点移動に伴って生成したレンダリング画像を用いて重要度を算出し、算出した重要度を、視点移動時の3次元空間内における方向と対応付けてインデックスに登録することができるので、広範囲の3次元モデルを対象として作成した重要度を利用可能になる。
As described above, according to the index generation device 200B according to the sixth embodiment, the importance can be registered in the index of the
実施の形態7.
(検索装置:記憶部に予めある画像から重要度を算出した場合)
図19は、この発明の実施の形態7に係る検索装置の構成を示すブロック図である。図19に示す実施の形態7に係る検索装置300Aは、実施の形態1〜実施の形態3に示した構成のいずれかであり、画像解析手段21と重要度算出手段22から成る構成、あるいは画像解析手段21と重要度算出手段22と一般オブジェクト重要度算出手段23から成る構成とする重要度決定部20Aと、実施の形態5と同様な方向生成部60及び重要度登録部70と、実施の形態3と同様な記憶部10、表示部30及び視点情報取得部40を備える。
Embodiment 7 FIG.
(Search device: When importance is calculated from images stored in the storage unit in advance)
FIG. 19 is a block diagram showing the configuration of the search device according to Embodiment 7 of the present invention. The search device 300A according to the seventh embodiment shown in FIG. 19 is one of the configurations shown in the first to third embodiments, and includes a configuration including the image analysis means 21 and the importance calculation means 22, or an image. An importance
さらに、3次元空間内における方向と関連づいた重要度を用いてオブジェクトのデータを抽出する検索部90を備えており、この検索部90は、オブジェクトを抽出する3次元空間内の領域を決定する抽出領域決定手段91と、重要度の算出に関連する3次元空間内の方向の中から、視線方向に最も近い方向を取得する視線方向取得手段92と、視線方向に対応する重要度に基づいてデータを抽出する抽出手段93とを有する。
Further, a
次に、実施の形態7に係る検索装置の動作について説明する。重要度の算出から登録に至るまでの処理内容は、実施の形態5と同様である。検索時における動作を以下に説明する。操作員がマウスやキーボード等を用いて視点の位置や視線方向、視点の移動方向や1秒あたりの移動変位量等を入力すると、入力された情報に基づいて視点情報取得部40が視点に関する情報を取得し、検索部90に渡す。
Next, the operation of the search device according to Embodiment 7 will be described. The processing contents from the calculation of importance to registration are the same as those in the fifth embodiment. The operation during the search will be described below. When the operator inputs the viewpoint position, line-of-sight direction, viewpoint movement direction, movement displacement per second, etc. using a mouse, keyboard, etc., the viewpoint
検索部90は、前記視点情報取得部40から視点位置や視線方向を受け取ると、3次元空間内における方向と関連づいた重要度を用いてオブジェクトのデータを抽出する。抽出領域決定手段91では、前記視点情報取得部40から視点位置や視線方向を受け取ると、3次元空間内における視点の付近の領域を限定する。
When the
図14に示すテーブルを用いて建物を抽出する動作の具体例を説明する。まず、記憶部10に格納されている、図14に示す領域分割テーブルを参照し、前記視点情報取得部40から受け取った視点位置を含むメッシュIDを取得する。次に、道路テーブルを参照し、取得したメッシュIDに属する道路IDの中から視点位置に対応する道路IDを取得する。このようにして、前記視点情報取得部40から受け取った視点位置に基づいて、視点の付近の領域を限定する。
A specific example of the operation of extracting a building using the table shown in FIG. 14 will be described. First, the mesh ID including the viewpoint position received from the viewpoint
検索部90の視線方向取得手段92では、前記視点情報取得部40から視線方向を受け取り、前記抽出領域決定手段91から視点付近の領域を受け取ると、まず、記憶部10に格納してある、3次元空間内における地点と方向との対応関係を参照し、視点の付近の領域であり、なおかる視線方向に最も近い方向ベクトルを取得する。なお、3次元空間内における地点と方向との対応関係は、例えば図16であり、前記方向生成部60が生成して記憶部10に格納されている。
When the line-of-
次に、取得した方向ベクトルから道路IDの方向(方向1等)を取得し、これを視線方向に対応する道路の方向とする。取得した道路の方向は、抽出手段93に渡す。 Next, the direction of the road ID (direction 1 or the like) is acquired from the acquired direction vector, and this is set as the road direction corresponding to the line-of-sight direction. The acquired road direction is passed to the extraction means 93.
検索部90の抽出手段93では、前記抽出領域決定手段91から視点付近の領域を受け取り、前記視線方向取得手段92から視線方向に対応する道路の方向を受け取ると、視点の付近の領域に存在するオブジェクトの中から、受け取った方向に対する重要度が高いポリゴンを抽出し、頂点座標やテクスチャ頂点座標、テクスチャデータ等の空間データを抽出する。
When the
具体的には、建物詳細テーブルを参照して、取得した道路IDを隣接道路とする建物を選び、さらにその中から、前記視線方向取得手段92で取得した道路の方向に対応するポリゴンの重要度を用いてデータを抽出する。重要度を用いた抽出方法には、(1)重要度の値に基づいて抽出する方法、(2)オブジェクトの数に基づいて抽出する方法、(3)重要度の値とオブジェクトの数に基づいて抽出する方法の3種類の方法を用いることが出来る。
Specifically, referring to the building detail table, a building having the acquired road ID as an adjacent road is selected, and the importance of the polygon corresponding to the direction of the road acquired by the line-of-sight
(1)の方法では、例えば重要度の値が0〜100までである場合に、70以上の重要度をもつポリゴンを抽出したり、90〜100までの重要度を持つポリゴンを抽出したりすることができる。
(2)の方法では、視点の付近に存在するオブジェクトをN件、重要度の高いオブジェクトから順に抽出することができる。
(3)の方法では、例えば重要度の値が0〜100までである場合に、80以上の重要度を持つオブジェクトを重要度が高い順にN1件、60〜80の重要度を持つオブジェクトを重要度が高い順にN2件抽出することができる。
In the method (1), for example, when the importance value is 0 to 100, a polygon having an importance of 70 or more is extracted, or a polygon having an importance of 90 to 100 is extracted. be able to.
In the method (2), N objects existing in the vicinity of the viewpoint can be extracted in order from the object having the highest importance.
In the method (3), for example, when the importance value is from 0 to 100, N1 objects having importance of 80 or more are important, and objects having importance of 60 to 80 are important in descending order of importance. N2 items can be extracted in descending order.
抽出の基準として用いる重要度の数値や、オブジェクトの件数は、操作員がキーボード等を用いて入力してもよいし、予め記憶部に記憶しておいてもよい。このとき、抽出の基準として用いる重要度の数値やオブジェクトの件数は、表示端末の性能等に応じて入力や記憶を行うことができる。 The numerical value of importance used as an extraction criterion and the number of objects may be input by an operator using a keyboard or the like, or may be stored in advance in a storage unit. At this time, the numerical value of importance and the number of objects used as extraction criteria can be input and stored in accordance with the performance of the display terminal.
このようにして、視点の付近に存在するオブジェクトの中から重要度を用いてオブジェクトのポリゴンや頂点座標、テクスチャデータ等の空間データを抽出すると、抽出したデータを記憶部に格納するとともに表示部に読み込みメッセージを送る。表示部では、読み込みメッセージを受け取ると、記憶部に格納された空間データを取得し、3次元モデルをレンダリングする。なお、検索や表示の際には、既に表示しているオブジェクトの空間データを除き、新たに必要となる空間データのみを検索し、表示することができる。
また、頂点座標等の詳細な空間データを抽出したポリゴンから、順次表示することができる。
In this way, when spatial data such as polygons, vertex coordinates, and texture data of an object is extracted from objects existing near the viewpoint using importance, the extracted data is stored in the storage unit and displayed in the display unit. Send a read message. When the display unit receives the read message, the display unit acquires the spatial data stored in the storage unit and renders the three-dimensional model. In searching and displaying, it is possible to search and display only the newly required spatial data, excluding the spatial data of the already displayed object.
Further, detailed spatial data such as vertex coordinates can be sequentially displayed from the extracted polygons.
また、実施の形態7では、抽出領域決定手段91において視点の付近の領域を限定する際にメッシュIDや道路IDを利用しているが、他の方法を用いてもよい。例えば、記憶部10に円の半径Rや矩形の縦幅・横幅を記憶しておき、視点位置を中心とする半径Rの円や矩形を視点付近の領域の限定に用いてもよい。その他、道路上を予め複数の領域に分割し、建物等のオブジェクトを各領域に割り当てたインデックスを作成しておいて、この領域を利用して視点の付近の領域を限定する方法を用いてもよい。例えば、視点の付近として特定する領域の個数Mを記憶部10に記憶しておき、抽出手段では、視点付近のM個の領域内に存在する建物に対して重要度を用いた抽出を行ってもよい。
In the seventh embodiment, the mesh ID and the road ID are used when the extraction
以上のように、実施の形態7に係る検索装置では、重要度を用いて表示対象のオブジェクトを変えて抽出することができるので、端末の表示性能に応じて抽出するオブジェクトの量を調節することができ、低性能の端末を利用する場合も、ストレスなく高速に3次元モデルを表示することができる。また、重要度は、表示上の重要性に基づいて決定しているので、限られたデータ量であっても表示品質が維持され、表示性能の著しい低下を防ぐことができる。 As described above, in the search device according to the seventh embodiment, the object to be displayed can be extracted by changing the importance, so that the amount of the object to be extracted is adjusted according to the display performance of the terminal. Even when a low-performance terminal is used, a three-dimensional model can be displayed at high speed without stress. Further, since the importance is determined based on the importance on display, the display quality is maintained even with a limited amount of data, and a significant deterioration in display performance can be prevented.
実施の形態8.
(検索装置:ウォークスルーを行った際のレンダリング画像から算出した重要度を用いて検索)
図20は、この発明の実施の形態8に係る検索装置の構成を示すブロック図である。図20に示す実施の形態8に係る検索装置300Bは、図19に示す実施の形態7に係る検索装置と同様な記憶部10、重要度決定部20A、表示部30、視点情報取得部40、重要度登録部70、検索部90を備えると共に、方法生成部60の代わりに実施の形態6と同様な方向定義部80と画像生成部50を備えている。
Embodiment 8 FIG.
(Search device: Search using the importance calculated from the rendered image at the walk-through)
FIG. 20 is a block diagram showing the configuration of the search device according to Embodiment 8 of the present invention. The search device 300B according to the eighth embodiment shown in FIG. 20 is similar to the search device according to the seventh embodiment shown in FIG. 19, the
ここで、重要度決定部20Aは、画像解析手段21と重要度算出手段22から成る構成、あるいは画像解析手段21と重要度算出手段22と一般オブジェクト重要度算出手段23から成る構成とする。また、画像解析手段21、重要度算出手段22、一般オブジェクト重要度算出手段23の各処理内容は、実施の形態1あるいは実施の形態2で説明した処理内容と同様である。また、記憶部10、表示部30、視点情報取得部40、画像生成部50の各処理内容は、実施の形態3で示した内容と同様であり、方向定義部80の処理内容は、実施の形態6と同様であり、重要度登録部70の処理内容は実施の形態5と同様である。検索部90は、実施の形態7に示した構成と同様であり、各処理内容も同様である。
Here, the importance
次に、実施の形態8に係る検索装置の動作について説明する。重要度の算出から登録までの動作は、実施の形態6に示す内容と同様である。検索時における動作を以下に説明する。まず、操作員がマウスやキーボード等を用いて3次元空間内における視点位置や視線方向、移動方向や1秒あたりの移動変位量等を入力すると、入力された情報に基づいて視点情報取得部40が次の視点位置と方向を取得し、検索部90に渡す。
Next, the operation of the search device according to Embodiment 8 will be described. The operations from the calculation of the importance to the registration are the same as the contents shown in the sixth embodiment. The operation during the search will be described below. First, when an operator inputs a viewpoint position, a line-of-sight direction, a movement direction, a movement displacement amount per second, and the like in a three-dimensional space using a mouse, a keyboard, and the like, a viewpoint
検索部90における抽出領域決定手段91では、前記視点情報取得部40から視点位置と視線方向を受け取ると、オブジェクトを抽出する3次元空間内の領域を決定する。具体的な処理内容は、実施の形態7に示す内容と同様である。
When receiving the viewpoint position and the line-of-sight direction from the viewpoint
検索部90の視線方向取得手段92では、前記視点情報取得部40から視線方向を受け取り、前記抽出領域決定手段91からオブジェクトを抽出する3次元空間内の領域を受け取ると、記憶部10に格納されている「方向定義」を参照して、視線の方向に対応する道路の方向を取得する。
When the line-of-sight
例えば、「方向定義」が図18で示される場合、前記抽出領域決定手段91において特定した領域に含まれる地点座標を取得し、その地点座標に対応付けられている方向ベクトルと前記視点情報取得部40から受け取った視線ベクトルとのなす角度を算出して、視点の付近であり、なおかつ視線方向に最も近い方向ベクトルを有する地点IDを取得する。この地点IDに対応付けられている道路IDおよびその方向IDが、視線方向に対応する道路の方向として決定される。
For example, when the “direction definition” is shown in FIG. 18, the point coordinates included in the area specified by the extraction
検索部90の抽出手段93では、前記抽出領域決定手段91からオブジェクトを抽出する3次元空間内の領域を受け取り、前記視線方向取得手段92から視線方向に対応する道路の方向を受け取ると、オブジェクトを抽出する領域に含まれているオブジェクトに対して、前記視線方向取得手段92から受け取った方向に対する重要度を用いてデータを抽出する。具体的な処理内容は、実施の形態7に示す内容と同様である。
When the
このようにして、検索部90において重要度を用いてオブジェクトの空間データを抽出すると、抽出した空間データを記憶部10に格納するとともに表示部に読み込みメッセージを送る。表示部では、読み込みメッセージを受け取ると、記憶部10に格納された空間データを用いて3次元モデルをレンダリングする。処理内容は、実施の形態7と同様である。
In this way, when the spatial data of the object is extracted using the importance level in the
なお、実施の形態8は、3次元空間内で視点を移動する際にレンダリング画像を生成し、レンダリング画像を用いて算出した重要度に基づいて検索を行う実施の形態であるが、レンダリング画像を生成せずに算出した重要度に基づいて検索を行う構成で実施してもよい。この場合の構成を図21に示す。図21に示す検索装置300Cは、図20の構成から画像生成部を除いた構成であり、重要度決定部20Aは、図12に示す実施の形態4と同様な特徴量抽出手段24と重要度算出手段22とを備えた構成である。
Note that the eighth embodiment is an embodiment in which a rendering image is generated when moving the viewpoint in a three-dimensional space, and a search is performed based on the importance calculated using the rendering image. You may implement by the structure which searches based on the importance calculated without producing | generating. The configuration in this case is shown in FIG. The search device 300C shown in FIG. 21 has a configuration in which the image generation unit is excluded from the configuration of FIG. 20, and the importance
以上のように、実施の形態8に係る検索装置では、3次元空間内で任意の視点移動を行った際のレンダリング結果に基づいて重要度を算出できるので、想定される検索範囲に限定してポリゴンの重要度を算出することができる。また、設定した重要度を用いることにより、用途に応じた重要なデータを抽出することが出来る。 As described above, in the search device according to the eighth embodiment, the importance can be calculated based on the rendering result when the arbitrary viewpoint movement is performed in the three-dimensional space. Therefore, the search device is limited to the assumed search range. The importance of the polygon can be calculated. Also, by using the set importance, it is possible to extract important data according to the application.
実施の形態9.
(検索装置:重要度の算出と登録は済;検索のみを行う装置)
図22は、この発明の実施の形態9に係る検索装置の構成を示すブロック図である。図22に示す実施の形態9に係る検索装置300Dは、3次元空間内においてオブジェクトを複数視点位置から見た時の見え方に基づいて設定した重要度を3次元空間内の方向と関連付けて管理するインデックスを有し、3次元データや画像等を記憶する記憶部10と、視点情報取得部40と、表示部30と、検索部90とを備える。視点情報取得部40、表示部30、検索部90の各処理内容は実施の形態7と同様である。
Embodiment 9 FIG.
(Search device: calculation and registration of importance completed; device that performs only search)
FIG. 22 is a block diagram showing the structure of the search device according to Embodiment 9 of the present invention. The search device 300D according to Embodiment 9 shown in FIG. 22 manages the importance set based on how the object is viewed from a plurality of viewpoint positions in the three-dimensional space in association with the direction in the three-dimensional space. And a
次に、実施の形態9に係る検索装置の動作について説明する。記憶部10は、形状やテクスチャ等のデータを記憶するとともに、オブジェクトを3次元空間内における方向と関連づいた重要度で管理するインデックスを有している。このインデックスは、実施の形態5や実施の形態6で示した方法により構築することができる。インデックスは、記憶媒体等を介して記憶部10に予め格納されている。
Next, the operation of the search device according to Embodiment 9 will be described. The
操作員がマウスやキーボード等を用いて仮想空間内における視点の位置や移動方向、1秒あたりの移動変位量等を入力すると、入力された情報に基づいて視点情報取得部40が視点位置と方向等、視点に関する情報を取得し、検索部90に渡す。
When the operator inputs the position and moving direction of the viewpoint in the virtual space using a mouse, a keyboard, etc., the viewpoint
検索部90は、前記視点情報取得部40から視点位置や視線方向を受け取ると、記憶部10が有するインデックスを参照し、視線方向に対応する重要度を用いてオブジェクトのデータを抽出する。具体的な動作は、実施の形態7と同様な、オブジェクトを抽出する3次元空間内の領域を決定する抽出領域決定手段91と、重要度算出時の3次元空間内における方向の中から、視線方向に最も近い方向を取得する視線方向取得手段92と、視線方向に対応する重要度に基づいてデータを抽出する抽出手段93との構成を有し、同様に動作する。
When receiving the viewpoint position and the line-of-sight direction from the viewpoint
以上のように、実施の形態9に係る検索装置では、予め構築されているインデックスを記憶部10に格納し、格納したインデックスを用いて検索を行うことができるので、インデックスの構築に関する知識がなくとも、重要度を用いた検索を行うことができる。
As described above, in the search device according to the ninth embodiment, a pre-constructed index can be stored in the
実施の形態10.
図23は、この発明の実施の形態10に係る配信装置の構成を示すブロック図である。図23に示す実施の形態10に係る配信装置400Aは、コンピュータグラフィックスによる3次元表示において、表示上重要なオブジェクトを優先的に抽出し、端末に配信する配信装置であって、図19に示す実施の形態7と同様な、記憶部10、重要度決定部20A、方向生成部60、重要度登録部70、検索部90とを備えると共に、3次元モデルを表示する端末と視点に関する情報や3次元形状データ等のデータの送受信を行うデータ送受信部110を備える。なお、データの送受信に用いる通信路の形態や通信方式は任意である。また、3次元モデルを表示する端末も任意であり、記憶部10、重要度決定部20A、方向生成部60、重要度登録部70、検索部90の各処理内容は実施の形態7に示した処理内容と同様である。
FIG. 23 is a block diagram showing a configuration of a distribution apparatus according to
次に、実施の形態10に係る配信装置の動作について説明する。重要度決定部20Aでは、記憶部10が有している画像から画素数等の特徴量を抽出し、特徴量に基づいて重要度を算出する。具体的な動作は、実施の形態1や実施の形態2と同様である。重要度算出の際に用いる特徴量や数式のパラメータ等は、回線の通信速度や配信装置に接続している端末の性能等に応じて調整することができる。重要度登録部70、方向生成部60の具体的な動作は、実施の形態5と同様である。データ送受信部110は、端末から視点に関する情報を受け取ると、検索部90に渡す。
Next, the operation of the distribution apparatus according to the tenth embodiment will be described. The
検索部90は、データ送受信部110から視点位置や方向等、視点に関する情報を受け取ると、記憶部10が有しているインデックスを用いて、重要度を用いたデータの抽出を行う。抽出の具体的な動作は、実施の形態7と同様である。なお、重要度を用いてポリゴンを抽出する際には、抽出の基準として用いる重要度の数値やオブジェクトの件数を、回線の通信速度と対応付けて記憶部10に記憶しておき、回線の通信速度に応じた基準でポリゴンの抽出を行うことができる。抽出したポリゴンIDは記憶部10に記憶する。
When the
データ送受信部110は、記憶部10に記憶してあるポリゴンIDを参照し、検索部90が抽出したポリゴンに関する詳細情報(頂点座標やテクスチャデータ等)を記憶部10が有するインデックスを用いて抽出し、表示端末に送信する。このとき、表示端末に送信済みのデータは除き、まだ送信していないデータを送信することができる。また、表示端末から再送のメッセージを受信した場合には、メッセージに従って、該当するデータを再送することができる。
The data transmission /
なお、実施の形態10は、優先的に配信するデータを決めるための重要度を、記憶部10が有する画像を用いて算出する実施の形態であるが、3次元空間内で任意に視点移動することによって決定してもよい。この場合の構成図を図24と図25に示す。図24に示す配信装置400Bの構成は、図23と比べると、方向生成部60の代わりに方向定義部80を備え、表示部30、視点情報取得部40、画像生成部50を備えた構成になっている。また、重要度決定部20Aは、画像解析手段21と重要度算出手段22を有する構成である。また、図25に示す配信装置400Cの構成は、図23と比べると、方向生成部60の代わりに方向定義部80を備え、表示部30、視点情報取得部40を備えた構成になっている。また、重要度決定部20Aは、特徴量抽出手段24と重要度算出手段22を有する構成である。
The
以上のように、実施の形態10に係る配信装置では、多数の端末が配信装置に接続し、3次元空間内における視点移動を行っている場合においても、端末ごとに、また、視点移動ごとに各オブジェクトの重要度をそのつど算出する必要がない。配信装置に予め蓄積されている重要度を用いて直ちに各端末上の表示において重要なポリゴンを検索して配信することができるので、端末側では、3次元空間内で高速に視点の移動を行うことができる。また、回線の通信速度が低いために多くのオブジェクトを抽出・配信できない場合であっても、限られた通信速度の範囲で重要度の高いオブジェクトを優先的に抽出することができるので、景観等の表示品質を著しく損ねることを防ぐ。 As described above, in the distribution device according to the tenth embodiment, even when a large number of terminals are connected to the distribution device and perform viewpoint movement in the three-dimensional space, for each terminal and for each viewpoint movement. There is no need to calculate the importance of each object. Since important polygons stored in advance in the distribution device can be used to immediately search for and distribute important polygons in the display on each terminal, the terminal moves at high speed in a three-dimensional space. be able to. Also, even if many objects cannot be extracted / distributed due to the low communication speed of the line, objects with high importance can be extracted preferentially within a limited communication speed range, so landscapes etc. Prevents the display quality of the display from being significantly impaired.
実施の形態11.
図13は、この発明の実施の形態11に係る情報配信システムにおける表示装置の構成を示すブロック図である。図13に示す実施の形態11に係る情報配信システムの表示装置500は、LANやインターネット、無線LAN等により、データの送受信を行う配信装置と表示装置を有する情報配信システムにおける表示装置の構成を示し、配信装置から受信した3次元データや設定情報等のデータを記憶している記憶部10と、3次元モデルをレンダリングして表示する表示部30と、3次元空間内における視点位置や方向等、視点に関する情報を取得する視点情報取得部40と、視点に関する情報に基づいて配信装置に配信してもらうデータを決める要求データ生成部120と、配信装置とデータの送受信を行うデータ送受信部110と、表示装置が接続しているネットワークの伝送速度を検出し、要求データ生成部に送る伝送速度検出部130とを備える。なお、データの送受信に用いる通信路の形態や通信方式は任意である。
Embodiment 11 FIG.
FIG. 13 is a block diagram showing the configuration of the display device in the information distribution system according to Embodiment 11 of the present invention. The display device 500 of the information distribution system according to the eleventh embodiment shown in FIG. 13 shows the configuration of the display device in the information distribution system having a distribution device that transmits and receives data over a LAN, the Internet, a wireless LAN, and the like. A
一方、図14は、この発明の実施の形態11に係る情報配信システムにおける配信装置の構成を示すブロック図である。図14に示す実施の形態11に係る情報配信システムの配信装置400Dは、LANやインターネット、無線LAN等により、データの送受信を行う配信装置と表示装置を有する情報配信システムにおける配信装置の構成を示し、3次元データや画像等を記憶する記憶部10と、表示装置10と3次元データ等のデータの送受信を行うデータ送受信部110と、インデックスを用いてデータを検索する検索部90とを備える。なお、記憶部10に記憶される3次元モデルに関するデータは、重要度と関連付けて管理するインデックスを有している。また。検索部90は、視線方向取得手段92と抽出手段93を含む構成とする。
On the other hand, FIG. 14 is a block diagram showing a configuration of a distribution apparatus in the information distribution system according to Embodiment 11 of the present invention. A distribution apparatus 400D of the information distribution system according to the eleventh embodiment shown in FIG. 14 shows a configuration of a distribution apparatus in an information distribution system having a distribution apparatus that transmits and receives data and a display apparatus via a LAN, the Internet, a wireless LAN, or the like. A
次に、実施の形態11に係る情報配信システムの動作について示す。表示装置500において、伝送速度検出部130は、表示装置30が接続しているネットワークの伝送速度を検出し、要求データ生成部120に送る。ネットワークの状況に応じて変化した伝送速度を検出することが出来る。
Next, the operation of the information distribution system according to the eleventh embodiment will be described. In the display device 500, the
操作員がマウスやキーボード等を用いて3次元空間内における視点の位置や移動方向、1秒あたりの移動変位量等を入力すると、入力された情報に基づいて視点情報取得部40が視点位置と方向等、視点に関する情報を取得し、要求データ生成部に送る。
When the operator inputs the viewpoint position and movement direction in the three-dimensional space using a mouse, keyboard, etc., the viewpoint
要求データ生成部120は、前記視点情報取得部40から視点に関する情報を受け取り、前記伝送速度検出部130から伝送速度を受け取ると、配信装置500Bに要求するデータの内容を決定する。
When the request
例えば、視点静止時に関して、回線の伝送速度と、データの要求に用いるパラメータとの対応関係を図2401に示すように決めておき、記憶部10に記憶しておく。伝送速度検出部で検出した伝送速度が10Mbpsであった場合、700ミリ秒の時間間隔で視点の周囲に配した円内に存在するオブジェクトを抽出する。視点位置を受け取った直後(すなわち、第一回目のデータ要求時)には、視点を中心とする半径70Mの円内に存在するオブジェクトのうち、重要度の数値が95〜120の範囲であるオブジェクトを配信装置に要求するデータ要求メッセージを作成する。その後、700ミリ秒後には、視点を中心とする半径80Mの円内に存在するオブジェクトのうち、重要度の数値が110〜120の範囲であるオブジェクトを配信装置に要求するデータ要求メッセージを作成する。
For example, when the viewpoint is stationary, the correspondence between the line transmission rate and the parameter used for requesting data is determined as shown in FIG. 2401 and stored in the
同様にして、第二回目のデータ要求の700ミリ秒後には、視点を中心とする半径90Mの円内に存在するオブジェクトのうち、重要度の数値が110〜120の範囲であるオブジェクトを配信装置に要求するデータ要求メッセージを作成する。このようにして作成したデータ要求メッセージは、データ送受信部110に渡す。なお、データを要求するメッセージの作成においては、既に受信したデータを要求しないメッセージを作成することができる。
Similarly, after 700 milliseconds after the second data request, among objects existing in a circle with a radius of 90 M centering on the viewpoint, an object whose importance is in the range of 110 to 120 is distributed. Create a data request message to request. The data request message created in this way is passed to the data transmitting / receiving
データ送受信部110は、前記要求データ生成部120からデータ要求メッセージを受け取ると、インターネット等を介して配信装置500Bにメッセージを送る。
When the data transmission /
配信装置500Bでは、データ送受信部110がデータ要求メッセージを受け取ると、検索部90にメッセージを渡す。
In distribution apparatus 500B, when data transmission /
検索部90の視線方向取得手段92では、データ要求メッセージから視線方向を取得すると、重要度に対応付けられている3次元空間内の方向と視線方向とのなす角度を算出し、視線方向に最も近い方向を取得する。検索部90の抽出手段93では、データ要求メッセージから、検索を行う空間の範囲や重要度の範囲等を受け取り、前期視線方向取得手段92から、重要度算出時の方向のうち視線方向に最も近い方向を受け取ると、データ要求メッセージに基づいて重要度を用いたオブジェクトの抽出を行う。抽出の具体的な動作は、実施の形態7と同様である。抽出したデータは、データ送受信部110に送る。抽出したデータから順次送ることができる。
When the line-of-
データ送受信部110は、検索部90から受け取ったデータをインターネット等により表示装置500Aのデータ送受信部110に渡す。
The data transmission /
表示装置500のデータ送受信部110は、配信装置500Bから受信したデータを記憶部10に格納するとともに、表示部30に追加読み込みのメッセージを送る。表示部30は、追加読み込みのメッセージを受け取ると、記憶部10に新に追加されたデータを用いてレンダリングする。データを受信するごとに、逐次データを表示することができる。
The data transmission /
なお、実施の形態11の情報配信システムでは、配信装置400Dがデータ送受信部110と検索部90のみを有する構成であるが、図23、図24、図25に示す配信装置の構成でもよい。
In the information distribution system according to the eleventh embodiment, the distribution device 400D includes only the data transmission /
また、実施の形態11では、データの要求に用いるパラメータの設定項目の例として、図28を示したが、パラメータは、図28に示す項目に限るものではなく、任意である。重要度の範囲の代わりに、抽出するオブジェクトの件数を回線の伝送速度に応じて設定しておくこともできる。また、回線の伝送速度のみならず、表示端末の性能に応じてデータを要求するためのパラメータを設定することもできる。また、視点移動速度に応じてデータを要求するためのパラメータを設定してもよい。また、これらのパラメータ設定項目を予め記憶部10に記憶していなくとも、配信装置500Bから配信してもよい。
In the eleventh embodiment, FIG. 28 is shown as an example of parameter setting items used for requesting data. However, the parameters are not limited to the items shown in FIG. 28 and are arbitrary. Instead of the importance range, the number of objects to be extracted can be set according to the transmission speed of the line. It is also possible to set parameters for requesting data according to the performance of the display terminal as well as the line transmission rate. Further, a parameter for requesting data may be set according to the viewpoint movement speed. Further, even if these parameter setting items are not stored in the
以上のように、実施の形態11に係る情報配信システムでは、個々の表示装置が、その表示性能や視点情報、回線の伝送速度等に応じて要求するデータの内容を決定して配信装置に送るため、配信装置は、表示装置から受け取ったデータ要求メッセージに従って空間データの抽出を行うことができる。したがって、多数の表示装置が配信装置に接続している場合であっても、個々の表示装置に送る空間データの内容を配信装置が決めずに済み、配信装置の負荷を軽減することができる。これにより、表示装置は、配信装置から高速に空間データを受信することができ、3次元空間内で高速に視点の移動を行うことができる。また、配信するデータは、回線の状況や端末の表示状況に応じたデータ量であり、表示上の重要性に基づいて抽出したデータであるため、通信速度が遅い回線や低性能の端末を利用する場合であっても表示品質の著しい低下を防ぐことができる。 As described above, in the information distribution system according to the eleventh embodiment, each display device determines the content of data requested according to its display performance, viewpoint information, line transmission speed, and the like, and sends it to the distribution device. Therefore, the distribution device can extract spatial data according to the data request message received from the display device. Therefore, even when a large number of display devices are connected to the distribution device, it is not necessary for the distribution device to determine the contents of the spatial data sent to each display device, and the load on the distribution device can be reduced. Thereby, the display device can receive the spatial data from the distribution device at high speed, and can move the viewpoint at high speed in the three-dimensional space. Also, since the data to be distributed is the amount of data according to the line status and terminal display status, and is extracted based on the importance of display, use a line with low communication speed or a low-performance terminal. Even in this case, it is possible to prevent a significant decrease in display quality.
実施の形態7〜11において、検索部90における抽出手段93では重要度に基づくオブジェクトの抽出を行うが、記憶部10に予め形状の詳細度やテクスチャの解像度の異なる複数のデータを用意しておき、重要度に応じて異なる詳細度や解像度のデータを選択して抽出してもよい。
In the seventh to eleventh embodiments, the extraction means 93 in the
10 記憶部、20A,20B,20C 重要度決定部、21 画像解析手段、22 重要度算出手段、23 一般オブジェクト重要度算出手段、30 表示部、40 視点情報取得部、50 画像生成部、24 特徴量抽出手段、60 方向生成部、70 重要度登録部、80 方向定義部、90 検索部、91 抽出領域決定手段、92 視線方向取得手段、93 抽出手段、100A,100B,100C,100D 3次元モデル情報生成装置、110 データ送受信部、120 要求データ生成部、130 伝送速度検出部、200A,200B インデックス生成装置、300A,300B,300C,300D 検索装置、400A,400B,400C,400D 配信装置、500 表示装置。
DESCRIPTION OF
Claims (34)
3次元モデルを記憶する記憶部と、
前記記憶部に記憶された3次元モデルに基づいてオブジェクトのポリゴンに設定する重要度を3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と
を備えた3次元モデル情報生成装置。 When displaying a three-dimensional model using computer graphics, a three-dimensional model information generating device that generates an importance level so that an object important for display can be preferentially displayed,
A storage unit for storing a three-dimensional model;
An importance level determining unit that determines the importance level set for the polygon of the object based on the 3D model stored in the storage unit based on the appearance when viewed from a plurality of viewpoint positions in the 3D space. 3D model information generation device.
前記記憶部は、3次元モデルとして、オブジェクトのレンダリング画像を記憶し、
前記重要度決定部は、
前記記憶部に記憶された画像を解析して特徴量を抽出する画像解析手段と、
前記画像解析手段により抽出された特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有することを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 1,
The storage unit stores a rendering image of an object as a three-dimensional model,
The importance determining unit
Image analysis means for analyzing the image stored in the storage unit and extracting a feature amount;
A three-dimensional model information generation apparatus comprising: importance calculation means for calculating importance set for a polygon of an object based on the feature amount extracted by the image analysis means.
前記重要度決定部は、
前記重要度算出手段が算出していないオブジェクトに対して重要度を算出する一般オブジェクト重要度算出手段をさらに有する
ことを特徴とする3次元モデル情報生成装置。 In the three-dimensional model information generation device according to claim 2,
The importance determining unit
A three-dimensional model information generation apparatus, further comprising general object importance calculation means for calculating importance for an object not calculated by the importance calculation means.
前記記憶部は、3次元モデルの3次元空間内における視点に関するデータを記憶し、
前記記憶部に記憶された視点に関するデータに基づいて3次元モデルをレンダリングし表示する表示部をさらに備え、
前記重要度決定部は、前記表示部による3次元モデルのレンダリング結果に基づいてオブジェクトのポリゴンに設定する重要度を決定する
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 1,
The storage unit stores data relating to a viewpoint in a three-dimensional space of a three-dimensional model,
A display unit that renders and displays a three-dimensional model based on the viewpoint-related data stored in the storage unit;
The importance level determination unit determines a level of importance set for a polygon of an object based on a rendering result of the three-dimensional model by the display unit.
3次元空間内における視点に関する情報を取得する視点情報取得部と、
前記視点情報取得部が取得した視点に関するデータに基づいて3次元モデルをレンダリングし表示する表示部と
をさらに備えた
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 1,
A viewpoint information acquisition unit that acquires information about viewpoints in a three-dimensional space;
A three-dimensional model information generating apparatus, further comprising: a display unit that renders and displays a three-dimensional model based on the viewpoint-related data acquired by the viewpoint information acquisition unit.
前記重要度決定部は、
前記表示部による3次元モデルのレンダリング結果から重要度を算出する際に用いる特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段からの特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有することを特徴とする3次元モデル情報生成装置。 In the three-dimensional model information generation device according to claim 4 or 5,
The importance determining unit
Feature amount extraction means for extracting feature amounts used when calculating the importance from the rendering result of the three-dimensional model by the display unit;
A three-dimensional model information generation apparatus comprising: importance calculation means for calculating importance set for a polygon of an object based on the feature quantity from the feature quantity extraction means.
前記重要度決定部は、
前記重要度算出手段が算出していないオブジェクトに対して重要度を算出する一般オブジェクト重要度算出手段をさらに有する
ことを特徴とする3次元モデル情報生成装置。 In the three-dimensional model information generation device according to any one of claims 4 to 6,
The importance determining unit
A three-dimensional model information generation apparatus, further comprising general object importance calculation means for calculating importance for an object not calculated by the importance calculation means.
前記記憶部は、3次元モデルの3次元空間内における視点に関するデータを記憶し、
前記記憶部に記憶された視点に関するデータに基づいて3次元モデルをレンダリングし表示する表示部と、
前記表示部による3次元モデルのレンダリング結果から画像を生成して前記記憶部に記憶させる画像生成部と
をさらに備えた
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 1,
The storage unit stores data relating to a viewpoint in a three-dimensional space of a three-dimensional model,
A display unit for rendering and displaying a three-dimensional model based on data relating to the viewpoint stored in the storage unit;
An image generating unit that generates an image from a rendering result of the three-dimensional model by the display unit and stores the image in the storage unit.
前記重要度決定部は、
前記記憶部に記憶された画像から重要度を算出する際に用いる特徴量を抽出する画像解析手段と、
前記画像解析手段により抽出された特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有することを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 8,
The importance determining unit
Image analysis means for extracting feature amounts used when calculating the importance from the image stored in the storage unit;
A three-dimensional model information generation apparatus comprising: importance calculation means for calculating importance set for a polygon of an object based on the feature amount extracted by the image analysis means.
前記重要度決定部は、
前記重要度算出手段が算出していないオブジェクトに対して重要度を算出する一般オブジェクト重要度算出手段をさらに有する
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 8 or 9,
The importance determining unit
A three-dimensional model information generation apparatus, further comprising general object importance calculation means for calculating importance for an object not calculated by the importance calculation means.
3次元空間内における視点に関する情報を取得する視点情報取得部と、
前記視点情報取得部が取得した視点に関するデータに基づいて3次元モデルをレンダリングし表示する表示部とをさらに備え、
前記重要度決定部は、前記表示部による3次元モデルのレンダリング結果に基づいてオブジェクトのポリゴンに設定する重要度を決定する
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 8,
A viewpoint information acquisition unit that acquires information about viewpoints in a three-dimensional space;
A display unit that renders and displays a three-dimensional model based on the viewpoint-related data acquired by the viewpoint information acquisition unit;
The importance level determination unit determines a level of importance set for a polygon of an object based on a rendering result of the three-dimensional model by the display unit.
前記重要度決定部は、
前記記憶部に記憶された画像から重要度を算出する際に用いる特徴量を抽出する画像解析手段と、
前記画像解析手段により抽出された特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有することを特徴とする3次元モデル情報生成装置。 In the three-dimensional model information generation device according to claim 11,
The importance determining unit
Image analysis means for extracting feature amounts used when calculating the importance from the image stored in the storage unit;
A three-dimensional model information generation apparatus comprising: importance calculation means for calculating importance set for a polygon of an object based on the feature amount extracted by the image analysis means.
前記重要度決定部は、
前記重要度算出手段が算出していないオブジェクトに対して重要度を算出する一般オブジェクト重要度算出手段をさらに有する
ことを特徴とする3次元モデル情報生成装置。 In the three-dimensional model information generation device according to claim 11,
The importance determining unit
A three-dimensional model information generation apparatus, further comprising general object importance calculation means for calculating importance for an object not calculated by the importance calculation means.
前記重要度決定部は、3次元空間内の複数視点位置からポリゴンを見たときの方向と対応付けて重要度を算出する
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to any one of claims 1 to 13,
The importance level determination unit calculates an importance level in association with a direction when a polygon is viewed from a plurality of viewpoint positions in a three-dimensional space.
前記重要度決定部は、オブジェクトのポリゴンに設定する重要度を、3次元空間内における複数視点位置から見たときの見え方の時間的な変化を考慮して決定する
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to any one of claims 1 to 13,
The importance level determining unit determines the importance level set for the polygon of the object in consideration of temporal changes in appearance when viewed from a plurality of viewpoint positions in the three-dimensional space. Model information generator.
前記重要度決定部は、オブジェクトのポリゴンに設定する重要度の判断基準として、
第1の基準に、3次元空間内で視点を移動した際に、最も大きく表示されたときの画面を占める割合が高いポリゴン及びそのオブジェクトを表示上重要なものと設定し、
第2の基準に、3次元空間内で視点を移動した際に、大きく表示されている時間が長いポリゴン及びそのオブジェクトを表示上重要なものと設定し、
上記2つの基準に対して重要度を算出した後、それらの値を統合することで重要度を算出する
ことを特徴とする3次元モデル情報生成装置。 The three-dimensional model information generation device according to claim 15,
The importance level determination unit, as a criterion for determining the importance level set in the polygon of the object,
As a first criterion, when moving the viewpoint in the three-dimensional space, a polygon and its object that occupy a high proportion of the screen when displayed at the largest size are set as important for display,
As a second criterion, when moving the viewpoint in the three-dimensional space, the polygon and its object that are displayed for a long time are set as important for display,
A three-dimensional model information generating apparatus, wherein after calculating the importance with respect to the two criteria, the importance is calculated by integrating the values.
3次元モデル及び3次元モデルを管理するインデックスを記憶する記憶部と、
前記記憶部に記憶された3次元モデルに基づいてオブジェクトのポリゴンに設定する重要度を3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、
前記記憶部に記憶されている3次元モデルの画像に基づいて3次元空間内における地点と方向との対応関係を生成する方向生成部と、
前記重要度決定部で決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部と
を備えたインデックス生成装置。 An index generation device that generates an index for managing an importance set for a polygon of an object in association with a direction in a three-dimensional space,
A storage unit for storing a 3D model and an index for managing the 3D model;
An importance level determining unit that determines an importance level set for a polygon of an object based on a three-dimensional model stored in the storage unit based on appearance when viewed from a plurality of viewpoint positions in a three-dimensional space;
A direction generation unit that generates a correspondence between a point and a direction in a three-dimensional space based on an image of a three-dimensional model stored in the storage unit;
An index generation device comprising: an importance level registration unit that registers the importance level determined by the importance level determination unit in association with a direction in a three-dimensional space.
前記方向生成部の代わりに、3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部を備えると共に、
3次元空間内における視点位置や視線方向等、視点に関する情報を取得する視点情報取得部と、
3次元モデルを表示する表示部と、
3次元モデルをレンダリングした結果を画像に出力する画像生成部
をさらに備え、
前記方向定義部は、前記視点情報取得部が視点移動時に記憶部に格納した視点に関する情報を取得して、3次元空間内における地点と方向との対応関係を作成し、前記記憶部に格納する
ことを特徴とするインデックス生成装置。 The index generation device according to claim 17,
Instead of the direction generation unit, a direction definition unit that generates a correspondence between a point and a direction in the three-dimensional space based on information about the viewpoint when the viewpoint is moved, and
A viewpoint information acquisition unit that acquires information about the viewpoint such as the viewpoint position and the line-of-sight direction in the three-dimensional space;
A display unit for displaying a three-dimensional model;
An image generation unit that outputs a result of rendering the three-dimensional model to an image;
The direction definition unit acquires information about the viewpoint stored in the storage unit when the viewpoint information acquisition unit moves the viewpoint, creates a correspondence between the point and the direction in the three-dimensional space, and stores the correspondence in the storage unit An index generation device characterized by the above.
前記重要度決定部は、
記憶部に記憶された画像から重要度を算出する際に用いる特徴量を抽出する画像解析手段と、
前記画像解析手段により抽出された特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有することを特徴とするインデックス生成装置。 The index generation device according to claim 17,
The importance determining unit
Image analysis means for extracting feature amounts used when calculating the importance from the image stored in the storage unit;
An index generation apparatus comprising: an importance calculation unit that calculates an importance set for a polygon of an object based on the feature amount extracted by the image analysis unit.
前記重要度決定部は、
前記重要度算出手段が算出していないオブジェクトに対して重要度を算出する一般オブジェクト重要度算出手段をさらに有する
ことを特徴とするインデックス生成装置。 The index generation device according to claim 19,
The importance determining unit
An index generation apparatus further comprising general object importance calculation means for calculating importance for an object not calculated by the importance calculation means.
前記方向生成部の代わりに、3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部を備えると共に、
前記重要度決定部は、
前記表示部による3次元モデルのレンダリング結果から重要度を算出する際に用いる特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段からの特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有し、
3次元空間内における視点に関する情報を取得する視点情報取得部と、
3次元モデルを表示する表示部と
をさらに備え、
前記方向定義部は、前記視点情報取得部が視点移動時に記憶部に格納した視点に関する情報を取得して、3次元空間内における地点と方向との対応関係を作成し、前記記憶部に格納する
ことを特徴とするインデックス生成装置。 The index generation device according to claim 17,
Instead of the direction generation unit, a direction definition unit that generates a correspondence between a point and a direction in the three-dimensional space based on information about the viewpoint when the viewpoint is moved, and
The importance determining unit
Feature amount extraction means for extracting feature amounts used when calculating the importance from the rendering result of the three-dimensional model by the display unit;
Importance calculation means for calculating the importance set for the polygon of the object based on the feature quantity from the feature quantity extraction means;
A viewpoint information acquisition unit that acquires information about viewpoints in a three-dimensional space;
A display unit for displaying a three-dimensional model;
The direction definition unit acquires information about the viewpoint stored in the storage unit when the viewpoint information acquisition unit moves the viewpoint, creates a correspondence between the point and the direction in the three-dimensional space, and stores the correspondence in the storage unit An index generation device characterized by the above.
3次元データ等を記憶する記憶部と、
オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、
3次元空間内における地点と方向との対応関係を記憶部が有する画像に基づいて生成する方向生成部と、
前記重要度決定部で決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部と、
3次元モデルを表示する表示部と、
3次元空間内における視点に関する情報を取得する視点情報取得部と、
3次元空間内における方向と関連づいた重要度を用いてオブジェクトのデータを抽出する検索部と
を備えた検索装置。 A search device for searching a three-dimensional model,
A storage unit for storing three-dimensional data and the like;
An importance determining unit that determines the importance set for the polygon of the object based on how it is viewed from a plurality of viewpoint positions in the three-dimensional space;
A direction generation unit that generates a correspondence between a point and a direction in a three-dimensional space based on an image included in the storage unit;
An importance level registration unit for registering the importance level determined by the importance level determination unit in association with a direction in a three-dimensional space;
A display unit for displaying a three-dimensional model;
A viewpoint information acquisition unit that acquires information about viewpoints in a three-dimensional space;
A search device comprising: a search unit that extracts data of an object using an importance level associated with a direction in a three-dimensional space.
前記重要度決定部は、
重要度を算出する際に用いる特徴量を記憶部が有している画像から抽出する画像解析手段と、
特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有し、
前記検索部は、
オブジェクトを抽出する3次元空間内の領域を決定する抽出領域決定手段と、
重要度算出時の3次元空間内における方向の中から、視線方向に最も近い方向を取得する視線方向取得手段と、
視線方向に対応する重要度に基づいてデータを抽出する抽出手段と
を有する
ことを特徴とする検索装置。 The search device according to claim 22,
The importance determining unit
Image analysis means for extracting a feature amount used when calculating the importance from an image included in the storage unit;
Importance calculating means for calculating the importance set for the polygon of the object based on the feature amount, and
The search unit
Extraction area determining means for determining an area in the three-dimensional space for extracting an object;
Gaze direction acquisition means for acquiring a direction closest to the gaze direction from the directions in the three-dimensional space at the time of calculating the importance,
A retrieval device comprising: extraction means for extracting data based on the importance corresponding to the line-of-sight direction.
前記方向生成部の代わりに、3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部を備えると共に、
3次元モデルをレンダリングした結果を画像に出力する画像生成部をさらに備える
ことを特徴とするインデックス生成装置。 The search device according to claim 22,
Instead of the direction generation unit, a direction definition unit that generates a correspondence between a point and a direction in the three-dimensional space based on information about the viewpoint when the viewpoint is moved, and
An index generation apparatus, further comprising: an image generation unit that outputs a result of rendering the three-dimensional model to an image.
前記重要度決定部は、
重要度を算出する際に用いる特徴量を記憶部が有している画像から抽出する画像解析手段と、
特徴量に基づいてオブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有し、
前記検索部は、
オブジェクトを抽出する3次元空間内の領域を決定する抽出領域決定手段と、
重要度算出時の3次元空間内における方向の中から、視線方向に最も近い方向を取得する視線方向取得手段と、
視線方向に対応する重要度に基づいてデータを抽出する抽出手段と
を有することを特徴とする検索装置。 The search device according to claim 24,
The importance determining unit
Image analysis means for extracting a feature amount used when calculating the importance from an image of the storage unit;
Importance calculating means for calculating the importance set for the polygon of the object based on the feature amount, and
The search unit
Extraction area determining means for determining an area in the three-dimensional space for extracting an object;
Gaze direction acquisition means for acquiring a direction closest to the gaze direction from the directions in the three-dimensional space at the time of calculating the importance,
A retrieval device comprising: extraction means for extracting data based on importance corresponding to a line-of-sight direction.
前記方向生成部の代わりに、3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部を備えると共に、
前記重要度決定部は、
重要度を算出する際に用いる特徴量を3次元モデルのレンダリング結果から抽出する特徴量抽出手段と、
特徴量に基づいて、オブジェクトのポリゴンに設定する重要度を算出する重要度算出手段と
を有する
ことを特徴とする検索装置。 The search device according to claim 22,
Instead of the direction generation unit, a direction definition unit that generates a correspondence between a point and a direction in the three-dimensional space based on information about the viewpoint when the viewpoint is moved, and
The importance determining unit
A feature amount extraction means for extracting a feature amount used when calculating the importance from a rendering result of the three-dimensional model;
An importance level calculating means for calculating an importance level set for a polygon of an object based on a feature amount.
3次元空間内における方向と関連づいた重要度を格納したインデックスを有し、3次元データ等を記憶する記憶部と、
3次元モデルを表示する表示部と、
視点に関する情報を取得する視点情報取得部と、
オブジェクトを抽出する3次元空間内の領域を決定する抽出領域決定手段と、
重要度算出時の3次元空間内における方向の中から、視線方向に最も近い方向を取得する視線方向取得手段と、
視線方向に対応する重要度に基づいてデータを抽出する抽出手段と
を備えた検索装置。 A search device for searching a three-dimensional model,
A storage unit having an index that stores the degree of importance associated with the direction in the three-dimensional space, and storing three-dimensional data, etc .;
A display unit for displaying a three-dimensional model;
A viewpoint information acquisition unit that acquires information about the viewpoint;
Extraction area determining means for determining an area in the three-dimensional space for extracting an object;
Gaze direction acquisition means for acquiring a direction closest to the gaze direction from the directions in the three-dimensional space at the time of calculating the importance,
A retrieval device comprising: extraction means for extracting data based on importance corresponding to a line-of-sight direction.
前記検索部は、3次元空間内における方向と関連づいた重要度を用いて、視線の方向に対して表示上、重要なオブジェクトのデータを抽出する
ことを特徴とする検索装置。
The search device according to any one of claims 22 to 27,
The search unit extracts data of an important object on the display with respect to the direction of the line of sight, using the importance associated with the direction in the three-dimensional space.
3次元データ等を記憶する記憶部と、
オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、
前記重要度決定部で決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部と、
3次元空間内における地点と方向との対応関係を記憶部が有する画像に基づいて生成する方向生成部と、
3次元空間内における方向と関連づいた重要度を用いてオブジェクトのデータを抽出する検索部と、
端末と3次元データ等のデータの送受信を行うデータ送受信部と
を備えた配信装置。 A distribution device that preferentially extracts objects important for display in three-dimensional display by computer graphics and distributes them to a terminal,
A storage unit for storing three-dimensional data and the like;
An importance determining unit that determines the importance set for the polygon of the object based on how it is viewed from a plurality of viewpoint positions in the three-dimensional space;
An importance level registration unit for registering the importance level determined by the importance level determination unit in association with a direction in a three-dimensional space;
A direction generation unit that generates a correspondence between a point and a direction in a three-dimensional space based on an image included in the storage unit;
A search unit that extracts object data using importance associated with a direction in a three-dimensional space;
A distribution apparatus comprising: a terminal and a data transmission / reception unit that transmits and receives data such as three-dimensional data.
前記方向生成部の代わりに、3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部を備えると共に、
前記重要度決定部は、
重要度を算出する際に用いる特徴量を3次元モデルのレンダリング結果から抽出する特徴量抽出手段と、
前記特徴量抽出手段からの特徴量に基づいて重要度を算出する重要度算出手段と
を有し、
視点に関する情報を取得する視点情報取得部と、
3次元モデルを表示する表示部と
をさらに備えた
ことを特徴とする配信装置。 30. The delivery device according to claim 29.
Instead of the direction generation unit, a direction definition unit that generates a correspondence between a point and a direction in the three-dimensional space based on information about the viewpoint when the viewpoint is moved, and
The importance determining unit
A feature amount extraction means for extracting a feature amount used when calculating the importance from a rendering result of the three-dimensional model;
Importance calculating means for calculating importance based on the feature quantity from the feature quantity extracting means,
A viewpoint information acquisition unit that acquires information about the viewpoint;
And a display unit for displaying a three-dimensional model.
前記方向生成部の代わりに、3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部を備えると共に、
3次元モデルをレンダリングした結果を画像に出力する画像生成部をさらに備え、
前記重要度決定部は、
重要度を算出する際に用いる特徴量を記憶部が有している画像から抽出する画像解析手段と、
特徴量に基づいて重要度を算出する重要度算出手段と
を有することを特徴とする検索装置。 30. The delivery device according to claim 29.
Instead of the direction generation unit, a direction definition unit that generates a correspondence between a point and a direction in the three-dimensional space based on information about the viewpoint when the viewpoint is moved, and
An image generation unit that outputs a result of rendering the three-dimensional model to an image;
The importance determining unit
Image analysis means for extracting a feature amount used when calculating the importance from an image of the storage unit;
A search device comprising: an importance calculation means for calculating importance based on a feature amount.
前記配信装置は、
3次元空間内における方向と関連づいた重要度を格納したインデックスを有し、3次元データを記憶する記憶部と、
重要度を用いてオブジェクトのデータを抽出する検索部と、
表示装置と3次元データの送受信を行うデータ送受信部と
を備え、
前記表示装置は、
3次元データ等のデータを記憶する記憶部と、
3次元モデルを表示する表示部と、
視点に関する情報を取得する視点情報取得部と、
配信装置に配信してもらうデータを決める要求データ生成部と、
配信装置と3次元データ等のデータの送受信を行うデータ送受信部と、
回線の伝送速度を検出する伝送速度検出部と
を備えた
ことを特徴とする情報配信システム。 An information distribution system having a distribution device and a display device for transmitting and receiving data via a LAN or the Internet,
The distribution device includes:
A storage unit having an index that stores the degree of importance associated with a direction in the three-dimensional space, and storing three-dimensional data;
A search unit for extracting object data using importance,
A display device and a data transmitter / receiver for transmitting / receiving three-dimensional data,
The display device
A storage unit for storing data such as three-dimensional data;
A display unit for displaying a three-dimensional model;
A viewpoint information acquisition unit that acquires information about the viewpoint;
A request data generation unit that determines data to be distributed to the distribution device;
A data transmission / reception unit for transmitting / receiving data such as three-dimensional data to / from the distribution device;
An information distribution system comprising: a transmission rate detection unit that detects a transmission rate of a line.
前記配信装置は、
オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、
前記重要度決定部で決定した重要度を3次元空間内における方向と関連付けて登録する重要度登録部と、
3次元空間内における地点と方向との対応関係を記憶部が有する画像に基づいて生成する方向生成部と
をさらに備えた
ことを特徴とする情報配信システム。 The information delivery system according to claim 32,
The distribution device includes:
An importance determining unit that determines the importance set for the polygon of the object based on how it is viewed from a plurality of viewpoint positions in the three-dimensional space;
An importance level registration unit for registering the importance level determined by the importance level determination unit in association with a direction in a three-dimensional space;
An information distribution system further comprising: a direction generation unit that generates a correspondence between a point and a direction in a three-dimensional space based on an image included in the storage unit.
前記配信装置は、
オブジェクトのポリゴンに設定する重要度を、3次元空間内の複数視点位置から見たときの見え方に基づいて決定する重要度決定部と、
3次元空間内における地点と方向との対応関係を、視点を移動した際の視点に関する情報に基づいて生成する方向定義部と、
重要度を3次元空間内における方向と関連付けて登録する重要度登録部と、
3次元モデルを表示する表示部と、
視点に関する情報を取得する視点情報取得部と、
3次元モデルをレンダリングした結果を画像に出力する画像生成部と
をさらに備えた
ことを特徴とする情報配信システム。 The information delivery system according to claim 32,
The distribution device includes:
An importance determining unit that determines the importance set for the polygon of the object based on how it is viewed from a plurality of viewpoint positions in the three-dimensional space;
A direction definition unit that generates a correspondence between a point and a direction in a three-dimensional space based on information about the viewpoint when the viewpoint is moved;
An importance level registration unit for registering an importance level in association with a direction in a three-dimensional space;
A display unit for displaying a three-dimensional model;
A viewpoint information acquisition unit that acquires information about the viewpoint;
An information distribution system, further comprising: an image generation unit that outputs a result of rendering the three-dimensional model to an image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004048389A JP4376656B2 (en) | 2004-02-24 | 2004-02-24 | Three-dimensional model information generation device, index generation device, search device, distribution device, and information distribution system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004048389A JP4376656B2 (en) | 2004-02-24 | 2004-02-24 | Three-dimensional model information generation device, index generation device, search device, distribution device, and information distribution system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005242475A true JP2005242475A (en) | 2005-09-08 |
JP4376656B2 JP4376656B2 (en) | 2009-12-02 |
Family
ID=35024184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004048389A Expired - Fee Related JP4376656B2 (en) | 2004-02-24 | 2004-02-24 | Three-dimensional model information generation device, index generation device, search device, distribution device, and information distribution system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4376656B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008070705A (en) * | 2006-09-15 | 2008-03-27 | Cad Center:Kk | Picture providing system and picture providing server device |
CN105160707A (en) * | 2015-08-18 | 2015-12-16 | 南京禹步信息科技有限公司 | Three-dimensional model fast visualization method based on viewpoint indexes |
KR101899984B1 (en) * | 2017-12-26 | 2018-09-18 | (주)소프트힐스 | Visualizaion system of massive mesh cloud data |
-
2004
- 2004-02-24 JP JP2004048389A patent/JP4376656B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008070705A (en) * | 2006-09-15 | 2008-03-27 | Cad Center:Kk | Picture providing system and picture providing server device |
CN105160707A (en) * | 2015-08-18 | 2015-12-16 | 南京禹步信息科技有限公司 | Three-dimensional model fast visualization method based on viewpoint indexes |
KR101899984B1 (en) * | 2017-12-26 | 2018-09-18 | (주)소프트힐스 | Visualizaion system of massive mesh cloud data |
Also Published As
Publication number | Publication date |
---|---|
JP4376656B2 (en) | 2009-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783543B2 (en) | Method and system for displaying and navigating an optimal multi-dimensional building model | |
KR101667345B1 (en) | System and method of indicating transition between street level images | |
JP4338645B2 (en) | Advanced 3D visualization system and method for mobile navigation unit | |
KR101997011B1 (en) | Method for visualizing at least one of 3D object and 3D terrain | |
US20130314398A1 (en) | Augmented reality using state plane coordinates | |
KR101260132B1 (en) | Stereo matching process device, stereo matching process method, and recording medium | |
JPWO2014020663A1 (en) | Map display device | |
CN110832278B (en) | Rendering map data using descriptions of grid differences | |
US20130155047A1 (en) | Image three-dimensional (3d) modeling | |
US9549169B2 (en) | Stereoscopic map display system | |
JPWO2017203774A1 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2010013854A1 (en) | Three dimensional geographical information client apparatus, server apparatus and three dimensional geographical information system having the same | |
JP6571262B2 (en) | Display objects based on multiple models | |
JP2016057947A (en) | Virtual space display device, and method and program for virtual space display | |
JP2019194924A5 (en) | ||
US9679349B2 (en) | Method for visualizing three-dimensional data | |
EP3296763A1 (en) | Weather data processing apparatus and method using weather radar | |
KR20180120456A (en) | Apparatus for providing virtual reality contents based on panoramic image and method for the same | |
JP4781685B2 (en) | Outline map generator | |
JP5037660B2 (en) | Distribution apparatus and information distribution system | |
JP2004206338A (en) | System and method for distributing information, client terminal, server, distribution request program, computer readable recording medium for recording the program, distribution planning program, computer readable recording medium for recording the program, distribution program, and computer readable recording medium for recording the program | |
JP4376656B2 (en) | Three-dimensional model information generation device, index generation device, search device, distribution device, and information distribution system | |
JP7341736B2 (en) | Information processing device, information processing method and program | |
CN116958490A (en) | Automatic generation method and system for online virtual exhibition hall | |
KR102527827B1 (en) | Dynamic restyling of digital maps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090909 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |