JP2020095427A - Three-dimensional information display device and method - Google Patents

Three-dimensional information display device and method Download PDF

Info

Publication number
JP2020095427A
JP2020095427A JP2018232172A JP2018232172A JP2020095427A JP 2020095427 A JP2020095427 A JP 2020095427A JP 2018232172 A JP2018232172 A JP 2018232172A JP 2018232172 A JP2018232172 A JP 2018232172A JP 2020095427 A JP2020095427 A JP 2020095427A
Authority
JP
Japan
Prior art keywords
dimensional model
dimensional
information display
target space
reference plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018232172A
Other languages
Japanese (ja)
Inventor
淳 黒崎
Atsushi Kurosaki
淳 黒崎
智洋 近田
Tomohiro Chikada
智洋 近田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2018232172A priority Critical patent/JP2020095427A/en
Publication of JP2020095427A publication Critical patent/JP2020095427A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

To provide three-dimensional information on the entire object space to a user by utilizing a three-dimensional model for each object within the object space.SOLUTION: A three-dimensional information display device includes: a plan view obtaining unit 1 that obtains image data on a plan view of an object space containing the plan view of an object within the object space; a three-dimensional model obtaining unit 2 that obtains three-dimensional model data for each object within the object space; a reference plane creating unit 4 that takes, as the reference plane for a three-dimensional data coordinate system, the plane of the object space indicated by the image data; a three-dimensional model placing unit 5 that places the three-dimensional model of the object indicated by the three-dimensional model data at a position of the corresponding object on the reference plane; and a three-dimensional information display unit 6 that creates and displays an image obtained by projecting the three-dimensional model placed on the reference plane on a projection surface.SELECTED DRAWING: Figure 1

Description

本発明は、３次元情報の表示技術に係り、特に建物やプラント、工場等の空間における設備機器等の物体の３次元情報を表示する３次元情報表示装置および方法に関するものである。 The present invention relates to a three-dimensional information display technique, and more particularly to a three-dimensional information display device and method for displaying three-dimensional information of an object such as equipment in a space such as a building, a plant or a factory.

コンピュータの処理能力の向上と映像技術の進歩に伴い、３次元情報が汎用的なコンピュータ、スマートフォン、タブレットなどで描画できるようになってきた。そのため、実世界の３次元モデルを利用した多様なアプリケーションやサービスが登場している。建物やプラント、工場に関しても、実空間の３次元情報の計測とそれを応用した設備管理などの取り組みが進められている。 With the improvement of computer processing capability and the progress of video technology, it has become possible to draw three-dimensional information on a general-purpose computer, smartphone, tablet or the like. Therefore, various applications and services that use the three-dimensional model of the real world have appeared. With respect to buildings, plants, and factories, efforts are underway to measure three-dimensional information in the real space and apply it to equipment management.

これまで実空間の３次元情報を生成する３Ｄ（3-dimension）化の手法としては、高精度なレーザスキャナやＬｉＤＡＲ（Light Detection and Ranging，Laser Imaging Detection and Ranging）などが利用されてきたが、レーザスキャナは機材の価格が高価であることや、ＬｉＤＡＲは空間を３Ｄ化するには空間分解能が低いといった課題があった。 Hitherto, as a 3D (3-dimension) method for generating three-dimensional information in a real space, a highly accurate laser scanner or LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) has been used. The laser scanner has a problem that the price of the equipment is expensive, and the LiDAR has a low spatial resolution to make the space 3D.

近年、コンピュータビジョンの発展に伴い、複数の静止画像から３次元形状を復元することができる、ｖｉｓｕａｌＳＬＡＭ（Simultaneous Localization and Mapping）やＳｆＭ（Structure from Motion）などの技術の開発が進展している。ｖｉｓｕａｌＳＬＡＭやＳｆＭは、複数の静止画像から特徴点を抽出し、特徴点のマッチングから、３次元形状を復元するためのパラメータを算出し、３次元形状を構築する技術である。情報処理技術やソフトウェア技術の発展により、ユーザが利用しやすい複数の３次元形状復元ソフトウェアが開発され、３次元形状復元アルゴリズムの専門的な知識を有していないユーザでも３次元情報を取り扱えるようになり、ユーザが広がっている。 In recent years, with the development of computer vision, development of technologies such as visual SLAM (Simultaneous Localization and Mapping) and SfM (Structure from Motion) capable of reconstructing a three-dimensional shape from a plurality of still images is progressing. The visualSLAM and SfM are technologies for extracting a feature point from a plurality of still images, calculating parameters for restoring the three-dimensional shape from the matching of the feature points, and constructing a three-dimensional shape. Due to the development of information processing technology and software technology, a plurality of 3D shape restoration software that is easy for users to use has been developed so that even users who do not have specialized knowledge of 3D shape restoration algorithms can handle 3D information. And users are spreading.

そこで、専門的な知識を有していない一般ユーザでも、正確さを高めた３次元情報を得られるように、より正確なカメラの位置や特徴点の位置情報を算出できるような画像を選択できるという、画像処理方法が開示されている（特許文献１参照）。 Therefore, even a general user who does not have specialized knowledge can select an image such that more accurate camera position and feature point position information can be calculated so as to obtain highly accurate three-dimensional information. That is, an image processing method is disclosed (see Patent Document 1).

特許文献１に開示された方法のような、静止画像を利用して３次元形状を復元する技術は、撮影対象を囲むように撮影する場合や、連続する静止画像の重複する領域が多い場合に、３次元形状の構築が上手くいく。しかしながら、対象物が複数含まれている場合や比較的広い室内を３Ｄ化しようとする場合には、撮影条件によっては、ユーザの期待どおりに３次元情報を得られない場合がある。具体的には、復元された３次元情報の精度が低い場合や、ユーザの望む静止画像が計算に不適または不要な静止画像として、計算対象から除外されてしまう場合がある。しかしながら、ユーザによっては、除外された静止画像内に３次元化形状を復元したい対象が含まれる場合もある。 A technique for restoring a three-dimensional shape by using a still image, such as the method disclosed in Patent Document 1, is used when capturing an image around a subject or when there are many overlapping regions of continuous still images. Construction of three-dimensional shape works well. However, when a plurality of objects are included or when a relatively large room is to be converted into 3D, three-dimensional information may not be obtained as expected by the user depending on shooting conditions. Specifically, the accuracy of the restored three-dimensional information may be low, or the still image desired by the user may be excluded from the calculation target as a still image unsuitable or unnecessary for calculation. However, depending on the user, there may be cases where the excluded still image includes an object for which the three-dimensional shape is desired to be restored.

そのため、精度の高い３次元情報を復元するためには、対象とする空間内の機器毎の静止画像を利用して３次元モデルを構築する必要がある。この方法では、３次元モデルは機器毎に構築されることになるので、個々の３次元モデルの位置関係や、対象とする空間全体の３次元情報をユーザへ提供することはできない。したがって、機器毎に３次元モデルを構築する方法を、建物やプラント、工場のような比較的広い空間を対象とする３次元情報の表示に適用することは困難であった。 Therefore, in order to restore highly accurate three-dimensional information, it is necessary to construct a three-dimensional model using a still image of each device in the target space. In this method, since the three-dimensional model is constructed for each device, it is not possible to provide the user with the positional relationship between the individual three-dimensional models and the three-dimensional information of the entire target space. Therefore, it is difficult to apply the method of constructing a three-dimensional model for each device to display of three-dimensional information for a relatively wide space such as a building, a plant, or a factory.

特許第５０１２６１５号明細書Japanese Patent No. 5012615

本発明は、上記課題を解決するためになされたもので、対象空間内の物体毎の３次元モデルを使用して対象空間全体の３次元情報をユーザに提供することができる３次元情報表示装置および方法を実現することを目的とする。 The present invention has been made to solve the above problem, and is capable of providing a user with three-dimensional information of the entire target space by using a three-dimensional model for each object in the target space. And to realize the method.

本発明の３次元情報表示装置は、対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得するように構成された平面図取得部と、前記対象空間内の物体毎の３次元モデルデータを取得するように構成された３次元モデル取得部と、前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とするように構成された基準面生成部と、前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置するように構成された３次元モデル配置部と、前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示するように構成された３次元情報表示部とを備えることを特徴とするものである。 A three-dimensional information display device of the present invention includes a plan view acquisition unit configured to acquire image data of a plan view of the target space, including a plan view of an object in the target space, and an object in the target space. A three-dimensional model acquisition unit configured to acquire each three-dimensional model data, and a reference plane generation configured to use a plane of a target space represented by the image data as a reference plane of a three-dimensional data coordinate system. Section, a three-dimensional model placement section configured to place a three-dimensional model of the object represented by the three-dimensional model data at the position of the corresponding object on the reference plane, and a three-dimensional model placement section placed on the reference plane. A three-dimensional information display unit configured to generate and display an image obtained by projecting a three-dimensional model on a projection surface.

また、本発明の３次元情報表示装置の１構成例において、前記３次元モデル配置部は、前記３次元モデルの底面が前記基準面上の対応する物体の領域と重なるように、前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とするものである。
また、本発明の３次元情報表示装置の１構成例において、前記３次元モデル配置部は、ユーザの操作に従って前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とするものである。
また、本発明の３次元情報表示装置の１構成例において、前記基準面生成部は、ユーザによって入力された前記対象空間の平面図の縮尺情報に基づいて、前記基準面上の長さが実際の距離に等しくなるように、前記画像データが表す対象空間の平面を伸縮させることを特徴とするものである。
また、本発明の３次元情報表示装置の１構成例は、前記対象空間内の物体を多視点から撮影した複数の静止画像から、この物体の前記３次元モデルを生成するように構成された３次元モデル生成部をさらに備えることを特徴とするものである。 Moreover, in one configuration example of the three-dimensional information display device of the present invention, the three-dimensional model placement unit is configured such that the bottom surface of the three-dimensional model overlaps the area of the corresponding object on the reference plane. Is rotated, expanded and contracted, and moved in parallel to be arranged at the position of the corresponding object on the reference plane.
In addition, in one configuration example of the three-dimensional information display device of the present invention, the three-dimensional model placement unit rotates, expands, and translates the three-dimensional model in accordance with a user's operation to generate a corresponding object on the reference plane. It is characterized in that it is arranged at a position.
In addition, in one configuration example of the three-dimensional information display device of the present invention, the reference plane generation unit may calculate the length on the reference plane based on the scale information of the plan view of the target space input by the user. The plane of the target space represented by the image data is expanded or contracted so as to be equal to the distance.
Further, one configuration example of the three-dimensional information display device of the present invention is configured to generate the three-dimensional model of the object in the target space from a plurality of still images obtained by capturing the object from multiple viewpoints. It is characterized by further comprising a dimensional model generation unit.

また、本発明の３次元情報表示方法は、対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得する第１のステップと、前記対象空間内の物体毎の３次元モデルデータを取得する第２のステップと、前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とする第３のステップと、前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置する第４のステップと、前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示する第５のステップとを含むことを特徴とするものである。 Also, the three-dimensional information display method of the present invention includes a first step of acquiring image data of a plan view of the target space including a plan view of the object in the target space, and 3 for each object in the target space. A second step of obtaining the three-dimensional model data, a third step of using the plane of the target space represented by the image data as a reference plane of a three-dimensional data coordinate system, and a three-dimensional representation of the object represented by the three-dimensional model data A fourth step of arranging the model at the position of the corresponding object on the reference plane, and a fifth step of generating and displaying an image obtained by projecting a three-dimensional model arranged on the reference plane onto a projection surface. It is characterized by including and.

本発明によれば、対象空間内の物体毎に構築された３次元モデルを使用して、建物やプラント、工場のような比較的広い対象空間の３次元情報を生成することができ、対象空間全体の３次元情報をユーザに提供することができる。 According to the present invention, it is possible to generate three-dimensional information of a relatively wide target space such as a building, a plant, or a factory by using a three-dimensional model constructed for each object in the target space. The entire three-dimensional information can be provided to the user.

図１は、本発明の実施例に係る３次元情報表示装置の構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a three-dimensional information display device according to an embodiment of the present invention. 図２は、本発明の実施例に係る３次元情報表示装置の動作を説明するフローチャートである。FIG. 2 is a flowchart explaining the operation of the three-dimensional information display device according to the embodiment of the present invention. 図３は、本発明の実施例に係る３次元情報表示装置の画面に表示された３次元情報の例を示す図である。FIG. 3 is a diagram showing an example of the three-dimensional information displayed on the screen of the three-dimensional information display device according to the embodiment of the present invention. 図４は、本発明の実施例に係る３次元情報表示装置の別の構成を示すブロック図である。FIG. 4 is a block diagram showing another configuration of the three-dimensional information display device according to the embodiment of the present invention. 図５は、図４の３次元情報表示装置の動作を説明するフローチャートである。FIG. 5 is a flowchart explaining the operation of the three-dimensional information display device of FIG. 図６は、本発明の実施例に係る３次元情報表示装置を実現するコンピュータの構成例を示すブロック図である。FIG. 6 is a block diagram showing a configuration example of a computer that realizes the three-dimensional information display device according to the embodiment of the present invention.

［発明の原理］
対象とする空間全体の３次元情報を把握するために、ユーザは空間全体の３次元モデルを必ずしも必要としているわけではない。一方、建物やプラント、工場等において設備機器が設置されているフロアには、通常の場合、建築時や設備改修時に作成された当該フロアの２次元平面図が存在する。そこで、発明者は、この２次元平面図を３次元データ座標系へ取り込み、設備機器毎に構築した３次元モデルと組み合わせることで、必要十分な３次元情報をユーザへ提供することができることに想到した。 [Principle of the Invention]
The user does not necessarily need the three-dimensional model of the entire space in order to grasp the three-dimensional information of the entire target space. On the other hand, on a floor where facility equipment is installed in a building, plant, factory, etc., usually, there is a two-dimensional plan view of the floor created at the time of construction or facility repair. Therefore, the inventor has thought that it is possible to provide necessary and sufficient 3D information to the user by incorporating this 2D plan into a 3D data coordinate system and combining it with a 3D model constructed for each equipment. did.

［実施例］
以下、本発明の実施例について図面を参照して説明する。図１は本発明の実施例に係る３次元情報表示装置の構成を示すブロック図である。３次元情報表示装置は、平面図取得部１と、３次元モデル取得部２と、モデルデータベース（以下、モデルＤＢ）３と、基準面生成部４と、３次元モデル配置部５と、３次元情報表示部６と、例えばキーボードやマウス等の操作部７とを備えている。 [Example]
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of a three-dimensional information display device according to an embodiment of the present invention. The three-dimensional information display device includes a plan view acquisition unit 1, a three-dimensional model acquisition unit 2, a model database (hereinafter, model DB) 3, a reference plane generation unit 4, a three-dimensional model arrangement unit 5, and a three-dimensional model. An information display unit 6 and an operation unit 7 such as a keyboard and a mouse are provided.

図２は本実施例の３次元情報表示装置の動作を説明するフローチャートである。まず、平面図取得部１は、対象空間の２次元平面図の画像データＤ１を取得して、モデルＤＢ３に蓄積する（図２ステップＳ１）。平面図には、対象空間内の物体（例えば設備機器）が記載されている。対象空間の平面図のＣＡＤ（Computer-Aided Design）データが存在する場合には、ＣＡＤデータを取得すればよい。一方、紙の平面図しか存在しない場合には、３次元情報表示装置のユーザがスキャナに読み込ませた平面図の画像データを取得すればよい。 FIG. 2 is a flow chart for explaining the operation of the three-dimensional information display device of this embodiment. First, the plan view acquisition unit 1 acquires the image data D1 of the two-dimensional plan view of the target space and stores it in the model DB 3 (step S1 in FIG. 2). Objects (for example, equipment) in the target space are described in the plan view. When CAD (Computer-Aided Design) data of the plan view of the target space exists, CAD data may be acquired. On the other hand, when there is only a plan view of paper, the user of the three-dimensional information display device may acquire the image data of the plan view read by the scanner.

続いて、３次元モデル取得部２は、対象空間内の物体毎の３次元モデルデータＤ２を取得して、モデルＤＢ３に蓄積する（図２ステップＳ２）。３次元モデルデータは、３次元（ｘ，ｙ，ｚ）の座標を有する多数の点群（ポイントクラウド）データから構成されるものである。このような３次元モデルデータは、ｖｉｓｕａｌＳＬＡＭやＳｆＭのような、複数の静止画像から３次元モデルを得る手法によって作成することができる。３次元モデルデータは、対象空間内の物体（オブジェクト、本実施例では設備機器）毎に事前に生成されている。 Then, the three-dimensional model acquisition unit 2 acquires the three-dimensional model data D2 for each object in the target space and stores it in the model DB 3 (step S2 in FIG. 2). The three-dimensional model data is composed of a large number of point group (point cloud) data having three-dimensional (x, y, z) coordinates. Such three-dimensional model data can be created by a method of obtaining a three-dimensional model from a plurality of still images, such as visualSLAM and SfM. The three-dimensional model data is generated in advance for each object (object, facility equipment in this embodiment) in the target space.

基準面生成部４は、モデルＤＢ３から２次元平面図の画像データＤ１を取得して、この画像データＤ１が表す対象空間の平面を、３次元データ座標系（ＸＹＺ座標系）の基準面とする（図２ステップＳ３）。本実施例では、３次元データ座標系のＺ方向を鉛直方向とし、Ｚ＝０の面を基準面とする。 The reference plane generation unit 4 acquires the image data D1 of the two-dimensional plan view from the model DB3 and sets the plane of the target space represented by the image data D1 as the reference plane of the three-dimensional data coordinate system (XYZ coordinate system). (FIG. 2 step S3). In the present embodiment, the Z direction of the three-dimensional data coordinate system is the vertical direction, and the Z=0 plane is the reference plane.

次に、３次元モデル配置部５は、モデルＤＢ３から対象空間内の物体毎の３次元モデルデータＤ２を取得して、この３次元モデルデータＤ２が表す物体の３次元モデルを、３次元データ座標系の基準面上の対応する物体の位置に配置する（図２ステップＳ４）。このとき、３次元モデル配置部５は、物体の３次元モデルを、基準面上の、ユーザによって指定された物体の位置に配置する。すなわち、物体の３次元モデルと基準面上の物体との対応付けは、ユーザが操作部７を操作することによって行なわれる。 Next, the three-dimensional model arranging unit 5 acquires the three-dimensional model data D2 for each object in the target space from the model DB3, and calculates the three-dimensional model of the object represented by the three-dimensional model data D2 as the three-dimensional data coordinates. It is arranged at the position of the corresponding object on the reference plane of the system (step S4 in FIG. 2). At this time, the 3D model placement unit 5 places the 3D model of the object at the position of the object designated by the user on the reference plane. That is, the user operates the operation unit 7 to associate the three-dimensional model of the object with the object on the reference plane.

また、３次元モデル配置部５は、３次元モデルの底面が基準面上の対応する物体の領域と最も良く重なるように、３次元モデルを回転、伸縮、平行移動させて、３次元モデルを基準面上の対応する物体の位置に配置する。このとき、３次元モデル配置部５は、３次元モデルを回転、伸縮、平行移動させて、基準面上の対応する物体の領域と最も良く重なる３次元モデルの底面を探索すればよい。３次元モデルの回転、伸縮、平行移動は、３次元モデルの変換行列の計算によって実現される。なお、３次元モデルが倒立している可能性は低いので、ＸＺ平面内の回転角度およびＹＺ平面内の回転角度に制限を設けるようにしてもよい。 In addition, the 3D model placement unit 5 rotates, extends, or translates the 3D model so that the bottom surface of the 3D model best overlaps the area of the corresponding object on the reference plane, and the 3D model is referenced. Place at the position of the corresponding object on the surface. At this time, the three-dimensional model placement unit 5 may rotate, expand, contract, and translate the three-dimensional model to search for the bottom surface of the three-dimensional model that best overlaps the area of the corresponding object on the reference surface. Rotation, expansion and contraction, and parallel movement of the three-dimensional model are realized by calculating the transformation matrix of the three-dimensional model. Since it is unlikely that the three-dimensional model is upside down, there may be restrictions on the rotation angle in the XZ plane and the rotation angle in the YZ plane.

あるいは、３次元モデル配置部５は、ユーザの操作部７に対する操作に従って３次元モデルを回転、伸縮、平行移動させるようにしてもよい。
こうして、３次元モデルの回転角度、伸縮率、平行移動量のそれぞれの最適値の自動探索、あるいはユーザの操作による３次元モデルの回転、伸縮、平行移動により、３次元モデルの幅、長さ、回転角度を基準面上の対応する物体の領域に合わせることができる。３次元モデル配置部５は、以上の処理を３次元モデル毎に行なう。 Alternatively, the three-dimensional model placement unit 5 may rotate, expand, contract, or translate the three-dimensional model in accordance with the user's operation on the operation unit 7.
In this way, the width, length, and The rotation angle can be matched to the area of the corresponding object on the reference plane. The three-dimensional model placement unit 5 performs the above processing for each three-dimensional model.

次に、３次元情報表示部６は、３次元モデル配置部５によって３次元データ座標系の基準面上に配置された３次元モデルを投影面（ディスプレイ面）に投影した画像を生成して、生成した画像を表示する（図２ステップＳ５）。３次元モデルに対する視点の位置は、ユーザが操作部７を操作することによって自由に変更することができる。 Next, the three-dimensional information display unit 6 generates an image obtained by projecting the three-dimensional model arranged on the reference plane of the three-dimensional data coordinate system by the three-dimensional model arrangement unit 5 onto the projection surface (display surface), The generated image is displayed (step S5 in FIG. 2). The position of the viewpoint with respect to the three-dimensional model can be freely changed by the user operating the operation unit 7.

図３は３次元情報表示装置の画面６０に表示された３次元情報の例を示す図である。図３において、１００は３次元データ座標系の基準面、１０１−１〜１０１−４は基準面１００上の物体（設備機器）の領域、１０２−１〜１０２−３は対応する物体の位置に配置された３次元モデルである。図３の例では、基準面１００および３次元モデル１０２−１〜１０２−３の斜め上方に視点がある例で表示しているが、上記のとおり視点を変えることで画面６０に表示される画像を変更することができる。 FIG. 3 is a diagram showing an example of the three-dimensional information displayed on the screen 60 of the three-dimensional information display device. In FIG. 3, 100 is a reference plane of a three-dimensional data coordinate system, 101-1 to 101-4 are areas of objects (equipment equipment) on the reference plane 100, and 102-1 to 102-3 are positions of corresponding objects. It is a three-dimensional model arranged. In the example of FIG. 3, the reference plane 100 and the three-dimensional models 102-1 to 102-3 are displayed diagonally above the viewpoint, but the image is displayed on the screen 60 by changing the viewpoint as described above. Can be changed.

こうして、本実施例では、対象空間内の物体毎に構築された３次元モデルを使用して、建物やプラント、工場のような比較的広い対象空間の３次元情報を生成することができ、対象空間全体の３次元情報をユーザに提供することができる。 Thus, in this embodiment, it is possible to generate three-dimensional information of a relatively wide target space such as a building, a plant, or a factory by using the three-dimensional model constructed for each object in the target space. It is possible to provide the user with three-dimensional information of the entire space.

なお、対象空間の２次元平面図には、図面上の長さと実際の距離との比を示す縮尺情報が記述されている。ユーザは、操作部７を操作して縮尺情報を３次元情報表示装置に入力してもよい。この場合、基準面生成部４は、３次元データ座標系の基準面を生成する際に、基準面上の長さが実際の距離に等しくなるように、２次元平面図の画像データＤ１が表す対象空間の平面を伸縮させるようにしてもよい。 Note that the two-dimensional plan view of the target space describes scale information indicating the ratio between the length on the drawing and the actual distance. The user may operate the operation unit 7 to input the scale information into the three-dimensional information display device. In this case, when the reference plane generation unit 4 generates the reference plane of the three-dimensional data coordinate system, the image data D1 of the two-dimensional plan view is expressed so that the length on the reference plane becomes equal to the actual distance. The plane of the target space may be expanded and contracted.

また、本実施例では、３次元モデルを生成する３次元モデル生成部が３次元情報表示装置の外部に設けられる例で説明しているが、図４に示すように３次元モデル生成部８を３次元情報表示装置内に設けるようにしてもよい。この場合の３次元情報表示装置の動作を図５に示す。３次元モデル生成部８は、対象空間の物体を多視点から撮影した複数の静止画像を入力とする。３次元モデル生成部８は、入力された複数の静止画像からｖｉｓｕａｌＳＬＡＭやＳｆＭのような手法によって物体の３次元モデルを生成する（図５ステップＳ０）。このような静止画像の入力と３次元モデルの生成とを、対象空間内の物体毎に行なうようにすればよい。 Further, in the present embodiment, an example in which the three-dimensional model generation unit that generates the three-dimensional model is provided outside the three-dimensional information display device has been described. However, as shown in FIG. It may be provided in the three-dimensional information display device. The operation of the three-dimensional information display device in this case is shown in FIG. The three-dimensional model generation unit 8 receives a plurality of still images obtained by photographing an object in the target space from multiple viewpoints. The three-dimensional model generation unit 8 generates a three-dimensional model of an object from a plurality of input still images by a method such as visualSLAM or SfM (step S0 in FIG. 5). The input of such a still image and the generation of the three-dimensional model may be performed for each object in the target space.

本実施例で説明した３次元情報表示装置は、ＣＰＵ（Central Processing Unit）、記憶装置及びインターフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図６に示す。コンピュータは、ＣＰＵ２００と、記憶装置２０１と、インターフェース装置（以下、Ｉ／Ｆと略する）２０２とを備えている。Ｉ／Ｆ２０２には、操作部７やディスプレイなどが接続される。このようなコンピュータにおいて、本発明の３次元情報表示方法を実現させるためのプログラムは記憶装置２０１に格納される。ＣＰＵ２００は、記憶装置２０１に格納されたプログラムに従って本実施例で説明した処理を実行する。 The three-dimensional information display device described in this embodiment can be realized by a computer having a CPU (Central Processing Unit), a storage device, and an interface, and a program that controls these hardware resources. FIG. 6 shows a configuration example of this computer. The computer includes a CPU 200, a storage device 201, and an interface device (hereinafter abbreviated as I/F) 202. The operation unit 7, the display, and the like are connected to the I/F 202. A program for realizing the three-dimensional information display method of the present invention in such a computer is stored in the storage device 201. The CPU 200 executes the processing described in this embodiment according to the program stored in the storage device 201.

本発明は、３次元情報を表示する技術に適用することができる。 The present invention can be applied to the technique of displaying three-dimensional information.

１…平面図取得部、２…３次元モデル取得部、３…モデルデータベース、４…基準面生成部、５…３次元モデル配置部、６…３次元情報表示部、７…操作部、８…３次元モデル生成部。 DESCRIPTION OF SYMBOLS 1... Plan view acquisition part, 2... 3D model acquisition part, 3... Model database, 4... Reference plane generation part, 5... 3D model arrangement part, 6... 3D information display part, 7... Operation part, 8... 3D model generation unit.

Claims (10)

対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得するように構成された平面図取得部と、
前記対象空間内の物体毎の３次元モデルデータを取得するように構成された３次元モデル取得部と、
前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とするように構成された基準面生成部と、
前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置するように構成された３次元モデル配置部と、
前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示するように構成された３次元情報表示部とを備えることを特徴とする３次元情報表示装置。 A plan view acquisition unit configured to acquire image data of a plan view of the target space, including a plan view of an object in the target space;
A three-dimensional model acquisition unit configured to acquire three-dimensional model data for each object in the target space;
A reference plane generation unit configured to use a plane of the target space represented by the image data as a reference plane of a three-dimensional data coordinate system,
A three-dimensional model placement unit configured to place a three-dimensional model of the object represented by the three-dimensional model data at the position of the corresponding object on the reference plane;
A three-dimensional information display device, comprising: a three-dimensional information display unit configured to generate and display an image obtained by projecting a three-dimensional model arranged on the reference plane onto a projection surface. 請求項１記載の３次元情報表示装置において、
前記３次元モデル配置部は、前記３次元モデルの底面が前記基準面上の対応する物体の領域と重なるように、前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とする３次元情報表示装置。 The three-dimensional information display device according to claim 1,
The three-dimensional model placement unit rotates, expands, and translates the three-dimensional model so that the bottom surface of the three-dimensional model overlaps with the area of the corresponding object on the reference surface, and the three-dimensional model placement unit corresponds to the reference surface. A three-dimensional information display device, which is arranged at the position of an object. 請求項１記載の３次元情報表示装置において、
前記３次元モデル配置部は、ユーザの操作に従って前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置することを特徴とする３次元情報表示装置。 The three-dimensional information display device according to claim 1,
The three-dimensional model display unit may rotate, expand, contract, or translate the three-dimensional model according to a user's operation to arrange the three-dimensional model at a position of a corresponding object on the reference plane. 請求項１乃至３のいずれか１項に記載の３次元情報表示装置において、
前記基準面生成部は、ユーザによって入力された前記対象空間の平面図の縮尺情報に基づいて、前記基準面上の長さが実際の距離に等しくなるように、前記画像データが表す対象空間の平面を伸縮させることを特徴とする３次元情報表示装置。 The three-dimensional information display device according to any one of claims 1 to 3,
The reference plane generation unit, based on the scale information of the plan view of the target space input by the user, of the target space represented by the image data so that the length on the reference plane is equal to the actual distance. A three-dimensional information display device characterized by expanding and contracting a plane. 請求項１乃至４のいずれか１項に記載の３次元情報表示装置において、
前記対象空間内の物体を多視点から撮影した複数の静止画像から、この物体の前記３次元モデルを生成するように構成された３次元モデル生成部をさらに備えることを特徴とする３次元情報表示装置。 The three-dimensional information display device according to any one of claims 1 to 4,
A three-dimensional information display, further comprising a three-dimensional model generation unit configured to generate the three-dimensional model of the object in the target space from a plurality of still images captured from multiple viewpoints. apparatus. 対象空間内の物体の平面図を含む、前記対象空間の平面図の画像データを取得する第１のステップと、
前記対象空間内の物体毎の３次元モデルデータを取得する第２のステップと、
前記画像データが表す対象空間の平面を、３次元データ座標系の基準面とする第３のステップと、
前記３次元モデルデータが表す物体の３次元モデルを、前記基準面上の対応する物体の位置に配置する第４のステップと、
前記基準面上に配置された３次元モデルを投影面に投影した画像を生成して表示する第５のステップとを含むことを特徴とする３次元情報表示方法。 A first step of obtaining image data of a plan view of the target space, including a plan view of an object in the target space;
A second step of obtaining three-dimensional model data for each object in the target space;
A third step of using the plane of the target space represented by the image data as a reference plane of a three-dimensional data coordinate system,
A fourth step of arranging the three-dimensional model of the object represented by the three-dimensional model data at the position of the corresponding object on the reference plane;
And a fifth step of generating and displaying an image obtained by projecting a three-dimensional model arranged on the reference plane on a projection surface. 請求項６記載の３次元情報表示方法において、
前記第４のステップは、前記３次元モデルの底面が前記基準面上の対応する物体の領域と重なるように、前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置するステップを含むことを特徴とする３次元情報表示方法。 The three-dimensional information display method according to claim 6,
In the fourth step, the three-dimensional model is rotated, expanded, and translated so that the bottom surface of the three-dimensional model overlaps the area of the corresponding object on the reference surface. A three-dimensional information display method comprising the step of arranging at the position of. 請求項６記載の３次元情報表示方法において、
前記第４のステップは、ユーザの操作に従って前記３次元モデルを回転、伸縮、平行移動させて前記基準面上の対応する物体の位置に配置するステップを含むことを特徴とする３次元情報表示方法。 The three-dimensional information display method according to claim 6,
The fourth step includes a step of rotating, expanding, contracting, or translating the three-dimensional model in accordance with a user's operation, and arranging the three-dimensional model at a position of a corresponding object on the reference plane. .. 請求項６乃至８のいずれか１項に記載の３次元情報表示方法において、
前記第３のステップは、ユーザによって入力された前記対象空間の平面図の縮尺情報に基づいて、前記基準面上の長さが実際の距離に等しくなるように、前記画像データが表す対象空間の平面を伸縮させるステップを含むことを特徴とする３次元情報表示方法。 The three-dimensional information display method according to any one of claims 6 to 8,
In the third step, based on the scale information of the plan view of the target space input by the user, the target space represented by the image data is adjusted so that the length on the reference plane becomes equal to the actual distance. A three-dimensional information display method comprising the step of expanding and contracting a plane. 請求項６乃至９のいずれか１項に記載の３次元情報表示方法において、
前記対象空間内の物体を多視点から撮影した複数の静止画像から、この物体の前記３次元モデルを生成する第６のステップをさらに含むことを特徴とする３次元情報表示方法。 The three-dimensional information display method according to any one of claims 6 to 9,
The three-dimensional information display method further comprising a sixth step of generating the three-dimensional model of the object in the target space from a plurality of still images obtained by capturing the object from multiple viewpoints.
JP2018232172A 2018-12-12 2018-12-12 Three-dimensional information display device and method Pending JP2020095427A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018232172A JP2020095427A (en) 2018-12-12 2018-12-12 Three-dimensional information display device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018232172A JP2020095427A (en) 2018-12-12 2018-12-12 Three-dimensional information display device and method

Publications (1)

Publication Number Publication Date
JP2020095427A true JP2020095427A (en) 2020-06-18

Family

ID=71084959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018232172A Pending JP2020095427A (en) 2018-12-12 2018-12-12 Three-dimensional information display device and method

Country Status (1)

Country Link
JP (1) JP2020095427A (en)

Similar Documents

Publication Publication Date Title
CN110383343B (en) Inconsistency detection system, mixed reality system, program, and inconsistency detection method
US9208607B2 (en) Apparatus and method of producing 3D model
AU2011312140B2 (en) Rapid 3D modeling
JP5093053B2 (en) Electronic camera
US10977857B2 (en) Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images
CN114329747B (en) Virtual-real entity coordinate mapping method and system for building digital twins
JP6310149B2 (en) Image generation apparatus, image generation system, and image generation method
JP6144364B2 (en) Work support data creation program
KR20040043280A (en) System and method for embodying virtual reality
JP2018106661A (en) Inconsistency detection system, mixed reality system, program, and inconsistency detection method
WO2019093457A1 (en) Information processing device, information processing method and program
CN113129362B (en) Method and device for acquiring three-dimensional coordinate data
Petkov et al. Interactive visibility retargeting in vr using conformal visualization
Valentini Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects
JP6405539B2 (en) Label information processing apparatus for multi-viewpoint image and label information processing method
JP2020095427A (en) Three-dimensional information display device and method
JP2017215706A (en) Video synthesis method, video acquisition device, video synthesis system, and computer program
EP3779878A1 (en) Method and device for combining a texture with an artificial object
Bunnun et al. In-situ interactive image-based model building for augmented reality from a handheld device
Alves et al. Automatic 3D shape recovery for rapid prototyping
Mukhopadhyay et al. A Machine Learning-Based Framework for Real-Time 3D Reconstruction and Space Utilization in Built Environments
Sharma et al. VR Visualization of Heritage Structures at Different Scales via Mode Switching
Abdulazeez et al. Hoshang Kolivand, Abdennour El Rhalibi, Mostafa Tajdini
JP2024084183A (en) Information processing device, information processing method, and program
Zhu et al. An automatic laser sheet calibration method for laser scan range measurement system