JP2017068771A - Laying equipment display device - Google Patents
Laying equipment display device Download PDFInfo
- Publication number
- JP2017068771A JP2017068771A JP2015196385A JP2015196385A JP2017068771A JP 2017068771 A JP2017068771 A JP 2017068771A JP 2015196385 A JP2015196385 A JP 2015196385A JP 2015196385 A JP2015196385 A JP 2015196385A JP 2017068771 A JP2017068771 A JP 2017068771A
- Authority
- JP
- Japan
- Prior art keywords
- laying equipment
- display device
- image data
- image
- laying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、撮影画像に重畳させて、上下水道管やガス管等の敷設設備を表示させる敷設設備表示装置に関するものである。 The present invention relates to a laying equipment display device that displays laying equipment such as water and sewage pipes and gas pipes by superimposing them on a photographed image.
撮像画像に、予め蓄積されているデータに基づいた仮想空間画像を合成して表示する技術が知られている。具体的には、例えば、ユーザが撮影した車道や歩道、電柱、建物などの実空間画像とともに、道路に埋設された下水道管などの仮想空間モデルを画像化した仮想空間画像を表示することによって、実際には撮影されない水道管などを直感的に確認しやすくすることが試みられている（例えば、特許文献１参照。）。 A technique for synthesizing and displaying a virtual space image based on data stored in advance on a captured image is known. Specifically, for example, by displaying a virtual space image obtained by imaging a virtual space model such as a sewer pipe embedded in a road, along with a real space image such as a roadway, a sidewalk, a power pole, and a building photographed by a user, Attempts have been made to make it easy to intuitively check water pipes that are not actually photographed (see, for example, Patent Document 1).
しかしながら、上記のように下水道管などの管路等の画像を撮像画像に合成して可視化したとしても、実際には、下水道管等の３次元的位置を正確に把握することは必ずしも容易ではない。本願発明者らは、その点について種々検討した結果、仮想空間画像を２次元平面に投影する場合には、遠近感や３次元位置が直感的に把握しにくい場合が生じ得ると考えるに至った。 However, even if an image of a pipeline such as a sewer pipe is combined with a captured image and visualized as described above, it is not always easy to accurately grasp the three-dimensional position of the sewer pipe or the like. . As a result of various studies on the point, the inventors of the present application have come to consider that when a virtual space image is projected onto a two-dimensional plane, it may be difficult to intuitively grasp the perspective and the three-dimensional position. .
本発明は、上記の点に鑑み、撮影画像に重畳させて表示された仮想空間画像の敷設設備の３次元的位置をより把握しやすくすることを目的としている。 In view of the above points, an object of the present invention is to make it easier to grasp a three-dimensional position of a laying facility of a virtual space image displayed superimposed on a captured image.
第１の発明は、
撮像画像と、敷設設備の３次元位置を示すデータに基づいて生成された画像とを合成して表示する敷設設備表示装置であって、
敷設設備の敷設位置を地面に投影した地面投影位置を求めるとともに、前記敷設設備の敷設位置と、前記地面投影位置とを前記撮像画像と同様に仮想的に撮像した場合の画像に相当する仮想画像データを生成する仮想画像データ生成部と、
前記撮像画像と、前記仮想画像データに基づく画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備えたことを特徴とする。
The first invention is
A laying equipment display device that synthesizes and displays a captured image and an image generated based on data indicating a three-dimensional position of the laying equipment,
A virtual image corresponding to an image when a ground projection position obtained by projecting a laying position of the laying equipment onto the ground is obtained and the laying position of the laying equipment and the ground projection position are virtually captured in the same manner as the captured image. A virtual image data generation unit for generating data;
An image synthesis unit that synthesizes the captured image and an image based on the virtual image data;
A display for displaying the synthesized image;
It is provided with.
第２の発明は、
第１の発明の敷設設備表示装置であって、
前記敷設設備は、地下に埋設された管路を含み、
前記地面投影位置は、前記管路が地上面に投影された直線または曲線の位置であることを特徴とする。
The second invention is
A laying equipment display device according to a first invention,
The laying equipment includes a conduit buried underground,
The ground projection position is a position of a straight line or a curve on which the pipe line is projected on the ground surface.
これらにより、敷設設備の敷設位置と、その地面への投影位置とに応じた表示画像によって、地表面上に見える物に対する敷設設備の位置関係や、地表面からの深さなど、３次元的位置が直感的に把握しやすくなる。 By these, the three-dimensional position such as the positional relationship of the laying equipment with respect to the object seen on the ground surface and the depth from the ground surface by the display image according to the laying position of the laying equipment and the projection position on the ground Makes it easier to grasp intuitively.
第３の発明は、
第２の発明の敷設設備表示装置であって、
前記仮想画像データ生成部は、さらに、前記管路と、前記直線または曲線とを含む面を仮想的に撮像した画像に相当する仮想画像データを生成するように構成されていることを特徴とする。
The third invention is
A laying equipment display device according to a second invention,
The virtual image data generation unit is further configured to generate virtual image data corresponding to an image obtained by virtually imaging a plane including the pipe and the straight line or curve. .
第４の発明は、
第３の発明の敷設設備表示装置であって、
前記仮想画像データ生成部は、前記管路と前記直線または曲線とを含む面が、半透明の面、ハッチングが施された面、および所定の塗りつぶしパターンが表された面の少なくとも何れかによって表示される仮想画像データを生成するように構成されていることを特徴とする。
The fourth invention is:
A laying equipment display device according to a third invention,
The virtual image data generation unit displays a surface including the pipe line and the straight line or curve by at least one of a translucent surface, a hatched surface, and a surface on which a predetermined fill pattern is represented. The virtual image data is configured to be generated.
これらにより、管路と、その管路が地面に投影された直線または曲線とを含む面によって、管路と地面に投影された直線等との対応関係が判りやすくなり、敷設設備の位置関係や、地表面からの深さなど、３次元的位置が一層容易に把握しやすくなる。 These make it easy to understand the correspondence between the pipeline and the straight line projected on the ground by the plane including the pipeline and the straight line or curve projected on the ground. It becomes easier to grasp the three-dimensional position such as the depth from the ground surface.
第５の発明は、
第１の発明から第４の発明のうち何れか１つの敷設設備表示装置であって、
前記敷設設備は、マンホール、ハンドホール、および水取器などの地表面にその一部が現われる設備等の少なくとも何れかの構造物を含み、
前記仮想画像データ生成部は、前記構造物の平面形状を含む筒状投影面を仮想的に撮像した画像に相当する仮想画像データを生成するように構成されていることを特徴とする。
The fifth invention is:
A laying equipment display device according to any one of the first to fourth inventions,
The laying equipment includes at least one structure such as a manhole, a handhole, and a facility whose part appears on the ground surface such as a water collector,
The virtual image data generation unit is configured to generate virtual image data corresponding to an image obtained by virtually capturing a cylindrical projection plane including a planar shape of the structure.
これにより、管路などとマンホールなどとの位置関係なども容易に把握可能にすることができる。 Thereby, it is possible to easily grasp the positional relationship between the pipeline and the manhole.
本発明では、撮影画像に重畳させて表示された敷設設備の３次元的位置をより把握しやすくすることができる。 In the present invention, it is possible to make it easier to grasp the three-dimensional position of the laying equipment displayed superimposed on the captured image.
以下、本発明の実施形態を図面に基づいて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（敷設設備表示装置の表示例）
まず、便宜上、本実施形態の敷設設備表示装置によって表示される表示例について説明する。敷設設備表示装置の表示画面には、図１に示すように、カメラによって撮像された撮像画像がそのまま表示されるとともに、これに重畳して、敷設設備である地中に埋設されたガス管などの埋設管１０１・１０２や、マンホール１０３が模式的に表示される。また、さらに、上記埋設管１０１・１０２に関しては、これらを含む鉛直面と、地表面との交差位置に補助的に投影線１１１・１１２（地面投影位置）が表示される。一方、マンホール１０３に関しては、その外形を地表面に向けて投影した投影円筒面１１３が表示される。
(Display example of laying equipment display device)
First, for the sake of convenience, a display example displayed by the laying equipment display device of the present embodiment will be described. On the display screen of the laying equipment display device, as shown in FIG. 1, the picked-up image picked up by the camera is displayed as it is, and a gas pipe buried in the ground as the laying equipment is superimposed on this image. The buried pipes 101 and 102 and the manhole 103 are schematically displayed. Further, with respect to the buried pipes 101 and 102, projection lines 111 and 112 (ground projection positions) are supplementarily displayed at the intersection positions between the vertical plane including them and the ground surface. On the other hand, regarding the manhole 103, a projection cylindrical surface 113 is displayed in which the outer shape is projected toward the ground surface.
このように、埋設管１０１・１０２の画像とともに、地表面への投影線１１１・１１２や、投影円筒面１１３およびその外形が補助的に表示されることによって、地表面上に見える物との位置関係や、埋設管１０１・１０２等の地表面からの深さなど、３次元的位置が直感的に把握しやすくなる。 As described above, the projection lines 111 and 112 on the ground surface, the projection cylindrical surface 113 and the outer shape thereof are supplementarily displayed together with the images of the buried pipes 101 and 102, so that the position of the object visible on the ground surface It becomes easy to intuitively grasp the three-dimensional position such as the relationship and the depth from the ground surface of the buried pipes 101 and 102.
（敷設設備表示装置の構成）
上記のような表示を行う敷設設備表示装置は、具体的には、例えば、カメラ内蔵のタブレット端末や携帯電話、ヘッドマウントディスプレイなどを用いて構成することができ、図２に示すような構成を有している。
(Configuration of laying equipment display device)
Specifically, the laying equipment display device that performs the display as described above can be configured using, for example, a tablet terminal with a built-in camera, a mobile phone, a head-mounted display, or the like, and has a configuration as shown in FIG. Have.
カメラ２０１は、路面や地上の構造物などを撮像して撮像画像を得るものである。 The camera 201 captures a captured image by capturing an image of a road surface or a structure on the ground.
カメラロケーション検出部２０２は、上記カメラ２０１の物理的位置や姿勢（撮像方向）を検出するもので、具体的には、ＧＰＳや、方位角センサ、鉛直軸に対する傾斜センサなどを用いて構成される。 The camera location detection unit 202 detects the physical position and orientation (imaging direction) of the camera 201, and specifically includes a GPS, an azimuth sensor, a tilt sensor with respect to the vertical axis, and the like. .
地図データ２０３は、例えば道路や建築物などの位置を絶対座標で示すものである。このようなデータは、装置自体に蓄積されるようにしてもよいし、ネットワーク等を通じてサーバ上のデータベースなどから取得されるようにしてもよい。この点に関しては、以下の敷設設備データ２０４についても同様である。 The map data 203 indicates, for example, the position of a road or a building in absolute coordinates. Such data may be stored in the apparatus itself, or may be acquired from a database on the server through a network or the like. This also applies to the following laying equipment data 204.
敷設設備データ２０４は、上下水道管や、ガス管、電力もしくは通信に関する管路などの埋設物の位置を示すもので例えば地図データ２０３によって示される道路などの基準位置からの相対座標で示すこともできるし、絶対座標で表示することもできる。 The laying equipment data 204 indicates the position of a buried object such as a water and sewage pipe, a gas pipe, a power line or a communication line, and may be indicated by relative coordinates from a reference position such as a road indicated by the map data 203. Can be displayed in absolute coordinates.
仮想画像データ生成部２０５は、カメラロケーション検出部２０２によって検出されたカメラ２０１の位置と姿勢に基づいて、地図データ２０３と、敷設設備データ２０４とを参照し、上記位置と姿勢によって補正されたカメラ２０１の撮像面に仮想的に投影される埋設物（例えば図１の埋設管１０１・１０２）の仮想画像データ、すなわち、仮想的に撮像した場合の画像に相当する仮想画像データを生成するものである。仮想画像データ生成部２０５は、また、管路の位置を地面に投影した地面投影位置（例えば図１の投影線１１１・１１２）を求め、この地面投影位置についても、上記埋設物自体と同様にカメラ２０１の撮像面に仮想的に投影される仮想画像データを生成するようになっている。 The virtual image data generation unit 205 refers to the map data 203 and the laying equipment data 204 based on the position and orientation of the camera 201 detected by the camera location detection unit 202, and the camera corrected by the position and orientation. 201 generates virtual image data of an embedded object (for example, the embedded pipes 101 and 102 in FIG. 1) that is virtually projected on the imaging surface 201, that is, virtual image data corresponding to an image when virtually captured. is there. The virtual image data generation unit 205 also obtains a ground projection position (for example, projection lines 111 and 112 in FIG. 1) obtained by projecting the position of the pipeline on the ground, and the ground projection position is also the same as the above-described embedded object itself. Virtual image data that is virtually projected onto the imaging surface of the camera 201 is generated.
干渉検出部２０６は、地図データ２０３と、敷設設備データ２０４とに基づいて、管路の上下位置関係を示すデータの不整合、例えば管路どうしの干渉などを検出するものである。すなわち、実際に埋設されている管路どうしが干渉していなくても、敷設設備データ２０４は、必ずしも実際の管路の位置を正確に反映していない場合があり、データ上、干渉が生じていることになる場合がある。そこで、そのような事態を検出して、以下に説明するような表示の補正を可能にするようになっている。 Based on the map data 203 and the laying equipment data 204, the interference detection unit 206 detects inconsistencies in data indicating the vertical positional relationship of the pipelines, for example, interference between the pipelines. In other words, even if the pipes that are actually buried do not interfere with each other, the laying equipment data 204 may not necessarily accurately reflect the actual position of the pipe, and interference occurs in the data. May be. Therefore, such a situation is detected to enable display correction as described below.
補助表示処理部２０７は、上記のような管路の干渉が検出された場合に、表示の補正を行うものである。すなわち、敷設設備データ２０４に不整合がある場合に、そのデータ通りに仮想画像データを生成して表示を行うと、表示される画像での管路の位置が不正確であるだけでなく、表示される画像の違和感が大きくなって、管路の３次元的位置を直感的に把握することが困難になる場合がある。そこで、管路の位置を妥当と想定できる範囲で修正したり、管路の位置自体は修正せずに、表示上、上下関係がずれて干渉していないように見えるような処理をしたりするようになっている。 The auxiliary display processing unit 207 corrects the display when the above-described interference in the pipeline is detected. That is, when there is inconsistency in the laying equipment data 204, when virtual image data is generated and displayed according to the data, not only the position of the pipeline in the displayed image is inaccurate but also the display In some cases, the sense of discomfort of the image to be increased increases, making it difficult to intuitively grasp the three-dimensional position of the pipeline. Therefore, the pipeline position is corrected within a reasonable range, or the pipeline position itself is not corrected, and processing is performed so that it does not interfere with the vertical relationship on the display. It is like that.
画像合成部２０８は、上記のようにして生成された仮想画像データに基づく画像と、カメラ２０１によって撮像された撮像画像とを合成して、図１に示すような画像を生成し、表示部２０９に表示させるようになっている。 The image composition unit 208 synthesizes the image based on the virtual image data generated as described above and the captured image captured by the camera 201 to generate an image as shown in FIG. To be displayed.
（敷設設備表示装置の動作）
次に、敷設設備表示装置で撮像画像と埋設物との合成画像が表示される際の動作の例について説明する。
(Operation of laying equipment display device)
Next, an example of an operation when a composite image of a captured image and an embedded object is displayed on the laying facility display device will be described.
（Ｓ１０１） まず、カメラ２０１によって、図１に背景として表示されているような撮像画像が撮像される。 (S101) First, the camera 201 captures a captured image as displayed as a background in FIG.
（Ｓ１０２） 同時に、カメラロケーション検出部２０２によって、カメラ２０１の位置および姿勢が検出される。 (S102) At the same time, the camera location detection unit 202 detects the position and orientation of the camera 201.
（Ｓ１０３） カメラロケーション検出部２０２では、また、検出されたカメラ２０１の位置および姿勢に基づいて、カメラ２０１の撮像面の位置および姿勢が求められる。 (S103) The camera location detection unit 202 also obtains the position and orientation of the imaging surface of the camera 201 based on the detected position and orientation of the camera 201.
（Ｓ１０４） 仮想画像データ生成部２０５では、例えば図４に示すようなカメラ２０１の視野に入る埋設管１０１の敷設位置を示すデータが埋設管座標データ１２１に基づいて算出される。 (S 104) In the virtual image data generation unit 205, for example, data indicating the laying position of the buried pipe 101 that falls within the field of view of the camera 201 as shown in FIG. 4 is calculated based on the buried pipe coordinate data 121.
（Ｓ１０５） また、仮想画像データ生成部２０５では、上記埋設管１０１を鉛直上方に向けて地表面に投影した場合の投影線１１１が求められる。また、地中に敷設されるマンホール１０３については、鉛直上方に投影した場合の投影円筒面１１３が求められる。なお、さらに、埋設管１０１と投影線１１１とを含む平面や曲面も求められ、半透明の面、ハッチングが施された面、および所定の塗りつぶしパターンが表された面などとして表示され得るようにしてもよい。 (S105) In addition, the virtual image data generation unit 205 obtains a projection line 111 when the embedded pipe 101 is projected onto the ground surface vertically upward. Further, for the manhole 103 laid in the ground, a projection cylindrical surface 113 is required when projected vertically upward. Furthermore, a plane or curved surface including the buried pipe 101 and the projection line 111 is also obtained so that it can be displayed as a translucent surface, a hatched surface, a surface on which a predetermined filling pattern is represented, and the like. May be.
（Ｓ１０６） さらに、仮想画像データ生成部２０５では、上記のような埋設管１０１や投影線１１１がカメラ２０１の撮像面に仮想的に投影する仮想画像データが求められる。 (S106) Furthermore, the virtual image data generation unit 205 obtains virtual image data in which the embedded pipe 101 and the projection line 111 as described above are virtually projected onto the imaging surface of the camera 201.
（Ｓ１０７） 一方、干渉検出部２０６では、管路どうしの干渉の有無が検出される。 (S107) On the other hand, the interference detection unit 206 detects the presence or absence of interference between pipes.
（Ｓ１０８） 干渉が検出されると、補助表示処理部２０７では、何れかの管路を上下にずらすように補正された画像が生成される。例えば、下水道管と、その他の管路とが干渉している場合には、定義されたルールに基づき、上記その他の管路の位置が上下方向にずらされるように調整される。すなわち、通常、下水道管は、自然流下を容易にするために勾配や深さの精度が高く管理され、埋設管座標データの精度も他の管路よりも高い場合が多いので、下水道管と、その他の管路とが干渉している場合には、他の管路の位置を調整する方が、実際の埋設状態に近い画像を表示できる可能性が高い。また、電力もしくは通信に関する管路は、他の管路よりも埋設管座標データの精度が低い場合があるので、電力もしくは通信に関する管路の位置が調整される。なお、このような調整をする場合の調整の方向、すなわち深くずらすか浅くずらすかは、例えば、他の管路との関係などに応じて設定すればよい。 (S108) When the interference is detected, the auxiliary display processing unit 207 generates an image corrected so as to shift one of the pipes up and down. For example, when a sewer pipe and another pipe line interfere with each other, the position of the other pipe line is adjusted so as to be shifted in the vertical direction based on a defined rule. That is, normally, sewer pipes are managed with high accuracy of gradient and depth to facilitate natural flow, and the accuracy of buried pipe coordinate data is often higher than other pipe lines, When other pipes interfere with each other, it is more likely that an image close to the actual embedded state can be displayed by adjusting the position of the other pipes. In addition, since the accuracy of the buried pipe coordinate data may be lower than the other pipelines in the pipeline related to power or communication, the position of the pipeline related to power or communication is adjusted. In addition, what is necessary is just to set the direction of adjustment in the case of such adjustment, ie, whether to shift deeply or shallowly, according to the relationship with another pipe line etc., for example.
一方、補助表示処理部２０７の処理としては、管路の種類等に応じて、調整後の上下関係を優先的に決定し、そのような上下関係にするために何れの管路の位置をずらすように調整するかは、他の管路との関係などに応じて設定するようにしてもよい。すなわち、例えば上水道管とガス管と下水道管とのうち２つ以上が干渉する場合には、通常、上水道管（通常のデフォルト深さは０．９ｍ）、ガス管（通常のデフォルト深さは１．２ｍ）、下水道管の順で深い位置関係になる方が、実際の埋設状態に近い画像を表示できる可能性が高い。同様に、例えば太さの異なるガス管が干渉する場合には、太いガス管の方が細いガス管よりも深い位置関係（低圧管、中圧管、高圧管の順に深くなる位置関係）になる方が、実際の埋設状態に近い画像を表示できる可能性が高い。また、同様に、重要度が低い管路よりも高い管路、一般管路よりも幹線管路の方が深い位置関係になるようにしてもよい。 On the other hand, as processing of the auxiliary display processing unit 207, the adjusted vertical relationship is preferentially determined according to the type of the pipeline and the like, and the position of any pipeline is shifted in order to achieve such a vertical relationship. Whether to make adjustments may be set according to the relationship with other pipes. That is, for example, when two or more of a water pipe, a gas pipe, and a sewer pipe interfere with each other, usually, a water pipe (normal default depth is 0.9 m), a gas pipe (normal default depth is 1). .2m), the deeper the positional relationship in the order of the sewer pipes, the higher the possibility that an image close to the actual buried state can be displayed. Similarly, when gas pipes having different thicknesses interfere, for example, the thicker gas pipe has a deeper positional relationship than the narrower gas pipe (a positional relationship in which the low-pressure pipe, the medium-pressure pipe, and the high-pressure pipe become deeper in this order). However, there is a high possibility that an image close to the actual embedded state can be displayed. Similarly, the main pipe line may have a deeper positional relationship than the low-priority pipe line and the general pipe line.
ここで、上記のように種々のインフラ（infrastructure）を含む表示が行われる場合には、インフラごとに表示色を変えて視認性を向上させ得るようにしてもよい。 Here, when display including various infrastructures is performed as described above, visibility may be improved by changing the display color for each infrastructure.
また、干渉などの不整合が検出された場合に、必ずしも、上記のような管路の位置をずらす調整をせずに、色分け表示やマーク表示などによって不整合があることを判りやすく表示するようにしたり、そのような表示や位置調整の有無をユーザが選択し得るようにしたりしてもよい。 In addition, when inconsistencies such as interference are detected, it is not always necessary to adjust the position of the pipeline as described above, and it is possible to display the inconsistencies clearly by color-coded display or mark display. Or the user may be able to select whether or not to perform such display or position adjustment.
（Ｓ１０９） 補助表示処理部２０７では、上記（Ｓ１０６）で求められた仮想画像データ、または（Ｓ１０８）で必要に応じて位置調整された仮想画像データについて、管路の上下関係を視覚的に判りやすく表現する処理が行われる。具体的には、例えば交差して見える管路をそれぞれ単純に描画すると、図５に示す埋設管１５１・１５２のように表示されるのに対して、下方に位置する埋設管１５２の一部を図６に示すように隠すことによって、埋設管１５１・１５２の上下関係を把握しやすくすることができる。また、図７に模式的に示すように、上方に位置する埋設管１５２の一部を半透明にして埋設管１５１が透けて見えるように表示されるようにしてもよい。さらに、図８に示すように下方に位置する埋設管１５１に上方に位置する埋設管１５２の影１５３が表示されるようにしてもよい。 (S109) The auxiliary display processing unit 207 visually understands the vertical relationship of the pipelines with respect to the virtual image data obtained in (S106) or the virtual image data whose position is adjusted as necessary in (S108). Processing to express easily is performed. Specifically, for example, if the pipe lines that appear to intersect each other are simply drawn, they are displayed as the buried pipes 151 and 152 shown in FIG. 5, whereas a part of the buried pipe 152 located below is displayed. By hiding as shown in FIG. 6, it is possible to easily grasp the vertical relationship between the buried pipes 151 and 152. Further, as schematically shown in FIG. 7, a part of the buried pipe 152 located above may be made translucent so that the buried pipe 151 can be seen through. Further, as shown in FIG. 8, a shadow 153 of the buried pipe 152 located above may be displayed on the buried pipe 151 located below.
ここで、上記のような管路の上下関係を視覚的に判りやすく表現する処理は、実際に管路の上下関係がある場合の他、上記（Ｓ１０８）のような管路どうしの干渉が検出された場合に管路の上下位置をずらす調整に代えて行われるようにしてもよい。すなわち、データ上は同一の深さにあるような管路の位置関係のまま、上下関係があるような描画処理が行われるようにしてもよい。これによって、管路の上下位置をずらすことによって却って違和感が大きくなる場合に、そのような違和感の増大を回避しつつ、多くの場合において管路の３次元的位置を直感的に把握しやすくすることができる。 Here, the processing for visually expressing the vertical relationship of the pipes as described above is not limited to the case where the vertical relations of the pipelines are actually present, but the interference between the pipes as described above (S108) is detected. In such a case, the adjustment may be performed instead of the adjustment for shifting the vertical position of the pipe line. That is, a drawing process having a vertical relationship may be performed while maintaining the positional relationship of the pipes at the same depth on the data. This makes it easier to intuitively grasp the three-dimensional position of the pipeline in many cases while avoiding such an increase in the sense of incongruity when the sense of discomfort increases by shifting the vertical position of the pipeline. be able to.
また、上記のように管路の上下位置をずらす調整や、上下関係を視覚的に判りやすく表現する処理を行うかどうかをユーザが選択し得るようにしてもよい。 In addition, the user may be able to select whether or not to perform the adjustment for shifting the vertical position of the pipeline as described above, or the processing for visually expressing the vertical relationship.
（Ｓ１１０） 画像合成部２０８では、上記のようにして生成された仮想画像データに基づく画像が、カメラ２０１によって撮像された撮像画像に重畳されるように合成される。 (S110) In the image composition unit 208, the image based on the virtual image data generated as described above is synthesized so as to be superimposed on the captured image captured by the camera 201.
（Ｓ１１１） 上記のように合成された画像が、図１に示すように表示部２０９に表示される。 (S111) The image combined as described above is displayed on the display unit 209 as shown in FIG.
上記のように、撮像された撮像画像と、敷設設備の３次元位置を示すデータに基づいて生成された画像とが合成されて表示されることによって、例えば図面知識がなくても敷設設備の敷設状況を容易に認識し得るようにすることができる。 As described above, the captured image and the image generated based on the data indicating the three-dimensional position of the laying equipment are combined and displayed, so that the laying equipment can be installed without any knowledge of drawings, for example. The situation can be easily recognized.
なお、上記の例では、敷設設備として地中に埋設された管路を例に挙げて説明したが、これに限らず、地上に現れている敷設設備などであっても、例えば積雪時、浸水時や、他の事物の陰になっている場合などに、それらの敷設設備の位置を把握しやすくすることなどが容易にできる。 In the above example, the pipe line buried in the ground has been described as an example of the laying equipment. However, the present invention is not limited to this. It is easy to grasp the position of the laying equipment when it is in the shadow of other things.
また、上記のような表示の他、管路等の下面側に影を付けたり、手前よりも奥の方が暗くなるようなフォグ処理を施したりするなど、表示の見やすさやリアルさを高めたりする種々の表現手法を組み合わせたりしてもよい。 In addition to the display as described above, it is possible to improve the visibility and realism of the display, such as by applying shadows on the lower surface side of pipes and the like, and by applying fog processing that makes the back side darker than the front side. Various expression methods may be combined.
１０１・１０２ 埋設管
１０３ マンホール
１１１・１１２ 投影線
１１３ 投影円筒面
１２１ 埋設管座標データ
１５１・１５２ 埋設管
１５３ 影
２０１ カメラ
２０２ カメラロケーション検出部
２０３ 地図データ
２０４ 敷設設備データ
２０５ 仮想画像データ生成部
２０６ 干渉検出部
２０７ 補助表示処理部
２０８ 画像合成部
２０９ 表示部
101/102 Buried pipe 103 Manhole 111/112 Projection line 113 Projected cylindrical surface 121 Buried pipe coordinate data 151/152 Buried pipe 153 Shadow 201 Camera 202 Camera location detecting unit 203 Map data 204 Laying equipment data 205 Virtual image data generating unit 206 Interference Detection unit 207 Auxiliary display processing unit 208 Image composition unit 209 Display unit
Claims (5)
前記敷設設備の敷設位置を地面に投影した地面投影位置を求めるとともに、前記敷設設備の敷設位置と、前記地面投影位置とを前記撮像画像と同様に仮想的に撮像した場合の画像に相当する仮想画像データを生成する仮想画像データ生成部と、
前記撮像画像と、前記仮想画像データに基づく画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備えたことを特徴とする敷設設備表示装置。 A laying equipment display device that synthesizes and displays a captured image and an image generated based on data indicating a three-dimensional position of the laying equipment,
A ground projection position obtained by projecting the laying position of the laying equipment onto the ground is obtained, and a virtual equivalent to an image when the laying position of the laying equipment and the ground projection position are virtually imaged in the same manner as the captured image. A virtual image data generation unit for generating image data;
An image synthesis unit that synthesizes the captured image and an image based on the virtual image data;
A display for displaying the synthesized image;
A laying equipment display device characterized by comprising:
前記敷設設備は、地下に埋設された管路を含み、
前記地面投影位置は、前記管路が地上面に投影された直線または曲線の位置であることを特徴とする敷設設備表示装置。 The laying equipment display device according to claim 1,
The laying equipment includes a conduit buried underground,
The ground projecting position is a laying equipment display device characterized in that the pipeline is a position of a straight line or a curve projected on the ground surface.
前記仮想画像データ生成部は、さらに、前記管路と、前記直線または曲線とを含む面を仮想的に撮像した画像に相当する仮想画像データを生成するように構成されていることを特徴とする敷設設備表示装置。 The laying equipment display device according to claim 2,
The virtual image data generation unit is further configured to generate virtual image data corresponding to an image obtained by virtually imaging a plane including the pipe and the straight line or curve. Laying equipment display device.
前記仮想画像データ生成部は、前記管路と前記直線または曲線とを含む面が、半透明の面、ハッチングが施された面、および所定の塗りつぶしパターンが表された面の少なくとも何れかによって表示される仮想画像データを生成するように構成されていることを特徴とする敷設設備表示装置。 The laying equipment display device according to claim 3,
The virtual image data generation unit displays a surface including the pipe line and the straight line or curve by at least one of a translucent surface, a hatched surface, and a surface on which a predetermined fill pattern is represented. A laying equipment display device configured to generate virtual image data to be generated.
前記敷設設備は、マンホール、ハンドホール、および水取器の少なくとも何れかの構造物を含み、
前記仮想画像データ生成部は、前記構造物の平面形状を含む筒状投影面を仮想的に撮像した画像に相当する仮想画像データを生成するように構成されていることを特徴とする敷設設備表示装置。 A laying equipment display device according to any one of claims 1 to 4,
The laying equipment includes a structure of at least one of a manhole, a handhole, and a water collector,
The virtual image data generation unit is configured to generate virtual image data corresponding to an image obtained by virtually capturing a cylindrical projection plane including a planar shape of the structure. apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015196385A JP2017068771A (en) | 2015-10-02 | 2015-10-02 | Laying equipment display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015196385A JP2017068771A (en) | 2015-10-02 | 2015-10-02 | Laying equipment display device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017068771A true JP2017068771A (en) | 2017-04-06 |
Family
ID=58492660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015196385A Pending JP2017068771A (en) | 2015-10-02 | 2015-10-02 | Laying equipment display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017068771A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022091197A1 (en) * | 2020-10-27 | 2022-05-05 | 日本電信電話株式会社 | Display device, display method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005233710A (en) * | 2004-02-18 | 2005-09-02 | Hitachi Software Eng Co Ltd | Position display system |
| JP2009169622A (en) * | 2008-01-15 | 2009-07-30 | Canon Inc | Image processor, and image processing method |
| US20120127161A1 (en) * | 2010-09-02 | 2012-05-24 | Mark Wallbom | System, apparatus, and method for utilizing geographic information systems |
| JP2013069177A (en) * | 2011-09-23 | 2013-04-18 | Kokusai Kogyo Co Ltd | Composite image display device and composite image display program |
| JP2014106647A (en) * | 2012-11-26 | 2014-06-09 | Canon Inc | Image processing apparatus, image processing method, and program |
| WO2014147858A1 (en) * | 2013-03-19 | 2014-09-25 | Ｎｅｃソリューションイノベータ株式会社 | Three-dimensional unlocking device, three-dimensional unlocking method and program |
| WO2014181380A1 (en) * | 2013-05-09 | 2014-11-13 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device and application execution method |
| JP2015114823A (en) * | 2013-12-11 | 2015-06-22 | 三菱電機株式会社 | Portable terminal device |
-
2015
- 2015-10-02 JP JP2015196385A patent/JP2017068771A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005233710A (en) * | 2004-02-18 | 2005-09-02 | Hitachi Software Eng Co Ltd | Position display system |
| JP2009169622A (en) * | 2008-01-15 | 2009-07-30 | Canon Inc | Image processor, and image processing method |
| US20120127161A1 (en) * | 2010-09-02 | 2012-05-24 | Mark Wallbom | System, apparatus, and method for utilizing geographic information systems |
| JP2013069177A (en) * | 2011-09-23 | 2013-04-18 | Kokusai Kogyo Co Ltd | Composite image display device and composite image display program |
| JP2014106647A (en) * | 2012-11-26 | 2014-06-09 | Canon Inc | Image processing apparatus, image processing method, and program |
| WO2014147858A1 (en) * | 2013-03-19 | 2014-09-25 | Ｎｅｃソリューションイノベータ株式会社 | Three-dimensional unlocking device, three-dimensional unlocking method and program |
| WO2014181380A1 (en) * | 2013-05-09 | 2014-11-13 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device and application execution method |
| JP2015114823A (en) * | 2013-12-11 | 2015-06-22 | 三菱電機株式会社 | Portable terminal device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022091197A1 (en) * | 2020-10-27 | 2022-05-05 | 日本電信電話株式会社 | Display device, display method, and program |
| JP7492160B2 (en) | 2020-10-27 | 2024-05-29 | 日本電信電話株式会社 | Display device, display method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6474905B2 (en) | Remote operation system and operation support system | |
| JP5211120B2 (en) | Information display device and information display method | |
| US20130314398A1 (en) | Augmented reality using state plane coordinates | |
| KR101665399B1 (en) | Object generation apparatus and method of based augmented reality using actual measured | |
| JP2017046209A (en) | Image processing apparatus, image processing method, and image processing program | |
| KR20170046790A (en) | See-through smart glasses and see-through method thereof | |
| CN102647512A (en) | All-round display method of spatial information | |
| KR20190114696A (en) | An augmented reality representation method for managing underground pipeline data with vertical drop and the recording medium thereof | |
| JP6033209B2 (en) | Portable terminal device | |
| US20220138467A1 (en) | Augmented reality utility locating and asset management system | |
| JP5669438B2 (en) | Object management image generation apparatus and object management image generation program | |
| JP2017151585A (en) | Conduit management system and display terminal | |
| KR20160070874A (en) | Location-based Facility Management System Using Mobile Device | |
| CN113269892B (en) | Method for providing augmented view and mobile augmented reality viewing device | |
| CN108955723B (en) | Method for calibrating augmented reality municipal pipe network | |
| JP6596291B2 (en) | Laying equipment display device | |
| KR20140031129A (en) | Virtual face generating method of omni-directional image using user interaction | |
| JP6230678B2 (en) | Terminal device, terminal device program, and invisible object displacement state visualization method | |
| JP2017068771A (en) | Laying equipment display device | |
| US10185787B1 (en) | Tool for accurate onsite model visualization that facilitates environment interaction | |
| JP2013175948A (en) | Image generating apparatus, image generating method, and program | |
| JP5065455B2 (en) | Feature three-dimensional data generation method and feature three-dimensional data generation system | |
| KR101401265B1 (en) | an apparatus for offering the location of underground facilities | |
| Miyake et al. | Outdoor markerless augmented reality | |
| JP2012194002A (en) | Measurement system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200707 |
|
| C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20200728 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200731 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200804 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200821 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200825 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210309 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210629 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20211005 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20211109 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20211109 |