JP2023011454A - Three-dimensional design data creation method, construction work method, three-dimensional design data creation system, and three-dimensional design data creation program - Google Patents
Three-dimensional design data creation method, construction work method, three-dimensional design data creation system, and three-dimensional design data creation program Download PDFInfo
- Publication number
- JP2023011454A JP2023011454A JP2021115322A JP2021115322A JP2023011454A JP 2023011454 A JP2023011454 A JP 2023011454A JP 2021115322 A JP2021115322 A JP 2021115322A JP 2021115322 A JP2021115322 A JP 2021115322A JP 2023011454 A JP2023011454 A JP 2023011454A
- Authority
- JP
- Japan
- Prior art keywords
- design data
- camera
- construction
- marker
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 229
- 238000013461 design Methods 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000003550 marker Substances 0.000 claims abstract description 122
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 11
- 230000001788 irregular Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001570513 Potamogeton diversifolius Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Operation Control Of Excavators (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる3D設計データを作成する技術に関する。 The present invention relates to a technique for creating 3D design data as a construction target based on images captured by a camera mounted on a construction machine.
近年、建設技術者不足が深刻化しており、この対策として、ICT(Information and Communication Technology)を活用する「i-Construction」と呼ばれる施策が進められている。「i-Construction」に基づく建設工事では、測量を行い、施工前の施工範囲の形状データである初期形状データを取得し、施工目標とする目標形状データを作成し、建設機械を操作して目標形状となるように施工を行う。また、施工後の施工対象の形状を計測し、目標形状データとの適合性について検査する。各工程においては、3D設計データや3D測量データを活用することによって、自動化による省力化が可能である(例えば、非特許文献1)。 In recent years, the shortage of construction engineers has become more serious, and as a countermeasure, a measure called "i-Construction" that utilizes ICT (Information and Communication Technology) is being promoted. In construction work based on "i-Construction", surveying is carried out to acquire initial shape data, which is the shape data of the construction area before construction, create target shape data as construction targets, and operate construction machinery to create target shapes. Construction is performed so that it becomes a shape. In addition, the shape of the construction object after construction is measured, and compatibility with the target shape data is inspected. In each process, by utilizing 3D design data and 3D survey data, labor can be saved by automation (for example, Non-Patent Document 1).
このような「i-Construction」の具体例として、建設機械(例えば、油圧ショベル、ブルドーザー、トラック)に搭載したGNSS(Global Navigation Satellite Systems:全地球航法衛星システム)や、IMU(Inertial Measurement Unit:慣性計測装置)等で得られた複数のデータを合成することによって、現在の施工対象の形状データ(例えば、地形データ)を把握し、当該形状データを用いて作業を行う建設工事方法が知られている(例えば、非特許文献1)。 Specific examples of such "i-Construction" include GNSS (Global Navigation Satellite Systems) mounted on construction machinery (e.g., hydraulic excavators, bulldozers, and trucks) and IMU (Inertial Measurement Unit). A construction work method is known in which the current shape data (for example, terrain data) of a construction target is grasped by synthesizing a plurality of data obtained by a measuring device, etc., and the work is performed using the shape data. (For example, Non-Patent Document 1).
図16Aおよび図16Bは、従来のICTを利用しない、路盤を施工する際の建設工事方法の一例を示す図である。図16Aは、施工範囲内の水糸検測を実施する測点を示し、図16Bは、路床160aの上層に路盤160bを有する施工範囲の断面図を示す。従来は、測点に設置した丁張に水糸を張り、水糸から路盤までの下がり量を測定し、下がり量と設計値との差を路面にスプレーなどでマーキングし、オペレータが差の数字を見ながら手動で建設機械のブレード(作業具)の上下を調整し、図16Bに示すような設計の高さになるまで繰り返していた。
16A and 16B are diagrams showing an example of a conventional construction method for constructing roadbeds without using ICT. FIG. 16A shows measurement points for performing water string inspection within the construction area, and FIG. 16B shows a cross-sectional view of the construction area having a
図17Aは、従来のICTを利用した、路盤を施工する際の建設工事方法の一例を示す図であり、図17Bは、路床170aの上層に路盤170bを有する施工範囲の断面図を示す。図17Aに示すように、事前に4点ABCDの座標を、TS(Total Station トータルステーション)等の測量機器により測量し、設計データ(通常は最終仕上がり面である、舗装面の高さ)のTIN(Triangulated Irregular Network)を作成する。作成したTINを建設機械に内蔵したPCで読み込み、建設機械とTSを通信させることで設計面との高さを算出する。例えば、現地の座標において、ある箇所の舗装設計高さが0.7(m)であり、建設機械のブレード(作業具)の下端と建設機械に設置したプリズムの距離がhであり、TSで観測している建設機械に設置したプリズムの高さをzとすると、次式が成立するようにオペレータに表示し、または自動制御を行なう。
0.7-0.05-z+h=0
FIG. 17A is a diagram showing an example of a construction method for constructing a roadbed using conventional ICT, and FIG. 17B is a cross-sectional view of a construction area having a
0.7-0.05-z+h=0
特許文献1には、作業の精度向上及び工程の短縮化を図ることを目的として、測量を行い、施工前の施工対象の形状データである初期形状データを取得する第1工程と、初期形状データと、施工目標とする目標形状データとに基づいて施工計画を策定する第2工程と、施工計画に従って、建設作業機械を用いて施工を行う第3工程とを含み、第3工程においては、目標形状データと、3Dレーザースキャナにより取得した点群データに基づき部分的に逐次更新される現況形状データとを用いて作業を行う技術が開示されている。 In Patent Document 1, for the purpose of improving the accuracy of work and shortening the process, surveying is performed, and the first step of acquiring initial shape data, which is the shape data of the object to be constructed before construction, and the initial shape data and a second step of formulating a construction plan based on target shape data as a construction target, and a third step of performing construction using a construction work machine according to the construction plan. Techniques are disclosed for working with shape data and current shape data that is partially updated based on point cloud data acquired by a 3D laser scanner.
また、特許文献2には、建設機械による施工箇所をその建設機械からみて自律的にモニタすることで、当該モニタを簡便かつ高精度に行うことを目的として、施工現場エリアを移動可能な建設機械に搭載される検出センサ部を用い、前記施工現場エリアの基準点となる位置に設置された外部指標についての前記検出センサ部での検出結果と、前記建設機械が有する可動作業具に付された可動指標についての前記検出センサ部での検出結果とを基に、前記外部指標および前記可動指標の各位置と前記検出センサ部の位置との位置関係を利用した測量演算を行って、前記外部指標と前記検出センサ部との位置関係を認識し、前記可動指標と前記検出センサ部との位置関係を認識し、さらに前記可動指標と前記可動作業具による施工箇所との位置関係を認識し、これらの認識結果を組み合わせることで前記基準点を基準とした場合の前記施工現場エリアでの前記可動作業具による施工箇所の三次元座標値を含む位置情報を認識する技術が開示されている。 Further, Patent Document 2 discloses a construction machine capable of moving in a construction site area for the purpose of performing the monitoring simply and with high precision by autonomously monitoring the construction site by the construction machine as seen from the construction machine. Using the detection sensor unit mounted in the construction site area, the detection result of the external index installed at the position that becomes the reference point of the construction site area, and the detection result of the detection sensor unit attached to the movable work tool of the construction machine Based on the result of detection of the movable index by the detection sensor unit, a survey calculation is performed using the positional relationship between each position of the external index and the movable index and the position of the detection sensor unit, and the external index is detected. and the detection sensor unit, recognizes the positional relationship between the movable index and the detection sensor unit, further recognizes the positional relationship between the movable index and a location to be worked by the movable work tool, A technique for recognizing position information including three-dimensional coordinate values of a construction site by the movable work tool in the construction site area when the reference point is used as a reference by combining the recognition results of the above.
しかしながら、従来の技術では、建設現場で施工する前に、3次元設計データ(3D設計データという場合もある)を、CAD(Computer Aided Design)などを用いて作成する必要があり、その3次元設計データの作成には、相応の知識や技量が必要であると共に、多大な労力と時間を要する。 However, in the conventional technology, it is necessary to create three-dimensional design data (sometimes referred to as 3D design data) using CAD (Computer Aided Design) or the like before construction at the construction site. Creating data requires considerable knowledge and skill, as well as a great deal of labor and time.
本発明は、このような事情に鑑みてなされたものであり、事前に3D設計データを作成する必要がなく、建設現場に設置したマーカーの位置情報に基づいて、自動的に設計データを作成し、そのデータに基づいて施工することによって、施工精度の向上および工程の短縮を図ることができる3D設計データ作成方法、建設工事方法、3D設計データ作成システムおよび3D設計データ作成プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and does not need to create 3D design data in advance, and automatically creates design data based on the position information of markers installed at the construction site. , to provide a 3D design data creation method, a construction method, a 3D design data creation system, and a 3D design data creation program that can improve construction accuracy and shorten the process by carrying out construction based on the data. aim.
(1)上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の3D設計データ作成方法は、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる3D設計データを作成する3D設計データ作成方法であって、建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する第1工程と、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する第2工程と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで3D設計データを作成する第3工程と、を少なくとも含むことを特徴とする。 (1) In order to achieve the above objects, the present invention takes the following means. That is, the 3D design data creation method of the present invention is a 3D design data creation method for creating 3D design data as a construction target based on an image captured by a camera mounted on a construction machine. a first step of photographing a marker installed at a location where height information is required inside or outside the construction area with a single or a plurality of cameras mounted on the construction machine, and photographing with the camera. a second step of obtaining the position coordinates of the markers in the image and the position coordinates of the camera from the obtained image of the markers; and a third step of creating 3D design data by specifying a plane from the position coordinates.
この構成により、事前に3D設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。また、建設機械の操縦者が十分な知識や経験を有していなかったとしても、所望の施工を容易に行うことが可能となる。また、TS(Total Station)では、施工中にTSとプリズムとが遮蔽され、計測が中断する場合があり、GNSS(Global Navigation Satellite Systems)では、天候の影響を受けたり、周辺構造物による通信途絶が生じたり、マルチパスによる誤差が発生する場合があるが、本発明では、これらの制約を受けることが少ない。本発明によれば、精度が高く高効率な情報化施工を実現することが可能となる。 With this configuration, there is no need to create 3D design data in advance, and the result of construction can be immediately reflected in the next construction, making it possible to perform highly accurate construction. Moreover, even if the operator of the construction machine does not have sufficient knowledge and experience, it is possible to easily perform the desired construction. In TS (Total Station), the TS and prism may be shielded during construction, and measurement may be interrupted. and errors due to multipath, the present invention is less subject to these restrictions. ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to implement|achieve information-aided construction with high precision and high efficiency.
(2)また、本発明の3D設計データ作成方法において、前記第2工程では、VisualSLAM技術を用いて、前記カメラの位置座標および撮影範囲に存在する対象物の3次元情報を取得し、前記カメラで撮影された画像に基づいて、画像認識または3次元点群形状の認識によって前記画像内のマーカーの位置座標を取得することを特徴とする。 (2) Further, in the 3D design data creation method of the present invention, in the second step, using VisualSLAM technology, the position coordinates of the camera and three-dimensional information of an object existing in the shooting range are acquired, and the camera The positional coordinates of the marker in the image are obtained by image recognition or recognition of the three-dimensional point cloud shape based on the image taken in the image.
この構成により、映像が遮られた場合であっても、VisualSLAM技術によって、事前に取得した周囲の3次元情報と現在のカメラ画像とのマッチングを行ない、現在位置を推測することができるため、施工を継続することが可能となる。 With this configuration, even if the image is blocked, VisualSLAM technology can match the 3D information of the surroundings acquired in advance with the current camera image to estimate the current position. can be continued.
(3)また、本発明の3D設計データ作成方法において、前記第3工程では、VisualSLAM技術を用いて複数のマーカー間の相対的な位置関係を取得し、前記相対的な位置関係に基づいて、TIN(Triangulated Irregular Network)データを作成し、平面を特定することを特徴とする。 (3) In addition, in the 3D design data creation method of the present invention, in the third step, the relative positional relationship between a plurality of markers is obtained using VisualSLAM technology, and based on the relative positional relationship, It is characterized by creating TIN (Triangulated Irregular Network) data and specifying a plane.
この構成により、VisualSLAM技術を用いて取得された複数のマーカー間の相対的な位置関係に基づいて、3D設計データを作成することが可能となる。 With this configuration, it is possible to create 3D design data based on relative positional relationships between multiple markers obtained using VisualSLAM technology.
(4)また、本発明の3D設計データ作成方法において、前記第1工程では、施工範囲内または施工範囲外の高さ情報が必要な箇所に3つ以上のマーカーを有するマーカー柱を設置し、前記第2工程では、前記カメラで前記マーカー柱を撮影することを特徴とする。 (4) In addition, in the 3D design data creation method of the present invention, in the first step, a marker pillar having three or more markers is installed at a location where height information is required within or outside the construction range, The second step is characterized in that the marker column is photographed by the camera.
この構成により、各マーカー柱の位置座標と前記カメラの位置座標、または各マーカー柱の位置座標から平面を特定し、3D設計データを作成することが可能となる。 With this configuration, it is possible to specify a plane from the position coordinates of each marker pillar and the position coordinates of the camera, or from the position coordinates of each marker pillar and create 3D design data.
(5)また、本発明の3D設計データ作成方法において、前記第3工程では、前記カメラによって撮影されたマーカー柱が1本である場合は、そのマーカー柱の下端と前記カメラの位置座標から変換された前記建設機械の作業具の位置とを結ぶ直線およびこの直線と直交しそのマーカー柱の下端を通る水平線とで前記平面を特定し、前記カメラが撮影したマーカー柱が2本である場合は、各マーカー柱の下端と前記カメラの位置座標から変換された前記建設機械の作業具の位置とからなる3点で前記平面を特定し、前記カメラによって撮影されたマーカー柱が3本である場合は、各マーカー柱の下端からなる3点で前記平面を特定することを特徴とする。 (5) Further, in the 3D design data creation method of the present invention, in the third step, if there is one marker pillar photographed by the camera, the lower end of the marker pillar and the position coordinates of the camera are converted into The plane is identified by a straight line connecting the position of the work tool of the construction machine and a horizontal line perpendicular to this straight line and passing through the lower ends of the marker pillars, and when there are two marker pillars photographed by the camera. , where the plane is specified by three points consisting of the lower end of each marker pillar and the position of the working tool of the construction machine converted from the position coordinates of the camera, and the number of marker pillars photographed by the camera is three. is characterized in that the plane is specified by three points consisting of the lower end of each marker column.
この構成により、マーカー柱の本数に応じて平面を特定し、3D設計データを作成することが可能となる。 With this configuration, it is possible to specify a plane according to the number of marker columns and create 3D design data.
(6)また、本発明の3D設計データ作成方法において、前記カメラで撮影されたマーカー柱の画像に基づいて、3次元空間における前記カメラの姿勢情報を取得する第4工程と、前記3次元空間における前記カメラの姿勢情報を、前記建設機械の姿勢情報に変換し、施工対象を特定する第5工程をさらに含むことを特徴とする。 (6) Further, in the 3D design data creation method of the present invention, a fourth step of acquiring posture information of the camera in a three-dimensional space based on the image of the marker column photographed by the camera; The method further includes a fifth step of converting the posture information of the camera in the above into the posture information of the construction machine to specify the construction target.
この構成により、カメラで撮影されたマーカー柱の画像に基づいて、ロール、ピッチ、ヨーといった3次元空間におけるカメラの姿勢情報を得ることができる。このカメラの姿勢情報を建設機械の姿勢情報に変換することによって、建設機械が備える作業具の施工対象を特定することが可能となる。これにより、有効な情報化施工を実現することが可能となる。 With this configuration, it is possible to obtain the posture information of the camera in a three-dimensional space such as roll, pitch, and yaw based on the image of the marker post captured by the camera. By converting the posture information of the camera into the posture information of the construction machine, it becomes possible to specify the work target of the work tool provided on the construction machine. This makes it possible to realize effective information-aided construction.
(7)また、本発明の建設工事方法は、上記(1)から(6)のいずれかに記載の3D設計データ作成方法によって作成された3D設計データと前記カメラの位置座標を前記建設機械へ送信し、前記建設機械の作業具が前記3D設計データに基づいて動作することを特徴とする。 (7) Further, the construction work method of the present invention transmits 3D design data created by the 3D design data creation method according to any one of (1) to (6) above and the position coordinates of the camera to the construction machine. and the work tool of the construction machine operates based on the 3D design data.
この構成により、カメラと計算用コンピュータのみによって、簡易かつ安価にマシンガイダンスを実現することが可能となる。本発明によれば、事前に3D設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。 With this configuration, it is possible to realize machine guidance simply and inexpensively using only a camera and a computer for calculation. According to the present invention, there is no need to create 3D design data in advance, and construction results can be immediately reflected in the next construction, making it possible to perform highly accurate construction.
(8)また、本発明の3D設計データ作成システムは、施工目標となる3D設計データを作成する3D設計データ作成システムであって、建設機械に搭載され、前記建設機械の走行中に、施工範囲内または施工範囲外の高さ情報が必要な箇所設置されたマーカーを撮影する単一のまたは複数のカメラと、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する位置座標取得部と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで3D設計データを作成する3D設計データ作成部と、を備えることを特徴とする。 (8) Further, the 3D design data creation system of the present invention is a 3D design data creation system for creating 3D design data as a construction target, which is mounted on a construction machine, and during running of the construction machine, a construction range A single or a plurality of cameras for photographing markers installed inside or outside the construction range where height information is required, and from the image of the marker photographed by the camera, the position coordinates of the marker in the image and the 3D for creating 3D design data by specifying a plane from the position coordinates of at least one of the markers and the position coordinates of the camera, or from the position coordinates of the plurality of markers; and a design data creation unit.
この構成により、事前に3D設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。また、建設機械の操縦者が十分な知識や経験を有していなかったとしても、所望の施工を容易に行うことが可能となる。また、TS(Total Station)では、施工中にTSとプリズムとが遮蔽され、計測が中断する場合があり、GNSS(Global Navigation Satellite Systems)では、天候の影響を受けたり、周辺構造物による通信途絶が生じたり、マルチパスによる誤差が発生する場合があるが、本発明では、これらの制約を受けることが少ない。本発明によれば、精度が高く高効率な情報化施工を実現することが可能となる。 With this configuration, there is no need to create 3D design data in advance, and the result of construction can be immediately reflected in the next construction, making it possible to perform highly accurate construction. Moreover, even if the operator of the construction machine does not have sufficient knowledge and experience, it is possible to easily perform the desired construction. In TS (Total Station), the TS and prism may be shielded during construction, and measurement may be interrupted. and errors due to multipath, the present invention is less subject to these restrictions. ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to implement|achieve information-aided construction with high precision and high efficiency.
(9)また、本発明の3D設計データ作成プログラムは、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる3D設計データを作成する3D設計データ作成プログラムであって、建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する処理と、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する処理と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで3D設計データを作成する処理と、をコンピュータに実行させることを特徴とする。 (9) Further, a 3D design data creation program of the present invention is a 3D design data creation program for creating 3D design data as a construction target based on images captured by a camera mounted on a construction machine. While the machine is running, a process of photographing markers installed at locations where height information is required inside or outside the construction area with a single or a plurality of cameras mounted on the construction machine; and A process of acquiring the position coordinates of the marker and the position coordinates of the camera in the captured image of the marker, and the position coordinates of at least one of the markers and the position coordinates of the camera, or the positions of a plurality of the markers. and a process of creating 3D design data by specifying a plane from the coordinates.
この構成により、事前に3D設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。また、建設機械の操縦者が十分な知識や経験を有していなかったとしても、所望の施工を容易に行うことが可能となる。また、TS(Total Station)では、施工中にTSとプリズムとが遮蔽され、計測が中断する場合があり、GNSS(Global Navigation Satellite Systems)では、天候の影響を受けたり、周辺構造物による通信途絶が生じたり、マルチパスによる誤差が発生する場合があるが、本発明では、これらの制約を受けることが少ない。本発明によれば、精度が高く高効率な情報化施工を実現することが可能となる。 With this configuration, there is no need to create 3D design data in advance, and the result of construction can be immediately reflected in the next construction, making it possible to perform highly accurate construction. Moreover, even if the operator of the construction machine does not have sufficient knowledge and experience, it is possible to easily perform the desired construction. In TS (Total Station), the TS and prism may be shielded during construction, and measurement may be interrupted. and errors due to multipath, the present invention is less subject to these restrictions. ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to implement|achieve information-aided construction with high precision and high efficiency.
本発明によれば、事前に3D設計データを作成する必要がなく、施工の結果を即座に次の施工に反映することができるため、高精度な施工を行なうことが可能となる。 According to the present invention, there is no need to create 3D design data in advance, and construction results can be immediately reflected in the next construction, making it possible to perform highly accurate construction.
本発明者らは、従来から施工前に3D設計データを作成するために大きな労力と時間を要してきたことに着目し、建設機械に設置されたカメラで建設現場の施工範囲内外に設置されたマーカーを撮影し、建設機械とマーカーとの位置情報に基づいて、リアルタイムに3D設計データを作成できることを見出し、本発明に至った。 The inventors of the present invention have focused on the fact that it has traditionally required a great deal of time and effort to create 3D design data before construction. The inventors have found that 3D design data can be created in real time based on the positional information of the construction machine and the marker by photographing the marker, leading to the present invention.
すなわち、本発明の3D設計データ作成方法は、建設機械に搭載されたカメラが撮影した画像に基づいて、施工目標となる3D設計データを作成する3D設計データ作成方法であって、建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する第1工程と、前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する第2工程と、少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで3D設計データを作成する第3工程と、を少なくとも含むことを特徴とする。 That is, the 3D design data creation method of the present invention is a 3D design data creation method for creating 3D design data as a construction target based on an image captured by a camera mounted on a construction machine. a first step of photographing a marker installed at a location where height information is required inside or outside the construction area with a single or a plurality of cameras mounted on the construction machine, and photographing with the camera. a second step of obtaining the position coordinates of the markers in the image and the position coordinates of the camera from the obtained image of the markers; and a third step of creating 3D design data by specifying a plane from the position coordinates.
これにより、本発明者らは、事前に3D設計データを作成する必要をなくし、施工の結果を即座に次の施工に反映させ、高精度な施工を行なうことを可能とした。以下、本発明の実施形態について、図面を参照しながら具体的に説明する。本明細書においては、「3D設計データ」とは、設計段階において事前に作成されるデータのみならず、施工段階において現場でリアルタイムに生成され施工目標となるデータをも意味するものとする。 As a result, the inventors of the present invention have eliminated the need to create 3D design data in advance, and have made it possible to immediately reflect the results of construction in the next construction, thereby performing highly accurate construction. Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings. In this specification, "3D design data" means not only data created in advance in the design stage, but also data generated in real time on site in the construction stage and used as construction targets.
図1Aは、本実施形態に係る3D設計データ作成システムの概略構成を示す図である。この3D設計データ作成システム1において、建設機械10は、工事のために使用される機械全般のうち、土地や建物等の施工対象の形状を直接変更するものである。本実施形態では、建設機械10は、ブルドーザーや油圧ショベルを想定している。建設機械10には、単一または複数のカメラ12と、コンピュータ14とが設けられている。カメラ12は、単眼カメラ、ステレオカメラ、depthカメラなどを適用することができる。コンピュータ14には、後述するデータの処理を行なうためのアプリケーションがインストールされているものとする。なお、建設機械10の作業具(ブレード)の動きのモニタリングは、チルトセンサ、ジャイロセンサなどを用いることが可能である。
FIG. 1A is a diagram showing a schematic configuration of a 3D design data creation system according to this embodiment. In the 3D design data creation system 1, the
本実施形態に係る3D設計データ作成システムは、いわゆる「スタンドアローン型」として、自装置のみでデータ処理を完結させることができる。一方、「クライアントサーバ型」として、アクセスポイント16、ネットワーク17を介してサーバ18と通信を行ない、カメラ12で取得した画像が、ネットワーク17を介してサーバ18へ送信され、サーバ18においてデータ処理がされ、処理後のデータをコンピュータ14に返す構成を採ることも可能である。「クライアントサーバ型」を採ることによって、処理すべきデータ量が大きくなってもサーバ18でデータ処理を行なって、処理結果のみをコンピュータ14へ送信することができるようになる。本実施形態によれば、マシンガイダンスを行なう場合、必要な機材は、カメラとコンピュータのみとなるため、簡易かつ安価で実施することが可能となる。
The 3D design data creation system according to this embodiment is a so-called "standalone type", and can complete data processing by itself. On the other hand, as a "client-server type", communication is performed with a
図1Bは、本実施形態に係る3D設計データ作成システムのブロック図である。図1Bに示すように、本実施形態に係る3D設計データ作成システムは、建設機械10に搭載された単一のまたは複数のカメラ12によって、建設機械10の走行中に、施工範囲内または施工範囲外の高さ情報が必要な箇所設置されたマーカー(後述する)を撮影する。また、位置座標取得部14aによって、カメラ12で撮影されたマーカーの画像から、画像内のマーカーの位置座標およびカメラ12の位置座標を取得する。3D設計データ作成部14bは、少なくとも一つのマーカーの位置座標とカメラ12の位置座標、または複数のマーカーの位置座標から平面を特定することで3D設計データを作成する。出力部14cは、ディスプレイやスピーカなどの出力インタフェースであり、データ処理後の画像をディスプレイに表示したり、施工すべき箇所を音声で案内したりするように構成することができる。なお、各構成要素は、機能を発揮するための各種装置、例えば、プロセッサユニット(CPU等)、記憶装置(RAM、ROM、フラッシュメモリ、磁気ディスク等)、入出力装置(データや信号等を送受信するためのインタフェース等)を適宜有する。記憶装置には各構成要素の機能を実現させるためのプログラムが記憶されていてもよい。各構成要素を構成するハードウェア(電子装置等)は、有線又は無線により他のハードウェアとデータ等のやり取りが可能なように構成されている。これにより、マシンガイダンスを実施することが可能となる。
FIG. 1B is a block diagram of the 3D design data creation system according to this embodiment. As shown in FIG. 1B, the 3D design data creation system according to the present embodiment uses a single or a plurality of
図1Cは、本実施形態に係る3D設計データ作成システムにおいて使用するマーカーの一形態を示す図である。ここでは、単一の球体のマーカーM1を三脚M10で支持する構成を採っている。また、図1Dは、本実施形態に係る3D設計データ作成システムにおいて使用するマーカーの他の一形態を示す図である。ここでは、ボードM12に5つのマーカーM2が設けられた構成を採っている。マーカーM1や、5つのマーカーM2を有するボードM12のように、カメラの撮影対象となるマーカーは、周囲の環境内には存在せず、明確に区別できる特徴的な構成をとる必要がある。次に、本実施形態に係る3D設計データ作成システムの実施例について説明する。 FIG. 1C is a diagram showing one form of markers used in the 3D design data creation system according to this embodiment. Here, a configuration is adopted in which a single spherical marker M1 is supported by a tripod M10. FIG. 1D is a diagram showing another form of markers used in the 3D design data creation system according to this embodiment. Here, a configuration is adopted in which five markers M2 are provided on the board M12. Like the marker M1 and the board M12 having five markers M2, the markers to be photographed by the camera do not exist in the surrounding environment and must have a distinctive configuration that allows them to be clearly distinguished. Next, an example of the 3D design data creation system according to this embodiment will be described.
図2は、小規模な駐車場を施工する場合の施工範囲の一例を示す図である。図2に示すように、4点ABCDで囲まれた範囲を施工する。点Aの座標を(x,y,z)=(0,0,0)とし、点Bの座標を(x,y,z)=(0,10,0)とし、点Cの座標を(x,y,z)=(10,10,1)とし、点Dの座標を(x,y,z)=(10,0,1)とする。図2に示すように、x-z平面は、点Aから点Dの方向へ+10パーセントの勾配があるものとする。 FIG. 2 is a diagram showing an example of a construction range when constructing a small-scale parking lot. As shown in FIG. 2, the area surrounded by four points ABCD is constructed. Let the coordinates of point A be (x, y, z) = (0, 0, 0), the coordinates of point B be (x, y, z) = (0, 10, 0), and the coordinates of point C be ( Let x, y, z)=(10, 10, 1) and the coordinates of point D be (x, y, z)=(10, 0, 1). Assume that the xz plane has a +10 percent slope in the direction from point A to point D, as shown in FIG.
図3は、図2における新設する舗装範囲の断面図である。新設する舗装範囲20は、例えば路床20aの上層に路盤20bが構成されるものとする。路盤20bは、例えば、100mmの厚さを有するように構成される。この路盤20bの上層にアスファルト合材からなる舗装20cが設けられる。舗装20cは、例えば、50mmの厚さを有するように構成される。小規模な駐車場などでは、図3に示すように、新設舗装範囲20の近傍に、店舗の建屋や乗り入れ部となる歩道などの既設舗装21や縁石などの既設構造物が存在する。このため、構築しようとしている駐車場舗装においては、事前に出来上がっている既設舗装又は既設構造物と段差が生じないように施工しなければならない。また、既設舗装又は既設構造物は、経年に伴う変形により図面と一致しないこともあるため、図面通りには施工できないことがあり得る。本実施形態に係る3D設計データ作成システムによれば、リアルタイムで3D設計データを作成することができるため、事前の3D設計データを用意する必要がなく、このような施工上の必要を満たすことが可能である。
FIG. 3 is a cross-sectional view of the newly paved range in FIG. In the
図4は、図2における点ABCDの位置にマーカーを設置した状態を示す図である。すなわち、高さ情報が必要な箇所に、マーカーMを設置する。ここでは、設計データを必要とせず、また、事前測量の必要もない。各マーカーMの高さは、仕上がり高さ(最終仕上がりの舗装面の高さ)から任意の長さを「オフセット」して設置する。ここでは、1mのオフセットをしており、各マーカーMの座標は、点A’では(x,y,z)=(0,0,1)となり、点B’では(x,y,z)=(0,10,1)となり、点C’では(x,y,z)=(10,10,2)となり、点D’では(x,y,z)=(10,0,1)となる。 FIG. 4 is a diagram showing a state in which markers are placed at the positions of points ABCD in FIG. That is, a marker M is placed at a location where height information is required. No design data is required here, nor is there a need for pre-survey. The height of each marker M is "offset" by an arbitrary length from the finished height (height of the paved surface in the final finish). Here, with an offset of 1 m, the coordinates of each marker M are (x, y, z)=(0, 0, 1) at point A' and (x, y, z) at point B'. = (0, 10, 1), at point C' (x, y, z) = (10, 10, 2), and at point D' (x, y, z) = (10, 0, 1) becomes.
次に、図4に示すように、カメラを設置した建設機械10を走行させる。そして、VisualSLAM技術を用いて、カメラの位置座標と周囲の3次元情報を取得する。この座標は「ローカル座標」であり、カメラの初期位置や方向などは、解析条件により異なる。VisualSLAM技術については、特開2009-237848号公報、特開2020-160594号公報、国際公開WO2012/106068号に開示されている技術を用いることが可能である。また、設置されたマーカーMを画像または3次元点群の形状から認識・抽出し、そのマーカーの位置座標を別途保存する。さらに、全周囲の観測により、例えば、建物Jや樹木など、施工範囲内外の3次元情報およびマーカーMの位置情報を取得する。
Next, as shown in FIG. 4, the
図5は、図4におけるマーカーの位置座標に基づいてTIN(Triangulated Irregular Network)を作成する様子を示す図である。すなわち、マーカーMと、そのマーカーMに隣接する二つのマーカーMからなるTINを作成する。このTINは、マーカーMを設置した時のオフセット分(この場合は1m)だけ舗装仕上がり高さより高い。TINを作成した後、TINとカメラの位置情報とを用いて、TINとカメラの高低差を算出し、建設機械10の作業具の下端が設計高さになるようにオペレータに表示し、または自動制御を行う。例えば、VisualSLAMにより得られたローカル点群座標におけるTINによる設計高さを「Z」とし、カメラ座標を「z」とし、カメラと作業具下端までの高低差を「h」とする。ここで、「h」は、作業具の上下動により変化するが、作業具にチルトセンサやジャイロ計を設置することで、従来から、初期状態の「h0」からの変動量を把握することが可能である。
FIG. 5 is a diagram showing how a TIN (Triangulated Irregular Network) is created based on the positional coordinates of the markers in FIG. That is, a TIN consisting of a marker M and two markers M adjacent to the marker M is created. This TIN is higher than the finished pavement height by the offset (1 m in this case) when the marker M is installed. After creating the TIN, using the TIN and the position information of the camera, the difference in height between the TIN and the camera is calculated, and displayed to the operator so that the lower end of the work tool of the
図6は、図5におけるVisualSLAMにより得られたローカル点群座標におけるTINによる設計高さZ、カメラ座標z、カメラと作業具下端までの高低差hとの関係を示す断面図である。例えば路盤の施工時には、次式が成り立つような建設機械10の制御を行なう。
Z-(1+0.05)=z-h
FIG. 6 is a sectional view showing the relationship between the design height Z by TIN in the local point group coordinates obtained by VisualSLAM in FIG. 5, the camera coordinates z, and the height difference h between the camera and the lower end of the work tool. For example, when constructing a roadbed, the
Z−(1+0.05)=zh
次に、以上のように構成された実施例1に係る3D設計データ作成システムの動作について説明する。
[動作例1]
図7は、実施例1に係る3D設計データ作成システムの動作例1のフローチャートである。まず、建設機械10にカメラ12を取り付けると共に(ステップS01)、建設機械10の作業具の上下動を検出するセンサを設置する(ステップS02)。次に、カメラ12と作業具の刃先の初期距離「h0」を測定すると共に(ステップS03)、マーカーMを施工範囲内または施工範囲外の高さ情報が必要な箇所に設置する(ステップS04)。ここで、マーカーMの高さは、設計面(施工面)から任意の高さだけオフセットする。実施例1では、オフセットを1mとする。
Next, the operation of the 3D design data creation system according to the first embodiment configured as described above will be described.
[Operation example 1]
FIG. 7 is a flowchart of operation example 1 of the 3D design data creation system according to the first embodiment. First, the
次に、建設機械10を走行させながら、カメラ12によって施工範囲内外の撮影を行なう(ステップS05)。次に、VisualSLAMを用いて、自己位置座標(カメラ12の位置座標)を取得し、保存すると共に(ステップS06)、周囲の3次元座標を取得し、保存する(ステップS07)。次に、カメラ12で取得した画像または3次元点群データから、画像内のマーカーMを抽出し(ステップS08)、マーカーMの3次元座標情報を取得し、保存する(ステップS09)。その後、各マーカーMからなるTINを作成する(ステップS10)。
Next, while the
次に、ステップS06およびステップS10から得られたデータに基づいて、現在の自己位置座標、各マーカーMからなるTIN、マーカーMのオフセット量、初期距離h0、作業具の上下移動量に基づいて、施工層の設計面と作業具の刃先の高低差を算出する(ステップS11)。最後に、建設機械10の操作者へ、ステップS11で算出した高低差を伝達する(ステップS12)。ここでは、コンピュータ14のディスプレイで表示したり、スピーカから音声案内をしたりすることが可能である。また、ステップS12において、高低差を0とするように作業具を自動制御しても良い(ステップS12)。
Next, based on the data obtained from steps S06 and S10, based on the current self-position coordinates, the TIN consisting of each marker M, the offset amount of the marker M, the initial distance h0, and the vertical movement amount of the work tool, A height difference between the design surface of the construction layer and the cutting edge of the work tool is calculated (step S11). Finally, the height difference calculated in step S11 is transmitted to the operator of the construction machine 10 (step S12). Here, it is possible to display on the display of the
[動作例2]
図8は、実施例1に係る3D設計データ作成システムの動作例2のフローチャートである。まず、建設機械10の作業具にカメラ12を取り付け(ステップS13)、カメラ12と作業具の刃先の初期距離h0を測定する(ステップS14)。また、マーカーMを施工範囲内または施工範囲外の高さ情報が必要な箇所に設置する(ステップS15)。ここで、マーカーMの高さは、設計面(施工面)から任意の高さだけオフセットする。実施例1では、オフセットを1mとする。
[Operation example 2]
FIG. 8 is a flowchart of an operation example 2 of the 3D design data creation system according to the first embodiment. First, the
次に、建設機械10を走行させながら、カメラ12によって施工範囲内外の撮影を行なう(ステップS16)。次に、VisualSLAMを用いて、自己位置座標(カメラ12の位置座標)を取得し、保存すると共に(ステップS17)、周囲の3次元座標を取得し、保存する(ステップS18)。次に、カメラ12で取得した画像または3次元点群データから、画像内のマーカーMを抽出し(ステップS19)、マーカーMの3次元座標情報を取得し、保存する(ステップS20)。その後、各マーカーMからなるTINを作成する(ステップS21)。
Next, while the
次に、ステップS17およびステップS21から得られたデータに基づいて、現在の自己位置座標、各マーカーMからなるTIN、マーカーMのオフセット量、初期距離h0に基づいて、施工層の設計面と作業具の刃先の高低差を算出する(ステップS22)。最後に、建設機械10の操作者へ、ステップS22で算出した高低差を伝達する(ステップS23)。ここでは、コンピュータ14のディスプレイで表示したり、スピーカから音声案内をしたりすることが可能である。また、ステップS23において、高低差を0とするように作業具を自動制御しても良い(ステップS23)。
Next, based on the data obtained in steps S17 and S21, the design plane of the construction layer and the work The height difference of the cutting edge of the tool is calculated (step S22). Finally, the height difference calculated in step S22 is transmitted to the operator of the construction machine 10 (step S23). Here, it is possible to display on the display of the
[動作例3]
図9は、実施例1に係る3D設計データ作成システムの動作例3のフローチャートである。まず、建設機械10にカメラ12を取り付ける(ステップS24)。次に、カメラ12と作業具の刃先の初期距離「h0」を測定する(ステップS25)。また、マーカーMを施工範囲内または施工範囲外の高さ情報が必要な箇所に設置する(ステップS26)。ここで、マーカーMの高さは、設計面(施工面)から任意の高さだけオフセットする。実施例1では、オフセットを1mとする。さらに、マーカーBを作業具に設置する(ステップS27)。
[Operation Example 3]
FIG. 9 is a flowchart of operation example 3 of the 3D design data creation system according to the first embodiment. First, the
次に、建設機械10を走行させながら、カメラ12によって施工範囲内外の撮影を行なう(ステップS28)。次に、VisualSLAMを用いて、自己位置座標(カメラ12の位置座標)を取得し、保存すると共に(ステップS29)、周囲の3次元座標を取得し、保存する(ステップS30)。次に、カメラ12で取得した画像または3次元点群データから、画像内のマーカーM、マーカーBを抽出し(ステップS31)、マーカーMの3次元座標情報を取得し、保存する(ステップS32)。その後、マーカーMからなるTINを作成する(ステップS33)。また、ステップS31において、マーカーBの位置座標に基づいて、カメラ12と作業具との相対的位置を算出し、保存する(ステップS34)。
Next, while the
次に、ステップS29、ステップS33およびステップS34から得られたデータに基づいて、現在の自己位置座標、マーカーMからなるTIN、マーカーMのオフセット量、初期距離h0、カメラ12と作業具との相対的位置に基づいて、施工層の設計面と作業具の刃先の高低差を算出する(ステップS35)。最後に、建設機械10の操作者へ、ステップS35で算出した高低差を伝達する(ステップS36)。ここでは、コンピュータ14のディスプレイで表示したり、スピーカから音声案内をしたりすることが可能である。また、ステップS12において、高低差を0とするように作業具を自動制御しても良い(ステップS36)。
Next, based on the data obtained in steps S29, S33, and S34, the current self-position coordinates, the TIN consisting of the marker M, the offset amount of the marker M, the initial distance h0, the relative distance between the
以上説明したように、実施例1によれば、TSやGNSSとは異なり、施工範囲の環境や条件等の制約が少なくて済むこととなる。また、TSでは、施行中にTSとプリズムとの間が遮蔽され計測が中断する場合があり、GNSSでは、天候の影響を受けることがあり、また、周辺構造物による受信不可状態の発生やマルチパスによる誤差が発生する場合がある。これに対し、実施例1によれば、SLAMは映像が遮られた後でも、事前に取得した周囲の3次元情報と現在カメラ画像のマッチングを行い、現在位置を推測できるため、施工を継続可能である。 As described above, according to the first embodiment, unlike TS and GNSS, there are fewer restrictions such as the environment and conditions in the construction range. In addition, with TS, the space between the TS and the prism may be blocked during operation, and the measurement may be interrupted. Path error may occur. In contrast, according to Example 1, even after the image is blocked, the SLAM can match the 3D information of the surroundings acquired in advance with the current camera image, and can estimate the current position, so construction can be continued. is.
実施例2では、建設機械10に搭載されるカメラ12により、施工範囲内外に配置するマーカー柱を撮影する。マーカー柱には、3つ以上のマーカーが配置されており、カメラで撮影した画像からマーカーの位置および大きさを求め、さらに、マーカーとマーカー柱との位置関係より、カメラとマーカー柱の相対位置関係(x,y,z,ロール,ピッチ,ヨー)を算出する。施工範囲内外に設置するマーカー柱は、施工の目標高さより所定の高さだけ高い位置に設定する。なお、設置する高さに応じて、カメラで識別できるようにマーカーの色を変化させても良い。
In the second embodiment, the
これにより、カメラの撮影位置と目標高さとの相違を演算することができ、その演算結果に基づいて、建設機械10を適切に操縦したり、制御したりすることができる。
Thereby, the difference between the shooting position of the camera and the target height can be calculated, and the
[カメラとマーカー柱の相対位置を算出する原理]
図10Aは、カメラで撮影された画像から、カメラと物体(マーカー)との相対位置を検出するために用いる画像表示例を示す。図10Bは、マーカーの直径を示す図である。図10Aに示すように、画像から物体を検知し(図10Aの場合は球体を検知)、画像上の大きさの情報から、カメラと物体の相対距離、その物体の画像上のxy座標を求めることが可能である。
[Principle of calculating the relative position of the camera and the marker column]
FIG. 10A shows an image display example used for detecting the relative position between the camera and the object (marker) from the image captured by the camera. FIG. 10B is a diagram showing the diameter of the marker. As shown in FIG. 10A, an object is detected from the image (a sphere is detected in the case of FIG. 10A), and from the size information on the image, the relative distance between the camera and the object and the xy coordinates of the object on the image are obtained. It is possible.
図11は、5つのマーカーM3を備えるマーカー柱M14の外観を示す図である。図11に示すように、円形のマーカーM3を3つ以上配置した(ここでは5つのマーカーを配置した)マーカー柱M14を用意する。事前に、マーカー柱M14内の各マーカーM3の相対的な位置関係を測定しておく。カメラ12でマーカー柱M14を撮影すると、カメラ12とマーカー柱14に配置された各マーカーM3との相対距離により、カメラ12の、マーカー柱M14からの相対位置が求まる。なお、3次元空間にカメラ12を配置した場合、(x,y,z)の位置とカメラの方向(ヨー,ロール,ピッチ)の6次元の未知数があるため、マーカー柱M14には少なくとも3つのマーカーM3を用いる必要がある。
FIG. 11 is a diagram showing the appearance of a marker post M14 having five markers M3. As shown in FIG. 11, a marker pillar M14 is prepared on which three or more circular markers M3 are arranged (in this case, five markers are arranged). The relative positional relationship of each marker M3 within the marker column M14 is measured in advance. When the
図12は、マーカー柱M14を建設現場内外の特徴点において、所定の高さを有するように設置した様子を示す図である。この「特徴点」とは、現場の周辺や、勾配の変化点のことを意味する。特徴点については、現場の座標系におけるxy座標は不明であってもよい。z座標については、施工の仕上がり面から所定の高さに配置する。例えば、マーカー柱M14の下端が仕上がり面になるように設置したり、仕上がり面から10cm高い位置と決めて設置したりすることができる。マーカー柱M14を鉛直に設置するなど、現場座標系においてマーカー柱M14の方向を決めると、マーカー柱M14とカメラ12との相対的な方向(ヨー,ロール,ピッチ)の関係より、現場座標系におけるカメラ12の方向が決まる。現場座標系におけるカメラ12の方向が分かるということは、カメラを取り付けた建設機械10の姿勢が分かるということになる。つまり、現場の水平面に対して建設機械10が上向きの方向にあるのか、下向きの方向にあるのかが明らかとなる。
FIG. 12 is a diagram showing how the marker pillars M14 are installed to have a predetermined height at characteristic points inside and outside the construction site. This "characteristic point" means the periphery of the site and the change point of the gradient. For feature points, the xy coordinates in the field coordinate system may be unknown. As for the z-coordinate, it is arranged at a predetermined height from the finished surface of construction. For example, the lower end of the marker column M14 can be installed so that it is on the finished surface, or it can be installed at a
[リアルタイムで3D設計データを作成する方法]
カメラで捉えているマーカー柱の数によって、3D設計データの作成方法が異なる。
[How to create 3D design data in real time]
The method of creating 3D design data differs depending on the number of marker pillars captured by the camera.
[カメラで捉えているマーカー柱の数が1本である場合]
図13Aは、施工範囲の一部の平面図であり、図13Bは、施工範囲の一部の正面図であり、図13Cは、施工範囲の一部の側面図である。カメラで捉えているマーカー柱M14が1本である場合は、マーカー柱M14の下端を点P1(0,0,0)とする座標系を考える。カメラC10から変換した建設機械の作業具の位置を点C(Xc,Yc,Zc)とする。施工層の設計面を、点P1と点Cを通る平面とするが、2点では1平面に確定しないため、点P1を通り、ベクトル(P1C)と直交し、z=0の直線Lを仮定し、この直線が含まれる平面を3D設計データとする。
[When the number of marker pillars captured by the camera is 1]
13A is a plan view of part of the construction range, FIG. 13B is a front view of part of the construction range, and FIG. 13C is a side view of part of the construction range. If there is only one marker pillar M14 captured by the camera, consider a coordinate system in which the lower end of the marker pillar M14 is the point P1 (0, 0, 0). Let the position of the working tool of the construction machine converted from the camera C10 be a point C (Xc, Yc, Zc). The design surface of the construction layer is assumed to be a plane passing through the points P1 and C, but since two points cannot be determined as one plane, a straight line L passing through the point P1, orthogonal to the vector (P1C), and z = 0 is assumed. A plane including this straight line is used as 3D design data.
[カメラで捉えているマーカー柱の数が2本である場合]
図14Aは、施工範囲の一部の平面図であり、図14Bは、施工範囲の一部の正面図であり、図14Cは、施工範囲の一部の側面図である。カメラで捉えているマーカー柱M14が2本である場合は、マーカー柱M14の点P1(0,0,0)、点P2(X2,Y2,Z2)、カメラの点C(Xc,Yc,Zc)が含まれる平面を3D設計データとする。
[When the number of marker pillars captured by the camera is 2]
14A is a plan view of part of the construction range, FIG. 14B is a front view of part of the construction range, and FIG. 14C is a side view of part of the construction range. When there are two marker pillars M14 captured by the camera, point P1 (0, 0, 0), point P2 (X2, Y2, Z2) of marker pillar M14, point C (Xc, Yc, Zc ) is used as 3D design data.
[カメラで捉えているマーカー柱の数が3本である場合]
図15Aは、施工範囲の一部の平面図であり、図15Bは、施工範囲の一部の正面図であり、図15Cは、施工範囲の一部の側面図である。カメラで捉えているマーカー柱M14が3本である場合は、マーカー柱M14の点P1(0,0,0)、点P2(X2,Y2,Z2)、点P3(X3,Y3,Z3)が含まれる平面を3D設計データとする。
[When the number of marker pillars captured by the camera is 3]
15A is a plan view of part of the construction range, FIG. 15B is a front view of part of the construction range, and FIG. 15C is a side view of part of the construction range. When there are three marker pillars M14 captured by the camera, points P1 (0, 0, 0), points P2 (X2, Y2, Z2), and points P3 (X3, Y3, Z3) of the marker pillars M14 are Let the included plane be the 3D design data.
なお、マーカー柱M14が4本以上である場合は、マーカー柱M14が3本である場合と同様に扱うことができるが、誤差を分配することができるというメリットがある。 If the number of marker pillars M14 is four or more, it can be handled in the same way as the case where the number of marker pillars M14 is three, but there is an advantage in that the error can be distributed.
以上説明したように、実施例2によれば、事前に3D設計データを準備することなく、高精度に施工することができる。また、施工の結果を即座に次の施工に反映するため(リアルタイム計測するため)、知識や経験に乏しい操縦者でも容易に精度の高い施工を行うことができる。さらに、TSやGNSSとは異なり、施工範囲の環境や条件等の制約が少なくて済むこととなる。 As described above, according to the second embodiment, construction can be performed with high accuracy without preparing 3D design data in advance. In addition, since the result of construction is immediately reflected in the next construction (because of real-time measurement), even an operator with little knowledge or experience can easily perform construction with high accuracy. Furthermore, unlike TS and GNSS, there are fewer restrictions such as the environment and conditions in the construction range.
1 3D設計データ作成システム
10 建設機械
12 カメラ
14 コンピュータ
14a 位置座標取得部
14b 3D設計データ作成部
14c 出力部
16 アクセスポイント
17 ネットワーク
18 サーバ
20 舗装範囲
20a 路床
20b 路盤
20c 舗装
21 既設舗装
B マーカー
C10 カメラ
M マーカー
M1 マーカー
M10 三脚
M12 ボード
M14 マーカー柱
M2 マーカー
M3 マーカー
1 3D design
Claims (9)
建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する第1工程と、
前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する第2工程と、
少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで3D設計データを作成する第3工程と、を少なくとも含むことを特徴とする3D設計データ作成方法。 A 3D design data creation method for creating 3D design data as a construction target based on an image captured by a camera mounted on a construction machine, comprising:
A first step of photographing a marker installed at a location where height information is required within or outside a construction area with a single or a plurality of cameras mounted on the construction machine while the construction machine is running;
a second step of acquiring the position coordinates of the marker in the image and the position coordinates of the camera from the image of the marker captured by the camera;
and a third step of creating 3D design data by specifying a plane from the position coordinates of at least one of the markers and the position coordinates of the camera, or the position coordinates of a plurality of the markers. How to create design data.
前記第2工程では、前記カメラで前記マーカー柱を撮影することを特徴とする請求項1記載の3D設計データ作成方法。 In the first step, a marker pillar having three or more markers is installed at a location where height information is required within or outside the construction range,
2. The method of creating 3D design data according to claim 1, wherein in said second step, said marker post is photographed by said camera.
前記3次元空間における前記カメラの姿勢情報を、前記建設機械の姿勢情報に変換し、施工対象を特定する第5工程をさらに含むことを特徴とする請求項1から請求項5のいずれかに記載の3D設計データ作成方法。 a fourth step of acquiring posture information of the camera in a three-dimensional space based on the image of the marker column captured by the camera;
6. The method according to any one of claims 1 to 5, further comprising a fifth step of converting the posture information of the camera in the three-dimensional space into the posture information of the construction machine to identify the construction target. 3D design data creation method.
前記建設機械の作業具が前記3D設計データに基づいて動作することを特徴とする建設工事方法。 transmitting the 3D design data created by the 3D design data creation method according to any one of claims 1 to 6 and the position coordinates of the camera to the construction machine;
A construction method, wherein the work tool of the construction machine operates based on the 3D design data.
建設機械に搭載され、前記建設機械の走行中に、施工範囲内または施工範囲外の高さ情報が必要な箇所設置されたマーカーを撮影する単一のまたは複数のカメラと、
前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する位置座標取得部と、
少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで3D設計データを作成する3D設計データ作成部と、を備えることを特徴とする3D設計データ作成システム。 A 3D design data creation system for creating 3D design data as a construction target,
a single camera or a plurality of cameras mounted on a construction machine for photographing markers installed at locations where height information is required inside or outside the construction area while the construction machine is running;
a position coordinate acquisition unit that acquires the position coordinates of the marker in the image and the position coordinates of the camera from the image of the marker captured by the camera;
a 3D design data creation unit that creates 3D design data by specifying a plane from the position coordinates of at least one of the markers and the position coordinates of the camera, or the position coordinates of a plurality of the markers. 3D design data creation system.
建設機械を走行させながら、前記建設機械に搭載された単一のまたは複数のカメラで施工範囲内または施工範囲外の高さ情報が必要な箇所に設置されたマーカーを撮影する処理と、
前記カメラで撮影されたマーカーの画像から、前記画像内のマーカーの位置座標および前記カメラの位置座標を取得する処理と、
少なくとも一つの前記マーカーの位置座標と前記カメラの位置座標、または複数の前記マーカーの位置座標から平面を特定することで3D設計データを作成する処理と、をコンピュータに実行させることを特徴とする3D設計データ作成プログラム。
A 3D design data creation program for creating 3D design data as a construction target based on images captured by a camera mounted on a construction machine,
While the construction machine is running, a process of photographing markers installed at locations where height information is required within or outside the construction range with a single or multiple cameras mounted on the construction machine;
a process of acquiring the position coordinates of the marker in the image and the position coordinates of the camera from the image of the marker captured by the camera;
a process of creating 3D design data by specifying a plane from the position coordinates of at least one of the markers and the position coordinates of the camera, or the position coordinates of a plurality of the markers, and causing a computer to execute 3D Design data creation program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021115322A JP7517775B2 (en) | 2021-07-12 | 2021-07-12 | 3D design data creation method, construction work method, 3D design data creation system, and 3D design data creation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021115322A JP7517775B2 (en) | 2021-07-12 | 2021-07-12 | 3D design data creation method, construction work method, 3D design data creation system, and 3D design data creation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023011454A true JP2023011454A (en) | 2023-01-24 |
JP7517775B2 JP7517775B2 (en) | 2024-07-17 |
Family
ID=85120039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021115322A Active JP7517775B2 (en) | 2021-07-12 | 2021-07-12 | 3D design data creation method, construction work method, 3D design data creation system, and 3D design data creation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7517775B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003333590A (en) * | 2002-05-16 | 2003-11-21 | Komatsu Ltd | System for generating image at site |
WO2005024144A1 (en) * | 2003-09-02 | 2005-03-17 | Komatsu Ltd. | Construction target instructing device |
JP2020051029A (en) * | 2018-09-21 | 2020-04-02 | 日立建機株式会社 | Coordinate conversion system and working machine |
JP2020183696A (en) * | 2020-03-19 | 2020-11-12 | J Think株式会社 | Construction machine management system, construction machine management program, construction machine management method, construction machine and external management device of construction machine |
JP2021059970A (en) * | 2020-12-28 | 2021-04-15 | 株式会社小松製作所 | Construction management system |
-
2021
- 2021-07-12 JP JP2021115322A patent/JP7517775B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003333590A (en) * | 2002-05-16 | 2003-11-21 | Komatsu Ltd | System for generating image at site |
WO2005024144A1 (en) * | 2003-09-02 | 2005-03-17 | Komatsu Ltd. | Construction target instructing device |
JP2020051029A (en) * | 2018-09-21 | 2020-04-02 | 日立建機株式会社 | Coordinate conversion system and working machine |
JP2020183696A (en) * | 2020-03-19 | 2020-11-12 | J Think株式会社 | Construction machine management system, construction machine management program, construction machine management method, construction machine and external management device of construction machine |
JP2021059970A (en) * | 2020-12-28 | 2021-04-15 | 株式会社小松製作所 | Construction management system |
Also Published As
Publication number | Publication date |
---|---|
JP7517775B2 (en) | 2024-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898821B2 (en) | Determination of object data by template-based UAV control | |
US8412418B2 (en) | Industrial machine | |
US9721158B2 (en) | 3D terrain mapping system and method | |
US8483442B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
EP1574821B1 (en) | Surveying method and surveying instrument | |
US9367962B2 (en) | Augmented image display using a camera and a position and orientation sensor | |
JP2009543220A (en) | Method and system for automatically performing a multidimensional space survey | |
JP2019066242A (en) | Pile head analysis system, pile head analysis method, and pile head analysis program | |
US10997785B2 (en) | System and method for collecting geospatial object data with mediated reality | |
JP6671852B2 (en) | Information setting system and simulation system | |
US11348322B1 (en) | Tracking an ongoing construction by using fiducial markers | |
CN107923744A (en) | Surface construction based on a cloud | |
JP2022553750A (en) | Method for detecting infrastructure elements of an underground network and its mobile detector | |
JP4545093B2 (en) | 3D automatic surveying device | |
US11348321B2 (en) | Augmented viewing of a scenery and subsurface infrastructure | |
Sgrenzaroli et al. | Indoor mobile mapping systems and (BIM) digital models for construction progress monitoring | |
Rovira-Más et al. | Design parameters for adjusting the visual field of binocular stereo cameras | |
JP7517775B2 (en) | 3D design data creation method, construction work method, 3D design data creation system, and 3D design data creation program | |
JP2021157717A (en) | Augmented reality display device | |
KR102357109B1 (en) | Tunnel surface mapping system under construction | |
Stylianidis et al. | A digital close-range photogrammetric technique for monitoring slope displacements | |
US20240218635A1 (en) | Method for determining location and orientation of earthworks machine in worksite | |
Trusheim et al. | Cooperative localisation using image sensors in a dynamic traffic scenario | |
CA3056834C (en) | System and method for collecting geospatial object data with mediated reality | |
JP7489640B2 (en) | Inspection Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240702 |