KR102559042B1 - the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof - Google Patents

the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof Download PDF

Info

Publication number
KR102559042B1
KR102559042B1 KR1020220182559A KR20220182559A KR102559042B1 KR 102559042 B1 KR102559042 B1 KR 102559042B1 KR 1020220182559 A KR1020220182559 A KR 1020220182559A KR 20220182559 A KR20220182559 A KR 20220182559A KR 102559042 B1 KR102559042 B1 KR 102559042B1
Authority
KR
South Korea
Prior art keywords
image
camera
ground control
control point
ground
Prior art date
Application number
KR1020220182559A
Other languages
Korean (ko)
Inventor
김영현
이재호
신승수
이용주
Original Assignee
한국건설기술연구원
주식회사 메이사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국건설기술연구원, 주식회사 메이사 filed Critical 한국건설기술연구원
Priority to KR1020220182559A priority Critical patent/KR102559042B1/en
Application granted granted Critical
Publication of KR102559042B1 publication Critical patent/KR102559042B1/en

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 기존에 수작업 또는 드론으로 수행되어 정확성이 담보되지 않았던 지상기준점과 촬영된 이미지 매칭 방법을 개선하기 위한 것으로, 타워크레인이 설치되는 건설현장의 특수성을 고려하여 타워크레인에 카메라를 설치하므로써, 카메라의 흔들림 또는 고도변화 등 변수를 제거하여 카메라의 촬영 높이를 일정하게 유지할 수 있고, 카메라를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 지상기준점을 용이하게 매칭할 수 있어, 건설현장에서의 현장관리가 간편한 개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램을 제공한다.
보다 구체적으로, 본 발명은 건설현장의 2D 또는 3D 이미지를 모델링하여 현장관리를 하기 위하여 통신망으로 연결된 서버를 갖추고 전용프로그램이 탑재된 단말기를 사용하여 수행되는 것으로,
지상에 설치된 지상기준점(10, GCP : Ground Control Point)이 포함되도록 상공에서 카메라(100)가 가공전 이미지(P)를 촬영하고,
상기 카메라(100)가 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하면,
상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하여 상기 단말기의 디스플레이장치에 디스플레이 하는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.
그리고 하나의 지상기준점(10)이 포함되도록 각기 다른 각도에서 다수의 가공전 이미지(P)를 촬영하여 수행되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.
또한 촬영된 상기 다수의 가공전 이미지(P) 각각은,
상기 지상기준점(10)이 상호간에 일치하게 매칭되어 2D 또는 3D 이미지로 모델링되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.
더불어 상기 시스템을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
그리고 시스템을 이용한 것으로,
(1) 지상에 상기 지상기준점(10)을 설치하는 지상기준점 설치단계;
(2) 상기 카메라(100)에서 상기 지상기준점(10)이 포함되도록 가공전 이미지(P)를 촬영하는 촬영단계;
(3) 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하는 이미지 전송단계;
(4) 상기 서버 또는 상기 단말기에 답재된 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하는 모델링단계;
를 포함하여 구성되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법을 제공하며,
상기 (4) 단계 후에,
(5) 모델링된 상기 2D 또는 3D 이미지가 상기 단말기의 디스플레이장치에 디스플레이 되는 디스플레이단계;
를 더 포함하는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.
The present invention is intended to improve the method of matching the ground reference point and the captured image, which was previously performed manually or by a drone, and the accuracy was not guaranteed. By installing a camera on the tower crane in consideration of the specificity of the construction site where the tower crane is installed, it is possible to maintain a constant shooting height of the camera by removing variables such as shaking or altitude change of the camera, and it is possible to shoot at a high altitude without moving the camera. A matching image modeling system, an image modeling method using the same, and a computer program containing the same are provided.
More specifically, the present invention is carried out using a terminal equipped with a dedicated program equipped with a server connected to a communication network to manage the site by modeling 2D or 3D images of the construction site,
The camera 100 takes an image P before processing from above so that the ground control point (10, GCP: Ground Control Point) installed on the ground is included,
When the camera 100 transmits the image P before processing to the server,
The dedicated program provides an improved ground control point matching image modeling system, characterized in that the image P before processing is modeled as a 2D or 3D image and displayed on a display device of the terminal.
And it provides an improved ground control point matching image modeling system characterized in that it is performed by taking a plurality of pre-processing images P from different angles so that one ground control point 10 is included.
In addition, each of the plurality of pre-processing images P taken is,
An improved ground control point matching image modeling system is provided, characterized in that the ground control points 10 are matched with each other and modeled as a 2D or 3D image.
In addition, a computer program stored in a computer readable recording medium for performing the above system is provided.
And by using the system,
(1) a ground reference point installation step of installing the ground reference point 10 on the ground;
(2) a photographing step of photographing an image P before processing so that the ground reference point 10 is included in the camera 100;
(3) an image transmission step of transmitting the captured image P before processing to the server;
(4) a modeling step of modeling the preprocessed image (P) into a 2D or 3D image by the dedicated program loaded into the server or the terminal;
Provides an image modeling method using an improved ground control point matching image modeling system, characterized in that it comprises:
After step (4) above,
(5) a display step of displaying the modeled 2D or 3D image on the display device of the terminal;
It provides an improved ground control point matching image modeling system, characterized in that it further comprises.

Description

개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램{the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof}The improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof}

본 발명은 기존에 수작업 또는 드론으로 수행되어 정확성이 담보되지 않았던 지상기준점과 촬영된 이미지 매칭 방법을 개선하기 위한 것으로,The present invention is intended to improve the method of matching ground control points and captured images, which has not been previously performed manually or by drones and thus does not guarantee accuracy.

타워크레인이 설치되는 건설현장의 특수성을 고려하여 타워크레인에 카메라를 설치하므로써, 카메라의 흔들림 또는 고도변화 등 변수를 제거하여 카메라의 촬영 높이를 일정하게 유지할 수 있고 카메라를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 지상기준점을 용이하게 매칭할 수 있어 건설현장에서의 현장관리가 간편한 개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램에 관한 것이다.By installing a camera on a tower crane in consideration of the specificity of the construction site where the tower crane is installed, it is possible to maintain a constant shooting height of the camera by removing variables such as shaking or elevation change of the camera, and high-altitude shooting is possible in a fixed state without moving the camera. As a result, it is possible to easily match the ground reference point to the photographed image, which is convenient for site management at the construction site, and an image modeling method using the same, and a computer program containing the same.

일반적으로 드론을 이용한 사진측량은 카메라가 장착된 드론을 이용하여 중첩된 사진을 촬영하고 이를 이용하여 3차원 지형자료를 획득하는 것이 주 목적이다.In general, the main purpose of photogrammetry using drones is to take overlapping photos using a drone equipped with a camera and acquire 3D terrain data using them.

그러나 이들 3차원 지형자료는 상대적인 지형값 만을 획득할 수 있기 때문에 측량에서 사용하는 절대좌표로 변환해야 한다. 그리고 수십 장 또는 수백 장의 사진을 모자이크(정합) 해야 하므로 이때 오차가 발생할 수 있다.However, since these 3D topographical data can obtain only relative topographical values, they must be converted into absolute coordinates used in surveying. In addition, since tens or hundreds of pictures must be mosaic (matched), errors may occur at this time.

이러한 오차를 최소화 하기 위하여 사진에서 판독이 용이한 점에 대하여 측량을 실시하여 정합 후 위치값을 입력해줘야 하는데 이러한 점을 지상기준점(GCP : Ground Control Point)이라고 한다. In order to minimize this error, it is necessary to measure the easily readable points in the picture and input the position values after matching. These points are called Ground Control Points (GCPs).

지상기준점은 통상 판독이 용이한 점을 사용하며 이러한 점이 없을 때는 인위적으로 표시를 하고 그 위치정보를 측정하여 후처리에서 사용한다.As the ground reference point, a point that is easy to read is usually used, and when there is no such point, it is artificially marked, and the location information is measured and used in post-processing.

이러한 지상기준점 설정방법은, 항공사진을 사용하여 사진상의 점 및 좌표를 정하기 위한 기술로서, 설정자는 좌표값을 알고 있는 항공촬영 이미지 내에 하나의 지점을 지상기준점으로 정하고, This ground reference point setting method is a technique for determining points and coordinates on a photograph using aerial photographs.

이렇게 정해진 지상기준점을 기준으로 일정한 좌표를 적용했던 것이다. In this way, certain coordinates were applied based on the determined ground reference point.

그러나, 이러한 지상기준점 설정 방법은, 상기 지점에 대한 좌표값은 설정자가 직접 현장에 방문해서, GPS/INS 등의 통상적인 위치 측정을 통해 확인하거나, 수치지형도에서 간접적으로 확인해야 했었다. However, in this ground control point setting method, the setter had to directly visit the site and check the coordinate values of the points through normal location measurement such as GPS/INS or indirectly check them on a digital topographic map.

즉, 설정자가 직접 지상기준점에 해당하는 실제 위치에 방문해서 지상기준점으로 설정할 지점의 좌표값을 측정 및 수집해야 하고 있었다.That is, the setter had to directly visit the actual location corresponding to the ground control point and measure and collect the coordinate values of the point to be set as the ground control point.

다른 3차원 좌표 측정방법은, 3차원 좌표를 알고 있는 기준점에 항공영상에서 식별 가능한 표지를 설치하여 지상 기준점으로 사용함으로써, 별도로 지상기준점 측량을 하지 않고도 영상의 3차원 좌표를 취득할 수 있는 방법에 관한 것이다.Another method for measuring 3D coordinates is to obtain the 3D coordinates of an image without separately surveying the ground control point by installing a mark that can be identified in the aerial image at a reference point of which the 3D coordinate is known and using it as a ground control point. It relates to a method.

이와 같이, 기존의 지상기준점을 설정하는 방법들은, In this way, the existing methods of setting the ground control point,

설정자가 직접 지상기준점에 해당하는 실제 위치에 방문해서 지상기준점으로 설정할 지점의 좌표값을 측정 및 수집하거나, The setter directly visits the actual location corresponding to the ground control point to measure and collect the coordinates of the point to be set as the ground control point,

식별 가능한 표지를 설치해야 함으로써, 시간적으로나 비용적으로 비효율적일 수밖에 없는 문제점이 있었다.By installing an identifiable mark, there was a problem inevitably inefficient in terms of time and cost.

도 1은 통상적인 지상기준점(GCP : Ground Control Point) 마킹 장면을 도시한 것이고,1 shows a typical ground control point (GCP) marking scene,

도 2는 상공에서 도 1의 지상기준점을 촬영한 사진이다.FIG. 2 is a photograph of the ground control point of FIG. 1 taken from above.

한국등록특허 제10-1532582호(등록일 2015년 06월 24일)는 지적측량 데이터 처리 방법에 관한 것으로, Korean Patent Registration No. 10-1532582 (Registered on June 24, 2015) relates to a method for processing cadastral survey data,

토지를 토지 공부에 등록하거나 지적 공부에 등록된 경계를 지표상에 복원할 목적으로 각 필지의 경계 또는 면적을 측량하기 위해 기준점을 설정할 때 획득된 지적측량 데이터를 효율적이며 체계적으로 유지 및 관리할 수 있도록 하는 지적측량 데이터 처리 방법을 개시하고 있다.Disclosed is a method for processing cadastral survey data that enables efficient and systematic maintenance and management of cadastral survey data acquired when registering land in a land study or setting reference points for surveying the boundary or area of each parcel for the purpose of restoring the boundary registered in the cadastral study on the surface of the earth.

측량은 건축물 또는 시설물을 건축함에 있어서 필수적으로 요구되는 작업이다.Surveying is an essential task in constructing a building or facility.

측량 대상지(예컨대, 상업지)를 측량함에 있어서, 측량 대상지의 환경적 또는 지리적 요인에 의해 측량 대상지의 적어도 일부를 사람이 직접 측량할 수 없는 경우가 있다. In surveying a survey target site (eg, a commercial site), there are cases in which a person cannot directly survey at least a part of the survey target site due to environmental or geographical factors of the survey target site.

이러한 경우에는, 드론과 같은 무인 비행체를 사용하여 측량 대상지에 대한 측량이 이루어질 수 있다. In this case, surveying of the survey target may be performed using an unmanned aerial vehicle such as a drone.

무인 비행체를 사용하여 촬영된 측량 대상지에 대한 이미지(사진)를 측량에 활용함으로써, 측량 대상지의 사람이 직접 측량할 수 없는 영역에 대해서도 측량이 가능하게 될 수 있다.By using an image (photo) of a survey target captured using an unmanned aerial vehicle for surveying, surveying may be possible even in an area of the survey target that cannot be directly surveyed by a person.

무인 비행체를 사용하여 측량을 수행하는 경우에 있어서는, 무인 비행체에 의해 촬영된 이미지들에 대해 측량 대상지에서 실제로 측량된 지상기준점(Ground Control Point; GCP)을 매칭시키는 작업이 수행되어야 한다.In the case of performing a survey using an unmanned aerial vehicle, an operation of matching Ground Control Points (GCPs) actually measured in a survey target site with respect to images photographed by the unmanned aerial vehicle must be performed.

촬영된 이미지들의 크기가 크고 그 수가 방대한 경우 이러한 작업은 많은 시간과 자원의 소모를 요구한다.When the size of the captured images is large and the number is vast, this task requires a lot of time and resources.

또한, 수작업으로 이와 같은 매칭을 수행하는 경우, GCP와 촬영된 이미지 간의 매칭의 정확성이 담보되기 어렵다.In addition, when such matching is performed manually, it is difficult to ensure the accuracy of matching between GCPs and captured images.

따라서, 측량 대상지에 대해 실제로 측량된 GCP를 촬영된 이미지(들)에 대해 정확하고 빠르게 매칭시킬 수 있으며, 이에 따라, 2차원 고정밀 정합 이미지 또는 3차원 모델링 이미지와 같은 캘리브레이션된 결과 이미지를 편리하게 생성할 수 있는 방법 및 장치가 요구된다.Therefore, it is possible to accurately and quickly match the GCPs actually surveyed for the survey target to the photographed image (s), and accordingly, a calibrated result image such as a two-dimensional high-precision matching image or a three-dimensional modeling image. Methods and devices capable of conveniently generating are required.

이에 본 발명자는 비행을 수반하므로 카메라의 흔들림 또는 고도변화 등 각종 변수가 많이 존재하는 드론에서 벗어나기 위하여,Accordingly, the present inventors are involved in flight, so in order to escape from the drone, which has many variables such as shaking of the camera or change in altitude,

기존에 수작업 또는 드론으로 수행되어 정확성이 담보되지 않았던 지상기준점과 촬영된 이미지 매칭 방법을 개선하기 위한 것으로,It is to improve the method of matching the ground control point and the captured image, which was previously performed manually or by drone, and the accuracy was not guaranteed.

타워크레인이 설치되는 건설현장의 특수성을 고려하여 타워크레인에 카메라를 설치하므로써, By installing a camera on the tower crane in consideration of the specificity of the construction site where the tower crane is installed,

카메라의 흔들림 또는 고도변화 등 변수를 제거하여 카메라의 촬영 높이를 일정하게 유지할 수 있고,By eliminating variables such as camera shake or altitude change, the camera's shooting height can be maintained constant.

카메라를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 지상기준점을 용이하게 매칭할 수 있어,Since high-altitude shooting is possible in a fixed state without moving the camera, it is possible to easily match the ground reference point to the captured image.

건설현장에서의 현장관리가 간편한 개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램을 개발하기에 이르렀다.An improved ground reference point matching image modeling system that is easy to manage at a construction site, an image modeling method using the same, and a computer program containing this have been developed.

상기에서 설명된 정보는 단지 이해를 돕기 위한 것이며, 종래 기술의 일부를 형성하지 않는 내용을 포함할 수 있으며, 종래 기술이 통상의 기술자에게 제시할 수 있는 것을 포함하지 않을 수 있다.The information described above is for illustrative purposes only and may include material that does not form part of the prior art, and may not include what the prior art may suggest to those skilled in the art.

[문헌 1] 대한민국 공개특허 제10-2020-0064542호 '드론을 이용한 지상기준점 측량장치 및 그 방법', 2020년 06월 08일[Document 1] Republic of Korea Patent Publication No. 10-2020-0064542 'Ground control point surveying device using drone and its method', June 08, 2020 [문헌 2] 대한민국 등록특허 제10-1852368호 'UAV 촬영을 통한 VRS 지상기준점 방식의 지하시설물 정보 측정방법', 2018년 04월 20일[Document 2] Republic of Korea Patent Registration No. 10-1852368 'Method for measuring underground facility information using VRS ground reference point method through UAV shooting', April 20, 2018

본 발명은 상기한 바와 같은 종래의 제반 문제점을 해소하기 위해서 제시되는 것이다. 그 목적은 기존에 수작업 또는 드론으로 수행되어 정확성이 담보되지 않았던 지상기준점과 촬영된 이미지 매칭 방법을 개선하기 위한 것으로,The present invention is presented in order to solve the various conventional problems as described above. The purpose is to improve the method of matching the ground reference point and the captured image, which was previously performed manually or by drone, and the accuracy was not guaranteed.

타워크레인이 설치되는 건설현장의 특수성을 고려하여 타워크레인에 카메라를 설치하므로써, By installing a camera on the tower crane in consideration of the specificity of the construction site where the tower crane is installed,

카메라의 흔들림 또는 고도변화 등 변수를 제거하여 카메라의 촬영 높이를 일정하게 유지할 수 있고,By eliminating variables such as camera shake or altitude change, the camera's shooting height can be maintained constant.

카메라를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 지상기준점을 용이하게 매칭할 수 있어,Since high-altitude shooting is possible in a fixed state without moving the camera, it is possible to easily match the ground reference point to the captured image.

건설현장에서의 현장관리가 간편한 개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램을 제공하고자 한다. It is intended to provide an improved ground reference point matching image modeling system that is easy to manage at a construction site, an image modeling method using the same, and a computer program containing the same.

상기한 기술적 과제를 해결하기 위해 본 발명은 기존에 수작업 또는 드론으로 수행되어 정확성이 담보되지 않았던 지상기준점과 촬영된 이미지 매칭 방법을 개선하기 위한 것으로, 타워크레인이 설치되는 건설현장의 특수성을 고려하여 타워크레인에 카메라를 설치하므로써, 카메라의 흔들림 또는 고도변화 등 변수를 제거하여 카메라의 촬영 높이를 일정하게 유지할 수 있고, 카메라를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 지상기준점을 용이하게 매칭할 수 있어, 건설현장에서의 현장관리가 간편한 개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램을 제공한다. In order to solve the above technical problem, the present invention is to improve the method of matching the ground reference point and the captured image, which was previously performed manually or by drone, and the accuracy was not guaranteed. By installing the camera on the tower crane in consideration of the specificity of the construction site where the tower crane is installed, it is possible to maintain a constant shooting height of the camera by removing variables such as shaking or altitude change of the camera, and it is possible to shoot at a high altitude without moving the camera, so it is possible to easily match the ground reference point to the photographed image, and on-site management at the construction site provides a simple improved ground control point matching image modeling system, an image modeling method using the same, and a computer program containing the same.

보다 구체적으로, 본 발명은 건설현장의 2D 또는 3D 이미지를 모델링하여 현장관리를 하기 위하여 통신망으로 연결된 서버를 갖추고 전용프로그램이 탑재된 단말기를 사용하여 수행되는 것으로,More specifically, the present invention is carried out using a terminal equipped with a dedicated program equipped with a server connected to a communication network to manage the site by modeling 2D or 3D images of the construction site,

지상에 설치된 지상기준점(10, GCP : Ground Control Point)이 포함되도록 상공에서 카메라(100)가 가공전 이미지(P)를 촬영하고,The camera 100 takes an image P before processing from above so that the ground control point (10, GCP: Ground Control Point) installed on the ground is included,

상기 카메라(100)가 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하면,When the camera 100 transmits the image P before processing to the server,

상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하여 상기 단말기의 디스플레이장치에 디스플레이 하는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.The dedicated program provides an improved ground control point matching image modeling system, characterized in that the image P before processing is modeled as a 2D or 3D image and displayed on a display device of the terminal.

그리고 하나의 지상기준점(10)이 포함되도록 각기 다른 각도에서 다수의 가공전 이미지(P)를 촬영하여 수행되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.And it provides an improved ground control point matching image modeling system characterized in that it is performed by taking a plurality of pre-processing images P from different angles so that one ground control point 10 is included.

또한 촬영된 상기 다수의 가공전 이미지(P) 각각은,In addition, each of the plurality of pre-processing images P taken is,

상기 지상기준점(10)이 상호간에 일치하게 매칭되어 2D 또는 3D 이미지로 모델링되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.An improved ground control point matching image modeling system is provided, characterized in that the ground control points 10 are matched with each other and modeled as a 2D or 3D image.

더불어 상기 시스템을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램을 제공한다.In addition, a computer program stored in a computer readable recording medium for performing the above system is provided.

그리고 시스템을 이용한 것으로,And by using the system,

(1) 지상에 상기 지상기준점(10)을 설치하는 지상기준점 설치단계;(1) a ground reference point installation step of installing the ground reference point 10 on the ground;

(2) 상기 카메라(100)에서 상기 지상기준점(10)이 포함되도록 가공전 이미지(P)를 촬영하는 촬영단계;(2) a photographing step of photographing an image P before processing so that the ground reference point 10 is included in the camera 100;

(3) 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하는 이미지 전송단계;(3) an image transmission step of transmitting the captured image P before processing to the server;

(4) 상기 서버 또는 상기 단말기에 답재된 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하는 모델링단계;(4) a modeling step of modeling the preprocessed image (P) into a 2D or 3D image by the dedicated program loaded into the server or the terminal;

를 포함하여 구성되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법을 제공하며,Provides an image modeling method using an improved ground control point matching image modeling system, characterized in that it comprises:

상기 (4) 단계 후에,After step (4) above,

(5) 모델링된 상기 2D 또는 3D 이미지가 상기 단말기의 디스플레이장치에 디스플레이 되는 디스플레이단계;(5) a display step of displaying the modeled 2D or 3D image on the display device of the terminal;

를 더 포함하는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.It provides an improved ground control point matching image modeling system, characterized in that it further comprises.

본 발명에 따르면 기존에 수작업 또는 드론으로 수행되어 정확성이 담보되지 않았던 지상기준점과 촬영된 이미지 매칭 방법을 개선하기 위한 것으로,According to the present invention, it is intended to improve the method of matching the ground reference point and the captured image, which has not been previously performed manually or by a drone and thus does not guarantee accuracy.

타워크레인이 설치되는 건설현장의 특수성을 고려하여 타워크레인에 카메라를 설치하므로써, By installing a camera on the tower crane in consideration of the specificity of the construction site where the tower crane is installed,

카메라의 흔들림 또는 고도변화 등 변수를 제거하여 카메라의 촬영 높이를 일정하게 유지할 수 있고,By eliminating variables such as camera shake or altitude change, the camera's shooting height can be maintained constant.

카메라를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 지상기준점을 용이하게 매칭할 수 있어,Since high-altitude shooting is possible in a fixed state without moving the camera, it is possible to easily match the ground reference point to the captured image.

건설현장에서의 현장관리가 간편한 개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램을 제공한다. An improved ground reference point matching image modeling system that is easy to manage at a construction site, an image modeling method using the same, and a computer program containing the same are provided.

도 1은 통상적인 지상기준점(GCP : Ground Control Point) 마킹 장면을 도시한 것이다.
도 2는 상공에서 도 1의 지상기준점을 촬영한 사진이다.
도 3은 통상적으로 사용하는 좌표계의 종류를 도시한 것이다.
도 4는 2D 영상에서 특징점을 확인하여 3D 포인트 클라우드를 생성하는 3차원 복원의 개념을 도시한 것이다.
도 5는 드론으로 촬영한 이미지 또는 영상의 시차 정보를 도시한 것이다.
도 6은 본 발명인 개량형 지상기준점 매칭 이미지 모델링 시스템을 타워크레인에 적용시킨 개념도이다.
도 7은 도 6을 적용하여 타워크레인으로 촬영한 이미지 또는 영상의 시차 정보를 도시한 것이다.
도 8은 본 발명의 목표를 도시한 것이다.
도 9는 본 발명에 사용되는 지상기준점(GCP : Ground Control Point)을 도시한 것이다.
도 10은 본 발명이 적용된 타워크레인을 도시한 것이다.
도 11은 본 발명의 적용을 위하여 타워크레인 설치 후 지상에 지상기준점을 설치한 개념도이다.
도 12는 도 11에서 타워크레인의 지브의 회전에 따른 지브의 하부에 설치된 카메라의 회전이동을 도시한 것이다.
도 13은 도 11에서 타워크레인의 지브의 하부에 설치된 카메라의 수평이동을 도시한 것이다.
도 14는 도 11에서 지상기준점이 포함되도록 카메라가 가공전 이미지를 촬영하는 장면을 도시한 것이다.
도 15는 타워크레인의 측면에서 보았을 때 카메라의 회전을 도시한 것이다.
도 16은 타워크레인의 정면에서 보았을 때 카메라의 회전을 도시한 것이다.
도 17은 도 12의 상태에서 촬영되는 가공전 이미지를 도시한 것이다.
도 18은 도 13의 상태에서 촬영되는 가공전 이미지를 도시한 것이다.
도 19는 지상기준점이 다수개일 경우의 실시예를 도시한 것이다.
도 20은 건설현장에서 다수개의 타워크레인의 운영반경을 고려한 실시예를 도시한 것이다.
도 21은 본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템의 구성요소와 상호관계를 도시한 것이다.
도 22는 본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법의 실시예의 순서도이다.
도 23은 본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법의 다른 실시예의 순서도이다.
1 shows a typical Ground Control Point (GCP) marking scene.
FIG. 2 is a photograph of the ground control point of FIG. 1 taken from above.
3 shows types of commonly used coordinate systems.
4 illustrates the concept of 3D reconstruction in which a 3D point cloud is generated by identifying feature points in a 2D image.
5 illustrates parallax information of an image or video captured by a drone.
6 is a conceptual diagram in which the improved ground reference point matching image modeling system of the present invention is applied to a tower crane.
7 shows parallax information of an image or video taken with a tower crane by applying FIG. 6 .
Figure 8 illustrates the goal of the present invention.
9 illustrates a Ground Control Point (GCP) used in the present invention.
10 shows a tower crane to which the present invention is applied.
11 is a conceptual diagram of installing a ground reference point on the ground after installing a tower crane for application of the present invention.
Figure 12 shows the rotational movement of the camera installed under the jib of the tower crane in Figure 11 according to the rotation of the jib.
Figure 13 shows the horizontal movement of the camera installed in the lower part of the jib of the tower crane in Figure 11.
FIG. 14 illustrates a scene in which a camera captures an image before processing so that the ground reference point is included in FIG. 11 .
Figure 15 shows the rotation of the camera when viewed from the side of the tower crane.
Figure 16 shows the rotation of the camera when viewed from the front of the tower crane.
FIG. 17 shows an image before processing taken in the state of FIG. 12 .
FIG. 18 shows an image before processing taken in the state of FIG. 13 .
19 illustrates an embodiment in the case of a plurality of ground control points.
20 shows an embodiment considering the operating radius of a plurality of tower cranes at a construction site.
21 illustrates the components and interrelationships of the improved ground control point matching image modeling system of the present invention.
22 is a flowchart of an embodiment of an image modeling method using the improved ground control point matching image modeling system of the present invention.
23 is a flowchart of another embodiment of an image modeling method using the improved ground control point matching image modeling system of the present invention.

본 발명은 건설현장의 2D 또는 3D 이미지를 모델링하여 현장관리를 하기 위하여 통신망으로 연결된 서버를 갖추고 전용프로그램이 탑재된 단말기를 사용하여 수행되는 것으로,The present invention is carried out using a terminal equipped with a dedicated program equipped with a server connected to a communication network to manage the site by modeling 2D or 3D images of the construction site,

지상에 설치된 지상기준점(10, GCP : Ground Control Point)이 포함되도록 상공에서 카메라(100)가 가공전 이미지(P)를 촬영하고,The camera 100 takes an image P before processing from above so that the ground control point (10, GCP: Ground Control Point) installed on the ground is included,

상기 카메라(100)가 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하면,When the camera 100 transmits the image P before processing to the server,

상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하여 상기 단말기의 디스플레이장치에 디스플레이 하는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.The dedicated program provides an improved ground control point matching image modeling system, characterized in that the image P before processing is modeled as a 2D or 3D image and displayed on a display device of the terminal.

그리고 하나의 지상기준점(10)이 포함되도록 각기 다른 각도에서 다수의 가공전 이미지(P)를 촬영하여 수행되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.And it provides an improved ground control point matching image modeling system characterized in that it is performed by taking a plurality of pre-processing images P from different angles so that one ground control point 10 is included.

또한 촬영된 상기 다수의 가공전 이미지(P) 각각은,In addition, each of the plurality of pre-processing images P taken is,

상기 지상기준점(10)이 상호간에 일치하게 매칭되어 2D 또는 3D 이미지로 모델링되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.An improved ground control point matching image modeling system is provided, characterized in that the ground control points 10 are matched with each other and modeled as a 2D or 3D image.

더불어 상기 시스템을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램을 제공한다.In addition, a computer program stored in a computer readable recording medium for performing the above system is provided.

그리고 시스템을 이용한 것으로,And by using the system,

(1) 지상에 상기 지상기준점(10)을 설치하는 지상기준점 설치단계;(1) a ground reference point installation step of installing the ground reference point 10 on the ground;

(2) 상기 카메라(100)에서 상기 지상기준점(10)이 포함되도록 가공전 이미지(P)를 촬영하는 촬영단계;(2) a photographing step of photographing an image P before processing so that the ground reference point 10 is included in the camera 100;

(3) 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하는 이미지 전송단계;(3) an image transmission step of transmitting the captured image P before processing to the server;

(4) 상기 서버 또는 상기 단말기에 답재된 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하는 모델링단계;(4) a modeling step of modeling the preprocessed image (P) into a 2D or 3D image by the dedicated program loaded into the server or the terminal;

를 포함하여 구성되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법을 제공하며,Provides an image modeling method using an improved ground control point matching image modeling system, characterized in that it comprises:

상기 (4) 단계 후에,After step (4) above,

(5) 모델링된 상기 2D 또는 3D 이미지가 상기 단말기의 디스플레이장치에 디스플레이 되는 디스플레이단계;(5) a display step of displaying the modeled 2D or 3D image on the display device of the terminal;

를 더 포함하는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 제공한다.It provides an improved ground control point matching image modeling system, characterized in that it further comprises.

또한 상기 (4) 단계는,In addition, in step (4),

상기 서버 또는 상기 단말기에 답재된 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하되 촬영된 다수의 가공전 이미지(P) 각각은 상기 지상기준점(10)이 상호간에 일치하게 매칭되도록 모델링하는 모델링단계;The server or the dedicated program loaded in the terminal models the pre-processing image P as a 2D or 3D image, but each of the plurality of captured pre-processing images P models the ground reference point 10 to match each other A modeling step of modeling;

로 대체될 수 있는 것을 특징으로 한다.It is characterized in that it can be replaced with.

이하 첨부한 도면과 함께 상기와 같은 본 발명의 개념이 바람직하게 구현된 실시예를 통하여 본 발명을 더욱 상세하게 설명한다. Hereinafter, the present invention will be described in more detail through an embodiment in which the concept of the present invention as described above is preferably implemented in conjunction with the accompanying drawings.

도 3은 통상적으로 사용하는 좌표계의 종류를 도시한 것이고,3 shows the types of commonly used coordinate systems,

도 4는 2D 영상에서 특징점을 확인하여 3D 포인트 클라우드를 생성하는 3차원 복원의 개념을 도시한 것이다.4 illustrates the concept of 3D reconstruction in which a 3D point cloud is generated by identifying feature points in a 2D image.

그리고 도 5는 드론으로 촬영한 이미지 또는 영상의 시차 정보를 도시한 것이다. 5 illustrates parallax information of an image or video captured by a drone.

그리고 도 6은 본 발명인 개량형 지상기준점 매칭 이미지 모델링 시스템을 타워크레인에 적용시킨 개념도이다.And Figure 6 is a conceptual diagram in which the improved ground reference point matching image modeling system of the present invention is applied to a tower crane.

도 7은 도 6을 적용하여 타워크레인으로 촬영한 이미지 또는 영상의 시차 정보를 도시한 것이다.7 shows parallax information of an image or video taken with a tower crane by applying FIG. 6 .

건설 산업은 농업, 광업의 산업과 함께 가장 드론이 적극적으로 활용되는 분야지만, 드론 파일럿 자격제도, 비행 허가 제도 등의 규제로 인해 현장에서 드론을 이용해 항공사진을 수집하는 것에 있어 절차적 애로사항이 존재한다.The construction industry, along with agriculture and mining, is the field where drones are most actively used, but there are procedural difficulties in collecting aerial photos using drones on site due to regulations such as drone pilot qualification system and flight permit system.

또한 드론의 기술적 애로사항 또한 존재하는 데, 드론의 비행은 날씨의 영향을 받고 이러한 점은 원하는 시점의 자료 수집을 제한한다.In addition, there are technical difficulties with drones, and drone flight is affected by the weather, which limits data collection at a desired time point.

따라서 건설현장의 관리자들은 도심지에서 비행이 어려워 공정 관리에 어려움을 겪고 있다.Therefore, managers at construction sites have difficulties in managing the process due to the difficulty of flying in urban areas.

이에 건설현장을 잘 이해하고 도심지 현장의 특성, 타워크레인을 사용하는 현장의 특성에 대한 분석을 통해 본 발명은 도출하였다.Accordingly, the present invention was derived by understanding the construction site well and analyzing the characteristics of the downtown site and the site using a tower crane.

본 발명은 기존 기술과는 달리 크레인으로 사진을 수집하는 것은 드론을 이용한 방식과는 다른 형태의 사진 수집이 이루어진다.Unlike conventional technologies, the present invention collects photos with a crane in a different form from the method using a drone.

예를 들어 사진들은 나란하게 수집되지 않고 원형으로 인접한 사진들이 분포하게 되고 반지름이 커질수록 사진끼리 겹쳐지는 영역이 작아지게 된다.For example, photos are not collected side by side, but adjacent photos are distributed in a circle, and the larger the radius, the smaller the area where the photos overlap each other.

또한, 운동하면서 수집하는 사진이기 때문에 수집된 사진에서 왜곡되는 현상이 일어나게 되는데, 드론으로 수집한 사진과는 다르게 크레인으로 수집한 사진은 원형 혹은 호의 형태로 사진에서 왜곡이 일어나게 된다.In addition, since the photos are collected while exercising, distortion occurs in the collected photos. Unlike photos collected with drones, photos collected with cranes are distorted in the form of a circle or an arc.

본 발명은 이 같은 문제점을 AI 등을 이용한 왜곡보정 프로그램을 이용하여 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링할 수 있는 특징이 있다.The present invention is characterized in that the image P before processing can be modeled as a 2D or 3D image by using a distortion correction program using AI or the like to solve such a problem.

따라서 타워 크레인에서 수집한 데이터를 이용해 건설 현장을 3차원 모델링하여 날씨나 현장 상황에 구애받지 않는 건설 현장 관리 프로세스 확립하고 지원할 수 있다.Therefore, it is possible to establish and support a construction site management process independent of weather or site conditions by 3D modeling the construction site using the data collected from the tower crane.

도 8은 본 발명의 목표를 도시한 것이다.Figure 8 illustrates the goal of the present invention.

도시된 바와 같이 딥러닝의 데이터 수집 한계를 보완하기 위하여 본 특허가 제안되는 것이다.As shown, this patent is proposed to supplement the data collection limitations of deep learning.

도 9는 본 발명에 사용되는 지상기준점(GCP : Ground Control Point)을 도시한 것이다.9 illustrates a Ground Control Point (GCP) used in the present invention.

본 발명에 사용되는 지상기준점(10)은 사진이나 영상 등의 이미지 상에서 인식이 가능하도록 식별코드(11)가 표기되어 있어 다른 지상기준점과 혼동이 발생하기 않는다.The ground control point 10 used in the present invention is marked with an identification code 11 so that it can be recognized on an image such as a photo or video, so that confusion with other ground control points does not occur.

그리고 본 발명의 지상기준점(10)은 식별코드(11)의 위치 등을 고려하여 위도 및 경도 그리고 방위정보까지 포함되어 식별이 가능하다.In addition, the ground control point 10 of the present invention can be identified by including latitude and longitude and bearing information in consideration of the position of the identification code 11, and the like.

도 10은 본 발명이 적용된 타워크레인을 도시한 것이다.10 shows a tower crane to which the present invention is applied.

도시된 바와 같이, As shown,

통상적인 타워크레인(200)은,A typical tower crane 200,

지면에 수직으로 고정 설치되는 마스트(210);와A mast 210 fixed vertically to the ground; and

상기 마스트(210)에 수평으로 설치되어 회전이 가능한 지브(230);A rotatable jib 230 installed horizontally on the mast 210;

를 포함하여 구성된다. It is composed of.

상기 마스트(210)는 공사 진행에 따라 높이(H)가 상승하거나 하강하도록 조절되며,The mast 210 is adjusted so that the height (H) rises or falls according to the progress of the construction,

상기 지브(230)는 수평으로 길이(R)가 늘어나거나 줄어들기도 하며 상기 마스트(210)를 중심으로 360도 회전이 가능하다.The jib 230 may increase or decrease in length R horizontally and rotate 360 degrees around the mast 210 .

도 11은 본 발명의 적용을 위하여 타워크레인 설치 후 지상에 지상기준점을 설치한 개념도이다.11 is a conceptual diagram of installing a ground reference point on the ground after installing a tower crane for application of the present invention.

도시된 바와 같이, 상기 지브(230) 하부에는 카메라(100)가 설치되며,As shown, the camera 100 is installed under the jib 230,

지상에 설치된 지상기준점(10, GCP : Ground Control Point)이 포함되도록 상공에서 카메라(100)가 가공전 이미지(P)를 촬영한다.The camera 100 captures an image P before processing from above so that a ground control point (GCP) installed on the ground is included.

도 12는 도 11에서 타워크레인의 지브의 회전에 따른 지브의 하부에 설치된 카메라의 회전이동을 도시한 것이다.Figure 12 shows the rotational movement of the camera installed under the jib of the tower crane in Figure 11 according to the rotation of the jib.

도시된 바와 같이, 상기 지브(230)의 회전에 따라 상기 카메라(100)도 함께 회전하며 가공전 이미지(P)를 촬영한다. 따라서 상기 카메라(100)의 수평이동과 회전에 의하여 타워크레인(200) 회전반경 내에서 빈틈없는 촬영이 가능하다. As shown, as the jib 230 rotates, the camera 100 also rotates and captures an image P before processing. Therefore, it is possible to shoot without gaps within the rotation radius of the tower crane 200 by the horizontal movement and rotation of the camera 100.

도 13은 도 11에서 타워크레인의 지브의 하부에 설치된 카메라의 수평이동을 도시한 것이다.Figure 13 shows the horizontal movement of the camera installed in the lower part of the jib of the tower crane in Figure 11.

도시된 바와 같이, 상기 지브(230)는 고정된 상태에서 상기 카메라(100)가 의 수평이동하며 가공전 이미지(P)를 촬영한다.As shown, while the jib 230 is fixed, the camera 100 moves horizontally and captures an image P before processing.

도 14는 도 11에서 지상기준점이 포함되도록 카메라가 가공전 이미지를 촬영하는 장면을 도시한 것이다.FIG. 14 illustrates a scene in which a camera captures an image before processing so that the ground reference point is included in FIG. 11 .

촬영된 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하기 위해서는,In order to model the captured image (P) as a 2D or 3D image,

하나의 지상기준점(10)이 포함되도록 각기 다른 각도에서 다수의 가공전 이미지(P)를 촬영해야 하며,It is necessary to take a number of pre-processing images P from different angles so that one ground control point 10 is included,

다수의 가공전 이미지(P) 각각은, 상기 지상기준점(10)이 상호간에 일치하게 매칭되어야 한다.In each of the plurality of pre-processing images P, the ground reference points 10 must match each other identically.

도 15는 타워크레인의 측면에서 보았을 때 카메라의 회전을 도시한 것이고,15 shows the rotation of the camera when viewed from the side of the tower crane,

도 16은 타워크레인의 정면에서 보았을 때 카메라의 회전을 도시한 것이다.Figure 16 shows the rotation of the camera when viewed from the front of the tower crane.

3D 이미지로 모델링하기 위해서는 물체를 여러 각도에서 촬영한 가공전 이미지(P)가 필요하다.In order to model as a 3D image, pre-processing images (P) taken from various angles are required.

카메라(100)의 촬영 각도를 고정한 상태에서 도 12 및 13에 도시된 바와 같이 카메라(100)를 회전시키거나 수평이동시키면 물체를 여러 각도에서 촬영한 가공전 이미지(P)를 얻을 수 있으나,When the camera 100 is rotated or horizontally moved as shown in FIGS. 12 and 13 while the shooting angle of the camera 100 is fixed, pre-processing images P photographed from various angles can be obtained.

이와 병행하여 도 15 내지 16과 같이 카메라(100) 자체의 촬영각도가 조절이 되면,In parallel with this, when the shooting angle of the camera 100 itself is adjusted as shown in FIGS. 15 and 16,

보다 효과적인 물체를 여러 각도에서 촬영한 가공전 이미지(P)를 얻을 수 있는 장점이 있다.It has the advantage of being able to obtain pre-processing images (P) taken from various angles of a more effective object.

도 17은 도 12의 상태에서 촬영되는 가공전 이미지를 도시한 것이다.FIG. 17 shows an image before processing taken in the state of FIG. 12 .

도 17의 가공전 이미지(P)는, The image P before processing in FIG. 17 is,

도시된 바와 같이 상기 지브(230)의 회전에 따라 상기 카메라(100)도 함께 회전하며 상기 가공전 이미지(P)가 촬영된 것으로,As shown, the camera 100 rotates along with the rotation of the jib 230, and the image P before processing is taken.

상기 가공전 이미지(P)는,The image before processing (P) is,

회전하는 순서대로 PR1, PR2, PR3, ……로 명명된다.In the order of rotation, PR1, PR2, PR3, ... … is named

촬영된 다수의 가공전 이미지(P) 각각은 상기 지상기준점(10)이 상호간에 일치하게 매칭되도록 하여 2D 또는 3D 이미지로 모델링된다.Each of the captured plurality of pre-processing images P is modeled as a 2D or 3D image by matching the ground reference points 10 to each other.

이때 상술한 바와 같이, 사진들은 나란하게 수집되지 않고 원형으로 인접한 사진들이 분포하게 되고 반지름이 커질수록 사진끼리 겹쳐지는 영역이 작아지게 되며,At this time, as described above, the photos are not collected side by side, but the photos adjacent to each other are distributed in a circle, and the larger the radius, the smaller the area where the photos overlap each other.

드론으로 수집한 사진과는 다르게 크레인으로 수집한 사진은 원형 혹은 호의 형태로 사진에서 왜곡이 일어나게 되는데,Unlike photos collected by drones, photos collected by cranes are distorted in the form of a circle or an arc.

이 같은 문제점은 AI, 딥러닝 등을 이용한 왜곡보정 프로그램을 이용하여 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링한다.This problem is modeled as a 2D or 3D image of the image P before processing using a distortion correction program using AI, deep learning, or the like.

도 18은 도 13의 상태에서 촬영되는 가공전 이미지를 도시한 것이다.FIG. 18 shows an image before processing taken in the state of FIG. 13 .

도 18의 가공전 이미지(P)는, The image P before processing in FIG. 18 is,

도시된 바와 같이, 상기 지브(230)는 고정된 상태에서 상기 카메라(100)가 의 수평이동하며 가공전 이미지(P)를 촬영한 것으로,As shown, the camera 100 moves horizontally while the jib 230 is in a fixed state and captures an image P before processing,

상기 가공전 이미지(P)는,The image before processing (P) is,

회전하는 순서대로 PT1, PT2, PT3, ……로 명명된다.PT1, PT2, PT3, … in the order of rotation. … is named

촬영된 다수의 가공전 이미지(P) 각각은 상기 지상기준점(10)이 상호간에 일치하게 매칭되도록 하여 2D 또는 3D 이미지로 모델링된다.Each of the captured plurality of pre-processing images P is modeled as a 2D or 3D image by matching the ground reference points 10 to each other.

도 19는 지상기준점이 다수개일 경우의 실시예를 도시한 것이다.19 illustrates an embodiment in the case of a plurality of ground control points.

카메라(100)는 그 자체의 사양에 따라 촬영 범위가 달라지게 된다.The shooting range of the camera 100 varies according to its own specifications.

도 19의 실시예는 이를 보완한 것으로, The embodiment of FIG. 19 supplements this,

촬영 범위가 작은 카메라(100)를 사용하더라도 지상기준점(10)을 다수개 배치하여 공통되는 지상기준점(10)이 포함된 가공전 이미지(P)를 상호간에 중첩하여 연장하므로써, Even if the camera 100 with a small shooting range is used, by arranging a plurality of ground reference points 10 and extending the pre-processing images P including the common ground reference points 10 by overlapping each other,

건설현장 전체에 대응하여 2D 또는 3D 이미지로 모델링하는 것을 특징으로 한다.It is characterized by modeling in 2D or 3D images in response to the entire construction site.

도 20은 건설현장에서 다수개의 타워크레인의 운영반경을 고려한 실시예를 도시한 것이다.20 shows an embodiment considering the operating radius of a plurality of tower cranes at a construction site.

대규모 건설현장의 경우, In the case of large-scale construction sites,

1대의 타워크레인만으로는 공사가 어려워, 다수개의 타워크레인을 배치 설계하게 된다.It is difficult to construct with only one tower crane, so multiple tower cranes are arranged and designed.

이때 타워크레인의 운전 범위인 회전반경(R, R1, R2, R3)이 상호간에 일부 중첩되어 빈틈이 없도록 하여 공정관리를 하는 것이 건설현장에서는 무척 중요하다.At this time, it is very important at the construction site to manage the process by ensuring that the rotation radii (R, R1, R2, R3), which are the operating ranges of the tower crane, partially overlap each other so that there are no gaps.

본 발명자는 이 점에 착안하여,In view of this point, the present inventors

다수개의 타워크레인 각각이 가공전 이미지(P)를 촬영하고 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하되,Each of a plurality of tower cranes takes a pre-processing image (P), and the exclusive program models the pre-processing image (P) as a 2D or 3D image,

타워크레인의 회전반경(R, R1, R2, R3)이 겹치는 부분의 지상에 지상기준점(10)이 포함되도록 하여,The ground reference point 10 is included on the ground where the rotation radii of the tower crane (R, R1, R2, R3) overlap,

결과적으로 전체 건설현장의 2D 또는 3D 이미지를 모델링할 수 있는 것을 특징으로 한다.As a result, it is characterized in that 2D or 3D images of the entire construction site can be modeled.

도 21은 본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템의 구성요소와 상호관계를 도시한 것이다.21 illustrates the components and interrelationships of the improved ground control point matching image modeling system of the present invention.

도시된 바와 같이,As shown,

상기 카메라(100) 또는 상기 카메라(100)와 연결된 전송모듈(미도시)은, 통신부, 프로세서 및 저장부를 포함할 수 있다.The camera 100 or a transmission module (not shown) connected to the camera 100 may include a communication unit, a processor, and a storage unit.

상기 통신부는 상기 카메라(100) 또는 상기 전송모듈(미도시)은 컴퓨터 시스템 및 사용자 단말 등의 기타 다른 장치와 통신하기 위한 구성일 수 있다. The communication unit may be configured to communicate with other devices such as the camera 100 or the transmission module (not shown), such as a computer system and a user terminal.

즉, 기타 다른 장치에 대해 데이터 및/또는 정보를 무선 또는 유선으로 전송/수신하기 위한 구성으로서, That is, as a configuration for transmitting / receiving data and / or information wirelessly or wired to other devices,

네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.It may be a hardware module such as a network interface card, a network interface chip, and a networking interface port, or a software module such as a network device driver or a networking program.

상기 프로세서는 상기 카메라(100) 또는 상기 전송모듈(미도시)의 구성 요소들을 관리할 수 있고, The processor may manage components of the camera 100 or the transmission module (not shown),

상기 카메라(100)의 이동을 제어하기 위한 구성일 수 있다. It may be a component for controlling the movement of the camera 100.

예컨대, 프로세서는 카메라(100)의 이동, 회전 등 움직임을 제어하기 위해 필요한 데이터의 처리 및 연산을 수행할 수 있으며,For example, the processor may process and calculate data required to control movements such as movement and rotation of the camera 100,

적어도 하나의 프로세서 또는 프로세서 내의 적어도 하나의 코어(core)일 수 있다.It may be at least one processor or at least one core within a processor.

상기 저장부는 카메라(100)에 의한 촬영에 의해 생성된 이미지를 저장하기 위한 스토리지를 포함할 수 있다. The storage unit may include a storage for storing an image generated by shooting by the camera 100 .

저장부는 내부 메모리 또는 장착되는 플래시 메모리, SD 카드 등과 같은 외부 메모리 장치일 수 있다. The storage unit may be an internal memory or an external memory device such as a mounted flash memory or an SD card.

또한, 저장부는 카메라(100)의 이동을 위한 소정의 경로와 관련된 정보(예컨대, 건설현장 맵 및 지상기준점에 관한 정보)를 저장하고 있을 수 있다.Also, the storage unit may store information related to a predetermined path for movement of the camera 100 (eg, construction site map and ground control point information).

본 발명에서 전용프로그램이 탑재된 서버 또는 단말기는,In the present invention, a server or terminal equipped with a dedicated program,

이미지 획득부, 프로세서 및 표시부를 포함할 수 있다.It may include an image acquisition unit, a processor and a display unit.

상기 이미지 획득부는 카메라(100)에 의해 촬영된 이미지들을 획득하기 위한 구성일 수 있다. The image acquiring unit may be a component for acquiring images captured by the camera 100 .

예컨대, 이미지 획득부는 카메라(100)로부터 유선 또는 무선을 통해 이미지들을 획득하거나, 카메라(100)의 외부 메모리 장치를 통해 이미지들을 획득할 수 있다.For example, the image acquisition unit may obtain images from the camera 100 through wire or wireless, or may acquire images through an external memory device of the camera 100 .

상기 이미지 획득부는 상술한 통신부에 대응할 수 있다. The image acquisition unit may correspond to the communication unit described above.

즉, 이미지 획득부는 서버 또는 단말기가 카메라(100) 및 서버 등의 기타 다른 장치와 통신하기 위한 구성일 수 있다. That is, the image acquisition unit may be a component for the server or terminal to communicate with other devices such as the camera 100 and the server.

말하자면, 이미지 획득부는 기타 다른 장치에 대해 데이터 및/또는 정보를 무선 또는 유선으로 전송/수신하기 위한 구성으로서, In other words, the image acquisition unit is a component for transmitting / receiving data and / or information wirelessly or wired to other devices,

네트워크 인터페이스 카드, 네트워크 인터페이스 칩 및 네트워킹 인터페이스 포트 등과 같은 하드웨어 모듈 또는 네트워크 디바이스 드라이버(driver) 또는 네트워킹 프로그램과 같은 소프트웨어 모듈일 수 있다.It may be a hardware module such as a network interface card, a network interface chip, and a networking interface port, or a software module such as a network device driver or a networking program.

프로세서는 본 발명의 서버 또는 단말기의 전체 구성 요소들을 관리할 수 있고, The processor may manage all components of the server or terminal of the present invention,

본 서버 또는 단말기가 사용하는 프로그램 또는 어플리케이션을 실행하기 위한 구성일 수 있다. It may be a configuration for executing a program or application used by this server or terminal.

예컨대, 프로세서는 카메라(100)에 의해 촬영된 이미지들을 분석 및 처리하고, For example, the processor analyzes and processes images captured by the camera 100,

결과 이미지를 모델링하기 위해 필요한 데이터와 연산을 수행할 수 있다. Data and calculations necessary to model the resulting image can be performed.

프로세서는 적어도 하나의 프로세서 또는 프로세서 내의 적어도 하나의 코어(core)일 수 있다. The processor may be at least one processor or at least one core within a processor.

표시부는 사용자가 입력한 데이터를 출력하거나, 카메라(100)에 의해 촬영된 이미지들 또는 모델링된 결과 이미지를 출력하기 위한 디스플레이 장치일 수 있다.The display unit may be a display device for outputting data input by a user or outputting images taken by the camera 100 or modeled result images.

도 22는 본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법의 실시예의 순서도이고,22 is a flowchart of an embodiment of an image modeling method using the improved ground control point matching image modeling system of the present invention;

도 23은 본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법의 다른 실시예의 순서도이다.23 is a flowchart of another embodiment of an image modeling method using the improved ground control point matching image modeling system of the present invention.

본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법은,The image modeling method using the improved ground control point matching image modeling system of the present invention,

시스템을 이용한 것으로,By using the system,

(1) 지상에 상기 지상기준점(10)을 설치하는 지상기준점 설치단계;(1) a ground reference point installation step of installing the ground reference point 10 on the ground;

(2) 상기 카메라(100)에서 상기 지상기준점(10)이 포함되도록 가공전 이미지(P)를 촬영하는 촬영단계;(2) a photographing step of photographing an image P before processing so that the ground reference point 10 is included in the camera 100;

(3) 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하는 이미지 전송단계;(3) an image transmission step of transmitting the captured image P before processing to the server;

(4) 상기 서버 또는 상기 단말기에 답재된 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하는 모델링단계;(4) a modeling step of modeling the preprocessed image (P) into a 2D or 3D image by the dedicated program loaded into the server or the terminal;

를 포함하여 구성되는 것을 특징으로 한다.It is characterized in that it is configured to include.

그리고 상기 (4) 단계 후에,And after step (4) above,

(5) 모델링된 상기 2D 또는 3D 이미지가 상기 단말기의 디스플레이장치에 디스플레이 되는 디스플레이단계;(5) a display step of displaying the modeled 2D or 3D image on the display device of the terminal;

를 더 포함하는 것을 특징으로 한다.It is characterized in that it further comprises.

더불어 본 발명의 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법의 다른 실시예는,In addition, another embodiment of the image modeling method using the improved ground control point matching image modeling system of the present invention,

상기 시스템을 이용한 것으로,By using the system,

(1) 지상에 상기 지상기준점(10)을 설치하는 지상기준점 설치단계;(1) a ground reference point installation step of installing the ground reference point 10 on the ground;

(2) 상기 카메라(100)에서 상기 지상기준점(10)이 포함되도록 가공전 이미지(P)를 촬영하는 촬영단계;(2) a photographing step of photographing an image P before processing so that the ground reference point 10 is included in the camera 100;

(3) 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하는 이미지 전송단계;(3) an image transmission step of transmitting the captured image P before processing to the server;

(4) 상기 서버 또는 상기 단말기에 답재된 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하되 촬영된 다수의 가공전 이미지(P) 각각은 상기 지상기준점(10)이 상호간에 일치하게 매칭되도록 모델링하는 모델링단계;(4) The dedicated program loaded on the server or the terminal models the pre-processing image P as a 2D or 3D image, and each of the plurality of pre-processing images P taken is a modeling step of modeling so that the ground reference points 10 match each other;

를 포함하여 구성되는 것을 특징으로 한다.It is characterized in that it is configured to include.

그리고 상기 (4) 단계 후에,And after step (4) above,

(5) 모델링된 상기 2D 또는 3D 이미지가 상기 단말기의 디스플레이장치에 디스플레이 되는 디스플레이단계;(5) a display step of displaying the modeled 2D or 3D image on the display device of the terminal;

를 더 포함하는 것을 특징으로 한다.It is characterized in that it further comprises.

현대에 들어서 건설 현장에서는 드론이나 타워크레인 등을 통해 이미지 데이터를 수집하고 이를 통해 건설 공정을 관리하고 현황을 모니터링하고 있다. In modern times, construction sites collect image data through drones or tower cranes, manage the construction process, and monitor the current status.

이런 상황에서 정확한 현황 분석을 위해서는 현장 GCP(Ground Control Point) 설치가 필수적이다. In this situation, it is essential to install a ground control point (GCP) on site to accurately analyze the current situation.

이러한 GCP의 경우 GCP의 지리 좌표와 이미지상에서의 좌표를 매칭시키기 위한 마킹 작업이 필수인데, In the case of these GCPs, marking work to match the geographic coordinates of the GCPs with the coordinates on the image is essential.

GCP 하나당 4개 이상의 이미지의 마킹이 필요한 탓에 현장에서는 데이터를 수집해도 분석을 시작하기까지 시간과 인력이 소요된다. Since more than four images need to be marked per GCP, it takes time and manpower to start analysis even after collecting data in the field.

이러한 이유로 자동으로 GCP를 추정하는 기술을 도입하고 이를 통한 데이터 수집 이후 분석까지의 과정을 자동화하려는 시도들이 있다.For this reason, there are attempts to introduce a technology for automatically estimating GCP and to automate the process from data collection through analysis.

기존에 GCP 마킹 자동화를 위해서는 정확한 마킹 지점을 얻기 위해서 높은 성능의 object detection 알고리즘을 사용해야 했다. 이러한 기술은 수많은 object의 사진을 제공하고 사진 데이터를 학습함으로써 이미지에서 GCP가 있는지 여부를 찾고 정확한 GCP 위치를 찾아 거기서 마킹 지점을 찾게 된다. In the past, in order to automate GCP marking, a high-performance object detection algorithm had to be used to obtain an accurate marking point. This technology provides pictures of numerous objects and learns the picture data to find out whether there are GCPs in the image, find the exact location of the GCPs, and find the marking point there.

하지만 이러한 시도들은 건설 현장에 GCP를 설치하여 운용하고 있는 데이터가 부족하고 또 하나는 드론이 높은 곳에서 데이터를 취득하다 보니 GCP 자체의 크기가 매우 작다는 문제가 있다. However, these attempts have a problem in that the size of the GCP itself is very small as the data for installing and operating the GCP at the construction site is insufficient, and the drone acquires data from a high place.

위에서 언급한 종래의 문제를 해결하기 위해서 본 발명을 제시한다. In order to solve the conventional problems mentioned above, the present invention is presented.

타워크레인에 카메라를 달아서 데이터를 수집하는 경우 이미지를 수집할 때의 타워크레인의 지브의 위치가 항상 동일하므로 수집한 이미지에서의 GCP좌표는 날짜가 바뀌어도 GCP의 위치와 타워크레인의 위치가 일정하므로 일정하다. When data is collected by attaching a camera to a tower crane, the position of the jib of the tower crane at the time of image collection is always the same, so the GCP coordinates in the collected image are constant even if the date changes because the position of the GCP and the position of the tower crane are constant.

이것을 바탕으로 첫날에 GCP를 사람이 찍으면 이후로 현장에서의 GCP는 전날 GCP의 이미지 좌표 기반으로 object tracking 알고리즘과 같은 방법을 활용하여 GCP위치를 추정한다.Based on this, when a person takes a picture of a GCP on the first day, the location of the GCP thereafter is estimated using the same method as the object tracking algorithm based on the image coordinates of the GCP the previous day.

본 발명은 거의 동일한 위치에서 동일한 각도로 데이터 수집이 이뤄지기 때문에 가지고 있는 GCP 데이터를 패치 단위로 생각해서 패치의 움직임만 tracking하면 높은 정확도의 GCP를 얻을 수 있다. In the present invention, since data is collected at almost the same location and at the same angle, highly accurate GCPs can be obtained by considering the GCP data as a patch unit and tracking only the movement of the patch.

기존의 데이터에서 기반한 Tracking을 사용하기 때문에 사전에 많은 GCP이미지를 수집하고 정리할 필요가 없다. Because it uses tracking based on existing data, there is no need to collect and organize many GCP images in advance.

그리고 동일한 위치에서 이미지 수집이 이뤄지기 때문에 GCP가 보이는 이미지와 보이지 않는 이미지를 구분하는 과정 또한 생략할 수 있다. 또한, 이것은 다양한 현장에서 조금 다른 형태의 GCP를 쓰는 경우에도 무방하게 대응할 수 있다.In addition, since image collection is performed at the same location, the process of distinguishing between visible and invisible images by GCP can also be omitted. In addition, this can be freely dealt with even when a slightly different type of GCP is used in various fields.

본 기술이 보급될 경우 데이터가 부족한 GCP의 경우에도 높은 성능의 GCP추정이 기대된다. 그리고 타워 크레인의 경우 날씨의 구애를 받지 않고 자주 데이터를 수집할 수 있기 때문에 GCP마킹이 잦을 수 밖에 없는 데, 이를 보완해 줌으로 정밀한 현장 공정 관리 및 모니터링의 자동화를 이룰 수 있다.When this technology is spread, high-performance GCP estimation is expected even in the case of GCP with insufficient data. In addition, in the case of tower cranes, since data can be collected frequently regardless of the weather, GCP marking is inevitably frequent, and by supplementing this, precise on-site process management and monitoring automation can be achieved.

타워크레인의 자세 제어하는 장치에서 사진 수집 시의 자세 데이터를 얻어서 이미지 메타 데이터에 기록하고 데이터를 수집할 때마다 같은 자세인 사진들의 이미지 데이터를 비교해서 GCP의 변화를 Tracking한다. Obtain the posture data from the posture control device of the tower crane, record it in the image meta data, and compare the image data of the pictures in the same posture every time data is collected to track the change of GCP.

이렇게 tracking해서 얻은 픽셀 좌표와 이미지 그리고 해당 GCP를 매칭 시킨 마킹 파일을 만들어서 Georeferencing에 활용한다. A marking file that matches the pixel coordinates and image obtained by tracking in this way and the corresponding GCP is created and used for georeferencing.

결론으로 본 발명은 기존에 수작업 또는 드론으로 수행되어 정확성이 담보되지 않았던 지상기준점과 촬영된 이미지 매칭 방법을 개선하기 위한 것으로,In conclusion, the present invention is to improve the method of matching the ground reference point and the captured image, which has not been previously performed manually or by a drone and thus does not guarantee accuracy,

타워크레인이 설치되는 건설현장의 특수성을 고려하여 타워크레인에 카메라를 설치하므로써, By installing a camera on the tower crane in consideration of the specificity of the construction site where the tower crane is installed,

카메라의 흔들림 또는 고도변화 등 변수를 제거하여 카메라의 촬영 높이를 일정하게 유지할 수 있고 카메라를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 지상기준점을 용이하게 매칭할 수 있어,It is possible to maintain a constant camera shooting height by removing variables such as camera shake or altitude change, and high-altitude shooting is possible in a fixed state without moving the camera, so it is possible to easily match the ground reference point to the captured image.

건설현장에서의 현장관리가 간편한 개량형 지상기준점 매칭 이미지 모델링 시스템과 이를 이용한 이미지 모델링 방법, 그리고 이것이 수록된 컴퓨터 프로그램에 관한 것이다.It relates to an improved ground reference point matching image modeling system that is easy to manage at a construction site, an image modeling method using the same, and a computer program containing the same.

본 발명은 상기에서 언급한 바와 같이 바람직한 실시예와 관련하여 설명되었으나, 본 발명의 요지를 벗어남이 없는 범위 내에서 다양한 수정 및 변형이 가능하며, 다양한 분야에서 사용 가능하다. Although the present invention has been described in relation to the preferred embodiments as mentioned above, various modifications and variations are possible within the scope without departing from the gist of the present invention, and can be used in various fields.

따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.Accordingly, the claims of this invention include the modifications and variations which fall within the true scope of this invention.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. The devices described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.

예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. For example, the devices and components described in the embodiments may be implemented using one or more general purpose or special purpose computers, such as, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor, microcomputer, field programmable array (FPA), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.

처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. A processing device may run an operating system (OS) and one or more software applications running on the operating system. A processing device may also access, store, manipulate, process, and generate data in response to execution of software.

이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. For convenience of understanding, there are cases in which one processing device is used, but those skilled in the art will recognize that the processing device may include a plurality of processing elements and/or multiple types of processing elements.

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.For example, a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, and may configure a processing device to operate as desired, or may independently or collectively direct a processing device. Software and/or data may be permanently or temporarily embodied in any tangible machine, component, physical device, virtual equipment, computer storage medium or device, or transmitted signal wave, to be interpreted by or to provide instructions or data to a processing device. Software may be distributed on networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer readable media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROM and DVD, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program instructions such as ROM, RAM, and flash memory. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.

상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, those skilled in the art can make various modifications and variations from the above description. For example, even if the described techniques are performed in an order different from the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form from the described method, or replaced or substituted by other components or equivalents, appropriate results can be achieved.

P: 가공전 이미지
10: 지상기준점(GCP : Ground Control Point)
100: 카메라
200: 타워크레인
210: 마스트(mast)
230: 지브(jib)
P: Image before processing
10: Ground Control Point (GCP)
100: camera
200: tower crane
210: mast
230: jib

Claims (8)

건설현장의 2D 또는 3D 이미지를 모델링하여 현장관리를 하기 위하여 통신망으로 연결된 서버를 갖추고 전용프로그램이 탑재된 단말기를 사용하여 수행되는 것으로, 지상에 설치된 지상기준점(10, GCP : Ground Control Point)이 포함되도록 상공에서 카메라(100)가 가공전 이미지(P)를 촬영하고, 상기 카메라(100)가 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하면, 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하여 상기 단말기의 디스플레이장치에 디스플레이 하고,
하나의 지상기준점(10)이 포함되도록 각기 다른 각도에서 다수의 가공전 이미지(P)를 촬영하여 수행되며,
촬영된 상기 다수의 가공전 이미지(P) 각각은, 상기 지상기준점(10)이 상호간에 일치하게 매칭되어 2D 또는 3D 이미지로 모델링되는 것을 특징으로 하되,
상기 지상기준점(10)은 사진이나 영상을 포함한 이미지 상에서 인식이 가능하도록 식별코드(11)가 표기되어 있어 다른 지상기준점과 혼동이 발생하기 않으며 위도 및 경도 그리고 방위정보까지 포함되어 식별되고,
지면에 수직으로 고정 설치되는 마스트(210);와 상기 마스트(210)에 수평으로 설치되어 회전이 가능한 지브(230);를 포함하여 구성되고 상기 마스트(210)는 공사 진행에 따라 높이(H)가 상승하거나 하강하도록 조절되며, 상기 지브(230)는 수평으로 길이(R)가 늘어나거나 줄어들기도 하며 상기 마스트(210)를 중심으로 360도 회전이 가능한 타워크레인(200)이 구비되어,
상기 지브(230) 하부에 상기 카메라(100)가 설치되며,
상기 지브(230)는 고정된 상태에서 상기 카메라(100)가 의 수평이동하며 가공전 이미지(P)를 촬영하거나 상기 지브(230)의 회전에 따라 상기 카메라(100)도 함께 회전하며 가공전 이미지(P)를 촬영하므로 타워크레인(200) 회전반경 내에서 빈틈없는 촬영이 가능하고, 상기 지브(230)의 회전에 따라 획득한 다수개의 상기 가공전 이미지(P) 상호간의 겹침부위에서 발생할 수 있는 왜곡은 왜곡보정 프로그램을 이용하여 2D 또는 3D 이미지로 모델링하며,
상기 카메라(100)의 흔들림 또는 고도변화를 포함한 변수를 제거하여 상기 카메라(100)의 촬영 높이를 일정하게 유지할 수 있고 상기 카메라(100)를 움직이지 않고 고정된 상태에서 고공 촬영이 가능하므로 촬영된 이미지에 상기 지상기준점(10, GCP : Ground Control Point)을 용이하게 매칭할 수 있으며,
타워크레인의 자세 제어하는 장치에서 사진 수집 시의 자세 데이터를 얻어서 이미지 메타 데이터에 기록하고 데이터를 수집할 때마다 같은 자세인 사진들의 이미지 데이터를 비교해서 상기 지상기준점(10, GCP : Ground Control Point)의 변화를 추적할 수 있는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템.
In order to manage the site by modeling 2D or 3D images of the construction site, it is performed using a terminal equipped with a server connected to a communication network and equipped with a dedicated program. When the camera 100 captures an image P before processing in the sky to include a Ground Control Point (GCP) installed on the ground and transmits the image P before processing to the server, the dedicated program converts the image P before processing to 2D or 3D modeled as an image and displayed on a display device of the terminal;
It is performed by taking a plurality of pre-processing images P from different angles so that one ground reference point 10 is included,
Each of the plurality of pre-processing images P taken is characterized in that the ground reference points 10 are matched with each other and modeled as a 2D or 3D image,
The ground control point 10 is marked with an identification code 11 so that it can be recognized on an image including a photo or video, so that confusion with other ground control points does not occur and is identified by including latitude and longitude and bearing information,
A mast 210 fixed vertically to the ground; and a jib 230 installed horizontally on the mast 210 and rotatable; the mast 210 is adjusted so that the height (H) rises or falls as the construction progresses, and the jib 230 is horizontally extended or shortened in length (R), and a tower crane 200 capable of rotating 360 degrees around the mast 210 is provided become,
The camera 100 is installed under the jib 230,
Since the camera 100 moves horizontally while the jib 230 is fixed and captures an image P before processing or rotates along with the rotation of the jib 230 to capture an image P before processing, it is possible to shoot without gaps within the rotation radius of the tower crane 200, and distortion that may occur in the overlapping portion of a plurality of pre-processing images P obtained according to the rotation of the jib 230 is modeled as a 2D or 3D image using a distortion correction program,
It is possible to maintain a constant shooting height of the camera 100 by removing variables including shaking of the camera 100 or change in altitude, and high-altitude shooting is possible in a fixed state without moving the camera 100. Therefore, the ground control point (10, GCP: Ground Control Point) can be easily matched to the captured image,
The device for controlling the attitude of the tower crane obtains attitude data at the time of photo collection, records it in image metadata, and compares image data of photos of the same attitude every time data is collected to track the change in the ground control point (10, GCP). An improved ground control point matching image modeling system, characterized in that it can be tracked.
제1항에서,
상기 카메라(100) 자체의 촬영각도가 조절되어 여러 각도에서 촬영한 가공전 이미지(P)를 얻을 수 있는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템.
In paragraph 1,
An improved ground reference point matching image modeling system, characterized in that the camera 100 itself has a shooting angle adjusted to obtain pre-processing images P taken at various angles.
삭제delete 삭제delete 제1항 내지 제2항 중 어느 한 항의 시스템을 이용한 것으로,
(1) 지상에 상기 지상기준점(10)을 설치하는 지상기준점 설치단계;
(2) 상기 카메라(100)에서 상기 지상기준점(10)이 포함되도록 가공전 이미지(P)를 촬영하는 촬영단계;
(3) 촬영된 상기 가공전 이미지(P)를 상기 서버로 전송하는 이미지 전송단계;
(4) 상기 서버 또는 상기 단말기에 답재된 상기 전용프로그램이 상기 가공전 이미지(P)를 2D 또는 3D 이미지로 모델링하는 모델링단계;
를 포함하여 구성되는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법.
Using the system of any one of claims 1 to 2,
(1) a ground reference point installation step of installing the ground reference point 10 on the ground;
(2) a photographing step of photographing an image P before processing so that the ground reference point 10 is included in the camera 100;
(3) an image transmission step of transmitting the captured image P before processing to the server;
(4) a modeling step of modeling the preprocessed image (P) into a 2D or 3D image by the dedicated program loaded into the server or the terminal;
Image modeling method using the improved ground control point matching image modeling system, characterized in that configured to include.
제5항에서,
상기 (4) 단계 후에,
(5) 모델링된 상기 2D 또는 3D 이미지가 상기 단말기의 디스플레이장치에 디스플레이 되는 디스플레이단계;
를 더 포함하는 것을 특징으로 하는 개량형 지상기준점 매칭 이미지 모델링 시스템을 이용한 이미지 모델링 방법.
In paragraph 5,
After step (4) above,
(5) a display step of displaying the modeled 2D or 3D image on the display device of the terminal;
Image modeling method using the improved ground control point matching image modeling system, characterized in that it further comprises.
삭제delete 삭제delete
KR1020220182559A 2022-12-23 2022-12-23 the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof KR102559042B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220182559A KR102559042B1 (en) 2022-12-23 2022-12-23 the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220182559A KR102559042B1 (en) 2022-12-23 2022-12-23 the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof

Publications (1)

Publication Number Publication Date
KR102559042B1 true KR102559042B1 (en) 2023-07-25

Family

ID=87428530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220182559A KR102559042B1 (en) 2022-12-23 2022-12-23 the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof

Country Status (1)

Country Link
KR (1) KR102559042B1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3678866B2 (en) * 1997-03-05 2005-08-03 株式会社熊谷組 Ground control equipment
KR101852368B1 (en) 2017-12-13 2018-04-27 (주)한성개발공사 Method for underground information based on vrs geometric-correction used by uav taking picture
JP2020012713A (en) * 2018-07-17 2020-01-23 エアロセンス株式会社 Method for processing information, program, and information processing system
KR20200064542A (en) 2018-11-29 2020-06-08 현대엠엔소프트 주식회사 Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
JP6771320B2 (en) * 2016-06-23 2020-10-21 大成建設株式会社 Surveying photography method for dam construction, finished form control chart generation method for dam construction using this, concrete placement amount calculation method, finished form management map generation system, concrete placement amount calculation system, and finished form control chart Generation support program
CN114279464A (en) * 2021-12-14 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 Tower crane calibration field for calibrating errors of aerial survey camera and POS (Point of sale) integrated system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3678866B2 (en) * 1997-03-05 2005-08-03 株式会社熊谷組 Ground control equipment
JP6771320B2 (en) * 2016-06-23 2020-10-21 大成建設株式会社 Surveying photography method for dam construction, finished form control chart generation method for dam construction using this, concrete placement amount calculation method, finished form management map generation system, concrete placement amount calculation system, and finished form control chart Generation support program
KR101852368B1 (en) 2017-12-13 2018-04-27 (주)한성개발공사 Method for underground information based on vrs geometric-correction used by uav taking picture
JP2020012713A (en) * 2018-07-17 2020-01-23 エアロセンス株式会社 Method for processing information, program, and information processing system
KR20200064542A (en) 2018-11-29 2020-06-08 현대엠엔소프트 주식회사 Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
CN114279464A (en) * 2021-12-14 2022-04-05 中国航空工业集团公司洛阳电光设备研究所 Tower crane calibration field for calibrating errors of aerial survey camera and POS (Point of sale) integrated system

Similar Documents

Publication Publication Date Title
EP2923173B1 (en) Integrated aerial photogrammetry surveys
US9798928B2 (en) System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
US10182212B2 (en) Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
US20160253808A1 (en) Determination of object data by template-based uav control
Yahyanejad et al. Incremental mosaicking of images from autonomous, small-scale uavs
KR102664900B1 (en) Apparatus for measuring ground control point using unmanned aerial vehicle and method thereof
Adams et al. Unmanned aerial vehicle data acquisition for damage assessment in hurricane events
CN108810473B (en) Method and system for realizing GPS mapping camera picture coordinate on mobile platform
US20200004272A1 (en) System and method for intelligent aerial inspection
KR102129408B1 (en) Method and apparatus for acquiring survey data from layer of image captured by unmanned air vehicle matched with public map or external map
KR102154950B1 (en) Method and apparatus for matching image captured by unmanned air vehicle with map, cadaster, or satellite image
US10740608B2 (en) Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
Raczynski Accuracy analysis of products obtained from UAV-borne photogrammetry influenced by various flight parameters
CN107885763B (en) Method and device for updating interest point information in indoor map and computer readable medium
Yeh et al. Modeling slope topography using unmanned aerial vehicle image technique
US20220366605A1 (en) Accurate geolocation in remote-sensing imaging
Hemerly Automatic georeferencing of images acquired by UAV’s
KR102050995B1 (en) Apparatus and method for reliability evaluation of spatial coordinates
KR102033075B1 (en) A providing location information systme using deep-learning and method it
US11513524B2 (en) Three-dimensional analytic tools and methods for inspections using unmanned aerial vehicles
Pech et al. Generation of multitemporal thermal orthophotos from UAV data
Muji et al. Assessment of Digital Elevation Model (DEM) using onboard GPS and ground control points in UAV image processing
KR102559042B1 (en) the improved image modeling system with matching ground control point and the image modeling method using the same, and the computer program thereof
CN108195359A (en) The acquisition method and system of spatial data
Ballarin et al. Integrated surveying techniques for sensitive areas: San Felice sul Panaro

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant