KR20230078004A - Apparatus for real-time monitoring based on image reconstruction using drone and method using the same - Google Patents
Apparatus for real-time monitoring based on image reconstruction using drone and method using the same Download PDFInfo
- Publication number
- KR20230078004A KR20230078004A KR1020210165309A KR20210165309A KR20230078004A KR 20230078004 A KR20230078004 A KR 20230078004A KR 1020210165309 A KR1020210165309 A KR 1020210165309A KR 20210165309 A KR20210165309 A KR 20210165309A KR 20230078004 A KR20230078004 A KR 20230078004A
- Authority
- KR
- South Korea
- Prior art keywords
- real
- image
- time
- monitoring
- drone
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 38
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 62
- 238000012806 monitoring device Methods 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006424 Flood reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/40—Protecting water resources
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 드론을 이용한 이미지 재구성 기반의 실시간 모니터링 기술에 관한 것으로, 특히 수자원 관리 지역 내 위험관리를 위해 드론을 이용하여 촬영된 영상을 실시간으로 재구성하여 수자원 위험 관리를 모니터링하기 위한 수자원 관리 정보를 제공하는 기술에 관한 것이다.The present invention relates to a real-time monitoring technology based on image reconstruction using a drone, and in particular, provides water resource management information for monitoring risk management of water resources by reconstructing images captured using a drone in real time for risk management in a water resource management area. It's about technology.
수자원 관리에 있어서 홍수관리, 수계관리 등이 있다. 이 때, 홍수관리는 비가 많이 오는 경우, 홍수나 폭우 피해를 대비하기 위해 강이나 댐과 같은 수변 주위에서 사람의 위치를 탐색하고 파악하는 방식으로 수행될 수 있다. 또한, 수계관리는 실시간으로 강이나 댐의 수위나 수질을 파악하는 방식으로 수행될 수 있다. In water resource management, there are flood management and water system management. In this case, flood management may be performed by searching for and identifying a location of a person around a waterside such as a river or a dam in order to prepare for flood or heavy rain damage in case of heavy rain. In addition, management of the water system may be performed in a manner of grasping the water level or water quality of a river or dam in real time.
수자원 관리를 위해 영상획득 장치가 장착된 드론을 사용하는 경우, 사람이 직접 수변 주위를 돌아다니는 것보다 시간 및 비용적인 측면에서 효율적일 수 있다. In the case of using a drone equipped with an image acquisition device for water resource management, it may be more efficient in terms of time and cost than walking around the waterfront directly by a person.
드론은 위성이나 항공기보다 낮게 날아서 고해상도 영상을 획득할 수 있으나, 넓은 지역 영상을 획득하는 데에는 어려움이 있다. 즉, 드론은 약 50미터에서 150미터의 낮은 상공에서 비행하므로, 드론에 장착된 영상획득 장치에서 촬영되는 시야가 넓지 않다. 따라서, 여러 번을 촬영하여 각각 분석해야 하는 단점이 존재한다. 또한, 해상도는 높지만 촬영된 영상 간의 연관성을 찾기 어렵고, 넓은 지역을 한번에 볼 수 없어 직관적 가시성이 떨어진다. Drones can acquire high-resolution images by flying lower than satellites or aircrafts, but it is difficult to acquire wide-area images. That is, since the drone flies at a low altitude of about 50 to 150 meters, the field of view captured by the image acquisition device mounted on the drone is not wide. Therefore, there is a disadvantage in that each image must be captured and analyzed several times. In addition, although the resolution is high, it is difficult to find a correlation between captured images, and intuitive visibility is poor because a wide area cannot be viewed at once.
예를 들어, 드론이 비행하면서 촬영한 정지영상에는 같은 사람이 여러 번 촬영될 수도 있기 때문에 드론을 통해 촬영된 영상을 통해 해당 지역에 있는 사람의 숫자나 위치 등을 파악하는데 어려움이 있다.For example, since the same person may be photographed several times in a still image taken while the drone is flying, it is difficult to determine the number or location of people in a corresponding area through the image taken by the drone.
본 발명의 목적은 모니터링 정보를 통해 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행하는 것이다.An object of the present invention is to efficiently perform risk management in preparation for flood or heavy rain by analyzing the number or location of people, the height of the water surface, etc. in real time in a water resource management area through monitoring information.
또한, 본 발명의 목적은 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성하는 것이다.In addition, an object of the present invention is to perform image matching one by one each time an image is transmitted through a drone to collect several images and generate a reconstructed image more quickly and efficiently than when image matching is performed at once.
또한, 본 발명의 목적은 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공하는 것이다.In addition, an object of the present invention is to provide efficient image analysis and user visualization by generating one wide image in real time from high-resolution images of a small area captured by a drone.
또한, 본 발명의 목적은 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 하는 것이다.In addition, an object of the present invention is to accurately and efficiently determine the location or number of people in real time even when the same person is included several times in a still image taken while flying by a drone.
상기한 목적을 달성하기 위한 본 발명에 따른 실시간 모니터링 방법은 무선 통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신하는 단계; 상기 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성하는 단계; 및 상기 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공하는 단계를 포함한다.A real-time monitoring method according to the present invention for achieving the above object includes sequentially receiving monitoring images taken in real time through a drone based on wireless communication; performing real-time image matching whenever the monitoring image is received, and reconstructing the monitoring image received so far into one real-time precise large-scale image; and providing water resource management information based on the real-time precise large-scale image.
이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다.At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio.
이 때, 수자원 관리 정보는 상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.
이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다.In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position.
이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.
이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image corresponds to a still image or a video and may be received together with flight coordinates of the drone.
이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to the real-time precise large-scale image whenever a new monitoring image is received.
또한, 본 발명의 일실시예에 따른 실시간 모니터링 장치는 무선 통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신하고, 상기 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성하고, 상기 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공하는 프로세서; 및 상기 모니터링 이미지 및 상기 실시간 정밀 대형 이미지를 저장하는 메모리를 포함한다.In addition, the real-time monitoring device according to an embodiment of the present invention sequentially receives monitoring images taken in real time through a drone based on wireless communication, and performs real-time image matching whenever the monitoring images are received, so that up to now A processor for reconstructing the received monitoring image into one real-time precise large-scale image and providing water resource management information based on the real-time precise large-scale image; and a memory for storing the monitoring image and the real-time precise large-scale image.
이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다.At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio.
이 때, 수자원 관리 정보는 상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.
이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다.In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position.
이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.
이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image corresponds to a still image or a video and may be received together with flight coordinates of the drone.
이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to the real-time precise large-scale image whenever a new monitoring image is received.
본 발명에 따르면, 모니터링 정보를 통해 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행할 수 있다.According to the present invention, risk management in preparation for flood or heavy rain can be efficiently performed by analyzing the number or location of people, the height of the water surface, etc. in real time in a water resource management area through monitoring information.
또한, 본 발명은 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성할 수 있다.In addition, according to the present invention, by performing image matching one by one whenever an image is transmitted through a drone, a reconstructed image can be generated more quickly and efficiently than when multiple images are collected and image matching is performed at once.
또한, 본 발명은 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공할 수 있다.In addition, the present invention can provide efficient image analysis and user visualization by generating one wide image in real time from high-resolution images of a narrow area captured by a drone.
또한, 본 발명은 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 할 수 있다.In addition, the present invention can accurately and efficiently determine the location or number of a person in real time even when the same person is included several times in a still image captured while flying by a drone.
도 1은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법을 나타낸 동작 흐름도이다.
도 3 내지 도 5는 본 발명에 따른 모니터링 이미지가 촬영되어 수신되는 과정의 일 예를 나타낸 도면이다.
도 6은 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법을 보다 상세하게 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 장치를 나타낸 도면이다.1 is a diagram showing a real-time monitoring system for water resources based on image reconstruction using a drone according to an embodiment of the present invention.
2 is an operational flowchart illustrating a real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention.
3 to 5 are diagrams illustrating an example of a process of capturing and receiving a monitoring image according to the present invention.
6 is an operational flowchart showing a method for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention in more detail.
7 is a diagram illustrating an apparatus for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clarity.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 시스템을 나타낸 도면이다.1 is a diagram showing a real-time monitoring system for water resources based on image reconstruction using a drone according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 시스템은 실시간 모니터링 장치(110), 드론(120), 관제 센터(130) 및 네트워크(140)로 구성될 수 있다. Referring to FIG. 1, a real-time monitoring system for water resources based on image reconstruction using a drone according to an embodiment of the present invention consists of a real-
먼저, 수변 위험감시를 위하여 드론(120)을 통해 강이나 댐과 같은 수자원 관리지역 내 모니터링 이미지를 촬영할 수 있다. First, a monitoring image in a water resource management area such as a river or a dam may be captured through the
이 때, 드론(120)을 통해 촬영되는 이미지들 간의 중첩율이 높을수록 나중에 영상처리가 용이할 수 있다. 따라서, 드론(120)에 구비된 영상촬영장비를 통해 순차적으로 전달되는 모니터링 이미지들 간의 중첩율이 기설정된 비율 이상이 되도록 촬영을 수행할 수 있다. At this time, the higher the overlapping rate between the images photographed by the
이 후, 실시간 모니터링 장치(110)는 네트워크(140)에 의한 무선통신을 기반으로 드론(120)을 통해 실시간으로 촬영된 강이나 댐과 같은 수자원 관리지역 내 모니터링 이미지를 수신한다.Thereafter, the real-
이 때, 드론(120)을 통해 촬영된 모니터링 이미지는 실시간으로 하나씩 실시간 모니터링 장치(110)로 전달될 수 있다. At this time, the monitoring images taken by the
실시간 모니터링 장치(110)에서는 드론(120)으로부터 모니터링 이미지가 하나씩 수신될 때마다 실시간으로 영상정합을 수행함으로써 해당 시점까지 수신된 모니터링 이미지들을 하나의 실시간 정밀 대형 이미지로 재구성한다. The real-
예를 들어, 파노라마 영상과 같이 넓은 지역을 하나의 이미지에 나타낼 수 있다. For example, a large area may be displayed in one image, such as a panoramic image.
이 때, 모니터링 이미지에서 GPS 좌표를 추출하고, 특징점을 추출하고, 필터링(Inliers 추출)을 수행하고, 호모그래피를 계산하고, 어파인 변환(회전각도, 이동거리, 스케일 팩터 추출 등)을 수행하는 등의 과정을 기반으로 하나씩 수신되는 모니터링 이미지를 하나의 영상으로 재구성할 수 있다. At this time, GPS coordinates are extracted from the monitoring image, feature points are extracted, filtering (Inliers extraction) is performed, homography is calculated, and affine transformation (rotation angle, movement distance, scale factor extraction, etc.) is performed. Monitoring images received one by one may be reconstructed into a single image based on a process such as the above.
실시간 모니터링 장치(110)에서는 이렇게 재구성된 실시간 정밀 대형 이미지를 기반으로 수자원 관리지역 내 위험관리를 수행하는 관제센터(130) 등으로 수자원 관리 정보를 제공할 수 있다. The real-
예를 들어, 실시간 정밀 대형 이미지에서 댐이나 강 주변에 위치하는 사람이나 물의 수위 등을 식별하고, 식별된 정보가 시각적으로 확인할 수 있도록 지도 상에 오버레이하여 보여줄 수 있다.For example, people or water levels located around a dam or a river may be identified in real-time precise large-scale images, and the identified information may be overlaid on a map so that it can be visually confirmed.
이 때, 도 1에는 도시하지 아니하였으나, 실시간 모니터링 장치(110)는, 드론(120)으로부터 수신된 데이터(정지영상, 동영상, 비행좌표 등)를 저장하기 위한 데이터 서버나 데이터서버로부터 수신된 데이터를 인공지능 기반으로 분석하여 관리 구역 내 사람의 수, 위치, 강의 현재 수위 등을 분석하는 AI 분석 서버, 정밀 대형 이미지를 실시간으로 생성하고, AI 분석 서버로부터 분석된 정보를 현시점에 상응하게 가시화하여 시각적 서비스를 제공하는 모니터링 서버 등으로 구분되어 동작할 수도 있다.At this time, although not shown in FIG. 1, the real-
이와 같이 재구성된 스티칭 영상을 실시간으로 실제 지도상에 오버레이하여 시각적 서비스를 제공함으로써 강이나 댐 주변의 현재 수위 및 위치를 확인할 수 있으며, 홍수범람에 대한 예측 자료로도 사용할 수 있다. By providing a visual service by overlaying the reconstructed stitching image on a real map in real time, the current water level and location around a river or dam can be checked, and it can also be used as forecast data for flood inundation.
도 2는 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법을 나타낸 동작 흐름도이다.2 is an operational flowchart illustrating a real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법은, 무선통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신한다(S210). Referring to FIG. 2 , the real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention sequentially receives monitoring images captured in real time through a drone based on wireless communication (S210).
이 때, 5G 또는 LTE와 같은 무선통신을 이용하여 드론으로부터 모니터링 이미지를 순차적으로 수신할 수 있다. At this time, monitoring images may be sequentially received from the drone using wireless communication such as 5G or LTE.
이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다. 예를 들어, 영상처리에 용이하도록 기설정된 비율을 80%로 설정함으로써 80%씩 중첩된 모니터링 이미지들을 하나씩 수신할 수 있다. At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio. For example, monitoring images overlapped by 80% may be received one by one by setting a preset ratio to 80% to facilitate image processing.
이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image may correspond to a still image or video and may be received together with flight coordinates of the drone.
예를 들어, 도 3에 도시된 것처럼 수변 근처에 사람(311~314)이 위치하고 있고, 드론(300)이 1번부터 n번의 위치까지 이동하면서 모니터링 이미지를 촬영하였다고 가정할 수 있다. 이 때, 모니터링 이미지의 촬영위치는 각각 1번부터 n번까지에 해당할 수 있다. For example, as shown in FIG. 3 , it may be assumed that
이 때, 드론(300)은 약 50미터에서 150미터 정도의 낮은 상공을 비행하면서 촬영하기 때문에 비행기를 통해 촬영할 때보다 해상도는 높지만 촬영을 위해 확보되는 시야는 좁을 수 있다. 따라서, 도 4에 도시된 것처럼 한번에 일부 영역에 대해서만 촬영된 모니터링 이미지(410~450)들을 제공할 수 있다. At this time, since the
이 때, 드론(300)이 1번부터 n번까지 비행하면서 순차적으로 촬영한 모니터링 이미지(410~450)들을 통해 사람을 식별하면, 도 5에 도시된 것처럼 마치 7명의 사람이 존재하는 것처럼 나타날 수 있다. 즉, 1번 위치의 모니터링 이미지(410)에서 1명, 2번 위치의 모니터링 이미지(420)에서 2명, 3번 위치의 모니터링 이미지(430)에서 2명, 4번 위치의 모니터링 이미지(440)에서 1명, 마지막으로 n번 위치의 모니터링 이미지(450)에서 1명으로, 하나하나의 모니터링 이미지만을 본다면 총 7명의 사람들이 해당 지역에 있는 것으로 확인될 수 있다. At this time, if the
하지만 실제로 해당 지역에 위치하는 사람은 도 3과 같이 4명이므로 이러한 경우에 정확한 모니터링 정보를 제공하는데 오류가 발생할 수 있다. However, since there are four people actually located in the corresponding area as shown in FIG. 3 , an error may occur in providing accurate monitoring information in this case.
본 발명에서는 이와 같이 동일한 객체가 중복되어 촬영됨으로써 실제 객체의 수를 계산하는데 발생하는 문제점을 해결하기 위해 단계(S220)을 통해 실시간 영상정합을 수행한다. In the present invention, real-time image matching is performed in step S220 to solve the problem of calculating the number of real objects as the same object is repeatedly photographed.
또한, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법은, 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성한다(S220).In addition, the method for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention performs real-time image matching whenever a monitoring image is received so that the monitoring image received so far is converted into a single real-time precise large-scale image. Reconstruct (S220).
예를 들어, 도 5에 도시된 모니터링 이미지(410~450)들이 하나씩 순차적으로 수신되었다고 가정한다면, 1번 위치에서 촬영된 모니터링 이미지(410)와 2번 위치에서 촬영된 모니터링 이미지(420)가 수신되었을 때 두 개의 모니터링 이미지(410, 420)들에 대한 실시간 영상정합을 수행하여 두 개의 모니터링 이미지(410, 420)에 표시된 지역을 하나의 실시간 정밀 대형 이미지로 재구성할 수 있다. For example, assuming that the
이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.
이 때, 드론을 통해 수신되는 모니터링 이미지에 EXIF(Exchangeable Image File Format)에 상응하게 저장된 드론의 비행좌표를 이용하여 GPS 좌표를 추출할 수 있다. 이렇게 추출된 GPS 좌표를 기반으로 초기점, 즉 영상정합을 위한 기준점을 계산할 수 있다. In this case, GPS coordinates may be extracted using flight coordinates of the drone stored in accordance with EXIF (Exchangeable Image File Format) in the monitoring image received through the drone. Based on the GPS coordinates thus extracted, an initial point, that is, a reference point for image matching may be calculated.
이 때, SURF(Speed-Up Robust Feature)이나 SIFT(Scale Invariant Feature Transform) 등을 이용하여 모니터링 이미지에서 코너(corner) 및 엣지(edge) 등의 특징점을 추출할 수 있다. In this case, feature points such as corners and edges may be extracted from the monitoring image by using speed-up robust feature (SURF) or scale invariant feature transform (SIFT).
이 때, epipolar line 또는 RANSAC(Random Sample Consensus) 알고리즘 등을 기반으로 앞서 추출된 특징점들 중 유효한 매칭에 해당하는 Inliers들을 추출하는 필터링을 수행할 수 있다. At this time, filtering may be performed to extract inliers corresponding to valid matching among previously extracted feature points based on an epipolar line or a Random Sample Consensus (RANSAC) algorithm.
이 때, 이동거리, 회전각도, 스케일팩터(scale factor) 등을 추출하여 어파인 변환(Affine Transformation) 또는 와핑(warping)을 수행할 수 있다. At this time, affine transformation or warping may be performed by extracting a movement distance, a rotation angle, a scale factor, and the like.
이 때, 영상 스티칭을 통해 앞서 영상 처리된 모니터링 영상들을 하나의 영상으로 재구성하여 실시간 정밀 대형 이미지를 생성할 수 있다. At this time, it is possible to generate a real-time precise large-scale image by reconstructing previously image-processed monitoring images into a single image through image stitching.
또한, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법은, 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공한다(S230).In addition, the real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention provides water resource management information based on real-time precise large-scale images (S230).
이 때, 수자원 관리 정보는 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.
이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다. 즉, 댐이나 강 등의 수자원 주변에서 사람의 위치를 식별하거나, 총 몇 명이 있는지 식별하고, 댐이나 강의 수위 또는 수면의 위치 등을 식별할 수 있다. In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position. That is, the location of people around water resources such as dams and rivers can be identified, the number of people in total can be identified, and the water level of a dam or river or the location of a water surface can be identified.
이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to a real-time precise large-scale image whenever a new monitoring image is received.
이하에서는 도 6을 참조하여, 실시간 모니터링 과정을 보다 상세하게 설명하도록 한다. Hereinafter, with reference to FIG. 6, a real-time monitoring process will be described in more detail.
도 6을 참조하면, 먼저 드론을 통해 촬영된 모니터링 이미지를 수신할 수 있다(S610), Referring to FIG. 6, first, a monitoring image taken by a drone may be received (S610).
이 후, 수신된 모니터링 이미지에 대해 실시간 영상정합을 수행할 수 있다(S620).Thereafter, real-time image matching may be performed on the received monitoring image (S620).
이 때, 실시간 영상정합은, 모니터링 이미지에 포함된 GPS 좌표를 추출하고(S621), 모니터링 이미지에서 특징점을 추출하고(S622), 추출된 특징점들에 대한 필터링을 수행하여 유효한 데이터들을 추출하고(S623), 모니터링 영상 간 호모그래피를 계산하고(S624), 어파인 변환을 수행하여(S625) 하나의 파노라마 영상, 즉 정밀 대형 이미지로 재구성할 수 있다. At this time, real-time image matching extracts GPS coordinates included in the monitoring image (S621), extracts feature points from the monitoring image (S622), performs filtering on the extracted feature points, and extracts valid data (S623). ), calculating homography between monitoring images (S624), and performing affine transformation (S625) to reconstruct one panoramic image, that is, a precise large-scale image.
이 후, 재구성된 정밀 대형 이미지에서 수자원 관리 정보를 식별하고(S630), 식별된 수자원 관리 정보를 지도에 오버레이하여 시각적 정보를 제공할 수 있다(S640).Thereafter, water resource management information may be identified in the reconstructed precise large-scale image (S630), and visual information may be provided by overlaying the identified water resource management information on a map (S640).
이 후, 드론을 통해 추가적인 모니터링 이미지가 수신되는지 여부를 판단하고(S645), 모니터링 이미지가 추가 수신되는 경우에는 단계(S610)부터 단계(S640)의 과정을 반복 수행할 수 있다. Thereafter, it is determined whether an additional monitoring image is received through the drone (S645), and when an additional monitoring image is received, the process of steps S610 to S640 may be repeatedly performed.
또한, 단계(S645)의 판단결과 모니터링 이미지가 추가 수신되지 않으면, 드론을 통해 촬영이 종료된 것으로 판단하고 과정을 종료할 수 있다. In addition, if the monitoring image is not additionally received as a result of the determination in step S645, it may be determined that the shooting has ended through the drone and the process may be terminated.
이와 같은 실시간 모니터링 방법을 통해 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행할 수 있다.Through such a real-time monitoring method, risk management in preparation for flood or heavy rain can be efficiently performed by analyzing the number or location of people, the height of the water surface, and the like in real time within the water resource management area.
또한, 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성할 수 있다.In addition, by performing image matching one by one each time an image is transmitted through a drone, a reconstructed image can be generated more quickly and efficiently than when image matching is performed by collecting several images at once.
또한, 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공할 수 있다.In addition, it is possible to provide efficient image analysis and user visualization by creating a wide image in real time from high-resolution images of a small area taken by a drone.
또한, 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 할 수 있다.In addition, even when the same person is included several times in a still image taken while flying by a drone, the location or number of a person can be accurately and efficiently identified in real time.
도 7은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 장치를 나타낸 도면이다.7 is a diagram illustrating an apparatus for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 일실시예에 따른 수자원 실시간 모니터링 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(700)은 버스(720)를 통하여 서로 통신하는 하나 이상의 프로세서(710), 메모리(730), 사용자 입력 장치(740), 사용자 출력 장치(750) 및 스토리지(760)를 포함할 수 있다. 또한, 컴퓨터 시스템(700)은 네트워크(780)에 연결되는 네트워크 인터페이스(770)를 더 포함할 수 있다. 프로세서(710)는 중앙 처리 장치 또는 메모리(730)나 스토리지(760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 스토리지(760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(731)이나 RAM(732)을 포함할 수 있다.Referring to FIG. 7 , the apparatus for real-time monitoring of water resources according to an embodiment of the present invention may be implemented in a computer system such as a computer-readable recording medium. As shown in FIG. 7 ,
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.Accordingly, embodiments of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which instructions executable by the computer are recorded. When executed by a processor, the computer readable instructions may perform a method according to at least one aspect of the present invention.
프로세서(710)는 무선통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신한다. The
이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다. At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio.
이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image may correspond to a still image or video and may be received together with flight coordinates of the drone.
또한, 프로세서(710)는 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성한다.In addition, the
이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.
또한, 프로세서(710)는 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공한다.In addition, the
이 때, 수자원 관리 정보는 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.
이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다.In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position.
이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to a real-time precise large-scale image whenever a new monitoring image is received.
메모리(730)는 모니터링 이미지 및 실시간 정밀 대형 이미지를 저장한다.The
이와 같은 실시간 모니터링 장치를 이용함으로써 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행할 수 있다.By using such a real-time monitoring device, it is possible to efficiently perform risk management in preparation for flood or heavy rain by analyzing the number or location of people, the height of the water surface, etc. in real time within the water resource management area.
또한, 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성할 수 있다.In addition, by performing image matching one by one each time an image is transmitted through a drone, a reconstructed image can be generated more quickly and efficiently than when image matching is performed by collecting several images at once.
또한, 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공할 수 있다.In addition, it is possible to provide efficient image analysis and user visualization by creating a wide image in real time from high-resolution images of a small area taken by a drone.
또한, 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 할 수 있다.In addition, even when the same person is included several times in a still image taken while flying by a drone, the location or number of a person can be accurately and efficiently identified in real time.
이상에서와 같이 본 발명에 따른 드론을 이용한 이미지 재구성 기반의 실시간 모니터링 장치 및 이를 이용한 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the real-time monitoring device based on image reconstruction using a drone and the method using the same according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments are variously modified. All or part of each embodiment may be selectively combined to achieve this.
110: 실시간 모니터링 장치
120,300: 드론
130: 관제센터
140: 네트워크
311~314: 사람
410~450: 모니터링 이미지
700: 컴퓨터 시스템
710: 프로세서
720: 버스
730: 메모리
731: 롬
732: 램
740: 사용자 입력 장치
750: 사용자 출력 장치
760: 스토리지
770: 네트워크 인터페이스
780: 네트워크110: real-time monitoring device 120,300: drone
130: control center 140: network
311-314: Person 410-450: Monitoring image
700: computer system 710: processor
720: bus 730: memory
731: Rom 732: RAM
740: user input device 750: user output device
760: storage 770: network interface
780: network
Claims (14)
상기 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성하는 단계; 및
상기 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공하는 단계
를 포함하는 것을 특징으로 하는 실시간 모니터링 방법.sequentially receiving monitoring images captured in real time through a drone based on wireless communication;
performing real-time image matching whenever the monitoring image is received, and reconstructing the monitoring image received so far into one real-time precise large-scale image; and
Providing water resource management information based on the real-time precise large-scale image
Real-time monitoring method comprising a.
순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상인 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
A real-time monitoring method, characterized in that the sequentially received monitoring images have an overlapping rate between neighboring images greater than or equal to a predetermined ratio.
상기 수자원 관리 정보는
상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The water resource management information
Real-time monitoring method, characterized in that provided in the visual form of overlaying the monitoring target identified in the real-time precision large-scale image on a map corresponding to the real-time precision large-scale image.
상기 모니터링 대상은
사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 3,
The monitoring target is
A real-time monitoring method comprising at least one of a number of people, a location of a person, and a location of a sleeping person.
상기 실시간 영상정합은
GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The real-time image registration is
A real-time monitoring method characterized in that it is performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.
상기 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The monitoring image corresponds to a still image or a moving image, and is received together with flight coordinates of the drone.
상기 수자원 관리 정보는
새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The water resource management information
Real-time monitoring method, characterized in that whenever a new monitoring image is received, it is updated correspondingly to the real-time precise large-scale image.
상기 모니터링 이미지 및 상기 실시간 정밀 대형 이미지를 저장하는 메모리
를 포함하는 것을 특징으로 하는 실시간 모니터링 장치.Based on wireless communication, the monitoring images taken in real time through the drone are sequentially received, and whenever the monitoring image is received, real-time image matching is performed to reconstruct the monitoring image received so far into one real-time precise large-scale image, , a processor providing water resource management information based on the real-time precise large-scale image; and
Memory for storing the monitoring image and the real-time precise large-scale image
Real-time monitoring device comprising a.
순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상인 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
Real-time monitoring device, characterized in that the sequentially received monitoring images have an overlapping rate between neighboring images greater than or equal to a predetermined ratio.
상기 수자원 관리 정보는
상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The water resource management information
Real-time monitoring device, characterized in that provided in the visual form of overlaying the monitoring target identified in the real-time precision large-scale image on a map corresponding to the real-time precision large-scale image.
상기 모니터링 대상은
사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 10,
The monitoring target is
A real-time monitoring device comprising at least one of the number of people, the location of the person, and the location of the surface of the water.
상기 실시간 영상정합은
GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The real-time image registration is
A real-time monitoring device characterized in that it is performed through at least one process of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.
상기 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The monitoring image corresponds to a still image or a video, and is received together with flight coordinates of the drone.
상기 수자원 관리 정보는
새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The water resource management information
A real-time monitoring device, characterized in that whenever a new monitoring image is received, it is updated correspondingly to the real-time precise large-scale image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210165309A KR20230078004A (en) | 2021-11-26 | 2021-11-26 | Apparatus for real-time monitoring based on image reconstruction using drone and method using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210165309A KR20230078004A (en) | 2021-11-26 | 2021-11-26 | Apparatus for real-time monitoring based on image reconstruction using drone and method using the same |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230078004A true KR20230078004A (en) | 2023-06-02 |
Family
ID=86755609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210165309A KR20230078004A (en) | 2021-11-26 | 2021-11-26 | Apparatus for real-time monitoring based on image reconstruction using drone and method using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230078004A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170116765A (en) | 2016-04-12 | 2017-10-20 | 주식회사 에이치큐테크 | Drone for monitoring of water resources |
-
2021
- 2021-11-26 KR KR1020210165309A patent/KR20230078004A/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170116765A (en) | 2016-04-12 | 2017-10-20 | 주식회사 에이치큐테크 | Drone for monitoring of water resources |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kopsiaftis et al. | Vehicle detection and traffic density monitoring from very high resolution satellite video data | |
JP6632474B2 (en) | Monitoring device, monitoring method and airport monitoring system | |
Perko et al. | Advanced DTM generation from very high resolution satellite stereo images | |
CN102959946A (en) | Augmenting image data based on related 3d point cloud data | |
CN101517431A (en) | Video surveillance system providing tracking of a moving object in a geospatial model and related methods | |
US20080089577A1 (en) | Feature extraction from stereo imagery | |
Xiangguo et al. | Object-based morphological building index for building extraction from high resolution remote sensing imagery | |
US11841421B2 (en) | Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program | |
KR100904078B1 (en) | A system and a method for generating 3-dimensional spatial information using aerial photographs of image matching | |
Porzi et al. | Learning contours for automatic annotations of mountains pictures on a smartphone | |
US20220164999A1 (en) | Orthophoto map generation method based on panoramic map | |
US20190286875A1 (en) | Cloud detection in aerial imagery | |
US20230394834A1 (en) | Method, system and computer readable media for object detection coverage estimation | |
CN111683221B (en) | Real-time video monitoring method and system for natural resources embedded with vector red line data | |
US20220405878A1 (en) | Image processing apparatus, image processing method, and image processing program | |
Farella et al. | The EuroSDR TIME benchmark for historical aerial images | |
KR20230078004A (en) | Apparatus for real-time monitoring based on image reconstruction using drone and method using the same | |
Hashim et al. | Geometric and radiometric evaluation of RazakSAT medium-sized aperture camera data | |
JP2014099055A (en) | Detector, detection method, and program | |
JP4904449B2 (en) | Judgment method and apparatus of ridge line and ridge line by image processing | |
Chen et al. | Geometric correction of airborne scanner imagery using orthophotos and triangulated feature point matching | |
Walton et al. | Vehicle object retargeting from dynamic traffic videos for real-time visualisation | |
Wang et al. | Framework to create cloud-free remote sensing data using passenger aircraft as the platform | |
CN118097562B (en) | Remote monitoring method for seaweed proliferation condition | |
Weintrit et al. | Emergency rescue management supported by UAV remote sensing data |