KR20230078004A - Apparatus for real-time monitoring based on image reconstruction using drone and method using the same - Google Patents

Apparatus for real-time monitoring based on image reconstruction using drone and method using the same Download PDF

Info

Publication number
KR20230078004A
KR20230078004A KR1020210165309A KR20210165309A KR20230078004A KR 20230078004 A KR20230078004 A KR 20230078004A KR 1020210165309 A KR1020210165309 A KR 1020210165309A KR 20210165309 A KR20210165309 A KR 20210165309A KR 20230078004 A KR20230078004 A KR 20230078004A
Authority
KR
South Korea
Prior art keywords
real
image
time
monitoring
drone
Prior art date
Application number
KR1020210165309A
Other languages
Korean (ko)
Inventor
유동완
임채덕
김경일
김법균
김영빈
신진아
우덕균
임유진
정양재
하수정
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210165309A priority Critical patent/KR20230078004A/en
Publication of KR20230078004A publication Critical patent/KR20230078004A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/40—Protecting water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

A real-time monitoring device based on image reconstruction using a drone and a method using the same are disclosed. The real-time monitoring method according to an embodiment of the present invention includes the steps of: sequentially receiving a monitoring image captured in real time through a drone based on wireless communication; performing real-time image registration each time the monitoring image is received to reconstruct the monitoring image received up to now into one real-time precise large-scale image; and providing water resource management information based on the real-time, precise, large-scale image. Therefore, it is possible to perform efficient risk management against floods and heavy rains.

Description

드론을 이용한 이미지 재구성 기반의 실시간 모니터링 장치 및 이를 이용한 방법 {APPARATUS FOR REAL-TIME MONITORING BASED ON IMAGE RECONSTRUCTION USING DRONE AND METHOD USING THE SAME}Real-time monitoring device based on image reconstruction using a drone and method using the same {APPARATUS FOR REAL-TIME MONITORING BASED ON IMAGE RECONSTRUCTION USING DRONE AND METHOD USING THE SAME}

본 발명은 드론을 이용한 이미지 재구성 기반의 실시간 모니터링 기술에 관한 것으로, 특히 수자원 관리 지역 내 위험관리를 위해 드론을 이용하여 촬영된 영상을 실시간으로 재구성하여 수자원 위험 관리를 모니터링하기 위한 수자원 관리 정보를 제공하는 기술에 관한 것이다.The present invention relates to a real-time monitoring technology based on image reconstruction using a drone, and in particular, provides water resource management information for monitoring risk management of water resources by reconstructing images captured using a drone in real time for risk management in a water resource management area. It's about technology.

수자원 관리에 있어서 홍수관리, 수계관리 등이 있다. 이 때, 홍수관리는 비가 많이 오는 경우, 홍수나 폭우 피해를 대비하기 위해 강이나 댐과 같은 수변 주위에서 사람의 위치를 탐색하고 파악하는 방식으로 수행될 수 있다. 또한, 수계관리는 실시간으로 강이나 댐의 수위나 수질을 파악하는 방식으로 수행될 수 있다. In water resource management, there are flood management and water system management. In this case, flood management may be performed by searching for and identifying a location of a person around a waterside such as a river or a dam in order to prepare for flood or heavy rain damage in case of heavy rain. In addition, management of the water system may be performed in a manner of grasping the water level or water quality of a river or dam in real time.

수자원 관리를 위해 영상획득 장치가 장착된 드론을 사용하는 경우, 사람이 직접 수변 주위를 돌아다니는 것보다 시간 및 비용적인 측면에서 효율적일 수 있다. In the case of using a drone equipped with an image acquisition device for water resource management, it may be more efficient in terms of time and cost than walking around the waterfront directly by a person.

드론은 위성이나 항공기보다 낮게 날아서 고해상도 영상을 획득할 수 있으나, 넓은 지역 영상을 획득하는 데에는 어려움이 있다. 즉, 드론은 약 50미터에서 150미터의 낮은 상공에서 비행하므로, 드론에 장착된 영상획득 장치에서 촬영되는 시야가 넓지 않다. 따라서, 여러 번을 촬영하여 각각 분석해야 하는 단점이 존재한다. 또한, 해상도는 높지만 촬영된 영상 간의 연관성을 찾기 어렵고, 넓은 지역을 한번에 볼 수 없어 직관적 가시성이 떨어진다. Drones can acquire high-resolution images by flying lower than satellites or aircrafts, but it is difficult to acquire wide-area images. That is, since the drone flies at a low altitude of about 50 to 150 meters, the field of view captured by the image acquisition device mounted on the drone is not wide. Therefore, there is a disadvantage in that each image must be captured and analyzed several times. In addition, although the resolution is high, it is difficult to find a correlation between captured images, and intuitive visibility is poor because a wide area cannot be viewed at once.

예를 들어, 드론이 비행하면서 촬영한 정지영상에는 같은 사람이 여러 번 촬영될 수도 있기 때문에 드론을 통해 촬영된 영상을 통해 해당 지역에 있는 사람의 숫자나 위치 등을 파악하는데 어려움이 있다.For example, since the same person may be photographed several times in a still image taken while the drone is flying, it is difficult to determine the number or location of people in a corresponding area through the image taken by the drone.

한국 공개 특허 제10-2017-0116765호, 2017년 10월 20일 공개(명칭: 수자원 관리용 드론)Korean Patent Publication No. 10-2017-0116765, published on October 20, 2017 (name: drone for water resource management)

본 발명의 목적은 모니터링 정보를 통해 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행하는 것이다.An object of the present invention is to efficiently perform risk management in preparation for flood or heavy rain by analyzing the number or location of people, the height of the water surface, etc. in real time in a water resource management area through monitoring information.

또한, 본 발명의 목적은 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성하는 것이다.In addition, an object of the present invention is to perform image matching one by one each time an image is transmitted through a drone to collect several images and generate a reconstructed image more quickly and efficiently than when image matching is performed at once.

또한, 본 발명의 목적은 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공하는 것이다.In addition, an object of the present invention is to provide efficient image analysis and user visualization by generating one wide image in real time from high-resolution images of a small area captured by a drone.

또한, 본 발명의 목적은 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 하는 것이다.In addition, an object of the present invention is to accurately and efficiently determine the location or number of people in real time even when the same person is included several times in a still image taken while flying by a drone.

상기한 목적을 달성하기 위한 본 발명에 따른 실시간 모니터링 방법은 무선 통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신하는 단계; 상기 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성하는 단계; 및 상기 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공하는 단계를 포함한다.A real-time monitoring method according to the present invention for achieving the above object includes sequentially receiving monitoring images taken in real time through a drone based on wireless communication; performing real-time image matching whenever the monitoring image is received, and reconstructing the monitoring image received so far into one real-time precise large-scale image; and providing water resource management information based on the real-time precise large-scale image.

이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다.At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio.

이 때, 수자원 관리 정보는 상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.

이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다.In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position.

이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.

이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image corresponds to a still image or a video and may be received together with flight coordinates of the drone.

이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to the real-time precise large-scale image whenever a new monitoring image is received.

또한, 본 발명의 일실시예에 따른 실시간 모니터링 장치는 무선 통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신하고, 상기 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성하고, 상기 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공하는 프로세서; 및 상기 모니터링 이미지 및 상기 실시간 정밀 대형 이미지를 저장하는 메모리를 포함한다.In addition, the real-time monitoring device according to an embodiment of the present invention sequentially receives monitoring images taken in real time through a drone based on wireless communication, and performs real-time image matching whenever the monitoring images are received, so that up to now A processor for reconstructing the received monitoring image into one real-time precise large-scale image and providing water resource management information based on the real-time precise large-scale image; and a memory for storing the monitoring image and the real-time precise large-scale image.

이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다.At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio.

이 때, 수자원 관리 정보는 상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.

이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다.In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position.

이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.

이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image corresponds to a still image or a video and may be received together with flight coordinates of the drone.

이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to the real-time precise large-scale image whenever a new monitoring image is received.

본 발명에 따르면, 모니터링 정보를 통해 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행할 수 있다.According to the present invention, risk management in preparation for flood or heavy rain can be efficiently performed by analyzing the number or location of people, the height of the water surface, etc. in real time in a water resource management area through monitoring information.

또한, 본 발명은 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성할 수 있다.In addition, according to the present invention, by performing image matching one by one whenever an image is transmitted through a drone, a reconstructed image can be generated more quickly and efficiently than when multiple images are collected and image matching is performed at once.

또한, 본 발명은 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공할 수 있다.In addition, the present invention can provide efficient image analysis and user visualization by generating one wide image in real time from high-resolution images of a narrow area captured by a drone.

또한, 본 발명은 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 할 수 있다.In addition, the present invention can accurately and efficiently determine the location or number of a person in real time even when the same person is included several times in a still image captured while flying by a drone.

도 1은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법을 나타낸 동작 흐름도이다.
도 3 내지 도 5는 본 발명에 따른 모니터링 이미지가 촬영되어 수신되는 과정의 일 예를 나타낸 도면이다.
도 6은 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법을 보다 상세하게 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 장치를 나타낸 도면이다.1 is a diagram showing a real-time monitoring system for water resources based on image reconstruction using a drone according to an embodiment of the present invention.
2 is an operational flowchart illustrating a real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention.
3 to 5 are diagrams illustrating an example of a process of capturing and receiving a monitoring image according to the present invention.
6 is an operational flowchart showing a method for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention in more detail.
7 is a diagram illustrating an apparatus for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings. Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed descriptions of configurations are omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 시스템을 나타낸 도면이다.1 is a diagram showing a real-time monitoring system for water resources based on image reconstruction using a drone according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 시스템은 실시간 모니터링 장치(110), 드론(120), 관제 센터(130) 및 네트워크(140)로 구성될 수 있다. Referring to FIG. 1, a real-time monitoring system for water resources based on image reconstruction using a drone according to an embodiment of the present invention consists of a real-time monitoring device 110, a drone 120, a control center 130, and a network 140. It can be.

먼저, 수변 위험감시를 위하여 드론(120)을 통해 강이나 댐과 같은 수자원 관리지역 내 모니터링 이미지를 촬영할 수 있다. First, a monitoring image in a water resource management area such as a river or a dam may be captured through the drone 120 for waterside risk monitoring.

이 때, 드론(120)을 통해 촬영되는 이미지들 간의 중첩율이 높을수록 나중에 영상처리가 용이할 수 있다. 따라서, 드론(120)에 구비된 영상촬영장비를 통해 순차적으로 전달되는 모니터링 이미지들 간의 중첩율이 기설정된 비율 이상이 되도록 촬영을 수행할 수 있다. At this time, the higher the overlapping rate between the images photographed by the drone 120, the easier image processing can be performed later. Accordingly, shooting may be performed such that an overlapping ratio between monitoring images sequentially delivered through the imaging equipment provided in the drone 120 is equal to or greater than a preset ratio.

이 후, 실시간 모니터링 장치(110)는 네트워크(140)에 의한 무선통신을 기반으로 드론(120)을 통해 실시간으로 촬영된 강이나 댐과 같은 수자원 관리지역 내 모니터링 이미지를 수신한다.Thereafter, the real-time monitoring device 110 receives a monitoring image within a water resource management area such as a river or a dam captured in real time through the drone 120 based on wireless communication through the network 140 .

이 때, 드론(120)을 통해 촬영된 모니터링 이미지는 실시간으로 하나씩 실시간 모니터링 장치(110)로 전달될 수 있다. At this time, the monitoring images taken by the drone 120 may be transmitted to the real-time monitoring device 110 one by one in real time.

실시간 모니터링 장치(110)에서는 드론(120)으로부터 모니터링 이미지가 하나씩 수신될 때마다 실시간으로 영상정합을 수행함으로써 해당 시점까지 수신된 모니터링 이미지들을 하나의 실시간 정밀 대형 이미지로 재구성한다. The real-time monitoring device 110 reconstructs the monitoring images received up to that point into one real-time precise large-scale image by performing image matching in real time whenever monitoring images are received from the drone 120 one by one.

예를 들어, 파노라마 영상과 같이 넓은 지역을 하나의 이미지에 나타낼 수 있다. For example, a large area may be displayed in one image, such as a panoramic image.

이 때, 모니터링 이미지에서 GPS 좌표를 추출하고, 특징점을 추출하고, 필터링(Inliers 추출)을 수행하고, 호모그래피를 계산하고, 어파인 변환(회전각도, 이동거리, 스케일 팩터 추출 등)을 수행하는 등의 과정을 기반으로 하나씩 수신되는 모니터링 이미지를 하나의 영상으로 재구성할 수 있다. At this time, GPS coordinates are extracted from the monitoring image, feature points are extracted, filtering (Inliers extraction) is performed, homography is calculated, and affine transformation (rotation angle, movement distance, scale factor extraction, etc.) is performed. Monitoring images received one by one may be reconstructed into a single image based on a process such as the above.

실시간 모니터링 장치(110)에서는 이렇게 재구성된 실시간 정밀 대형 이미지를 기반으로 수자원 관리지역 내 위험관리를 수행하는 관제센터(130) 등으로 수자원 관리 정보를 제공할 수 있다. The real-time monitoring device 110 may provide water resource management information to the control center 130 that performs risk management in the water resource management area based on the reconstructed real-time precise large-scale image.

예를 들어, 실시간 정밀 대형 이미지에서 댐이나 강 주변에 위치하는 사람이나 물의 수위 등을 식별하고, 식별된 정보가 시각적으로 확인할 수 있도록 지도 상에 오버레이하여 보여줄 수 있다.For example, people or water levels located around a dam or a river may be identified in real-time precise large-scale images, and the identified information may be overlaid on a map so that it can be visually confirmed.

이 때, 도 1에는 도시하지 아니하였으나, 실시간 모니터링 장치(110)는, 드론(120)으로부터 수신된 데이터(정지영상, 동영상, 비행좌표 등)를 저장하기 위한 데이터 서버나 데이터서버로부터 수신된 데이터를 인공지능 기반으로 분석하여 관리 구역 내 사람의 수, 위치, 강의 현재 수위 등을 분석하는 AI 분석 서버, 정밀 대형 이미지를 실시간으로 생성하고, AI 분석 서버로부터 분석된 정보를 현시점에 상응하게 가시화하여 시각적 서비스를 제공하는 모니터링 서버 등으로 구분되어 동작할 수도 있다.At this time, although not shown in FIG. 1, the real-time monitoring device 110 is a data server for storing data (still image, video, flight coordinates, etc.) received from the drone 120 or data received from the data server. AI analysis server that analyzes the number of people in the management area, location, current water level of the river, etc. by analyzing based on artificial intelligence, creating precise large-scale images in real time, and visualizing the information analyzed from the AI analysis server in accordance with the current situation It may be operated as a monitoring server that provides visual services.

이와 같이 재구성된 스티칭 영상을 실시간으로 실제 지도상에 오버레이하여 시각적 서비스를 제공함으로써 강이나 댐 주변의 현재 수위 및 위치를 확인할 수 있으며, 홍수범람에 대한 예측 자료로도 사용할 수 있다. By providing a visual service by overlaying the reconstructed stitching image on a real map in real time, the current water level and location around a river or dam can be checked, and it can also be used as forecast data for flood inundation.

도 2는 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법을 나타낸 동작 흐름도이다.2 is an operational flowchart illustrating a real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법은, 무선통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신한다(S210). Referring to FIG. 2 , the real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention sequentially receives monitoring images captured in real time through a drone based on wireless communication (S210).

이 때, 5G 또는 LTE와 같은 무선통신을 이용하여 드론으로부터 모니터링 이미지를 순차적으로 수신할 수 있다. At this time, monitoring images may be sequentially received from the drone using wireless communication such as 5G or LTE.

이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다. 예를 들어, 영상처리에 용이하도록 기설정된 비율을 80%로 설정함으로써 80%씩 중첩된 모니터링 이미지들을 하나씩 수신할 수 있다. At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio. For example, monitoring images overlapped by 80% may be received one by one by setting a preset ratio to 80% to facilitate image processing.

이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image may correspond to a still image or video and may be received together with flight coordinates of the drone.

예를 들어, 도 3에 도시된 것처럼 수변 근처에 사람(311~314)이 위치하고 있고, 드론(300)이 1번부터 n번의 위치까지 이동하면서 모니터링 이미지를 촬영하였다고 가정할 수 있다. 이 때, 모니터링 이미지의 촬영위치는 각각 1번부터 n번까지에 해당할 수 있다. For example, as shown in FIG. 3 , it may be assumed that people 311 to 314 are located near the waterside, and the drone 300 captures monitoring images while moving from positions 1 to n. In this case, the capturing positions of the monitoring image may correspond to number 1 to number n, respectively.

이 때, 드론(300)은 약 50미터에서 150미터 정도의 낮은 상공을 비행하면서 촬영하기 때문에 비행기를 통해 촬영할 때보다 해상도는 높지만 촬영을 위해 확보되는 시야는 좁을 수 있다. 따라서, 도 4에 도시된 것처럼 한번에 일부 영역에 대해서만 촬영된 모니터링 이미지(410~450)들을 제공할 수 있다. At this time, since the drone 300 is photographed while flying at a low altitude of about 50 to 150 meters, the resolution is higher than when photographed through an airplane, but the field of view secured for photographing may be narrow. Accordingly, as shown in FIG. 4 , monitoring images 410 to 450 captured for only a portion of the area at a time may be provided.

이 때, 드론(300)이 1번부터 n번까지 비행하면서 순차적으로 촬영한 모니터링 이미지(410~450)들을 통해 사람을 식별하면, 도 5에 도시된 것처럼 마치 7명의 사람이 존재하는 것처럼 나타날 수 있다. 즉, 1번 위치의 모니터링 이미지(410)에서 1명, 2번 위치의 모니터링 이미지(420)에서 2명, 3번 위치의 모니터링 이미지(430)에서 2명, 4번 위치의 모니터링 이미지(440)에서 1명, 마지막으로 n번 위치의 모니터링 이미지(450)에서 1명으로, 하나하나의 모니터링 이미지만을 본다면 총 7명의 사람들이 해당 지역에 있는 것으로 확인될 수 있다. At this time, if the drone 300 identifies a person through the monitoring images 410 to 450 sequentially taken while flying from 1 to n, it may appear as if 7 people exist, as shown in FIG. there is. That is, 1 person in the monitoring image 410 at the first location, 2 people in the monitoring image 420 at the second location, 2 people in the monitoring image 430 at the third location, and 2 people in the monitoring image 440 at the fourth location 1 person in , and finally 1 person in the monitoring image 450 of position n, if only one monitoring image is viewed, it can be confirmed that a total of 7 people are in the corresponding area.

하지만 실제로 해당 지역에 위치하는 사람은 도 3과 같이 4명이므로 이러한 경우에 정확한 모니터링 정보를 제공하는데 오류가 발생할 수 있다. However, since there are four people actually located in the corresponding area as shown in FIG. 3 , an error may occur in providing accurate monitoring information in this case.

본 발명에서는 이와 같이 동일한 객체가 중복되어 촬영됨으로써 실제 객체의 수를 계산하는데 발생하는 문제점을 해결하기 위해 단계(S220)을 통해 실시간 영상정합을 수행한다. In the present invention, real-time image matching is performed in step S220 to solve the problem of calculating the number of real objects as the same object is repeatedly photographed.

또한, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법은, 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성한다(S220).In addition, the method for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention performs real-time image matching whenever a monitoring image is received so that the monitoring image received so far is converted into a single real-time precise large-scale image. Reconstruct (S220).

예를 들어, 도 5에 도시된 모니터링 이미지(410~450)들이 하나씩 순차적으로 수신되었다고 가정한다면, 1번 위치에서 촬영된 모니터링 이미지(410)와 2번 위치에서 촬영된 모니터링 이미지(420)가 수신되었을 때 두 개의 모니터링 이미지(410, 420)들에 대한 실시간 영상정합을 수행하여 두 개의 모니터링 이미지(410, 420)에 표시된 지역을 하나의 실시간 정밀 대형 이미지로 재구성할 수 있다. For example, assuming that the monitoring images 410 to 450 shown in FIG. 5 are sequentially received one by one, the monitoring image 410 taken at the first position and the monitoring image 420 taken at the second position are received. When this happens, real-time image matching is performed on the two monitoring images 410 and 420 to reconstruct the regions displayed on the two monitoring images 410 and 420 into one real-time precise large-scale image.

이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.

이 때, 드론을 통해 수신되는 모니터링 이미지에 EXIF(Exchangeable Image File Format)에 상응하게 저장된 드론의 비행좌표를 이용하여 GPS 좌표를 추출할 수 있다. 이렇게 추출된 GPS 좌표를 기반으로 초기점, 즉 영상정합을 위한 기준점을 계산할 수 있다. In this case, GPS coordinates may be extracted using flight coordinates of the drone stored in accordance with EXIF (Exchangeable Image File Format) in the monitoring image received through the drone. Based on the GPS coordinates thus extracted, an initial point, that is, a reference point for image matching may be calculated.

이 때, SURF(Speed-Up Robust Feature)이나 SIFT(Scale Invariant Feature Transform) 등을 이용하여 모니터링 이미지에서 코너(corner) 및 엣지(edge) 등의 특징점을 추출할 수 있다. In this case, feature points such as corners and edges may be extracted from the monitoring image by using speed-up robust feature (SURF) or scale invariant feature transform (SIFT).

이 때, epipolar line 또는 RANSAC(Random Sample Consensus) 알고리즘 등을 기반으로 앞서 추출된 특징점들 중 유효한 매칭에 해당하는 Inliers들을 추출하는 필터링을 수행할 수 있다. At this time, filtering may be performed to extract inliers corresponding to valid matching among previously extracted feature points based on an epipolar line or a Random Sample Consensus (RANSAC) algorithm.

이 때, 이동거리, 회전각도, 스케일팩터(scale factor) 등을 추출하여 어파인 변환(Affine Transformation) 또는 와핑(warping)을 수행할 수 있다. At this time, affine transformation or warping may be performed by extracting a movement distance, a rotation angle, a scale factor, and the like.

이 때, 영상 스티칭을 통해 앞서 영상 처리된 모니터링 영상들을 하나의 영상으로 재구성하여 실시간 정밀 대형 이미지를 생성할 수 있다. At this time, it is possible to generate a real-time precise large-scale image by reconstructing previously image-processed monitoring images into a single image through image stitching.

또한, 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 방법은, 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공한다(S230).In addition, the real-time monitoring method for water resources based on image reconstruction using a drone according to an embodiment of the present invention provides water resource management information based on real-time precise large-scale images (S230).

이 때, 수자원 관리 정보는 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.

이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다. 즉, 댐이나 강 등의 수자원 주변에서 사람의 위치를 식별하거나, 총 몇 명이 있는지 식별하고, 댐이나 강의 수위 또는 수면의 위치 등을 식별할 수 있다. In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position. That is, the location of people around water resources such as dams and rivers can be identified, the number of people in total can be identified, and the water level of a dam or river or the location of a water surface can be identified.

이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to a real-time precise large-scale image whenever a new monitoring image is received.

이하에서는 도 6을 참조하여, 실시간 모니터링 과정을 보다 상세하게 설명하도록 한다. Hereinafter, with reference to FIG. 6, a real-time monitoring process will be described in more detail.

도 6을 참조하면, 먼저 드론을 통해 촬영된 모니터링 이미지를 수신할 수 있다(S610), Referring to FIG. 6, first, a monitoring image taken by a drone may be received (S610).

이 후, 수신된 모니터링 이미지에 대해 실시간 영상정합을 수행할 수 있다(S620).Thereafter, real-time image matching may be performed on the received monitoring image (S620).

이 때, 실시간 영상정합은, 모니터링 이미지에 포함된 GPS 좌표를 추출하고(S621), 모니터링 이미지에서 특징점을 추출하고(S622), 추출된 특징점들에 대한 필터링을 수행하여 유효한 데이터들을 추출하고(S623), 모니터링 영상 간 호모그래피를 계산하고(S624), 어파인 변환을 수행하여(S625) 하나의 파노라마 영상, 즉 정밀 대형 이미지로 재구성할 수 있다. At this time, real-time image matching extracts GPS coordinates included in the monitoring image (S621), extracts feature points from the monitoring image (S622), performs filtering on the extracted feature points, and extracts valid data (S623). ), calculating homography between monitoring images (S624), and performing affine transformation (S625) to reconstruct one panoramic image, that is, a precise large-scale image.

이 후, 재구성된 정밀 대형 이미지에서 수자원 관리 정보를 식별하고(S630), 식별된 수자원 관리 정보를 지도에 오버레이하여 시각적 정보를 제공할 수 있다(S640).Thereafter, water resource management information may be identified in the reconstructed precise large-scale image (S630), and visual information may be provided by overlaying the identified water resource management information on a map (S640).

이 후, 드론을 통해 추가적인 모니터링 이미지가 수신되는지 여부를 판단하고(S645), 모니터링 이미지가 추가 수신되는 경우에는 단계(S610)부터 단계(S640)의 과정을 반복 수행할 수 있다. Thereafter, it is determined whether an additional monitoring image is received through the drone (S645), and when an additional monitoring image is received, the process of steps S610 to S640 may be repeatedly performed.

또한, 단계(S645)의 판단결과 모니터링 이미지가 추가 수신되지 않으면, 드론을 통해 촬영이 종료된 것으로 판단하고 과정을 종료할 수 있다. In addition, if the monitoring image is not additionally received as a result of the determination in step S645, it may be determined that the shooting has ended through the drone and the process may be terminated.

이와 같은 실시간 모니터링 방법을 통해 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행할 수 있다.Through such a real-time monitoring method, risk management in preparation for flood or heavy rain can be efficiently performed by analyzing the number or location of people, the height of the water surface, and the like in real time within the water resource management area.

또한, 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성할 수 있다.In addition, by performing image matching one by one each time an image is transmitted through a drone, a reconstructed image can be generated more quickly and efficiently than when image matching is performed by collecting several images at once.

또한, 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공할 수 있다.In addition, it is possible to provide efficient image analysis and user visualization by creating a wide image in real time from high-resolution images of a small area taken by a drone.

또한, 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 할 수 있다.In addition, even when the same person is included several times in a still image taken while flying by a drone, the location or number of a person can be accurately and efficiently identified in real time.

도 7은 본 발명의 일실시예에 따른 드론을 이용한 이미지 재구성 기반의 수자원 실시간 모니터링 장치를 나타낸 도면이다.7 is a diagram illustrating an apparatus for real-time monitoring of water resources based on image reconstruction using a drone according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 수자원 실시간 모니터링 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(700)은 버스(720)를 통하여 서로 통신하는 하나 이상의 프로세서(710), 메모리(730), 사용자 입력 장치(740), 사용자 출력 장치(750) 및 스토리지(760)를 포함할 수 있다. 또한, 컴퓨터 시스템(700)은 네트워크(780)에 연결되는 네트워크 인터페이스(770)를 더 포함할 수 있다. 프로세서(710)는 중앙 처리 장치 또는 메모리(730)나 스토리지(760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 스토리지(760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(731)이나 RAM(732)을 포함할 수 있다.Referring to FIG. 7 , the apparatus for real-time monitoring of water resources according to an embodiment of the present invention may be implemented in a computer system such as a computer-readable recording medium. As shown in FIG. 7 , computer system 700 includes one or more processors 710, memory 730, user input devices 740, user output devices 750, and storage that communicate with each other via a bus 720. (760). In addition, computer system 700 may further include a network interface 770 coupled to network 780 . The processor 710 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 730 or the storage 760 . Memory 730 and storage 760 may be various types of volatile or non-volatile storage media. For example, the memory may include ROM 731 or RAM 732 .

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.Accordingly, embodiments of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which instructions executable by the computer are recorded. When executed by a processor, the computer readable instructions may perform a method according to at least one aspect of the present invention.

프로세서(710)는 무선통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신한다. The processor 710 sequentially receives monitoring images captured in real time through a drone based on wireless communication.

이 때, 순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상일 수 있다. At this time, the sequentially received monitoring images may have an overlapping ratio between neighboring images equal to or greater than a preset ratio.

이 때, 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 드론의 비행좌표와 함께 수신될 수 있다.In this case, the monitoring image may correspond to a still image or video and may be received together with flight coordinates of the drone.

또한, 프로세서(710)는 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성한다.In addition, the processor 710 performs real-time image matching whenever a monitoring image is received, and reconstructs the monitoring image received so far into one real-time precise large-scale image.

이 때, 실시간 영상정합은 GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행될 수 있다.In this case, real-time image matching may be performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching.

또한, 프로세서(710)는 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공한다.In addition, the processor 710 provides water resource management information based on real-time precise large-scale images.

이 때, 수자원 관리 정보는 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공될 수 있다.In this case, the water resource management information may be provided in a visual form in which the monitoring target identified in the real-time precision large-scale image is overlaid on a map corresponding to the real-time precision large-scale image.

이 때, 모니터링 대상은 사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함할 수 있다.In this case, the monitoring target may include at least one of the number of people, the location of the person, and the location of the sleeping position.

이 때, 수자원 관리 정보는 새로운 모니터링 이미지가 수신될 때마다 실시간 정밀 대형 이미지에 상응하게 업데이트될 수 있다.In this case, the water resource management information may be updated to correspond to a real-time precise large-scale image whenever a new monitoring image is received.

메모리(730)는 모니터링 이미지 및 실시간 정밀 대형 이미지를 저장한다.The memory 730 stores monitoring images and real-time precise large-scale images.

이와 같은 실시간 모니터링 장치를 이용함으로써 수자원 관리 지역 내에서 사람의 숫자나 위치, 수면의 높이 등을 실시간으로 분석하여 홍수나 폭우에 대비한 위험 관리를 효율적으로 수행할 수 있다.By using such a real-time monitoring device, it is possible to efficiently perform risk management in preparation for flood or heavy rain by analyzing the number or location of people, the height of the water surface, etc. in real time within the water resource management area.

또한, 드론을 통해 이미지가 전송될 때마다 하나씩 영상정합을 수행함으로써 여러 장의 이미지를 모아서 한꺼번에 영상정합을 수행할 때보다 빠르고 효율적으로 재구성된 이미지를 생성할 수 있다.In addition, by performing image matching one by one each time an image is transmitted through a drone, a reconstructed image can be generated more quickly and efficiently than when image matching is performed by collecting several images at once.

또한, 드론을 통해 촬영된 고해상도의 좁은 영역의 이미지들을 실시간으로 하나의 넓은 영상으로 만들어 내어 효율적인 영상 분석 및 사용자 시각화를 제공할 수 있다.In addition, it is possible to provide efficient image analysis and user visualization by creating a wide image in real time from high-resolution images of a small area taken by a drone.

또한, 드론이 비행하면서 촬영한 정지영상에서 동일한 사람이 여러 번 포함된 경우에도 정확하고 효율적으로 사람의 위치나 숫자 등을 실시간 파악할 수 있도록 할 수 있다.In addition, even when the same person is included several times in a still image taken while flying by a drone, the location or number of a person can be accurately and efficiently identified in real time.

이상에서와 같이 본 발명에 따른 드론을 이용한 이미지 재구성 기반의 실시간 모니터링 장치 및 이를 이용한 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the real-time monitoring device based on image reconstruction using a drone and the method using the same according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments are variously modified. All or part of each embodiment may be selectively combined to achieve this.

110: 실시간 모니터링 장치 120,300: 드론
130: 관제센터 140: 네트워크
311~314: 사람 410~450: 모니터링 이미지
700: 컴퓨터 시스템 710: 프로세서
720: 버스 730: 메모리
731: 롬 732: 램
740: 사용자 입력 장치 750: 사용자 출력 장치
760: 스토리지 770: 네트워크 인터페이스
780: 네트워크110: real-time monitoring device 120,300: drone
130: control center 140: network
311-314: Person 410-450: Monitoring image
700: computer system 710: processor
720: bus 730: memory
731: Rom 732: RAM
740: user input device 750: user output device
760: storage 770: network interface
780: network

Claims (14)

무선 통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신하는 단계;
상기 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성하는 단계; 및
상기 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공하는 단계
를 포함하는 것을 특징으로 하는 실시간 모니터링 방법.sequentially receiving monitoring images captured in real time through a drone based on wireless communication;
performing real-time image matching whenever the monitoring image is received, and reconstructing the monitoring image received so far into one real-time precise large-scale image; and
Providing water resource management information based on the real-time precise large-scale image
Real-time monitoring method comprising a. 청구항 1에 있어서,
순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상인 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
A real-time monitoring method, characterized in that the sequentially received monitoring images have an overlapping rate between neighboring images greater than or equal to a predetermined ratio. 청구항 1에 있어서,
상기 수자원 관리 정보는
상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The water resource management information
Real-time monitoring method, characterized in that provided in the visual form of overlaying the monitoring target identified in the real-time precision large-scale image on a map corresponding to the real-time precision large-scale image. 청구항 3에 있어서,
상기 모니터링 대상은
사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 3,
The monitoring target is
A real-time monitoring method comprising at least one of a number of people, a location of a person, and a location of a sleeping person. 청구항 1에 있어서,
상기 실시간 영상정합은
GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The real-time image registration is
A real-time monitoring method characterized in that it is performed through at least one of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching. 청구항 1에 있어서,
상기 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The monitoring image corresponds to a still image or a moving image, and is received together with flight coordinates of the drone. 청구항 1에 있어서,
상기 수자원 관리 정보는
새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트되는 것을 특징으로 하는 실시간 모니터링 방법.The method of claim 1,
The water resource management information
Real-time monitoring method, characterized in that whenever a new monitoring image is received, it is updated correspondingly to the real-time precise large-scale image. 무선 통신을 기반으로 드론을 통해 실시간으로 촬영된 모니터링 이미지를 순차적으로 수신하고, 상기 모니터링 이미지가 수신될 때마다 실시간 영상정합을 수행하여 현재까지 수신된 모니터링 이미지를 하나의 실시간 정밀 대형 이미지로 재구성하고, 상기 실시간 정밀 대형 이미지를 기반으로 수자원 관리 정보를 제공하는 프로세서; 및
상기 모니터링 이미지 및 상기 실시간 정밀 대형 이미지를 저장하는 메모리
를 포함하는 것을 특징으로 하는 실시간 모니터링 장치.Based on wireless communication, the monitoring images taken in real time through the drone are sequentially received, and whenever the monitoring image is received, real-time image matching is performed to reconstruct the monitoring image received so far into one real-time precise large-scale image, , a processor providing water resource management information based on the real-time precise large-scale image; and
Memory for storing the monitoring image and the real-time precise large-scale image
Real-time monitoring device comprising a. 청구항 8에 있어서,
순차적으로 수신되는 모니터링 이미지들은 이웃하는 이미지들 간의 중첩률이 기설정된 비율 이상인 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
Real-time monitoring device, characterized in that the sequentially received monitoring images have an overlapping rate between neighboring images greater than or equal to a predetermined ratio. 청구항 8에 있어서,
상기 수자원 관리 정보는
상기 실시간 정밀 대형 이미지에서 식별된 모니터링 대상을 상기 실시간 정밀 대형 이미지에 상응하는 지도 상에 오버레이한 시각적 형태로 제공되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The water resource management information
Real-time monitoring device, characterized in that provided in the visual form of overlaying the monitoring target identified in the real-time precision large-scale image on a map corresponding to the real-time precision large-scale image. 청구항 10에 있어서,
상기 모니터링 대상은
사람의 숫자, 사람의 위치 및 수면의 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 10,
The monitoring target is
A real-time monitoring device comprising at least one of the number of people, the location of the person, and the location of the surface of the water. 청구항 8에 있어서,
상기 실시간 영상정합은
GPS 좌표 추출, 특징점 추출, 필터링, 호모그래피 계산, 어파인 변환 및 영상 스티칭 중 적어도 하나의 과정을 통해 수행되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The real-time image registration is
A real-time monitoring device characterized in that it is performed through at least one process of GPS coordinate extraction, feature point extraction, filtering, homography calculation, affine transformation, and image stitching. 청구항 8에 있어서,
상기 모니터링 이미지는 정지영상 또는 동영상에 상응하고, 상기 드론의 비행좌표와 함께 수신되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The monitoring image corresponds to a still image or a video, and is received together with flight coordinates of the drone. 청구항 8에 있어서,
상기 수자원 관리 정보는
새로운 모니터링 이미지가 수신될 때마다 상기 실시간 정밀 대형 이미지에 상응하게 업데이트되는 것을 특징으로 하는 실시간 모니터링 장치.The method of claim 8,
The water resource management information
A real-time monitoring device, characterized in that whenever a new monitoring image is received, it is updated correspondingly to the real-time precise large-scale image.
KR1020210165309A 2021-11-26 2021-11-26 Apparatus for real-time monitoring based on image reconstruction using drone and method using the same KR20230078004A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210165309A KR20230078004A (en) 2021-11-26 2021-11-26 Apparatus for real-time monitoring based on image reconstruction using drone and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210165309A KR20230078004A (en) 2021-11-26 2021-11-26 Apparatus for real-time monitoring based on image reconstruction using drone and method using the same

Publications (1)

Publication Number Publication Date
KR20230078004A true KR20230078004A (en) 2023-06-02

Family

ID=86755609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210165309A KR20230078004A (en) 2021-11-26 2021-11-26 Apparatus for real-time monitoring based on image reconstruction using drone and method using the same

Country Status (1)

Country Link
KR (1) KR20230078004A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170116765A (en) 2016-04-12 2017-10-20 주식회사 에이치큐테크 Drone for monitoring of water resources

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170116765A (en) 2016-04-12 2017-10-20 주식회사 에이치큐테크 Drone for monitoring of water resources

Similar Documents

Publication Publication Date Title
Kopsiaftis et al. Vehicle detection and traffic density monitoring from very high resolution satellite video data
JP6632474B2 (en) Monitoring device, monitoring method and airport monitoring system
Perko et al. Advanced DTM generation from very high resolution satellite stereo images
CN102959946A (en) Augmenting image data based on related 3d point cloud data
CN101517431A (en) Video surveillance system providing tracking of a moving object in a geospatial model and related methods
US20080089577A1 (en) Feature extraction from stereo imagery
Xiangguo et al. Object-based morphological building index for building extraction from high resolution remote sensing imagery
US11841421B2 (en) Synthetic aperture radar image analysis system, synthetic aperture radar image analysis method, and synthetic aperture radar image analysis program
KR100904078B1 (en) A system and a method for generating 3-dimensional spatial information using aerial photographs of image matching
Porzi et al. Learning contours for automatic annotations of mountains pictures on a smartphone
US20220164999A1 (en) Orthophoto map generation method based on panoramic map
US20190286875A1 (en) Cloud detection in aerial imagery
US20230394834A1 (en) Method, system and computer readable media for object detection coverage estimation
CN111683221B (en) Real-time video monitoring method and system for natural resources embedded with vector red line data
US20220405878A1 (en) Image processing apparatus, image processing method, and image processing program
Farella et al. The EuroSDR TIME benchmark for historical aerial images
KR20230078004A (en) Apparatus for real-time monitoring based on image reconstruction using drone and method using the same
Hashim et al. Geometric and radiometric evaluation of RazakSAT medium-sized aperture camera data
JP2014099055A (en) Detector, detection method, and program
JP4904449B2 (en) Judgment method and apparatus of ridge line and ridge line by image processing
Chen et al. Geometric correction of airborne scanner imagery using orthophotos and triangulated feature point matching
Walton et al. Vehicle object retargeting from dynamic traffic videos for real-time visualisation
Wang et al. Framework to create cloud-free remote sensing data using passenger aircraft as the platform
CN118097562B (en) Remote monitoring method for seaweed proliferation condition
Weintrit et al. Emergency rescue management supported by UAV remote sensing data