KR102318489B1 - 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법 - Google Patents

인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR102318489B1
KR102318489B1 KR1020210059196A KR20210059196A KR102318489B1 KR 102318489 B1 KR102318489 B1 KR 102318489B1 KR 1020210059196 A KR1020210059196 A KR 1020210059196A KR 20210059196 A KR20210059196 A KR 20210059196A KR 102318489 B1 KR102318489 B1 KR 102318489B1
Authority
KR
South Korea
Prior art keywords
information
drone
disaster
artificial intelligence
server
Prior art date
Application number
KR1020210059196A
Other languages
English (en)
Inventor
김성삼
신동윤
김현주
이임평
정동기
김휘영
Original Assignee
대한민국(행정안전부 국립재난안전연구원장)
주식회사 이노팸
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(행정안전부 국립재난안전연구원장), 주식회사 이노팸 filed Critical 대한민국(행정안전부 국립재난안전연구원장)
Priority to KR1020210059196A priority Critical patent/KR102318489B1/ko
Application granted granted Critical
Publication of KR102318489B1 publication Critical patent/KR102318489B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • B64C2201/127—
    • B64C2201/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Remote Sensing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 드론, 인공지능, 실시간 매핑 기술을 하나의 체계로 연계하여 재난조사 실무에서 편리하고, 신속하게 재난 상황을 파악할 수 있는 고도화된 체계를 구축할 수 있는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법에 관한 것이다.
본 발명의 일측면에 따르면, 본체에 탑재된 카메라를 통해 재난 지역을 촬영하여 정지영상 정보 및 동영상 정보를 획득하기 위한 드론, 상기 드론과 무선 통신하여 상기 드론의 비행을 제어하고, 상기 드론의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 전송받는 조종기, 상기 조종기와 무선 통신하는 공유기 및 상기 공유기와 연결되어, 공유기를 통해 상기 조종기에서 전송되는 드론의 비행 관련 정보와 재난지역의 정지영상 정보 및 동영상 정보를 전송받아 데이터베이스에 저장하고, 기설정된 인공지능 모델을 기반으로 상기 정지영상 정보를 추론하여 재난 유형 탐지 정보를 분석하며, 상기 동영상 정보를 추론하여 사람 탐지 정보를 분석하여, 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 온라인 웹(Web)을 통해 가시화하여 제공하기 위한 분석 서버를 포함하여 구성되는 것을 특징으로 한다.

Description

인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법{REAL-TIME DISASTER INFORMATION DETECTION SYSTEM AND METHOD USING ARTIFICIAL INTELLIGENCE AND DRONE IMAGES}
본 발명은 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 드론, 인공지능, 실시간 매핑 기술을 하나의 체계로 연계하여 재난조사 실무에서 편리하고, 신속하게 재난 상황을 파악할 수 있는 고도화된 체계를 구축할 수 있는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법에 관한 것이다.
현재 재난 원인조사에 드론을 활용하는 방법은 최초 재난이 발생하면 현장에 도착해 드론을 띄워 주로 동영상 촬영을 하고, 획득한 동영상에서 침수, 범람 등의 재난현장이 확인되면 필요에 따라서 다시 정지영상으로 정밀 촬영을 하고 있다.
이러한 업무 프로세스는 재난지역에서 침수, 범람, 산사태 등과 같은 재난 현상을 탐지하기 위해 작업자가 화면을 지속적으로 지켜보면서 직접 찾아야 한다.
또한, 재난 현장을 동영상 혹은 정지 영상에서 찾았다 하더라도 해당 위치를 자세하게 파악하기 어렵기 때문에 정사영상과 같은 정밀한 데이터를 취득하기 위해 드론 비행을 재수행해야 하며, 이때 비행은 드론을 이용한 항공측량 영상과 같이 고도, 중복도 등을 고려해서 정밀하게 촬영되도록 이루어져야 한다.
하지만 일반적으로 드론 비행 시 작업자가 자신의 경험에 의존하여 드론 비행을 수행하고 있어 잘못된 지역을 촬영할 수도 있으며, 이를 감안하여 작업자가 다수번의 드론 비행을 수행하게 되어 작업의 효율성이 떨어지는 문제점이 있다.
이러한 문제를 해결하기 위해 한국등록특허 제10-2166432의 스마트 드론을 사용한 재난 상황 대응 방법에서는 드론의 안전하고 정확한 비행 운용을 가능하게 하면서도 사고 현장에서 드론이 전송하는 영상으로부터 사람이나 물체를 정확하고 빠르게 인식하는 기술을 보여주고 있다.
그러나 이러한 종래 기술의 경우, 드론으로부터 전송된 영상정보에서 사람이나 물체 등의 객체정보를 정확하게 파악하여 신속한 응급 조취를 취할 수 있을 뿐, 재난 발생 지역에 대해 홍수나 지진 등의 재난 유형을 신속하게 파악하고, 재난 지역에 대한 구체적인 피해 영역을 정밀하게 분석하여 대응할 수 없다는 문제점이 있다.
또한, 드론의 이동 경로 정보를 역으로 취하여 드론을 출발 위치로 복귀시키고만 있을뿐, 드론이 촬영한 영상 정보 및 관련 이동 좌표 정보를 따로 저장해두지 않고 있어, 재난 지역에 대해 정밀한 분석이 필요한 경우 여전히 드론 비행을 다수번 수행하여 피해 영역을 찾아야 하기 때문에 작업 효율이 떨어진다는 단점이 있다.
한편, 또 다른 종래 기술인 한국등록특허 제10-2203135호의 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템의 경우, 드론의 카메라 동영상 정보와 드론의 비행로그 정보를 기반으로한 학습데이터 셋 구축을 통해 인공지능 모델을 구축함으로써, 재난 피해 유형 및 영역 정보를 정확하게 탐지할 수 있는 기술을 보이고 있다.
그러나, 이러한 종래 기술의 경우, 미리 구축된 학습데이터 셋에 기초한 인고지능 모델을 통해 드론 영상으로부터 재난 유형 및 피해 영역만을 도출할 수 있을 뿐, 별도의 객체 인식 기능이 없으므로 재난 현장에서 인명 피해나 인명 구조를 취할 수 없다는 문제점이 있다.
또한, 해당 종래 기술 역시 상기 한국등록특허 제10-2166432의 스마트 드론을 사용한 재난 상황 대응 방법의 기술에서와 같이, 드론 이동에 따른 트랙정보(비행 궤적, 센서 위치 및 자세 정보 등)나 촬영 영상 정보 등을 별도로 저장해두지 않고 있어, 재난 지역에 대해 정밀한 분석이 필요한 경우 여전히 작업자의 경험에 의존하여 드론 비행을 다수번 수행해야 하는 단점이 있다.
이에, 인공지능을 활용하여 재난 발생 지역에 대한 드론 비행을 수행하면서 재난 유형 및 재난 피해 영역을 파악할 수 있고, 또한, 사람 및 물체 등의 객체를 식별하여 구조 대응을 할 수 있으며, 동시에, 드론이 촬영한 영상 정보 및 드론의 이동 관련 정보들을 별도의 데이터베이스에 실시간 자동 저장하여 후처리 가능하도록 함으로써, 드론 재비행 시, 효과적인 비행 계획을 수립하여 작업 효율을 높일 수 있는 기술이 요구된다.
한국등록특허 제10-2166432호 한국등록특허 제10-2203135호
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로 인공지능과 드론 항공 동영상을 이용하여 재난 종류 및 재난의 피해 지역 정보를 자동으로 탐지하고, 사람 및 물체를 포함한 객체 인식을 통해 실종자를 수색할 수 있는 방법과 그 시스템을 제시하고자 한다.
특히, 재난 지역에 대한 드론의 정지영상 정보 및 동영상 정보를 별도의 어플을 통해 각각 획득하여, 인공지능을 이용해 드론의 정지영상 정보로부터 피해 지역 및 재난 유형을 탐지하고, 드론의 동영상 정보로부터 사람(객체)을 탐지하여, 탐지한 재난 피해 유형 정보 및 객체 인식 정보를 사용자의 웹(Web)에 실시간으로 제공할 수 있는 것을 목적으로 한다.
또한, 드론의 각종 이동 관련 정보 및 촬영 정보를 별도의 데이터베이스에 테이블별로 구분하여 저장해둠으로써, 재난 발생 지역에 대한 정밀 촬영을 위해 드론의 재비행 시 비행 계획을 효율적으로 수립할 수 있으며, 사용자가 웹을 통해 기존의 프로젝트에 대한 이력 정보를 조회하여 관련 영상 정보를 용이하게 확인할 수 있도록 하고자 한다.
본 발명의 일측면에 따르면, 본체에 탑재된 카메라를 통해 재난 지역을 촬영하여 정지영상 정보 및 동영상 정보를 획득하기 위한 드론, 상기 드론과 무선 통신하여 상기 드론의 비행을 제어하고, 상기 드론의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 전송받는 조종기, 상기 조종기와 무선 통신하는 공유기 및 상기 공유기와 연결되어, 공유기를 통해 상기 조종기에서 전송되는 드론의 비행 관련 정보와 재난지역의 정지영상 정보 및 동영상 정보를 전송받아 데이터베이스에 저장하고, 기설정된 인공지능 모델을 기반으로 상기 정지영상 정보를 추론하여 재난 유형 탐지 정보를 분석하며, 상기 동영상 정보를 추론하여 사람 탐지 정보를 분석하여, 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 온라인 웹(Web)을 통해 가시화하여 제공하기 위한 분석 서버를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법은 미리 학습된 인공지능 모델을 기반으로, 재난 발생 지역을 비행하는 드론으로부터 정지영상 정보를 전송받아 재난 유형을 탐지하고, 상기 드론으로부터 동영상 정보를 전송받아 사람 및 물체 등의 객체를 식별함으로써, 재난 유형을 정확하게 파악하고 실종자를 신속하게 탐지할 수 있는 효과가 있다.
또한, 실시간 가시화 서비스를 통해 사용자가 웹 상에서 현재 드론이 촬영하고 있는 영상 정보를 실시간으로 확인하는 동시에, 해당 영상정보에서 인공지능 모델이 추론하여 도출해내는 탐지정보를 실시간으로 확인할 수 있어 사용자가 재난 상황 정보를 더욱 용이하게 파악할 수 있는 효과가 있다.
또한, 드론으로 전송받은 재난 지역의 정지영상 정보를 정밀처리를 통해 Point Cloud, DSM, 3D Mesh, 정사영상 등을 생성하여 제공해줌으로써, 사용자에게 더욱 정밀하고 다양한 영상 정보를 제공할 수 있는 효과가 있다.
또한, 드론의 비행 관련 정보, 정지영상 정보 및 동영상 정보를 송수신하는과정에서 관련 정보들을 데이터베이스로 자동 저장시키고, 각각의 서버에서 이루어지는 각종 분석 정보를 데이터베이스로 실시간 저장함으로써, 드론의 재 비행 시, 데이터베이스에 저장된 드론의 비행궤적, 센서의 위치 자세 정보 등 이전의 비행과 관련된 각종 정보를 통해 드론의 정밀한 비행경로 계획을 용이하게 수립할 수 있는 효과가 있다.
뿐만 아니라, 데이터베이스를 통해 사용자가 웹 상에서 이전의 재난 발생 목록을 쉽게 조회하여 해당 재난 사건의 영상 정보를 확인할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템의 기본적인 조사 체계를 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템의 구성을 보여주는 시스템도.
도 3은 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템의 구성에 따른 데이터 흐름을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 정지영상 실시간 추론 및 매핑 화면을 보여주는 도면.
도 5는 본 발명의 일 실시예에 따른 동영상 실시간 추론 화면을 보여주는 도면.
도 6은 본 발명의 일 실시예에 따른 동영상 송수신 화면을 보여주는 도면.
도 7은 본 발명의 일 실시예에 따른 드론 영상의 정밀처리에 따른 제공 영상 정보를 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 데이터베이스의 테이블 구성을 보여주는 시스템도.
도 9는 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법을 설명하기 위한 순서도.
본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템(10)의 기본적인 조사 체계를 설명하기 위한 도면이며, 도 2는 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템(10)의 구성을 보여주는 시스템도이며, 도 3은 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템(10)의 구성에 따른 데이터 흐름을 설명하기 위한 도면이며, 도 4는 본 발명의 일 실시예에 따른 정지영상 실시간 추론 및 매핑 화면을 보여주는 도면이며, 도 5는 본 발명의 일 실시예에 따른 동영상 실시간 추론 화면을 보여주는 도면이며, 도 6은 본 발명의 일 실시예에 따른 동영상 송수신 화면을 보여주는 도면이며, 도 7은 본 발명의 일 실시예에 따른 드론 영상의 정밀처리에 따른 제공 영상 정보를 설명하기 위한 도면이며, 도 8은 본 발명의 일 실시예에 따른 데이터베이스(480)의 테이블 구성을 보여주는 시스템도이다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템(10)은 조종기(200)를 통해 드론(100)을 무선 제어하여 재난 지역의 상공에서 드론에 탑재된 카메라를 통해 재난 지역의 전반적인 피해 영역을 촬영한다.
이후, 조종기(200)는 획득한 드론(100)의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 재난현장 조사차량에 구비된 공유기(300)와 무선통신하여 공유기(300)에 연결된 분석 서버(400)로 전송해준다.
분석 서버(400)는 기설정된 인공지능 모델을 기반으로 전송된 정지영상 정보 및 동영상 정보를 추론하여 재난 유형 정보 및 사람/사물 정보를 탐지 및 매핑하여 가시화하는 체계를 이루고 있다.
여기서, 분석 서버(400)는 고성능의 GPU가 탑재된 컴퓨터 장치로서, 재난 현장을 탐사하는 조사 차량에 구비되어 재난현장에서 운용할 수 있는 현장운용 인공지능 체계로 형성할 수 있으며, 또는 별도의 재난관리기관의 자동탐지 서버로 처리되어 고성능으로 자동 탐지하는 내부 운용용 인공지능 체계를 형성할 수 있다.
본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템(10)은 드론(100), 조종기(200), 공유기(300) 및 분석 서버(400)로 구성된다.
드론(100)은 본체에 탑재된 카메라를 통해 재난 지역을 촬영하여 정지영상 정보 및 동영상 정보를 획득한다.
조종기(200)는 드론(100)과 무선 통신하여 드론(100)의 비행을 제어하고, 드론(100)의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 전송받는다. 여기서, 드론(100)의 비행 관련 정보는 드론의 롤(roll), 피치(pitch), 요(yaw) 값 외에도 드론에 탑재한 짐벌의 롤(roll), 피치(pitch), 요(yaw) 값을 포함한 드론(100)의 자세 정보 및 위치(X, Y, Z) 정보를 포함한다.
조종기(200)는 드론(100)을 통해 획득한 정지영상 정보를 실시간 전송하기 위한 정지영상 전송 어플(App) 및 상기 드론(100)을 통해 획득한 동영상 정보를 실시간 전송하기 위한 동영상 전송 어플(App)을 구비한다.
즉, 본 실시예에서는 조종기(200)에 태블릿이 부착되어 있어 드론(100)의 비행과 데이터 취득 조건을 설정할 수 있다. 또한, OcuSync 2.0이라는 통신 방식을 이용해 드론 조종과 데이터 전송을 동시에 수행한다.
OcuSync 기술은 크로스레이어 프로토콜(Cros Layer Protocol)이라는 독특한 방식을 사용한다. 이 방식은 조종기(200)와 드론(100)간의 연결이 하나가 아니라 다중의 FDM(Frequency Division Multiflexing), TDM(Time Division Multiflexing) 네트워크로 연결되어 있고 주변의 전파 간섭상황에 따라 주파수 대역 및 대역폭을 조절해 최적의 상태를 유지할 수 있다.
공유기(300)는 조종기(200)와 무선 연결되고 조사차량의 분석서버(400)와 유선 연결되며, 조종기(200)와 와이파이(wifi) 무선 통신하여 조종기(200)로부터 드론(100)의 비행 관련 정보와, 재난 지역의 정지영상 정보 및 동영상 정보를 수신받아 분석 서버(400)로 전송하는 역할을 수행한다.
이러한 공유기(300)는 현장에서 운용할 땔 필요에 따라서 조사 차량 밖에 안테나를 거치할 수도 있다.
분석 서버(400)는 공유기(300)를 통해 상기 조종기(200)에서 전송되는 드론(100)의 비행 관련 정보와 재난지역의 정지영상 정보 및 동영상 정보를 전송받아 데이터베이스(480)에 저장하고, 기설정된 인공지능 모델을 기반으로 상기 정지영상 정보를 추론하여 재난 유형 탐지 정보를 분석하며, 상기 동영상 정보를 추론하여 사람 탐지 정보를 분석하여, 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 웹 화면을 통해 가시화하여 제공하는 역할을 수행한다.
이러한 분석 서버(400)는 이미지 송수신 서버(410), 동영상 송수신 서버(420), 인공지능(AI) 추론서버(430), 매핑 서버(440), 맵 가시화 서버(450), 웹 서비스 서버(460), 정밀처리 서버(470) 및 데이터베이스(480)를 포함하여 구성될 수 있다.
이미지 송수신 서버(410)는 공유기(300)를 통해 조종기(200)로부터 전송되는 재난지역의 정지영상 정보를 수신받아, 수신된 정지영상 정보의 이미지와 메타데이터를 데이터베이스(480)에 송신하면서, 인공지능 추론서버(430) 및 매핑 서버(440)로 송신한다.
여기서, 메타데이터는 위도(latitude), 경도(longitude), 좌우 기울기(roll), 전후 기울기(pitch), 수평회전(yaw), 카메라 모델(camera model) 정보를 포함한다.
동영상 송수신 서버(420)는 공유기(300)를 통해 조종기(200)로부터 전송되는 재난지역의 동영상 정보를 수신받아, 수신된 동영상 정보를 데이터베이스(480)에 송신하면서, 인공지능 추론서버(430)로 송신한다. 이때, 조종기(200)에서 데이터를 수신받을 때는 RTMP라는 동영상전송 프로토콜을 사용할 수 있다.
한편, 본 발명에서는 드론(100)을 통해 획득되는 정지영상 정보 및 동영상 정보를 실시간으로 전송받아 데이터베이스(480)에 저장하는 동시에 분석 서버(400)의 분석 프로세스 과정을 거쳐 실시간 가시화되는 것이 특징이므로, 본 발명의 이미지 송수신 서버(410) 및 동영상 송수신 서버(420)는 일반적인 데이터 송수신 기술과는 달리 특징적인 구성요소라 할 수 있다.
인공지능(AI) 추론서버(430)는 기설정된 인공지능 모델을 기반으로 정지영상 정보의 이미지와 메타데이터를 이용하여 객체 검출(기하학(geometry), 컨버스(canvas) 좌표)을 통해 재난 유형을 탐지한다.
또한, 인공지능 추론서버(430)는 동영상 정보에서 객체 검출을 통해 사람 및 사물을 식별하여 사람을 탐지한다.
한편, 재난유형별 최적 학습 기법을 선정하기 위해서는 재난이 아닌 재난피해 유형에 따라 설정한 재난피해 유형 분류체계에 맞추어 분류(classification), 객체탐지(object detection), 분할(segmentation) 모델을 활용할지 결정해야 한다.
이 중, 객체탐지(object detection)는 영상에서 관심 객체를 찾아 바운딩 박스를 생성하고 해당 바운딩 박스가 속하는 클래스를 예측한다. 객체탐지는 건축물 파괴 등의 구조물 피해 현장에 적합하고, 분할은 하천 범람, 급경사지 및 산불 피해 등의 자연환경 피해 현장에 적합하다.
또한, 본 발명에 따른 인공지능 모델의 경우, 이미지와 동영상에서 실시간으로 원하는 대상물을 찾아야 하므로 각 데이터에 최적인 모델을 선정하였다.
즉, 드론(100)에서 실시간으로 전송되는 정지영상은 1초에 24~30프레임이 전송되는 동영상보다는 탐지시간에 여유가 있으므로 모델의 크기가 크지만, 정확도가 높은 2-Stage 계열의 Cascade Mask R-CNN 모델을 활용하였다.
Cascade Mask R-CNN 모델의 기본적인 원리는 n개의 분류기는 이전 단계(n-1)의 분류기에서 검출된 바운딩 박스를 입력으로 받아 반복적으로 분류함으로써 분류 정확도를 높일 수 있다.
상기 Cascade Mask R-CNN 모델의 학습데이터는 정지영상 및 동영상에서 침수, 붕괴, 유실, 산사태를 대상으로 검출하였다. 학습데이터는 VIA(VGG Image Annotator)를 이용하였다.
모델의 학습은 Pytorch 기반의 MMDetection이라는 API를 이용해 수행하였다. 모델의 Backbone은 ResNeXt101을 이용하였다.
학습 결과 각 클래스에 대해 약 70%의 정확도로 객체 영역이 탐지되었다.
반면에, 동영상은 시간당 전송되는 데이터의 양이 많으므로 정확도가 떨어지지만 가볍고 빠른 1-Stage 계열의 SSD(Single Shot Multibox Detector) 모델 또는 YOLOv3을 활용할 수 있으며, 본 실시예에서는 YOLOv3를 활용하였다.
동영상에서 탐지하고자 하는 대상은 드론 영상에 나타나는 사람이며, 실시간에서 특정 객체를 추출하기 위해서는 무엇보다도 처리 속도가 중요하다.
YOLOv3 모델은 기존의 YOLO v2에서 속도와 성능을 개선시킨 모델로 AP50 기준으로 RetinaNet과 비슷한 탐지정확도에 훨씬 빠른 탐지 성능을 보인 모델이다.
상기 YOLOv3 모델의 학습데이터는 영상과 오픈데이터 셋인 VisDrone의 사람 클래스를 추출하여 구성한 6,623장의 영상에서 108,226개의 객체를 추출하였다.
평가 데이터셋으로 쓰인 영상에서 가장 많은 비중을 차지하는 Visdrone 데이터에는 사람 수가 매우 많거나, 육안으로 분별이 쉽지 않은 영상이 많았다. 사람을 인식하기 어려운 정도의 고고도 촬영물이나 사람을 수직으로 촬영한 경우 오 탐지하거나 사람으로 인식하지 못하여 낮은 정확도를 보였다. 이에 식별 가능한 영상으로 자체적으로 추론을 재진행하였으며, 비행고도가 비교적 낮고 촬영 각도에 경사를 주어 사람 전신이 식별되는 정도의 평가 영상 204장에서는 68.28%의 정확도를 보였다.
매핑 서버(440)는 상기 정지영상 정보의 이미지와 메타데이터를 이용하여 실시간으로 정사영상 정보를 생성하는 역할을 수행한다. 본 실시예에서는 실시간으로 전송되는 정지영상을 매핑하는 LiveDroneMap 기술을 적용하였다.
즉, LiveDroneMap은 실시간으로 전송되는 정지영상을 센서의 촬영당시 취득되는 센서의 위치(X, Y, Z)와 자세(Rol, Pitch, Yaw) 정보를 이용해서 영상의 기하학적인 위치를 결정하는 기술이다.
기하학적인 위치가 결정된 영상을 실제로 사람의 눈으로 확인하고 어느 위치인지 인지하기 위해서는 지도와 중첩을 시켜야 한다. 실시간으로 주기적으로 전송되지 않는 정지된 영상을 지도와 중첩하는 방법은 특별히 어려운 추가 개발 없이 기존에 개발된 알고리즘을 활용할 수 있다. 하지만 실시간으로 주기적으로 데이터가 전송되고 이를 가시화하기 위해서는 다양한 측면을 고려해야 한다.
특히 본 발명에서는 정지영상뿐만 아니라 영상에서 검출된 객체에 대한 정보를 데이터베이스(480)에 저장하는 동시에 가시화되어야 하므로 영상과 검출 정보의 동기화, 주기적인 정보전송에 대한 통신 등을 고려해야 하는 것을 특징으로 한다.
맵 가시화 서버(450)는 정지영상 정보를 이용한 재난 유형 탐지 정보의 경우, 사용자의 웹(Web)에 지도화면을 가시화하고, 상기 인공지능 추론서버(430)를 통해 정지영상 정보에서 검출된 객체 정보(재난 영역 인식 정보)와 상기 매핑 서버(440)에서 생성된 정사영상 정보를 지도화면 상에 가시화하여 실시간 재난 유형 탐지 정보를 제공한다.
또한, 동영상 정보를 이용한 사람 탐지 정보의 경우, 사용자의 웹에 동영상 화면을 가시화하고, 상기 인공지능 추론서버(430)를 통해 동영상 정보에서 검출된 객체 정보(사람 인식 정보)를 상기 동영상 화면 상에 가시화하여 실시간 사람 탐지 정보를 제공한다.
한편, 본 발명에 따른 가시화 기술은 실시간으로 전송된 영상을 기하보정 후, 정사영상으로 생성하여, 끊김 없이 지도에 매쉬업할 수 있는 것을 특징으로 한다.
웹 서비스 서버(460)는 인터넷 상에 웹 서비스 화면을 제공하여, 제공된 웹 서비스 화면을 통해 상기 인공지능 추론서버(430)에서 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 사용자에게 실시간으로 제공한다.
여기서, 웹 서비스 화면은 정지영상 정보의 추론 및 맵핑 정보를 제공하기 위한 정지영상 제공 화면부와, 동영상 정보의 추론 및 맵핑 정보를 제공하기 위한 동영상 제공 화면부를 포함하여 이루어진다.
정지영상 제공 화면부는 다수의 선택 버튼과, 정보 입력창, 정보 출력창 및 이미지 표시창으로 구성된 이미지정보 선택항목으로 구성되며, 상기 이미지정보 선택항목에는 1)프로젝트 검색/기간, 2)프로젝트 조회/관리, 3)추론/정사영상/지도 가시화(결과 가시화), 4)개별사진 조회, 5)개별 정지영상 가시화, 6)개별 영상정보가 포함된다.
즉, 도 4를 참조하면, 정지영상 제공 화면부는 정지영상 실시간 추론 및 매핑 서비스 화면으로서, 사용자가 서비스에 접속했을 때 가장 먼저 만나게 되는 화면이다.
화면은 웹브라우저 URL을 통해 접속할 수 있다. 최초 접속하면 크게 6개의 화면으로 분할된 페이지와 만나게 되는데, 각각의 화면은 필요에 따라서 접고 펼 수 있도록 설계되어 화면을 유연하고 폭넓게 사용할 수 있다.
왼쪽 화면은 프로젝트와 관련된 화면으로 한번 연결이 되어 실시간 추론 및 매핑이 진행되면 새로운 프로젝트가 자동으로 생긴다. 프로젝트 목록에서는 기존에 수행했던 프로젝트를 조회할 수 있고, 날짜에 따라 검색을 할 수도 있다. 특정 프 로젝트를 선택하면, 과거 수행된 현장으로 지도화면이 이동하고, 아래쪽에는 각각의 개별영상을 조회할 수 있는 목록이 생성된다. 각각의 영상을 조회할 때마다 지도와 영상뷰어에서 그에 해당하는 영상을 가시화한다. 실시간으로 영상이 전송되고 있는 프로젝트는 라이브라는 아이콘으로 표시가 되고, 라이브라고 표시된 프로젝트를 선택할 경우 실시간으로 전송되는 영상에서 추론, 매핑이 순차적으로 이루어지면서 지도와 영상뷰어에 가시화된다.
동영상 제공 화면부는 다수의 선택 버튼과, 정보 입력창, 정보 출력창 및 영상 표시창으로 구성된 동영상정보 선택항목으로 구성되며, 상기 동영상정보 선택항목에는 프로젝트 검색(미도시), 프로젝트 조회/관리(미도시), 1)실시간 영상, 2)검출 객체 정보가 포함될 수 있다.
즉, 도 5를 참조하면, 동영상 제공 화면부는 동영상 실시간 추론 서비스 화면으로서, 실시간으로 전송되는 동영상에서 사람을 검출하는 화면이다. 사용자는 동영상에서 바운딩박스가 처리된 사람과 확률에 대한 정보를 볼 수 있다.
또한, 도 6을 참조하면, 동영상 제공 화면부에서는 상기 동영상 송수신 서버에서 동영상이 정상적으로 수신되고 전송되는지를 확인할 수 있는 동영상 송수신 화면을 제공할 수 있다.
이러한 동영상 송수신 화면에서는 동영상 스트리밍 목록을 조회하는 1)동영상 스트리밍, 목록을 선택하면 스트리밍되고 있는 동영상을 보여주는 2)동영상 플레이, 스트리밍하고 있는 혹은 스트리밍했던 동영상의 목록을 보여주는 3)동영상 목록으로 구성된 선택항목을 제공할 수 있다.
정밀처리 서버(470)는 다수의 정지영상 정보를 이용하여 WebODM으로 정밀 처리하여, Point Cloud, DSM, 3D Mesh 및 정사영상을 생성하여 사용자의 웹에 제공하는 역할을 수행한다.
즉, 도 7을 참조하면, 현장에서 드론으로 촬영한 여러 장의 드론 영상을 처리해 위치 좌표가 있는 하나의 정사영상과 3D 모델, Point Cloud, DSM 등을 제작하여 웹 화면에 제공함으로써 사용자가 더욱 정밀한 자료를 확인할 수 있다.
데이터베이스(480)는 상기 드론(100)의 비행 관련 정보, 정지영상 정보의 이미지와 메타데이터 및 동영상 정보를 저장하고, 상기 인공지능 추론서버(430)를 통해 추론되는 재난 유형 탐지 정보 및 사람 탐지 정보를 저장하는 역할을 수행한다.
도 8을 참조하면, 데이터베이스(480)는 검출 객체 테이블(481), 비행 계획 테이블(482), 트랙 정보 테이블(483), 비행 트랙 테이블(484) 및 비행 영상 정보 데이블(485)을 포함하여 이루어지며, 데이터 처리 중 발생하는 대부분 정보를 데이터베이스(480)로 저장해 향후 필요한 정보를 조회할 수 있도록 구성된다.
상기 검출 객체 테이블(481)은 인공지능 추론서버(430)에서 검출한 객체의 정보를 저장하고, 비행 계획 테이블(482)은 드론(100)의 비행 시작, 종료, 토큰 정보를 저장하며, 트랙 정보 테이블(483)은 드론(100)의 비행궤적, 센서의 위치 자세 정보를 저장하며, 비행 트랙 테이블(484)은 트랙 정보에서 연산을 위해 필요한 정보만 따로 추출해서 저장하며, 비행 영상 정보 테이블(485)은 전송되는 각종 영상 정보의 기본 정보를 저장한다.
이외에도 데이터베이스(480)는 별도의 추가적인 정보를 저장하기 위한 복수의 테이블이 포함되어 구성될 수 있음은 물론이다.
즉, 데이터베이스(480)는 드론(100)의 비행 관련 정보, 정지영상 정보 및 동영상 정보 뿐만 아니라 상기 인공지능 추론서버(430)를 통해 추론되는 검출 객체 정보와, 매핑 서버(440)를 통해 생성되는 정사영상 정보 및 가시화 서버(450)를 통해 가시화되는 이미지 및 동영상 정보 등 각각의 서버에서 처리되는 각종 정보들이 자동으로 실시간 저장되는 것을 특징으로 한다.
이하에서는 상술한 바와 같은 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템(10)을 이용하여 재난 정보를 탐지하는 방법에 대하여 도 9를 통해 상세하게 설명하기로 한다.
도 9는 본 발명의 도 9는 본 발명의 일 실시예에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 조종기를 통해 드론을 제어하여 드론의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 획득(S110)한다.
이때, 조종기에 구비된 정지영상 전송 어플(App)을 구동하여 재난 지역의 정지영상 정보를 획득하고, 상기 조종기에 구비된 동영상 전송 어플(App)을 구동하여 재난 지역의 동영상 정보를 획득한다.
이후, 조종기에서 획득된 드론의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 공유기와 무선 통신하여 상기 공유기에 연결된 분석 서버로 전송(S120)한다.
분석 서버는 이미지 송수신 서버를 통해 공유기로부터 전송되는 정지영상 정보를 수신받아, 수신된 정지영상 정보의 이미지와 메타데이터를 데이터베이스에 송신하여 저장시키면서, 인공지능 추론서버 및 매핑 서버로 송신한다.
동시에, 분석 서버는 동영상 송수신 서버를 통해 공유기로부터 전송되는 동영상 정보를 수신받아, 수신된 동영상 정보를 데이터베이스에 송신하여 저장시키면서, 인공지능 추론서버로 송신한다.
인공지능 추론서버는 기설정된 Cascade Mask R-CNN 모델을 기반으로 정지영상 정보의 이미지와 메타데이터를 이용하여 객체 검출을 통해 재난 유형 탐지 정보를 추론하고, 기설정된 YOLOv3 모델을 기반으로 동영상 정보에서 객체 검출을 통해 사람 및 사물을 식별하여 사람 탐지 정보를 추론(S130)한다.
이후, 매핑 서버를 통해 정지영상 정보의 이미지와 메타데이터를 이용하여 정사영상 정보를 생성(S140)한다.
이후, 가시화 서버를 통해 온라인 웹에 지도화면을 가시화하고, 인공지능 추론서버를 통해 정지영상 정보에서 검출된 객체 정보와 매핑 서버에서 생성된 정사영상 정보를 상기 지도화면 상에 가시화(S150)하여 실시간 재난 유형 탐지 정보를 제공한다.
또한 온라인 웹에 동영상 화면을 가시화하고, 인공지능 추론서버를 통해 동영상 정보에서 검출된 객체 정보를 상기 동영상 화면 상에 가시화(S150)하여 실시간 사람 탐지 정보를 제공한다.
이때, 웹 서비스 서버를 통해 온라인 상에 웹 서비스 화면을 제공하여, 제공된 웹 서비스 화면을 통해 재난 유형 탐지 정보 및 사람 탐지 정보를 사용자에게 실시간으로 제공할 수 있다.
여기서 웹 서비스 화면에 대한 구체적인 설명은 앞서 도 4 내지 도 6을 참조하여 전술한 웹 서비스 화면과 동일하므로 이에 대한 구체적인 설명은 생략하기로 한다.
또한, 온라인 웹을 통해 사용자로부터 정밀처리 영상정보에 대한 요청 정보가 입력될 경우, 정밀처리 서버를 통해 다수의 정지영상 정보를 이용하여 WebODM으로 정밀 처리하여, Point Cloud, DSM, 3D Mesh 및 정사영상을 생성하여 온라인 웹에 제공할 수 있다.
한편, 인공지능 추론서버를 통해 추론되는 검출 객체 정보와, 매핑 서버를 통해 생성되는 정사영상 정보 및 가시화 서버를 통해 가시화되는 이미지 및 동영상 정보는 상기 데이터베이스에 실시간 저장됨은 물론이다.
상술한 바와 같이, 본 발명에 따른 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템(10) 및 방법은 미리 학습된 인공지능 모델을 기반으로, 재난 발생 지역을 비행하는 드론(100)으로부터 정지영상 정보를 전송받아 재난 유형을 탐지하고, 상기 드론(100)으로부터 동영상 정보를 전송받아 사람 및 물체 등의 객체를 식별함으로써, 더욱 신속하고 정확하게 현장의 재난원인조사 업무를 수행할 수 있고, 넓은 영역의 실종자 수색을 효과적으로 수행할 수 있는 효과가 있다.
또한, 드론(100)으로 전송받은 재난 지역의 정지영상 정보를 정밀처리를 통해 Point Cloud, DSM, 3D Mesh, 정사영상 등을 생성하여 제공해줌으로써, 사용자에게 더욱 정밀하고 다양한 영상 정보를 제공할 수 있는 효과가 있다.
또한, 드론(100)의 비행 관련 정보, 정지영상 정보 및 동영상 정보를 송수신하는과정에서 관련 정보들을 데이터베이스(480)로 자동 저장시키고, 각각의 서버에서 이루어지는 각종 분석 정보를 데이터베이스(480)로 실시간 저장함으로써, 드론(100)의 재 비행 시, 데이터베이스(480)에 저장된 드론(100)의 비행궤적, 센서의 위치 자세 정보 등 이전의 비행과 관련된 각종 정보를 통해 드론(100)의 정밀한 비행경로 계획을 용이하게 수립할 수 있는 효과가 있다. 뿐만 아니라, 데이터베이스(480)를 통해 사용자가 웹 상에서 이전의 재난 발생 목록을 쉽게 조회하여 해당 재난 사건의 영상 정보를 확인할 수 있는 이점이 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10 : 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템
100 : 드론
200 : 조종기
300 : 공유기
400 : 분석 서버
410 : 이미지 송수신 서버
420 : 동영상 송수신 서버
430 : 인공지능 추론서버
440 : 매핑 서버
450 : 맵 가시화 서버
460 : 웹 서비스 서버
470 : 정밀처리 서버
480 : 데이터베이스

Claims (26)

  1. 본체에 탑재된 카메라를 통해 재난 지역을 촬영하여 정지영상 정보 및 동영상 정보를 획득하기 위한 드론;
    상기 드론과 무선 통신하여 상기 드론의 비행을 제어하고, 상기 드론의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 전송받는 조종기;
    상기 조종기와 무선 통신하는 공유기; 및
    상기 공유기와 연결되어, 공유기를 통해 상기 조종기에서 전송되는 드론의 비행 관련 정보와 재난지역의 정지영상 정보 및 동영상 정보를 전송받아 데이터베이스에 저장하고, 기설정된 인공지능 모델을 기반으로 상기 정지영상 정보를 추론하여 재난 유형 탐지 정보를 분석하며, 상기 동영상 정보를 추론하여 사람 탐지 정보를 분석하여, 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 온라인 웹(Web)을 통해 가시화하여 제공하기 위한 분석 서버;를 포함하여 구성되며,
    상기 조종기는,
    상기 드론을 통해 획득한 정지영상 정보를 실시간 전송하기 위한 정지영상 전송 어플(App) 및 상기 드론을 통해 획득한 동영상 정보를 실시간 전송하기 위한 동영상 전송 어플(App)을 구비하며,
    상기 분석 서버는,
    기설정된 인공지능 모델을 기반으로 상기 정지영상 정보의 이미지와 메타데이터를 이용하여 객체 검출을 통해 재난 유형을 탐지하고, 상기 동영상 정보에서 객체 검출을 통해 사람 및 사물을 식별하여 사람을 탐지하는 인공지능 추론서버;
    상기 정지영상 정보의 이미지와 메타데이터를 이용하여 실시간으로 정사영상 정보를 생성하는 매핑 서버;
    온라인 웹에 지도화면을 가시화하고, 상기 인공지능 추론서버를 통해 상기 정지영상 정보에서 검출된 객체 정보와 상기 매핑 서버에서 생성된 정사영상 정보를 상기 지도화면 상에 가시화하여 실시간 재난 유형 탐지 정보를 제공하며, 상기 온라인 웹에 동영상 화면을 가시화하고, 상기 인공지능 추론서버를 통해 상기 동영상 정보에서 검출된 객체 정보를 상기 동영상 화면 상에 가시화하여 실시간 사람 탐지 정보를 제공하는 맵 가시화 서버; 및
    상기 드론의 비행 관련 정보, 상기 정지영상 정보의 이미지와 메타데이터 및 상기 동영상 정보를 저장하고, 상기 인공지능 추론서버를 통해 추론되는 재난 유형 탐지 정보 및 사람 탐지 정보를 저장하는 데이터베이스;
    공유기를 통해 전송되는 상기 정지영상 정보를 수신받아, 수신된 정지영상 정보의 이미지와 메타데이터를 상기 데이터베이스에 송신하면서, 상기 인공지능 추론서버 및 상기 매핑 서버로 송신하는 이미지 송수신 서버; 및
    공유기를 통해 전송되는 상기 동영상 정보를 수신받아, 수신된 동영상 정보를 상기 데이터베이스에 송신하면서, 상기 인공지능 추론서버로 송신하는 동영상 송수신 서버;를 포함하며,
    상기 인공지능 추론 서버는,
    기설정된 Cascade Mask R-CNN 모델을 이용하여 상기 정지영상 정보에서 재난 유형을 탐지하고, 기설정된 YOLOv3 모델을 이용하여 상기 동영상 정보에서 사람을 탐지하는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 공유기 및 상기 분석 서버는 조사 차량 내부에 구비되며, 유선 연결되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 재난 유형에는 침수, 붕괴, 유실 및 산사태가 포함되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  7. 삭제
  8. 제 1항에 있어서,
    상기 데이터베이스는,
    인공지능 추론서버에서 검출한 객체의 정보를 저장하는 검출 객체 테이블;
    드론의 비행 시작, 종료, 토큰 정보를 저장하는 비행 계획 테이블;
    드론의 비행궤적, 센서의 위치 자세 정보를 저장하는 트랙 정보 테이블;
    트랙 정보에서 연산을 위해 필요한 정보만 따로 추출해서 저장하는 비행 트랙 테이블; 및
    전송되는 각종 영상 정보의 기본 정보를 저장하는 비행 영상 정보 테이블;
    을 포함하여 구성되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  9. 제 1항에 있어서,
    상기 분석 서버는,
    다수의 정지영상 정보를 이용하여 WebODM으로 정밀 처리하여, Point Cloud, DSM, 3D Mesh 및 정사영상을 생성하여 온라인 웹에 제공하는 정밀처리 서버;
    를 추가로 포함하는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  10. 제 1항에 있어서,
    상기 분석서버는,
    온라인 상에 웹 서비스 화면을 제공하여, 제공된 웹 서비스 화면을 통해 상기 분석서버에서 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 사용자에게 실시간으로 제공하기 위한 웹 서비스 서버;
    를 추가로 포함하는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  11. 제 10항에 있어서,
    상기 웹 서비스 화면은,
    정지영상 정보의 추론 및 맵핑 정보를 제공하기 위한 정지영상 제공 화면부와, 동영상 정보의 추론 및 맵핑 정보를 제공하기 위한 동영상 제공 화면부를 포함하여 이루어지는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  12. 제 11항에 있어서,
    상기 정지영상 제공 화면부는,
    다수의 선택 버튼과, 정보 입력창, 정보 출력창 및 이미지 표시창으로 구성된 이미지정보 선택항목으로 구성되며, 상기 이미지정보 선택항목에는 프로젝트 검색, 프로젝트 조회/관리, 결과 가시화, 개별사진 조회, 개별 정지영상 가시화, 개별 정지영상 정보가 포함되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  13. 제 11항에 있어서,
    상기 동영상 제공 화면부는,
    다수의 선택 버튼과, 정보 입력창, 정보 출력창 및 영상 표시창으로 구성된 동영상정보 선택항목으로 구성되며, 상기 동영상정보 선택항목에는 프로젝트 검색, 프로젝트 조회/관리, 실시간 영상, 검출 객체 정보가 포함되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템.
  14. 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템의 재난정보 탐지 방법에 있어서,
    조종기를 통해 드론을 제어하여 드론의 비행 관련 정보와 재난 지역의 정지영상 정보 및 동영상 정보를 획득하는 단계;
    상기 조종기에서 획득된 상기 드론의 비행 관련 정보와 상기 정지영상 정보 및 동영상 정보를 공유기와 무선 통신하여 상기 공유기에 연결된 분석 서버로 전송하는 단계; 및
    상기 분석 서버를 통해 상기 공유기에서 전송되는 드론의 비행 관련 정보와 재난지역의 정지영상 정보 및 동영상 정보를 데이터베이스에 저장하고, 기설정된 인공지능 모델을 기반으로 상기 정지영상 정보를 추론하여 재난 유형 탐지 정보를 분석하며, 상기 동영상 정보를 추론하여 사람 탐지 정보를 분석하여, 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 온라인 웹을 통해 가시화하는 단계;를 포함하며,
    상기 조종기는 정지영상 전송 어플(App)을 구비하여 재난 지역의 정지영상 정보를 획득하여 공유기로 전송하고, 동영상 전송 어플(App)을 구비하여 재난 지역의 동영상 정보를 획득하여 공유기로 전송하며,
    상기 분석 서버는 분석 서버에 구비된 이미지 송수신 서버를 통해 상기 공유기에서 전송되는 정지영상 정보를 수신받아, 수신된 정지영상 정보의 이미지와 메타데이터를 상기 데이터베이스에 송신하여 저장시키면서 분석 서버에 구비된 인공지능 추론서버 및 매핑 서버로 송신하며,
    분석 서버에 구비된 동영상 송수신 서버를 통해 공유기에서 전송되는 상기 동영상 정보를 수신받아, 수신된 동영상 정보를 상기 데이터베이스에 송신하여 저장시키면서 분석 서버의 인공지능 추론서버로 송신하며,
    상기 분석 서버의 인공지능 추론서버를 통해 기설정된 인공지능 모델을 기반으로 정지영상 정보의 이미지와 메타데이터에서 객체 검출을 통해 재난 유형을 탐지하고, 동영상 정보에서 객체 검출을 통해 사람 및 사물을 식별하여 사람을 탐지하며,
    분석 서버에 구비된 매핑 서버를 통해 정지영상 정보의 이미지와 메타데이터를 이용하여 정사영상 정보를 생성하며,
    분석 서버에 구비된 가시화 서버를 통해 온라인 웹에 지도화면을 가시화하고, 인공지능 추론서버를 통해 정지영상 정보에서 검출된 객체 정보와, 매핑 서버에서 생성된 정사영상 정보를 상기 지도화면 상에 가시화하여 실시간 재난 유형 탐지 정보를 제공하며, 온라인 웹에 동영상 화면을 가시화하고 인공지능 추론서버를 통해 동영상 정보에서 검출된 객체 정보를 상기 동영상 화면 상에 가시화하여 실시간 사람 탐지 정보를 제공하며,
    상기 인공지능 추론 서버는 기설정된 Cascade Mask R-CNN 모델을 이용하여 정지영상 정보에서 재난 유형을 탐지하고, 기설정된 YOLOv3 모델을 이용하여 동영상 정보에서 사람을 탐지하는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제 14항에 있어서,
    상기 인공지능 추론서버를 통해 추론되는 검출 객체 정보와, 매핑 서버를 통해 생성되는 정사영상 정보 및 가시화 서버를 통해 가시화되는 이미지 및 동영상 정보는 상기 데이터베이스에 실시간 저장되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
  21. 제 14항에 있어서,
    상기 데이터베이스는,
    인공지능 추론서버에서 검출한 객체의 정보를 저장하는 검출 객체 테이블;
    드론의 비행 시작, 종료, 토큰 정보를 저장하는 비행 계획 테이블;
    드론의 비행궤적, 센서의 위치 자세 정보를 저장하는 트랙 정보 테이블;
    트랙 정보에서 연산을 위해 필요한 정보만 따로 추출해서 저장하는 비행 트랙 테이블; 및
    전송되는 각종 영상 정보의 기본 정보를 저장하는 비행 영상 정보 테이블;
    를 포함하여 구성되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
  22. 제 14항에 있어서,
    상기 분석 서버를 통해 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 온라인 웹을 통해 가시화하는 단계에 있어서,
    분석 서버의 정밀처리 서버를 통해 다수의 정지영상 정보를 이용하여 WebODM으로 정밀 처리하여, Point Cloud, DSM, 3D Mesh 및 정사영상을 생성하여 온라인 웹에 제공하는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
  23. 제 14항에 있어서,
    상기 분석 서버를 통해 분석된 재난 유형 탐지 정보 및 사람 탐지 정보를 온라인 웹을 통해 가시화하는 단계에 있어서,
    분석 서버의 웹 서비스 서버를 통해 온라인 상에 웹 서비스 화면을 제공하여, 제공된 웹 서비스 화면을 통해 상기 재난 유형 탐지 정보 및 사람 탐지 정보를 사용자에게 실시간으로 제공하는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
  24. 제 23항에 있어서,
    상기 웹 서비스 화면은,
    정지영상 정보의 추론 및 매핑 정보를 제공하기 위한 정지영상 제공 화면부와, 동영상 정보의 추론 및 매핑 정보를 제공하기 위한 동영상 제공 화면부를 포함하여 이루어지는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
  25. 제 24항에 있어서,
    상기 정지영상 제공 화면부는,
    다수의 선택 버튼과, 정보 입력창, 정보 출력창 및 이미지 표시창으로 구성된 이미지정보 선택항목으로 구성되며, 상기 이미지정보 선택항목에는 프로젝트 검색, 프로젝트 조회/관리, 결과 가시화, 개별사진 조회, 개별 정지영상 가시화, 개별 정지영상 정보가 포함되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
  26. 제 24항에 있어서,
    상기 동영상 제공 화면부는,
    다수의 선택 버튼과, 정보 입력창, 정보 출력창 및 영상 표시창으로 구성된 동영상정보 선택항목으로 구성되며, 상기 동영상정보 선택항목에는 프로젝트 검색, 프로젝트 조회/관리, 실시간 영상, 검출 객체 정보가 포함되는 것을 특징으로 하는 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 방법.
KR1020210059196A 2021-05-07 2021-05-07 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법 KR102318489B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210059196A KR102318489B1 (ko) 2021-05-07 2021-05-07 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210059196A KR102318489B1 (ko) 2021-05-07 2021-05-07 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102318489B1 true KR102318489B1 (ko) 2021-10-28

Family

ID=78232476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210059196A KR102318489B1 (ko) 2021-05-07 2021-05-07 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102318489B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102473045B1 (ko) 2022-06-21 2022-12-06 대한민국 무인이동체 장치를 활용한 재난상황 통신 네트워크 인프라 보완방법 및 시스템
KR102569499B1 (ko) 2022-06-21 2023-08-25 대한민국 분리형 모듈을 활용한 매몰자 탐색 장치
KR102636143B1 (ko) * 2023-09-08 2024-02-14 주식회사 무브파크 드론영상 기반의 광고콘텐츠 적합성 판단방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200052418A (ko) * 2018-10-25 2020-05-15 주식회사 유캔스타 딥러닝 기반의 자동 폭력 감지 시스템
KR102118347B1 (ko) * 2019-04-09 2020-06-29 제이씨현시스템주식회사 드론의 열화상정보를 활용한 위험지역 자율비행 감시시스템
KR102166432B1 (ko) 2018-11-30 2020-10-15 재단법인 경북아이티융합 산업기술원 스마트 드론을 사용한 재난 상황 대응 방법
KR102203135B1 (ko) 2020-06-24 2021-01-14 대한민국 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200052418A (ko) * 2018-10-25 2020-05-15 주식회사 유캔스타 딥러닝 기반의 자동 폭력 감지 시스템
KR102166432B1 (ko) 2018-11-30 2020-10-15 재단법인 경북아이티융합 산업기술원 스마트 드론을 사용한 재난 상황 대응 방법
KR102118347B1 (ko) * 2019-04-09 2020-06-29 제이씨현시스템주식회사 드론의 열화상정보를 활용한 위험지역 자율비행 감시시스템
KR102203135B1 (ko) 2020-06-24 2021-01-14 대한민국 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102473045B1 (ko) 2022-06-21 2022-12-06 대한민국 무인이동체 장치를 활용한 재난상황 통신 네트워크 인프라 보완방법 및 시스템
KR102569499B1 (ko) 2022-06-21 2023-08-25 대한민국 분리형 모듈을 활용한 매몰자 탐색 장치
KR102636143B1 (ko) * 2023-09-08 2024-02-14 주식회사 무브파크 드론영상 기반의 광고콘텐츠 적합성 판단방법 및 시스템

Similar Documents

Publication Publication Date Title
KR102318489B1 (ko) 인공지능과 드론 영상을 이용한 실시간 재난정보 탐지 시스템 및 방법
Geraldes et al. UAV-based situational awareness system using deep learning
KR102203135B1 (ko) 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템
US11668577B1 (en) Methods and systems for response vehicle deployment
WO2019006189A1 (en) AUTOMATED SPACE INDEXING OF IMAGES BASED ON MASS PLAN CHARACTERISTICS
US20160165187A1 (en) Systems and methods for automated visual surveillance
US10839612B1 (en) Method and system for visualizing overlays in virtual environments
CN109298629A (zh) 用于为自主和非自主位置意识提供鲁棒跟踪的容错
US12045432B2 (en) Interactive virtual interface
KR102166432B1 (ko) 스마트 드론을 사용한 재난 상황 대응 방법
TW201823983A (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
CN107451527A (zh) 一种基于无人机的大型公共场所搜寻***
CN111796603A (zh) 烟雾巡检无人机***、巡检检测方法和存储介质
US20210221502A1 (en) Method and a system for real-time data processing, tracking, and monitoring of an asset using uav
CN111639825A (zh) 基于A-Star算法是森林火灾指示逃生路径方法及***
KR102527771B1 (ko) Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법
JP6583840B1 (ja) 検査システム
KR101827249B1 (ko) Ｖｐｎ망을 이용한 스마트 디바이스 기반 지능형 객체 인식 드론 시스템 및 지능형 객체 추적 방법
Novac et al. A framework for wildfire inspection using deep convolutional neural networks
KR20200067979A (ko) 입체적 멀티미디어 정보를 결정하기 위한 방법 및 장치
CN107704851A (zh) 人物识别方法、公共传媒展示装置、服务器和***
KR102542556B1 (ko) 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템
EP4391547A1 (en) System for providing panoramic image
JP7437930B2 (ja) 移動体及び撮像システム
KR102181809B1 (ko) 시설물 점검 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant