KR102587311B1 - 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램 - Google Patents

조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102587311B1
KR102587311B1 KR1020210089111A KR20210089111A KR102587311B1 KR 102587311 B1 KR102587311 B1 KR 102587311B1 KR 1020210089111 A KR1020210089111 A KR 1020210089111A KR 20210089111 A KR20210089111 A KR 20210089111A KR 102587311 B1 KR102587311 B1 KR 102587311B1
Authority
KR
South Korea
Prior art keywords
distress
area
person
processor
surrounding image
Prior art date
Application number
KR1020210089111A
Other languages
English (en)
Other versions
KR20230008946A (ko
Inventor
김진평
장규진
김영민
배현재
김영남
이지형
Original Assignee
재단법인차세대융합기술연구원
인천대학교 산학협력단
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인차세대융합기술연구원, 인천대학교 산학협력단, 성균관대학교산학협력단 filed Critical 재단법인차세대융합기술연구원
Priority to KR1020210089111A priority Critical patent/KR102587311B1/ko
Publication of KR20230008946A publication Critical patent/KR20230008946A/ko
Application granted granted Critical
Publication of KR102587311B1 publication Critical patent/KR102587311B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 조난 수색을 위한 전자 장치를 개시한다. 상기 전자 장치는 무인 비행체의 비행을 제어하며, 상기 무인 비행체의 비행 경로에 따른 주변 영상을 분석하도록 동작하는 프로세서(processor); 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리;를 포함하고, 상기 프로세서를 통해 실행되는 적어도 하나의 명령은, 상기 무인 비행체의 비행 과정에서 미리 정의된 조난 탐지 조건이 충족되었는지 여부를 판단하도록 하는 명령, 상기 조난 탐지 조건이 충족된 것으로 판단된 경우, 상기 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 상기 주변 영상에 사람이 속해있는지 여부를 판단하도록 하는 명령, 및 상기 판단 결과에 따라 조난 상황의 발생 여부를 결정하도록 하는 명령을 포함하는 것을 특징으로 한다.

Description

조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램{ELECTRONIC APPARATUS AND METHOD FOR SEARCHING DISTRESS, UNMANNED AERIAL VEHICLE, COMPUTER PROGRAM}
본 발명은 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램에 관한 것으로서, 더욱 상세하게는 무인 비행체를 이용하여 조난자를 수색하는, 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램에 관한 것이다.
드론(Drone)은 무인 비행장치로서 사람이 탑승하지 않고 비행할 수 있으며, 원격 조종으로 비행하고, 경우에 따라 사전에 입력된 프로그램 경로에 따라 자동으로 비행하는 장치를 뜻한다. 드론 관련 산업은 항공, ICT, SW, 센서 등 첨단 기술이 융합된 사업으로 타 산업과 연계성이 크고, 응용 서비스 산업과 연계 가능한 성장 잠재력이 크며, 세계 경제 포럼을 통해 글로벌 이슈로 부상한 4차 산업혁명을 주도할 대표적인 사이버-물리시스템으로서 드론에 대한 관심이 증가하고 있는 추세이다. 이에 따라, 최근 드론과 같은 무인 비행체의 이용을 위해 관련 법규가 정비되고 있으며, 자율주행, 회피비행 및 충돌사고 예방을 위해 드론에 AI(Artificial Intelligence) 영상 기술 접목하고자 하는 시도가 이루어지고 있다.
한편, 최근 강도 높은 이상기후 현상으로 인해 조난자 발생이 문제되고 있으며, 현재의 조난 수색 시스템은 구조 요원과 같은 수색자의 직접적인 수색 작업에 의존하여 조난자를 수색하는 소모적이고 반복적인 방식으로 진행됨으로 인해 그 수색자의 피로도가 가중되고 또한 수색자의 육안 수색에 의존함에 따라 보다 정확한 조난자 수색이 곤란한 문제점이 존재한다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2019-005534(2019.01.16. 공개)에 개시되어 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 드론과 같은 무인 비행체를 이용하여 조난 수색 작업을 수행함으로써, 조난자 수색이 구조 요원과 같은 수색자의 직접적인 수색 작업에 의존함으로 인해 야기되는 수색 비효율성을 제거하고 그 수색 정확도를 향상시킬 수 있는, 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 일 측면에 따른 조난 수색을 위한 전자 장치는 무인 비행체의 비행을 제어하며, 상기 무인 비행체의 비행 경로에 따른 주변 영상을 분석하도록 동작하는 프로세서(processor); 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리;를 포함하고, 상기 프로세서를 통해 실행되는 적어도 하나의 명령은, 상기 무인 비행체의 비행 과정에서 미리 정의된 조난 탐지 조건이 충족되었는지 여부를 판단하도록 하는 명령, 상기 조난 탐지 조건이 충족된 것으로 판단된 경우, 상기 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 상기 주변 영상에 사람이 속해있는지 여부를 판단하도록 하는 명령, 및 상기 판단 결과에 따라 조난 상황의 발생 여부를 결정하도록 하는 명령을 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 프로세서는, 사람의 통행 가능 여부 및 조난 상황 발생 이력 중 어느 하나를 토대로 구분 정의된 정상 구역 및 조난 구역이 반영되어 있는 지도 데이터를 기반으로 상기 무인 비행체의 비행을 제어하며, 상기 무인 비행체가 상기 지도 데이터 상의 조난 구역에 진입한 경우 상기 조난 탐지 조건이 충족된 것으로 판단하는 것을 특징으로 한다.
본 발명에 있어 상기 사람 탐지 모델은, 미리 구축된 복수의 이미지를 기반으로, YOLOv5(You Only Look Once) 알고리즘을 통해 입력 이미지 상의 사람을 탐지하도록 학습된 딥 러닝(Deep Learning) 모델인 것을 특징으로 한다.
본 발명에 있어 상기 사람 탐지 모델의 학습을 위해 미리 구축된 복수의 이미지는, 사람이 속한 제1 이미지와 사람 이외의 타 객체가 속한 제2 이미지를 포함하되, 상기 제1 및 제2 이미지는 미리 정의된 환경 조건별로 구분되어 복수 개 마련되는 것을 특징으로 한다.
본 발명에 있어 상기 환경 조건은, 상기 제1 및 제2 이미지가 획득되는 시점에서의 지형, 계절, 기상, 조도 및 고도 중 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 있어 상기 프로세서는, 상기 주변 영상에 상기 사람 탐지 모델을 적용한 결과 상기 주변 영상에 사람이 속해있는 것으로 판단된 경우, 조난 상황이 발생한 것으로 결정하여 상기 주변 영상과 해당 지역의 위치 정보를 관제 서버로 전송하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 무인 비행체는, 상기 무인 비행체의 비행 경로에 따른 주변 영상을 촬상하는 촬상부; 및 상기 무인 비행체의 비행을 제어하는 과정에서 상기 촬상부에 의해 촬상된 주변 영상을 기반으로 상기 비행 경로의 상황을 모니터링하도록 동작하되, 비행 과정에서 미리 정의된 조난 탐지 조건이 충족된 경우, 상기 촬상부에 의해 촬상된 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 상기 주변 영상에 사람이 속해있는지 여부를 판단하고 그 판단 결과에 따라 조난 상황의 발생 여부를 결정하는 프로세서;를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 조난 수색 방법은 프로세서에 의해 수행되며, 무인 비행체의 비행을 제어하는 과정에서 상기 무인 비행체에 구비된 촬상부에 의해 촬상된 주변 영상을 기반으로 비행 경로의 상황을 모니터링하는 단계; 상기 무인 비행체의 비행 과정에서 미리 정의된 조난 탐지 조건이 충족되었는지 여부를 판단하는 단계; 상기 조난 탐지 조건이 충족된 것으로 판단된 경우, 상기 촬상부에 의해 촬상된 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 상기 주변 영상에 사람이 속해있는지 여부를 판단하는 단계; 및 상기 판단 결과에 따라 조난 상황의 발생 여부를 결정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 컴퓨터 프로그램은 하드웨어와 결합되어, 무인 비행체의 비행을 제어하는 과정에서 상기 무인 비행체에 구비된 촬상부에 의해 촬상된 주변 영상을 기반으로 비행 경로의 상황을 모니터링하는 단계; 상기 무인 비행체의 비행 과정에서 미리 정의된 조난 탐지 조건이 충족되었는지 여부를 판단하는 단계; 상기 조난 탐지 조건이 충족된 것으로 판단된 경우, 상기 촬상부에 의해 촬상된 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 상기 주변 영상에 사람이 속해있는지 여부를 판단하는 단계; 및 상기 판단 결과에 따라 조난 상황의 발생 여부를 결정하는 단계;를 실행시키기 위해 컴퓨터 판독 가능 저장매체에 저장된 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 무인 비행체가 미리 정의된 조난 구역을 비행 과정에서 획득된 영상에 딥 러닝 모델을 적용하여 사람을 탐지하는 방식으로 조난자 수색을 수행함으로써, 조난자 수색이 구조 요원과 같은 수색자의 직접적인 수색 작업에 의존함으로 인해 야기되는 수색 비효율성을 제거되고 그 수색 정확도가 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치의 동작 방식을 설명하기 위한 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치에서 사람 탐지 모델을 학습시키기 위한 이미지의 예시를 보인 예시도이다.
도 3은 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치에서 사람 탐지 모델의 학습을 위한 YOLOv5 알고리즘의 구조를 보인 예시도이다.
도 4는 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치의 동작 결과 관제 센터의 인터페이스 장치를 통해 출력되는 인터페이스 화면의 예시를 보인 예시도이다.
도 5는 본 발명의 일 실시예에 따른 조난 수색 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치의 동작 방식을 설명하기 위한 블록구성도이고, 도 2는 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치에서 사람 탐지 모델을 학습시키기 위한 이미지의 예시를 보인 예시도이며, 도 3은 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치에서 사람 탐지 모델의 학습을 위한 YOLOv5 알고리즘의 구조를 보인 예시도이고, 도 4는 본 발명의 일 실시예에 따른 조난 수색을 위한 전자 장치의 동작 결과 관제 센터의 인터페이스 장치를 통해 출력되는 인터페이스 화면의 예시를 보인 예시도이다.
도 1에 도시된 것과 같이 본 실시예의 조난 수색을 위한 전자 장치(200)는 프로세서(210), 메모리(220) 및 GPS 모듈(230)을 포함할 수 있으며, 무인 비행체(UAV)에 탑재되어 무인 비행체(UAV)의 비행을 제어하는 제어 장치로 기능할 수 있다. 본 실시예에서 적용되는 무인 비행체(UAV)에는 그 비행 경로에 따른 주변 영상을 촬상하는 촬상부(100)(예: 카메라 센서)가 구비되어 있을 수 있으며, 이에 따라 프로세서(210)는 무인 비행체(UAV)의 비행 과정에서 촬상부(100)에 의해 획득되는 주변 영상을 분석하여 비행 경로를 모니터링하도록 동작할 수 있다. 메모리(220)에는 프로세서(210)에 의해 실행되는 적어도 하나의 명령이 저장될 수 있다. 메모리(220)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구현될 수 있으며, 예를 들어 읽기 전용 메모리(ROM: Read Only Memory) 및/또는 랜덤 액세스 메모리(RAM: Random Access Memory)로 구현될 수 있다. 프로세서(210)는 중앙 처리 장치(CPU: Central Processing Unit) 또는 SoC(System on Chip)로 구현될 수 있으며, 운영 체제 또는 어플리케이션을 구동하여 프로세서(210)에 연결된 복수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는 메모리(220)에 저장된 적어도 하나의 명령을 실행시키고, 그 실행 결과 데이터를 메모리(220)에 저장하도록 구성될 수 있다.
메모리(220)에 저장되어 프로세서(210)에 의해 실행되는 적어도 하나의 명령은, ⅰ)무인 비행체(UAV)의 비행 과정에서 미리 정의된 조난 탐지 조건이 충족되었는지 여부를 판단하도록 하는 명령과, ⅱ)조난 탐지 조건이 충족된 것으로 판단된 경우, 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 주변 영상에 사람이 속해있는지 여부를 판단하도록 하는 명령과, ⅲ)판단 결과에 따라 조난 상황의 발생 여부를 결정하도록 하는 명령과, ⅳ)조난 상황이 발생한 것으로 결정된 경우 주변 영상과 해당 지역의 위치 정보를 관제 서버(300)로 전송하도록 하는 명령을 포함할 수 있다.
위 내용을 바탕으로, 이하에서는 무인 비행체(UAV)를 이용하여 조난 수색을 수행하는 본 실시예의 구성을 프로세서(210)의 동작을 중심으로 구체적으로 설명한다.
프로세서(210)는 기본적으로 무인 비행체(UAV)의 비행을 제어하는 과정에서 촬상부(100)에 의해 촬상된 주변 영상을 기반으로 비행 경로의 상황을 모니터링하도록 동작할 수 있으며, 무인 비행체(UAV)의 비행은 메모리(220)에 저장되어 있는 지도 데이터에 따라 그 경로가 결정된다.
본 실시예에서 지도 데이터에는 사람의 통행 가능 여부 및 조난 상황 발생 이력 중 어느 하나를 토대로 구분 정의된 정상 구역 및 조난 구역이 반영되어 있을 수 있다. 구체적으로, 사람이 통행 가능한 구역(예: 산책로, 해안로 등) 및/또는 통계적으로 조난 상황이 발생한 이력이 적은 구역이 정상 구역으로 지도 데이터에 정의되어 있을 수 있고, 사람이 통행 불가능한 구역(예: 산악 지형의 낭떠러지 등) 및/또는 통계적으로 조난 상황이 발생한 이력이 많은 구역이 조난 구역으로 지도 데이터에 정의되어 있을 수 있다.
이에 따라, 프로세서(210)는 무인 비행체(UAV)가 정상 구역을 비행중인 경우(즉, 정상 구역에 해당하는 상공을 비행중인 경우. 정상 구역에 해당하는 상공의 영역은 지도 데이터에 구획 정의되어 있을 수 있다), 촬상부(100)에 의해 촬상된 주변 영상을 기반으로 정상 구역의 상황을 모니터링하도록 동작할 수 있다. 또한, 무인 비행체(UAV)가 조난 구역으로 진입한 경우(즉, 조난 구역에 해당하는 상공으로 진입한 경우, 조난 구역에 해당하는 상공의 영역 또한 지도 데이터에 구획 정의되어 있을 수 있다), 프로세서(210)는 조난 탐지 조건이 충족된 것으로 판단하여, 조난 구역에서의 조난 수색 동작(즉, 조난자 수색 작업)을 개시하도록 동작할 수 있다.
조난 탐지 조건이 충족되어 조난 수색 동작이 개시되면, 프로세서(210)는 촬상부(100)에 의해 촬상된 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 주변 영상에 사람이 속해있는지 여부를 판단하도록 동작할 수 있다.
사람 탐지 모델은 미리 구축된 복수의 이미지를 기반으로 입력 이미지 상의 사람을 탐지하도록 학습된 딥 러닝(Deep Learning) 모델에 해당할 수 있다. 여기서, 사람 탐지 모델의 학습을 위해 미리 구축된 복수의 이미지는, 사람이 속한 제1 이미지와 사람 이외의 타 객체(예: 동물 또는 식물 등 사람을 제외한 물체)가 속한 제2 이미지를 포함할 수 있다. 즉, 조난 지역에 위치한 객체는 사람을 비롯하여 다양한 객체를 포함할 수 있으며, 이러한 타 객체로부터 사람을 정확히 인식하기 위해 사람 탐지 모델의 학습을 위한 이미지는 탐지 대상이 되는 사람이 속한 제1 이미지와, 필터링 대상이 되는 타 객체가 속한 제2 이미지로 구분되어 마련될 수 있다. 제1 이미지의 경우, 사람의 자세(Pose)는 가변될 수 있는 점을 고려하여, 사람의 다양한 자세를 커버하여 사람 탐지 모델로 하여금 보다 정확하게 사람을 탐지하도록 하기 위해, 다양한 사람의 자세(예: 누워있음(Lying), 앉아있음(Siting), 서 있음(Standing))가 반영된 방식으로 구축되어 있을 수 있다.
또한, 제1 및 제2 이미지는 미리 정의된 환경 조건별로 구분되어 복수 개 마련될 수 있으며, 상기의 환경 조건은 제1 및 제2 이미지가 획득되는 시점에서의 지형, 계절, 기상, 조도 및 고도 중 하나 이상을 포함할 수 있다. 즉, 사람 탐지 모델이 입력 이미지로부터 사람을 탐지할 때, 객체가 존재하는 위치의 지형(예: 평지, 수풀, 산악 또는 저수지. 도 2 참조), 계절에 따른 환경 변화, 기상 상황(예: 비, 눈, 안개 등)에 따른 환경 변화, 조도(예: 낮과 밤)에 따른 환경 변화, 그리고 해당 이미지를 촬상하는 고도(즉, 저조도 및 고조도)에 따라 변화되는 이미지상의 객체 크기가 고려되어야 보다 정확하게 사람을 탐지할 수 있으므로, 학습 데이터로 기능하는 제1 및 제2 이미지는 이러한 환경 조건에 따라 구분되어 복수 개 마련된 후 사람 탐지 모델의 학습에 활용될 수 있다.
한편, 사람 탐지 모델의 학습을 위한 알고리즘으로서 YOLOv5(You Only Look Once) 알고리즘이 채용될 수 있다. YOLOv4 알고리즘은 높은 FPS(Frames Per Second) 성능을 기반으로 실시간성에 적합한 딥 러닝 알고리즘으로서, 본 실시예에서는 도 3에 도시된 것과 같이 입력 이미지에서 중요한 특징을 추출하는 역할인 모델 백본(Backbone)을 BottleNeck과 CSPNet을 결합하고 활성화 함수로 SiLU를 사용한 C3 모델을 활용함으로써 Faster R-CNN, Cascade R-CNN, RetinaNet 등의 알고리즘 대비 그 학습 능력이 향상되도록 하였다.
위와 같이 학습된 사람 탐지 모델을 주변 영상에 적용한 결과, 주변 영상에 사람이 속해있는 것으로 판단된 경우, 프로세서(210)는 조난 상황이 발생한 것으로 결정하여 주변 영상과, GPS 모듈(230)을 통해 측위된 해당 지역의 위치 정보를 관제 센터의 관제 서버(300)로 전송할 수 있다. 이에 따라, 관제 서버(300)는 프로세서(210)로부터 수신된 주변 영상에 속한 사람을 마킹하여 인터페이스 장치(400)(예: 디스플레이를 구비한 컴퓨팅 디바이스)를 통해 출력하여 관제 센터의 작업자가 확인하도록 할 수 있다. 도 4는 인터페이스 장치(400)를 통해 작업자에게 출력되는 인터페이스 화면의 예시를 보이고 있다.
도 5는 본 발명의 일 실시예에 따른 조난 수색 방법을 설명하기 위한 흐름도이다. 도 5를 참조하여 본 실시예에 따른 조난 수색 방법을 설명하며, 위에서 설명한 내용과 중복되는 부분에 대한 구체적인 설명은 배제하고 그 시계열적인 구성을 중심으로 설명한다.
먼저, 프로세서(210)는 무인 비행체(UAV)의 비행을 제어하는 과정에서 촬상부(100)에 의해 촬상된 주변 영상을 기반으로 비행 경로의 상황을 모니터링한다(S100).
S100 단계에 따른 무인 비행체(UAV)의 비행 과정에서, 프로세서(210)는 미리 정의된 조난 탐지 조건이 충족되었는지 여부를 판단한다(S200). 이때, 프로세서(210)는 무인 비행체(UAV)가 지도 데이터 상의 조난 구역에 진입한 경우 조난 탐지 조건이 충족된 것으로 판단한다.
S200 단계에서 조난 탐지 조건이 충족된 것으로 판단된 경우, 프로세서(210)는 촬상부(100)에 의해 촬상된 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 주변 영상에 사람이 속해있는지 여부를 판단한다(S300).
S300 단계의 판단 결과에 따라 프로세서(210)는 조난 상황의 발생 여부를 결정하며, 즉, 주변 영상에 사람 탐지 모델을 적용한 결과 주변 영상에 사람이 속해있는 것으로 판단된 경우, 프로세서(210)는 조난 상황이 발생한 것으로 결정한다(S400). 이후, 프로세서(210)는 주변 영상과 해당 지역의 위치 정보를 관제 서버(300)로 전송한다(S500).
한편, 본 실시예에 따른 조난 수색 방법은 하드웨어와 결합되어 전술한 S100 단계 내지 S500 단계를 실행시키기 위한 컴퓨터 프로그램으로 작성될 수 있으며, 컴퓨터로 판독 가능한 기록매체에 저장되어 상기 컴퓨터 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 판독 가능한 기록매체는 ROM, RAM, 하드 디스크, 플로피 디스크, 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 해당될 수 있다.
이와 같이 본 실시예는 무인 비행체가 미리 정의된 조난 구역을 비행 과정에서 획득된 영상에 딥 러닝 모델을 적용하여 사람을 탐지하는 방식으로 조난자 수색을 수행함으로써, 조난자 수색이 구조 요원과 같은 수색자의 직접적인 수색 작업에 의존함으로 인해 야기되는 수색 비효율성을 제거되고 그 수색 정확도가 향상될 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
UAV: 무인 비행체
100: 촬상부
200: 전자 장치
210: 프로세서
220: 메모리
230: GPS 모듈
300: 관제 서버
400: 인터페이스 장치

Claims (9)

  1. 무인 비행체의 비행을 제어하며, 상기 무인 비행체의 비행 경로에 따른 주변 영상을 분석하도록 동작하는, 중앙 처리 장치(CPU: Central Processing Unit) 또는 SoC(System on Chip)로 구현되는 프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된, 읽기 전용 메모리(ROM: Read Only Memory) 또는 랜덤 액세스 메모리(RAM: Random Access Memory)로 구현되는 메모리;를 포함하고,
    상기 프로세서를 통해 실행되는 적어도 하나의 명령은,
    상기 무인 비행체의 비행 과정에서 미리 정의된 조난 탐지 조건이 충족되었는지 여부를 판단하도록 하는 명령,
    상기 조난 탐지 조건이 충족된 것으로 판단된 경우, 상기 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 상기 주변 영상에 사람이 속해있는지 여부를 판단하도록 하는 명령, 및
    상기 판단 결과에 따라 조난 상황의 발생 여부를 결정하도록 하는 명령을 포함하고,
    상기 프로세서는, 상기 무인 비행체의 비행을 제어하는 과정에서 상기 무인 비행체에 구비된 카메라 센서에 의해 촬상된 상기 주변 영상을 기반으로 비행 경로의 상황을 모니터링하되, 상기 비행 경로는 상기 메모리에 저장되어 있는 지도 데이터에 따라 결정되고,
    상기 프로세서는, 사람의 통행 가능 여부 및 조난 상황 발생 이력 중 어느 하나를 토대로 구분 정의된 정상 구역 및 조난 구역이 반영되어 있는 상기 지도 데이터를 기반으로 상기 무인 비행체의 비행을 제어하되, 상기 정상 구역은 산책로 및 해안로를 포함하고 상기 조난 구역은 낭떠러지를 포함하고, 상기 정상 구역에서의 조난 상황 발생 횟수는 상기 조난 구역에서의 조난 상황 발생 횟수보다 적고,
    상기 정상 구역에 해당하는 상공 영역 및 상기 조난 구역에 해당하는 상공 영역은 상기 지도 데이터에 구획 정의되어 있고,
    상기 프로세서는, 상기 무인 비행체가 상기 정상 구역에 해당하는 상공 영역을 비행중인 경우, 상기 카메라 센서에 의해 촬상된 주변 영상을 기반으로 상기 정상 구역의 상황을 모니터링하고, 상기 무인 비행체가 상기 조난 구역에 해당하는 상공 영역에 진입한 경우 상기 조난 탐지 조건이 충족된 것으로 판단하여 상기 조난 구역에서의 조난 수색 동작을 개시하고,
    상기 사람 탐지 모델은, 미리 구축된 복수의 이미지를 기반으로 YOLOv5(You Only Look Once) 알고리즘을 통해 학습된 딥 러닝(Deep Learning) 모델이되, 상기 딥 러닝 모델의 백본(Backbone)은 BottleNeck과 CSPNet가 결합되고 활성화 함수로 SiLU가 사용된 C3 모델이고,
    상기 사람 탐지 모델의 학습을 위해 미리 구축된 복수의 이미지는, 사람이 속한 제1 이미지와 사람 이외의 타 객체로서 동물 또는 식물이 속한 제2 이미지를 포함하되, 상기 제1 및 제2 이미지는 미리 정의된 환경 조건별로 구분되어 복수 개 마련되고,
    상기 환경 조건은, 상기 제1 및 제2 이미지가 획득되는 시점에서의 지형, 계절, 기상 상황, 조도 및 고도를 포함하되, 상기 지형은 평지, 수풀, 산악 및 저수지를 포함하고, 상기 기상 상황은 비가 오는 상황, 눈이 오는 상황 및 안개가 낀 상황을 포함하고,
    상기 제1 이미지는 사람의 자세별로 구분되어 복수 개 마련되되, 상기 자세는 누운 자세, 앉은 자세 및 서있는 자세를 포함하고,
    상기 프로세서는, 상기 주변 영상에 상기 사람 탐지 모델을 적용한 결과 상기 주변 영상에 사람이 속해있는 것으로 판단된 경우, 조난 상황이 발생한 것으로 결정하여 상기 주변 영상과 해당 지역의 위치 정보를 관제 센터의 관제 서버로 전송하고,
    상기 관제 서버는, 상기 프로세서로부터 수신된 주변 영상에 속한 사람을 마킹하고 디스플레이를 구비한 인터페이스 장치를 통해 출력하여 상기 관제 센터의 작업자에게 제공하는 것을 특징으로 하는, 조난 수색을 위한 전자 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 무인 비행체로서,
    상기 무인 비행체의 비행 경로에 따른 주변 영상을 촬상하는 카메라 센서;
    중앙 처리 장치(CPU: Central Processing Unit) 또는 SoC(System on Chip)로 구현되며, 상기 무인 비행체의 비행을 제어하는 과정에서 상기 카메라 센서에 의해 촬상된 주변 영상을 기반으로 상기 비행 경로의 상황을 모니터링하도록 동작하되, 비행 과정에서 미리 정의된 조난 탐지 조건이 충족된 경우, 상기 카메라 센서에 의해 촬상된 주변 영상에 미리 학습된 사람 탐지 모델을 적용하여 상기 주변 영상에 사람이 속해있는지 여부를 판단하고, 상기 판단 결과에 따라 조난 상황의 발생 여부를 결정하는 프로세서; 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된, 읽기 전용 메모리(ROM: Read Only Memory) 또는 랜덤 액세스 메모리(RAM: Random Access Memory)로 구현되는 메모리;
    를 포함하고,
    상기 비행 경로는 상기 메모리에 저장되어 있는 지도 데이터에 따라 결정되고,
    상기 프로세서는, 사람의 통행 가능 여부 및 조난 상황 발생 이력 중 어느 하나를 토대로 구분 정의된 정상 구역 및 조난 구역이 반영되어 있는 상기 지도 데이터를 기반으로 상기 무인 비행체의 비행을 제어하되, 상기 정상 구역은 산책로 및 해안로를 포함하고 상기 조난 구역은 낭떠러지를 포함하고, 상기 정상 구역에서의 조난 상황 발생 횟수는 상기 조난 구역에서의 조난 상황 발생 횟수보다 적고,
    상기 정상 구역에 해당하는 상공 영역 및 상기 조난 구역에 해당하는 상공 영역은 상기 지도 데이터에 구획 정의되어 있고,
    상기 프로세서는, 상기 무인 비행체가 상기 정상 구역에 해당하는 상공 영역을 비행중인 경우, 상기 카메라 센서에 의해 촬상된 주변 영상을 기반으로 상기 정상 구역의 상황을 모니터링하고, 상기 무인 비행체가 상기 조난 구역에 해당하는 상공 영역에 진입한 경우 상기 조난 탐지 조건이 충족된 것으로 판단하여 상기 조난 구역에서의 조난 수색 동작을 개시하고,
    상기 사람 탐지 모델은, 미리 구축된 복수의 이미지를 기반으로 YOLOv5(You Only Look Once) 알고리즘을 통해 학습된 딥 러닝(Deep Learning) 모델이되, 상기 딥 러닝 모델의 백본(Backbone)은 BottleNeck과 CSPNet가 결합되고 활성화 함수로 SiLU가 사용된 C3 모델이고,
    상기 사람 탐지 모델의 학습을 위해 미리 구축된 복수의 이미지는, 사람이 속한 제1 이미지와 사람 이외의 타 객체로서 동물 또는 식물이 속한 제2 이미지를 포함하되, 상기 제1 및 제2 이미지는 미리 정의된 환경 조건별로 구분되어 복수 개 마련되고,
    상기 환경 조건은, 상기 제1 및 제2 이미지가 획득되는 시점에서의 지형, 계절, 기상 상황, 조도 및 고도를 포함하되, 상기 지형은 평지, 수풀, 산악 및 저수지를 포함하고, 상기 기상 상황은 비가 오는 상황, 눈이 오는 상황 및 안개가 낀 상황을 포함하고,
    상기 제1 이미지는 사람의 자세별로 구분되어 복수 개 마련되되, 상기 자세는 누운 자세, 앉은 자세 및 서있는 자세를 포함하고,
    상기 프로세서는, 상기 주변 영상에 상기 사람 탐지 모델을 적용한 결과 상기 주변 영상에 사람이 속해있는 것으로 판단된 경우, 조난 상황이 발생한 것으로 결정하여 상기 주변 영상과 해당 지역의 위치 정보를 관제 센터의 관제 서버로 전송하고,
    상기 관제 서버는, 상기 프로세서로부터 수신된 주변 영상에 속한 사람을 마킹하고 디스플레이를 구비한 인터페이스 장치를 통해 출력하여 상기 관제 센터의 작업자에게 제공하는 것을 특징으로 하는, 무인 비행체.
  8. 삭제
  9. 삭제
KR1020210089111A 2021-07-07 2021-07-07 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램 KR102587311B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210089111A KR102587311B1 (ko) 2021-07-07 2021-07-07 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210089111A KR102587311B1 (ko) 2021-07-07 2021-07-07 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20230008946A KR20230008946A (ko) 2023-01-17
KR102587311B1 true KR102587311B1 (ko) 2023-10-13

Family

ID=85111050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210089111A KR102587311B1 (ko) 2021-07-07 2021-07-07 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102587311B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254491B1 (ko) * 2019-11-22 2021-05-21 (주)가시 지능형 영상 분석 모듈을 탑재한 자율비행 드론

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102254491B1 (ko) * 2019-11-22 2021-05-21 (주)가시 지능형 영상 분석 모듈을 탑재한 자율비행 드론

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
딥러닝을 이용한 무인기에서의 조난자 탐지기술 개발 최종보고서(2019.04.29.)*
무인비행체 임베디드 조난자 탐지 시스템(2017.08.31.)*

Also Published As

Publication number Publication date
KR20230008946A (ko) 2023-01-17

Similar Documents

Publication Publication Date Title
Jiao et al. A deep learning based forest fire detection approach using UAV and YOLOv3
US10021254B2 (en) Autonomous vehicle cameras used for near real-time imaging
US11705010B2 (en) Pre-emptive generation of autonomous unmanned aerial vehicle inspections according to monitored sensor events
KR102208152B1 (ko) 무인 비행체를 이용한 산악지역의 재난 대응 시스템 및 방법
CN110770791A (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
CN110619276B (zh) 基于无人机移动监控的异常及暴力检测***和方法
JP2019008431A (ja) 経路探索装置および経路探索方法
US11829959B1 (en) System and methods for fully autonomous potholes detection and road repair determination
CN112596071A (zh) 无人机自主定位方法、装置及无人机
CN111913492A (zh) 无人机安全降落方法和装置
Wu et al. Cooperative unmanned surface vehicles and unmanned aerial vehicles platform as a tool for coastal monitoring activities
US11174023B1 (en) Self-charging unmanned vehicle
McGee et al. Unmanned aerial vehicle and artificial intelligence for thermal target detection in search and rescue applications
CN105761275A (zh) 带有双目视觉结构的消防预警飞行器
KR102587311B1 (ko) 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램
CN116022079A (zh) 智能求援方法、求援装置及车辆
CN112365544B (zh) 图像识别干扰检测方法、装置、计算机设备及存储介质
Aspragathos et al. From pillars to AI technology-based forest fire protection systems
Farhadmanesh et al. Implementing Haar Cascade Classifiers for Automated Rapid Detection of Light Aircraft at Local Airports
CN114415726B (zh) 一种基于图像分析的无人机避障控制***及方法
US20240044651A1 (en) Systems and methods for dispatching and navigating an unmanned aerial vehicle
CN105759826A (zh) 带有智能型消防探测装置的飞行器
CN113485440A (zh) 一种无人机着陆飞行的方向控制方法
CN113537198A (zh) 一种无人机图像采集时自动拍照的控制方法
Avendano et al. Towards the development of a complex structural inspection system using small-scale aerial vehicles and image processing

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)