KR102254491B1 - 지능형 영상 분석 모듈을 탑재한 자율비행 드론 - Google Patents
지능형 영상 분석 모듈을 탑재한 자율비행 드론 Download PDFInfo
- Publication number
- KR102254491B1 KR102254491B1 KR1020200055533A KR20200055533A KR102254491B1 KR 102254491 B1 KR102254491 B1 KR 102254491B1 KR 1020200055533 A KR1020200055533 A KR 1020200055533A KR 20200055533 A KR20200055533 A KR 20200055533A KR 102254491 B1 KR102254491 B1 KR 102254491B1
- Authority
- KR
- South Korea
- Prior art keywords
- drone
- image
- camera
- analysis module
- intelligent
- Prior art date
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 76
- 238000004891 communication Methods 0.000 claims abstract description 54
- 239000000284 extract Substances 0.000 claims abstract description 16
- 238000001931 thermography Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 27
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 22
- 230000001133 acceleration Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 17
- 238000013473 artificial intelligence Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 abstract description 9
- 238000011176 pooling Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 230000009429 distress Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000003703 image analysis method Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D27/00—Arrangement or mounting of power plants in aircraft; Aircraft characterised by the type or position of power plants
- B64D27/02—Aircraft characterised by the type or position of power plants
- B64D27/24—Aircraft characterised by the type or position of power plants using steam or spring force
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/02—Arrangements or adaptations of signal or lighting devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
지능형 영상 분석 기능을 탑재한 자율비행 드론이 개시된다. 지능형 영상 분석 기능을 탑재한 자율비행 드론은 드론에 카메라(열화상 카메라, 일반 카메라)가 구비되고, 드론 자체에 카메라 영상의 지능형 영상 분석(FPGA, TPU, IPU 등 영상분석을 위한 칩셋 활용), 원격 드론 이동 제어를 제공하며, 드론 자율비행 시에 드론 자체의 지능형 영상 분석 모듈에 의해 드론의 열화상 카메라/일반 카메라의 영상의 객체들을 검출하고, 카메라 영상의 객체의 특징 추출 및 분류하고, 산불/화재시에 사람(조난객), 바다/해안 경비시에 사람/선박을 식별하며, 드론으로부터 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망)을 통해 드론 카메라의 영상 내의 객체가 식별된 영상 데이터를 미디어 서버(RTSP server)로 전송하고, 이를 지상 단말기의 클라이언트(RTSP client)로 표출된다.
Description
본 발명은 자율비행 드론에 관한 것으로, 보다 상세하게는 지능형 영상 분석 모듈을 탑재한 자율비행 드론에 관한 것이다.
드론은 군사용으로 사용되는 무인 항공기(Unmanned Aerial Vehicle, UAV)와, 소형 비행기 형태의 고정익 드론과, 쿼드 콥터 또는 헥사 콥터 등의 형태를 가진 회전익 드론으로 분류된다.
회전익 드론은 주로 쿼드 콥터 또는 헥사 콥터 등이 상업용 멀티 콥터로 사용되며, 4, 6, 8개의 프로펠러와 모터를 구비하는 드론을 사용하며, 별도의 드론 조종기(RC Transmitter/Receiver)를 사용하여 RF 주파수를 통해 드론 동작제어 신호(PWM command)를 하늘을 나는 드론으로 전송하여 드론의 수직 이착륙(VTOL, Vertical Takeoff and Landing)과 방향 제어, 선형 가속, 비행 경로 제어, 랜딩을 제어한다.
도 1은 기존 4대의 프로펠러를 구비한 회전익 드론(쿼드콥터)이다. 도 2는 드론의 내부 구성도이다.
드론은 공기 역학적으로 안정적인 비행을 위해 비행 콘트롤러(FC, Flight Controller)와 전자속도제어기(ESC, Electronic speed Controller)를 사용하며, 비행 콘트롤러(FC)는 드론의 이동 방향과 위치를 정확하게 계산하기 위해 임베디드 프로세서에 내장된 자이로스코프, 가속도계, 고도계로부터 정보를 취합한다. 모터(M1, M2, M3, M4)가 4개인 쿼드콥터의 작동원리는 M1, M3 로터와 M2, M4 로터는 각각 같은 방향으로 회전하지만 서로 회전방향이 반대이며, 모터에서 발생하는 반동토크를 상쇄시켜 작동된다.
표 1은 쿼드 콥터의 동작 원리를 나타낸다.
| 상승 및 하강 (Trottle up/down) |
M1~M4를 동일하게 회전속도를 올리면 기체는 상승하고 동일하게 회전속도를 낮추면 기체는 하강하게 된다. |
| 전후진 (Roll left/right) |
M3 로터의 속도만 올리면 기체는 앞으로 기울어져 전진하게 되고 반면에 M1 로터의 속도만을 올리면 기체는 뒤로 기울어져 후진하게 된다. |
| 좌후진 (Roll left/right) |
M2 로터의 속도만을 올리면 기체는 왼쪽으로 기울어져 왼쪽으로 이동하고 반면에 M4 로터의 속도만을 올리면 기체는 오른쪽으로 기울어져 오른쪽으로 이동한다. |
| 회전 (Yaw left/right) |
M1 그리고 M3 로터의 속도를 동일하게 증가시키면 기체의 반토크 균형이 깨져 기체 후미가 왼쪽으로 돌아갑니다. 반면에 M2와 M3 로터의 속도를 동일하게 증가시키면 마찬가지 이유로 기체의 후미가 오른쪽으로 돌아간다. |
기존 드론 제어기(RC Tx/Rx)는 1~4까지의 모드가 사용된다. 각 국가별로 선호하는 모드가 있으며, 대부분 모드1과 모드 2를 사용한다. 모드1의 경우, 오른쪽 스틱으로 에일러론과 스로틀을 제어하며, 왼손으로 엘리베이터와 에일러론을 제어한다. 모드 2는 실제 비행기와 가장 근접한 조종 방식이다. 오른쪽 스틱은 에일러론과 엘리베이터를 제어하고, 왼쪽 스틱은 스로틀과 러더를 제어한다. 즉 오른손은 조종간의 에일러론과 엘리베이터를 제어하고, 왼손은 스로틀 레버를 제어하는 실제 비행기와 매우 유사하다. 조종기를 사용하는 드론의 비행 제어는 다음과 같은 비행 모드가 존재한다. 이는 FC(Flight Controller)에 따라 설정이 가능하다.1) 매뉴얼 모드 (Manual Mode)
매뉴얼 모드는 조종기의 스틱(각도)에 기체의 피치(pitch), 롤(roll) 방향의 회전속도가 비례하는 모드이다. 스틱을 일정량 기울이고 있으면 기체는 상응하는 속도로 계속 회전한다. 기체가 기울어져 있는 상태에서 스틱을 중립으로 하면 그 각도를 유지하는 모드이다.
*2) 에띠튜드 모드 (Attitude Mode)
에띠튜드 모드에서, 조종기의 스틱에 기체의 각도가 비례한다. 스틱이 중립일때 기체가 수평이며 스틱을 최대한 기울이면 기체 각도 또한 미리 설정된 한계값까지 기울여진다. 전후좌우 이동시 해당 방향으로 스틱을 계속 기울이고 있어야 한다.
3) GPS Angle Mode
GPS Angle Mode에서 스틱이 중립이면, 기체의 포지션이 고정된다. 스틱을 움직일 시 2) Attitude Mode와 동일한 움직임을 보인다.
4) GPS Mode
GPS Mode에서, 조종기의 스틱에 기체의 속도가 비례한다. 스틱을 중립으로 유지시 동일한 위치에서 고정(hovering)된다.
이와 관련된 선행기술1로써, 특허 등록번호 10-19334280000에서는, "드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템"이 등록되어 있다.
도 2는 종래의 드론의 영상을 수신하여 사람인식 영상분석 프로그램을 실행하는 드론 시스템의 블록도이다.
드론(100)은 드론제어부(70), EO카메라(40), IR카메라(30), 통신모듈(60), GPS센서(10), 고도센서(20), 전원부(80) 및 구동부(50)을 포함한다. 드론(100)에는 이외에도 프로펠러, 밧데리, 각종 센서 및 비행제어프로그램을 내장한 메모리(72) 등을 구비한다.
드론시스템은, 제1영상을 촬영하는 전기광학(Electro-Optical) EO카메라, 제2영상을 촬영하는 적외선(Infrared) IR카메라, 제1영상 및 제2영상을 실시간으로 전송하는 통신모듈 및 통신모듈을 제어하는 제어부를 포함하는 드론; 드론으로부터 제1영상 및 제2영상을 실시간으로 수신하여 저장하는 RTSP서버; 및 RTSP서버에 접속하여 제1영상 및 제2영상을 수신하며 제1영상 및 제2영상을 이용하여 사람을 인식하는 사람인식 프로그램을 실행하는 지상 컴퓨터를 포함한다.
드론은 전기광학 EO카메라와 적외선 IR카메라를 이용하여 영상을 촬영하여 실시간으로 RTSP서버에 전송하고, RTSP서버의 영상은 지상제어단말기 또는 지상 컴퓨터가 수신하고, 지상 단말기 또는 지상 컴퓨터는 전용의 사람인식 프로그램을 실행하여 빠른 시간에 사람을 인식한다.
지상의 휴대폰, 모바일장치, 노트북, PC 등의 지상 컴퓨터들은 RTSP서버에 연결하여 영상을 수신하고 사람인식 프로그램을 실행하여 빠른 시간에 사람을 인식한다.
그러나, 기존 드론의 영상 분석 시스템은 드론 자체에 지능형 영상 분석 기능을 제공하지 않았으며, 드론으로부터 촬영된 카메라 영상 데이터를 통신망을 통해 지상 단말기 또는 지상 컴퓨터로 전송하고, 지상 단말기 또는 지상 컴퓨터에서 드론 카메라의 영상 분석이 이루어졌다.
상기 문제점을 해결하기 위한 본 발명의 목적은 드론에 카메라(열화상 카메라, 또는 일반 카메라)가 구비되고, 드론 자체에 카메라 영상의 지능형 영상 분석(FPGA, TPU, IPU 등 영상분석을 위한 칩셋 활용), 원격 드론 이동 제어를 제공하며, 드론 자율비행 시에 드론 자체의 지능형 영상 분석 모듈에 의해 드론의 열화상 카메라/일반 카메라의 영상의 객체들을 검출하고, 카메라 영상의 객체의 특징 추출 및 분류하고, 산불/화재시에 사람(조난객), 바다/해안 경비시에 사람/선박을 식별하며, 드론으로부터 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망)을 통해 드론 카메라의 영상 내의 객체가 식별된 영상 데이터를 미디어 서버(RTSP server)로 전송하고, 이를 지상 단말기의 클라이언트(RTSP client)로 표출하는, 지능형 영상 분석 모듈을 탑재한 자율비행 드론을 제공한다.
본 발명의 목적을 달성하기 위해, 지능형 영상 분석 모듈을 탑재한 자율비행 드론은, 카메라가 구비되고, 드론 자체에 카메라 영상 데이터의 지능형 영상 분석 모듈을 포함하는 지능형 영상 분석 모듈을 탑재한 자율비행 드론; 상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론으로부터 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 수신받아 저장하는 미디어 서버; 및 상기 미디어 서버에 연결되며, 상기 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 실시간으로 클라이언트로 표출하며, 드론으로 원격 드론 비행 제어 신호를 전송하는 지상 단말기를 포함하며,
상기 드론의 비행 콘트롤러(FC)에 연결되며, 상기 지능형 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 인공지능의 딥러닝 알고리즘을 사용하여 영상 분석을 통해 영상의 객체를 검출하여 상기 객체가 식별된 영상 데이터를 제공하고,
상기 비행 콘트롤러(FC)에 연결되며, 야간에 LED 조명을 비추는 LED 조명부를 더 포함하며,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은 상기 드론의 전원 공급부는 배터리 또는 태양전지부를 사용하고,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은
4대 이상의 프로펠러와 모터(M1,M2,M3,M4); 상기 4대 이상의 프로펠러와 모터(M1,M2,M3,M4)와 연결되며, 비행 콘트롤러(FC)와 연결되는 전자 속도 제어기(ESC); 상기 전자 속도 제어기(ESC)와 연결되며, 무선 통신부를 통해 상기 지상 단말기으로부터 원격 드론 비행 제어 신호를 수신받고, 드론 자체의 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 인공지능 딥러닝 알고리즘을 사용하여 드론 카메라의 영상의 객체를 검출하고 특징 추출과 분류하여 객체가 식별된 영상 데이터를 상기 미디어 서버로 송신되도록 제어하는 비행 콘트롤러(FC); 상기 비행 콘트롤러(FC)와 연결되며, 상기 지상 단말기로부터 원격 드론 비행 제어 신호를 수신받고, RF, Wi-Fi. LTE 4G/5F 통신부 중 어느 하나를 구비하는 무선통신부; 상기 비행 콘트롤러(FC)와 연결되며, 드론의 GPS 위치 정보를 제공하는 GPS 수신기; 상기 비행 콘트롤러(FC)와 연결되며, 드론의 해발고도 정보를 제공하는 고도계; 상기 비행 콘트롤러(FC)와 연결되며, z 축(axis)을 기준으로 회전하는 4대의 프로펠러들(304,306,308,310)의 각속도를 측정하여 yaw, roll, pitch를 제어하여 드론의 자세 제어를 하여 드론의 좌우 수평 밸런싱을 유지되도록 하는 자이로스코프(gyroscope, gyro sensor); 및 상기 비행 콘트롤러(FC)와 연결되며, 비행경로를 이동하는 드론의 가속도를 측정하는 가속도 센서(acceleration sensor)를 구비하는 INS 관성항법 장치; 드론의 하부에 구비된 PTZ 제어가 가능한 카메라; 상기 비행 콘트롤러(FC)와 연결되며, 상기 카메라의 영상을 인코딩하는 A/V 영상처리부; 카메라의 영상 데이터와 그 타임별 드론의 위치와 고도, 속도, 가속도 데이터를 기록하는 저장부; 상기 비행 콘트롤러와 연결되며, 드론에 전원을 공급하는 전원 공급부; 상기 비행 콘트롤러(FC)에 연결되며, 지능형 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 인공지능의 딥러닝 알고리즘을 사용하여 영상 분석을 통해 영상의 객체를 검출하여 상기 객체가 식별된 영상 데이터를 제공하는 지능형 영상 분석 모듈; 및 상기 드론의 상부 보디 몸체와 하부 수직 이착륙부를 구비하는 기구부 프레임을 포함한다.
본 발명의 지능형 영상 분석 모듈을 탑재한 자율비행 드론은 드론에 카메라(열화상 카메라, 또는 일반 카메라)가 구비되고, 드론 자체에 카메라 영상의 지능형 영상 분석(FPGA, TPU, IPU 등 영상분석을 위한 칩셋 활용), 원격 드론 이동 제어를 제공하며, 드론 자율비행 시에 드론 자체의 지능형 영상 분석 모듈에 의해 드론의 열화상 카메라/일반 카메라의 영상의 객체들을 검출하고, 드론의 카메라 영상 내의 각각 객체의 특징 추출 및 분류하고, 산불/화재시에 사람(조난객), 바다/해안 경비시에 사람/선박을 식별하며, 드론으로부터 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망 등)을 통해 드론 카메라의 영상 내의 객체가 식별된 영상 데이터를 미디어 서버(RTSP server)로 전송하고, 이를 지상 단말기의 클라이언트(RTSP client)로 표출하게 되었다.
기존 기술에서는, 드론 시스템에서, 카메라 영상 분석 모듈은 지상 단말기(PC)에 구비되어 드론으로부터 카메라 영상 데이터를 수신받아 지능형 영상 분석이 이루어졌으나,
본 발명에서는 드론 자체에 지능형 영상 분석 모듈을 구비하며, 산불/화재시에 조난객(사람), 바다/해안 경비시에 사람/선박을 식별 분석하게 되었다.
도 1은 기존의 4대의 프로펠러를 구비한 회전익 드론이다.
도 2는 종래의 드론의 영상을 수신하여 사람인식 영상분석 프로그램을 실행하는 드론 시스템의 블록도이다.
도 3은 기존 관제센터 PC에서 드론의 카메라 영상에 대하여 영상 분석 기능을 탑재한 드론의 사진이다.
도 4는 본 발명에 따른 드론 자체에 카메라 영상에 대하여 지능형 영상 분석 모듈을 탑재한 자율비행 드론을 나타낸 사진이다.
도 5는 본 발명의 실시예에 따른 자율비행 드론의 내부 블록도이다.
도 6은 본 발명에 따른 자율비행 드론의 지능형 영상 분석 방법을 나타낸 플로차트이다.
도 2는 종래의 드론의 영상을 수신하여 사람인식 영상분석 프로그램을 실행하는 드론 시스템의 블록도이다.
도 3은 기존 관제센터 PC에서 드론의 카메라 영상에 대하여 영상 분석 기능을 탑재한 드론의 사진이다.
도 4는 본 발명에 따른 드론 자체에 카메라 영상에 대하여 지능형 영상 분석 모듈을 탑재한 자율비행 드론을 나타낸 사진이다.
도 5는 본 발명의 실시예에 따른 자율비행 드론의 내부 블록도이다.
도 6은 본 발명에 따른 자율비행 드론의 지능형 영상 분석 방법을 나타낸 플로차트이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 3은 기존 관제센터 PC에서 드론의 카메라 영상에 대하여 영상 분석 모듈을 탑재한 드론의 사진이다.
드론의 카메라의 영상 데이터-> 비디오 스트리밍 서버(RTSP server)->지상 단말기(관제센터의 PC, 드론 조작기에 삽착된 스맛폰)(RTSP client)의 클라이언트로 이벤트 표출 및 고화질 영상 출력되며, 지상 단말기는 원격 드론 제어 신호를 통신망을 통해 드론으로 전송하여 드론 비행 제어를 한다.
도 4는 본 발명에 따른 드론 자체에 카메라 영상에 대하여 지능형 영상 분석 기능을 탑재한 자율비행 드론을 나타낸 사진이다.
지능형 영상 분석 기능을 탑재한 자율비행 드론은
드론에 카메라(열화상 카메라, 또는 일반 카메라)가 구비되고, 드론 자체에 카메라 영상의 지능형 영상 분석(FPGA, TPU, IPU 등 영상분석을 위한 칩셋 활용), 원격 드론 이동 제어를 제공하며, 드론 자율비행 시에 드론 자체의 지능형 영상 분석 모듈에 의해 드론의 열화상 카메라/일반 카메라의 영상의 객체들을 검출하고, 카메라 영상의 객체의 특징 추출 및 분류하고, 산불/화재시에 사람(조난객), 바다/해안 경비시에 사람/선박을 식별하며, 드론으로부터 통신망(RF, Wi-Fi, LTE 4G/5G, 또는 IoT 통신망 등)을 통해 드론 카메라의 영상 내의 객체가 식별된 영상 데이터를 미디어 서버(RTSP server)로 전송하고, 이를 상기 미디어 서버에 접속된 지상 단말기의 클라이언트(RTSP client)로 표출된다.
기존 기술에서는, 드론 시스템에서, 드론의 카메라의 영상 분석 모듈은 지상 단말기(PC)에 구비되어 드론으로부터 카메라 영상 데이터를 수신받아 지능형 영상 분석이 이루어졌으나, 이와 달리,
본 발명은 드론 자체에 지능형 영상 분석 모듈을 구비하며, 드론의 카메라의 영상 내 객체들을 검출하고 각각의 객체의 특징 추출 및 분류하며, 산불/화재시에 조난객(사람), 바다/해안 경비시에 사람/선박을 식별 분석하게 되었다.
본 발명의 지능형 영상 분석 모듈을 탑재한 자율비행 드론은
드론에 카메라가 구비되고, 드론 자체에 카메라 영상 데이터의 지능형 영상 분석 모듈을 포함하고, 지상 단말기로부터 원격 드론 이동 제어 신호를 수신하며, 드론의 카메라의 영상 내의 객체들을 검출하고 각각의 객체의 특징 추출 및 분류하여 산불/화재시 조난객, 바다/해안 경비시에 사람/선박 객체를 식별하여 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망 등)을 통해 미디어 서버(200)로 전송하는 지능형 영상 분석 모듈을 탑재한 자율비행 드론(300);
RTSP 프로토콜을 사용하는 RTSP Server로써, 상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론(300)으로부터 상기 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 수신받아 저장하는 미디어 서버(비디오 스트리밍 서버)(200); 및
상기 미디어 서버(200)에 연결되며, RTSP 클라이언트를 사용하여 상기 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 실시간으로 클라이언트로 표출하며, 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망 등)을 통해 상기 자율비행 드론(300)으로 원격 드론 비행 제어 신호를 전송하는 지상 단말기(100)을 포함하며,
상기 드론의 비행 콘트롤러(FC)에 연결되며, 상기 지능형 영상 분석 모듈에 의해 칼만필터 알고리즘을 사용하여 객체를 추적하고, 또는 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 인공지능의 딥러닝 알고리즘을 사용하여 영상 분석을 통해 영상의 객체를 검출하여 상기 객체가 식별된 영상 데이터를 제공하고,
상기 비행 콘트롤러(FC)에 연결되며, 야간에 LED 조명을 비추는 LED 조명부를 더 포함한다.
지상 단말기(100)는 드론 통신부를 구비한 PC, 또는 드론 조작기에 연결된 스마트폰을 사용한다.
드론(300)은 회전익 드론 또는 고정익 드론을 사용한다.
드론의 카메라는 열화상 카메라 또는 일반 카메라를 사용한다.
드론 자체의 지능형 영상 분석 모듈은 인공지능 딥러닝 알고리즘을 사용하며, 컨볼류션 신경망(CNN), 또는 재귀적 신경망(RNN) 알고리즘 등을 사용하여 드론(300)의 카메라 영상 내의 객체들을 추출하고 각각의 객체의 특징 추출(feature extraction) 및 분류(classification)하며, 드론 자체에서 지능형 영상 분석 모듈의 영상 분석을 통해 산불/화재시 조난객, 바다/해안 경비시에 사람/선박 객체를 식별하여 해당 객체를 자동 추적하고, 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 미디어 서버(200)로 전송하고, 이를 상기 미디어 서버(200)에 연결된 지상 단말기(100)의 클라이언트로 표출되도록 하는 것을 특징으로 한다.
(실시예)
실시예에서는, 드론(300)은 적어도 4개 이상의(4/6/8)의 프로펠러를 갖는 회전익 드론을 사용하였으며, 드론(300)의 카메라는 PTZ 제어가 가능한 열화상 카메라를 사용하였다.
도 5는 본 발명의 실시예에 따른 자율비행 드론의 내부 블록도이다.
1) 회전익 드론
지능형 영상 분석 모듈을 탑재한 자율비행 드론(300)은 기본적으로 4대의 프로펠러(304,306,308,310)와 모터(M1,M2,M3,M4), 전자속도제어기(ESC, Electronic Speed Controller)(302), 비행 콘트롤러(FC, Flight Controller)(301), 카메라(317)와 A/V 영상처리부(319), Wi-Fi 또는 LTE 4G/5G 또는 IoT 통신망 등 통신부(311), GPS수신기(312), 고도계(altimeter)(313), 자이로스코프와 가속도 센서를 구비하는 INS(Inertial Navigation System, 관성항법장치)(314), 저장부(323), 및 전원 공급부(330)를 포함하며,
상기 비행 콘트롤러(FC)(301)에 연결되며, 드론의 카메라 영상 내 객체를 추적하기 위한 칼만 필터 알고리즘 또는 영상내 객체를 검출하기 위한 인공지능의 딥러닝 알고리즘(CNN, RNN)을 사용하여 카메라 영상의 객체들을 추출하고, 각각의 객체의 특징 추출 및 분류하여 산불/화재시 조난객, 바다/해안 경비시에 사람/선박 객체를 식별하여 객체가 식별된 영상 데이터를 제공하는 지능형 영상 분석 모듈(327)을 포함한다.
드론 자체에 지능형 영상 분석 모듈(327)을 구비하고, 분석된 객체를 자동 추적하는 것이 특징이다.
상기 비행 콘트롤러(FC)(301)에 연결되며, 야간에 LED 조명을 비추는 복수의 LED 회로가 구비된 LED 조명부(321)를 포함한다.
관성항법장치(INS)는 자이로 센서와 가속도 센서를 구비한다.
드론(300)의 전원 공급부(330)는 배터리 또는 태양전지부를 사용한다.
드론의 전자속도 제어기(ESC)(302)는 지상 단말기의 원격 드론 비행 제어 신호에 따라 드론의 모터들(M1,M2,M3,M4)의 회전수를 제어하여 속도 제어, 위치 제어 및 고도 제어를 한다.
지능형 영상 분석 모듈을 탑재한 자율비행 드론의 시스템은
RF, Wi-Fi, LTE 4G/5G 또는 IoT 통신망 등 통신부를 구비하며, 원격 드론 비행 제어 신호를 전송하는 지상 단말기(100); 및
상기 지상 단말기(100)으로부터 원격 드론 비행 제어 신호를 수신받아 드론의 수직 이착륙, 수직 상승/하강, 선형 가속, 드론의 방향 제어, 드론의 고도 제어, hovering(정지), 랜딩 및 비행 경로 제어, 자율비행 경로 또는 드론의 비행경로 설정에 따라 각 경로 구간에 위치, 속도와 고도가 미리 설정된 드론의 Waypoint 스케쥴 경로 비행에 따라 드론의 비행경로가 제어되며, 4대 이상의 프로펠러(204,206,208,210)와 모터(303,305,307,309), 전자속도제어기(ESC)(302)와 비행 콘트롤러(FC)(301)를 구비하며, 카메라(317)와 A/V 영상처리부(319), 비행 콘트롤러(FC)(301)와 연결되는 GPS 수신기(312), 고도계(313), 가속도 센서와 자이로스코프를 구비한 INS 관성항법장치(314), 저장부(323)와 전원 공급부(330)를 포함하며,
상기 비행 콘트롤러(FC)에 연결되며, 지능형 영상 분석 모듈에 의해 드론의 카메라 영상 내의 객체들을 추적하기 위해 칼만필터 알고리즘을 사용하거나 또는 영상 내 객체를 검출하기 위해 인공지능의 딥러닝(CNN, RNN 등) 알고리즘을 사용하여 영상 분석을 통해 드론의 카메라의 영상 내의 객체들을 검출하고 각각의 객체의 특징 추출과 분류하여 객체가 식별된 영상 데이터를 제공하는 지능형 영상 분석 모듈(327)을 포함하고,
상기 비행 콘트롤러(FC)(301)에 연결되며, 야간에 LED 조명을 비추는 LED 조명부(321)를 더 포함하며,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은 상기 드론의 전원 공급부는 배터리 또는 태양전지부를 사용한다.
상기 비행 콘트롤러(FC)(301)는 전자 속도 제어기(ESC)(302)와 연결되며, 드론의 수직 이착륙, 수직 상승/하강, 방향 제어, 선형 가속, 드론의 속도 제어, 고도 제어, 호버링, 랜딩 및 비행 경로를 제어하고, 드론의 자율 비행 또는 스케쥴 경로 비행의 해당 경로를 따라 하늘을 나는 드론이 정확하게 위치되도록 속도 제어, 위치 제어, 고도 제어를 한다.
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론(300)은
자율비행 시에, 드론 자체에 구비된 지능형 영상 분석 모듈에 의해 CNN, RNN 딥러닝 알고리즘의 영상 분석을 통해 드론의 카메라 영상의 객체들을 검출하고, 객체의 특징 추출 및 분류하여 산불/화재시에 조난객(사람), 바다/해안 경비시에 사람/선박 객체를 식별하여 객체가 식별된 영상 데이터를 제공하며, 드론으로부터 카메라 영상의 객체가 식별된 영상 데이터를 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망 등)을 통해 실시간으로 센터의 미디어 서버(200)로 전송한다.
미디어 서버(200)는 RTSP 프로토콜을 사용하는 RTSP Server로써 비디오 스트리밍 서버를 포함하며, 드론으로부터 드론의 카메라 영상의 객체가 식별된 영상 데이터를 수신받아 저장하며,
지상 단말기(100)는 상기 미디어 서버(200)에 연결되며, RTSP 클라이언트를 사용하여 객체가 식별된 영상 데이터를 실시간으로 클라이언트로 표출한다.
지상 단말기(100)는 드론 조작기(RC Transmitter/Receiver(RC Tx/Rx))에 연결된 스마트폰을 사용하며, 드론 통신부를 구비한 센터 PC를 사용하며,
센터 PC의 드론 통신부는 RF, Wi-Fi, LTE 4G/5G 또는 IoT 통신망 등 중 어느 하나를 사용한다. IoT 통신망은 LoRa RF, NB-IoT 통신망 등을 사용할 수 있다.
지상 단말기(100)는 드론을 원격 제어하는 조작부(101); 드론의 수직 이착륙, 수직 상승/하강, 방향 제어, 선형 가속, 드론의 속도 제어, 고도 제어, 위치 제어, 호버링, 랜딩 및 비행 경로를 제어하는 비행제어 SW(102); 미디어 서버(200)에 접속하여 RTSP client를 사용하여 드론의 카메라의 객체가 식별된 영상 데이터를 표시부(107)로 출력하는 클라이언트(103); 드론의 원격 드론 비행 제어 신호를 전송하도록 제어하는 제어부(104); 드론(300)으로 통신망(RF, Wi-Fi, 또는 LTE 4G/5G, IoT 통신망 등)을 통해 원격 드론 비행 제어 신호를 송신하는 통신부(106); 드론으로부터 수신된 객체가 식별된 영상 데이터를 수신받아 저장하는 저장부(105); 및 상기 제어부(104)와 연결되며, 드론의 카메라의 객체가 식별된 영상 데이터를 표출하는 표시부(107)로 구성된다.
비행 제어 SW는 비행경로계획 소프트웨어 및 비행관제 소프트웨어를 구비한다.
비행경로계획 소프트웨어는 비행고도, 중복도(종중복도, 횡중복도), 드론의 비행고도에 따른 카메라의 사진촬영 횟수 간격설정, 긴급착륙지점(ERP), 홈위치 고도(RTH), 안전서클(Geofencing) 반경을 설정한다.
비행관제 소프트웨어는 무선통신기술을 사용하여 드론의 위치, 비행방향, 속도, 고도 값을 실시간으로 출력하고 제어하는 소프트웨어이다.
지능형 영상 분석 모듈을 탑재한 자율비행 드론(300)은
4대 이상의 프로펠러(304,306,308,310)와 모터(M1,M2,M3,M4);
4대 이상의 프로펠러(304,306,308,310)와 모터(M1,M2,M3,M4)와 연결되며, 비행 콘트롤러(FC)(301)와 연결되는 전자 속도 제어기(ESC)(302);
상기 전자 속도 제어기(ESC)(302)와 연결되며, 무선 통신부(311)를 통해 지상 단말기(100)으로부터 원격 드론 비행 제어 신호를 수신받고, 드론의 수직 이착륙, 수직 상승/하강, 방향 제어, 속도 제어, 고도 제어, hovering(정지), 랜딩 및 비행 경로를 제어하며, 지상 단말기/미디어 서버와의 데이터 송수신을 제어하며, 드론의 자율 비행 또는 스케쥴 비행경로 설정에 따라 각 경로 구간에 위치 제어, 속도 제어, 고도 제어를 하며, 드론 자체의 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 인공지능 딥러닝 기술을 사용하여 드론 카메라의 영상 내의 객체를 검출하고 특징 추출과 분류하여 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 미디어 서버(200)로 송신되도록 제어하는 비행 콘트롤러(FC)(301);
상기 비행 콘트롤러(FC)(301)와 연결되며, 지상 단말기(100)로부터 원격 드론 비행 제어 신호를 수신받고, RF, Wi-Fi, LTE 4G/5F, IoT 통신망 등의 통신부 중 어느 하나를 구비하는 무선통신부(311);
상기 비행 콘트롤러(FC)(301)와 연결되며, 드론의 GPS 위치 정보를 제공하는 GPS 수신기(312);
상기 비행 콘트롤러(FC)(301)와 연결되며, 드론의 해발고도 정보를 제공하는 고도계(313);
상기 비행 콘트롤러(FC)(301)와 연결되며, z 축(axis)을 기준으로 회전하는 4대의 프로펠러들(304,306,308,310)의 각속도를 측정하여 yaw, roll, pitch를 제어하여 드론(300)의 자세 제어를 하여 드론의 좌우 수평 밸런싱을 유지되도록 하는 자이로스코프(gyroscope, gyro sensor); 및 상기 비행 콘트롤러(FC)(301)와 연결되며, 비행경로를 이동하는 드론의 가속도를 측정하는 가속도 센서(acceleration sensor)를 구비하는 INS 관성항법 장치(314);
드론의 하부에 구비된 PTZ 제어가 가능한 카메라(317);
상기 비행 콘트롤러(FC)(301)와 연결되며, 상기 카메라(317)의 영상을 인코딩하는 A/V 영상처리부(319);
카메라의 영상 데이터와 그 타임별 드론의 위치와 고도, 속도, 가속도 데이터를 기록하는 저장부(하드디스크)(323);
상기 비행 콘트롤러(FC)(301)와 연결되며, 드론에 전원을 공급하는 전원 공급부(330);
상기 비행 콘트롤러(FC)(301)에 연결되며, 지능형 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 인공지능의 딥러닝(CNN, RNN 등) 알고리즘을 사용하여 영상 분석을 통해 영상의 객체를 검출하여 객체가 식별된 영상 데이터를 제공하는 지능형 영상 분석 모듈(327);
상기 비행 콘트롤러(FC)(301)에 연결되며, 야간에 LED 조명을 비추는 LED 조명부(321); 및
드론(300)의 상부 보디(몸체)와 하부 수직 이착륙부를 구비하는 기구부 프레임을 포함한다.
상기 드론(300)은 상기 비행 콘트롤러(FC)(301)에 연결되며, 야간에 LED 조명을 비추는 LED 조명부(321)를 더 포함한다.
드론(300)은 비행 콘트롤러(FC)(301)와 연결되는 타이머를 더 포함할 수 있다.
드론(300)은 비행 콘트롤러(FC)(301)와 연결되는 USB 메모리 연결부를 더 포함할 수 있다.
드론(300)은 USB 메모리 연결부 외에 SD 카드 연결부를 더 포함하며, SD Card Slot를 통해 SD 카드에 카메라 촬영 영상과 비행 기록과 관성항법 데이터를 기록할 수 있다.
도 6은 본 발명에 따른 자율비행 드론의 지능형 영상 분석 방법을 나타낸 플로차트이다.
자율비행 드론의 지능형 영상 분석 방법은
지능형 영상 분석 모듈(FPGA, TPU, IPU 등 영상분석을 위한 칩셋 활용)을 탑재하며 카메라를 구비한 자율비행 드론은 드론에 카메라(열화상 카메라, 일반 카메라)가 구비되고, 원격 드론 이동 제어(FPGA, nVidia Jetson, TPU 등 활용)를 하는 단계(S10);
자율비행 드론의 열화상 카메라를 사용하여 드론 자체에 카메라 영상의 지능형 영상 분석 모듈에 의해 영상 데이터의 객체들을 검출하고, 각각의 객체의 특징 추출 및 분류하며, 산불/화재시에 사람(조난객), 바다/해안 경비시에 사람/선박을 식별하여(S20) 드론으로부터 객체가 식별된 영상 데이터를 통신망을 통해 센터의 미디어 서버(RTSP server)로 전송하는 단계(S30); 및
센터의 미디어 서버(RTSP server)에 접속된 지상 단말기의 클라이언트(RTSP client)가 드론으로부터 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망 등)을 통해 객체가 식별된 영상 데이터를 지상 단말기의 클라이언트(RTSP client)로 표출하는 단계(S40)를 포함한다.
상기 방법은 야간에, 지상 단말기의 원격 드론 비행 제어 신호에 따라 자율주행 드론의 LED 조명등이 켜지고, 드론의 열화상 카메라를 사용하여 드론 카메라의 영상에서 산불/화재 지역에 접근하는 사람(조난객) 객체 또는 바다/해안 경비시에 사람/선박 객체가 검출되면, 지상 단말기의 클라이언트로 일정시간 동안 알람(alarm)을 발생하고 이벤트 정보를 표출하는 단계(S50)를 더 포함한다.
드론 자체에 구비된 지능형 영상 분석 모듈은 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 딥러닝 알고리즘을 사용하여 드론의 카메라 영상의 객체들을 검출한다. 또한, 추가적으로, 드론 카메라 영상 내의 객체 추적은 칼만필터 알고리즘을 사용할 수 있다.
실시예에서는, 드론의 지능형 영상 분석 모듈(SW)의 드론 카메라 영상의 객체 검출(Object Detection) 알고리즘은 인공 지능의 딥러닝 알고리즘 중 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(Conventional Neural Network, CNN) 알고리즘을 사용하였다.
입력층(input layer)/n개의 은닉층(hidden layer)(Layer 1, Layer 2, Layer 3... )/출력층(output layer)으로 구성된 다층구조의 컨볼루션 신경망(CNN) 알고리즘은 드론 카메라 영상의 특징 추출과 분류하여 객체(사람, 선박 등)를 검출한다.
컨볼루션 신경망(CNN, Convolutional Neural Network)은 컨볼루셔널 층(Convolutional Layer), 풀링 층(Pooling Layer), FC 층(Fully Connected Layer, 완전연결층)을 포함하는 3개의 레이어가 사용된다.
CNN 알고리즘은 입력 영상에 가중치를 갖는 mask(예, 3x3 window)를 일정거리씩 이동해가며 컨볼루셔널 층(Convolutional Layer)과 풀링 층(Pooling Layer)에 의해 각각 convolution(합성곱)과 subsampling을 반복하여 영상의 데이터량을 줄이며 영상의 특징을 추출(feature extraction)하며, 컨볼루션에 의해 특징맵(feature map)을 추출하고, 신경망(Neural Network)에 의해 객체(사람, 선박 등)를 분류(classification)한다.
영상 처리시에, CNN 알고리즘에서, 컨볼루션(convolution)은 가중치(weight)를 갖는 마스크(예, 3x3 윈도우)를 사용하여 영상처리가 이루어지며, 입력 영상에 가중치를 갖는 마스크(예, 3x3 윈도우)를 이동해가며, 현재 입력 영상에 가중치를 갖는 마스크를 씌운 후 입력 영상의 픽셀값과 마스크의 가중치(weight)를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정해진다.
subsampling은 화면 크기를 줄이는 과정이며, 해당 영역의 최대치를 선택하는 max pooling을 사용한다.
FC 층(Fully Connected Layer, 완전연결층)은 신경망의 입력단자에 연결시켜 학습(learning)에 의해 객체를 분류한다.
현재 5층의 convolution layer와 3층의 fully_connected layer를 사용할 수 있다. 객체 추적을 학습하기 위해 객체 추적용 데이터베이스를 사용하여 학습할 수 있다.
컨볼루셔널 층(Convolutional Layer)의 출력은 Max-Pooling Layer에 의해 subsampling을 진행하여 image의 특징맵(feature map)의 사이즈가 줄여지며, Max-Pooling의 출력은 FC 층(Fully Connected Layer)에서 객체의 클래스를 분류한다.
결과적으로, 드론 카메라의 영상 내의 객체들(사람, 선박 등)을 검출하고 각각의 객체의 특징 추출 및 분류를 위해 CNN 구조의 중간 몇 개의 컨볼루션 층(convolutional layer)에서 객체 위치영역과 종류 정보를 포함하는 특징맵(feature map)을 추출하고, Pooling layer를 통과함에 따라 특징맵의 크기가 작아지며 각각 다른 크기의 특징맵에서 객체 위치영역 정보를 추출하여 객체를 검출하여, FC 층(Fully Connected Layer, 완전 연결층)에 의해 객체(사람, 선박 등)를 분류(classification)한다.
참고로, R-CNN의 기본적인 구조는 입력 이미지에서 Selective Search라는 Region Proposal 생성 알고리즘을 사용하여, 객체가 존재할 것으로 추정되는 Region Proposal들을 추출한다. 각각의 Region Proposal들은 사각형 모양의 Bounding Box 안의 이미지 형태인데, 모든 Region Proposal들에 대하여 크기를 동일하게 만든 후 CNN을 거쳐 분류하는 작업을 수행한다.
R-CNN은 모든 Region Proposal마다 하나의 CNN(Convolutional Neural Network)을 실행해야 하므로 속도가 느려지며, 이미지 특징 추출을 위한 모델, 분류를 위한 모델, Bounding Box를 잡아주는 모델을 동시에 학습해야 하므로 기계 학습에 걸리는 시간이 많이 들었다.
R-CNN의 속도 문제를 해결하기 위해, Fast R-CNN이라는 모델을 사용한다. Fast R-CNN 모델은 Feature를 입력 이미지로부터 추출하는 것이 아니라, CNN을 거친 특징맵(Feature Map) 상에서 RoI Pooling을 사용하여 객체의 특징(Feature)을 추출한다.
Faster R-CNN은, Region Proposal을 생성하는 방법 자체를 CNN 내부에 네트워크 구조로 넣은 모델이다. 이 네트워크를 RPN(Region Proposal Network)라고 한다. RPN을 통해 RoI Pooling을 수행하는 레이어와 Bounding Box를 추출하는 레이어가 같은 특징 맵(feature map)을 공유할 수 있다.
Fast RCNN은 전체 영상과 객체들을 입력받고, 전체 영상에 대한 CNN의 특징 지도(feature map)를 획득한다. ROI(Region of Interest) 풀링층은 각각의 개체에 대하여 특징맵(feature map)으로부터 고정된 길이의 특징벡터를 추출한다. 각각의 특징벡터는 FC 층(Fully Connected layer)을 통해 하나의 시퀀스가 되어, 소프트맥스(Softmax)를 통한 확률 추정과 경계 박스의 위치를 출력한다.
풀링(Pooling)은 다양한 위치에서 객체의 특징의 통계를 집계하여 이미지의 해상도를 줄일 수 있는 하위 샘플링 프로세스이며, 풀링은 최대값 풀링과 평균값 풀링 두 가지 방법이 사용된다.
하나의 CNN 분류기는 컨볼루션층과 풀링층이 반복되며 그 구조에 따라 다양한 기능의 층(layer)들이 추가될 수 있다. 입력 이미지에 대하여 컨볼루션과 풀링 과정을 거쳐 추출된 객체의 특징(faeture)은 다양한 분류기들(예, k-NN 분류기, SVM 분류기)을 사용하여 드론 카메라 영상의 객체들(사람, 선박 등)이 분류될 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.
100: 지상 단말기 101: 조작부
102: 비행제어 SW 103: 클라이언트
104: 제어부 105: 저장부
106: 통신부 107: 표시부
200: 미디어 서버(비디오 스트리밍 서버, RTSP server)
300: 드론 301: 비행 콘트롤러(FC)
302: 전자 속도 제어기(ESC)
303, 305, 307, 309: M1, M2, M3, M4
304, 306, 308, 310: 프로펠러
311: 무선 통신부 312: GPS 수신기
313: 고도계
314: 가속도 센서와 자이로스코프를 구비한 INS 관성항법장치
317: 카메라 319: A/V 영상처리부
321: LED 조명부 323: 저장부
327: 지능형 영상 분석 모듈 330: 전원 공급부
102: 비행제어 SW 103: 클라이언트
104: 제어부 105: 저장부
106: 통신부 107: 표시부
200: 미디어 서버(비디오 스트리밍 서버, RTSP server)
300: 드론 301: 비행 콘트롤러(FC)
302: 전자 속도 제어기(ESC)
303, 305, 307, 309: M1, M2, M3, M4
304, 306, 308, 310: 프로펠러
311: 무선 통신부 312: GPS 수신기
313: 고도계
314: 가속도 센서와 자이로스코프를 구비한 INS 관성항법장치
317: 카메라 319: A/V 영상처리부
321: LED 조명부 323: 저장부
327: 지능형 영상 분석 모듈 330: 전원 공급부
Claims (10)
- 카메라가 구비되고, 드론 자체에 카메라 영상 데이터의 지능형 영상 분석 모듈을 포함하는 지능형 영상 분석 모듈을 탑재한 자율비행 드론;
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론으로부터 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 수신받아 저장하는 미디어 서버; 및
상기 미디어 서버에 연결되며, 상기 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 실시간으로 클라이언트로 표출하며, 드론으로 원격 드론 비행 제어 신호를 전송하는 지상 단말기를 포함하며,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은
상기 드론의 비행 콘트롤러(FC)에 연결되며, 상기 지능형 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 CNN, R-CNN, Fast RCNN, 및 Faster RCNN 중 어느 하나의 인공지능의 딥러닝 알고리즘을 사용하여 영상 분석을 통해 영상의 객체를 검출하여 상기 객체가 식별된 영상 데이터를 제공하고,
상기 비행 콘트롤러(FC)에 연결되며, 야간에 LED 조명을 비추는 LED 조명부를 더 포함하며,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은 상기 드론의 전원 공급부는 배터리 또는 태양전지부를 사용하고,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은
4대 이상의 프로펠러와 모터(M1,M2,M3,M4); 상기 4대 이상의 프로펠러와 모터(M1,M2,M3,M4)와 연결되며, 비행 콘트롤러(FC)와 연결되는 전자 속도 제어기(ESC); 상기 전자 속도 제어기(ESC)와 연결되며, 무선 통신부를 통해 상기 지상 단말기으로부터 원격 드론 비행 제어 신호를 수신받고, 드론 자체의 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 인공지능 딥러닝 알고리즘을 사용하여 드론 카메라의 영상의 객체를 검출하고 특징 추출과 분류하여 객체가 식별된 영상 데이터를 상기 미디어 서버로 송신되도록 제어하는 비행 콘트롤러(FC); 상기 비행 콘트롤러(FC)와 연결되며, 상기 지상 단말기로부터 원격 드론 비행 제어 신호를 수신받고, RF, Wi-Fi. LTE 4G/5F 통신부 중 어느 하나를 구비하는 무선통신부; 상기 비행 콘트롤러(FC)와 연결되며, 드론의 GPS 위치 정보를 제공하는 GPS 수신기; 상기 비행 콘트롤러(FC)와 연결되며, 드론의 해발고도 정보를 제공하는 고도계; 상기 비행 콘트롤러(FC)와 연결되며, z 축(axis)을 기준으로 회전하는 4대의 프로펠러들(304,306,308,310)의 각속도를 측정하여 yaw, roll, pitch를 제어하여 드론의 자세 제어를 하여 드론의 좌우 수평 밸런싱을 유지되도록 하는 자이로스코프(gyroscope, gyro sensor); 및 상기 비행 콘트롤러(FC)와 연결되며, 비행경로를 이동하는 드론의 가속도를 측정하는 가속도 센서(acceleration sensor)를 구비하는 INS 관성항법 장치; 드론의 하부에 구비된 PTZ 제어가 가능한 카메라; 상기 비행 콘트롤러(FC)와 연결되며, 상기 카메라의 영상을 인코딩하는 A/V 영상처리부; 카메라의 영상 데이터와 그 타임별 드론의 위치와 고도, 속도, 가속도 데이터를 기록하는 저장부; 상기 비행 콘트롤러와 연결되며, 드론에 전원을 공급하는 전원 공급부; 상기 비행 콘트롤러(FC)에 연결되며, 지능형 영상 분석 모듈에 의해 칼만필터 알고리즘 또는 인공지능의 딥러닝 알고리즘을 사용하여 영상 분석을 통해 영상의 객체를 검출하여 상기 객체가 식별된 영상 데이터를 제공하는 지능형 영상 분석 모듈; 및 상기 드론의 상부 보디 몸체와 하부 수직 이착륙부를 구비하는 기구부 프레임을 포함하는 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 드론은 회전익 드론 또는 고정익 드론을 사용하며,
상기 카메라는 열화상 카메라 또는 일반 카메라를 사용하는, 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 드론은 적어도 4개 이상의의 프로펠러를 갖는 회전익 드론을 사용하고, 상기 카메라는 열화상 카메라를 사용하는, 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은
지능형 영상 분석 모듈에 의해 CNN, RNN 딥러닝 알고리즘의 영상 분석을 통해 드론의 카메라 영상 내의 객체들을 검출하고, 각각의 객체의 특징 추출 및 분류하며, 산불/화재시에 사람(조난객), 바다/해안 경비시에 사람/선박 객체를 식별하여 드론의 카메라 영상 내 객체가 식별된 영상 데이터를 제공하며, 드론으로부터 상기 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 통신망(RF, Wi-Fi, LTE 4G/5G, IoT 통신망)을 통해 상기 미디어 서버로 전송하는, 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은
드론의 카메라 영상내의 객체들을 검출하고, 각각의 객체의 특징 추출 및 분류하며, 분류된 객체의 특징을 관제센터로 전송하고, 프로그램에 의하여 설정된 조건에 따라 사람/선박의 식별된 객체를 자동으로 추적하는 Auto Pilot Mode 와 관제센터로 알람을 전송하여 관제사의 추적 명령을 통해 자동으로 추적하는 Semi Auto Mode, 그리고 프로그램을 통한 관제사의 제어로 비행하는 Manual Mode 모듈을 탑재한 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 지능형 영상 분석 모듈을 탑재한 자율비행 드론은
프로그램상의 스케쥴 기능을 통한 이륙/미션수행/착륙/충전 과정을 자동으로 수행할 수 있는 모듈을 구비하는 지능형 영상 분석 모듈을 탑재한 탑재한 자율비행 드론. - 제1항에 있어서,
상기 미디어 서버는 RTSP 프로토콜을 사용하는 RTSP Server로써 비디오 스트리밍 서버를 포함하며, 드론으로부터 객체가 식별된 영상 데이터를 수신받아 저장하며,
상기 지상 단말기는 상기 미디어 서버에 연결되며, RTSP 클라이언트를 사용하여 객체가 식별된 영상 데이터를 실시간으로 클라이언트로 표출하는, 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 지상 단말기는 드론 조작기와 연결된 스마트폰, 또는 드론의 통신부와 연결된 단말기를 사용하는, 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 드론 자체의 지능형 영상 분석 모듈은 인공지능 딥러닝 알고리즘을 사용하며, 컨볼류션 신경망(CNN), 또는 재귀적 신경망(RNN) 알고리즘을 사용하여 드론의 카메라 영상의 객체들을 추출하고 각각의 객체의 특징 추출 및 분류하여 산불/화재시 조난객, 바다/해안 경비시에 사람/선박 객체를 식별하여 영상을 분석하여 객체가 식별된 영상 데이터를 제공하는, 지능형 영상 분석 모듈을 탑재한 자율비행 드론. - 제1항에 있어서,
상기 지상 단말기는
상기 드론을 원격 제어하는 조작부;
상기 드론의 수직 이착륙, 수직 상승/하강, 방향 제어, 선형 가속, 드론의 속도 제어, 고도 제어, 위치 제어, 호버링, 랜딩 및 비행 경로를 제어하는 비행제어 SW;
상기 미디어 서버에 접속하여 RTSP client를 사용하여 드론의 카메라의 객체가 식별된 영상 데이터를 표시부로 출력하는 클라이언트;
상기 드론의 원격 드론 비행 제어 신호를 전송하도록 제어하는 제어부;
상기 드론으로 통신망(RF, Wi-Fi, LTE 4G/5G 또는 IoT 통신망)을 통해 원격 드론 비행 제어 신호를 송신하는 통신부;
상기 드론으로부터 수신된 드론의 카메라 영상 내의 객체가 식별된 영상 데이터를 수신받아 저장하는 저장부; 및
상기 제어부와 연결되며, 드론의 카메라 영상 내 객체가 식별된 영상 데이터를 표출하는 표시부를 포함하는 지능형 영상 분석 모듈을 탑재한 자율비행 드론.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200055533A KR102254491B1 (ko) | 2019-11-22 | 2020-05-09 | 지능형 영상 분석 모듈을 탑재한 자율비행 드론 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190151232 | 2019-11-22 | ||
| KR1020200055533A KR102254491B1 (ko) | 2019-11-22 | 2020-05-09 | 지능형 영상 분석 모듈을 탑재한 자율비행 드론 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190151232 Division | 2019-11-22 | 2019-11-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102254491B1 true KR102254491B1 (ko) | 2021-05-21 |
Family
ID=76157419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200055533A KR102254491B1 (ko) | 2019-11-22 | 2020-05-09 | 지능형 영상 분석 모듈을 탑재한 자율비행 드론 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102254491B1 (ko) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612966A (zh) * | 2021-07-02 | 2021-11-05 | 河南浩宇空间数据科技有限责任公司 | 一种基于城市低空遥感数据的特定目标物智能判别方法 |
| KR102371766B1 (ko) * | 2021-09-29 | 2022-03-07 | (주)네온테크 | 비행 임무 빅데이터 분석 및 ai 처리를 위한 무인 비행체의 데이터 처리 장치 및 이를 이용한 비행 임무에 대한 데이터 처리 방법 |
| KR102392822B1 (ko) * | 2021-06-10 | 2022-05-02 | 주식회사 에이투마인드 | 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법 |
| KR102476374B1 (ko) * | 2021-07-16 | 2022-12-08 | 세종대학교산학협력단 | 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법 |
| KR20220162902A (ko) * | 2021-06-01 | 2022-12-09 | 주식회사 켐에쎈 | 드론을 이용한 해양 구난대상 수색 시스템 및 그 방법 |
| KR20230008946A (ko) * | 2021-07-07 | 2023-01-17 | 재단법인차세대융합기술연구원 | 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램 |
| KR102500221B1 (ko) | 2021-12-21 | 2023-02-16 | 코아글림 주식회사 | 지능형 자율비행 무인기의 제어 시스템 및 그 방법 |
| EP4173966A1 (en) * | 2021-10-30 | 2023-05-03 | Goodrich Corporation | Automated pilot visibility lights |
| KR20230102082A (ko) * | 2021-12-30 | 2023-07-07 | 주식회사 딥인스펙션 | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 |
| WO2024063723A1 (en) * | 2022-09-22 | 2024-03-28 | Bandirma Onyedi̇ Eylül Üni̇versi̇tesi̇ | Triple integrated camera system for the development of an autonomous vehicle that can escape obstacles |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110130913A1 (en) * | 2003-06-20 | 2011-06-02 | Geneva Aerospace | Unmanned aerial vehicle control systems |
| CN105681450A (zh) * | 2016-02-23 | 2016-06-15 | 袁梦杰 | 无人机共享方法、服务器、客户端及*** |
| WO2016161426A1 (en) * | 2015-04-03 | 2016-10-06 | 3D Robotics, Inc. | Systems and methods for controlling pilotless aircraft |
| US9471059B1 (en) * | 2015-02-17 | 2016-10-18 | Amazon Technologies, Inc. | Unmanned aerial vehicle assistant |
| US20170076438A1 (en) * | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| WO2017077543A1 (en) * | 2015-11-08 | 2017-05-11 | Agrowing Ltd | A method for aerial imagery acquisition and analysis |
| US20170249846A1 (en) * | 2016-02-26 | 2017-08-31 | Ford Global Technologies, Llc | Autonomous vehicle passenger locator |
| WO2017172932A1 (en) * | 2016-03-30 | 2017-10-05 | Culver Matthew | Systems and methods for unmanned aerial vehicles |
| KR101933428B1 (ko) | 2017-05-04 | 2018-12-28 | 주식회사 휴인스 | 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템 |
-
2020
- 2020-05-09 KR KR1020200055533A patent/KR102254491B1/ko active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110130913A1 (en) * | 2003-06-20 | 2011-06-02 | Geneva Aerospace | Unmanned aerial vehicle control systems |
| US9471059B1 (en) * | 2015-02-17 | 2016-10-18 | Amazon Technologies, Inc. | Unmanned aerial vehicle assistant |
| WO2016161426A1 (en) * | 2015-04-03 | 2016-10-06 | 3D Robotics, Inc. | Systems and methods for controlling pilotless aircraft |
| US20170076438A1 (en) * | 2015-08-31 | 2017-03-16 | Cape Analytics, Inc. | Systems and methods for analyzing remote sensing imagery |
| WO2017077543A1 (en) * | 2015-11-08 | 2017-05-11 | Agrowing Ltd | A method for aerial imagery acquisition and analysis |
| CN105681450A (zh) * | 2016-02-23 | 2016-06-15 | 袁梦杰 | 无人机共享方法、服务器、客户端及*** |
| US20170249846A1 (en) * | 2016-02-26 | 2017-08-31 | Ford Global Technologies, Llc | Autonomous vehicle passenger locator |
| WO2017172932A1 (en) * | 2016-03-30 | 2017-10-05 | Culver Matthew | Systems and methods for unmanned aerial vehicles |
| KR101933428B1 (ko) | 2017-05-04 | 2018-12-28 | 주식회사 휴인스 | 드론의 영상을 수신하여 실시간으로 사람인식 영상분석 프로그램을 실행하는 드론 시스템 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102658520B1 (ko) * | 2021-06-01 | 2024-04-19 | 주식회사 켐에쎈 | 드론을 이용한 해양 구난대상 수색 시스템 및 그 방법 |
| KR20220162902A (ko) * | 2021-06-01 | 2022-12-09 | 주식회사 켐에쎈 | 드론을 이용한 해양 구난대상 수색 시스템 및 그 방법 |
| KR102392822B1 (ko) * | 2021-06-10 | 2022-05-02 | 주식회사 에이투마인드 | 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법 |
| CN113612966A (zh) * | 2021-07-02 | 2021-11-05 | 河南浩宇空间数据科技有限责任公司 | 一种基于城市低空遥感数据的特定目标物智能判别方法 |
| KR102587311B1 (ko) * | 2021-07-07 | 2023-10-13 | 재단법인차세대융합기술연구원 | 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램 |
| KR20230008946A (ko) * | 2021-07-07 | 2023-01-17 | 재단법인차세대융합기술연구원 | 조난 수색을 위한 전자 장치, 조난 수색 방법, 무인 비행체 및 컴퓨터 프로그램 |
| KR102476374B1 (ko) * | 2021-07-16 | 2022-12-08 | 세종대학교산학협력단 | 무인 비행체의 원격 제어를 위한 시스템 및 이에 의해 수행되는 방법 |
| KR102371766B1 (ko) * | 2021-09-29 | 2022-03-07 | (주)네온테크 | 비행 임무 빅데이터 분석 및 ai 처리를 위한 무인 비행체의 데이터 처리 장치 및 이를 이용한 비행 임무에 대한 데이터 처리 방법 |
| EP4173966A1 (en) * | 2021-10-30 | 2023-05-03 | Goodrich Corporation | Automated pilot visibility lights |
| KR102500221B1 (ko) | 2021-12-21 | 2023-02-16 | 코아글림 주식회사 | 지능형 자율비행 무인기의 제어 시스템 및 그 방법 |
| KR20230102082A (ko) * | 2021-12-30 | 2023-07-07 | 주식회사 딥인스펙션 | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 |
| KR102664206B1 (ko) * | 2021-12-30 | 2024-05-10 | 주식회사 딥인스펙션 | 영상 및 설명가능인공지능 기반 항공기 검사 자동화 시스템 |
| WO2024063723A1 (en) * | 2022-09-22 | 2024-03-28 | Bandirma Onyedi̇ Eylül Üni̇versi̇tesi̇ | Triple integrated camera system for the development of an autonomous vehicle that can escape obstacles |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102254491B1 (ko) | 지능형 영상 분석 모듈을 탑재한 자율비행 드론 | |
| US11604479B2 (en) | Methods and system for vision-based landing | |
| US11204611B2 (en) | Assisted takeoff | |
| US11693428B2 (en) | Methods and system for autonomous landing | |
| US11879737B2 (en) | Systems and methods for auto-return | |
| US20200402410A1 (en) | Unmanned Aerial Vehicle Visual Line Of Sight Control | |
| AU2017206097B2 (en) | Systems and methods for taking, processing, retrieving, and displaying images from unmanned aerial vehicles | |
| US9836053B2 (en) | System and method for automated aerial system operation | |
| CN110347171B (zh) | 一种飞行器控制方法及飞行器 | |
| CN111824406A (zh) | 一种基于机器视觉的公共安全自主巡查四旋翼无人机 | |
| De Croon et al. | Sky segmentation approach to obstacle avoidance | |
| WO2019128275A1 (zh) | 一种拍摄控制方法、装置及飞行器 | |
| KR20200083951A (ko) | Ｒｆｉｄ 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법 | |
| KR20200050487A (ko) | Ｒｆｉｄ 태그 경로를 패트롤하는 카메라와 지향성 스피커를 구비하는 드론의 제어 시스템 및 방법 | |
| Suwansrikham et al. | Indoor vision based guidance system for autonomous drone and control application | |
| Brand | Development and integration of an autonomous UAV into an urban security system | |
| Pana et al. | Phoenix Team's 2015 Unmanned Autonomous System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant |