KR102414986B1 - UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same - Google Patents
UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same Download PDFInfo
- Publication number
- KR102414986B1 KR102414986B1 KR1020200077922A KR20200077922A KR102414986B1 KR 102414986 B1 KR102414986 B1 KR 102414986B1 KR 1020200077922 A KR1020200077922 A KR 1020200077922A KR 20200077922 A KR20200077922 A KR 20200077922A KR 102414986 B1 KR102414986 B1 KR 102414986B1
- Authority
- KR
- South Korea
- Prior art keywords
- unmanned aerial
- aerial vehicle
- image information
- current location
- deep learning
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 230000002265 prevention Effects 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 7
- 230000001174 ascending effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B64C2201/145—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
딥러닝 기반의 내비게이션이 적용된 무인 항공기는 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈과, 가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부와, 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악하되, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체가 미인식될 경우 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부를 포함하는 하는 것을 특징으로 한다.An unmanned aerial vehicle to which deep learning-based navigation is applied includes a satellite positioning module that receives satellite location information to determine the first current location, an image information collection unit that acquires visible ray image information and infrared image information, and an image information collection unit. In receiving the collected image information and determining the second current position by referring to the deep learning image information learned in advance to the destination, the moving direction to reach the destination is determined by referring to the first current position and the second current position at the same time However, if the object corresponding to the deep learning image information learned in advance for a predetermined time is not recognized, the first current location is excluded and the moving direction to reach the destination is determined in real time based on the second current location. It is characterized in that it includes a control unit.
Description
본 발명은 무인 항공기 항법 관련 기술에 관한 것으로서, 더 상세하게는 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템에 관한 것이다.The present invention relates to an unmanned aerial vehicle navigation-related technology, and more particularly, to a deep learning-based unmanned aerial vehicle to which a hacking prevention technology is applied and an unmanned aerial vehicle system using the same.
드론(Drone)이라고도 불리는 무인항공기(Unmanned Aerial Vehicle, UVA)는 높은 고도에서 지상, 공중의 정보를 사용자의 위험 부담이 없이 타인에게 노출될 위험 없이 용이하게 수집할 수 있다는 점에서 군사, 산업 등 다양한 면에서 각광받고 있다.An unmanned aerial vehicle (UVA), also called a drone, is capable of collecting ground and air information at high altitudes without risk to users and without risk of exposure to others. It is popular in terms of
최근에는 플랫폼 위주의 의미를 갖는 무인항공기 대신 통합된 체계임을 강조하기 위해 무인항공기체계(Unmanned Aircraft System: 이하, UAS)로도 표현되는데, 이는 목적과 용도에 따라 상이할 수 있으나, 일반적으로 항공기의 기체에 통신장비와 감지기 등의 임무장비를 탑재시킬 수 있는 비행체와, 통신에 의하여 비행체를 조종 통제 할 수 있도록 설계된 통제장비, 감지기와 같이 임무를 위해 무인항공기에 탑재되는 임무장비, 무인항공기의 운용에 필요한 분석, 정비 등에 활용되는 지원 장비로 구성되어 하나의 시스템에 운용되는 장비이다.Recently, it is also expressed as an Unmanned Aircraft System (UAS) to emphasize that it is an integrated system instead of an unmanned aerial vehicle, which has a platform-oriented meaning. Aircraft capable of loading mission equipment such as communication equipment and detectors on the aircraft, control equipment designed to control and maneuver the aircraft by communication, mission equipment mounted on unmanned aerial vehicles for missions such as sensors, and operation of unmanned aerial vehicles It consists of supporting equipment used for necessary analysis and maintenance, and is operated in one system.
무인항공기는 자율비행이 가능하다는 점에서 외부조종사가 직접 조종하는 무선조종비행기와는 차이가 있으며, 일단 비행을 개시한 후에는 목표물과 같이 파괴되는 미사일과 달리 기본적으로 회수가 가능하여 반복적으로 임무에 투입될 수 있다는 차이가 있다.An unmanned aerial vehicle is different from a radio-controlled airplane directly controlled by an external pilot in that it can fly autonomously. There is a difference that can be put in.
오늘날의 무인항공기는 자신의 위치, 속도, 자세를 측정하고 주어진 임무에 맞는 최적의 경로를 스스로 생성하고, 이를 따라서 비행하며 자체적으로 고장을 진단하고 대응하는 매우 높은 수준의 자유성을 가지고 있다. 최근에는 위성항법장치와 센서. 카메라 등을 장착한 민간용 드론이 개발돼 물자수송. 교통관제. 보안 등의 분야로 이용 범위가 확대되고 있다.Today's unmanned aerial vehicles measure their own position, speed, and attitude, create an optimal route for a given mission, and fly along it, and have a very high degree of freedom in diagnosing and responding to failures on their own. More recently, satellite navigation systems and sensors. A civilian drone equipped with a camera, etc. was developed to transport goods. traffic control. The scope of use is expanding in fields such as security.
한편, 무인항공기는 위성위치정보를 수신하여 현재의 위치를 파악한 후 목적지로 도달하기 위한 이동방향을 설정한다.On the other hand, the unmanned aerial vehicle receives the satellite location information, determines the current location, and then sets the moving direction to reach the destination.
최근 무인항공기를 무력화시키기 위한 안티 드론 기술이 개발되고 있는데, 무인항공기의 위성위치정보를 교란시켜서 무인항공기를 원하는 곳에 착륙시키거나 무력화시키는 장치가 개발되었다.Recently, anti-drone technology to neutralize unmanned aerial vehicles has been developed, and a device has been developed to land or disable the unmanned aerial vehicle at a desired location by disturbing the satellite location information of the unmanned aerial vehicle.
따라서 무인항공기의 신뢰성 있는 비행동작을 위해 안티 드론장치 또는 해킹시도를 회피하기 위한 기술의 개발이 요구된다.Therefore, for the reliable flight operation of the unmanned aerial vehicle, the development of an anti-drone device or a technology to avoid hacking attempts is required.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템을 제공한다.The present invention has been proposed to solve the above technical problems, and provides a deep learning-based unmanned aerial vehicle to which hacking prevention technology is applied and an unmanned aerial vehicle system using the same.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈과, 가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부와, 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부를 포함하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기가 제공된다.According to an embodiment of the present invention for solving the above problems, a satellite positioning module for receiving satellite position information to determine a first current position, an image information collecting unit for acquiring visible ray image information and infrared image information; In receiving the image information collected from the image information collection unit and determining the second current position by referring to the deep learning image information learned in advance to the destination, the destination is reached by referring to the first current position and the second current position at the same time There is provided an unmanned aerial vehicle to which deep learning-based navigation is applied, including a control unit that detects the direction of movement in real time.
또한, 본 발명의 다른 실시예에 따르면, 위성위치정보를 수신하여 제1 현재위치를 파악하는 위성위치모듈과, 가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부와, 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악하되, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체가 미인식될 경우 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부를 포함하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기이 제공된다.In addition, according to another embodiment of the present invention, a satellite positioning module for receiving satellite position information to determine a first current position, an image information collecting unit for acquiring visible ray image information and infrared image information, and an image information collecting unit In receiving the image information collected from and determining the second current position by referring to the deep learning image information learned in advance to the destination, the moving direction for reaching the destination by referring to the first current position and the second current position at the same time However, if the object corresponding to the deep learning image information learned in advance for a predetermined time is not recognized, the first current location is excluded and the moving direction to reach the destination is determined in real time based on the second current location An unmanned aerial vehicle to which deep learning-based navigation including a control unit is provided.
또한, 본 발명에 포함되는 제어부는 제1 현재위치와 제2 현재위치가 소정의 시간동안 설정된 오차범위를 초과할 경우 해킹시도로 인한 장애로 판단하여 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 것을 특징으로 한다.In addition, when the first current location and the second current location exceed the set error range for a predetermined time, the control unit included in the present invention determines that it is a failure due to a hacking attempt, excludes the first current location and selects the second current location. Based on this, it is characterized in that the moving direction to reach the destination is grasped in real time.
또한, 본 발명의 또 다른 실시예에 따르면, 무인 항공기가 복수 개 구비된 무인 항공기 시스템에 있어서, 각각의 영상정보 수집부를 통해 상대가 포함된 영상정보를 획득하는 제1 및 제2 무인 항공기를 포함하고, 제2 무인 항공기는 자신의 현재위치와 제1 무인 항공기가 포함된 영상정보를 토대로 제1 무인 항공기의 현재위치를 산출한 후 제1 무인 항공기로 송신하고, 제1 무인 항공기는 자신이 파악한 현재위치와 제2 무인 항공기가 송신한 현재위치를 비교하여 해킹여부를 판단하는 것을 특징으로 하는 무인 항공기 시스템이 제공된다.In addition, according to another embodiment of the present invention, in the unmanned aerial vehicle system provided with a plurality of unmanned aerial vehicles, the first and second unmanned aerial vehicles for acquiring image information including the counterpart through each image information collection unit are included. and, the second unmanned aerial vehicle calculates the current position of the first unmanned aerial vehicle based on its current location and image information including the first unmanned aerial vehicle and transmits it to the first unmanned aerial vehicle, and the first unmanned aerial vehicle determines the current position of the first unmanned aerial vehicle. There is provided an unmanned aerial vehicle system, characterized in that it is determined whether hacking is performed by comparing the current location and the current location transmitted by the second unmanned aerial vehicle.
본 발명의 실시예에 따른 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 해킹 방지 기술이 적용되었다. 따라서 안티 드론 장치의 해킹시도를 회피할 수 있어 동작 신뢰성이 향상된다.The hacking prevention technology is applied to the deep learning-based unmanned aerial vehicle and the unmanned aerial vehicle system using the hacking prevention technology according to an embodiment of the present invention. Therefore, it is possible to avoid hacking attempts by the anti-drone device, thereby improving operational reliability.
즉, 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 위성위치정보를 토대로 현재위치를 파악할 뿐만 아니라 영상정보를 토대로 현재위치를 추가로 파악하여 해킹시도를 빠르게 검출할 수 있고, 현재위치를 신뢰성 있게 산출하여 최종 목적지로 이동할 수 있다.In other words, the deep learning-based unmanned aerial vehicle to which the hacking prevention technology is applied and the unmanned aerial vehicle system using it can not only determine the current location based on satellite location information, but also detect the current location based on image information to quickly detect hacking attempts. , it is possible to reliably calculate the current location and move to the final destination.
도 1은 본 발명에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 개념도
도 2는 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 동작절차를 나타낸 도면
도 3은 위치를 파악하기 위해 사용된 개선된 모델의 예시도
도 4는 영상에서 물체를 감지하는 과정을 나타낸 도면
도 5는 본 발명의 실시예에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 구성도
도 6은 복수 개의 무인 항공기로 구성되는 무인 항공기 시스템의 예시도1 is a conceptual diagram of an unmanned aerial vehicle to which deep learning-based navigation according to the present invention is applied.
2 is a diagram showing the operation procedure of an unmanned aerial vehicle to which deep learning-based navigation is applied.
3 is an exemplary diagram of an improved model used to determine a location;
4 is a diagram illustrating a process of detecting an object in an image;
5 is a configuration diagram of an unmanned aerial vehicle to which deep learning-based navigation is applied according to an embodiment of the present invention;
6 is an exemplary view of an unmanned aerial vehicle system composed of a plurality of unmanned aerial vehicles;
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings in order to describe in detail enough that a person of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention.
도 1은 본 발명에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 개념도이고, 도 2는 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 동작절차를 나타낸 도면이다.1 is a conceptual diagram of an unmanned aerial vehicle to which deep learning-based navigation is applied according to the present invention, and FIG. 2 is a diagram illustrating an operation procedure of an unmanned aerial vehicle to which deep learning-based navigation is applied.
도 1 및 도 2를 참조하면, 무인 항공기는 딥러닝 기반 내비게이션이 적용된다. 즉, 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 주변 이미지를 수집하여 주변 환경에 대한 데이터 셋(dataset)을 생성하고 생성된 데이터 셋(dataset)을 딥러닝을 통하여 훈련시킨다.1 and 2 , deep learning-based navigation is applied to the unmanned aerial vehicle. In other words, an unmanned aerial vehicle to which deep learning-based navigation is applied collects surrounding images, generates a data set for the surrounding environment, and trains the generated data set through deep learning.
무인 항공기가 일정시간 물체를 인식하지 못하거나 해킹시도를 당하게 되면 위성위치정보 내비게이션을 무시하고 영상기반의 딥 러닝 기반의 내비게이션으로 탐색한다.If the unmanned aerial vehicle does not recognize an object for a certain period of time or is subjected to a hacking attempt, it ignores satellite positioning information navigation and searches with image-based deep learning-based navigation.
즉, 무인 항공기는 카메라 등과 같은 영상정보 수집부를 통해 주변의 물체를 감지하면서 목적지에 도달하는데, 소정의 시간(x초) 이상 주변 물체를 감지 못하는 경우 위성위치정보를 사용하지 않고 영상기반의 딥 러닝 시스템을 기반으로 탐색을 진행한다. 이와 같이 안티 드론 장치 등을 통해 해킹 프로그램이 가동될 경우, 무인 항공기는 위성위치정보를 사용하지 않고 학습된 이미지를 통해 이동을 진행한다.That is, the unmanned aerial vehicle arrives at its destination while detecting surrounding objects through an image information collecting unit such as a camera. The search proceeds based on the system. In this way, when a hacking program is operated through an anti-drone device, etc., the unmanned aerial vehicle moves through the learned image without using satellite location information.
도 3은 위치를 파악하기 위해 사용된 개선된 모델의 예시도이다.3 is an exemplary diagram of an improved model used to determine a location.
도 3을 참조하면, 기존에 비해 개선된 방법으로 데이터 셋(dataset)을 훈련하는 과정이 도시되어 있다.Referring to FIG. 3 , a process of training a data set in an improved method compared to the existing one is illustrated.
딥러닝 기반 시스템은 초기 지점에서 주변 이미지(왼쪽, 오른쪽 및 중앙)를 기준으로 주변환경 데이터 셋(dataset)을 이용한다. 데이터 셋(dataset)은 실시간 물체 감지를 위해 딥러닝으로 각각 다른 클래스(좌측, 우측, 중앙)로 훈련된다. 이 세 클래스는 초기지점부터 최종 목적지까지 전 지역을 커버하는 훈련을 받게 된다.The deep learning-based system uses the surrounding environment dataset based on the surrounding images (left, right, and center) at the initial point. The dataset is trained with different classes (left, right, center) by deep learning for real-time object detection. These three classes will receive training covering the entire area from the initial point to the final destination.
도 4는 영상에서 물체를 감지하는 과정을 나타낸 도면이다.4 is a diagram illustrating a process of detecting an object in an image.
도 4를 참조하면, 카메라 등과 같은 영상정보 수집부에서 영상정보가 획득하는 과정이 진행된다.Referring to FIG. 4 , a process of acquiring image information from an image information collecting unit such as a camera is performed.
즉, 영상의 크기를 조절하고 5x5 grid로 나눈다. 각각의 grid cell은 B개의 bounding box와 각 bounding box에 대한 confidence score를 갖는다. (만약 cell에 object가 존재하지 않는다면 confidence score는 0이 된다. - 종료 - )That is, adjust the size of the image and divide it into a 5x5 grid. Each grid cell has B bounding boxes and a confidence score for each bounding box. (If there is no object in the cell, the confidence score is 0 - end - )
각각의 grid cell은 C개의 conditional class probability를 갖는다. 이미지 내의 bounding box와 class probability를 single regression problem으로 간주하여, 이미지를 한 번 보는 것으로 object의 종류와 위치를 추측한다. Each grid cell has C conditional class probabilities. Considering the bounding box and class probability in the image as a single regression problem, the type and location of the object are guessed by looking at the image once.
single convolutional network를 통해 multiple bounding box에 대한 class probability를 계산한다.Calculate the class probability for multiple bounding boxes through a single convolutional network.
각각의 bounding box는 x, y, w, h, confidence로 구성된다.Each bounding box consists of x, y, w, h, and confidence.
(x,y): Bounding box의 중심점을 의미하며, grid cell의 범위에 대한 상대값이 입력된다.(x,y): It means the center point of the bounding box, and the relative value of the grid cell range is input.
(w,h): 전체 이미지의 width, height에 대한 상대값이 입력된다.(w,h): Relative values to the width and height of the entire image are input.
예): 만약 x가 grid cell의 가장 왼쪽에 있다면 x=0, y가 grid cell의 중간에 있다면 y=0.5Ex): If x is the leftmost of the grid cell, x=0, if y is in the middle of the grid cell, then y=0.5
예): bbox의 width가 이미지 width의 절반이라면 w=0.5Example): If the width of the bbox is half the width of the image, w=0.5
Test time에는 conditional class probability와 bounding box의 confidence score를 곱하여 class-specific confidence score를 얻는다.At test time, a class-specific confidence score is obtained by multiplying the conditional class probability by the confidence score of the bounding box.
도 5는 본 발명의 실시예에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 구성도이다.5 is a configuration diagram of an unmanned aerial vehicle to which deep learning-based navigation is applied according to an embodiment of the present invention.
본 실시예에 따른 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.The unmanned aerial vehicle to which the deep learning-based navigation according to the present embodiment is applied includes only a simple configuration to clearly explain the proposed technical idea.
도 5를 참조하면, 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 위성위치모듈(100)과, 영상정보 수집부(200)와, 제어부(300)를 포함하여 구성된다.Referring to FIG. 5 , an unmanned aerial vehicle to which deep learning-based navigation is applied includes a
상기와 같이 구성되는 딥러닝 기반의 내비게이션이 적용된 무인 항공기의 주요동작을 살펴보면 다음과 같다.The main operations of the unmanned aerial vehicle to which the deep learning-based navigation configured as described above is applied are as follows.
위성위치모듈(100)은 위성위치정보를 수신하여 위성정보 기반의 제1 현재위치를 파악한다.The
영상정보 수집부(200)는 적어도 하나 이상의 카메라로 구성될 수 있는데, 가시광선 영상정보 및 적외선 영상정보를 획득한다.The image
제어부(300)는 영상정보 수집부(200)에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 영상정보 기반의 제2 현재위치를 파악하는데, 이때, 제1 현재위치와 제2 현재위치를 동시에 참조하여 목적지에 도달하기 위한 이동방향을 실시간으로 파악한다.The
즉, 제1 현재위치는 위성정보 기반으로 파악된 정보이고, 제2 현재위치는 영상정보 기반으로 파악된 정보인데, 제1 현재위치와 제2 현재위치는 소정의 오차범위 내에 있을 때 신뢰성이 확보된다. 제1 현재위치와 제2 현재위치를 통해 최종 현재위치를 결정할 때 제1 현재위치와 제2 현재위치의 가중치는 각각 서로 다르게 설정될 수 있다.That is, the first current location is information determined based on satellite information, and the second current location is information determined based on image information, and reliability is secured when the first current location and the second current location are within a predetermined error range. do. When the final current location is determined through the first current location and the second current location, the weights of the first current location and the second current location may be set differently.
한편, 제어부(300)는 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체(물체)가 미인식될 경우 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악할 수 있다.On the other hand, when the object (object) corresponding to the deep learning image information learned in advance for a predetermined time is not recognized, the
즉, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체(물체)가 미인식될 경우는, 미리 예상된 이동경로를 이탈했다는 것으로서 해킹에 의해 이동경로가 변경되었다는 것으로 간주될 수 있다.That is, when an object (object) corresponding to the deep learning image information learned in advance for a predetermined time is unrecognized, it can be considered that the movement route has been changed by hacking as deviating from the previously expected movement route.
또한, 제어부(300)는 위성정보 기반의 제1 현재위치와 영상정보 기반의 제2 현재위치가 소정의 시간동안 설정된 오차범위를 초과할 경우도 해킹시도로 인한 장애로 판단하여 제1 현재위치를 배제하고 제2 현재위치를 토대로 목적지에 도달하기 위한 이동방향을 실시간으로 파악할 수 있다.In addition, when the first current location based on satellite information and the second current location based on image information exceed an error range set for a predetermined time, the
한편, 딥러닝 기반의 내비게이션이 적용된 무인 항공기는 가속도 정도, 각속도 정보 및 지자계 정보를 감지하는 관성센서를 더 포함하여 구성될 수 있다.On the other hand, an unmanned aerial vehicle to which deep learning-based navigation is applied may be configured to further include an inertial sensor that detects acceleration degree, angular velocity information, and earth magnetic field information.
이때, 제어부(300)는 관성센서를 정보를 실시간으로 수신하여 현재위치를 판단하거나, 해킹시도를 판단하는데 이용한다.At this time, the
예를 들면, 해킹방지모드가 설정될 경우, 제어부(300)는 출발지에서 목적지로 이동하는 경로 내에서 주기적으로 체크패턴을 수행하면서 비행하도록 제어한다.For example, when the hacking prevention mode is set, the
여기에서 체크패턴이란 관성센서만을 통해서도 파악될 수 있는 무인 항공기의 미리 설정된 비행패턴을 의미한다. 예를 들면, 소정의 속도로 하강하면서 좌로 회전하거나, 소정의 속도로 상승하면서 우로 회전하는 등 소정의 주기마다 복수의 체크패턴을 수행하면서 비행을 진행한다. Here, the check pattern refers to a preset flight pattern of an unmanned aerial vehicle that can be grasped only through an inertial sensor. For example, the flight proceeds while performing a plurality of check patterns every predetermined period, such as turning left while descending at a predetermined speed, or rotating right while ascending at a predetermined speed.
각 체크패턴에서 가속도, 회전속도, 회전방향, 상승 및 하강 방향은 각각 서로 다르게 설정되는 것이 바람직하다. 제어부(300)는 이러한 체크패턴이 소정의 횟수 벗어날 경우 해킹이라고 판단할 수 있다. 제어부는 체크패턴을 벗어나는 횟수가 단위 시간 내에서 증가할 경우 체크패턴의 주기를 점점 짧게 하고, 체크패턴을 벗어나는 횟수가 단위 시간 내에서 감소할 경우 체크패턴의 주기를 점점 길게 자동 설정한다.In each check pattern, it is preferable that the acceleration, the rotation speed, the rotation direction, and the ascending and descending directions are set differently from each other. The
이때, 제어부(300)는 구동력에 의한 가속도의 변화를 토대로 풍속을 판단하고, 파악된 풍속을 체크패턴 확인에 반영하여 해킹 판단정확도를 향상시킬 수 있다.In this case, the
도 6은 복수 개의 무인 항공기로 구성되는 무인 항공기 시스템의 예시도이다.6 is an exemplary diagram of an unmanned aerial vehicle system composed of a plurality of unmanned aerial vehicles.
도 6을 참조하면, 무인 항공기 시스템은 복수 개의 무인 항공기로 구성되는데, 각 무인 항공기는 도 1 내지 도 5를 통해 설명한 무인 항공기로 구성될 수 있다.Referring to FIG. 6 , the unmanned aerial vehicle system is configured with a plurality of unmanned aerial vehicles, and each unmanned aerial vehicle may be configured with the unmanned aerial vehicle described with reference to FIGS. 1 to 5 .
본 실시예에서 무인 항공기 시스템은 제1 무인 항공기(10) 및 제2 무인 항공기(20)를 구비한다고 가정하고 설명하기로 한다.In this embodiment, it is assumed that the unmanned aerial vehicle system includes the first unmanned
제1 무인 항공기(10) 및 제2 무인 항공기(20)는 각각의 영상정보 수집부를 통해 상대가 포함된 영상정보를 획득한다.The first unmanned
이때, 제2 무인 항공기(20)는 자신의 현재위치와 제1 무인 항공기(10)가 포함된 영상정보를 토대로 제1 무인 항공기(10)의 현재위치를 산출한 후 위치정보를 제1 무인 항공기(10)로 송신한다.At this time, the second unmanned
즉, 제2 무인 항공기(20)는 영상 속의 제1 무인 항공기(10)의 상대적 위치를 파악한 후, 자신의 현재위치를 반영하여 제1 무인 항공기(10)의 현재위치를 추정한다.That is, after determining the relative position of the first unmanned
이때, 제1 무인 항공기(10)는 자신이 파악한 현재위치와 제2 무인 항공기(20)가 송신한 현재위치를 비교하여 해킹여부를 판단할 수 있다. 즉, 위성위치정보를 교란으로 인해 제1 무인 항공기(10)는 의도하지 않는 경로로 강제이동 당할 수 있으므로, 이웃하는 제2 무인 항공기(20)에서 송신한 현재위치를 토대로 해킹여부를 판단할 수 있다.In this case, the first unmanned
이때, 각 무인 항공기는 위치를 식별하기 위한 식별탄을 공중으로 발사하도록 동작할 수 있다. 여기에서 식별탄은 섬광 또는 유색의 연기를 방출하는 것으로서, 식별탄이 발사되기 전 이웃하는 무인 항공기로 식별탄 발사준비여부를 사전에 전송하여, 이웃하는 무인 항공기가 식별탄을 발사하는 무인 항공기를 영상 촬영할 수 있도록 사전에 준비시킬 수 있다. 이웃하는 무인 항공기는 식별탄을 발사한 무인 항공기와, 식별탄의 이동경로를 토대로 영상 속에서 식별탄을 발사한 무인 항공기의 현재위치 및 이동속도를 연산할 수 있다.At this time, each unmanned aerial vehicle may operate to launch an identification bullet for identifying a location into the air. Here, the identification bomb emits a flash of light or colored smoke, and before the identification bomb is fired, it is transmitted to the neighboring unmanned aerial vehicle whether the identification bullet is ready or not, so that the neighboring unmanned aerial vehicle fires the identification bullet. You can prepare in advance for video shooting. The neighboring unmanned aerial vehicle can calculate the current position and movement speed of the unmanned aerial vehicle that fired the identification bullet and the unmanned aerial vehicle that fired the identification bullet in the image based on the movement path of the identification bullet.
본 발명의 실시예에 따른 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 해킹 방지 기술이 적용되었다. 따라서 안티 드론 장치의 해킹시도를 회피할 수 있어 동작 신뢰성이 향상된다.The hacking prevention technology is applied to the deep learning-based unmanned aerial vehicle and the unmanned aerial vehicle system using the hacking prevention technology according to an embodiment of the present invention. Therefore, it is possible to avoid hacking attempts by the anti-drone device, thereby improving operational reliability.
즉, 해킹 방지 기술이 적용된 딥러닝 기반의 무인 항공기 및 이를 이용한 무인 항공기 시스템은 위성위치정보를 토대로 현재위치를 파악할 뿐만 아니라 영상정보를 토대로 현재위치를 추가로 파악하여 해킹시도를 빠르게 검출할 수 있고, 현재위치를 신뢰성 있게 산출하여 최종 목적지로 이동할 수 있다.In other words, the deep learning-based unmanned aerial vehicle to which the hacking prevention technology is applied and the unmanned aerial vehicle system using it can not only determine the current location based on satellite location information, but also detect the current location based on image information to quickly detect hacking attempts. , it is possible to reliably calculate the current location and move to the final destination.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
100 : 위성위치모듈
200 : 영상정보 수집부
300 : 제어부
10 : 제1 무인 항공기
20 : 제2 무인 항공기100: satellite positioning module
200: image information collection unit
300: control unit
10: first unmanned aerial vehicle
20: second unmanned aerial vehicle
Claims (4)
가시광선 영상정보 및 적외선 영상정보를 획득하는 영상정보 수집부;
가속도 정보, 각속도 정보 및 지자계 정보를 감지하는 관성센서; 및
상기 영상정보 수집부에서 수집된 영상정보를 수신하고 목적지까지의 미리 학습된 딥러닝 영상정보를 참조하여 제2 현재위치를 파악함에 있어서, 상기 제1 현재위치와 상기 제2 현재위치를 동시에 참조하여 상기 목적지에 도달하기 위한 이동방향을 실시간으로 파악하되, 소정의 시간동안 미리 학습된 딥러닝 영상정보에 해당하는 객체가 미인식될 경우 상기 제1 현재위치를 배제하고 상기 제2 현재위치를 토대로 상기 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 제어부;를 포함하고,
해킹방지모드가 설정될 경우, 상기 제어부는 출발지에서 목적지로 이동하는 경로 내에서 주기적으로 서로 다른 복수의 체크패턴을 수행하면서 비행하도록 제어하고, 상기 체크패턴은 상기 관성센서만을 통해서 파악될 수 있는 미리 설정된 비행패턴이며, 상기 제어부는 미리 설정된 체크패턴을 벗어나는 횟수가 단위 시간 내에서 증가할 경우, 상기 체크패턴의 수행주기를 점점 짧게 조절하는 것을 특징으로 하고, 상기 제어부는, 상기 제1 현재위치와 상기 제2 현재위치가 소정의 시간동안 설정된 오차범위를 초과할 경우 해킹시도로 인한 장애로 판단하여 상기 제1 현재위치를 배제하고 상기 제2 현재위치를 토대로 상기 목적지에 도달하기 위한 이동방향을 실시간으로 파악하는 것을 특징으로 하는 딥러닝 기반의 내비게이션이 적용된 무인 항공기가 복수 개 구비된 무인 항공기 시스템에 있어서,
각각의 영상정보 수집부를 통해 상대가 포함된 영상정보를 획득하는 제1 및 제2 무인 항공기;를 포함하고,
상기 제2 무인 항공기는 자신의 현재위치와 상기 제1 무인 항공기가 포함된 영상정보를 토대로 상기 제1 무인 항공기의 현재위치를 산출한 후 상기 제1 무인 항공기로 송신하고,
상기 제1 무인 항공기는 자신이 파악한 현재위치와 상기 제2 무인 항공기가 송신한 현재위치를 비교하여 해킹여부를 판단하며,
각 무인 항공기는 위치를 식별하기 위한 식별탄을 공중으로 발사하되, 식별탄이 발사되기 전 이웃하는 무인 항공기로 식별탄 발사준비여부를 사전에 전송하여, 이웃하는 무인 항공기가 식별탄을 발사하는 무인 항공기를 영상 촬영할 수 있도록 사전에 준비시키는 것을 특징으로 하는 무인 항공기 시스템.a satellite location module for receiving satellite location information and determining a first current location;
an image information collecting unit for acquiring visible light image information and infrared image information;
an inertial sensor for sensing acceleration information, angular velocity information, and earth magnetic field information; and
In receiving the image information collected from the image information collection unit and determining the second current position by referring to the deep learning image information learned in advance to the destination, by referring to the first current position and the second current position at the same time The direction of movement to reach the destination is grasped in real time, but when an object corresponding to the deep learning image information learned in advance for a predetermined time is not recognized, the first current position is excluded and the second current position is Including; a control unit that grasps the moving direction to reach the destination in real time;
When the hacking prevention mode is set, the control unit controls to fly while periodically performing a plurality of different check patterns within the route from the source to the destination, and the check pattern is a preset that can be grasped only through the inertial sensor. It is a set flight pattern, and when the number of deviations from the preset check pattern increases within a unit time, the control unit adjusts the execution cycle of the check pattern to be shorter and shorter. If the second current location exceeds the set error range for a predetermined time, it is determined as a failure due to a hacking attempt, the first current location is excluded, and the moving direction to reach the destination is determined in real time based on the second current location In the unmanned aerial vehicle system equipped with a plurality of unmanned aerial vehicles to which deep learning-based navigation is applied, characterized in that
Including; first and second unmanned aerial vehicles for acquiring image information including the opponent through each image information collecting unit;
The second unmanned aerial vehicle calculates the current location of the first unmanned aerial vehicle based on its current location and image information including the first unmanned aerial vehicle and transmits it to the first unmanned aerial vehicle;
The first unmanned aerial vehicle determines whether hacking is performed by comparing the current location identified by the first unmanned aerial vehicle with the current location transmitted by the second unmanned aerial vehicle;
Each unmanned aerial vehicle fires an identification bomb to identify the location in the air, but before the identification bullet is fired, it transmits whether the identification bullet is ready to fire to the neighboring unmanned aerial vehicle in advance, so that the neighboring unmanned aerial vehicle fires the identification bullet. An unmanned aerial vehicle system, characterized in that it prepares the aircraft in advance so that it can be photographed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200077922A KR102414986B1 (en) | 2020-06-25 | 2020-06-25 | UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200077922A KR102414986B1 (en) | 2020-06-25 | 2020-06-25 | UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220000229A KR20220000229A (en) | 2022-01-03 |
| KR102414986B1 true KR102414986B1 (en) | 2022-06-29 |
Family
ID=79348505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200077922A KR102414986B1 (en) | 2020-06-25 | 2020-06-25 | UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102414986B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115097853B (en) * | 2022-05-18 | 2023-07-07 | 中国航空工业集团公司沈阳飞机设计研究所 | Unmanned aerial vehicle maneuvering flight control method based on fine granularity repetition strategy |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017090130A (en) * | 2015-11-05 | 2017-05-25 | 株式会社Ｚｍｐ | Monitoring system |
| JP2017532237A (en) | 2015-03-31 | 2017-11-02 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Unmanned aerial vehicle |
| KR101807771B1 (en) * | 2016-12-15 | 2017-12-13 | 한국항공우주산업 주식회사 | Apparatus for acquiring image using formation flying unmanned aerial vehicle |
| KR102112581B1 (en) * | 2018-11-06 | 2020-05-19 | 엘에스웨어(주) | Method And Apparatus for Analyzing Accident Cause by Using Drone Forensic |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101705269B1 (en) * | 2015-03-30 | 2017-02-10 | 주식회사 유시스 | Drone control system and method for drone control |
| KR101969431B1 (en) | 2017-02-16 | 2019-04-16 | 주식회사 삼정솔루션 | Portable anti-drone jamming system |
| KR20200048627A (en) * | 2018-10-30 | 2020-05-08 | 이상민 | Method and system for controlling crowd flight of drone, and traffic control server therefor |
-
2020
- 2020-06-25 KR KR1020200077922A patent/KR102414986B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017532237A (en) | 2015-03-31 | 2017-11-02 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Unmanned aerial vehicle |
| JP2017090130A (en) * | 2015-11-05 | 2017-05-25 | 株式会社Ｚｍｐ | Monitoring system |
| KR101807771B1 (en) * | 2016-12-15 | 2017-12-13 | 한국항공우주산업 주식회사 | Apparatus for acquiring image using formation flying unmanned aerial vehicle |
| KR102112581B1 (en) * | 2018-11-06 | 2020-05-19 | 엘에스웨어(주) | Method And Apparatus for Analyzing Accident Cause by Using Drone Forensic |
Non-Patent Citations (1)
| Title |
|---|
| Analysis of Kalman Filter Innovation-Based GNSS Spoofing Detection Method fo INS/GNSS Ingertraged Navigation System(2019.07.01.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220000229A (en) | 2022-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11656638B1 (en) | Backup navigation system for unmanned aerial vehicles | |
| US20220003213A1 (en) | Unmanned Aerial Vehicle Wind Turbine Inspection Systems And Methods | |
| JP6411012B2 (en) | Unpredictable vehicle navigation | |
| KR102263307B1 (en) | System and method for controlling cluster flight of unmanned aerial vehicle | |
| US20160093225A1 (en) | Landing system for an aircraft | |
| KR102286003B1 (en) | Contamination detecting system, mtehod and computer readable recording medium thereof | |
| EP3868652B1 (en) | Information processing system, information processing method, and program | |
| García et al. | Autonomous drone with ability to track and capture an aerial target | |
| KR20180098055A (en) | Drone system | |
| KR102414986B1 (en) | UAV Navigation based on GPS and Improved deep learning Network and UAV system using the same | |
| US11815335B2 (en) | Guided munition systems for detecting off-axis targets | |
| KR102349818B1 (en) | Autonomous UAV Navigation based on improved Convolutional Neural Network with tracking and detection of road cracks and potholes | |
| US10989797B2 (en) | Passive altimeter system for a platform and method thereof | |
| KR102610559B1 (en) | Unmanned aerial vehicle and method for moving obstacle collision avoidance | |
| Patterson et al. | Integration of terrain image sensing with UAV safety management protocols | |
| EP3985471A1 (en) | Systems and methods for operating a vehicle in a degraded visual environment | |
| KR20200003525A (en) | Ground control station for controlling of suicide type unmanned plane | |
| KR102172974B1 (en) | Apparatus and method for identifying unmanned aerial vehicles using radar | |
| KR101877224B1 (en) | Method And Apparatus for Neutralizing Unmanned Aerial Vehicle | |
| Nakamura et al. | Vision sensor fusion for autonomous landing | |
| KR102267833B1 (en) | Electronic device and method to training movement of drone and controlling movement of drone | |
| KR102522264B1 (en) | Drone hils system for detecting explosives | |
| Hamad et al. | Localization and identification of UAVs system using image processing | |
| Wüest et al. | Accurate Vision-based Flight with Fixed-Wing Drones | |
| Pollard | Computer vision guidance for precise movement in commercial drones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |