KR20220068606A - 부분 영상을 고려한 드론의 자동 착륙 알고리즘 - Google Patents
부분 영상을 고려한 드론의 자동 착륙 알고리즘 Download PDFInfo
- Publication number
- KR20220068606A KR20220068606A KR1020200155549A KR20200155549A KR20220068606A KR 20220068606 A KR20220068606 A KR 20220068606A KR 1020200155549 A KR1020200155549 A KR 1020200155549A KR 20200155549 A KR20200155549 A KR 20200155549A KR 20220068606 A KR20220068606 A KR 20220068606A
- Authority
- KR
- South Korea
- Prior art keywords
- landing
- drone
- algorithm
- image
- landing pad
- Prior art date
Links
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 claims description 6
- 230000001939 inductive effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B64C2201/141—
-
- B64C2201/18—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 관한 것으로서, 상세하게는 영상 센서로부터 촬영된 영상을 이용하여 착륙 패드의 전체 및 부분 영상에 대한 학습데이터를 생성 후 CNN(Convolutional Neural Network) 알고리즘을 이용하여 착륙 패드를 인식하고, 중심점을 추정하여 착륙 패드 위치를 추정한 다음, 드론의 위치 및 고도, 착륙 패드의 중심점 픽셀 값, 영상 센서의 특성 파라미터 등을 활용한 착륙 위치 추정, 칼만 필터를 활용한 추정 위치를 보정한 후 추정한 착륙 위치를 활용해서 착륙 수행을 위한 속도 명령 생성하여 정밀 착륙을 유도하도록 하는 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 관한 것이다.
Description
본 발명은 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 관한 것으로서, 상세하게는 영상 센서로부터 촬영된 영상을 이용하여 CNN(Convolutional Neural Network) 알고리즘을 이용하여 착륙 패드를 인식하고, 중심점을 추정하여 착륙 패드 위치를 추정한 다음, 드론의 위치 및 고도, 착륙 패드의 중심점 픽셀 값, 영상 센서의 특성 파라미터 등을 활용한 착륙 위치 추정, 칼만 필터를 활용하여 추정 위치를 보정한 후 추정한 착륙 위치를 활용해서 착륙 수행을 위한 속도 명령을 생성하여 정밀 착륙을 유도하도록 하는 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 관한 것이다.
드론은 원격 조정에 의해 비행하거나 지정된 경로를 따라 자율적으로 비행하는 비행체로서, 카메라 촬영, 군사적 용도, 운송 분야, 보안 분야, 개인적 용도 등 다양한 분야에서 활용되고 있다. 드론은 운용자의 무선 조작 신호에 의해 수동으로 운용되는 소형 무인 비행체로 활용되는 것이 일반적이고, 유인 드론도 상용화 추세에 있다.
드론을 활용한 물류 서비스는 기존 물류 서비스 대비 신속하고 정확하며, 위험지역에도 제공 가능 등의 장점으로 인하여 드론 물류 서비스의 요구도가 증가하고 있다. 드론 물류 서비스를 위해서는 통신, 교통관리, 장애물 탐지/회피, 정밀 착륙 등의 기술이 요구되며, 이와 관련한 다양한 연구가 수행되고 있고, 특히 영상을 이용한 착륙의 연구가 수행되고 있다.
일례로, 국내 등록특허 제10-2022695호인 드론 착륙을 제어하기 위한 방법 및 장치가 개시되어 있다.
상기 드론 착륙을 제어하기 위한 방법 및 장치는 드론의 초음파 센서와 GPS 센서를 이용하여, 타겟을 인식하고, 타겟의 제1 위치를 검출하고, 드론의 광학 센서와 IR 센서를 이용하여, 타겟의 RGB 영상과 IR 영상을 획득하고, RGB 영상들 및 IR 영상들로부터 드론이 착륙할 타겟들을 인식하도록 학습된 인식기를 이용하여, RGB 영상과 IR 영상으로부터 타겟을 드론이 착륙할 착륙 타겟으로 인식하고, 착륙 타겟인 타겟의 제2 위치를 검출하고, 제1 위치와 제2 위치를 이용하여, 착륙 타겟인 타겟의 정밀 위치를 생성하고, 착륙 타겟인 타겟의 정밀 위치와 드론의 위치에 기초하여, 드론의 착륙을 제어할 수 있다.
또한, 국내 등록특허 제10-2079727호인 비전 인식을 이용한 자동 드론 착륙 장치 및 방법은 드론의 고도에 따라 드론이 착륙할 착륙 지점의 크기를 변경하여 표시할 수 있고, 드론이 착륙 지점을 촬영하여 감지된 착륙 지점에 착륙할 수 있다.
그러나, 이러한 종래의 영상을 이용한 드론 착륙은 단순히 타겟의 위치만을 인식하여 착륙시킬 뿐 정밀 착륙을 수행할 수 없는 문제점이 있다. 또한 영상을 이용한 착륙을 수행할 경우, 고도가 하강함에 따라 영상 센서의 화각으로 인한 촬영 영역 제한, 외란에 의해 드론이 착륙 지점과 멀어짐 등의 상황이 발생하면 착륙 패드의 전체 영상이 아닌 부분 영상만을 획득하게 되어 착륙 패드를 인식하지 못할 수 있는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 영상 센서로부터 촬영된 영상을 이용하여 착륙 패드의 부분 영상을 포함한 학습 데이터를 생성 후, CNN(Convolutional Neural Network) 알고리즘을 이용하여 착륙 패드를 인식하고, 중심점을 추정하여 착륙 패드 위치를 추정한 다음, 드론의 위치 및 고도, 착륙 패드의 중심점 픽셀 값, 영상 센서의 특성 파라미터 등을 활용한 착륙 위치 추정, 칼만 필터를 활용한 추정 위치를 보정한 후 추정한 착륙 위치를 활용해서 착륙 수행을 위한 속도 명령 생성하여 정밀 착륙을 유도하도록 하는 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 특징은,
영상 센서로부터 영상을 수신하는 영상 정보 입력 단계와; 비행시험에서 획득한 착륙 패드의 전체 영상 및 부분 영상을 활용하여 생성된 학습 데이터로 학습을 통해 착륙 패드 인식 및 중심점을 추정하는 착륙 패드 인식 및 중심점 추정 단계와; 추정한 착륙 패드의 중심점 픽셀값을 출력하는 영상 정보 출력 단계와; 드론의 위치 및 고도, 출력된 중심점 픽셀값, 상기 영상 센서의 특성 파라미터를 활용하여 착륙 패드의 중심점으로부터의 위치를 추정하되, 칼만 필터를 이용하여 위치 추정 오차를 보정하는 착륙 위치 추정 단계; 및 추정한 착륙 위치를 이용하여 착륙 수행을 위한 착륙 유도 명령을 생성하는 착륙 유도 명령 생성 단계로 이루어지는 것을 특징으로 한다.
여기에서, 상기 착륙 패드 인식 및 중심점 추정 단계는 CNN(Convolutional Neural Network) 알고리즘을 이용하고, 착륙 패드의 부분 영상만 획득 가능한 상황에서는 부분 영상을 활용하여 생성된 학습 데이터로 학습을 통해 착륙 패드 인식 및 중심점을 추정한다.
여기에서 또한, 상기 착륙 위치 추정 단계는 등속도 모델 기반 칼만 필터를 이용한다.
여기에서 또, 상기 착륙 유도 명령 생성 단계는 드론의 자동 착륙을 수행하기 위하여 추정한 착륙 패드의 위치와 드론의 위치 오차를 활용하여 비례 제어를 통해 속도 명령을 생성하되, 북쪽과 동쪽 방향의 위치 오차를 각각 계산한 후 해당 오차를 기체 좌표계에 맞추어 X, Y 방향의 오차로 변환하고, 아래의 비례 제어를 통해 U, V 속도 명령을 생성한 후 착륙을 위한 W 하강 속도를 일정한 속도값을 사용한다.
상기와 같이 구성되는 본 발명인 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따르면, 영상 센서로부터 촬영된 영상을 이용하여 착륙 패드의 부분 영상을 포함한 학습 데이터를 생성 후, CNN(Convolutional Neural Network) 알고리즘을 이용하여 착륙 패드를 인식하고, 중심점을 추정하여 착륙 패드 위치를 추정한 다음, 드론의 위치 및 고도, 착륙 패드의 중심점 픽셀 값, 영상 센서의 특성 파라미터 등을 활용한 착륙 위치 추정, 칼만 필터를 활용한 추정 위치를 보정한 후 추정한 착륙 위치를 활용해서 착륙 수행을 위한 속도 명령 생성하여 정밀 착륙을 유도할 수 있다.
도 1은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 설명하기 위한 동작 흐름도이다.
도 2는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 영상 센서에서 획득한 착륙 패드의 전체 영상을 나타낸 예시 이미지이다.
도 3은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 영상 센서에서 획득한 착륙 패드의 부분 영상을 나타낸 예시 이미지이다.
도 4는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 착륙 패드 인식 및 중심점 추정이 된 모습을 설명하기 위한 사진이다.
도 5는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 착륙 패드 위치를 추정하기 위해 드론, 영상 및 지면의 상대 좌표계를 도시한 도면이다.
도 6은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 실제 착륙 패드 위치 및 추정한 착륙 패드 위치와 기체 위치로의 상대거리를 나타낸 그래프이다.
도 7은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 추정 위치를 통해 계산한 상대거리 오차에 대한 히스토그램이다.
도 8은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘이 적용된 칼만 필터의 개념을 나타낸 개념도이다.
도 9는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘이 적용된 제어기의 구성을 나타낸 블록도이다.
도 10은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 비행 시험 사진이다.
도 11은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 착륙 위치 추정 결과를 나타낸 그래프이다.
도 12는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 착륙 수행 궤적이다.
도 2는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 영상 센서에서 획득한 착륙 패드의 전체 영상을 나타낸 예시 이미지이다.
도 3은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 영상 센서에서 획득한 착륙 패드의 부분 영상을 나타낸 예시 이미지이다.
도 4는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 착륙 패드 인식 및 중심점 추정이 된 모습을 설명하기 위한 사진이다.
도 5는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 착륙 패드 위치를 추정하기 위해 드론, 영상 및 지면의 상대 좌표계를 도시한 도면이다.
도 6은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 실제 착륙 패드 위치 및 추정한 착륙 패드 위치와 기체 위치로의 상대거리를 나타낸 그래프이다.
도 7은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 추정 위치를 통해 계산한 상대거리 오차에 대한 히스토그램이다.
도 8은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘이 적용된 칼만 필터의 개념을 나타낸 개념도이다.
도 9는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘이 적용된 제어기의 구성을 나타낸 블록도이다.
도 10은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 비행 시험 사진이다.
도 11은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 착륙 위치 추정 결과를 나타낸 그래프이다.
도 12는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 착륙 수행 궤적이다.
이하, 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 설명하기 위한 동작 흐름도이고, 도 2는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 영상 센서에서 획득한 착륙 패드의 전체 영상을 나타낸 예시 이미지이며, 도 3은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 영상 센서에서 획득한 착륙 패드의 부분 영상을 나타낸 예시 이미지이고, 도 4는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 의해 착륙 패드 인식 및 중심점 추정이 된 모습을 설명하기 위한 사진이며, 도 5는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 착륙 패드 위치를 추정하기 위해 드론, 영상 및 지면의 상대 좌표계를 도시한 도면이고, 도 6은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 실제 착륙 패드 위치 및 추정한 착륙 패드 위치와 기체 위치로의 상대거리를 나타낸 그래프이며, 도 7은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘에 따라 추정 위치를 통해 계산한 상대거리 오차에 대한 히스토그램이고, 도 8은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘이 적용된 칼만 필터의 개념을 나타낸 개념도이며, 도 9는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘이 적용된 제어기의 구성을 나타낸 블록도이다.
도 1 내지 도 9를 참조하면, 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘은 영상 정보 입력 단계(S10)와, 착륙 패드 인식 및 중심점 추정 단계(S20)와, 영상 정보 출력 단계(S30)와, 착륙 위치 추정 단계(S40) 및 착륙 유도 명령 생성 단계(S50)로 이루어진다.
《영상 정보 입력 단계-S10》
먼저, 드론의 영상 센서(카메라, CMOS 이미지 센서 등)으로부터 영상을 수신한다.
《착륙 패드 인식 및 중심점 추정 단계-S20》
비행시험에서 획득한 착륙 패드 영상을 활용하여 생성된 학습 데이터로 학습을 통해 착륙 패드 인식 및 중심점 추정을 수행한다.
착륙 패드 인식 및 중심점 추정을 위하여 CNN(Convolutional Neural Network) 알고리즘 중 YOLOv2를 이용하는 데, 도 2 및 도 3에 도시된 바와 같이 비행시험에서 획득한 착륙 패드의 전체 영상 및 부분 영상을 활용하여 학습 데이터를 생성하였으며, 학습을 통해 도 4와 같이 착륙 패드 인식 및 중심점 추정을 수행한다.
도 5와 같이 드론, 영상 및 지면의 상대좌표계를 설정하였으며, 상대좌표계의 중심은 기체 위치로 실시간 변경된다. 영상좌표계의 중심점을 지면좌표계의 위치로 변환하기 위하여 회전 변환 행렬을 활용하였으며, 실제 착륙 패드 위치 및 추정한 착륙 패드 위치와 기체 위치로의 상대 거리는 도 6과 같다. 도 6을 통해 영상에서 착륙 패드의 부분 영상만 획득될 경우(도면상 노란색 부분)에는 오차가 큰 것을 확인할 수 있다.
《영상 정보 출력 단계-S30》
그리고, 추정한 착륙 패드의 중심점 픽셀값을 출력한다.
《착륙 위치 추정 단계-S40》
영상에서 착륙 패드의 일부만 보일 경우 위치 추정 오차를 보정하기 위하여 칼만 필터를 이용하는 데, 상태 변수, 측정값, 시스템 모델 및 공분산 행렬은 수학식 1 내지 4와 같이 설정하였다. 수학식 1과 수학식 2에서 
, 
는 각 방향의 상대거리, 
, 
는 각 방향의 상대속도를 의미한다.
상대속도의 경우 착륙 패드는 정지물체이므로 드론 속도를 활용하여 계산하였으며, 칼만필터는 등속도 모델을 활용하였다. 착륙 패드가 인식되지 않은 부분의 경우에는 추정값을 예측값으로 설정하였으며. 착륙 패드의 부분만 인식된 경우에는 상대속도를 더 반영하도록 설정하여 위치 추정 성능을 향상시켰다. 도 7은 추정 위치를 통해 계산한 상대거리 오차에 대한 히스토그램이며, 아래의 표 1은 RMSE(Root Mean Square Error)이며, 도 8은 칼만 필터의 개념이다.
《착륙 유도 명령 생성 단계-S50》
위치 추정 오차의 보정이 완료되면, 추정한 착륙 위치를 이용하여 착륙 수행을 위한 착륙 유도 명령을 생성한다.
이때, 드론의 자동착륙을 수행하기 위하여 추정한 착륙 패드의 위치와 무인 항공기의 위치 오차를 활용하여 속도 명령을 생성한다. 북쪽과 동쪽 방향의 위치 오차를 각각 계산한 후 해당 오차를 드론 좌표계에 맞추어 X, Y 방향의 오차로 변환하였으며, 수학식 5와 같이 비례 제어를 통해 U, V 속도 명령을 생성한다. 착륙을 위한 하강 속도는 수학식 6과 같이 일정한 속도값을 사용한다. 착륙 유도를 위해 구성한 제어기의 경우 도 7과 같이 나타낼 수 있다.
《비행 시험》
도 10은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 비행 시험 사진이고, 도 11은 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 착륙 위치 추정 결과를 나타낸 그래프이며, 도 12는 본 발명에 따른 부분 영상을 고려한 드론의 자동 착륙 알고리즘을 이용한 비행 시험 결과의 착륙 수행 궤적이다.
본 발명에서는 구현한 알고리즘을 검증하기 위하여 비행시험을 수행하였으며, 시험에 사용한 드론은 짐벌을 사용하여 드론의 자세와 상관없이 영상을 안정화하였다. 비행 제어 컴퓨터(Flight Control Computer, FCC)로는 오픈소스 기반의 Pixhawk를 사용하였다. MC(Mission Computer)로는 ROS가 설치된 Jetson Xavier AGX를 이용하여, 제어 명령 생성 및 입력이 가능하도록 구성하였다. FCC와 MC는 Mavlink 프로토콜을 통해 모듈 간 통신을 수행하며, 비행 모드 중 오프보드 모드에서 속도 명령을 입력하여 착륙을 유도한다. 오프보드 모드 진입 시 본 발명에 따른 알고리즘이 적용되어 운용된다.
위와 같이 환경을 구성한 후 도 10과 같이 비행시험을 수행하였다. 착륙 패드의 중심에서 조금 벗어난 위치에서 자동 착륙 알고리즘을 수행하였으며, 착륙 패드 중심 방향으로 착륙을 유도 및 수행하는 것을 확인할 수 있었다.
도 11은 본 발명에 따른 자동 착륙 알고리즘으로 추정한 위치와 실제 위치를 기반으로 드론과의 상대 거리를 나타낸 결과이며, 도 12는 드론의 자동 착륙 궤적을 나타낸다. 도 11을 통해 북쪽 방향으로 최대 0.6m, 동쪽 방향으로 최대 0.5m의 오차를 가진 채 정상적으로 착륙 패드 위치를 추정하는 것을 확인할 수 있다. 또한 고도의 경우 자동 착륙 시작 위치에서 일정한 속도 명령에 따라 이상 없이 하강하며 착륙을 수행하는 것을 확인할 수 있다. 도 12를 통해 드론의 착륙 위치가 착륙 패드 중심 위치와 오차가 발생하기는 하였으나, 안정적으로 착륙을 수행한 것을 확인할 수 있다.
본 발명은 다양하게 변형될 수 있고 여러 가지 형태를 취할 수 있으며 상기 발명의 상세한 설명에서는 그에 따른 특별한 실시 예에 대해서만 기술하였다. 하지만 본 발명은 상세한 설명에서 언급되는 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 하며, 오히려 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
Claims (4)
- 영상 센서로부터 영상을 수신하는 영상 정보 입력 단계와;
비행시험에서 획득한 착륙 패드의 전체 영상 및 부분 영상을 활용하여 생성된 학습 데이터로 학습을 통해 착륙 패드 인식 및 중심점을 추정하는 착륙 패드 인식 및 중심점 추정 단계와;
추정한 착륙 패드의 중심점 픽셀값을 출력하는 영상 정보 출력 단계와;
드론의 위치 및 고도, 출력된 중심점 픽셀값, 상기 영상 센서의 특성 파라미터를 활용하여 착륙 패드의 중심점으로부터의 위치를 추정하되, 칼만 필터를 이용하여 위치 추정 오차를 보정하는 착륙 위치 추정 단계; 및
추정한 착륙 위치를 이용하여 착륙 수행을 위한 착륙 유도 명령을 생성하는 착륙 유도 명령 생성 단계로 이루어지는 것을 특징으로 하는 부분 영상을 고려한 드론의 자동 착륙 알고리즘. - 제 1 항에 있어서,
상기 착륙 패드 인식 및 중심점 추정 단계는,
CNN(Convolutional Neural Network) 알고리즘을 이용하고, 착륙 패드의 부분 영상만 획득 가능한 상황을 고려해 부분 영상을 포함하여 생성된 학습 데이터로 학습을 통해 착륙 패드 인식 및 중심점을 추정하는 것을 특징으로 하는 부분 영상을 고려한 드론의 자동 착륙 알고리즘. - 제 1 항에 있어서,
상기 착륙 위치 추정 단계는,
등속도 모델 기반 칼만 필터를 이용하는 것을 특징으로 하는 부분 영상을 고려한 드론의 자동 착륙 알고리즘. - 제 1 항에 있어서,
상기 착륙 유도 명령 생성 단계는,
드론의 자동 착륙을 수행하기 위하여 추정한 착륙 패드의 위치와 드론의 위치 오차를 활용하여 비례 제어를 통해 속도 명령을 생성하되, 북쪽과 동쪽 방향의 위치 오차를 각각 계산한 후 해당 오차를 기체 좌표계에 맞추어 X, Y 방향의 오차로 변환하고, 아래의 비례 제어를 통해 U, V 속도 명령을 생성한 후 착륙을 위한 W 하강 속도를 일정한 속도값을 사용하는 것을 특징으로 하는 부분 영상을 고려한 드론의 자동 착륙 알고리즘.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200155549A KR20220068606A (ko) | 2020-11-19 | 2020-11-19 | 부분 영상을 고려한 드론의 자동 착륙 알고리즘 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200155549A KR20220068606A (ko) | 2020-11-19 | 2020-11-19 | 부분 영상을 고려한 드론의 자동 착륙 알고리즘 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220068606A true KR20220068606A (ko) | 2022-05-26 |
Family
ID=81809873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200155549A KR20220068606A (ko) | 2020-11-19 | 2020-11-19 | 부분 영상을 고려한 드론의 자동 착륙 알고리즘 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220068606A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102495890B1 (ko) | 2022-10-24 | 2023-02-06 | 주식회사 에이아이컨트롤 | Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102022695B1 (ko) | 2017-12-26 | 2019-09-19 | 주식회사 솔탑 | 드론 착륙을 제어하기 위한 방법 및 장치 |
| KR102079727B1 (ko) | 2018-06-14 | 2020-02-20 | (재)경북차량용임베디드기술연구원 | 비전 인식을 이용한 자동 드론 착륙 장치 및 방법 |
-
2020
- 2020-11-19 KR KR1020200155549A patent/KR20220068606A/ko not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102022695B1 (ko) | 2017-12-26 | 2019-09-19 | 주식회사 솔탑 | 드론 착륙을 제어하기 위한 방법 및 장치 |
| KR102079727B1 (ko) | 2018-06-14 | 2020-02-20 | (재)경북차량용임베디드기술연구원 | 비전 인식을 이용한 자동 드론 착륙 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102495890B1 (ko) | 2022-10-24 | 2023-02-06 | 주식회사 에이아이컨트롤 | Ir 마커를 활용하여 정밀한 착륙이 가능한 드론 및 드론의 제어 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230236611A1 (en) | Unmanned Aerial Vehicle Sensor Activation and Correlation System | |
| US20200378760A1 (en) | Hover control | |
| WO2020107372A1 (zh) | 拍摄设备的控制方法、装置、设备及存储介质 | |
| KR100842104B1 (ko) | Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법 | |
| US20160093225A1 (en) | Landing system for an aircraft | |
| US20160086497A1 (en) | Landing site tracker | |
| KR101959366B1 (ko) | 무인기와 무선단말기 간의 상호 인식 방법 | |
| KR102022695B1 (ko) | 드론 착륙을 제어하기 위한 방법 및 장치 | |
| KR20160086467A (ko) | 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법 | |
| WO2018059398A1 (zh) | 多旋翼飞行器的控制方法、装置和*** | |
| CN106094876A (zh) | 一种无人机目标锁定***及其方法 | |
| KR20170139326A (ko) | 무인 비행체의 자율비행시스템 및 자율비행방법 | |
| KR102040289B1 (ko) | 드론 위치 정보 보정 장치 및 방법 | |
| Mebarki et al. | Autonomous landing of rotary-wing aerial vehicles by image-based visual servoing in GPS-denied environments | |
| KR20220068606A (ko) | 부분 영상을 고려한 드론의 자동 착륙 알고리즘 | |
| Kuroswiski et al. | Autonomous long-range navigation in GNSS-denied environment with low-cost UAV platform | |
| JP6791387B2 (ja) | 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム | |
| Miller et al. | UAV navigation based on videosequences captured by the onboard video camera | |
| KR101807771B1 (ko) | 편대비행 무인항공기를 이용한 영상취득장치 | |
| KR102503308B1 (ko) | 무인항공기의 도로차선 추종장치 및 그 방법 | |
| KR102235589B1 (ko) | 무인기 착륙 시스템 | |
| US20230073120A1 (en) | Method for Controlling an Unmanned Aerial Vehicle for an Inspection Flight to Inspect an Object and Inspection Unmanned Aerial Vehicle | |
| JP7070636B2 (ja) | 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム | |
| Jin et al. | A vision tracking system via color detection | |
| WO2021035746A1 (zh) | 图像处理方法、装置和可移动平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application |