KR101749578B1 - 드론의 자동 이착륙 방법 및 장치 - Google Patents
드론의 자동 이착륙 방법 및 장치 Download PDFInfo
- Publication number
- KR101749578B1 KR101749578B1 KR1020160014865A KR20160014865A KR101749578B1 KR 101749578 B1 KR101749578 B1 KR 101749578B1 KR 1020160014865 A KR1020160014865 A KR 1020160014865A KR 20160014865 A KR20160014865 A KR 20160014865A KR 101749578 B1 KR101749578 B1 KR 101749578B1
- Authority
- KR
- South Korea
- Prior art keywords
- landing
- optical flow
- obstacle
- image
- drones
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000003287 optical effect Effects 0.000 claims abstract description 108
- 238000010191 image analysis Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 14
- 239000003550 marker Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H04N5/2257—
-
- B64C2201/18—
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
드론의 자동 이착륙 방법을 제공한다. 본 발명의 일 실시예에 따른 드론의 자동 이착륙 방법은 드론에 탑재된 카메라로부터 촬영된 상기 드론의 상방향 또는 하방향의 영상을 분석하여 상기 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우(optical flow)값을 계산하는 단계; 상기 계산된 옵티컬 플로우값에 기초하여 상기 상방향 또는 하방향에 방해물이 존재하는지 판단하는 단계; 및 상기 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 이착륙하는 단계를 포함한다.
Description
본 발명은 드론의 자동 이착륙 방법 및 장치에 관한 것으로, 보다 구체적으로는 드론에 탑재된 카메라로부터 촬영된 영상을 분석하여 이착륙에 방해가 되는 방해물이 있는지 판단하고, 드론을 안전하게 이착륙시키는 방법 및 장치에 관한 것이다.
종래에는 드론의 이착륙과 관련하여 RC(remote control), GPS(global positioning system) 및 마커(marker)를 이용한 방법 등이 연구되어 왔다.
RC를 통한 수동 이착륙 방법은 조종자가 드론의 상태(고도, 속도, 방향 등)를 확인하면서 RC를 통하여 드론을 조종하며 이착륙을 진행한다. 조종자가 드론의 상태를 확인하는 방법으로는 드론을 조종자의 시야 내에서만 비행함으로써 육안으로 확인하는 방법, 드론에 설치된 카메라를 통하여 드론의 상태를 확인하는 방법, 드론에서 GCS(ground control system)로 전송하는 정보를 통하여 확인하는 방법 등이 있다.
GPS를 통한 드론 착륙 방법은 GPS를 통하여 드론의 현재위치를 확인하고 사용자가 요청한 지점으로 이동하여 착륙 지점에 도달하면 GPS를 통하여 드론의 고도와 좌표를 확인하며 착륙을 진행한다. 한편, GPS를 통한 이륙 방법은 GPS를 통하여 좌표 및 고도를 확인하고 사용자가 설정한 경로를 따라서 이륙하여 진행한다. 이때, 주위 환경을 고려하지 않으며 오직 사용자가 지정한 경로를 따라 이륙한다.
마커를 추적하여 자동 착륙을 진행하는 기술은 드론에 저장해둔 마커와 드론에 탑재된 카메라의 영상을 비교하여 영상 내에 마커가 존재하는지 확인하고, 마커를 발견할 시 영상 내의 마커의 위치, 크기, 방향 등을 바탕으로 현재 드론의 위치, 방향, 높이를 계산하며 착륙을 진행한다.
이처럼, 종래의 드론 이착륙 기술은 대부분이 RC 조종 또는 GPS 위치 추적을 통한 자동 비행을 바탕으로 설계되어 있다. 하지만 RC 조종을 기반으로 하는 기술은 간섭이나 장애물로 인해 LOC(line of control)가 보장 되지 않는 환경에서는 RC 조종의 명령이 드론에 전달되지 못하여 이착륙 자체를 시도하지 못할 수 있다. 또한 GPS를 사용하는 기술은 GPS 신호가 강한지역에서만 사용가능하고 GPS신호가 불안정한 환경에서는 사용이 불가하다. GPS 신호가 불안정하면 GPS 위치 추적 장치는 잘못된 위치 정보를 드론에게 제공하고 이를 바탕으로 드론이 자동비행을 진행하면 예상치 못한 상황이 발생할 수 있다. 또한, 마커를 이용한 이착륙 기술은 마커가 설치되지 않은 지역에서는 사용할 수 없는 문제가 있다.
이러한 기술들이 도심 지역에 사용되면 문제는 더욱 심각해진다. 예를 들어 요즘 부각이 되고 있는 드론 배달 시스템이 도심지역에서 사용되게 되면 건물들 사이로 드론이 고도를 낮추어야만 한다. 하지만 도심 지역에서는 건물들로부터 발생하는 multipath 현상 때문에 GPS가 올바르게 작동하지 않으며 건물 및 가로수 등이 LOC를 방해하여 RC를 통한 조종 또한 어렵다.
따라서, 마커가 존재하지 않는 환경 또는 GPS 및 RC가 정상 동작할 수 없는 환경에서도 드론을 안전하게 자동으로 이착륙시킬 수 있는 새로운 방법 및 장치의 필요성이 대두되고 있다.
관련 선행기술로는 대한민국 등록특허 제10-1527210호(발명의 명칭: 드론 이착륙 시스템 및 그 운용 방법, 공개일자: 2015년 6월 9일)가 있다.
본 발명은 드론에 탑재된 카메라로부터 촬영된 상방향 또는 하방향의 영상을 분석하고, 그 분석 결과를 이용하여 방해물의 존재를 판단하는 과정을 거쳐 드론을 안전하게 자동으로 이착륙시키는 방법 또는 장치를 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 드론의 자동 이착륙 방법은 드론에 탑재된 카메라로부터 촬영된 상기 드론의 상방향 또는 하방향의 영상을 분석하여 상기 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우(optical flow)값을 계산하는 단계; 상기 계산된 옵티컬 플로우값에 기초하여 상기 상방향 또는 하방향에 방해물이 존재하는지 판단하는 단계; 및 상기 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 이착륙하는 단계를 포함한다.
바람직하게는, 상기 선택적으로 소정 방향으로 이동하여 이착륙하는 단계는 상기 상방향 또는 하방향에 방해물이 존재하는 경우에, 상기 방해물이 고정되어 있으면 상기 방해물이 위치하지 않은 방향으로 이동하고, 상기 방해물이 이동하고 있으면 상기 방해물이 지나갈 때까지 대기하거나 상기 드론의 이동 속도, 상기 방해물의 위치 및 이동 속도에 기초하여 결정된 상기 방해물과 충돌하지 않는 방향으로 이동하여 이착륙할 수 있다.
바람직하게는, 상기 드론이 착륙할 때, 상기 선택적으로 소정 방향으로 이동하여 이착륙하는 단계는 상기 착륙하려는 제1 지점을 포함하는 착륙후보영역의 영상을 구성하는 프레임에 대하여 각 픽셀 별로 계산된 옵티컬 플로우값의 규모에 기초하여 산출된 옵티컬 플로우 규모선을 이용하여 상기 제1 지점이 평탄한 지점인지 판단하는 단계; 및 상기 판단 결과에 따라, 선택적으로 상기 소정 방향으로 이동하여 착륙하는 단계를 포함할 수 있다.
바람직하게는, 상기 선택적으로 상기 소정 방향으로 이동하여 착륙하는 단계는 상기 착륙하려는 제1 지점이 평탄한 지점이면 상기 제1 지점을 향해 하강하고, 평탄한 지점이 아니면 상기 계산된 옵티컬 플로우 규모선을 이용하여 발견된 상기 착륙후보영역 내의 평탄한 제2 지점을 향해 이동할 수 있다.
바람직하게는, 상기 옵티컬 플로우 규모선은 상기 착륙후보영역의 영상을 구성하는 프레임에 포함된 각 픽셀별로 옵티컬 플로우값의 규모를 계산하고, 상기 계산된 규모가 소정 범위인 픽셀들을 연결하여 산출될 수 있다.
바람직하게는, 상기 드론에 탑재된 카메라는 이륙시에는 상방향, 착륙시에는 하방향의 영상을 촬영하도록 회전될 수 있다.
바람직하게는, 상기 드론에 탑재된 카메라는 각각 상방향 및 하방향의 영상을 촬영하도록 설치될 수 있다.
바람직하게는, GPS 및 RC(remote control)중 적어도 하나에 기반한 비행이 불가능한 상황인지 판단하는 단계를 더 포함하고, 상기 GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 경우 상기 계산하는 단계, 상기 판단하는 단계 및 상기 이착륙하는 단계가 수행될 수 있다.
바람직하게는, 상기 옵티컬 플로우값은 Phase correlation 기법, Block matching 기법, Lucas-Kanade 기법, Horn-Schunck 기법 및 Simple flow기법 중 하나에 기초하여 계산될 수 있다.
한편, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 드론의 자동 이착륙 장치는 드론에 탑재된 카메라로부터 촬영된 상기 드론의 상방향 또는 하방향의 영상을 분석하여 상기 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우값을 계산하는 영상분석부; 상기 계산된 옵티컬 플로우값에 기초하여 상기 상방향 또는 하방향에 방해물이 존재하는지 판단하는 방해물판단부; 및 상기 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 이착륙하는 이착륙부를 포함한다.
바람직하게는, 상기 이착륙부는 상기 상방향 또는 하방향에 방해물이 존재하는 경우에, 상기 방해물이 고정되어 있으면 상기 방해물이 위치하지 않은 방향으로 이동하고, 상기 방해물이 이동하고 있으면 상기 방해물이 지나갈 때까지 대기하거나, 상기 드론의 이동 속도, 상기 방해물의 위치 및 이동 속도에 기초하여 결정된 상기 방해물과 충돌하지 않는 방향으로 이동하여 이착륙할 수 있다.
바람직하게는, 상기 이착륙부는 상기 착륙하려는 제1 지점을 포함하는 착륙후보영역의 영상을 구성하는 프레임에 대하여 각 픽셀 별로 계산된 옵티컬 플로우값의 규모에 기초하여 산출된 옵티컬 플로우 규모선을 이용하여 상기 제1 지점이 평탄한 지점인지 판단하는 착륙지점판단부; 및 상기 판단 결과에 따라, 선택적으로 상기 소정 방향으로 이동하여 착륙하는 착륙부를 포함할 수 있다.
바람직하게는, 상기 착륙부는 상기 착륙하려는 제1 지점이 평탄한 지점이면 상기 제1 지점을 향해 하강하고, 평탄한 지점이 아니면 상기 계산된 옵티컬 플로우 규모선을 이용하여 발견된 상기 착륙후보영역 내의 평탄한 제2 지점을 향해 이동할 수 있다.
바람직하게는, 상기 옵티컬 플로우 규모선은 상기 착륙후보영역의 영상을 구성하는 프레임에 포함된 각 픽셀별로 옵티컬 플로우값의 규모를 계산하고, 상기 계산된 규모가 소정 범위인 픽셀들을 연결하여 산출될 수 있다.
바람직하게는, GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 상황인지 판단하는 수신상태판단부를 더 포함하고, 상기 GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 경우 상기 영상분석부, 상기 방해물판단부 및 상기 이착륙부가 이착륙을 수행하는 것을 특징으로 하는 드론의 자동 이착륙 장치.
본 발명은 드론에 탑재된 카메라로부터 촬영된 영상에 대한 분석을 통하여, GPS 및 RC에 기반한 비행이 불가능하거나, 마커가 없는 상황과 같이 자동 이착륙을 할 필요가 있는 경우에, 드론이 자동으로 안전하게 이착륙할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 드론의 자동 이착륙 방법을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 방해물의 존재 여부에 따른, 선택적으로 소정 방향으로 이동하여 이착륙하는 방법을 설명하기 위하여 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 드론의 착륙 방법을 설명하기 위하여 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 드론의 방법을 설명하기 위하여 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 드론의 자동 이착륙 장치를 설명하기 위하여 도시한 도면이다.
도 6은 드론이 착륙할 때, 방해물을 감지하는 경우를 설명하기 위하여 도시한 도면이다.
도 7은 드론이 이륙할 때, 방해물을 감지하는 경우를 설명하기 위하여 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 옵티컬 플로우값을 설명하기 위하여 도시한 도면이다.
도 9a 및 9b는 본 발명의 일 실시예에 따른 옵티컬 플로우 규모선을 설명하기 위하여 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 방해물의 존재 여부에 따른, 선택적으로 소정 방향으로 이동하여 이착륙하는 방법을 설명하기 위하여 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 드론의 착륙 방법을 설명하기 위하여 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 드론의 방법을 설명하기 위하여 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 드론의 자동 이착륙 장치를 설명하기 위하여 도시한 도면이다.
도 6은 드론이 착륙할 때, 방해물을 감지하는 경우를 설명하기 위하여 도시한 도면이다.
도 7은 드론이 이륙할 때, 방해물을 감지하는 경우를 설명하기 위하여 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 옵티컬 플로우값을 설명하기 위하여 도시한 도면이다.
도 9a 및 9b는 본 발명의 일 실시예에 따른 옵티컬 플로우 규모선을 설명하기 위하여 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명에서, 자동 이착륙 장치는 자동 이착륙을 위하여 드론에 탑재되는 장치로써, 자동 이착륙 장치가 이동, 상승 및 하강하면서, 착륙 또는 이륙하는 것은 자동 이착륙 장치가 드론을 제어하여 드론이 이동, 상승 및 하강하면서, 착륙 또는 이륙하는 것으로 볼 수 있다.
도 1은 본 발명의 일 실시예에 따른 드론의 자동 이착륙 방법을 설명하기 위하여 도시한 흐름도이다.
단계 S110에서는, 자동 이착륙 장치가 드론에 탑재된 카메라로부터 촬영된 드론의 상방향 또는 하방향의 영상을 분석하여 그 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우(optical flow)값을 계산한다.
여기서, 드론은 UAV(unmanned aerial vehicle), 무인 비행선, 무인 비행체 등으로 불리며, 사람이 탑승하지 않고 원격으로 조종되거나 또는 입력된 사전정보에 의해 비행하는 물체에 대한 통칭이다.
드론이 이륙하는 경우는 드론의 위쪽 방향인 상방향(즉, 상공 방향)의 영상이 촬영되고, 드론이 착륙하는 경우는 드론의 아래쪽 방향인 하방향(즉, 지면 방향)의 영상이 촬영될 수 있다.
옵티컬 플로우는 영상을 구성하는 프레임 간의 변화를 나타낸 것으로, 프레임 간에 나타나는 객체, 표면, 모서리 등의 상대적인 이동에 대한 정보를 포함한다. 한편, 옵티컬 플로우에 대하여는 도 8에 대한 설명에서 구체적으로 후술한다.
또한, 드론에 탑재된 카메라는 적어도 하나 이상이며, 드론의 상방향 또는 하방향의 영상을 촬영한다. 그리고, 그 촬영된 영상을 구성하는 각 프레임들을 자동 이착륙 장치에게 옵티컬 플로우값 계산을 위하여 전달할 수 있다.
다른 실시예에서는, 카메라가 하나인 경우 카메라는 이륙시에는 상방향, 착륙시에는 하방향의 영상을 촬영하도록 회전될 수 있다.
예컨대, 드론에 한 대의 카메라가 탑재되며, 이 카메라는 드론이 이륙하는 경우에는 드론의 상방향을 촬영하도록 회전되고, 드론이 착륙하는 경우에는 드론의 하방향(즉, 지면)을 촬영하도록 회전될 수 있다.
또 다른 실시예에서는, 복수의 카메라가 각각 상방향 및 하방향의 영상을 촬영하도록 설치될 수 있다.
예컨대, 두 대의 카메라가 드론에 탑재되어 각각 상방향과 하방향의 영상을 촬영하도록 설치될 수 있다. 그러나, 두 대 보다 많은 카메라가 드론에 설치될 수도 있어서, 보다 넓은 시야각을 확보하여 안전하게 이착륙하기 위하여 총 네 대의 카메라가 설치되고, 이륙 시에는 상방향을 촬영하는 두 대의 카메라 및 착륙 시에는 하방향을 촬영하는 두 대의 카메라가 촬영한 영상을 각각 합성하여 이용할 수 있다.
단계 S120에서는, 자동 이착륙 장치가 계산된 옵티컬 플로우값에 기초하여 상방향 또는 하방향에 방해물이 존재하는지 판단한다.
예컨대, 드론이 이착륙을 위하여 상방향 또는 하방향으로 이동하려고 할 때, 이동에 앞서 우선적으로, 옵티컬 플로우값에 기초하여 감지된 객체의 움직임을 분석하여, 이착륙에 지장을 초래하는 방해물인지 여부를 판단할 수 있다. 이때, 드론이 이륙하는 경우에는 상방향에 방해물이 존재하는지 판단하고, 착륙하는 경우에는 하방향에 방해물이 존재하는지 판단하는 것이 바람직할 수 있다.
여기서, 객체의 움직임은 드론과 객체간의 상대적인 움직임을 의미하는 것으로 객체 및 드론 중 적어도 하나가 움직이는 경우 객체가 움직이는 것으로 판단할 수 있다. 또한, 방해물인지 여부에 대한 판단은 드론의 이동 속도, 객체의 위치 및 이동 속도에 기초하여 드론과 객체간의 충돌 가능성을 계산하여 판단할 수 있다.
한편, 옵티컬 플로우값이 소정의 기준보다 작은 경우 실제로는 객체가 존재하고 움직임도 있지만, 방해물로 판단되지 않을 수도 있다. 예컨대, 나뭇잎, 곤충 등과 같이 매우 작은 크기의 객체가 감지되는 경우, 드론의 이착륙에 미치는 영향이 미미하기 때문에 해당 객체는 방해물로 판단되지 않을 수 있다.
마지막으로 단계 S130에서는, 자동 이착륙 장치가, 방해물 존재 여부에 대한 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 이착륙한다.
이때, 소정 방향은 그 방향으로 드론이 이동하여 이착륙을 시도하는 경우, 방해물로부터 이착륙에 방해를 받지 않게 되는 방향을 의미할 수 있다. 예컨대, 방해물이 존재하지 않는 것으로 판단되는 경우, 드론은 상방향 또는 하방향으로 상승 또는 하강하면서 이착륙할 수 있다. 그러나, 방해물이 존재하는 경우는, 그 방해물이 정지하고 있는지, 움직이는지 여부에 따라서 드론이 정지하여 대기하거나 방해물이 존재하지 않는 소정 방향으로 이동하여 이착륙하는 등으로 대응 방법이 달라질 수 있다.
한편, 드론이 소정 방향으로 이동하는 경우, 반드시, 지면에 평행한 평면 상에서 움직이는 것은 아닐 수 있으며, 필요에 따라서 상승과 하강이 동시에 이루어지면서 대각선 방향으로 이동할 수도 있다.
아울러, 드론의 이착륙 과정에 대하여는 도 2에 대한 설명에서 구체적으로 후술한다.
다른 실시예에서는, 자동 이착륙 장치가 GPS(global positioning system) 및 RC(remote control)중 적어도 하나에 기반한 비행이 불가능하게 된 경우에 자동 이착륙을 수행할 수 있다.
즉, 단계 S110의 수행 이전에 자동 이착륙 장치가 GPS 및 RC 중 적어도 하나에 기반한 비행이 불가능한 상황인지 판단하는 단계가 먼저 수행되고, GPS 및 RC중 적어도 하나에 기반한 비행이 불가능하다고 판단되는 경우 단계 S110, S120 및 S130이 수행될 수 있다.
예컨대, 드론이 비행 중에 고층빌딩, 가로수, 가로등 및 전신주 등의 간섭 및 방해로 인하여 GPS 및 RC 신호 중 적어도 하나의 수신이 불가능하게 된 경우, 자동 이착륙 장치가 이를 감지하여 자동 이착륙을 수행할 수 있다.
한편, GPS신호의 수신이 불가능하거나 불량한 것은 수신되는 GPS신호를 분석하여 판단할 수 있으며, RC신호의 수신이 불가능하거나 불량한 것은 RC신호를 전송하는 리모트 컨트롤러로부터 연결 상태를 주기적으로 전송하는 신호가 더 이상 수신되지 않는 것으로부터 판단할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 드론의 자동 이착륙 방법은 별도의 조종이나 추가적인 장치 없이도 드론을 안전하게 자동으로 이착륙시킬 수 있는 효과가 있다.
도 2는 본 발명의 일 실시예에 따른 방해물의 존재 여부에 따른, 선택적으로 소정 방향으로 이동하여 이착륙하는 방법을 설명하기 위하여 도시한 흐름도이다.
단계 S210에서는, 자동 이착륙 장치가 방해물이 존재하는 경우, 그 방해물이 고정되어 있는지 판단한다.
이때, 방해물의 고정 여부는, 드론과 방해물간의 상대적인 관점에서 고정 여부를 판단할 수 있다. 또한, 예를 들어, 바람에 흔들리는 나뭇가지와 같이 실제로는 완전하게 고정되지 않았으나 방해물의 이동 속도가 현저하게 느리거나, 이동 범위가 한정되어 있어서 고정된 것으로 보아도 크게 문제가 없는 경우는 고정된 것으로 판단될 수 있다.
단계 S220에서는, 자동 이착륙 장치가 그 방해물이 고정되어 있으면, 그 방해물이 위치하지 않은 방향으로 이동하여 이착륙한다.
예컨대, 드론이 착륙할 때 하방에 호수, 바위, 나무 등과 같이 고정된 객체가 있는 경우, 또는 드론이 이륙할 때 상방에 나무, 건물, 송전탑 등과 같이 고정된 객체가 있는 경우에는 드론은 그 고정된 객체들을 피하여 방해물이 없는 방향으로 이동하여 이착륙할 수 있다.
마지막으로 단계 S230에서는, 자동 이착륙 장치가 그 방해물이 이동하고 있으면, 그 방해물이 영상의 프레임 밖으로 지나갈 때까지 대기하거나, 드론의 이동 속도, 방해물의 위치 및 이동 속도에 기초하여 결정된 방해물과 충돌하지 않는 방향으로 이동하여 이착륙한다.
예컨대, 드론의 이동 속도, 방해물의 위치 및 이동 속도를 이용하여 드론과 방해물의 위치 변화를 추적하여 충돌 가능성을 계산할 수 있다. 이때, 방해물의 위치 및 이동 속도는 계산된 옵티컬 플로우값을 이용하여 알 수 있고, 드론의 이동 속도는 자동 이착륙 장치에서 알 수 있다.
이렇게 계산된 충돌 가능성을 판단하여, 충돌 가능성이 매우 낮은 경우에는 드론의 이착륙이 그대로 수행될 수 있으며, 그 외의 경우에는 충돌 가능성이 있는 것으로 간주하여 충돌 가능성을 낮추기 위하여 드론이 다른 위치로 이동하거나 혹은 충돌 가능성을 낮출 수 있는 다른 이동 방향이 없는 경우 제자리에 정지하여 방해물이 영상의 프레임 밖으로 지나갈 때까지 대기한 후에, 이착륙할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 방해물의 존재 여부에 따른, 선택적으로 소정 방향으로 이동하여 이착륙하는 방법은 방해물이 있는 경우에 방해물의 고정 및 이동 여부에 따라 효과적으로 드론을 대기 또는 소정 방향으로 이동시키므로, 드론을 보다 안전하게 이착륙시킬 수 있는 효과가 있다.
도 3은 본 발명의 일 실시예에 따른 드론의 착륙 방법을 설명하기 위하여 도시한 흐름도이다.
단계 S310에서는, 자동 이착륙 장치가 드론에 탑재된 카메라로부터 촬영된 드론의 하방향의 영상을 분석하여 그 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우(optical flow)값을 계산한다.
단계 S320에서는, 자동 이착륙 장치가 계산된 옵티컬 플로우값에 기초하여 드론의 하방향에 방해물이 존재하는지 판단한다.
예컨대, 도 6을 참고하면, 붉은색으로 표시된 움직이는 사람(601)이 계산된 옵티컬 플로우값에 기초하여 방해물로 인식되는 것을 확인할 수 있다.
단계 S330에서는, 자동 이착륙 장치가, 방해물이 존재하는 경우, 그 방해물이 지나갈 때까지 대기하거나, 그 방해물이 위치하지 않은 방향으로 이동하고, S310에서부터 다시 착륙을 시도할 수 있다.
단계 S340에서는, 자동 이착륙 장치가, 방해물이 존재하지 않는 경우, 착륙하려는 제1 지점을 포함하는 착륙후보영역의 영상을 구성하는 프레임에 대하여 각 픽셀 별로 계산된 옵티컬 플로우값의 규모에 기초하여 산출된 옵티컬 플로우 규모선을 이용하여 그 제1 지점이 평탄한 지점인지 판단한다.
예컨대, 드론이 착륙을 최초로 시작할 때, 카메라로 촬영되는 하방향의 영역이 착륙후보영역이고, 그 착륙후보영역의 중심 지점이 제1 지점이 될 수 있다. 그리고, 그 하방향 영역의 영상에 포함된 프레임을 분석하여 옵티컬 플로우값의 규모를 계산하고, 그 규모값에 기초하여 옵티컬 플로우 규모선을 산출할 수 있다.
옵티컬 플로우 규모선에 대하여는 도 9a 및 9b에 대한 설명에서 구체적으로 후술한다.
마지막으로 단계 S350에서는, 자동 이착륙 장치가, 제1 지점이 평탄한지에 대한 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 착륙한다.
예컨대, 제1 지점이 평탄한 지점이라면, 자동 이착륙 장치가 그 제1 지점을 향하여 착륙할 수 있다. 그러나, 제1 지점이 평탄한 지점이 아니라면, 자동 이착륙 장치는 제1 지점에 착륙하지 않고, 평탄한 다른 착륙 지점인 제2 지점을 찾아 착륙할 수 있으며, 그 방법은 아래의 다른 실시예에서 구체적으로 설명한다.
다른 실시예에서는, 자동 이착륙 장치가 착륙하려는 제1 지점이 평탄한 지점이면 상기 제1 지점을 향해 하강하고, 평탄한 지점이 아니면 계산된 옵티컬 플로우 규모선을 이용하여 발견된 착륙후보영역 내의 평탄한 제2 지점을 향해 이동하여 착륙할 수 있다.
예컨대, 제1 지점이 평탄한 지점이 아닌 경우에, 자동 이착륙 장치가 옵티컬 플로우 규모선을 이용하여 착륙후보영역 내에서 착륙후보지인 평탄한 제2 지점을 발견하고, 그 제2 지점을 향해 이동하여 착륙할 수 있다.
이때, 제1 지점의 근처에서 옵티컬 플로우 규모선의 간격이 작은 경우는 지면의 고저차가 있는 것으로 볼 수 있으므로, 옵티컬 플로우 규모선의 간격이 넓고 일정한 제2 지점을 찾는 것이 바람직할 수 있다.
이때, 만일 자동 이착륙 장치가 착륙후보영역 내에서 평탄한 제2 지점을 발견하지 못하는 경우 착륙후보영역의 바깥으로 이동하여 다시 착륙후보지를 선정할 수 있다.
또 다른 실시예에서는, 옵티컬 플로우 규모선은 착륙후보영역의 영상을 구성하는 프레임에 포함된 각 픽셀별로 옵티컬 플로우값의 규모를 계산하고, 그 계산된 규모가 소정 범위인 픽셀들을 연결하여 산출될 수 있다.
이때, 옵티컬 플로우의 규모값을 계산하는 공식은 다음과 같다. 착륙후보영역의 영상을 구성하는 프레임에서, (x, y) 픽셀의 시각 t에서의 옵티컬 플로우값은 OF(x,y,t) = (Δx,Δy)로 정의될 수 있다. 한편, 이에 대한 규모값은 |OF(x,y,t)| = sqrt((Δx)^2 + (Δy)^2)로 계산될 수 있다. 즉, OF(x,y,t)는 시각 t에서의 (x,y)픽셀에 대한 옵티컬 플로우값을 나타내며 |OF(x,y,t)|는 이에 대한 규모값을 나타낸다.
이와 같이, 본 발명의 일 실시예에 따른 드론의 자동 착륙 방법은 별도의 조종이나 추가적인 장치 없이도 드론을 평탄해서 안전하게 착륙할 수 있는 지점에 자동으로 착륙시킬 수 있는 효과가 있다.
도 4는 본 발명의 일 실시예에 따른 이륙 방법을 설명하기 위하여 도시한 흐름도이다.
단계 S410에서는, 자동 이착륙 장치가 드론에 탑재된 카메라로부터 촬영된 드론의 상방향의 영상을 분석하여 그 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우(optical flow)값을 계산한다.
단계 S420에서는, 자동 이착륙 장치가 계산된 옵티컬 플로우값에 기초하여 상방향에 방해물이 존재하는지 판단한다.
단계 S430에서는, 자동 이착륙 장치가, 방해물이 존재하지 않는 경우, 현재 드론의 위치로부터 상방향을 향하여 상승하면서 이륙할 수 있다.
마지막으로 단계 S440에서는, 자동 이착륙 장치가, 방해물의 존재하는 경우, 선택적으로 소정 방향으로 이동하여 이륙할 수 있다.
예컨대, 건물, 나무, 철탑 등과 같이 고정된 방해물이 있는 경우 자동 이착륙 장치가 그 고정된 방해물이 위치하지 않은 방향으로 이동하여 이륙할 수 있다. 또한, 새, 다른 드론 등과 같이 이동하는 방해물이 있는 경우 자동 이착륙 장치가 그 이동하는 방해물이 지나갈 때까지 대기한 후에, 상승하면서 이륙할 수 있다.
다른 실시예에서는, 자동 이착륙 장치가, 드론이 이륙하기 위하여 상승할 때, 상방향 카메라의 옵티컬 플로우값을 이용하여 드론의 상승 방향을 조정할 수 있다.
이때, 자동 이착륙 장치는 카메라의 영상을 구성하는 프레임에 대하여 위/아래 또는 좌/우의 두 부분으로 각각 나누어 옵티컬 플로우값을 계산한다. 그리고, 그 나누어 계산된 옵티컬 플로우값의 평균을 계산하고 그 값들을 비교한다. 만일, 위/아래의 옵티컬 플로우값의 평균을 비교하여 위의 평균값이 아래의 값보다 월등히 높다면 드론을 아래쪽 방향으로 이동하도록 한다. 이는 좌/우 분류에도 동일하게 적용하여 드론이 안전하게 상승하도록 한다.
본 기능은 카메라에 근접한 객체로부터 발생하는 옵티컬 플로우값은 먼곳에 위치한 객체로부터 발생하는 옵티컬 플로우값보다 크게 나온다는 점과 카메라에 근접한 객체는 카메라 영상에 보다 크게 나타난다는 점을 이용한 것이다.
이와 같이, 드론의 이동방향에 물체가 근접해 있으면 방해물이 있다고 판단할 수 있으며, 이와 반대의 방향으로 드론을 이동하여 방해물을 피해갈 수 있다. 이를 수학식으로 나타내면 다음과 같다.
여기서, F1은 드론이 프레임의 위쪽 및 아래쪽 중에서 이동해야 하는 방향 및 정도를 나타내는 값이고, 는 프레임의 위쪽의 옵티컬 플로우값의 합을 나타내는 값이고, 는 프레임의 아랫쪽의 옵티컬 플로우값의 합을 나타내는 값이다.
여기서, F2는 드론이 프레임의 왼쪽 및 오른쪽 중에서 이동해야 하는 방향 및 정도를 나타내는 값이고, 는 프레임의 왼쪽의 옵티컬 플로우값의 합을 나타내는 값이고, 는 프레임의 오른쪽의 옵티컬 플로우값의 합을 나타내는 값이다.
이때, 예를 들어, F1이 0보다 큰 값이면, 프레임을 위쪽과 아래쪽으로 구분하였을 때, 위쪽의 옵티컬 플로우값의 합이 더 큰 것이므로 드론은 옵티컬 플로우값의 합이 더 작은 아래쪽 방향으로 이동할 수 있으며, 그 값이 보다 커질수록 더 많이 이동해야 할 수 있다.
도 7을 참조하여 보다 구체적으로 설명하면, 자동 이착륙 장치가 프레임을 좌/우로 나누어 옵티컬 플로우값을 계산할 때, 우측의 건물(703)이 좌측의 건물(701)보다 드론에 가깝게 위치하고 있기 때문에, 프레임 우측의 옵티컬 플로우값의 평균이 프레임 좌측의 옵티컬 플로우값의 평균보다 클 것이므로, F2는 음수가 되어 자동 이착륙 장치는 드론을 좌측으로 이동시킬 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 드론의 자동 이륙 방법은 별도의 조종이나 추가적인 장치 없이도 드론을 안전하게 자동으로 이륙시킬 수 있는 효과가 있다.
도 5는 본 발명의 일 실시예에 따른 드론의 자동 이착륙 장치를 설명하기 위하여 도시한 도면이다.
도 5를 살펴보면, 드론의 자동 이착륙 장치(500)는 영상분석부(510), 방해물판단부(520) 및 이착륙부(530)를 포함한다. 또한, 선택적으로 수신상태판단부(미도시)를 더 포함할 수 있다.
영상분석부(510)는 드론에 탑재된 카메라로부터 촬영된 드론의 상방향 또는 하방향의 영상을 분석하여 그 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우값을 계산한다.
방해물판단부(520)는 계산된 옵티컬 플로우값에 기초하여 상방향 또는 하방향에 방해물이 존재하는지 판단한다.
이착륙부(530)는 방해물의 존재에 대한 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 이착륙한다.
다른 실시예에서는, 이착륙부(530)가 상방향 또는 하방향에 방해물이 존재하는 경우에, 그 방해물이 고정되어 있으면 방해물이 위치하지 않은 방향으로 이동하고, 그 방해물이 이동하고 있으면 방해물이 지나갈 때까지 대기하거나, 드론의 이동 속도, 방해물의 위치 및 이동 속도에 기초하여 결정된 방해물과 충돌하지 않는 방향으로 이동하여 이착륙할 수 있다.
또 다른 실시예에서는, 이착륙부(530)가 드론이 착륙하려는 제1 지점을 포함하는 착륙후보영역의 영상을 구성하는 프레임에 대하여 각 픽셀 별로 계산된 옵티컬 플로우값의 규모에 기초하여 산출된 옵티컬 플로우 규모선을 이용하여 그 제1 지점이 평탄한 지점인지 판단하는 착륙지점판단부(미도시)와 그 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 착륙하는 착륙부(미도시)를 포함할 수 있다.
또 다른 실시예에서는, 착륙부(미도시)가 착륙하려는 제1 지점이 평탄한 지점이면 그 제1 지점을 향해 하강하고, 평탄한 지점이 아니면 계산된 옵티컬 플로우 규모선을 이용하여 발견된 착륙후보영역 내의 평탄한 제2 지점을 향해 이동할 수 있다.
또 다른 실시예에서는, 옵티컬 플로우 규모선은 착륙후보영역의 영상을 구성하는 프레임에 포함된 각 픽셀별로 옵티컬 플로우값의 규모를 계산하고, 그 계산된 규모가 소정 범위인 픽셀들을 연결하여 산출될 수 있다.
마지막으로, 수신상태판단부(미도시)는 GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 상황인지 판단한다. 그리고, GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 경우 영상분석부(510), 방해물판단부(520) 및 이착륙부(530)가 자동 이착륙을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 옵티컬 플로우값을 설명하기 위하여 도시한 도면이다.
옵티컬 플로우는 영상을 구성하는 프레임을 분석하여 영상 내의 움직임을 계산하는 영상처리 기법으로, 예를 들어, 드론이 고도를 낮추고 있을 때 하방향 카메라로부터 계산되는 옵티컬 플로우의 값은 도 8과 같이 나타낼 수 있다. 도 8을 참조하면, 프레임 내부의 격자 모양의 픽셀들에 대하여 시간에 따른 움직임을 분홍색으로 표시한 것을 볼 수 있다.
예컨대, 영상을 구성하는 프레임에서, (x, y) 픽셀의 시각 t에서의 옵티컬 플로우값은 OF(x,y,t) = (Δx,Δy)로 정의될 수 있다. 이때, 시각 t에서의 프레임과 움직임을 측정하기 위한 대상이 되는 시각 (t - Δt)에서의 프레임의 간격(Δt)은 소정의 시간 간격으로 결정될 수 있다.
옵티컬 플로우 계산법으로는 다양한 기법들이 있으며 대표적인 기법으로는 Phase correlation 기법, Block matching 기법, Lucas-Kanade 기법, Horn-Schunck 기법, Simple flow기법 등이 있다. 본 발명은 이러한 여러 기법들 중 하나에 기초하여 계산된 옵티컬 플로우 정보를 바탕으로 안전하게 이착륙 가능한 지점을 찾거나 방해물 및 위험을 감지할 수 있다.
도 9a 및 9b는 본 발명의 일 실시예에 따른 옵티컬 플로우 규모선을 설명하기 위하여 도시한 도면이다.
드론이 착륙할 때, 탑재된 카메라(901)로부터 촬영되는 하방향 영상을 구성하는 프레임에 대하여, 프레임 내의 (x, y) 픽셀의 시각 t에서의 옵티컬 플로우값은 OF(x,y,t) = (Δx,Δy)로 정의될 수 있으며, 이에 대한 옵티컬 플로우 규모값은 다음과 같이 계산될 수 있다.
여기서, |OF(x,y,t)|는 프레임 내의 좌표 (x,y)에서의 시각 t에서의 옵티컬 플로우 규모값을 나타내고, Δx는 좌표 (x,y)에서의 옵티컬 플로우값의 x축 성분을 나타내고, Δy는 좌표 (x,y)에서의 옵티컬 플로우값의 y축 성분을 나타낸다.
한편, 드론이 v의 속도로 수직으로 하강하면서 착륙할 때, 탑재된 카메라(901)로부터 촬영되는 하방향 영상을 구성하는 프레임에 대하여, 그 프레임내의 좌표 (x,y)에서의 옵티컬 플로우 규모값은 다음과 같이 계산될 수 있다.
여기서, OF(x,y)는 프레임 내의 좌표 (x,y)에서의 옵티컬 플로우 규모값을 나타내고, α는 촬영하는 카메라별로 결정되는 소정의 스케일값을 나타내고, v는 드론이 하강하는 속도를 나타내고, θ는 드론이 하강하는 지점과 좌표 (x,y)사이의 각의 크기를 나타낸다.
이때, 드론이 하강하는 지점이 프레임의 중앙 지점이면 tanθ가 0이기에 옵티컬 플로우 규모값은 0이며, 프레임의 중앙에서 멀어질수록 tanθ의 값이 증가하여 옵티컬 플로우 규모값도 증가하게 된다
이렇게 구해지는 옵티컬 플로우 규모값들을 일정하게 증가할 때마다 묶어서 선으로 이으면 도 9b와 같이 프레임의 중앙을 중심으로 하는 원들이 그려지게 된다. 하지만, 만일 지면이 평탄하지 않고 부분별로 고저차가 있다면, 지면이 높은 부분은 도 9a에 표시된 h가 작아지게 된다. 그리고, h가 작아지면 θ의 증가 속도가 커지게 되어 최종적으로 해당부분의 옵티컬 플로우 규모값은 프레임의 다른 부분보다 커지게 된다. 따라서, 고도가 높은 부분은 옵티컬 플로우 규모값의 변화가 고도가 낮은 부분보다 크게 되고 이를 바탕으로 옵티컬 플로우 규모선을 그리면 고도가 높은 부분은 옵티컬 플로우 규모선 간의 간격이 고도가 낮은 부분보다 작게 된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (15)
- 드론에 탑재된 카메라로부터 촬영된 상기 드론의 상방향 또는 하방향의 영상을 분석하여 상기 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우(optical flow)값을 계산하는 단계;
상기 계산된 옵티컬 플로우값에 기초하여 상기 상방향 또는 하방향에 방해물이 존재하는지 판단하는 단계; 및
상기 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 이착륙하는 단계를 포함하고,
GPS 및 RC(remote control)중 적어도 하나에 기반한 비행이 불가능한 상황인지 판단하는 단계를 더 포함하고,
상기 GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 경우 상기 계산하는 단계, 상기 판단하는 단계 및 상기 이착륙하는 단계가 수행되는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 제1항에 있어서,
상기 선택적으로 소정 방향으로 이동하여 이착륙하는 단계는
상기 상방향 또는 하방향에 방해물이 존재하는 경우에,
상기 방해물이 고정되어 있으면 상기 방해물이 위치하지 않은 방향으로 이동하고,
상기 방해물이 이동하고 있으면 상기 방해물이 지나갈 때까지 대기하거나 상기 드론의 이동 속도, 상기 방해물의 위치 및 이동 속도에 기초하여 결정된 상기 방해물과 충돌하지 않는 방향으로 이동하여 이착륙하는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 제1항에 있어서,
상기 드론이 착륙할 때,
상기 선택적으로 소정 방향으로 이동하여 이착륙하는 단계는
상기 착륙하려는 제1 지점을 포함하는 착륙후보영역의 영상을 구성하는 프레임에 대하여 각 픽셀 별로 계산된 옵티컬 플로우값의 규모에 기초하여 산출된 옵티컬 플로우 규모선을 이용하여 상기 제1 지점이 평탄한 지점인지 판단하는 단계; 및
상기 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 착륙하는 단계를 포함하는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 제3항에 있어서,
상기 선택적으로 소정 방향으로 이동하여 착륙하는 단계는
상기 착륙하려는 제1 지점이 평탄한 지점이면 상기 제1 지점을 향해 하강하고, 평탄한 지점이 아니면 상기 계산된 옵티컬 플로우 규모선을 이용하여 발견된 상기 착륙후보영역 내의 평탄한 제2 지점을 향해 이동하는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 제3항에 있어서,
상기 옵티컬 플로우 규모선은
상기 착륙후보영역의 영상을 구성하는 프레임에 포함된 각 픽셀별로 옵티컬 플로우값의 규모를 계산하고, 상기 계산된 규모가 소정 범위인 픽셀들을 연결하여 산출되는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 제1항에 있어서,
상기 드론에 탑재된 카메라는
이륙시에는 상방향, 착륙시에는 하방향의 영상을 촬영하도록 회전되는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 제1항에 있어서,
상기 드론에 탑재된 카메라는
각각이 상방향 또는 하방향의 영상을 촬영하도록 설치된 적어도 두 대의 카메라를 포함하는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 삭제
- 제1항에 있어서,
상기 옵티컬 플로우값은
Phase correlation 기법, Block matching 기법, Lucas-Kanade 기법, Horn-Schunck 기법 및 Simple flow기법 중 하나에 기초하여 계산되는 것을 특징으로 하는 드론의 자동 이착륙 방법. - 드론에 탑재된 카메라로부터 촬영된 상기 드론의 상방향 또는 하방향의 영상을 분석하여 상기 영상을 구성하는 프레임간 변화를 나타내는 옵티컬 플로우값을 계산하는 영상분석부;
상기 계산된 옵티컬 플로우값에 기초하여 상기 상방향 또는 하방향에 방해물이 존재하는지 판단하는 방해물판단부; 및
상기 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 이착륙하는 이착륙부를 포함하고,
GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 상황인지 판단하는 수신상태판단부를 더 포함하고,
상기 GPS 및 RC중 적어도 하나에 기반한 비행이 불가능한 경우 상기 영상분석부, 상기 방해물판단부 및 상기 이착륙부가 이착륙을 수행하는 것을 특징으로 하는 드론의 자동 이착륙 장치. - 제10항에 있어서,
상기 이착륙부는
상기 상방향 또는 하방향에 방해물이 존재하는 경우에,
상기 방해물이 고정되어 있으면 상기 방해물이 위치하지 않은 방향으로 이동하고,
상기 방해물이 이동하고 있으면 상기 방해물이 지나갈 때까지 대기하거나, 상기 드론의 이동 속도, 상기 방해물의 위치 및 이동 속도에 기초하여 결정된 상기 방해물과 충돌하지 않는 방향으로 이동하여 이착륙하는 것을 특징으로 하는 드론의 자동 이착륙 장치. - 제10항에 있어서,
상기 이착륙부는
상기 착륙하려는 제1 지점을 포함하는 착륙후보영역의 영상을 구성하는 프레임에 대하여 각 픽셀 별로 계산된 옵티컬 플로우값의 규모에 기초하여 산출된 옵티컬 플로우 규모선을 이용하여 상기 제1 지점이 평탄한 지점인지 판단하는 착륙지점판단부; 및
상기 판단 결과에 따라, 선택적으로 소정 방향으로 이동하여 착륙하는 착륙부를 포함하는 것을 특징으로 하는 드론의 자동 이착륙 장치. - 제12항에 있어서,
상기 착륙부는
상기 착륙하려는 제1 지점이 평탄한 지점이면 상기 제1 지점을 향해 하강하고, 평탄한 지점이 아니면 상기 계산된 옵티컬 플로우 규모선을 이용하여 발견된 상기 착륙후보영역 내의 평탄한 제2 지점을 향해 이동하는 것을 특징으로 하는 드론의 자동 이착륙 장치. - 제12항에 있어서,
상기 옵티컬 플로우 규모선은
상기 착륙후보영역의 영상을 구성하는 프레임에 포함된 각 픽셀별로 옵티컬 플로우값의 규모를 계산하고, 상기 계산된 규모가 소정 범위인 픽셀들을 연결하여 산출되는 것을 특징으로 하는 드론의 자동 이착륙 장치. - 삭제
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160014865A KR101749578B1 (ko) | 2016-02-05 | 2016-02-05 | 드론의 자동 이착륙 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160014865A KR101749578B1 (ko) | 2016-02-05 | 2016-02-05 | 드론의 자동 이착륙 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101749578B1 true KR101749578B1 (ko) | 2017-06-21 |
Family
ID=59281650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160014865A KR101749578B1 (ko) | 2016-02-05 | 2016-02-05 | 드론의 자동 이착륙 방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101749578B1 (ko) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101957958B1 (ko) | 2018-08-28 | 2019-03-14 | 주식회사 에이엠 특장 | 드론을 이용한 쓰레기 수거차의 안전장치 |
KR101980978B1 (ko) | 2017-11-27 | 2019-05-21 | 연세대학교 산학협력단 | 복수의 uwb 레이더를 이용한 드론 착륙 영역의 안전성 판단 장치 및 방법 |
KR20190141389A (ko) | 2018-06-14 | 2019-12-24 | (재)경북차량용임베디드기술연구원 | 비전 인식을 이용한 자동 드론 착륙 장치 및 방법 |
KR20200050572A (ko) * | 2018-11-02 | 2020-05-12 | 주식회사 도구공간 | 이동 로봇의 제어 방법, 그 방법을 지원하는 장치 및 이동 로봇을 이용한 배송 시스템 |
JP2020162161A (ja) * | 2018-12-20 | 2020-10-01 | ソフトバンク株式会社 | 通信装置、方法及びプログラム、並びに、その通信装置を有する飛行装置及び制御システム |
US20210221368A1 (en) * | 2018-06-13 | 2021-07-22 | Ride Vision Ltd. | A rider assistance system and method |
US11173605B2 (en) | 2018-02-26 | 2021-11-16 | dogugonggan Co., Ltd. | Method of controlling mobile robot, apparatus for supporting the method, and delivery system using mobile robot |
KR20230018237A (ko) * | 2021-07-29 | 2023-02-07 | 주식회사 아이팝 | Gps 신호 수신 불가 시 드론의 회귀 방법 |
KR20230024705A (ko) | 2021-08-12 | 2023-02-21 | 광주과학기술원 | 무인비행체, 무인비행체의 착륙방법, 및 무인비행체의 착륙시스템 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101441422B1 (ko) | 2013-05-09 | 2014-09-24 | 인하대학교 산학협력단 | 온톨로지 기법을 이용한 항공기 이착륙시 장애물과의 충돌을 예측하는 의사결정장치 및 방법 |
-
2016
- 2016-02-05 KR KR1020160014865A patent/KR101749578B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101441422B1 (ko) | 2013-05-09 | 2014-09-24 | 인하대학교 산학협력단 | 온톨로지 기법을 이용한 항공기 이착륙시 장애물과의 충돌을 예측하는 의사결정장치 및 방법 |
Non-Patent Citations (1)
Title |
---|
Journal of the Korean Institute of Industrial Engineers(Vol.28, No.1, pp.25-35)(2002.03.) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101980978B1 (ko) | 2017-11-27 | 2019-05-21 | 연세대학교 산학협력단 | 복수의 uwb 레이더를 이용한 드론 착륙 영역의 안전성 판단 장치 및 방법 |
US11173605B2 (en) | 2018-02-26 | 2021-11-16 | dogugonggan Co., Ltd. | Method of controlling mobile robot, apparatus for supporting the method, and delivery system using mobile robot |
US12030190B2 (en) | 2018-02-26 | 2024-07-09 | dogugonggan Co., Ltd. | Method of controlling mobile robot, apparatus for supporting the method, and delivery system using mobile robot |
US11845188B2 (en) | 2018-02-26 | 2023-12-19 | dogugonggan Co., Ltd. | Method of controlling mobile robot, apparatus for supporting the method, and delivery system using mobile robot |
US20210221368A1 (en) * | 2018-06-13 | 2021-07-22 | Ride Vision Ltd. | A rider assistance system and method |
KR20190141389A (ko) | 2018-06-14 | 2019-12-24 | (재)경북차량용임베디드기술연구원 | 비전 인식을 이용한 자동 드론 착륙 장치 및 방법 |
KR101957958B1 (ko) | 2018-08-28 | 2019-03-14 | 주식회사 에이엠 특장 | 드론을 이용한 쓰레기 수거차의 안전장치 |
KR102285813B1 (ko) * | 2018-11-02 | 2021-08-04 | 주식회사 도구공간 | 이동 로봇의 제어 방법, 그 방법을 지원하는 장치 및 이동 로봇을 이용한 배송 시스템 |
KR20200050572A (ko) * | 2018-11-02 | 2020-05-12 | 주식회사 도구공간 | 이동 로봇의 제어 방법, 그 방법을 지원하는 장치 및 이동 로봇을 이용한 배송 시스템 |
JP2020162161A (ja) * | 2018-12-20 | 2020-10-01 | ソフトバンク株式会社 | 通信装置、方法及びプログラム、並びに、その通信装置を有する飛行装置及び制御システム |
KR20230018237A (ko) * | 2021-07-29 | 2023-02-07 | 주식회사 아이팝 | Gps 신호 수신 불가 시 드론의 회귀 방법 |
KR102578901B1 (ko) * | 2021-07-29 | 2023-09-14 | 주식회사 아이팝 | Gps 신호 수신 불가 시 드론의 회귀 방법 |
KR20230024705A (ko) | 2021-08-12 | 2023-02-21 | 광주과학기술원 | 무인비행체, 무인비행체의 착륙방법, 및 무인비행체의 착륙시스템 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101749578B1 (ko) | 드론의 자동 이착륙 방법 및 장치 | |
JP7143444B2 (ja) | 航空機のスマート着陸 | |
CN109144097B (zh) | 障碍物或地面识别及飞行控制方法、装置、设备及介质 | |
US12037117B2 (en) | Unmanned aerial vehicle and payload delivery system | |
US11726498B2 (en) | Aerial vehicle touchdown detection | |
US20240101254A1 (en) | Detecting Optical Discrepancies In Captured Images | |
US10377485B2 (en) | System and method for automatically inspecting surfaces | |
CN107544550B (zh) | 一种基于视觉引导的无人机自动着陆方法 | |
KR100842104B1 (ko) | Ads―b와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법 | |
CN110825101B (zh) | 一种基于深度卷积神经网络的无人机自主降落方法 | |
JP2024053085A (ja) | 飛行体制御装置、飛行体制御方法、及びプログラム | |
EP3690728B1 (en) | Method and device for detecting parking area using semantic segmentation in automatic parking system | |
CN107563373B (zh) | 基于立体视觉的无人机降落区域主动安全检测方法及应用 | |
JP6791365B2 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
CN111123964B (zh) | 一种无人机降落方法、设备以及计算机可读介质 | |
CN108750129B (zh) | 一种载人无人机定位着陆方法及载人无人机 | |
EP3413266A1 (en) | Image processing device, image processing method, and image processing program | |
EP3992747A1 (en) | Mobile body, control method, and program | |
EP3989034B1 (en) | Automatic safe-landing-site selection for unmanned aerial systems | |
US20200073409A1 (en) | Uav landing system and landing method thereof | |
CN110147116A (zh) | 用于无人飞行器爬坡的控制方法、控制装置和无人飞行器 | |
CN107609468B (zh) | 用于无人机降落区域主动安全检测的类别优化聚合分析方法及应用 | |
WO2021146973A1 (zh) | 无人机返航的控制方法、设备、可移动平台和存储介质 | |
Lee et al. | Safe landing of drone using AI-based obstacle avoidance | |
CN113917934B (zh) | 一种基于激光雷达的无人机精准降落方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |