KR20150136209A - Obstacle avoidance system and method based on multiple images - Google Patents
Obstacle avoidance system and method based on multiple images Download PDFInfo
- Publication number
- KR20150136209A KR20150136209A KR1020140063223A KR20140063223A KR20150136209A KR 20150136209 A KR20150136209 A KR 20150136209A KR 1020140063223 A KR1020140063223 A KR 1020140063223A KR 20140063223 A KR20140063223 A KR 20140063223A KR 20150136209 A KR20150136209 A KR 20150136209A
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- uav
- collision
- circumscribed
- sphere
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 다중 영상 기반 장애물 회피 시스템 및 방법에 관한 것이다.
The present invention relates to a multiple image based obstacle avoidance system and method.
일반적으로 항공기는 지표면에 대한 공기의 반작용으로 대기 중에서 지지력을 획득할 수 있는 기계를 의미한다. In general, an aircraft is a machine that can acquire bearing capacity in the atmosphere by the reaction of air to the surface.
항공기 중에서 무인기(UAV, Unmanned Aerial Vehicle)는 조종사가 탑승하지 않는 항공기로서, 최근 군사 분야뿐만 아니라 민간 분야에서도 많은 주목을 끌고 있다. 대표적인 무인기로는 쿼드로터(quadrotor)가 있는데, 수직 이착륙이 가능한 회전익 무인기의 한 종류이다. Unmanned Aerial Vehicle (UAV) is a non-pilot aircraft that has attracted much attention in the civilian field as well as the military in recent years. A typical quadrotor is a quadrotor, which is a type of rotary wing UAV that can take off and land vertically.
무인기는 전쟁터, 재난지역과 같이 위험환경에서도 효율적이면서도 효과적으로 다양한 임무 수행을 할 수 있어, 감시, 정찰, 탐사, 운송 등과 같은 임무를 위해 광범위하게 사용되고 있다. UAVs are used extensively for missions such as surveillance, reconnaissance, exploration, and transport, because they can perform various tasks effectively and effectively in dangerous environments such as battlefields and disaster areas.
이러한 임무를 수행함에 있어서 자연구조물 및 인공구조물을 포함하는 다양한 장애물(obstacle)에 근접해야 할 것이 요구되고 있어, 주어진 임무를 성공적으로 수행하기 위해서는 이러한 장애물에 충돌하는 것을 회피할 필요성이 야기되고 있으며, 이를 위해 무인기에서 장애물을 감지하고 회피할 것이 요구되고 있다. In performing such a task, it is required to approach various obstacles including natural structures and artificial structures, and there is a need to avoid collision with such obstacles in order to successfully perform a given task, To do this, it is required to detect obstacles in the UAV and to avoid them.
이러한 목적으로 무인기를 위해 개발되어 사용되고 있는 센서들이 있다. 센서들은 감지하는 에너지가 인공적인지 자연적인지 여부에 기초하여 분류될 수 있다. There are sensors that have been developed and used for UAVs for this purpose. Sensors can be classified based on whether the sensing energy is artificial or natural.
능동 센서(active sensor)는 환경 속으로 에너지를 발상함으로써 동작하게 되고, 이후 빔의 반사를 측정하게 되는데, 예를 들면 레이더(radar), 레이저레이더(ladar), 라이더(lidar) 등이 있을 수 있다. 이들 센서는 정확한 정보를 제공하지만, 발산 에너지로 인해 적군의 방공 시스템과 같은 다른 센서 시스템에 의해 쉽게 감지될 수 있게 된다. 또한, 이들 센서들은 무겁고 비용이 비싸 쿼드로터와 같은 소형 무인기에는 적합하지 않은 한계도 있다. An active sensor operates by generating energy into the environment and then measures the reflection of the beam, for example a radar, a laser radar, a lidar, etc. . These sensors provide accurate information, but the diverging energy makes them easily detectable by other sensor systems, such as enemy air defense systems. In addition, these sensors are heavy and expensive, and are also not suitable for small UAVs such as quad rotors.
이와는 달리, 수동 센서(passive sensor)는 몸체에서 발산되거나 태양광과 같은 자연 소스로부터 반사되는 에너지를 감지하게 되는데, 예를 들면 카메라, 적외선 센서, 후각 센서 등이 있을 수 있다. 이들 센서는 저렴하고 가볍기는 하지만, 능동 센서에 비해 정확성이 떨어지는 단점이 있다. 또한, 이들 센서에 의해 수집된 데이터는 잡음이 많아 정확성을 향상시키기 위해 이미지 처리가 필요할 수도 있다. Alternatively, a passive sensor senses energy emitted from the body or reflected from a natural source such as sunlight, for example, a camera, an infrared sensor, an olfactory sensor, or the like. Although these sensors are inexpensive and lightweight, they are less accurate than active sensors. Also, the data collected by these sensors may be noisy and may require image processing to improve accuracy.
한국공개특허 10-2013-0037697호(무인항공기의 충돌 방지 시스템 및 방법)에는 2차원 전자지도 기반하에서 자동으로 다음 비행 경유지로 이동중 사용자가 지정한 비행 고도보다 중간 경유지에 비행 고도보다 높은 산, 빌딩 등이 있는 경우 자동비행 중 충돌 위험을 조종자에게 사전에 알려주어 고도를 수정하거나 경유지를 변경하도록 하는 기술이 개시되어 있다. 하지만, 이 경우 영상 정보를 사용하지 않고 초음파 센서를 사용하여 장애물을 탐지하고 있을 뿐이며, 이를 조종사에게 미리 경고하여 조종사가 다음 목적지로 이동하는 무인항공기의 고도나 비행 경로를 수정하는 방식이 적용되어 있다. Korean Unexamined Patent Publication No. 10-2013-0037697 (Unmanned Aircraft Collision Avoidance System and Method) discloses a system and method for preventing collision of an unmanned airplane, which automatically moves to the next flight stopping base based on a 2D electronic map, There is disclosed a technique of informing a driver of the risk of collision during an automatic flight in advance so as to correct altitude or to change the waypoint. However, in this case, only the obstacle is detected using the ultrasonic sensor without using the image information, and a method of correcting the altitude or the flight path of the unmanned airplane in which the pilot moves to the next destination is warned in advance .
하지만, 최근 카메라와 같은 비전 센서가 저렴한 비용으로 인해 무인기에 많이 장착되고 있어, 이를 이용한 장애물 탐지 및 충돌 회피 방안이 필요한 실정이다. However, recently, vision sensors such as cameras have been mounted on UAVs because of low cost, and obstacle detection and collision avoidance methods are needed.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
The above-described background technology is technical information that the inventor holds for the derivation of the present invention or acquired in the process of deriving the present invention, and can not necessarily be a known technology disclosed to the general public prior to the filing of the present invention.
본 발명은 단일 카메라와 달리 깊이를 측정할 수 있는 스테레오 비전을 이용하여 다중 영상을 분석함으로써 무인기의 임무 수행 중 방해가 될 수 있는 장애물을 미리 탐지하고 조종사의 개입 없이도 충돌 여부를 자동으로 판단하여 장애물을 회피하는 기동이 가능한 다중 영상 기반 장애물 회피 시스템 및 방법을 제공하기 위한 것이다.The present invention analyzes multiple images using a stereo vision that can measure depths unlike a single camera, thereby detecting obstacles that may be disturbed during the mission of the UAV, automatically determining the collision without the pilot's intervention, Based obstacle avoidance system and method capable of maneuvering avoiding obstacle avoidance.
본 발명은 가격이 상대적으로 저렴한 수동 센서를 사용함으로써 시장 경쟁력이 높고, 다양한 임무에 활용되는 무인기가 장애물 회피 방법의 적용에 의해 안전한 임무 수행이 가능한 다중 영상 기반 장애물 회피 시스템 및 방법을 제공하기 위한 것이다.The present invention provides a multi-image-based obstacle avoidance system and method capable of performing a mission safely by applying an obstacle avoidance method in which a passive sensor having a relatively low price is used and a market competitiveness is high and a UAV is utilized for various missions .
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
Other objects of the present invention will become readily apparent from the following description.
본 발명의 일 측면에 따르면, 동작 모드에 따라 무인기를 기동시키는 무인기 기동부; 상기 무인기에 설치된 다중 카메라에서 촬영한 다중 영상으로부터 깊이 지도(depth map)을 생성하는 깊이 지도 생성부; 상기 깊이 지도를 분석하여 장애물을 탐지하는 장애물 탐지부; 및 상기 장애물 탐지부에서 장애물을 탐지한 경우, 상기 장애물을 회피하도록 조준점(aiming point)을 생성하여 상기 무인기가 목표점을 향해 이동하는 내비게이션 모드에서 상기 조준점을 향하도록 하는 제1 충돌 회피 모드로 상기 동작 모드를 전환시키는 충돌 회피 처리부를 포함하는 장애물 회피 시스템이 제공된다. According to an aspect of the present invention, there is provided an unmanned mobile communication system including: a UAV activation section for activating a UAV according to an operation mode; A depth map generation unit for generating a depth map from multiple images captured by multiple cameras installed in the UAV; An obstacle detection unit for analyzing the depth map and detecting an obstacle; And a second collision avoidance mode in which, when an obstacle is detected by the obstacle detection unit, an aiming point is generated to avoid the obstacle and the UAV is directed to the aiming point in a navigation mode in which the UAV moves toward a target point, And an obstacle avoidance system including a collision avoidance processing unit that switches modes.
상기 장애물 탐지부는 상기 깊이 지도에서 픽셀의 깊이값이 미리 정의된 임계치보다 작을 경우 상기 픽셀의 영역이 상기 장애물인 것으로 간주할 수 있다.The obstacle detection unit may regard the area of the pixel as the obstacle when the depth value of the pixel in the depth map is smaller than a predetermined threshold value.
상기 장애물 탐지부는 상기 장애물을 상기 장애물 자체를 포함하는 외접구(circumscribed sphere)로 재형상화하고, 상기 외접구의 직경 혹은 반경 중 적어도 하나와 상기 외접구의 중심점을 장애물 정보로 생성할 수 있다. 여기서, 상기 외접구의 중심점의 x 성분은 최소 깊이와 최대 깊이의 평균이고, 상기 외접구의 중심점의 y 성분 및 z 성분은 이미지 평면 내에서 상기 장애물에 해당하는 전체 픽셀 영역을 커버하는 외접원의 중심점이며, 상기 최소 깊이와 상기 최대 깊이 간의 차이와 상기 외접원의 직경 중 큰 값을 상기 외접구의 직경으로 선택할 수 있다.The obstacle detection unit may reshape the obstacle to a circumscribed sphere including the obstacle itself and generate at least one of the diameter or the radius of the circumscribed sphere and the center point of the circumscribed sphere as the obstacle information. Here, the x component of the center point of the circumscribed sphere is the average of the minimum depth and the maximum depth, and the y component and the z component of the center point of the circumscribed sphere are center points of the circumscribed circle covering the entire pixel region corresponding to the obstacle in the image plane, A difference between the minimum depth and the maximum depth and a larger value of the diameter of the circumscribed circle may be selected as the diameter of the circumscribed sphere.
상기 충돌 회피 처리부는 상기 외접구의 직경에 안전 마진(safety margin)을 합산한 충돌 안전 경계(collision safety boundary)를 생성하고, 상기 무인기로부터 상기 충돌 안전 경계까지의 접선 집합에 의해 정의되는 충돌 콘(collision cone)을 생성한 후, 상기 무인기의 속도 벡터가 상기 충돌 콘 내에 위치할 경우 상기 제1 충돌 회피 모드로 상기 동작 모드를 전환시킬 수 있다.Wherein the collision avoidance processing unit generates a collision safety boundary by adding a safety margin to the diameter of the circumscribed sphere and sets a collision safety boundary defined by a set of tangents from the UAV to the collision safe boundary, cone, and may switch the operation mode to the first collision avoidance mode when the velocity vector of the UAV is located in the collision cone.
상기 충돌 회피 처리부는 상기 충돌 안전 경계와 상기 충돌 콘의 교점 집합 중 상기 속도 벡터에 가장 근접한 거리를 가지는 지점을 상기 조준점으로 선택할 수 있다.The collision avoidance processing unit may select a point having a distance closest to the velocity vector among the intersection set of the collision safe boundary and the crash cone as the aim point.
이전에 생성된 상기 장애물 정보를 모두 저장하는 저장부를 더 포함하되, 상기 장애물 탐지부에서 장애물이 감지되지 않고 상기 저장부에 이전에 저장된 상기 장애물 정보가 존재할 경우, 상기 충돌 회피 처리부는 상기 무인기의 속도 벡터가 상기 장애물 정보로 이루어진 외접구와 상기 무인기에 의해 형성된 충돌 콘 내부 영역을 가리키는 경우 제2 충돌 회피 모드로 상기 동작 모드를 전환할 수 있다.Wherein when the obstacle detection unit detects no obstacle and the obstacle information previously stored in the storage unit exists, the collision avoidance processing unit sets the speed of the UAV, When the vector indicates a circumscribed sphere composed of the obstacle information and an impact area of the crash cone formed by the UAV, the operation mode can be switched to the second collision avoidance mode.
상기 충돌 회피 처리부는 상기 무인기의 속도 벡터가 충돌 콘 내부 영역을 가리키는 외접구가 복수인 경우, 하기 수학식에 따라 충돌 회피를 위한 중요 외접구를 선택할 수 있다. The collision avoidance processing unit may select an important circumscribed sphere for collision avoidance according to the following equation when the speed vector of the UAV is a plurality of circumscribed spheres pointing to the collision cone inner region.
여기서, 
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 외부에 있을 때, 상기 충돌 회피 처리부는 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성할 수 있다.In the second collision avoidance mode, when the UAV is outside the critical circumscribed sphere, the collision avoidance processing unit may generate the aim point after replacing the collision safety boundary with the critical circumscribed sphere.
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 내부에 있을 때, 상기 충돌 회피 처리부는 상기 목표점을 중심으로 하고 중요 외접구의 중심점을 표면 상의 일 지점으로 하는 구를 형상화했을 때, 상기 구의 내부에 상기 무인기가 위치하면 상기 목표점을 향하도록 상기 동작 모드를 상기 내비게이션 모드로 설정하고, 상기 구의 내부에 상기 무인기가 위치하지 않으면 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성할 수 있다.When the UAV is inside the critical circumscribing sphere in the second collision avoidance mode, the collision avoiding processing unit, when the sphere having the central point of the important circumscribed sphere around the target point as one point on the surface is shaped, And setting the operation mode to the navigation mode so as to face the target point if the UAV is located in the navigation system and to replace the crash safe boundary with the critical circumscribed point if the UAV is not located inside the sphere, have.
상기 장애물 탐지부는 상기 다중 영상을 바이너리 영상으로 변환하고 클러스터(cluster)를 생성하되, 오버랩되는 장애물을 하나의 장애물로 취급할 수 있다. 조준점 후보는 상기 클러스터 주위로 계산되며, 상기 조준점 후보의 일부 지점이 다른 장애물의 충돌 안전 경계에 포함되는 경우 상기 조준점 후보에서 제외될 수 있다.The obstacle detection unit converts the multiple images into a binary image, generates a cluster, and treats the overlapped obstacle as one obstacle. The aiming point candidate is calculated around the cluster and may be excluded from the aiming point candidate if some point of the aiming point candidate is included in the collision safety boundary of another obstacle.
본 발명의 다른 측면이 따르면, 동작 모드에 따라 기동되어 목표점을 향해 이동하는 무인기가 장애물과 충돌하는 것을 회피시키는 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다. According to another aspect of the present invention, there is provided a method of avoiding collision of an unmanned aerial vehicle, which is started in accordance with an operation mode and moves toward a target point, with an obstacle, and a recording medium on which a program for performing the method is recorded.
일 실시예에 따른 장애물 회피 방법은, (a) 상기 무인기에 설치된 다중 카메라에서 촬영한 다중 영상으로부터 깊이 지도를 생성하는 단계; (b) 상기 깊이 지도를 분석하여 장애물을 탐지하는 단계; 및 (c) 상기 장애물 탐지부에서 장애물을 탐지한 경우, 상기 장애물을 회피하도록 조준점을 생성하여 상기 무인기가 목표점을 향해 이동하는 내비게이션 모드에서 상기 조준점을 향하도록 하는 제1 충돌 회피 모드로 상기 동작 모드를 전환시키는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided an obstacle avoidance method comprising the steps of: (a) generating a depth map from multiple images taken by multiple cameras installed in the UAV; (b) analyzing the depth map to detect an obstacle; And (c) generating an aim point to avoid the obstacle when the obstacle is detected by the obstacle detecting unit, and to direct the aim point to the aim point in a navigation mode in which the UAV moves toward the target point, . ≪ / RTI >
상기 단계 (b)는 상기 깊이 지도에서 픽셀의 깊이값이 미리 정의된 임계치보다 작을 경우 상기 픽셀의 영역이 상기 장애물인 것으로 간주할 수 있다.The step (b) may regard the area of the pixel as the obstacle when the depth value of the pixel in the depth map is smaller than a predetermined threshold value.
상기 단계 (b)는 상기 장애물을 상기 장애물 자체를 포함하는 외접구로 재형상화하고, 상기 외접구의 직경 혹은 반경 중 적어도 하나와 상기 외접구의 중심점을 장애물 정보로 생성할 수 있다. 여기서, 상기 외접구의 중심점의 x 성분은 최소 깊이와 최대 깊이의 평균이고, 상기 외접구의 중심점의 y 성분 및 z 성분은 이미지 평면 내에서 상기 장애물에 해당하는 전체 픽셀 영역을 커버하는 외접원의 중심점이며, 상기 최소 깊이와 상기 최대 깊이 간의 차이와 상기 외접원의 직경 중 큰 값을 상기 외접구의 직경으로 선택할 수 있다.The step (b) may reshape the obstacle into a circumscribed sphere including the obstacle itself, and generate at least one of a diameter or a radius of the circumscribed sphere and a center point of the circumscribed sphere as obstacle information. Here, the x component of the center point of the circumscribed sphere is the average of the minimum depth and the maximum depth, and the y component and the z component of the center point of the circumscribed sphere are center points of the circumscribed circle covering the entire pixel region corresponding to the obstacle in the image plane, A difference between the minimum depth and the maximum depth and a larger value of the diameter of the circumscribed circle may be selected as the diameter of the circumscribed sphere.
상기 단계 (c)는, (c1) 상기 외접구의 직경에 안전 마진을 합산한 충돌 안전 경계를 생성하는 단계; (c2) 상기 무인기로부터 상기 충돌 안전 경계까지의 접선 집합에 의해 정의되는 충돌 콘을 생성하는 단계를 포함하되, 상기 무인기의 속도 벡터가 상기 충돌 콘 내에 위치할 경우 상기 제1 충돌 회피 모드로 상기 동작 모드를 전환시킬 수 있다.The step (c) includes the steps of: (c1) generating a collision safety boundary by adding a safety margin to the diameter of the circumscribed sphere; (c2) generating a collision cone defined by a set of tangents from the UAV to the collision safe boundary, wherein when the velocity vector of the UAV is located in the collision cone, Mode can be switched.
상기 충돌 안전 경계와 상기 충돌 콘의 교점 집합 중 상기 속도 벡터에 가장 근접한 거리를 가지는 지점을 상기 조준점으로 선택할 수 있다.A point having a distance closest to the velocity vector among the intersection set of the crash safe boundary and the crash cone may be selected as the aim point.
이전에 생성된 상기 장애물 정보를 저장부에 모두 저장하는 단계를 더 포함하되, 상기 장애물이 감지되지 않고 상기 저장부에 이전에 저장된 상기 장애물 정보가 존재할 경우, 상기 단계 (c)는 상기 무인기의 속도 벡터가 상기 장애물 정보로 이루어진 외접구와 상기 무인기에 의해 형성된 충돌 콘 내부 영역을 가리키는 경우 제2 충돌 회피 모드로 상기 동작 모드를 전환할 수 있다.Further comprising the step of storing all of the previously generated obstacle information in a storage unit, wherein when the obstacle is not detected and the obstacle information previously stored in the storage unit exists, the step (c) When the vector indicates a circumscribed sphere composed of the obstacle information and an impact area of the crash cone formed by the UAV, the operation mode can be switched to the second collision avoidance mode.
상기 단계 (c)는 상기 무인기의 속도 벡터가 충돌 콘 내부 영역을 가리키는 외접구가 복수인 경우, 하기 수학식에 따라 충돌 회피를 위한 중요 외접구를 선택하할 수 있다. 여기서, 수학식은 
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 외부에 있을 때, 상기 단계 (c)는 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성할 수 있다.In the second collision avoidance mode, when the UAV is outside the critical circumscribed sphere, the step (c) may generate the aim point after replacing the collision safe boundary with the critical circumscribed sphere.
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 내부에 있을 때, 상기 단계 (c)는 상기 목표점을 중심으로 하고 중요 외접구의 중심점을 표면 상의 일 지점으로 하는 구를 형상화했을 때, 상기 구의 내부에 상기 무인기가 위치하면 상기 목표점을 향하도록 상기 동작 모드를 상기 내비게이션 모드로 설정하고, 상기 구의 내부에 상기 무인기가 위치하지 않으면 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성할 수 있다.Wherein when the UAV is inside the critical circumscribed sphere in the second collision avoidance mode, the step (c), when forming a sphere having the center point of the target point and a central point of the critical circumscribed sphere as one point on the surface, The operation mode is set to the navigation mode so as to face the target point if the UAV is located inside the UAV and if the UAV is not located inside the sphere, .
상기 단계 (b)는 상기 다중 영상을 바이너리 영상으로 변환하고 클러스터를 생성하되, 오버랩되는 장애물을 하나의 장애물로 취급할 수 있다. 조준점 후보는 상기 클러스터 주위로 계산되며, 상기 조준점 후보의 일부 지점이 다른 장애물의 충돌 안전 경계에 포함되는 경우 상기 조준점 후보에서 제외될 수 있다.The step (b) may convert the multiple images into a binary image and generate a cluster, and treat the overlapped obstacle as one obstacle. The aiming point candidate is calculated around the cluster and may be excluded from the aiming point candidate if some point of the aiming point candidate is included in the collision safety boundary of another obstacle.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예에 따르면, 단일 카메라와 달리 깊이를 측정할 수 있는 스테레오 비전을 이용하여 다중 영상을 분석함으로써 무인기의 임무 수행 중 방해가 될 수 있는 장애물을 미리 탐지하고 조종사의 개입 없이도 충돌 여부를 자동으로 판단하여 장애물을 회피하는 기동이 가능한 효과가 있다.According to the embodiment of the present invention, unlike a single camera, by analyzing multiple images using a stereo vision capable of measuring depth, it is possible to detect obstacles that may be disturbed during the mission of the UAV, There is an effect that a maneuver that avoids an obstacle can be made automatically.
또한, 가격이 상대적으로 저렴한 수동 센서를 사용함으로써 시장 경쟁력이 높고, 다양한 임무에 활용되는 무인기가 장애물 회피 방법의 적용에 의해 안전한 임무 수행이 가능한 효과가 있다.
In addition, by using passive sensors with relatively low prices, market competitiveness is high, and the UAV, which is utilized for various missions, has an effect of performing a safe mission by applying the obstacle avoidance method.
도 1은 본 발명의 일 실시예에 따른 다중 영상 기반 장애물 회피 시스템의 구성 블록도,
도 2는 다중 영상 개념도,
도 3은 실제 지형 및 상응하는 깊이 지도를 나타낸 도면,
도 4는 충돌 회피를 위한 조준점 생성을 설명하기 위한 도면,
도 5는 깊이 지도로부터 장애물 정보를 추출하는 방법을 나타낸 도면,
도 6은 충돌 안전 경계에 대한 기하구조도,
도 7은 본 발명의 일 실시예에 따른 다중 영상 기반 장애물 회피 방법의 순서도,
도 8은 무인기의 카메라 시야 밖에 장애물이 있을 경우의 충돌 회피를 설명하기 위한 도면,
도 9는 본 발명의 다른 실시예에 따른 다중 영상 기반 장애물 회피 시스템의 구성 블록도,
도 10은 무인기와 선택 외접구의 위치 관계에 따른 조준점 생성을 설명하기 위한 도면,
도 11은 본 발명의 다른 실시예에 따른 다중 영상 기반 장애물 회피 방법의 순서도,
도 12는 다중 장애물의 경우 획득된 깊이 지도 및 조준점 후보군 생성을 나타낸 도면,
도 13은 무인기의 궤적을 나타낸 도면,
도 14의 (a)는 비행 중 무인기와 장애물 사이의 최근접 거리를 보여주며, 도 14의 (b)는 충돌 회피 플래그를 보여준 도면,
도 15는 무인기의 자세, 속도, 추력 입력의 시간 응답을 각각 보여주는 도면,
도 16은 무인기의 궤적을 나타낸 도면,
도 17은 무인기의 자세각, 속도 및 추력 입력을 각각 보여주는 도면.1 is a block diagram of a multi-image-based obstacle avoidance system according to an exemplary embodiment of the present invention;
FIG. 2 is a multi-
Figure 3 is a drawing of actual terrain and corresponding depth maps,
4 is a diagram for explaining aim point generation for collision avoidance,
5 is a diagram illustrating a method of extracting obstacle information from a depth map,
6 is a geometry diagram for a collision safe boundary,
FIG. 7 is a flow chart of a multiple image-based obstacle avoidance method according to an embodiment of the present invention;
8 is a view for explaining collision avoidance when there is an obstacle outside the view of the camera of the UAV;
FIG. 9 is a block diagram of a multi-image-based obstacle avoidance system according to another embodiment of the present invention.
10 is a view for explaining the creation of an aiming point according to a positional relationship between a UAV and an optional outer circumference;
11 is a flowchart of a multi-image-based obstacle avoidance method according to another embodiment of the present invention,
FIG. 12 is a view showing the obtained depth map and the creation of an aim point candidate group in the case of multiple obstacles;
13 is a view showing the trajectory of the UAV;
Fig. 14 (a) shows the closest distance between the UAV and the obstacle during flight, Fig. 14 (b) shows the collision avoidance flag,
15 is a view showing the posture of the UAV, the speed, and the time response of the thrust input,
16 is a view showing the trajectory of the UAV;
17 is a view showing the attitude angle, speed and thrust input of the UAV, respectively.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, the terms " part, "" module," and the like, which are described in the specification, mean a unit for processing at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.It is to be understood that the components of the embodiments described with reference to the drawings are not limited to the embodiments and may be embodied in other embodiments without departing from the spirit of the invention. It is to be understood that although the description is omitted, multiple embodiments may be implemented again in one integrated embodiment.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
도 1은 본 발명의 일 실시예에 따른 다중 영상 기반 장애물 회피 시스템의 구성 블록도이고, 도 2는 다중 영상 개념도이며, 도 3은 실제 지형 및 상응하는 깊이 지도를 나타낸 도면이고, 도 4는 충돌 회피를 위한 조준점 생성을 설명하기 위한 도면이며, 도 5는 깊이 지도로부터 장애물 정보를 추출하는 방법을 나타낸 도면이고, 도 6은 충돌 안전 경계에 대한 기하구조도이며, 도 7은 본 발명의 일 실시예에 따른 다중 영상 기반 장애물 회피 방법의 순서도이다. FIG. 1 is a block diagram of a multi-image-based obstacle avoidance system according to an embodiment of the present invention, FIG. 2 is a concept diagram of multiple images, FIG. 3 is a diagram illustrating an actual terrain and a corresponding depth map, FIG. 5 is a diagram illustrating a method for extracting obstacle information from a depth map, FIG. 6 is a geometric view for a collision safe boundary, and FIG. 7 is a view for explaining an example of an embodiment Based obstacle avoidance method according to the present invention.
본 발명의 일 실시예에 따른 다중 영상 기반 장애물 회피 시스템(100)은 다중 영상 정보를 이용하여 장애물을 탐지하고, 탐지된 장애물 정보에 기초하여 장애물 회피 방법을 적용하여 자동으로 무인기를 기동시켜 장애물을 회피하도록 하는 것을 특징으로 한다. The multi-image-based
본 실시예에 따른 다중 영상 기반 장애물 회피 시스템(100)은 항공기에 추진력을 제공하는 구동부와 프로펠러를 포함하는 로터의 수가 복수인 멀티로터와 같은 무인기에 적용될 수 있다. The multiple image-based
이러한 다중 영상 기반 장애물 회피 시스템(100)은 깊이 지도 생성부(110), 장애물 탐지부(120), 충돌 회피 처리부(130), 무인기 기동부(140)를 포함한다. The multi-image-based
무인기 기동부(140)는 무인기의 동작 모드에 따라 로터를 동작시켜 무인기의 위치 및 자세를 변화시켜 무인기를 기동시킨다. The
본 실시예에서 무인기의 동작 모드로는 기본적으로 목표점을 향해 최적 경로로 운항하는 내비게이션 모드, 장애물이 탐지되고 충돌이 예상될 경우에는 충돌 회피 모드를 포함한다. In the present embodiment, the operation mode of the UAV includes basically a navigation mode for navigating to the target point on an optimal route, and an obstacle avoiding mode when an obstacle is detected and a collision is expected.
여기서, 충돌 회피 모드는 카메라 시야 안에 장애물이 있는 경우(제1 충돌 회피 모드)와 카메라 시야 밖에 장애물이 있는 경우(제2 충돌 회피 모드)로 구분될 수 있다. Here, the collision avoidance mode can be classified into a case where there is an obstacle in the camera view (first collision avoidance mode) and a case where there is an obstacle outside the camera view (second collision avoidance mode).
깊이 지도 생성부(110)는 다중 카메라를 통해 다중 영상을 획득하고, 다중 영상 처리를 통해 무인기와 물체 사이의 거리를 측정할 수 있는 깊이 정보를 포함하는 깊이 지도(depth map)를 생성한다. The
단일 카메라의 경우 영상처리 속도가 상대적으로 빠르고 구조가 간단한 장점이 있으나, 깊이 정보를 직접적으로 제공하지 못한다. 따라서, 본 실시예에서는 영상으로부터 깊이 정보를 획득할 수 있는 다중 카메라를 활용하며, 다중 카메라로는 예를 들어 스테레오 비전(stereo vision)이 있을 수 있다. In the case of a single camera, the image processing speed is relatively fast and the structure is simple, but it does not provide depth information directly. Accordingly, in this embodiment, multiple cameras capable of acquiring depth information from an image are utilized, and stereo cameras, for example, may be used as multiple cameras.
단안용 카메라와 달리, 스테레오 비전은 깊이 지도를 계산할 수 있다. 깊이 지도는 픽셀이 바라보는 관점으로부터 대상 물체까지의 거리 정보를 가지는 이미지이다. 하나의 카메라를 사용하는 경우, 3차원 공간상의 물체가 2차원 이미지 평면상에 투사되어 투사 방향에 따른 거리 정보가 없어지지만, 두 개의 카메라를 사용하는 경우에는 거리 정보가 기록될 수 있다. Unlike monocular cameras, Stereo Vision can calculate depth maps. The depth map is an image having distance information from the viewpoint of the pixel to the object. When one camera is used, an object in a three-dimensional space is projected on a two-dimensional image plane so that distance information along the projection direction disappears. However, when two cameras are used, distance information can be recorded.
다중 카메라를 이용한 다중 영상 처리 및 깊이 지도 생성 과정은 다음과 같다. 여기서, 본 발명의 설명과 이해의 편의를 위해 다중 카메라는 스테레오 비전인 경우를 가정하여 설명하기로 한다.The multiple image processing and depth map generation process using multiple cameras are as follows. Here, for convenience of description and understanding of the present invention, it is assumed that multiple cameras are stereo vision.
다중 카메라를 이용하여 깊이 정보를 획득하는 과정에서 보정(calibration) 작업이 선행될 수 있는데, 이는 복수의 카메라를 물리적으로 완벽하게 장착할 수 없고, 각각의 카메라의 초점거리나 영상 영역의 성질이 동일하지 않을 수 있기 때문이다. 이 경우 어느 하나의 카메라(예를 들어, 좌측 카메라)를 기준 프레임으로 삼으면, 이에 대한 다른 하나의 카메라(우측 카메라) 프레임의 카메라 매트릭스 정보를 알고 있으므로 보정이 가능하게 된다. 이러한 대표적인 보정 과정이 에피폴라 조건을 맞추는 작업이다. 여기서, 에피폴라 조건이란 3차원 상의 점이 두 카메라에 투영되어 만들어지는 두 직선은 하나의 평면 위에 있어야 한다는 조건이다. 이것이 성립하지 않으면 다중 영상은 하나의 정보로 정합되지 않게 된다. In the course of acquiring depth information using multiple cameras, a calibration operation may precede a plurality of cameras that can not be completely physically mounted, and the focal length of each camera or the properties of the image areas are the same I can not do it. In this case, if one of the cameras (for example, the left camera) is used as the reference frame, the camera matrix information of the other camera (right camera) frame is known, and correction is possible. This typical calibration process is the task of matching epipolar conditions. Here, the epipolar condition is a condition that a point on a three-dimensional image is projected on two cameras and two straight lines should be on one plane. If this is not established, multiple images will not be matched to one piece of information.
두 영상이 보정되었다는 전제 하에 다중 영상 시스템의 기본적인 동작원리는 도 2에 도시된 것과 같다. 도 2에서 Pobj는 물체의 위치이며, b는 두 카메라 사이의 기준선(baseline), f는 초점 거리(focal length)이다. 또한, (uL, vL)과 (uR, vR)는 각각 좌측과 우측 카메라 이미지에 맺힌 물체의 상이다.Assuming that the two images are corrected, the basic operation principle of the multiple image system is as shown in Fig. In Fig. 2, P obj is the position of the object, b is the baseline between the two cameras, and f is the focal length. Also, (u L , v L ) and (u R , v R ) are the images of objects formed on the left and right camera images, respectively.
여기서, Pobj의 3차원 위치 벡터와 (uL, vL)과 (uR, vR)간의 기하학적 관계를 통하여 다음과 같은 거리의 대한 식을 유도할 수 있다. Here, the following distance equation can be derived through the geometric relationship between the three-dimensional position vector of P obj and (u L , v L ) and (u R , v R ).
[수학식 1][Equation 1]
수학식 1과 수학식 2를 연산하면, 다음과 같은 수식이 산출된다. When the equations (1) and (2) are calculated, the following equations are calculated.
[수학식 2]&Quot; (2) "
여기서, uL-uR이 두 영상의 차이(disparity)가 되고, z가 카메라에서 사물까지의 실제 깊이(depth)가 된다. 즉, 깊이 정보는 카메라의 초점 거리, 베이스 라인 및 두 영상의 차이를 이용하여 획득할 수 있다. Where u L -u R is the disparity of the two images, and z is the actual depth from the camera to the object. That is, the depth information can be obtained by using the difference between the focal length of the camera, the baseline, and the two images.
즉, 두 카메라에 맺힌 상의 차이와 카메라 변수들을 알면, 카메라로부터 사물까지의 거리를 알 수 있다. 하지만, 다중 영상을 통해 얻은 정보는 실제 지형의 정보를 모두 획득하지는 못한다. 이는 카메라의 화소가 연속적이지 않고, 두 영상의 차이 값은 정수이기 때문이다. That is, knowing the difference between the images and the camera parameters of the two cameras, the distance from the camera to the object can be known. However, the information obtained through multiple images does not capture all of the actual terrain information. This is because the pixels of the camera are not continuous and the difference value between the two images is an integer.
따라서, 도 3에 도시된 바와 같이 지형의 깊이 정보를 연속적으로 얻을 수는 없게 된다. 도 3의 (a)가 실제 지형이고 점선은 깊이 값들이다. 이 경우 도 3의 (b)와 같이 다중 영상으로부터 얻어진 깊이들은 불연속하지 때문에 실제 지형은 불연속적인 깊이들로 표현될 수 있다. Therefore, the depth information of the terrain can not be continuously obtained as shown in Fig. Figure 3 (a) is the actual terrain and the dashed lines are the depth values. In this case, since the depths obtained from multiple images are discontinuous as shown in FIG. 3 (b), the actual terrain can be represented by discontinuous depths.
하기의 표 1은 초점 거리가 0.01m이고, 기준선이 0.2m, 수평시야각이 48도(˚), 수직시야각이 36.9도(˚), 픽셀 크기가 2.75 X 10-5m인 경우 두 영상의 차이에 따른 깊이를 보여주고 있다. Table 1 below shows the difference between the two images when the focal length is 0.01 m, the reference line is 0.2 m, the horizontal viewing angle is 48 ° (°), the vertical viewing angle is 36.9 ° (˚), and the pixel size is 2.75 × 10 -5 m And the depth of the surface.
[표 1][Table 1]
다시 도 1을 참조하면, 장애물 탐지부(120)는 깊이 지도 생성부(110)에서 생성된 깊이 지도에 기초하여 획득한 깊이 정보로부터 다중 영상 내에 존재하는 장애물을 탐지한다. Referring back to FIG. 1, the
도 2에 도시된 것과 같이 깊이 지도 생성부(110)에 적용된 스테레오 비전 시스템은 2개의 카메라를 가진다. 장애물이 2개의 카메라의 시야 내에 있을 때 무인기에 의해 감지될 수 있다. 이 경우, 장애물은 스테레오 비전 시스템에 의해 캡쳐되고, 깊이 지도가 직접적으로 사용될 수 있다. As shown in FIG. 2, the stereo vision system applied to the depth
도 4는 깊이 지도를 이용한 충돌 회피의 컨셉을 보여주고 있으며, 무인기(10), 실제 장애물(20), 깊이 지도에서 장애물로 인식되는 영역(22), 충돌 안전 경계(24), 충돌 콘(26)이 도시되어 있다. Figure 4 shows the concept of collision avoidance using a depth map and includes the following: the
무인기(10)는 목표점을 향해 이동하는 동안 지속적으로 깊이 지도 생성부(110)를 통해 깊이 지도를 획득한다. The
장애물 탐지부(120)는 깊이 지도에서 픽셀의 깊이값이 미리 정의된 임계치(threshold)보다 작다면, 해당 픽셀의 영역은 장애물인 것으로 간주한다. 예를 들어, 임계치가 4m로 설정된다면, 표 1의 경우에는 두 영상의 차이가 18 이상 31까지의 픽셀들이 위험지역, 즉 장애물로 간주될 수 있다. The
도 5는 깊이 지도에 의해 감지된 장애물의 정보를 추출하는 방법을 설명하기 위한 도면이다. 5 is a diagram for explaining a method of extracting information of an obstacle sensed by a depth map.
장애물의 모든 부분을 포함시키기 위해, 임의의 형상을 가지는 장애물을 해당 장애물 자체를 포함하는 외접구(circumscribed sphere)로 재형상화한다. 따라서, 장애물 정보는 외접구의 중심점(center point) 및 직경(diameter)으로 설정될 수 있다. 직경은 반경(radius)으로 대체될 수도 있다. In order to include all parts of the obstacle, the obstacle having any shape is reshaped into a circumscribed sphere containing the obstacle itself. Thus, the obstacle information can be set to the center point and the diameter of the circumscribed sphere. The diameter may be replaced by a radius.
중심점의 x 성분(Position x of the obstacle)은 도 5에 도시된 것과 같이 최소 깊이(Min. depth)와 최대 깊이(Max. depth)의 평균(mean value)을 계산함으로써 획득될 수 있다. 중심점의 y 성분(Position y of the obstacle)과 z 성분(Position z of the obstacle)은 이미지 평면(image plane) 내에 장애물에 해당하는 전체 픽셀 영역을 커버하는 외접원(30)를 그림으로써 획득될 수 있다. 세가지 성분을 이용하여, 외접구의 중심 벡터가 
외접구의 직경은 도 5에서 d1과 d2를 비교함으로써 결정될 수 있다. 여기서, d1은 최소 깊이와 최대 깊이 간의 차이이고, d2는 외접원(30)의 직경이다. d1이 d2보다 긴 경우, d1이 직경으로 선택된다. d2가 d1보다 긴 경우에는 d2가 선택된다. The diameter of the circumscribed sphere can be determined by comparing d 1 and d 2 in FIG. Here, d 1 is the difference between the minimum depth and the maximum depth, and d 2 is the diameter of the circumscribed
충돌 회피 처리부(130)는 장애물 탐지부(120)에서 탐지된 장애물에 대한 정보에 기초하여 충돌 회피 처리 여부를 결정한다. The collision
본 실시예에 따른 무인기는 기본적으로 목표점을 향해 최적 경로로 운항하는 내비게이션 모드로 동작하게 되며, 장애물 탐지부(120)에서 장애물이 탐지되고 충돌이 예상될 경우에는 충돌 회피 모드로 모드 전환하여 운항하도록 설정될 수 있다. The UAV according to the present embodiment basically operates in the navigation mode for navigating to the target point on the optimum route. When an obstacle is detected by the
우선 제1 충돌 회피 모드에 따른 충돌 회피 처리부(130)에서의 충돌 회피 처리에 대하여 설명하기로 한다. First, the collision avoiding process in the collision avoiding
충돌 회피 처리부(130)는 장애물로 간주되는 외접구가 일단 생성되면, 도 4에 도시된 것과 같이 충돌 안전 경계(collision safety boundary)를 형성하기 위해 외접구의 직경에 안전 마진(safety margin)을 합산한다. 따라서, 충돌 안전 경계의 반경은 다음과 같이 정의될 수 있다. The
[수학식 3]&Quot; (3) "
결국, 무인기로부터 충돌 안전 경계까지의 접선(tangent line) 집합에 의해 정의되는 충돌 콘(collision cone)이 생성된다. As a result, a collision cone is created which is defined by a tangent line set from the UAV to the collision safe boundary.
무인기(10)의 속도 벡터(velocity vector)가 충돌 콘 내에 위치할 때, 무인기(10)가 궤적을 변경하지 않는다면 장애물은 무인기(10)에게 분명한 위협이 된다. 이 경우, 장애물은 중요 객체(critical object)이고, 무인기(10)는 즉시 충돌 회피 모드를 수행해야 한다. When the velocity vector of the
본 실시예에서 충돌 회피 모드의 주요 작업은 무인기에게 목표점 대신에 신규 경로점을 안내하는 것이다. 신규 경로점은 도 4에서 도시된 것과 같이 조준점(aiming point)이라 칭할 수 있으며, 
[수학식 4]&Quot; (4) "
여기서, 
도 4에는 단지 2개의 조준점 후보를 보여주고 있지만, 3차원 공간에서 C는 충돌 안전 경계와 충돌 콘의 모든 교점(intersection point)을 포함하게 된다. Figure 4 shows only two aimpoint candidates, but in the three-dimensional space, C contains all the intersection points of the collision safety boundary and the collision cone.
도 6에 도시된 것과 같이 C'를 C에서 임의 선택된 구성요소로 고려한다. 
[수학식 5]&Quot; (5) "
이를 이용하면, 
[수학식 6]&Quot; (6) "
일반성을 잃지 않고, 도 6에 도시된 것과 같이 
수학식 6 및 정규직교 기저를 이용하면, 
[수학식 7]&Quot; (7) "
충돌 회피 처리부(130)는 장애물 탐지부(120)에서 장애물을 탐지하지 못하거나 무인기(10)의 속도 벡터가 충돌 콘의 외부에 있을 경우에는 무인기(10)가 내비게이션 모드로 되돌아가 목표점을 향해 날아가도록 한다. When the
전술한 것과 같이 카메라의 시야 안에 장애물이 있을 경우의 장애물 회피 방법에 대하여 도 7을 참조하여 설명하기로 한다. 도 7의 각 단계들은 장애물 회피 시스템(100)의 각 구성요소에 의해 수행될 수 있다. An obstacle avoiding method in the case where an obstacle is present in the view of the camera as described above will be described with reference to FIG. Each step of FIG. 7 may be performed by each component of the
우선 깊이 지도 생성부(110)를 통해 깊이 지도를 획득한다(단계 S200). First, the depth map is obtained through the depth map generating unit 110 (step S200).
장애물 탐지부(120)는 픽셀의 깊이 값이 미리 설정된 임계치보다 작은지 여부를 판단한다(단계 S205). The
픽셀의 깊이 값이 미리 설정된 임계치보다 작지 않을 경우에는 장애물이 탐지되지 않은 것으로 간주하여, 충돌 회피 처리부(130)는 무인기가 기본적으로 설정된 목표점을 향해 운항하도록 무인기 기동부(140)가 내비게이션 모드로 동작하도록 제어한다(단계 S230). If the depth value of the pixel is not smaller than the predetermined threshold value, the collision
픽셀의 깊이 값이 미리 설정된 임계치보다 작을 경우에는 장애물이 탐지된 경우로 간주하게 되고, 충돌 회피 처리부(130)는 장애물 정보에 기초하여 외접구, 충돌 안전 경계, 충돌 콘을 생성한다(단계 S210). 여기서, 장애물 정보는 장애물 자체를 모두 포함하는 외접구의 중심점 및 직경(혹은 반경)을 포함한다. If the depth value of the pixel is smaller than the preset threshold value, the obstacle is regarded as detected, and the collision
충돌 회피 처리부(130)는 무인기의 속도 벡터가 충돌 콘 내에 있는지 여부를 판단한다(단계 S215). The
무인기의 속도 벡터가 충돌 콘 내에 없을 경우에는 장애물과의 충돌이 예상되지 않으므로, 무인기 기동부(140)가 내비게이션 모드로 동작하도록 제어한다(단계 S230). If the velocity vector of the UAV does not exist in the collision cone, the collision with the obstacle is not expected, so the
무인기의 속도 벡터가 충돌 콘 내에 있을 경우에는 장애물과의 충돌이 예상되므로, 충돌 회피 처리부(130)는 신규 경로점인 조준점을 생성한다(단계 S220). When the velocity vector of the UAV is in the collision cone, collision with the obstacle is expected, and therefore the collision
이후 무인기 기동부(140)가 제1 충돌 회피 모드로 동작하도록 제어하여, 조준점으로 무인기를 안내하도록 한다(단계 S225).
Thereafter, the
이상에서는 무인기의 카메라 시야 안에 장애물이 있을 경우의 장애물 회피 방법에 대하여 설명하였고, 이하에서는 무인기의 카메라 시야 밖에 장애물이 있을 경우의 장애물 회피 방법에 대하여 설명하기로 한다. Hereinafter, a method of avoiding an obstacle when there is an obstacle in the camera view of UAV is explained. In the following, a method of avoiding an obstacle when there is an obstacle outside the camera view of UAV will be described.
도 8은 무인기의 카메라 시야 밖에 장애물이 있을 경우의 충돌 회피를 설명하기 위한 도면이고, 도 9는 본 발명의 다른 실시예에 따른 다중 영상 기반 장애물 회피 시스템의 구성 블록도이며, 도 10은 무인기와 선택 외접구의 위치 관계에 따른 조준점 생성을 설명하기 위한 도면이고, 도 11은 본 발명의 다른 실시예에 따른 다중 영상 기반 장애물 회피 방법의 순서도이다. FIG. 8 is a view for explaining collision avoidance when there is an obstacle outside the camera view of the UAV, FIG. 9 is a block diagram of a multi-image-based obstacle avoidance system according to another embodiment of the present invention, FIG. 11 is a flowchart illustrating a method of avoiding multiple images based obstacle avoidance according to another embodiment of the present invention. Referring to FIG.
전술한 것과 같이 제1 충돌 회피 모드를 이용하여 무인기가 장애물을 피하면, 장애물은 카메라의 시야 밖으로 지나갈 수 있다. 이후, 무인기는 스테레오 비전으로부터 아무런 위협을 감지하지 못하고 내비게이션 모드를 수행한다. 이같은 경우의 대부분은, 도 8의 (a)에 도시된 것과 같이, 무인기가 전체 장애물을 통과하지 못해 무인기가 깊이 지도에 보이지 않는 장애물 근처로 이동할 가능성이 있다. 이 문제점을 해결하기 위해, 카메라의 시야 밖에 있는 경우 장애물의 잠재적 위협을 제거할 필요가 있다. If the UAV avoids the obstacle by using the first collision avoidance mode as described above, the obstacle can pass outside the field of view of the camera. Afterwards, the UAV performs the navigation mode without detecting any threat from the stereo vision. Most of such cases, as shown in FIG. 8A, there is a possibility that the UAV can not pass through the entire obstacle, and the UAV moves to the vicinity of the obstacle which is not visible on the depth map. To solve this problem, it is necessary to eliminate the potential threat of obstacles if they are outside the camera's field of view.
도 9에 도시된 본 발명의 다른 실시예에 따른 다중 영상 기반 장애물 회피 시스템(300)은 깊이 지도 생성부(310), 장애물 탐지부(320), 충돌 회피 처리부(330), 무인기 기동부(340), 저장부(350)를 포함한다. 9, the multi-image-based
여기서, 깊이 지도 생성부(310) 및 장애물 탐지부(320)는 도 1에 도시된 깊이 지도 생성부(110) 및 장애물 탐지부(120)와 동일한 기능을 가지는 바, 이하에서는 차이점을 중심으로 설명하기로 한다. Here, the depth
본 실시예에 따른 다중 영상 기반 장애물 회피 시스템(300)의 충돌 회피 처리부(330)는 도 8의 (a)에 도시된 것과 같이 카메라 시야 박에 있는 장애물의 잠재적 위협을 제거하기 위해 외접구를 사용한다. The collision
도 8의 (b)에 도시된 것과 같이 외접구는 장애물의 전체는 아니지만 일부 영역을 대표한다. 하지만, 충돌을 회피하기에는 충분한 정보를 주는 장애물의 핵심 부분이다. 도 8의 (b)에서, 무인기는 장애물이 카메라에 보이지 않는다는 사실에도 불구하고 충돌 없이 목표점까지 성공적으로 접근한다. 이러한 상황에서 외접구를 사용하기 위해, 무인기는 깊이 지도가 장애물을 감지할 때마다 
제1 충돌 회피 모드에서 내비게이션 모드로 모드가 전환될 때, 충돌 회피 처리부(330)는 이전에 감지된 외접구를 지속적으로 고려한다. 무인기의 속도 벡터가 무인기 및 생성된 외접구들 중 어느 하나에 의해 형성된 충돌 콘 내부 영역을 가리킨다면, 도 8의 (b)에 도시된 것과 같이 구의 표면 상에 조준점을 생성한다. 그리고 무인기 기동부(340)가 제2 장애물 회피 모드로 동작하도록 하여, 무인기가 조준점을 향하도록 안내한다. When the mode is switched from the first collision avoidance mode to the navigation mode, the collision
하나 이상의 외접구가 존재할 가능성이 매우 높다. 이 구들 사이에서, 어느 하나의 구가 조준점 생성을 위해 선택되어야 한다. It is very likely that more than one circumscribed sphere exists. Between these spheres, one of the spheres must be selected to create an aim point.
[수학식 8]&Quot; (8) "
수학식 8은 장애물을 회피하기 위해 가장 결정적인 구가 선택됨을 의미한다. Equation (8) means that the most crucial phrase is selected to avoid the obstacle.
제2 충돌 회피 모드에서 조준점을 생성하는 2가지 다른 경우가 있다. There are two different cases of generating an aim point in the second collision avoidance mode.
우선 첫번째 경우는 무인기가 선택된 외접구 밖에 있을 때로서, 도 6에 도시된 것과 같이 충돌 안전 경계를 외접구로 교체함으로써 관성계에 대해서 조준점 벡터를 획득하기 위해 수학식 7이 사용될 수 있다. First, in the first case, Equation (7) can be used to obtain the aim point vector for the inertial system by replacing the collision safety boundary with a circumscribed sphere, as shown in FIG. 6, when the UAV is outside the selected circumscribed sphere.
다른 경우는 도 10에 도시된 것과 같이 무인기가 구 내부에 있는 경우이다. 무인기가 A에 위치했을 때, 도 10에 도시된 것과 같이 조준점 후보는 수학식 7과 유사하게, 
하지만, 무인기가 B에 위치할 때, B 주위의 조준점 후보(60)는 의미가 없다. 오히려, 목표점 G로 내비게이션 모드를 수행하는 것이 보다 합리적이다. However, when the UAV is located at B, the
따라서, 유의한 조준점을 선택하기 위한 기준은 도 10에서 각도 
[수학식 9]&Quot; (9) "
그리고 무인기의 속도 벡터가 외접구의 어느 부분이라도 가리키지 않는다면, 무인기는 잠재적 위협이 없는 것으로 판단하고 내비게이션 모드를 수행한다. If the speed vector of the UAV does not point to any part of the circumscribed sphere, the UAV determines that there is no potential threat and performs the navigation mode.
본 실시예에 따르면, 장애물에의 접근은 실제 볼 수 없어도 무인기가 이전에 감지된 장애물의 위치를 고려할 수 있도록 한다. According to this embodiment, access to the obstacle is not actually visible but allows the UAV to take into account the position of the previously detected obstacle.
전술한 것과 같이 카메라의 시야 밖에 장애물이 있을 경우의 장애물 회피 방법에 대하여 도 11을 참조하여 설명하기로 한다. 도 11의 각 단계들은 도 9에 도시된 다중 영상 기반 장애물 회피 시스템(300)의 각 구성요소에 의해 수행될 수 있다. An obstacle avoiding method in the case where there is an obstacle outside the view of the camera as described above will be described with reference to Fig. Each step of FIG. 11 may be performed by each component of the multiple image-based
우선 전제조건으로는 깊이 지도에서 장애물이 감지되지 않고, 저장부에 이전에 저장된 장애물에 관한 외접구가 존재할 것이 요구된다.First of all, the precondition is that no obstacle is detected in the depth map and a circumscribed sphere about the obstacle previously stored in the storage unit is required.
이 경우 충돌 회피 처리부(330)는 저장부(350)에 이전에 저장된 장애물에 관한 외접구로부터 충돌 콘을 생성한다(단계 S400). In this case, the collision
충돌 회피 처리부(330)는 무인기의 속도 벡터가 포함되는 충돌 콘이 있는지 여부를 판단한다(단계 S405). The
무인기의 속도 벡터가 포함되는 충돌 콘이 없을 경우에는 무인기 기동부(340)가 내비게이션 모드로 동작하도록 한다(단계 S440). If there is no collision cone including the speed vector of the UAV, the
무인기의 속도 벡터가 포함되는 충돌 콘이 있을 경우, 해당 충돌 콘에 상응하는 외접구 중에서 중요 외접구를 결정한다(단계 S410). 중요 외접구는 복수의 외접구 중에서 무인기의 경로 결정에 가장 중요한 영향을 미치는 외접구로서, 해당 외접구를 벗어날 경우 타 외접구와의 충돌이 예상되지 않는 외접구이다. When there is a collision cone including a speed vector of the UAV, an important circumscribed sphere corresponding to the collision cone is determined (step S410). The outer circumscribed sphere is a circumscribed sphere that has the greatest influence on the determination of the path of the UAV among a plurality of outer circumscribed sphere, and it is a circumscribed sphere in which collision with other circumscribed sphere is not expected when the sphere leaves the corresponding sphere.
중요 외접구가 결정되면, 무인기의 위치를 파악한다. 즉, 무인기가 중요 외접구의 외부에 있는지 여부를 판단한다(단계 S415). When the critical circumscribed sphere is determined, locate the UAV. That is, it is determined whether or not the UAV is outside the important circumscribed sphere (step S415).
무인기가 중요 외접구의 외부에 있는 경우에는 앞서 도 6을 참조하여 설명한 것과 같이 조준점을 생성하고(단계 S420), 조준점으로 무인기를 안내하도록 무인기 기동부(340)의 동작 모드를 제어한다(단계 S425). When the UAV is outside the important circumscribed sphere, the aiming point is generated as described above with reference to FIG. 6 (step S420), and the operation mode of the
무인기가 중요 외접구의 내부에 있는 경우에는 하기 수학식 10을 충족하는지 여부를 판단한다(단계 S430). If the UAV is inside the critical circumscribing sphere, it is determined whether the following equation (10) is satisfied (step S430).
[수학식 10]&Quot; (10) "
즉, 목표점을 중심으로 하고 중요 외접구의 중심점을 표면 상의 일 지점으로 하는 구를 형상화했을 때, 그 구의 일부가 도 10에 도시된 음영 지역에 해당하며, 이 경우 구 내부에 무인기가 위치하면 전술한 것과 같이 목표점으로 향하는 것이 보다 합리적인 방법인 바, 무인기 기동부(340)가 내비게이션 모드로 동작하도록 한다(단계 S440). That is, when a sphere having a central point of a significant circumscribed sphere around the target point is formed as a point on the surface, a part of the sphere corresponds to the shaded region shown in Fig. 10, and in this case, If it is more reasonable to point to the target point, the
만약 수학식 10을 충족하지 않는다면, 무인기의 위치는 도 10에서 음영 지역 외에 있는 것으로, 이 경우에는 조준점을 생성하여 해당 중요 외접구를 벗어나도록 할 필요가 있다. If Equation (10) is not satisfied, the position of the UAV is outside the shaded area in FIG. 10, and in this case, it is necessary to create an aiming point and deviate from the corresponding important circumscribed hole.
따라서, 이 경우에는 조준점을 생성하고(단계 S420), 조준점으로 무인기를 안내하도록 한다(단계 S425).
Accordingly, in this case, an aiming point is generated (step S420), and the unmanned position is guided to the aiming point (step S425).
무인기가 회피해야 할 장애물은 하나 이상이 존재할 수 있다. 즉, 다중 장애물에 대한 처리 방법에 대하여 이하 살펴보기로 한다. There may be more than one obstacle that the UAV must avoid. That is, a method for handling multiple obstacles will be described below.
도 12는 다중 장애물의 경우 획득된 깊이 지도 및 조준점 후보군 생성을 나타낸 도면이다. FIG. 12 is a diagram showing the obtained depth map and creation of an aimpoint candidate group in the case of multiple obstacles. FIG.
장애물 탐지부(320)는 다중 영상을 바이너리 영상(binary image)으로 변환하고 클러스터(cluster)를 생성함으로써 다중 장애물을 처리할 수 있다. The
바이너리 영상은 깊이 값이 임계치보다 작은 픽셀에 '1'을 할당하고, 나머지에는 '0(zero)'을 할당함으로써 형성될 수 있다. 그후, 클러스터의 수를 계산하기 위해 픽셀 값이 '1'인 연결된 픽셀들을 바이너리 영상에서 라벨을 붙인다. The binary image can be formed by assigning '1' to a pixel whose depth value is smaller than a threshold value, and assigning '0' to the remaining pixels. Then, in order to calculate the number of clusters, the connected pixels whose pixel value is '1' are labeled in the binary image.
도 12의 (a)는 예시로서 무인기의 전면에 3개의 장애물이 있는 경우를 보여준다. 도 12의 (b)는 무인기에 의해 획득된 깊이 지도이다. 바이너리 이미지는 도 12(c)에 도시된 것과 같이 깊이 지도를 이용하여 형성될 수 있다. FIG. 12 (a) shows an example in which there are three obstacles on the front face of the UAV. FIG. 12 (b) is a depth map obtained by the UAV. The binary image may be formed using a depth map as shown in Fig. 12 (c).
도 12에는 2개의 클러스터가 있는데, 이는 2개의 장애물이 깊이 지도에서 오버랩되었기 때문이다. 이 경우, 오버랩된 장애물들은 하나의 장애물로 취급된다. There are two clusters in Figure 12, because two obstacles overlap in the depth map. In this case, the overlapped obstacles are treated as one obstacle.
이제, 조준점 후보는 각 클러스터 주위로 계산된다. 일부 지점이 다른 장애물의 충돌 안전 경계에 포함된다면, 이 지점들은 도 12의 (c)에 도시된 것과 같이 후보에서 제외된다. 이러한 절차 이후 도 7에 도시된 장애물 회피 방법을 이용하여 조준점이 선택되도록 할 수 있다.
Now, the aimpoint candidate is calculated around each cluster. If some points are included in the collision safety boundary of the other obstacles, these points are excluded from the candidate as shown in Figure 12 (c). After this procedure, the aim point can be selected using the obstacle avoidance method shown in FIG.
본 실시예에 따른 장애물 회피 방법을 적용한 장애물 회피 시스템의 성능에 대하여 다음 수치 시뮬레이션 결과 및 그 분석을 설명하기로 한다. 수치 시뮬레이션에 사용된 무인기와 카메라의 파라미터들이 표 3에 요약되어 있다. The performance of the obstacle avoidance system using the obstacle avoidance method according to the present embodiment will be described with reference to the following numerical simulation results and analysis thereof. The parameters of the UAV and the camera used in the numerical simulation are summarized in Table 3.
[표 2][Table 2]
선형 무인기 추적기의 가중치 행렬과 자세 제어 시스템의 최적 이득 행렬은 다음과 같다. The weight matrix of the linear UAV tracer and the optimal gain matrix of the posture control system are as follows.
[수학식 11]&Quot; (11) "
위치 제어 시스템에 대한 것들은 다음과 같다. Some of the things about the position control system are as follows.
[수학식 11]&Quot; (11) "
무인기의 지나친 기동을 피하기 위해, 롤과 피치 각도는 15도(˚) 내외 범위에서 설정된다. 깊이 지도에서 장애물을 결정하기 위한 임계치는 4m로 선택된다. To avoid excessive maneuvering of the UAV, roll and pitch angles are set in the range of about 15 degrees (˚). The threshold for determining the obstacle in the depth map is chosen to be 4m.
시뮬레이션 I에서는 제2 충돌 회피 모드를 적용한 경우의 성능 개선에 관한 것이다. 무인기의 초기 위치는 [19 0 7]T이고, 목표점은 [0 0 7]T이며, [9.5 0 6.5]T 위치에 중심이 있고 1.5m 반경을 가지는 구 형상의 장애물이 존재한다. Simulation I relates to performance improvement when the second collision avoidance mode is applied. The initial position of the UAV is [19 0 7] T , the target is [0 0 7] T , and there is a spherical obstacle centered at [9.5 0 6.5] T and with a radius of 1.5 m.
도 13은 무인기의 궤적을 보여준다. 여기서, 파란 실선은 내비게이션 모드 수행, 빨간 실선은 제1 충돌 회피 모드 수행, 청록색 점선은 제2 충돌 회피 모드 수행, 파란 점선은 제2 충돌 회피 모드를 적용하지 않았을 경우의 수행 결과를 나타낸다. Figure 13 shows the trajectory of the UAV. Here, the blue solid line represents the navigation mode, the red solid line represents the first collision avoidance mode, the cyan dotted line represents the second collision avoidance mode, and the blue dotted line represents the result of the second collision avoidance mode.
무인기는 초기에 경로점 안내를 사용하여 목표점을 향해 이동한다. 무인기와 장애물 사이의 거리가 미리 정의된 임계치에 도딜했을 때, 깊이 지도에 장애물이 나타나고 무인기는 도 13에서 빨간선으로 표시된 제1 충돌 회피 모드를 수행하기 시작한다. 제2 충돌 회피 모드 이후 스테레오 비전이 더 이상 장애물을 감지하지 못할 때, 시뮬레이션은 제2 충돌 회피 모드가 없을 경우와 제2 충돌 회피 모드 2가 적용된 경우와 같이 2가지 경우로 구분된다. 제2 충돌 회피 모드가 없을 경우에는 깊이 지도에서 장애물이 보이지 않게 되고, 따라서 무인기는 위험을 인지하지 못하고 내비게이션 모드로 전환한다. 도 13에서 파란색 점선 이 경우를 보여준다. 제2 충돌 회피 모드 2가 적용된 경우 무인기는 이전에 생성한 외접구를 사용하고, 그 궤적이 도 13에서 청록색 점선으로 표시되어 있다. The UAV moves initially toward the target point using the path point guidance. When the distance between the UAV and the obstacle stays at a predefined threshold, an obstacle appears in the depth map and the UAV starts to perform the first collision avoidance mode indicated by the red line in FIG. When the stereo vision is no longer able to detect an obstacle after the second collision avoidance mode, the simulation is divided into two cases as in the case where there is no second collision avoidance mode and when the second
도 14의 (a)는 비행 중 무인기와 장애물 사이의 최근접 거리를 보여주며, 도 14의 (b)는 충돌 회피 플래그를 보여준다. 충돌 회피 플래그는 무인기가 충돌 회피 모드를 수행하고 있을 때 '1'이고, 그렇지 않을 때 '0(zero)'이다. 도 14의 (b)에 도시된 것처럼, 충돌 회피 모드 1은 15.7초(s)에 종료한다. 제2 충돌 회피 모드가 적용되지 않는 경우, 15.7초 이후에는 무인기와 장애물 사이의 거리가 도 14의 (a)에서 점선으로 표시된 것처럼 최고 0.84m까지 줄어들게 된다. 하지만, 제2 충돌 회피 모드를 적용한 경우에는 도 14의 (a)에서 실선으로 표시된 것처럼, 최소 거리가 2.0259m인데, 이는 제2 충돌 회피 모드 2가 적용되지 않은 경우와 비교할 때 개선되었음을 보여준다. FIG. 14 (a) shows the closest distance between the UAV and the obstacle during flight, and FIG. 14 (b) shows the collision avoidance flag. The collision avoidance flag is '1' when the UAV is performing the collision avoidance mode, and '0' when it is not. As shown in FIG. 14 (b), the
도 15는 무인기의 자세, 속도, 추력 입력(thrust input)의 시간 응답을 각각 보여준다. 도 15의 (a)에서 점선은 제어 입력으로부터의 명령이고, 실선은 실제 응답이다. 제어 응답은 포화 경계(saturation bound) 내에 있으며, 무인기의 지나친 기동을 피한다. Fig. 15 shows the posture of the UAV, the velocity, and the time response of the thrust input, respectively. In Figure 15 (a), the dotted line is the command from the control input and the solid line is the actual response. The control response is within the saturation bound and avoids over-activation of the UAV.
다음으로는 다중 장애물에 대한 충돌 회피 처리를 수행한 시뮬레이션 II에 대해 설명하기로 한다. Next, a simulation II in which collision avoidance processing is performed for multiple obstacles will be described.
9개의 장애물이 존재하고, 각 장애물은 1m, 1m, 3m의 직육면체이다. 무인기의 초기 위치는 [25 0 2]T이고, 목표점은 [0 0 2]T이다. There are 9 obstacles and each obstacle is 1m, 1m, 3m. The initial position of the UAV is [25 0 2] T , and the target point is [0 0 2] T.
도 16은 무인기의 궤적을 보여준다. 초기 시간에, 무인기는 2개의 장애물에 직면한다. 2개의 장애물 사이의 간격은 좁기 때문에, 무인기는 이 간격 사이로 지나가지 않고 장애물 주위로 돌아가려 한다. 도 11의 (c)에 도시된 것처럼 조준점 후보가 다른 장애물의 충돌 안전 경계 내에 있는 경우 제외되는 것을 회상해 보면 된다. 1차 회피 이후, 무인기는 둘 이상의 장애물을 감지한다. 도 16에 도시된 것처럼, 무인기는 제1 및 제2 충돌 회피 모드를 적절히 사용하여 목표점에 안전하게 도착한다. 도 17은 무인기의 자세각, 속도 및 추력 입력을 각각 보여준다.
Figure 16 shows the trajectory of the UAV. In the early hours, UAV faces two obstacles. Since the distance between the two obstacles is narrow, the UAV does not pass between these gaps and tries to go around the obstacle. Recall that the aimpoint candidate is excluded if it is within the collision safety boundary of another obstacle, as shown in Figure 11 (c). After the first avoidance, the UAV detects two or more obstacles. As shown in Fig. 16, the UAV safely arrives at the target point by appropriately using the first and second collision avoidance modes. 17 shows the attitude angle, velocity and thrust input of the UAV, respectively.
도 7 및/또는 도 11에 도시된 장애물 회피 방법은 디지털 처리 장치(장애물 회피 시스템)에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
It is a matter of course that the obstacle avoidance method shown in FIGS. 7 and / or 11 may be performed by an automated procedure in a time-series sequence by a built-in or installed program in a digital processing apparatus (obstacle avoidance system). The codes and code segments that make up the program can be easily deduced by a computer programmer in the field. In addition, the program is stored in a computer readable medium readable by the digital processing apparatus, and is read and executed by the digital processing apparatus to implement the method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the following claims And changes may be made without departing from the spirit and scope of the invention.
100: 다중 영상 기반 장애물 회피 시스템
110: 깊이 지도 생성부
120: 장애물 탐지부
130: 충돌 회피 처리부
140: 무인기 기동부
300: 다중 영상 기반 장애물 회피 시스템
310: 깊이 지도 생성부
320: 장애물 탐지부
330: 충돌 회피 처리부
340: 무인기 기동부
350: 저장부100: Multiple Image Based Obstacle Avoidance System
110: depth map generating unit 120: obstacle detecting unit
130: collision avoiding processor 140:
300: Multiple Image Based Obstacle Avoidance System
310: depth map generator 320: obstacle detector
330: collision avoiding processing unit 340:
350:
Claims (27)
상기 무인기에 설치된 다중 카메라에서 촬영한 다중 영상으로부터 깊이 지도(depth map)을 생성하는 깊이 지도 생성부;
상기 깊이 지도를 분석하여 장애물을 탐지하는 장애물 탐지부; 및
상기 장애물 탐지부에서 장애물을 탐지한 경우, 상기 장애물을 회피하도록 조준점(aiming point)을 생성하여 상기 무인기가 목표점을 향해 이동하는 내비게이션 모드에서 상기 조준점을 향하도록 하는 제1 충돌 회피 모드로 상기 동작 모드를 전환시키는 충돌 회피 처리부를 포함하는 장애물 회피 시스템.
A UAV activation section for activating a UAV according to an operation mode;
A depth map generation unit for generating a depth map from multiple images captured by multiple cameras installed in the UAV;
An obstacle detection unit for analyzing the depth map and detecting an obstacle; And
Wherein when the obstacle is detected by the obstacle detection unit, an aiming point is created to avoid the obstacle and the first mode is set to the first collision avoidance mode in which the UAV is directed to the aiming point in a navigation mode in which the UAV moves toward the target point, And a collision avoidance processing unit for changing over the obstacle avoidance processing unit.
상기 장애물 탐지부는 상기 깊이 지도에서 픽셀의 깊이값이 미리 정의된 임계치보다 작을 경우 상기 픽셀의 영역이 상기 장애물인 것으로 간주하는 것을 특징으로 하는 장애물 회피 시스템.
The method according to claim 1,
Wherein the obstacle detection unit regards the area of the pixel as the obstacle when the depth value of the pixel in the depth map is smaller than a predefined threshold value.
상기 장애물 탐지부는 상기 장애물을 상기 장애물 자체를 포함하는 외접구(circumscribed sphere)로 재형상화하고, 상기 외접구의 직경 혹은 반경 중 적어도 하나와 상기 외접구의 중심점을 장애물 정보로 생성하는 것을 특징으로 하는 장애물 회피 시스템.
The method according to claim 1,
Wherein the obstacle detection unit reshapes the obstacle into a circumscribed sphere including the obstacle itself and generates at least one of a diameter or a radius of the circumscribed sphere and a center point of the circumscribed sphere as obstacle information, system.
상기 외접구의 중심점의 x 성분은 최소 깊이와 최대 깊이의 평균이고,
상기 외접구의 중심점의 y 성분 및 z 성분은 이미지 평면 내에서 상기 장애물에 해당하는 전체 픽셀 영역을 커버하는 외접원의 중심점인 것을 특징으로 하는 장애물 회피 시스템.
The method of claim 3,
The x component of the center point of the circumscribed sphere is the average of the minimum depth and the maximum depth,
Wherein the y component and the z component of the center point of the circumscribed sphere are center points of a circumscribed circle covering an entire pixel region corresponding to the obstacle in the image plane.
상기 최소 깊이와 상기 최대 깊이 간의 차이와 상기 외접원의 직경 중 큰 값을 상기 외접구의 직경으로 선택하는 것을 특징으로 하는 장애물 회피 시스템.
5. The method of claim 4,
Wherein a difference between the minimum depth and the maximum depth and a larger value among diameters of the circumscribed circle are selected as diameters of the circumscribed sphere.
상기 충돌 회피 처리부는 상기 외접구의 직경에 안전 마진(safety margin)을 합산한 충돌 안전 경계(collision safety boundary)를 생성하고, 상기 무인기로부터 상기 충돌 안전 경계까지의 접선 집합에 의해 정의되는 충돌 콘(collision cone)을 생성한 후,
상기 무인기의 속도 벡터가 상기 충돌 콘 내에 위치할 경우 상기 제1 충돌 회피 모드로 상기 동작 모드를 전환시키는 것을 특징으로 하는 장애물 회피 시스템.
The method of claim 3,
Wherein the collision avoidance processing unit generates a collision safety boundary by adding a safety margin to the diameter of the circumscribed sphere and sets a collision safety boundary defined by a set of tangents from the UAV to the collision safe boundary, cone,
And switches the operation mode to the first collision avoidance mode when the velocity vector of the UAV is located in the collision cone.
상기 충돌 회피 처리부는 상기 충돌 안전 경계와 상기 충돌 콘의 교점 집합 중 상기 속도 벡터에 가장 근접한 거리를 가지는 지점을 상기 조준점으로 선택하는 것을 특징으로 하는 장애물 회피 시스템.
The method according to claim 6,
Wherein the collision avoidance processor selects a point having a distance closest to the velocity vector among the intersection set of the collision safe boundary and the collision cone as the aim point.
이전에 생성된 상기 장애물 정보를 모두 저장하는 저장부를 더 포함하되,
상기 장애물 탐지부에서 장애물이 감지되지 않고 상기 저장부에 이전에 저장된 상기 장애물 정보가 존재할 경우,
상기 충돌 회피 처리부는 상기 무인기의 속도 벡터가 상기 장애물 정보로 이루어진 외접구와 상기 무인기에 의해 형성된 충돌 콘 내부 영역을 가리키는 경우 제2 충돌 회피 모드로 상기 동작 모드를 전환하는 것을 특징으로 하는 장애물 회피 시스템.
The method of claim 3,
Further comprising a storage unit for storing all the obstacle information previously generated,
When no obstacle is detected in the obstacle detection unit and the obstacle information previously stored in the storage unit exists,
Wherein the collision avoidance processing unit switches the operation mode to the second collision avoidance mode when the velocity vector of the UAV indicates a circumscribed circle formed by the obstacle information and an inner collision cone formed by the UAV.
상기 충돌 회피 처리부는 상기 무인기의 속도 벡터가 충돌 콘 내부 영역을 가리키는 외접구가 복수인 경우, 하기 수학식에 따라 충돌 회피를 위한 중요 외접구를 선택하는 것을 특징으로 하는 장애물 회피 시스템.
여기서,
9. The method of claim 8,
Wherein the collision avoidance processing unit selects an important circumscribed sphere for collision avoidance according to the following equation when the velocity vector of the UAV is a plurality of circumscribed spheres pointing to the collision cone inner region.
here,
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 외부에 있을 때,
상기 충돌 회피 처리부는 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성하는 것을 특징으로 하는 장애물 회피 시스템.
10. The method of claim 9,
And in the second collision avoidance mode, when the UAV is outside the important circumscribed sphere,
Wherein the collision avoidance processing unit generates the aim point after replacing the collision safety boundary with the important circumscribed sphere.
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 내부에 있을 때,
상기 충돌 회피 처리부는 상기 목표점을 중심으로 하고 중요 외접구의 중심점을 표면 상의 일 지점으로 하는 구를 형상화했을 때, 상기 구의 내부에 상기 무인기가 위치하면 상기 목표점을 향하도록 상기 동작 모드를 상기 내비게이션 모드로 설정하고,
상기 구의 내부에 상기 무인기가 위치하지 않으면 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성하는 것을 특징으로 하는 장애물 회피 시스템.
10. The method of claim 9,
And in the second collision avoidance mode, when the UAV is inside the critical circumference hole,
Wherein the collision avoidance processing unit sets the operation mode to the navigation mode so as to direct the operation mode to the target point when the UAV is positioned inside the sphere, Setting,
And if the UAV is not located inside the sphere, the collision safe boundary is replaced with the critical circumscribed sphere, and then the aim point is generated.
상기 장애물 탐지부는 상기 다중 영상을 바이너리 영상으로 변환하고 클러스터(cluster)를 생성하되, 오버랩되는 장애물을 하나의 장애물로 취급하는 것을 특징으로 하는 장애물 회피 시스템.
The method according to claim 1,
Wherein the obstacle detection unit converts the multiple images into a binary image and creates a cluster, and treats the overlapped obstacle as one obstacle.
조준점 후보는 상기 클러스터 주위로 계산되며,
상기 조준점 후보의 일부 지점이 다른 장애물의 충돌 안전 경계에 포함되는 경우 상기 조준점 후보에서 제외되는 것을 특징으로 하는 장애물 회피 시스템.
13. The method of claim 12,
The aim point candidate is calculated around the cluster,
And when the part of the aim point candidate is included in the collision safety boundary of another obstacle, the obstacle avoidance system is excluded from the aim point candidate.
(a) 상기 무인기에 설치된 다중 카메라에서 촬영한 다중 영상으로부터 깊이 지도(depth map)을 생성하는 단계;
(b) 상기 깊이 지도를 분석하여 장애물을 탐지하는 단계; 및
(c) 상기 장애물 탐지부에서 장애물을 탐지한 경우, 상기 장애물을 회피하도록 조준점(aiming point)을 생성하여 상기 무인기가 목표점을 향해 이동하는 내비게이션 모드에서 상기 조준점을 향하도록 하는 제1 충돌 회피 모드로 상기 동작 모드를 전환시키는 단계를 포함하는 장애물 회피 방법.
A method for avoiding collision of an unmanned aerial vehicle that is started in accordance with an operation mode and moves toward a target point with an obstacle,
(a) generating a depth map from multiple images captured by multiple cameras installed in the UAV;
(b) analyzing the depth map to detect an obstacle; And
(c) a first collision avoidance mode in which, when an obstacle is detected by the obstacle detection unit, an aiming point is generated to avoid the obstacle and the UAV is directed to the aiming point in a navigation mode in which the UAV moves toward a target point And switching the operation mode.
상기 단계 (b)는 상기 깊이 지도에서 픽셀의 깊이값이 미리 정의된 임계치보다 작을 경우 상기 픽셀의 영역이 상기 장애물인 것으로 간주하는 것을 특징으로 하는 장애물 회피 방법.
15. The method of claim 14,
Wherein the step (b) regards the area of the pixel as the obstacle when the depth value of the pixel in the depth map is smaller than a predefined threshold value.
상기 단계 (b)는 상기 장애물을 상기 장애물 자체를 포함하는 외접구(circumscribed sphere)로 재형상화하고, 상기 외접구의 직경 혹은 반경 중 적어도 하나와 상기 외접구의 중심점을 장애물 정보로 생성하는 것을 특징으로 하는 장애물 회피 방법.
15. The method of claim 14,
Wherein the step (b) reshapes the obstacle into a circumscribed sphere including the obstacle itself, and generates at least one of a diameter or a radius of the circumscribed sphere and a center point of the circumscribed sphere as obstacle information Obstacle avoidance method.
상기 외접구의 중심점의 x 성분은 최소 깊이와 최대 깊이의 평균이고,
상기 외접구의 중심점의 y 성분 및 z 성분은 이미지 평면 내에서 상기 장애물에 해당하는 전체 픽셀 영역을 커버하는 외접원의 중심점인 것을 특징으로 하는 장애물 회피 방법.
17. The method of claim 16,
The x component of the center point of the circumscribed sphere is the average of the minimum depth and the maximum depth,
Wherein the y component and the z component of the center point of the circumscribed sphere are center points of the circumscribed circle covering the entire pixel region corresponding to the obstacle in the image plane.
상기 최소 깊이와 상기 최대 깊이 간의 차이와 상기 외접원의 직경 중 큰 값을 상기 외접구의 직경으로 선택하는 것을 특징으로 하는 장애물 회피 방법.
18. The method of claim 17,
Wherein a difference between the minimum depth and the maximum depth and a larger value among diameters of the circumscribed circle are selected as diameters of the circumscribed sphere.
상기 단계 (c)는,
(c1) 상기 외접구의 직경에 안전 마진(safety margin)을 합산한 충돌 안전 경계(collision safety boundary)를 생성하는 단계;
(c2) 상기 무인기로부터 상기 충돌 안전 경계까지의 접선 집합에 의해 정의되는 충돌 콘(collision cone)을 생성하는 단계를 포함하되,
상기 무인기의 속도 벡터가 상기 충돌 콘 내에 위치할 경우 상기 제1 충돌 회피 모드로 상기 동작 모드를 전환시키는 것을 특징으로 하는 장애물 회피 방법.
17. The method of claim 16,
The step (c)
(c1) creating a collision safety boundary by adding a safety margin to the diameter of the circumscribed sphere;
(c2) generating a collision cone defined by a set of tangents from the UAV to the collision safe boundary,
And switches the operation mode to the first collision avoidance mode when the velocity vector of the UAV is located in the collision cone.
상기 충돌 안전 경계와 상기 충돌 콘의 교점 집합 중 상기 속도 벡터에 가장 근접한 거리를 가지는 지점을 상기 조준점으로 선택하는 것을 특징으로 하는 장애물 회피 방법.
20. The method of claim 19,
And a point having a distance closest to the velocity vector among the intersection set of the crash safe boundary and the crash cone is selected as the aim point.
이전에 생성된 상기 장애물 정보를 저장부에 모두 저장하는 단계를 더 포함하되,
상기 장애물이 감지되지 않고 상기 저장부에 이전에 저장된 상기 장애물 정보가 존재할 경우,
상기 단계 (c)는 상기 무인기의 속도 벡터가 상기 장애물 정보로 이루어진 외접구와 상기 무인기에 의해 형성된 충돌 콘 내부 영역을 가리키는 경우 제2 충돌 회피 모드로 상기 동작 모드를 전환하는 것을 특징으로 하는 장애물 회피 방법.
17. The method of claim 16,
Storing all of the previously generated obstacle information in a storage unit,
When the obstacle is not detected and the obstacle information previously stored in the storage unit exists,
Wherein the step (c) switches the operation mode to a second collision avoidance mode when the speed vector of the UAV is indicative of a circumscribed sphere constituted by the obstacle information and an inner collision cone formed by the UAV. .
상기 단계 (c)는 상기 무인기의 속도 벡터가 충돌 콘 내부 영역을 가리키는 외접구가 복수인 경우, 하기 수학식에 따라 충돌 회피를 위한 중요 외접구를 선택하는 것을 특징으로 하는 장애물 회피 방법.
여기서,
22. The method of claim 21,
Wherein the step (c) selects an important circumscribed sphere for collision avoidance according to the following equation when the velocity vector of the UAV is a plurality of circumscribed spheres pointing to the collision cone inner region.
here,
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 외부에 있을 때,
상기 단계 (c)는 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성하는 것을 특징으로 하는 장애물 회피 방법.
23. The method of claim 22,
And in the second collision avoidance mode, when the UAV is outside the important circumscribed sphere,
Wherein the step (c) creates the aim point after replacing the collision safety boundary with the critical circumscribed sphere.
상기 제2 충돌 회피 모드에서 상기 무인기가 상기 중요 외접구의 내부에 있을 때,
상기 단계 (c)는 상기 목표점을 중심으로 하고 중요 외접구의 중심점을 표면 상의 일 지점으로 하는 구를 형상화했을 때, 상기 구의 내부에 상기 무인기가 위치하면 상기 목표점을 향하도록 상기 동작 모드를 상기 내비게이션 모드로 설정하고,
상기 구의 내부에 상기 무인기가 위치하지 않으면 상기 충돌 안전 경계를 상기 중요 외접구로 교체한 후 상기 조준점을 생성하는 것을 특징으로 하는 장애물 회피 방법.
23. The method of claim 22,
And in the second collision avoidance mode, when the UAV is inside the critical circumference hole,
Wherein the step (c) comprises the steps of: when a sphere having the center of the target point as a center and having a central point of the major circumscribed sphere is formed as a point on the surface, if the UAV is positioned inside the sphere, Lt; / RTI >
And if the UAV is not located inside the sphere, the collision safe boundary is replaced with the critical circumscribed sphere, and then the aim point is generated.
상기 단계 (b)는 상기 다중 영상을 바이너리 영상으로 변환하고 클러스터(cluster)를 생성하되, 오버랩되는 장애물을 하나의 장애물로 취급하는 것을 특징으로 하는 장애물 회피 방법.
15. The method of claim 14,
Wherein the step (b) converts the multiple images into a binary image and generates clusters, wherein the overlapped obstacles are treated as one obstacle.
조준점 후보는 상기 클러스터 주위로 계산되며,
상기 조준점 후보의 일부 지점이 다른 장애물의 충돌 안전 경계에 포함되는 경우 상기 조준점 후보에서 제외되는 것을 특징으로 하는 장애물 회피 방법.
26. The method of claim 25,
The aim point candidate is calculated around the cluster,
And when the part of the aim point candidate is included in the collision safety boundary of the other obstacle, the obstacle avoiding method is excluded from the aim point candidate.
26. A recording medium on which a program that can be read by a digital processing apparatus for performing the obstacle avoidance method according to any one of claims 14 to 26 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140063223A KR101642828B1 (en) | 2014-05-26 | 2014-05-26 | Obstacle avoidance system and method based on multiple images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140063223A KR101642828B1 (en) | 2014-05-26 | 2014-05-26 | Obstacle avoidance system and method based on multiple images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150136209A true KR20150136209A (en) | 2015-12-07 |
| KR101642828B1 KR101642828B1 (en) | 2016-07-28 |
Family
ID=54872210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140063223A KR101642828B1 (en) | 2014-05-26 | 2014-05-26 | Obstacle avoidance system and method based on multiple images |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101642828B1 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101707906B1 (en) * | 2016-08-03 | 2017-02-24 | 조용하 | Emergency call device and system |
| CN107817811A (en) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | The unmanned plane collision prevention device and method of view-based access control model |
| JP2018180359A (en) * | 2017-04-17 | 2018-11-15 | 株式会社ゼンリン | Three-dimensional map data and control device |
| WO2018214077A1 (en) * | 2017-05-24 | 2018-11-29 | 深圳市大疆创新科技有限公司 | Photographing method and apparatus, and image processing method and apparatus |
| KR20190041464A (en) * | 2016-07-06 | 2019-04-22 | 로렌스 리버모어 내쇼날 시큐리티, 엘엘시 | Object detection and avoidance system for autonomous vehicles |
| WO2019132898A1 (en) * | 2017-12-27 | 2019-07-04 | Intel Corporation | Dynamic generation of restricted flight zones for drones |
| KR102187654B1 (en) * | 2020-07-09 | 2020-12-07 | 주식회사 이노드 | Low altitude drone and Crop Cultivating Information Acquisition System including the same |
| CN112308039A (en) * | 2020-11-25 | 2021-02-02 | 珠海市一微半导体有限公司 | Obstacle segmentation processing method and chip based on TOF camera |
| CN112906479A (en) * | 2021-01-22 | 2021-06-04 | 成都纵横自动化技术股份有限公司 | Unmanned aerial vehicle auxiliary landing method and system |
| KR20210133518A (en) | 2020-04-29 | 2021-11-08 | 아주대학교산학협력단 | Unmanned aerial vehicle and method for obstacle collision avoidance |
| KR20220085513A (en) | 2020-12-15 | 2022-06-22 | 아주대학교산학협력단 | Unmanned aerial vehicle and method for moving obstacle collision avoidance |
| KR20220148501A (en) * | 2021-04-29 | 2022-11-07 | 금오공과대학교 산학협력단 | Virtual lidar device using depth camera |
| KR102494926B1 (en) | 2021-08-30 | 2023-02-06 | 재단법인대구경북과학기술원 | Apparatus and method for generating dynamic local map for operation of uav |
| US11573575B2 (en) | 2017-04-12 | 2023-02-07 | Lawrence Livermore National Security, Llc | Attract-repel path planner system for collision avoidance |
| US11927972B2 (en) | 2020-11-24 | 2024-03-12 | Lawrence Livermore National Security, Llc | Collision avoidance based on traffic management data |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100066952A (en) * | 2008-12-10 | 2010-06-18 | 재단법인대구경북과학기술원 | Apparatus for tracking obstacle using stereo vision and method thereof |
| KR20130037697A (en) | 2013-03-12 | 2013-04-16 | 노인철 | The conflict prevention system and methods of unmanned aerial vehicle |
-
2014
- 2014-05-26 KR KR1020140063223A patent/KR101642828B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100066952A (en) * | 2008-12-10 | 2010-06-18 | 재단법인대구경북과학기술원 | Apparatus for tracking obstacle using stereo vision and method thereof |
| KR20130037697A (en) | 2013-03-12 | 2013-04-16 | 노인철 | The conflict prevention system and methods of unmanned aerial vehicle |
Non-Patent Citations (2)
| Title |
|---|
| 대한전자공학회 논문지 제46권제1호 (pp.23-30, 2009.03.31.) * |
| 미국항공우주학회 유도항법제어학술대회 논문집 "Vsion-Based Obstacle Avoidance for UAVs" (2007.08.) * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190041464A (en) * | 2016-07-06 | 2019-04-22 | 로렌스 리버모어 내쇼날 시큐리티, 엘엘시 | Object detection and avoidance system for autonomous vehicles |
| US11796673B2 (en) | 2016-07-06 | 2023-10-24 | Lawrence Livermore National Security, Llc | Object sense and avoid system for autonomous vehicles |
| KR101707906B1 (en) * | 2016-08-03 | 2017-02-24 | 조용하 | Emergency call device and system |
| US11573575B2 (en) | 2017-04-12 | 2023-02-07 | Lawrence Livermore National Security, Llc | Attract-repel path planner system for collision avoidance |
| JP2018180359A (en) * | 2017-04-17 | 2018-11-15 | 株式会社ゼンリン | Three-dimensional map data and control device |
| WO2018214077A1 (en) * | 2017-05-24 | 2018-11-29 | 深圳市大疆创新科技有限公司 | Photographing method and apparatus, and image processing method and apparatus |
| CN107817811A (en) * | 2017-10-26 | 2018-03-20 | 哈尔滨市舍科技有限公司 | The unmanned plane collision prevention device and method of view-based access control model |
| WO2019132898A1 (en) * | 2017-12-27 | 2019-07-04 | Intel Corporation | Dynamic generation of restricted flight zones for drones |
| KR20210133518A (en) | 2020-04-29 | 2021-11-08 | 아주대학교산학협력단 | Unmanned aerial vehicle and method for obstacle collision avoidance |
| KR102187654B1 (en) * | 2020-07-09 | 2020-12-07 | 주식회사 이노드 | Low altitude drone and Crop Cultivating Information Acquisition System including the same |
| US11927972B2 (en) | 2020-11-24 | 2024-03-12 | Lawrence Livermore National Security, Llc | Collision avoidance based on traffic management data |
| CN112308039A (en) * | 2020-11-25 | 2021-02-02 | 珠海市一微半导体有限公司 | Obstacle segmentation processing method and chip based on TOF camera |
| KR20220085513A (en) | 2020-12-15 | 2022-06-22 | 아주대학교산학협력단 | Unmanned aerial vehicle and method for moving obstacle collision avoidance |
| KR20220143621A (en) | 2020-12-15 | 2022-10-25 | 아주대학교산학협력단 | Unmanned aerial vehicle and method for moving obstacle collision avoidance |
| CN112906479A (en) * | 2021-01-22 | 2021-06-04 | 成都纵横自动化技术股份有限公司 | Unmanned aerial vehicle auxiliary landing method and system |
| CN112906479B (en) * | 2021-01-22 | 2024-01-26 | 成都纵横自动化技术股份有限公司 | Unmanned aerial vehicle auxiliary landing method and system thereof |
| KR20220148501A (en) * | 2021-04-29 | 2022-11-07 | 금오공과대학교 산학협력단 | Virtual lidar device using depth camera |
| KR102494926B1 (en) | 2021-08-30 | 2023-02-06 | 재단법인대구경북과학기술원 | Apparatus and method for generating dynamic local map for operation of uav |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101642828B1 (en) | 2016-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101642828B1 (en) | Obstacle avoidance system and method based on multiple images | |
| US11237572B2 (en) | Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof | |
| Barry et al. | High‐speed autonomous obstacle avoidance with pushbroom stereo | |
| US20180032042A1 (en) | System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data | |
| EP2818957A1 (en) | System and method for UAV landing | |
| WO2019067695A1 (en) | Flight control using computer vision | |
| WO2018137133A1 (en) | Systems and methods for radar control on unmanned movable platforms | |
| KR101736089B1 (en) | UAV flight control device and method for object shape mapping and real-time guidance using depth map | |
| WO2017168423A1 (en) | System and method for autonomous guidance of vehicles | |
| US10937325B2 (en) | Collision avoidance system, depth imaging system, vehicle, obstacle map generator, and methods thereof | |
| JP6527726B2 (en) | Autonomous mobile robot | |
| EP3213158B1 (en) | Space partitioning for motion planning | |
| CN108844538B (en) | Unmanned aerial vehicle obstacle avoidance waypoint generation method based on vision/inertial navigation | |
| EP3333085B1 (en) | Object detection system | |
| CN109521780B (en) | Control system and control method for remote control work vehicle | |
| Richardson et al. | Automated vision‐based recovery of a rotary wing unmanned aerial vehicle onto a moving platform | |
| US20220119007A1 (en) | Method and Device for Operating a Robot with Improved Object Detection | |
| US20210088652A1 (en) | Vehicular monitoring systems and methods for sensing external objects | |
| US20200001877A1 (en) | Determining Visibility Distances Based on a Dynamic Field of View of a Vehicle | |
| CN110402421A (en) | A kind of aircraft landing guard method, device and aircraft | |
| CN110997488A (en) | System and method for dynamically controlling parameters for processing sensor output data | |
| Marlow et al. | Local terrain mapping for obstacle avoidance using monocular vision | |
| US10989797B2 (en) | Passive altimeter system for a platform and method thereof | |
| KR20200063363A (en) | System and method for autonomously traveling mobile robot | |
| CN111736622B (en) | Unmanned aerial vehicle obstacle avoidance method and system based on combination of binocular vision and IMU |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190625 Year of fee payment: 4 |