KR20240029158A - Autonomous landing method of drone using object recognition and camera angle control - Google Patents
Autonomous landing method of drone using object recognition and camera angle control Download PDFInfo
- Publication number
- KR20240029158A KR20240029158A KR1020220107280A KR20220107280A KR20240029158A KR 20240029158 A KR20240029158 A KR 20240029158A KR 1020220107280 A KR1020220107280 A KR 1020220107280A KR 20220107280 A KR20220107280 A KR 20220107280A KR 20240029158 A KR20240029158 A KR 20240029158A
- Authority
- KR
- South Korea
- Prior art keywords
- landing
- drone
- camera
- landing pad
- angle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
객체인식과 카메라 각도 제어를 사용한 드론의 자율착륙방법은 드론이 미리 설정된 딥러닝 알고리즘을 통해 착륙패드를 식별하기 위한 학습을 사전에 진행하는 단계와, 드론이 착륙지점에 인접한 지역에서 드론의 카메라의 촬영정보를 바탕으로 상기 착륙패드를 탐지하여 착륙을 진행함에 있어서, 지면으로부터 60도 각도로 설정된 카메라의 촬영정보를 바탕으로 상기 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 대각선 방향으로 착륙을 진행하는 단계와, 드론이 소정의 고도에 도달할 경우 지면으로부터 60도 각도 및 상기 고도를 고려하여 tanθ의 삼각함수법을 적용하여 수평이동하는 단계와, 지면을 수직으로 촬영하도록 카메라의 각도를 변경한 후 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 마무리하는 단계를 포함하는 것을 특징으로 한다.The drone's autonomous landing method using object recognition and camera angle control involves learning in advance the drone to identify the landing pad through a preset deep learning algorithm, and the drone's camera in an area adjacent to the landing point. When detecting the landing pad based on shooting information and proceeding with landing, the shooting information of the camera set at an angle of 60 degrees from the ground is compared with the center point of the landing pad's bounding box and kept in the center of the screen. A step of landing in a diagonal direction, a step of moving horizontally by applying the trigonometric method of tanθ considering the angle of 60 degrees from the ground and the altitude when the drone reaches a predetermined altitude, and taking pictures of the ground vertically. After changing the angle of the camera to do so, it compares the center point of the landing pad's bounding box based on the camera's shooting information to keep it in the center of the screen and completes the landing.
Description
본 발명은 드론의 자율착륙방법에 관한 것으로서, 더 상세하게는 객체인식과 카메라 각도 제어를 사용한 드론의 자율착륙방법에 관한 것이다.The present invention relates to an autonomous landing method for a drone, and more specifically, to an autonomous landing method for a drone using object recognition and camera angle control.
기존 자율착륙은 GPS를 사용한 착륙과 특정 마커를 사용하여(예 Aruco Marker, ArTags, AprilTags 등) 정확한 측위를 계산하여 착륙하는 방법을 대다수 사용한다. Most existing autonomous landings use GPS-based landing and specific markers (e.g. Aruco Marker, ArTags, AprilTags, etc.) to calculate accurate positioning.
GPS를 사용할 경우 착륙이후 오차가 발생하고, 특정 마커를 사용하는 방법은 거리가 멀 경우 인식을 못하는 경우와 다른 이미지로 대체가 안 된다는 단점이 있다.When using GPS, errors occur after landing, and the method of using a specific marker has the disadvantages of not being able to recognize it when the distance is far and not being able to replace it with another image.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 객체인식과 카메라 각도 제어를 사용하여 먼 거리에서도 착륙패드의 특징점을 찾아내 인식하여 착륙시도가 가능한 드론의 자율착륙방법을 제공한다.The present invention was proposed to solve the above technical problems, and provides an autonomous landing method for a drone that can attempt a landing by finding and recognizing characteristic points of the landing pad even from a distance using object recognition and camera angle control.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 드론이 미리 설정된 딥러닝 알고리즘을 통해 착륙패드를 식별하기 위한 학습을 사전에 진행하는 단계와, 드론이 착륙지점에 인접한 지역에서 드론의 카메라의 촬영정보를 바탕으로 착륙패드를 탐지하여 착륙을 진행함에 있어서, 지면으로부터 60도 각도로 설정된 상기 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 대각선 방향으로 착륙을 진행하는 단계와, 드론이 소정의 고도에 도달할 경우 지면으로부터 60도 각도 및 고도를 고려하여 tanθ의 삼각함수법을 적용하여 수평이동하는 단계와, 지면을 수직으로 촬영하도록 카메라의 각도를 변경한 후 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 마무리하는 단계를 포함하는 드론의 자율착륙방법이 제공된다.According to an embodiment of the present invention to solve the above problem, the drone performs learning in advance to identify the landing pad through a preset deep learning algorithm, and uses the drone's camera in an area adjacent to the landing point. When detecting the landing pad based on the shooting information and proceeding with the landing, the shooting information of the camera set at an angle of 60 degrees from the ground is compared with the center point of the landing pad's bounding box and kept in the center of the screen. A step of landing in a diagonal direction, a step of moving horizontally by applying the trigonometric method of tanθ considering the angle and altitude of 60 degrees from the ground when the drone reaches a predetermined altitude, and taking pictures of the ground vertically. An autonomous landing method for a drone is provided, which includes changing the angle of the camera, comparing it to the center point of the landing pad's bounding box based on the camera's shooting information, maintaining it at the center of the screen, and completing the landing.
또한, 본 발명의 다른 실시예에 따르면, 드론이 미리 설정된 딥러닝 알고리즘을 통해 착륙패드를 식별하기 위한 학습을 사전에 진행하는 단계와, 드론이 착륙지점에 인접한 지역에서 드론의 카메라의 촬영정보를 바탕으로 착륙패드를 탐지하여 착륙을 진행함에 있어서, 지면으로부터 60도 각도로 설정된 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 대각선 방향으로 착륙을 진행하는 단계와, 드론이 소정의 고도에 도달할 경우 최종적으로 지면을 수직으로 촬영하도록 카메라의 각도를 점진적으로 변경하면서 착륙하되, 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 마무리하는 단계를 포함하는 드론의 자율착륙방법이 제공된다.In addition, according to another embodiment of the present invention, the drone learns in advance to identify the landing pad through a preset deep learning algorithm, and the drone collects shooting information from the drone's camera in an area adjacent to the landing point. When performing a landing by detecting the landing pad based on the shooting information of the camera set at an angle of 60 degrees from the ground, it is compared with the center point of the landing pad's bounding box and is kept in the center of the screen, landing diagonally. When the drone reaches a certain altitude, it lands while gradually changing the angle of the camera to shoot the ground vertically, and compares it with the center point of the landing pad's bounding box based on the camera's shooting information. An autonomous landing method for a drone is provided, which includes maintaining the drone in the center of the screen and completing the landing.
본 발명의 실시예에 따른 드론의 자율착륙방법은, 객체인식과 카메라 각도 제어를 사용하여 먼 거리에서도 착륙패드의 특징점을 찾아내 인식하여 착륙시도가 가능하다.The autonomous landing method of a drone according to an embodiment of the present invention uses object recognition and camera angle control to find and recognize characteristic points of the landing pad even from a distance, enabling a landing attempt.
도 1은 착륙패드 감지 이후 대각선 착륙 경로를 나타낸 도면
도 2는 카메라 화면 중앙을 기준으로 착륙패드를 드론기준으로 정렬하는 예시도
도 3은 특정고도일 때 착륙패드 바로 위로 이동 이후 착륙하는 예시도
도 4는 제1 실시예에 따른 드론의 자율착륙방법의 순서도
도 5는 제2 실시예에 따른 드론의 자율착륙방법의 순서도Figure 1 is a diagram showing the diagonal landing path after detection of the landing pad.
Figure 2 is an example of aligning the landing pad with the drone based on the center of the camera screen.
Figure 3 is an example of landing after moving directly above the landing pad at a specific altitude.
Figure 4 is a flow chart of the autonomous landing method of a drone according to the first embodiment.
Figure 5 is a flow chart of the autonomous landing method of a drone according to the second embodiment.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.Hereinafter, in order to explain the present invention in detail so that a person skilled in the art can easily implement the technical idea of the present invention, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 착륙패드 감지 이후 대각선 착륙 경로를 나타낸 도면이고, 도 2는 카메라 화면 중앙을 기준으로 착륙패드를 드론기준으로 정렬하는 예시도이고, 도 3은 특정고도일 때 착륙패드 바로 위로 이동 이후 착륙하는 예시도이다.Figure 1 is a diagram showing the diagonal landing path after detection of the landing pad, Figure 2 is an example of aligning the landing pad with the drone based on the center of the camera screen, and Figure 3 is a diagram showing the landing after moving directly over the landing pad at a specific altitude. This is an example.
본 발명은 드론이 자율 착륙할 때 객체인식(Yolo, mobilenet등)을 사용하여 착륙지점을 식별하고 착륙하는 방법을 제안한다.The present invention proposes a method of identifying the landing point and landing using object recognition (Yolo, mobilenet, etc.) when a drone lands autonomously.
본 발명은 객체인식을 하여 착륙한다는 점에서 특정 마커만 인식 하여 착륙하는 것에 비해 착륙패드를 여러 이미지로 바꿀 수 있는 자율성 장점이 생긴다. 또한, 특정 마커에 비해 보다 먼 거리에서도 착륙패드의 특징점을 찾아내 인식하여 착륙시도가 가능해 진다.In that the present invention uses object recognition for landing, it has the advantage of autonomy in that the landing pad can be changed into multiple images compared to landing by only recognizing specific markers. In addition, it becomes possible to attempt a landing by finding and recognizing the characteristic points of the landing pad at a greater distance than a specific marker.
우선, 시나리오 1(제1 실시예)은 다음과 같다.First, scenario 1 (first embodiment) is as follows.
드론은 GPS 모듈과 카메라가 장착되어 있고, 카메라의 각도는 보다 넓은 시야를 가져 착륙패드를 찾기 위해 착륙 시 하단 60도를 바라보게 세팅되어 있다.The drone is equipped with a GPS module and a camera, and the camera angle is set to look 60 degrees downward when landing to have a wider field of view and find the landing pad.
(1) 임무를 수행한 드론이 귀환지점 GPS 좌표로 돌아온다.(1) The drone that has completed its mission returns to its return point GPS coordinates.
(2) 하단 60도 각도로 넓은 시야를 가진 카메라로 착륙패드를 인식한다.(2) The landing pad is recognized by a camera with a wide field of view at a 60-degree angle at the bottom.
(3) 도 1과 같이 착륙패드까지 직선거리, 즉 대각선방향으로 착륙한다. 이때 도 2와 같이 카메라화면 중심에 가상의 선을 그리고 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 한다.(3) Land in a straight line, that is, diagonally, to the landing pad as shown in Figure 1. At this time, draw an imaginary line at the center of the camera screen as shown in Figure 2, compare it with the center point of the landing pad's bounding box, and land by keeping it in the center of the screen.
(4) 착륙 중 착륙패드와 너무 가까워지면 화면에 가려져서 착륙패드가 식별이 불가능해진다. 그래서 특정고도가 되면(여기에서는 3m) 도 3과 같이 삼각함수법에 의해 현재 고도*tanθ만큼 앞으로 이동하여 착륙패드 바로 위로 이동 후 카메라의 각도를 90도(지면을 수직으로 촬영하는 각도)로 변경하여 카메라를 하단으로, 즉 바닥을 바라보게끔 카메라의 각도를 조정한다. 이후 다시 도 2와 같이 착륙패드와 드론을 계속 정렬하면서 착륙을 진행하여 착륙을 완료한다.(4) If you get too close to the landing pad during landing, it will be obscured by the screen and the landing pad will become unidentifiable. So, when it reaches a certain altitude (3m in this case), it moves forward by the current altitude * tanθ according to the trigonometry method as shown in Figure 3, moves directly above the landing pad, and changes the camera angle to 90 degrees (the angle of shooting the ground vertically). So, adjust the angle of the camera so that it looks downward, that is, toward the floor. Afterwards, the landing is completed by continuing to align the landing pad and the drone as shown in Figure 2.
다음으로, 시나리오 2(제2 실시예)는 다음과 같다.Next, scenario 2 (second embodiment) is as follows.
드론은 GPS 모듈과 카메라가 장착되어 있고, 카메라의 각도는 보다 넓은 시야를 가져 착륙패드를 찾기 위해 착륙 시 하단 60도를 바라보게 세팅되어 있다.The drone is equipped with a GPS module and a camera, and the camera angle is set to look 60 degrees downward when landing to have a wider field of view and find the landing pad.
(1) 임무를 수행한 드론이 귀환지점 GPS 좌표로 돌아온다.(1) The drone that has completed its mission returns to its return point GPS coordinates.
(2) 하단 60도 각도로 넓은 시야를 가진 카메라로 착륙패드를 인식한다.(2) The landing pad is recognized by a camera with a wide field of view at a 60-degree angle at the bottom.
(3) 도 1과 같이 착륙패드까지 직선거리, 즉 대각선방향으로 착륙한다. 이때 도 2와 같이 카메라화면 중심에 가상의 선을 그리고 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 한다.(3) Land in a straight line, that is, diagonally, to the landing pad as shown in Figure 1. At this time, draw an imaginary line at the center of the camera screen as shown in Figure 2, compare it with the center point of the landing pad's bounding box, and land by keeping it in the center of the screen.
(4) 대각선으로 착륙도중 카메라의 각도를 하단 90도, 바닥을 바라보게끔 조금씩 바꾸면서 착륙을 진행한다.(4) During the diagonal landing, proceed with the landing by slightly changing the angle of the camera so that it is facing the bottom 90 degrees and the floor.
(5) 착륙을 진행하다보면 카메라의 각도가 90도, 바닥을 바라보고 드론은 착륙패드 바로 위에 이동하게 된다. 이후 그대로 수직으로 착륙을 하는 것으로 시나리오가 완료된다.(5) During landing, the camera angle is 90 degrees, looking at the floor, and the drone moves directly above the landing pad. Afterwards, the scenario is completed by landing vertically.
이때, 시나리오 1 및 2가 혼합되어 사용될 수도 있다.At this time, scenarios 1 and 2 may be used in combination.
도 4는 제1 실시예에 따른 드론의 자율착륙방법의 순서도이다.Figure 4 is a flowchart of the autonomous landing method of a drone according to the first embodiment.
도 4를 참조하면, 드론의 자율착륙방법은Referring to Figure 4, the autonomous landing method of the drone is
우선, 드론이 미리 설정된 딥러닝 알고리즘을 통해 착륙패드를 식별하기 위한 학습을 사전에 진행하는 단계가 진행된다.First, a step is taken in which the drone learns to identify the landing pad through a preset deep learning algorithm.
다음으로, 드론이 착륙지점에 인접한 지역에서 드론의 카메라의 촬영정보를 바탕으로 착륙패드를 탐지하여 착륙을 진행함에 있어서, 지면으로부터 60도 각도로 설정된 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 대각선 방향으로 착륙을 진행하는 단계가 진행된다.Next, when the drone detects the landing pad and lands based on the shooting information from the drone's camera in an area adjacent to the landing point, the bounding box of the landing pad is detected based on the shooting information from the camera set at an angle of 60 degrees from the ground. The landing is carried out in a diagonal direction, keeping it in the center of the screen by comparing it with the center point of .
다음으로, 드론이 소정의 고도에 도달할 경우 지면으로부터 60도 각도 및 고도를 고려하여 tanθ의 삼각함수법을 적용하여 수평이동하는 단계가 진행된다.Next, when the drone reaches a predetermined altitude, a horizontal movement step is performed by applying the trigonometric method of tanθ, considering the angle and altitude of 60 degrees from the ground.
다음으로, 지면을 수직으로 촬영하도록 카메라의 각도를 변경한 후 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 마무리하는 단계가 진행된다.Next, the camera's angle is changed to shoot the ground vertically, and the landing is completed by comparing the camera's shooting information with the center point of the landing pad's bounding box and keeping it in the center of the screen. .
도 5는 제2 실시예에 따른 드론의 자율착륙방법의 순서도이다.Figure 5 is a flowchart of the autonomous landing method of a drone according to the second embodiment.
도 5를 참조하면, 드론의 자율착륙방법은Referring to Figure 5, the autonomous landing method of the drone is
우선, 드론이 미리 설정된 딥러닝 알고리즘을 통해 착륙패드를 식별하기 위한 학습을 사전에 진행하는 단계가 진행된다.First, a step is taken in which the drone learns to identify the landing pad through a preset deep learning algorithm.
다음으로, 드론이 착륙지점에 인접한 지역에서 드론의 카메라의 촬영정보를 바탕으로 착륙패드를 탐지하여 착륙을 진행함에 있어서, 지면으로부터 60도 각도로 설정된 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 대각선 방향으로 착륙을 진행하는 단계가 진행된다.Next, when the drone detects the landing pad and lands based on the shooting information from the drone's camera in an area adjacent to the landing point, the bounding box of the landing pad is detected based on the shooting information from the camera set at an angle of 60 degrees from the ground. The landing is carried out in a diagonal direction, keeping it in the center of the screen by comparing it with the center point of .
다음으로, 드론이 소정의 고도에 도달할 경우 최종적으로 지면을 수직으로 촬영하도록 카메라의 각도를 점진적으로 변경하면서 착륙하되, 카메라의 촬영정보를 바탕으로 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 마무리하는 단계가 진행된다.Next, when the drone reaches a certain altitude, it lands while gradually changing the angle of the camera to finally shoot the ground vertically. Based on the camera's shooting information, it compares it with the center point of the landing pad's bounding box and displays the image on the screen. The landing is completed by maintaining the position in the center.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, a person skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing its technical idea or essential features. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. The scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
Claims (2)
상기 드론이 착륙지점에 인접한 지역에서 상기 드론의 카메라의 촬영정보를 바탕으로 상기 착륙패드를 탐지하여 착륙을 진행함에 있어서, 지면으로부터 60도 각도로 설정된 상기 카메라의 촬영정보를 바탕으로 상기 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 대각선 방향으로 착륙을 진행하는 단계;
상기 드론이 소정의 고도에 도달할 경우 지면으로부터 60도 각도 및 상기 고도를 고려하여 tanθ의 삼각함수법을 적용하여 수평이동하는 단계; 및
지면을 수직으로 촬영하도록 상기 카메라의 각도를 변경한 후 상기 카메라의 촬영정보를 바탕으로 상기 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 마무리하는 단계;
를 포함하는 드론의 자율착륙방법.
A step in which the drone learns in advance to identify the landing pad through a preset deep learning algorithm;
When the drone detects the landing pad and performs a landing based on the shooting information of the drone's camera in an area adjacent to the landing point, the landing pad is detected based on the shooting information of the camera set at an angle of 60 degrees from the ground. Comparing the center point of the bounding box to maintaining it in the center of the screen and proceeding to land diagonally;
When the drone reaches a predetermined altitude, moving horizontally by applying the trigonometric method of tanθ considering the altitude and an angle of 60 degrees from the ground; and
changing the angle of the camera to capture the ground vertically, then comparing the center point of the landing pad's bounding box based on the camera's shooting information and keeping it at the center of the screen to complete the landing;
Autonomous landing method of a drone including.
상기 드론이 착륙지점에 인접한 지역에서 상기 드론의 카메라의 촬영정보를 바탕으로 상기 착륙패드를 탐지하여 착륙을 진행함에 있어서, 지면으로부터 60도 각도로 설정된 상기 카메라의 촬영정보를 바탕으로 상기 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 대각선 방향으로 착륙을 진행하는 단계; 및
상기 드론이 소정의 고도에 도달할 경우 최종적으로 지면을 수직으로 촬영하도록 상기 카메라의 각도를 점진적으로 변경하면서 착륙하되, 상기 카메라의 촬영정보를 바탕으로 상기 착륙패드의 바운딩 박스의 중심점과 비교를 하여 화면 중앙에 오게끔 유지를 하며 착륙을 마무리하는 단계;
를 포함하는 드론의 자율착륙방법.A step in which the drone learns in advance to identify the landing pad through a preset deep learning algorithm;
When the drone detects the landing pad and performs a landing based on the shooting information of the drone's camera in an area adjacent to the landing point, the landing pad is detected based on the shooting information of the camera set at an angle of 60 degrees from the ground. Comparing the center point of the bounding box to maintaining it in the center of the screen and proceeding to land diagonally; and
When the drone reaches a predetermined altitude, it lands while gradually changing the angle of the camera to finally capture the ground vertically, and compares it with the center point of the bounding box of the landing pad based on the camera's shooting information. Finalizing the landing by keeping it in the center of the screen;
Autonomous landing method of a drone including.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220107280A KR20240029158A (en) | 2022-08-26 | 2022-08-26 | Autonomous landing method of drone using object recognition and camera angle control |
| PCT/KR2023/007725 WO2024043459A1 (en) | 2022-08-26 | 2023-06-07 | Autonomous landing method for drone using object recognition and camera angle control |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220107280A KR20240029158A (en) | 2022-08-26 | 2022-08-26 | Autonomous landing method of drone using object recognition and camera angle control |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240029158A true KR20240029158A (en) | 2024-03-05 |
Family
ID=90013436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220107280A KR20240029158A (en) | 2022-08-26 | 2022-08-26 | Autonomous landing method of drone using object recognition and camera angle control |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20240029158A (en) |
| WO (1) | WO2024043459A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220072025A (en) | 2020-11-23 | 2022-06-02 | 황의철 | Autonomous Landing System |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101008259B1 (en) * | 2008-09-03 | 2011-01-13 | 한국항공우주연구원 | Automatic landing system and control method using circular image data for aircraft |
| KR102227740B1 (en) * | 2019-07-17 | 2021-03-15 | 한국항공우주산업 주식회사 | Landing Support System for Vertical Takeoff and Landing Type PAV |
| KR102375458B1 (en) * | 2020-07-02 | 2022-03-17 | 중앙대학교 산학협력단 | Autonomous landing system of UAV on moving platform |
| KR102441563B1 (en) * | 2021-01-08 | 2022-09-07 | 아주대학교산학협력단 | Apparatus and method for controlling landing based on image learning |
| KR102307584B1 (en) * | 2021-03-31 | 2021-09-30 | 세종대학교산학협력단 | System for autonomous landing control of unmanned aerial vehicle |
-
2022
- 2022-08-26 KR KR1020220107280A patent/KR20240029158A/en unknown
-
2023
- 2023-06-07 WO PCT/KR2023/007725 patent/WO2024043459A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220072025A (en) | 2020-11-23 | 2022-06-02 | 황의철 | Autonomous Landing System |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024043459A1 (en) | 2024-02-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11361469B2 (en) | Method and system for calibrating multiple cameras | |
| CN109931939B (en) | Vehicle positioning method, device, equipment and computer readable storage medium | |
| CN106054929B (en) | A kind of unmanned plane based on light stream lands bootstrap technique automatically | |
| KR20200041355A (en) | Simultaneous positioning and mapping navigation method, device and system combining markers | |
| CN105841687B (en) | indoor positioning method and system | |
| CN105405154B (en) | Target object tracking based on color-structure feature | |
| CN111080679B (en) | Method for dynamically tracking and positioning indoor personnel in large-scale place | |
| CN107194399B (en) | Visual calibration method, system and unmanned aerial vehicle | |
| KR100842104B1 (en) | Guide and control method for automatic landing of uavs using ads-b and vision-based information | |
| JP6510247B2 (en) | Survey data processing apparatus, survey data processing method and program | |
| CN101620671B (en) | Method for indirectly positioning and identifying three-dimensional buildings by using riverway landmarks | |
| CN104807456B (en) | A kind of method maked a return voyage automatically during GPS no signals | |
| US20190197908A1 (en) | Methods and systems for improving the precision of autonomous landings by drone aircraft on landing targets | |
| KR102260372B1 (en) | RTK drone based GRP auto-arrangement method for digital map creation of earthwork site | |
| CN108180912A (en) | Mobile robot positioning system and method based on hybrid navigation band | |
| CN106370160A (en) | Robot indoor positioning system and method | |
| KR102242366B1 (en) | RTK drone based GRP auto-arrangement apparatus for digital map creation of earthwork site | |
| CN114004977A (en) | Aerial photography data target positioning method and system based on deep learning | |
| CN106815553A (en) | A kind of infrared front view based on edge matching is as Ship Detection | |
| CN107576329B (en) | Fixed wing unmanned aerial vehicle landing guiding cooperative beacon design method based on machine vision | |
| KR20160102844A (en) | System and method for guiding landing of multi-copter | |
| CN109612333A (en) | A kind of vision auxiliary guide system vertically recycled towards reusable rocket | |
| CN109358315B (en) | Auxiliary target indirect positioning method and system | |
| KR20240029158A (en) | Autonomous landing method of drone using object recognition and camera angle control | |
| CN109472258A (en) | Tracking and device |