KR101811130B1 - Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle - Google Patents

Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle Download PDF

Info

Publication number
KR101811130B1
KR101811130B1 KR1020160059702A KR20160059702A KR101811130B1 KR 101811130 B1 KR101811130 B1 KR 101811130B1 KR 1020160059702 A KR1020160059702 A KR 1020160059702A KR 20160059702 A KR20160059702 A KR 20160059702A KR 101811130 B1 KR101811130 B1 KR 101811130B1
Authority
KR
South Korea
Prior art keywords
landing
information
pattern
marker
internal
Prior art date
Application number
KR1020160059702A
Other languages
Korean (ko)
Other versions
KR20170128957A (en
Inventor
송진모
이상훈
주용관
김종필
배종수
Original Assignee
주식회사 한화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한화 filed Critical 주식회사 한화
Priority to KR1020160059702A priority Critical patent/KR101811130B1/en
Publication of KR20170128957A publication Critical patent/KR20170128957A/en
Application granted granted Critical
Publication of KR101811130B1 publication Critical patent/KR101811130B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • B64C2201/18—
    • B64D2700/62184—

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 무인 항공기의 영상 기반 자동 착륙 기술에 관한 것으로서, 더 상세하게는 무인항공기의 직하방에 부착된 카메라를 이용하여 수직 착륙할 때에 획득한 영상정보를 이용하여 착륙 마커를 인식하고 마커 정보와 카메라 교정 정보를 이용하여 자동 착륙에 필요한 정보(수직 거리, 회전, 평행 이동 거리 등)를 추정하는 착륙 정보 획득 방법 및 장치에 대한 것이다.The present invention relates to an image-based automatic landing technology of an unmanned airplane, and more particularly, to an image-based automatic landing technique of an unmanned airplane that recognizes landing markers by using image information acquired during vertical landing using a camera attached directly below the UAV, The present invention relates to a landing information acquisition method and apparatus for estimating information (vertical distance, rotation, parallel travel distance, etc.) necessary for automatic landing using camera calibration information.

Description

무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치{Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle}Technical Field [0001] The present invention relates to a landing information acquisition method and apparatus for an automatic vertical landing of an unmanned aerial vehicle,

본 발명은 무인 항공기의 영상 기반 자동 착륙 기술에 관한 것으로서, 더 상세하게는 무인항공기의 직하방에 부착된 카메라를 이용하여 수직 착륙할 때에 획득한 영상정보를 이용하여 착륙 마커를 인식하고 마커 정보와 카메라 교정 정보를 이용하여 자동 착륙에 필요한 정보(수직 거리, 회전, 평행 이동 거리 등)를 추정하는 착륙 정보 획득 방법 및 장치에 대한 것이다.The present invention relates to an image-based automatic landing technology of an unmanned airplane, and more particularly, to an image-based automatic landing technique of an unmanned airplane that recognizes landing markers by using image information acquired during vertical landing using a camera attached directly below the UAV, The present invention relates to a landing information acquisition method and apparatus for estimating information (vertical distance, rotation, parallel travel distance, etc.) necessary for automatic landing using camera calibration information.

기존의 영상 기반 자동 착륙 방법은 착륙 마커를 인식하기 위해 마커의 특징점이나 형태를 판별하는 방법을 사용하였다. 이 경우, 연산량이 많아 무인기의 탑재 CPU(Central Processing Unit)에서 실시간 처리가 어렵다는 문제점이 있었다.The existing image - based automatic landing method uses a method to discriminate the feature point or shape of the marker to recognize the landing marker. In this case, there is a problem in that real-time processing is difficult in a CPU (Central Processing Unit) of a UAV because of a large amount of computation.

또한, 무인기가 지상에 매우 근접한 경우 착륙 마커의 패턴을 인식하지 못해 거리측정이 되지 않거나 근거리에서는 패턴 내의 다른 패턴을 인식한다.In addition, when the UAV is very close to the ground, it can not recognize the pattern of the landing marker and therefore can not measure the distance.

이 경우, 패턴 인식 방법의 전환을 위한 추가적인 조건과 추가 패턴 인식이 필요해 구조가 복잡해지는 문제점이 있었다.In this case, additional conditions for switching the pattern recognition method and additional pattern recognition are required, resulting in a complicated structure.

1. 한국등록번호 제10-0985195호(2010.09.28)1. Korean Registration No. 10-0985195 (September 28, 2010) 2. 한국공개특허번호 제10-2010-0053220호2. Korean Patent Publication No. 10-2010-0053220

1. Sharp, Courtney S., Omid Shakernia, and S.Shankar Sastry. "A vision system for landing an unmanned aerial vehicle." Robotics and Automation, 2001.Proceedings 2001 ICRA. IEEE International1. Sharp, Courtney S., Omid Shakernia, and S. Shankar Sastry. "A vision system for landing an unmanned aerial vehicle." Robotics and Automation, 2001. Proceedings 2001 ICRA. IEEE International 2. Saripalli, Srikanth, James F. Montgomey, and Gaurav Sukhatme. "Visually guided landing of an unmanned aerial vehicle." Robotics and Automation, 2001.Transactions on 19.3 (2003): 371-3802. Saripalli, Srikanth, James F. Montgomey, and Gaurav Sukhatme. "Visually guided landing of an unmanned aerial vehicle." Robotics and Automation, 2001. Transactions on 19.3 (2003): 371-380 3. 김덕열, 김도영, and 석진영. "무인 헬기의 정밀 자동 착륙 접근을 위한 영상정보처리." 제어로봇시스템학회 논문지 15.1 (2009): 54-603. Duk-Yeol Kim, Do-Young Kim, and Se-Jin Young. "Image Information Processing for Accurate Auto Landing Approach of Unmanned Helicopter." Journal of Control, Robot System and Systems 15 (2009): 54-60

본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 비용과 무게의 문제로 고가의 항법 장치 및/또는 GPS(Global Positioning System)를 사용하지 못하거나 센서의 고장，전파방해 등이 발생한 경우에도 비용, 무게，환경에 구속받지 않고 무인기의 자동 착륙을 유도할 수 있는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치을 제공하는데 그 목적이 있다.The present invention has been proposed in order to solve the problems according to the above background art, and it is an object of the present invention to provide a GPS (Global Positioning System) which can not use an expensive navigation device and / or GPS The present invention also provides a method and apparatus for acquiring landing information for an automatic vertical landing of an unmanned aerial vehicle capable of automatically landing an unmanned aerial vehicle without being constrained by cost, weight, and environment.

또한, 본 발명은 착륙 마커의 패턴을 정확히 인식하거나 패턴 내의 다른 패턴을 인식하지 않도록 구조를 단순화할 수 있는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치을 제공하는데 다른 목적이 있다.It is another object of the present invention to provide a landing information acquisition method and apparatus for an automatic vertical landing of an unmanned aerial vehicle, which can simplify the structure so as to accurately recognize the pattern of the landing marker or recognize another pattern in the pattern.

또한, 본 발명은 연산 처리량을 줄임으로써 추가적인 하드웨어 등이 요구되지 않는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치를 제공하는데 또 다른 목적이 있다.It is another object of the present invention to provide a landing information acquisition method and apparatus for automatic vertical landing of an unmanned aerial vehicle that requires no additional hardware or the like by reducing computation processing amount.

본 발명은 위에서 제시된 과제를 달성하기 위해, 비용과 무게의 문제로 고가의 항법 장치 및/또는 GPS(Global Positioning System)를 사용하지 못하거나 센서의 고장，전파방해 등이 발생한 경우에도 비용, 무게，환경에 구속받지 않고 무인기의 자동 착륙을 유도할 수 있는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치를 제공할 수 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a GPS receiver and a GPS receiver capable of realizing cost, weight, and weight even when an expensive navigation device and / or GPS (Global Positioning System) It is possible to provide a landing information acquisition method and apparatus for automatic vertical landing of a UAV that can induce automatic landing of UAV without being restricted to the environment.

상기 착륙 정보 획득 방법은,The landing information acquisition method includes:

(a) 무인 항공기가 수직 착륙시 영상 센서를 이용하여 착륙지에 설치되는 착륙 마커를 촬영하여 입력 영상을 획득하는 단계;(a) capturing an input image by photographing an landing marker installed on a landing area using an image sensor when the unmanned airplane makes vertical landing;

(b) 디지털 변환 모듈이 상기 입력 영상을 디지털 영상 정보로 변환하는 단계;(b) converting the input image into digital image information by a digital conversion module;

(c) 패턴 인식 모듈이 상기 디지털 영상 정보로부터 상기 착륙 마커에 대한 착륙 마커 후보군을 선정하고 상기 착륙 마커 후보군의 내부 패턴들에 대한 내부 패턴 정보를 추출하여 미리 설정되는 특정 패턴을 인식하는 단계; 및(c) the pattern recognition module selects a landmark marker candidate group for the landing marker from the digital image information and extracts internal pattern information about the internal patterns of the land marker candidate group to recognize a predetermined pattern to be set in advance; And

(d) 계산 모듈이 인식된 특정 패턴을 통해 착륙 정보를 계산하는 단계;를 포함하는 것을 특징으로 할 수 있다.(d) calculating the landing information through the specific pattern recognized by the calculation module.

이때, 상기 착륙 정보는 상대 거리, 방향각 및 평행 이동 거리 중 어느 하나인 것을 특징으로 할 수 있다.In this case, the landing information may be one of a relative distance, a direction angle, and a parallel movement distance.

또한, 상기 내부 패턴 정보는 상기 내부 패턴들의 개수, 중심점 및 크기를 포함하는 것을 특징으로 할 수 있다.Also, the internal pattern information may include the number of the internal patterns, the center point, and the size.

또한, 상기 착륙 마커는 비대칭으로서 프랙탈 구조로 되어 있는 것을 특징으로 할 수 있다.In addition, the landing marker may be asymmetric and have a fractal structure.

또한, 상기 착륙 마커에는 제 1 일정 간격으로 배치되는 3개의 큰 원 및 상기 큰 원보다 작으며 제 2 일정 간격으로 배치되는 3개의 작은 원이 구성되며, 상기 3개의 큰 원 및 3개의 작은 원은 직각 이등변 삼각형인 1:1:

Figure 112016046639032-pat00001
의 비율로 배치되는 것을 특징으로 할 수 있다.In addition, the landing markers are constituted by three large circles arranged at a first predetermined interval and three small circles arranged at a second predetermined interval which are smaller than the large circles, and the three large circles and the three small circles The isosceles right triangle is 1: 1:
Figure 112016046639032-pat00001
Of the total area of the surface layer.

또한, 상기 착륙 마커에 대한 인식은 상기 내부 패턴들의 크기 유사도 및 기하학적 형태 유사도를 이용하여 이루어지는 것을 특징으로 할 수 있다.Also, the recognition of the landing marker may be performed using the size similarity and the geometric shape similarity of the internal patterns.

또한, 상기 크기 유사도는 상기 내부 패턴들의 다수 개 도형의 크기 표준 편차를 이용하는 것을 특징으로 할 수 있다.The size similarity may be a size standard deviation of a plurality of figures of the internal patterns.

또한, 상기 착륙 마커 후보군은 상기 디지털 영상 정보에서 인접한 화소를 연결하여 그룹화하는 블롭(blob) 라벨링 기법을 통해 검출되는 외각 도형들이 지정되어 이루어지는 것을 특징으로 할 수 있다.Also, the landmark marker candidate group may be designated by selecting blob diagrams that are detected through a blob labeling technique for grouping neighboring pixels in the digital image information.

또한, 상기 (d) 단계는, 외부 환경에 의해 발생하는 가림, 흔들림에 의해 상기 입력 정보가 훼손되지 않도록 선형 칼만 필터를 이용하여 상기 인식된 특정 패턴에 대한 도형의 위치 및 반지름을 측정치로 사용하여 움직임 및 크기를 예측하는 단계;를 더 포함하는 것을 특징으로 할 수 있다.In the step (d), the position and the radius of the figure corresponding to the recognized specific pattern are measured using a linear Kalman filter so that the input information is not damaged due to occlusion or shaking caused by the external environment And estimating a motion and a size of the moving image.

또한, 상기 측정치는 최근접 이웃 필터(Nearest Neighbor Filter)를 이용하여 가장 근거리의 측정치를 표적 신호로 선택되는 것을 특징으로 할 수 있다.In addition, the measurement value may be selected as a target signal at a nearest measurement using a Nearest Neighbor Filter.

또한, 상기 상대 거리는 상기 내부 패턴들의 도형들간의 최대 화소 길이와 상기 착륙 마커로부터 얻은 내부 패턴의 도형들간의 최대 길이이거나 상기 영상 센서의 교정을 통해 얻은 초점 길이를 핀홀 카메라 모델에 대입하여 산출되는 거리인 것을 특징으로 할 수 있다.The relative distance may be a maximum length between the graphic patterns of the internal patterns and a maximum length between graphic patterns of the internal pattern obtained from the landing marker or a distance calculated by substituting the focal length obtained through calibration of the image sensor into the pinhole camera model .

또한, 상기 방향각은 상기 내부 패턴들의 도형들간의 최대 화소 길이를 갖는 직선의 기울기 및 최대 화소 길이의 측정에 사용되지 않는 내부 패턴들의 도형들이 4사분면의 어느 위치에 있는지를 통해 측정되는 것을 특징으로 할 수 있다.The direction angle is measured through the position of the fourth quadrant of the shapes of the inner patterns which are not used for the measurement of the slope and the maximum pixel length of the straight line having the maximum pixel length between the figures of the internal patterns can do.

또한, 상기 평행 이동 거리는 상기 내부 패턴들의 중심점과 입력 영상의 중심점과의 유클리디안 거리를 이용하여 산출되는 것을 특징으로 할 수 있다.The parallel movement distance may be calculated using the Euclidean distance between the center point of the inner patterns and the center point of the input image.

다른 한편으로, 본 발명의 다른 일실시예는, 무인 항공기가 수직 착륙시 착륙지에 설치되는 착륙 마커를 촬영하여 입력 영상을 획득하는 영상 센서; 상기 입력 영상을 디지털 영상 정보로 변환하는 디지털 변환 모듈; 상기 디지털 영상 정보로부터 상기 착륙 마커에 대한 착륙 마커 후보군을 선정하는 후보군 검출 모듈; 상기 착륙 마커 후보군의 내부 패턴들에 대한 내부 패턴 정보를 추출하여 미리 설정되는 특정 패턴을 인식하는 패턴 인식 모듈; 및 인식된 특정 패턴을 통해 착륙 정보를 계산하는 계산 모듈;을 포함하는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 장치를 제공할 수 있다.On the other hand, another embodiment of the present invention is an image sensor for capturing an input image by photographing an landing marker installed on a landing land when a UAV is vertically landed; A digital conversion module for converting the input image into digital image information; A candidate group detection module for selecting a group of candidate landing markers for the landing marker from the digital image information; A pattern recognition module for extracting internal pattern information of internal patterns of the landing marker candidate group and recognizing a predetermined pattern to be set in advance; And a calculation module for calculating the landing information through the recognized specific pattern. The landing information obtaining apparatus for automatic vertical landing of the UAV can be provided.

또한, 상기 영상 센서는 감시 정찰 카메라인 것을 특징으로 할 수 있다.In addition, the image sensor may be a surveillance and reconnaissance camera.

본 발명에 따르면, 착륙 마커의 도형의 형태나 특징을 판별하지 않고 블랍 라벨링을 이용해 착륙 마커 내부 패턴들의 개수，위치, 크기를 구하고 패턴들의 크기 유사도와 기하학적 유사도의 계산을 통해 가장 닮은 패턴을 인식하도록 하여 처리 속도를 높일 수 있다.According to the present invention, the number, position, and size of the patterns in the landing marker are obtained by using the bubble labeling without discriminating the shape or characteristic of the shape of the landing marker, and the most similar pattern is recognized by calculating the size similarity and the geometric similarity of the patterns The processing speed can be increased.

또한, 본 발명의 다른 효과로서는 무인기가 지상에 매우 근접할 경우에도 패턴을 검출할 수 있도록 착륙 마커를 프렉탈 도형으로 디자인하여, 매우 근접해 확대되었을 때에도 패턴의 형태는 같기 때문에 기법의 전환 없이 패턴의 인식이 가능해 구조를 단순화시킬 수 있다는 점을 들 수 있다.Another effect of the present invention is to design the landing marker as a fractal figure so that the pattern can be detected even when the UAV is very close to the ground, And it is possible to simplify the structure.

또한, 본 발명의 또 다른 효과로서는 구조가 단순화되어 추가 기법이 필요하지 않기 때문에 기법의 전환이 필요하지 않으며 하드웨어 자원을 절약할 수 있다는 점을 들 수 있다.Another advantage of the present invention is that the structure is simplified and no additional technique is required, so that there is no need to switch the technique and hardware resources can be saved.

또한, 본 발명의 또 다른 효과로서는 비용, 무게，환경에 구속받지 않고 무인기의 자동 착륙을 유도함으로써 효율적인 임무 수행이 가능하다는 점을 들 수 있다.Another advantage of the present invention is that the automatic landing of the UAV can be induced without being constrained by the cost, weight, and environment, thereby enabling efficient performance of the mission.

도 1은 본 발명의 일실시예에 따른 착륙 마커의 개념도이다.
도 2는 도 1에 도시된 착륙 마커에서 사분면을 이용한 방향 측정의 개념을 보여주는 도면이다.
도 3은 도 1에 도시된 착륙 마커를 포함하여 다른 형태를 보여주는 착륙 마커의 예시들이다.
도 4는 본 발명의 일실시예에 따른 도 1에 도시된 착륙 마커를 이용하여 착륙 정보를 획득하는 과정을 보여주는 흐름도이다.
도 5는 본 발명의 일실시예에 따른 초점 거리를 이용한 상대 거리 측정의 개념도이다.
도 6은 본 발명의 일실시예에 따른 후보군내의 패턴을 추출하는 예시이다.
도 7은 도 4에 도시된 패턴 인식 단계(S450)를 보여주는 흐름도이다.
도 8a는 본 발명의 일실시예에 따른 착륙정보 추정 결과로서 거리의 예시이다.
도 8b는 본 발명의 일실시예에 따른 착륙정보 추정 결과로서 각도의 예시이다.
도 9는 본 발명의 일실시예에 따른 도 1에 도시된 착륙 마커를 이용하여 착륙 정보를 획득하는 착륙 정보 획득 장치의 구성 블럭도이다.1 is a conceptual diagram of a landing marker according to an embodiment of the present invention.
FIG. 2 is a view showing a concept of direction measurement using a quadrant in the landing marker shown in FIG. 1. FIG.
Figure 3 is an illustration of landing markers showing different shapes, including the landing markers shown in Figure 1;
FIG. 4 is a flowchart illustrating a process of obtaining landing information using the landing marker shown in FIG. 1 according to an embodiment of the present invention.
5 is a conceptual diagram of relative distance measurement using a focal length according to an embodiment of the present invention.
6 is an example of extracting a pattern in a candidate group according to an embodiment of the present invention.
FIG. 7 is a flowchart showing the pattern recognition step (S450) shown in FIG.
8A is an example of a distance as a landing information estimation result according to an embodiment of the present invention.
8B is an example of an angle as a landing information estimation result according to an embodiment of the present invention.
FIG. 9 is a block diagram of a landing information obtaining apparatus for obtaining landing information using the landing marker shown in FIG. 1 according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Like reference numerals are used for similar elements in describing each drawing. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. The term "and / or" includes any combination of a plurality of related listed items or any of a plurality of related listed items.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be construed as ideal or overly formal in meaning unless explicitly defined in the present application Should not.

이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법 및 장치을 상세하게 설명하기로 한다.Hereinafter, a method and apparatus for obtaining landing information for automatic vertical landing of an unmanned aerial vehicle according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 착륙 마커의 개념도이다. 도 1을 참조하면, 착륙 마커(100)에는 제 1 일정 간격으로 배치되는 3개의 큰 원(110) 및 상기 큰 원보다 작으며 제 2 일정 간격으로 배치되는 3개의 작은 원(120)이 구성된다.1 is a conceptual diagram of a landing marker according to an embodiment of the present invention. Referring to FIG. 1, three large circles 110 arranged at a first predetermined interval and three small circles 120 arranged at a second predetermined interval are formed in the landing marker 100 .

또한, 3개의 큰 원(110) 및 3개의 작은 원(120)은 비대칭으로서 프렉탈 구조를 갖는다. 따라서, 매우 근접해 확대되었을 때에도 패턴의 형태는 같기 때문에 기법의 전환 없이 패턴의 인식이 가능해 구조를 단순화시킬 수 있다. 또한, 추가 기법이 필요하지 않기 때문에 기법의 전환이 필요하지 않으므로 하드웨어 자원을 절약할 수 있다.Also, the three large circles 110 and the three small circles 120 are asymmetrical and have a fractal structure. Therefore, even when enlarged very close to each other, the shape of the pattern is the same, so it is possible to recognize the pattern without changing the technique, thereby simplifying the structure. In addition, there is no need for any additional techniques, so there is no need to switch techniques, which saves hardware resources.

도 1을 계속 참조하면, 야외 환경에서 검출이 쉬우면서도 유일성을 가지도록 비교적 검출이 쉽고 회전이나 찌그러짐에 강한 사각형과 원(110,120)의 조합으로 디자인된다.With continued reference to FIG. 1, it is designed in a combination of a square and a circle 110,120 that is relatively easy to detect and easy to detect and easy to detect in an outdoor environment, and is resistant to rotation or crushing.

가장 외각 도형인 사각형과 큰 원(110)을 검출하여 관심 영역(ROI: Region Of Interest)으로 사용하며, 내부의 작은 원(120)의 패턴을 이용하여 착륙 마커를 인식한다. 만약 무인 항공기가 지상에 매우 근접할 경우에도 패턴 검출이 가능하도록 작은 패턴이 있으며 프렉탈 구조로 디자인되어 확대되었을 때도 패턴의 형태는 같다. The rectangle and the large circle 110 which are the outermost figures are detected and used as a region of interest (ROI), and the landing marker is recognized using the pattern of the small circle 120 inside. Even if the UAV is very close to the ground, there is a small pattern to enable pattern detection.

도 2는 도 1에 도시된 착륙 마커에서 사분면을 이용한 방향 측정의 개념을 보여주는 도면이다. 도 2를 참조하면, 특히, 3개의 큰 원(110)의 중심점(p1,p2,p3)을 연결하면 직각 이등변 삼각형이 된다. 따라서, 3개의 큰 원(110)은 1:1:

Figure 112016046639032-pat00002
의 비율로 배치된다. 물론, 3개의 작은 원(120)도 같은 비율을 갖는다. 도 2에서는 3개의 큰 원(110)이 각각 2사분면, 3사분면, 4사분면에 배치된다.FIG. 2 is a view showing a concept of direction measurement using a quadrant in the landing marker shown in FIG. 1. FIG. Referring to FIG. 2, in particular, connecting the center points p1, p2 and p3 of the three large circles 110 results in a right-angle isosceles triangle. Thus, the three large circles 110 are 1: 1:
Figure 112016046639032-pat00002
. Of course, the three small circles 120 also have the same ratio. In FIG. 2, three large circles 110 are arranged in quadrants, quadrants and quadrants, respectively.

또한, 내부 패턴이 비대칭으로 디자인되어 있다. 따라서, 이를 이용하여 360도 방향 정보, 평행이동 정보를 구하는 것이 가능하다.Also, the internal pattern is designed to be asymmetric. Therefore, it is possible to obtain 360-degree direction information and parallel movement information by using this.

도 3은 도 1에 도시된 착륙 마커를 시계 방향으로 90도씩 회전시킨 결과를 나타낸다. 도 3을 참조하면 360도 방향 정보를 얻을 수 있는 것을 확인할 수 있다.FIG. 3 shows the result of rotating the landing marker shown in FIG. 1 clockwise by 90 degrees. Referring to FIG. 3, 360-degree direction information can be obtained.

도 4는 본 발명의 일실시예에 따른 도 1에 도시된 착륙 마커를 이용하여 착륙 정보를 획득하는 과정을 보여주는 흐름도이다. 도 4를 참조하면, 무인 항공기(미도시)가 수직 착륙시 영상 센서를 이용하여 착륙 마커를 촬영하여 입력 영상을 획득한다(단계 S410).FIG. 4 is a flowchart illustrating a process of obtaining landing information using the landing marker shown in FIG. 1 according to an embodiment of the present invention. Referring to FIG. 4, an unmanned airplane (not shown) photographs an landing marker using an image sensor at the time of vertical landing to acquire an input image (step S410).

입력 영상이 생성되면 이를 디지털 영상 정보로 변환한다(단계 S420). 즉 영상 이진화를 수행한다. 이후, 이진화한 영상에서 인접한 화소를 연결하여 그룹핑하는 블랍 라벨링 기법을 이용하여 외각 도형을 검출한다(단계 S430). 일반적으로 블랍 라벨링(blob labeling) 기법은 도형의 형태까지 판별하지 못하지만, 데이터 그룹화된 요소의 정보를 빠르게 찾을 수 있다는 장점이 있다. 따라서, 관심 영역을 검출하는데 최적화된 방법이다.When the input image is generated, it is converted into digital image information (step S420). That is, image binarization is performed. Thereafter, the outer figure is detected using a blind labeling method of connecting and grouping adjacent pixels in the binarized image (step S430). In general, the blob labeling technique does not discriminate the shape of a figure, but it has an advantage in that it can quickly find information of data grouped elements. Thus, it is an optimized method for detecting regions of interest.

블랍 라벨링 기법을 통해 착륙 마커 후보군을 검출하고 후보군 중에서 착륙 마커 1개를 찾기 위하여 내부 원의 패턴을 인식하는 과정을 거쳐야 한다. 먼저, 후보군 내의 도형의 정보를 얻기 위하여 착륙 마커 후보군 영역에 다시 블랍 라벨을 적용하여 후보군 내의 도형의 개수와 무게 중심점，크기 정보 등을 얻어낸다(단계 S440). It is necessary to detect the landmark marker candidates through the blob labeling technique and to recognize the pattern of the inner circle in order to find one landmark marker in the candidate group. First, in order to obtain the information of the figure within the candidate group, the number of figures, the center of gravity, the size information, and the like in the candidate group are obtained again by applying the blob label to the landing marker candidate region (S440).

착륙 마커의 내부 도형은 3개의 같은 크기를 갖는 도형으로 구성되어 있으므로 내부 패턴들의 표준 편차가 가장 작은 것이 크기 유사도가 가장 높은 패턴이 된다(단계 S450). 이를 식으로 표현하면 아래의 수식과 같이 표현할 수 있다Since the inner figure of the landing marker is composed of three figures having the same size, the pattern having the smallest standard deviation of the inner patterns is the pattern having the highest degree of similarity (step S450). This expression can be expressed as

Figure 112016046639032-pat00003
Figure 112016046639032-pat00003

여기서,

Figure 112016046639032-pat00004
here,
Figure 112016046639032-pat00004

ci = combination index(i = 1 … mCN)c i = combination index (i = 1 ... m C N )

ps = σs p s = σ s

여기서, Sk는 k번째 도형의 화소 크기를 의미하며, avg는 도형의 평균 크기를 의미한다.Here, Sk denotes the pixel size of the k-th figure, and avg denotes the average size of the figure.

위 수학식에서 N개의 도형에서 선택한 M개의 도형의 크기 표준편차를 구하는 식을 이용하면 도형의 크기 유사도를 구할 수 있다.In the above equation, the size similarity of the graphic form can be obtained by using the equation for obtaining the size standard deviation of the M graphics selected from the N graphics.

패턴의 유사도를 찾는 또 다른 방법은 도형의 기하학적인 형태 유사도를 찾는 것이다. 내부 패턴의 무게 중심점을 연결하면 직각 이등변 삼각형의 형태로 이루어진다. 이 경우, 밑변 직선과 수직변 직선의 길이가 같으며 직선과 직선은 직각이다. 따라서, 밑변 직선(ab): 수직변 직선(ac): 경사변 직선(bc)의 길이는 1:1：

Figure 112016046639032-pat00005
의 비율을 갖는다. 이를 이용하면 내부 패턴의 기하학적인 형태 유사도를 구할 수 있다. Another way to find the similarity of a pattern is to find the geometric shape similarity of the figure. When the center of gravity of the internal pattern is connected, it is formed in the shape of a right angle isosceles triangle. In this case, the length of the base line and the vertical straight line are the same, and the straight line and the straight line are perpendicular. Therefore, the base line ab: the vertical line ac: the length of the slant line bc is 1: 1:
Figure 112016046639032-pat00005
. Using this, geometric shape similarity of internal patterns can be obtained.

아래의 수학식은 내부 도형의 기하학적인 길이 비를 가중치로 나타낸 것이다. The following equations show the geometric length ratio of the internal geometry as a weight.

Figure 112016046639032-pat00006
Figure 112016046639032-pat00006

여기서, ps는 도형의 크기 유사도 가중치를 의미하고, pg는 도형의 형태 유사도 가중치를 나타낸다.Here, ps denotes a size similarity weight value of a graphic object, and p g denotes a shape similarity weight value of the graphic object.

위 수학식에 따르면 가중치가 0인 일 때 직각 이등변 삼각형임을 알 수 있다.According to the above equation, it can be seen that when the weight is 0, it is a right-angle isosceles triangle.

최종적으로 화소의 크기 유사도 가중치와 기하학적 형태 유사도 가중치를 이용하여 아래의 수학식의 값이 최소가 되는 도형을 착륙 마커의 패턴으로 판별할 수 있다(단계 S450).Finally, using the pixel size similarity weighting value and the geometric shape similarity weighting value, a figure having a minimum value of the following equation can be determined as a pattern of the landing marker (S450).

본 발명의 일실시예의 경우 내부 패턴의 크기와 기하학적인 형태를 다 고려하기 때문에 정확하게 패턴을 인식할 수 있다. 또한, 도형의 형태(원, 삼각형, 사각형 등) 구분 없이도 내부 패턴을 상당히 빠르고 정확하게 인식하는 것이 가능하다.In the embodiment of the present invention, since the size and the geometric shape of the internal pattern are all considered, the pattern can be accurately recognized. In addition, it is possible to recognize the internal pattern very quickly and accurately without discriminating the shape of the figure (circle, triangle, square, etc.).

한편, 착륙 마커를 인식하는데 영상 정보만을 사용하는 경우에는 외부 환경에 의해 발생하는 가림, 흔들림 효과 등으로 영상 정보(착륙 마커)가 훼손되어 제대로 마커를 인식하지 못한다는 문제점이 생긴다. 착륙 마커의 오인식에 의한 잘못된 착륙 정보는 착륙에 큰 문제를 발생하므로 이를 해결하기 위하여 착륙 마커의 움직임과 크기를 예측하여 외부 환경에 의해서 마커의 위치를 오인식할 확률을 줄이기 위해 착륙 마커의 움직임 추정 필터링 과정이 요구된다.On the other hand, when only the image information is used to recognize the landing marker, there is a problem that the image information (landing marker) is damaged due to the clipping or shaking effect caused by the external environment and the marker is not recognized properly. In order to solve this problem, it is necessary to predict the movement and size of the landing marker, and to estimate the position of the marker due to the external environment, A process is required.

부연하면, 도형의 위치(x,y)와 반지름(r)의 예측에는 착륙 마커의 상태 변위가 선형이라 가정하고 다음 순간에서 현재 상태를 추정하는 선형 칼만 필터를 적용한다(단계 S460). 아래의 수학식은 선형 칼만 필터 모델의 상태 변수(X)와 상태 천이 행렬(Φ)，공분산 잡음 행렬(Q)을 나타낸다.Further, in the prediction of the position (x, y) and the radius (r) of the graphic form, a linear Kalman filter for estimating the current state is applied at step S460, assuming that the state displacement of the landing marker is linear. The following equation represents the state variable (X), state transition matrix (?), And covariance noise matrix (Q) of the linear Kalman filter model.

Figure 112016046639032-pat00008
Figure 112016046639032-pat00008

Figure 112016046639032-pat00009
Figure 112016046639032-pat00009

Figure 112016046639032-pat00010
Figure 112016046639032-pat00010

여기서,

Figure 112016046639032-pat00011
도형의 속도 성분을 나타내고 T는 시간(초)을 의미하며,
Figure 112016046639032-pat00012
은 정규 분포 잡음의 분산을 나타낸다.here,
Figure 112016046639032-pat00011
Denotes the velocity component of the graphic, T denotes time (seconds)
Figure 112016046639032-pat00012
Represents the variance of the normal distribution noise.

이러한 선형 칼만 필터를 이용하여 인식된 특정 패턴에 대한 도형의 위치 및/또는 반지름을 측정치로 사용하여 움직임 및/또는 크기를 예측할 수 있다. 측정치는 최근접 이웃 필터(Nearest Neighbor Filter)를 이용하여 가장 근거리의 측정치를 표적 신호로 선택할 수 있다.Using this linear Kalman filter, the position and / or radius of the figure for a particular pattern recognized can be used as a measure to predict motion and / or size. The nearest neighbors filter can be used to select the nearest measurement as the target signal.

또한, 표적 포착(Lock on) 이후 관심 영역(ROI: Region Of Interest)의 크기를 유효 측정치가 존재할 영역으로 설정하여 조절할 수 있다(단계 S461). 이 경우, 단계 S440은 관심 게이트 내에서 수행한다. In addition, after the target acquisition (Lock on), the size of the region of interest (ROI) can be adjusted by setting the effective measurement value to exist (step S461). In this case, step S440 is performed within the gate of interest.

이후 착륙 정보를 산출한다(단계 S470). 착륙 정보로는 상대거리, 방향각, 평행 이동 거리 등이 포함될 수 있다. 이중 인식된 착륙 마커로부터 상대 거리를 계산하기 위해서는 초점 거리, 화소 길이，마커 길이가 필요하다. 이러한 상대 거리를 계산하는 개념이 도 5에 도시된다. 이에 대해서는 후술하기로 한다.Then, landing information is calculated (step S470). The landing information may include a relative distance, a direction angle, a parallel travel distance, and the like. The focal length, pixel length, and marker length are required to calculate the relative distance from the double recognized landing marker. The concept of calculating this relative distance is shown in Fig. This will be described later.

도 4를 계속 참조하면, 착륙 마커의 회전인 방향각은 도 2에 도시된 직선의 기울기를 아래의 수학식을 이용하여 구해낼 수 있다.With continuing reference to FIG. 4, the direction angle of rotation of the landing marker can be obtained by using the following equation as the slope of the straight line shown in FIG.

Figure 112016046639032-pat00013
Figure 112016046639032-pat00013

여기서,

Figure 112016046639032-pat00014
here,
Figure 112016046639032-pat00014

연산시 주의할 점은 아크탄젠트(arctangent) 함수는 -90 ~ 90도의 범위를 갖기 때문에 표현할 수 있는 최대 각도는 180도이다. 따라서 비대칭 패턴을 이용하여 최대 길이 측정에 사용되지 않은 패턴이 4사분면의 어디에 있는지를 판단해서 0~360도 범위의 각도를 구할 수 있다. Note that the arctangent function has a range of -90 to 90 degrees, so the maximum angle that can be expressed is 180 degrees. Therefore, by using the asymmetric pattern, it is possible to determine an angle in the range of 0 to 360 degrees by judging where the pattern which is not used for the maximum length measurement is located in the fourth quadrant.

한편, 평행 이동 거리는 p1p2 직선의 중심점을 착륙 마커의 중심점으로 하고 영상의 중심점과의 유클리디안 거리를 구해 중심점으로부터의 평행 이동 거리를 거리로 구할 수 있다.On the other hand, the parallel travel distance can be obtained by finding the Euclidean distance from the center point of the image with the center point of the p1p2 straight line as the center point of the landing marker, and calculating the parallel travel distance from the center point.

도 5는 본 발명의 일실시예에 따른 초점 거리를 이용한 상대 거리 측정의 개념도이다. 도 5를 참조하면, 인식된 착륙 마커로부터 상대 거리를 계산하기 위해서는 초점 거리(FD), 화소 길이(PL)，착륙 마커 길이(TL)가 필요하다. 초점 거리(FD)와 착륙 마커 길이(TL)는 사전에 미리 측정한 값을 사용한다. 화소 길이(PL)는 도 2에 도시된 바와 같이 인식된 내부 패턴의 중심점 간의 유클리디안 거리(euclidean distance) 값이 최대치가 되는 p1p2를 화소 길이로 한다. 따라서, 상대 거리(TD)는 다음식과 같이 표현될 수 있다.5 is a conceptual diagram of relative distance measurement using a focal length according to an embodiment of the present invention. Referring to FIG. 5, a focal length FD, a pixel length PL, and a landing marker length TL are required to calculate a relative distance from the recognized landing marker. The focal length (FD) and landing marker length (TL) are pre-measured values. The pixel length PL is defined as p1p2 where the euclidean distance between the center points of the recognized internal patterns is the maximum value as shown in Fig. Therefore, the relative distance TD can be expressed by the following equation.

Figure 112016046639032-pat00015
Figure 112016046639032-pat00015

도 6은 본 발명의 일실시예에 따른 후보군내의 패턴을 추출하는 예시이다. 도 6을 참조하면, 후보군내의 패턴들의 크기 유사도와 기하학 형태 유사도가 가장 높은 패턴을 추출한다.6 is an example of extracting a pattern in a candidate group according to an embodiment of the present invention. Referring to FIG. 6, a pattern having the highest size similarity and geometric shape similarity among patterns in the candidate group is extracted.

도 7은 도 4에 도시된 패턴 인식 단계(S450)를 보여주는 흐름도이다. 도 7을 참조하면, 착륙 마커 후보군 선정 단계(S430), 내부 패턴 정보 추출 단계(S440) 이후, 화소의 크기 유사도 가중치와 기하학적 형태 유사도 가중치를 산출한다(단계 S731, S732). 이후, 크기 유사도 가중치와 기하학적 형태 유사도 가중치 이용하여 수학식 3의 값이 최소가 되는 도형을 착륙 마커의 패턴으로 인식한다(단계 S740,S750).FIG. 7 is a flowchart showing the pattern recognition step (S450) shown in FIG. Referring to FIG. 7, the size similarity weight and the geometric shape similarity weight are calculated (step S731, S732) after the lander marker candidate group selection step S430 and the internal pattern information extraction step S440. Thereafter, the shape having the minimum value of Equation (3) is recognized as a pattern of the landing marker by using the size similarity weight and the geometric shape similarity weight (S740, S750).

도 8a는 본 발명의 일실시예에 따른 착륙정보 추정 결과로서 거리의 예시이다. 도 8a를 참조하면, 착륙정보로서 상대 거리를 나타내는 실험예이다.8A is an example of a distance as a landing information estimation result according to an embodiment of the present invention. Referring to FIG. 8A, it is an experimental example showing a relative distance as landing information.

도 8b는 본 발명의 일실시예에 따른 착륙정보 추정 결과로서 각도의 예시이다. 도 8b를 참조하면, 착륙정보로서 방향각을 나타내는 실험예이다.8B is an example of an angle as a landing information estimation result according to an embodiment of the present invention. Referring to FIG. 8B, there is shown an experimental example showing a direction angle as landing information.

도 9는 본 발명의 일실시예에 따른 도 1에 도시된 착륙 마커를 이용하여 착륙 정보를 획득하는 착륙 정보 획득 장치(900)의 구성 블럭도이다. 도 9를 참조하면, 착륙 정보 획득 장치(900)는 무인 항공기(미도시)가 수직 착륙시 착륙지에 설치되는 착륙 마커(도 1의 100)를 촬영하여 입력 영상을 획득하는 영상 센서(910) 및 입력 영상을 처리하여 착륙 정보를 계산하는 신호 처리부(920) 등을 포함하여 구성된다.FIG. 9 is a block diagram of a landing information obtaining apparatus 900 for obtaining landing information using the landing marker shown in FIG. 1 according to an embodiment of the present invention. 9, the landing information acquiring apparatus 900 includes an image sensor 910 for acquiring an input image by photographing an landing marker (100 in FIG. 1) installed on a landing land when an unmanned airplane (not shown) A signal processing unit 920 for processing the input image and calculating landing information, and the like.

이때, 영상 센서(910)는 감시 정찰 카메라가 될 수 있다. 따라서, 카메라 시야각 내의 약 20m이내의 착륙 마커를 실시간으로 인식할 수 있으며, 착륙 마커의 정보와 카메라 교정 정보를 이용하여 자동 착륙에 필요한 정보(수직 거리，회전, 평행 이동 거리)를 획득할 수 있다. 또한, 통상적인 감시 정찰 임무에 필요한 카메라를 사용하기 때문에 추가 센서가 필요하지 않은 장점이 있으며，빠르고 정확하게 착륙에 필요한 정보를 획득할 수 있다. At this time, the image sensor 910 may be a surveillance and reconnaissance camera. Accordingly, landing markers within about 20 m of the camera viewing angle can be recognized in real time, and information necessary for automatic landing (vertical distance, rotation, and parallel travel distance) can be acquired using the landing marker information and the camera calibration information . In addition, since the camera is used for a conventional surveillance mission, there is an advantage that additional sensors are not necessary, and information necessary for landing can be acquired quickly and accurately.

이때, 신호 처리부(920)는, 상기 입력 영상을 디지털 영상 정보로 변환하는 디지털 변환 모듈(921), 상기 디지털 영상 정보로부터 상기 착륙 마커에 대한 착륙 마커 후보군을 선정하는 후보군 검출 모듈(923), 상기 착륙 마커 후보군의 내부 패턴들에 대한 내부 패턴 정보를 추출하여 미리 설정되는 특정 패턴을 인식하는 패턴 인식 모듈(924), 및 인식된 특정 패턴을 통해 착륙 정보를 계산하는 계산 모듈(925) 등으로 포함하여 구성된다.The signal processing unit 920 includes a digital conversion module 921 for converting the input image into digital image information, a candidate group detection module 923 for selecting a landmark marker candidate group for the landing marker from the digital image information, A pattern recognition module 924 for extracting internal pattern information on the internal patterns of the landing marker candidate group and recognizing a predetermined pattern to be set in advance, and a calculation module 925 for calculating landing information through the recognized specific pattern .

명세서에 기재된 "…부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어로 구현될 수 있다.The terms "part," "module, " and the like, which are described in the specification, refer to a unit for processing at least one function or operation, and may be implemented by hardware and / or software.

100: 착륙 마커
110: 큰 원
120: 작은 원
900: 착륙 정보 획득 장치
920: 신호 처리부
921: 디지털 변환 모듈 923: 후보군 검출 모듈
924: 패턴 인식 모듈 925: 계산 모듈100: landing marker
110: Large circle
120: Small circle
900: Landing information acquisition device
920: Signal processor
921: Digital conversion module 923: Candidate detection module
924: pattern recognition module 925: calculation module

Claims (14)

(a) 무인 항공기가 수직 착륙시 영상 센서를 이용하여 착륙지에 설치되는 착륙 마커를 촬영하여 입력 영상을 획득하는 단계;
(b) 디지털 변환 모듈이 상기 입력 영상을 디지털 영상 정보로 변환하는 단계;
(c) 패턴 인식 모듈이 상기 디지털 영상 정보로부터 상기 착륙 마커에 대한 착륙 마커 후보군을 선정하고 상기 착륙 마커 후보군의 내부 패턴들에 대한 내부 패턴 정보를 추출하여 미리 설정되는 특정 패턴을 인식하는 단계; 및
(d) 계산 모듈이 인식된 특정 패턴을 통해 착륙 정보를 계산하는 단계;를 포함하며, 상기 (d) 단계는, 외부 환경에 의해 발생하는 가림, 흔들림에 의해 상기 입력 영상이 훼손되지 않도록 선형 칼만 필터를 이용하여 상기 인식된 특정 패턴에 대한 도형의 위치 및 반지름을 측정치로 사용하여 움직임 및 크기를 예측하는 단계;를 더 포함하는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
(a) capturing an input image by photographing an landing marker installed on a landing area using an image sensor when the unmanned airplane makes vertical landing;
(b) converting the input image into digital image information by a digital conversion module;
(c) the pattern recognition module selects a landmark marker candidate group for the landing marker from the digital image information and extracts internal pattern information about the internal patterns of the land marker candidate group to recognize a predetermined pattern to be set in advance; And
(d) calculating the landing information through a specific pattern in which the calculation module is recognized, wherein the step (d) includes the steps of: determining whether the input image is distorted due to occlusion or blurring caused by an external environment, And estimating a motion and a size using the position and the radius of the graphic for the recognized specific pattern as a measurement value using a filter.
제 1 항에 있어서,
상기 착륙 정보는 상대 거리, 방향각 및 평행 이동 거리 중 어느 하나이고, 상기 내부 패턴 정보는 상기 내부 패턴들의 개수, 중심점 및 크기를 포함하는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
The method according to claim 1,
Wherein the landing information is one of a relative distance, a direction angle, and a parallel movement distance, and the internal pattern information includes the number of the internal patterns, the center point, and the size. Way.
제 1 항에 있어서,
상기 착륙 마커는 비대칭으로서 프랙탈 구조로 되어 있는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
The method according to claim 1,
Wherein the landing marker is asymmetric and has a fractal structure.
제 3 항에 있어서,
상기 착륙 마커에는 제 1 일정 간격으로 배치되는 3개의 큰 원 및 상기 큰 원보다 작으며 제 2 일정 간격으로 배치되는 3개의 작은 원이 구성되며, 상기 3개의 큰 원 및 3개의 작은 원은 직각 이등변 삼각형인 1:1:
Figure 112016046639032-pat00016
의 비율로 배치되는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
The method of claim 3,
Wherein the landing markers are constituted by three large circles arranged at a first predetermined interval and three small circles arranged at a second predetermined interval smaller than the large circles, The triangle 1: 1:
Figure 112016046639032-pat00016
Of the landing information for automatic vertical landing of the UAV.
제 1 항에 있어서,
상기 착륙 마커에 대한 인식은 상기 내부 패턴들의 크기 유사도 및 기하학적 형태 유사도를 이용하여 이루어지는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
The method according to claim 1,
Wherein the recognition of the landing marker is performed using the size similarity and the geometric shape similarity of the internal patterns.
제 5 항에 있어서,
상기 크기 유사도는 상기 내부 패턴들의 다수 개 도형의 크기 표준 편차를 이용하는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
6. The method of claim 5,
Wherein the size similarity uses a size standard deviation of a plurality of figures of the internal patterns.
제 1 항에 있어서,
상기 착륙 마커 후보군은 상기 디지털 영상 정보에서 인접한 화소를 연결하여 그룹화하는 블롭(blob) 라벨링 기법을 통해 검출되는 외각 도형들이 지정되어 이루어지는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
The method according to claim 1,
Wherein the landing marker candidate group is designated by a blob labeling technique for connecting adjacent pixels in the digital image information to group them together.
삭제delete 제 1 항에 있어서,
상기 측정치는 최근접 이웃 필터(Nearest Neighbor Filter)를 이용하여 가장 근거리의 측정치를 표적 신호로 선택되는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
The method according to claim 1,
Wherein the measured value is selected as a target signal at a nearest neighbor using a Nearest Neighbor Filter. A method for obtaining landing information for an automatic vertical landing of an unmanned aerial vehicle, the method comprising:
제 2 항에 있어서,
상기 상대 거리는 상기 내부 패턴들의 도형들간의 최대 화소 길이와 상기 착륙 마커로부터 얻은 내부 패턴의 도형들간의 최대 길이이거나 상기 영상 센서의 교정을 통해 얻은 초점 길이를 핀홀 카메라 모델에 대입하여 산출되는 거리인 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
3. The method of claim 2,
The relative distance may be a maximum length between the graphic patterns of the internal patterns and a maximum length between graphic patterns of the internal pattern obtained from the landing marker or a distance calculated by substituting the focal length obtained through the calibration of the image sensor into the pinhole camera model A landing information acquisition method for an automatic vertical landing of an unmanned aerial vehicle.
제 2 항에 있어서,
상기 방향각은 상기 내부 패턴들의 도형들간의 최대 화소 길이를 갖는 직선의 기울기 및 최대 화소 길이의 측정에 사용되지 않는 내부 패턴들의 도형들이 4사분면의 어느 위치에 있는지를 통해 측정되는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
3. The method of claim 2,
Wherein the direction angle is measured through the position of the fourth quadrant of the shapes of the internal patterns which are not used for the measurement of the slope and the maximum pixel length of the straight line having the maximum pixel length between the figures of the internal patterns. Landing information acquisition method for automatic vertical landing of aircraft.
제 2 항에 있어서,
상기 평행 이동 거리는 상기 내부 패턴들의 중심점과 입력 영상의 중심점과의 유클리디안 거리를 이용하여 산출되는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 방법.
3. The method of claim 2,
Wherein the parallel travel distance is calculated using an Euclidean distance between a center point of the inner patterns and a center point of the input image.
무인 항공기가 수직 착륙시 착륙지에 설치되는 착륙 마커를 촬영하여 입력 영상을 획득하는 영상 센서;
상기 입력 영상을 디지털 영상 정보로 변환하는 디지털 변환 모듈;
상기 디지털 영상 정보로부터 상기 착륙 마커에 대한 착륙 마커 후보군을 선정하는 후보군 검출 모듈;
상기 착륙 마커 후보군의 내부 패턴들에 대한 내부 패턴 정보를 추출하여 미리 설정되는 특정 패턴을 인식하는 패턴 인식 모듈; 및
인식된 특정 패턴을 통해 착륙 정보를 계산하는 계산 모듈;을 포함하며, 상기 계산 모듈은, 외부 환경에 의해 발생하는 가림, 흔들림에 의해 상기 입력 영상이 훼손되지 않도록 선형 칼만 필터를 이용하여 상기 인식된 특정 패턴에 대한 도형의 위치 및 반지름을 측정치로 사용하여 움직임 및 크기를 예측하는 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 장치.
An image sensor for acquiring an input image by photographing a landing marker installed on a landing land when an unmanned aerial vehicle is vertically landed;
A digital conversion module for converting the input image into digital image information;
A candidate group detection module for selecting a group of candidate landing markers for the landing marker from the digital image information;
A pattern recognition module for extracting internal pattern information of internal patterns of the landing marker candidate group and recognizing a predetermined pattern to be set in advance; And
And a calculation module for calculating landing information based on the recognized specific pattern, wherein the calculation module calculates the landing information using the linear Kalman filter so that the input image is not damaged by occlusion or shaking caused by the external environment, Wherein a position and a radius of a graphic pattern for a specific pattern are used as a measurement value to predict a movement and a size of the landmark information for an automatic vertical landing of the UAV.
제 13 항에 있어서,
상기 영상 센서는 감시 정찰 카메라인 것을 특징으로 하는 무인 항공기의 자동 수직 착륙을 위한 착륙 정보 획득 장치.14. The method of claim 13,
Wherein the image sensor is a surveillance and reconnaissance camera.
KR1020160059702A 2016-05-16 2016-05-16 Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle KR101811130B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160059702A KR101811130B1 (en) 2016-05-16 2016-05-16 Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160059702A KR101811130B1 (en) 2016-05-16 2016-05-16 Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle

Publications (2)

Publication Number Publication Date
KR20170128957A KR20170128957A (en) 2017-11-24
KR101811130B1 true KR101811130B1 (en) 2017-12-20

Family

ID=60810573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160059702A KR101811130B1 (en) 2016-05-16 2016-05-16 Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle

Country Status (1)

Country Link
KR (1) KR101811130B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102179676B1 (en) 2019-07-31 2020-11-17 주식회사 아르고스다인 Method and system for determining position of autonomous mobile
US11485516B2 (en) * 2019-06-18 2022-11-01 Lg Electronics Inc. Precise landing method of unmanned aerial robot using multi-pattern in unmanned aerial control system and apparatus therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562791A (en) * 2019-03-22 2020-08-21 沈阳上博智像科技有限公司 System and method for identifying visual auxiliary landing of unmanned aerial vehicle cooperative target

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257248A (en) * 2006-03-23 2007-10-04 Kochi Univ Of Technology Pattern recognition method and its device and storage medium with its program stored
JP2012071645A (en) * 2010-09-28 2012-04-12 Topcon Corp Automatic taking-off and landing system
JP2012232654A (en) 2011-04-28 2012-11-29 Topcon Corp Taking-off and landing target device, and automatic taking-off and landing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257248A (en) * 2006-03-23 2007-10-04 Kochi Univ Of Technology Pattern recognition method and its device and storage medium with its program stored
JP2012071645A (en) * 2010-09-28 2012-04-12 Topcon Corp Automatic taking-off and landing system
JP2012232654A (en) 2011-04-28 2012-11-29 Topcon Corp Taking-off and landing target device, and automatic taking-off and landing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11485516B2 (en) * 2019-06-18 2022-11-01 Lg Electronics Inc. Precise landing method of unmanned aerial robot using multi-pattern in unmanned aerial control system and apparatus therefor
KR102179676B1 (en) 2019-07-31 2020-11-17 주식회사 아르고스다인 Method and system for determining position of autonomous mobile

Also Published As

Publication number Publication date
KR20170128957A (en) 2017-11-24

Similar Documents

Publication Publication Date Title
CN103149939B (en) A kind of unmanned plane dynamic target tracking of view-based access control model and localization method
Lin et al. Monocular vision-based real-time target recognition and tracking for autonomously landing an UAV in a cluttered shipboard environment
Patruno et al. A vision-based approach for unmanned aerial vehicle landing
Leira et al. Object detection, recognition, and tracking from UAVs using a thermal camera
US9454692B2 (en) Method for identifying and positioning building using outline region restraint of mountain
Lai et al. Lane detection by orientation and length discrimination
CN101609504B (en) Method for detecting, distinguishing and locating infrared imagery sea-surface target
US8503730B2 (en) System and method of extracting plane features
KR101811130B1 (en) Landing information acquisition method and apparatus for automatic vertical landing of Unmanned Aerial Vehicle
CN110569861A (en) Image matching positioning method based on point feature and contour feature fusion
CN107424156A (en) Unmanned plane autonomous formation based on Fang Cang Owl eye vision attentions accurately measures method
CN110400374A (en) The method for building up of panorama point cloud data and establish system
Le Saux et al. Rapid semantic mapping: Learn environment classifiers on the fly
CN114689030A (en) Unmanned aerial vehicle auxiliary positioning method and system based on airborne vision
CN117115414B (en) GPS-free unmanned aerial vehicle positioning method and device based on deep learning
Lin et al. Real-time 6DoF deck pose estimation and target tracking for landing an UAV in a cluttered shipboard environment using on-board vision
Del Pizzo et al. Reliable vessel attitude estimation by wide angle camera
KR102135725B1 (en) Automatic landing control device and operation method of the same
Kim Aerial map-based navigation using semantic segmentation and pattern matching
Helgesen et al. Detection and tracking of floating objects using a uav with thermal camera
Silva Filho et al. UAV visual autolocalizaton based on automatic landmark recognition
Volkova et al. Satellite imagery assisted road-based visual navigation system
Zheng et al. Rotation and affine-invariant SIFT descriptor for matching UAV images with satellite images
Majidi et al. Aerial tracking of elongated objects in rural environments
Park et al. Visual semantic context of semantically segmented aerial images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right