KR101918820B1

KR101918820B1 - Unmanned Aerial Vehicle Homing Control Method using Scene Recognition

Info

Publication number: KR101918820B1
Application number: KR1020160169739A
Authority: KR
Inventors: 배주한; 김정호; 황영배; 장성준
Original assignee: 전자부품연구원
Priority date: 2016-12-13
Filing date: 2016-12-13
Publication date: 2018-11-14
Also published as: KR20180068111A

Abstract

장면 인식을 이용한 무인 비행체 회귀 제어 방법이 제공된다. 본 발명의 실시 예에 따른 비행 제어 방법은, 비행하면서 획득한 영상들로부터 키 프레임들을 추출하여 저장하고, 키 프레임들을 역순으로 나열하여 회귀 경로를 생성하며, 촬영 영상과 키 프레임들을 비교하여 비행을 제어한다. 이에 의해, 온라인 장면 인식을 통한 무인 비행체 회귀 경로 계산으로, GPS 오차에 강인하며, GPS 신호 유무에 상관없이 GPS 기반 회귀 대비 높은 정확도로 회귀를 수행할 수 있게 된다.A method for controlling the unmanned air vehicle regression using scene recognition is provided. A flight control method according to an embodiment of the present invention includes extracting and storing key frames from images acquired while flying, generating a regression route by rearranging key frames in reverse order, comparing the captured images with key frames, . As a result, it is possible to perform the regression with high accuracy compared with the GPS-based regression regardless of the presence or absence of the GPS signal.

Description

장면 인식을 이용한 무인 비행체 회귀 제어 방법{Unmanned Aerial Vehicle Homing Control Method using Scene Recognition}[0001] The present invention relates to an unmanned aerial vehicle homing control method using scene recognition,

본 발명은 비행체 제어 기술에 관한 것으로, 더욱 상세하게는 임무를 완수한 무인 비행체가 이륙 위치로 회귀하는 것을 제어하는 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a flight control technology, and more particularly, to a method for controlling returning of a unmanned aerial vehicle to a take-off position.

일반적으로 무인 비행체 회귀 제어는 GPS를 이용한 네비게이션에 의존하고 있다. 그러나 범용 GPS를 이용한 위치 계산은 기본적으로 3~10m의 오차를 가지고 있으며, 이 밖에도 대기권 오차, 다중경로 오차, 위성 시계 오차 등으로 인해 상황에 따라 정확도가 더욱 감소한다.Generally, unmanned aerial vehicle regression control relies on GPS navigation. However, the position calculation using general-purpose GPS has basically an error of 3 ~ 10m. In addition, accuracy is further reduced depending on the situation due to atmospheric error, multipath error, satellite clock error,

또한, 수신기에 도달하는 GPS 신호는 상대적으로 약하고 태양의 지자기 폭풍, 전파 교란 등으로 잘못된 정보를 포함하고 있거나 수신기에 도달하지 못 할 수도 있기 때문에, 무인 비행체 추락의 원인이 되기도 한다.In addition, the GPS signal arriving at the receiver is relatively weak, and may contain unintentional information such as the sun's geomagnetic storm, radio disturbance, etc., or may not reach the receiver, which may cause the unmanned aerial vehicle to fall.

이에, GPS에 의존하지 않은 무인 비행체에 회귀 제어 방안에 대한 모색이 요청된다.Therefore, it is required to search for a regression control scheme for an unmanned aerial vehicle that does not depend on GPS.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 무인 비행체에 설치된 카메라에서 취득된 영상 기반의 온라인 장면 인식 기술을 이용하여 비행체를 이륙 위치로 회귀 시키는 방법을 제공함에 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method of returning a flight vehicle to a take-off position by using an image-based on-line scene recognition technology acquired from a camera installed in an unmanned air vehicle have.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 비행 제어 방법은, 비행하면서 획득한 영상들로부터 키 프레임들을 추출하여 저장하는 단계; 키 프레임들을 역순으로 나열하여 회귀 경로를 생성하는 단계; 촬영 영상과 키 프레임들을 비교하는 단계; 및 비교 결과를 기초로, 비행을 제어하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a flight control method comprising: extracting and storing key frames from images acquired while flying; Generating a regression path by rearranging key frames in a reverse order; Comparing the photographed image with key frames; And controlling the flight based on the comparison result.

그리고, 비교 단계는, 촬영 영상을 키 프레임에 사상하여, 키 프레임에서 촬영 영상의 상대적 위치를 산출할 수 있다.In the comparison step, the captured image is mapped to the key frame, and the relative position of the captured image in the key frame can be calculated.

또한, 비행 제어단계는, 촬영 영상의 중심점과 키 프레임의 중심점의 위치를 기반으로, 비행을 제어할 수 있다.Also, the flight control step can control the flight based on the center point of the photographed image and the position of the center point of the key frame.

그리고, 촬영 영상의 중심점과 키 프레임의 중심점 간 거리가 기설정된 거리 이하이면, 현재 키 프레임 이전에 저장된 키 프레임과 촬영 영상의 비교 결과를 기초로, 비행을 제어하는 단계;를 더 포함할 수 있다.And controlling the flight based on a comparison result between the captured image and the key frame stored before the current key frame if the distance between the center point of the captured image and the center point of the key frame is less than a predetermined distance .

또한, 비행 제어단계는, 촬영 영상의 중심점과 키 프레임의 중심점 간 거리가 기설정된 거리 보다 길면, 비행을 계속하도록 제어할 수 있다.Further, the flight control step can control to continue the flight if the distance between the center point of the photographed image and the center point of the key frame is longer than the predetermined distance.

그리고, 비행 제어단계는, 촬영 영상의 중심과 전방 지점을 연결한 직선과 키 프레임의 중심점 간 거리가 기설정된 거리 미만이면, 직진하도록 제어할 수 있다.And, the flight control step can be controlled so that the straight line connecting the center of the photographed image and the forward point and the center point of the key frame are straight ahead if they are less than the predetermined distance.

또한, 비행 제어단계는, 촬영 영상의 중심점과 전방 지점을 연결한 직선과 키 프레임의 중심점 간 거리가 기설정된 거리 보다 길면, 회전하면서 직진하도록 제어할 수 있다.In the flight control step, if the distance between the center line of the photographed image and the center point of the key frame is longer than the predetermined distance, the control can be performed so as to be straightened while rotating.

그리고, 회전 방향은, '촬영 영상의 중심점과 전방 지점을 연결한 직선'으로부터 '촬영 영상의 중심점과 키 프레임의 중심점을 연결한 직선'을 향하는 방향일 수 있다.The rotation direction may be a direction from a straight line connecting the center point of the captured image and the forward point to a straight line connecting the center point of the captured image and the center point of the key frame.

또한, 저장 단계는, 비행하면서 획득한 영상들을 어휘나무 생성 기법에 따라 저장할 수 있다.Also, in the storing step, the images acquired while flying can be stored according to the lexical tree generation technique.

한편, 본 발명의 다른 실시예에 따른, 무인 비행체는, 비행하면서 획득한 영상들로부터 키 프레임들을 추출하여 저장하고, 키 프레임들을 역순으로 나열하여 회귀 경로를 생성하며, 촬영 영상과 키 프레임들을 비교하는 는 영상 프로세서; 및 영상 프로세서의 비교 결과를 기초로, 비행을 제어하는 제어부;를 포함한다.Meanwhile, according to another embodiment of the present invention, the unmanned aerial vehicle extracts and stores key frames from images acquired while flying, generates a regression path by rearranging key frames in a reverse order, compares the captured images with key frames An image processor; And a controller for controlling the flight based on the comparison result of the image processor.

한편, 본 발명의 다른 실시예에 따른, 비행 제어 방법은, 키 프레임들을 나열하여 비행 경로를 생성하는 단계; 및 촬영 영상과 키 프레임들을 비교하면서, 비행을 제어하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a flight control method including: generating a flight path by arranging key frames; And controlling the flight while comparing the shot image and the key frames.

한편, 본 발명의 다른 실시예에 따른, 무인 비행체는, 키 프레임들을 나열하여 비행 경로를 생성하고, 촬영 영상과 키 프레임들을 비교하는 영상 프로세서; 및 영상 프로세서의 비교 결과를 기초로, 비행을 제어하는 제어부;를 포함한다.According to another aspect of the present invention, an unmanned aerial vehicle includes an image processor for generating a flight path by arranging key frames, and comparing the captured images with key frames; And a controller for controlling the flight based on the comparison result of the image processor.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 온라인 장면 인식을 통한 무인 비행체 회귀 경로 계산으로, GPS 오차에 강인하며, GPS 신호 유무에 상관없이 GPS 기반 회귀 대비 높은 정확도로 회귀를 수행할 수 있게 된다.As described above, according to the embodiments of the present invention, it is possible to calculate the unmanned aerial vehicle return path through on-line scene recognition, which is robust against the GPS error and can perform the regression with high accuracy compared to the GPS- .

또한, 본 발명의 실시예들에 따르면, 고속 특징점 매칭으로 DB의 개수가 많아도 일정 속도로 장면인식을 수행하여 장거리 회귀를 수행할 수 있으며, GPS 기반 회귀와 연동하여 도착지 근처에서 장면 인식 기반의 회귀 수행으로 회귀 정확도를 상승시킬 수도 있다.In addition, according to embodiments of the present invention, it is possible to carry out scene recognition at a constant speed and perform long-distance regression even if the number of DBs is high due to fast feature point matching. In addition, It is also possible to increase the regression accuracy by performing.

도 1은 특징점 추출 시 옥타브 개수와 픽셀 샘플링 간격에 따른 처리속도 분석,
도 2는 매칭 속도의 설명에 제공되는 도면,
도 3은 BF(Brute-Force) 방식의 특징점 정합 방법과 VT(Vocabulary Tree) 방식의 특징점 정합 방식을 나타낸 도면,
도 4는 DB 영상의 개수에 따른 BF/VT 방식의 정합 속도 및 인식률 분석,
도 5는 온라인 어휘나무 생성 방법,
도 6 내지 도 9는, 온라인 장면 인식 결과,
도 10은 본 발명의 일 실시예에 따른 온라인 장면 인식을 이용한 무인 비행체 회귀 제어 방법의 설명에 제공되는 흐름도,
도 11은 촬영 영상과 키 프레임 영상과의 호모그래피를 계산한 결과,
도 12 내지 도 16은 경로 계획 방법의 설명을 위한 도면들, 그리고,
도 17은 본 발명의 다른 실시예에 따른 무인 비행체의 블럭도이다.FIG. 1 is a flowchart illustrating a processing speed analysis according to the number of octaves and pixel sampling intervals in extracting feature points,
2 is a diagram provided in the description of a matching rate,
FIG. 3 is a diagram showing a feature point matching method of a Brute-Force (BF) method and a feature point matching method of a VT (Vocabulary Tree)
FIG. 4 is a graph showing the results of analysis of the matching speed and recognition rate of the BF / VT scheme according to the number of DB images,
5 illustrates an online vocabulary generation method,
Figs. 6 to 9 show the results of the online scene recognition,
FIG. 10 is a flowchart illustrating an unmanned air vehicle regression control method using online scene recognition according to an exemplary embodiment of the present invention. Referring to FIG. 10,
FIG. 11 shows a result of calculating a homography between the photographed image and the key frame image,
12 to 16 are diagrams for explaining the path planning method,
17 is a block diagram of an unmanned aerial vehicle according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

본 발명의 실시예에서는, GPS 수신이 불가능하거나 부정확한 경우에도, 이륙 지점으로의 정확한 회귀를 수행하기 위한 방안으로, 장면 인식을 이용한 무인 비행체 회귀 방법을 제시한다.In the embodiment of the present invention, an unmanned aerial vehicle regression method using scene recognition is proposed as a method for performing an accurate regression to a take-off point even when GPS reception is impossible or inaccurate.

이를 위해, 본 발명의 실시예에서는, 비행체에 설치된 카메라로 획득한 영상을 이용하여 온라인으로 장면 DB를 생성하고, 이를 이용하여 무인 비행체 회귀를 위한 경로를 추정한다.To this end, in the embodiment of the present invention, a scene DB is generated on-line using an image acquired by a camera installed on a flight body, and a path for returning the unmanned aerial vehicle is estimated using the generated scene DB.

장면 인식은 입력 영상과 가장 유사한 DB 영상을 선택하는 기법으로, 본 발명의 실시예에서 장면 인식을 위한 처리는 SURF(Speeded-Up Robust Feature) 특징점 추출 기술에 의할 수 있으며, 이 경우 처리 속도는 이용하는 각종 파라미터에 따라서 결정된다.Scene recognition is a technique for selecting a DB image most similar to an input image. In the embodiment of the present invention, the processing for scene recognition can be performed by the SURF (Speeded-Up Robust Feature) feature point extraction technique. In this case, And is determined according to various parameters used.

영상 변화에 강인성을 확보하기 위해, 다양한 옥타브(octave)에서 특징점을 추출한다. 추출된 특징점의 개수에 따른 추출 속도와 화소 샘플링 간격에 따른 추출 속도는 도 1에 제시된 바와 같이 분석된다. 도 1은 특징점 추출 시 옥타브 개수와 픽셀 샘플링 간격에 따른 처리속도 분석 결과이다.In order to secure robustness to the image change, feature points are extracted from various octaves. The extraction speed according to the number of extracted feature points and the extraction speed according to the pixel sampling interval are analyzed as shown in FIG. FIG. 1 shows the processing speed analysis results according to the number of octaves and the pixel sampling interval when extracting feature points.

많은 수의 DB 영상들이 존재할 경우 현재 영상과의 대응관계를 계산하기 위해서는 많은 계산량이 요구된다. 이 문제를 해결하기 위해서 DB에서 계산된 특징점들을 나무(tree) 형태로 재배열함으로써 매칭을 위한 처리 속도를 획기적으로 개선할 수 있다.When a large number of DB images are present, a large amount of calculation is required to calculate the correspondence relationship with the current image. In order to solve this problem, the processing speed for matching can be drastically improved by rearranging the feature points calculated in the DB into a tree form.

도 2에 제시된 바와 같이, 매칭 속도는 테스트 영상의 특징점 개수와 DB 영상의 특징점 개수에 비례하기 때문에, 나무 방식의 매칭을 하면 모든 DB의 특징점들과 비교하는 것이 아닌 자식 노드에 해당하는 특징점들만 비교하여 빠른 매칭을 수행할 수 있다.As shown in FIG. 2, since the matching speed is proportional to the number of feature points of the test image and the number of feature points of the DB image, when the matching is performed in the tree system, only the feature points corresponding to the child nodes are compared So that quick matching can be performed.

도 3은 BF(Brute-Force) 방식의 특징점 정합 방법과 VT(Vocabulary Tree) 방식의 특징점 정합 방식을 나타낸 도면이다.FIG. 3 is a diagram showing a feature point matching method of a Brute-Force (BF) method and a feature point matching method of a VT (Vocabulary Tree) method.

BF 방식의 경우 DB 영상 개수가 증가함에 따라 처리 속도는 비례해서 증가하는 반면, VT 방식의 경우 DB 영상 개수가 증가할 때도 거의 일정한 속도로 정합을 수행할 수 있음을, 도 4의 좌측에 제시된 그래프를 통해 확인할 수 있다. 정량적으로 VT 기반의 방식은 BF 기반의 방식 보다 약 100배 정도 빠르게 처리할 수 있다. In the case of the BF method, the processing speed increases proportionally as the number of DB images increases. On the other hand, in the case of the VT method, the matching can be performed at a substantially constant speed even when the number of DB images increases. . Quantitatively, the VT-based method can process about 100 times faster than the BF-based method.

도 4의 우측에 제시된 그래프는 DB 영상 개수에 따른 인식율을 보여준다. 전체 인식율은 약 90%정도인 것으로 확인할 수 있고, 인식률의 차이는 1% 미만이 된다. 그러므로 VT 방식은 BF 방식 대비 100배 정도의 빠른 처리 속도를 보이고, 인식율은 1% 미만의 차이를 보이는 효과적인 방법이다.The graph shown on the right side of FIG. 4 shows the recognition rate according to the number of DB images. The overall recognition rate is about 90%, and the recognition rate difference is less than 1%. Therefore, the VT method shows a processing speed about 100 times faster than the BF method, and the recognition rate is an effective method showing a difference of less than 1%.

온라인 장면 인식을 위해서는 장면들에 대한 어휘 나무를 미리 생성해야 한다. 하지만 드론이나 로봇을 위한 응용 기술에서는 영상이 들어올 때마다 이를 이용하여 어휘 나무를 새롭게 갱신(Update)하는 온라인 어휘 나무 기술이 요구된다. For online scene recognition, vocabulary trees for scenes must be created in advance. However, in application technology for drone or robot, online vocabulary tree technology which updates vocabulary tree by using it every time image is required is required.

이를 위해, 기존의 어휘 나무로부터 정합이 되는 특징점이 있는지를 계산하고 정합이 되지 않을 경우 이 특징점을 새롭게 어휘 나무에 추가한다. 추가할 경우 어떤 노드에 자식 노드(child node)의 개수가 특정 개수 보다 커질 경우가 발생한다. 이 경우 새롭게 군집화 과정을 수행하여 새로운 중간 Level을 생성하고, 이 Level에서 특정 개수보다 클 경우 또 다시 군집화를 통하여 어휘나무를 갱신한다. 여기서 군집화는 k-Means Clustering 방법을 이용할 수 있다.To do this, we calculate whether there are matching features from existing vocabulary trees, and if they do not match, we add new feature points to the vocabulary tree. The number of child nodes in a certain node may be larger than a certain number. In this case, a new clustering process is performed to generate a new intermediate level, and if the clustering level is greater than a certain number at this level, the vocabulary tree is updated again through clustering. Here, clustering can use the k-Means Clustering method.

도 5는 온라인 어휘나무 생성 방법을 나타낸 도면이고, 도 6 내지 도 9는 온라인 어휘나무를 이용하여 장면 인식을 수행한 결과이다. 도시된 바와 같이, 이전에 영상과 다른 영상이 새롭게 획득되었을 경우 점진적으로 그 영상들을 추가하고, 관련된 어휘나무를 새롭게 갱신함으로써 장면 인식을 수행한다.FIG. 5 is a diagram illustrating a method of generating an on-line vocabulary tree, and FIGS. 6 to 9 are results of performing scene recognition using an on-line vocabulary tree. As shown in the figure, when an image different from the previously acquired image is newly acquired, the images are gradually added and scene recognition is performed by newly updating the related vowel tree.

도 10은 본 발명의 일 실시예에 따른 온라인 장면 인식을 이용한 무인 비행체 회귀 제어 방법의 설명에 제공되는 흐름도이다.10 is a flowchart illustrating an unmanned air vehicle regression control method using online scene recognition according to an embodiment of the present invention.

도 10에 도시된 바와 같이, 먼저 무인 비행체가 이륙하면(S105-Y), 비행하면서 카메라로 획득한 촬영 영상(입력 영상)들로부터 키 프레임들을 추출하여 저장한다(S110). S110단계에서의 키 프레임 추출/저장은, 전술한 어휘나무 생성 기법에 따를 수 있다.As shown in FIG. 10, when the unmanned aerial vehicle is taken off (S105-Y), key frames are extracted from captured images (input images) acquired by the camera while flying and stored (S110). The key frame extraction / storage in step S110 may be performed according to the above-described vocabulary tree generation technique.

S110단계에서의 키 프레임 추출/저장은 임무가 완수되어 회귀가 시작 될 때까지 계속된다(S115).The key frame extraction / storage in the step S110 is continued until the mission is completed and the regression is started (S115).

회귀가 개시되면(S115-Y), S110단계를 통해 저장된 키 프레임들을 저장된 역순으로 읽어 들인다(S120).When the regression is started (S115-Y), the key frames stored in the step S110 are read in the stored reverse order (S120).

다음, 촬영 영상과 키 프레임의 호모그래피를 계산하여, 키 프레임에서 촬영 영상의 상대적인 위치를 산출한다(S125). 즉, 촬영 영상을 키 프레임에 사상하여, 키 프레임에서 촬영 영상의 상대적 위치를 산출하는 것이다.Next, the captured image and the homography of the key frame are calculated, and the relative position of the captured image is calculated in the key frame (S125). That is, the captured image is mapped to the key frame, and the relative position of the captured image is calculated in the key frame.

이와 같이, 본 발명의 실시 예에 따른 장면 인식을 이용한 무인 비행체 회귀 제어 방법에서는, 키 프레임과 촬영 영상(입력 영상) 사이의 기하학적 변형 관계를 추정한다. 이를 위해 무인 비행체의 카메라를 지면을 향하게 한 후 촬영하여 영상을 취득한다.As described above, in the unmanned air vehicle regression control method using scene recognition according to the embodiment of the present invention, the geometric distortion relation between the key frame and the photographed image (input image) is estimated. For this purpose, the camera of the unmanned aerial vehicle is directed to the ground, and then the image is acquired by photographing.

다음, 촬영 영상과 키 프레임 간의 대응점들을 장면 인식으로부터 계산하고, 변환 관계를 정의하기 위해서 호모그래피(homography)를 사용한다. 이를 위해 최소 4개의 대응점들을 계산하고, 계산된 대응점 (xi,yi), (Xi,Yi)으로부터 다음의 A 행렬을 계산한다. 그리고 A 행렬의 SVD(Singluar Value Decompsition)를 통해 8개의 파라미터에 대한 호모그래피를 계산한다.Next, the corresponding points between the shot image and the key frame are calculated from the scene recognition, and homography is used to define the transformation relation. To do this, at least four corresponding points are calculated and the following A matrix is calculated from the calculated corresponding points (xi, yi), (Xi, Yi). Then, the homography of 8 parameters is calculated through SVD (Singluar Value Decomposition) of A matrix.

도 11은 촬영 영상과 키 프레임 영상의 호모그래피를 계산한 결과이다. 도 11의 우측에 빨간색으로 표시된 사각형 영역이 키 프레임에서 촬영 영상의 상대적인 위치를 표시한 것이다.11 shows the result of homography of the photographed image and the key frame image. A rectangular area shown in red on the right side of FIG. 11 indicates the relative position of the photographed image in the key frame.

호모그래피를 이용한 자동 회귀를 위해, 두 영상 간의 위치 관계를 계산하여, 촬영 영상(입력 영상)으로부터 키 프레임으로 도착하기 위한 경로 계획을 세운다. 이를 위해서 촬영 영상의 4개 꼭지점과 중심점을 호모그래피를 이용하여 도 11에 도시된 바와 같이, 키 프레임에서의 위치로 변환하는 것이다.For automatic regression using homography, the positional relationship between the two images is calculated, and a path plan is established for arriving from the captured image (input image) to the key frame. For this purpose, the four vertexes and the center point of the photographed image are converted into positions in the key frame as shown in FIG. 11 using the homography.

변환이 완료되면, 도 10에 도시된 바와 같이, 촬영 영상의 중심점과 키 프레임의 중심점 간 거리 D를 산출하는데(S130), 거리 D가 기설정된 r 보다 길면(S135-Y), 촬영 영상의 중심점과 전방 지점을 연결한 직선과 키 프레임의 중심점 간 거리 d를 산출한다(S140).10, the distance D between the center point of the photographed image and the center point of the key frame is calculated (S130). If the distance D is longer than the predetermined r (S135-Y) The distance d between the straight line connecting the front point and the center point of the key frame is calculated (S140).

S140단계에서 산출된 거리 d가 r 보다 길면(S145-Y), 회전하면서 직진 이동하도록 비행체를 제어한다(S150). 반면, S140단계에서 산출된 거리 d가 r 이하이면(S145-N), 비행체가 직진 이동하도록 제어한다(S155).If the distance d calculated in step S140 is longer than r (S145-Y), the flying object is controlled so as to move linearly while rotating (S150). On the other hand, if the distance d calculated in step S140 is less than or equal to r (S145-N), control is made so that the flying object moves straight (S155).

S130단계 및 S135단계는, 무인 비행체가 키 프레임으로 도착하였는지 여부를 판단하기 위한 절차이다. 도 12에 도시된 바와 같이, 도착 여부를 판단하기 위해 반지름 r을 미리 정의하고, 키 프레임으로 사상된/변환된 촬영 영상의 중심점 좌표 C1과 키 프레임의 중심점 좌표 C2 사이의 거리 D가 r 보다 길 경우 키 프레임으로 도착하지 않은 것으로 판단하고, S140단계 내지 S155단계를 통해 키 프레임으로 이동하기 위한 경로 계획을 설정한다.Steps S130 and S135 are procedures for determining whether or not the unmanned aerial vehicle has arrived at the key frame. As shown in FIG. 12, the radius r is previously defined to determine arrival, and the distance D between the center point coordinate C1 of the photographed / converted key frame and the center point coordinate C2 of the key frame is longer than r It is determined that the key frame does not arrive, and the path plan for moving to the key frame is set through steps S140 to S155.

구체적으로, '키 프레임으로 변환된 촬영 영상의 중심점 좌표 C1과 무인 비행체의 전방인 X3와 X4의 중심 Y=(X3+X4)를 잇는 직선'과 C2 사이의 거리 d를 측정하고, 도 13이나 도 14에 도시된 바와 같이, d가 r 보다 크면, S150단계에 제시된 바와 같이, 회전하면서 직진 이동하여 키 프레임에 도착하여야 한다.Specifically, the distance d between the straight line connecting the center point C1 of the photographed image converted into the key frame and the center Y = (X3 + X4) of X3 and X4 in front of the unmanned air vehicle is measured, As shown in FIG. 14, if d is greater than r, it should be rotated and straight ahead to arrive at the key frame, as shown in step S150.

회전이 필요할 경우 변환된 촬영 영상의 중심점 위치 중 x좌표 C1x와 키 프레임 중심점의 x 좌표 C2x을 비교하여 C2x가 클 경우는 왼쪽으로 회전하고, 반대일 경우는 오른쪽으로 회전한다.When the rotation is required, the x coordinate C1x of the center point of the converted image is compared with the x coordinate C2x of the center point of the key frame. If C2x is large, the left rotation is performed.

즉, '촬영 영상의 중심점과 전방 지점을 연결한 직선'으로부터 '촬영 영상의 중심점과 키 프레임의 중심을 연결한 직선'을 향하는 방향이 회전 방향이 되는 것이다.That is, the direction from the straight line connecting the center point of the photographed image and the forward point to the straight line connecting the center point of the photographed image and the center of the key frame is the rotation direction.

만약, 도 12나 도 15에 도시된 바와 같이, d가 r 보다 짧으면, S155단계에 제시된 바와 같이, 직진 이동하여 키 프레임에 도착한다.If d is shorter than r, as shown in FIG. 12 or 15, as shown in step S155, it proceeds straight and arrives at the key frame.

한편, 도 10에 도시된 바와 같이, S130단계에서 산출된 거리 D가 기설정된 r 이하이면(S135-N), 키 프레임을 저장된 역순으로 읽어들여, 마지막으로부터 2번째에 생성/저장된 키 프레임에 대해 S125단계 이후의 절차가 수행된다.10, if the distance D calculated in step S130 is less than or equal to the predetermined r (S135-N), the key frame is read in the stored reverse order, and the key frame generated / The procedure after step S125 is performed.

S130단계에서 산출된 거리 D가 기설정된 r 이하인 경우는, 도 16에 도시된 바와 같이, 무인 비행체가 키 프레임에 도착한 경우이므로, 다음 역순의 키 프레임을 다음 목표 지점으로 설정하는 것이다.If the distance D calculated in step S130 is less than or equal to the predetermined r, as shown in FIG. 16, since the unmannurized vehicle arrives at the key frame, the key frame in the next reverse order is set as the next target point.

위와 같은 과정이 반복되어, 최초 생성/저장된 키 프레임에 대해, S130단계에서 산출된 거리 D가 기설정된 r 이하이면(S135-N), 무인 비행체가 착륙하도록 제어한다.If the distance D calculated in step S130 is less than or equal to the predetermined value r (S135-N), the unmanned aerial vehicle is controlled so as to land on the first generated / stored key frame.

이에 따라, 본 발명의 실시예에서는, S110단계를 통해 저장된 키 프레임들을 저장된 역순으로 나열하여 회귀 경로를 생성한다고 볼 수 있는 것이다.Accordingly, in the embodiment of the present invention, it can be seen that the regression path is generated by arranging the key frames stored in step S110 in the reverse order.

도 17은 본 발명의 다른 실시예에 따른 무인 비행체의 블럭도이다. 본 발명의 실시예에 따른 무인 비행체는, 도 17에 도시된 바와 같이, 카메라(210), 영상 프로세서(220), 영상 DB(230), 제어부(240) 및 비행체 구동부(250)를 포함한다.17 is a block diagram of an unmanned aerial vehicle according to another embodiment of the present invention. As shown in FIG. 17, an unmanned aerial vehicle according to an embodiment of the present invention includes a camera 210, an image processor 220, an image DB 230, a control unit 240, and a vehicle driving unit 250.

카메라(210)는 전술한 촬영 영상을 생성하고, 영상 프로세서(220)는 카메라(210)가 취득한 촬영 영상들을 이용하여 온라인 어휘나무를 생성하며, 그 결과 영상 DB(230)에 키 프레임들을 저장한다.The camera 210 generates the above-described photographed image, the image processor 220 generates an online vocabulary tree using the photographed images acquired by the camera 210, and stores the key frames in the image DB 230 as a result .

또한, 영상 프로세서(220)는 카메라(210)의 촬영 영상과 영상 DB(230)로부터 저장된 역순으로 읽어들이는 키 프레임의 호모그래피를 계산하고, 전술한 거리들 D, d 등을 계산한다.Also, the image processor 220 calculates the homography of the captured image of the camera 210 and the key frame read from the image database 230 in the reverse order, and calculates the above-described distances D, d, and the like.

제어부(240)는 거리들 D, d 과 반지름 r의 비교 결과를 기초로, 비행체 구동부(250)를 제어하여, 무인 비행체의 회전, 직진, 착륙 등을 제어한다.The control unit 240 controls the driving unit 250 based on the comparison result of the distances D and d and the radius r to control the rotation, straightening, and landing of the unmanned aerial vehicle.

한편, 제어부(240)는 GPS 모듈을 포함하고 있어, 회귀 전의 임무 수행을 위한 경로를 생성하며, 회귀 과정에 있어 GPS를 참고할 수도 있다.On the other hand, the control unit 240 includes a GPS module, generates a path for mission execution before returning, and may refer to GPS in the regression process.

지금까지, 장면 인식을 이용한 무인 비행체 회귀 제어 방법에 대해 바람직한 실시 예를 들어 상세히 설명하였다.Up to now, a method of controlling unmanned air vehicle regression using scene recognition has been described in detail with a preferred embodiment.

위 실시예에서 회귀 경로는 회귀 전 단계에서 저장된 키 프레임들을 저장된 역순으로 읽어 들여 구성하였는데, 이는 예시적인 것으로 다르게 구성하는 것이 가능하다.In the above embodiment, the regression path is constructed by reading the key frames stored in the pre-regression step in the stored reverse order, which can be configured differently as an example.

예를 들어, 회귀 전 단계에서 저장된 키 프레임들 중 현재 촬영 영상과 가장 가까운 키 프레임을 탐색하여 회귀 경로를 구성하는 것이 가능하다. 이 경우, 키 프레임에 도착하면 도착한 키 프레임의 이전에 저장된 키 프레임을 다음 목표지로 할 수도 있고, 현재 촬영 영상과 가장 가까운 키 프레임을 다시 탐색하여 다음 목표지로 할 수도 있다. 이는, 환경적인 영향/변화(회귀 중에 카메라가 잠시 비정상적으로 동작한 경우)에 대한 강인성을 확보할 수 있다.For example, it is possible to construct a regression path by searching for the key frame closest to the current captured image among the key frames stored in the previous regression step. In this case, when the key frame arrives, the previously stored key frame of the arrived key frame may be the next target, or the key frame nearest to the current captured image may be searched again for the next target. This can ensure the robustness to environmental impacts / changes (when the camera behaves abnormally for a moment during regression).

위 실시예에서는 회귀 경로 설정하는 것을 상정하였으나, 그 밖의 다른 경로를 설정하는 경우에도 본 발명의 기술적 사상이 적용될 수 있다. 이 경우, 키 프레임들은 이륙 후 임무를 수행하면서 생성&저장한 키프레임들이 아닌, 다른 소스로부터 획득한 것들일 수 있다.Although it is assumed that the regression path is set in the above embodiment, the technical idea of the present invention can be applied to the case of setting another path. In this case, the keyframes may be those obtained from other sources rather than keyframes created and saved while performing the mission after takeoff.

한편, 본 실시 예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시 예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.It goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium having a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present invention may be embodied in computer-readable code form recorded on a computer-readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

210 : 카메라
220 : 영상 프로세서
230 : 영상 DB
240 : 제어부
250 : 비행체 구동부210: camera
220: image processor
230: Video DB
240:
250:

Claims

비행하면서 획득한 촬영 영상으로부터 키 프레임들을 추출하여 저장하는 단계;
키 프레임들을 이용하여 회귀 경로를 생성하는 단계;
촬영 영상과 키 프레임들을 비교하는 단계; 및
비교 결과를 기초로, 비행을 제어하는 단계;를 포함하고,
비교 단계는,
촬영 영상을 키 프레임에 사상하여, 키 프레임에서 촬영 영상의 상대적 위치를 산출하는 것을 특징으로 하는 비행 제어 방법.
Extracting and storing key frames from the photographed image acquired while flying;
Generating a regression path using keyframes;
Comparing the photographed image with key frames; And
And controlling the flight based on the comparison result,
In the comparison step,
And the relative position of the photographed image is calculated in the key frame by mapping the photographed image to the key frame.

청구항 1에 있어서,
회귀 경로 생성 단계는,
키 프레임들을 역순으로 나열하거나, 촬영 영상과 가장 가까운 키 프레임을 탐색하면서 회귀 경로를 생성하는 것을 특징으로 하는 비행 제어 방법.
The method according to claim 1,
The regression path generation step includes:
And the regression path is generated by arranging the key frames in reverse order or by searching for the key frame closest to the photographed image.

삭제delete

청구항 1에 있어서,
비행 제어단계는,
촬영 영상의 중심점과 키 프레임의 중심점의 위치를 기반으로 하는 비행 제어 방법.
The method according to claim 1,
The flight control step includes:
A flight control method based on a center point of a photographed image and a position of a center point of a key frame.

청구항 4에 있어서,
촬영 영상의 중심점과 키 프레임의 중심점 간 거리가 기설정된 거리 이하이면, 현재 키 프레임 이전에 저장된 키 프레임과 촬영 영상의 비교 결과를 기초로, 비행을 제어하는 단계;를 더 포함하는 것을 특징으로 하는 비행 제어 방법.
The method of claim 4,
And controlling the flight based on a comparison result between the captured image and the key frame stored before the current key frame if the distance between the center point of the captured image and the center point of the key frame is less than a predetermined distance Flight control method.

청구항 4에 있어서,
비행 제어단계는,
촬영 영상의 중심점과 키 프레임의 중심점 간 거리가 기설정된 거리 보다 길면, 비행을 계속하도록 제어하는 것을 특징으로 하는 비행 제어 방법.
The method of claim 4,
The flight control step includes:
If the distance between the center point of the photographed image and the center point of the key frame is longer than the preset distance, the control is continued to continue the flight.

청구항 6에 있어서,
비행 제어단계는,
촬영 영상의 중심과 전방 지점을 연결한 직선과 키 프레임의 중심점 간 거리가 기설정된 거리 미만이면, 직진하도록 제어하는 것을 특징으로 하는 비행 제어 방법.
The method of claim 6,
The flight control step includes:
When the distance between the center line of the photographed image and the center point of the key frame is less than a predetermined distance.

청구항 6에 있어서,
비행 제어단계는,
촬영 영상의 중심점과 전방 지점을 연결한 직선과 키 프레임의 중심점 간 거리가 기설정된 거리 보다 길면, 회전하면서 직진하도록 제어하는 것을 특징으로 하는 비행 제어 방법.
The method of claim 6,
The flight control step includes:
When the distance between the center line of the photographed image and the center point of the key frame is longer than the preset distance, the control is performed so as to be straightened while rotating.

청구항 8에 있어서,
회전 방향은,
촬영 영상의 중심점과 전방 지점을 연결한 직선으로부터 촬영 영상의 중심점과 키 프레임의 중심점을 연결한 직선을 향하는 방향인 것을 특징으로 하는 비행 제어 방법.
The method of claim 8,
The direction of rotation,
Wherein the direction is a direction toward a straight line connecting the center point of the photographed image and the center point of the key frame from a straight line connecting the center point and the front point of the photographed image.

비행하면서 획득한 촬영 영상으로부터 키 프레임들을 추출하여 저장하고, 키 프레임들을 이용하여 회귀 경로를 생성하며, 촬영 영상과 키 프레임들을 비교하는 영상 프로세서; 및
영상 프로세서의 비교 결과를 기초로, 비행을 제어하는 제어부;를 포함하고,
영상프로세서는,
촬영 영상을 키 프레임에 사상하여, 키 프레임에서 촬영 영상의 상대적 위치를 산출하는 것을 특징으로 하는 무인 비행체.
An image processor for extracting and storing key frames from the photographed image acquired during the flight, generating a regression path using the key frames, and comparing the photographed image with the key frames; And
And a controller for controlling the flight based on the comparison result of the image processor,
In the image processor,
And the captured image is mapped to the key frame to calculate the relative position of the captured image in the key frame.

키 프레임들을 나열하여 비행 경로를 생성하는 단계; 및
촬영 영상과 키 프레임들을 비교하면서, 비행을 제어하는 단계;를 포함하고,
제어 단계는,
촬영 영상을 키 프레임에 사상하여, 키 프레임에서 촬영 영상의 상대적 위치를 산출하고, 산출 결과를 기초로 비행을 제어하는 것을 특징으로 하는 비행 제어 방법.
Creating a flight path by listing key frames; And
And controlling the flight while comparing the captured image and the key frames,
In the control step,
A method of controlling a flight, comprising the steps of mapping a captured image to a key frame, calculating a relative position of the captured image in the key frame, and controlling the flight based on the result of the calculation.

키 프레임들을 나열하여 비행 경로를 생성하고, 촬영 영상과 키 프레임들을 비교하는 영상 프로세서; 및
영상 프로세서의 비교 결과를 기초로, 비행을 제어하는 제어부;를 포함하고,
영상프로세서는,
촬영 영상을 키 프레임에 사상하여, 키 프레임에서 촬영 영상의 상대적 위치를 산출하는 것을 특징으로 하는 무인 비행체.
An image processor for generating a flight path by listing key frames, and comparing the captured images with key frames; And
And a controller for controlling the flight based on the comparison result of the image processor,
In the image processor,
And the captured image is mapped to the key frame to calculate the relative position of the captured image in the key frame.