KR101656519B1 - 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기 - Google Patents

Abstract

본 발명은 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기에 관한 것으로서, 본 발명에 따른 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기는, 촬영대상 피사체를 자동으로 추적하는 무인항공기에 있어서, 상기 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 영상입력부; 상기 영상입력부를 통해 취득한 이미지를 이용하여 관심영역을 추출하고, 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식하는 물체인식부; 상기 물체인식부에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성하는 물체추적부; 상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성하는 동작인식부; 및 상기 구동명령에 따라 무인항공기를 구동시키는 구동제어부;를 포함하고, 상기 물체추적부는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높일 수 있는 추적기와; 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 단계별 분류알고리즘 방식을 사용하여 결정하는 검출기와; 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 상기 검출기의 성능을 개선시킬 수 있는 학습기; 및 상기 추적기와 검출기에 의한 결과를 통합하여 추적대상물체의 위치를 최종판단한 다음 해당좌표를 상기 구동제어부에 전달하는 통합기;를 구비한다.
따라서, 본 발명은, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 추적 대상 물체를 인식하고 자동추적 함으로써 무인항공기의 자율비행을 가능하게 하고 그로 인해 고가의 추적유도장치를 필요로 하지 않아 무인항공기의 제조원가를 절감할 수 있는 자동추적 기능을 갖는 무인항공기 및 그 제어방법을 제공하는 효과가 있다.

Description

확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기 { Unmanned aerial vehicle having Automatic Tracking }

본 발명은 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기에 관한 것으로서, 더욱 상세하게는, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 추적 대상 물체의 인식 및 자동추적이 가능한 자동추적 기능을 갖는 무인항공기에 관한 것이다.

최근 카메라가 탑재된 드론, 쿼드콥터, 및 헬리캠등의 무인항공기(UAV; Unmanned aerial vehicle)가 상용화되면서 카메라 촬영 등 다양한 분야에서 활용되고 있다.

이러한 무인항공기는 기존에 주로 사용되던 방송 및 군사분야를 넘어 엔터테인먼트용으로서 일반 사용자들이 촬영용 무인항공기를 이용해 카메라 촬영을 목적으로 사용하는 시대로 접어들고 있다.

하지만, 종래기술에 따른 무인항공기는 RC(Remote Controller) 및 스마트 사용자 단말기를 통해 무선으로 제어가 가능하기 때문에 반드시 사용자가 있어야 한다는 점에서 비효율적이고, 또한, 무인항공기의 특성상 지상에서 사용자가 수동으로 제어를 할 경우에 사용자 미숙으로 인해 사고가 빈번히 발생하고 있어 이로 인하여 고가의 기기가 파손되거나 안전사고를 유발하는 문제점이 있었다.

따라서, 지상에 있는 사용자의 제어 없이도 무인항공기 자율적으로 카메라 촬영대상을 인식한 다음 자동으로 추적할 수 있게 함으로써 안전사고 및 고가의 무인항공기가 파손되는 것을 방지할 수 있는 현실적이고도 적용이 가능한 무인항공기에 관한 기술이 절실한 실정이다.

등록특허공보 KR 10-0842101호(공고일 2008.06.30.)

[1] Alec Mills and Gregory Dudek, "Image stitching with dynamic elements," Image and Vision Computine, Vol. 27, No. 10, pp. 1593-1602, 2009. [2] M. Brown and D. Lowe, "Automatic panorama image stitching using invariant features," International Journal of Computer Vision, Vol. 74, No. 1, pp. 59-73, August 2007. [3] E. Vincent and R. Laganiere, "Detecting planar homographies in an image pair," Image and Signal Processing and Analysis, pp. 182-187,June 2001. [4] P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features," in Proc. CVPR conf., vol. I, pp. 511-518, 2001. [5] Z. Kalal, K. Mikolajczyk, and J. Matas, "Tracking-Learning-Detection," IEEE trans. Pattern Analysis and Machine Intelligence, vol. 34, no. 7, Jul. 2012. [6] Z. Kalal, J. Matas, and K. Mikolajczyk, "P-N learning: Bootstrapping binary classifiers by structural constraints," in Proc. CVPR conf., pp. 49-56, Jun. 2010.

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 추적 대상 물체를 인식하고 자동추적 함으로써 무인항공기의 자율비행을 가능하게 하고 그로 인해 고가의 추적유도장치를 필요로 하지 않아 무인항공기의 제조원가를 절감할 수 있는 자동추적 기능을 갖는 무인항공기 및 그 제어방법을 제공하는데 있다.

본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 촬영대상 피사체를 자동으로 추적하는 무인항공기에 있어서, 상기 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 영상입력부; 상기 영상입력부를 통해 취득한 이미지를 이용하여 관심영역을 추출하고, 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식하는 물체인식부; 상기 물체인식부에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성하는 물체추적부; 상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성하는 동작인식부; 및 상기 물체추적부 및 동작인식부의 구동명령에 따라 무인항공기를 구동시키는 구동제어부;를 포함할 수 있다.

본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 상기 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며, 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 취득하는 단일의 파노라마 이미지를 이용하여 추적대상 물체를 인식할 수 있다.

상기 물체인식부는, 상기 영상입력부를 통해 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높이며, 검출된 특정영역에 대응되는 윈도우의 좌표를 설정하여 추적대상물체로 인식시킬 수 있다.

이때, 상기 추적대상 물체가 사람인 경우에 상기 특정영역은 얼굴과 상반신에 해당하는 영역일 수 있다.

상기 물체추적부는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높일 수 있는 추적기와; 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 단계별 분류알고리즘 방식을 사용하여 결정하는 검출기와; 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 상기 검출기의 성능을 개선시킬 수 있는 학습기; 및 상기 추적기와 검출기에 의한 결과를 통합하여 추적대상물체의 위치를 최종판단한 다음 해당좌표를 상기 구동제어부에 전달하는 통합기;를 구비할 수 있다.

상기 검출기에 적용된 단계별 분류알고리즘 방식은, 분산필터, 앙상블 분류기, 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 분류알고리즘방식을 사용하여 실시간 처리가 가능하게 할 수 있다.

본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 상기 물체인식부에서 인식된 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하고 추적대상 물체의 크기에 대한 변화량을 비교함으로써 추적대상물체와 무인항공기 사이에 일정한 거리를 유지시킬 수 있는 거리측정부;를 더 구비할 수 있다.

본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기는, 상기 동작인식부에서 인식한 동작모드에 대응하여 사진촬영모드에서 촬영된 이미지파일과 동영상촬영모드에서 촬영된 동영상파일이 저장되는 영상저장부;를 더 구비할 수 있다.

본 발명의 실시예에 따른 자동추적 기능을 갖는 무인항공기의 제어방법은, 촬영대상 피사체를 자동으로 추적하는 무인항공기의 제어방법에 있어서, 상기 촬영대상 피사체의 주변을 촬영하는 촬영단계; 상기 촬영단계에서 취득된 이미지로부터 얼굴영역과 상반신영역을 검출하는 특정영역 검출단계; 상기 특정영역으로 검출되는 얼굴영역과 상반신영역에 대응되는 윈도우의 좌표를 측정하여 추적대상물체로 인식하는 물체인식단계; 상기 물체인식단계에서 인식된 추적대상물체를 일정한 거리를 두고 추적할 수 있도록 무인항공기를 제어하는 물체추적단계; 상기 추적대상물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드를 판단하는 동작인식단계; 및 상기 동작인식단계에서 인식한 동작모드와 대응되게 무인항공기를 구동시키는 무인항공기 구동단계;를 포함할 수 있다.

상기 촬영대상 피사체의 주변을 촬영하는 촬영단계는, 상기 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득하는 단계; 및 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 촬영하는 단계;를 포함할 수 있다.

상기 특정영역 검출단계는, 상기 촬영단계에서 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 얼굴영역과 상반신영역에 대응되는 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높일 수 있다.

상기 물체추적단계는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높이고, 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 분산필터와 앙상블 분류기 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 단계별 분류알고리즘 방식을 사용하여 결정하며, 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 성능을 개선시킬 수 있다.

상기 물체추적단계는, 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하는 단계; 상기 스케일값을 이용하여 추적대상 물체의 크기에 대한 변화량을 감지하여 저장하는 단계; 상기 추적대상 물체의 크기 변화량을 이용하여 무인항공기의 이동좌표를 계산하는 단계; 및 상기 무인항공기의 이동좌표를 이용하여 추적대상 물체와의 거리를 일정하게 유지한 채 추적하는 단계;를 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명은, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 특정물체의 인식 및 자동추적을 가능하게 함으로써 무인항공기의 자율비행을 가능하게 하고 그로 인해 고가의 추적유도장치를 별도로 필요로 하지 않아 무인항공기의 제조원가를 절감할 수 있는 효과가 있다.

또한, 본 발명은, 무인항공기 스스로 자율주행이 가능하게 함으로써 일반 사용자들이 수동으로 조작하던 사용자용 단말기를 필요로 하지 않아 사용자의 조작미숙으로 인한 안전사고 및 기기파손을 미연에 방지할 수 있는 효과가 있다.

또한, 본 발명은, 회전시 촬영되는 다수개의 이미지를 연속적으로 이어 붙여 만든 단일의 파노라마 이미지를 이용하여 추적대상을 찾는 방법을 사용하기 때문에 연산속도 및 인식률을 향상시킬 수 있는 효과가 있다.

또한, 본 발명은, 인체의 얼굴 및 상반신을 인식한 경우 자동으로 좌표를 측정하여 추적대상물체로 특정할 수 있는 방법을 사용함으로써 사용자의 제어 없이도 자동으로 특정대상을 추적할 수 있는 무인항공기를 제공할 수 있는 효과가 있다.

또한, 본 발명은, 별도의 구성을 추가하지 않고도 단순히 무인항공기에 장착되는 카메라에 입력되는 이미지를 처리하여 물체를 특정하고 자동으로 추적할 수 있을 뿐만 아니라 제어명령을 전달할 수 있기 때문에 사용자와 무인항공기간에 편리한 인터페이스를 구현할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 무인항공기에 장착되는 카메라를 나타내기 위한 개략적인 도면이다.
도 2는 본 발명의 실시예에 따른 무인항공기의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 무인항공기의 제어방법을 나타내는 흐름도이다.
도 4는 도 3에 도시된 흐름도의 촬영단계를 설명하기 위한 순서도이다.
도 5는 이미지스티칭 기술을 설명하기 위한 개략적인 도면이다.
도 6은 도 3에 도시된 흐름도의 특정영역 검출단계와 물체인식단계를 설명하기 위한 순서도이다.
도 7은 본 발명의 실시예에 따른 물체인식부에 적용된 할라이크 특징 기법을 설명하기 위한 개략적인 도면이다.
도 8은 도 3에 도시된 흐름도의 물체추적단계를 설명하기 위한 순서도이다.
도 9는 도 8에 도시된 검출기에 적용된 단계별 분류알고리즘 방식을 설명하기 위한 순서도이다.
도 10은 도 2에 도시된 거리측정부의 동작을 설명하기 위한 순서도이다.
도 11은 도 3에 도시된 동작인식단계를 설명하기 위한 순서도이다.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 무인항공기에 장착되는 카메라를 나타내기 위한 개략적인 도면이다.

본 발명의 실시에 따른 자동추적 기능을 갖는 무인항공기는, 촬영대상 피사체를 자동으로 추적하는 무인항공기에 관한 것으로, 도 1에 도시된 바와 같이, 무인항공기(1)의 전방 및 하방에 설치되는 무인항공기 탑재용 카메라(10)가 촬영대상 피사체를 촬영하여 획득하는 영상정보를 이용하여 특정물체를 인식하고 자동추적을 할 수 있다.

여기서, 도면에는 상기 카메라(10)가 무인항공기(1)의 전방 및 하방에 장착되는 것으로 표시되었으나 이에 한정하지 않고 추적대상 및 환경에 따라 무인항공기(1)의 후방 및 상방에 장착될 수 있다.

도 2는 본 발명의 실시예에 따른 무인항공기의 구성을 나타내는 블록도이다.

도 2를 참조하여 본 발명의 실시예에 따른 무인항공기의 구성을 상세하게 설명하면 다음과 같다.

본 발명의 실시예에 따른 무인항공기(1)는, 도 2에 도시된 바와 같이, 영상입력부(100), 물체인식부(200), 물체추적부(300), 동작인식부(400), 구동제어부(500), 거리측정부(600), 및 영상저장부(700)를 포함할 수 있다.

보다 상세하게는, 상기 영상입력부(100)는, 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 수단으로서 도 1에 도시된 무인항공기 탑재용 카메라(10)를 가리킬 수 있으며, 또한, 무인항공기(1)의 종류에 따라 촬영대상 피사체의 주변영상을 취득하는 다양한 영상획득 수단을 가리킬 수 있다.

한편, 본 발명의 실시예에서는, 상기 촬영대상 피사체에 해당되는 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며, 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 취득하는 단일의 파노라마 이미지를 이용하여 추적대상 물체를 인식할 수 있다.

또한, 상기 물체인식부(200)는, 상기 영상입력부(100)를 통해 취득한 이미지를 이용하여 관심영역(Region Of Interest)을 검출하고 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식할 수 있다.

이때, 상기 물체인식부(200)는, 상기 영상입력부를 통해 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높이며, 검출된 특정영역에 대응되는 윈도우의 좌표를 설정하여 추적대상물체로 인식시킬 수 있다.

본 발명의 실시예에서와 같이, 상기 추적대상 물체가 사람인 경우에 상기 특정영역은 얼굴과 상반신에 해당하는 영역일 수 있으며, 상기 할라이크 특징과 아다부스트 학습 알고리즘은 본 발명의 실시예에 적용되는 얼굴 검출 알고리즘의 하나이다.

여기서, 상기 할라이크 특징은 얼굴 검색시 주로 사용하는 기법으로 많은 프로토타입이 존재하는데 이러한 프로토타입들은 아다부스트 학습 알고리즘에 의해서 얼굴을 잘 표현하는 것들만 사용하게 되어 효율적인 얼굴 검출이 가능할 수 있다.

또한, 상기 물체추적부(300)는, 상기 물체인식부(200)에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성할 수 있다.

이때, 상기 물체추적부(300)는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높일 수 있는 추적기(310)와, 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 단계별 분류알고리즘 방식을 사용하여 결정하는 검출기(320)와, 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 상기 검출기의 성능을 개선시킬 수 있는 학습기(330), 및 상기 추적기(310)와 검출기(320)에 의한 결과를 통합하여 추적대상물체의 위치를 최종판단한 다음 해당좌표를 상기 구동제어부(500)에 전달하는 통합기(340)를 구비할 수 있다.

또한, 상기 검출기(320)에 적용된 단계별 분류알고리즘 방식은, 분산필터(321), 앙상블 분류기(322), 및 최근접 이웃분류기(323)를 포함하는 캐스케이드 구조의 분류알고리즘방식을 사용하여 실시간 처리가 가능하게 할 수 있다.

또한, 상기 동작인식부(400)는, 상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성할 수 있으며, 상기 구동제어부(500)는, 상기 물체추적부(300) 및 동작인식부(400)에서 생성되는 구동명령에 따라 무인항공기를 구동시킬 수 있다.

이때, 상기 구동명령은, 무인항공기의 이동방향, 이동거리, 회전, 고도의 상승 및 하강, 착륙, 이륙, 카메라를 이용한 사진촬영 및 동영상촬영을 포함할 수 있다.

또한, 상기 거리측정부(600)는, 상기 물체인식부(200)에서 인식된 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하고 추적대상 물체의 크기에 대한 변화량을 비교함으로써 추적대상물체와 무인항공기 사이에 일정한 거리를 유지시킬 수 있다.

또한, 상기 영상저장부(700)는, 상기 동작인식부(400)에서 인식한 동작모드에 대응하여 사진촬영모드에서 촬영된 이미지파일과 동영상촬영모드에서 촬영된 동영상파일이 저장될 수 있다.

도 3은 본 발명의 실시예에 따른 무인항공기의 제어방법을 나타내는 흐름도이다.

도면에 도시된 바와 같이, 본 발명의 실시예에 따른 따른 자동추적 기능을 갖는 무인항공기의 제어방법은, 촬영단계(S10), 특정영역 검출단계(S20), 물체인식단계(S30), 물체추적단계(S40), 동작인식단계(S50), 및 무인항공기 구동단계(S60)를 포함할 수 있다.

먼저, 상기 촬영단계(S10)는, 촬영대상 피사체의 주변을 촬영하는 단계로서 상기 촬영대상 피사체에 해당하는 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득하는 단계, 및 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 촬영하는 단계를 포함할 수 있다.

다음으로, 상기 특정영역 검출단계(S20)는, 상기 촬영단계에서 취득된 이미지로부터 얼굴영역과 상반신영역을 검출하는 단계일 수 있다.

여기서, 상기 특정영역 검출단계(S20)는, 상기 촬영단계(S10)에서 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 얼굴영역과 상반신영역에 대응되는 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높일 수 있다.

다음으로, 상기 물체인식단계(S30)는, 상기 특정영역으로 검출되는 얼굴영역과 상반신영역에 대응되는 윈도우의 좌표를 측정하여 추적대상물체로 인식하는 단계일 수 있다.

다음으로, 상기 물체추적단계(S40)는, 상기 물체인식단계(S30)에서 인식된 추적대상물체를 일정한 거리를 두고 추적할 수 있도록 무인항공기를 제어하는 단계일 수 있다.

다음으로, 상기 동작인식단계(S50)는, 상기 추적대상물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드를 판단하는 단계일 수 있다.

다음으로, 상기 무인항공기 구동단계(S60)는, 상기 동작인식단계에서 인식한 동작모드와 대응되게 무인항공기를 구동시키는 단계일 수 있다.

도 4는 도 3에 도시된 흐름도의 촬영단계를 개략적으로 설명하기 위한 순서도이고, 도 5는 도 4에 도시된 이미지 합성에 사용된 이미지스티칭 기술을 설명하기 위한 개략적인 도면이다.

도 4 내지 도 5를 참조하여 도 3에 도시된 촬영단계(S10)를 설명하면 다음과 같다.

도 2에서 상술한 바와 같이, 본 발명의 실시예에 따른 무인항공기는, 촬영대상 피사체에 해당되는 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며, 상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 추적대상 물체를 인식할 수 있다.

즉, 일반적으로 대부분의 카메라는 FOV(Field of View)의 한계로 인해 추적하는 과정에서 촬영대상 피사체를 놓치는 경우가 종종 발생될 수 있다.

이와 같은 상황을 피하기 위하여 일반적으로 촬영대상 피사체에 해당하는 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 추적을 할 수 있다.

한편, 도면에 도시된 바와 같이, 영상입력부(100)에 입력되는 이미지를 이용하여 추적대상물체를 인식하는 물체인식부(200)가 상기 추적대상물체에 해당하는 특정영역을 검출하지 못할 경우에는 자이로센서정보를 이용(S11)하여 무인항공기를 제자리에서 회전시키면서(S12) 촬영하여 추적대상물체를 인식할 수 있다.

이때, 회전하면서 촬영된 연속이미지를 이용하여 추적대상물체에 해당하는 특정영역을 검출하려면 촬영된 모든 이미지를 이용하여 각각의 이미지내에 추적대상물체에 해당하는 특정영역이 있는지를 판단하는 과정을 필요로 한다.

여기서, 이미지수가 증가하면 증가할수록 연산량이 증가하게 되기 때문에 이를 피하기 위하여 회전하면서 촬영한 모든 이미지를 이용하여 추적대상물체를 인식하기 보다는 회전하면서 촬영된 연속이미지를 이미지 스티칭기술( 참고논문 [1] )로 이어붙여 단일의 파노라마 이미지를 생성( 참고논문 [2] )할 수 있다.

즉, 여러장의 연속이미지를 이용하기 보다는 한 장의 파노라마 이미지에서 추적대상물체에 해당하는 특정영역을 검출하는 방법을 이용하면 연산속도와 그에 따른 인식률을 높일 수 있다.

도 5는 상술한 이미지 스티칭기술을 개략적으로 설명하기 위한 것으로서, 본 발명의 실시예에 따르면, 먼저, 무인항공기가 제자리에서 회전하는 동안 자이로센서를 이용하여 일정한 회전각도를 간격으로 하고 카메라(10)로 사진을 연속 촬영하고 영상입력부(100)의 메모리(미도시)에 저장할 수 있다.

이때, 연속 촬영된 모든 이미지를 이용하여 파노라마 이미지를 생성하기 위하여 주로 사용되는 이미지 스티칭 기술을 이용하여 이미지를 합성할 수 있다.(S13)

상술한 이미지 스티칭 기술을 부연 설명하면, 연속 촬영되어 획득되는 모든 이미지에 대해서 빠른 특징점과 상기 빠른 특징점에 대한 특징 기술자를 계산한 다음, 연속 이미지들 사이의 특징 기술자들 간의 해밍거리(Hamming distance)가 가장 가까운 특징점들끼리 매칭후보로 설정하고, 매칭후보 사이의 NCC(Normalized cross correlation)와 자이로스코프 데이터를 이용하여 매칭후보의 외곽경계선을 제거하며, 매칭후보 사이의 관계를 RANSAC(RANdom SAmple Consensus)을 이용하여 호모그래피 매트릭스(Homography Matrix)를 계산하고( 참고논문[3] ), 파노라마 이미지를 생성하는데 사용되는 알파 블랜딩 알고리즘을 적용하여 이미지들을 합성할 수 있다.

도 6은 도 3에 도시된 흐름도의 특정영역 검출단계와 물체인식단계를 설명하기 위한 순서도이고, 도 7은 본 발명의 실시예에 따른 물체인식부에 적용된 할라이크 특징 기법을 설명하기 위한 개략적인 도면이다.

도 6에 도시된 바와 같이, 도 3의 특정영역 검출단계(S20)는, 영상입력부(100)에서 취득한 이미지에서 먼저 관심영역(ROI)를 추출(S21)한 다음 할라이크 특징(Haar-like feature)을 이용(S23)하여 얼굴 및 상반신 영역에 해당되는 윈도우를 검색(S24)할 수 있다.

여기서, 상기 할라이크(Haar-like feature) 특징은 단순한 특징을 갖는 두 개 이상의 인접한 사각형 영역들로 구성되며 그 값은 영역들 간의 밝기차로 정의될 수 있다.

또한, 도 3의 물체인식단계(S30)는, 상기 검색된 윈도우의 좌표를 설정하여 추적대상물체로 인식시키는 과정일 수 있는데, 도 6에 도시된 바와 같이, 물체인식을 위하여 아다부스트(Adaboost) 학습알고리즘( 참고논문[4] )을 얼굴 및 상반신 모델학습기로 만든 모델에 적용(S22)하는 과정을 거칠 수 있다.

이때, 도 2의 물체인식부(200)에서는 객체와 배경을 분류하기 위하여 분류기(Classfier)를 사용할 수 있다. 상기 분류기는 객체 샘플들(Positive)과 배경 샘플들(Negative)을 사용하여 학습시킬 수 있으며, 상술한 아다부스트 학습알고리즘을 이용할 수 있다.

상기 아다부스트 학습알고리즘은 성능이 낮은 약분류기(Weak Classifier)들을 조합하여 강분류기(Strong Classifier)를 구성하는 알고리즘으로 약분류기에 의해 옳게 판정된 샘플들의 가중치는 낮추고 잘못 판정된 샘플들의 가중치는 높이는 과정을 반복하여 강분류기를 구성할 수 있다. 이러한 과정은 강분류기의 성능이 목표에 도달할 때 까지 반복될 수 있으며, 이러한 과정을 거쳐 인식된 얼굴과 상반신영역 2가지에 해당되는 윈도우의 좌표를 측정한 후 그 해당 윈도우를 추적대상물체로 지정할 수 있다.

도 8은 도 3에 도시된 흐름도의 물체추적단계를 설명하기 위한 순서도이고, 도 9는 도 8에 도시된 검출기에 적용된 단계별 분류알고리즘 방식을 설명하기 위한 순서도이다.

도면에 도시된 바와 같이, 본 발명의 실시예에서 물체추적단계(S40)는, 확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높이고(S41), 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 분산필터와 앙상블 분류기 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 단계별 분류알고리즘 방식을 사용하여 추적대상물체의 존재여부를 결정(S42)하며, 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용(S43)하여 성능을 개선시킬 수 있다.

도면을 참조하여 본 발명의 실시예에 따른 물체추적단계(S40)를 더욱 상세하게 설명하면 다음과 같다.

본 발명의 실시예에서, 상기 물체추적단계(S40)는 TLD(Tracking Learning Detection) 학습 알고리즘 방식( 참고논문[5], 참고논문[6] )을 사용할 수 있다.

앞서 상술한 물체인식부(200)의 결과를 이용하여 추적대상물체가 검출이 되면 TLD(Tracking Learning Detection) 학습 알고리즘 방식을 이용하여 추적대상물체를 추적할 수 있다.

한편, 추적대상물체가 움직이거나 무인항공기가 움직이면, 추적대상물체에 대응되는 피사체의 사이즈(스케일) 변화와 회전각도변화, 및 위치변화가 생길 수 있으며, 또한, 상기 피사체를 바라보는 방향에 따라 피사체의 모양과 특징이 변화될 수 있다. 그렇기 때문에, TLD(Tracking Learning Detection) 학습 알고리즘 방식을 사용하였으며, TLD학습 알고리즘 방식은 기본적으로 추적기(310), 검출기(320), 학습기(330), 및 통합기(340)를 포함할 수 있다.

이때, 본 발명의 실시예에서, 상기 추적기(310)는, 미디안 필터를 사용할 수 있으나 추적성능을 높이기 위하여 확장칼만필터를 이용한 추적을 사용할 수 있다.

또한, 상기 검출기(320)는, 단계별 검출기로 구성될 수 있다.

상기 검출기(320)는, 입력되는 이미지 전체에 걸쳐 검색윈도우를 만들고, 각 검색윈도우에 대한 피사체의 존재여부를 결정할 수 있다. 초기 경계상자의 크기에 따라 입력이미지의 모든 영역을 검색하기 위한 윈도우의 수가 결정될 수 있다.

한편, 본 발명의 실시예에서는, 상기 검출기(320)가 검색윈도우에서 실시간으로 피사체의 유무를 판단하기 위하여 캐스케이드 구조를 가진 분류기를 사용할 수 있다.

즉, 분산필터(321), 앙상블 분류기(322), 및 최근접 이웃 분류기(323)를 포함하는 3단계의 단계적 분류기를 사용할 수 있으며, 도면에 도시된 바와 같이, 피사체의 존재가 검색되면 통합기(340)로 데이터를 전송하는 것을 알 수 있다.

또한, 상기 학습기(330)는, 입력되는 연속 영상에서 검출기(320)의 성능을 온라인으로 개선하기 위한 것일 수 있다.

이것은, 기존에 레이블된 데이터와 레이블되지 않은 입력 데이터를 가지고 학습을 시키는 준지도학습 알고리즘방식을 사용할 수 있다.

도면에 도시된 P-N학습기는, 두가지 타입의 패치에 의해 독립적으로 분류기 오차를 추정하고, 잘못 분류된 예제를 학습자료로 사용하여 분류기를 다시 훈련시킬 수 있다.

긍정학습패치는 연속 비디오영상에서의 시간적 구조를 활용하여 피사체가 경로를 따라 이동한다고 가정할 수 있다. 이전 프레임에서 객체의 위치를 기억하고 프레임간 추적기(310)를 이용하여 위치를 추적할 수 있다.

추적기(310)를 통한 패치의 신뢰도가 높은 경우에 유효한 경로로 판단할 수 있으며, 유효한 이동경로에 검출기(320)가 부정으로 인식하는 경우에 긍정학습 패치를 생성할 수 있고, 긍정오류를 검출하는 경우에는 부정학습 패치를 생성할 수 있다. 또한, 피사체의 위치가 유효한 이동경로상에 있는 경우에는 주위를 부정학습 패치로 만들 수 있다.

상기 통합기(340)는, 추적기(310)와 검출기(320)의 결과를 통합하여 피사체의 위치를 최종 출력한 후 해당좌표를 구동제어부(500)로 전달할 수 있다.

도 10은 도 2에 도시된 거리측정부의 동작을 설명하기 위한 순서도로서, 앞서 상술한 물체추적단계(S40)에서 추적대상물체를 일정한 거리를 두고 추적하기 위한 과정을 설명할 수 있다.

상기 물체추적단계(S40)는, 도 2의 거리측정부(600)를 이용하여 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하는 단계와, 상기 스케일값을 이용하여 추적대상 물체의 크기에 대한 변화량을 감지하여 저장하는 단계와, 상기 추적대상 물체의 크기 변화량을 이용하여 무인항공기의 이동좌표를 계산하는 단계, 및 상기 무인항공기의 이동좌표를 이용하여 추적대상 물체와의 거리를 일정하게 유지한 채 추적하는 단계를 포함할 수 있다.

보다 상세하게는, 물체인식부(200)에서 검출한 특정영역의 이미지(A)가 이미지(B)로 변하였다면 원근변환으로 이미지(B')를 생성한 후 이미지(A)의 원근변환된 이미지(A')스케일값과 이미지(B')스케일값의 비율(좌표)을 계산할 수 있다.

여기서, 기준점이 최초 좌표 이미지(A')가 되기 때문에 무인항공기는 항상 기준점에서 유지하도록 할 수 있다.

도면에 도시된 바와 같이, 이미지(A') > 이미지(B')일 경우에는 오차범위내에서 무인항공기를 이미지(A')로 근접하게 이동시키고(S44), 이미지(A') < 이미지(B')일 경우에는 오차범위내에서 무인항공기를 이미지(B')로 근접하게 이동시킬 수 있으며(S45), 이미지(A') = 이미지(B')일 경우에는 오차범위내에서 무인항공기는 현재의 위치를 유지할 수 있다.( S46)

이때, 오차범위는 무인항공기의 가로와 세로 길이, 그리고 높이의 2배가 되는 좌표는 동일한 위치라고 판단하였다.

도 11은 도 3에 도시된 동작인식단계를 설명하기 위한 순서도이다.

도면에 도시된 바와 같이, 추적대상물체에 해당되는 피사체(사용자)가 사진촬영모드, 동영상촬영모드, 및 복귀모드등 정해진 동작을 수행하면 동작인식부(400)가 각각의 모드를 판단할 수 있다.

여기서, 상기 동작인식부(400)의 판별방식은 물체추적단계(S40)에서 동일하게 사용된 방식을 사용할 수 있으며, 이에 대한 상세설명은 앞서 상술한 도 8 및 도9를 참조할 수 있다.

한편, 본 발명의 실시예에서, 사진촬영모드로 인식되면 시간관리수단(410)에서 설정된 시간이 경과된 이후에 구동제어부(500)가 영상저장부(700)를 제어하여 영상입력부(100)에서 입력된 영상을 JPEG으로 압축하여 저장할 수 있다.

또한, 동영상촬영모드로 인식되면 시간관리수단(410)에 설정된 시간만큼 동영상을 촬영하고 구동제어부(500)가 영상저장부(700)를 제어하여 영상입력부(100)에서 입력된 동영상을 압축하여 저장할 수 있다.

게다가, 복귀모드로 인식되면 먼저, 동영상 촬영중인지 검사한 이후에 무인항공기를 피사체(사용자)가 있는 곳으로 복귀시킬 수 있다.

상기와 같이, 본 발명은, 무인항공기 탑재용 카메라에 입력되는 외부영상정보를 이용하여 특정물체의 인식 및 자동추적을 가능하게 함으로써 무인항공기의 자율비행을 가능하게 하고 그로 인해 고가의 추적유도장치를 별도로 필요로 하지 않아 무인항공기의 제조원가를 절감할 수 있는 효과가 있다.

또한, 본 발명은, 무인항공기 스스로 자율주행이 가능하게 함으로써 일반 사용자들이 수동으로 조작하던 사용자용 단말기를 필요로 하지 않아 사용자의 조작미숙으로 인한 안전사고 및 기기파손을 미연에 방지할 수 있는 효과가 있다.

또한, 본 발명은, 회전시 촬영되는 다수개의 이미지를 연속적으로 이어 붙여 만든 단일의 파노라마 이미지를 이용하여 추적대상을 찾는 방법을 사용하기 때문에 연산속도 및 인식률을 향상시킬 수 있는 효과가 있다.

또한, 본 발명은, 인체의 얼굴 및 상반신을 인식한 경우 자동으로 좌표를 측정하여 추적대상물체로 특정할 수 있는 방법을 사용함으로써 사용자의 제어 없이도 자동으로 특정대상을 추적할 수 있는 무인항공기를 제공할 수 있는 효과가 있다.

또한, 본 발명은, 별도의 구성을 추가하지 않고도 단순히 무인항공기에 장착되는 카메라에 입력되는 이미지를 처리하여 물체를 특정하고 자동으로 추적할 수 있을 뿐만 아니라 제어명령을 전달할 수 있기 때문에 사용자와 무인항공기간에 편리한 인터페이스를 구현할 수 있는 효과가 있다.

지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐이며, 한정적인 것이 아님을 분명히 하고, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.

1 : 무인항공기 10 : 카메라
100 : 영상입력부 200 : 물체인식부
300 : 물체추적부 310 : 추적기
320 : 검출기 321 : 분산필터
322 : 앙상블 분류기 323 : 최근접 이웃 분류기
330 : 학습기 340 : 통합기
400 : 동작인식부 410 : 시간관리수단
500 : 구동제어부 600 : 거리측정부
700 : 영상저장부

Claims (5)

1. 촬영대상 피사체를 자동으로 추적하는 무인항공기에 있어서,
   상기 촬영대상 피사체의 주변영상에 대한 이미지를 취득하는 영상입력부;
   상기 영상입력부를 통해 취득한 이미지를 이용하여 관심영역을 추출하고, 상기 관심영역내에 위치하는 특정영역을 검출하여 좌표를 측정한 다음 상기 특정영역을 추적대상 물체로 인식하는 물체인식부;
   상기 물체인식부에서 인식한 상기 추적대상 물체를 TLD(Tracking Learning Detection) 학습 알고리즘 방식으로 위치를 산출하여 추적함과 동시에 이에 대응되게 무인항공기를 구동시키기 위한 구동명령을 생성하는 물체추적부;
   상기 추적대상 물체의 동작을 인식하여 사진 촬영모드, 동영상 촬영모드, 및 복귀모드에 대응되는 구동명령을 생성하는 동작인식부; 및
   상기 물체추적부 및 동작인식부의 각각의 구동명령에 따라 무인항공기를 구동시키는 구동제어부;를 포함하고,
   상기 물체추적부는,
   확장칼만필터를 이용하여 추적대상 물체에 대한 추적성능을 높일 수 있는 추적기와; 입력영상 전체에 대한 다수개의 검색윈도우를 생성하고 상기 각각의 검색윈도우에서 추적대상물체의 존재여부를 단계별 분류알고리즘 방식을 사용하여 결정하는 검출기와; 연속으로 입력되는 영상에서 준지도학습 알고리즘방식을 이용하여 상기 검출기의 성능을 개선시킬 수 있는 학습기; 및 상기 추적기와 검출기에 의한 결과를 통합하여 추적대상물체의 위치를 최종판단한 다음 해당좌표를 상기 구동제어부에 전달하는 통합기;를 구비하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
   
2. 제 1항에 있어서,
   상기 추적대상 물체가 이동하는 방향으로 무인항공기를 회전시키면서 상기 추적대상 물체의 주변영상에 대한 이미지를 취득할 수 있으며,
   상기 추적대상 물체를 상기 이미지에서 찾지 못하는 경우에 무인항공기를 제자리에서 회전시키면서 취득하는 단일의 파노라마 이미지를 이용하여 추적대상 물체를 인식하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
   
3. 제 1항에 있어서, 상기 물체인식부는,
   상기 영상입력부를 통해 취득한 이미지로부터 할라이크 특징(Haar-like feature)을 이용하여 특정영역을 검출하고, 아다부스트(AdaBoost)학습 알고리즘을 이용하여 검출된 특정영역의 판단율을 높이며, 검출된 특정영역에 대응되는 윈도우의 좌표를 설정하여 추적대상물체로 인식시키는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
   
4. 제 1항에 있어서, 상기 검출기에 적용된 단계별 분류알고리즘 방식은,
   분산필터, 앙상블 분류기, 및 최근접 이웃분류기를 포함하는 캐스케이드 구조의 분류알고리즘방식을 사용하여 실시간 처리가 가능하게 한 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기
   
5. 제 1항에 있어서,
   상기 물체인식부에서 인식된 추적대상 물체의 이미지데이터에 대한 스케일값을 저장하고 추적대상 물체의 크기에 대한 변화량을 비교함으로써 추적대상물체와 무인항공기 사이에 일정한 거리를 유지시킬 수 있는 거리측정부;를 더 구비하는 것을 특징으로 하는 자동추적 기능을 갖는 무인항공기

Images