KR20160098713A - 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템 - Google Patents

고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템 Download PDF

Info

Publication number
KR20160098713A
KR20160098713A KR1020150020649A KR20150020649A KR20160098713A KR 20160098713 A KR20160098713 A KR 20160098713A KR 1020150020649 A KR1020150020649 A KR 1020150020649A KR 20150020649 A KR20150020649 A KR 20150020649A KR 20160098713 A KR20160098713 A KR 20160098713A
Authority
KR
South Korea
Prior art keywords
image
screen
target
uav
user terminal
Prior art date
Application number
KR1020150020649A
Other languages
English (en)
Other versions
KR101657086B1 (ko
Inventor
박상혁
이인호
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020150020649A priority Critical patent/KR101657086B1/ko
Publication of KR20160098713A publication Critical patent/KR20160098713A/ko
Application granted granted Critical
Publication of KR101657086B1 publication Critical patent/KR101657086B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/50—Aeroplanes, Helicopters
    • B60Y2200/51—Aeroplanes
    • B64C2201/024—
    • B64C2201/127—
    • B64C2201/141—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

항공기의 위치정보와 지상 목표물의 위치 정보가 필요없이, 카메라 영상을 보고 있는 운영자의 매우 직관적인 인터페이스를 통해 임의의 지상 목표물로 항공기를 자동 유도하여 지속적인 관찰이 이루어지도록 한 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템에 관한 것으로서, 무인 항공기에 장착된 고정 카메라를 통해 획득된 영상을 수신하여 화면에 디스플레이하고, 수신한 화면에서 특정 위치가 지시되면 그 지시된 특정 위치를 목표물로 선정하고, 선정한 목표물에 대한 추적 정보를 상기 무인 항공기에 전송하는 사용자 단말기; 및 상기 사용자 단말기에 획득한 영상을 전송하고, 상기 사용자 단말기로부터 전송된 추적 정보를 기초로 상기 목표물 주위를 선회하여 목표물이 사용자 단말기의 화면 중앙에 위치하도록 비행을 제어하는 무인 항공기를 포함하여, 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템을 구현한다.

Description

고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템{Vision-based guidance of UAV equipped with a fixed camera control system}
본 발명은 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템에 관한 것으로, 특히 항공기의 위치정보와 지상 목표물의 위치 정보가 필요없이, 카메라 영상을 보고 있는 운영자의 매우 직관적인 인터페이스를 통해 임의의 지상 목표물로 항공기를 자동 유도하여 지속적인 관찰이 이루어지도록 한 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템에 관한 것이다.
일반적으로, 무인항공기의 주행을 위해서는 경로계획(Path Planing)을 설정하고, 유도가속도를 생성시켜 제어를 하게 된다. 그러나 영상기반 무인기는 카메라를 부착하여 3인칭 시점이 아닌 기체의 시야인 1인칭 시점에서 조종을 하는 FPV(First Person View)방식에 대한 관심도가 높아지는 실정이다.
통상, 무인항공기는 지상 목표물의 위치 정보를 포함하는 경로를 미리 설정하고, GPS를 이용한 항공기의 위치 정보를 기초로 유도를 하게 되며, 정확한 감시 영상 정보 추적을 위해 복잡하며 고가인 짐벌 카메라(Gimbal Camera)나 고가의 센서를 이용한다.
무인 항공기의 유도 제어를 위해서 다양한 방법이 제안되고 있으며, 하기의 <특허문헌 1> 대한민국 공개특허 공개번호 10-2011-0115271호(2011.10.21. 공개)에 개시되었다.
<특허문헌 1>에 개시된 종래기술은 각종 제어 명령을 전송함으로써 현실세계 장치를 자동 또는 수동으로 조종하는 사용자 인터페이스 장치; 상기 사용자 인터페이스 장치로부터 전송되는 각종 제어명령에 따라 위치를 이동하여 실시간 영상을 전송하는 현실세계 장치를 포함하며, 지상의 가상 인터페이스를 통해 현실세계의 장치를 조종하는 시스템을 제공한다.
대한민국 공개특허 공개번호 10-2011-0115271호(2011.10.21. 공개)
그러나 상기와 같은 일반적인 무인 항공기 유도 제어방법은 GPS를 이용한 위치 정보를 기초로 유도를 제어하게 되며, 감시 대상 추적 및 영상 획득을 위해 복잡하고 고가인 짐벌(Gimbal) 카메라 또는 고가의 센서를 이용하므로, 장치 구현이 복잡하며, 추적 장비로 인해 무게와 크기가 증가하여 상대적으로 항력이 증가해 더 많은 추력을 갖춘 복잡한 항공기가 요구되는 단점이 있다.
또한, 종래기술은 지상에서 사용자 인터페이스 장치를 통해 현실 세계 장치(예를 들어, 무인기)를 제어할 수 있는 장점은 있으나, 사용자가 인터페이스 장치에서 현실세계 장치를 조종하기 위한 방향 및 속도 정보, 그리고 위도, 경도 및 고도 정보와 같은 위치 이동 정보를 생성하고, 이를 기초로 현실세계 장치를 제어하는 방식이어서, 제어 데이터 생성 방식이 복잡하고, 특정 위치의 집중 감시를 위해서는 사용자가 지속적으로 제어 명령을 생성하여 현실 세계 장치를 제어해야하는 불편함이 있다.
따라서 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 항공기의 위치정보와 지상 목표물의 위치 정보가 필요없이, 카메라 영상을 보고 있는 운영자의 매우 직관적인 인터페이스를 통해 임의의 지상 목표물로 항공기를 자동 유도하여 지속적인 관찰이 이루어지도록 한 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 미리 경로계획을 세우지 않고 비행조종 능력 없이도 무인 항공기를 간편하게 직접 조종할 수 있도록 한 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 많은 비용과 기체에 부담이 큰 짐벌 카메라 대신 기체를 단순화하기 위해 고정 카메라(Fised Camera)를 사용하되, 무인 항공기를 효율적으로 유도 제어를 함으로써 비행을 안정화시킬 수 있는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템은 무인 항공기에 장착된 고정 카메라를 통해 획득된 영상을 수신하여 화면에 디스플레이하고, 수신한 화면에서 특정 위치가 지시되면 그 지시된 특정 위치를 목표물로 선정하고, 선정한 목표물에 대한 추적 정보를 상기 무인 항공기에 전송하는 사용자 단말기; 상기 사용자 단말기에 획득한 영상을 전송하고, 상기 사용자 단말기로부터 전송된 추적 정보를 기초로 상기 목표물 주위를 선회하여 목표물이 사용자 단말기의 화면 중앙에 위치하도록 비행을 제어하는 무인 항공기를 포함하는 것을 특징으로 한다.
상기에서 사용자 단말기는 상기 무인 항공기로부터 수신한 영상을 화면에 디스플레이하기 위한 영상 표시부; 상기 영상 표시부에 표시된 화면에서 사용자에 의해 지시되는 특정 위치를 사용자의 직관적인 인터페이스 정보로 인식하는 사용자 인터페이스부; 상기 사용자 인터페이스부에 의해 인식된 화면상의 특정 위치에 대한 픽셀 위치 정보를 목표물에 대한 추적 정보로 생성하는 추적정보 생성부를 포함하는 것을 특징으로 한다.
상기에서 사용자 인터페이스부는 마우스의 조작에 따른 화면상의 지시자의 픽셀 위치 정보를 사용자의 직관적인 인터페이스 정보로 인식하거나 터치 화면상에서 터치 되는 픽셀 위치 정보를 사용자의 직관적인 인터페이스 정보로 인식하는 것을 특징으로 한다.
상기에서 사용자 단말기는 무선 통신이 가능한 퍼스널컴퓨터, 노트북, 스마트폰, 개인정보단말기, 패드, 노트 중 적어도 어느 하나로 구현되는 것을 특징으로 한다.
상기에서 무인 항공기는 무인 항공기에 고정 장착된 카메라를 통해 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 상기 사용자 단말기로 전송토록 제어하고, 상기 사용자 단말기로부터 전송된 추적 정보를 기초로 목표물 주위를 선회하는 데 필요한 가속도 명령을 생성하고, 생성한 가속도 명령을 기초로 목표물의 영상이 화면의 중앙에 위치하도록 무인 항공기의 선회를 제어하는 항법 제어부를 포함하는 것을 특징으로 한다.
상기에서 영상 획득부는 고정 카메라를 이용하며, 상기 고정 카메라는 무인 항공기의 어느 한쪽 측면 90°방향으로, 또 날개에서 지면을 향해 30° ~ 45°방향으로 촬영 방향이 이루어지도록 설치되는 것을 특징으로 한다.
상기에서 항법 제어부는 목표물에 대한 화면상의 픽셀 위치를 기초로 카메라의 상대적인 시선 각을 계산하고, 그 계산된 시선 각을 기초로 항법을 제어하는 것을 특징으로 한다.
본 발명에 따르면 많은 비용과 기체에 부담이 큰 Gimbal Camera 대신 기체를 단순화하기 위해 Fixed Camera를 사용하여 효율적으로 무인 항공기의 유도 제어를 함으로써 비행을 안정화할 수 있는 장점이 있다.
또한, 본 발명에 따르면 지상의 사용자는 영상화면을 보면서 관심 있는 물체를 추적하기 위해 마우스 커서(또는, 터치 패널일 경우 터치)로 그 물체를 추종하기만하면, 무인 항공기는 이를 바탕으로 영상화면에 물체가 정중앙에 위치하도록 유도 제어함으로써, 사용자가 미리 경로계획을 세우지 않고 비행조종 능력 없이도 항공기를 간편하게 직접 조종할 수 있도록 도모해주는 장점이 있다.
도 1은 본 발명에 따른 고정 카메라를 장착한 무인 항공기의 유도 제어시스템의 개략 구성도,
도 2는 도 1의 사용자 단말기 및 무인 항공기의 구체적인 실시 예를 보인 블록 구성도,
도 3은 본 발명에서 카메라의 촬영된 영상 설명도,
도 4는 본 발명에서 카메라 방향을 설명하기 위한 설명도,
도 5는 본 발명에서 움직임 분석 설명도,
도 6은 본 발명에서 카메라의 수직 뷰 예시도,
도 7은 본 발명에서 선회반지름과 수평 각을 시간에 따른 그래프와 시뮬레이션에서 나온 그래프로 비교한 파형도,
도 8은 본 발명에서 시뮬레이션 화면 예시도,
도 9는 본 발명에서 수행시간 동안 영상화면의 물체와 마우스 좌표를 수평과 수직으로 나누어 표시한 그래프.
이하 본 발명의 바람직한 실시 예에 따른 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템의 개략 구성도로서, 사용자 단말기(100) 및 무인 항공기(200)를 포함한다.
상기 사용자 단말기(100)는 무인 항공기(200)에 장착된 고정 카메라를 통해 획득된 영상을 수신하여 화면에 디스플레이하고, 수신한 화면에서 특정 위치가 지시되면 그 지시된 특정 위치를 목표물로 선정하고, 선정한 목표물에 대한 추적 정보를 상기 무인 항공기(200)에 전송하는 역할을 한다.
이러한 사용자 단말기(100)는 사용자의 직관적인 인터페이스 장치로서, 무선 통신이 가능 한 퍼스널컴퓨터, 노트북, 스마트폰, 개인정보단말기, 패드, 노트 중 적어도 어느 하나로 구현될 수 있다.
상기 사용자 단말기(100)는 상기 무인 항공기(200)에 목표물의 픽셀 위치 정보를 전송하고, 상기 무인 항공기(200)로부터 송신된 영상을 수신하기 위한 통신부(130), 상기 무인 항공기(200)로부터 수신한 영상을 화면에 디스플레이하기 위한 영상 표시부(120), 상기 영상 표시부(120)에 표시된 화면에서 사용자에 의해 지시되는 특정 위치를 사용자의 직관적인 인터페이스 정보로 인식하는 사용자 인터페이스부(110), 상기 사용자 인터페이스부(110)에 의해 인식된 화면상의 특정 위치에 대한 픽셀 위치 정보를 목표물에 대한 추적 정보로 생성하는 추적정보 생성부(140)를 포함한다.
여기서 사용자 인터페이스부(110)는 마우스의 조작에 따른 화면상의 지시자의 픽셀 위치 정보를 사용자의 직관적인 인터페이스 정보로 인식하거나 터치 화면상에서 터치 되는 픽셀 위치 정보를 사용자의 직관적인 인터페이스 정보로 인식할 수 있다.
상기 무인 항공기(200)는 상기 사용자 단말기(100)에 획득한 영상을 전송하고, 상기 사용자 단말기(100)로부터 전송된 추적 정보를 기초로 상기 목표물 주위를 선회하여 목표물이 사용자 단말기(100)의 화면 중앙에 위치하도록 비행을 제어한다.
이러한 무인 항공기(200)는 상기 사용자 단말기(100)에 영상을 전송하고, 상기 사용자 단말기(100)로부터 전송된 목표물의 픽셀 위치 정보를 수신하는 통신부(220), 무인 항공기(200)에 고정 장착된 카메라를 통해 영상을 획득하는 영상 획득부(210), 상기 영상 획득부(210)에서 획득한 영상을 상기 사용자 단말기(100)로 전송토록 제어하고, 상기 사용자 단말기(100)로부터 전송된 추적 정보를 기초로 목표물에 대한 선회 경로를 생성하고, 생성한 선회 경로에 따라 목표물의 영상이 화면의 중앙에 위치하도록 무인 항공기의 선회를 제어하는 항법 제어부(230)를 포함한다.
상기 영상 획득부(210)는 고정 카메라를 이용하며, 상기 고정 카메라는 무인 항공기의 머리에서 어느 한쪽 측면 90°방향으로, 또 날개에서 지면을 향해 30° ~ 45°방향으로 촬영 방향이 이루어지도록 설치되는 것이 바람직하다.
아울러 상기 항법 제어부(230)는 목표물에 대한 화면상의 픽셀 위치를 기초로 카메라의 상대적인 시선 각을 계산하고, 그 계산된 시선 각을 기초로 항법을 제어하는 것이 바람직하다.
이와 같이 구성된 본 발명의 바람직한 실시 예에 따른 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템을 구체적으로 설명하면 다음과 같다.
먼저, 사용자 단말기(100)와 무인 항공기(200) 간에 통신이 연결된 상태에서, 무인 항공기(200)는 실시간으로 지상을 촬영하여 영상을 획득하고, 획득한 영상 데이터를 사용자 단말기(100)로 전송한다.
여기서 본 발명에서는 영상 촬영을 위해 고정 카메라를 이용한다. 실제 Gimbal Camera나 다른 센서를 항공기에 부착하면 영상화면 안에서 물체를 추적하는 데 좀 더 손쉽게 할 수 있다. 그러나 이러한 Gimbal Camera나 다른 센서들을 이용할 경우, 항공기에 장착하는 장비가 많아져 무게와 크기가 증가하게 되고, 이는 항력 증가를 수반하여 결론적으로 더 많은 추력을 갖춘 복잡한 항공기를 요구하게 된다. 이에 반해 고정 카메라와 같이 가볍고 간단한 장비를 활용하면 비용도 절감하고 기체에 큰 부담이 가지않는 단순한 구조로 설계할 수 있는 장점이 있다.
따라서 본 발명에서는 Fixed Camera를 사용하였다. 카메라를 항공기에 고정하면 영상을 보고 항공기의 자세를 변화시키는 것이 효율적이지만 항공기가 안정적으로 비행을 해야 영상이 흔들리지 않아 물체를 가리킬 수 있으므로 효율적인 자동제어가 필요하다. 또한, 카메라의 부착 위치가 중요한 변수가 된다. 본 발명에서는 카메라 방향을 항공기 머리에서 어느 한쪽 측면 90°방향으로, 또 날개에서 지면을 향해 30°~ 45°로 장착하였다. 도 3과 같이 영상의 정중앙 점이 카메라 방향이 되면서 정중앙 점과 떨어진 화면상의 거리는 각도가 되고 각 수평, 수직 성분
Figure pat00001
(Horizontal angle, Vertical angle)를 얻을 수 있다. 이 두 각을 적절하게 이용하여 물체가 영상의 중앙에 위치하도록 항법을 제어한다. 항법을 제어하는 구체적인 실시 예는 추후 설명하기로 한다.
한편, 사용자 단말기(100)의 통신부(130)는 무인 항공기(200)로부터 실시간으로 전송되는 영상 데이터를 수신하여 영상 표시부(120)에 전달하게 되고, 영상 표시부(120)는 그 수신한 영상 데이터를 화면에 디스플레이한다.
지상의 사용자는 사용자 단말기(100)의 영상 표시부(120)에 디스플레이되는 영상을 보고 물체를 인식한다. 인식된 물체 중 특정 물체를 목표물로 선정하여 지속적으로 관찰하고자 하면, 사용자 인터페이스기인 마우스를 이용하여 화면상에 표시된 특정 물체를 선택한다. 화면상의 특정 물체는 곧 특정 위치가 되고, 이러한 특정 위치는 화면상의 픽셀 위치가 된다. 여기서 사용자 인터페이스기로 마우스 대신에 영상 표시부(120)가 터치 패널로 이루어진 경우에는 사용자가 화면의 특정 위치를 터치하는 것만으로 감시하고자 하는 목표물을 선택할 수 있다.
도 1에서 참조부호 10은 사용자가 마우스 또는 터치를 통해 선택한 물체이며, 이러한 물체가 감시하고자 하는 목표물이 된다.
마우스 또는 터치 패널을 통해 화면의 특정 위치가 선택되면, 사용자 인터페이스부(110)는 특정 위치를 사용자의 직관적인 인터페이스 정보로 하여 화면상의 픽셀 위치 정보를 생성하여 추적 정보 생성부(140)에 전달한다.
상기 추적 정보 생성부(140)는 전달되는 픽셀 위치 정보를 추적하고자 하는 목표물에 대한 추적 정보로 하여, 상기 통신부(130)를 통해 무인 항공기(200)에 전송한다.
무인 항공기(200)의 항법 제어부(230)는 상기 사용자 단말기(100)로부터 수신한 픽셀 위치 정보를 입력 값으로 하여, 상기 목표물(10)이 화면(201)의 중심에 위치하도록 무인 항공기(200)의 선회를 위한 가속도를 제어하게 된다.
여기서 선회를 위한 가속도를 결정하는 방식을 구체적으로 설명하면 다음과 같다.
먼저, 무인 항공기(200)는 균형 선회(Coordinated Turn)를 한다고 가정을 한다. 주지한 바와 같이, 물체를 인식한 무인 항공기(200)는 물체 근처로 가기 위해 방향 변화를 해야 한다. 그러기 위해서는 진행방향에 수직으로 가속도가 필요하게 되고 물체 근처에서는 원으로 선회를 하는 가속도가 필요하다. 결론적으로 항공기가 선회하기 위해서는 하기의 [수학식 1]로 표현되는 구심가속도(a)가 있어야된다.
Figure pat00002
무인 항공기(200)를 지배하는 가속도는 구심가속도가 되고 구심가속도를 어떻게 하냐에 따라 선회 경로가 결정된다.
본 발명에서는 무인 항공기(200의 선회 경로를 결정하기 위해, 하기의 [수학식 2]와 같은 유도 가속도(구심가속도)를 설정하였다.
Figure pat00003
여기서
Figure pat00004
값은 제어변수로 지정한다.
도 3과 같이 카메라 방향은 무인 항공기 진행방향과 수직이므로 물체가 영상의 중앙에 놓여야 원 궤적으로 항공기가 움직이게 되고 그때의 속도가 원운동의 접선 속도가 된다. 물체가 항공기보다 뒤쪽에 있으면 물체가 존재하는 방향으로 회전하는 각이 커져야 급선회를 하여 영상에서 물체가 벗어나지 않고 지속적으로 관찰을 할 수 있다. 이때
Figure pat00005
항의 부호를
Figure pat00006
항과 같게 만들어 전체 가속도의 절대 값을 증가시켜
Figure pat00007
(yawing angle)과
Figure pat00008
(roll angle)을 증가한다. 물체가 항공기보다 앞에 있으면 각 항의 부호는 다르게 되어 가속도의 절대 값이 작아져 선회를 천천히 하게 된다.
Figure pat00009
가 0으로 수렴하면 항공기 진행방향과 항공기와 물체 사이의 거리가 수직임을 의미하게 되므로 구심가속도항만 남게 된다.
도 6과 같이 카메라 영상에서 수평초점을 맞추었으면 수직초점
Figure pat00010
가 남는다.
Figure pat00011
를 0으로 수렴시키기 위해서 간단히 항공기의 고도를 움직이게 함으로써 맞출 수 있다. 이는 가속도를 사용하지 않고
Figure pat00012
에 비례해 Pitch Angle(
Figure pat00013
)을 움직여
Figure pat00014
가 0이 되도록 맞추면 된다.
다음으로, 항공기의
Figure pat00015
(yawing angle)과
Figure pat00016
(roll angle)은 구심가속도를 활용하여 하기의 [수학식 3]과 같이 구할 수 있다.
Figure pat00017
Figure pat00018
의 시간에 대한 미분 값을 상기 [수학식 3]으로 구하고 각속도를 적분하면
Figure pat00019
을 구할 수 있다.
상기
Figure pat00020
은 도 5처럼 양력과 중력, 구심력관계에 의해서 하기의 [수학식4] 내지 [수학식6]과 같이 구할 수 있다.
Figure pat00021
Figure pat00022
Figure pat00023
Figure pat00024
과
Figure pat00025
은 모두 가속도를 알면 구할 수 있다.
도 8에서 보는 것과 같이 항공기 heading 방향과 카메라의 방향은 항상 직각이므로 하기의 [수학식7]과 같이 나타낼 수 있다.
Figure pat00026
항공기에 작용하는 가속도는 속력의 변화는 없고 방향의 변화만 있으므로 하기의 [수학식8]과 같이 나타낼 수 있다.
Figure pat00027
여기서
Figure pat00028
로 나타낼 수 있고,
Figure pat00029
는 일정하기 때문에
Figure pat00030
의 변화량이 곧
Figure pat00031
의 변화량이 되다.
Figure pat00032
의 변화는 도 6에서 보는 것과 같이 무인 항공기의 속도와 각도로 표현을 하고 선형화시켜주면 하기의 [수학식9]와 같다.
Figure pat00033
즉, 선회반지름의 변화량은 무인 항공기 속도에서 카메라상의
Figure pat00034
만큼 변화하게 된다. 만약
Figure pat00035
의 변화가 없으면 반지름의 변화량 또한 없어져 무인항공기는 일정한 반지름을 갖고 원운동을 하게 된다. 무인 항공기는 물체를 중심점으로 원운동을 해
Figure pat00036
과 속도, 각도로 표현을 하면 [수학식10]과 같다.
Figure pat00037
여기서도 마찬가지로
Figure pat00038
가 수렴하면서 항공기 속도가 일정하기 때문에 각속도의 변화량도 없다.
상기 [수학식9]를 한 번 더 미분하여 가속도를 구하면 하기의 [수학식11]과 같다.
Figure pat00039
Figure pat00040
의 값이 작으면
Figure pat00041
가 되므로 선형화시키면 [수학식12]와 같다.
Figure pat00042
같은 방법으로
Figure pat00043
에 대해서도 이차 미분방정식을 하기의 [수학식13]과 같이 도출해 낼 수 있다.
Figure pat00044
항공기의 속도는 일정하고 상기 [수학식8]을 한 번 더 미분을 하면 하기 [수학식14]와 같이 나타낼 수 있다.
Figure pat00045
또한, 상기 [수학식10]을 미분하면 하기 [수학식15]와 같이 나타낼 수 있다.
Figure pat00046
Figure pat00047
따라서 상기 [수학식14] 및 [수학식15]를 상기 [수학식13]에 대입하여
Figure pat00048
으로 유도를 하면, 하기의 [수학식16]과 같다.
Figure pat00049
상기 [수학식12]와 [수학식16]는 2차 미분방정식이므로
Figure pat00050
과
Figure pat00051
를 시간에 따른 그래프와 simulation에서 나온 그래프와 비교를 하면 도 7과 같다.
상기와 같은 과정으로 사용자 단말기(100)로부터 전송된 픽셀 위치 정보를 입력 값(제어 변수)으로 하여, 구심가속도인 유도가속도로 산출하고, 이를 이용하여 항법 제어부(230)에서 무인항공기의 선회를 위한 가속도를 결정하고, 무인 항공기(200)의 유도를 제어함으로써, 목표물(10)의 영상이 화면(201)의 중앙(202)에 오도록 유도 제어를 할 수 있게 된다. 여기서 유도 제어는 일반적인 무인 항공기나 항공기에서 사용하는 유도 제어 방식을 그대로 채택하여 사용하므로, 그에 대한 구체적인 설명은 생략하도록 한다.
본 발명자는 상기와 같이 사용자가 사용자 단말기에 디스플레이되는 영상을 보고, 간단히 물체를 선택하는 것만으로 무인 항공기가 지속적으로 선택한 물체를 선회하면서 영상을 획득하는 과정을 시뮬레이션하였다.
시뮬레이션 조건으로, 무인 항공기의 속도는 바람이 없는 조건에서 10m/s로 일정하고 선회 반경은 100m, 초기고도는 150m로 설정하였다. Matlab을 활용하여 먼저 기체 모형을 모델링하고 이후에 항공기의 자동 유도 제어기를 설계하여 안정화를 이루는 Inner Loop Controller를 구성하였다. 마지막으로 영상화면을 표현하여 마우스 입력으로 항공기를 유도 제어할 수 있는 Guidance Controller까지 구성하여 Simulation을 실시하였다.
도 8이 Simulation화면이다. 왼쪽 화면은 3인칭 관점에서 비행기를 바라보았을 때이고, 오른쪽 화면은 카메라 영상을 구현한 것으로 사용자가 지상에서 제어해야할 화면이다. 물체는 빨간색과 파랑 색으로 두 개의 물체를 두었고 사용자는 자신이 원하는 물체에 마우스 커서를 위치시키기만 하면 항공기는 그 물체를 중심으로 하여 선회비행을 하게 된다.
도 9는 수행 시간 동안 영상화면의 물체와 마우스 좌표를 수평과 수직으로 나누어 그래프로 표현한 것이다. 마우스를 계속해서 물체 위에 위치시키면 화면 중심으로 수렴하는 것을 보여준다.
이러한 본 발명에 따르면 설정한 구심가속도를 이용하면 카메라로 물체의 지속적인 관찰과 추적을 할 수가 있기 때문에 항공기를 직접 운전하지 않아도 되므로 1인칭 관점에서 모든 사람들이 누구나 손쉽게 항공기를 이용할 수 있게 된다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
본 발명은 무인 항공기를 이용하여 목표물을 지속적으로 선회하면서 감시할 수 있는 기술에 효과적으로 적용된다. 특히, 항공 수색, 감시, 정찰 등의 임무에 유용하게 활용할 수 있다.
100: 사용자 단말기
110: 사용자 인터페이스부
120: 영상 표시부
130: 통신부
140: 추적정보 생성부
200: 무인 항공기
210: 영상 획득부
220: 통신부
230: 항법 제어부

Claims (7)

  1. 무인 항공기에 장착된 고정 카메라를 통해 획득된 영상을 수신하여 화면에 디스플레이하고, 수신한 화면에서 특정 위치가 지시되면 그 지시된 특정 위치를 목표물로 선정하고, 선정한 목표물에 대한 추적 정보를 상기 무인 항공기에 전송하는 사용자 단말기; 및
    상기 사용자 단말기에 획득한 영상을 전송하고, 상기 사용자 단말기로부터 전송된 추적 정보를 기초로 상기 목표물 주위를 선회하여 목표물이 사용자 단말기의 화면 중앙에 위치하도록 비행을 제어하는 무인 항공기를 포함하는 것을 특징으로 하는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템.
  2. 청구항 1에 있어서, 상기 사용자 단말기는 상기 무인 항공기로부터 수신한 영상을 화면에 디스플레이하기 위한 영상 표시부; 상기 영상 표시부에 표시된 화면에서 사용자에 의해 지시되는 특정 위치를 사용자의 직관적인 인터페이스 정보로 인식하는 사용자 인터페이스부; 상기 사용자 인터페이스부에 의해 인식된 화면상의 특정 위치에 대한 픽셀 위치 정보를 목표물에 대한 추적 정보로 생성하는 추적정보 생성부를 포함하는 것을 특징으로 하는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템.
  3. 청구항 2에 있어서, 상기 사용자 인터페이스부는 마우스의 조작에 따른 화면상의 지시자의 픽셀 위치 정보를 사용자의 직관적인 인터페이스 정보로 인식하거나 터치 화면상에서 터치 되는 픽셀 위치 정보를 사용자의 직관적인 인터페이스 정보로 인식하는 것을 특징으로 하는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템.
  4. 청구항 1 또는 청구항 2에 있어서, 상기 사용자 단말기는 무선 통신이 가능한 퍼스널컴퓨터, 노트북, 스마트폰, 개인정보단말기, 패드, 노트 중 적어도 어느 하나로 구현되는 것을 특징으로 하는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템.
  5. 청구항 1에 있어서, 상기 무인 항공기는 무인 항공기에 고정 장착된 카메라를 통해 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 상기 사용자 단말기로 전송토록 제어하고, 상기 사용자 단말기로부터 전송된 추적 정보를 기초로 목표물 주위로 선회하기 위한 가속도 명령을 생성하고, 생성한 가속도 명령을 기초로 목표물의 영상이 화면의 중앙에 위치하도록 무인 항공기의 선회를 제어하는 항법 제어부를 포함하는 것을 특징으로 하는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템.
  6. 청구항 5에 있어서, 상기 영상 획득부는 고정 카메라를 이용하며, 상기 고정 카메라는 무인 항공기의 머리에서 어느 한쪽 날개방향으로 90°, 또 날개에서 지면을 향해 30°~ 45°방향으로 촬영 방향이 이루어지도록 설치되는 것을 특징으로 하는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템.
  7. 청구항 5에 있어서, 상기 항법 제어부는 목표물에 대한 화면상의 픽셀 위치를 기초로 카메라의 상대적인 시선 각을 계산하고, 그 계산된 시선 각을 기초로 항법을 제어하는 것을 특징으로 하는 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템.



KR1020150020649A 2015-02-11 2015-02-11 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템 KR101657086B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150020649A KR101657086B1 (ko) 2015-02-11 2015-02-11 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150020649A KR101657086B1 (ko) 2015-02-11 2015-02-11 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템

Publications (2)

Publication Number Publication Date
KR20160098713A true KR20160098713A (ko) 2016-08-19
KR101657086B1 KR101657086B1 (ko) 2016-09-19

Family

ID=56874802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020649A KR101657086B1 (ko) 2015-02-11 2015-02-11 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템

Country Status (1)

Country Link
KR (1) KR101657086B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106586011A (zh) * 2016-12-12 2017-04-26 高域（北京）智能科技研究院有限公司 航拍无人飞行器的对准方法及其航拍无人飞行器
CN109688374A (zh) * 2018-12-12 2019-04-26 深圳慧源创新科技有限公司 无人机双路图传分屏显示技术
CN109814603A (zh) * 2017-11-22 2019-05-28 深圳市科比特航空科技有限公司 一种应用于无人机的追踪***及无人机
CN109947123A (zh) * 2019-02-27 2019-06-28 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977172B1 (ko) 2017-07-04 2019-05-10 주식회사 한화 다중화 로직 기반 락스텝 실행 장치 및 방법
KR102122755B1 (ko) 2019-10-23 2020-06-15 주식회사 네스앤텍 화면 터치 방식을 이용하는 짐벌 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842104B1 (ko) * 2007-06-15 2008-06-30 주식회사 대한항공 Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법
KR20100053220A (ko) * 2008-11-12 2010-05-20 주식회사 대한항공 무인항공기 자동회수 유도 제어 방법
KR100985195B1 (ko) * 2010-01-21 2010-10-05 한국항공우주산업 주식회사 영상기반 자동 이착륙 시스템
KR20110115271A (ko) 2010-04-15 2011-10-21 건국대학교 산학협력단 사용자 인터페이스를 이용한 현실세계 장치 조종 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100842104B1 (ko) * 2007-06-15 2008-06-30 주식회사 대한항공 Ａｄｓ―ｂ와 영상정보를 이용한 무인항공기의 자동 착륙유도 제어 방법
KR20100053220A (ko) * 2008-11-12 2010-05-20 주식회사 대한항공 무인항공기 자동회수 유도 제어 방법
KR100985195B1 (ko) * 2010-01-21 2010-10-05 한국항공우주산업 주식회사 영상기반 자동 이착륙 시스템
KR20110115271A (ko) 2010-04-15 2011-10-21 건국대학교 산학협력단 사용자 인터페이스를 이용한 현실세계 장치 조종 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106586011A (zh) * 2016-12-12 2017-04-26 高域（北京）智能科技研究院有限公司 航拍无人飞行器的对准方法及其航拍无人飞行器
CN109814603A (zh) * 2017-11-22 2019-05-28 深圳市科比特航空科技有限公司 一种应用于无人机的追踪***及无人机
CN109688374A (zh) * 2018-12-12 2019-04-26 深圳慧源创新科技有限公司 无人机双路图传分屏显示技术
CN109947123A (zh) * 2019-02-27 2019-06-28 南京航空航天大学 一种基于视线导引律的无人机路径跟踪与自主避障方法

Also Published As

Publication number Publication date
KR101657086B1 (ko) 2016-09-19

Similar Documents

Publication Publication Date Title
KR101657086B1 (ko) 고정 카메라를 장착한 무인 항공기의 영상기반 유도 제어시스템
US20240118701A1 (en) Systems and methods for controlling an unmanned aerial vehicle
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US20210116944A1 (en) Systems and methods for uav path planning and control
CN110692027B (zh) 用于提供无人机应用的易用的释放和自动定位的***和方法
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
EP2413096B1 (en) Ground-based videometrics guiding method for aircraft landing or unmanned aerial vehicles recovery
EP3060966B1 (en) Systems and methods for target tracking
US8005257B2 (en) Gesture recognition apparatus and method
US20140313332A1 (en) Control device, control method, and computer program
JP2017503226A5 (ko)
US20220137647A1 (en) System and method for operating a movable object based on human body indications
CN205692054U (zh) 一种头部运动监测的无线巡线机
US10429834B2 (en) Control interface for UxV
EP3288828B1 (en) Unmanned aerial vehicle system and method for controlling an unmanned aerial vehicle
CN113677412A (zh) 信息处理装置、信息处理方法和程序
CN114897935A (zh) 基于虚拟相机的无人机对空中目标物的追踪方法及***
Sedlmajer et al. Effective Remote Drone Control using Augmented Virtuality.
KR20180060403A (ko) 영상 기반의 드론 제어장치
Fan et al. Visual Path Following Method for Quadrotors Based on Structured Edge Detection
Brenner et al. Landing Simulated Unmanned Aerial Vehicles With Proxy Manipulation Gestures

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4