KR20170090888A - Hmd를 이용한 무인기 조종 장치 - Google Patents
Hmd를 이용한 무인기 조종 장치 Download PDFInfo
- Publication number
- KR20170090888A KR20170090888A KR1020160011833A KR20160011833A KR20170090888A KR 20170090888 A KR20170090888 A KR 20170090888A KR 1020160011833 A KR1020160011833 A KR 1020160011833A KR 20160011833 A KR20160011833 A KR 20160011833A KR 20170090888 A KR20170090888 A KR 20170090888A
- Authority
- KR
- South Korea
- Prior art keywords
- uav
- user
- head
- module
- hmd
- Prior art date
Links
- 230000004424 eye movement Effects 0.000 claims abstract description 8
- 230000004886 head movement Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 abstract description 5
- 210000003128 head Anatomy 0.000 description 23
- 238000001514 detection method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C27/00—Rotorcraft; Rotors peculiar thereto
- B64C27/04—Helicopters
- B64C27/08—Helicopters with two or more rotors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- B64C2201/127—
-
- B64C2201/146—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Instrument Panels (AREA)
Abstract
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기를 조종할 수 있다. 사용자는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기에 대한 제어를 세분화할 수 있다. 또한, 사용자의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기에 다양한 제어 명령을 전달할 수 있다.
Description
본 발명은 무인기 조종에 관한 기술로서, 보다 상세하게는 시선추적 기능을 이용한 무인기 조종 기술에 관한 것이다.
무인기(Unmanned Aerial Vehicle, UAV) 관련 기술이 빠르게 발전하면서, 종래에는 정찰용 또는 전투용과 같은 특수한 환경에서 및 특수한 용도로만 사용되던 무인기가 다양한 용도로 활용되고 있다. 특히, 드론으로 대변되는 무인항공기는 현재 누구나 손쉽게 즐길 수 있는 레저용으로 탈바꿈하여 돌풍을 일으키고 있다. 이와 같은 추세에 발맞추어 소형의 제품부터 고가의 장비를 장착할 수 있는 전문가용까지 다양한 무인기(드론) 제품이 출시되는 등 관련시장이 급성장 하고 있다. 이와 같은 무인기는 일반적으로 널리 사용되는 RC 조종기를 통해 조종되거나, 기타 스마트 디바이스를 통해 조종되는 등 다양한 조종방법이 활용되고 있다.
하지만, 저가형 무인기 조종기의 경우 콘트롤 레버를 이용한 미세한 조종이 필요해 무인기 조종이 쉽지 않다는 문제가 있다. 또한, 스마트폰과 같은 스마트 디바이스 기반 조종앱을 사용하는 경우 조종하기 상대적으로 용이하나 여전히 방향 전환 등에 있어, 좌/우 패드를 적절히 활용할 수 있도록 훈련이 되어 있지 않으면 조종하기 어려운 단점이 있다.
본 발명이 해결하고자 하는 과제는 시선추적 기능 및 무인기 조종 기능이 탑재된 헤드마운트 디스플레이(Head Mounted Display, 이하 HMD)를 사용하여 직관적으로 무인기를 제어할 수 있는 무인기 조종 장치를 제공하는 것이다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기를 조종할 수 있다. 사용자는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기에 대한 제어를 세분화할 수 있다. 또한, 사용자의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기에 다양한 제어 명령을 전달할 수 있다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 무인기로부터 수신된 영상 정보 및 항법 정보를 헤드 마운트 디스플레이(HMD)를 통해 표시하는 영상 처리 모듈, 사용자의 머리 움직임을 검출하는 머리 회전 산출 모듈, 사용자의 눈의 움직임을 검출하는 시선추적 인터페이스 모듈 및 사용자의 머리 회전 및 눈의 움직임에 따른 시선 이벤트를 확인하고, 확인된 시선 이벤트와 대응하는 제어 명령을 무인기로 전달하는 동작 기능 모듈을 포함한다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 시선추적 기반의 무인기 조종을 통해 보다 직관적이고 편리하게 무인기를 조종할 수 있도록 지원한다. 이와 같이, 무인기 조종을 위한 인터페이스를 보다 사용하기 용이하게 함으로써 무인기 보급의 확산 속도를 가속화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)를 이용한 조종 환경을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 화면을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 화면을 나타내는 도면이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)를 이용한 조종 환경을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)는 별도의 조종 장치 없이 HMD를 이용하여 직관적으로 무인기를 조종한다. 종래의 무인기 조종은 화면에 표시된 무인기의 운행 화면을 통해 무인기의 움직임을 확인하며 조종기를 통해 무인기를 조종해야 한다. 이 경우, 별도의 조종기를 필요로 하며 콘트롤 레버를 이용한 미세 조종이 어려워 무인기 조종이 쉽지 않다. 스마트 디바이스를 통해 운행 화면과 터치스크린 인터페이스를 제공받는 경우, 하나의 장치로 조종이 가능하지만, 터치스크린을 이용한 조작은 조각 난이도가 높으며 세세한 조작이 쉽지 않다.
반면에, 본 발명의 일 실시에에 따른 HMD를 이용한 무인기 조종 장치(100)는 헤드 마운트 디스플레이(HMD)를 통해 운행 화면을 확인하고, 머리의 움직임과 시선추적을 통해 직관적으로 무인기(10)를 조종할 수 있다. 사용자(20)는 화면을 통해 확인된 운행 화면에 따라 머리를 상하좌우로 움직여 무인기(10)를 제어한다. 이 때, 머리의 회전 각도, 회전 속도 및 가속도에 따라 무인기(10)에 대한 제어를 세분화할 수 있다. 또한, 사용자(20)의 눈 움직임에 기반한 시선추적을 통해 다양한 시선 이벤트를 발생시켜 무인기(10)에 다양한 제어 명령을 전달할 수 있다.
이를 통해, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 사용자에게 무인기(10) 조종을 위한 직관적인 인터페이스를 제공할 수 있으며, 별도의 조종기를 구비해야 하는 불편함을 해소할 수 있다.
도 2는 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 구성도이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기 통신 모듈(110), 영상 처리 모듈(120), 머리 회전 산출 모듈(130), 무인기 모션 산출 모듈(140), 시선추적 인터페이스 모듈(150), 관심 지점 검출 모듈(160) 및 동작 기능 모듈(170)을 포함한다. 그리고 시선추적 인터페이스 모듈(150)은 사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152), 사용자 시선정보 산출 모듈(153) 및 시선 이벤트 검출 모듈(154)을 포함한다.
무인기 통신 모듈(110)은 무선 통신 인터페이스를 구비하며, 무인기(10)로부터 항법 정보 및 영상 정보를 수신한다. 항법 정보는 비행중인 무인기(10)의 항법과 관련된 정보이다. 항법 정보는 자이로 스코프를 통해 측정된 무인기(10)의 자세 정보 및 GPS를 통해 측정된 무인기(10)의 위치 정보를 포함하며, 기타 항법 관련 정보를 포함한다. 그리고 영상 정보는 HMD에 디스플레이 하기 위한 영상으로, 무인기(10)에 탑재된 영상 촬영 장치를 통해 촬영된 영상 정보이다. 본 발명에서 영상 정보는 HMD에 디스플레이되어 무인기(10)를 조종하는데 사용되기 때문에, 수신되는 영상 정보는 무인기 전방을 촬영한 영상일 수 있다.
영상 처리 모듈(120)은 수신된 영상 정보를 디코딩하고, 디코딩된 영상을 HMD에 디스플레이 한다. 사용자는 HMD에 디스플레이된 영상을 통해 무인기(10)의 운행을 파악하여, 이를 기반으로 무인기(10)를 제어한다. 그리고 영상 처리 모듈(120)은 수신된 항법 정보를 영상과 함께 HMD에 디스플레이하여 사용자에게 무인기(10)의 항법 상태에 대한 정보를 제공한다. 사용자는 이를 통해 현재 비행중인 무인기(10)의 속도, 위치 좌표 및 자세를 확인할 수 있다.
머리 회전 산출 모듈(130)은 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)를 착용한 사용자(20)의 머리 움직임(머리 회전, 상하 움직임, 머리 회전 각도, 머리 회전 속도 및 머리 회전 가속도)를 산출한다. 즉, 머리 회전 산출 모듈(130)은 가속도 센서 및 자이로 센서를 장착하여 사용자 머리의 회전 각도 및 속도를 실시간으로 감지한다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 사용자(20)의 머리 움직임을 산출하여, 이를 무인기(10)를 조종하는 제어 신호를 사용한다. 사용자는 디스플레이된 영상 및 항법 정보에 기초하여, 머리를 움직여 무인기(10)를 제어한다. 사용자가 영상을 보면서 원하는 방향으로 머리를 움직이면, 사용자의 머리 움직임에 따라 무인기(10)의 회전 방향, 회전각, 속도를 계산해 동작 기능 모듈(170) 및 무인기 통신 모듈(110)을 통해 무인기에 전달하고, 무인기는 수신된 제어 신호를 기반으로 사용자가 원하는 방향으로 회전 비행을 수행할 수 있다.
따라서, 좌/우로 사용자(20)가 원하는 각도만큼 머리를 회전시킴으로써 무인기를 회전 비행시키는 것이 가능하다. 또한, 사용자의 머리를 일정 시간 이상 위로 들거나 아래로 내리면 무인기(10)가 위로 혹은 아래로 비행하도록 직관적으로 조종이 가능하다. 이를 통해, 본 발명에 따른 HMD를 이용한 무인기 조종 장치는 별도의 조종 장치를 사용자가 파지하고 손을 사용하여 조종 장치를 움직이는 것인 아니라, 사용자(20)의 직관적인 움직임을 통해 무인기(10)를 제어할 수 있다.
사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152), 사용자 시선정보 산출 모듈(153) 및 시선 이벤트 검출 모듈(154)을 통해 사용자(20)는 눈 움직임에 기초하여 무인기(10)를 조종할 수 있다. 산출된 시선정보를 이용하여 비행을 위한 목적지 혹은 경유지를 설정할 수 있다.
사용자 눈 촬영 모듈(151) 및 시선정보 산출 조명 모듈(152)의 지원 하에 사용자 시선정보 산출 모듈(153)은 사용자의 시선추적을 수행한다. 그리고 시선 이벤트 검출 모듈(154)은 시선추적 결과에 따라 시선 이벤트를 검출한다. 예를 들어, 비행을 하다가 사용자(20)가 윙크를 2번 수행하면, 사용자 눈 촬영 모듈(151), 시선정보 산출 조명 모듈(152) 및 사용자 시선정보 산출 모듈(153)은 사용자(20)가 수행한 윙크 2번을 인식하고, 시선 이벤트 검출 모듈(154)은 윙크 2번을 시선 이벤트로 판단하여, 해당 시선 이벤트에 대응하는 제어 신호를 동작 기능 모듈(170)로 전달한다.
또한, 사용자 시선정보 산출 모듈(153)은 사용자 눈 촬영 모듈(151) 및 시선정보 산출 조명 모듈(152)을 지원 하에, HMD로 재생되는 영상 화면에서 사용자의 시선이 향하는 지점의 위치를 산출하여 이를 시선 이벤트 검출 모듈(154)로 전달한다. 시선 이벤트 검출 모듈(154)은 사용자의 시선이 향하는 위치 좌표를 시선 이벤트로 판단하여 대응하는 제어 신호를 전달할 수 있다.
예를 들어, 사용자(20)가 윙크를 2번 수행(시선이벤트)하고, 관심 있는 지점을 응시하면, 동작 기능 모듈(170)은 이에 대응하는 제어 신호를 무인기(10)로 전달하고, 무인기(10)는 해당 지점으로 접근 비행을 수행한다. 그리고 다시 윙크를 2번 수행하면 접근 비행을 해지시킨다. 또한, 관심 영역응 응시하고 윙크를 1번 수행하면(시선이벤트), 해당 영역이 사진 촬영되면서 확대하여 보여주고 다시 윙크를 1번 수행하면 축소되면서 원래 상태로 돌아올 수 있다. 또한, 비행시 특정 시간 이상 응시한 영역들에 대해 관심 지점 검출 모듈(160)은 이를 관심 영역으로 따로 수집하여 비주얼 로그 파일로 정리하여 저장할 수 있다. 사용자(20)의 눈의 모션 및 시선에 기초한 시선 이벤트를 이용하여 무인기(10)를 제어하는 방법에서, 시선이벤트에 대응하는 제어 신호는 사용자의 편의에 따라 자유롭게 설정이 가능하다. 또한, 시선이벤트에 대응하는 제어 신호는 무인기(10)의 목적과 사용 장소에 따라 제조사에서 최적의 값으로 설정하여 사용자(20)에게 제공될 수 있다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기(10)의 비행 상황을 HMD를 통해 사용자(20)에게 제공하고, 사용자의 머리 움직임에 따라 직관적으로 무인기(10)를 제어할 수 있다. 또한, 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 사용자(20)의 시선추적을 통해 눈의 움직임을 인식하여 시선 이벤트를 검출하고 이를 무인기(10) 제어에 활용할 수 있다.
추가적으로 본 발명에 따른 HMD를 이용한 무인기 조종 장치(100)는 조작 버튼(101)을 추가적으로 포함할 수 있다. 조작 버튼(101)은 HMD를 이용한 무인기 조종 장치(100)의 외부에 위치하며, HMD를 이용한 무인기 조종 장치(100)를 착용한 사용자(20)가 손을 이용하여 조작할 수 있다. 장치(100)의 양 옆으로 임의의 버튼을 조작 버튼(101)으로 두어, 촬영 중인 영상을 보면서 별도의 조종기를 추가로 사용하지 않고도 무인기(10) 조종이 가능하도록 지원할 수 있다.
일례로서, 사용자의 편의성을 위해 엄지손가락을 제외한 나머지 손가락으로 버튼을 누를 수 있도록 장치(100) 양옆으로 각각 3-4개의 버튼을 배치시킨다. 이 경우, 조작 버튼(101)에 가동(on)/정지(off), 비행/정지비행, 이륙/착률, 360도 옆으로 회전, 360도 상하로 회전, 추가 선택 등의 기능을 할당하여 무인기(10)를 제어할 수 있다. 일례로서, 사용자(20)가 조작 버튼(101) 중 착륙 기능이 할당된 버튼을 누르고, 영상 화면에서 착륙 목표 지점을 응시하면, 자동으로 무인기(10)가 해당 착륙 목표 지점에 착륙하도록 지원해 줄 수 있다.
본 발명에 따른 HMD를 이용한 무인기 조종 장치는 상술한 기능을 통해 무인기(10) 조종 기능을 제공하여, 재난 지역을 무인기(10)로 정찰하는 경우 사용자의 시선에 따라 사용자가 화재가 난 발화점 혹은 구조해야 할 인명을 발견한 위치로 보다 빠르고 직관적으로 무인기(10)를 접근시킬 수 있다.
도 3은 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)의 화면을 나타내는 도면이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 HMD를 이용한 무인기 조종 장치(100)는 무인기(10)로부터 수신된 영상 정보에 기초하여 화면에 운행 화면(300)을 디스플레이 하여 사용자(20)에게 제공한다. 사용자(20)는 운행 화면(300)을 통해 비행중인 무인기(10)의 비행 화면을 파악하여 무인기(10)를 제어할 수 있다. 또한, 비행 화면(300)에 비행 화면뿐만 아니라, 항법 정보를 함께 표시하여 사용자(20)가 무인기(10)를 조종하는 과정에서 활용할 수 있다. 예를 들어, 운행 화면(300)에 무인기(10)의 위치, 고도 및 속도에 대한 정보를 표시할 수 있으며, 무인기(10)의 자세 및 상태에 대한 정보뿐만 아니라. 잔여 에너지량이나 비행 가능 시간 등을 표시할 수 있다.
상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
100: HMD를 이용한 무인기 조종 장치
110: 무인기 통신 모듈 120: 영상 처리 모듈
130: 머리 회전 산출 모듈 140: 무인기 모션 산출 모듈
150: 시선추적 인터페이스 모듈 151: 사용자 눈 촬영 모듈
152: 시선정보 산출 조명 모듈 153: 사용자 시선정보 산출 모듈
154: 시선 이벤트 검출 모듈
160: 관심 지점 검출 모듈 170: 동작 기능 모듈
110: 무인기 통신 모듈 120: 영상 처리 모듈
130: 머리 회전 산출 모듈 140: 무인기 모션 산출 모듈
150: 시선추적 인터페이스 모듈 151: 사용자 눈 촬영 모듈
152: 시선정보 산출 조명 모듈 153: 사용자 시선정보 산출 모듈
154: 시선 이벤트 검출 모듈
160: 관심 지점 검출 모듈 170: 동작 기능 모듈
Claims (1)
- 무인기로부터 수신된 영상 정보 및 항법 정보를 헤드 마운트 디스플레이(HMD)를 통해 표시하는 영상 처리 모듈;
사용자의 머리 움직임을 검출하는 머리 회전 산출 모듈;
사용자의 눈의 움직임을 검출하는 시선추적 인터페이스 모듈; 및
사용자의 머리 회전 및 눈의 움직임에 따른 시선 이벤트를 확인하고, 확인된 시선 이벤트와 대응하는 제어 명령을 무인기로 전달하는 동작 기능 모듈;
을 포함하는 HMD를 이용한 무인기 조종 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160011833A KR102449439B1 (ko) | 2016-01-29 | 2016-01-29 | Hmd를 이용한 무인기 조종 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160011833A KR102449439B1 (ko) | 2016-01-29 | 2016-01-29 | Hmd를 이용한 무인기 조종 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170090888A true KR20170090888A (ko) | 2017-08-08 |
| KR102449439B1 KR102449439B1 (ko) | 2022-09-30 |
Family
ID=59652955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160011833A KR102449439B1 (ko) | 2016-01-29 | 2016-01-29 | Hmd를 이용한 무인기 조종 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102449439B1 (ko) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
| JP2019079091A (ja) * | 2017-10-20 | 2019-05-23 | 株式会社富士通ビー・エス・シー | 移動体制御プログラム、移動体制御方法および情報処理装置 |
| KR20190129379A (ko) * | 2018-05-10 | 2019-11-20 | 한국해양과학기술원 | 수중 원격 무인시스템 |
| DE102018210824A1 (de) | 2018-07-02 | 2020-01-02 | Audi Ag | Verfahren und System zur Ausleuchtung eines Bereichs in einer Umgebung eines Fahrzeugs |
| JP2020005114A (ja) * | 2018-06-27 | 2020-01-09 | 学校法人東海大学 | 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム |
| KR20200010895A (ko) * | 2018-07-23 | 2020-01-31 | 주식회사 아르고스다인 | 무인기 착륙 유도 방법 |
| KR102063520B1 (ko) * | 2019-02-01 | 2020-02-11 | 김민성 | 시뮬레이션 장치 |
| EP3865984A1 (en) * | 2020-02-13 | 2021-08-18 | Honeywell International Inc. | Methods and systems for searchlight control for aerial vehicles |
| US11625037B2 (en) | 2020-02-13 | 2023-04-11 | Honeywell International Inc. | Methods and systems for searchlight control for aerial vehicles |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060026273A (ko) | 2004-09-20 | 2006-03-23 | 삼성전자주식회사 | Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
| KR100696275B1 (ko) * | 2001-08-24 | 2007-03-20 | 뉴로스카이 인코포레이션 | 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법 |
| US20140217242A1 (en) * | 2011-03-28 | 2014-08-07 | Prox Dynamics As | Uav kit |
-
2016
- 2016-01-29 KR KR1020160011833A patent/KR102449439B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100696275B1 (ko) * | 2001-08-24 | 2007-03-20 | 뉴로스카이 인코포레이션 | 뇌-기계 인터페이스 작동을 위한 무선 시스템 및 그의제어방법 |
| KR20060026273A (ko) | 2004-09-20 | 2006-03-23 | 삼성전자주식회사 | Ｈｍｄ 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법 |
| US20140217242A1 (en) * | 2011-03-28 | 2014-08-07 | Prox Dynamics As | Uav kit |
Non-Patent Citations (2)
| Title |
|---|
| Jaeseung Kim et al, Development of a quadrotor system control interface for aerial photography based on user posture using HMD, Journal of Electrical Engineers 64(7), 2015.7, 1056-1063(8 pages) * |
| John P. E. et al, The Dawn of Personal Drones, CHI'13, April 27-May 2, 2013, Paris, France.* * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019079091A (ja) * | 2017-10-20 | 2019-05-23 | 株式会社富士通ビー・エス・シー | 移動体制御プログラム、移動体制御方法および情報処理装置 |
| KR20190129379A (ko) * | 2018-05-10 | 2019-11-20 | 한국해양과학기술원 | 수중 원격 무인시스템 |
| CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
| JP2020005114A (ja) * | 2018-06-27 | 2020-01-09 | 学校法人東海大学 | 遠隔制御装置、遠隔制御システム、遠隔制御方法及び遠隔制御プログラム |
| DE102018210824A1 (de) | 2018-07-02 | 2020-01-02 | Audi Ag | Verfahren und System zur Ausleuchtung eines Bereichs in einer Umgebung eines Fahrzeugs |
| KR20200010895A (ko) * | 2018-07-23 | 2020-01-31 | 주식회사 아르고스다인 | 무인기 착륙 유도 방법 |
| KR102063520B1 (ko) * | 2019-02-01 | 2020-02-11 | 김민성 | 시뮬레이션 장치 |
| EP3865984A1 (en) * | 2020-02-13 | 2021-08-18 | Honeywell International Inc. | Methods and systems for searchlight control for aerial vehicles |
| US11625037B2 (en) | 2020-02-13 | 2023-04-11 | Honeywell International Inc. | Methods and systems for searchlight control for aerial vehicles |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102449439B1 (ko) | 2022-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170090888A (ko) | Hmd를 이용한 무인기 조종 장치 | |
| US11733692B2 (en) | Systems and methods for controlling an unmanned aerial vehicle | |
| US10897567B2 (en) | Systems and methods for controlling an image captured by an imaging device | |
| US8958928B2 (en) | Method and an appliance for remotely controlling a drone, in particular a rotary wing drone | |
| US20190042003A1 (en) | Controller with Situational Awareness Display | |
| US10222792B2 (en) | Drone piloting device adapted to hold piloting commands and associated control method | |
| US20200387238A1 (en) | Controller with situational awareness display | |
| WO2016138690A1 (zh) | 基于智能终端的体感飞行操控***及终端设备 | |
| JP4012749B2 (ja) | 遠隔操縦システム | |
| Higuchi et al. | Flying head: A head-synchronization mechanism for flying telepresence | |
| KR101790592B1 (ko) | 관광드론을 이용한 증강현실 관광 시스템 및 방법 | |
| US11804052B2 (en) | Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path | |
| KR101408077B1 (ko) | 가상 영상을 이용한 무인기 조종 장치 및 방법 | |
| JP2018165066A (ja) | 頭部装着型表示装置およびその制御方法 | |
| US20230097676A1 (en) | Tactical advanced robotic engagement system | |
| JP2015006875A (ja) | Ｖｔｏｌ観察ポイントの精密位置決めのためのシステム及び方法 | |
| WO2018184232A1 (zh) | 体感遥控方法、控制装置、云台和无人飞行器 | |
| CN109144378B (zh) | 数据交互方法、装置、头戴设备和控制设备 | |
| JP7482923B2 (ja) | 無人航空機の制御装置およびその制御方法 | |
| KR20180025416A (ko) | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 | |
| US20230341875A1 (en) | Unmanned aerial vehicle, control method and control system thereof, handheld control device, and head-mounted device | |
| JP6699944B2 (ja) | 表示システム | |
| KR20180060403A (ko) | 영상 기반의 드론 제어장치 | |
| O'Keeffe et al. | Oculus rift application for training drone pilots | |
| KR101973174B1 (ko) | 제스처 인식 기반 무인기 제어 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |