KR101623300B1 - Head Mount Display Apparatus and Operation Method Thereof - Google Patents
Head Mount Display Apparatus and Operation Method Thereof Download PDFInfo
- Publication number
- KR101623300B1 KR101623300B1 KR1020150031073A KR20150031073A KR101623300B1 KR 101623300 B1 KR101623300 B1 KR 101623300B1 KR 1020150031073 A KR1020150031073 A KR 1020150031073A KR 20150031073 A KR20150031073 A KR 20150031073A KR 101623300 B1 KR101623300 B1 KR 101623300B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- displayed
- partial image
- image
- side screen
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
본 발명은 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 무인항공기 운행중의 충돌을 예방할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것이다.BACKGROUND OF THE
무인항공기는 조종사가 탑승하지 않고 지상에서 원격으로 조종하거나 사전에 입력된 임무 프로그램으로 비행체가 주위환경을 인식하고 판단하여 스스로 비행하는 비행체를 의미한다. 무인항공기는 벌이 윙윙거린다는 의미로 드론(drone)이라고도 불리고, 사람이 기체에 탑승하지 않고 지상에서 원격으로 조종한다는 점을 강조하여 UAV(Unmanned Aerial Vehicle)이라고 지칭하기도 한다. Unmanned aerial vehicles are aircraft that are piloted from the ground remotely without pilots, or pre-entered mission programs, in which the aircraft recognizes and judges the surrounding environment and flies by itself. Unmanned aerial vehicles (UAVs) are also referred to as UAVs, emphasizing the fact that humans operate remotely from the ground without boarding the aircraft.
무인항공기는 제2차 세계대전 직후 수명을 다한 낡은 유인 항공기를 공중 표적용 무인기로 재활용한 것에서 시작되었으며, 기술이 발달함에 따라 기체에 원격탐지장치, 위성제어장치 등의 최첨단 장비를 장착하여 활용하기도 한다. 그리고 무인항공기는 적외선 카메라, GPS, 열 또는 움직임 감지 센서 등을 통하여 지형, 지물, 사람 등의 동향을 실시간으로 파악할 수도 있다. Unmanned aircrafts started with the recycling of old manned aircraft, which had reached the end of World War II, with airborne unmanned aerial vehicles (UAVs). With the development of technology, advanced technologies such as remote sensing devices and satellite control devices do. Unmanned aerial vehicles can also detect trends of terrain, objects, and people in real time through an infrared camera, GPS, heat or motion sensor.
또한 무인항공기는 광역 영상 및 신호를 수집할 수 있고, 감시 및 정찰 업무를 수행할 수 있으며, 통신을 중계할 수도 있다. 또한 무인항공기는 사람이 접근하기 어려운 오염 지역 또는 넓은 지역의 화재나 자연재난에 대한 정보 수집에 활용될 수 있다. Unmanned aerial vehicles can also collect wide-area images and signals, perform surveillance and reconnaissance operations, and relay communications. Unmanned aerial vehicles can also be used to collect information on fires or natural disasters in polluted areas or large areas that are difficult for human access.
초기의 무인항공기는 대부분 군사용으로 활용되어 왔으나, 지속적인 기술 발전에 따라 현재에는 기상 관측, 환경 및 산불 감시, 국경, 해안, 도로 감시, 재난 지원 통신 중계 및 원격 탐사 등의 민간분야에서도 활용되고 있다. 그리고 무인항공기는 1인칭 시야(FPV, First Person View) 기술을 이용하여 게임분야에서도 활용되고 있다. 여기서 FPV 기술은 무인항공기에 장착된 카메라가 촬영한 영상 정보를 사용자에게 1인칭 시점으로 제공하는 기술을 의미한다. Although the early unmanned aerial vehicles have been mostly used for military use, they are now being used in civilian fields such as weather observation, environment and forest fire monitoring, border, coast, road surveillance, disaster relief communication relay and remote exploration. And unmanned aerial vehicles are also used in games by using first person view (FPV) technology. Here, FPV technology refers to a technique of providing first-person viewpoints of image information taken by a camera mounted on a UAV.
또한 무인항공기를 조정하는 컨트롤러인 Skycontroller는 무인항공기의 카메라가 촬영한 영상 정보를 변환하여 FPV 고글에 전송하고, 사용자는 FPV 고글의 영상을 보면서 무인항공기를 조정할 수 있다. FPV를 이용하여 사용자는 무인항공기의 비행 장면을 1인칭 시야로 볼 수 있으며, 직접 하늘을 비행하는 듯한 경험을 할 수 있다. 이를 통하여 무인항공기 조정시의 몰입감과 실감을 높일 수 있다. 이때, FPV 기술의 몰입감과 현장감을 더욱 극대화하기 위해서는 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결해야 한다. In addition, Skycontroller, which is a controller for adjusting an unmanned airplane, converts the image information taken by the camera of the UAV into the FPV goggles, and the user can adjust the UAV while watching the image of the FPV goggles. Using FPV, the user can see the unmanned airplane's flight scenes in a first-person view, and can experience a direct flight to the sky. Through this, it is possible to increase the feeling of immersion and realism when adjusting the unmanned airplane. At this time, in order to further maximize the immersion feeling and the sense of presence of FPV technology, it is necessary to solve the narrow vision problem of the image taken by the unmanned aerial vehicle.
그리고, 무인항공기 주변의 상황을 인식하여 무인항공기의 충돌을 회피할 수 있도록 무인항공기에 장착된 카메라의 좁은 시야 문제를 해결해야 한다. Also, it is necessary to solve the narrow vision problem of the camera mounted on the UAV so as to avoid the collision of the UAV by recognizing the situation around the UAV.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1417498호(2014.07.08 공고)에 개시되어 있다.The technology of the background of the present invention is disclosed in Korean Patent No. 10-1417498 (published on Jul. 08, 2014).
본 발명은 헤드 마운트 디스플레이 장치 및 그 동작 방법에 관한 것으로서, 더욱 상세하게는 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 무인항공기 운행중의 충돌을 예방할 수 있는 헤드 마운트 디스플레이 장치 및 그 동작 방법을 제공하는데 목적이 있다.The present invention relates to a head-mounted display device and a method of operating the same, and more particularly, to a head-mounted display device and a method of operating the same, which can prevent collision during operation of an unmanned air vehicle by solving the narrow- The purpose is to provide.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는 상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 통신부, 복수의 부분으로 나누어진 전방 화면을 포함하며, 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면을 더 포함하는 디스플레이부, 현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 상기 전방 화면에 표시하도록 하고, 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 측면 화면 중에서 적어도 하나에 표시하도록 하는 제어부를 포함한다. According to an aspect of the present invention, there is provided a head-mounted display apparatus including a communication unit for receiving the photographed image and the movement information of the unmanned aerial vehicle from time-slot units from the unmanned air vehicle, A display unit further including at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen, which are respectively connected to left, right, upper and lower sides of the front screen, And displaying a partial image displayed on the front screen on at least one of the side screens in a previous time slot by dividing the captured image into a plurality of partial images and displaying the divided images on the front screen.
또한, 상기 제어부는, 상기 무인항공기가 제1 기준 속도 이하로 전진하는 것으로 감지되면, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 좌측 부분에 표시된 제1 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 우측 부분에 표시된 제2 부분 영상을 상기 우측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상기 상측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 상기 하측 측면 화면에 표시하도록 할 수 있다. The controller may display the first partial image displayed on the leftmost portion of the front screen on the left side screen in the previous time slot if the unmanned airplane is detected to advance below the first reference speed, A second partial image displayed on the rightmost portion of the front screen in the previous time slot is displayed on the right side screen, and aa partial image displayed on the uppermost portion of the front screen in the previous time slot is displayed on the upper side And display the b-th partial image displayed on the lower-most portion of the front screen in the previous time slot on the lower side screen.
또한, 상기 제어부는, 상기 무인항공기가 상기 제1 기준 속도보다 빠른 속도로 전진하는 것으로 감지되면, 상기 제1 부분 영상 및 상기 이전 타임 슬롯에서 상기 제1 부분 영상에 인접한 하나 이상의 제3 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고, 상기 제2 부분 영상 및 상기 이전 타임 슬롯에서 상기 제2 부분 영상에 인접한 하나 이상의 제4 부분 영상을 상기 우측 측면 화면에 표시하도록 하며, 상기 제a 부분 영상 및 상기 이전 타임 슬롯에서 상기 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상기 상측 측면 화면에 표시하도록 하고, 상기 제b 부분 영상 및 상기 이전 타임 슬롯에서 상기 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 상기 하측 측면 화면에 표시하도록 할 수 있다. If the unmanned airplane is detected to advance at a speed faster than the first reference speed, the control unit controls the first partial image and the at least one third partial image adjacent to the first partial image in the previous time slot, And displays at least one fourth partial image adjacent to the second partial image in the second partial image and the second partial image in the right side image, And displaying one or more c-th partial images adjacent to the a-th partial image in the previous time slot on the upper side picture, and displaying one or more d-parts So that the image can be displayed on the lower side screen.
또한, 상기 제어부는, 상기 제3 부분 영상을 상기 제1 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고, 상기 제4 부분 영상을 상기 제2 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하며, 상기 제c 부분 영상을 상기 제a 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고, 상기 제d 부분 영상을 상기 제b 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 할 수 있다. The control unit may display the third partial image at a position closer to the front screen than the first partial image and display the fourth partial image at a position closer to the front screen than the second partial image The c-th partial image may be displayed at a position closer to the front screen than the a-th partial image, and the d-th partial image may be displayed at a position closer to the front screen than the b-th partial image.
또한, 상기 제어부는, 현재 타임 슬롯에서 상기 무인항공기가 이동 방향을 변경한 것으로 감지된 경우, 상기 좌측 측면 화면, 상기 우측 측면 화면, 상기 상측 측면 화면 및 상기 하측 측면 화면을 공백 상태로 표시하도록 할 수 있다. In addition, when the unmanned airplane detects that the unmanned airplane has changed its moving direction in the current time slot, the control unit displays the left side screen, the right side screen, the upper side screen, and the lower side screen in a blank state .
또한, 사용자의 머리 움직임을 감지하는 이동 감지부를 더 포함하며, 상기 제어부는, 상기 사용자의 머리가 좌측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 좌측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 우측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 좌측 측면 화면에 표시된 영상이 이동된 만큼 우측으로 이동되어 표시되도록 하고, 상기 사용자의 머리가 우측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 우측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 좌측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 우측 측면 화면에 표시된 영상이 이동된 만큼 좌측으로 이동되어 표시되도록 할 수 있다. The apparatus may further include a movement sensing unit for sensing a movement of the user's head, wherein, when the head of the user is sensed to move to the left, the controller displays the image displayed on the left side screen in the previous time slot, So that an image displayed on the front screen is displayed on the right side screen, and the upper side side screen and the lower side screen are moved to the right by a distance corresponding to an image displayed on the left side screen, The image displayed on the right side screen is displayed on the front screen in the previous time slot and the image displayed on the front screen is displayed on the left side screen when the user's head is detected as moving to the right, The upper side side screen and the lower side side screen are displayed on the right side screen The displayed image can be shifted to the left as much as the moved image is displayed.
본 발명의 다른 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법은 상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 단계, 현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시하는 단계, 그리고 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계를 포함한다.A method of operating a head-mounted display device according to another embodiment of the present invention includes the steps of: receiving the photographed image and the movement information of the unmanned airplane in units of time slots from the unmanned airplane; And displaying a partial image displayed on the front screen in a previous time slot on the left side screen, the right side screen, the upper side and the lower side connected to the left, right, upper and lower sides of the front screen, respectively, And displaying at least one side screen among the side screen and the lower side screen.
따라서 본 발명에 따르면 헤드 마운트 디스플레이 장치 및 그 동작 방법을 이용함으로써, 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 넓은 시야의 촬영 영상을 제공할 수 있다. Therefore, according to the present invention, by using the head-mounted display device and the operation method thereof, it is possible to solve the narrow visual field problem of the image photographed by the unmanned aerial vehicle, and to provide the photographed image of wide view.
또한, 무인항공기 이동 시 발생할 수 있는 충돌을 예측하여 회피할 수 있다. In addition, it is possible to predict and avoid collisions that can occur when moving the UAV.
도 1은 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 디스플레이부의 화면 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다.
도 5a 및 5b는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 전방, 좌측 측면 및 우측 측면 화면 구성을 나타낸 도면이다.
도 6a 내지 도 6d는 무인항공기가 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.
도 7a 내지 7d는 무인항공기가 제1 기준 속도보다 빠른 속도로 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.
도 8a 내지 8d는 사용자가 머리를 좌측으로 움직일 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.
도 9a 및 9b는 무인항공기가 이동 방향을 변경할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다. 1 is a block diagram illustrating a head-mounted display system using an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a block diagram showing a configuration of a head-mounted display device according to an embodiment of the present invention.
3 is a diagram illustrating a screen configuration of a display unit according to an embodiment of the present invention.
4 is a flowchart illustrating a method of operating a head-mounted display device according to an embodiment of the present invention.
FIGS. 5A and 5B are views showing the front, left side, and right side side screen configurations of the head-mounted display device according to the embodiment of the present invention.
6A to 6D are diagrams showing the screen configuration of the head-mounted display device when the UAV is going straight.
7A to 7D are views showing a screen configuration of the head-mounted display device when the UAV is advanced at a speed faster than the first reference speed.
8A to 8D are diagrams showing a screen configuration of the head-mounted display device when the user moves the head to the left.
9A and 9B are diagrams showing the screen configuration of the head-mounted display device when the UAV changes its moving direction.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템을 설명하기 위한 구성도이다. 1 is a block diagram illustrating a head-mounted display system using an unmanned aerial vehicle according to an embodiment of the present invention.
도 1과 같이, 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템은 무인항공기(100) 및 헤드 마운트 디스플레이 장치(200)를 포함한다. 1, a head-mounted display system using an unmanned aerial vehicle according to an embodiment of the present invention includes an
도 1에 도시한 바와 같이, 무인항공기(100)와 헤드 마운트 디스플레이 장치(200)는 직접 연결될 수 있다. As shown in Fig. 1, the
또한, 본 발명의 실시예에 따른 무인항공기를 이용한 헤드 마운트 디스플레이 시스템은 컴퓨터, 노트북, 태블릿, 스마트폰 등의 전자기기(미도시)를 더 포함할 수 있으며, 전자기기는 무인항공기(100)와 헤드 마운트 디스플레이 장치(200)와 연결될 수 있다. In addition, the head mount display system using the UAV according to the embodiment of the present invention may further include an electronic device (not shown) such as a computer, a notebook computer, a tablet, and a smart phone, And can be connected to the head
먼저, 무인항공기(100)는 원격 조작에 의하여 조종되는 비행체를 의미하며, 사용자의 조작 또는 사전에 입력된 프로그램에 따라 비행하거나, 스스로 비행체 주변의 상황을 인식하고 판단하여 자율비행 할 수 있다. 이때, 사용자는 스마트폰이나 태블릿에 설치된 전용 애플리케이션을 이용하여 무인항공기(100)의 고도와 회전, 기울기, 전후 좌우 동작 등을 제어할 수 있다. First, the
그리고 무인항공기(100)는 촬영장치를 포함하여 비행하는 동안 사진 또는 동영상을 촬영할 수 있으며, 촬영된 영상을 컴퓨터, 노트북, 태블릿, 스마트폰 등의 다른 기기로 전송할 수 있다. 또한 무인항공기(100) Oculus Rift, Zeiss Cinemizer, Epson Moverio, Sony Personal Viewer 등과 같은 헤드 마운트 디스플레이 장치로 촬영한 영상을 전송할 수도 있다. The
이때, 무인항공기(100)는 micro-USB 연결을 통하여 촬영된 영상을 다른 기기로 전송할 수도 있고, Wi-Fi, LTE 등의 무선통신을 이용하여 실시간으로 지상에 있는 다른 기기로 촬영된 영상을 전송할 수 있다. At this time, the UAV 100 can transmit an image captured through a micro-USB connection to another device, or transmit an image captured by another device on the ground in real time using wireless communication such as Wi-Fi or LTE .
또한, 무인항공기(100)는 복수개의 안테나를 이용하여 2.4GHz와 5GHz 2가지 대역을 이용할 수 있는 IEEE802.11ac 무선랜과 MIMO(Multiple-Input Multiple-Output)를 지원할 수도 있다. Also, the UAV 100 may support IEEE802.11ac wireless LAN and MIMO (Multiple-Input Multiple-Output) using two bands of 2.4 GHz and 5 GHz using a plurality of antennas.
그리고 무인항공기(100)는 GNSS 칩셋을 탑재하여 GPS, GLONASS, 갈릴레오 등을 이용할 수도 있고, 3축 가속도 센서, 자이로스코프, 자력계, 초음파 센서 및 압력계 등을 구비하여 무인항공기(100)의 위치, 고도, 이동 속도, 이동 방향 등의 이동 정보를 감지할 수 있다. 무인항공기(100)는 감지된 이동 정보를 촬영 영상과 함께 헤드 마운트 디스플레이 장치(200)로 전송할 수 있다. The
다음으로 헤드 마운트 디스플레이 장치(200)(HMD, Head Mounted Display)는 사용자의 머리나 눈 부분에 장착해 사용자의 눈 앞에 직접 영상을 제시하는 디스플레이 장치이다. 헤드 마운트 디스플레이 장치(200)는 사용자가 현장감 있는 영상을 즐길 수 있도록 지원하는 웨어러블 영상 표시 단말의 일종이며, 주로 헬멧 전면에 디스플레이를 장착하여 입체 영상을 표시한다. Next, the head mounted display device 200 (HMD, Head Mounted Display) is a display device which is mounted on a head or eye portion of a user and presents an image directly in front of the user's eyes. The head
그리고 헤드 마운트 디스플레이 장치(200)는 사용자가 각종 콘텐츠를 역동적으로 경험할 수 있도록 가상 현실(VR, Virtual Reality) 및 증강 현실(Augmented Reality)을 구현할 수 있다. 또한, 헤드 마운트 디스플레이 장치(200)는 현실 공간처럼 사용자가 머리를 상하좌우로 돌릴 때마다 다른 장면이 나타나도록 하는 기술인 360도 헤드 트래킹 기술, 좌우 시차를 이용한 3D 시야, 110도 이상의 넓은 시야각, 사용자 위치 파악 기술(Positional Tracking) 등을 적용할 수도 있다. The head
본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 무인항공기(100)로부터 촬영된 영상을 수신하고, 좁은 시야 문제를 해결하도록 수신된 촬영 영상을 가공하여 사용자에게 제공한다. 이때, 헤드 마운트 디스플레이 장치(200)는 직전 타임 슬롯에 촬영된 영상의 일부를 현재 촬영된 영상에 삽입하여 넓은 시야의 출력 영상을 생성할 수 있다. The head-mounted
또한 헤드 마운트 디스플레이 장치(200)는 무인항공기(100)로부터 무인항공기(100)의 이동 정보를 촬영 영상과 함께 수신할 수 있으며, 수신된 이동 정보에 대응하는 방법으로 촬영 영상을 가공할 수도 있다. 그리고 헤드 마운트 디스플레이 장치(200)는 각종 센서를 이용하여 사용자의 머리 움직임을 검출할 수 있으며, 검출된 사용자의 머리 움직임을 이용하여 사용자가 머리를 움직인 방향의 시각으로 촬영된 영상 정보를 제공할 수 있다. Also, the head
도 2는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 디스플레이부의 화면 구성을 나타낸 도면이다. FIG. 2 is a block diagram illustrating a configuration of a head-mounted display apparatus according to an embodiment of the present invention, and FIG. 3 is a diagram illustrating a screen configuration of a display unit according to an embodiment of the present invention.
도 2에 나타낸 것처럼, 헤드 마운트 디스플레이 장치(200)는 통신부(210), 이동 감지부(220), 제어부(230) 및 디스플레이부(240)를 포함한다. 2, the head-mounted
먼저, 통신부(210)는 무인항공기(100)로부터 타임 슬롯 단위로 상기 촬영 영상 및 무인항공기의 이동정보를 수신한다. 통신부(210)는 무인항공기(100)가 촬영한 촬영 영상을 실시간으로 수신할 수 있으며, 해당 촬영 영상이 촬영될 때의 무인항공기(100) 이동정보를 촬영 영상과 함께 수신할 수 있다. First, the
여기서 촬영 영상은 무인항공기(100)가 비행할 때, 무인항공기(100)에 구비된 촬영장치를 이용하여 촬영한 것이다. 그리고 이동정보는 무인항공기(100)의 위치, 이동방향, 속도, 고도 등의 정보를 의미하며, 무인항공기(100)는 속도계, 자이로스코프, 자력계 등 복수개의 3축 센서를 이용하여 이동정보를 감지할 수 있다. Here, the photographed image is obtained by using the photographing apparatus provided in the
그리고 이동 감지부(220)는 사용자의 머리 움직임을 감지한다. 이동 감지부(220)는 한 축을 기준으로 단위시간에 사용자의 머리가 회전한 각도인 각속도의 값을 수치로 알려주는 3축 자이로센서, 3축 가속도계, 3축 자력계를 포함하는 헤드 트래커(Head Tracker)를 이용하여 사용자의 머리 움직임을 감지할 수 있다. The
본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 이동 감지부(220)가 감지한 사용자의 머리 움직임에 대응하는 촬영 영상을 사용자에게 제공할 수 있다. 예를 들어, 이동 감지부(220)가 사용자의 머리가 왼쪽으로 돌려진 것으로 감지하면 좌측에서 볼 수 있는 촬영 영상을 사용자에게 제공하고, 머리가 우측으로 돌려진 것으로 감지되면 우측에서 볼 수 있는 촬영 영상을 제공할 수 있다. The head-mounted
다음으로 제어부(230)는 현재 타임 슬롯에서 수신된 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시하도록 디스플레이부(240)를 제어하고, 이전 타임 슬롯에 전방 화면에 표시된 일부 부분 영상을 좌측 측면 화면 및 우측 측면 화면에 표시하도록 디스플레이부(240)를 제어한다. Next, the
이때, 제어부(230)는 무인항공기(100)로부터 수신된 이동정보 또는 이동 감지부(220)가 감지한 사용자의 머리 움직임에 대응하도록 전방 화면, 좌측 측면 화면 및 우측 측면 화면에 표시할 촬영 영상을 제어할 수 있다. At this time, the
제어부(230)는 무인항공기(100)가 제1 기준 속도 이하로 전진하는 경우, 제1 기준 속도보다 빠른 속도로 전진하는 경우, 무인항공기(100)의 이동 방향이 변경된 것으로 감지된 경우 및 사용자의 머리가 움직인 것으로 감지된 경우로 나누어 각각의 경우에 대응하는 촬영 영상을 디스플레이부(240)가 출력하도록 제어할 수 있다. When the
마지막으로 디스플레이부(240)는 제어부(230)의 제어에 따라 촬영 영상을 표시한다. 디스플레이부(240)는 복수의 부분으로 나누어진 전방 화면을 포함하며, 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 하나 이상의 측면 화면을 더 포함한다. 이때, 디스플레이부(240)는 전방 화면 및 복수의 측면 화면 중에서 일부 또는 전체의 화면에 영상을 표시할 수 있다. Finally, the
도 3에 도시한 바와 같이, 디스플레이부(240)는 X자 모양으로 나뉘어 4 개의 측면 화면으로 구분될 수 있다. 설명의 편의상, 디스플레이부(240)가 X자 모양으로 구분되는 것으로 설명하였으나, 십(十)자 모양으로 구분될 수도 있다. As shown in FIG. 3, the
그리고 도 3에서, 빨간색은 영상이 출력되는 디스플레이부(240)의 영역을 나타낸 것이고, 빨간색 바깥쪽 부분은 이전 타임 슬롯의 부분 영상들이 채워진 영역이며, 현재의 타임 슬롯에 디스플레이부(240)에서 출력되지는 않는 부분이고, 파란색은 무인항공기(100)로부터 수신된 촬영 영상의 영역을 나타낸 것이다. 3, red indicates an area of the
무인항공기(100) 이동 정보가 변경되거나 사용자의 머리가 움직인 경우 제어부(230)는 빨간색 바깥쪽 부분의 부분 영상들 중에서 전방 화면 및 각각의 측면 화면에 출력될 영상으로 선택할 수 있다. When the movement information of the
도 3에 나타낸 것처럼, 무인항공기(100)로부터 수신된 촬영 영상 영역(300)은 시야가 좁으며, 무인항공기(100)로부터 수신된 촬영 영상은 헤드 마운트 디스플레이 장치(200)의 디스플레이부(240) 영역보다 작다. 따라서, 헤드 마운트 디스플레이 장치(200)의 전방 화면에만 수신된 촬영 영상이 출력되고, 헤드 마운트 디스플레이 장치(200)의 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면에는 촬영 영상이 출력되지 않는다. 3, the photographed
또한, 디스플레이부(240)는 제어부(230)의 제어에 따라 구비된 복수의 측면 화면 중에서 일부 또는 전체에만 촬영 영상을 표시할 수 있다. In addition, the
이하에서는 도 4 내지 도 9b를 통하여 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법에 대하여 더욱 상세하게 설명한다. 설명의 편의상, 헤드 마운트 디스플레이 장치(200)가 측면 화면으로 좌측 측면 화면 및 우측 측면 화면만 구비한 경우로 예를 들어 설명한다. Hereinafter, an operation method of the head-mounted display device according to the embodiment of the present invention will be described in detail with reference to FIGS. 4 to 9B. For convenience of explanation, the case where the head
도 4는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 동작 방법을 설명하기 위한 순서도이다. 4 is a flowchart illustrating a method of operating a head-mounted display device according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 헤드 마운트 디스플레이 장치(200)는 무인항공기(100)로부터 촬영 영상 및 무인항공기(100)의 이동정보를 수신한다(S410). 4, the head-mounted
헤드 마운트 디스플레이 장치(200)는 타임 슬롯별로 촬영 영상을 수신하며, 무인항공기(100)가 해당 촬영 영상을 촬영할 때 무인항공기(100)의 이동 정보를 촬영 영상과 함께 수신한다. The head
다음으로 헤드 마운트 디스플레이 장치(200)는 수신된 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시한다(S420). Next, the head-mounted
도 5a 및 5b는 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 전방, 좌측 측면 및 우측 측면 화면 구성을 나타낸 도면이다. 도 5a는 헤드 마운트 디스플레이 장치(200)의 영상이 출력되는 화면을 전방에서 바라본 도면이고, 도 5b는 헤드 마운트 디스플레이 장치(200)의 영상이 출력되는 화면을 위에서 바라본 도면이다. FIGS. 5A and 5B are views showing the front, left side, and right side side screen configurations of the head-mounted display device according to the embodiment of the present invention. 5A is a front view of a screen on which an image of the head-mounted
도 5a와 같이, 헤드 마운트 디스플레이 장치(200)는 복수 개의 부분 영상으로 촬영 영상을 분할한다. 이때, 분할된 부분 영상은 짝수 개 이고, 각각의 부분 영상의 크기는 동일할 수 있다. 5A, the head-mounted
그리고 헤드 마운트 디스플레이 장치(200)는 촬영 영상을 전방 화면에 표시한다. 이때, 헤드 마운트 디스플레이 장치(200)는 분할된 복수의 부분 영상을 전방 화면에 표시하거나, S410 단계에서 수신된 촬영 영상을 그대로 전방 화면에 표시할 수 있다. The head
도 5b에서 빨간색은 헤드 마운트 디스플레이 장치(200)에서 영상이 출력되는 영역을 나타낸 것이고, 파란색은 무인항공기(100)가 촬영한 영상의 영역을 나타낸 것이다. 도 5b에 나타낸 것처럼, 사용자는 전방 화면에서 무인항공기(100)가 촬영한 촬영 영상을 볼 수 있다. In FIG. 5B, red indicates the area where the image is output from the head-mounted
마지막으로 헤드 마운트 디스플레이 장치(200)는 이전 타임슬롯의 일부 부분 영상을 좌측 및 우측 측면 화면에 표시한다(S430). Finally, the head
이하에서는 도 5a 내지 도 9b를 통하여 무인항공기(100)로부터 무인항공기(100)가 직진하고 있다는 이동 정보를 촬영 영상과 함께 수신한 경우, 헤드 마운트 디스프레이 장치(200)의 동작 방법에 대하여 설명한다. Hereinafter, an operation method of the head
첫 번째 타임 슬롯에 무인항공기(100)가 제1 기준 속도 이하로 직진하는 것으로 감지되고, 도 5a와 같이 부분 영상 1, 3, 5, 6, 4, 2를 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 장치(200)는 도 5b와 같이 수신된 촬영 영상을 전방 화면에 출력한다. 그리고 좌측 측면 화면 및 우측 측면 화면에는 출력할 영상이 없으므로 검정 화면을 출력할 수 있다. When the
도 6a 내지 도 6d는 무인항공기가 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다. 6A to 6D are diagrams showing the screen configuration of the head-mounted display device when the UAV is going straight.
두 번째 타임 슬롯에 도 6a와 같이 부분 영상 7, 9, 11, 12, 10, 8을 포함하는 촬영 영상을 수신하면, 헤드 마운트 디스플레이 장치(200)는 도 6b와 같이 전방 화면에 수신된 촬영 영상을 출력하고, 좌측 측면 화면에는 이전 타임 슬롯인 첫 번째 타임 슬롯에서 전방 화면의 가장 좌측 부분에 표시되었던 제1 부분 영상인 부분 영상 1을 전방 화면과 가장 인접한 좌측 측면 화면에 출력한다. 그리고 우측 측면 화면에는 첫 번째 타임 슬롯에서 전방 화면의 가장 우측 부분에 표시되었던 제2 부분 영상인 부분 영상 2를 전방 화면과 가장 인접한 우측 측면 화면에 출력한다. 6A, the head-mounted
이처럼 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 두 번째 타임 슬롯의 좌측 및 우측 측면 화면에 이전 타임 슬롯에 수신한 촬영 영상의 일부를 출력함으로써, 사용자에게 더 넓은 시야의 촬영 영상을 제공할 수 있으며, 사용자는 전방뿐만 아니라 측면의 영상도 확인할 수 있다. As described above, the head-mounted
그리고 세 번째 타임 슬롯에 도 6c와 같이 부분 영상 13, 15, 17, 18, 16, 14를 포함하는 촬영 영상을 수신하면, 헤드 마운트 디스플레이 장치(200)는 도 6d와 같이 전방 화면에 수신된 촬영 영상을 출력하고, 좌측 측면 화면에는 이전 타임 슬롯인 두 번째 타임 슬롯에서 전방 화면의 가장 좌측 부분에 표시되었던 제1 부분 영상인 부분 영상 7을 전방 화면과 가장 인접한 좌측 측면 화면에 출력한다. 그리고 우측 측면 화면에는 두 번째 타임 슬롯에서 전방 화면의 가장 우측 부분에 표시되었던 제2 부분 영상인 부분 영상 8을 전방 화면과 가장 인접한 우측 측면 화면에 출력한다. 6C, the head-mounted
도 7a 내지 7d는 무인항공기가 제1 기준 속도보다 빠른 속도로 직진할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다. 7A to 7D are views showing a screen configuration of the head-mounted display device when the UAV is advanced at a speed faster than the first reference speed.
다음으로 네 번째 타임 슬롯에, 무인항공기(100)가 제1 기준 속도보다 빠른 속도로 직진 하고 있다는 이동 정보를 수신하고, 도 7a와 같이 부분 영상 19, 21, 23, 24, 22, 20을 포함하는 촬영 영상을 수신하였다. 따라서 네 번째 타임 슬롯에서는 도 7b와 같이 전방 화면에는 부분 영상 19, 21, 23, 24, 22, 20이 출력되고, 좌측 측면 화면에는 부분 영상 13이, 우측 측면 화면에는 부분 영상 14가 출력된다. Next, in the fourth time slot, movement information indicating that the
이어서 다섯 번째 타임 슬롯에 도 7c와 같이 부분 영상 25, 27, 29, 30, 28, 26을 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 디스플레이 장치(200)는 도 7d와 같이 다섯 번째 타임 슬롯에 수신된 촬영 영상을 전방 화면에 출력한다. 7C, the head-mounted
그리고 이전 타임 슬롯인 네 번째 타임 슬롯에서 전방 화면의 가장 좌측 부분에 표시되었던 부분 영상 19를 제1 부분 영상으로 선택하고, 제1 부분 영상에 인접한 부분 영상 21을 제3 부분 영상으로 선택한다. 이때, 헤드 마운트 디스플레이 장치(200)는 선택된 제3 부분 영상을 제1 부분 영상보다 전방 화면에 더 근접한 위치에 표시한다. In the fourth time slot, which is the previous time slot, the
또한 헤드 마운트 디스플레이 장치(200)는 네 번째 타임 슬롯에서 전방 화면의 가장 우측 부분에 표시되었던 부분 영상 20을 제2 부분 영상으로 선택하고, 제2 부분 영상에 인접한 부분 영상 22를 제4 부분 영상으로 선택하며, 제4 부분 영상을 제2 부분 영상보다 전방 화면에 더 근접한 위치에 표시되도록 한다. In addition, the head
따라서 다섯 번째 타임 슬롯에서는 도 7d와 같이 좌측 측면 화면에는 부분 영상 19와 부분 영상 21이 겹쳐서 출력되고, 우측 측면 화면에는 부분 영상 20과 부분 영상 22가 겹쳐서 출력된다. 이때, 부분 영상이 겹치는 부분은 전방 화면과 가장 인접한 부분 영상의 부분이 우선적으로 출력된다. Therefore, in the fifth time slot, the
본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)는 제1 기준 속도보다 빠른 속도로 무인항공기(100)가 직진하는 경우, 전방 화면에 출력되는 영상과 좌측 측면 및 우측 측면 화면에 출력되는 영상 사이의 공백을 해결하기 위하여, 제3 부분 영상 및 제4 부분 영상을 이용하여 좌측 및 우측 측면 화면에 영상을 출력한다. The head-mounted
설명의 편의상, 헤드 마운트 디스플레이 장치(200)가 제1 내지 제4 부분 영상을 선택하여 좌측 측면 및 우측 측면 화면에 영상을 출력하는 것으로 설명하였으나 이에 한정하지 않고, 제1 기준 속도보다 큰 값을 갖는 제2 기준 속도를 설정하여 무인항공기(100)의 속도가 제2 기준 속도보다 클 경우 복수의 부분 영상을 더 선택하여 좌측 측면 및 우측 측면 화면에 출력할 수 있도록 구현할 수 있다. For convenience of explanation, it has been described that the head
도 8a 내지 8d는 사용자가 머리를 좌측으로 움직일 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.8A to 8D are diagrams showing a screen configuration of the head-mounted display device when the user moves the head to the left.
또한, 네 번째 타임 슬롯에 사용자의 머리가 좌측으로 움직였다고 감지되고, 도 8a와 같이 부분 영상 25, 27, 29, 30, 28, 26을 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 디스플레이 장치(200)는 좌측 측면 화면에 출력될 부분 영상 1, 7, 13 중에서 일부의 부분 영상을 전방 화면에 출력시킨다. 따라서 헤드 마운트 디스플레이 장치(200)는 도 8b와 같이 감지된 사용자의 머리 움직임 각도에 비례하여 네 번째 타임 슬롯에 수신된 촬영 영상의 일부와 이전의 타임 슬롯에 전방 화면 및 좌측 화면에 출력되었던 부분 영상을 이용하여 네 번째 타임 슬롯에 전방 화면에 출력할 영상을 생성하여 출력한다. When the user's head is detected to move to the left in the fourth time slot and the shot image including the
예를 들어 사용자가 머리를 작은 각도로 움직인 경우, 도 8a에 나타낸 것처럼 헤드 마운트 디스플레이 장치(200)는 부분 영상 13, 19, 21, 23, 24, 22를 전방 화면에 출력하고, 부분 영상 7을 좌측 측면 화면에 출력하며, 부분 영상 20을 우측 측면 화면에 출력할 수 있다. 8A, the head-mounted
또한, 사용자가 머리를 큰 각도로 회전한 경우, 도 8c와 같이, 헤드 마운트 장치(200)는 부분 영상 7, 13, 19, 21, 23, 24를 전방 화면에 출력하고, 부분 영상 1을 좌측 측면 화면에 출력하며, 부분 영상 22을 우측 측면 화면에 출력할 수 있다. 따라서 헤드 마운트 디스플레이 장치(200)는 도 8d와 같이, 사용자가 머리를 작은 각도로 회전한 도 8b의 경우보다 더 많은 수의 좌측 측면 화면에 출력될 부분 영상을 전방 화면에 출력한다. 8C, the
도 9a 및 9b는 무인항공기가 이동 방향을 변경할 때의 헤드 마운트 디스플레이 장치의 화면 구성을 나타낸 도면이다.9A and 9B are diagrams showing the screen configuration of the head-mounted display device when the UAV changes its moving direction.
다섯 번째 타임 슬롯에 무인항공기(100)가 이동 방향을 변경하였다는 이동 정보를 수신하고, 도 9a와 같이 부분 영상 25, 27, 29, 30, 28, 26을 포함하는 촬영 영상을 수신한 경우, 헤드 마운트 디스플레이 장치(200)는 다섯 번째 타임 슬롯에 수신된 촬영 영상을 전방 화면에 출력한다. 그리고 무인항공기(200)가 이동 방향을 변경한 경우에는 이전 타임 슬롯에 수신된 촬영 영상을 이용하여 현재 타임 슬롯의 좌측 및 우측 측면 영상을 생성할 수가 없으므로, 도 9b와 같이 좌측 측면 및 우측 측면 화면에 출력할 부분 영상을 초기화하여 빈 화면을 출력한다.9A, when the photographed image including the
설명의 편의상, 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치(200)의 디스플레이부(240)가 좌측 측면 화면 및 우측 측면 화면을 구비한 경우로 예를 들어 설명하였으나, 이에 한정하지 않고, 상측 측면 화면 및 하측 측면 화면을 더 포함할 수 있다. 또한, 디스플레이부(240)는 좌측 측면 화면 및 우측 측면 화면을 포함하지 않고, 전방 화면, 상측 측면 화면, 우측 측면화면으로 구성될 수도 있다. For convenience of explanation, the
헤드 마운트 디스플레이 장치(200)가 상측 측면 화면 및 우측 측면 화면을 포함하는 경우, 무인항공기(100)가 제1 기준 속도 이하로 전진하면 디스플레이 장치(200)는 이전 타임 슬롯에서 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상측 측면 화면에 표시하고, 이전 타임 슬롯에서 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 하측 측면 화면에 표시한다. When the head
또한, 무인항공기(100)가 제1 기준 속도보다 빠른 속도로 전진하면 헤드 마운트 디스플레이 장치(200)는 제a 부분 영상 및 이전 타임 슬롯에서 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상측 측면 화면에 표시하고, 제b 부분 영상 및 이전 타임 슬롯에서 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 하측 측면 화면에 표시한다. When the
그리고 사용자의 머리가 어느 한 방향으로 움직인 경우, 이전 타임 슬롯에서 상측 측면 화면 및 하측 측면 화면을 사용자의 머리가 움직인 쪽으로 이동시켜 표시한다. 이때, 전면 화면이 이동되는 만큼 상측 측면 화면 및 하측 측면 화면도 이동된다. When the user's head moves in one direction, the upper side and lower side screens are shifted to the side where the user's head moves in the previous time slot. At this time, the upper side side screen and the lower side side screen are moved as the front side screen is moved.
이와 같이 본 발명의 실시예에 따르면 헤드 마운트 디스플레이 장치 및 그 동작 방법을 이용함으로써, 무인항공기가 촬영한 영상의 좁은 시야 문제를 해결하여 넓은 시야의 촬영 영상을 제공할 수 있다. 또한, 무인항공기 이동 시 발생할 수 있는 충돌을 예측하여 회피할 수 있다.As described above, according to the embodiment of the present invention, by using the head-mounted display device and the operation method thereof, it is possible to solve the narrow visual field problem of the image photographed by the unmanned aerial vehicle, thereby providing a wide- In addition, it is possible to predict and avoid collisions that can occur when moving the UAV.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, Of the right.
100 : 무인항공기 200 : 헤드 마운트 디스플레이 장치
210 : 통신부 220 : 이동 감지부
230 : 제어부 240 : 디스플레이부
300 : 무인항공기로부터 수신된 촬영 영상 영역
410 : 출력 화면 영역 420 : 좌측 측면 화면
430 : 우측 측면 화면100: Unmanned aerial vehicle 200: Head-mounted display device
210: communication unit 220:
230: Control section 240:
300: photographed image area received from the unmanned airplane
410: output screen area 420: left side screen
430: Right side screen
Claims (12)
상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 통신부,
복수의 부분으로 나누어진 전방 화면을 포함하며, 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면을 더 포함하는 디스플레이부, 그리고
현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 상기 전방 화면에 표시하도록 하고, 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 측면 화면 중에서 적어도 하나에 표시하되, 현재 타임 슬롯에서 상기 무인항공기가 이동 방향을 변경한 것으로 감지된 경우, 상기 좌측 측면 화면, 상기 우측 측면 화면, 상기 상측 측면 화면 및 상기 하측 측면 화면을 공백 상태로 표시하도록 하는 제어부를 포함하는 헤드 마운트 디스플레이 장치. A head-mounted display device for receiving a photographed image from an unmanned aerial vehicle and providing the photographed image to a user,
A communication unit for receiving the photographed image and the movement information of the unmanned airplane in units of time slots from the unmanned airplane,
And further includes at least one side screen including a left side screen, a right side screen, an upper side screen and a lower side screen which are connected to the left, right, upper and lower sides of the front screen, respectively, And
Dividing the photographed image received in the current time slot into a plurality of partial images and displaying the divided partial images on the front screen, displaying a partial image displayed on the front screen in a previous time slot on at least one of the side screens, And a control unit for displaying the left side screen, the right side screen, the upper side screen and the lower side screen in a blank state when the unmanned airplane detects that the unmanned airplane has changed its moving direction in the slot, .
상기 제어부는,
상기 무인항공기가 제1 기준 속도 이하로 전진하는 것으로 감지되면,
상기 이전 타임 슬롯에서 상기 전방 화면의 가장 좌측 부분에 표시된 제1 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 우측 부분에 표시된 제2 부분 영상을 상기 우측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상기 상측 측면 화면에 표시하도록 하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 상기 하측 측면 화면에 표시하도록 하는 헤드 마운트 디스플레이 장치.The method according to claim 1,
Wherein,
If it is detected that the unmanned airplane is advancing below the first reference speed,
A first partial image displayed on the leftmost portion of the front screen in the previous time slot is displayed on the left side screen and a second partial image displayed on the rightmost portion of the front screen in the previous time slot is displayed on the right side And displaying the aa partial image displayed on the uppermost portion of the front screen in the previous time slot on the upper side screen, And displays the partial image on the lower side screen.
상기 제어부는,
상기 무인항공기가 상기 제1 기준 속도보다 빠른 속도로 전진하는 것으로 감지되면,
상기 제1 부분 영상 및 상기 이전 타임 슬롯에서 상기 제1 부분 영상에 인접한 하나 이상의 제3 부분 영상을 상기 좌측 측면 화면에 표시하도록 하고,
상기 제2 부분 영상 및 상기 이전 타임 슬롯에서 상기 제2 부분 영상에 인접한 하나 이상의 제4 부분 영상을 상기 우측 측면 화면에 표시하도록 하며,
상기 제a 부분 영상 및 상기 이전 타임 슬롯에서 상기 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상기 상측 측면 화면에 표시하도록 하고,
상기 제b 부분 영상 및 상기 이전 타임 슬롯에서 상기 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 상기 하측 측면 화면에 표시하도록 하는 헤드 마운트 디스플레이 장치.3. The method of claim 2,
Wherein,
If it is detected that the UAV is advancing at a speed higher than the first reference speed,
Display one or more third partial images adjacent to the first partial image and the first partial image on the left side screen in the previous time slot,
Display one or more fourth partial images adjacent to the second partial image and the second partial image in the previous time slot on the right side screen,
And displaying one or more c-th partial images adjacent to the a-th partial image and the a-th partial image in the previous time slot on the upper side screen,
And displays the b-th partial image and the at least one d-th partial image adjacent to the b-th partial image in the previous time slot on the lower side screen.
상기 제어부는,
상기 제3 부분 영상을 상기 제1 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고,
상기 제4 부분 영상을 상기 제2 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하며,
상기 제c 부분 영상을 상기 제a 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하고,
상기 제d 부분 영상을 상기 제b 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하도록 하는 헤드 마운트 디스플레이 장치.The method of claim 3,
Wherein,
The third partial image is displayed at a position closer to the front screen than the first partial image,
The fourth partial image is displayed at a position closer to the front screen than the second partial image,
The c-th partial image is displayed at a position closer to the front screen than the a-th partial image,
And displays the d-th partial image at a position closer to the front screen than the b-th partial image.
사용자의 머리 움직임을 감지하는 이동 감지부를 더 포함하며,
상기 제어부는,
상기 사용자의 머리가 좌측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 좌측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 우측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 좌측 측면 화면에 표시된 영상이 이동된 만큼 우측으로 이동되어 표시되도록 하고,
상기 사용자의 머리가 우측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 우측 측면 화면에 표시된 영상이 상기 전방 화면에 표시되도록 하고, 상기 전방 화면에 표시된 영상이 상기 좌측 측면 화면에 표시되도록 하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 우측 측면 화면에 표시된 영상이 이동된 만큼 좌측으로 이동되어 표시되도록 하는 헤드 마운트 디스플레이 장치. The method according to claim 1,
And a movement detecting unit for detecting a movement of the user's head,
Wherein,
When the head of the user is detected as moving to the left, the image displayed on the left side screen in the previous time slot is displayed on the front screen, and the image displayed on the front screen is displayed on the right side screen , The upper side side screen and the lower side side screen are moved to the right by the amount of movement of the image displayed on the left side screen,
When the head of the user is sensed to move to the right, an image displayed on the right side screen in the previous time slot is displayed on the front screen, and an image displayed on the front screen is displayed on the left side screen And the upper side side screen and the lower side side screen are displayed to be shifted to the left as far as the image displayed on the right side side screen is moved.
상기 무인항공기로부터 타임 슬롯 단위로 상기 촬영 영상 및 상기 무인항공기의 이동정보를 수신하는 단계,
현재 타임 슬롯에서 수신된 상기 촬영 영상을 복수의 부분 영상으로 분할하여 전방 화면에 표시하는 단계, 그리고
이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나에 표시하되, 현재 타임 슬롯에서 상기 무인항공기가 이동 방향을 변경한 것으로 감지된 경우, 상기 좌측 측면 화면, 상기 우측 측면 화면, 상기 상측 측면 화면 및 상기 하측 측면 화면을 공백 상태로 표시하는 단계를 포함하는 헤드 마운트 디스플레이 장치의 동작 방법. A method of operating a head-mounted display device for receiving a photographed image from an unmanned aerial vehicle and providing the photographed image to a user,
Receiving the photographed image and the movement information of the unmanned aerial vehicle on a time slot basis from the unmanned aerial vehicle,
Dividing the photographed image received in the current time slot into a plurality of partial images and displaying the divided images on a front screen, and
A partial image displayed on the front screen in a previous time slot is displayed on at least one of a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, And displaying the left side image, the right side image, the upper side image, and the lower side image in a blank state when the unmanned airplane detects that the unmanned airplane has changed its moving direction in the slot How it works.
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 무인항공기가 제1 기준 속도 이하로 전진하는 것으로 감지되면,
상기 이전 타임 슬롯에서 상기 전방 화면의 가장 좌측 부분에 표시된 제1 부분 영상을 상기 좌측 측면 화면에 표시하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 우측 부분에 표시된 제2 부분 영상을 상기 우측 측면 화면에 표시하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 상측 부분에 표시된 제a 부분 영상을 상기 상측 측면 화면에 표시하고, 상기 이전 타임 슬롯에서 상기 전방 화면의 가장 하측 부분에 표시된 제b 부분 영상을 상기 하측 측면 화면에 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 8. The method of claim 7,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
If it is detected that the unmanned airplane is advancing below the first reference speed,
A first partial image displayed on the leftmost portion of the front screen in the previous time slot is displayed on the left side screen and a second partial image displayed on the rightmost portion of the front screen in the previous time slot is displayed on the right side screen And displaying a first partial image on the upper side of the front screen in the previous time slot and a second partial image displayed on the lower most side of the front screen in the previous time slot, And displays the image on the lower side screen.
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 무인항공기가 상기 제1 기준 속도보다 빠른 속도로 전진하는 것으로 감지되면,
상기 제1 부분 영상 및 상기 이전 타임 슬롯에서 상기 제1 부분 영상에 인접한 하나 이상의 제3 부분 영상을 상기 좌측 측면 화면에 표시하고,
상기 제2 부분 영상 및 상기 이전 타임 슬롯에서 상기 제2 부분 영상에 인접한 하나 이상의 제4 부분 영상을 상기 우측 측면 화면에 표시하며,
상기 제a 부분 영상 및 상기 이전 타임 슬롯에서 상기 제a 부분 영상에 인접한 하나 이상의 제c 부분 영상을 상기 상측 측면 화면에 표시하고,
상기 제b 부분 영상 및 상기 이전 타임 슬롯에서 상기 제b 부분 영상에 인접한 하나 이상의 제d 부분 영상을 상기 하측 측면 화면에 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 9. The method of claim 8,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
If it is detected that the UAV is advancing at a speed higher than the first reference speed,
Displaying the first partial image and one or more third partial images adjacent to the first partial image in the previous time slot on the left side screen,
The second partial image and one or more fourth partial images adjacent to the second partial image in the previous time slot on the right side screen,
And displaying one or more c-th partial images adjacent to the a-th partial image and the a-th partial image in the previous time slot on the upper side screen,
And displays the b-th partial image and at least one d-th partial image adjacent to the b-th partial image in the previous time slot on the lower side screen.
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 제3 부분 영상을 상기 제1 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하고,
상기 제4 부분 영상을 상기 제2 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하며,
상기 제c 부분 영상을 상기 제a 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하고,
상기 제d 부분 영상을 상기 제b 부분 영상보다 상기 전방 화면에 근접한 위치에 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 10. The method of claim 9,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
Displaying the third partial image at a position closer to the front screen than the first partial image,
The fourth partial image is displayed at a position closer to the front screen than the second partial image,
And displaying the c-th partial image at a position closer to the front screen than the a-th partial image,
And displays the d-th partial image at a position closer to the front screen than the b-th partial image.
사용자의 머리 움직임을 감지하는 단계를 더 포함하며,
상기 이전 타임 슬롯에 상기 전방 화면에 표시된 일부 부분 영상을 상기 전방 화면의 좌측, 우측, 상측 및 하측에 각각 연결된 좌측 측면 화면, 우측 측면 화면, 상측 측면 화면 및 하측 측면 화면 중에서 적어도 하나의 측면 화면 표시하는 단계는,
상기 사용자의 머리가 좌측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 좌측 측면 화면에 표시된 영상이 상기 전방 화면에 표시하고, 상기 전방 화면에 표시된 영상이 상기 우측 측면 화면에 표시하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 좌측 측면 화면에 표시된 영상이 이동된 만큼 우측으로 이동하여 표시하고,
상기 사용자의 머리가 우측으로 움직인 것으로 감지된 경우, 상기 이전 타임 슬롯에서 상기 우측 측면 화면에 표시된 영상이 상기 전방 화면에 표시하고, 상기 전방 화면에 표시된 영상이 상기 좌측 측면 화면에 표시하며, 상기 상측 측면 화면 및 하측 측면 화면을 상기 우측 측면 화면에 표시된 영상이 이동된 만큼 좌측으로 이동하여 표시하는 헤드 마운트 디스플레이 장치의 동작 방법. 9. The method of claim 8,
Further comprising detecting a head movement of the user,
A partial image displayed on the front screen in the previous time slot is displayed on at least one side screen among a left side screen, a right side screen, an upper side screen and a lower side screen connected to the left, right, upper and lower sides of the front screen, Lt; / RTI >
When the head of the user is detected as moving to the left, the image displayed on the left side screen in the previous time slot is displayed on the front screen, the image displayed on the front screen is displayed on the right side screen, The upper side side screen and the lower side side screen are moved to the right by the amount of movement of the image displayed on the left side screen,
When the head of the user is sensed to move to the right, an image displayed on the right side screen in the previous time slot is displayed on the front screen, an image displayed on the front screen is displayed on the left side screen, The upper side side screen and the lower side side screen are moved to the left side as much as the image displayed on the right side side screen is moved and displayed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150031073A KR101623300B1 (en) | 2015-03-05 | 2015-03-05 | Head Mount Display Apparatus and Operation Method Thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150031073A KR101623300B1 (en) | 2015-03-05 | 2015-03-05 | Head Mount Display Apparatus and Operation Method Thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101623300B1 true KR101623300B1 (en) | 2016-05-23 |
Family
ID=56104372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150031073A KR101623300B1 (en) | 2015-03-05 | 2015-03-05 | Head Mount Display Apparatus and Operation Method Thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101623300B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018105839A1 (en) * | 2016-12-06 | 2018-06-14 | 주식회사 상화 | Simulating apparatus |
CN111580546A (en) * | 2020-04-13 | 2020-08-25 | 深圳蚁石科技有限公司 | Automatic returning method and device for unmanned aerial vehicle |
-
2015
- 2015-03-05 KR KR1020150031073A patent/KR101623300B1/en active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018105839A1 (en) * | 2016-12-06 | 2018-06-14 | 주식회사 상화 | Simulating apparatus |
CN111580546A (en) * | 2020-04-13 | 2020-08-25 | 深圳蚁石科技有限公司 | Automatic returning method and device for unmanned aerial vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11106203B2 (en) | Systems and methods for augmented stereoscopic display | |
US11733692B2 (en) | Systems and methods for controlling an unmanned aerial vehicle | |
US12019458B2 (en) | Systems and methods for coordinating device actions | |
CN104781873B (en) | Image display device, method for displaying image, mobile device, image display system | |
US10678238B2 (en) | Modified-reality device and method for operating a modified-reality device | |
EP3494443B1 (en) | Systems and methods for controlling an image captured by an imaging device | |
US9648313B1 (en) | Aviation display system and method | |
CN107871405B (en) | Detection and assessment of air crash threats using visual information | |
CN108769531B (en) | Method for controlling shooting angle of shooting device, control device and remote controller | |
US9269239B1 (en) | Situational awareness system and method | |
US9830713B1 (en) | Surveillance imaging system and method | |
JP2020508615A (en) | Multi-gimbal assembly | |
US20180143636A1 (en) | Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle | |
JP2019507924A (en) | System and method for adjusting UAV trajectory | |
EP2828148A2 (en) | Image monitoring and display from unmanned vehicle | |
JP2003267295A (en) | Remote operation system | |
KR101662032B1 (en) | UAV Aerial Display System for Synchronized with Operators Gaze Direction | |
KR20180025416A (en) | Drone flying control system and method using motion recognition and virtual reality | |
KR101796478B1 (en) | Unmanned air vehicle capable of 360 degree picture shooting | |
KR101623300B1 (en) | Head Mount Display Apparatus and Operation Method Thereof | |
JP6831949B2 (en) | Display control system, display control device and display control method | |
WO2018209557A1 (en) | Method and device for controlling device, and computer readable storage medium | |
US11262749B2 (en) | Vehicle control system | |
US20230259132A1 (en) | Systems and methods for determining the position of an object using an unmanned aerial vehicle | |
JP6821864B2 (en) | Display control system, display control device and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190508 Year of fee payment: 4 |