KR20230120245A - Metaverse virtual navigation system for drones - Google Patents

Metaverse virtual navigation system for drones Download PDF

Info

Publication number
KR20230120245A
KR20230120245A KR1020220016594A KR20220016594A KR20230120245A KR 20230120245 A KR20230120245 A KR 20230120245A KR 1020220016594 A KR1020220016594 A KR 1020220016594A KR 20220016594 A KR20220016594 A KR 20220016594A KR 20230120245 A KR20230120245 A KR 20230120245A
Authority
KR
South Korea
Prior art keywords
drone
information
unit
screen information
correction
Prior art date
Application number
KR1020220016594A
Other languages
Korean (ko)
Inventor
한정승
이상원
김소정
Original Assignee
여주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 여주대학교 산학협력단 filed Critical 여주대학교 산학협력단
Priority to KR1020220016594A priority Critical patent/KR20230120245A/en
Publication of KR20230120245A publication Critical patent/KR20230120245A/en

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885Transmission of map data to client devices; Reception of map data by client devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

드론 및 단말부와 연결되는 서버를 포함하는 것으로서, 서버는 단말부에 가상현실 형태의 화면정보를 제공하는 출력부 및 드론과 단말부로부터 각각 운행정보 및 화면정보를 획득하며 운행정보 및 화면정보를 서로 일치시키는 연동부를 포함하는 가상 항법시스템을 제공한다. 본 발명의 실시예에 따르면, 군사용, 교육용, 체험용 등 다양한 분야에서 드론을 보다 정확하고 용이하게 운용할 수 있어 드론 운용 관련 범용성을 극대화하고 더 나아가 드론 산업의 활성화를 유도할 수 있으며, 고가의 위치측정 장치에 관한 사용을 최소화하면서도 드론의 운용 정확성을 높일 수 있어, 운용 효율을 현저히 높일 수 있다.It includes a server connected to the drone and the terminal, and the server obtains operation information and screen information from the output unit and drone and terminal, respectively, that provide screen information in the form of virtual reality to the terminal, and displays operation information and screen information. Provided is a virtual navigation system including interlocking units that match each other. According to an embodiment of the present invention, drones can be more accurately and easily operated in various fields such as for military use, education, and experience, thereby maximizing versatility related to drone operation and further inducing activation of the drone industry. It is possible to increase the operation accuracy of the drone while minimizing the use of the positioning device, thereby significantly increasing the operation efficiency.

Description

드론용 메타버스 가상 항법시스템{Metaverse virtual navigation system for drones}Metaverse virtual navigation system for drones}

본 발명은 드론용 메타버스 가상 항법시스템에 관한 것이다. 상세하게, 본 발명의 다양한 실시예는 메타버스 상에서의 이동과 드론의 이동을 동기화함으로써, 드론의 성능 및 활용도를 높일 수 있는 기술에 관한 것이다.The present invention relates to a metaverse virtual navigation system for drones. In detail, various embodiments of the present invention relate to a technology that can increase the performance and utilization of a drone by synchronizing movement on a metaverse with movement of a drone.

드론은 소형 비행장치의 일종으로 주로 카메라를 탑재하여 방송용, 감시용 또는 측량용으로 다양한 산업분야에서 사용되고 있다. 최근에는 드론의 가격이 저렴해지고 소형화 및 고성능화됨에 따라, 개인이 드론을 구매하여 사용하는 사례가 증가하고 있다.A drone is a type of small flying device that is mainly equipped with a camera and is used in various industrial fields for broadcasting, surveillance, or surveying. In recent years, as the price of drones has been reduced and miniaturization and high performance have increased, cases in which individuals purchase and use drones are increasing.

한편, 가상현실 관련 기술이 발전하여 가상현실 속에서 다양한 활동이 가능해짐에 따라, 드론 기술 및 가상현실 관련 기술을 접목시키려는 기술이 개발되고 있다. 하지만, 드론의 위치 및 이동 관련 정확도를 높이는 VOR/DME (VHF Omni-directional Range/Distance measurement equipment) 장치가 고가임에 따라, 이를 메타버스 기술과 접목시켜 고효율의 드론 항법시스템의 개발이 필요한 실정이다.On the other hand, as virtual reality-related technology has developed and various activities have become possible in virtual reality, technology to combine drone technology and virtual reality-related technology is being developed. However, as the VOR/DME (VHF Omni-directional Range/Distance measurement equipment) device that increases the accuracy of the drone's location and movement is expensive, it is necessary to develop a highly efficient drone navigation system by combining it with metaverse technology. .

본 발명의 다양한 실시예는 상기와 같은 문제점을 해결하기 위한 것으로서, 고가의 거리측정장치를 대체하는 항법 시스템을 개발하는 것이다.Various embodiments of the present invention are to solve the above problems, and to develop a navigation system that can replace expensive distance measuring devices.

또한, 본 발명이 해결하고자 하는 과제는 드론 및 메타버스 기술을 접목함으로써, 드론 운용 과정에서 위험 상황이 발생하는 것을 방지하는 것이다.In addition, the problem to be solved by the present invention is to prevent dangerous situations from occurring during drone operation by combining drone and metaverse technologies.

또한, 본 발명은 가상현실에서 실제 상황에서의 드론을 조종하는 과정에서 정확도를 높이는 것을 그 목적으로 한다.In addition, an object of the present invention is to increase accuracy in the process of piloting a drone in a real situation in virtual reality.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

이를 위해, 단말부에 가상현실 형태의 화면정보를 제공하는 출력부 및 드론과 단말부로부터 각각 운행정보 및 화면정보를 획득하며 운행정보 및 화면정보를 서로 일치시키는 연동부를 포함하는 가상 항법시스템을 제공한다.To this end, a virtual navigation system including an output unit that provides screen information in the form of virtual reality to the terminal unit and a linkage unit that acquires operation information and screen information from the drone and the terminal unit and matches the operation information and screen information with each other is provided. do.

본 발명의 실시예에 따르면, 군사용, 교육용, 체험용 등 다양한 분야에서 드론을 보다 정확하고 용이하게 운용할 수 있어, 드론 운용 관련 범용성을 극대화하고 더 나아가 드론 산업의 활성화를 유도할 수 있다.According to an embodiment of the present invention, drones can be more accurately and easily operated in various fields such as for military use, education, and experience, thereby maximizing versatility related to drone operation and further inducing vitalization of the drone industry.

또한, 본 발명을 통해 고가의 위치측정 장치에 관한 사용을 최소화하면서도 드론의 운용 정확성을 높일 수 있어, 운용 효율을 현저히 높일 수 있다.In addition, through the present invention, it is possible to increase the operation accuracy of the drone while minimizing the use of an expensive positioning device, thereby significantly increasing the operation efficiency.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 실시예에 따른 드론용 메타버스 가상 항법시스템을 전체적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 서버 내 구성을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 가상현실 내 화면정보를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 위치 연동 기능을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 제1보정이 이루어지는 과정을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 제1보정이 이루어지는 것을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 제2보정이 이루어지는 과정을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 제2보정이 이루어지는 것을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 제3보정이 이루어지는 과정을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 제3보정이 이루어지는 것을 나타내는 도면이다.
도 11은 본 발명의 실시예에 따른 항로 제공 기능이 이루어지는 과정을 나타내는 도면이다.
1 is a diagram showing the entire metaverse virtual navigation system for drones according to an embodiment of the present invention.
2 is a diagram showing an internal configuration of a server according to an embodiment of the present invention.
3 is a diagram showing screen information in virtual reality according to an embodiment of the present invention.
4 is a diagram illustrating a location interworking function according to an embodiment of the present invention.
5 is a diagram illustrating a process of performing a first correction according to an embodiment of the present invention.
6 is a diagram showing that a first correction is performed according to an embodiment of the present invention.
7 is a diagram illustrating a process of performing second correction according to an embodiment of the present invention.
8 is a diagram showing that a second correction is performed according to an embodiment of the present invention.
9 is a diagram illustrating a process of performing third correction according to an embodiment of the present invention.
10 is a diagram showing that third correction is performed according to an embodiment of the present invention.
11 is a diagram illustrating a process of performing a route providing function according to an embodiment of the present invention.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terminology used herein is for describing the embodiments and is not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When it is said that a certain part "includes" a certain component throughout the specification, it means that it may further include other components without excluding other components unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. .

본 발명을 상세히 설명하기에 앞서, “사용자”는 본 발명에 따른 단말부를 통해 드론을 조종하는 주체이다. 또한, “드론”에는 카메라 등의 촬상수단, 후술할 통신부와의 통신 연결을 수행하는 통신모듈 및 드론의 온오프, 이동 등을 제어하는 제어모듈을 포함할 수 있다.Prior to explaining the present invention in detail, a “user” is a subject who controls a drone through a terminal according to the present invention. In addition, the “drone” may include an imaging means such as a camera, a communication module for performing a communication connection with a communication unit to be described later, and a control module for controlling on/off and movement of the drone.

도 1은 본 발명의 실시예에 따른 드론용 메타버스 가상 항법시스템을 전체적으로 나타내는 도면이다.1 is a diagram showing the entire metaverse virtual navigation system for drones according to an embodiment of the present invention.

본 발명에 따른 드론용 메타버스 가상 항법시스템은 드론(d) 및 단말부(200)와 연결되는 서버(100)를 포함하는 것으로서, 상기 서버(100)는 통신부(110), 출력부(120), 연동부(130), 편집부(140), 전환부(150) 및 항로 제공부(160)를 포함한다. 이와 같은 서버(100)는 드론(d) 및 단말부(200)와 통신 연결된 상태에서 각종 정보를 송수신한다. 또한, 본 발명에 따른 서버(100)는 미리 지정된 기준 마커(m), 지형 및 사물을 기반으로 드론(d)의 위치를 추정하고, 이를 기반으로 단말부(200) 상에 출력되는 화면와 동기화할 수 있다.The metaverse virtual navigation system for drones according to the present invention includes a server 100 connected to a drone (d) and a terminal unit 200, and the server 100 includes a communication unit 110 and an output unit 120 , It includes an interlocking unit 130, an editing unit 140, a conversion unit 150 and a route providing unit 160. The server 100 transmits and receives various types of information while being connected to the drone d and the terminal unit 200 in communication. In addition, the server 100 according to the present invention estimates the location of the drone d based on a predetermined reference marker m, terrain, and objects, and synchronizes with the screen output on the terminal unit 200 based on this estimation. can

단말부(200)는 사용자가 소지하는 상태에서 사용자에게 화면정보를 표시하는 구성으로서, 사용자가 드론(d)을 보다 용이하고 정확하게 조종할 수 있도록 유도한다. 이를 위해, 단말부(200)는 서버(100)와 연결된 상태에서 후술할 출력부(120)를 통해 화면정보를 제공받는다. 여기서, 화면정보는 도 3과 같은 가상현실 형태로 구비되어 고도계, 방향계, 조정간 등의 정보가 표시될 수 있으며, 보다 구체적으로는 가상현실, 증강현실 등을 포함하는 메타버스 형태로 구비될 수 있다. 이를 통해, 사용자가 메타버스 상에 접속해 있는 상태에서 드론(d)을 조정하는 것으로도 실제 현실 상의 드론(d)의 조정을 실시할 수 있다. 한편, 화면정보 상의 드론(d)에 관한 정보 및 실제 현실에서의 드론(d)에 관한 정보가 동기화되어 정확한 움직임을 구현할 수 있도록 서버(100) 내 구성이 개시된다.The terminal unit 200 is a component that displays screen information to the user while being held by the user, and induces the user to more easily and accurately control the drone d. To this end, the terminal unit 200 receives screen information through an output unit 120 to be described later while connected to the server 100 . Here, the screen information may be provided in the form of virtual reality as shown in FIG. 3 to display information such as an altimeter, direction gauge, and control rod, and more specifically, may be provided in the form of a metaverse including virtual reality and augmented reality. there is. Through this, it is possible to adjust the drone (d) in the real world even by adjusting the drone (d) while the user is connected to the metaverse. Meanwhile, the configuration in the server 100 is disclosed so that information about the drone d on the screen information and information about the drone d in the real world are synchronized to realize accurate movement.

도 2는 본 발명의 실시예에 따른 서버(100) 내 구성을 나타내는 도면이다. 본 발명에 따른 서버(100)는 통신부(110)를 통해 드론(d) 및 단말부(200)와 연결된 상태에서 화면 연동 기능, 정보 입력 기능, 화면 전환 기능 및 항로 제공 기능을 수행할 수 있다.2 is a diagram showing the internal configuration of the server 100 according to an embodiment of the present invention. The server 100 according to the present invention can perform a screen interlocking function, an information input function, a screen switching function, and a route providing function while connected to the drone d and the terminal unit 200 through the communication unit 110.

통신부(110)는 드론(d), 단말부(200) 및 서버(100)가 통신되도록 하는 구성으로서, 상세하게는 드론(d) 및 단말부(200)로부터 각각 운행정보 및 화면정보를 전달받을 수 있는 통신모듈로 구비된다.The communication unit 110 is a component that allows the drone d, the terminal unit 200, and the server 100 to communicate, and in detail, receives operation information and screen information from the drone d and the terminal unit 200, respectively. It is equipped with a communication module that can

출력부(120)는 단말부(200)를 대상으로 화면정보를 공급한다. 상세하게, 출력부(120)는 미리 저장된 화면정보에 관한 정보를 포함하고, 단말부(200)를 향해 화면정보에 관한 정보를 발송한다. 여기서, 화면정보는 고도계, 방향계, 조정간 등의 정보가 표시되고, 추가로 지형 및 지물 등의 인식 가능한 객체에 관한 정보가 포함될 수 있다.The output unit 120 supplies screen information to the terminal unit 200 . In detail, the output unit 120 includes information about screen information stored in advance and sends the information about screen information to the terminal 200 . Here, the screen information may display information such as an altimeter, a direction gauge, and a control rod, and may additionally include information on recognizable objects such as topography and features.

일례로, 출력부(120)는 별도로 구비된 맵핑수단을 통해 지리정보를 전달받고, 이를 기반으로 단말부(200) 또는 드론(d)의 주변에 위치한 지형 및 지물 등의 인식 가능한 객체를 화면정보로 표시할 수 있다(도 8 참조). 선술하였지만, 상기와 같은 화면정보는 가상현실, 증강현실 등을 포함하는 메타버스 형태로 구비될 수 있다. 이를 통해, 사용자는 단말부(200) 상에 표시되는 화면정보를 기반으로 드론(d)의 움직임 및 위치 관련 정보를 메타버스에 접목시킬 수 있다.For example, the output unit 120 receives geographical information through a separately provided mapping means, and based on this, recognizable objects such as terrain and features located around the terminal unit 200 or the drone d are displayed as screen information. It can be expressed as (see Fig. 8). Although described above, the above screen information may be provided in the form of a metaverse including virtual reality, augmented reality, and the like. Through this, the user can graft motion and location related information of the drone d to the metaverse based on the screen information displayed on the terminal unit 200 .

또한, 출력부(120)는 하기와 같은 화면 연동 기능, 정보 입력 기능, 화면 정환 기능 및 항로 제공 기능에 관한 결과를 단말부(200) 상에 제공할 수 있다. 이는 연동부(130), 편집부(140), 전환부(150) 및 항로 제공부(160)에 의해 실시되는 결과를 단말부(200) 상에 전달하는 것이다.In addition, the output unit 120 may provide the terminal unit 200 with results related to a screen interlocking function, an information input function, a screen switching function, and a route providing function as described below. This is to transfer the result executed by the interlocking unit 130, the editing unit 140, the conversion unit 150, and the route providing unit 160 to the terminal unit 200.

화면 연동 기능은 연동부(130)에 의해 실시된다. 상세하게, 화면 연동 기능은 연동부(130)에 의해 실시되는 제1보정, 제2보정 및 제3보정에 관한 것으로서, 운행정보 및 화면정보를 서로 일치시키는 것이다. 이를 위해, 연동부(130)는 드론(d) 및 단말부(200)로부터 각각 운행정보 및 화면정보를 획득하고, 획득한 운행정보 및 화면정보의 일치 여부를 판단한 후, 불일치 시 운행정보 및 화면정보를 서로 일치시킨다. 이 과정에서 가상현실 상에 구현되는 객체의 크기, 위치 또는 드론(d)의 크기, 속도 또는 위치를 변경하거나, 현실 상의 드론(d)의 위치 또는 속도를 변경함으로써 운행정보 및 화면정보의 일치를 이룰 수 있다.The screen linking function is performed by the linking unit 130 . In detail, the screen interlocking function relates to the first correction, the second correction, and the third correction performed by the interlocking unit 130, and matches driving information and screen information to each other. To this end, the interlocking unit 130 obtains operation information and screen information from the drone d and the terminal unit 200, determines whether the obtained operation information and screen information match, and if they do not match, the operation information and screen Match information to each other. In this process, the operation information and the screen information are matched by changing the size, position, or size, speed, or position of the drone (d) implemented in virtual reality, or by changing the position or speed of the drone (d) in reality. can be achieved

정보 입력 기능은 편집부(140)에 의해 실시되는 것으로서, 화면정보에서 표시되지 않은 지형 또는 기준 마커(m)에 관한 정보를 입력하는 것이다. 이를 위해, 편집부(140)는 단말부(200)에게 신규 편집 요청을 실시함으로써 신규 지형 또는 신규 기준 마커(m)에 관해 메모 또는 추가 형태로 정보를 입력할 수 있는 입력 정보를 제공할 수 있다.The information input function is performed by the editing unit 140, and inputs information about the topography or reference marker m that is not displayed in the screen information. To this end, the editing unit 140 may provide input information capable of inputting information in the form of a memo or additional information about a new topography or a new fiducial marker m by requesting a new edit to the terminal unit 200 .

화면 전환 기능은 운행정보 및 화면정보를 번갈아 조회할 수 있도록 화면을 전환하는 기능이다. 상세하게, 화면 전환 기능은 전환부(150)에 의해 실시되며, 상기 전환부(150)는 단말부(200)에 운행정보 및 화면정보를 동시 또는 순차적으로 플로팅시킨다. 이에 따라, 단말부(200)에서는 가상현실 상의 화면정보 및 드론(d)을 통해 촬상되어 획득할 수 있는 운행정보가 전환 형태로 표시될 수 있다. 여기서, 상기 운행정보 및 화면정보는 사용자에 의한 단말부(200)의 입력에 따라 번갈아 표시되거나, 분할 창의 형태로 동시 조회될 수 있다.The screen switching function is a function of switching the screen so that driving information and screen information can be inquired alternately. In detail, the screen switching function is performed by the switching unit 150, and the switching unit 150 simultaneously or sequentially plots driving information and screen information on the terminal unit 200. Accordingly, in the terminal unit 200, screen information in virtual reality and operation information that can be captured and acquired through the drone d can be displayed in a switched form. Here, the driving information and the screen information may be alternately displayed according to a user's input through the terminal unit 200 or may be simultaneously inquired in the form of a split window.

항로 제공 기능은 항로 제공부(160)에 의해 실시되는 것으로서, 드론(d)이 저장된 항로를 따라 이동할 수 있도록 가이드하고, 가이드되어 이동하는 드론(d)에 대응하여 단말부(200) 상에서 이동 현황이 화면정보로 동기화될 수 있도록 표시할 수 있다.The route providing function is performed by the route providing unit 160, and guides the drone d to move along the stored route, and the movement status on the terminal unit 200 in response to the guided drone d moving. It can be displayed so that it can be synchronized with this screen information.

도 3은 본 발명의 실시예에 따른 가상현실 내 화면정보를 나타내는 도면이다. 3 is a diagram showing screen information in virtual reality according to an embodiment of the present invention.

선술한 바와 같이, 화면정보는 출력부(120)에 의해 단말부(200)에 제공되고 이를 연동부(130)가 수집할 수 있다. 화면정보는 도 3과 같이 고도계, 각도계, 조정간 등 드론(d)의 위치 및 속도에 관한 정보와 지형, 지물 등 객체에 관한 정보를 포함할 수 있다. 이에 따라, 사용자는 가상 현실 상에서 드론(d) 시점으로 조종이 가능하고, 이는 현실 상에서의 드론(d)과 대응될 수 있다.As described above, screen information is provided to the terminal unit 200 by the output unit 120, and the interlocking unit 130 may collect it. As shown in FIG. 3, the screen information may include information about the location and speed of the drone d, such as an altimeter, angle gauge, and control lever, and information about objects such as topography and features. Accordingly, the user can control the drone (d) from the viewpoint in virtual reality, and this can correspond to the drone (d) in reality.

상기와 같은 화면정보는 터치 등의 단말부(200)의 입력에 의해 가변되고, 이와 동시에 현실 상의 드론(d)의 이동이 가변할 수 있다. 여기서, 화면정보 및 운행정보가 모두 변동하며, 변동되는 운행정보 및 화면정보는 연동부(130)에 의해 동일하도록 조정될 수 있다. The screen information as described above is changed by an input of the terminal unit 200, such as a touch, and at the same time, the movement of the drone d in reality can be changed. Here, both the screen information and the driving information change, and the changed driving information and the screen information may be adjusted to be the same by the interlocking unit 130 .

도 4는 본 발명의 실시예에 따른 위치 연동 기능을 나타내는 도면이다.4 is a diagram illustrating a location interworking function according to an embodiment of the present invention.

연동부(130)는 운행정보 및 화면정보를 일치시키기 위해 미리 지정된 제1보정, 제2보정 및 제3보정을 실시할 수 있으며 이는 화면 연동 기능으로 구현된다.The interlocking unit 130 may perform pre-designated first, second, and third corrections to match driving information and screen information, which is implemented as a screen interlocking function.

제1보정은 기준마커를 기반으로 드론(d)의 운행정보 및 화면정보를 동기화하는 보정이고, 제2보정은 지형 및 지물로부터 드론(d)의 운행정보 및 화면정보를 동기화하며, 제3보정은 먼저 형성된 사물의 인식에 따른 드론(d)의 운행정보 및 화면정보를 동기화하는 보정이다.The first correction is for synchronizing the operation information and screen information of the drone (d) based on the reference marker, the second correction is for synchronizing the operation information and screen information of the drone (d) from the terrain and features, and the third correction is correction for synchronizing the operation information and screen information of the drone d according to the recognition of the first formed object.

도 5는 본 발명의 실시예에 따른 제1보정이 이루어지는 과정을 나타내는 도면이고, 도 6은 본 발명의 실시예에 따른 제1보정이 이루어지는 것을 나타내는 도면이다.5 is a diagram showing a process of making a first correction according to an embodiment of the present invention, and FIG. 6 is a diagram showing making a first correction according to an embodiment of the present invention.

제1보정은 미리 지정된 기준 마커(m)로부터 드론(d)의 위치를 측정하여 형성된 운행정보 및 화면정보를 일치시키는 보정으로서 연동부(130)에 의해 실시된다.The first correction is performed by the interlocking unit 130 as a correction for matching driving information and screen information formed by measuring the position of the drone d from a predetermined reference marker m.

기준 마커(m)는 드론(d)의 변위정보 등 위치정보를 서버(100)에 제공할 수 있는 구성으로서, 드론(d)과 통신 가능한 통신수단 및 드론(d)의 이동속도, 위치 등 상태에 관한 정보를 측정할 수 있는 계측수단을 포함할 수 있다. 이를 위해 기준 마커(m)는 드론(d)의 방위정보를 알리는 VOR(VHF Omni-directional range), DME(Distance measurement equipment), ADF(Automatic direction finder), TACAN(Tactical air navigation) 등으로 구비될 수 있으며 이에 한정되지 않는다.The reference marker (m) is a component capable of providing location information such as displacement information of the drone (d) to the server 100, and is a communication means capable of communicating with the drone (d) and the state of the drone (d), such as its moving speed and location. It may include a measurement means capable of measuring information about. To this end, the reference marker (m) will be equipped with VOR (VHF Omni-directional range), DME (Distance measurement equipment), ADF (Automatic direction finder), TACAN (Tactical air navigation), etc. that informs the azimuth information of the drone (d). can and is not limited thereto.

드론(d)이 기준 마커(m)에 근접함에 따라, 드론(d)과 통신연결된 통신부(110)는 기준 마커(m)를 인식하는 단계(s110)를 실시한다. 이후 기준 마커(m)는 현실 상의 드론(d)에 관한 위치정보를 송신하는 단계(s120)를 실시한다.As the drone d approaches the fiducial marker m, the communication unit 110 communicated with the drone d performs a step s110 of recognizing the fiducial marker m. Thereafter, the reference marker m performs a step s120 of transmitting location information about the drone d in reality.

위치정보를 수신한 통신부(110)는 연동부(130)에 위치정보를 송신하고, 연동부(130)는 이에 대응하여 상기 위치정보를 운행정보로 형성하는 단계(s130)를 실시한다.Upon receiving the location information, the communication unit 110 transmits the location information to the interlocking unit 130, and the interlocking unit 130 performs a step (s130) of forming the location information into operation information in response.

이후 연동부(130)는 운행정보와 단말부(200) 상에 표시되는 화면정보의 일치 여부를 비교하는 단계(s140)를 실시한다.Then, the interlocking unit 130 compares whether the driving information and the screen information displayed on the terminal unit 200 match (s140).

여기서, 상기 운행정보 및 화면정보가 서로 일치하는 경우, 연동부(130)는 화면정보가 올바르게 동기화되고 있는 것으로 간주한다.Here, when the driving information and the screen information match each other, the interlocking unit 130 considers that the screen information is correctly synchronized.

반면, 상기 운행정보 및 화면정보가 서로 일치하지 않은 경우, 연동부(130)는 화면정보 및 운행정보 간 괴리가 있음을 인지하고, 화면정보를 보정하는 단계(s150)를 실시한다.On the other hand, if the driving information and the screen information do not match each other, the interlocking unit 130 recognizes that there is a gap between the driving information and the driving information, and corrects the screen information (S150).

도 6을 일례로, 운행정보 및 화면정보의 비교 과정에서 기준 마커(m) 및 드론(d) 간의 직선거리(a)는 동일하고 지면으로부터 드론(d)의 높이(b)가 불일치한 경우, 연동부(130)는 화면정보 상의 드론(d)의 높이가 운행정보 내 드론(d)의 높이가 일치하도록 시각화되는 드론(d)의 높이를 조정한다. 상기와 같은 방법을 통해, 단말부(200)에서 메타버스 형태로 표시되는 드론(d)의 높이가 조정될 수 있다.6 as an example, in the process of comparing driving information and screen information, when the straight line distance (a) between the reference marker (m) and the drone (d) is the same and the height (b) of the drone (d) from the ground is inconsistent, The interlocking unit 130 adjusts the height of the visualized drone (d) so that the height of the drone (d) on the screen information matches the height of the drone (d) in the driving information. Through the above method, the height of the drone (d) displayed in the metaverse form on the terminal unit 200 can be adjusted.

도 7은 본 발명의 실시예에 따른 제2보정이 이루어지는 과정을 나타내는 도면이고, 도 8은 본 발명의 실시예에 따른 제2보정이 이루어지는 것을 나타내는 도면이다.FIG. 7 is a diagram illustrating a process of performing a second correction according to an embodiment of the present invention, and FIG. 8 is a diagram showing that a second correction is performed according to an embodiment of the present invention.

제2보정은 지형으로부터 드론(d)의 위치를 측정하여 형성된 운행정보와 화면정보를 일치시키는 것이다. 상세하게, 제2보정은 지형 또는 지물을 기준으로 드론(d)의 위치를 파악하되, 화면정보에 존재하지 않는 지형 또는 지물이 운행정보에 포함되어 있을 시 이를 동기화하는 것이다. 또다른 실시예로서, 제2보정은 선술한 기준 마커(m)가 운행정보에 포함되어 있으나 화면정보에 반영되지 않은 상태일 시에도 기준 마커(m)를 추가하는 동기화를 실시할 수 있다. 즉, 본 명세서에서는 제2보정이 지형 또는 지물을 대상으로 실시되는 것으로 한정하지만, 이에 한정되지 않고 기준 마커(m) 또는 기지정 사물에도 동일하게 적용될 수 있다.The second correction is to match the driving information formed by measuring the position of the drone d from the topography and the screen information. In detail, the second correction is to determine the position of the drone d based on the terrain or feature, but synchronize it when the terrain or feature that does not exist in the screen information is included in the driving information. As another embodiment, in the second correction, synchronization of adding the reference marker m may be performed even when the aforementioned reference marker m is included in the driving information but is not reflected in the screen information. That is, in the present specification, the second correction is limited to being performed for the topography or feature, but is not limited thereto and may be equally applied to the reference marker m or a predetermined object.

제2보정에서 연동부(130)는 드론(d) 및 단말부(200)로부터 각각 운행정보 및 화면정보를 전송받는다. In the second correction, the interlocking unit 130 receives operation information and screen information from the drone d and the terminal unit 200, respectively.

드론(d)이 지형 또는 지물에 근접함에 따라, 드론(d)과 통신연결된 통신부(110)는 지형 또는 지물을 인식하는 단계(s210)를 실시한다. 이는 선술한 별도의 맵핑수단을 통해 지리정보를 받은 서버(100) 또는 통신부(110)에서 현실 상의 지형 또는 지물을 인식하는 것으로 대체 가능하다. 또한, 상기 지형 또는 지물을 인식하는 단계는 선술한 기준 마커(m)에도 동일하게 적용될 수 있다.As the drone d approaches the terrain or feature, the communication unit 110 communicatively connected with the drone d performs a step s210 of recognizing the terrain or feature. This can be replaced by recognizing real terrain or features in the server 100 or communication unit 110 receiving geographic information through the aforementioned separate mapping means. Also, the step of recognizing the topography or feature may be equally applied to the aforementioned reference marker m.

이후, 드론(d)이 해당 지형 또는 지물의 사진을 촬영하여 연동부(130)로 전송하고, 단말부(200)에서 이에 대응하는 가상현실 형태의 화면정보를 연동부(130)로 전송하는 단계(s220)를 실시한다. 이를 통해, 연동부(130)는 지형 또는 지물에 관한 운행정보 및 메타버스 형태의 화면정보를 모두 소지한다.Thereafter, the drone (d) takes a picture of the terrain or feature and transmits it to the interlocking unit 130, and transmits the screen information in the form of virtual reality corresponding to it to the interlocking unit 130 from the terminal unit 200. (s220) is carried out. Through this, the interlocking unit 130 possesses both driving information and metaverse-type screen information on topography or features.

이후, 연동부(130)는 획득한 운행정보 및 화면정보의 일치 여부를 판단하는 단계(s230)를 실시한다. 상세하게, 연동부(130)는 화면정보에서 표시되지 않은 지형 또는 지물이 운행정보에 포함되는지 비교한다. 즉, 연동부(130)는 동일 시점에서 운행정보로 드론(d)을 통해 인식된 지형 또는 지물이 가상 현실 상에 존재하는지 판단한다. 도 8을 일례로, 연동부(130)는 동일 구도로 구비되는 운행정보 및 화면정보를 비교하며 일치 여부를 판단한다.Thereafter, the interlocking unit 130 determines whether the acquired driving information and screen information match (S230). In detail, the interlocking unit 130 compares whether the topography or feature not displayed in the screen information is included in the driving information. That is, the interlocking unit 130 determines whether the topography or feature recognized through the drone d as driving information exists in virtual reality at the same time point. 8 as an example, the interlocking unit 130 compares driving information and screen information provided in the same composition and determines whether they match.

만약 운행정보 및 화면정보 내 지형 또는 지물의 기존재 여부가 동일하지 않을 시, 연동부(130)는 편집부(140)에 신규 편집을 요청하는 단계(s240)를 수행한다. 상세하게, 연동부(130)는 지형 또는 지물이 가상 현실에 존재하지 않는 것으로 판단할 시, 이에 대한 추가가 가능하도록 편집부(140)에 편집을 요청할 수 있다. 이를 위해, 편집부(140)는 연동부(130)와 연결되어야 함이 바람직하다.If the existence or non-existence of the topography or features in the driving information and the screen information is not the same, the interlocking unit 130 requests the editing unit 140 to make a new edit (S240). In detail, when it is determined that the topography or feature does not exist in virtual reality, the interlocking unit 130 may request editing to the editing unit 140 so that it can be added. To this end, it is preferable that the editing unit 140 be connected to the interlocking unit 130 .

이에 대응하여, 편집부(140)는 지형 또는 지물의 추가를 위한 입력 정보를 단말부(200)에 제공하는 단계(s250)를 실시한다. 이는 선술한 정보 입력 기능으로 구현되고, 신규 지형 또는 지물에 대해 메모 또는 이미지 추가 등의 형태로 정보를 입력할 수 있는 입력 정보의 제공으로 발현된다. Correspondingly, the editing unit 140 performs a step s250 of providing input information for adding topography or features to the terminal unit 200 . This is implemented as the above-described information input function, and is expressed by providing input information capable of inputting information in the form of a memo or image addition for a new terrain or feature.

단말부(200)는 편집부(140)로부터 발송된 입력 정보를 받아 지형 또는 지물에 관한 입력을 실시하는 단계(s260)를 수행하고, 입력이 완료된 입력 정보는 연동부(130)로 전달된다.The terminal unit 200 receives the input information sent from the editing unit 140 and performs a step (s260) of performing an input on the topography or feature, and the input information that has been input is transferred to the interlocking unit 130.

상기와 같은 제2보정을 통해, 가상 현실에서 추가된 지형 또는 지물이 반영되어 시각화될 수 있으며, 사용자는 가상 현실에서 실시간으로 미인식되었던 신규 지형 또는 지물에 관한 라벨링을 통해 인식 효율을 극대화할 수 있다. 아울러, 화재 상황에서의 인명 구조 등 위급 상황에서 사용되는 드론(d)을 운용할 시, 식별되지 않은 구조물에 관한 라벨링에 기반하여 피난을 위한 이동 계획을 용이하게 수립할 수 있어, 드론(d)의 운용 효과를 극대화할 수 있다.Through the second correction as described above, the terrain or features added in virtual reality can be reflected and visualized, and the user can maximize recognition efficiency through labeling of new terrain or features that were not recognized in real time in virtual reality. there is. In addition, when operating the drone (d) used in emergency situations such as lifesaving in a fire situation, it is possible to easily establish a movement plan for evacuation based on the labeling of unidentified structures, so the drone (d) operational effectiveness can be maximized.

도 9는 본 발명의 실시예에 따른 제3보정이 이루어지는 과정을 나타내는 도면이고, 도 10은 본 발명의 실시예에 따른 제3보정이 이루어지는 것을 나타내는 도면이다.9 is a diagram illustrating a process of performing third correction according to an embodiment of the present invention, and FIG. 10 is a diagram showing that third correction is performed according to an embodiment of the present invention.

제3보정은 선술한 제1보정 및 제2보정과 달리 운행정보 및 화면정보 간의 오차를 바로잡는 보정으로서 연동부(130)에 의해 실시된다. 상세하게, 제3보정은 운행정보 내 사물의 크기 및 화면정보 내 사물의 크기를 비교하여, 비교 결과에 따라 운행정보 및 화면정보를 일치시키는 보정이다. 즉, 제3보정은 현실 상의 드론(d)의 이동 및 이에 대응하는 가상 현실 상에서의 이동 과정에서 발생할 수 있는 오차를 최소화하기 위한 보정이다.Unlike the first and second corrections described above, the third correction corrects the error between the driving information and the screen information, and is performed by the interlocking unit 130. In detail, the third correction is a correction in which the size of the object in the driving information and the size of the object in the screen information are compared, and the driving information and the screen information are matched according to the comparison result. That is, the third correction is correction for minimizing an error that may occur during the movement of the drone d in reality and the corresponding movement process in virtual reality.

현실 상의 드론(d)이 기지정 사물에 접근할 시, 통신부(110)는 기지정 사물을 인식하고, 드론(d)에 화면 촬상을 요청하는 단계(310)를 실시한다. 여기서, 기지정 사물은 운행정보 및 화면정보에 모두 반영된 사물로서 선술한 제2보정을 통해 반영이 완료되거나 원래부터 가상현실 및 현실 상에서 식별되는 사물을 의미하며, 기준 마커(m)나 지형/지물로도 대체 가능하다.When the drone (d) in reality approaches a predefined object, the communication unit 110 recognizes the predefined object and requests the drone (d) to capture a screen (step 310). Here, the predetermined object is an object reflected in both the driving information and the screen information, and refers to an object that has been reflected through the above-described second correction or originally identified in virtual reality or reality, and refers to a reference marker (m) or terrain/feature. can also be replaced with

이후, 드론(d)은 화면 촬상을 통해 기지정 사물에 관한 이미지를 확보하여 연동부(130)로 전송하는 단계(s320)를 실시한다.Thereafter, the drone d secures an image of a predetermined object through screen imaging and transmits it to the interlocking unit 130 (S320).

또한, 단말부(200)는 가상 현실 상의 기지정 사물에 관한 화면정보를 연동부(130)로 전달하는 단계(s330)를 수행한다.In addition, the terminal unit 200 transmits screen information about a predetermined object in virtual reality to the interlocking unit 130 (S330).

이후, 연동부(130)는 획득한 운행정보 내 기지정 사물 및 화면정보 내 기지정 사물의 일치 여부를 확인하는 단계(s340)를 실시한다. 여기서, 양 기지정 사물의 일치 여부는 크기, 위치에 관한 판단으로 구비될 수 있으며 이에 한정되지 않는다.Thereafter, the interlocking unit 130 performs a step s340 of checking whether the predefined object in the acquired driving information and the predefined object in the screen information match. Here, whether the two predetermined objects match may be determined based on size and position, but is not limited thereto.

도 10을 일례로 설명하자면, 운행정보에 표시된 기지정 사물의 크기가 화면정보 내 기지정 사물의 크기보다 큼으로써, 양 기지정 사물이 인식되는 크기가 다른 경우이다. 즉, 가상현실 상에서 기지정 사물이 현실보다 작아보이도록 상기 가상현실 상의 가상 드론(d)이 지면으로부터 보다 상측 방향에 위치한 경우를 의미한다.Referring to FIG. 10 as an example, the size of the preset object displayed in the driving information is larger than the size of the preset object in the screen information, so the recognized sizes of the two preset objects are different. That is, it means a case where the virtual drone d in the virtual reality is located in an upward direction from the ground so that the predetermined object in the virtual reality appears smaller than the reality.

양 기지정 사물의 크기 또는 위치가 불일치할 시, 연동부(130)는 화면정보를 보정하는 단계(s350)를 실시한다. 도 10을 일례로, 연동부(130)는 가상현실 상의 기지정 사물의 크기가 운행정보 상의 기지정 사물의 크기와 일치하도록 가상 드론(d)의 고도를 낮춘다. 이를 통해, 운행정보 및 화면정보의 동기화가 완료될 수 있다.When the sizes or positions of the two predetermined objects do not match, the interlocking unit 130 corrects the screen information (S350). 10 as an example, the interlocking unit 130 lowers the altitude of the virtual drone d so that the size of a preset object in virtual reality matches the size of a preset object in driving information. Through this, synchronization of driving information and screen information may be completed.

본 발명의 또다른 실시예로서, 양 기지정 사물의 불일치 시 연동부(130)는 현실 상의 드론(d)의 위치를 조정하는 단계가 실시될 수 있다. 상세하게, 연동부(130)는 통신부(110)를 통해 드론(d)의 구동을 제어함으로써 현실 상의 드론(d)이 보다 상측 방향으로 이동하도록 유도할 수 있다. 이를 통해, 운행정보로 식별되는 기지정 사물의 크기가 감소하여 화면정보 내 기지정 사물의 크기와 일치되는 동기화가 이루어질 수 있다. 상기와 같은 현실 드론(d)의 위치 조정 및 가상 현실 상의 가상 드론(d)의 위치 조정은 동시에 병행되거나 단독으로 수행되어, 운행정보 및 화면정보의 동기화가 완료될 수 있다.As another embodiment of the present invention, when the two predetermined objects do not match, a step of adjusting the position of the drone d in reality by the linking unit 130 may be performed. In detail, the interlocking unit 130 may induce the drone d in reality to move upward by controlling driving of the drone d through the communication unit 110 . Through this, the size of the preset object identified by the driving information is reduced so that synchronization matching the size of the preset object in the screen information can be achieved. The position adjustment of the real drone (d) and the position adjustment of the virtual drone (d) in virtual reality as described above may be performed simultaneously or independently, so that operation information and screen information may be synchronized.

상기와 같은 제3보정을 통해, 드론(d)의 이동 과정에서 일반적인 사물의 인식 만으로도 가상현실 상의 화면정보를 현실에 맞게 신속 동기화할 수 있어, 고가의 거리정보제공장치의 개입을 최소화할 수 있다.Through the third correction as described above, it is possible to quickly synchronize the screen information in virtual reality according to reality only by recognizing general objects in the process of moving the drone (d), thereby minimizing the intervention of an expensive distance information providing device. .

도 11은 본 발명의 실시예에 따른 항로 제공 기능이 이루어지는 과정을 나타내는 도면이다.11 is a diagram illustrating a process of performing a route providing function according to an embodiment of the present invention.

항로 제공부(160)는 항로 정보를 형성하여 드론(d)에게 제공함으로써, 보다 정확하고 용이한 드론(d) 이동을 유도하는 구성이다. 이를 위해 항로 제공부(160)는 연동부(130)와 연결되고, 항로 제공 기능을 통해 드론(d)을 가이드 이동시킬 수 있다.The route provider 160 forms route information and provides it to the drone d, thereby inducing more accurate and easy movement of the drone d. To this end, the route providing unit 160 is connected to the interlocking unit 130 and can guide and move the drone d through the route providing function.

항로 제공 기능은 제1보정을 실시하는 단계(s100), 제2보정을 실시하는 단계(s200), 제3보정을 실시하는 단계(s300), 공유 지점을 저장하는 단계(s400) 및 항로 정보를 형성하는 단계(s500)를 통해 항로 제공 기능을 구현할 수 있다.The route provision function includes a first correction step (s100), a second correction step (s200), a third correction step (s300), a sharing point storage step (s400), and route information Through the forming step (s500), it is possible to implement a route providing function.

가상 현실에서 단말부(200)의 입력에 따라 가상 드론(d) 및 현실 상의 드론(d)이 이동을 실시함에 따라 기준 마커(m)에 근접한다. 이에 대응하여 연동부(130)의 선술한 제1보정이 이루어져 운행정보 및 화면정보의 1차 동기화가 이루어진다.In virtual reality, as the virtual drone d and the real drone d move according to the input of the terminal unit 200, they approach the reference marker m. Corresponding to this, the above-described first correction of the interlocking unit 130 is performed, and primary synchronization of driving information and screen information is performed.

이후 단말부(200)의 입력에 따라 재차 드론(d)이 이동하여 지형 또는 지물에 근접함에 따라, 연동부(130) 및 편집부(140)의 주도 하의 제2보정이 실시된다. 이를 통해, 가상현실 상에서 누락될 수 있는 지형 또는 지물에 관한 인식 및 라벨링이 이루어질 수 있다.Thereafter, as the drone d moves again according to the input of the terminal unit 200 and approaches the terrain or feature, the second correction under the leadership of the interlocking unit 130 and the editing unit 140 is performed. Through this, recognition and labeling of topography or features that may be missed in virtual reality can be performed.

이후 단말부(200)의 입력에 따라 재차 드론(d)의 이동을 통해 기지정 사물에 접근함에 따라, 연동부(130)를 통해 제3보정이 실시된다. 이를 통해, 선행된 제2보정에서 인식되거나 기지정된 사물에 관하여 운행정보가 화면정보가 일치하도록 현실 상의 드론(d) 또는 가상 드론(d)의 위치를 조정할 수 있어, 정확도를 높일 수 있다.Thereafter, as the drone (d) moves again to approach the predetermined object according to the input of the terminal unit 200, the third correction is performed through the interlocking unit 130. Through this, it is possible to adjust the position of the real drone (d) or virtual drone (d) so that the screen information matches the operation information with respect to the object recognized or previously specified in the preceding second correction, thereby increasing accuracy.

제3보정이 완료되면 시점 조정이 완료되어 식별되는 기지정 사물을 대상으로 공유 지점을 저장한다. 상세하게, 항로 제공부(160)는 연동부(130)와 연결된 상태에서 상기 기지정 사물의 위치를 공유 지점으로 지정하는 단계를 실시한다. 상기와 같은 공유 지점은 기지정 사물의 위치이기 때문에, 선술한 기준 마커(m) 및 지형 또는 지물에도 적용될 수 있다.When the third correction is completed, the viewpoint adjustment is completed and the sharing point is stored for the identified object. In detail, the route providing unit 160 performs a step of designating the location of the predetermined object as a sharing point while connected to the interlocking unit 130 . Since the above sharing point is the location of a predetermined object, it can be applied to the aforementioned reference marker m and terrain or features.

복수의 공유 지점이 지정되는 과정에서 항로 정보를 형성하는 단계가 실시된다. 상세하게, 항로 제공부(160)는 복수의 공유 지점을 선으로 연결하고, 이 과정에서 항로 정보가 형성된다. 항로 정보는 복수의 공유 지점 간의 직선 또는 곡선으로의 연결 경로로 구비되고, 직선 또는 곡선 여부는 드론(d)의 통행이 불가능한 방공식별구역의 유무 등의 기준에 따라 가변될 수 있으며 이에 한정되지 않는다.In the process of designating a plurality of sharing points, a step of forming route information is performed. In detail, the route providing unit 160 connects a plurality of sharing points with a line, and route information is formed in this process. Route information is provided as a straight line or curved path between a plurality of sharing points, and whether it is a straight line or a curved path may vary depending on criteria such as the presence or absence of an air defense identification zone in which the drone (d) cannot pass, but is not limited thereto. .

상기와 같이 형성된 항로 정보는 항로 제공부(160)에서 드론(d)으로 제공되고, 이를 기반으로 드론(d)은 저장된 항로를 따라 이동할 수 있다. 사용자는 출력부(120)를 통해 항로 정보를 기반으로 가상 드론(d)이 이동함에 따라 가변하는 화면정보를 제공받을 수 있다.Route information formed as described above is provided to the drone d by the route provider 160, and based on this, the drone d can move along the stored route. The user may be provided with screen information that varies as the virtual drone d moves based on route information through the output unit 120 .

본 발명을 통해 군사용, 교육용, 체험용 등 다양한 분야에서 드론(d)을 보다 정확하고 용이하게 운용할 수 있어, 드론(d) 운용 관련 범용성을 극대화하고 더 나아가 드론(d) 산업의 활성화를 유도할 수 있다.Through the present invention, it is possible to more accurately and easily operate drones (d) in various fields such as for military use, education, and experience, maximizing versatility related to drone (d) operation and further inducing vitalization of the drone (d) industry. can do.

또한, 고가의 위치측정 장치에 관한 사용을 최소화하면서도 드론(d)의 운용 정확성을 높일 수 있어, 운용 효율을 현저히 높일 수 있다.In addition, it is possible to increase the operational accuracy of the drone (d) while minimizing the use of expensive positioning devices, thereby significantly increasing operational efficiency.

아울러 화재, 군사작전, 기상악화 등 사용자의 접근이 어려운 현장에서 사용자가 꼭 위치하지 않더라도, 사용자는 안전한 위치에서 가상 현실에서의 드론(d) 운용을 통해 현실 상에서의 드론(d)의 구동을 보다 정확하고 신속하게 제어할 수 있기 때문에, 의도하지 않은 사고로부터 안전성을 확보할 수 있다.In addition, even if the user is not necessarily located in a field where access to the user is difficult, such as fire, military operation, or bad weather, the user can see the operation of the drone (d) in reality through the operation of the drone (d) in virtual reality in a safe location. Since it can be controlled accurately and quickly, safety from unintended accidents can be secured.

추가로, 메타버스 내에서 드론(d)의 실시간 촬상되는 영상을 기반으로 항로 제공이 가능하기 때문에, 드론(d)의 조종이 익숙하지 않은 사용자도 용이하게 드론(d)을 조정할 수 있어 교육 효과를 극대화할 수 있다.In addition, since it is possible to provide a route based on the video captured in real time of the drone (d) within the metaverse, even users unfamiliar with drone (d) control can easily control the drone (d), which has an educational effect can maximize

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

Claims (4)

드론 및 단말부와 연결되는 서버를 포함하는 것으로서,
상기 서버는,
상기 단말부에 가상현실 형태의 화면정보를 제공하는 출력부; 및
상기 드론 및 단말부로부터 각각 운행정보 및 화면정보를 획득하며, 상기 운행정보 및 화면정보를 서로 일치시키는 연동부;를 포함하는 드론용 메타버스 가상 항법시스템.
As including a server connected to the drone and terminal unit,
The server,
an output unit providing screen information in the form of virtual reality to the terminal unit; and
A metaverse virtual navigation system for drones including a linkage unit that obtains operation information and screen information from the drone and terminal unit, and matches the operation information and screen information with each other.
제 1 항에 있어서,
상기 연동부는,
미리 지정된 기준 마커으로부터 상기 드론의 위치를 측정하여 형성된 운행정보 및 화면정보를 일치시키는 제1보정;
지형으로부터 상기 드론의 위치를 측정하여 형성된 운행정보 및 화면정보를 일치시키는 제2보정; 및
상기 드론으로부터 촬상되어 획득한 운행정보 내 기지정 사물의 크기 및 화면정보 내 기지정 사물의 크기를 비교하여, 상기 운행정보 및 화면정보를 일치시키는 제3보정;을 포함하는 드론용 메타버스 가상 항법시스템.
According to claim 1,
The interlocking part,
first correction of matching operation information and screen information formed by measuring the position of the drone from a predetermined reference marker;
a second correction of matching operation information and screen information formed by measuring the position of the drone from the topography; and
Metaverse virtual navigation for drones including a third correction to match the operation information and screen information by comparing the size of a predetermined object in the operation information obtained by being photographed from the drone and the size of a predetermined object in the screen information. system.
제 2 항에 있어서,
상기 연동부와 연결되고, 화면정보에서 표시되지 않은 지형 또는 기준 마커에 관한 정보를 입력 또는 수정하는 편집부;를 더 포함하는 드론용 메타버스 가상 항법 시스템.
According to claim 2,
The metaverse virtual navigation system for drones further comprising an editing unit connected to the interlocking unit and inputting or modifying information on topography or reference markers not displayed in the screen information.
제 2 항에 있어서,
상기 연동부와 연결되고, 제1보정, 제2보정 및 제3보정에 관한 정보를 제공받아 항로에 관한 정보를 형성하여, 드론 및 단말부로 전달하는 항로 제공부;를 더 포함하는 드론용 메타버스 가상 항법 시스템.
According to claim 2,
A route providing unit that is connected to the interlocking unit, receives information on the first correction, second correction, and third correction, forms information on the route, and transmits the information to the drone and the terminal unit; further comprising a metaverse for drones. virtual navigation system.
KR1020220016594A 2022-02-09 2022-02-09 Metaverse virtual navigation system for drones KR20230120245A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220016594A KR20230120245A (en) 2022-02-09 2022-02-09 Metaverse virtual navigation system for drones

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220016594A KR20230120245A (en) 2022-02-09 2022-02-09 Metaverse virtual navigation system for drones

Publications (1)

Publication Number Publication Date
KR20230120245A true KR20230120245A (en) 2023-08-17

Family

ID=87800149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220016594A KR20230120245A (en) 2022-02-09 2022-02-09 Metaverse virtual navigation system for drones

Country Status (1)

Country Link
KR (1) KR20230120245A (en)

Similar Documents

Publication Publication Date Title
CN109931939B (en) Vehicle positioning method, device, equipment and computer readable storage medium
US8115768B2 (en) Methods and system for communication and displaying points-of-interest
JP6601554B2 (en) Unmanned aerial vehicle, unmanned aircraft control system, flight control method, and computer program
EP3315414A1 (en) Geo-location or navigation camera, and aircraft and navigation method therefor
US10733896B2 (en) Projection-based cooperative collision avoidance
KR100842104B1 (en) Guide and control method for automatic landing of uavs using ads-b and vision-based information
KR101600862B1 (en) stereo vision system using a plurality of uav
CN107065894B (en) Unmanned aerial vehicle, flying height control device, method, and computer-readable recording medium
US10337863B2 (en) Survey system
US11434004B2 (en) Controlling a group of drones for image capture
EP2177863B1 (en) Method for target geo-referencing using video analytics
JP2011169658A (en) Device and method for pinpointing photographed position
KR20200035461A (en) Optically supported object navigation
KR20230120245A (en) Metaverse virtual navigation system for drones
EP3223188A1 (en) A vehicle environment mapping system
CN112558008A (en) Navigation method, system, equipment and medium based on optical communication device
JP7012522B2 (en) Measurement system, measurement instruction device, and program
KR100387901B1 (en) image tracking and insertion system using camera sensors
WO2021212499A1 (en) Target calibration method, apparatus, and system, and remote control terminal of movable platform
KR102149494B1 (en) Structure inspection system and method using dron
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices
KR20200124899A (en) Apparatus and method for checking facility
Bernoulli et al. Improvement of inertial sensor based indoor navigation by video content analysis
CA3063007A1 (en) Human-aided geo-rectification of geospatial metadata in video using a graphical interface
RU2550536C2 (en) Method for automated control of robotic means via radio link